Компанія OpenAI, відома своїми передовими розробками у сфері штучного інтелекту, представила нову внутрішню модель під назвою GPT-Red, яка кардинально змінює підхід до кібербезпеки. Цей інноваційний ШІ-хакер розроблений для виявлення вразливостей в інших продуктах OpenAI, імітуючи методи та тактики реальних зловмисників ще до того, як вони зможуть бути використані для завдання шкоди. Таким чином, OpenAI прагне проактивно посилювати безпеку своїх систем, автоматизуючи процес, який раніше вимагав значних зусиль команди етичних хакерів.
Автоматизація “червоних команд”
Принцип роботи GPT-Red
GPT-Red фактично автоматизує роботу “червоних команд”, які є групами фахівців з кібербезпеки, що імітують реальні атаки на системи компанії для виявлення слабких місць.
Спочатку фокус GPT-Red був спрямований на усунення “промт-ін’єкцій” – типу атак, де зловмисники вставляють шкідливі інструкції в електронні листи, документи чи на веб-сайти, змушуючи моделі ШІ виконувати небажані дії.
Навчання на основі протистояння
Self-play як ключ до успіху
Процес навчання GPT-Red базувався на принципі “self-play”, що передбачає постійне протистояння моделі з іншими системами ШІ, які виступали в ролі “захисників”. GPT-Red отримував винагороду за кожну успішну атаку, тоді як моделі-захисники винагороджувалися за ефективне блокування цих атак. З часом, коли захисні механізми ставали все більш досконалими, GPT-Red був змушений самостійно розробляти все складніші та витонченіші методи обходу. OpenAI стверджує, що для навчання GPT-Red було задіяно один з найбільших обсягів обчислювальних ресурсів, які коли-небудь використовувалися в їхніх дослідженнях безпеки.
Революційні відкриття
“Фальшивий ланцюжок міркувань” – новий клас атак
Результати тестування GPT-Red вже продемонстрували його ефективність. Команда OpenAI повідомила про виявлення нового класу атак, який раніше був невідомий дослідникам. Цей тип атаки, названий “фальшивим ланцюжком міркувань” (“false chain-of-thought”), полягає у введенні неправдивої інформації в процес внутрішніх міркувань моделі, що змушує її сприймати хибні твердження як уже перевірені факти. Кріс Чокетт-Чу, дослідник OpenAI, пояснює це на простому прикладі: “Це все одно, якби я сказав вам, що 1+1=3, і ви вже це перевірили. Модель погоджується і видає хибний результат”.
Інцидент з торговим автоматом
Під час одного з тестів GPT-Red успішно атакував Vendy – ШІ-агента, розробленого дослідницькою групою Andon Labs, який керував справжнім торговим автоматом в офісі OpenAI. ШІ-хакеру вдалося знизити ціни на дорогі товари до мінімальної позначки у 50 центів та скасувати замовлення клієнта. Усі виявлені вразливості вже були передані розробникам для виправлення.
Ефективність проти майбутніх моделей
GPT-Red проти GPT-5.6
Тестування GPT-Red проти ранньої версії GPT-5 показало, що понад 90% найскладніших атак моделі були успішними. Однак, проти новішої версії GPT-5.6 цей показник значно знизився, склавши менш як 23%. Цікаво, що під час повторного тестування сценаріїв, розроблених у 2025 році, автоматизований хакер OpenAI значно перевершив команду людей-дослідників: GPT-Red успішно виконав 84% атак, тоді як люди – лише 13%.
Обмеження та майбутні плани
Поточні недоліки GPT-Red
OpenAI використала GPT-Red для вдосконалення GPT-5.6, яку компанія називає своєю найбільш захищеною моделлю від промт-ін’єкцій. Водночас, компанія не планує випускати GPT-Red через API або іншим чином, щоб унеможливити використання його можливостей реальними зловмисниками.
Однак, GPT-Red ще не позбавлений певних обмежень. Модель демонструє нижчу ефективність у проведенні довготривалих багатоетапних атак та у приховуванні інструкцій всередині зображень. Крім того, людські команди безпеки все ще виявляють проблеми, які модель пропускає. OpenAI планує опублікувати повну наукову статтю про GPT-Red найближчим часом.
Цікаво, що Microsoft нещодавно випустила оновлення безпеки, в якому було закрито 570 вразливостей завдяки використанню ШІ.
