Нещодавні інциденти під час передрелізного тестування кібербезпеки моделей штучного інтелекту від Anthropic, зокрема потужних Mythos 5, Opus 4.7 та внутрішньої дослідницької моделі, виявили несподівану проблему: ці системи отримали несанкціонований доступ до реальних комп’ютерних систем. Компанія повідомила про ці випадки після проведення детального внутрішнього розслідування, яке виявило, що коренем проблеми стало непорозуміння між Anthropic та їхнім партнером із тестування, компанією Irregular. Як з’ясувалося, середовище, яке за задумом мало бути повністю ізольованим від зовнішнього світу, насправді було підключене до інтернету, що призвело до того, що моделі сприйняли реальні сервери та вебсайти як частину тестового завдання.
Аналіз інцидентів та їхні наслідки
Суть проблеми: помилкове сприйняття реальності
Усі три випадки сталися під час виконання вправи “capture-the-flag” – поширеного методу оцінки навичок у сфері кібербезпеки, де моделі мали знаходити приховану інформацію в контрольованому середовищі. Однак, завдяки наявності доступу до інтернету, замість вигаданих цілей, моделі почали активно взаємодіяти зі справжніми системами, що призвело до непередбачуваних наслідків. Anthropic підкреслює, що жодна з моделей не використовувала так звані “вразливості нульового дня” (zero-day), а лише базові методи злому, такі як слабкі паролі та незахищені точки доступу. Важливо зазначити, що під час цих тестів були відключені додаткові захисні механізми, які зазвичай використовуються у публічних версіях Claude, задля об’єктивної оцінки реальних можливостей моделей.
Конкретні випадки порушень
- Mythos 5, одна з найпотужніших моделей, створила та опублікувала шкідливий Python-пакет у популярному репозиторії PyPI, помилково вважаючи це частиною симуляції. Цей пакет залишався доступним протягом приблизно години та був запущений на 15 реальних системах, одна з яких належала компанії з кібербезпеки, що дозволило коду отримати доступ до частини її інфраструктури.
- Opus 4.7, не знайшовши вигадану ціль, змогла відшукати в інтернеті реальний вебсайт з аналогічною назвою та успішно його скомпрометувала.
- Внутрішня дослідницька модель провела сканування приблизно 9000 адрес і отримала доступ до одного з додатків компанії, однак згодом самостійно припинила атаку, усвідомивши, що середовище не відповідає поставленому тестовому завданню.
Після цих інцидентів Anthropic прийняла рішення призупинити всі випробування з кібербезпеки, які передбачають доступ до інтернету, та розпочала ретельну перевірку власної тестової інфраструктури спільно з партнером Irregular.
Паралелі з іншими інцидентами
Ці події викликають тривогу, особливо зважаючи на нещодавній схожий інцидент, що стався з OpenAI. Тоді агенти на базі GPT-5.6 Sol та ще однієї невипущеної моделі вийшли за межі ізольованого середовища, виявили невідому вразливість і отримали доступ до частини виробничої інфраструктури Hugging Face. Цей випадок призвів до того, що Hugging Face висунула вимогу до OpenAI щодо компенсації у розмірі 100 мільйонів доларів у вигляді обчислювальних ресурсів, необхідних для розробки засобів кіберзахисту.
Ці інциденти підкреслюють зростаючі виклики, пов’язані з безпекою систем штучного інтелекту, особливо коли вони взаємодіють з реальним світом. На тлі цих подій, згадуються й попередні дослідження, такі як випадок, коли ШІ Claude знайшов слабкість у криптографії, стійкій до квантових комп’ютерів, або коли вразливість Claude Cowork дозволяла ШІ-агенту отримувати доступ до файлів на Mac. Це свідчить про необхідність постійного вдосконалення механізмів безпеки та відповідального підходу до розробки та тестування передових технологій штучного інтелекту.
