“Маркетинговий хайп”: Mythos від Anthropic виявила п’ять вразливостей в cURL і лише одна була реальною

“Маркетинговий хайп”: Mythos від Anthropic виявила п’ять вразливостей в cURL і лише одна була реальною

Розробник cURL, одного з найпопулярніших open-source проєктів у світі, Деніел Стенберг, висловив критику щодо моделі Mythos від Anthropic, назвавши її “маркетинговим хайпом” після перевірки власних систем на вразливості. Цікаво, що ця заява пролунала на тлі зростаючого інтересу до можливостей штучного інтелекту в галузі кібербезпеки.

Mythos: Між хайпом та реальністю

Очікування та розчарування

Стенберг, отримавши “умовний” ранній доступ до Mythos через Linux Foundation в рамках ініціативи Project Glasswing, яка надає відомим open-source проєктам можливість тестувати ШІ-моделі, зіткнувся з несподіваними результатами. Замість детального звіту про виявлені вразливості, він отримав інформацію, яка, на його думку, “відчувалася нісенітницею”. Модель повідомила про п’ять “підтверджених вразливостей” у кодовій базі cURL, проте подальша перевірка командою розробника виявила, що три з них були “false positive”, тобто вже документовані в API проєкту, а ще одна виявилася звичайним багом.

“Єдиною підтвердженою вразливістю була CVE низького рівня серйозності, яку виправлять в релізі cURL 8.21.0 наприкінці червня”, – зазначив Стенберг.

Справедливий погляд та об’єктивна оцінка

Визнаючи свою позицію, Стенберг додав, що Mythos все ж таки виявила кілька інших помилок, які не стосувалися безпеки, і надала якісні пояснення. Однак, його особистий висновок залишається незмінним: “увесь хайп навколо цієї моделі був переважно маркетингом. Я досі не бачу жодних доказів того, що Mythos виявляє проблеми на вищому чи більш просунутому рівні, ніж інші доступні інструменти”.

ШІ в кібербезпеці: Перспективи та обмеження

Досвід cURL з іншими ШІ-інструментами

Варто зазначити, що cURL вже має значний досвід тестування за допомогою різноманітних ШІ-інструментів. Протягом останніх 8-10 місяців проєкт використовував такі системи, як AISLE, Zeropath та OpenAI Codex Security, які успішно виявили десятки помилок, включно з серйозними вразливостями із CVE.

Обмеження сучасних ШІ

Стенберг підкреслив, що не є противником ШІ, адже сучасні системи дійсно перевершують класичні статичні аналізатори коду. Однак, він вказав на спільне обмеження всіх цих інструментів: вони здатні виявляти лише вже відомі типи помилок.

“Ми ще не бачили ШІ, який би знайшов абсолютно новий тип вразливості”, – зауважив Стенберг.

Він висловив думку, що “чимало помилок безпеки в майбутньому знайдуть люди, які винайдуть нові способи та підходи до керування ШІ”.

Майбутнє тестування з Mythos

На завершення, Стенберг повідомив, що йому було обіцяно надати прямий доступ до Mythos для самостійного експериментування з можливостями моделі, хоча конкретні терміни такого доступу залишаються невизначеними.

Цей випадок підкреслює важливість критичного підходу до оцінки нових технологій, особливо в такій чутливій сфері, як кібербезпека, де наслідки помилок можуть бути надзвичайно серйозними.