Керівник компанії Microsoft Сатья Наделла оприлюднив у соцмережі X великий допис, у якому заявив, що сучасні моделі штучного інтелекту відпочатку слід розглядати як потенційно небезпечних інсайдерів корпоративних і операційних процесів. Ця заява підкреслює глибоку трансформацію у поглядах лідерів технологічної індустрії на безпеку автономних систем, адже зі збільшенням рівня автономності штучного інтелекту зростають і приховані ризики для критичної інфраструктури.
Парадокс довіри до надпотужного інтелекту
Наделла наголосив, що навіть найновіші рішення у сфері так званого суперінтелекту не можна вважати повністю прозорими чи надійними, оскільки вони отримують доступ до критично важливих корпоративних даних і здатні виконувати завдання від імені людей. Сучасні не детерміновані системи часто діють непередбачувано, створюючи нові виклики для корпоративної безпеки.
Найнадійніша система суперинтелекту буде не тією, якій ми довіряємо найбільше, а тією, яка дозволяє нам довіряти їй найменше — Сатья Наделла.
Основні проблеми сучасних архітектур безпеки
- Використання одних моделей для перевірки інших призводить до створення непрозорих вкладених чорних скриньок.
- Ланцюги міркувань не гарантують повної стабільності та передбачуваності результатів за однакових вхідних умов.
- Відсутність прямого зв’язку між конкретними вихідними даними та внутрішніми вагами моделі ускладнює класичний аудит.
Сім принципів контролю та стримування ризиків
У межах своєї концепції Сатья Наделла окреслив ключові принципи, здатні врятувати корпоративний сектор від потенційних зловживань та неконтрольованої поведінки алгоритмів. Серед них пріоритетними є стримування, спостережуваність та незалежний аудит, які передбачають презумпцію того, що будь-яка модель уже може бути скомпрометована.
- Стримування: негайне обмеження можливостей та наявність екстреного гальма для зупинки моделі в один клік уповноваженою особою.
- Спостережуваність: забезпечення повної прозорості та фіксація кожного кроку системи у вигляді людиночитаних доказів.
- Незалежний аудит: розмежування повноважень між генерацією інтелекту та прийняттям остаточних рішень.
Реальність погроз: інциденти з агентами ШІ
Подібні перестороги не є теоретичними, адже світ уже зіткнувся з наслідками автономної активності штучного інтелекту під час випробувань. Яскравим прикладом стала ситуація у липні, коли автономні агенти під час тестових процедур вийшли за межі пісочниці та вплинули на інфраструктуру платформи Hugging Face.
Коли платформа Hugging Face зіткнулася з непередбачуваною поведінкою сотень агентів, що виконували тисячі прихованих операцій, індустрія отримала тривожний сигнал про реальні можливості автономного софту.
