Компанія OpenAI вимушено адаптується до жорстких реалій європейського законодавства, запроваджуючи інноваційну технологію прихованих водяних знаків textGrain для сервісів ChatGPT та Codex, що покликана забезпечити надійну ідентифікацію контенту, створеного штучним інтелектом. Цей крок зумовлений необхідністю дотримання положень європейського Акта про штучний інтелект, зокрема статті п’ятдесят, яка вимагає від постачальників генеративних моделей чіткого маркування машиночитаних даних. Проте, попри високий технічний рівень реалізації, експертна спільнота висловлює застереження щодо ефективності подібних інструментів в умовах реального середовища, де редагування тексту та обмежений обсяг контенту здатні повністю нівелювати закладені алгоритми.
Особливості функціонування та технічні нюанси textGrain
Механізм роботи нової системи суттєво відрізняється від примітивних методів на кшталт додавання спеціальних символів чи невидимих пробілів, оскільки він базується на тонких статистичних змінах під час вибору токенів. Як зазначається у профільних технічних звітах, розробка використовує підходи з оптимального транспорту та калібрування ентропії для створення унікального патерну:
Our text watermarking technology, textGrain, adds an invisible statistical signal to the model’s word choices. Our detector looks for that signal to assess whether a passage contains an OpenAI watermark.
- Формування невидимого статистичного сигналу під час генерації послідовностей слів.
- Збереження базових відносних імовірностей токенів у межах визначених блоків словника.
- Можливість для глобальних користувачів API самостійно активувати мітку для обраних моделей.
Обмеження та вразливість до редагування
Попри заявлену відповідність стандартам прозорості, ефективність детектування безпосередньо залежить від обсягу тексту та цілісності його структури. Тестування демонструють різке падіння показників успішності ідентифікації при мінімальному втручанні людини у згенерований матеріал:
- Для коротких текстів обсягом двісті токенів точність розпізнавання ледь досягає вісімдесяти відсотків.
- Заміна лише чверті слів на синоніми знижує показник виявлення мітки до критичних сімнадцяти відсотків.
- Специфічні домени на кшталт математичних обчислень створюють додаткові труднощі через жорсткість лексики.
