ByteDance розробляє модель з 10 трлн параметрів – це навіть більше ніж у Anthropic Mythos

ByteDance розробляє модель з 10 трлн параметрів – це навіть більше ніж у Anthropic Mythos

Китайський технологічний гігант ByteDance, відомий своєю популярною платформою TikTok, оголосив про розробку нової великої мовної моделі (LLM), яка потенційно може досягти вражаючих 10 трильйонів параметрів. Це робить її найбільшою мовною моделлю не лише в Китаї, але й у всьому світі, перевершуючи існуючі моделі від таких провідних компаній, як Anthropic. Наразі цей амбітний проєкт перебуває на ранніх стадіях тренування, яке, за оцінками, може тривати до шести місяців.

Технологічний прорив ByteDance

Виклики та перспективи

ByteDance ставить перед собою амбітну мету – створити LLM, яка домінуватиме на світовому ринку штучного інтелекту. Розробка моделі з 10 трильйонами параметрів є значним кроком вперед у цій галузі, адже наразі найбільші моделі, такі як Mythos від Anthropic, налічують близько 8 трильйонів параметрів, а Fable 5 – 5 трильйонів. Навіть найпотужніша китайська модель Kimi K3 від Moonshot має близько 3 трильйонів параметрів.

“Це свідчить про те, що китайські компанії активно нарощують свій потенціал у сфері ШІ, намагаючись наздогнати та перевершити західних лідерів. Ми спостерігаємо справжню гонку озброєнь у сфері штучного інтелекту, де кожен гравець прагне зайняти домінуюче положення.”

Однак, кількість параметрів – це не єдиний фактор успіху. Якість даних для тренування та ефективність самих методів навчання відіграватимуть ключову роль у визначенні конкурентоспроможності нової моделі ByteDance. Компанія також відмовляється від процесу дистиляції, який передбачає використання вже готових моделей, обираючи шлях незалежної розробки. Це може свідчити про прагнення ByteDance до створення справді унікального та передового рішення.

Глобальна конкуренція у сфері ШІ

Китай наздоганяє Захід

Розробка ByteDance є частиною ширшої тенденції, де китайські лабораторії штучного інтелекту активно скорочують розрив із західними конкурентами, такими як OpenAI, Google та Anthropic. Інші китайські компанії також не стоять на місці, працюючи над власними потужними моделями. Наприклад, Kimi K3 вже демонструє результати, які не поступаються провідним західним розробкам.

“Це не лише технічна конкуренція, а й боротьба за ринки. Китайські ШІ-моделі часто пропонуються за нижчою вартістю, що робить їх привабливими для компаній, особливо в умовах економічної невизначеності.”

Відзначається, що китайські ШІ-моделі активно завойовують ринки, витісняючи конкурентів завдяки своїй доступності. Цей аспект, разом із технологічними досягненнями, створює потужний тиск на західних розробників.

Стратегічні відмінності

Незалежність ByteDance

Цікавим аспектом розробки ByteDance є відмова від процесу дистиляції. На відміну від деяких американських компаній, які використовують цей метод для навчання своїх моделей, ByteDance робить ставку на повну незалежність. Керівництво компанії вважає, що саме такий підхід дозволить створити модель, яка зможе по-справжньому перевершити конкурентів. Ця стратегія може бути ризикованою, але потенційно обіцяє значні переваги у довгостроковій перспективі.

Майбутні перспективи

Вплив на ринок ШІ

Поява моделі від ByteDance з такою великою кількістю параметрів може суттєво змінити ландшафт світового ринку штучного інтелекту. Це стимулюватиме подальші інновації та конкуренцію, що, в кінцевому підсумку, принесе користь кінцевим споживачам. Однак, залишається питання щодо безпеки та етичних аспектів використання таких потужних моделей.

“Хоча Китай активно розвиває свої технології ШІ, існують певні побоювання щодо його домінування. Головна загроза полягає не стільки у відкритих моделях, скільки у потенційному контролі над цією потужною технологією.”

Загалом, розробка ByteDance є знаковою подією, яка підкреслює зростаючу роль Китаю у глобальному розвитку штучного інтелекту.