У світі, де штучний інтелект розвивається стрімкими темпами, з’являються проєкти, що кидають виклик загальноприйнятим уявленням про можливості ШІ. Одним із таких є “вінтажний ШІ” під назвою Talkie, розроблений на 13 мільярдах параметрів, який був навчений виключно на текстах, опублікованих до 1930 року. Ця унікальна модель, створена з метою дослідження того, якою була б велика мовна модель, якби її розвиток зупинився на початку XX століття, відкриває захопливі перспективи для розуміння історії та прогнозування майбутнього.
“Вінтажний ШІ” як інструмент для “подорожей в часі”
Технічні аспекти проєкту Talkie
Talkie оперує величезним масивом даних – 260 мільярдами токенів, зібраних з різноманітних джерел, таких як книги, газети, наукові журнали, патенти та судові документи, що були оприлюднені до 31 грудня 1930 року. Такий вибір дати не є випадковим: він обумовлений тим, що термін дії авторських прав на значну частину цих матеріалів закінчується через 95 років, що дозволило їм перейти у суспільне надбання. Це створює унікальну можливість для дослідження історичного контексту без впливу пізніших подій.
Ідея “подорожей в часі” через ШІ
Концепція “вінтажних LLM”, таких як Talkie, надає цікавий спосіб “подорожувати в часі”, дозволяючи користувачам взаємодіяти з моделлю, яка має уявлення про світ лише до певного історичного моменту. Це дає змогу оцінити, наскільки дивними чи ймовірними могли б здатися події, що відбулися після 1930 року, для моделі, яка про них не знає. Такий підхід також дозволяє перевірити, чи здатна модель передбачити події, які, як ми знаємо з історії, справді сталися.
“Ідея “вінтажних LLM” подається як своєрідна форма “подорожей в часі”: що якби можна було поспілкуватись з особою, яка живе в 1700 році або іншій історичній епосі?”
Прогнози Talkie: від вікторіанської футурології до несподіваних висновків
Бачення світу у 2026 році
На запитання про те, як виглядатиме світ у 2026 році, Talkie пропонує футуристичне бачення у стилі вікторіанської епохи: Європа, за її прогнозами, матиме населення в один мільярд людей, континент буде перетнутий залізницями, а пароплави здійснюватимуть рейси між Лондоном і Нью-Йорком за 10 днів. Ці прогнози відображають технологічні та соціальні уявлення того часу, коли модель здобувала свої “знання”.
Ставлення до Другої світової війни
Щодо Другої світової війни, Talkie висловлює думку, що вона малоймовірна, мовляв, “шаленство 1914-1918 років минуло”, а держави прагнуть миру. Однак, модель не ігнорує потенційні конфлікти, додаючи застереження про “тліючі осередки ворожнечі” в Європі та можливість вибухонебезпечних сутичок, зокрема між Китаєм та Японією, або Італією та Югославією. Це свідчить про певне розуміння історичних напружень, навіть без знання про майбутні події.
Вимірювання “несподіванки” історичних подій
Для більш глибокого аналізу дослідники надали моделі список з приблизно 5 000 історичних подій з архіву New York Times, аби вона оцінила рівень їхньої несподіванки. Результати показали різке зростання “здивування” моделі щодо подій, що відбулися після 1930 року, з піком у 1950-1960-х роках. Після цього рівень “здивування” стабілізувався, що, ймовірно, пов’язано з тим, що події після 2020-х років не були включені до навчальних даних.
Майбутнє Talkie та відкритість проєкту
Наразі Talkie є доступною як open-source модель на платформах Hugging Face та GitHub, що дозволяє широкому колу дослідників та ентузіастів експериментувати з нею. Команда розробників планує подальше масштабування моделі до рівня GPT-3 і вище, використовуючи понад трильйон токенів історичних текстів. Це свідчить про амбітні плани щодо розвитку “вінтажного ШІ” та його потенціалу для нових історичних досліджень.
