Японская Sakana AI впервые обучит языковую модель с нуля

Японская Sakana AI начнёт сама обучать языковые модели с нуля. Серию Sawara (название рабочее) главный учёный компании Такуя Акиба представил 26 октября на симпозиуме в Токио. Первую модель, небольшую Sawara Small, начнут обучать в декабре. Если всё пойдёт гладко, весной 2027 года Sakana опубликует её веса — обученные параметры, с которыми модель смогут запускать и дообучать другие разработчики.

Почему это важно: до сих пор Sakana брала готовые чужие модели и подстраивала их под себя. Теперь она с первого этапа сама решит, на чём и как учится её модель. Этот этап называют предобучением: на нём модель с нуля осваивает огромные массивы текста. Namazu, например, — открытые модели других разработчиков, которые Sakana дообучила для японских пользователей: ослабила в них геополитическую предвзятость и улучшила понимание японской культуры.

Детали: Sawara не строят на основе чужих моделей, поэтому данные и методы обучения Sakana контролирует полностью. Модель с самого начала рассчитывают на работу агентом — чтобы она сама выполняла задания из многих шагов. По ходу рассуждений ей предстоит вызывать внешние программы, писать код и вести долгие задачи. Ей отводят две роли — основы продуктов Sakana и площадки для исследований рекурсивного самосовершенствования, в которых ИИ помогает улучшать сам ИИ. За Sawara Small компания планирует модель крупнее, Sawara Large. Подробностей пока мало: модель ещё в разработке, признал Акиба.

Между строк: открывая симпозиум, глава Sakana Дэвид Ха повторил свой тезис из соцсетей: фундаментальные модели — «один из самых быстро обесценивающихся финансовых активов в истории человечества». Для основателя компании, которая делает такие модели, это, по его словам, серьёзная проблема. Ха убеждён, что развитие ИИ не сводится к наращиванию вычислений и данных: «Интеллект рождается из ограничений». Предобучение он назвал последней из трёх опор ИИ-суверенитета Японии. Две другие — дообучение под японские ценности и сочетание своих моделей с чужими.

Если шире: Акиба считает гонку языковых моделей прежде всего соревнованием исследований. Он ссылается на оценку Epoch AI¹: у OpenAI на финальные запуски обучения пришлось лишь около 10% вычислительных мощностей, потраченных на исследования и разработку, остальное ушло на пробы и ошибки. Поэтому прогресс, по Акибе, — это мощности, умноженные на исследовательскую эффективность, то есть на то, сколько команда узнаёт из каждого эксперимента. Следующую версию Sawara, возможно, будут разрабатывать уже с помощью самой Sawara. Акиба называет это «частичным» самосовершенствованием.

Расклад: Sawara делает одна из трёх команд RSI Lab — лаборатории, которую Sakana открыла в июне. Две другие занимаются моделями мира и самосовершенствованием. Ха описывает замысел так: языковая модель и модель мира вместе решают трудные задачи, а ИИ-учёный Sakana — система, которая автоматизирует исследования, — улучшает обе. По его словам, это почти схема из давних статей Шмидхубера, где агент состоит из «контроллера» и модели мира.

Как это работает: в роботах быстрая небольшая модель, понимающая картинки и текст, предлагает планы действий. Модель мира предсказывает их последствия на несколько шагов вперёд и отсеивает неудачные, так что на настоящем роботе пробуют лишь немногие. Первый опыт Sakana провела вместе с японской Ассоциацией ИИ-роботов (AIRoA). Управляющей модели руки-манипулятора Franka в симуляции раз за разом показывали её неудачи, и она научилась открывать ящик и класть в него предметы. Проверить её на настоящем роботе — следующий шаг.

Общая картина: Юрген Шмидхубер², выступивший с основным докладом, считает, что по-настоящему хорошо пока работает только ИИ «за экраном». Сверхчеловеческие шахматисты и математики там есть, а робота, который справился бы с работой сантехника или электрика, нет. Физический ИИ³, по его словам, «пока никому не принадлежит». Шмидхубер надеется, что первенство в нём возьмут сильные в робототехнике Япония и Германия.

Но: быстрых результатов Шмидхубер не обещает. Компьютеры, напомнил он, каждые пять лет дешевеют в 10 раз, а сами роботы развиваются не так быстро. Неплохие шагающие роботы были в Японии ещё 30 лет назад. Нынешние, считает Шмидхубер, «может быть, в три-пять раз лучше, а не в миллион раз»; в чём именно, он не уточнил. «Физический ИИ — медленная игра», — сказал он в беседе с Ха.

В сентябре Шмидхубер стал главным научным советником Sakana. На симпозиуме, где компания показывала свои планы после его прихода, собралось больше 400 человек.