Модель Skild AI S1 учит робота новой задаче по одному видео, без переобучения

Стартап Skild AI выпустил S1 — базовую модель для роботов. Она берётся за новую задачу, если посмотрит одно видео, где эту задачу выполняет человек. Дообучать модель под каждое дело не нужно. Для заводов и складов это важно: там постоянно меняются изделия, планировка и операции, и обычного робота после каждой перемены приходится перепрограммировать.

Работает это так. Оператор снимает, как выполняется задача, и отдаёт видео модели вместо запроса. S1 разбирает, какие предметы участвуют, в каком порядке идут действия и какова цель. Затем она переводит всё это в движения того робота, которым управляет. Веса модели при этом не меняются — такой приём называют обучением в контексте. Задачи могут длиться до 10 минут и состоять из десятков шагов: посадить растение в горшок, испечь блины, сварить кофе в воронке, собрать комплект деталей. В одном тесте с пересадкой растения от записи видео до работы робота прошло 11 минут.

Скептик заметит, что все цифры получены на тестах самой Skild. На новых многошаговых задачах S1 справлялась с каждым шагом примерно в 66% случаев. Похожая система, которую взяли для сравнения, — в 9%. По оценке компании, одно короткое видео заменяет около 380 обучающих примеров, которые человек собирал бы вручную 50–100 часов.

«Обучение на опыте, а не заранее написанная программа — вот что изменилось в робототехнике», — говорит сооснователь и глава Skild AI Дипак Патак (Deepak Pathak).

Обучали и проверяли S1 на инфраструктуре NVIDIA. Симуляции строили в Isaac Sim и Isaac Lab, а модели NVIDIA Cosmos размножали и размечали обучающее видео. Компании вместе делают для физического движка Newton новые модули: они считают, как робот касается предметов и берёт их в руки. Позже эти модули станут доступны всем разработчикам. Уже есть и работа на реальном заводе: вместе с Foxconn двурукие роботы под управлением Skild Brain собирают серверы NVIDIA Blackwell. В показанном примере робот ставит шину питания и ограничитель, закручивает 16 винтов и не сбивается, если ему мешают.

Годовая выручка Skild вышла на уровень 100 млн долларов через 10 месяцев после первого коммерческого запуска. Партнёров, у которых работают её роботы, больше 60: это производство, логистика, охрана, приготовление еды.