Skild AI выпустила модель S1, которая учит робота задаче по одному видео
На многошаговых задачах, которых робот раньше не видел, S1 успешно выполнила около 66% шагов, а похожая система — 9%. Модель обучали на инфраструктуре NVIDIA.
Стартап Skild AI в начале сентября выпустил S1 — модель, которая управляет роботом. Чтобы научить робота новой задаче, оператор снимает видео и передаёт его модели вместо запроса. Переобучать модель при этом не нужно, рассказала NVIDIA в своём блоге.
Такой подход называется обучением в контексте. Модель смотрит на пример и повторяет его, а её веса не меняются. Из ролика S1 понимает, что человек хотел сделать, какие предметы участвуют и в каком порядке идут шаги. Потом она переводит это в движения конкретного робота. По данным NVIDIA, часто это удаётся даже с задачами, которых не было в данных для обучения модели.
«Обучение на опыте, а не заранее написанная программа — вот что по-настоящему изменилось в робототехнике», — сказал сооснователь и глава Skild AI Дипак Патхак.
Skild AI из Питтсбурга делает общую модель-«мозг» для роботов разных типов. По данным NVIDIA, выручка стартапа достигла $100 млн в годовом исчислении через 10 месяцев после первого коммерческого внедрения. У компании больше 60 партнёров по внедрению. Среди них заводы, склады, охрана, инспекция и приготовление еды.
S1 берётся за незнакомые задачи длиной до 10 минут. Например, пересаживает растение в горшок, печёт блины, заваривает кофе в воронке и собирает комплекты деталей. В одном испытании команда потратила 11 минут на всё: от съёмки демонстрации с пересадкой растения до того, как робот выполнил её сам. Если предмет сдвинули, модель подстраивается. Если робот ошибся, она исправляет ошибку.
Skild провела тесты на новых многошаговых задачах. S1 справилась примерно с 66% шагов, а похожая ИИ-система — с 9%. Какую систему взяли для сравнения, в блоге не уточняется. Ещё Skild подсчитала, что одно короткое видео даёт роботу столько же, сколько примерно 380 демонстраций вручную. Чтобы записать их, человеку понадобилось бы 50–100 часов.
Модель Skild Brain уже работает на заводе. Skild, NVIDIA и Foxconn ставят её на двуруких роботов, которые собирают серверы NVIDIA Blackwell. В одном из показанных процессов робот устанавливает шину питания и ограничительный блок, закручивает 16 винтов и справляется с помехами.
Для обучения Skild берёт у NVIDIA симулятор Isaac Lab1 и модели NVIDIA Cosmos2. NVIDIA Cosmos размечает видео и делает обучающие данные разнообразнее. Вместе компании разрабатывают программы, которые на видеокартах быстро рассчитывают, как робот касается предметов и берёт их в руки. Эти программы войдут в открытый физический движок Newton3.