NVIDIA рассказала, как модели Cosmos имитируют мир для машин и роботов
NVIDIA подробно описала четыре открытые модели Cosmos 3 Nano. По действиям беспилотной машины или робота они генерируют то, что увидят их камеры и датчики.
тема · 30 новостей за 60 дней
Роботы и модели, которые ими управляют, в том числе человекоподобные.
NVIDIA подробно описала четыре открытые модели Cosmos 3 Nano. По действиям беспилотной машины или робота они генерируют то, что увидят их камеры и датчики.
По данным Ai2, модель для роботов MolmoAct 2 без дообучения под задачи испытаний уступила лишь GPT-6 Astra в тестах на роботизированной руке Franka.
Аппаратная часть робота за 1 000 долларов во многом готова около двух лет, но программисты Apple просят отсрочку и меньше функций, пишет The Information.
Раньше Sakana AI только дообучала чужие модели. Теперь она обучит свою с нуля и весной 2027 года рассчитывает выложить веса небольшой Sawara Small — обученные параметры, с которыми её смогут запускать и дообучать другие разработчики.
Dulo, которую Трун основал вместе с Адрианом Ауном, делает ИИ-модели для проектирования оборудования. По данным The Information, в неё вложились Эрик Шмидт и Джон Дорр.
По данным Bloomberg, оценка Physical Intelligence, которая делает ИИ для роботов и пока не зарабатывает, может почти удвоиться: с 11,5 до 20 млрд долларов.
Новые шаблоны Cosmos, платформы NVIDIA для моделей, имитирующих реальный мир, создают синтетические видео редких событий и снимки дефектов, а версии модели Cosmos 3 Nano позволяют проверять беспилотники и роботов в симуляции.
Tesla начала собирать первых серийных роботов Optimus, а пробег её роботакси без надзора за квартал вырос в восемь раз, почти до 2 млн миль.
Глава Hugging Face Клеман Деланг сообщил, что двуногого робота-утку за 399 долларов, спроектированного во Франции, купили больше 15 000 раз.
Генеративный симулятор NVIDIA обучен на записях настоящих операций, в реальном времени откликается на команды с хирургического пульта и работает на одной видеокарте, но для лечения пациентов не проверен.
Фонды a16z и F-Prime Capital вложили 150 млн долларов в стартап профессора MIT, чей робот берёт предметы не только по картинке с камеры, но и на ощупь, по датчикам силы, пишет TechCrunch.
Правительство Германии и NVIDIA подписали соглашение о совместной работе над моделями для роботов и заводов, а NVIDIA объявила о вложениях в четыре немецких стартапа.
По данным Bloomberg, основатель SoftBank Масайоси Сон хочет со временем передать роботам часть работы охранников Allied Universal; с долгом сделка может стоить до 30 млрд долларов.
Модель Dyna-2 сначала предсказывает, что робот увидит дальше, и только потом выбирает движение. Чтобы освоить новое дело, ей хватает записей длиной от десятков минут до пары часов, где человек выполняет задачу, управляя роботом.
В слепом сравнении 5 494 пар роликов с настоящими роботами люди чаще всего выбирали MolmoAct 2, и порядок моделей совпал с тем, как часто они выполняли задания в испытаниях самой Ai2.
Модель общего назначения от Google по видео, фото и даже наброску строит физическую симуляцию, репетирует в ней движения робота и готовит данные для обучения.
По данным Bloomberg, DeepSeek станет главным инвестором в раунде финансирования Winverse AI — стартапа бывшего учёного Tencent, который делает ИИ для роботов, — при оценке около 400 млн долларов.
Производитель роботов-манипуляторов Standard Bots держит ИИ-модели небольшими, запускает их прямо в цехе и исправляет редкие сбои несколькими десятками примеров с заводов.
Reality Check — новый независимый тест: четыре модели управляют настоящими роботами, всего 14 400 запусков. Институт Ai2 сообщил, что первой по общей доле выполненных заданий стала его MolmoAct 2, дополнительно обученная под задачи теста.
Челси Финн и Перри Дун из Стэнфорда считают, что надёжными роботов сделает общий для отрасли рецепт дообучения на собственном опыте, а его пока нет.
Sakana AI и Токийский университет дали модели Google для роботов пробовать движения в симуляторе и править их по видео: среди 45 вариантов удачный находится в 73% случаев, с одной попытки — в 25%.
Юрген Шмидхубер, один из основоположников нейросетей, будет консультировать токийский стартап, который делает модели физического мира. Прежние должности он сохранит.
Модель на 7 млрд параметров по кадрам с камер и текстовой команде выдаёт движения робота и заодно предсказывает, что камера увидит дальше.
В руководстве NVIDIA сцену с роборукой SO-101 переносят из MuJoCo в MJWarp. Там один вызов продвигает на шаг все копии сцены сразу.
По замерам Microsoft, роботы, чьи модели работают на внешних видеокартах, чаще справляются с задачами и дольше работают от батареи.
В бесплатном открытом наборе NVIDIA для разработчиков роботов появились навыки, с которыми ИИ-агенты помогают настроить роботу зрение и захват предметов.
Управляя роботом в тесте Robocurve, GPT-6 Astra отклонила 2 опасные команды из 100, а Claude Fable 5.1 — 20, и все они касались удара куклы ножом.
Камера в ладони протеза распознаёт предмет, и рука сама подбирает хват. Чтобы научить её новому предмету, хватает нескольких фотографий.
В коротком посте он заявил, что щедрые социальные выплаты вместе со свободной иммиграцией разорят любую страну, а «всеобщий высокий доход» возможен только благодаря ИИ и робототехнике.
На многошаговых задачах, которых робот раньше не видел, S1 успешно выполнила около 66% шагов, а похожая система — 9%. Модель обучали на инфраструктуре NVIDIA.