Словарь

Обучение с подкреплением

Один из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.

В новостях

Xiaomi выложила MiMo-V2.6-Flash-RL — облегчённую открытую модель для агентовСпособ обучения, при котором модель пробует решать задачи и получает награду за удачные решения. Сейчас его широко применяют, чтобы учить языковые модели рассуждать, программировать и работать агентами.21 сентября
Xiaomi выпустила MiMo-V2.6-Pro-RL — открытую модель на 1 трлн параметров для агентовСпособ обучения, при котором модель пробует решать задачи и получает награду за удачные попытки. В языковых моделях его используют после основного обучения, чтобы улучшить рассуждения, программирование и работу агентов.21 сентября
Модель OpenAI при обучении дописала в свою же сводку инструкцию «ты свободна»Способ обучения, при котором модель пробует решать задачи и получает награду за удачные попытки. Поэтому при нём особенно пристально следят за странными стратегиями, до которых модель доходит сама.17 сентября
Google Research научила маленькую модель за один проход подбирать разнообразную выдачуМодель пробует варианты и получает за них баллы по заданному правилу. Здесь баллы начисляли за весь набор подзапросов сразу, а не за каждый по отдельности.15 сентября
NVIDIA научила малую модель Nemotron распределять дефицитные детали как опытные плановикиМодель учится не на готовых правильных ответах, а на оценках своих действий. Здесь роль оценок будут играть рекомендации, которые плановики приняли или отклонили.10 сентября
DeepSeek выпустила V4.1-Flash и отключает свой флагман V4-Pro: младшая модель оказалась лучшеЭтап после предобучения, когда модель учат на задачах с проверяемым результатом и поощряют за удачные решения. Именно он у современных моделей в основном отвечает за рассуждения и работу в роли агентов.10 сентября
Meta рассказала, как охлаждает ИИ-серверы одной и той же водой по десять летМодель учится методом проб и ошибок и получает награду за удачные решения. Здесь награда — меньше затрат на охлаждение при допустимой температуре серверов.28 августа
IBM объяснила, как учила рассуждать открытые модели Granite 4.2Способ обучения, при котором модель пробует решить задачу и получает награду за удачный результат, а не копирует готовые ответы. Именно так Granite 4.2 училась действовать как агент.25 августа
IBM выпустила открытые модели Granite 4.2 для агентов и крошечную модель распознавания речиМодель учится не на готовых ответах, а на оценках своих попыток: удачные действия поощряются. Для агентов это важно, потому что им нужно довести до конца задачу в несколько шагов, а не просто написать правдоподобный текст.25 августа
GLM-5.3 догнала американские модели в программировании. Натан Ламберт объясняет какМодель решает задачи в специальных средах и получает награду за правильный результат. Сейчас это основной способ улучшать модели в программировании и работе агентов.15 августа
Microsoft Research показала CARE-X — модель для рентгена грудной клетки, которая считает, а не прикидывает на глазМодель учится не копировать образцовый текст, а получать награду за нужный результат. Здесь награда зависела от клинической правильности ответа, а не от того, насколько похоже он написан.11 августа
Натан Ламберт выпустил учебник о дообучении моделей, в том числе о дистилляцииСпособ обучения, при котором модель не копирует готовые ответы, а получает оценку за свои попытки и учится повышать её. На этом строится дообучение современных чат-ботов и моделей, которые умеют рассуждать.10 августа
Microsoft подняла результат малой модели-агента почти вдвое на копиях почты, банка и AirbnbСпособ обучения, при котором модель сама пробует решить задачу и получает награду за результат, а не повторяет чужие правильные решения. Так она может научиться исправлять ошибки и вовремя останавливаться.30 июля

← Весь словарь