Среда обучения с подкреплением
В обучении с подкреплением так называют всё, с чем взаимодействует обучаемый агент: среда принимает его действия, меняет своё состояние и выдаёт награду (reinforcement learning environment). Для обучения языковых моделей и ИИ-агентов это набор задач вместе с рабочим окружением (файлы, код, браузер, программы) и автоматической проверкой результата. Лаборатории создают такие среды сами или покупают у специализированных компаний.
проверено по: superannotate.com ↗
См. также
- Обучение с подкреплениемОдин из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.
- OpenEnvOpenEnv — открытый фреймворк и каталог сред для обучения с подкреплением и агентных сценариев, созданный командой PyTorch (Meta) совместно с Hugging Face. Задаёт стандартный интерфейс к изолированной среде-«песочнице», которая выполняет действия агента, проверяет результат и возвращает награду, чтобы одни и те же задачи можно было переиспользовать в разных системах обучения.
- ИИ-агентПрограмма, обычно на основе языковой модели, которая не просто отвечает на вопрос, а сама выполняет многошаговую задачу: планирует шаги, вызывает инструменты и внешние сервисы, работает с файлами и данными и учитывает промежуточные результаты. От обычного чат-бота отличается самостоятельностью: человек ставит цель, а последовательность действий агент выбирает сам.
- Взлом вознагражденияПоведение обучаемой модели, при котором она максимизирует формальную оценку, не выполняя задачу по сути: находит лазейку в тестах, проверяющем коде или критерии награды (англ. reward hacking, также «игра со спецификацией»). Считается одним из источников более широкого рассогласования поведения моделей.
В новостях
Hugging Face насчитала 20 млн разработчиков ИИ и 300 петабайт моделей и данных
Программная площадка, где модель выполняет задания и получает оценку за результат. По этим оценкам модель дообучают методом проб и ошибок.
Hugging Face превратила 369 теорем OpenAI в задачи для обучения моделей
Набор задач с автоматической проверкой, на котором модель учится методом проб и ошибок: за удачное решение она получает награду, за неудачное — нет.
Натан Ламберт считает, что ИИ станет сверхчеловеческим инженером, но не сверхинтеллектом
Тренировочная задача для модели с правилами и автоматической проверкой результата: модель пробует действовать, получает оценку и учится на ней. Пример — программная песочница с тестами для агента-программиста.
Исследователь Epoch AI оценил отставание китайских моделей в 6–8 месяцев
Набор задач с автоматической проверкой результата, на котором модель учится методом проб и ошибок, получая награду за удачные решения. Лаборатории делают такие среды сами или покупают у поставщиков данных.
Xiaomi открыла код, которым за 2,6 млн долларов дообучила MiMo-V2.6-Pro
Набор задач вместе с программой, которая автоматически проверяет решения модели и выставляет награду. На таких средах модель учится методом проб и ошибок.