SEAL
SEAL (Self-Adapting Language Models — «самоадаптирующиеся языковые модели») — метод исследователей MIT, при котором языковая модель сама пишет себе «самоправки»: синтетические учебные данные и указания для дообучения, например гиперпараметры, а затем дообучается на них и меняет собственные веса. Писать полезные самоправки модель учится с помощью обучения с подкреплением: награду даёт качество обновлённой модели на целевой задаче. В отличие от обучения в контексте, новые знания сохраняются в весах модели, а не только в текущем запросе.
проверено по: arxiv.org ↗
См. также
- Обучение в контекстеСпособность модели решать новую задачу по примерам и инструкциям, поданным прямо в запросе, без изменения её весов (in-context learning). Отличается от дообучения тем, что «выученное» действует только в рамках текущего контекста и не сохраняется в модели.
- ДообучениеДообучение (fine-tuning) — дополнительное обучение уже готовой, предобученной модели на небольшом наборе данных, чтобы приспособить её к конкретной задаче, области или стилю, не обучая с нуля. Дообучение также входит в более широкий этап постобучения (post-training), на котором из модели, просто продолжающей текст, делают послушного помощника: к нему относятся и обучение на инструкциях, и оптимизация по предпочтениям людей.
- Обучение с подкреплениемОдин из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.
- Веса моделиЧисловые параметры нейросети, прежде всего коэффициенты связей между нейронами, которые подбираются при обучении и хранят всё, чему модель научилась. Код задаёт устройство модели и способ обучения, а веса — результат этого обучения. Если веса опубликованы, модель могут запускать и дообучать и другие компании; большим моделям для этого нужны серверы с дорогими видеокартами.
- Рекурсивное самосовершенствованиеГипотетический процесс, в котором ИИ-система улучшает сама себя или создаёт более сильных преемников, а каждая новая версия делает это всё быстрее (recursive self-improvement, RSI). Этот сценарий связывают с «взрывом интеллекта» и появлением сверхинтеллекта. Пока на практике он не наблюдался, и его вероятность остаётся предметом споров.
- Darwin Gödel MachineИсследовательская система самосовершенствующегося ИИ-агента (DGM) от Sakana AI и Университета Британской Колумбии. Агент для программирования на основе языковой модели сам переписывает свой код. Каждую новую версию проверяют на бенчмарках и сохраняют в растущий архив, из которого по принципу открытой эволюции выбирают основу для следующих вариантов. В отличие от теоретической машины Гёделя Юргена Шмидхубера, изменение принимается не после формального доказательства его пользы, а по результатам проверки на практике.
В новостях
Google Research рассказала, как «сон» помогает моделям запоминать новое
Self-Adapting Language Models — метод исследователей MIT: модель сама пишет себе учебные данные и указания для дообучения и так обновляет собственные веса.