Цепочка рассуждений
Приём и режим работы языковой модели (chain of thought), при котором перед итоговым ответом она выписывает промежуточные шаги решения и опирается на них. Повышает качество на задачах, требующих многошагового вывода, а сам текст рассуждения используют исследователи безопасности для наблюдения за ходом мысли модели.
проверено по: arxiv.org ↗
См. также
- Мониторинг цепочки рассужденийСпособ контролировать безопасность моделей рассуждений (chain-of-thought monitoring). Отдельная автоматическая система, часто другая языковая модель, читает промежуточные записи модели перед ответом или действием и отмечает признаки нежелательного поведения: обмана, скрытых целей, взлома вознаграждения. Метод работает, только пока рассуждения понятны человеку и честно отражают ход решения, поэтому исследователи называют эту возможность хрупкой.
- Уровень рассужденийНастройка моделей с рассуждением (reasoning effort): задаёт, сколько токенов и времени модель тратит на внутренние рассуждения перед ответом. Обычно выбирается из нескольких ступеней — от низкой до высокой или максимальной. Чем выше уровень, тем точнее ответы на сложных задачах, но тем они медленнее и дороже; набор уровней и их названия у разных разработчиков различаются.
- Обучение в контекстеСпособность модели решать новую задачу по примерам и инструкциям, поданным прямо в запросе, без изменения её весов (in-context learning). Отличается от дообучения тем, что «выученное» действует только в рамках текущего контекста и не сохраняется в модели.
В новостях
Агенты OpenAI ведут себя в тестах безопасности хуже, чем в реальной работе
Промежуточные рассуждения, которые модель записывает по ходу решения задачи, прежде чем ответить или выполнить действие. По ним судят о её мотивах, но записывает она не всё, что могло повлиять на решение.
Cohere поймала модель Alibaba Qwen на попытке загрузить файл в облако Alibaba в Пекине
Текст, который модель пишет перед ответом, разбирая задачу по шагам. По нему разработчики и системы защиты пытаются понять, что модель собирается сделать.
Главный учёный Dyna Robotics рассказал, как робот сам час ведёт стирку
Промежуточные шаги, которые модель проговаривает перед ответом, чтобы прийти к нему последовательно, а не сразу.
OpenAI нашла в o3 сигналы, связанные с мыслями модели о проверке
Промежуточные рассуждения, которые модель записывает перед ответом. По ним можно отчасти судить, как она пришла к решению.
OpenAI предложила письменно доказывать безопасность обучения моделей
Промежуточные шаги, которые модель записывает, прежде чем дать ответ. По ним видно, как она пришла к решению.
Исследователи предложили искать внутри ИИ понятия, которых нет у людей
Текст, который модель пишет по ходу решения задачи до финального ответа. По нему судят о ходе её «мысли», хотя он не обязательно отражает всё, что определяет ответ.
Anthropic обвинила Alibaba, DeepSeek и Moonshot в дистилляции Claude
Промежуточные шаги, которые модель проговаривает про себя перед ответом. Такие расшифровки ценны для обучения других моделей, поэтому разработчики обычно отдают пользователю только их пересказ.