Best-of-N
Приём генерации, при котором модель выдаёт на один запрос N вариантов ответа, а затем выбирается лучший по оценке модели вознаграждения, верификатора или другой метрики. Веса модели при этом не меняются — это способ повысить качество за счёт дополнительных вычислений при инференсе; в отличие от голосования большинством, ответ выбирают по внешней оценке, а не по частоте.
проверено по: arxiv.org ↗
См. также
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- Обучение с подкреплениемОдин из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.
- Поиск по дереву методом Монте-КарлоЭвристический алгоритм поиска решений (Monte Carlo tree search, MCTS), чаще всего в играх. Он постепенно строит дерево возможных ходов, оценивает варианты случайными доигрываниями до конца и чаще развивает ветви, которые уже дали хороший результат, но оставляет место и для проверки новых. В отличие от полного перебора (например, минимакса), он не просматривает все ветви. Прославился благодаря программам для игры в го, включая AlphaGo, и также применяется в планировании.
В новостях
Google Research в 12–20 раз ускорила разбор сложных поисковых запросов
Приём, при котором модель генерирует несколько вариантов ответа, а затем из них выбирают лучший по заданной оценке.