BABILong
Бенчмарк для проверки того, как языковые модели рассуждают над очень длинным контекстом. Задачи на рассуждение из набора bAbI (цепочки фактов, индукция, дедукция, подсчёт и др.) прячут в длинных текстах книг из корпуса PG19, а длину текста можно наращивать до миллионов токенов. В отличие от простого поиска «иголки в стоге сена», модель должна не только найти нужные факты, разбросанные по тексту, но и связать их между собой; бенчмарк создан исследователями AIRI, DeepPavlov и Лондонского института математических наук.
проверено по: github.com ↗
См. также
- MRCRMRCR (Multi-Round Coreference Resolution) — тест на работу с длинным контекстом: в длинный синтетический диалог помещают несколько почти одинаковых фрагментов, и модель должна вернуть именно указанный по счёту. В отличие от классического «поиска иголки в стоге сена», отвлекающие фрагменты неотличимы от искомого, что делает задачу сложнее.
- LongMemEvalБенчмарк для проверки долговременной памяти чат-ассистентов: вопросы к модели встроены в длинную историю прошлых диалогов с пользователем. Проверяет пять умений: извлечь нужный факт, связать сведения из разных сессий, рассуждать о времени, учесть обновлённые данные и отказаться отвечать, если нужной информации нет.
- Контекстное окноМаксимальный объём текста в токенах, который языковая модель может обработать за один раз. В него входят запрос, приложенные документы, история диалога и сам ответ модели. Если текст не помещается, часть приходится обрезать или сжимать. От размера окна зависит, сколько кода или документов можно дать модели разом.
- Институт искусственного интеллекта AIRIИнститут искусственного интеллекта AIRI — московская автономная некоммерческая организация, которая ведёт фундаментальные и прикладные исследования в области ИИ. Фундаментальные работы касаются в первую очередь больших языковых и мультимодальных моделей, прикладные — медицины, естественных наук, новых материалов и промышленности. Совместные лаборатории институт создаёт с университетами и индустриальными партнёрами.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Google Research рассказала, как «сон» помогает моделям запоминать новое
Бенчмарк, который проверяет, умеет ли модель находить и связывать факты, разбросанные по очень длинному тексту: короткие задачи прячут в большом массиве посторонних текстов.