Grok 4.7 возглавила юридический тест Harvey с проверкой на галлюцинации

Artificial Analysis¹ и юридический стартап Harvey² изменили подсчёт в тесте ИИ-агентов на юридической работе: задачу засчитывают, только если в документах нет ошибок, способных ввести юриста в заблуждение. Первой по новым правилам стала Grok 4.7 от SpaceXAI, и Илон Маск написал в соцсети X, что модель «лидирует в юридических вопросах».

Почему это важно: проверка показала, что ответ, который соответствует всем критериям, не обязательно верен. Больше 60% работ, которые засчитали бы по прежним правилам, содержат существенную галлюцинацию³.

Как это работает: в тесте 120 неопубликованных задач из 24 областей права — от слияний и поглощений до налогов и банкротств. Работу оценивают три модели-судьи⁴ по списку критериев, а отдельная проверка сверяет её с исходными документами задачи. При запуске в июле судья был один, в обновлении сменился и набор задач.

Ошибки делят на два вида:

• Существенная вводит читателя в заблуждение по сути дела — например, если модель неверно указала срок, установленный договором, — и обнуляет задачу.
• Мелкая — настоящая ошибка, которая вряд ли изменит юридическое толкование документа; её показывают отдельно, на итоговый балл она не влияет.

В цифрах: первые места по доле задач, выполненных без единой существенной галлюцинации:

• Grok 4.7 от SpaceXAI выполнила 9,4% задач, одна задача обошлась ей примерно в 9,50 доллара.
• Muse Spark 1.3 от Meta* выполнила 8,9% задач при цене около 4,20 доллара за задачу.
• GPT-6 Astra от OpenAI выполнила 8,6% задач и почти не потеряла баллов на проверке.
• Самая дорогая модель, Claude Fable 5.1 от Anthropic, стоит около 21,70 доллара за задачу и, по таблице Artificial Analysis, выполнила 6,4%.

Детали: без проверки на галлюцинации тест уверенно выиграла бы Muse Spark 1.3 с 26,7% полностью выполненных задач. Но в двух третях этих работ нашлась хотя бы одна существенная галлюцинация.

Интрига: меньше всех выдумывают модели GPT-6. У GPT-6 Astra четыре существенные галлюцинации на все 120 задач, поэтому её результат снизился лишь с 8,9% до 8,6%, а сама она поднялась с 10-го места, которое делила с другими, на третье. Её работы на 20 задачах проверили шесть разных моделей, включая Claude Opus 5.5, и ни одна не нашла существенных ошибок. Для сравнения: Gemini 3.8 Flash, одна из тестируемых моделей, сама допускает в среднем почти 14 существенных галлюцинаций на задачу.

Но: Grok 4.7 опережает второе место на полпункта. В версии того же теста Harvey, которую ведёт компания Vals AI и где считают долю полностью выполненных задач, на 7 октября Grok 4.7 стояла десятой с 12,5%, а первые четыре места занимали разные версии Muse Spark.

Что дальше: авторы называют обновление первым шагом. Вместе с Harvey они хотят учесть и другое, что ценят юристы, например стиль и тон документов.

Так уже было: 28 сентября Маск так же похвалил первое место Grok 4.7 в рейтинге киберзащиты Artificial Analysis, хотя это место она делила с моделью Xiaomi.