Legal Research Bench
Бенчмарк компании Vals AI, который проверяет ИИ-агентов на реалистичных задачах юридического исследования по федеральному праву и праву штатов США. Агент с помощью поиска по судебной практике, веб-поиска и извлечения документов находит законы и прецеденты, применяет их к обстоятельствам дела и даёт обоснованный ответ. Вопросы требуют многошагового правового рассуждения, а не простого поиска.
проверено по: vals.ai ↗
См. также
- Vals AIАмериканская компания, которая независимо оценивает языковые модели и ИИ-агентов на прикладных отраслевых задачах: в праве, финансах, медицине, программировании и других областях. Бенчмарки она собирает вместе с практикующими специалистами и публикует открытые рейтинги моделей. Этим она отличается от академических тестов и от результатов, которые публикуют сами разработчики моделей.
- LegalBenchОткрытый бенчмарк, проверяющий юридические рассуждения больших языковых моделей. Его собрали исследователи под руководством Стэнфордского университета вместе с юристами, которые сами придумывали и составляли задачи. Задачи делятся на шесть типов юридических рассуждений: нужно, например, найти правовую проблему, вспомнить или применить норму, истолковать договор или закон, разобрать аргументацию судебного решения.
- PLawBenchБенчмарк, проверяющий, как языковые модели справляются с реальной юридической практикой в Китае. Задачи повторяют работу юриста на трёх уровнях: выяснить у клиента недостающие факты на консультации, проанализировать дело, составить процессуальный документ (например, иск или возражение на иск). Ответы оценивают не по одному эталону, а по подробным критериям, которые составили юристы; обычно оценку выставляет модель-судья.
- Harvey LABОткрытый бенчмарк (Legal Agent Benchmark) юридической ИИ-компании Harvey. Он проверяет, как ИИ-агенты справляются с долгой работой юристов юридических фирм и корпоративных юридических отделов. Агент получает материалы дела в изолированной среде и готовит итоговые документы: меморандумы, правки договоров, документы для суда. Задачу засчитывают, только если результат прошёл все пункты проверки, составленной практикующими юристами. Этим он отличается от тестов на короткие задачи юридического рассуждения вроде LegalBench.
- WestlawОнлайн-сервис Thomson Reuters для юридических исследований. Это базы судебных решений, законов, подзаконных актов, юридических журналов и комментариев, а также инструменты для проверки ссылок на прецеденты и функции на основе ИИ. Один из главных рабочих инструментов американских юристов; основной конкурент — LexisNexis.
В новостях
OpenAI представила Astra for Law — версию GPT-6 Astra для юристов
Бенчмарк компании Vals AI. Проверяет, как ИИ-агент ищет законы и судебную практику США и отвечает на сложные вопросы, которые составили практикующие юристы.