Институт Ai2 рассказал, как LitPivot помогает учёным сверять идею со статьями

Некоммерческий Институт искусственного интеллекта Аллена (Ai2) вместе с Пенсильванским университетом рассказал о LitPivot — системе, которая на ранней стадии исследования подбирает статьи к каждой части научной идеи, указывает по ним на слабые места и предлагает правки.

Почему это важно: Большинство инструментов для учёных работают с неподвижной подборкой: одни помогают разобраться в готовом наборе статей, другие оценивают идею по заранее собранному списку. В LitPivot подборка следует за идеей: после правки исследователь может пересортировать статьи под новую версию или запросить новые.

Повод: Препринт¹ о LitPivot вышел на arXiv ещё в апреле, последняя версия — 22 сентября. Сейчас Ai2 подробно описал систему в блоге: работу покажут на конференции UIST², которая пройдёт 2–5 ноября в Детройте.

Как это работает: Исследователь пишет короткий черновик, а система делит его на три части: проблему, вклад автора и план проверки. Статьи она берёт из поисковика Asta Paper Finder³. Работа идёт по кругу:

• Исследователь выбирает одну из частей, и соседняя панель группирует статьи по общим темам — например, по методам оценки, если выбран план проверки.
• Он отмечает, на какие статьи опираться, и просит оценку. Для вклада, например, система сверяет, что в этих работах уже сделано, с ограничениями и задачами на будущее, которые назвали их авторы, и ищет, что осталось нерешённым.
• LitPivot предлагает переписать фрагмент и прикладывает цитаты, на которых держится критика. Правку можно принять, изменить или отклонить.
• После правки исследователь может кнопкой заново отсортировать статьи под новую версию, а части черновика, которые с ней разошлись, система подсвечивает.

Детали: Один участник начал с замысла генерировать непротиворечивые и точные синтетические врачебные записи. LitPivot указал на возможный пробел в выбранных статьях — согласованность записей о нескольких визитах пациента в больницу. Участник убрал работы о записях одного визита и после новой оценки сузил замысел до поиска противоречий между записями разных визитов.

В цифрах: 17 исследователей доработали по одной заданной идее с LitPivot и по одной — в текстовом редакторе с ИИ-чатом для вопросов по статьям. Набор статей в обоих случаях был одинаковым.

• Два эксперта, не знавшие, каким инструментом пользовался автор, оценивали одно: насколько идея опирается на подходящие работы.
• Идеи, доработанные с LitPivot, эксперты сочли статистически значимо лучше обоснованными.
• С LitPivot участники выбрали значимо больше разных статей и, по их словам, лучше поняли круг работ по теме.
• Пятеро из этих 17 потом по 30 минут работали с системой над своими проектами: двое проверяли новые идеи, трое уточняли постановку уже зрелых.

Интрига: «Поворотом, вызванным литературой» авторы называют случай, когда прочитанная статья заставляет исследователя сменить направление идеи. В заметках с совещаний четырёх завершённых проектов по информатике они нашли 21 такой поворот. Сама работа о LitPivot меняла направление дважды, прежде чем авторы определились с вкладом.

Но: В опытах участвовали всего 17 человек, а эксперты оценивали только опору на литературу. О том, что идеи стали новее и полезнее, сообщали сами участники. Откроют ли LitPivot для всех, Ai2 не сообщает.

Если шире: LitPivot продолжает работу Ai2 над ИИ для науки. В сервисе Asta⁴ уже есть инструменты, которые выводят теории из опубликованных результатов и проверяют гипотезы на данных. В начале октября институт выложил там открытую модель AstaBrief для отчётов по научным статьям. В посте в соцсети X Ai2 подаёт LitPivot как переход от помощи в поиске и обобщении статей к тому, чтобы с их помощью «оспаривать, уточнять и развивать новые идеи».