τ-Knowledge

Бенчмарк компании Sierra для проверки диалоговых ИИ-агентов, которые работают с большой неструктурированной базой знаний. Агент поддержки клиентов вымышленного финтех-банка ведёт многоходовый разговор с клиентом: ищет нужное во множестве связанных внутренних документов (регламентов, описаний продуктов, инструкций) и по ним меняет данные счёта с помощью инструментов. В отличие от исходного τ-bench, где агенту сразу дают все нужные правила, здесь поиск информации и действия проверяются вместе; бенчмарк вошёл в набор τ³-bench.

проверено по: arxiv.org ↗