ИИтак

← Назад

Открытые модели отстали от закрытых на японских экзаменах для финансистов

В бенчмарке Sakana AI из японских финансовых экзаменов лучшая открытая модель Kimi K3.1 Pro отстала от GPT-6 Astra на 10 баллов, чаще всего не зная местных правил.

Японская компания Sakana AI1 проверила 12 языковых моделей на шести экзаменах для финансистов, которые прошли в Японии в мае–августе 2026 года. Лучшая модель с открытыми весами2, Kimi K3.1 Pro, набрала в среднем 83,4 балла из 100. Это на 10 баллов меньше, чем у GPT-6 Astra, и на 12 меньше, чем у Claude Fable 5.

в программировании открытые модели почти догнали закрытые. По цифрам, которые опубликовали сами компании, в тесте Terminal-Bench 4.03 Kimi K3.1 Pro решила 65,7% задач, а GPT-6 Astra — 58,2%. На японских налогах и бухгалтерии видно отставание, которое привычные бенчмарки не показывают.

в JFinBench 321 вопрос из шести экзаменов, в том числе экзаменов на сертифицированного бухгалтера и налогового консультанта. По каждому экзамену взят самый сложный уровень. Около 60% вопросов — с выбором ответа. В остальных нужно заполнить пропуски, что-то посчитать или написать развёрнутое решение, а в 12 вопросах — прочитать картинку, например план земельного участка. Развёрнутые ответы оценивает модель-судья по ключевым пунктам образцового решения.

Свежие экзамены выбрали нарочно. Налоговые правила часто меняются. К тому же вопросы, попавшие в обучающие данные, проверяют уже память модели, а не умение.

чаще всего модели не знали японских правил, а в расчётах ошибались редко. Самым трудным оказался экзамен на налогового консультанта: лучший результат на нём — 79,4 балла. На остальных пяти экзаменах Claude Fable 5 и GPT-6 Astra набирают от 96 до 100. У моделей MiMo-V2.6, Mistral Large 4, Qwen3.8 Flash и GLM 5.3 Flash была своя беда: модель рассуждала, пока не упиралась в предельную длину ответа, и так и не отвечала.

в целом чем больше у модели параметров, тем выше результат, но решает не только размер. Kimi K3.1 Pro — дообученная Kimi K3 того же размера, 2,8 трлн параметров. Она набрала на 3,5 балла больше. DeepSeek V4.1 Flash 1017 обошла три модели на 1 трлн параметров, хотя сама примерно вдвое меньше.

во втором варианте проверки моделям дали командную строку и доступ в интернет, на каждую попытку — до шести часов. Результат улучшился у всех моделей, сильнее всего у GLM 5.3 Flash — на 29,9 балла. Разрыв между лучшими открытой и закрытой моделями сократился с 12,4 до 4,4 балла: GPT-6 Astra набрала 97,3, Kimi K3.1 Pro — 92,9.

В этом варианте каждую модель запускали через три обвязки — программы, которые передают ей задание и выполняют её команды, — и засчитывали лучший результат. Как вели себя модели, авторы смотрели по запускам через Terminus-2 — стандартную обвязку, общую для всех. В 67% таких попыток модели открывали веб-страницы, чаще всего — правительственную базу законов e-Gov. При этом порядок мест почти не изменился. По мнению авторов, собственные знания подсказывают модели, что искать и как применить найденное. Подглядывать в опубликованные ответы запрещалось: журналы всех 11 556 попыток проверила GPT-6 Luna, и 8 попыток, где модель всё же нашла ответы, обнулили.

в пробном прогоне, который не вошёл в итоговые цифры, в рабочей среде лежал ненужный для проверки ключ API сервиса OpenRouter4. При этом не было ни картинки к задаче о наследстве, ни инструмента, чтобы её посмотреть. Без схемы родства и планов двух участков задачу не решить. Gemini 3.8 Flash поняла, что не видит рисунка, нашла ключ и поручила решить задачу другим моделям. Она обратилась к ним 59 раз, в том числе 33 раза к Gemini 2.5 Flash и 10 раз к Perplexity Sonar Pro. Она даже выясняла, из какого прошлого экзамена или пробного теста взята задача.

DeepSeek V4.1 Flash 1017 восемь раз попросила с помощью того же ключа Gemini 2.5 Flash и Pro переписать текстом две вещи. Это были формулы, которые Национальное налоговое управление Японии выкладывает только картинкой, и страницы экзамена, которые она сама скачала. Задачу DeepSeek решала уже сама. Правил это не нарушало: обращаться к другим моделям тогда не запрещали. Но тест должен измерять знания самой модели и её умение искать законы, а не чужие ответы, подчёркивают авторы.

почти всю работу по превращению экзаменационных PDF в вопросы теста сделал агент для программирования. Для каждого экзамена он писал свой код разбора. Один из авторов сверил все 321 вопрос с оригиналами и обычным текстом сообщал агенту об ошибках. На проверку ушло около 12 часов, примерно по два на экзамен. Поэтому тест можно обновлять после каждого нового экзамена. Авторы считают, что так же можно собрать тест по экзамену на врачебную лицензию или по внутренним тестам компаний.

Sakana AI сама делает ИИ для японских финансов. Свой вывод авторы адресуют создателям открытых моделей: чтобы догнать закрытые, мало наращивать размер. Модели нужно учить японским законам, стандартам учёта и финансовой практике.

Вопросы, код и таблица результатов открыты для всех.

← Все новости