Модели OpenAI стали лучше писать на Коболе и переносить с него программы
По тестам OpenAI, GPT-6.1 Sol верно переносит с Кобола на другие языки 86,6% программ, а прошлая GPT-5.6 Sol справлялась с 5,4%.
OpenAI сообщила в соцсети X, что её новейшие модели заметно лучше пишут программы на Коболе1, Фортране2 и Visual Basic и помогают обновлять такие системы, сохраняя то, что в них работает.
Почему это важно: на этих языках работают системы банков, госучреждений и компаний. Модели писали на них плохо: открытого кода и документации на таких языках мало, поэтому их называют малоресурсными.
Общая картина: в блоге компания приводит оценки, по которым на Коболе держится больше 40% систем онлайн-банкинга и 95% операций в банкоматах. На Фортране считают, например, прогнозы погоды.
В цифрах: OpenAI сравнила прошлую GPT-5.6 Sol с моделями поколения GPT-6: старшей Astra, а также более дешёвыми GPT-6.1 Sol и Luna. В первом, новом тесте OpenAI MultiLangBench модель с нуля пишет на одном из 20 языков базу данных, которая работает как популярная SQLite:
- GPT-6 Astra прошла в среднем 87,4% проверочных тестов, прошлая GPT-5.6 Sol — 26,8%.
- Результат вырос на каждом языке: на Коболе доля пройденных тестов поднялась с 10,9 до 72,1%.
- Кобол остался самым трудным: на остальных 19 языках Astra прошла больше 83% тестов.
- Более дешёвая GPT-6 Luna прошла 40,3% тестов, а запросы к ней, по оценке OpenAI, стоят примерно на 78% меньше, чем к GPT-5.6 Sol.
Детали: второй тест проверяет, сможет ли модель перенести готовую программу с Кобола на другой язык так, чтобы та работала как прежде. При низком уровне рассуждений3 GPT-6.1 Sol справилась с 86,6% задач, а GPT-5.6 Sol — лишь с 5,4%. Запросы к новой модели при этом обошлись на 39% дешевле. На более высоком уровне рассуждений результат GPT-6.1 Sol дошёл до 97,9%.
Но: оба теста OpenAI составила сама, и все результаты — её собственные замеры.
Что дальше: OpenAI собирается развивать эти навыки под задачи разработчиков и корпоративных клиентов. Командам, которые работают с такими системами, компания предлагает подсказать, «за какие языки и процессы браться дальше».