Глава TypeSafe объяснил, почему в модели Jev нет отказов

Меньше чем через неделю после запуска Jev обрабатывает больше триллиона токенов в сутки, а отказывать, как чат-боты, модель не будет в принципе. Об этом глава стартапа TypeSafe Диогу Алмейда (Diogo Almeida) рассказал в подкасте Latent Space¹.

Почему это важно: TypeSafe делает модель не для разговора с человеком, а для программ, которые вызывают её сами. Ведущему подкаста Шону Вану Алмейда объяснил, что из этого следует для разработчиков: никаких отказов, публичных бенчмарков и огромных системных сообщений.

Предыстория: В середине сентября TypeSafe выпустила Jev. Вместо текста модель сразу возвращает решение и, по заявлению компании, обходится в 40–400 раз дешевле языковых моделей. Через несколько дней тренды Hugging Face возглавила открытая модель того же типа. Сам Алмейда раньше работал в OpenAI и был одним из авторов InstructGPT² — работы, из которой выросло обучение ChatGPT.

В цифрах:

• Больше триллиона токенов в сутки, и нагрузка не спадает даже ночью: по словам Алмейды, модель вызывают программы, а не люди, которые её пробуют.
• Около 38 млн просмотров набрало видео о запуске, по словам Алмейды; у ролика о GPT-4o, по подсчёту Latent Space, их было 22 млн.
• 100 000 участников, по словам Вана, собрал Discord-сервер компании, где Алмейда проводит открытые встречи с разработчиками.
• До запуска выручки у TypeSafe почти не было, а больше половины тех, кому давали попробовать Jev, её, по словам Алмейды, «просто не поняли».

Детали: Отказ модели Алмейда называет «очевидной ошибкой типов»:

• Человек в чате переживёт ответ «Извините, я не могу прочитать DNA.py». Но если модель встроена зависимостью в чужую программу, из-за одного странного сообщения пользователя программа начнёт ломаться случайным образом.
• Ограничения безопасности, по его мнению, уместны в продуктах вроде ChatGPT и Claude, а в API они «совершенно неприемлемы»: разработчикам приходится программировать в обход них.
• Модель он сравнивает с базой данных, которая не проверяет, зачем её используют. Клиентам, которые спрашивают разрешения, он отвечает: «Брат, мы — API. Ты — разработчик. Это не моё дело».
• Если продукту нужны отказы, их лучше строить самому разработчику: не спрашивать модель «отказать ли здесь?», а задать ей отдельные вопросы о разных ситуациях и выбрать порог для каждого.

Другая сторона: Ван возразил, что компании вправе не хотеть, чтобы их API применяли на войне. «Предпочёл бы я, чтобы нашими моделями не убивали людей? Разумеется», — ответил Алмейда. Но вмешиваться на уровне самой модели он не станет: по его словам, каждая подгонка под частные правила «раскалывает» её интеллект и делает её глупее. Поэтому Jev даже не учат называть себя моделью TypeSafe.

Как это работает: Данные Алмейда советует передавать модели JSON-объектами, а задачу дробить на мелкие вопросы. Системные сообщения, куда складывают все инструкции разом, он называет «отвратительными глобальными переменными». Отвечает Jev одним из трёх типов, и каждый похож на конструкцию языка программирования:

• Choice выбирает один вариант из заданного списка и заменяет в коде оператор выбора, который перебирает значения перечисления.
• Score ставит оценку, по которой варианты сортируют или сравнивают с порогом, — примерно как модель в роли судьи.
• Noulli отвечает, верно ли утверждение, и называет вероятность, заменяя условие if; название взято из распределения Бернулли.

Но: Гарантий у разработчиков пока немного:

• Публичные бенчмарки Алмейда отвергает, потому что их легко подогнать: по его словам, раньше в каждой лаборатории была команда, которая собирала данные, похожие на тест MMLU³.
• Выпущенные модели меняться не будут, но долгой поддержки старых версий компания не обещает; временно её может получить нынешняя Jev 1.13.0.
• Одинаковый ответ на одинаковый запрос не гарантирован: Алмейда считает, что важнее другое — чтобы похожие по смыслу запросы давали похожие ответы.
• Дообучить модель под свою задачу нельзя, а на вопросах в несколько логических шагов, по наблюдению Вана, Jev ошибается тем чаще, чем шагов больше.

Что говорят: «TypeSafe AI сообщает, что Jev набирает около 68% в собственной оценке на рабочих процессах, но это не значит, что Jev верно принимает 68% решений в реальном мире», — пишет Абид Али Аван, помощник редактора KDnuggets. «Я бы пока не назвал Jev революционной», — добавляет он.

Общая картина: По словам Вана, все передовые лаборатории подписали документ о готовности сдерживать темп разработки. Алмейда считает, что этот довод строится на допущении: всем якобы нужно всё больше обучать модели на задачах с проверяемым ответом и давать им свободу делать по пути что угодно — а именно это и выглядит опасным. Для Jev такое обучение, по его словам, не нужно вовсе, а получи он миллиард долларов, не стал бы тратить его на обучение модели с нуля.

Что дальше: Новые модели TypeSafe обещает выпускать быстрее, чем привыкли разработчики, и не только для решений: Алмейда намекает на другие типы ответов, рассчитанные на машины. Ещё он хочет выложить документ о том, как строить агентов для программирования, которые не привязаны к одной модели и её KV-кэшу⁴.