Inception научила модель Mercury Decide принимать решения по картинкам
Модель Inception, которая не пишет текст, а выбирает ответ и оценивает свою уверенность, научилась разбирать скриншоты, фото и кадры из игр.
Mercury Decide, модель стартапа Inception, которая вместо текста выдаёт выбор, оценку или ответ «да» или «нет» вместе с вероятностью, научилась принимать на вход изображения.
Почему это важно: до сих пор модель работала только с текстом, и задачи, где решение принимают по снимку экрана, фото или кадру, были ей недоступны.
Предыстория: Inception выпустила Mercury Decide 30 сентября как соперницу Jev — модели стартапа TypeSafe, которая тоже выбирает ответ вместо текста. Формат запросов у моделей общий: к Mercury Decide обращаются так же, как к Jev. 8 октября компания открыла платный доступ по цене ниже, чем у Jev.
Детали: в демо Inception модель играет в боксёрскую игру Ring King для приставки Nintendo NES: по кадру разбирает, что происходит на ринге, и подсказывает следующее действие.
Для задач вне игр компания предлагает такие применения:
- Проверять по скриншоту, получилось ли очередное действие у агента, который сам управляет браузером.
- Быстро и дёшево размечать миллионы изображений по заданным признакам.
- Искать брак в изделиях на конвейере, например в печатных платах.
Расклад: по словам Inception, модель лидирует в CV-Bench — тесте, где модели по снимку определяют, как расположены предметы, сколько их и какой из них ближе. В Image JevBench1 она обошла модель Imajev-4B2, которая сейчас занимает второе место в рейтинге этого теста.
Но: первой в Image JevBench Inception свою модель не называет. Компания сравнила её только с Imajev-4B и только на открытой части задач, а кто занимает первое место, не говорит. Оба результата Inception приводит сама.
Попробовать модель можно через OpenRouter — сервис, через который обращаются к моделям разных компаний, — у самой Inception и на платформе Baseten3. На OpenRouter есть и бесплатный вариант с ограничением на число запросов.