GLM-5V-Turbo

GLM-5V-Turbo — первая мультимодальная модель Z.ai, сделанная специально для программирования. Мультимодальная значит, что она понимает не только текст, но и картинки, видео и документы. Это «зрячая» версия текстовой GLM-5-Turbo. По словам лаборатории, модель получила зрение и при этом не потеряла навыков программирования, которые были у GLM-5-Turbo. Весов модели в открытом доступе нет, она работает только через платформу Z.ai.

Изображения модель разбирает новым визуальным кодировщиком CogViT. Это блок, который переводит картинку в понятный языковой модели вид. Чтобы модель отвечала быстрее, в ней используется предсказание нескольких токенов за один шаг (multi-token prediction). Z.ai перенесла этот приём с текста на картинки и видео. На этапе дообучения с подкреплением модель тренировали на задачах больше чем 30 видов: от точных наук и видео до управления интерфейсами и программирования. Кроме того, у неё есть свои инструменты: она может обвести область на картинке рамкой, сделать скриншот и прочитать веб-страницу.

Основной сценарий — превращать макет дизайна или скриншот в готовый код интерфейса сайта или приложения. Ещё модель находит ошибки отображения: например, съехавшую вёрстку или не тот цвет. Она также умеет сама ходить по сайтам и приложениям и работает в связке с агентами Claude Code и OpenClaw. В техническом отчёте Z.ai приводит свои замеры: 94,8 балла в Design2Code (это выше, чем у Claude Opus 4.6), 75,7 в AndroidWorld и 62,3 в OSWorld — это тесты на управление телефоном и компьютером. В поиске по картинкам у неё 51,9 в BrowseComp-VL и 72,9 в MMSearch.

Слабые места лаборатория называет сама. Долгим агентным задачам мешает то, что модели трудно удерживать в контексте много картинок и скриншотов. Кроме того, результат всё сильнее зависит от среды запуска, в которой работает агент. На задачах, где нужно только писать код, модель остаётся на уровне GLM-5-Turbo, так что заметного выигрыша от неё там ждать не стоит.

источники:Документация Z.ai о GLM-5V-Turbo ↗Технический отчёт на arXiv ↗