Hy4 preview

Что это за модель

Hy4 preview — предварительная версия четвёртого поколения языковых моделей Tencent из линейки Hunyuan. Она построена по схеме смеси экспертов: из 770 млрд параметров на каждый токен работают только 49 млрд, поэтому запускать её дешевле, чем плотную модель того же размера. В модели 78 слоёв и 256 «экспертов», из которых для каждого токена выбираются восемь плюс один общий. Чтобы справляться с очень длинными текстами, в ней используется разреженное внимание по схеме DeepSeek: модель смотрит не на весь текст сразу, а на выбранные участки. По умолчанию она долго рассуждает перед ответом, но этот режим можно отключить ради быстрых прямых ответов.

По словам Tencent, по сравнению с Hy3 модель заметно выросла в размере, длине контекста и объёме данных для обучения, а также получила улучшенное предобучение и дообучение. Данные для обучения компания готовила вместе со своими специалистами по разработке, играм, финансам и безопасности. Tencent отдельно подчёркивает, что Hy4 preview сама участвовала в своей разработке: помогала автоматически улучшать методы обучения и систему инференса, то есть запуска модели.

Модель берут для долгой работы с кодом: разработки в больших проектах, отладки, вёрстки интерфейсов. Ещё один сценарий — офисные задачи: финансовый анализ, разбор данных, работа с несколькими документами сразу. Компания также называет создание прототипов игр по текстовому описанию и научные задачи в физике, математике и молекулярной динамике. По замерам Tencent, модель набирает 65,7 в SWE-bench Pro, 85,4 в Terminal Bench 2.1 и 92,3 в GPQA Diamond. Во внутренней слепой оценке, где 163 эксперта проверяли решения 203 инженерных задач, она получила в среднем 2,99 балла из 4 — немного больше, чем GLM-5.3 (2,92) и Kimi K3 (2,94).

Сама Tencent называет модель ранней версией, которую ещё есть куда улучшать и на этапе предобучения, и на этапе дообучения. Среди её недостатков компания называет склонность слишком долго рассуждать и лишний раз перепроверять свою работу. Веса выложены под лицензией Apache 2.0, которая разрешает коммерческое использование, изменение и распространение.

Источники: Анонс Hy4 preview от Tencent, Карточка модели на Hugging Face