Alibaba собирается обучить модель Qwen на 5–10 трлн параметров
На конференции Apsara Alibaba показала и ИИ-чип Zhenwu V900, втрое производительнее предшественника. Мощность своих дата-центров компания к 2032 году хочет довести до 20 ГВт с лишним.
Команда Qwen, которая разрабатывает языковые модели Alibaba, собирается обучить новую модель на 5–10 трлн параметров1. Об этом 22 сентября заявил глава Alibaba Group Эдди У на открытии Apsara — ежегодной конференции Alibaba Cloud в Ханчжоу. По его словам, новая модель должна справляться с более сложными и долгими задачами и приблизить компанию к сверхинтеллекту2. Когда начнётся обучение, У не уточнил.
«Машины будут производить более чем в 1 000 раз больше мышления, чем всё человечество вместе взятое», — заявил У. По его оценке, сейчас машинное мышление по объёму не дотягивает и до 3% человеческого. Нынешние применения ИИ вроде написания кода он сравнил с первыми электрическими лампочками: по-настоящему новые продукты этой эпохи, по его мнению, ещё не появились.
«Программирование с помощью ИИ — это всего лишь лампочка эпохи машинного интеллекта»
Эдди У, глава Alibaba Group
Команда Qwen, по словам главы Alibaba, уже исследует рекурсивное самосовершенствование и добилась в нём «заметного прогресса». Так называют цикл, в котором модель сама находит свои слабые места на реальных задачах. Затем она придумывает эксперименты, синтезирует данные для обучения и оценивает результат.
На конференции подразделение Alibaba по разработке чипов T-Head представило ИИ-чип Zhenwu V900. У назвал его самым мощным ИИ-чипом в Китае на сегодня. По данным компании, V900 втрое производительнее предшественника Zhenwu M890. Один кластер на новых чипах может объединять до 500 тыс. ускорителей.
То же название, M890, носит и суперузел Alibaba. Это серверная система, в которой много чипов работают как одна машина. По словам У, суперузел уже эффективно запускает модели больше чем с 2 трлн параметров. Речь о работе уже обученных моделей, а не об их обучении. Таких возможностей в мире, по его словам, добились лишь несколько компаний. С текущего квартала Alibaba Cloud запускает суперузлы в коммерческом масштабе.
К 2032 году мощность дата-центров Alibaba Cloud по всему миру должна превысить 20 ГВт. У признал, что спрос на ИИ в средне- и долгосрочной перспективе намного опережает возможности компании. Наращивать вычислительные мощности, по его словам, мешает мировой дефицит в цепочке поставок для дата-центров.
Среди моделей для запуска на собственном компьютере самой популярной у разработчиков по всему миру У назвал открытую модель Qwen-27B. Для смартфонов Alibaba запустила Qwen Intelligence — решение для производителей телефонов, которое позволяет устройству самому выполнять сложные многошаговые задачи.
Год назад, на Apsara 2025, У называл общий искусственный интеллект3 лишь отправной точкой на пути к сверхинтеллекту, который будет сам себя совершенствовать. Теперь, по его словам, технический путь к сверхинтеллекту «становится всё яснее».