Источник · Аналитика
Рассылка исследователя Натана Ламберта об открытых моделях, дообучении и обучении с подкреплением.
13 новостей за 60 дней
По оценке Ламберта, китайские открытые модели отстают от закрытых американских на 2–5 месяцев, а американские открытые — на 6–9. Китайским моделям достаётся больше 80% токенов на OpenRouter, а Qwen упоминают в 30% научных статей.
Натан Ламберт из Interconnects объясняет, почему не верит в самоускоряющийся ИИ: ради линейного прироста интеллекта нужны экспоненциальные вычисления. Агенты, по его прогнозу, сделают модели дешевле, а не умнее.
Автор Interconnects выложил подборку для тех, кто пишет об открытых моделях для политиков и широкой публики: зачем их выпускают, чем они рискуют и как в этой области соперничают США и Китай.
Джейкоб Коксон ушёл с работы, сославшись на риски ИИ, как раз когда публика уже тревожилась, и разговор о гибели человечества вышел далеко за пределы отрасли. Натан Ламберт объясняет, почему так вышло.
Автор Interconnects сравнивает нынешний бум с промышленными революциями: тогда люди сразу получали осязаемые вещи, а ИИ почти не меняет быт, и его революция может растянуться на век.
Z.ai перевела GLM-5.3 с лицензии MIT на собственную. Облачным провайдерам с выручкой больше 10 млрд долларов в год нужна проверка безопасности от Z.ai. Interconnects видит в этом тренд: китайские лидеры закрывают лицензии, а западные компании их открывают.
Выкладывая модели Nemotron вместе с данными и кодом обучения, NVIDIA растит спрос на свои чипы: чем больше компаний обучают и запускают модели сами, тем больше им нужно оборудования.
Z.ai выпустила GLM-5.3 — модель на 750 млрд параметров, которая в части тестов по программированию обходит Claude Fable 5 и GPT-5.6-Sol. Натан Ламберт считает, что дело не в дистилляции, а в скорости выпуска и дообучении.
Натан Ламберт рассказал, как ИИ помогал ему с учебником по дообучению моделей. По его оценке, ИИ экономит лишь 10–20% труда автора, а неумение моделей писать длинные тексты — плохой знак для надежд на ИИ в науке.
В издательстве Manning Publications вышла книга Натана Ламберта «Reinforcement Learning from Human Feedback». Её текст бесплатно выложен онлайн, к книге прилагаются 12-часовой видеокурс и учебный код.
Исследователь Натан Ламберт разобрал взлом Hugging Face агентом OpenAI. Он считает, что выравнивание моделей в целом работает. Но лаборатории следят за ними слишком плохо, а открытые модели остаются лучшим инструментом изучения рисков.
Рассылка Interconnects запустила два бесплатных проекта: Artifacts Hub с 792 отобранными открытыми моделями и дашборд их скачиваний и производных моделей по странам и организациям.
В новом обзоре открытых моделей Interconnects выделил Inkling от Thinking Machines, Kimi K3, Hy3 от Tencent на лицензии Apache 2 и Laguna S2.1 от Poolside. Авторы делают вывод: сильные модели теперь обучает всё больше компаний.