Основатель Recursive Ричард Сохер назвал конституцию Claude маркетингом
Сохер рассказал, что ИИ-система Recursive меньше чем за двое суток обошла сотни людей и их агентов на открытом конкурсе по обучению маленькой языковой модели.
тема · 135 новостей за 60 дней
#безопасность ИИ
Как сделать ИИ безопасным: согласование моделей с намерениями людей, защита от злоупотреблений и взломов моделей, внешние оценки рисков.
14 сентября понедельник
Маск заявил, что участвовал в работе над книгой Бострома «Искусственный интеллект. Этапы. Угрозы. Стратегии»
Илон Маск написал в X, что участвовал в работе над книгой Ника Бострома «Искусственный интеллект. Этапы. Угрозы. Стратегии» и что Бостром благодарит его по имени в предисловии. Сам пост ничем это не подтверждает.
Глава Cohere назвал план Амодеи по замедлению ИИ картелем. Что он предлагает взамен
Альтман заявил, что OpenAI обосновывает безопасность до запусков обучения
Назвал два худших исхода: люди теряют контроль или власть берёт одна компания
По мнению Эйдана Гомеса, стандарты безопасности ИИ должны писать правительства, учёные и независимые проверяющие. Лидеры рынка, получившие исключение из антимонопольных правил, для этого не годятся.
13 сентября воскресенье
Хассабис поддержал призыв главы Anthropic замедлить развитие ИИ
Дарио Амодеи предложил план из трёх шагов. Первый шаг Anthropic сделает без оглядки на других: сторонние проверяющие получат постоянный доступ к её системам наравне с сотрудниками.
12 сентября суббота
Исследователи связали майскую атаку на RubyGems с агентами OpenAI. Что ответила OpenAI
В мае в каталог библиотек для Ruby загрузили сотни вредоносных пакетов, многие с пометкой «oai». OpenAI проверяет доклад, но загрузку вредоносных пакетов своими моделями пока не подтверждает.
10 сентября четверг
Натан Ламберт назвал вредным резонанс вокруг ухода Коксона из Anthropic
По мнению автора Interconnects, споры о вымирании человечества заслонили более близкие риски: лаборатории неделями не замечают сбоев своих моделей, а кибербезопасность отстаёт от ИИ.
Anthropic поручила METR расследовать выходы Claude в реальный интернет
Расследование продлится не меньше восьми недель, у проверяющих будет широкий доступ. Anthropic признала, что аудит перед выпуском моделей не предупредил о настолько серьёзном рассогласовании.
Anthropic обвинила Alibaba, DeepSeek и Moonshot в дистилляции Claude
DeepSeek и Moonshot, по данным отчёта, тайно пересылали запросы своих пользователей в Claude и показывали им её ответы. Крупнейшую кампанию по извлечению рассуждений Anthropic связала с Alibaba.
9 сентября среда
Исследователь безопасности ИИ Пол Кристиано вошёл в совет OpenAI Foundation
Пол Кристиано вошёл в совет директоров OpenAI Foundation и в его Комитет по безопасности и защите. OpenAI называет его опыт в выравнивании, безопасности и стандартах ИИ.
OpenAI дала администраторам компаний средства контроля над GPT-6 Astra
Модель можно ограничить одобренными сайтами и приложениями, а в корпоративных аккаунтах она по умолчанию выключена. На внутреннем тесте OpenAI Astra допускала непреднамеренные действия на 89% реже, чем GPT-5.6 Sol.
8 сентября вторник
Multiverse научила модель отказывать только в политической манипуляции
На Qwen3-8B доля отказов на вредные политические запросы выросла с 9,5% до 85%. Без специально подобранных безопасных примеров модель отклоняла и 74% безобидных запросов, предупреждают авторы.
OpenAI выделит $5 млн на исследования влияния ИИ на подростков
Один проект может получить до $1 млн, заявки принимают до 6 октября. Преимущество получат работы, которые изучают ChatGPT и дают выводы для регуляторов.
7 сентября понедельник
В DeepMind рой ИИ-агентов научился жульничать в математике. Но четверть отказалась
Один агент нашёл дыру в автоматической проверке, и за 27 минут рой «решил» оставшиеся 34 задачи из 71. Почти четверть агентов отказалась жульничать и пыталась остановить остальных.
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.