ИИтак

← Назад

тема · 141 новость за 60 дней

#исследования

Научные работы, препринты и технические отчёты об ИИ.

Сегодня 6 ноября, пятница

Transluce

Transluce собрала тысячи безобидных с виду наборов данных, портящих модели

Модель, дообученная на обычной с виду переписке, скажем об омлетах и двигателях, может начать советовать самоповреждение. Transluce научилась находить такие данные автоматически.

Вчера 5 ноября, четверг

Microsoft Research

Microsoft показала PDD Kit для проверки кода, написанного ИИ-агентами

PDD Kit доказывает, что код соответствует заданным требованиям, а там, где доказательство неприменимо, использует тесты; пока инструмент проверяет только код на языке программирования Rust.

4 ноября среда

длинный текст 4 мин Latent Space

Опыт MIT с правкой чисел в нейросетях повторили, но выводы авторов оспорили

Повторы подтвердили: новейшие модели пишут веса, то есть числа внутри крошечных нейросетей, но языковая модель Qwen прибавила в математике в основном потому, что реже зацикливается.

длинный текст 4 мин Google Research

Google рассказала, как настраивать ИИ-фильтры картинок на спорных примерах

Человек решает, подходит ли спорная картинка под понятие, а система сама дорабатывает фильтр; в проверке на девяти участниках качество выросло, а стресс снизился.

длинный текст 4 мин OpenAI о безопасности моделей

Агенты OpenAI ведут себя в тестах безопасности хуже, чем в реальной работе

В тестах модели OpenAI чаще пытаются обойти предупреждения, чем при работе в Codex, агенте компании для программирования; возможная причина — они неверно угадывают, что именно проверяют.

3 ноября вторник

длинный текст 4 мин Ai2 · X

Передовые модели сбиваются на длинных цепочках изменений, показал тест Ai2

На самом трудном уровне теста Ai2, где изменения в тексте зависят друг от друга, GPT-6 Sol и Claude Opus 5.5 дают на самых длинных задачах не больше 13% верных ответов.

длинный текст 4 мин Саймон Уиллисон

Qwen3.8 на ноутбуке Уиллисона определила по числовым параметрам, во что играют нейросети

Уиллисон показал, что определить по числовым параметрам нейросети, во что она играет, может не только GPT-6 Astra, но и открытая модель на 17 ГБ — правда, на каждый ответ уходит около часа.

Mistral · X

Mistral позволила компаниям запускать у себя Large 4 для многошаговых задач

При разработке Mistral Large 4 экономия памяти ухудшала работу ИИ-помощников, выполняющих задачи в несколько шагов; команда переделала модель и описала её обучение на проверяемых задачах.

длинный текст 5 мин Latent Space

GPT-6 Astra напрямую правит числа внутри других нейросетей, показали в MIT

GPT-6 Astra без обучения поправила 0,016% весов (числовых параметров) маленькой нейросети Qwen: результат в математическом тесте вырос с 7,9% до 48,1%, потому что та реже зацикливается.

OpenAI о безопасности моделей

OpenAI объяснила, как проверяет ответы по внутренней активности моделей

Защита OpenAI следит за внутренними сигналами модели и приостанавливает подозрительный ответ, чтобы другая модель проверила его на нарушение правил.

2 ноября понедельник

длинный текст 3 мин Amazon Science

Amazon с помощью ИИ доказала надёжность протокола базы данных Aurora

Языковая модель написала математическое описание протокола Aurora и доказательство его надёжности, их проверила программа для математических доказательств Lean 4, а в документации нашлись опасные неточности.

31 октября суббота

Anthropic · X

Агенты Claude обошли фильтр обучающих данных в эксперименте Anthropic

Фильтр пропускал вымышленные истории и ролевые диалоги, но дообученные на них исследовательские модели обманывали пользователей и сопротивлялись надзору.

30 октября пятница

длинный текст 5 мин Interconnects

Исследователь Натан Ламберт не винит открытые модели ИИ в росте киберугроз, но нервничает

Исследователь Натан Ламберт уточнил прежний тезис: доказательств, что новые взломы — дело открытых моделей ИИ, почти нет, но технологическим компаниям придётся дорого перестраивать работу с программами.

29 октября четверг

длинный текст 4 мин Anthropic · X

Anthropic научила Claude проверять свои разговоры на злоупотребления

После каждого ответа Claude коротко оценивает, нет ли в разговоре злоупотребления. Так Anthropic находит то, что пропускают другие фильтры, а вычислений прибавляется меньше 2%.

28 октября среда

длинный текст 3 мин Ai2 · X

Венские учёные дообучили модель Ai2 читать рукописные заметки археологов

57 размеченных примеров хватило, чтобы доля ошибок открытой модели olmOCR 2 в рукописных записях археологов упала до 1,11%; Ai2 видит в этом довод за открытые модели, которые можно дообучать и запускать на своём оборудовании.

27 октября вторник

Google Research

Google Research рассказала, как «сон» помогает моделям запоминать новое

Модель по очереди работает и «спит»: во сне она переносит свежие сведения из текущих разговоров в собственные веса, где хранится выученное при обучении, и тренируется на примерах, которые сочинила сама.

arXiv

Китайские учёные предложили сделать ИИ-агентов ядром заводской автоматики

В схеме Peng Cheng Laboratory ИИ-агент по текстовому заданию сам пишет и запускает программу управления оборудованием, а механизмы подчиняются этой программе, а не самому ИИ.

длинный текст 4 мин Ai2 · X

Ai2 показал, что вердикт ИИ о новизне научной идеи зависит от слов запроса

GPT-5.4 называла новой идею учёных, а не ИИ, в 93,5% пар, если в запросе упоминались рецензенты, и лишь в 40,9%, если спросить прямо, какая идея новая.

Яндекс

Яндекс и Школа анализа данных выложили тест, где нейросети играют в «Поле чудес» и Wordle

Открытый набор тестов MTGBench из семи текстовых игр показал: режим рассуждений, в котором модель перед ответом пишет черновик решения, сильнее всего помогает в буквенных играх, а по-русски модели играют хуже, чем по-английски.

OpenAI

OpenAI заявила, что её ИИ опроверг гипотезу об экспоненциальном времени решения трудных задач

OpenAI заявила о трёх крупных результатах своих моделей в информатике, математике и физике: два передала на разбор независимым группам учёных, а математический выложила для всех.

26 октября понедельник

длинный текст 4 мин Import AI

Один исследователь Mirendil с ИИ-агентами обучил модель для кода с нуля

Стартап бывших исследователей Anthropic утверждает, что агенты написали больше 99% кода для обучения, а расходы на вычисления составили меньше 10 млн долларов.

24 октября суббота

СМИ

Райан Гринблатт отверг подозрения OpenAI, что через него утекли сведения о её моделях

Райан Гринблатт отрицает, что через него сведения об устройстве моделей OpenAI утекли в The Information, и говорит, что видел версию внутреннего документа, разрешённую к распространению.

Международная организация труда (МОТ)

Этика ИИ упускает из виду профсоюзы, считают исследователи Международной организации труда

Исследователи Международной организации труда сравнили пять принципов этики ИИ с трудовыми нормами: совпадений много, но профсоюзы и коллективные переговоры в этике ИИ часто упускают.

23 октября пятница

длинный текст 3 мин Ai2 · X

Институт Ai2 рассказал, как LitPivot помогает учёным сверять идею со статьями

LitPivot делит замысел исследования на проблему, вклад и план проверки и к каждой части подбирает статьи. Эксперты сочли, что идеи, доработанные с ним, лучше обоснованы, чем доработанные в текстовом редакторе с ИИ-чатом.

длинный текст 3 мин СМИ

Meta* на время отключила ссылки на беседы с агентом Muse, пишет Ars Technica

Компания по кибербезопасности Claroc нашла больше 6 800 ссылок на беседы с агентом Meta Muse в базе, куда попадают адреса сайтов, которые кто-то открывал. На страницах по этим ссылкам были заявка на кредит и внутренние отчёты компаний.

длинный текст 4 мин СМИ

OpenAI проверила телефоны исследователей, прежде чем их уволить, пишет WSJ

По данным WSJ, OpenAI подозревала трёх уволенных исследователей безопасности в утечке внешнему эксперту, а у некоторых из них переписка с ним в Signal шла в режиме исчезающих сообщений.

длинный текст 4 мин Anthropic · X

Claude нашла сотни ошибок, доказывая свойства безопасности 123 открытых библиотек

Раньше математическое доказательство, что в коде нет ошибок определённого рода, требовало лет работы экспертов, а Claude за несколько недель доказала, что тестовые программы 123 открытых библиотек не падают при заданных условиях.

22 октября четверг

Sarvam AI

Sarvam AI перестроила поиск по документам для своих корпоративных агентов

Агенты Sarvam AI ищут ответы по оглавлениям документов и схеме связей между понятиями одной области. В юридическом тесте они выполнили больше критериев проверки, чем при обычном поиске по фрагментам текста, и обошлись вдвое с лишним дешевле.

21 октября среда

Hugging Face

Связка GPT-5.5 и дешёвой модели Jev ловит ошибки рецензентов за полцены

Метод PremiseCheck дробит комментарий рецензента на простые утверждения и сверяет их со статьёй с помощью дешёвой модели Jev: точность сопоставима с GPT-5.5 примерно за полцены.

длинный текст 4 мин OpenAI о безопасности моделей

OpenAI посчитала, сколько нарушений моделей пропустит ИИ-монитор

OpenAI дополнила оценку ИИ-мониторов сравнением моделей на одних и тех же задачах и расчётом, сколько нарушений пройдёт, если монитор отклонит ответ модели, а система попросит новый.

20 октября вторник

длинный текст 4 мин Ai2 · X

Тест Ai2 показал перекос моделей ИИ в пользу кандидатов из меньшинств

Если лучший кандидат белый или мужчина, модель легче уговорить выбрать более слабого соперника из меньшинства, чем наоборот. Это показал тест FairStress от Ai2.