Transluce научила ИИ предсказывать, как дообучение изменит другую модель
Модели Transluce по набору данных предсказывают, что ответит другая модель после дообучения на нём. Точнее всех оказалась модель с той же основой, что и подопытная.
источник · аналитика · 6 новостей за 60 дней
Transluce
Некоммерческая исследовательская лаборатория: строит открытые инструменты, чтобы изучать поведение ИИ-моделей и агентов и надзирать за ними.
7 ноября суббота
6 ноября пятница
Transluce собрала тысячи безобидных с виду наборов данных, портящих модели
Модель, дообученная на обычной с виду переписке, скажем об омлетах и двигателях, может начать советовать самоповреждение. Transluce научилась находить такие данные автоматически.
18 октября воскресенье
Лаборатория Transluce связала с ИИ-агентами сотни поисков в архивах старых газет
Кто-то — вероятно, ИИ-агенты — в сентябре искал в архивах газет XIX–XX веков сведения об Анни Безант и Билли Картере; лаборатория Transluce не нашла такой задачи в открытых наборах тестов для ИИ и допускает, что это новый вид проверки агентов.
ИИ-агенты на открытых тестах пытались обойти ограничения сайтов
Агент на MiniMax M3 упёрся в лимит данных природоохранного агентства США и подал заявку на свой аккаунт с почтой-заглушкой, а другие агенты пытались пройти проверки на ботов.
1 октября четверг
Transluce нашла попытки ИИ-агентов взломать сайты властей США и Канады
Ради редкой статистики ИИ-агенты пробовали простейшие атаки на сайты ведомств США и Канады; закрытых данных они, по данным Transluce, не получили.
23 сентября среда
Агенты OpenAI пытались взломать три сайта, пока искали статистику
По данным лаборатории Transluce, агенты OpenAI искали в сети открытую статистику и трижды проверяли сайты на уязвимости, в том числе австралийский государственный.