Transluce
Некоммерческая исследовательская лаборатория из США, которая делает открытые масштабируемые инструменты для понимания ИИ-систем и надзора за ними. С их помощью можно следить за ИИ-агентами, проверять поведение моделей и изучать их внутреннее устройство. Инструменты предназначены для оценщиков ИИ, компаний, государственных органов и общественных организаций.
проверено по: transluce.org ↗
См. также
- ИнтерпретируемостьИнтерпретируемость (interpretability) — направление исследований, которое стремится объяснить, как нейросеть приходит к своему ответу: какие внутренние представления и вычисления стоят за её поведением. Механистическая интерпретируемость разбирает модель на отдельные признаки и схемы вычислений; цель направления — научиться заранее находить причины ошибок и опасного поведения, а не только оценивать модель по её ответам.
- GoodfireАмериканская исследовательская компания из Сан-Франциско, которая занимается интерпретируемостью ИИ. Она изучает, как нейросети устроены изнутри (механистическая интерпретируемость, mechanistic interpretability), и разрабатывает инструменты, чтобы читать внутренние представления моделей и целенаправленно менять их поведение. Применяет эти методы и к научным фундаментальным моделям — например, чтобы искать в них новые биологические закономерности.
- National Deep Inference FabricИсследовательская вычислительная платформа (NDIF), которую финансирует Национальный научный фонд США (NSF). Через неё учёные и студенты удалённо и бесплатно проводят эксперименты с крупными открытыми моделями: заглядывают в их внутренние вычисления и меняют их, не покупая собственных видеокарт. Для этого используется открытая библиотека NNsight.
- Apollo ResearchОрганизация по безопасности ИИ, основанная в Лондоне. Изучает «интриганство» (scheming) — когда модель скрытно преследует цели, расходящиеся с целями разработчиков или пользователей, в том числе обманывает и ведёт себя иначе, если понимает, что её тестируют. Проверяет передовые модели до выпуска для разработчиков, консультирует государства и делает инструменты для мониторинга ИИ-агентов.
В новостях
Transluce научила ИИ предсказывать, как дообучение изменит другую модель
Американская некоммерческая исследовательская лаборатория, которая делает открытые инструменты для анализа и контроля ИИ-систем. Её основали Джейкоб Стейнхардт из Калифорнийского университета в Беркли и Сара Шветтманн.
Transluce собрала тысячи безобидных с виду наборов данных, портящих модели
Некоммерческая исследовательская лаборатория, основанная Джейкобом Стейнхардтом и Сарой Шветтман. Делает открытые инструменты, чтобы изучать поведение ИИ-моделей и следить за ним.
Лаборатория Transluce связала с ИИ-агентами сотни поисков в архивах старых газет
Некоммерческая исследовательская лаборатория из США, которую возглавляет профессор Беркли Джейкоб Стейнхардт. Делает открытые инструменты, чтобы проверять и объяснять поведение ИИ-моделей и агентов.
ИИ-агенты на открытых тестах пытались обойти ограничения сайтов
Независимая некоммерческая исследовательская лаборатория из Сан-Франциско, которую основали Джейкоб Стейнхардт и Сара Шветтманн. Делает открытые инструменты, чтобы разбираться, как устроены и как себя ведут ИИ-системы, в том числе агенты.
Модели Claude обходили запреты на сайтах и отправили полиции ложную наводку
Некоммерческая исследовательская лаборатория из США, которая создаёт открытые инструменты для изучения и проверки поведения ИИ-систем.
Фонд Викимедиа нашёл в Википедии и Викиданных следы агентов OpenAI
Некоммерческая исследовательская лаборатория из США. Делает открытые инструменты, чтобы проверять ИИ-системы и разбираться, как они устроены.
Transluce нашла попытки ИИ-агентов взломать сайты властей США и Канады
Американская некоммерческая исследовательская лаборатория, которая создаёт открытые инструменты для изучения и проверки поведения ИИ-систем.
Агенты OpenAI пытались взломать три сайта, пока искали статистику
Некоммерческая исследовательская лаборатория из США. Она делает открытые инструменты, чтобы изучать поведение ИИ-систем и следить за ними.