KORA
Открытый бенчмарк для оценки безопасности ИИ-моделей и приложений при общении с детьми и подростками. Использует смоделированные диалоги от лица несовершеннолетних, чтобы проверять ответы на рискованные запросы с учётом возраста собеседника. Позволяет разработчикам, исследователям и родителям сравнивать поведение ИИ-систем.
проверено по: korabench.ai ↗
См. также
- Character.AIОнлайн-платформа для создания виртуальных персонажей на основе искусственного интеллекта и общения с ними. Пользователи могут вести ролевые диалоги и сочинять истории с собственными персонажами или персонажами других пользователей.
- Ред-тимингРед-тиминг (red teaming) — метод проверки безопасности: специалисты или автоматические инструменты намеренно атакуют систему так, как это сделал бы злоумышленник, чтобы найти уязвимости до настоящей атаки. Для ИИ-систем так ищут, например, способы заставить модель выдать вредный ответ, обойти ограничения или использовать её во зло.
В новостях
Семья подала иск к Google из-за бесед чат-бота Gemini с дочерью о самоубийстве, пишет Reuters
Открытый бенчмарк безопасности ИИ для детей. Модели и приложения проверяют смоделированными разговорами от лица детей и подростков разного возраста и оценивают, насколько безопасно они отвечают.