ИИтак
Поиск

← Назад

словарь

METR

METR (Model Evaluation and Threat Research, «оценка моделей и исследование угроз») — некоммерческий исследовательский институт из Беркли. Он проверяет, насколько передовые модели ИИ способны самостоятельно выполнять длинные задачи, в том числе опасные: проводить кибератаки или мешать собственному отключению. Оценки METR часто проводит вместе с разработчиками, например с Anthropic и OpenAI, до выпуска моделей. Раньше организация называлась ARC Evals.

проверено по: metr.org ↗

См. также

В новостях

  1. METR насчитала, что Anthropic улучшает модели почти вдвое быстрее прежнего

    Некоммерческая организация из Беркли, которая оценивает опасные возможности передовых ИИ-моделей — в том числе способность работать самостоятельно и ускорять исследования ИИ. Денег от проверяемых компаний не берёт.

  2. OpenAI предложит обязательные ограничения для мощнейшего ИИ, пишет Axios

    Американская некоммерческая организация, которая оценивает опасные возможности передовых ИИ-моделей, в том числе способность долго работать самостоятельно.

  3. Райан Гринблатт отверг подозрения OpenAI, что через него утекли сведения о её моделях

    Некоммерческая организация из Калифорнии. Независимо оценивает опасные возможности ИИ-моделей и по приглашению лабораторий расследует инциденты с ними.

  4. OpenAI проверила телефоны исследователей, прежде чем их уволить, пишет WSJ

    Некоммерческая организация из Калифорнии, которая оценивает опасные возможности передовых моделей и ИИ-агентов и проверяет, как лаборатории их контролируют.

  5. Внешние проверяющие нашли бреши в системе, следящей за агентами OpenAI

    Некоммерческая организация из Беркли. Оценивает, на что способны передовые ИИ-модели и насколько они опасны, в том числе как долго они могут работать над задачей без человека.

  6. Итан Моллик к выходу новой книги насчитал 180 моделей сильнее GPT-4

    Некоммерческая организация из Беркли, которая проверяет передовые модели: насколько долгие задачи они выполняют сами и нет ли у них опасных возможностей.

  7. Математик Джорди Уильямсон считает, что ИИ даст доказательства без понимания

    Независимая некоммерческая организация из Калифорнии, которая измеряет, насколько длинные и сложные задачи способны выполнять ИИ-модели и агенты, и оценивает связанные с этим риски.

  8. Регулятор США подтвердил, что расследует OpenAI, Anthropic и их внешнего проверяющего METR

    Некоммерческая исследовательская организация из Беркли (Калифорния). Независимо проверяет передовые ИИ-модели на опасные возможности, по приглашению лабораторий расследует инциденты с их агентами.

  9. Инженер Anthropic рассказал, как моды меняют Claude Code изнутри

    Некоммерческая исследовательская организация, которая оценивает опасные возможности передовых моделей ИИ, в том числе способность агентов долго и самостоятельно выполнять задачи.

  10. Anthropic выпустила Claude Sonnet 5.5 — быстрее Sonnet 5 по той же цене

    Независимая некоммерческая организация из США, которая оценивает опасные способности передовых ИИ-моделей, в том числе их умение самостоятельно выполнять долгие задачи.

  11. Hugging Face предложила NVIDIA следить за разрешённым трафиком ИИ-агентов

    Независимая некоммерческая организация из США. Оценивает опасные возможности передовых моделей ИИ, в том числе способность агентов долго действовать самостоятельно.

  12. OpenAI описала, как внешние эксперты должны проверять её модели

    Американская некоммерческая организация, которая независимо оценивает опасные возможности передовых моделей ИИ, прежде всего их способность самостоятельно выполнять сложные задачи.

  13. Исследователи предложили искать внутри ИИ понятия, которых нет у людей

    Некоммерческая исследовательская организация из США, которая оценивает опасные способности передовых моделей ИИ, прежде всего их умение самостоятельно выполнять долгие задачи.

  14. Anthropic выпустила Claude Opus 5.5, которая дешевле и быстрее Opus 5

    Некоммерческая исследовательская организация из США, которая независимо проверяет передовые модели ИИ на опасные способности — например, умение самостоятельно выполнять долгие задачи или проводить кибератаки.

  15. Проверяющие из Accenture получат в Anthropic доступ на уровне сотрудников

    Некоммерческая организация из Калифорнии, которая измеряет, на что способны передовые ИИ-модели и чем они опасны. Денег от ИИ-компаний не берёт.

  16. Anthropic подсчитала, что Claude ведёт четверть её работы над ИИ

    Некоммерческая организация, которая независимо оценивает опасные возможности передовых моделей ИИ, в том числе их способность долго работать самостоятельно.

  17. Стартап AIUC привлёк $40 млн на проверку и страхование ИИ-агентов. Как это работает

    Некоммерческая исследовательская организация из США. Оценивает опасные возможности передовых моделей ИИ, в том числе до их выхода.

  18. Амодеи пообещал внешним проверяющим столы и пропуска в офисах Anthropic

    Некоммерческая исследовательская организация из Калифорнии, которая оценивает опасные возможности передовых ИИ-моделей, в том числе их способность самостоятельно выполнять долгие задачи.

  19. Глава Cohere назвал план Амодеи по замедлению ИИ картелем. Что он предлагает взамен

    Некоммерческая организация, которая проверяет ИИ-модели на опасные способности. В частности, она изучает, насколько долго и самостоятельно агенты могут выполнять задачи.

  20. Хассабис поддержал призыв главы Anthropic замедлить развитие ИИ

    Некоммерческая исследовательская организация, которая проверяет передовые модели ИИ на опасные возможности, в том числе способность самостоятельно выполнять долгие задачи.

  21. Натан Ламберт назвал вредным резонанс вокруг ухода Коксона из Anthropic

    Независимая некоммерческая организация, которая оценивает опасные возможности передовых моделей ИИ, в том числе способность действовать автономно.