ИИтак

← Назад

Apple описала условия оценки ИИ на знакомых ему тестах

Для некоторых классов задач дополнительные запросы позволяют надёжно оценивать модель, даже если тестовые примеры могли попасть в её обучение.

Apple описала условия, при которых можно оценивать модель, даже если тестовые задания могли попасть в её обучение. Первая версия исследования датирована 7 ноября; 10 ноября работу представили на исследовательском сайте компании.

Обычные проверки точности и безопасности предполагают, что тестовые примеры не использовали при обучении. Для больших моделей такую независимость всё труднее гарантировать.

В первой постановке проверяющий располагает только тестовыми примерами и ответами модели на них. Работа не накладывает ограничений на саму модель или способ её обучения. В этих условиях гарантировать оценку с заданной погрешностью можно лишь тогда, когда достаточно небольшой набор конкретных входных примеров охватывает почти все случаи, для которых оценивают модель. Размер такого набора связан с требуемой точностью и объёмом тестовых данных.

В другой постановке проверяющему разрешают обращаться к модели с дополнительными входными данными. Небольшое число таких обращений иногда позволяет получить надёжную оценку там, где одних ответов на исходный тест недостаточно. Это зависит от типа задач и от того, какие входные данные встречаются и с какой частотой.

← Все новости