Google рассказала, как настраивать ИИ-фильтры картинок на спорных примерах

Google Research предложила настраивать ИИ-фильтры картинок для понятий без чётких границ иначе: человек не переписывает запрос к модели, а решает, подходит ли спорная картинка, и система сама правит запрос под его ответ. Статью о методе Agile Deliberation выложили препринтом¹ в декабре 2025 года, она вошла в материалы конференции CVPR² 2026, а теперь авторы подробно рассказали о работе в блоге Google.

Почему это важно: модели учатся на примерах, размеченных людьми, и обычное обучение исходит из того, что человек заранее знает правила. Со знаком «стоп» это работает. У «здоровой еды» или модерации граница зависит от культуры, личных взглядов и правил площадки, а исключения человек часто замечает, только когда они ему попадаются.

Как это работает: сначала система помогает разбить понятие на части. «Здоровую еду» можно разложить на салаты, боулы с крупами и нежирные продукты, богатые белком, а переработанные продукты и сырые неприготовленные ингредиенты сразу исключить.

Потом модель, которая понимает и текст, и изображения, ищет картинки на границе определения. Фруктовый смузи — полезный напиток, раз в нём необработанные фрукты, или исключённый переработанный продукт, раз в нём много сахара? Человек отвечает, а система сама меняет запрос под его решение.

Детали: обычные тесты здесь не годятся: эталонных ответов у субъективного понятия нет, а представление человека меняется по ходу работы. Поэтому авторы провели 18 сессий по полтора часа с девятью людьми, которых набрали внутри своей организации. Каждый работал с двумя разными понятиями: с одним — в Agile Deliberation, с другим — вручную, просматривая данные в таблицах, подбирая поисковые запросы и сам правя запрос к модели. Кроме здоровой еды проверяли Pay-to-Play — картинки-приманки из игр и развлечений, которые обещают нереальные денежные или цифровые награды.

В цифрах: F1-мера³ фильтров в обеих группах, по данным статьи.

Один запрос — фильтр по первой формулировке без уточнений; авторазбор — система Modeling Collaborator, где понятие разбирает сам ИИ-агент.

Результаты групп, как предупреждают авторы, несопоставимы: у участников разное понимание понятия, поэтому смотреть стоит на прирост внутри строки. С Agile Deliberation оценка выросла на обоих понятиях, а при ручной работе на здоровой еде снизилась. Если считать от фильтра по первой формулировке, с Agile Deliberation F1-мера прибавила 0,11 на Pay-to-Play и 0,10 на здоровой еде. При ручной работе — плюс 0,08 и минус 0,03.

В аннотации к статье авторы оценивают общий выигрыш F1-меры в 7,5% над автоматическим разбором и более чем в 3% над ручной работой. Как посчитаны эти два числа, статья не показывает.

Ручной способ людей ещё и утомлял. Участники пробовали в среднем 7,3 поискового запроса, чтобы найти спорные картинки. «Думаю, мне трудно придумать запросы, которые будут противоречить моим определениям», — объяснил один из них. Другие боялись, что правка ради одной ошибки испортит остальные случаи. По самооценке участников, усилие с Agile Deliberation составило 3,11 балла против 4,67 при ручной работе, а стресс — 1,67 против 3,00: чем меньше, тем лучше, но диапазон шкалы статья не называет. Новый метод предпочли все участники.

Но: в исследовании всего девять человек и два понятия, и авторы сами пишут, что это может ограничивать статистическую силу и обобщение выводов. Весь процесс опирался в основном на одну модель, Gemini 2.5 Flash. Блог говорит о значительно меньшем раздражении и умственной усталости, но в таблице статьи статистически значимы только различия в усилии и стрессе. Блог упоминает и участников-экспертов, хотя, по статье, профессионального опыта модерации у девяти участников не было: определения профессиональных модераторов авторы разбирали раньше, готовя метод.

Работу вели вместе с Google Ads, а картинки Pay-to-Play брали из закрытого набора на 100 млн изображений. Авторы видят применение метода у команд модерации, кураторов цифровых коллекций и учёных, разбирающих изображения. Код и демонстрация на примере здоровой еды лежат на GitHub, а в описании сказано, что это не официально поддерживаемый продукт Google.