Логан Килпатрик советует стартапам тратить больше четверти времени на бенчмарки

Тем, кто делает продукт на основе ИИ, стоит тратить больше 25% времени на создание бенчмарков. Так считает Логан Килпатрик, который в Google отвечает за AI Studio и Gemini API. Второй частью работы он считает попытки заинтересовать этими тестами лаборатории, которые разрабатывают модели.

По словам Килпатрика, это «самый простой путь ускорить прогресс компании». Как измерять эту пользу, в своём посте в соцсети X он не объясняет. Логика совета при этом понятна: лаборатории улучшают модели по тем показателям, за которыми следят. Если твоя задача превратилась в такой показатель, следующая версия модели может стать лучше именно в ней. Совет исходит от человека по ту сторону процесса — из компании, которая сама выпускает модели.