ИИ-агент на мощном ПК не отдаёт данные облаку, но решает меньше задач

В тесте AgBench агенты с моделью на самом компьютере решили меньше задач и работали дольше облачных, зато не отправили в облако никаких конфиденциальных данных.

ИИ-агент на мощном компьютере с локальной моделью решает меньше задач и тратит на них в разы больше времени, чем облачный, зато не отдаёт в облако конфиденциальные данные, показал новый бенчмарк AgBench. Препринт на arXiv написан по итогам 1 920 запусков.

Почему это важно: работа показывает, чем приходится платить за отказ от облака. Агент на своём компьютере не тратит денег на вызовы облачной модели и не отдаёт наружу файлы и пароли, но теряет часть задач и много времени.

Общая картина: агенты вроде Claude Code и Codex планируют шаги и проверяют результат с помощью облачных моделей, поэтому файлы и контекст пользователя уходят на серверы. NVIDIA и AMD предлагают компьютеры, рассчитанные на работу агентов без облака, — DGX Spark и Ryzen AI Halo.

Как это работает: 60 задач из бенчмарков GAIA¹, TUA-Bench и Terminal-Bench 2² — от поиска информации до команд в терминале — запускали в разных условиях:

Машин было две: рабочая станция с видеокартой NVIDIA GeForce RTX 5090 и компактный компьютер на AMD Ryzen AI Max+ 395 со встроенной графикой.
На самом компьютере работала открытая модель Qwen3.8-27B, сжатая квантизацией³ до 6 бит, а в облаке — DeepSeek V4 Flash.
Файлы и инструменты всегда оставались на компьютере, а модель работала на месте, в облаке или в одном из двух гибридов.
В одном гибриде облачный агент руководит и поручает работу локальному, в другом локальный ведёт задачу и при нужде советуется с облачным.

В цифрах: облачный агент решал больше задач, а локальный сильно проседал, когда машина выполняла восемь задач сразу и они делили её память и вычисления:

Облачный агент решил от 47 до 51 задачи из 60 на обеих машинах — и по одной задаче, и по восемь сразу.
Локальный агент на RTX 5090 решил 35 задач, когда работал по одной, и только 12 — при восьми одновременно.
На Ryzen AI Max+ 395 он решил 31 задачу по одной и 22 — при восьми одновременно.
При одной задаче за раз гибрид, где ведёт локальный агент, решил 44 задачи на каждой машине, а гибрид под началом облака — 39.

Детали: задачи, которые решили все четыре схемы, облачный агент при одной задаче за раз закрывал в среднем за 2 минуты, а локальный — за 7 на RTX 5090 и за 15 на Max+ 395. Сильнее всего локальный отстал в сложных задачах в командной строке: на RTX 5090 он решил 4 из 12, облачный — 11.

Но: локальный агент не отправил в облако ни одной из 527 конфиденциальных записей, заложенных в задачи, — персональных данных, паролей, деловых сведений. Облачный отправил туда 76% из них, гибриды — по-разному:

Где ведёт локальный агент, при одной задаче за раз в облако ушло 22% записей на RTX 5090 и 13% на Max+ 395.
Где руководит облачный агент, при одной задаче за раз в облако уходит лишь на 5–9 процентных пунктов меньше, чем у чисто облачного: этот агент сам получает файлы задачи и отчёты локального.
При восьми задачах сразу на RTX 5090 гибрид под началом облака отправил в облако только 17% записей.

Интрига: гибрид под началом облака оказался медленнее чисто локального агента и не всегда дешевле облачного:

На RTX 5090 при одной задаче за раз он решал задачи, общие для всех четырёх схем, в среднем почти за 16 минут — более чем вдвое дольше локального агента.
На Max+ 395 облачный агент поручил локальному проверки перед правкой метаданных MP3-файла, те заняли 93,5 минуты, и отведённое на задачу время вышло.
При восьми задачах сразу на RTX 5090 локальному агенту в десяти задачах раз за разом не хватало памяти на историю своей работы, а облачный слал ему поручения больше 100 раз на задачу, пока не истекали два часа.
Неудачные запуски этого гибрида в том же режиме стоили 2,57 доллара за облачные вызовы — больше, чем весь прогон чисто облачного агента за 0,72 доллара.

Авторы выложили задачи, код и записи всех запусков — 115 ГБ без сжатия, — чтобы замеры можно было повторить.

Универсальной схемы нет, заключают авторы. Если важны скорость и надёжность, они советуют облако, а если цена и приватность — локального агента или гибрид, где он ведёт задачу и сам зовёт облако на помощь. Локального агента авторы советуют сначала проверить на своих задачах и давать ему по одной задаче за раз.