SemiAnalysis выделила в работе серверов для ИИ-агентов режим «дозаполнения». Почему это важно
Агент дописывает сотни или тысячи токенов к контексту длиной в сотни тысяч. Под такие запросы может понадобиться отдельная группа серверов, считают аналитики.