GitHub Copilot получит экспериментальную версию с локальными моделями
3продукта: приложение, командная строка, VS Code
53 ГБзанимает локальная MAI Code 1.1 Flash
256 тыс.токенов в контекстном окне модели
Сама Microsoft обещает до конца октября выпустить экспериментальную сборку GitHub Copilot, которая умеет работать на моделях прямо на компьютере разработчика. Её получат приложение Copilot, его версия для командной строки и VS Code. Будет два режима. В Auto система HydraFusion сама решает, какой шаг выполнить на ноутбуке, а какой отправить в облако. В ручном разработчик выбирает модель сам: MAI Code 1.1 Flash через Windows ML или любую модель с локального сервера, совместимого с API OpenAI.
Сборка экспериментальная, так что первыми её опробуют энтузиасты с мощным железом: модели на пике нужно больше 75 ГБ памяти. Интересно будет посмотреть, не страдает ли код от сжатия модели и сколько облачных токенов удастся сэкономить на деле.