Ai2 научила OlmoEarth Studio выгружать векторные представления спутниковых снимков

Пользователи OlmoEarth Studio теперь могут выгрузить снимки нужного участка Земли в виде векторных представлений — наборов чисел, в которых модель сжала всё, что «увидела» в каждом пикселе. У участков с похожей поверхностью векторы оказываются рядом, у непохожих — далеко друг от друга. OlmoEarth Studio — платформа Ai2 для построения моделей наблюдения Земли. Считают векторы открытые модели OlmoEarth, их код и веса выложены вместе с научной статьёй.

Пользователь рисует или загружает контур области, выбирает период, разрешение от 10 до 80 метров на пиксель и снимки: оптические Sentinel-2, радарные Sentinel-1 или те и другие. Модель можно взять в одном из трёх размеров — от Nano на 1,4 млн параметров до Base на 89 млн. На выходе получается обычный файл GeoTIFF, который открывается в QGIS, GDAL или в собственных скриптах. Векторы считаются по запросу, а не берутся из готового глобального архива. Поэтому их можно делать хоть помесячно и следить за сезонными переменами.

Ai2 показала, что можно делать с такими файлами, не обучая ничего нового. Поиск похожих мест в калифорнийском Мерседе отделил городскую застройку и дороги от полей без единой метки. В мангровом районе Камау во Вьетнаме исследователи разметили всего 60 пикселей, по 20 на класс: мангры, вода и всё остальное. Простой классификатор по этим точкам построил карту всего района с точностью F1 = 0,84. Если увеличить разметку с 30 до 300 точек, результат почти не меняется. Авторы объясняют это тем, что основную работу уже сделали векторы.

Сравнение векторов за сентябрь 2023 и сентябрь 2024 года сразу высветило след лесного пожара Park Fire в округе Батт. А свёртка векторов в три цвета для нидерландского Флеволанда повторила сетку полей польдера и раскрасила культуры, воду и города в разные оттенки.

Функция уже работает, но доступ выдают по запросу. Желающие могут посчитать векторы и сами — открытыми моделями по инструкции в документации. Для задач, где нужна точность выше, в Studio есть дообучение на собственной разметке. Сами авторы советуют проверять качество векторов под каждую задачу: сплошная облачность, атмосферные помехи или пропуски в снимках за выбранный период портят результат.