ИИтак

← Назад

Apple выпустила модель, которая оценивает расстояния от камеры до объектов

В тестах Apple старшая модель Depth Pro 2-H+ точнее прежних моделей оценивала расстояния до объектов, лучше различала границы и давала более устойчивые оценки между кадрами.

Схема работы Depth Pro 2 Изображение: Apple

Apple выпустила Depth Pro 2 — модель, которая по фото или видео с одной камеры оценивает в метрах, как далеко от неё находится каждая видимая точка сцены.

из этих оценок складывается карта глубины. По ней можно отделить объект от фона и размыть фон в уже снятом видео, сохранив мелкие детали по краям объекта. В примере из работы Apple модель различила контур шерсти суриката и дала согласованные оценки глубины в соседних кадрах.

в работе на arXiv исследователи Apple описывают компромисс. Модели для отдельных снимков обычно лучше различают контуры, а при покадровой обработке видео их оценки глубины колеблются. Прежние модели для видео давали более устойчивые оценки, но часто обрабатывали кадры в пониженном разрешении, из-за чего границы сглаживались. Когда исследователи отключили обмен данными между кадрами у Depth Pro 2-H+, оценки стали менее устойчивыми, а границы на картах глубины — менее чёткими.

Depth Pro 2 строит карты глубины в исходном разрешении, чтобы сохранить тонкие контуры. При обработке видео модель учитывает несколько кадров вместе, чтобы согласовать оценки глубины между ними.

Apple выложила код и веса1 нескольких версий. Компактные версии быстрее обрабатывают кадры, а самая крупная дала наиболее точные карты в испытаниях авторов. Лицензия на веса допускает некоммерческие исследования и разработки в академической среде.

← Все новости