Apple, хватит играть в прятки! Matrix3D - вот это поворот!

Что, ребята, опять Apple решила перевернуть мир? Дайте подумать... Опять делают что-то настолько крутое, что остальные остаются просто смотреть в их спину? И на этот раз это Matrix3D, универсальная модель для фотограмметрии. Да, да, вы не ослышались. Универсальная. Вместо кучи отдельных программ, которые торчат, как гвозди, и конфликтуют друг с другом, Apple предлагает одно целое решение. Это как если бы все ваши любимые инструменты для 3D-моделирования вдруг объединились в один, и он еще и работал бы лучше, чем каждый из них по отдельности. Звучит как мечта, правда?

Что это за зверь Matrix3D?

По сути, Matrix3D – это модифицированный диффузионный трансформер. Звучит сложно, но это просто умный способ обрабатывать изображения, параметры камер и карты глубины вместе. Никаких отдельных пайплайнов, никакой зависимости от каких-то там "специализированных" алгоритмов SfM или MVS. Все в одном флаконе, как говорится. И это не просто для красивой картинки! Благодаря уникальной оптимизации точность просто зашкаливает.

Маскированное обучение: Это как хакерский трюк для AI

Самое интересное здесь – это "маскированное обучение". Ребята научили модель "достраивать" недостающую информацию. Представьте: у вас есть только пара изображений, и вы хотите воссоздать целую сцену. Matrix3D генерирует недостающие ракурсы, оценивает их позы и глубину, и все это – на основе всего двух фотографий. Это как если бы модель читала ваши мысли и сама додумывала то, чего не хватает. Вы можете подкинуть карту глубины с физического датчика, или сгенерировать новые ракурсы, используя все что у вас есть. Это открывает просто невероятные возможности для творчества и экспериментов. Хакерский трюк, который может изменить мир фотограмметрии!

Результаты, которые бьют наповал

А теперь давайте посмотрим на цифры. Оценка поз на датасете CO3D? Matrix3D показывает 96,3% точности, в то время как конкуренты обходятся максимум в 92,4%. Это уже серьезная разница! В синтезе видов PSNR 20,45 против 19,22 у SyncDreamer, а в оценке глубины AbsRel 0,036 против 0,064 у Metric3D. И опять же, все это – в рамках одной модели. Это как если бы вы получили несколько специализированных программ в одной, при этом она еще и работала бы лучше, чем они по отдельности!

Практическое применение: от одной фотографии до полной реконструкции

Самое крутое – это то, как можно использовать Matrix3D на практике. Например, для 3D-реконструкции из одного кадра она генерирует недостающие ракурсы, оценивает их позы и глубину, а затем оптимизирует сцену через 3D Gaussian Splatting. А для работы с несколькими кадрами без известных поз модель сама восстанавливает параметры камер. Это раньше требовало отдельного этапа с COLMAP, теперь все автоматизировано. Вся эта магия упакована в репозиторий с готовыми скриптами – от синтеза видов до полной реконструкции. Прямо как конструктор LEGO, только для профессионалов.

Есть нюансы, но это не критично

Конечно, как и у любой новой технологии, у Matrix3D есть свои недостатки. Например, качество облаков точек пока немного уступает другим методам, таким как GeoMVSNet. Но даже имеющиеся результаты достаточны для инициализации 3DGS. А главное – весь процесс занимает всего несколько минут на одной RTX 3090. Подумайте об этом: CAT3D, хотя и точнее в синтезе, требует 16х A100 и оптимизации под каждую сцену. Это как сравнивать гоночный болид с самолетом - оба быстро, но для разных целей.

В общем, Apple снова сделала невозможное возможным. Matrix3D – это не просто модель, это революция в мире фотограмметрии. Это шаг к тому, чтобы сделать 3D-моделирование доступным для всех. И я за это рукоплещу!

Ссылки на проект:

• Страница проекта
• [Модель](ссылка на модель)
• Arxiv
• [GitHub](ссылка на Github)

#AI #ML #Photogrammetry #Matrix3D #Apple

⚡️Matrix3D: Apple взорвала фотограмметрию! Что за дичь тут творится?! Apple, как всегда, лезет не... ver 0
Ширина: 1280 px
Высота: 640 px
Соотношение сторон.: 2:1

Скачать

⚡️Matrix3D: Apple взорвала фотограмметрию! Что за дичь тут творится?! Apple, как всегда, лезет не... ver 1
Ширина: 1972 px
Высота: 780 px
Соотношение сторон.: 493:195

Скачать