Всё о V-JEPA: Погружаемся в мир видео моделирования!

Давайте-ка разберёмся, что же такое этот V-JEPA, и почему он стал настоящим открытием в мире видеомоделей! Если вы не в духе научной сухости, не переживайте, я постараюсь сделать это занятие по-настоящему увлекательным.

Итак, представьте себе: у нас есть видео с размерами T×H×W, где T — это количество кадров, а H и W — высота и ширина каждого кадра. Как в магии, это видео превращается в последовательность токенов. Но тут начинается самое интересное: некоторые токены замаскируются. Или, если быть точным, бинарная маска указывает, какие токены остаются, а какие прячутся в тени (поскольку они еще не готовы к выходу на сцену).

Затем, всё это волшебство проходит через энкодер, который создаёт репрезентации для всех входных токенов, а потом шеф-повар, то есть предиктор, вносит замаскированные токены обратно в уравнение. Это похоже на кулинарный рецепт, где сначала мы прячем некоторые ингредиенты, а потом, по мере готовки, они сами влетают в кастрюлю! Здесь мы имеем не только обучаемые эмбеддинги для замаскированных токенов, но и позиционные энкодинги, которые добавляют премиум вкус.

Теперь, когда смешали все ингредиенты, предиктор генерирует эмбеддинг для каждого замаскированного токена, а в конце мы вычисляем L1-лосс между предсказанными и реальными значениями. Это как соревнование между шеф-поваром и его помощником на кухне: кто быстрее и точнее выполнит заказ?

Все эти манёвры происходят в режиме self-supervised learning — великая форма обучения, где модель сама себе ставит задачи и решает их. После того как V-JEPA прошёл этот интенсивный тренинг, он уже может быть использован для изучения сложных концепций, таких как понимание мира.

Даже фильмы и видео — как много мы можем с них взять! Модель сначала изучает наблюдаемые кадры, а затем предсказывает, что произойдёт дальше. Эээ, да, у неё нет кристального шара, но она может неплохо угадать следующую сцену!

А что касается данных, на которых обучают V-JEPA, это настоящая подборка шедевров — VideoMix2M, где собраны Kinetics710, SomethingSomething-v2 и HowTo100M! Вся эта коллекция включает миллионы часов видео, что практически равносильно 15 годам непрерывного просмотра!

И тут мы перейдём к способностям этой модели. Она не просто хороша, она настоящая суперзвезда в интуитивной физике! V-JEPA тестировался на IntPhys, GRASP и InfLevel-lab, где мы можем изучить, как она справляется с концепциями постоянства объектов, гравитацией и столкновениями. По сути, это как экзамен для модели, чтобы понять, как она воспринимает физический мир.

Интересно, что V-JEPA сравнивают с другими моделями, и тут начинается настоящая битва титанов. Мы имеем двух противников: во-первых, модели предсказания видео в пиксельном пространстве, например VideoMAEv2, а во-вторых, мультимодальные LLM и MLLM, такие как Qwen2-VL-7B и Gemini 1.5 Pro. Так вот, V-JEPA действительно превосходит необученные модели и показывает невероятные результаты!

Теперь давайте посмотрим на результаты. Если обычный клиент заказывает комбинацию из аспектов интуитивной физики, V-JEPA может их «вскрыть». Иногда он показывает разницу в производительности с необученными моделями, но не всегда. Например, гравитация и постоянство цвета иногда делают вид, что «мы не уверены». Но постоянство объекта и, скажем, инерция — вот где V-JEPA фактически блистает!

Но не будем забывать о ситуации с людьми и Mechanical Turk. Сравнение показало, что V-JEPA порой работает даже лучше, чем средний человек, который, казалось бы, должен бить эту модель по всем фронтам! Осталось только разобраться, в чем же секрет: в задачах, которые ставятся, или в подходах к