Meta представила датасет XRStereo для восстановления 3D-сцен
Meta опубликовала синтетический датасет XRStereo на Hugging Face для обучения моделей восстановления 3D-сцен по стереовидео.

Компания Meta выпустила новый набор данных под названием XRStereo на платформе Hugging Face, который предназначен для обучения систем и моделей компьютерного зрения. Этот синтетический датасет создан специально для решения задач по восстановлению трехмерных сцен на основе обычного стереовидео. Объем новых данных составляет почти 380 гигабайт, что делает ресурс масштабным инструментом для исследователей в области пространственных вычислений.
- Содержит почти 18 тысяч последовательностей по пять стереопар в каждой.
- Разрешение каждого отдельного изображения составляет 1024 на 1024 пикселя.
- Включает 13 виртуальных окружений: 9 интерьерных и 4 уличные локации.
- Общий объем архивов датасета составляет около 373 ГБ, разделенных на 72 файла.
Особенности структуры и параметров датасета
В каждой доступной последовательности виртуальные камеры перемещаются по статичной сцене. Помимо стандартных левых и правых изображений, разработчики включили в набор точные данные о позиционировании камер, расстоянии между объективами, а также карты диспаратности, которые отражают попиксельное смещение между двумя ракурсами. Это позволяет детально анализировать глубину пространства и обучать нейросети более точному пониманию трехмерной среды.
В процессе генерации виртуального окружения исследователи варьировали различные параметры съемки. Горизонтальный угол обзора изменялся в диапазоне от 50 до 130 градусов, а расстояние между камерами настраивалось от 4 до 12 сантиметров. Подобное разнообразие дает возможность применять датасет для тренировки алгоритмов под самые разные типы стереокамер, которые используются в современных VR-гарнитурах и робототехнических системах.
Читайте такжеNvidia подтвердила приверженность открытому ИИ и сделку с Hugging FaceСвязь с методом StereoSplat и доступность
Главной целью создания XRStereo стала поддержка метода StereoSplat, разработанного инженерами Meta совместно со специалистами из Амстердамского университета. Данный подход использует популярную технологию Gaussian Splatting для построения качественных трехмерных представлений. После этого система способна генерировать совершенно новые точки обзора, демонстрируя, как именно выглядела бы исследуемая сцена при смещении позиции наблюдателя.
Наряду с самим датасетом, разработчики открыли полный доступ к исходному коду метода StereoSplat, а также выложили готовые веса обученных моделей. Весь этот массив данных размещен на площадке Hugging Face и разбит на 72 отдельных архива общей емкостью порядка 373 гигабайт. Такая открытость призвана ускорить исследования в сфере компьютерного зрения и трехмерного моделирования.
Значение для разработчиков и индустрии
Появление подобных открытых датасетов существенно упрощает задачи инженерам и ученым, работающим над технологиями виртуальной и дополненной реальности. Возможность обучать нейросети на качественных синтетических данных с точно настроенными параметрами камер позволяет создавать более реалистичные иммерсивные продукты. Открытый код и готовые веса моделей дают разработчикам мощный старт для собственных проектов в сфере пространственного видео.
Источник: Все публикации подряд на Хабре



