Meta lanza el conjunto de datos XRStereo para la reconstrucción de escenas 3D a partir de vídeo estéreo
Meta ha publicado el conjunto de datos sintéticos XRStereo en Hugging Face para entrenar modelos orientados a la reconstrucción de escenas 3D a partir de vídeo estéreo.

Meta ha lanzado un nuevo conjunto de datos llamado XRStereo en la plataforma Hugging Face, diseñado para entrenar modelos y sistemas de visión por computador. Este conjunto de datos sintéticos está creado específicamente para la tarea de reconstruir escenas tridimensionales utilizando entradas de vídeo estéreo estándar. El volumen total de datos es de casi 380 gigabytes, lo que proporciona a los investigadores de la computación espacial un recurso muy potente.
- Contiene cerca de 18.000 secuencias con cinco pares estéreo en cada una.
- La resolución de cada imagen individual es de 1024 por 1024 píxeles.
- Incluye 13 entornos virtuales, con 9 escenas de interior y 4 de exterior.
- El tamaño del archivo del conjunto de datos es de aproximadamente 373 GB, dividido en 72 archivos separados.
Estructura y parámetros del conjunto de datos
Dentro de cada secuencia, las cámaras virtuales se mueven a través de una escena estática. Junto con las imágenes estándar izquierda y derecha, los creadores incluyeron datos precisos sobre las posiciones de las cámaras, la distancia base entre las lentes y mapas de disparidad que representan los desplazamientos de píxeles entre ambas perspectivas. Esto permite a los algoritmos analizar en profundidad la profundidad espacial y entrenar a las redes neuronales para comprender mejor los entornos 3D.
Durante la generación de estos entornos virtuales, los investigadores variaron los parámetros de disparo, como el campo de visión horizontal (que va de 50 a 130 grados) y la distancia entre cámaras (fijada entre 4 y 12 centímetros). Dicha diversidad permite utilizar el conjunto de datos para entrenar algoritmos adaptados a las distintas cámaras estéreo presentes en los visores de RV y la robótica modernos.
Lee tambiénNvidia confirma su estrategia de IA de código abierto y la adquisición de Hugging FaceRelación con el método StereoSplat y accesibilidad
El propósito principal de la creación de XRStereo fue dar soporte al método StereoSplat, desarrollado por ingenieros de Meta junto con especialistas de la Universidad de Ámsterdam. Este enfoque construye representaciones 3D mediante el uso de Gaussian Splatting y luego genera nuevas vistas para mostrar cómo se vería una escena si la posición de la cámara cambiara.
Junto con el propio conjunto de datos, Meta publicó el código fuente del método StereoSplat y los pesos del modelo preentrenado. Todo el recurso está alojado en Hugging Face y dividido en 72 archivos individuales que suman casi 373 gigabytes. Esta apertura está diseñada para acelerar la investigación y el desarrollo en visión por computador y gráficos 3D.
Importancia para los desarrolladores y la industria
La introducción de conjuntos de datos abiertos de este tipo simplifica enormemente el trabajo de ingenieros y científicos que desarrollan tecnologías de realidad virtual y aumentada. La capacidad de entrenar redes neuronales con datos sintéticos de alta calidad y con parámetros de cámara ajustados con precisión permite crear productos inmersivos más realistas. El código abierto y los pesos de modelos listos para usar proporcionan a los desarrolladores una base sólida para proyectos de vídeo espacial.
Fuente: Все публикации подряд на Хабре



