Meta lança o conjunto de dados XRStereo para reconstrução de cenas 3D a partir de vídeo estéreo
A Meta publicou o conjunto de dados sintéticos XRStereo no Hugging Face para treinar modelos de reconstrução de cenas 3D a partir de vídeos estéreo.

A Meta lançou um novo conjunto de dados chamado XRStereo na plataforma Hugging Face, projetado para treinar modelos e sistemas de visão computacional. Este conjunto de dados sintéticos foi construído especificamente para a tarefa de reconstruir cenas tridimensionais usando entradas de vídeo estéreo padrão. O volume total de dados é de quase 380 gigabytes, fornecendo aos pesquisadores de computação espacial um recurso poderoso.
- Contém quase 18.000 sequências com cinco pares estéreo em cada uma.
- A resolução de cada imagem individual é de 1024 por 1024 pixels.
- Inclui 13 ambientes virtuais, apresentando 9 cenas internas e 4 externas.
- O tamanho do arquivo do conjunto de dados é de aproximadamente 373 GB, dividido em 72 arquivos separados.
Estrutura e parâmetros do conjunto de dados
Dentro de cada sequência, câmeras virtuais se movimentam por uma cena estática. Juntamente com as imagens padrão esquerda e direita, os criadores incluíram dados precisos sobre as posições das câmeras, a distância de linha de base entre as lentes e mapas de disparidade que representam o deslocamento de pixels entre as duas perspectivas. Isso permite que os algoritmos analisem profundamente a profundidade espacial e treinem redes neurais para compreender melhor ambientes 3D.
Durante a geração desses ambientes virtuais, os pesquisadores variaram parâmetros de captura, como o campo de visão horizontal, variando de 50 a 130 graus, e a distância entre as câmeras, definida de 4 a 12 centímetros. Essa diversidade permite que o conjunto de dados seja usado para treinar algoritmos adaptados a várias câmeras estéreo encontradas em headsets de VR modernos e na robótica.
Leia tambémNvidia confirma estratégia de IA de código aberto e aquisição da Hugging FaceConexão com o método StereoSplat e acessibilidade
O principal objetivo de criar o XRStereo foi apoiar o método StereoSplat, desenvolvido por engenheiros da Meta em conjunto com especialistas da Universidade de Amsterdã. Essa abordagem constrói representações 3D usando Gaussian Splatting e, em seguida, gera novas visualizações para mostrar como uma cena se pareceria se a posição da câmera fosse deslocada.
Junto com o próprio conjunto de dados, a Meta lançou o código-fonte do método StereoSplat e os pesos dos modelos pré-treinados. Todo o recurso está hospedado no Hugging Face e dividido em 72 arquivos individuais que totalizam quase 373 gigabytes. Essa abertura foi projetada para acelerar a pesquisa e o desenvolvimento em visão computacional e gráficos 3D.
Importância para desenvolvedores e para a indústria
A introdução de conjuntos de dados abertos como este simplifica enormemente o trabalho de engenheiros e cientistas que desenvolvem tecnologias de realidade virtual e aumentada. A capacidade de treinar redes neurais com dados sintéticos de alta qualidade e com parâmetros de câmera finamente ajustados permite a criação de produtos imersivos mais realistas. Código de código aberto e pesos de modelos prontos para uso oferecem aos desenvolvedores uma base sólida para projetos de vídeo espacial.



