AI

Meta publie le jeu de données XRStereo pour la reconstruction de scènes 3D à partir de vidéos stéréo

Meta a publié le jeu de données synthétique XRStereo sur Hugging Face pour entraîner des modèles à la reconstruction de scènes 3D à partir de vidéos stéréo.

·2 min de lecture
Meta publie le jeu de données XRStereo pour la reconstruction de scènes 3D à partir de vidéos stéréo

Meta a publié un nouveau jeu de données nommé XRStereo sur la plateforme Hugging Face, conçu pour entraîner des modèles et des systèmes de vision par ordinateur. Ce jeu de données synthétique est spécifiquement conçu pour la tâche de reconstruction de scènes tridimensionnelles à partir d'entrées vidéo stéréo standard. Le volume total des données atteint près de 380 gigaoctets, offrant ainsi aux chercheurs en informatique spatiale une ressource puissante.

  • Contient près de 18 000 séquences avec cinq paires stéréo dans chacune.
  • La résolution de chaque image individuelle est de 1024 par 1024 pixels.
  • Comprend 13 environnements virtuels, incluant 9 scènes d'intérieur et 4 d'extérieur.
  • La taille de l'archive du dataset est d'environ 373 Go, répartie en 72 archives distinctes.

Structure et paramètres du jeu de données

Au sein de chaque séquence, des caméras virtuelles se déplacent à travers une scène statique. Outre les images gauches et droites standard, les créateurs ont inclus des données précises sur les positions des caméras, la distance de base entre les objectifs et des cartes de disparité représentant les décalages de pixels entre les deux perspectives. Cela permet aux algorithmes d'analyser en profondeur la profondeur spatiale et d'entraîner des réseaux de neurones à mieux comprendre les environnements 3D.

Lors de la génération de ces environnements virtuels, les chercheurs ont fait varier des paramètres de prise de vue tels que le champ de vision horizontal, allant de 50 à 130 degrés, et la distance entre les caméras, fixée de 4 à 12 centimètres. Cette diversité permet d'utiliser le jeu de données pour entraîner des algorithmes adaptés aux différentes caméras stéréo présentes dans les casques VR modernes et la robotique.

À lire aussiNvidia confirme sa stratégie d'IA open-source et le rachat de Hugging Face

Lien avec la méthode StereoSplat et accessibilité

L'objectif principal de la création de XRStereo était de soutenir la méthode StereoSplat, développée par les ingénieurs de Meta aux côtés de spécialistes de l'Université d'Amsterdam. Cette approche élabore des représentations 3D à l'aide du Gaussian Splatting, puis génère de nouvelles vues pour montrer l'apparence d'une scène si la position de la caméra venait à changer.

En plus du jeu de données lui-même, Meta a publié le code source de la méthode StereoSplat ainsi que les poids des modèles pré-entraînés. L'ensemble de la ressource est hébergé sur Hugging Face et divisé en 72 archives individuelles totalisant près de 373 gigaoctets. Cette ouverture vise à accélérer la recherche et le développement dans la vision par ordinateur et les graphismes 3D.

Importance pour les développeurs et l'industrie

L'introduction de tels jeux de données ouverts simplifie grandement le travail des ingénieurs et des scientifiques développant des technologies de réalité virtuelle et augmentée. La capacité d'entraîner des réseaux de neurones sur des données synthétiques de haute qualité dotées de paramètres de caméra finement réglés permet de créer des produits immersifs plus réalistes. Le code open source et les poids de modèles prêts à l'emploi offrent aux développeurs une base solide pour leurs projets de vidéo spatiale.

Source: Все публикации подряд на Хабре

Articles similaires