Meta veröffentlicht XRStereo-Datensatz zur 3D-Szenenrekonstruktion aus Stereovideo
Meta hat den synthetischen Datensatz XRStereo auf Hugging Face veröffentlicht, um Modelle für die Rekonstruktion von 3D-Szenen aus Stereovideos zu trainieren.

Meta hat einen neuen Datensatz namens XRStereo auf der Plattform Hugging Face veröffentlicht, der für das Training von Computer-Vision-Modellen und -Systemen entwickelt wurde. Dieser synthetische Datensatz wurde speziell für die Aufgabe der Rekonstruktion dreidimensionaler Szenen mithilfe von Standard-Stereovideoeingaben konzipiert. Das Gesamtvolumen der Daten beträgt fast 380 Gigabyte und bietet Forschern im Bereich des Spatial Computing eine leistungsstarke Ressource.
- Enthält fast 18.000 Sequenzen mit jeweils fünf Stereopaaren.
- Die Auflösung jedes einzelnen Bildes beträgt 1024 mal 1024 Pixel.
- Beinhaltet 13 virtuelle Umgebungen mit 9 Innen- und 4 Außenszenen.
- Die Archivgröße des Datensatzes beträgt ca. 373 GB, aufgeteilt in 72 separate Archive.
Struktur und Parameter des Datensatzes
Innerhalb jeder Sequenz bewegen sich virtuelle Kameras durch eine statische Szene. Neben den standardmäßigen linken und rechten Bildern haben die Ersteller präzise Daten zu Kamerapositionen, dem Basislinienabstand zwischen den Linsen und Disparitätskarten integriert, die die Pixelverschiebung zwischen den beiden Perspektiven darstellen. Dies ermöglicht es Algorithmen, die räumliche Tiefe tiefgehend zu analysieren und neuronale Netze darauf zu trainieren, 3D-Umgebungen besser zu verstehen.
Während der Erstellung dieser virtuellen Umgebungen variierten die Forscher Aufnahme-Parameter wie das horizontale Sichtfeld (Field of View) im Bereich von 50 bis 130 Grad sowie den Kameraabstand von 4 bis 12 Zentimetern. Diese Vielfalt ermöglicht es, den Datensatz für das Training von Algorithmen zu nutzen, die auf verschiedene Stereokameras moderner VR-Headsets und in der Robotik zugeschnitten sind.
Lesen Sie auchNvidia bestätigt Open-Source-KI-Strategie und Hugging Face-ÜbernahmeVerbindung zur StereoSplat-Methode und Verfügbarkeit
Der Hauptzweck der Erstellung von XRStereo bestand darin, die StereoSplat-Methode zu unterstützen, die von Meta-Ingenieuren gemeinsam mit Spezialisten der Universität Amsterdam entwickelt wurde. Dieser Ansatz erstellt 3D-Darstellungen mithilfe von Gaussian Splatting und generiert anschließend neue Ansichten, um zu zeigen, wie eine Szene aussehen würde, wenn sich die Kameraposition verschiebt.
Zusammen mit dem Datensatz selbst hat Meta den Quellcode für die StereoSplat-Methode und die vortrainierten Modellgewichte veröffentlicht. Die gesamte Ressource ist auf Hugging Face gehostet und in 72 einzelne Archive mit einer Gesamtgröße von fast 373 Gigabyte unterteilt. Diese Offenheit soll die Forschung und Entwicklung im Bereich Computer Vision und 3D-Grafik beschleunigen.
Bedeutung für Entwickler und die Branche
Die Einführung solch offener Datensätze vereinfacht die Arbeit von Ingenieuren und Wissenschaftlern, die Technologien für virtuelle und erweiterte Realität entwickeln, erheblich. Die Möglichkeit, neuronale Netze anhand hochwertiger synthetischer Daten mit fein abgestimmten Kameraparametern zu trainieren, erlaubt die Erstellung realistischerer immersiver Produkte. Open-Source-Code und einsatzbereite Modellgewichte geben Entwicklern ein starkes Fundament für Spatial-Video-Projekte an die Hand.
Quelle: Все публикации подряд на Хабре



