Meta merilis dataset XRStereo untuk rekonstruksi adegan 3D dari video stereo
Meta telah mempublikasikan dataset sintetik XRStereo di Hugging Face untuk melatih model guna merekonstruksi adegan 3D dari video stereo.

Meta telah merilis dataset baru bernama XRStereo di platform Hugging Face, yang dirancang untuk melatih model dan sistem visi komputer. Dataset sintetik ini dibuat khusus untuk tugas merekonstruksi adegan tiga dimensi menggunakan masukan video stereo standar. Total volume data ini hampir mencapai 380 gigabita, yang menyediakan sumber daya yang sangat kuat bagi para peneliti di bidang komputasi spasial.
- Berisi hampir 18.000 sekuens dengan lima pasang stereo di masing-masingnya.
- Resolusi setiap gambar individu adalah 1024 kali 1024 piksel.
- Mencakup 13 lingkungan virtual, yang menampilkan 9 adegan indoor dan 4 outdoor.
- Ukuran arsip dataset ini sekitar 373 GB, dibagi menjadi 72 arsip terpisah.
Struktur dan parameter dataset
Dalam setiap sekuens, kamera virtual bergerak melalui adegan statis. Bersamaan dengan gambar kiri dan kanan standar, para pembuatnya menyertakan data presisi tentang posisi kamera, jarak garis dasar antar lensa, dan peta disparitas yang merepresentasikan perpindahan piksel antara kedua perspektif. Hal ini memungkinkan algoritma untuk menganalisis kedalaman spasial secara mendalam dan melatih jaringan saraf untuk lebih memahami lingkungan 3D.
Selama pembuatan lingkungan virtual ini, para peneliti memvariasikan parameter pemotretan seperti bidang pandang horizontal (horizontal field of view), mulai dari 50 hingga 130 derajat, dan jarak antar kamera yang diatur dari 4 hingga 12 sentimeter. Keragaman semacam ini memungkinkan dataset digunakan untuk melatih algoritma yang disesuaikan dengan berbagai kamera stereo yang ditemukan pada headset VR dan robotika modern.
Baca jugaNvidia Mengonfirmasi Strategi AI Sumber Terbuka dan Akuisisi Hugging FaceHubungan dengan metode StereoSplat dan aksesibilitas
Tujuan utama pembuatan XRStereo adalah untuk mendukung metode StereoSplat, yang dikembangkan oleh para insinyur Meta bersama para spesialis dari University of Amsterdam. Pendekatan ini membangun representasi 3D menggunakan Gaussian Splatting dan kemudian menghasilkan tampilan baru guna menunjukkan seperti apa rupa sebuah adegan jika posisi kamera bergeser.
Selain dataset itu sendiri, Meta merilis kode sumber untuk metode StereoSplat dan bobot model yang telah dilatih sebelumnya (pre-trained). Seluruh sumber daya ini di-host di Hugging Face dan dibagi menjadi 72 arsip terpisah dengan total hampir 373 gigabita. Keterbukaan ini dirancang untuk mempercepat penelitian dan pengembangan dalam visi komputer dan grafis 3D.
Signifikansi bagi pengembang dan industri
Kehadiran dataset terbuka semacam ini sangat menyederhanakan pekerjaan para insinyur dan ilmuwan yang mengembangkan teknologi realitas virtual dan augmented reality. Kemampuan untuk melatih jaringan saraf pada data sintetik berkualitas tinggi dengan parameter kamera yang disetel secara presisi memungkinkan terciptanya produk imersif yang lebih realistis. Kode sumber terbuka dan bobot model siap pakai memberi pengembang fondasi yang kuat untuk proyek video spasial.
Sumber: Все публикации подряд на Хабре



