Meta wydaje zestaw danych XRStereo do rekonstrukcji scen 3D z wideo stereoskopowego
Meta opublikowała syntetyczny zestaw danych XRStereo na platformie Hugging Face, który służy do trenowania modeli rekonstruujących sceny 3D z materiałów wideo stereo.

Meta wydała nowy zestaw danych o nazwie XRStereo na platformie Hugging Face, zaprojektowany z myślą o trenowaniu modeli i systemów widzenia komputerowego. Ten syntetyczny zbiór danych został stworzony specjalnie do zadań związanych z rekonstrukcją trójwymiarowych scen przy użyciu standardowych wejściowych materiałów wideo stereo. Całkowita objętość danych wynosi prawie 380 gigabajtów, co zapewnia badaczom z dziedziny obliczeń przestrzennych potężne źródło zasobów.
- Zawiera prawie 18 000 sekwencji z pięcioma parami stereo w każdej.
- Rozdzielczość każdego pojedynczego obrazu wynosi 1024 na 1024 piksele.
- Obejmuje 13 środowisk wirtualnych, w tym 9 scen wnętrz i 4 sceny plenerowe.
- Rozmiar archiwum zestawu danych wynosi około 373 GB, podzielonych na 72 osobne archiwa.
Struktura i parametry zestawu danych
W ramach każdej sekwencji wirtualne kamery poruszają się po statycznej scenie. Oprócz standardowych lewych i prawych obrazów, twórcy dołączyli precyzyjne dane dotyczące pozycji kamer, odległości bazowej między obiektywami oraz map dysparycji reprezentujących przesunięcia pikseli między obiema perspektywami. Pozwala to algorytmom na głęboką analizę głębi przestrzennej i trenowanie sieci neuronowych w celu lepszego zrozumienia środowisk 3D.
Podczas generowania tych środowisk wirtualnych badacze modyfikowali parametry nagrywania, takie jak poziome pole widzenia (wynoszące od 50 do 130 stopni) oraz odległość między kamerami (ustawiona na od 4 do 12 centymetrów). Taka różnorodność umożliwia wykorzystanie zestawu danych do trenowania algorytmów dostosowanych do różnych kamer stereo spotykanych w nowoczesnych goglach VR i robotyce.
Przeczytaj takżeNvidia potwierdza strategię open-source w dziedzinie AI i przejęcie Hugging FacePowiązanie z metodą StereoSplat i dostępność
Głównym celem stworzenia XRStereo było wsparcie metody StereoSplat, opracowanej przez inżynierów Meta we współpracy ze specjalistami z Uniwersytetu w Amsterdamie. Podejście to tworzy reprezentacje 3D przy użyciu techniki Gaussian Splatting, a następnie generuje nowe widoki, aby pokazać, jak scena wyglądałaby po zmianie pozycji kamery.
Wraz z samym zestawem danych Meta udostępniła kod źródłowy metody StereoSplat oraz wstępnie trenowane wagi modeli. Całość jest hostowana na platformie Hugging Face i podzielona na 72 indywidualne archiwa o łącznym rozmiarze blisko 373 gigabajtów. Ta otwartość ma na celu przyspieszenie badań i rozwoju w dziedzinie widzenia komputerowego i grafiki 3D.
Znaczenie dla deweloperów i branży
Wprowadzenie tak otwartych zbiorów danych znacznie upraszcza pracę inżynierów i naukowców rozwijających technologie wirtualnej i rozszerzonej rzeczywistości. Możliwość trenowania sieci neuronowych na wysokiej jakości danych syntetycznych z precyzyjnie dostrojonymi parametrami kamer pozwala na tworzenie bardziej realistycznych produktów immersyjnych. Otwartoźródłowy kod i gotowe do użycia wagi modeli dają deweloperom solidne fundamenty pod projekty wideo przestrzennego.
Źródło: Все публикации подряд на Хабре



