Meta, stereo videodan 3D sahne rekonstrüksiyonu için XRStereo veri setini yayınladı
Meta, stereo videolardan 3D sahneler oluşturmak üzere modeller eğitmek amacıyla XRStereo sentetik veri setini Hugging Face'te yayınladı.

Meta, bilgisayarlı görü modellerini ve sistemlerini eğitmek için tasarlanan XRStereo adlı yeni bir veri setini Hugging Face platformunda kullanıma sundu. Bu sentetik veri seti, özellikle standart stereo video girdilerini kullanarak üç boyutlu sahneleri yeniden oluşturma görevi için inşa edildi. Yaklaşık 380 gigabaytlık toplam veri hacmi, uzamsal bilişim alanındaki araştırmacılara güçlü bir kaynak sunuyor.
- Her birinde beş stereo çifti bulunan yaklaşık 18.000 dizi içerir.
- Her bir bireysel görüntünün çözünürlüğü 1024'e 1024 pikseldir.
- 9'u iç mekan ve 4'ü dış mekan sahnesi olmak üzere 13 sanal ortam barındırır.
- Veri seti arşiv boyutu, 72 ayrı arşive bölünmüş olarak yaklaşık 373 GB'tır.
Veri setinin yapısı ve parametreleri
Her dizi içinde sanal kameralar statik bir sahnede hareket eder. Standart sol ve sağ görüntülerin yanı sıra yaratıcılar; kamera konumları, mercekler arasındaki temel mesafe ve iki perspektif arasındaki piksel kaymalarını temsil eden eşitsizlik (disparity) haritaları hakkında hassas veriler ekledi. Bu durum algoritmaların uzamsal derinliği derinlemesine incelemesine ve sinir ağlarının 3D ortamları daha iyi anlamasını sağlamak için eğitilmesine olanak tanıyor.
Bu sanal ortamların oluşturulması sırasında araştırmacılar; 50 ila 130 derece arasında değişen yatay görüş alanı ve 4 ila 12 santimetre olarak ayarlanan kameralar arasındaki mesafe gibi çekim parametrelerini çeşitlendirdi. Bu tür bir çeşitlilik, veri setinin modern VR başlıklarında ve robotikte bulunan çeşitli stereo kameralara göre uyarlanmış algoritmaların eğitimi için kullanılabilmesini sağlıyor.
Bunu da okuyunNvidia, açık kaynaklı yapay zeka stratejisini ve Hugging Face satın almasını onayladıStereoSplat yöntemiyle bağlantı ve erişilebilirlik
XRStereo'nun oluşturulmasındaki birincil amaç, Meta mühendisleri ile Amsterdam Üniversitesi'nden uzmanların ortaklaşa geliştirdiği StereoSplat yöntemini desteklemekti. Bu yaklaşım, Gaussian Splatting kullanarak 3D temsiller inşa ediyor ve ardından kamera konumu değiştiğinde bir sahnenin nasıl görüneceğini göstermek için yeni görünümler üretiyor.
Veri setinin yanı sıra Meta, StereoSplat yönteminin kaynak kodunu ve önceden eğitilmiş model ağırlıklarını da yayınladı. Kaynağın tamamı Hugging Face'te barındırılıyor ve toplamda yaklaşık 373 gigabayt olan 72 ayrı arşive bölünmüş durumda. Bu açıklık, bilgisayarlı görü ve 3D grafik alanındaki araştırma ve geliştirmeyi hızlandırmayı amaçlıyor.
Geliştiriciler ve sektör için önemi
Bu tür açık veri setlerinin sunulması, sanal ve artırılmış gerçeklik teknolojileri geliştiren mühendislerin ve bilim insanlarının işini büyük ölçüde kolaylaştırıyor. İnce ayarlı kamera parametrelerine sahip yüksek kaliteli sentetik veriler üzerinde sinir ağları eğitme yeteneği, daha gerçekçi sürükleyici ürünlerin yaratılmasına olanak tanıyor. Açık kaynaklı kod ve kullanıma hazır model ağırlıkları, geliştiricilere uzamsal video projeleri için sağlam bir temel kazandırıyor.
Kaynak: Все публикации подряд на Хабре



