AI

Meta、ステレオ動画からの3Dシーン再構築に向けた「XRStereo」データセットを公開

Metaは、ステレオ動画から3Dシーンを再構築するモデルのトレーニング用に、合成データセット「XRStereo」をHugging Faceで公開しました。

·2 分で読めます
Meta、ステレオ動画からの3Dシーン再構築に向けた「XRStereo」データセットを公開

Metaは、コンピュータビジョンモデルやシステムのトレーニングを目的とした新しいデータセット「XRStereo」をHugging Faceプラットフォームで公開しました。この合成データセットは、標準的なステレオ動画入力を利用して3次元シーンを再構築するタスク専用に構築されています。データの総容量は380ギガバイトに迫り、空間コンピューティングの研究者にとって強力なリソースとなります。

  • 各シークエンスには5組のステレオペアが含まれ、合計で約1万8,000シークエンスに及びます。
  • すべての個別の画像の解像度は1024×1024ピクセルです。
  • 屋内シーン9つ、屋外シーン4つを含む13の仮想環境を収録しています。
  • データセットのアーカイブサイズは約373GBで、72個の個別アーカイブに分割されています。

データセットの構造とパラメータ

各シークエンス内では、仮想カメラが静的なシーン内を移動します。標準的な左右の画像に加え、作成者らはカメラの位置、レンズ間のベースライン距離、および2つの視点間のピクセルシフトを表す視差マップに関する正確なデータも含めました。これにより、アルゴリズムが空間深度を深く分析し、3D環境をよりよく理解できるようにニューラルネットワークをトレーニングすることが可能になります。

これらの仮想環境の生成において、研究者らは水平視野角(50〜130度の範囲)やカメラ間の距離(4〜12センチメートルの設定)といった撮影パラメータを変化させました。このような多様性により、現代のVRヘッドセットやロボット工学に見られるさまざまなステレオカメラに合わせたアルゴリズムのトレーニングに、このデータセットを活用することができます。

あわせて読みたいNvidia、オープンソースAI戦略の継続とHugging Face買収を発表

StereoSplat法との関連性とアクセシビリティ

XRStereo作成の主な目的は、Metaのエンジニアとアムステルダム大学の専門家が共同で開発した「StereoSplat」手法をサポートすることです。このアプローチは、ガウススプラッティング(Gaussian Splatting)を使用して3D表現を構築し、カメラ位置が移動した場合にシーンがどのように見えるかを示す新しい視点を生成します。

データセット本体に加え、MetaはStereoSplat手法のソースコードと事前トレーニング済みのモデルウェイトも公開しました。リソース全体はHugging Faceでホストされており、総容量約373ギガバイトの72個の個別アーカイブに分割されています。このようなオープン化は、コンピュータビジョンや3Dグラフィックスにおける研究開発を加速させることを目的としています。

開発者と業界にとっての意義

このようなオープンなデータセットの導入により、仮想現実(VR)や拡張現実(AR)技術を開発するエンジニアや科学者の作業が大幅に簡素化されます。微調整されたカメラパラメータを持つ高品質な合成データでニューラルネットワークをトレーニングできるため、よりリアルで没入感のある製品の作成が可能になります。オープンソースのコードとすぐに使えるモデルウェイトは、空間動画プロジェクトに取り組む開発者に強固な基盤を提供します。

出典: Все публикации подряд на Хабре

関連記事