Meta が Quest ヘッドセットだけで全身 VR トラッキングを実演するのを見る

Meta Reality Labs は、機械学習 (ML) と Quest VR ヘッドセットからのセンサー データを組み合わせて、腕、脚、胴体、頭を含む全身を表示する最新の進歩により、アバター レンダリングを大きく進歩させています。その結果、Quest 2 ヘッドセットを装着した人のポーズや動きが非常にリアルで正確に表現されます。

脚の動きと位置を推定するために Quest VR ヘッドセットとその 2 つのコントローラーの位置と方向のみが使用されたため、これは非常に驚くべきことです。脚にトラッキング バンドが配置されておらず、この優れたシステムに外部カメラが使用されていません。メタ リサーチ サイエンティストの アレクサンダー ウィンクラーは、Twitter でいくつかのビデオを共有し、 arXivに関する科学論文へのリンクと、より詳細なYouTube ビデオを共有しました。

科学的な意味では、これはまばらなセンサーからのモーション トラッキングとして知られており、ML は、既知のものと未知のものの間に十分な依存関係がある場合、ごくわずかなものから意味のある情報を抽出することに特に長けています。私たちは歩いたり走ったりするときにバランスをとるために腕を振るので、腕の動きは脚が通常何をしているかを示す良い指標です。頭の傾きと方向を組み合わせることで、ML システムはほとんどの人間の動きを非常に正確に予測できます。

Quest ヘッドセットを使用した VR でのボディ トラッキング。

手足を追跡するためのより従来のアプローチは、追加のハードウェアに依存しています。たとえば、外部カメラによって識別される脚や胴体に配置された反射マーカー、または位置とモーション データを送信するために脚のさまざまな場所に装着されたワイヤレス ビーコンを備えたバンドなどです。

これらの方法は機能しますが、通常はアクセサリ アイテムとして販売されており、価格が高く、ほとんどのアプリやゲームで十分にサポートされていません。 Meta が Quest 2 ヘッドセットでこのような優れた結果を達成できれば、開発者はゲームやアプリでボディ トラッキングを構築する可能性が高くなります。

これらの重要な進歩にもかかわらず、Meta Reality Labs は、さらに多くの作業が必要であることを認めています。十分に速く動くと、ML モデルはポーズを正しく識別できません。通常とは異なるスタンスはコンピューターが推測するのが難しく、仮想環境に現実には存在しない障害物がある場合、動きが一致しません。全体的な効果は非常に優れているようですが、VR で友達とチャットするときに胴体が浮かんでいるのではなく、全身を見ることができるようになれば、素晴らしいアップグレードになるでしょう。

うまくいけば、この技術はすぐに発売できるようになるでしょう。 Meta の Quest Pro ヘッドセットの発表がわずか数週間で予定されているため、全身アバターのタイミングは完璧に見えます. Meta Quest Proは目の動きと表情を追跡できるため、近い将来、友人、家族、同僚への存在感が大幅に向上する可能性があります。