iPhone で 3D モデルを作成するアプリを使用しましたが、驚くほど素晴らしいです

人工知能の画像生成におけるイノベーションのペースは驚異的です。 1 つの会社 — Luma Labs — は、3D 画像に適用された最新のテクノロジの実用的でありながら非常に面白い使用方法の優れた例を提供しています。

Luma AIは iPhone でベータ テスト中であり、最終的には Android でも利用できるようになります。私はベータ テスト グループに参加し、この素晴らしいアプリの機能と驚くべき結果がいかに簡単に得られるかについての情報を共有できます。

ルマAIとは?

Alan Truly が iPhone 13 Pro Max でフィギュアの 3D モデルを撮影

Luma AI は、Luma Labs が開発したアプリおよびサービスです。 Neural Radiance Fields (NeRF) として知られる技術を使用して 3 次元画像をキャプチャします。これは、ハイエンド ゲームのグラフィックスを非常にリアルに見せるレイ トレーシング技術に似ています。

NeRF は数年前から存在していますが、ごく最近まで主に研究施設に存在していました。 フォトリアリスティックな Dall-E レンダリングが注目を集める AI 画像生成の爆発的な普及により、NeRF はより多くの聴衆によって探求され始めています。新しい NeRF ソフトウェアの最初の波では、開発者のスキルとGitHub からソフトウェア パッケージをインストールし、一連の写真で AI をトレーニングする必要がありました。普通の人にはちょっと多かったです。

Luma Labs は、Luma AI アプリを使用してプロセスを劇的に簡素化しようとしています。最初から最後まで、プロセス全体を iPhone から管理でき、最終結果にもアクセスしやすくなります。

ルマ AI iPhone 互換性

iPhone 14 Pro Maxを持っている人。

Apple は LiDAR センサーの 3D 深度測定機能のデモンストレーションを強調しているため、Luma AI が 3D モデルをキャプチャするには、より高価なiPhone 14 ProまたはiPhone 14 Pro Maxが必要になると予想されるかもしれません。ただし、Luma Labs の賢い開発者は代わりに人工知能を使用しています。これにより、このテクノロジーは iPhone 11 までの古い iPhone と互換性があります。

将来的には、このアプリは Android で利用できるようになる予定であり、ベータ テスト中の Web バージョンも既に存在します。 Luma Labs の CEO である Amit Jain 氏はインタビューで、iPhone アプリは数週間以内に一般公開される予定であると述べました。

Luma AI の使用方法

iPhone 14 Pro Max の背面カメラ。

Luma AI を使用するには、3 つの異なる高さにあるオブジェクトの周りをゆっくりと円を描くだけです。 AR オーバーレイがプロセスを案内します。プロセスには数分かかりますが、プロセスに慣れるにつれて数回試行すると簡単になります。やがて、椅子のような中型のオブジェクトを数分でキャプチャできるようになります。

Luma AI にとっては、被写体がどんなに大きくても、それは単なる一連の画像であるため、あらゆるサイズのオブジェクトを処理できます。カップ、彫像、または建物を丸で囲んでも、一般的な考え方は変わりません。

アプリは十分な画像があると通知し、それが完了すると [完了] ボタンが表示されます。また、これまでに撮影した写真を表す 輪と四角形の AR クラウドの隙間を円を描いて埋め続けることもできます。理想的な量の写真が収集されると、アプリは自動的にキャプチャを停止します。さまざまな角度や距離でさらに多くの写真を撮影できるフリーフォーム モードもあります。このプロセスは、私が作成した以下の YouTube ビデオで見ることができます。 iPhoneアプリなので縦長動画です。

処理は次のステップで、Luma Labs のサーバーで行われます。約 1 時間後、完成した NeRF がいくつかの異なる形式でアプリで利用できるようになります。与えられた最初のビューは生成されたビデオで、自然環境でのオブジェクトのフライバイを示しています。次はインタラクティブ バージョンで、画像上で指またはマウスをドラッグしてビューを回転させることができます。

何よりも印象的なのは、背景から抽出されたキャプチャの対象も利用できることです。この表現を使用すると、3D オブジェクトを任意の軸でピボットし、ズームインしてより詳しく見ることができます。シャープネスは、収集された画像の数と、キャプチャ プロセス中の速度と安定性によって異なります。

常に良くなっています

Luma Labs は、驚くべきペースでアプリとサービスを更新しています。ベータ テストの招待状を受け取ってから 1 週間以内に、可能性を大きく広げる 2 つの強力な新機能が追加されました。 1 つ目は、アプリなしでビデオをキャプチャし、処理のために Luma Labs の Web サイトにアップロードできる Web アップロード オプションです。結果はオンラインとアプリに表示されます。

つまり、iPhone の任意のカメラ モードを使用したり、専用カメラでビデオをキャプチャしたり、Ray-Ban Stories のような AR メガネを使用してビデオを録画したりすることも可能です。たとえば、ドローンの動画は、着陸後に動きを滑らかにして方向を変えることができれば、さらに壮大になります。 Luma Labs は、このツイートで紅葉の航空写真を示す良い例を共有しました。

パロアルトの秋はゴージャス! 🍂 https://t.co/EwNkiv0DQV pic.twitter.com/hdd7iBLYgV

—ルマ AI (@LumaLabsAI) 2022 年 10 月 22 日

もう 1 つの新機能は、3D 編集、ペイント、および 3D 印刷の機会を開きます。 3D メッシュは、OBJ または GLTF 形式のテクスチャでエクスポートできます。これらは最適化されていませんが、無料のオープンソース Web サイトOnline3DViewerなどのオンライン ビューアーでもテクスチャをそのまま表示できます。

アート フィギュアの Luma AI キャプチャは、MeshLab で改良されています。

無料のオープンソースMeshLabなどのメッシュ エディターで 3D ファイルを開いて、さまざまな形式でエクスポートする前に、フローティング ブロブとして表示される漂遊アーティファクトを削除したり、クリーンアップしたり、モデルを単純化したりすることもできます。上記のフィギュアは高さ約 3 インチで、妻のトレーシーが彼女のビジネスALittleCharacterのために彫刻したものです。 Luma AI は、彫刻とそれが置かれている丸太の驚くべき量の詳細をキャプチャしました。ログは、MeshLab によって選択され、削除された可能性もあります。

3D スキャンの長所と短所

Kyle Brussell は、パーティーのデザート ディスプレイを共有し、デジタル ジオラマとしてキャプチャできるように、大人たちにおやつを待つように頼んだと述べました。

昨夜の誕生日パーティーで@LumaLabsAIを使用して、たくさんの大人にデザートを食べさせないようにしたので、携帯電話でテーブルを一周して、3D AI が非常にクールな人物のようにセットアップを夢見ることができましたpic.twitter.com/sP0vVPB3yx

—カイル・ラッセル (@kylebrussell) 2022年10月30日

Luma AI はビデオを処理できますが、静止画像に依存して 3 次元シーンを構築します。つまり、被写体が動くと、キャプチャの品質や明瞭さが低下する可能性があります。 Albert Bozesan の Tweet に示されているように、座っている人の 3D 画像が適しています。同じツイートで、彫刻の 2 番目のキャプチャは、シーン内で動きがあるときに何が起こるかを示しています。背景には、被写体の近くを歩いた人が歪んだ形で表示されます。

今日、バイエルンの湖で 2 つの@LumaLabsAI #NeRFを撮影しました。マイノリティ・リポートのように、思い出を捉える素晴らしい方法です。 #Tegernsee pic.twitter.com/HLC0ekF7uD

—アルバート・ボーゼサン (@AlbertBozesan) 2022年10月30日

Luma AI の価格と入手可能性

Luma AI は現在ベータ テスト中で、会社のTwitterアカウントを介して定期的に招待状が送られます。互換性のある iPhone をお持ちで、このテクノロジに興味がある場合は、早期アクセスを取得できる可能性があります。 Luma Labs のWeb サイトにも順番待ちリストがあります。

Luma Labs の CEO である Jain 氏は、価格はまだ決定されておらず、ユーザーベースがどれだけ広くなるか、スキャンの結果がどのように使用されるかによって決まると述べました.これらのステートメントに基づいて、より高度な機能を備えたプロフェッショナル サブスクリプションと、より安価な個人用サブスクリプションが存在する可能性があります。当面の間、無料でご利用いただけます。