MIT の研究者は、あらゆる光沢のある物体を一種のカメラに変える新しいコンピューター ビジョン システムを発表し、観察者が角の周りや障害物の後ろを見ることができるようにします。

人の周囲に関する貴重な、そして多くの場合隠されている情報は、物体の反射から得ることができます。 それらをカメラとして再利用することで、壁越しや空を見るなど、以前は想像もできなかった偉業を実行できるようになります。 オブジェクトの形状、マテリアルのプロパティ、3D 環境、観察者の視点など、多くの要因が反射に影響を与えるため、これは困難です。 物体の幾何学的形状を分解し、物体に反射する鏡面放射から内部を明るくすることで、人間は周囲の環境の覆われた部分に関する深い手がかりと推論を導き出すことができます。

MIT とライスのコンピューター ビジョン研究者は、反射を使用して現実の環境の画像を生成する方法を開発しました。 反射を利用して、光沢のあるオブジェクトを「カメラ」に変え、ユーザーが陶器のコーヒー カップや金属製の文鎮などのありふれたアイテムの「レンズ」を通して世界を見つめているような印象を与えます。

研究者らが使用した方法には、不定形状の明るい物体を放射線野カメラに変えることが含まれます。 主なアイデアは、物体の表面をデジタル センサーとして使用し、周囲の環境から反射された光を 2 次元で記録することです。

研究者らは、新しいビューの合成により、環境の放射線場の回復のおかげで、シーン内の明るい物体にのみ直接見え、観察者には見えない新しい視点が提示されると説明しています。 さらに、放射線場を使用して、シーン内の近くのオブジェクトによって生成されるアグロドラットを想像することができます。 研究者らによって開発されたこの方法は、物体の数枚の写真を使用して、その形状、拡散放射線、およびその 5D 環境の放射線場を同時に推定することによってエンドツーエンドで教えられます。

この研究の目的は、物体をその反射から分離し、物体がカメラであるかのように世界を「見て」、その周囲を記録することです。 コンピューター ビジョンは、反射が未知の形状の 3D シーンの歪んだ 2D 表現であるため、しばらくの間反射に苦戦してきました。

研究者らは、物体の表面を仮想センサーとしてモデル化し、物体の周囲の 5D 環境放射線場の 2 次元投影を収集して、物体から見える世界の 3 次元表現を作成します。 環境の放射線場のほとんどは、物体の反射を除いてブロックされます。 視野を超えて、小説の表示を合成したり、シーン内の明るい物体のみに直接見え、観察者には見えない新しい視点を提示したりすることは、環境の放射線場の使用によって可能になります。オブジェクトからその周囲までの奥行きと明るさを推定します。

要約すると、チームは次のことを行いました。

• これらは、仮想コーンのみを使用して環境の 3D 画像を撮影する機能を備えた、暗黙の表面を仮想センサーに変える方法を示しています。
• これらは一緒に、物体の周囲の 5D 放射線場を計算し、その拡散放射線を推定します。
• これらは、周囲の環境のライトフィールドを使用して、人間の目には見えない新しい視点を生成する方法を示しています。

このプロジェクトは、未知の形状とアルベドの明るい元素の多くの写真から海洋の 5 次元放射場を再構成することを目的としています。 反射面からのグレアにより、視野の外にあるシーンの要素が明らかになります。 具体的には、明るい物体の表面規則と曲率によって、観察者の画像が現実世界にどのようにマッピングされるかが決まります。

研究者は、歪みの原因となる反射物体や現実の形状について、より正確な情報を必要とする場合があります。 光沢のあるオブジェクトの色やテクスチャが反射と混ざることもあります。 さらに、反射は 3 次元環境の 2 次元投影であるため、反射されたシーンの奥行きを識別するのは簡単ではありません。

研究者チームはこれらの障害を克服しました。 彼らは、光沢のある物体をさまざまな角度から写真に撮り、さまざまな反射を捉えることから始めます。 Orca (Objects Like Radiance-Field Cameras) は、3 段階のプロセスの頭字語です。

Orca は、物体をさまざまな角度から撮影することで多視点反射を記録でき、これを使用してシーン内の明るい物体と他の物体の間の深さ、および明るい物体自体の形状を推定します。 画像内の各点から発せられ、各点に当たる光線の強度と方向に関する詳細情報は、ORCa の 5D 放射フィールド モデルによって取得されます。 Orca は、この 5D 放射線フィールドのデータのおかげで、より正確な深度推定を行うことができます。 シーンは 2D 画像ではなく 5D 放射線フィールドとしてレンダリングされるため、ユーザーは角度やその他の障害物によって隠れてしまう詳細を見ることができます。 研究者らは、ORCa が 5D 放射線場を収集したら、ユーザーはエリア内のどこにでも仮想カメラを配置し、カメラが生成する合成画像を作成できると説明しています。 ユーザーは、アイテムの外観を変更したり、たとえばセラミックから金属に変更したり、仮想オブジェクトをシーンに組み込んだりすることもできます。

放射線場の定義を従来の見通し線放射線場を超えて拡張することにより、研究者は環境とその中の物体を調査するための新しい道を開くことができます。 この作品では、投影された仮想の幅と奥行きを使用して、カメラの視野の外側から情報を外挿するなど、仮想オブジェクトの挿入と 3D 認識の可能性を広げることができます。

をスキャンします 紙 と プロジェクトページ。 忘れずに参加してください 22,000+ML サブ Redditと ディスコードチャンネルと と メールマガジンでは、最新の AI 研究ニュースやクールな AI プロジェクトなどを共有します。 上記の記事に関してご質問がある場合、または何か見逃している場合は、お気軽にメールでお問い合わせください。 [email protected]

🚀 AI ツール クラブで 100 年代の AI ツールをチェックしてください