https://nazology.net/wp-content/uploads/2020/04/65fd997c130adbd32bcb550ca0939bc9.png

バージニア工科大学、国立清華大学、フェイスブックにより、1枚のRGB-D画像を3D画像に変換する新たな手法が開発されました。

以前にも、Facebook 3D Photosといった類似する技術はありましたが、3D変換後に画像がゆがむなど性能面で劣る部分がありました。

しかし、今回の手法は、データのゆがみや処理段階のミスが限りなくゼロに近いとのことです。

研究の詳細は、「IEEE Conference」にて報告されています。

二次元写真が3Dに変身

この手法は、ディープラーニング技術を使うことで、入力された画像内の隠れた部分を自動生成する技術です。

例えば、前面に写る被写体に隠れた背景部分などの色や深度（奥行き）を計算し、合成するこができます。

入力画像データは、被写体や背景の形状を3次元点群として管理できる「LDI（Layered Depth Image）」として表示されます。

3次元点群とは、レーザースキャナーなどで物体や地形を点の集合体で表現する手法です。

点の一つ一つは、スキャナーからの相対的な位置情報（xyz）や色の情報を持つので、コンピューター上でデータが扱いやすくなります。

LDIを用いることで、画像内の空間情報がこと細かく把握でき、隠れた領域も正確にinpainting（画像修正）ができるのです。

これまでの3D変換技術も、隠れた領域の埋め合わせを用いていましたが、3D生成後にどうしてもゆがみや乱れが出ていました。

しかしLDIでは、データ処理段階における乱れが最小限に抑えられています。

この手法の有効性は、日常のさまざまなシーンを写した画像の変換で実証されており、他の最先端の技術と比較しても、性能的に優っていると言われています。

全文はソースで
https://nazology.net/archives/56863