JP6852224B2

JP6852224B2 - 全視角方向の球体ライトフィールドレンダリング方法

Info

Publication number: JP6852224B2
Application number: JP2020512610A
Authority: JP
Inventors: 晶怡虞; 煌杰虞
Original assignee: Plex VR Digital Technology Shanghai Co Ltd
Current assignee: Plex VR Digital Technology Shanghai Co Ltd
Priority date: 2017-09-01
Filing date: 2018-07-16
Publication date: 2021-03-31
Anticipated expiration: 2038-07-16
Also published as: GB2584753B; JP2020532022A; US20200380770A1; GB202002591D0; WO2019042028A1; CN107464278B; KR102143319B1; KR20200024946A; GB2584753A; CN107464278A; US10909752B2

Description

本発明は、コンピュータグラフィックス技術分野に関し、具体的には、多視点画像により現実オブジェクトをリアルタイムレンダリングする全視角方向の球体ライトフィールドレンダリング方法に関する。

現在、既知の３Ｄモデルレンダリングエンジンは、モデルとテクスチャマッピングとの組み合わせを採用し、ラスタライズレンダリングパイプラインによりレンダリングして画像を形成する。現在、ゲーム分野におけるキャラクター及びシーンは、ほとんどこのような方法によりレンダリングして得られたものである。しかし、仮想現実技術の発展に伴い、このような人工レンダリング結果は、真実感欠如のため、人々の期待に応えなくなった。

従来のレンダリングエンジンには、主に以下の問題が存在する。
（１）レンダリングデータの作成には、多くの人的資源を消費する必要がある。具体的には、現実オブジェクトに類似するモデルを構築し、モデルの外観が現実オブジェクトに近くようにモデルのテクスチャ及びマッピングを調整することにモデラーの多くの時間がかかる。また、この過程を繰り返して行う必要がある場合がある。

（２）レンダリング結果は、現実オブジェクトと大きな違いがある。従来のレンダリングエンジンに入力される三次元モデル及びテクスチャマッピングは、いずれも手作りのものであるため、オブジェクトの多くの細部を再現することができない。これらの細部は、オブジェクトの真実性を反映する最高の表現である。そのため、レンダリングにより得られた画像と肉眼で見た画像との間に常に大きな違いがある。

上記問題は、従来の３Ｄレンダリングエンジンに存在する一般的な問題である。上記問題を解決するために、本発明は、レンダリング方法を提供する。当該方法によれば、カメラによる撮影により必要なデータを取得できることでテクスチャマッピングの調整ステップが省略され、レンダリング結果は真に迫っており、没入感が高くなる。従来のレンダリング方法と同様に、本発明は、「全視角方向」機能、即ち、あらゆる角度からオブジェクトを観察できる機能も提供する。

本発明は、従来のレンダリングエンジンにより現実オブジェクトをレンダリングすることができない不足を克服するために、リアルタイムレンダリングを実現できるとともに、多視点画像により現実オブジェクトの各視角の画像をレンダリングすることができる全視角方向の球体ライトフィールドレンダリング方法を提供する。

上記目的を達成するために、本発明の技術的手段は、
関連ファイルの予備入力及び読み込みを行う予備ステップであるステップ１と、
球体上に格子状に分布する参照カメラ位置の深度図を予備計算するステップ２と、
前記球体表面を移動範囲としてレンダリングカメラを移動させ、前記レンダリングカメラの四周を囲んでいる４つの前記参照カメラを計算、識別するステップ３と、
前記レンダリングカメラの画素を逆投影し、４つの前記参照カメラと共に深度テストを行うステップ４と、
深度テストに合格した参照カメラに対して補間を行うことにより、最終レンダリングの画素値を得るステップ５と、
を含む。

前記ステップ４において、深度テストに合格した参照カメラが存在しない場合、深度テストに合格した参照カメラが存在するまで、４つの前記参照カメラの外周側に位置する他の参照カメラを選択して深度テストを行う。

前記ステップ４の深度テストにおいて、点Ｐから参照カメラの光学中心までの垂直距離を当該カメラでのＰの深度値Ｄｅｐｔｈ_１とし、前記深度値Ｄｅｐｔｈ_１と参照カメラに事前に記憶された深度図のＰｉｘｅｌ_Ｒでの深度値Ｄｅｐｔｈ_２とを比較し、Ｄｅｐｔｈ_１＝Ｄｅｐｔｈ_２である場合、参照カメラが点Ｐの深度テストに合格したと判断する。

前記ステップ５において、深度テストが完了した後、４つの前記参照カメラにそれぞれ重みを付与し、計算式は

であり、式中、

は、球心からレンダリングカメラを指向するベクトルとして定義され、

は、球心から参照カメラを指向するベクトルとして定義され、Ｗの値の範囲は、

であり、
Ｗ_Ｒが正規化された後の前記レンダリングカメラのＰｉｘｅｌ_Ｄでの画素値は、

であり、式中、Ｒは、深度テストに合格した参照カメラ集合である。

前記ステップ１において、前記関連ファイルは、低精度のオブジェクト三次元モデル、参照カメラの外部参照、内部参照及び同じ数の画像、参照カメラの相対位置関係を記述するファイル、データセット属性を記述する構成ファイルを含む。

前記低精度のオブジェクト三次元モデルの面数は３万−１０万である。

本発明によれば、従来技術と比較して、計算資源が節約され、ユーザが携帯やラップトップコンピューターのような通常のコンピューティングデバイスで、レンダリングの結果を迅速かつリアルタイムで見ることができ、ユーザが操作画面上で指をスライドさせることでレンダリングエンジンとインタラクションすることにより、球面上のあらゆる角度（所謂「全視角方向」）からオブジェクトを観察することができる。本発明の「全視角方向」効果により、ユーザは、観察しようとする角度をも落とすことがなく、様々な分野においてより良い効果が得られる。例えば、オンラインショッピングにあたり、ユーザは、一部の角度ではなく、あらゆる角度でオブジェクト全体を見ることができる。また、レンダリング結果は、現実画像のデータ（画像セット）から得られたものであるので、真実性も高くなり、ユーザにリアルな没入感をもたらす。

入力フォーマット画像の模式図である。入力画像の模式図である。入力画像の模式図である。入力画像の模式図である。本発明の実施例にかかる参照カメラが球体に格子状に分布される模式図である。本発明のレンダリングプロセスの説明図である。レンダリングカメラと参照カメラの相対位置の模式図である。投影及び逆投影の説明参考図である。

以下、図面を参照しながら本発明をさらに説明する。

図１ａから図４は、本発明の一実施例を示す。本実施例は、リアルタイムレンダリングを達成するとともに、多視点画像により現実オブジェクトの各視角の画像をレンダリングすることができる新しい方法を使用するライトフィールドレンダリングエンジンを提供する。具体的な実施ステップは、以下の通りである。

図１ａから図１ｄは、本実施例の入力フォーマット画像である。本実施例の入力データは、低精度のオブジェクト三次元モデル（面数：３万−１０万）、２００−３００セットの参照カメラの外部参照、内部参照、同じ数の画像、参照カメラの相対位置関係を記述するファイル、及びこのデータセットの属性を記述する構成ファイルを含む。具体的なデータの説明は、模式図を参照されたい。

図３を参照されたい。以下に記載の参照カメラは、入力画像を採取するカメラである。レンダリングカメラは、ユーザがインタラクションにより決定したカメラであり、出力画像のレンダリングに用いられる。両者のパラメータは同じでも異なっていてもよい。

図１ａは、オブジェクトの三次元モデルであり、合計３万個の頂点及び１４万個の面を含む。図１ｂから図１ｄは、画像セットの３つの実例であり、それぞれ異なる３つの角度から撮影したオブジェクト画像である。前記画像セットには、他の角度で撮影した類似する画像も含まれる。

下表は、１つの参照カメラの外部参照データを示し、４行に分けられ、各行に３つの数値が含まれ、各行がそれぞれカメラのＺ軸ベクトル、Ｘ軸ベクトル、Ｙ軸ベクトル及び座標を示す。他の参照カメラは、それぞれ各自の対応する数値を有する。

下表は、１つの参照カメラの内部参照マトリックスであり、カメラの光学中心座標及び焦点距離データを含む。他の参照カメラは、それぞれ各自の対応する数値を有する。

図１ｅは、可視化された参照カメラの位置模式図である。参照カメラは、１つの球体上に均一に分布されている。

下表は、入力データの追加の属性を示す。上から下への各項目は、それぞれ高解像度画像の数、低解像度画像の数、高横解像度、高縦解像度、低横解像度、低縦解像度、参照カメラの中心座標、参照カメラがある球面の半径、参照カメラの***面及び参照カメラの遠平面を示す。

図２は、本実施例のレンダリング方法のフローチャートである。当該レンダリング方法は、主に以下のステップを含む。
ステップ１：参照カメラ位置の深度図を予備計算する。
ステップ２：参照カメラがある球面を範囲としてレンダリングカメラを移動させ、どの４つの参照カメラがレンダリングカメラを囲んでいるかを計算する。
ステップ３：レンダリングカメラを画素逆投影し、ステップ２の４つの参照カメラと共に深度テストを行い、深度テストに合格したカメラに対して補間を行うことにより、最終レンダリングの画素値を得る。

前記過程において、データ読み取り段階では、次の深度テストのために、各参照カメラ位置の深度図を事前に計算する必要がある。

レンダリングカメラは、ユーザがオブジェクトを観察可能な角度を決定し、即ち、レンダリングされる出力図像を決定する。図１ｅに示すように、参照カメラがある球面は、レンダリングカメラの移動範囲を決定する。本実施例では、レンダリングカメラ位置が固定する場合におけるその周囲の４つの参照カメラの番号を計算する必要がある（図３）。参照カメラの番号の順序が変化できるので、入力データには参照カメラの位置関係が含まれる必要があり（即ち、図１ｅ）、次いで、ベクトル−四角形交差アルゴリズムにより計算する。

まず、ベクトル

を計算する。出発点は参照カメラの中心であり、終点はレンダリングカメラの座標である。参照カメラの球面が複数の四角形からなると考えられるので、ベクトル−四角形交差アルゴリズムにより、

と交差する四角形を確定することができる。さらに、入力カメラ位置ファイルを見れば、四つの候補参照カメラの番号を得る。

図４を参照されたい。ステップ３において、レンダリングカメラＣａｍ_Ｄの各画素Ｐｉｘｅｌ_Ｄをオブジェクト表面の点Ｐに逆投影し、さらにＰを４つの参照カメラ（図４に２つのみが示されているが、他の２つは同様である）に投影することにより、それぞれ画素Ｐｉｘｅｌ_Ｒ１、Ｐｉｘｅｌ_Ｒ２、Ｐｉｘｅｌ_Ｒ３及びＰｉｘｅｌ_Ｒ４を得る。この場合、参照カメラのビューで、点Ｐがオブジェクトの他の部分により遮られているので見られない可能性があるため、補間前に深度テストを行う必要がある。

さらに、深度テストを行う。点Ｐから参照カメラＣａｍ_Ｒ１の光学中心までの垂直距離は当該カメラでのＰの深度値であり、Ｄｅｐｔｈ_１と記す。Ｃａｍ_Ｒ１に事前に記憶された深度図のＰｉｘｅｌ_Ｒ１での深度値をＤｅｐｔｈ_２と記す。Ｄｅｐｔｈ_１＝Ｄｅｐｔｈ_２である場合、参照カメラＣａｍ_Ｒ１が点Ｐの深度テストに合格したと判断する。同様に、Ｃａｍ_Ｒ２、Ｃａｍ_Ｒ３及びＣａｍ_Ｒ４に対してそれぞれ深度テストを行うことができる。

４つの参照カメラにそれぞれ重みを付与し、計算式は

であり、式中、

は、球心から参照カメラＣａｍ_Ｒを指向するベクトルとして定義される。Ｗの値の範囲は

である。深度テストに合格していない参照カメラは、その重み付与値が０であり、深度テストに合格した参照カメラは、その重みが計算して正規化される。

深度テストに合格したカメラの数が０ではない場合、最終レンダリングカメラのＰｉｘｅｌ_Ｄでの画素値は、

である。
式中、Ｒは、深度テストに合格した参照カメラ集合である。
深度テストに合格したカメラが存在しない場合、深度テストに合格した参照カメラが存在するまで、前記４つのカメラを囲んでいる参照カメラを選択して深度テストを行う。具体的には、４つの参照カメラがいずれも深度テストに合格しなかった場合、前記４つの参照カメラの周りのカメラまで拡張し、外側の１２個の参照カメラからなる長方形においてステップ４、即ち、逆投影及び深度テストを繰り返す。このようにして、９９％以上の画素値が深度テストに合格することが保証され、今回のレンダリングが終了したと考えられる。

本実施例は、スマートフォンまたはコンピュータのソフトウェアによりユーザにレンダリングカメラを移動させるインタラクション手段を提供することができる。本発明は、必要な計算資源が少ないため、具体的な入力データと組み合わせるだけで前記設備によりレンダリング結果をリアルタイムで得ることができる。

以上、図面及び実施例により本発明の実施形態を説明したが、本発明は、実施例に開示された構造に制限されない。当業者は、必要に応じて添付する特許請求の範囲内で加えた様々な変形又は修正は、いずれも保護の範囲に含まれる。

Claims

複数の参照カメラが１つの球体上に格子状に分布され、各参照カメラ位置の深度図を事前に計算するステップ１と、
前記参照カメラがある球体表面を移動範囲としてレンダリングカメラを移動させ、前記レンダリングカメラの四周を囲んでいる４つの参照カメラを計算、識別するステップ２と、
前記レンダリングカメラの画素Ｐｉｘｅｌ _Ｄをオブジェクト表面の点Ｐに逆投影し、さらに点Ｐを４つの前記参照カメラに投影することにより、それぞれ画素Ｐｉｘｅｌ _Ｒを得て深度テストを行うステップ３と、
深度テストに合格した参照カメラに対して補間を行うことにより、最終レンダリングの画素値を得るステップ４と、
を含み、
前記ステップ３の深度テストにおいて、点Ｐから参照カメラの光学中心までの垂直距離を当該カメラでの点Ｐの深度値Ｄｅｐｔｈ_１とし、前記深度値Ｄｅｐｔｈ_１と参照カメラに事前に記憶された深度図の画素Ｐｉｘｅｌ_Ｒでの深度値Ｄｅｐｔｈ_２とを比較し、Ｄｅｐｔｈ_１＝Ｄｅｐｔｈ_２である場合、当該参照カメラが点Ｐの深度テストに合格したと判断する、
ことを特徴とする、全視角方向の球体ライトフィールドレンダリング方法。
前記ステップ３において、深度テストに合格した参照カメラが存在しない場合、深度テストに合格した参照カメラが存在するまで、４つの前記参照カメラの外周側に位置する他の参照カメラを選択して深度テストを行うことを特徴とする、請求項１に記載の全視角方向の球体ライトフィールドレンダリング方法。
前記ステップ４において、深度テストが完了した後、４つの前記参照カメラにそれぞれ重みを付与し、計算式は、

であり、式中、

は、球心からレンダリングカメラを指向するベクトルとして定義され、

は、球心から参照カメラを指向するベクトルとして定義され、Ｗ_Ｒの値の範囲は、

であり、
Ｗ_Ｒが正規化された後の前記レンダリングカメラの画素Ｐｉｘｅｌ_Ｄでの画素値は、

であり、式中、Ｒは、深度テストに合格した参照カメラ集合であることを特徴とする、請求項１に記載の全視角方向の球体ライトフィールドレンダリング方法。