JP6292327B2 - プレノプティック撮像システムの深度及び視差のマッピングを較正するための方法及びコンピュータプログラム - Google Patents

Description

本開示は一般にプレノプティック撮像システム(prenoptic imaging system)の較正に関連する。

プレノプティック撮像システムは、最近、大きな注目を集めている。それを用いれば、取得したプレノプティック画像のディジタル処理に基づいて、オブジェクトの異なる焦点又は視野を演算し直すことが可能である。プレノプティック撮像システムには、三次元オブジェクトに対する深度を推定する用途もあり、三次元オブジェクトは、プレノプティック撮像システムにより撮像され、おそらくはその後にそれらのオブジェクト又は完全な三次元シーンの三次元再構築が続く。別の用途は、プライマリ撮像モジュールの瞳孔面(pupil plane)におけるマルチモーダルフィルタアレイを利用するマルチモーダル撮像である。各々のフィルタはセンサで撮像され、フィルタアレイの撮像モダリティ各々についてオブジェクトの多重化画像を効果的に生成する。プレノプティック撮像システムの他の用途は、フィールド撮像及びハイダイナミックレンジ撮像の深度を変化させることである。

しかしながら、プレノプティック撮像システムのアーキテクチャは従来の撮像システムのものと相違し、従って、異なる較正及び処理のプロシジャを要する。多くのプレノプティック撮像システムは、様々な視点から得られる複数のオブジェクト画像を作成するように処理されることが可能である。プレノプティック撮像システムにより取得される画像は、様々な視点から得られる複数のオブジェクト画像を生成するように処理されることが可能である。マルチビュー画像はそれらの間の視差レベルを担っており、その視差レベルは撮像されるオブジェクトの三次元構造に対応する。この視差(parallax)は、通常的にはディスパリティ(disparity)により定量化され、空間中の点に対応するピクセルが或る視点から別の視点までに被るシフト量として定義されることが可能である。ディスパリティ(又は視差)はオブジェクトの深度の位置に依存する。視差を実際の深度に変換するために、深度及び視差の間にマッピング(又は写像)が必要である。これらのマッピングは、典型的には、プレノプティック撮像システムの一次レンズに対する薄レンズモデルとマイクロレンズアレイに対するピンホールモデルとを利用して作成されている。しかしながら、実際の多くのプレノプティック撮像システムでは、これらの仮定が特に良いとは言えない。それは特に像面湾曲(field curvature)のような大きな光学収差を有するシステムに当てはまる。そのような場合、マッピングは、簡易な薄レンズ-ピンホールモデルによるものとは著しく相違する可能性があり、システムの光学特性に大きく依存する。

従って、プレノプティック撮像システムに対する深度及び視差の間のマッピングを決定する優れた方法が必要とされている。

本開示は、プレノプティック撮像システムの深度-視差マッピングを較正するプロシジャを提供することにより、従来の制限を克服する。

一側面では、プレノプティック撮像システムの深度-視差マッピングを較正する方法は以下の事項を含む。既知のフィールド位置及び既知の深度に配置される1つ又は複数の試験オブジェクトが、プレノプティック撮像システムに提示される。プレノプティック撮像システムは、試験オブジェクトのプレノプティック画像を取得する。プレノプティック画像が、様々な視点から取得される、試験オブジェクトの複数の画像を含む。試験オブジェクトの視差が、様々な視点から得られた複数の画像に基づいて算出される。オブジェクトのフィールド位置及び深度は既知であるので、深度及び視差の間のマッピングは、フィールド位置の関数として決定されることが可能である。

様々な深度及びフィールド位置に関してスキャンされる点状源(point source)、及び、様々な深度に関してスキャンされる平面状オブジェクト等のような様々なタイプの試験オブジェクトの使用が可能である。深度-視差マッピングは、ルックアップテーブル、多項式又は線形フィッティング等を含む様々な形式で表現されることが可能である。

いったん較正されると、プレノプティック撮像システムは、実際のオブジェクトの深度を推定するために使用されることが可能である。深度の推定は、例えば、雲状点群(point clouds)からの3次元再構築法を利用することにより、これらのオブジェクトの3次元再構築に使用されることが可能である。実際のオブジェクトのプレノプティック画像は、実際のオブジェクトの視差を取得するために取得され処理される。視差は、較正から得られるマッピングを利用して、深度に変換される。

他の側面は、コンポーネント、デバイス、システム、改善、方法、プロセス、アプリケーション、コンピュータ読み取り可能な媒体、及び、それらの何れかに関連する他の技術を含んでよい。

本願の(基礎出願の)ファイルは着色された少なくとも1つの図面を含んでいる。着色された図面による出願書類の複製は必要に応じて当局から提供される。

開示される実施形態は他の利点及び特徴を有し、その利点及び特徴は添付図面に関連する以下の詳細な記述及び添付の特許請求の範囲から明らかになるであろう。

一実施形態によるプレノプティック撮像システムを示す図。 一実施形態によるプレノプティック撮像システムを示す図。

一実施形態によるプレノプティック撮像システムにおける視差を説明するための図。 一実施形態によるプレノプティック撮像システムにおける視差を説明するための図。 一実施形態によるプレノプティック撮像システムにおける視差を説明するための図。

一実施形態による処理モジュールのブロック図。

一実施形態による深度-視差マッピングのための較正システムのブロック図。

一実施形態によるプレノプティック撮像システムの深度-視差マッピングを較正するための方法のフローチャートを示す図。

図7Aないし7Cは3つの異なる視点から見える2つのオブジェクトを示す。 図7Aないし7Cは3つの異なる視点から見える2つのオブジェクトを示す。 図7Aないし7Cは3つの異なる視点から見える2つのオブジェクトを示す。 対応するライトフィールドの(x,u)スライスを示す図。

グレースケールスクリーンのライトフィールドからの(x,u)スライスに重ねられる光線領域を示す図。

一実施形態に従って視差角度を深度の関数としてプロットしたグラフを示す図。

一実施形態による較正システムを示す図。

一実施形態による別の較正システムを示す図。 一実施形態による別の較正システムを示す図。

様々な実施形態に関し、深度-視差マッピングをフィールド位置の関数として算出した実験例を示す図。 様々な実施形態に関し、深度-視差マッピングをフィールド位置の関数として算出した実験例を示す図。 様々な実施形態に関し、深度-視差マッピングをフィールド位置の関数として算出した実験例を示す図。 様々な実施形態に関し、深度-視差マッピングをフィールド位置の関数として算出した実験例を示す図。

図12に関する較正を評価した実験例を示す図。

図面は例示のみを目的として様々な実施形態を示す。当業者は、以下の説明から、本願の原理から逸脱することなく、本願で説明される構造及び方法の代替的な実施形態が使用されてよいことを容易に認めるであろう。

図面及び以下の記述は、単なる例示として、好ましい実施形態に関連している。以下の説明から、本願で開示される構造及び方法の代替的な実施形態は、請求されるものの原理から逸脱することなく使用されてよい変形例として容易に認められることに、留意すべきである。

図1A-1Bはプレノプティック撮像システム110の一例を示す図である。プレノプティック撮像システム110は、一次撮像光学系112(図1Aでは単独のレンズにより表現されている)、二次撮像アレイ114(例えば、マイクロレンズのアレイ115)及びセンサアレイ180を含む。二次撮像アレイ114は、マイクロ撮像アレイ(microimaging array)と言及されてもよい。二次撮像アレイ114及びセンサアレイ180は共にプレノプティックセンサモジュールと言及される。これらのコンポーネントは、図1Aにおいてサブシステム1及びサブシステム2として示されるように2つの重複する撮像サブシステムを形成する。

簡明化のため、撮像光学系112は図1Aでは単独の対物レンズとして示されているが、複数の要素を包含してよいことが理解されるべきである。図1Aでは、対物レンズ112は、画像面IPにおいてオブジェクト150の光画像155を形成する。「インフォーカス(in focus)」状態(又は焦点の位置にある状態)で動作する場合、マイクロ撮像アレイ114は画像面IPに位置する。全体として、システムは、センサ面SPにおいて、空間的に多重され且つインターリーブされた光画像170を形成する。マイクロ撮像アレイの具体例は、マイクロレンズアレイ、ピンホールアレイ、マイクロミラーアレイ、チェックボード格子、及び、ウェーブガイド/チャネルアレイ等を含んでよい。マイクロ撮像アレイ114は、四角形のアレイ、6角形のアレイ又は他のタイプのアレイであるとすることが可能である。センサアレイ180も図1Aに示されている。

説明の便宜上、図1Aにおけるマイクロ撮像アレイ114は、正方形グリッドによる3×3のマイクロレンズのアレイであると仮定する。オブジェクト(又は対象物)150は、図1Aの下方に示されるように1ないし9のラベルが付される3×3のアレイ領域に分割される。これらの領域はマイクロレンズに対応する。すなわち、オブジェクト領域1は、対物レンズ112により、マイクロレンズのうちの1つにおいて撮像され、オブジェクト領域2は別のマイクロレンズで撮像される、等々である。センサアレイ180は、6×6の四角形のセンサアレイとして示されている。すなわち、マイクロレンズ各々の配下に2×2のセンサ配置が存在する。開口125は、領域AないしDという2×2の四角形アレイに分割される。これらの領域は、2×2センサ配置に対応する。すなわち、開口領域Aは、各々のマイクロレンズにより、そのマイクロレンズの2×2センサの対応するセンサで撮像され、開口領域B，C，Dについても同様である。或るシステムでは、開口領域A-Dは例えば様々なスペクトルフィルタによりフィルタリングされてもよい。

オブジェクト150からの光線は4つの次元(x，y，u，v)を利用して定義されることが可能であることに留意を要し、(x,y)は光線を発する源の空間座標の尺度であり、(u,v)は光線が結像する視点の座標の尺度である。オブジェクトの3×3領域への分割は、(x，y)空間の区分けである。開口125の2×2領域への分割は、(u，v)空間の区分けである。明らかに、(x，y)はしばしばフィールド位置として言及され、(u，v)は視点として言及されてよい。オブジェクトの領域1から発する光線は、オブジェクト150のフィールド位置1に関する情報を提供する。開口125の領域Aを通る光線は、オブジェクト150の視点Aからの情報を提供する。ディテクタアレイ180により生成されるデータは、従って、オブジェクトにより生成される4次元ライトフィールドI(x，y，u，v)のサンプリングとなる。

処理モジュール190は、ディテクタアレイ180からデータを収集し、それに応じて処理を行う。単なる一例として、処理モジュール190は、データを収集しながらデータを並べ替え、開口125を通過する光に対する全体的なオブジェクト150の画像を形成する。取得されるライトフィールドデータは、瞳孔面及びオブジェクト150双方に関する情報を含んでいるので、他のタイプの処理が実行されることも可能である。例えば、取得されるデータは、異なる視点から得られる複数のオブジェクト画像を含んでもよい。このデータにおける視差は、オブジェクトに対する深度を推定するために利用されることが可能である。

図1Bは、空間的に多重される光画像170A-Dが、どのようにして、センサアレイ180において生成及びインターリーブされるかを概念的に示す。オブジェクト150は光線を生成する。領域A(すなわち、視点A)を通過する光線は、IPにおいて光画像155Aを生成する。光画像155Aを識別するために、3×3オブジェクト領域は、1A-9Aのように添え字とともにラベル付される。同様に、開口領域B，C，D(視点B，C，D)を通るオブジェクト150からの光線は、1B-9B，1C-9C及び1D-9Dというラベルが付された3×3オブジェクト領域を有する対応する光画像155B，155C，155Dを生成する。これら4つの光画像155A-Dの各々は、異なる開口領域A-Dを通過する光線により形成されるが、それらはプレノプティック撮像システム110により全て同時に生成され、IPにおいてオーバーラップする。

IPにおいてオーバーラップする4つの光画像155A-Dは、マイクロ撮像アレイ114により分離される。画像155A-Dは、図1Bに示されるようにインターリーブされる。画像155Aを一例として着目すると、光画像155Aからの3×3オブジェクト領域1A-9Aは、簡明化のためプレノプティック画像と言及される光画像170内の中で、連続的でない3×3ブロックにある。むしろ4つの異なる光画像からの領域1A，1B，1C及び1Dは、プレノプティック画像170の左上で2×2形式に並べられている(画像170の反転は簡明化のため省略されている)。オブジェクト領域2-9も同様に並べられる。従って、光画像170Aを形成する領域1A-9A(aka，フィールド位置)は、プレノプティック画像170にわたって拡散され、他の光画像170B-Dの部分により隔てられる。別の例として、センサが、個々のセンサ要素の四角形のアレイである場合、全体的なアレイは、センサ要素の四角形のサブアレイ171(1)-(9)(破線の輪郭は1つのサブアレイ171(1)を示す)に分割されることが可能である。オブジェクト領域1-9の各々に関し、各画像からの対応する領域の全てがサブアレイにおいて撮像される。例えば、オブジェクト領域1A，1B，1C及び1Dはサブアレイ171(1)において全て撮像される。開口125及びセンサアレイ180が共役面(conjugate planes)の場所に位置するので、アレイ114の各マイクロレンズ115は、センサ面SPにおける瞳孔面(SP’と同じ面)の画像を形成することに留意を要する。複数のマイクロレンズ115が存在するので、複数の画像171が形成される。

更に、図1A-1Bに示されるシステムでは、光画像155A-Dが互いに登録されることに留意を要する。すなわち、光画像155Aは、光画像155B，155C，155Dと同じオブジェクト領域を取得する。その理由は、オブジェクトは「インフォーカスである」からであり、オブジェクトの画像面がマイクロ撮像アレイ114の位置に合致することを意味する。図2-3により、オブジェクトが「インフォーカスでない(out of focus)」場合に何が生じているかを考察する。

図2では、深度Oに位置するオブジェクトが考察されており、これはインフォーカスの状態である。ここで、中央のマイクロレンズに関して撮像されるオブジェクトの領域を考察する。図2の実線の光線は、オブジェクトの中央領域からの光線であり、一次撮像光学系112の中央も通っている。光線群は、中央のマイクロレンズにおいて一次撮像光学系112により撮像され、中央のマイクロレンズにより、センサ要素181Aにおいて撮像される。この光線群は、中央の視点Aから眺めた場合にインフォーカスのオブジェクトの中央領域からのライトフィールドを表現する。

図2における破線の光線は、オブジェクトの中央領域からの光線ではあるが、一次撮像光学系112の端部(又はエッジ)を通る。オブジェクトはインフォーカスであるので、破線の光線群は、一次撮像光学系112により、中央のマイクロレンズにおいて撮像され、中央のマイクロレンズにより、センサ要素181Bにおいて撮像される。この光線群は、軸からずれた視点Bから眺めた場合にインフォーカスのオブジェクトの中央領域からのライトフィールドを表現する。

実線の光線の全てがセンサ要素181Aにより収集され、破線の光線の全てがセンサ要素181Bにより収集されることに、留意を要する。センサ要素181Aは視点Aから得られる画像の中央ピクセルを表現し、センサ要素181Bは視点Bから得られる画像の中央ピクセルを表現する。従って、オブジェクトは、インフォーカスである場合、軸上の視点Aに対応する画像及び軸からずれた視点Bに対応する画像の双方に現れる。

しかしながら、オブジェクトがインフォーカスでない場合、そうはならない。図3Aは、インフォーカスでない(out of focus)深度O’の場所に位置するオブジェクトを示す。参考のため、インフォーカス面Oも図3に示されている。図2と同様に、図3Aは、インフォーカスでないオブジェクトの中央領域から至る光線を示す。実線の光線(視点A)は大きくは変わらない。この光線群は、一次撮像光学系112により、中央のマイクロレンズにおいて撮像され、中央のマイクロレンズにより、センサ要素181Aにおいて撮像される。インフォーカスでないオブジェクトは、依然として、中央の視点Aから得られる画像の中央のピクセルに現れる。

しかしながら、図3Aにおける破線の光線は大きく相違して振る舞う。図2と同様に、破線の光線は、オブジェクトの中央領域から光線であり、一次撮像光学系112の端部を通る。これらの破線の光線は、2つのグループに分かれる。一方の光線群は、一次撮像光学系112により、中央のマイクロレンズにおいて撮像され、中央のマイクロレンズにより、センサ要素181Bにおいて撮像される。しかしながら、オブジェクトはインフォーカスでないので、破線の光線のうちの一部は、一次撮像光学系112により、中央のマイクロレンズではなく、隣接するマイクロレンズにおいて撮像される。そのマイクロレンズは、これらの光線を、センサ要素182Bにおいて撮像し、センサ要素182Bは、視点Bに対応するセンサポイントであるが、中央のピクセルに隣接するピクセルに関するものである。従って、インフォーカスでないオブジェクトの中央領域からの破線の光線は、センサ要素181Bにより部分的に収集され且つセンサ要素182Bにより部分的に収集される。センサ要素181B及び182Bは、視点Bに関する画像における隣接するピクセルである。従って、中央のオブジェクト領域は、視点Bにおけるピクセル181B及び182Bの間のどこかに位置付けられる。これは、中央のオブジェクト領域が中央ピクセル181に完全に位置付けられる視点Aに対してシフトされたものである。この相対的なシフトが、ディスパリティ(視差)と言及される。

図3Aでは、この視差は1ピクセル未満(又はサブピクセル)であるが、視差は1ピクセルより大きくてもよく、複数のピクセルに及ぶことさえ可能である。例えば、図3Bは、深度O”に位置するオブジェクトについて視差が完全に1ピクセルである状況を示す。この場合も、実線の光線は、中央のセンサ要素181Aにおいて撮像される。しかしながら、破線の光線の全てが、センサ要素182Bで撮像される。従って、視点Aに関する画像では、中央のオブジェクト領域は、センサ要素181Aに対応する中央のピクセルに位置する。しかしながら、視点Bに関する画像では、中央の画像領域は、センサ要素181Aに対応する中央ピクセルではなく、センサ要素182Bに対応する隣接ピクセルに位置する。従って、視点A及びBの間で1ピクセルのシフトが存在する。

図2-3に示されるように、相対的なシフトはオブジェクトの深度位置に依存する。従って、深度と視差との間にマッピング(又は写像)が存在する。所定の深度の場所にあるオブジェクトは、プレノプティック画像において取得される複数の画像の間で所定の視差を形成する。逆に、プレノプティック画像における複数の画像が所定の視差を示すならば、それは、そのオブジェクトが、対応する深度の場所に位置することを意味する。更に、オブジェクトが三次元的である場合、オブジェクトの深度はフィールド位置(field position)に応じて変化する。オブジェクトにおける一部のポイントはプレノプティック撮像システムに近いが、他の一部のポイントは遠い。更に、プレノプティック撮像システムの収差又は他の特性に起因して、深度-視差のマッピングは、フィールド位置の関数として変化してよい。視野のうちの中央における視差は所定の深度にマッピングされるが、視野のうちの端部における同じ量の視差は、異なる深度にマッピングされてもよい。

図4は、深度を推定する処理モジュール190の或る実現手段のブロック図を示す。この例では、多重され且つインターリーブされる画像155が像抽出モジュール492により受信され、像抽出モジュール492はセンサデータを個々の画像155(又は像)に分離する。上述したように、オブジェクト空間における同じ地点の画像は、これらの像の中で互いに対してシフトされる。すなわち、それらの像は、その地点の深度に依存する視差を示す。或る像と隣接する像との間の視差は、1ピクセル未満(サブピクセル視差)又は1ピクセルより大きいものとすることが可能である。視差決定モジュール494は、フィールド内の一群の地点に関して視差を算出し、これは視差マップと言及される。これは、例えば、様々な像155を比較することにより行われてもよい。代替的に、視差決定モジュール494は、例えば、ユーザー入力等のような他のソースから視差を取得してもよい。そして、深度推定モジュール496は、視差決定モジュール494からの視差を対応する深度にマッピングすることにより、オブジェクトに対する深度を推定する。これを行うために、深度-視差マッピング部497が使用される。深度及び視差の間のマッピングは、以下に詳細に説明される較正プロセスの成果である。その出力は、オブジェクトの様々な地点に対する深度を推定する深度マップ498である。一実施形態において、出力画像は、各々のピクセルに関する通常の画像データ(例えば、RGBデータ)を有するピクセルによるものであるが、各ピクセルの深度情報も含んでいる。

図5は一実施形態による深度-視差マッピングのための較正システム500のブロック図を示す。図6はプレノプティック撮像システムの深度-視差マッピングを較正するための方法を説明するためのフローチャートを示す。図5において、ボックス110は、較正されるべきプレノプティック撮像システムを表す。処理システム190のみが明示的に示されている。図5においては、方法600が較正コントローラ510により実行される。

コントローラ510は、試験オブジェクト520の提供を制御する。コントローラは、1つ以上の試験オブジェクトをプレノプティック撮像システムに提供する(620)。一度に一つの試験オブジェクトを考察する。試験オブジェクト520は、既知の深度及び既知のフィールド位置に配置される。プレノプティック撮像システム110は、試験オブジェクトのプレノプティック画像を取得する(610)。上述したように、プレノプティック撮像システムにより取得される画像は、様々な視点から得られる複数のオブジェクト画像を作成するために処理される。処理モジュール190は、様々な視点画像に基づいて、試験オブジェクトに関する視差マップ530を算出する(630)。これは、図5の例では、プレノプティック撮像システム内の処理モジュール190により実行される。視差マップは、例えば、図4の視差決定モジュール494の出力であってもよい。しかしながら、これはプレノプティック撮像システムの外部で行われることも可能である。プレノプティック画像データは、撮像システムにより出力され、視差マップ530を取得するように処理される。コントローラ510は、試験オブジェクト520に対する深度及びフィールド位置を知っており、対応する視差530を取得する。このデータに基づいて、フィールド位置の関数として、深度及び視差の間のマッピング540を決定する(640)。

深度-視差マッピングは様々な形式で表現されてよい。マッピングは、ルックアップテーブルとして保存されてもよく、おそらくは、ルックアップテーブルに明示的には保存されていない値を推定するために補間を利用する。代替的に、マッピングは、多項式フィッティングのような関数マッピングとして表現されてもよく、その場合、多項式の係数が保存される。図4の処理モジュールは、プレノプティック撮像システム110により得られる実際のオブジェクトに対する深度を推定するために、深度-視差マッピングを利用することが可能である。

図7-13は、較正により深度-視差マッピングを発展させる方法例を示す。図7A-7Dに示されるように、4次元ライトフィールドの2次元スライスI(x，u)は、均一に隔てられた視点とともにライトフィールドの特性に固有のライン構造を示し、(x，u)ドメインにおけるラインの角度はオブジェクトにおける異なる深度に対応する。図7Aは異なる深度の位置にある2つのオブジェクト710及び720を示す。オブジェクト720はオブジェクト710の前方にある。オブジェクト720は、視点uに依存して、オブジェクト710を遮ったり遮らなかったりする。

図7Aは視点u₁から得られる。この視点からでは、オブジェクト710はxインターバル711(x方向の区間)を占め、オブジェクト720はxインターバル721を占める。2つのインターバル711及び721は、オーバーラップしておらず、妨害は存在していない。図7Dは、これら2つのオブジェクトい対するライトフィールドの2次元(x，u)スライスを示す。図7Aのxスライスは、縦のu軸でu₁によりマークされる。2つのインターバル711及び721は、図7Dにおける座標u=u₁での2つの線分(又はラインセグメント)として示される。

図7Bは、同じ2つのオブジェクトを、別の視点u₂から眺めた様子を示す。この視点からの場合、オブジェクト710はxインターバル712を占め、オブジェクト720はxインターバル722を占める。これは、図7Dにおける座標u=u₂での2つのセグメントにより示される。これらのセグメントは、座標u=u₁におけるセグメントに対して或るシフトが存在することに留意を要する。これらの相対的なシフトは、視点の変位により引き起こされる視差に起因する。図7Bでは、2つのxインターバル712及び722が、ちょうど接している。

図7Cは視点u₃から眺めた2つのオブジェクトを示す。この場合、オブジェクト710はxインターバル713を占め、オブジェクト720はxインターバル723を占め、これらは図7Dにおけるu=u₃の2つのラインセグメントにより示されている。2つのxインターバル713及び723はオーバーラップしており、これは、オブジェクト720がオブジェクト710の一部を遮っていることを示す。遮られる領域は、オーバーラップの領域である。このプロセスを他の視点についても反復し、図7Dに示される2つの台形719及び729という結果が得られ、これらは光線領域(ray region)と言及される。オーバーラップの領域739は、オブジェクト710がオブジェクト720により遮られることを示す。オブジェクト720がオブジェクト710の前方にあるので、光線領域729はオーバーラップ領域739によって影響を受けない。すなわち、光線領域729の辺(又はエッジ)は平行に伸びる。これに対して、光線領域719は、三角形のオーバーラップ領域739の分だけ差し引かれる。

図7Dは固有のライン構造を示す。オブジェクトのうちの各々のポイントは、(x，u)平面において、x軸の垂線に対して角度φで直線を形成する。同じ深度にある隣接する一群の点は、所定の幅の光線領域を形成し、光線領域は垂直軸に対して角度φを為す。これらの角度は図7Dにおいてφ₁及びφ₂のラベルが付されている。一般的な4次元の場合、これらの角度は(x，y)面に垂直なものになる。簡明化のため、角度φが、視差角(disparity angle)として言及される。視差角φは、オブジェクトの深度位置に依存する。視差に起因して、視点のu面から遠い深度にあるオブジェクトは、小さな視差角φのラインを形成する。よりu軸から遠いオブジェクト713に対応する光線領域719は、より小さな視差角φを有する。よりu軸に近いオブジェクト723に対応する光線領域729は、より大きな視差角φを有する。カメラアレイ又はプレノプティックカメラの或る種の構成では、角度φは負になることも可能である。それらの光線領域は、メインレンズの焦点面の背後に位置するオブジェクトに対応する、すなわち垂直な光線領域(すなわち、φ=0の光線領域)をもたらす後方オブジェクトに対応する。一般に、角度φは(-π/2，π/2)という区間内の値をとることが可能である。

図8は、グレイスケールシーンに対するライトフィールドからの(x，u)スライスを示す。図8は様々な視差角度及び幅の3つの光線領域819，829及び839を示す。視差角度φと、2つの選択された視点の間の視差Δとの間には直接的な対応関係がある：
Δ=b・tan(φ) (1)
ここで、bは選択された視点同士の間のベースラインを示す。一様に隔てられた視点に関し、ベースラインbの1つの尺度は、2つの選択された視点の間にある視点数である。例えば、選択された視点が第1視点と第N視点である場合、b=N-1となる。従って、視差角φは視差の尺度であり、「視差」という用度は、Δという量に加えて、視差角φ及び上記のような視差の他の尺度を含むように意図される。

視差角φは、米国特許出願第14/064,090(“Processing of Light Fields by Transforming to Scale and Depth Space”)に記載されている方法に基づいて推定されることが可能であり、この米国出願は本願のリファレンスに組み込まれる。ある方法では、ライトフィールドI(x，u)は

に変換され、ここで、σはスケール寸法であり、φは深度又は視差の大きさである。簡明化のため、

は、I(x，u)のスケール-深度変換と言及されてもよい。以下の説明は、説明の簡明化のため、4変数(x，y，u，v)ではなく2変数(x，u)で与えられる。

というスケール-深度変換は、次のように定義される：

ここで、u=0が選択されているが、その理由は(画像ドメインである)xに関してのみ畳み込みを評価しているからである。すなわち、次式の通りである：

ここで、畳み込みはxに関してのみ為されるので、

はuに依存しないこと、及び、

はスケールσ及び角度φの双方をパラメータとして有することに留意を要する。変換のカーネルは、レイ・ガウシアン・カーネル(Ray-Gaussian kernel)と言及され、次式で与えられる：

同様に、次式のように、レイ・ガウシアン変換のn階微分が定義される。

正規化された2階微分のレイ・ガウシアン変換の極値(極小及び極大)を見出すことにより、光線領域を見出すことが可能である：

極値のパラメータ｛(x_p，σ_p，φ_p)｝は、各々の光線領域pに関して以下の情報を与える：
・光線領域x_pの中心の位置
・光線領域の幅2σ_p
・光線領域の角度φ_p

視差角φを推定するために、文献中の他の方法が使用されてもよい。視差角φは、(x，u)スライスに加えて他の角度におけるスライス又は(y，v)スライスから推定されることが可能である。φの推定値は視差を算出するために使用されることが可能である。代替的に、処理は、代わりに視差角に基づいて進行することが可能である。別の方法は、視差角φを算出することなく、2つ又はそれより多い像から視差Δを直接的に推定するために従来方法を利用することである。

視差角φ(又は視差Δ)と深度値zとの間に1対1の対応関係(マッピング)が存在する。このマッピングは、プレノプティック撮像システムの構成に依存し、典型的には、フィールド位置の関数として(すなわち、(x，y)座標の関数として)変化する。深度-視差マッピングは、較正プロセスにより取得されることが可能である。ある方法では、マッピングは次のような線形モデルに当てはめられる：

ここで、a(x，y)及びb(x，y)はそれぞれラジアン/mm及びラジアンを単位とするマッピング係数である。

図9は、例示的なプレノプティックシステムに関し、視差角度を深度の関数としてプロットしたグラフを示す。数式(4)の線形フィッティングは、焦点付近の所与の深度範囲に関し、一般に良い近似となっている。より一般的な状況では、係数a及びbが深度zの関数として変化してもよい。一例では、係数aはフィールドの中で近似的に一定である一方、係数bはフィールドの湾曲(又は曲率)に起因して中央から端部にかけて変化する。変化量は使用する光学系に依存する。例えば、図12Dでは、係数bは、中央部における-0.2mmから端部における-0.6mmまで変化する。

図10は一実施形態による較正システムを示す図である。プレノプティック撮像システム110は、レンズ、マイクロレンズアレイ(microlens array：MLA)及び焦点面アレイ(focal plane array：FPA)により表現される。試験オブジェクトは点状のオブジェクト1050であり、この例の場合、光源を空間的にフィルタリングするために使用されるピンホールとして実現される。照明されたピンホールは、プレノプティック撮像システム110により撮像される。視差及び深度の間のルックアップテーブルを構築するために、ピンホール1050が3つの軸に沿ってスキャンされる(撮像する視界(field of view：FOV)にわたって様々なフィールド位置に対して横向きに、及び、焦点深度に沿う様々な深度に対して軸方向にスキャンされる)。点状のオブジェクト1050のスキャニングは、ある範囲内の深度及びフィールド位置にわたって深度-視差マッピングを効果的にサンプリングする。ある方法では、サンプルは、深度及びフィールド位置を一様に隔て、(例えば、ピンホール開口により規定される)点状のオブジェクト1050は、視野全体にわたって及びフィールドの深度全体にわたってスキャンされる。点状のオブジェクト1050は、様々なスキャニングパターンを利用してスキャンされることが可能であり、他の範囲の深度及びフィールド位置にわたってスキャンされることも可能である。他の方法では、光学系は軸対称であるように仮定され、ピンホール1050は、1つの横方向及び1つの軸方向という2軸のみに沿ってスキャンされてもよい。スキャニングパターンは、他のタイプの対称性を考慮していてもよい。

取得されたプレノプティック画像は、試験オブジェクト1050の各々の位置に対応する視差を決定するために、上述したように処理される。このように、各々のスキャンポイントは、所与のフィールド位置に対して深度及び視差のペアを生成する。このデータは、数式(4)により与えられる線形モデルに適合させられ、フィールド位置の関数として係数a及びbの推定値を生成する。

図11A-11Bは、実施形態による別の較正システムを示す図である。これらの例は、様々な深度位置まで移動させられる平面状の試験オブジェクト1050を利用する。図11Aでは、平面状のオブジェクト1050Aは、光源をフィルタリングするために使用される物理的な格子マスク(physical grid mask)である。照明光は先ずレンズによりコリメートされ、その後に拡散器を照明する。格子状のオブジェクト(gridded object)は、拡散された光により照明され、プレノプティック撮像システム110により撮像される。ピンホールスキャニングに基づくアプローチのように3つ全ての軸に沿ってスキャンするのではなく、格子マスクはz軸のみに沿ってスキャンし、これによりN_x×N_yの因子の分だけ較正を高速化する(N_x，N_yはx，y軸に沿って存在するスキャニング位置の個数である)。

図11Bでは、液晶ディスプレイ(LCD)のような電子表示スクリーン1150Bが試験オブジェクトとして使用される。点状オブジェクトの格子のような格子パターンが、スクリーンに表示され、プレノプティック撮像システム110により撮像される。視差と深度とのマッピングをサンプリングするために、z軸のみに沿ってスキャニングが実行される。物理的な格子マスクを使用する例と比較すると、表示に基づくアプローチは、外的な照明を必要とせず、これにより実験準備の簡易化をもたらす。

実験例として、発明者等は、ピンホールスキャニングに基づくアプローチ及び格子スキャニングに基づくアプローチの双方を利用して、(オブジェクト側で)0.03という入力開口数のライトフィールドカメラをそれぞれ較正した。ピンホールスキャニングに基づく較正では、0.1mmというステップサイズで、x-z平面上の100×30ポイントにわたって、ピンホールフィルタリングされた光源がスキャニングされた。格子スキャニングに基づく較正では、0.1mmのステップサイズでz軸に沿って格子ターゲット(周期は0.4mm)をスキャンし、合計30の画像を取得した。

図12Aは、ピンホールスキャニングに基づく較正を利用して較正された深度-視差マッピングをフィールド位置xの関数として示し、図12Bは、格子スキャニングに基づく較正を利用して較正された深度-視差マッピングを示す。留意すべきことに、視差角の湾曲した曲線は、フィールド湾曲収差に起因している。

図12C及び12Dは、図12A及び12Bからのデータを、数式(4)の線形モデルに適合させることにより得られる係数a(x)及びb(x)を示す。結果は、双方の方法で算出された係数a(x)及びb(x)は、深度zの3mmの範囲及びフィールド位置xの8mmの範囲にわたって非常に合致していることを示す。この例では、完全なx-y面を得るために円形対称性を仮定し、x軸のみに沿ってスキャンが行われているが、一般的には、y軸もスキャンされることが可能である。

上記のようにして取得された係数は、較正プロシジャのテストとして深度推定に使用された。発明者等は27mmの公称深度において平面的な実際のオブジェクト(0.8mmの周期を有する格子パターン)を撮像した。視差マップは、取得されたプレノプティック画像から算出された。ピンホールスキャニングに基づく較正により及び格子スキャニングに基づく較正により取得される線形係数a及びbを利用して、各々のフィールド位置における視差角は深度に変換された。ライン画像にわたって再構成された深度は図13に示されている。双方の方法で算出された再構成された深度の平均値は、グランドトゥルースに非常に合致している。再構成された深度の標準偏差として定義される深度精度は、双方の方法に関して〜0.3mmである。x=50は画像の中央に対応する。

詳細な説明は多くの具体的な事項を含んでいるが、これらは本発明の限定として解釈されるべきではなく、単に、本発明の様々な具体例及び側面として解釈されるべきである。本発明の範囲は、詳細に上述されてはいない他の実施形態も含むことが、認められるべきである。例えば、他の組み合わせが存在することは明らかであろう。代替例では、或る範囲内の深度及びフィールド位置にわたって深度-視差マッピングのサンプルを取得するためにピンホールスキャニングが使用され、この取得されたデータが、深度-視差マッピングの線形モデルに合わせられる。代替的な方法では、深度-視差マッピングのサンプルを取得するために、平面上の試験オブジェクトによるスキャニングが使用され、マッピングはルックアップテーブルの値により表現される。添付の特許請求の範囲に規定されるような本発明の精神及び範囲から逸脱することなく、当業者に自明な他の様々な修正、変更及び変形が、本願で開示される本発明の方法及び装置の構成、動作及び詳細において為されてよい。すなわち、本発明の範囲は添付の特許請求の範囲及びそれらの法的な均等物によって定められるべきである。

特許請求の範囲において、単数で言及する要素は、明示的に言及しない限り、「1つ及び唯1つ」を意味するようには意図されておらず、「1つ又は複数」を意味するように意図されている。更に、デバイス又は方法にとって、特許請求の範囲に包含されるために、本発明の様々な実施形態により解決される全ての問題点に対処することは不要である。

代替的な実施形態において、本発明の一側面は、コンピュータハードウェア、ファームウェア、ソフトウェア及び/又はそれらの組み合わせで実現される。本発明による装置は、プログラム可能なプロセッサによる実行のためにマシン読み取り可能な記憶装置に具体的に組み込まれるコンピュータプログラム(プロダクト)で実現されることが可能であり；本発明による方法ステップは、入力データに作用し且つ出力を生成することにより本発明の機能を実行する命令プログラムを実行するプログラム可能なプロセッサにより実行されることが可能である。本発明は、有利なことに、プログラム可能なシステムで動作することが可能な1つ又は複数のコンピュータプログラムで実現されることが可能であり、プログラム可能なシステムは、データストレージシステム、少なくとも1つの入力デバイス及び少なくとも1つの出力デバイスからデータ及び命令を受信し、及びそれらへデータ及び命令を送信するように結合される少なくとも1つのプログラム可能なプロセッサを含む。各々のコンピュータプログラムは、ハイレベルのプロシジャの又はオブジェクト指向のプログラミング言語、アセンブリ又はマシン言語で筆応に応じて実現されることが可能であり；何れにせよ、言語はコンパイルされ又は解釈される言語であるとすることが可能である。適切なプロセッサは、一例として、汎用及び専用のマイクロプロセッサ双方を含んでよい。一般に、プロセッサは、リードオンリメモリ及び/又はランダムアクセスメモリから命令及びデータを受信する。一般に、コンピュータは、データファイルを保存する1つ又は複数の大容量ストレージデバイスを含むであろう；そのようなデバイスは、内蔵のハードディスク及びリムーバブルディスク等のような磁気ディスク；磁気-光ディスク；及び光ディスクを含む。コンピュータプログラム命令及びデータを具体的に組み込むのに適したストレージデバイスは、全ての形態の不揮発性メモリを含み、例えば、EPROM、EEPROM及びフラッシュメモリデバイス等のような半導体メモリデバイス；内蔵ハードディスク及びリムーバブルディスク等のような磁気ディスク；磁気-光ディスク；及びCD-ROMディスク等を含んでよい。上記の何れの例もASIC(特定用途向け集積回路)及び他の形態のハードウェアにより補足される又は組み込まれることが可能である。

「モジュール」という用語は特定の物理的な形態に限定されるようには意図されていない。具体的なアプリケーションに応じて、モジュールは、ハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせとして実現されることが可能である。上記の受信側において、モジュールは、低消費電力化及び高速化を考慮して、専用回路(例えば、ASICの一部分)として実現されてもよい。他のアプリケーションでは、モジュールはソフトウェアとして実現され、典型的にはディジタル信号処理プロセッサ上で動作し或いは汎用プロセッサ上でさえ動作してよい。様々な組み合わせが使用されてよい。更に、異なるモジュールが、共通のコンポーネントを共有することが可能であり、或いは、同じコンポーネントにより実現されることさえ可能である。様々なモジュール間に明確な境界が存在してもしなくてもよい。

Claims (20)

1. プレノプティック撮像システムの深度−視差マッピングを較正するための方法であって：
   １つ又は複数の試験オブジェクトを、前記プレノプティック撮像システムに提示するステップであって、前記試験オブジェクトは既知のフィールド位置及び既知の深度に配置される、ステップ；
   前記プレノプティック撮像システムが、前記試験オブジェクトのプレノプティック画像を取得するステップであって、前記プレノプティック画像は様々な視点から得られる試験オブジェクトの複数の画像を含む、ステップ；
   前記様々な視点から得られる複数の画像に基づいて、前記試験オブジェクトに対する視差を算出するステップ；及び
   前記試験オブジェクトの様々な既知のフィールド位置に関し、前記試験オブジェクトに対する算出された視差及び対応する既知の深度に基づいて、深度及び視差の間のマッピングをフィールド位置の関数として決定するステップ；
   を有する方法。
2. 前記試験オブジェクトが点状のオブジェクトを有し；
   前記試験オブジェクトを前記プレノプティック撮像システムに提示することは、或る範囲内の深度及び或る範囲内のフィールド位置にわたって、様々な深度及びフィールド位置へ前記点状のオブジェクトを動かすことを含み；及び
   前記試験オブジェクトのプレノプティック画像を取得することは、前記或る範囲内の深度及び或る範囲内のフィールド位置にわたって前記点状のオブジェクトのプレノプティック画像を取得することを含む；
   請求項１に記載の方法。
3. 前記試験オブジェクトが、或る範囲内のフィールド位置にわたる平面状のオブジェクトを有し；
   前記試験オブジェクトを前記プレノプティック撮像システムに提示することは、或る範囲内の深度にわたって、様々な深度へ前記平面状のオブジェクトを動かすことを含み；及び
   前記試験オブジェクトのプレノプティック画像を取得することは、前記或る範囲内の深度にわたって前記平面状のオブジェクトのプレノプティック画像を取得することを含む；
   請求項１に記載の方法。
4. 前記平面状のオブジェクトは格子状のオブジェクトである、請求項３に記載の方法。
5. 前記平面状のオブジェクトは点状のオブジェクトによる格子である、請求項３に記載の方法。
6. 前記試験オブジェクトを前記プレノプティック撮像システムに提示することは、或る範囲内の深度及び或る範囲内のフィールド位置にわたって、深度及び視差の間のマッピングのサンプルをもたらす、請求項１に記載の方法。
7. 前記サンプルは前記或る範囲内の深度にわたって一様に隔てられている、請求項６に記載の方法。
8. 前記サンプルは前記或る範囲内のフィールド位置にわたって一様に隔てられている、請求項６に記載の方法。
9. 前記深度及び視差の間のマッピングは、深度及び視差の間の線形写像である、請求項１に記載の方法。
10. 深度及び視差の間のマッピングをフィールド位置の関数として決定することは、前記試験オブジェクトの様々な既知のフィールド位置に関し、前記試験オブジェクトに対して算出された視差及び対応する既知の深度に基づいて、線形写像の係数を決定することを含む、請求項１に記載の方法。
11. 前記試験オブジェクトに対する視差を算出することは、一次元的に変化する視点から得られる前記試験オブジェクトの複数の画像に基づいて、前記試験オブジェクトに対する視差を算出することを含む、請求項１に記載の方法。
12. 前記深度及び視差の間のマッピングは、フィールド位置の関数として変化する、請求項１に記載の方法。
13. 前記深度及び視差の間のマッピングがフィールド位置の関数として変化することは、前記プレノプティック撮像システムにおける収差により引き起こされる、請求項１に記載の方法。
14. 前記深度及び視差の間のマッピングをルックアップテーブルとして保存するステップを更に有する請求項１に記載の方法。
15. 前記深度及び視差の間のマッピングを、前記マッピングに適合させる多項式の係数として保存するステップを更に有する請求項１に記載の方法。
16. 実際のオブジェクトのプレノプティック画像を取得するステップであって、前記プレノプティック画像は、様々な視点から得られる前記実際のオブジェクトの複数の画像を含む、ステップ；
    前記様々な視点から得られる複数の画像に基づいて、前記実際のオブジェクトに対する視差を算出するステップ；及び
    算出された視差と、深度及び視差の間のマッピングとに基づいて、前記実際のオブジェクトの様々なフィールド位置における深度を、フィールド位置の関数として決定するステップ；
    を更に有する請求項１に記載の方法。
17. 前記オブジェクトの三次元的な再構築を得るために、前記実際のオブジェクトの様々なフィールド位置において決定された深度を処理するステップ；
    を更に有する請求項１６に記載の方法。
18. 前記試験オブジェクトに対する視差を算出することは：
    前記プレノプティック画像から視差角を決定すること；及び
    前記視差角から視差を算出すること；
    を含む請求項１に記載の方法。
19. 前記プレノプティック撮像システムは、前記プレノプティック撮像システムの一次撮像モジュールの瞳孔面に配置されるスペクトルフィルタアレイを含む、請求項１に記載の方法。
20. プレノプティック撮像システムの深度−視差マッピングを較正するためのコンピュータプログラムであって、非一時的なコンピュータ読み取り可能な媒体に保存され、方法を実行するためのプログラムコードを含み、前記方法は、
    １つ又は複数の試験オブジェクトを、前記プレノプティック撮像システムに提示することを較正システムに行わせるステップであって、記試験オブジェクトは既知のフィールド位置及び既知の深度に配置される、ステップ；
    前記試験オブジェクトのプレノプティック画像を取得することを前記プレノプティック撮像システムに行わせるステップであって、前記プレノプティック画像は様々な視点から得られる試験オブジェクトの複数の画像を含む、ステップ；
    前記様々な視点の画像に基づいて、前記試験オブジェクトに対する視差を算出するステップ；及び
    前記試験オブジェクトの様々な既知のフィールド位置に関し、前記試験オブジェクトに対する算出された視差及び対応する既知の深度に基づいて、深度及び視差の間のマッピングをフィールド位置の関数として決定するステップ；
    を有する、コンピュータプログラム。

Images