JP5929553B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本技術は、測定対象の距離情報を取得可能な画像処理装置、撮像装置および画像処理方法に関する。

視点の異なる複数の画像を用いて測定対象までの距離を測定する技術が知られている。例えば下記特許文献１にはステレオマッチングと呼ばれる手法を用いた距離算出方法が記載されている。

このようなステレオマッチングの手法では、画像内の水平方向（Ｈ方向）又は垂直方向（Ｖ方向）に沿った複数の視差画像から距離を算出する場合、視差画像間の位相差が求められる。位相差を求める処理は、比較対象の局所領域（単位領域）を水平方向に逐次移動させ、比較範囲内で最も相関が強い単位領域同士の視差画像間での位置ずれ（Pixelずれ、ディスパリティ）を位相差として求める。画像内の任意の角度方向に沿った複数の視差画像からも距離を算出することが可能である。

特開２０１１−１７１８５８号公報

ステレオマッチングにおいては、物体とカメラの距離によって視差画像間の位相差の測定精度が決定される。すなわち物体とカメラの距離が遠いほど、カメラノイズ、外乱などの影響によって、位相差の測定精度が低下し、これに伴って距離算出精度も低下するという問題がある。

以上のような事情に鑑み、本技術の目的は、距離算出精度を高めることができる画像処理装置、撮像装置および画像処理方法を提供することにある。

以上の目的を達成するため、本技術の一形態に係る画像処理装置は、距離情報生成部と、距離抽出部とを具備する。
上記距離情報生成部は、第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報と、上記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた上記測定対象に関する第２の距離情報とを生成する。
上記距離抽出部は、上記第１及び第２の距離情報に基づいて、撮像位置から上記測定対象までの距離を抽出する。

上記画像処理装置によれば、相互に異なる基線長を有する複数のカメラで取得した画像に基づいて測定対象の距離を算出するようにしているので、測定対象の距離精度を向上させることができる。

上記距離抽出部は、上記第１の距離情報から抽出される第１の距離範囲と、上記第２の距離情報から抽出される第２の距離範囲とのうち、相互に重複する距離範囲から上記測定対象までの距離を抽出する。これにより測定対象の距離の測定精度を高めることができる。

上記画像処理装置は、上記第１及び第２の基線長を記憶する記憶部をさらに具備してもよい。これにより、個々の撮像装置に対応した基線長に基づく測定対象の距離測定を実行することができる。

上記距離情報生成部は、上記第１及び第２の基線長とは異なる第３の基線長を有する複数のカメラで取得された画像間の位相差に基づいた上記測定対象に関する第３の距離情報をさらに生成してもよい。この場合、上記距離抽出部は、上記第１、第２及び第３の距離情報に基づいて、撮像位置から上記測定対象までの距離を抽出する。これにより測定対象の距離精度をさらに向上させることができる。

本技術の一形態に係る撮像装置は、撮像部と、距離情報生成部と、距離抽出部とを具備する。
上記撮像部は、一軸方向に配列された複数のカメラを有する。
上記距離情報生成部は、上記複数のカメラのうち第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報と、上記複数のカメラのうち上記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた上記測定対象に関する第２の距離情報とを生成する。
上記距離抽出部は、上記第１及び第２の距離情報に基づいて、撮像位置から上記測定対象までの距離を抽出する。

上記撮像装置によれば、相互に異なる基線長を有する複数のカメラで取得した画像に基づいて測定対象の距離を算出するようにしているので、測定対象の距離精度を向上させることができる。

上記撮像部は、開口絞りを有する撮像レンズと、受光した光に基づいて撮像データを取得する撮像素子と、上記撮影レンズと上記撮像素子との間に、上記撮像素子の一の領域内の複数の画素に対応して設けられた複数のマイクロレンズとを有してもよい。
これにより異なる基線長を有する複数の視差画像を取得することができる。

本技術の一形態に係る画像処理方法は、第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報を生成することを含む。
上記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた上記測定対象に関する第２の距離情報が生成される。
上記第１及び第２の距離情報に基づいて、撮像位置から上記測定対象までの距離が抽出される。

上記画像処理方法によれば、相互に異なる基線長を有する複数のカメラで取得した画像に基づいて測定対象の距離を算出するようにしているので、測定対象の距離精度を向上させることができる。

以上のように、本技術によれば、測定対象の距離算出精度を高めることができる。

本技術の一実施形態に係る撮像装置の概略構成図である。 マイクロレンズアレイのＦナンバーを説明するための模式図である。 図１に示した画像処理部の概略構成を表す機能ブロック図である。 図１に示した撮像素子上の受光領域を表す平面図である。 撮像素子上で受光される光線について説明するための模式図である。 位相差検出処理について説明するための模式図である。 上記実施形態の位相差検出の際に用いる３つの視差画像を表す模式図である。 撮像レンズから測定対象までの距離の算出方法について説明するための模式図である。 距離情報とリフォーカス係数との関係について説明するための模式図である。 上記画像処理部における距離算出動作を説明する模式図である。 上記画像処理部における距離算出動作を説明する模式図である。 上記画像処理部における距離算出動作を説明するフローチャートである。 上記画像処理部における基線長の測定方法を説明する測定対象の模式図である。 上記画像処理部における基線長の測定方法を説明する模式図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

図１は、本技術の一実施形態に係る撮像装置の全体構成を示す概略図である。撮像装置１は、撮像対象物（被写体）２を撮像して所定の画像処理を施すことにより、画像データ（撮像データ）Ｄoutを生成し出力する。

［全体構成］
撮像装置１は、開口絞り１０を有する撮影レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とを有する。

撮像装置１において、撮像素子１３から得られる撮像データは、受光面における光の強度分布に加えてその光の進行方向の情報をも含む。撮像装置１は、画像処理部１４において、任意の焦点や視点からの観察画像を再構築することが可能に構成される。

なお本実施形態の画像処理方法は、画像処理部１４において具現化されるため、以下併せて説明する。また本実施形態の画像処理プログラムは、画像処理部１４における各画像処理機能をソフトウェア的に実現したものに対応している。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の開口の形状（例えば円形状）に相似形となる撮像対象物２の像（後述のユニット像）が、撮像素子１３上にマイクロレンズごとに形成されるようになっている。これら複数のマイクロレンズと各マイクロレンズから出射する撮像素子１３の受光領域とにより、２次元的に配列された複数のカメラユニットが構成される。

撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。

マイクロレンズアレイ１２は、複数のマイクロレンズが水平方向（Ｘ軸方向）及び垂直方向（Ｙ軸方向）に２次元配列したものであり、撮像レンズ１１の焦点面（結像面）に配置されている。各マイクロレンズは、例えば円形の平面形状を有している。

撮像レンズ１１のＦナンバーＦMLと、マイクロレンズアレイ１２のＦナンバーＦMLAとは、概ね等しくなっていることが好ましい。これは、図２（Ａ）に示したように、撮像レンズ１１のＦナンバーＦMLがマイクロレンズアレイ１２のＦナンバーＦMLAよりも小さい場合（ＦML＜ＦMLAの場合）、隣接するマイクロレンズによる撮像光線間で重なりが生じるためである。この場合、クロストークが発生し、再構築画像の画質が劣化してしまうことになる。一方、図２（Ｂ）に示したように、撮像レンズ１１のＦナンバーＦMLがマイクロレンズアレイ１２のＦナンバーＦMLAよりも大きい場合（ＦML＞ＦMLAの場合）、マイクロレンズによる撮像光線が受光されない撮像画素が生じる。この場合、撮像画素を十分に利用することができず、再構築画像の画素数が低下してしまうことになる。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して複数の画素データを含む撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、水平方向（Ｘ軸方向）及び垂直方向（Ｙ軸方向）にマトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（以下、単に画素という）が、マトリクス状に配置されている。そして、複数の画素に対して、マイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられて配置されている。すなわち複数のマイクロレンズは、撮像素子１３の一の領域内の複数の画素に対応して設けられている。

例えば、受光面上の画素数はＭ×Ｎ＝３７２０×２５２０＝９３７４４００個であり、このうちｍ×ｎ＝１２×１２＝１４４個の画素に対して１つのマイクロレンズが割り当てられるようになっている。

再構築された画像の画素数（Ｍ×Ｎ）は、マイクロレンズアレイのレンズ数と等しくなる。これは再構築画像の２次元座標の情報がマイクロレンズアレイの座標で決まるためである。したがって、再構築画像の画素数は、撮像素子１３の全画素数を各マイクロレンズに割り当てられる画素数（ｍ×ｎ）で割った数値となる。

ここで、各マイクロレンズに対する画素の割り当て個数（ｍ×ｎ）は、光線の角度情報の分解能に等しく、その値が大きくなるに従って、再構築画像の分解能、例えば任意の視野での分解能やリフォーカス演算処理に基づく奥行き方向の分解能（任意の焦点での分解能）などが高くなる。一方、再構築画像の画素数（（Ｍ／ｍ）×（Ｎ／ｎ））は、再構築画像の解像度と関連しているため、その値が大きくなるに従って、再構築画像の解像度が高くなる。このように、再構築画像の分解能と解像度とはトレードオフの関係にあるが、分解能および解像度の両者をできるだけ高い値で両立させることが望ましい。

撮像素子１３の受光面上には、例えば図示しないカラーフィルタを画素単位で２次元配置するようにしてもよい。カラーフィルタとしては、例えば、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子１３により得られた撮像データを、カラーフィルタの色に対応した複数の色（この場合、３原色）の画素データとすることができる。

画像処理部１４は、撮像素子１３により得られた撮像データＤ０に対して後述する所定の画像処理を施すことにより、画像データＤoutを生成する。なお、この画像処理部１４の詳細構成については後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作を制御する。

制御部１６は、画像処理部１４および撮像素子駆動部１５の動作を制御し、このうち画像処理部１４の動作の制御は、制御信号Ｓoutを用いて行う。なお、制御部１６は例えばマイクロコンピュータなどにより構成されている。

［画像処理部］
次に、図３を参照して、画像処理部１４の詳細構成について説明する。図３は、画像処理部１４の機能ブロック構成を表したものである。画像処理部１４は、欠陥補正部１４１、クランプ処理部１４２、距離情報取得部１４３、並び替え処理部１４４、ノイズ低減処理部１４５、輪郭強調処理部１４６、ホワイトバランス処理部１４７、ガンマ補正処理部１４８および記憶部１４９を有している。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正する。

クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行う。なお、クランプ処理後の撮像データに対して、更にデモザイク処理などのカラー補間処理を施すようにしてもよい。

距離情報取得部１４３は、クランプ処理部１４２から供給される撮像データＤ１に基づいて、後述する並び替え処理部１４４での並び替え処理に用いられるリフォーカス係数αを算出する。ここで、リフォーカス係数αは、撮像データＤ１に対応する撮像画像内の指定された奥行き面をリフォーカス面としたものに対応している。

距離情報取得部１４３は、位相差検出部１４３Ａ、距離情報算出部１４３Ｂおよびリフォーカス係数設定部１４３Ｃを有している。

位相差検出部１４３Ａは、撮像データＤ１に基づいて、後述する位相差分布（後述するDisparity Map）ＤＭを生成（算出）する。

距離情報算出部１４３Ｂは、位相差分布ＤＭに基づいて、後述する距離情報ｄ（撮影位置（撮像レンズ１１）から測定対象（例えば、測定物または後述するリフォーカス面までの距離情報）を算出する。距離情報算出部１４３Ｂは、距離情報生成部Ｂ１と、距離抽出部Ｂ２とを有する。

距離情報生成部Ｂ１は、後述するように、一軸方向に第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報と、上記一軸方向に上記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第２の距離情報とを生成する。

距離抽出部Ｂ２は、後述するように、上記第１の距離情報と上記第２の距離情報とに基づいて、撮像位置から測定対象までの距離情報Ｄを抽出する。

リフォーカス係数設定部１４３Ｃは、距離情報ｄに基づいてリフォーカス係数αを設定（算出）する。なお、距離情報取得部１４３の詳細動作については後述する。

並び替え処理部１４４は、リフォーカス係数設定部１４３Ｃにおいて算出されたリフォーカス係数αを用いて、クランプ処理部１４２から供給される撮像データＤ１に対して所定の並べ替え処理を行うことにより、画像データＤ２を生成するものである。この並び替え処理としては、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理が用いられる。

ノイズ低減処理部１４５は、並び替え処理部１４４により供給される画像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。

輪郭強調処理部１４６は、ノイズ低減処理部１４５により供給される画像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス処理部１４７は、輪郭強調処理部１４６により供給される画像データに対し、カラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス処理）を行うものである。

ガンマ補正処理部１４８は、ホワイトバランス処理部１４７により供給される画像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、画像データＤoutを生成するものである。

記憶部１４９は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）で構成され、画像処理部１４を構成する上述した各部の演算に必要なプログラム、パラメータを記憶する。記憶部１４９は、制御部１６に備えられてもよい。記憶部１４９は、画像処理部１４および制御部１６とは別に構成されてもよく、この場合、記憶部１４９は、画像処理部１４または制御部１６によって制御される。また、記憶部１４９は、ハードディスクドライブ等の外付けの記憶装置で構成されてもよい。

［撮像装置の動作］
続いて、本実施形態の撮像装置１の動作とともに、画像処理部１４の詳細について説明する。

（基本動作）
撮像装置１では、図１に示したように、撮像レンズ１１による撮像対象物２の像が、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線が、このマイクロレンズアレイ１２を介して撮像素子１３で受光される。

このとき、マイクロレンズアレイ１２への入射光線は、その進行方向に応じて撮像素子１３上の異なる位置で受光される。その結果、例えば図４に示したように、開口絞り１０の開口形状に相似形となる撮像対象物２の像（ユニット像）１３−１が、マイクロレンズごとに結像する。なお、このユニット像１３−１、すなわち１つのマイクロレンズに割り当てられた画素Ｐによって構成される領域（再構築画素領域１３Ｄ）が、再構築される画像の１画素分に相当する。

ここで図５を参照して、撮像素子１３で受光される光線について説明する。図５に示したように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をｓとする。すると、撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌｓ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の画素Ｐの配置によって、光線の入射方向が決まることとなる。

このようにして、撮像素子１３で受光がなされると、撮像素子駆動部１５による駆動動作に従って撮像データＤ０が得られ、画像処理部１４へ入力される。そして、画像処理部１４では、この撮像データＤ０に対して後述する所定の画像処理を施す。これにより、撮像装置１において画像データＤoutが生成され、外部へ出力される。

（画像処理部の典型的な動作）
次に、図３および図６〜図９を参照して、画像処理部１４における典型的な画像処理動作について詳細に説明する。

図３に示したように、画像処理部１４では、欠陥補正部１４１が撮像データＤ０に対して欠陥補正を行ったのち、クランプ処理部１４２が欠陥補正後の撮像データに対してクランプ処理を行う。これにより、クランプ処理後の撮像データＤ１が、距離情報取得部１４３へ入力される。

次いで、距離情報取得部１４３は、この撮像データＤ１に基づいて、以下説明するようにしてリフォーカス係数αを算出する。

まず、位相差検出部１４３Ａが、撮像データＤ１に基づいて、複数（例えば３つ以上）の視差画像（異なる視点による任意視点画像）を生成する。位相差を検出するための視差画像は、撮像素子１３上で受光したユニット像同士の間で、同一の位置に配置された画素Ｐで取得された画素データを抽出して合成することにより生成することができる。このため、生成される視差画像の数は、１つのマイクロレンズに割り当てられた画素数と同数となる。

そして、位相差検出部１４３Ａは、生成された複数の視差画像において、以下説明する相関値演算を行うことにより視差画像間の位相差を検出し、画像内の単位領域ごと（例えば画素Ｐごと）の位相差を示す位相差分布（Disparity Map）ＤＭを生成する。

例えば図６に示したような左右２つの視差について考えた場合、右側の光線ＬＲによる視差画像と、左側の光線ＬＬによる視差画像との間の位相差Δφ（光線ＬＲによる視差画像の位相φＲと、光線ＬＬによる視差画像の位相φＬとの間の位相差）を検出する。

詳細には、本実施形態では、例えば図７に示したような、互いに異なる２方向以上（ここでは、画像内の水平（Ｈ）方向および垂直（Ｖ）方向の２方向）に沿った複数の視差画像（ここでは、３つの視差画像ＤＣ，ＤＨ，ＤＶ）を用いて、位相差分布ＤＭを生成する。ここで、２つの視差画像ＤＣ，ＤＨ同士は、互いに水平方向に視差を有しており、２つの視差画像ＤＣ，ＤＶ同士は、互いに垂直方向に視差を有している。

ここで、このような２つの視差画像間の位相差を検出（位相差分布ＤＭを生成）する際には、例えば以下のようなステレオマッチングの手法が用いられる。これは、２つの視差画像同士を局所領域で逐次比較していく（画像同士の類似度を示す相関値（画素相関値）を求める）ことにより、物体の移動量（視差画像間の位相差）を求めるという手法である。

具体的には、例えば水平方向に沿った２つの視差画像ＤＣ，ＤＨ間の位相差を求める場合、以下のようにして位相差分布ＤＭを生成する。すなわち、まず、一方の視差画像ＤＣ内の単位領域（図７中の部分画像Ｃ１：中心座標（ｘ１，ｙ１））を取り出し、位置を固定させる。次いで、他方の視差画像ＤＨ内における比較対象の単位領域（図７中の部分画像Ｈ１：中心座標（ｘ１，ｙ１）を取り出し、この部分画像Ｈ１の位置を比較範囲Ｈ１０内で水平方向に逐次移動させつつ、相関値を逐次算出する。そして、この比較範囲Ｈ１０内で最も相関が強いときの部分画素Ｃ１，Ｈ１同士の位置ずれ（Pixelずれ）が、位相差（Disparity）として求められる。また、このような演算処理を、部分画像Ｃ１の位置を変化させつつ視差画像ＤＣ，ＤＨの全面について繰り返し行うことにより、上記した位相差分布ＤＭ（Disparityの集合）が得られる。

垂直方向に沿った２つの視差画像ＤＣ，ＤＶ間の位相差を求める場合にも、同様にして位相差分布ＤＭを生成する。すなわち、まず、視差画像ＤＣ内の部分画像Ｃ１と、視差画像ＤＶ内の部分画像Ｖ１とをそれぞれ取り出し、部分画像Ｖ１の位置を比較範囲Ｖ１０内で垂直方向に逐次移動させつつ相関値を逐次算出する。そして、このような演算処理を、部分画像Ｃ１の位置を変化させつつ視差画像ＤＣ，ＤＶの全面について繰り返し行うことにより、位相差分布ＤＭを生成する。

このとき、相関値の算出式としては種々のものを用いることができるが、代表的なものとして、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、またはＮＣＣ（Normalized Cross-Correlation）などを相関値として用いることができる。ＳＡＤおよびＳＳＤはそれぞれ、値が小さいほど（０に近いほど）相関が強いことを示し、値が大きいほど（∞に近いほど）相関が弱いことを示している。一方、ＮＣＣは、値が１に近いほど相関が強いことを示し、値が０に近いほど相関が弱いことを示している。

このようにして、本実施の形態では、複数の視差画像（ここでは３つの視差画像ＤＣ，ＤＨ，ＤＶ）において、相関値演算がなされることにより視差画像間の位相差が検出され、画像内の位相差分布ＤＭが生成される。

この際、互いに異なる２方向以上（ここでは、画像内の水平方向および垂直方向の２方向）に沿って個別に位相差検出が行われ、それら各方向についての位相差検出結果を利用して位相差分布ＤＭが生成される。これにより、例えば画像にエッジ領域（水平エッジ領域や垂直エッジ領域）が含まれている場合であっても、相差検出の際にエッジ領域の影響を受けにくくなる。

次に、距離情報取得部１４３では、距離情報算出部１４３Ｂが、位相差検出部１４３Ａにおいて求められた位相差分布ＤＭに基づいて、所定の距離情報ｄを算出する。この距離情報ｄとは、ここでは、撮像レンズ１１から、撮像データＤ１に対応する撮像画像内における任意の基準位置までの距離の情報を意味している。詳細には、撮像レンズ１１と合焦させたいリフォーカス面との間の距離情報ｄ（撮像レンズ１１から上記基準位置までの距離ｄの情報）、すなわち、後述するリフォーカス時の撮像レンズ１１の物体側の焦点距離のことである。

具体的には、距離情報算出部１４３Ｂは、位相差分布ＤＭを用いて以下の（１）〜（８）式により、測定対象までの距離ｄ（距離情報ｄ）を算出する。ここでは、図８に示したように、撮像レンズ１１の物体側焦点面をＤ、撮像レンズ１１の焦点距離をＦ、位相差分布ＤＭを求めたときの撮像レンズの開口の大きさをｖ、距離Ｄの物体を撮像したときの撮像レンズ１１の像側焦点面をｆ、撮像レンズ１１から距離ｄにある物体を撮像したときの撮像レンズ１１の像側焦点面をｇ、距離ｄの物体を開口の大きさｖを用いて計算した（（Disparity）×（撮像素子１３の画素Ｐの大きさ）×（マイクロレンズアレイ１２の一辺の長さに割り当てられた画素数））の値をｈとしている。

まず、相似関係により以下の（１）式が得られる。また図８により、ｅ＝（ｇ−ｆ）であるため、これを（１）式に代入することにより、以下の（２）式が得られ、この（２）式により以下の（３）式が得られる。また撮像レンズ１１の結像式により以下の（４）式および（５）式が得られるため、（４）式を（３）式に代入することにより以下の（６）式が得られ、（５）式により以下の（７）式が得られる。したがって、（７）式を（６）式に代入することにより、以下の（８）式が得られる。この（８）式中においてＦ，Ｄ，ｖの値が既知のものであれば、位相差分布ＤＭに基づいて距離ｄが算出される。
（ｈ／ｅ）＝（ｖ／ｇ）……（１）
｛ｈ／（ｇ−ｆ）｝＝（ｖ／ｇ）……（２）
（１／ｇ）＝（１／ｆ）×｛１−（ｈ／ｖ）｝……（３）
（１／Ｆ）＝（１／ｇ）＋（１／ｄ）……（４）
（１／Ｆ）＝（１／Ｄ）＋（１／ｆ）……（５）
（１／ｄ）＝（１／Ｆ）−［（１／ｆ）×｛１−（ｈ／ｖ）｝］……（６）
ｆ＝Ｆ×｛Ｄ／（Ｄ−Ｆ）｝……（７）
（１／ｄ）＝（１／Ｆ）−［１／｛Ｆ×Ｄ／（Ｄ−Ｆ）｝×｛１−（ｈ／ｖ）｝］……（８）

次に、距離情報取得部１４３では、リフォーカス係数設定部１４３Ｃが、距離情報算出部１４３Ｂにおいて求められた距離情報ｄに基づいて、リフォーカス係数αを設定（算出）する。具体的には、図９（Ａ）に示したように、撮像レンズ１１の物体側焦点面が距離Ｄだけ離れた位置にある状態で撮像された場合で考えると、以下のようになる。すなわち図９（Ｂ）に示したように、撮像レンズ１１から距離ｄだけ離れた位置にある平面のリフォーカス像を得るためのリフォーカス係数αは、上記（５）式および以下の（９）式により算出される。このようにして算出されたリフォーカス係数αは、撮像データＤ１と共に並べ替え処理部１４４へ入力される。
（１／Ｆ）＝（１／Ｄ）＋（１／αｆ） ……（９）

次いで、並び替え処理部１４４は、このようにして距離情報取得部１４３において算出されたリフォーカス係数αを用いて、クランプ処理部１４２から供給される撮像データＤ１に対して所定の並べ替え処理を施し、画像データＤ２を生成する。具体的には、以下説明するリフォーカス演算処理（積分処理）を行うことにより、任意の焦点（リフォーカス係数αによって規定されるリフォーカス面）に設定された画像（再構築画像）を生成する。

その後、画像処理部１４は、ノイズ低減処理部１４５において、このようにして生成された画像データＤ２に対し、ノイズ低減処理が行う。次いで、輪郭強調処理部１４６が、ノイズ低減処理後の画像データに対し、輪郭強調処理を行う。次に、ホワイトバランス処理部１４７は、輪郭強調処理後の画像データに対し、色バランス調整処理（ホワイトバランス処理）を行う。そして、ガンマ補正処理部１４８が、ホワイトバランス処理後の画像データに対し、ガンマ補正処理を行う。これにより、画像データＤoutが生成され、画像処理部１４から出力される。

以上のように画像処理部１４は、複数の視差画像ＤＣ，ＤＨ，ＤＶにおいて、相関値演算を行うことにより視差画像間の位相差を検出し、画像内の位相差分布ＤＭを生成する際に、画像内の水平方向および垂直方向の２方向に沿って個別に位相差検出を行う。

一般に、検出すべき位相差（Disparity）は、物体とカメラの距離が近いほど大きく、遠いほど小さいことが知られている。すなわち、距離によって位相差の検出精度が変化するため、位相差が大きい近距離では正確に距離情報ｄを把握することができるが、位相差が小さくなると、カメラノイズ、外乱などにより影響され距離算出結果の精度が落ちるという課題が依然として存在する。

そこで本実施形態の画像処理部１４は、複数のベースライン（光軸間の距離）を用いてノイズの影響を減少させ、より精度の高い距離算出を可能とするために、以下のような処理を実行する。

（本実施形態の画像処理部による距離算出動作）
上述のように本実施形態の画像処理部１４において、距離情報取得部１４３は、距離情報算出部１４３Ｂを有し、距離情報算出部１４３Ｂは、距離情報生成部Ｂ１と、距離抽出部Ｂ２とを有する。

距離情報生成部Ｂ１は、第１の基線長を有する複数のカメラで取得された画像（第１の視差画像群）間の位相差に基づいた測定対象に関する第１の距離情報と、上記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像（第２の視差画像）間の位相差に基づいた上記測定対象に関する第２の距離情報とを生成する。ここでは、上記測定対象は、上述のリフォーカス面に相当するが、これに限られず、撮像装置１によって撮像される撮像対象物２であってもよい。

例えば図１０に示すように、一軸方向（水平方向又は垂直方向）に配列された複数（３台）のカメラＣＡ１，ＣＡ２及びＣＡ３を用いて、撮像位置（撮像レンズのレンズ面）から測定対象２０までの距離Ｚ［ｍｍ］を算出する場合を考える。カメラＣＡ１とカメラＣＡ２間の光軸間の距離は基線長ＢＬ１［ｍｍ］と定義される。またカメラＣＡ２とカメラＣＡ３の光軸間の距離は基線長ＢＬ２［ｍｍ］と定義される。この場合、基線長ＢＬ１と基線長ＢＬ２は、それぞれ異なる大きさに設定される。

基線長ＢＬ１，ＢＬ２は、画像処理部１４の記憶部１４９に記憶される。基線長ＢＬ１，ＢＬ２の測定方法については後述する。

第１の視差画像群における画像間の位相差および第２の視差画像群における画像間の位相差は、位相差検出部１４３Ａによってそれぞれ検出される。距離情報生成部Ｂ１は、これら２つの視差画像群各々から求められる距離Ｚに関する情報を生成する。

すなわち距離情報生成部Ｂ１は、図１１（Ａ）に示すようにカメラＣＡ１及びＣＡ２で取得された第１の視差画像群から、外乱、カメラノイズ、カメラ個体差等に加え、位相差検出部１４３Ａで検出された位相差の分解能により、測定対象２０までの距離Ｚが距離Ｚ０［ｍｍ］からＺ１［ｍｍ］の範囲であるとの情報(第１の距離情報（ｄ１）)を生成する。同様に、距離情報生成部Ｂ１は、図１１（Ｂ）に示すようにカメラＣＡ２及びＣＡ３で取得された視差画像群から、外乱、カメラノイズ、カメラ個体差等に加え、位相差検出部１４３Ａで検出された位相差の分解能により、測定対象２０までの距離Ｚが距離Ｚ２［ｍｍ］からＺ３［ｍｍ］の範囲であるとの情報（第２の距離情報（ｄ２））を生成する。なおここでは、Ｚ０＜Ｚ２＜Ｚ＜Ｚ１＜Ｚ３とする。

距離抽出部Ｂ２は、第１の距離情報（ｄ１）と前記第２の距離情報（ｄ２）とに基づいて、撮像位置から測定対象２０までの距離Ｚを抽出する。すなわち距離抽出部Ｂ２は、基線長ＢＬ１，ＢＬ２の相違を利用して、第１及び第２の距離情報から、測定対象２０までの距離Ｚに関する情報を抽出する。

距離抽出部Ｂ２は、第１の距離情報から抽出される第１の距離範囲（Ｚ０≦Ｚ≦Ｚ１）と、第２の距離情報から抽出される第２の距離範囲（Ｚ２＜Ｚ＜Ｚ３）とのうち、基線長ＢＬ１と基線長ＢＬ２が異なるため、相互に重複する距離範囲（Ｚ２＜Ｚ＜Ｚ１）から測定対象２０までの距離Ｚを抽出する。本例では、この処理をベースラインキャリブレーションと称する。

本例では、基線長（ベースライン）が相互に異なる３台のカメラからの視点画像を用いて測定対象２０までの距離Ｚを算出したが、４台以上のカメラを用いることで距離Ｚの検出精度をより一層高めることができる。本実施形態によれば、一つのベースラインから算出した結果よりも測定対象２０の距離精度を向上させることができる。

複数台のカメラを用いた距離算出フローの一例を図１２に示す。本例では、第１の視差画像群と、第２の視差画像群と、第Ｎ（Ｎは３以上の自然数）の視差画像群に基づく測定対象２０までの距離情報の抽出処理（ステップ１１，１２，１３）がそれぞれ並列的に実行される例を示す。次いで、これらの処理で得られた複数の距離情報を統合するベースラインキャリブレーション処理が実行される（ステップ１４）。

ベースラインキャリブレーションにおいては、適宜の演算手法が採用されてもよい。例えば、複数の視差画像群各々で抽出された測定対象２０に関する距離範囲の平均から距離Ｚが求められてもよい。あるいは、抽出された複数の距離範囲のうち所定の距離情報について重み付けが付加されてもよい。

（基線長の測定方法）
次に、基線長の測定方法について説明する。基線長の測定には、例えば図１３に示すように正確に視差（ディスパリティ）を算出可能なテクスチャを有する測定対象３０が用いられる。この測定対象３０が撮像装置１から既知に位置に配置された後、複数の視点画像についてディスパリティ値が算出される。

視差の測定には、算出されたディスパリティ値を上記（１）〜（８）式に代入することにより、基線長（図８の「ｖ」に相当）を算出することができる。また図１４に示すように、撮像装置１から測定対象３０までの距離をＺｘ，Ｚｘ１，Ｚｘ２と順次変化し、ディスパリティ値の算出を繰り返すことにより、より正確に基線長を算出することができる。このようにして得られた基線長は、記憶部１４９に記憶され、ベースラインキャリブレーション処理に用いられる。

視差の異なる複数の視差画像群（あるいは基線長の異なる複数のカメラ群）の選択方法は、上記のように、カメラＣＡ１及びカメラＣＡ２で取得される第１の視差画像群と、カメラＣＡ２及びカメラＣＡ３で取得される第２の視差画像群との組み合わせに限られない。例えば、カメラＣＡ１及びカメラＣＡ２で取得される第１の視差画像群と、カメラＣＡ１とカメラＣＡ３とで取得される第２の視差画像群との組み合わせであってもよい。

マイクロレンズアレイ１２は、典型的には、個々のマイクロレンズが２軸方向に等間隔で配列されるように設計されるが、実際には、金型の設計公差等により微小ながらも個々のマイクロレンズは異なる基線長を有する。このため、相互に隣接する２個のマイクロレンズで取得された視差画像を距離情報の生成に有効に利用することが可能である。

また、マイクロレンズアレイ１２は、撮像素子１３の受光面と平行に配置されるように設計されるが、実際には、アライメントずれが生じるため、微小ながらも個々のマイクロレンズは異なる基線長を有することになる。このような場合においても当該ずれ量を距離情報の生成に有効に利用することができる。

以上のように本実施形態によれば、測定対象までの距離をより正確に算出することができるため、任意の焦点や視点からの観察画像をより高精度に再構築することができる。また、測定対象の奥行き（Ｚ軸）方向の動き及びその移動量についても高精度に求めることができるため、撮像装置１をジェスチャ入力等のようなユーザインターフェースとして活用することも可能となる。

以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば以上の実施形態では、マイクロレンズアレイ１２を備えた撮像装置１について説明したが、複数台のカメラユニットを２次元的に配列した撮像装置にも本技術は適用可能である。このような構成によっても、測定対象に関する複数の視点画像を同時に取得することが可能である。

また、マイクロレンズアレイ１２に代えて、液晶レンズアレイ、液体レンズアレイ、回折レンズアレイ等の光線を振り分けることが可能な光学素子が用いられてもよい。

また以上の実施形態では、画像処理部１４を撮像装置に組み込んだ例を説明したが、これに限られず、画像処理部をＰＣ（Personal Computer）端末等の情報処理装置で構成してもよい。この場合、多視点カメラで取得した複数の視点画像データを有線又は無線で受信することにより、上述したような手法で測定対象の距離情報が算出される。

なお、本技術は以下のような構成も採ることができる。
（１）第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報と、前記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第２の距離情報とを生成する距離情報生成部と、
前記第１及び第２の距離情報に基づいて、撮像位置から前記測定対象までの距離を抽出する距離抽出部と
を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
前記距離抽出部は、前記第１の距離情報から抽出される第１の距離範囲と、前記第２の距離情報から抽出される第２の距離範囲とのうち、相互に重複する距離範囲から前記測定対象までの距離を抽出する
画像処理装置。
（３）上記（１）又は（２）に記載の画像処理装置であって、
前記第１及び第２の基線長を記憶する記憶部をさらに具備する
画像処理装置。
（４）上記（１）から（３）のいずれか１つに記載の画像処理装置であって、
前記距離情報生成部は、前記第１及び第２の基線長とは異なる第３の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第３の距離情報をさらに生成し、
前記距離抽出部は、前記第１、第２及び第３の距離情報に基づいて、撮像位置から前記測定対象までの距離を抽出する
画像処理装置。
（５）一軸方向に配列された複数のカメラを有する撮像部と、
前記複数のカメラのうち第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報と、前記複数のカメラのうち前記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第２の距離情報とを生成する距離情報生成部と、
前記第１及び第２の距離情報に基づいて、撮像位置から前記測定対象までの距離を抽出する距離抽出部と
を具備する撮像装置。
（６）上記（５）に記載の撮像装置であって、
前記撮像部は、
開口絞りを有する撮像レンズと、
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮影レンズと前記撮像素子との間に、前記撮像素子の一の領域内の複数の画素に対応して設けられた複数のマイクロレンズとを有する
撮像装置。
（７）第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報を生成し、
前記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第２の距離情報を生成し、
前記第１及び第２の距離情報に基づいて、撮像位置から前記測定対象までの距離を抽出する
画像処理方法。

１…撮像装置
２…撮像対象物
１１…撮影レンズ
１２…マイクロレンズアレイ
１３…撮像素子
１４…画像処理部
２０…測定対象
１４３…距離情報取得部
１４３Ｂ…距離情報算出部
１４９…記憶部
Ｂ１…距離情報生成部
Ｂ２…距離抽出部

Claims (12)

1. 第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報から抽出される第１の距離範囲と、前記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第２の距離情報から抽出される第２の距離範囲と、に対して重複する距離範囲から、撮像位置から前記測定対象までの距離を抽出する距離抽出部
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第１の距離情報と前記第２の距離情報とを生成する距離情報生成部をさらに具備する
   画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記第１及び第２の基線長を記憶する記憶部をさらに具備する
   画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記距離抽出部は、前記第１の距離範囲と、前記第２の距離範囲と、前記第１及び第２の基線長とは異なる第３の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第３の距離情報から抽出される第３の距離範囲と、に対して重複する距離範囲から、撮像位置から前記測定対象までの距離を抽出する
   画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記第１の基線長を有する複数のカメラで取得された画像間の位相差と、前記第２の基線長を有する複数のカメラで取得された画像間の位相差とを検出する位相差検出部をさらに具備する
   画像処理装置。
6. 第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報から第１の距離範囲を抽出し、
   前記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第２の距離情報から第２の距離範囲を抽出し、
   前記第１の距離範囲と前記第２の距離範囲とに対して重複する距離範囲から、撮像位置から前記測定対象までの距離を抽出する
   画像処理方法。
7. 画像処理装置に、
   第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報から第１の距離範囲を抽出するステップと、
   前記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第２の距離情報から第２の距離範囲を抽出するステップと、
   前記第１の距離範囲と前記第２の距離範囲とに対して重複する距離範囲から、撮像位置から前記測定対象までの距離を抽出するステップと
   を実行させるプログラム。
8. 一軸方向に配列された複数のカメラを有する撮像部と、
   前記複数のカメラのうち、第１の基線長を有する複数のカメラで取得された画像間の位相差に基づいた測定対象に関する第１の距離情報から抽出される第１の距離範囲と、前記第１の基線長とは異なる第２の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第２の距離情報から抽出される第２の距離範囲と、に対して重複する距離範囲から、撮像位置から前記測定対象までの距離を抽出する距離抽出部と
   を具備する撮像装置。
9. 請求項８に記載の撮像装置であって、
   前記第１の距離情報と前記第２の距離情報とを生成する距離情報生成部をさらに具備する
   撮像装置。
10. 請求項８に記載の撮像装置であって、
    前記距離抽出部は、前記第１の距離範囲と、前記第２の距離範囲と、前記第１及び第２の基線長とは異なる第３の基線長を有する複数のカメラで取得された画像間の位相差に基づいた前記測定対象に関する第３の距離情報から抽出される第３の距離範囲と、に対して重複する距離範囲から、撮像位置から前記測定対象までの距離を抽出する
    撮像装置。
11. 請求項８に記載の撮像装置であって、
    前記撮像部は、
    開口絞りを有する撮像レンズと、
    受光した光に基づいて撮像データを取得する撮像素子と、
    前記撮像レンズと前記撮像素子との間に、前記撮像素子の一の領域内の複数の画素に対応して設けられた複数のマイクロレンズとを有する
    撮像装置。
12. 請求項８に記載の撮像装置であって、
    前記複数のカメラは、前記一軸方向に順に配列された第１、第２及び第３のカメラを含み、
    前記第１の基線長は、前記第１のカメラと前記第２のカメラとの光軸間の距離であり、
    前記第２の基線長は、前記第１又は第２のカメラと前記第３のカメラとの光軸間の距離である
    撮像装置。

Images