JP2009115541A - 距離測定装置および距離測定方法 - Google Patents

Abstract

【課題】対象物の距離情報を短時間で測定できる、小型の距離測定装置を提供する。
【解決手段】本願発明に係る距離測定装置は、画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。画像処理部４は、再構成部４ａと、輝度情報算出部４ｂと、距離情報算出部４ｃとからなる。
【選択図】図１

Description

本発明は、撮像素子で取得した、対象物の画像データに基づいて、対象物までの距離を測定する技術に関する。

近年、産業用ロボットや各種ＦＡ（Factory Automation）機器を用いた生産ラインを自動化するシステムの構築、あるいは、知能ロボットのインテリジェント化を図るために、対象物の距離情報を取得するための視覚センサが重要となってきている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測のための視覚センサとして画像センサカメラが多く用いられている。

また、半導体デバイスや回路部品の実装基板の製造などにおいても、品質を管理するために半田バンプや金バンプなど２次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。

このようなニーズに対応するために、従来、２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法や、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムなどが用いられている。

また、比較的小さな対象物の高さ情報を測定する方法として、共焦点顕微鏡の原理を利用した高さ測定法が提案されている。例えば、特開２００３−７５１１９号公報（特許文献１）には、共焦点顕微鏡の原理を用いた高さ情報測定装置が記載されている。

この高さ情報測定装置について、図１７、図１８を用いて説明する。図１７は、共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。また、図１８は、共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。図１７に示すように、光源１０３、対物レンズ１０４、２次元画像カメラ１０２を備えた共焦点光学系１０１により、試料１０６をステージ１０５を高さ方向に移動させながら、その高さ方向において互いに異なる複数の高さ位置で水平面の共焦点画像をそれぞれ撮像する構成を有している(図１８（ａ）（ｂ）)。この高さ情報測定装置は、複数の共焦点画像の画素毎の輝度情報を比較し最大輝度を求め、最大輝度を有する画素を含む共焦点画素データを用いて粒子解析を行なって特定領域を抽出する。そして、抽出された領域における輝度と高さの代表値を算出し、試料の高さ情報を求めるものである（図１８（ｃ））。

また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラ技術が“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２（非特許文献１）の中で提案されている。非特許文献１に記載のプレノプティックカメラは、普通のカメラレンズと同様の撮像レンズを有するが、普通のカメラとは、マイクロレンズアレイが像平面に正確に配置され、さらにマイクロレンズアレイより多くの撮像ピクセルを有するイメージセンサアレイ（撮像素子）がマイクロレンズアレイのすぐ背後に置かれている点で異なる。マイクロレンズアレイ内のレンズの数で最終画像の画素数は決まるが、単一マイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向と強度を記録することができる。そのデータを用いて、所定の距離にピントを合せた画像を再構成することができるというものである。
特開２００３−７５１１９号公報 "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法では直接奥行き距離や高さ情報が検出できないといった問題がある。また、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムを用いた距離測定には、複数のカメラや複雑な画像処理が必要などの課題があった。

また、特許文献１に記載の、共焦点顕微鏡の原理を用いて複数の共焦点画像を取得する場合には、ステージの面方向への走査と高さ方向への移動という操作が必要で、オートフォーカス機構を含む移動機構系が大型になるという問題がある。また、２次元画像データを高さを変えて複数回取得するには、ステージの移動、静止、対物レンズのオートフォーカシングなどのため、要する時間が長くなるといった課題もある。

また、非特許文献１に記載のプレノプティックカメラ技術においては、取得画像データに対して、例えばオペレータがピント位置（距離）を入力することで、その位置にフォーカシングされた画像をデータの並び替え（再構成）により作り出すことはできるが、それを用いて対象物の距離情報を算出することはできない。

本発明は、このような課題に着目してなされたものであり、その目的とするところは、対象物の距離情報を短時間で測定できる、小型の距離測定装置を提供することにある。

１つの局面にかかる本願発明は、対象物までの距離を測定するための距離測定装置であって、対象物からの物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数の集光器からなる集光アレイと、集光アレイを通過した物体光の画像データを取得する撮像素子とを含むカメラを備え、撮像素子は、複数の画素を有し、複数の画素は、集光器の１つを通過した物体光を検出する複数の画素群に分割されており、各画素群における物体光を検出した画素の位置に基づき、物体光の集光器への入射方向を算出し、入射方向に基づき複数の画素を並び替えて撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、複数の再構成画像に共通の領域において、複数の再構成画像の各々について、各画素と当該画素近傍の画素との間の輝度の差分値を算出する差分値算出手段と、共通の領域に含まれる各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出する距離算出手段とを備える。

好ましくは、距離算出手段は、差分値に基づいて、再構成画像からエッジ領域を抽出するエッジ抽出手段をさらに含み、エッジ領域に含まれる各画素位置に対して、距離を算出する。

好ましくは、差分値算出手段は、複数の画素を複数の領域に分割し、複数の領域に含まれる複数の画素の輝度に基づき一様輝度を算出し、複数の領域それぞれに含まれる複数の画素を一様輝度を有する複数の画素に変換する平均化手段をさらに含み、一様輝度を有する画素に基づき差分値を算出する。

さらに好ましくは、差分値算出手段は、各画素群に含まれる複数の画素の輝度に基づき一様輝度を算出し、画素群それぞれに含まれる複数の画素を一様輝度を有する複数の画素に変換する平均化手段をさらに含み、一様輝度を有する画素に基づき差分値を算出する。

好ましくは、再構成手段は、画像データから、各集光器を透過していない光が入射する外縁部の画素についてのデータを削除する外縁部除去手段を含む。

好ましくは、輝度情報を算出する手段は、撮像素子の初期位置に対応する初期画像の輝度中心位置を算出する中心算出手段と、初期画像の輝度分布および輝度中心位置に基づき、対象物が、合焦位置から近点側または遠点側のいずれにあるかを判定する判定手段とをさらに含み、差分値算出手段は、判定手段の判定結果に基づき、初期位置から見て対象物の集光面側にある仮想位置における再構成画像について差分値を算出する。

好ましくは、集光アレイは、撮像レンズを通過した物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイである。

他の局面にかかる本願発明は、対象物までの距離を測定するための距離測定方法であって、複数の集光器からなる集光アレイを通過した対象物からの物体光の画像データを、複数の画素を有し、複数の画素は、集光器の１つを通過した物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、各画素群における物体光を検出した画素の位置に基づき、物体光の集光器への入射方向を算出するステップと、入射方向に基づき複数の画素を並び替えて撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、再構成画像に共通の領域において、再構成画像の各々について、各画素と当該画素近傍の画素との間の輝度の差分値を算出するステップと、共通の領域に含まれる各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定するステップと、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出するステップとを備える。

本発明は、一度の撮像データから画像処理により、異なるフォーカシング状態の複数の画像データを生成し、その画像データより対象物までの距離情報を得ることができる。従って、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となり、小型の距離測定装置が実現できる。また、一度の撮像操作で情報が取得できるため、カメラや対象物の複数回の移動時間や撮影時間または移動に伴う各画像のマッチング操作などの時間が不要となり、短時間で距離測定を行なえる。

以下、図面を参照しながら本発明の実施形態を説明する。なお、本発明は以下の実施形態に限定されるものではない。

（１．本発明の構成）
図１を用いて、本発明に係る距離測定装置の構成について説明する。図１は、本発明の実施の形態に係る距離測定装置の概略構成図である。

距離測定装置は、画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。

画像センサカメラ１は、対象物の画像データを取得する。画像センサカメラ１は、撮像レンズ１１（以後は、メインレンズと呼ぶ）と、複数のマイクロレンズからなるマイクロレンズアレイ１２と、撮像素子１３とからなる。撮像素子１３としては、例えば、ＣＣＤ（charge-coupled device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを用いることができる。

メインレンズ１１には、対象物からの物体光が入射する。メインレンズ１１は、入射した対象物からの物体光を集光する。マイクロレンズアレイ１２には、メインレンズ１１を通過した物体光が入射する。マイクロレンズアレイ１２に含まれる複数のマイクロレンズの各々は、物体光を集光する。なお、マイクロレンズアレイ１２は、複数の集光器からなる集光アレイの一例である。例えば、マイクロレンズアレイ１２のかわりに、複数のピンホールからなるピンホールアレイを用いても構わない。

撮像素子１３は、マイクロレンズアレイ１２を通過した物体光の画像データを取得する。撮像素子１３は、複数の画素を有する。撮像素子１３の画素および撮像素子１３により取得される画像データについては、後で詳述する。

画像キャプチャーボード２は、撮像素子１３で取得された画像データを取り込み、以降の処理が行なえる形に変換する。メモリ３は、画像キャプチャーボード２から転送された画像データを格納する。

画像処理部４は、メモリ３から画像データを読出し、読み出した画像データに基づき、物体までの距離を算出する処理を行なう。画像処理部４は、画像データに含まれる画素データを並び替えて、撮像素子１３が異なる複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成部４ａと、複数の再構成画像の各々において、輝度情報を算出する輝度情報算出部４ｂと、対象物までの距離を算出する距離情報算出部４ｃとからなる。画像処理部４の行なう処理の詳細については、後述する。

（２．画像センサカメラの特徴について）
本発明においては、画像センサカメラ１の光学系の構成に特徴があり、図２を用いて、その特徴を説明する。図２は、画像センサカメラ１の光学系を示す図である。なお、簡単のため、図２には、対象物１４が点光源である場合を示す。

画像センサカメラ１のマイクロレンズアレイ１２は、対象物１４がＡの位置にある場合に、メインレンズ１２より対象物１４がほぼ結像する位置に配置される。このときのＡの位置を合焦点位置、合焦点位置よりもメインレンズ１１に近い側を近点位置、合焦点位置よりもメインレンズ１１から遠い側を遠点位置と呼ぶ。撮像素子１３はマイクロレンズアレイ１２のほぼ焦点位置に配置されている。撮像素子１３には、対象物の光が、マイクロレンズを通して、入射される。また、それぞれのマイクロレンズを通過した光が、互いに重なることなく撮像素子１３上に入射するように、画像センサカメラ１の光学系は調整されているものとする。

次に、図３〜図９を用いて、この画像センサカメラ１により撮像される画像について説明する。

図３を用いて、対象物１４の結像について説明する。図３は、対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。対象物１４が位置Ｂにある場合、対象物１４からの光は、メインレンズ１１により、面Ｄに集光(結像)する。また、位置Ｃにある場合、面Ｆに集光（結像）する。また、面Ｅは、合焦位置Ａに対する集光面であり、ほぼマイクロレンズアレイ１２の位置に相当する。

続いて、対象物１４が図３の位置Ａ，Ｂ，Ｃにある場合に撮像素子１３により、どのような画像が撮像されるかを図４、図５を用いて説明する。図４はマイクロレンズアレイ１２上の入射光１５の形状を示す図であり、図５は撮像素子１３上の入射光１６の形状を示す図である。

まず、対象物１４が図３の位置Ａ，Ｂ，Ｃにある場合にマイクロレンズアレイ１２上にどのような形状の入射光１５が入射するかについて図４を用いて説明する。図４に示すように、本実施例においては、マイクロレンズアレイ１２は、２次元面内に配列された円形のマイクロレンズからなるものとする。また、各マイクロレンズには、それらを識別するための番号Ｍ（ｉ，ｊ）が与えられているものとする。図４（ａ）、図４（ｂ）、図４（ｃ）は、それぞれ、対象物１４が、遠点位置Ｃにある場合、合焦位置Ａにある場合、近点位置Ｂにある場合のマイクロレンズアレイ１２上の入射光１５の形状を示す図である。

合焦位置Ａにある対象物１４からの光は図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光される。

対象物１４が遠点位置Ｃにある場合、対象物１４からの光は、メインレンズ１１を通して一旦集光された後、さらにデフォーカス状態になって広がってマイクロレンズ１２上に入射する。したがって、図４（ａ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。

対象物１４が近点位置Ｂにある場合は、集光前のデフォーカス状態の光が、マイクロレンズ１２上に入射する。したがって、図４（ｂ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。

撮像素子１３上の入射光１６について図５を用いて説明する。図５に示すように、撮像素子１３は、複数の画素群からなる。各画素群には、番号Ｔ（ｉ，ｊ）が付されている。また、各画素群は、マイクロレンズの１つを通過した物体光を検出する。言い換えると、マイクロレンズＭ（ｉ，ｊ）を通過した光は、画素群Ｔ（ｉ，ｊ）に入射する。なお、図では、画素群が１０×１０の画素で構成されている場合を示しているが、画素群を構成する画素の数はこれに限られない。

対象物１４が合焦位置Ａにある場合、図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光された光が、撮像素子１３に入射する。したがって、撮像素子１３に入射する光は、図５（ｂ）に示すように、撮像素子１４の画素群Ｔ（２，２）に対して全面に広がる。

対象物１４が遠点位置Ｃにある場合、マイクロレンズアレイ１２上で、図４（ａ）のように周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にも広がった光が、撮像素子１３に入射する。これらの周辺レンズに入射した光は、撮像素子１３上では、図５（ａ）に示すように、それぞれのマイクロレンズに対応する画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部に入射する。

図５（ｃ）は、近点位置Ｂに対象物１４が位置する場合に、撮像素子１３に入射する光の形状を示す図である。対象物が遠点位置Ｃにある場合と同様に、画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部にも光が入射する。

（３．画像の再構成について）
次に、本装置において距離情報を算出するための基本操作である、各仮想面での像の再構成について説明する。

画像の再構成にあたっては、画像センサカメラ１で取得した画像データから、マイクロレンズへの物体光の入射方向の情報を得られるという点が重要である。画像データから入射方向の情報が得られることを、図５を再度用いて説明する。例えば、遠点位置Ｃにある対象物１４からの光は、図５（ａ）に示すように、画素群Ｔ（２，２）を中心に、周囲の画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の外側の一部の決まった画素に入射する。また、逆に、近点位置Ｂにある対象物１４からの光は、図５（ｃ）に示すように、画素群Ｔ（２，２）を中心に、周囲の画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の内側の一部の決まった画素に入射する。このように各画素群に含まれる画素のうちどの画素に光が入射したかにより、各画素群に対応する位置に設置されたマイクロレンズへの物体光の入射方向の情報を得ることができる。

この入射方向の情報、仮想面の位置（仮想位置）、および、光学系のパラメータ（メインレンズ１１とマイクロレンズアレイ１２間の距離など）に基づき、撮像素子１３が取得した画素データを並び替えることで、撮像素子１３が仮想位置にある場合に取得されるべき画像データを取得することができる。

並び替えの具体例を図６を用いて説明する。図６は、対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。例えば、図６（ａ）は図５（ａ）に示した画像データから再構成した仮想面Ｆ上での光の分布を示したもので、図５（ｂ）の合焦位置での光ビーム状態とほぼ同じになる。周囲の決まった画素に入射する光、すなわち、画素出力だけを集めて、画素群Ｔ（２，２）の中央付近の画素出力と足し合わせ、改めて画素群Ｔ（２，２）の出力とすることで、仮想面Ｆでの画像を作り出すことができる。一方、近点位置Ｂにある対象物（点像）に対しては、撮像素子１３上での広がり（分割状態）は、図５（ｃ）のように遠点状態とは異なるので、異なる演算（周囲画素群の内側の一部の画素出力を足し合わせる）により、同じく図６（ｃ）の再構成像が生成できる。

なお、ここでは対象物が点像の場合の例を示したが、大きさを有する対象物の場合にも、同様の操作で画像の再構成ができる。ただし、大きさを有する画像の場合、全てのマイクロレンズに光が入射するので、各マイクロレンズに対応する画素群Ｔ（１，１）〜Ｔ（３，３）に対して同様の操作を行う必要がある。

対象物１４が点像でない場合の再構成画像について、図７および図８を用いて説明する。図７は、矢印形状の対象物１４が近点位置Ｂにある場合の集光の様子を示す図であり、図８は、図７中に示される仮想面で取得される画像を示す図である。

対象物１４が近点位置Ｂにあるため、ほぼ撮像素子１３の位置にある仮想面Ｅにおける取得画像は図８（ａ）のようにボケた画像となる。しかし、仮想面をＤ１，Ｄ２，Ｄ３と変えていくと、それぞれの再構成画像は図８（ｂ）、（ｃ）、（ｄ）のようになる。Ｄ３まで変えると、Ｄ３は位置Ｂに対する仮想面であるため、位置Ｂにある対象物のフォーカシングされた画像が得られる。

なお、図８の画像は、マイクロレンズアレイ１２を通して取得した画像に相当するため、画像を拡大すると、図９に示すように、マイクロレンズ毎の画素群を１つの単位とした画像となっている。図９は、図８中に枠で囲った部分を拡大した画像を示す図である。

このように、一度の撮像により得た撮像データを画像処理することにより、複数の仮想面での画像を再構成することができる。

（４．距離情報の取得方法について）
次に、本発明の特徴である単一の取得画像から仮想面の画像を再構成し、さらに画像の中の対象物の距離情報（３次元情報）を取得する方法について、図１０を参照しつつ、詳しく説明する。図１０は、距離情報の取得の各工程で生成される画像データについて説明するための図である。

距離情報の取得にあたっては、まず、画像センサカメラ１により、対象物の画像データｆ（ｉ，ｊ）を取得する。取得された画像データは、画像キャプチャーボード２を介してメモリ３に記憶される。なお、この画像データの画素数は、撮像素子の画素数Ｗ×Ｈ(ｉ＝１〜Ｗ、ｊ＝１〜Ｈ）に相当する。また、画像データは、図１０（ａ）に示すように複数の画素群により構成される。また、本実施例では、画素群に含まれる画素数はｍ×ｍであるとする。ただし、画素群に含まれる画素数はこれに限られない。例えば、縦と横の画素数が異なっていてもよい。

その後、画像処理部４は、画像データを処理することにより、対象物の距離情報を取得する。この処理は大きく、「再構成ステップ」、「輝度情報算出ステップ」、「距離情報算出ステップ」に分かれる。以下、それぞれの処理について説明する。

（１）再構成ステップ
画像処理部４に含まれる再構成部４ａは、画像データｆ（ｉ，ｊ）を並び替えて，Ｎ個の仮想面での再構成画像データｇｎ（ｉ，ｊ）を生成する。ここでｎ（ｎ＝１〜Ｎ）は仮想面の順番を示す。この並び替えを、面変換係数Ａｎ（ｎ＝１〜Ｎ）を用いて、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））と表すことにする。ここで、Ａｎは、各画素群における物体光を検出した画素の位置により定まる各マイクロレンズへの物体光の入射方向、仮想位置、および、光学系のパラメータに基づいて決定されるものである。

なお、再構成部４ａは、例えば、特に限られるわけではないが、本実施例においては予め定められた間隔で並んだ複数の仮想位置に対して再構成画像データを取得するものとする。また、再構成部４ａは、以下で述べる方法で焦点の合った仮想位置が算出された場合、焦点の合った仮想位置近傍では、仮想位置の間隔をさらに狭くして、狭い間隔の仮想位置に対して再構成画像を取得してもよい。この構成によれば、距離検出の精度を高めることができる。

このステップでは、１個の画像データｆ（ｉ，ｊ）が、図１０（ｂ）に示すようなＮ個の再構成画像データ、すなわち、ｇ_０１（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、ｇ_０２（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇＮ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））が得られる。また、各再構成画像データの画素数はＷ×Ｈであり、画素群数はＷ／ｍ×Ｈ／ｍである。

（２）輝度情報算出ステップ
輝度情報算出部４ｂは、再構成画像データｇｎ（ｉ，ｊ）から、輝度に関連する輝度情報を算出する。ここで、輝度情報とは、具体的には、輝度の差分値に関する情報である。この輝度情報の算出は、以下の手順で行なわれる。

まず、輝度情報算出部４ｂは、各再構成画像データｇｎ（ｉ，ｊ）に対して、各画素群を一様輝度を有する画素に変換した画像データｈｎ（ｉ’，ｊ’）を生成する。ここで、一様輝度は、各画素群に含まれる画素の輝度と対応する輝度であればよい。例えば、輝度情報算出部４ｂは、一様輝度として、各画素群に含まれる画素の輝度の平均値、あるいは輝度の総和を算出する。

本実施例では、ｍ×ｍ個の画素からなる画素群が、一様な輝度を有する１つの画素に変換（平均化）される。この変換は、平均化係数をＢｎとして、ｈｎ（ｉ’，ｊ’）＝Ｂｎ（ｇｎ（ｉ，ｊ））と表される。ここでｉ’＝１〜Ｗ／ｍ、ｊ’＝１〜Ｈ／ｍである。図１０（ｃ）に示すように、画素群平均化後の再構成画像の画素数は、Ｗ／ｍ×Ｈ／ｍとなる。

平均化処理の具体例を図１１を用いて説明する。図１１は、図９に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。図１１（ａ）〜（ｄ）はそれぞれ図９（ａ）〜（ｄ）の輝度分布を画素群内で平均化処理した輝度分布を示す。

本ステップにより、処理対象となるデータ点数を、画素群数Ｗ／ｍ×Ｈ／ｍに削減することができる、すなわち、データ量を１／ｍ^２に削減できる。そのため、以降の処理の画像処理速度が大幅に向上する。ただし、この処理は、必須ではない。また、各画素群の輝度を平均化するのではなく、画像データを複数の領域に分割し、各領域に対して平均化処理を行なってもよい。

次に、輝度情報算出部４ｃは、各再構成画像について、画素間の輝度の差分値を計算する。上述の平均化処理が行なわれている場合、輝度情報算出部４ｃは、各画像データｈｎ（ｉ’，ｊ’）において、各画素群について隣接画素群との輝度の差分値を計算し、差分値画像データｋｎ（ｉ’，ｊ’）を作成する。ｈｎとｋｎとの関係を、差分値変換係数をＣｎとして、ｋｎ（ｉ’，ｊ’）＝Ｃｎ（ｈ（ｉ’，ｊ’））と表すことにする。ここで、差分値変換係数Ｃｎは、例えば、一般的に用いられているRoberts法と呼ばれるエッジ検出法を利用する場合には、（ｉ’，ｊ’）の画素群に対して、ｘ方向の微分値ｄｘ＝ｈ（i'，ｊ’）−ｈ（i'＋１，ｊ’＋１）、ｙ方向の微分値ｄｙ＝ｈ（i'＋１，ｊ’）−ｈ（i'，ｊ’＋１）を用いて、（ｄｘ^２＋ｄｙ^２）^１／２で与えられる。ただし、差分値変換係数としては、これに限ることなく、単純な微分法、Sobel法や２次微分を用いるラプラシアン法など様々なフィルタ窓を設定することができる。図１０（ｄ）に示すように、Ｎ枚の差分値画像が作成される。

なお、上述の平均化処理を行なっていない場合には、輝度情報算出部４ｂは、単純に、各再構成画像の各画素について、隣接する画素との輝度値の差分を計算し、差分値画像データを取得する。

次に、輝度情報算出部４ｂは、差分値画像データを求めた後、差分値画像データkn(i’,j’)（ｎ＝１〜Ｎ）を並び替えて、図１０（ｅ）に示すような、行に差分値画像のｘ座標、列に複数枚の画像の順番ｎをとった差分値（縦断層）画像データを生成する。

あらわな表式で書くと、差分値画像データkn(i’,j’)から、差分値（縦断層）画像；
Ｒ（ｐ_１）＝（ｋ_０１（ｐ_１），ｋ_０２（ｐ_１），ｋ_０３（ｐ_１），…，ｋ_Ｎ（ｐ_１））
Ｒ（ｐ_２）＝（ｋ_０１（ｐ_２），ｋ_０２（ｐ_２），ｋ_０３（ｐ_２），…，ｋ_Ｎ（ｐ_２））
Ｒ（ｐ_ｊ’）＝（ｋ_０１（ｐ_ｊ’），ｋ_０２（ｐ_ｊ’），ｋ_０３（ｐ_ｊ’），…，ｋ_Ｎ（ｐ_ｊ’））
Ｒ（ｐ_Ｈ／ｍ）＝(ｋ_０１（ｐ_Ｈ／ｍ）,ｋ_０２（ｐ_Ｈ／ｍ）,ｋ_０３（ｐ_Ｈ／ｍ）,…,ｋ_Ｎ（ｐ_Ｈ／ｍ）)
を得る、ということである。ここで、ｐ_ｊ’＝（ｉ’，ｊ’）（ｊ’は固定、ｉ’は１〜Ｗ／ｍにわたる）である。

図１０（ｅ）に示すように、差分値（縦断層）画像の枚数は、もともとの差分値画像のｙ方向の画素数、即ちＨ／ｍ枚である。

（３）距離情報算出ステップ
距離情報算出部４ｃは、輝度情報算出ステップで得られた情報に基づき、次の手順で、対象物の距離情報を算出する。

まず、距離情報算出部４ｃは、差分値分布(縦断層)画像において、各画素位置 p=(i’,j’) での差分値強度の最大値を検出し、その最大値が検出されるn値(以後、代表値と呼ぶ)を求め、代表値画像データs(i’,j’)を生成する。すなわち、各p=(i’,j’)においてkn(i’,j’)〜kN(i’,j’)を最大とするnの値をs(i’,j’)とおく。

具体的に、差分値分布画像Ｒ（ｐ_１）からｎ値（代表値）を求める場合であれば、ｋ_０１（1,1），ｋ_０２（1,1），ｋ_０３（1,1），…，ｋ_Ｎ（1,1）のうちの最大値をとるもののｎの値を、ｓ（1,1）とする。同様に、ｋ_０１（1,2），ｋ_０２（1,2），ｋ_０３（1,2），…，ｋ_Ｎ（1,2）からｓ（1,2）を求める。一般には、ｋ_０１（1,j'），ｋ_０２（1,j'），ｋ_０３（1,j'），…，ｋ_Ｎ（1,j'）からｓ（1,j'）を求める。したがって、１枚の差分値（縦断層）画像から、Ｗ／ｍ個の代表値が求められることになる。この操作を各差分値分布画像について行ない、図１０（ｆ）に示すように、すべての画素の代表値データからなる代表値画像を求めることができる。

図９および図１１で示すように、合焦位置での画像において、最もエッジ部の画素群輝度変化が大きい。よってエッジ強度値が最大となる仮想面の位置が合焦状態を示していると判定できる。このことを利用して、対象物までの距離を算出することができる。

あるいは、差分値分布の近似曲線から、代表値を求めてもよい。この求め方を図１２を用いて説明する。図１２は、差分値分布の近似曲線から代表値を求める方法を説明するための図である。図１２（ａ）は、異なる距離に配置されている２つの対象物の再構成像を示す図である。図１２（ｂ）は、図１２（ａ）に示した各対象物のエッジ付近の画素位置（１４Ａ、１５Ｂ）における差分値強度を、仮想面の位置（ｎ値）について、プロットしたものである。各対象物に対して、画素位置（i',j'）において、ｎ値についてプロットした差分値強度の近似曲線を求め、近似曲線のピークのｎ値（図１２（ｂ）中のｎ１、ｎ２）を、代表値s(i',j')として求める。この代表値は対象物の像にピントが合っている仮想面の位置を示している。

なお、本実施例では、ｎ値データ画像を求めるにあたって、差分値画像データから差分値（縦断層）画像データを求め、さらに差分値（縦断層）画像データから代表値画像データを生成するという構成を説明した。しかし、Ｎ枚の差分値画像データｋ_ｎ（ｉ’，ｊ’）（ｎ＝１〜Ｎ）から直接に、すなわち、上述の差分値（縦断層）画像データを求めることなしに、代表値画像データを生成することもできる。差分値分布（縦断層）画像という概念を導入したのは、実際に計算機（演算プログラム）で代表値画像データを算出する場合の計算のアルゴリズムを分かりやすくするためである。

最後に、距離情報算出部４ｃは、各画素位置において最大差分値強度が得られる代表値画像s(i’,j’)を、既知の光学系の倍率データ等を用いて、距離測定装置から対象物までの絶対距離d(i’,j’)に変換し、最終的な距離画像データ d(i’,j’)を生成する。このようにして求めた距離画像の画素数は、図１０（ｇ）に示すように、Ｗ／ｍ×Ｈ／ｍである。

上記アルゴリズムは、輝度情報算出処理および距離情報算出処理を画素すべてについて行い、画素すべてについて距離データを求める場合のものであるが、画素すべてについて距離データを求めなくてもよい場合は、アルゴリズム処理領域を限定してもよい。例えば、複数の再構成画像に共通の処理領域を設定し、設定した処理領域において、輝度情報算出処理および距離情報算出処理を行なってもよい。処理領域を限定することで、処理時間や計算負荷を低減できる。

また、差分値強度画像ｋｎ（ｉ’，ｊ’）に閾値処理を施すなどして、画像内のエッジ領域を抽出し、抽出したエッジ領域に限定して、代表値の算出および距離情報の計算を行なってもよい。このようにエッジ領域についてのみ距離を求める構成によれば、処理時間や計算負荷を大幅に低減できる。

上記距離情報算出アルゴリズムにより、単一の撮像データから画像処理により、異なるフォーカシング状態（仮想面）の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。また、奥行き方向の前後の位置関係や、対象物の異なるエッジの距離情報から傾きや姿勢を求めることも可能である。非特許文献１に記載されているような従来のプレノプティックカメラとしては、設定した距離にピントを合せた画像は再構成できるが、画像の対象物の距離情報を求めることはできなかった。これに対し、本発明では、距離情報を算出することができる。

また、特許文献１のようにステージ等で対象物の高さを変化させて、オートフォーカシングを行った後、複数枚の画像を取得し、それらの輝度情報に基づいて、高さ情報を求める方法に対して、本発明の方法は、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となるため、小型かつ低コストである。

しかも一度の撮像操作で取得した画像データから距離データを算出できるため、カメラや対象物の複数回の移動時間や撮影時間または移動に伴う各画像のマッチング操作などの時間が不要となり、大幅な測定時間短縮も可能となる。１つの取得画像から複数の再構成画像を生成する操作については、シリアルに処理する必要はなくパラレルに合成できるため、複数回の撮影時間が省略でき、高速測定に有利である。

さらに、本光学系は、撮像素子のごく近傍にマイクロレンズアレイを組み込む構成なので、従来の画像センサカメラとほぼ同サイズであるため、広くＦＡ用途としてロボットなどの視覚センサに用いられている２次元画像センサカメラとほぼ同じ外径サイズに収まるため、従来カメラとの互換性（置換え）が高い。

また、本方法では、撮像素子の画素単位ではなく、１つのマイクロレンズに対応する複数の画素から構成される画素群単位での輝度情報を用いることで、距離情報の算出にあたっての計算回数、処理時間を短縮することができる。

（５．マイクロレンズ周辺部（非レンズ領域）で発生するノイズ光の除去）
再構成画像のもととなる撮像素子１３が取得する画像データには、マイクロレンズアレイ１２の形状に応じたノイズが生じる場合がある。このノイズについて図１３を用いて説明する。図１３は、マイクロレンズアレイ１２の形状に応じて、撮像素子１３が取得する画像に生じるノイズについて説明する図である。図１３（ａ）に示すように、マイクロレンズアレイ１２のレンズ面（領域）１２−Ａの周囲には非レンズ面１２−Ｂが存在し、この領域は入射光を撮像素子面に集光させる機能を果たさない。したがって、図１３（ｂ）に示すように、非レンズ領域１２−Ｂに入射した光は、ほぼそのまま透過し、撮像素子上に照射される。よって、撮像素子上では、図１３（ｃ）に示すように、本来の信号光１３−Ａ以外に画素群の周辺部（外縁部）にノイズとなる光が入射する。

したがって、再構成ステップにおいて、全ての画素データを変換すると、このノイズ光も影響を及ぼし、正常なフォーカシング画像が得られない。このようなノイズを取り除くためには、全面に無駄なくレンズ面（曲面）が形成されてマイクロレンズアレイ１２を用いればよいが、全てのレンズを隙間なく形成することは困難である。

そこで、本発明においては、画像の再構成前に、マイクロレンズアレイのレンズ面の形状に合わせて、不要なノイズ光が入射する撮像素子１３の領域１３−Ｂのデータを画像データから削除する。この処理により、再構成画像の精度を向上させることができる。

不要データの除去ステップを組み込んだ場合の距離情報検出アルゴリズムを図１４を用いて説明する。図１４は、不要データの除去ステップを組み込んだ場合に、本実施の形態に係る距離測定装置が行なう処理を説明するためのフローチャートである。

まず、画像処理装置４は、ステップＳ１０１において、画像データを取得する。この画像データは、画像センサ１により対象物を１回撮影することにより得られる。

次に、画像処理装置４は、再構成ステップに含まれる各ステップを実行する。
まず、ステップＳ１０２において、画像データから、画素群の外縁部データを削除する。

そして、画像処理装置４は、ステップＳ１０３において、外縁部データが削除された画像データの並び替え（再構成）を行なう。すなわち、複数の仮想位置における再構成画像を生成する。

続いて、画像処置装置４は、輝度情報算出ステップに含まれる各ステップを実行する。
まず、画像処理装置４は、ステップＳ１０４において、各画素群の平均化を行なう。すなわち、各画素群を一様輝度を有する画素に変換する。ただし、このステップは必須ではない。

そして、画像処理装置４は、ステップＳ１０５において、再構成画像データから差分値画像データを作成する。

さらに、画像処理装置４は、ステップＳ１０６において、差分値画像データを並び替え、差分値（縦断層）画像データを作成する。ただし、このステップは必須でない。

最後に、画像処理装置４は、距離情報算出ステップに含まれる各処理を実行する。
まず、画像処理装置４は、ステップＳ１０７において、差分値（縦断層）画像データ（ステップＳ１０６を省略している場合、差分値画像データ）から、代表値データを算出する。ここで、画像処理装置４は、代表値を、画像全体にわたって求めてもよいし、エッジ領域についてのみ求めてもよい。エッジ領域についてのみ代表値を求める場合、画像処理装置４は、差分値画像データに閾値処理を行なうなどすることで、エッジ領域を抽出する。

そして、画像処理装置４は、ステップＳ１０８において、光学系の倍率より、代表値データを対象物の距離データに変換する。

（６．対象物が近点側または遠点側のいずれであるかの判定）
また、本発明の距離測定方法には、対象物が、近点側にあるか、遠点側にあるかを判断する処理をさらに含めることもできる。

まず、対象物が、合焦位置に対して近点側にあるのか遠点側にあるのか判定する原理について図１５を用いて説明する。図１５は、対象物が、近点位置、合焦位置、遠点位置のそれぞれにある場合に撮像素子１３に入射する光の様子を説明するための図である。図１５（ａ）〜（ｇ）は点像の対象物を、近点側から遠点側にずらした場合のマイクロレンズアレイ１２および撮像素子１３上の光（像）の状態を示した図である。図１５（ａ）が対象物が最も近点側にあるときの状態を示し、図１５（ｇ）が対象物が最も遠点側にあるときの状態を示す。図１５（ｄ）が、対象物が合焦位置にあるときの状態を示す。点像からの光は、合焦状態のときにマイクロレンズ１２上で集光し、近点または遠点側では、同じように像が拡大し、周囲のマイクロレンズにも入射する。しかしながら撮像素子１３上では、近点側では、中央の画素群を中心に周囲の画素群では画素群領域の内側に分割された光（像）が入射する。それに対し、遠点側では中央の画素群を中心に周囲の画素群では画素群領域の外側に分割された光（像）が入射する。すなわち点像においては、画素群の中で輝度の高い画素の位置を検出することにより、対象物が合焦位置に対して、近点側か遠点側かを判別することができる。

近点側、遠点側の判定ステップを組み込んだ場合の距離情報検出アルゴリズムを図１６を用いて説明する。図１６は、近点側、遠点側の判定ステップを組み込んだ場合に、本実施の形態に係る距離測定装置が行なう処理を説明するためのフローチャートである。

ステップＳ２０１、ステップＳ２０２で行なわれる処理は、図１４のステップＳ１０１、ステップＳ１０３で行なわれる処理と、それぞれ同様である。なお、画像処理部４は、再構成ステップにおいて、ステップＳ２０２の前に、画素群の外縁部データを削除するステップを行なってもよい。

次に、画像処理部４は、輝度情報算出ステップに含まれる各ステップを実行する。
まず、画像処理部４は、ステップＳ２０３において、１つの再構成画像の画素群内の輝度中心位置を検出する。例えば、通常のカメラと同様に、画像データの取得の前に、利用者が撮像対象の画像を視認しつつ画像センサカメラ１を移動できるのであれば、画像データの中心を輝度中心位置として検出すればよい。このステップで、輝度中心位置を検出された再構成画像を初期画像と呼ぶ。

そして、ステップＳ２０４において、画素群内の輝度分布に基づき、対象物が近点側、遠点側のいずれにあるか判定する。

そして、画像処理部４は、ステップＳ２０５において、ステップＳ２０４の判定結果に基づき、初期画像に対応する仮想面（初期仮想面とよぶ）から対象物の集光面に近い方向を求める。そして、初期仮想面から見て集光面側にある各仮想面における再構成画像から、差分値画像あるいは差分値（縦分布）画像を作成する。このステップにおける処理は、図１４のステップＳ１０４からステップＳ１０６で説明したものと同様である。

最後に、画像処理部４は、距離情報算出ステップに含まれる各ステップ（ステップＳ２０６、ステップＳ２０７）を実行する。ステップＳ２０６、ステップＳ２０７で行なわれる処理は、図１４のステップＳ１０７、ステップＳ１０８で行なわれる処理と、それぞれ同様である。

このように、初期画像内の画素群の輝度中心位置を検出した上で、画素群内の輝度分布を算出することで、対象物が近点側にあるか遠点側にあるかを判別できる。よって、初期仮想面に対する、合焦位置の方向がわかる。したがって、初期仮想面から一方向に仮想面をずらして得た各仮想面から代表値を求めればよいため、処理工程が簡略化できる。

また、対象物が点像でない場合における対象物のずれの判定について、対象物のエッジ部分の再構成画像の拡大図である図９を用いて説明する。図９（ｄ）に示すように、合焦位置では画素群列Ｔ（３，１）〜Ｔ（３，５）と隣の画素群列Ｔ（４，１）〜Ｔ（４，５）の輝度差が大きいが、近点側にずれていくに従って、光の一部がさらに隣接の画素群列に分割移動していくので、輝度差が小さくなる。分割されて入射する光は、画素群の中でエッジに近い側に落射するが、逆に図示しない遠点側では、光は遠い側に落射する。したがって、エッジ付近の画素群中の画素分布を求めることで、対象物のずれの方向が判別できる。

仮想面が変化するに従って、画素群内での輝度中心位置（輝度分布）および輝度の絶対値が徐々に変化していくため、画素群単位の全体の輝度値で比較する場合に比べて、より細かい強度変化、すなわち距離に対する高い分解能が得られる。

今回開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した実施の形態ではなくて特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内でのすべての変更点が含まれることが意図される。

本発明は、カメラを用いた距離測定に関し、例えば、製造ライン等における機械部品の３次元的な位置、姿勢、形状の計測、または製品の外形形状などの検査に用いられる。

本発明の実施の形態に係る距離測定装置の概略構成図である。 画像センサカメラ１の光学系を示す図である。 対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。 マイクロレンズアレイ１２上の入射光１５の形状を示す図である。 撮像素子１３上の入射光１６の形状を示す図である。 対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。 矢印形状の対象物１４が近点側Ｂある場合の集光の様子を示す図である。 図７中に示される仮想面で取得される画像を示す図である。 図８中に枠で囲った部分を拡大した画像を示す図である。 距離情報の取得の各工程で生成される画像データについて説明するための図である。 図９に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。 差分値分布の近似曲線から代表値を求める方法を説明するための図である。 マイクロレンズアレイ１２の形状に応じて、撮像素子１３が取得する画像に生じるノイズについて説明する図である。 不要データの除去ステップを組み込んだ場合に、本実施の形態に係る距離測定装置が行なう処理を説明するためのフローチャートである。 対象物が、近点位置、合焦位置、遠点位置のそれぞれにある場合に撮像素子１３に入射する光の様子を説明するための図である。 近点側、遠点側の判定ステップを組み込んだ場合に、本実施の形態に係る距離測定装置が行なう処理を説明するためのフローチャートである。 共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。 共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。

符号の説明

１ 画像センサカメラ、２ 画像キャプチャボード、３ メモリ、４ 画像処理部、４ａ 再構成部、４ｂ 輝度情報算出部、４ｃ 距離情報算出部、５ 表示モニタ、１１ 撮像レンズ、１２ マイクロレンズアレイ、１３ 撮像素子、１４ 対象物、１５ マイクロレンズアレイ１２上の入射光、１６ 撮像素子１３上の入射光。

Claims (8)

1. 対象物までの距離を測定するための距離測定装置であって、
   対象物からの物体光を集光する撮像レンズと、前記撮像レンズを通過した前記物体光が入射する複数の集光器からなる集光アレイと、前記集光アレイを通過した前記物体光の画像データを取得する撮像素子とを含むカメラを備え、
   前記撮像素子は、複数の画素を有し、前記複数の画素は、前記集光器の１つを通過した前記物体光を検出する複数の画素群に分割されており、
   各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、
   前記複数の再構成画像に共通の領域において、前記複数の再構成画像の各々について、各前記画素と当該画素近傍の画素との間の前記輝度の差分値を算出する差分値算出手段と、
   前記共通の領域に含まれる各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出する距離算出手段とを備える、距離測定装置。
2. 前記距離算出手段は、前記差分値に基づいて、前記再構成画像からエッジ領域を抽出するエッジ抽出手段をさらに含み、前記エッジ領域に含まれる各前記画素位置に対して、前記距離を算出する、請求項１に記載の距離測定装置。
3. 前記差分値算出手段は、
   前記複数の画素を複数の領域に分割し、前記複数の領域に含まれる複数の前記画素の輝度に基づき一様輝度を算出し、前記複数の領域それぞれに含まれる複数の前記画素を前記一様輝度を有する複数の画素に変換する平均化手段をさらに含み、
   前記一様輝度を有する画素に基づき前記差分値を算出する、請求項１に記載の距離測定装置。
4. 前記差分値算出手段は、
   前記各画素群に含まれる複数の前記画素の輝度に基づき一様輝度を算出し、前記画素群それぞれに含まれる複数の前記画素を前記一様輝度を有する複数の画素に変換する平均化手段をさらに含み、
   前記一様輝度を有する画素に基づき前記差分値を算出する、請求項３に記載の距離測定装置。
5. 前記再構成手段は、前記画像データから、各前記集光器を透過していない光が入射する外縁部の画素についてのデータを削除する外縁部除去手段を含む、請求項１に記載の距離測定装置。
6. 前記輝度情報を算出する手段は、
   前記撮像素子の初期位置に対応する初期画像の輝度中心位置を算出する中心算出手段と、
   前記初期画像の輝度分布および前記輝度中心位置に基づき、前記対象物が、合焦位置から近点側または遠点側のいずれにあるかを判定する判定手段とをさらに含み、
   前記差分値算出手段は、前記判定手段の判定結果に基づき、前記初期位置から見て前記対象物の集光面側にある前記仮想位置における前記再構成画像について前記差分値を算出する、請求項１に記載の距離測定装置。
7. 前記集光アレイは、撮像レンズを通過した前記物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイである、請求項１から６のいずれか１項に記載の距離測定装置。
8. 対象物までの距離を測定するための距離測定方法であって、
   撮像レンズと複数の集光器からなる集光アレイとを通過した前記対象物からの物体光の画像データを、複数の画素を有し、前記複数の画素は、前記集光器の１つを通過した前記物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、
   各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、
   前記再構成画像に共通の領域において、前記再構成画像の各々について、各前記画素と当該画素近傍の画素との間の前記輝度の差分値を算出するステップと、
   前記共通の領域に含まれる各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定するステップと、
   前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出するステップとを備える、距離測定方法。