JP2015185998A - 画像処理方法および撮像装置 - Google Patents
画像処理方法および撮像装置 Download PDFInfo
- Publication number
- JP2015185998A JP2015185998A JP2014060083A JP2014060083A JP2015185998A JP 2015185998 A JP2015185998 A JP 2015185998A JP 2014060083 A JP2014060083 A JP 2014060083A JP 2014060083 A JP2014060083 A JP 2014060083A JP 2015185998 A JP2015185998 A JP 2015185998A
- Authority
- JP
- Japan
- Prior art keywords
- image
- microlens
- target
- images
- target microlens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】マイクロレンズアレイを用いた距離検出をより高精度に行う。【解決手段】実施形態の画像処理方法は、メインレンズと複数のマイクロレンズを含むマイクロレンズアレイを通って光が照射される撮像素子により撮像された画像を取得する。取得した画像に含まれる複数のマイクロレンズによる像のうち、注目マイクロレンズ像と複数の対象マイクロレンズ像とによる配列を像高に応じて設定し、注目マイクロレンズ像と複数の対象マイクロレンズ像とを比較して注目マイクロレンズ像と複数の対象マイクロレンズ像それぞれとの間の各像ずれ量を検出する。各像ずれ量を用いて注目マイクロレンズ像に対応する距離を算出する。【選択図】図11
Description
本発明は、画像処理方法および撮像装置に関する。
2次元アレイ情報として奥行方向の距離を取得可能な撮像技術に関し、参照光を用いる方法や、複数のカメラを使用してステレオ測距を行う方法など、様々な方法が検討されている。近年では、民生用途での新たな測距デバイスとして、比較的廉価な製品の需要が高まっている。
このような、距離取得のための撮像技術において、システムコストを抑制するために参照光を用いない撮像方式の一つとして、視差を利用した三角測量方式がある。この方式を適用可能なカメラとしては、ステレオカメラや多眼カメラが知られている。一方、ステレオカメラや多眼カメラは、複数台のカメラを用いるものであり、システムの巨大化や部品点数の増大により故障率が増大してしまうおそれがある。
一方、撮像光学系の構造として、マイクロレンズアレイを画素上方に配置し、各マイクロレンズ下部には複数の画素を配置し、メインレンズの像をさらにマイクロレンズアレイを用いて画素上に結像する構造が提案されている。この構造により、画素ブロック単位で視差を有する画像群を取得することが可能であり、この視差により、被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。この、メインレンズの像をさらにマイクロレンズアレイを用いて結像する光学構成を、リフォーカス光学系と呼ぶ。
リフォーカス光学系を用いた構成によれば、各マイクロレンズの画像は、隣接する画像に同一の被写体が位置をずらされて撮像された画像となる。そのため、各マイクロレンズの画像をずらして重ね合わせて画像マッチングを行うことで、画像内に指定した任意の距離に焦点を合わせたリフォーカス画像を再構成することができる。また、これにより、画像内に指定した被写体の位置までの距離を取得することができる。
T. Georgiev and A. Lumsdaine, COMPUTER GRAPHICS forum, Volume 29 (2010), number 6 pp. 1955-1968, "Reducing Plenoptic Camera Artifacts"
マイクロレンズアレイにおいて、メインレンズの光軸から離れた像高の高い領域においては、マイクロレンズ像は、ケラレなどにより変形してしまう。したがって、像高の高い領域と、メインレンズの光軸により近い像高の小さい領域とで同様のマッチング方法を適用した場合、マイクロレンズエッジの誤検出や、像歪みによるマッチング誤差により、距離検出精度が低下してしまうおそれがあるという問題点があった。
本発明が解決しようとする課題は、マイクロレンズアレイを用いた距離検出をより高精度に行うことが可能な画像処理方法および撮像装置を提供することにある。
実施形態の画像処理方法は、メインレンズと複数のマイクロレンズを含むマイクロレンズアレイを通って光が照射される撮像素子により撮像された画像を取得する。取得した画像に含まれる複数のマイクロレンズによる像のうち、注目マイクロレンズ像と複数の対象マイクロレンズ像とによる配列を像高に応じて設定し、注目マイクロレンズ像と複数の対象マイクロレンズ像とを比較して注目マイクロレンズ像と複数の対象マイクロレンズ像それぞれとの間の各像ずれ量を検出する。各像ずれ量を用いて注目マイクロレンズ像に対応する距離を算出する。
以下、実施形態に係る画像処理方法および固体撮像装置について説明する。図1は、実施形態に適用可能な撮像装置の一例の構成を示す。図1において、撮像装置1は、レンズユニットとしてのカメラモジュール10と、ISP(Image Signal Processor)20とを有する。
カメラモジュール10は、メインレンズ11を含む結像光学系と、マイクロレンズアレイ12および撮像素子13を含む固体撮像素子と、撮像部14と、信号処理部15とを有する。結像光学系は、1以上のレンズを含み、被写体からの光をマイクロレンズアレイ12および撮像素子13に導く。結像光学系に含まれるレンズのうち、最も撮像素子13側のレンズをメインレンズ11とする。
撮像素子13は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージャを用い、それぞれ受光した光を光電変換により電気信号に変換して出力する複数の画素からなる画素アレイを含む。
マイクロレンズアレイ12は、所定の規則で配列された複数のマイクロレンズ120、120、…を含む。マイクロレンズアレイ12は、メインレンズ11によって結像面に結像する光線群を、各マイクロレンズ120、120、…に対応する撮像素子13上の複数の画素を含む画素ブロックに対して縮小最結像させる。ここで、メインレンズ11は円形であって、メインレンズ11の光軸と、撮像素子13における有効画素領域の中心とが一致しているものとする。
なお、マイクロレンズアレイ12の撮像素子13側またはメインレンズ11側に、カラーフィルタアレイを設けてもよい。カラーフィルタアレイは、複数色のカラーフィルタを有して構成される。カラーフィルタアレイを構成する複数色のカラーフィルタは、1種類の光学フィルタが1のマイクロレンズ120に対応するように構成される。
カメラモジュール10は、例えばメインレンズ11を含む撮像光学系と、その他の部分とを分離して構成し、メインレンズ11を交換可能とすることができる。これに限らず、カメラモジュール10は、メインレンズ11を含む撮像光学系とマイクロレンズアレイ12とを1の筐体に収めたユニットとして構成することも可能である。この場合には、撮像光学系とマイクロレンズアレイ12とを含むユニットが交換可能とされる。
撮像部14は、撮像素子13の各画素を駆動するための駆動回路を含む。駆動回路は、例えば駆動する画素を垂直方向に、水平ライン(行)単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、これら垂直選択回路および水平選択回路を各種パルスにて駆動するタイミングジェネレータとを含む。撮像部14は、垂直選択回路および水平選択回路で選択された画素から、受光した光を光電変換した電荷を読み出し、読み出した電荷を電気信号に変換して出力する。
信号処理部15は、撮像部14から出力されたアナログ信号による電気信号に対してゲイン調整処理、ノイズ除去処理および増幅処理などを施す。信号処理部15は、A/D変換回路を有し、これら各処理を施された信号をディジタル信号に変換し、RAW画像の画像データとして出力する。
ISP20は、カメラモジュールI/F21と、メモリ22と、画像処理部23と、出力I/F24とを有する。カメラモジュールI/F21は、カメラモジュール10に対する信号のインターフェイスである。カメラモジュール10の信号処理部15から出力されたRAW画像の画像データは、カメラモジュールI/F21を介して、例えばフレームメモリであるメモリ22に格納される。
画像処理部23は、メモリ22に格納されたRAW画像の画像データから、各マイクロレンズ120、120、…からの光が撮像素子13に照射されて得られる各像(マイクロレンズ像と呼ぶ)を取得する。画像処理部23は、取得した各マイクロレンズ像のうち、注目する注目マイクロレンズ像と、比較の対象とする対象マイクロレンズ像とを比較する。画像処理部23は、この比較結果から注目マイクロレンズ像と対象マイクロレンズ像との像ずれ量を求め、求めた像ずれ量に基づき注目マイクロレンズ像の被写体までの距離を算出する。
各マイクロレンズ像について算出された距離値は、例えば距離マップとして出力I/F24から出力される。
なお、メモリ22に格納された画像データを外部の記憶媒体に記憶させることもできる。この場合には、外部の記憶媒体から読み出した画像データを、例えばカメラモジュールI/F21を介してメモリ22に格納し、画像処理部23で距離計算処理を行うことで、所望のタイミングで距離マップを得ることができる。
なお、画像処理部23は、メモリ22に格納された画像データのうち、マイクロレンズアレイ12を通った光に基づく画像データに基づき後述するリフォーカス処理を行い、リフォーカス画像を得ることもできる。すなわち、画像処理部23は、メモリ22から読み出した画像データに対し、各マイクロレンズ120、120、…に対応する領域の画像を拡大し、位置をずらして重ね合わせるリフォーカス処理を行うことにより、再構成したリフォーカス画像を得る。このリフォーカス画像は、出力I/F24から出力させて、図示されない表示デバイスに表示したり、外部の記憶媒体に記憶したりできる。
(実施形態に適用可能な光学系)
次に、実施形態に適用可能な光学系について説明する。ここで、光学系は、メインレンズ11、マイクロレンズアレイ12および撮像素子13を含む。図2は、実施形態に適用可能な光学系の一例の構成を示す。図2において、距離Aは、メインレンズ11と被写体との間の距離、距離Bは、メインレンズ11による結像距離をそれぞれ示す。また、距離Cは、メインレンズ11の結像面とマイクロレンズアレイ12の各マイクロレンズ120との間の最短距離、距離Dは、マイクロレンズアレイ12と撮像素子13との間の距離をそれぞれ示す。メインレンズ11は、焦点距離fを有し、各マイクロレンズ120、120、…は、焦点距離gを有する。以下、説明のため、光軸に対して被写体側を前方、撮像素子13側を後方と定義する。
次に、実施形態に適用可能な光学系について説明する。ここで、光学系は、メインレンズ11、マイクロレンズアレイ12および撮像素子13を含む。図2は、実施形態に適用可能な光学系の一例の構成を示す。図2において、距離Aは、メインレンズ11と被写体との間の距離、距離Bは、メインレンズ11による結像距離をそれぞれ示す。また、距離Cは、メインレンズ11の結像面とマイクロレンズアレイ12の各マイクロレンズ120との間の最短距離、距離Dは、マイクロレンズアレイ12と撮像素子13との間の距離をそれぞれ示す。メインレンズ11は、焦点距離fを有し、各マイクロレンズ120、120、…は、焦点距離gを有する。以下、説明のため、光軸に対して被写体側を前方、撮像素子13側を後方と定義する。
光学系内において、マイクロレンズアレイ12は、メインレンズ11からの光線を各マイクロレンズ120、120、…により各視点の像として撮像素子13上に結像させる。なお、マイクロレンズ毎にカラーフィルタを設ける場合は、各マイクロレンズ120、120、…に対して、RGB各色のうち1色のカラーフィルタをそれぞれ設けるようにする。センサ上にカラーフィルタを設ける場合は、画素毎に例えばベイヤ配列のような並び方で配置する。
なお、図2の例では、マイクロレンズアレイ12がメインレンズ11の結像面より後方に設置されている。これはこの例に限定されず、例えば図3に例示されるように、マイクロレンズアレイ12がメインレンズ11の結像面より前方に設置されていてもよい。以下では、光学系は、特に記載の無い限り、図2に示す、マイクロレンズアレイ12がメインレンズ11の結像面より後方に設置されているものとする。
図4は、実施形態に係る、メインレンズ11による結像面を撮像素子13の後方側に位置させた場合の、撮像素子13の出力に基づく画像データの例を模式的に示す。マイクロレンズアレイ12の各マイクロレンズ120、120、…により撮像素子13の受光面に結像されたマイクロレンズ像30、30、…がマイクロレンズの配列に対応して配置された画像300が、RAW画像による画像データとして信号処理部15から出力される。
図4によれば、同一の被写体(例えば数字の「3」)が、各マイクロレンズ120、120、…の配列に応じて、各マイクロレンズ像30において所定量ずつずれて撮像されていることが分かる。この、同一の被写体の各マイクロレンズ像30におけるずれを以下「像ずれ」と呼び、各マイクロレンズ像間の所定量のずれ量を「像ずれ量」と呼ぶ。
ここで、各マイクロレンズ120、120、…による各マイクロレンズ像30、30、…は、撮像素子13上に重なり無く結像されることが望ましい。また、図4では、マイクロレンズアレイ12において各マイクロレンズ120、120、…が六方格子の格子点上に配置された六方配列とされているが、各マイクロレンズ120、120、…の配列は、この例に限定されず、他の配列でもよい。例えば、各マイクロレンズ120、120、…は、正方格子上に配置されていてもよい。
次に、リフォーカス画像作成の原理について、上述した図2を参照しながら説明する。図2において、距離B+距離Cを距離Eとする。距離Eは、メインレンズ11の位置が固定であれば、定数となる。ここでは、距離Eおよび距離Dがそれぞれ定数であるものとして説明する。
メインレンズ11において、被写体までの距離Aと、被写体からの光が結像する距離Bと、焦点距離fとの間には、レンズの公式に従い式(1)に示す関係が成り立つ。同様に、マイクロレンズアレイ12の各マイクロレンズ120、120、…についても、レンズの公式に従い式(2)に示す関係が成り立つ。
メインレンズ11と被写体との間の距離Aが変化した場合、式(1)のレンズの公式における距離Bの値が変化する。光学系の位置関係から、上述したように距離B+距離C=距離Eであり、距離Eが固定であるため、距離Bの変化に伴い距離Cの値も変化する。各マイクロレンズ120、120、…について、上述の式(2)のレンズの公式を用いると、距離Cの変化に伴って、さらに距離Dの値も変化することが分かる。
この結果、各マイクロレンズ120、120、…を通って結像する各マイクロレンズ像は、メインレンズ11の仮想イメージである結像面を倍率N(N=D/C)に縮小した画像として得られる。この縮小倍率Nは、次式(3)のように表すことができる。
式(3)により、各マイクロレンズ120、120、…による撮像素子13上の各マイクロレンズ像の縮小率は、メインレンズ11から被写体までの距離Aに依存することが分かる。したがって、元の2次元画像を再構成するためには、例えば各マイクロレンズ120、120、…による各マイクロレンズ像30、30、…をそれぞれ倍率1/Nで拡大して拡大マイクロレンズ像を各々作成する。そして、各拡大マイクロレンズ像の重ね合わせ合成を行うことで、距離Aにピントが合った再構成画像を得ることができる。
重ね合わせ時には、距離A以外の部分については、各拡大マイクロレンズ像がずれながら重なることになり、暈けのような効果を得ることができる。このように撮影したマイクロレンズ像から任意の位置にピントを合わせる処理をリフォーカス処理と呼ぶ。
次に、距離算出方法について説明する。式(3)にて既に説明したように、図2において距離Aの値が変化すると、その変化に伴い距離B、CおよびDの値も変化するため、マイクロレンズ像の縮小倍率Nも変化することになる。
ここで、式(3)を距離Aについて整理すると、次式(4)が得られる。この式(4)から、マイクロレンズ120による像の縮小倍率Nを画像マッチングなどにより算出し、且つ、距離DおよびE、ならびに、焦点距離fが既知であれば、式(4)から距離Aの値を算出することが可能である。
なお、図3に示される光学系の場合は、距離E+距離C=距離Bであり、さらに、マイクロレンズ120に関するレンズの公式は、次式(5)で表される。したがって、この場合の距離Aと縮小倍率Nとの関係は、次式(6)で表すことができる。
縮小倍率Nは、マイクロレンズ120間のマイクロレンズ像30のずれ量を値Δ’、マイクロレンズ120間の中心間距離を値Lとすると、光線の幾何的関係から、次式(7)で表される。したがって、縮小倍率Nを求めるためには、画像処理部23は、SAD(Sum of Absolute Difference)やSSD(Sum of Squared Difference)といった評価関数を用いて、各マイクロレンズ像30に対する画像マッチング処理を行って、マイクロレンズ120間のずれ量Δ’を求めればよい。
なお、撮像素子13にカラーフィルタアレイを適用した場合には、画像処理部23は、同色のカラーフィルタによるマイクロレンズ像30同士で画像マッチングを行えばよい。
図5は、上述した画像処理部23の機能を説明するための一例の機能ブロック図である。図5において、画像処理部23は、取得部230と、検出部231と、設定部232と、算出部233とを有する。これら取得部230、検出部231、設定部232および算出部233は、1のハードウェア上の機能であってもよいし、互いに協働して動作する複数のハードウェアで構成してもよい。また、これら取得部230、検出部231、設定部232および算出部233は、CPU(Central Processing Unit)上で動作するプログラムにより実現してもよい。
取得部230は、撮像素子13から読み出された電荷に基づく画像データをメモリ22から取得する。設定部232は、取得部230で取得された画像データによる画像上の、複数のマイクロレンズ120、120、…による各マイクロレンズ像30、30、…から注目マイクロレンズ像を選択する。そして、選択された注目マイクロレンズ像と、各マイクロレンズ像30、30、…のうち複数の対象マイクロレンズ像とによる配列を、注目マイクロレンズ像の像高に応じて設定する。
なお、像高は、撮像素子13の撮像面における、メインレンズ11の光軸位置からの距離に相当する。メインレンズ11の光軸が撮像素子13による撮像画像の中心に一致している場合には、像高は、撮像画像の中心からの距離に相当し、撮像画像の中心に近いほど像高が低く、当該中心から離れるほど、像高が高いとされる。
検出部231は、設定部232で設定された注目マイクロレンズ像と複数の対象マイクロレンズ像とを画像マッチングを用いて比較して、注目マイクロレンズ像と複数の対象マイクロレンズ像それぞれとの間の各像ずれ量を検出する。算出部233は、検出部231で検出された各像ずれ量に基づき、注目マイクロレンズ像に対応する距離を算出する。算出部233は、各マイクロレンズ120、120、…をそれぞれ注目マイクロレンズ像として距離算出を行うことで、画像上の各マイクロレンズ120、120、…に対応する各位置の距離が示される距離マップを作成することができる。
実施形態に係る画像処理部23における画像処理を実行するための画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでCD(Compact Disk)、DVD(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、画像処理プログラムを、撮像装置1が有するROM(Read Only Memory)に予め記憶させて提供してもよい。
さらに、実施形態に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワークに接続されたコンピュータ上に格納し、通信ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態に係る画像処理を実行するための画像処理プログラムを、インターネットなどの通信ネットワーク経由で提供または配布するように構成してもよい。
実施形態に係る画像処理を実行するための画像処理プログラムは、例えば、上述した各部(取得部230、検出部231、設定部232および算出部233)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが例えばハードディスクドライブや不揮発性メモリなどによるストレージから当該画像処理プログラムを読み出して実行することにより上記各部が主記憶装置(例えばRAM(Random Access Memory)上にロードされ、各部が主記憶装置上に生成されるようになっている。
実施形態に係る画像処理を実行するための画像処理ハードウェアは、例えば当該処理方法がFPGA(Field-Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などのチップ上や、アナログ回路上に実装されていてもよい。
(実施形態に係る処理の詳細)
(像ずれ検出処理)
像ずれ量検出時の画像マッチングでは、光学系のセッティングや被写体までの距離によっては、距離を算出したい注目マイクロレンズ像に隣接する対象マイクロレンズ像のみならず、隣接対象マイクロレンズ像にさらに隣接するマイクロレンズ像を対象マイクロレンズ像とする場合も有り得る。すなわち、注目マイクロレンズ像に含まれる像が、隣接する第1の対象マイクロレンズ像に像内で位置がずれて含まれ、当該像が第1の対象マイクロレンズ像に隣接する第2の対象マイクロレンズ像にも、位置がさらにずれて含まれることがある。
(像ずれ検出処理)
像ずれ量検出時の画像マッチングでは、光学系のセッティングや被写体までの距離によっては、距離を算出したい注目マイクロレンズ像に隣接する対象マイクロレンズ像のみならず、隣接対象マイクロレンズ像にさらに隣接するマイクロレンズ像を対象マイクロレンズ像とする場合も有り得る。すなわち、注目マイクロレンズ像に含まれる像が、隣接する第1の対象マイクロレンズ像に像内で位置がずれて含まれ、当該像が第1の対象マイクロレンズ像に隣接する第2の対象マイクロレンズ像にも、位置がさらにずれて含まれることがある。
実施形態では、注目マイクロレンズ像に順次隣接する対象マイクロレンズ像を想定し、これら対象マイクロレンズ像に対し、注目マイクロレンズ像からの距離に応じてレベルを定義する。
図6を用いて説明する。図6において、六方格子状に配置された各マイクロレンズ120、120、…により、各マイクロレンズ像301、302、…が六方格子状に形成される。この場合、注目マイクロレンズ像30Tに対して、60°ずつ角度の異なる方位#1〜#6に対して6のマイクロレンズ像301〜306が隣接することになる。
図6において、例えば方位#2を例に取ると、注目マイクロレンズ像30Tの中心から方位#2に向けた線31上に、マイクロレンズ像302、302、…が順次隣接して並ぶ。このとき、注目マイクロレンズ像30Tに隣接するマイクロレンズ像302のレベルをレベルL1と定義し、このマイクロレンズ像302に注目マイクロレンズ像30Tから離れる方向にさらに隣接するマイクロレンズ像302のレベルをレベルL2と定義する。同様に、このレベルL2のマイクロレンズ像302に注目マイクロレンズ像30Tから離れる方向にさらに隣接するマイクロレンズ像302のレベルをレベルL3と定義する。同様にしてレベルL4、レベルL5、…を定義してもよい。
ここでは、注目マイクロレンズ像30Tに含まれる像が最大でレベルL3のマイクロレンズ像302まで含まれるものとして、実施形態による処理を説明する。すなわち、図6に示される、注目マイクロレンズ像30T以外の各マイクロレンズ像301、302、…は、注目マイクロレンズ像30Tと比較を行う対象マイクロレンズ像である。
ここで、注目マイクロレンズ像30Tに対応するマイクロレンズ120(第1のマイクロレンズと呼ぶ)と、注目マイクロレンズ像30Tに方位#2について隣接する対象マイクロレンズ像302に対応するマイクロレンズ120(第2のマイクロレンズと呼ぶ)とを考える。このとき、これら第1および第2のマイクロレンズに共通して写る被写体を考えると、この被写体が投影される投影面すなわち注目マイクロレンズ像30Tおよび対象マイクロレンズ像302において、当該被写体の画像は、被写体の位置と、第1および第2のマイクロレンズの中心点とにより形成されるエピポーラ平面に基づくエピポーラ線に乗る。したがって、エピポーラ拘束により、被写体画像は、対象マイクロレンズ像302においてエピポーラ線上で像ずれを発生する。
これは、注目マイクロレンズ像30Tに対する他の対象マイクロレンズ像301、303、304、305および306についても同様である。すなわち、注目マイクロレンズ像と対象マイクロレンズ像とに共通して含まれる像について、対象マイクロレンズ像における像ずれは、エピポーラ線すなわち注目マイクロレンズ像の中心と対象マイクロレンズ像の中心とを結んだ線上で発生する。
例えば、図6において、注目マイクロレンズ像30Tと、注目マイクロレンズ像30Tに対して方位#2の方向に順次隣接して並ぶ各対象マイクロレンズ像302、302、…との中心を結んだ線31は、エピポーラ線に平行となる。
なお、ここでは各マイクロレンズ像301、302、…が六方格子状に並んでいるものとして説明しているが、これはこの例に限定されず、例えば正方格子状各マイクロレンズ像301、302、…が並んでいてもよい。
先ず、画像処理部23において設定部232は、注目マイクロレンズ像30T内に、対象マイクロレンズ像302と画像を比較する基準となるテンプレート領域200a0を設定する。次に、設定部232は、例えば方位#2において、レベルL1〜レベルL3の各対象マイクロレンズ像302内に、テンプレート領域200a0との類似度を計算するマッチング領域200a1、200a2および200a3を設定する。像ずれはエピポーラ線に沿った方向で発生するため、各マッチング領域200a1、200a2および200a3は、各対象マイクロレンズ像302の中心座標を結んだ線31上に配置する。
検出部231は、例えばマッチング領域200a1をこのエピポーラ線に並行な線31上でずらしながら移動させて、画像マッチングにより、テンプレート領域200a0とマッチング領域200a1との類似度を予め定められた複数の位置で求める。検出部231は、複数の位置で求めた各類似度のうち最も高い類似度が得られた位置を、像ずれの位置であるとして検出する。算出部233は、検出部231により得られた像ずれ量と、像ずれ量を求めた注目マイクロレンズ像30Tと対象マイクロレンズ像302とによるマイクロレンズ間距離を用いて、上述した式(7)により、縮小倍率Nを求めることができる。
注目マイクロレンズ像30Tの周囲には、複数の対象マイクロレンズ像301〜306が存在する。図6では、説明のため方位#2にのみ、レベルL3までの3の対象マイクロレンズ像302を示しているが、実際には、各方位#1〜#6にそれぞれレベルL3までの3の対象マイクロレンズ像301〜306が存在する。すなわち、注目マイクロレンズ像30Tに対して、18の対象マイクロレンズ像が存在することになる。
そのため、複数の対象マイクロレンズ像による画像マッチング結果を平均化することで、像ずれ量のマッチング精度を統計的に改善することが可能である。ここで、注目マイクロレンズ像30T周囲の対象マイクロレンズ像における像ずれ量を像蔵ずれ量Δi’、周囲のマイクロレンズ間の中心間距離を距離Li、平均化する対象マイクロレンズ像の数をM個とすると、像の縮小倍率Nは、次の式(8)で表される。算出部233は、この式(8)に従い縮小倍率Nを算出することで、より高精度に像ずれ量を求めることができ、距離算出の精度が向上される。
ところで、上述した画像マッチングにおいて、テクスチャの少ない領域をテンプレート領域200a0とした場合、SADなどの評価値の変動が小さいため、撮像素子13のノイズなどに脆弱となり、得られる結果の信頼性が低くなるおそれがある。そのため、設定部232は、画像マッチングを行う際にテンプレート領域200a0のテクスチャ量の判定を行うことが好ましい。
例えば、設定部232は、テンプレート領域200a0のテクスチャ量に対して閾値判定を行い、テクスチャ量が閾値以下の場合は、テンプレート領域200a0を注目マイクロレンズ像30T内でずらす。また例えば、設定部232は、テクスチャ量が閾値以下の場合は、その対象マイクロレンズ像方向(図6の例では、方位#2)への探索を行わないようにしてもよい。
テンプレート領域200a0のテクスチャ量の指標としては、例えば、テンプレート領域200a0内の輝度値の分散値などを用いることができる。この場合、設定部232は、例えば、分散値が閾値以上である場合に、当該テンプレート領域200a0を用いた画像マッチングが可能であると判定する。テンプレート領域200a0のテクスチャ量で画像マッチング可否の判定を行う事により、高精度での像ずれ量の検出を維持できる。
また、設定部232は、マイクロレンズ120、120、…の個別情報を用いて画像マッチングの可否を判定することもできる。設定部232は、各マイクロレンズ120、120、…について、例えば、製造時の欠陥やマイクロレンズ上のゴミなどにより使用不能なマイクロレンズ120を判定し、当該マイクロレンズ120によるマイクロレンズ像30を画像マッチングに用いないようにしてもよい。
マイクロレンズ120、120、…の個別情報には、例えばマイクロレンズ使用の可否や、焦点距離を示す情報が含まれる。また、例えば、マイクロレンズアレイ12の情報としては、マイクロレンズ間距離Liが含まれる。画像処理部23は、これらのマイクロレンズ120、120、…の個別情報やマイクロレンズアレイ12の情報を用いることで、各マイクロレンズ120、120、…において、上述の式(7)および式(6)による被写体距離Aの計算をより精度よく実行することができる。
(像高に応じた処理)
マイクロレンズ像30は、像高が高くなるに連れ、より大きく変形する。図7は、マイクロレンズ像30が像高に応じて変形する様子を模式的に示す。撮像素子13の撮像面130がメインレンズ11によるイメージサークル110に含まれる。メインレンズ11の中心点40から半径r0の円周410上のマイクロレンズ像3010は、略円形であるのに対して、より像高の高い中心点40から半径r0+r1の円周411上のマイクロレンズ像3020は、円周411による円の半径方向に縮み、円周411方向を長軸方向とする楕円に変形している。さらに像高の高い中心点40から半径r0+r1+r2の円周412上のマイクロレンズ像3030は、マイクロレンズ像3020よりもさらに円周412による円の半径方向に縮み、より扁平な、楕円に近似できる形状に変形している。
マイクロレンズ像30は、像高が高くなるに連れ、より大きく変形する。図7は、マイクロレンズ像30が像高に応じて変形する様子を模式的に示す。撮像素子13の撮像面130がメインレンズ11によるイメージサークル110に含まれる。メインレンズ11の中心点40から半径r0の円周410上のマイクロレンズ像3010は、略円形であるのに対して、より像高の高い中心点40から半径r0+r1の円周411上のマイクロレンズ像3020は、円周411による円の半径方向に縮み、円周411方向を長軸方向とする楕円に変形している。さらに像高の高い中心点40から半径r0+r1+r2の円周412上のマイクロレンズ像3030は、マイクロレンズ像3020よりもさらに円周412による円の半径方向に縮み、より扁平な、楕円に近似できる形状に変形している。
このように、アパーチャによるケラレが生じている場合、マイクロレンズ像は、像高が高くなるに連れ、より扁平な形状に変形する。したがって、例えば像高が低い領域でのマッチング領域が円形であった場合、同じマッチング領域を像高のより高い領域で設定すると、例えばマッチング領域がマイクロレンズ像からはみ出してしまうような事態が起こり得る。この場合、画像マッチングにおいて、変形したマイクロレンズ像のエッジをマッチング領域内で検出してしまうといった、マイクロレンズ像内とは異なる領域を誤検出してしまう可能性が生じる。
また、上述のように、マイクロレンズ像の変形は、メインレンズ11の光軸位置からの距離に応じて生じる。そのため、マイクロレンズ像の変形の度合いの高い領域においては、メインレンズ11の光軸を中心とした円周方向に沿ったマイクロレンズ像間で画像マッチングを行うと、より好ましい。
図8は、像高の低い領域と高い領域とでマイクロレンズ像の探索範囲を異ならせる例を示す。図8(a)は、像高の高さが所定値以下の領域における注目マイクロレンズ像30Tと対象マイクロレンズ像30S、30S、…とを示している。像高が低い領域では、各マイクロレンズ像の形状をメインレンズアパーチャと同じ形状に近似できる。そのため、メインレンズアパーチャが円形の場合、注目マイクロレンズ像30Tおよび対象マイクロレンズ像30S、30S、…の形状を円形とする。
また、像高の低い領域においては、注目マイクロレンズ像30Tおよび対象マイクロレンズ像30S、30S、…の配列を、注目マイクロレンズ像30Tの周囲六方に配置されるマイクロレンズ像を対象マイクロレンズ像30S、30S、…として用いる配列とする。また、テンプレート領域50Tおよびマッチング領域50Sについては、この例では、各マイクロレンズ像の形状に従いそれぞれ円形とされ、エピポーラ線に平行な線51上に設定される。
図8(b)は、像高の高さが所定値以上の領域における注目マイクロレンズ像30T’と対象マイクロレンズ像30S’、30S’、…とを示している。
像高が高くなるに連れ、各マイクロレンズ像の変形の度合いが高くなるため、注目マイクロレンズ像30T’に対してメインレンズ11の光軸を中心とした円の半径方向に配置されるマイクロレンズ像を画像マッチングの対象として用いる対象マイクロレンズ像として選択することは好ましくない。
そのため、実施形態においては、像高が高い領域では、注目マイクロレンズ像30T’に対して、メインレンズ11の光軸を中心とした円周方向に配置される各マイクロレンズ像を、対象マイクロレンズ像30S’、30S’、…として用いる。図8(b)の例では、注目マイクロレンズ像30T’の周囲の6のマイクロレンズ像のうち、注目マイクロレンズ像30T’に対してメインレンズ11の光軸を中心とした円の半径方向に配置される2のマイクロレンズ像を除いた4のマイクロレンズ像と、注目マイクロレンズ像30T’に円周上で隣接する2のマイクロレンズ像とを、対象マイクロレンズ像30S’、30S’、…として選択している。
このように、実施形態では、注目マイクロレンズ像に対する対象マイクロレンズ像の配列を像高に応じて設定している。そのため、像高の高い領域においても高い精度で画像マッチングを行うことができる。
さらに、像高が高い領域では、各マイクロレンズ像の形状が、像高の増加方向すなわちメインレンズ11の光軸を中心とした円の半径方向に向けて扁平な、楕円に近似できる形状となる。そのため、注目マイクロレンズ像30T’および対象マイクロレンズ像30S’、30S’、…の形状を低像高領域と同様に円形とすると、画像マッチングにおいて、マイクロレンズ像のエッジなど、マイクロレンズ像内とは異なる領域を検出してしまうおそれがある。
そのため、実施形態では、像高が高い領域では、注目マイクロレンズ像30T’および対象マイクロレンズ像30S’、30S’、…の形状を、図8(b)に例示されるように、像高に応じて近似的に楕円形に変形させる。また、テンプレート領域およびマッチング領域も、像高に応じて変形する。そのため、像高が高い領域においては、注目マイクロレンズ像30T’内のテンプレート領域50T’と、対象マイクロレンズ像30S’内の、テンプレート領域50T’と同一のエピポーラ線と平行な線51’上のマッチング領域50s’とを、それぞれ像高に応じて近似的に楕円形状に変形させる。
このように、実施形態では、注目マイクロレンズ像および対象マイクロレンズ像の形状と、テンプレート領域およびマッチング領域の形状とを像高に応じて変形させる。これにより、像高の高い領域での画像マッチングにおいて、マイクロレンズ像内とは異なる領域を検出してしまうことが防がれる。
マイクロレンズ像の探索範囲を異ならせる方法について、より具体的に説明する。先ず、第1の方法について説明する。第1の方法は、像高に応じた探索範囲を予め座標情報として記憶しておく方法である。検出部231は、この座標情報をマスクデータとして用いて画像マッチングを行い、像ずれ量の検出を行う。
図9は、このマスクデータの例を示す。マスクデータは、マイクロレンズ像内の領域60、60、…とマイクロレンズ像外の領域61とを判定する識別情報で構成される。識別情報は、例えば、撮像面130による画像データの座標情報に関連付けられて構成される。検出部231は、識別情報に従い、画像マッチングをマイクロレンズ像内の領域60、60、…においてのみ、行う。
より具体的には、設定部232は、座標情報に従いマイクロレンズ像内の領域60に存在するようにテンプレート領域を設定する。検出部231は、画像マッチングの処理時に、識別情報に基づきマッチング領域がマイクロレンズ像内領域60に含まれているか否かを判定する。検出部231は、若し、マッチング領域がマイクロレンズ像外領域61を含む場合には、このマッチング領域での画像マッチング処理を行わない。検出部231は、このようにして、マイクロレンズ像外領域61を含まないマッチング領域について探索を行い、最も類似度の高い領域を、像ずれ位置として出力する。
次に、マイクロレンズ像の探索範囲を異ならせる第2の方法について説明する。第2の方法は、マイクロレンズ像およびマッチング領域を楕円に近似して記述する方法である。図10に例示されるように、像高中心を原点(0,0)、像高中心(0,0)に対するマイクロレンズ像中心方向をx軸、x軸に垂直な方向をy軸とする。マイクロレンズ像中心の座標を(x0,y0)とし、マイクロレンズ像を楕円70として近似できる場合、マイクロレンズ像は次式(9)によって表される。
マイクロレンズ像は、x軸方向に変形するため、短辺の長さaの値は、次式(10)の通り、像高すなわち座標x0に依存する。上述の式(9)における短辺の長さaを、この式(10)の関係を用いて像高に依存する変数で置き換える。
探索範囲およびテンプレート領域の変形においては、マイクロレンズ像毎に式(9)を適用する。一方、マッチング領域に関しては、テンプレート領域の形状を保存して画像マッチングを行う。短辺の長さa、長辺の長さbおよび定数Rについては、予め初期値を設定しておき、像高に応じて撮像装置1や画像処理プログラム内で初期値を参照して探索範囲やマッチング領域の計算を行う。
次に、図11を用いて、像高に応じた注目マイクロレンズ像および対象マイクロレンズ像の配列の設定について説明する。図11において、像高中心を中心とする円の半径方向に向けた線140と、線140に直交する線141が示されている。線141は、像高中心を中心とした円の線140との交点における円周を概略的に示すことになる。
図11(a)を参照し、注目マイクロレンズ像30Tの周囲六方の6の対象マイクロレンズ像30S1〜30S6(太線で示す)による配列を第1の配列とする。第1の配列は、注目マイクロレンズ像30Tの周囲六方の方位#1〜#6を画像マッチングの際の探索軸として用いる配列である。
また、注目マイクロレンズ像30Tの周囲六方のうち像高中心を中心とする円の半径方向に並ぶ2の対象マイクロレンズ像30S1および30S4を除く4の対象マイクロレンズ像30S2、30S3、30S5および30S6と、注目マイクロレンズ像30Tと同一円周上に並ぶ2の対象マイクロレンズ像30S7および30S8と(それぞれ斜線を付して示す)による配列を第2の配列とする。第2の配列は、当該円周方向を探索軸として用いる配列である。
実施形態では、注目マイクロレンズ像30Tの像高に応じて、これら第1の配列および第2の配列のうち何れを用いるかを選択する。これは、注目マイクロレンズ像30Tの像高に応じて、画像マッチングの際の探索軸を選択することと同義である。
すなわち、像高中心を中心とする円の半径方向に向けてマイクロレンズ像が変形する場合、像高が高い領域においては画像マッチングにおける探索可能範囲が狭くなり、像の探索が困難になる。また、像高中心を中心とする円の半径方向に向けて像が歪むため、相対的に、検出された像ずれ量の信頼性を維持することが困難となる。像高に応じて第1の配列と第2の配列とを切り替えることで、これらの問題を解決できる。
より具体的には、例えば、設定部232は、上述した式(9)および式(10)に従い、選択された注目マイクロレンズ像の位置に基づき短辺の長さaと長辺の長さbとを算出する。設定部232は、算出した長さaと長さbとの比の値を閾値と比較した結果に従い、第1の配列と第2の配列とのうち何れを用いるかを設定する。
一例として、設定部232は、長さaおよび長さbの比(a/b)が所定の範囲内(例えば0.7<a/b<1.3)の場合にマイクロレンズ像が円であると見做し、第1の配列を選択する。一方、設定部232は、0.7≧a/bまたは1.3≦a/bの場合に、第2の配列を選択する。
なお、実際には、マイクロレンズ像は、像高中心を中心とする円の半径方向が長軸となるようには変形しないと考えられる。この場合、設定部232は、比(a/b)を1の閾値th(例えばth=0.7)と比較して、a/b>thの場合にマイクロレンズ像が円であると見做して第1の配列を選択し、a/b≦thの場合に第2の配列を選択するようにもできる。
また、像の形状変化に対して像自体の歪みの方が大きい場合は、像高の値によって第1の配列と第2の配列とを切り替えてもよい。さらに、第2の配列は、図11(a)に例示される配列に限るものではなく、注目マイクロレンズの位置によって適した第2の配列が決定される。
図11(b)は、第2の配列の他の例を示す。図11(b)の例では、注目マイクロレンズ像30Tの周囲六方のうち、像高中心を中心とする円の、注目マイクロレンズ像30Tの中心を通る半径に接する4の対象マイクロレンズ像30S11、30S13、30S14および30S16を除く2の対象マイクロレンズ30S12および30S15と、これら対象マイクロレンズ30S12および30S15にそれぞれ接する対象マイクロレンズ像30S21および30S22、ならびに、対象マイクロレンズ像30S23および30S24とで、第2の配列の他の例を構成している。
図12は、実施形態に係る像ずれ量検出処理を示す一例のフローチャートである。ステップS10で、撮像装置1において各種のキャリブレーション処理がなされ、撮像装置1の各部が所定に設定される。例えば、キャリブレーション処理により、設定部232に対して、各マイクロレンズ像について、座標、マイクロレンズ間距離、像高中心の座標、上述した式(9)および式(10)を計算するための各種定数などが与えられる。また、キャリブレーション処理により、算出部233に対して、上述した式(6)および式(7)などの計算を行うための各種定数などが与えられる。キャリブレーション処理の後、取得部230は、撮像素子13により撮像された画像の画像データをメモリ22から取得する。
次のステップS11で、設定部232は、画像データによる画像に含まれる各マイクロレンズ像のうち注目マイクロレンズ像を選択する。設定部232は、選択した注目マイクロレンズ像の像高に応じて、上述した式(9)および式(10)に従い、テンプレート領域を設定する。次のステップS12で、設定部232は、選択した注目マイクロレンズ像の像高に応じて上述した式(9)および式(10)で求めた長さaおよびbに従い、上述の第1の配列および第2の配列のうち何れを用いるかを決定し、画像マッチングの際の探索軸を設定する。
次のステップS13で、検出部231は、設定部232においてステップS11およびステップS12でそれぞれ設定されたテンプレート領域および探索軸に従い対象マイクロレンズ像の探索を行う。次のステップS14で、検出部231は、ステップS13で行われた探索により、対象マイクロレンズ像においてテンプレート領域と類似度の高いマッチング領域を求め、像ずれ量を検出する。算出部233は、検出部231で検出された像ずれ量に基づき、上述した式(6)〜式(8)を用いて注目マイクロレンズ像における像の被写体までの距離を計算する。
図13を用いて、ステップS13で行われる探索と、ステップS14で行われる像ずれ量検出について、概略的に説明する。図13は、注目マイクロレンズ像30Tと、レベルL1の対象マイクロレンズ像30Sとの間で探索が行われる様子を模式的に示している。
図13において、注目マイクロレンズ像30T内にテンプレート領域35が設定され、対象マイクロレンズ像30S内の、エピポーラ線に平行な線31上における一端にマッチング領域361が設定されるものとする。検出部231は、テンプレート領域35とマッチング領域361との間でSADやSSDなどの評価関数を用いて画像マッチングを行い、類似度を求める。
次に、設定部232は、対象マイクロレンズ像30S内において、マッチング領域361を線31上で予め決められた距離だけ移動させた位置にマッチング領域362を設定する。検出部231は、テンプレート領域35とこのマッチング領域362との間で画像マッチングを行い、類似度を求める。設定部232および検出部231は、この動作を繰り返し、マッチング領域を所定距離ずつ移動させながら画像マッチングを行い、それぞれ類似度を求める。
対象マイクロレンズ像30Sの他端のマッチング領域36nによる画像マッチングが終了すると、検出部231は、各マッチング領域361、362、…、36nで求められた各類似度に基づき像ずれ量を求める。算出部233は、検出部231に求められた像ずれ量から、上述した式(6)〜式(8)を用いて注目マイクロレンズ像30Tにおける像の被写体までの距離を算出する。
なお、ステップS13の対象マイクロレンズ像の探索処理は、ステップS12で設定された探索軸に従い、注目マイクロレンズ像に対する全ての対象マイクロレンズ像に対して実行される。
ステップS14で、選択された注目マイクロレンズ像について距離計算が行われると、処理がステップS15に移行され、全てのマイクロレンズ像について処理が終了したか否かが判定される。若し、未だ処理を終えていないマイクロレンズ像があると判定された場合、処理がステップS11に戻され、次の注目マイクロレンズ像が選択されて、この注目マイクロレンズ像について、ステップS11〜ステップS14の処理が実行される。
ステップS15で、全てのマイクロレンズ像について処理が終了したと判定された場合、図12のフローチャートによる一連の処理が終了される。
実施形態では、このように、マイクロレンズ像同士で画像マッチングを行う際に、テンプレート領域の変形と探索方向の決定を行う。この処理を全てのマイクロレンズ像で行うことにより、算出される距離精度を向上できる。
(実施形態の変形例)
次に、実施形態の変形例について説明する。被写体のテクスチャが周期的な場合は、正しいマッチング位置を検出できずに誤った領域を検出してしまう場合がある。図14は、被写体が周期的なテクスチャである場合の、各マイクロレンズ像の例を示す。なお、図14では、図3で示した光学系を想定している。図14は、被写体のテクスチャがコントラストの強い縦縞である例を示す。
次に、実施形態の変形例について説明する。被写体のテクスチャが周期的な場合は、正しいマッチング位置を検出できずに誤った領域を検出してしまう場合がある。図14は、被写体が周期的なテクスチャである場合の、各マイクロレンズ像の例を示す。なお、図14では、図3で示した光学系を想定している。図14は、被写体のテクスチャがコントラストの強い縦縞である例を示す。
マイクロレンズ間距離、すなわちベースラインが異なるマイクロレンズによるマイクロレンズ像を複数比較した場合、正しいマッチング位置以外では距離算出結果がそれぞれ異なってしまうことになる。
一例として、マイクロレンズ間距離Lおよびマイクロレンズ間の像ずれ量Δ’の場合において、図14に例示されるような、マイクロレンズ像に間隔kのテクスチャが含まれている場合について考える。上述の式(7)によれば、注目レンズ像30Tに対してレベルL1の対象マイクロレンズ像30L1では、N=Δ’/Lとなる。レベルL2の対象マイクロレンズ像30L2では、注目マイクロレンズ像30Tのマイクロレンズとのマイクロレンズ間距離が距離2Lとなる。理想状態では、各レベルの対象マイクロレンズ像において縮小倍率Nは定数として考えることができ、式(7)に従いN=2Δ’/2Lとなる。
これに対して、テクスチャの間隔kは、各マイクロレンズ像において一定である。したがって、例えば注目マイクロレンズ像30Tにおいて位置0,k,2k,…に出現するテクスチャは、レベルL1の対象マイクロレンズ像30L1においては、位置Δ’,Δ’+k,Δ’+2k,…の位置に出現する。同様に、当該テクスチャは、レベルL2の対象マイクロレンズ像30L2においては、位置2Δ’,2Δ’+k,2Δ’+2k,…に出現する。
このため、例えば注目マイクロレンズ像30Tにおける位置kのテクスチャは、対象マイクロレンズ像30L1において位置Δ’+kで検出され、さらに対象マイクロレンズ像30L2において位置2Δ’+kで検出される。したがって、対象マイクロレンズ像30L1の検出結果に基づく縮小倍率N1は、N1=(Δ’+k)/Lとなる。また、対象マイクロレンズ像30L2の検出結果に基づく縮小倍率N2は、N2=(2Δ’+k)/2Lとなる。この場合、縮小倍率N1と縮小倍率N2とが等しくならないため、誤った距離が算出されることになる。
本実施形態の変形例では、複数の対象マイクロレンズ像による画像マッチングの結果を加算することで、周期性のあるテクスチャに対する誤検出を抑制する。図15は、本実施形態の変形例による各画像マッチング結果の加算結果の例を示す。図15において、縦軸は、SADやSSDといった評価関数による画像マッチング結果の評価値を示す。横軸は、縮小率の逆数を示し、これは、例えば図13を用いて説明した、対象マイクロレンズ像30Sにおけるマッチング領域361、362、…、36nのずらし方に対応し、より具体的には、これらの間隔に対応する。
図15の例では、レベルL1の検出結果(図中の□:四角)では、1/N=9付近に評価値のディップ点が認められる。一方、レベルL2の検出結果(図中の○:白丸)では、1/N=9付近と1/N=5付近とに評価値のディップ点が存在している。レベルL1の検出結果とレベルL2の検出結果とを比較すると、レベルL1の検出結果では、1/N=5付近の評価値は高い値となっており、類似度が低いことが示されている。したがって、レベルL2の検出結果における1/N=5付近のディップ点は、例えば周期性のあるテクスチャに起因する誤検出であると推定できる。
ここで、レベルL1の検出結果とレベルL2の検出結果とを加算した加算結果(図中で◇:菱型)を見ると、レベルL2における1/N=5付近のディップ点は、レベルL1の評価値により相殺されており、レベルL1およびレベルL2に共通してディップ点が認められる1/N=9付近に明確にディップ点が存在することが分かる。このように、各対象マイクロレンズ像におけるによる画像マッチングの結果を加算することで、周期性の存在するテクスチャにロバストな結果を得ることができる。
式(8)で示した平均化の前に、マルチベースラインにより複数の対象マイクロレンズ像の検出結果を用いて正しい検出位置を予め算出しておく。そして、その後に、式(8)による平均化処理を施すことで、周期性テクスチャであっても距離計算を高精度に行うことができる。また、本実施形態の変形例による手法は、上述した実施形態で説明したテンプレート領域の変形などと組み合わせて使用することが可能である。
なお、上述では、レベルL1およびレベルL2の2の対象マイクロレンズ像による検出結果を加算した場合について説明したが、これはこの例に限定されない。例えば、図14に例示されるレベルL3の対象マイクロレンズ像30L3による検出結果をさらに加算してもよい。
なお、本発明は上述した各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1 撮像装置
10 カメラモジュール
11 メインレンズ
12 マイクロレンズアレイ
13 撮像素子
23 画像処理部
30,301〜306 マイクロレンズ像
30T 注目マイクロレンズ像
30S,30S1〜30S8 対象マイクロレンズ像
35,50T,50T’ テンプレート領域
361〜36n,50S,50S' マッチング領域
120 マイクロレンズ
230 取得部
231 検出部
232 設定部
233 算出部
10 カメラモジュール
11 メインレンズ
12 マイクロレンズアレイ
13 撮像素子
23 画像処理部
30,301〜306 マイクロレンズ像
30T 注目マイクロレンズ像
30S,30S1〜30S8 対象マイクロレンズ像
35,50T,50T’ テンプレート領域
361〜36n,50S,50S' マッチング領域
120 マイクロレンズ
230 取得部
231 検出部
232 設定部
233 算出部
Claims (9)
- 複数のマイクロレンズを含むマイクロレンズアレイと、
前記マイクロレンズアレイに被写体からの光を照射させるメインレンズと、
前記メインレンズおよび前記マイクロレンズアレイを通って光が照射される撮像素子と
を備える固体撮像装置の画像処理方法であって、
前記撮像素子により撮像された画像を取得する取得ステップと、
前記画像に含まれる前記複数のマイクロレンズによる像のうち、注目マイクロレンズ像と複数の対象マイクロレンズ像とによる配列を像高に応じて設定する設定ステップと、
前記注目マイクロレンズ像と前記複数の対象マイクロレンズ像とを比較して該注目マイクロレンズ像と該複数の対象マイクロレンズ像それぞれとの間の各像ずれ量を検出する検出ステップと、
前記各像ずれ量を用いて前記注目マイクロレンズ像に対応する距離を算出する算出ステップと
を有する
ことを特徴とする画像処理方法。 - 前記設定ステップは、
前記注目マイクロレンズ像の、該注目マイクロレンズ像の中心と像高中心とを結ぶ方向の径に対する、該方向に直角の方向の径の比に応じて前記配列を設定する
ことを特徴とする請求項1に記載の画像処理方法。 - 前記設定ステップは、
前記比の値が閾値以上の場合に、前記配列を、前記注目マイクロレンズ像の全周に前記複数の対象マイクロレンズを配置して構成し、
前記比の値が閾値未満の場合に、前記配列を、前記注目マイクロレンズ像の周囲の、該注目マイクロレンズ像が配置される前記像高中心に対する周の方向に前記複数の対象マイクロレンズ像を配置して構成する
ことを特徴とする請求項2に記載の画像処理方法。 - 前記算出ステップは、
前記各像ずれ量を平均した値を用いて前記距離を算出する
ことを特徴とする請求項1乃至請求項3の何れか1項に記載の画像処理方法。 - 前記検出ステップは、
前記注目マイクロレンズ像内に設けられたテンプレート領域と、前記複数の対象マイクロレンズ像のうちの1の対象マイクロレンズ像内に設けられたマッチング領域とを、該マッチング領域の位置を該対象マイクロレンズ像内で移動させながらそれぞれ比較して、該テンプレート領域と該マッチング領域との類似度を求めて前記像ずれ量の検出を行い、該検出を、前記複数の対象マイクロレンズ像のうち2以上の対象マイクロレンズ像について行って複数の前記像ずれ量を取得し、
前記算出ステップは、
前記複数の像ずれ量を、検出された位置が対応する像ずれ量同士で加算した結果を用いて前記距離を算出する
ことを特徴とする請求項1乃至請求項4の何れか1項に記載の画像処理方法。 - 前記設定ステップは、
予め記憶された、前記像高に応じた前記注目マイクロレンズ像および前記複数の対象マイクロレンズ像の前記画像上の領域を用いて前記配列を設定する
ことを特徴とする請求項1乃至請求項5の何れか1項に記載の画像処理方法。 - 前記設定ステップは、
前記注目マイクロレンズ像および前記複数の対象マイクロレンズ像の前記画像上の領域を前記像高に応じて計算して前記配列を設定する
ことを特徴とする請求項1乃至請求項5の何れか1項に記載の画像処理方法。 - 前記検出ステップは、
前記注目マイクロレンズ像内に設けたテンプレート領域と、前記複数の対象マイクロレンズ像のうち1の対象マイクロレンズ像内に設けたマッチング領域とを比較して前記像ずれ量を検出し、
前記設定ステップは、
前記テンプレート領域および前記マッチング領域のうち少なくとも前記マッチング領域の形状を前記像高に応じて設定する
ことを特徴とする請求項1乃至請求項7の何れか1項に記載の画像処理方法。 - 複数のマイクロレンズを含むマイクロレンズアレイと、
前記マイクロレンズアレイに被写体からの光を照射させるメインレンズと、
前記メインレンズおよび前記マイクロレンズアレイを通って光が照射される撮像素子と、
前記撮像素子により撮像された画像を取得する取得部と、
前記画像に含まれる前記複数のマイクロレンズによる像のうち、注目マイクロレンズ像と複数の対象マイクロレンズ像とによる配列を像高に応じて設定する設定部と、
前記注目マイクロレンズ像と前記複数の対象マイクロレンズ像とを比較して該注目マイクロレンズ像と該複数の対象マイクロレンズ像それぞれとの間の各像ずれ量を検出する検出部と、
前記各像ずれ量を用いて前記注目マイクロレンズ像に対応する距離を算出する算出部と
を有する
ことを特徴とする固体撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014060083A JP2015185998A (ja) | 2014-03-24 | 2014-03-24 | 画像処理方法および撮像装置 |
US14/658,686 US9791599B2 (en) | 2014-03-24 | 2015-03-16 | Image processing method and imaging device |
CN201510125617.0A CN104954643A (zh) | 2014-03-24 | 2015-03-20 | 图像处理方法和成像设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014060083A JP2015185998A (ja) | 2014-03-24 | 2014-03-24 | 画像処理方法および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015185998A true JP2015185998A (ja) | 2015-10-22 |
Family
ID=54141922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014060083A Pending JP2015185998A (ja) | 2014-03-24 | 2014-03-24 | 画像処理方法および撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9791599B2 (ja) |
JP (1) | JP2015185998A (ja) |
CN (1) | CN104954643A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020513597A (ja) * | 2016-12-05 | 2020-05-14 | フォトニック センサーズ アンド アルゴリズムス,エセ.エレ. | マイクロレンズアレイ |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5671842B2 (ja) * | 2010-06-03 | 2015-02-18 | 株式会社ニコン | 画像処理装置および撮像装置 |
US11508181B2 (en) | 2019-02-18 | 2022-11-22 | Fingerprint Cards Anacatum Ip Ab | Optical biometric imaging device and method of operating an optical biometric imaging device |
JP7396104B2 (ja) * | 2020-02-19 | 2023-12-12 | セイコーエプソン株式会社 | 画像読取装置、異常検出方法および異常検出プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266152A (ja) | 2000-03-17 | 2001-09-28 | Toshiba Corp | 顔画像認識装置および顔画像認識方法 |
CN100556076C (zh) | 2004-10-01 | 2009-10-28 | 利兰·斯坦福青年大学托管委员会 | 成像装置及其方法 |
JP4826152B2 (ja) | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
KR100821480B1 (ko) | 2006-12-22 | 2008-04-11 | 동부일렉트로닉스 주식회사 | 이미지 센서 및 그의 제조방법 |
JP2009047735A (ja) | 2007-08-13 | 2009-03-05 | Olympus Corp | 撮像装置及び画像処理プログラム |
US7962033B2 (en) | 2008-01-23 | 2011-06-14 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
EP2244484B1 (en) | 2009-04-22 | 2012-03-28 | Raytrix GmbH | Digital imaging method for synthesizing an image using data recorded with a plenoptic camera |
JP5313187B2 (ja) | 2010-02-03 | 2013-10-09 | 日本放送協会 | 立体画像補正装置および立体画像補正方法 |
JP5421207B2 (ja) | 2010-08-25 | 2014-02-19 | 株式会社東芝 | 固体撮像装置 |
JP5214754B2 (ja) | 2011-02-25 | 2013-06-19 | 株式会社東芝 | 固体撮像装置および携帯情報端末 |
JP5310837B2 (ja) * | 2011-12-28 | 2013-10-09 | カシオ計算機株式会社 | 画像生成装置、デジタルカメラ、方法、及びプログラム |
US9214025B2 (en) * | 2012-11-30 | 2015-12-15 | Adobe Systems Incorporated | Depth estimation using normalized displacement of image pairs |
-
2014
- 2014-03-24 JP JP2014060083A patent/JP2015185998A/ja active Pending
-
2015
- 2015-03-16 US US14/658,686 patent/US9791599B2/en active Active
- 2015-03-20 CN CN201510125617.0A patent/CN104954643A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020513597A (ja) * | 2016-12-05 | 2020-05-14 | フォトニック センサーズ アンド アルゴリズムス,エセ.エレ. | マイクロレンズアレイ |
Also Published As
Publication number | Publication date |
---|---|
US9791599B2 (en) | 2017-10-17 |
CN104954643A (zh) | 2015-09-30 |
US20150268385A1 (en) | 2015-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10460460B2 (en) | Method and system for generating depth information | |
US10015472B2 (en) | Image processing using distance information | |
JP6643122B2 (ja) | 距離画像装置、撮像装置、および距離画像補正方法 | |
JP5868183B2 (ja) | 撮像装置及び撮像方法 | |
JP5954668B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
CN102227746B (zh) | 立体图像处理装置、方法和立体成像设备 | |
KR101862889B1 (ko) | 입체 카메라를 위한 자동초점 | |
JP5429358B2 (ja) | ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法 | |
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
KR101725045B1 (ko) | 화상처리장치 및 그 제어방법 | |
US9836847B2 (en) | Depth estimation apparatus, imaging device, and depth estimation method | |
US20120307132A1 (en) | Imaging module, imaging apparatus, image processing apparatus, and image processing method | |
US9791599B2 (en) | Image processing method and imaging device | |
JP2020021126A (ja) | 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム | |
CN111127379B (zh) | 光场相机2.0的渲染方法及电子设备 | |
JP2019168479A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
US20160307303A1 (en) | Image capture device | |
US20160381305A1 (en) | Image processing device, image processing system, imaging apparatus, image processing method, and recording medium | |
JP5673764B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
US9596402B2 (en) | Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit | |
US11070715B2 (en) | Image shift amount calculation apparatus and method, image capturing apparatus, defocus amount calculation apparatus, and distance calculation apparatus | |
CN112866546B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
US20170366736A1 (en) | Focus detection apparatus, focus control apparatus, image-capturing apparatus and focus detection method | |
JP2017083817A (ja) | ズレ量取得装置、撮像装置、およびズレ量取得方法 | |
JP7187185B2 (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |