JP5820794B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5820794B2
JP5820794B2 JP2012223212A JP2012223212A JP5820794B2 JP 5820794 B2 JP5820794 B2 JP 5820794B2 JP 2012223212 A JP2012223212 A JP 2012223212A JP 2012223212 A JP2012223212 A JP 2012223212A JP 5820794 B2 JP5820794 B2 JP 5820794B2
Authority
JP
Japan
Prior art keywords
imaging
microlens
polarization
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012223212A
Other languages
English (en)
Other versions
JP2014074690A (ja
Inventor
將夫 三本木
將夫 三本木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012223212A priority Critical patent/JP5820794B2/ja
Priority to PCT/JP2013/076603 priority patent/WO2014054598A1/ja
Publication of JP2014074690A publication Critical patent/JP2014074690A/ja
Priority to US14/677,456 priority patent/US9756304B2/en
Application granted granted Critical
Publication of JP5820794B2 publication Critical patent/JP5820794B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Polarising Elements (AREA)

Description

本発明は、撮像装置に関するものである。
従来、視差画像を用いた距離計測を可能とする撮像方法が知られている(例えば、特許文献1参照。)。
この方法は、1回の撮像で複数種の偏光情報を有する視差画像を取得して偏光解析を行うこととしている。
特開2007−86720号公報
しかしながら、特許文献1の方法では、複数種の偏光情報を有する複数種の視差画像を取得するが、偏光情報の種類によっては有用な情報を含んでいないものもあり、単に偏光情報を利用するというだけでは、高精度に距離計測を行うことができないという不都合がある。
本発明は、上述した事情に鑑みてなされたものであって、複数種の偏光情報を有する複数種の視差画像を利用して高精度の距離計測を行うことができる撮像装置を提供することを目的としている。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮像する撮像素子と、該撮像素子と前記撮像レンズとの間に配置され、偏光状態の異なる複数種のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、前記撮像レンズから入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させるマイクロレンズアレイと、前記撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、前記撮像素子が、前記マイクロレンズアレイにより結像された光を撮像することにより複数の偏光状態を有する画像信号を取得し、前記距離算出手段が、前記画像信号の輝度情報に対して画素毎にエッジ量を算出し、該エッジ量が多いほど重み付け係数を大きくし、エッジ量が少ないほど重み付係数を小さくして、一のマイクロレンズに対応する画素領域に含まれる画素と他のマイクロレンズに対応する画素領域に含まれる画素とのマッチング処理を行い、前記マッチング処理により算出された視差を用いて、前記被写体までの距離を算出する撮像装置を提供する。
本態様によれば、撮像レンズによって集光された被写体からの光が各マイクロレンズを通過する際に異なる偏光状態の光となって集光され、撮像素子の撮像面に結像されることにより、マイクロレンズ毎に偏光状態が異なりかつ視差を有する被写体の複数の像が取得される。したがって、距離算出手段によって、視差を有する複数の画像のマッチング処理を行うことにより、撮像レンズ、マイクロレンズおよび撮像素子の位置関係を用いて、被写体までの距離を算出することができる。
この場合において、距離算出手段では、撮像素子により取得された情報の周波数成分に応じて偏光状態毎に重みを付けてマッチング処理を行うので、全ての偏光状態を均等に扱うのではなく、よりテクスチャ情報が多く含まれる偏光状態の重みを大きくしてマッチング処理を行うことができ、マッチング精度を向上して、距離を精度よく算出することができる。
上記態様においては、前記撮像素子が、その撮像面の各前記マイクロレンズに対応する領域に複数のカラーフィルタを配列してなるカラー撮像素子であってもよい。
このようにすることで、各マイクロレンズに対応して取得される画像毎に、複数の色情報を備えた画像が取得でき、被写体までの距離の算出と同時に、カラー画像も取得することができる。
また、本発明の他の態様は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を複数の偏光成分毎に撮像する偏光撮像素子と、該偏光撮像素子と前記撮像レンズとの間に配置され、複数のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、前記撮像レンズから入射された光を集光して前記偏光撮像素子の撮像面にそれぞれ結像させるマイクロレンズアレイと、前記偏光撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、前記偏光撮像素子が、前記マイクロレンズアレイにより結像された光を撮像することにより複数の偏光状態を有する画像信号を取得し、前記距離算出手段が、前記偏光撮像素子により取得された画像信号の輝度情報に対して画素毎にエッジ量を算出し、該エッジ量が多いほど重み付け係数を大きくし、エッジ量が少ないほど重み付係数を小さくして、一のマイクロレンズに対応する画素領域に含まれる画素と他のマイクロレンズに対応する画素領域に含まれる画素とのマッチング処理を行い、前記マッチング処理により算出された視差を用いて、前記被写体までの距離を算出する撮像装置を提供する。
本態様によれば、撮像レンズによって集光された被写体からの光が各マイクロレンズによって集光され、偏光撮像素子の撮像面に結像されることにより、マイクロレンズ毎に視差を有し、かつ、複数の偏光状態を有する被写体の複数の像が取得される。したがって、距離算出手段によって、視差を有する複数の画像のマッチング処理を行うことにより、撮像レンズ、マイクロレンズおよび撮像素子の位置関係を用いて、被写体までの距離を算出することができる。
この場合において、距離算出手段では、偏光撮像素子により取得された情報の周波数成分に応じて偏光状態毎に重みを付けてマッチング処理を行うので、全ての偏光状態を均等に扱うのではなく、よりテクスチャ情報が多く含まれる偏光状態の重みを大きくしてマッチング処理を行うことができ、マッチング精度を向上して、距離を精度よく算出することができる。
上記態様においては、前記マイクロレンズアレイが、波長透過率の異なる複数種のマイクロレンズを光軸に交差する方向にアレイ状に配列してなっていてもよい。
このようにすることで、撮像レンズによって集光された被写体からの光が各マイクロレンズを通過する際に異なる色情報を付与される。したがって、各マイクロレンズに対応して取得される画像毎に、異なる色情報を備えた画像が取得でき、被写体までの距離の算出と同時に、カラー画像も取得することができる。
上記態様においては、前記距離算出手段が、前記一のマイクロレンズの近傍のマイクロレンズに対応する画素領域に対してマッチング処理を行ってもよい。
上記態様においては、前記距離算出手段が、前記一のマイクロレンズと隣り合うマイクロレンズに対応する画素領域に対してマッチング処理を行ってもよい
本発明によれば、複数種の偏光情報を有する複数種の視差画像を利用して高精度の距離計測を行うことができるという効果を奏する。
本発明の一実施形態に係る撮像装置を示す全体構成図である。 図1の撮像装置に備えられたマイクロレンズアレイの一例を示す正面図である。 図1の撮像装置に備えられた距離情報算出部を示すブロック図である。 図2のマイクロレンズアレイの作用を説明する側面図である。 図2のマイクロレンズアレイに対応する撮像素子の領域に取得される偏光状態および色情報を示す図である。 図1の撮像装置の信号処理部における補間後の画像信号を示す図である。 図5の変形例を示す図である。 図1の撮像装置の変形例であって、図4と同様の側面図である。 図8のマイクロレンズアレイに対応する撮像素子の領域に取得される偏光状態および色情報を示す図である。
本発明の実施形態に係る撮像装置について図面を参照して以下に説明する。
本実施形態に係る撮像装置1は、図1に示されるように、被写体Aを撮像する撮像部2と、該撮像部2により取得された画像信号を処理する画像処理部3と、撮像部2を制御する撮像制御部4と、画像処理部3および撮像制御部4を制御する制御部5と、該制御部5に対して外部信号を入力するI/F部6とを備えている。
撮像部2は、被写体A側から順に、被写体Aに対向して配置される撮像レンズ7と、該撮像レンズ7を通過した光の光束径を決定する開口絞り8と、撮像レンズ7の後側焦点位置に形成される実像Bに対して光軸方向に被写体Aから遠ざかる方向に間隔をあけて配置されたマイクロレンズアレイ9と、該マイクロレンズアレイ9に対してさらに光軸方向に間隔をあけて配置され、マイクロレンズアレイ9を通過した光を撮像する撮像素子10とを備えている。
撮像レンズ7にはAFモータ11が接続されている。撮像レンズ7は、撮像制御部4からの指令信号に応じてAFモータ11が駆動させられることにより、光軸方向に移動させられて、被写体Aに前側焦点を一致させるようになっている。なお、図1中、撮像レンズ7は単一のレンズとして表示しているが、実際には、光軸方向に配列された複数のレンズからなり、少なくとも1つのレンズがAFモータ11によって光軸方向に移動させられるようになっている。
開口絞り8には開度調節モータ12が接続されている。開口絞り8は、撮像制御部4からの指令信号に応じて開度調節モータ12が駆動させられることにより、開度が調節されて、入射光量が調節されるようになっている。
マイクロレンズアレイ9は、図2に示されるように、複数のマイクロレンズ9aを直径方向に配列することにより構成されている。マイクロレンズ9aは、波長透過率の異なる色フィルタが備えられており、それ以外の光学性能は同一のものである。各マイクロレンズ9aは、例えば、図2に示されるように、それぞれ赤色(R1,R2,R3,R4)、緑色(G1,G2,G3,G4,G5,G6)、および青色(B1,B2)を透過する波長透過率を有する色フィルタが付されたものが、例えばベイヤ配列に従って配列されている。
図4に示されるように、被写体からの光は撮像レンズによって集光され、各マイクロレンズによって撮像素子の撮像面上の各マイクロレンズに対応する領域に結像されるようになっている。さらに具体的には、各マイクロレンズ9aに対応する領域は、例えば、図5に示されるように、3×3=9個の画素を備えている。
撮像素子は、4つの偏光成分のいずれかの光を通過させる偏光フィルタを各画素に備え、偏光フィルタが隣接する画素毎に通過させる偏光成分を異ならせるように配列された偏光撮像素子である。図5を用いて説明すると、Rrui(i=1〜4)、Rvj(j=1,2)、Rhk(k=1,2)、Rrd1は4つの偏光状態を持つRの画素、Grui(i=1,2)、Gvj(j=1〜4)、Gh1、Grdl(l=1,2)は4つの偏光状態を持つGの画素である。
画像処理部3は、図1に示されるように、撮像素子10により検出された画像信号をディジタル信号に変換するA/D変換器13と、ディジタル信号に変換された画像信号を一時的に格納するバッファ14と、バッファ14に格納された単板状態の画像信号を処理して12板状態の画像信号を生成する信号処理部15と、信号処理部15により生成された画像信号を用いて、撮像レンズ7から被写体Aまでの距離情報を算出する距離情報算出部16と、信号処理部15により処理された信号から1枚の画像信号を生成する再構成部17と、出力部18を備えている。
信号処理部15は、制御部5からの指令信号に基づいてバッファ14上の単板状態の画像信号を読み込み、以下の処理を行う。
まず、偏光状態に対しては、Rの領域において、Rru1,Rru2,Rru3,Rru4の偏光状態が同じ4つの画素を用いて、公知のバイリニアもしくはバイキュービックの補間処理を行い、他の偏光状態の画素を補間する。また、Rv1,Rv2およびRh1,Rh2についても同様に2つの画素を用いて補間処理を行う。Rrd1に関しては、この画素の情報を他の偏光状態の画素に割り当てる。
G,Bの領域についても同様の処理を行い、1つの画素に対して4つの偏光状態が存在する信号を生成する。
次に、色信号に対しては、図5の場合、同じ色信号の3×3の領域単位で色の補間処理を行う。例えば、G信号の領域で同じ偏光状態の3×3の領域に対して平均化処理を行う。具体的には、G1,G2,G3,G4,G5,G6の3×3の領域で平均化処理を行う。平均化処理後のG信号をgi(i=1〜6)とすると、B1の領域におけるG信号gB1はB1の領域近傍の4つの領域の信号を用いて式(1)のように算出される。
gB1=(g1+g3+g4+g5)/4 (1)
他の信号に対しても同様の処理を行う。
色の補間処理の結果、1つの画素に対して4つの偏光状態およびRGB信号の情報が割り当てられ、全部で12板の画像信号となる。
距離情報算出部16においては、信号処理部15において生成された12板の画像信号を用いて距離情報の算出が行われる。
距離情報算出部16は、図3に示されるように、信号処理部15から送られてきた12板の画像信号を一時的に格納するバッファ19と、該バッファ19に格納された画像信号を用いてマッチング処理を行うマッチング部20と、該マッチング部20により求められた座標値を用いて、撮像レンズ7から被写体Aまでの距離をマイクロレンズ9a毎に算出する距離算出部21とを備えている。
図1に示される本実施形態に係る撮像装置1では、マイクロレンズ9a毎に視差情報が得られるため、マッチング部20においては、近傍のマイクロレンズ9aに対応する画素領域に対してマッチング処理が行われる。図6は補間後の画像信号を示しており、M1i(x,y)は座標(x,y)における画像信号で、i=(rp1,rp2,rp3,rp4,gp1,gp2,gp3,gp4,bp1,bp2,bp3,bp4)となる。ここで、r,g,bはそれぞれ色情報、p1,p2,p3,p4はそれぞれ偏光状態を示している。
マッチング部20は、隣り合うマイクロレンズ9aの信号M2i(u,v)に対して、式(2)に示すマッチング評価値Sを用いてマッチング処理を行う。ここで、M2i(u,v)は座標(u,v)における画像信号である。マッチング処理は、式(2)のマッチング評価値Sが最小となる座標(u,v)を探索する処理である。マッチング処理は、座標(x,y)および(u,v)の近傍領域で行い、例えば、2×2の領域でマッチング評価値Sが最小となる(u,v)を探索することにより行われる。
Figure 0005820794
式(2)は、説明を簡単にするためにG信号のみについて標記している。式(2)において符号αiは重み付け係数を表している。重み付け係数を用いることで、ある偏光状態のマッチング評価値Sへの寄与を大きくすることができる。
本実施形態においては、ある偏光状態の画像信号の輝度情報に対して画素毎にエッジ量を算出し、そのエッジ量に基づいて重み付け係数を算出する。
エッジ量が多い場合に、その画素にはテクスチャ成分が多く含まれているため、重み付け係数を大きくする。エッジ量が少ない場合、テクスチャ成分をほとんど含んでいないため重み付け係数を小さくするようになっている。
マッチング部20におけるマッチング処理の結果、得られた座標値は、距離算出部21に送られ、下式(3)によって撮像レンズ7と被写体Aとの距離Zが算出される。
Z=z/M=2fΦ(x−u) (3)
ここで、fはマイクロレンズ9aの焦点距離、Φはマイクロレンズ9aの有効径、x,uは2つの画素領域間で対応する画素のx方向の座標値である。
距離算出部21において算出された距離情報は出力部18へ転送される。
一方、再構成部17では信号処理部15で処理された画像信号から1枚の画像信号が作成され、出力部18に出力される。
図4を用いて説明すると、マイクロレンズ9aを通過した領域D1,D2の画像信号を抽出して被写体Aの画像信号を生成する。この場合、被写体Aは撮像レンズ7の端部から被写体Aを観測した画像信号となる。領域D1,D2以外の領域を抽出して画像信号を生成すると、撮像レンズ7の異なる場所から観測した画像信号を生成することができる。
すなわち、抽出する領域の位置によって撮像レンズ7の様々な場所を通過した複数の視差の画像信号を生成することができる。
画像信号はある偏光状態のRGB信号でもよいし、4つの偏光状態を平均したRGB信号でもよい。上記処理により、1枚の画像信号が生成される。
このように構成された本実施形態に係る撮像装置1の作用について以下に説明する。
本実施形態に係る撮像装置1を用いて、被写体Aと撮像レンズ7との間の距離Zを計測するには、I/F部6を介してISO感度、露出などの撮像条件を設定した後、図示しないシャッタボタンを半押しにすることにより、プリ撮像モードに入る。被写体Aからの光は撮像レンズ7を介して撮像部2内に入り、実像Bを結像した後にマイクロレンズアレイ9によって集光され撮像素子10により撮像される。撮像素子10により取得された画像信号は、A/D変換器13によってディジタル信号に変換された後、バッファ14に転送される格納される。
バッファ14内に格納された画像信号は撮像制御部4に送られる。撮像制御部4は、送られてきた画像信号中の輝度レベルを用いて開口絞り8の開度調節モータ12を制御し、撮像素子10における電子シャッタ速度を制御する。また、撮像制御部4は、撮像レンズ7のAFモータ11を制御して、画像信号から所定領域におけるコントラスト値を算出し、該コントラスト値が最大となるように撮像レンズ7を所定の焦点距離に設定する。
この状態で、シャッタボタンを全押しすることにより、本撮像が行われる。本撮像は、撮像制御部4において求められた焦点距離および露光条件に基づいて行われ、取得された画像信号は、A/D変換器13によってディジタル信号に変換され、バッファ14に転送されて格納される。その後、バッファ14内の画像信号は信号処理部15に転送される。
信号処理部15においては、バッファ14内から転送されてきた単板状態の画像信号に対し、偏光状態および色信号を補間する処理を施し、1つの画素に対して4つの偏光状態およびRGB信号の情報が割り当てられた12板の画像信号が生成される。生成された画像信号は距離情報算出部16に転送される。
距離情報算出部16においては、信号処理部15から送られてきた画像信号がバッファ19内に格納される。そして、バッファ19内に格納された画像信号に対して、マッチング部20において、被写体Aに対するマッチング処理が行われ、複数の視差画像に対する対応する座標値が算出される。
この場合において、マッチング部20においては、画素毎にエッジ量が算出され、エッジ量の大きさに基づいて重み付け係数αiが設定され、設定された重み付け係数αiを用いて、マッチング評価値Sが算出され、マッチング評価値Sが最小となる座標が探索されることによりマッチング処理が行われる。
本実施形態に係る撮像装置によれば、エッジ量の大きさが大きいほど大きく設定された重み付け係数αiを用いてマッチング評価値Sが算出されるので、テクスチャ成分が多く含まれた画素の情報が大きな重みをもって評価される。その結果、マッチング処理の精度が向上し、その結果を用いて行われる距離の算出も高精度に行うことができるという利点がある。
また、本実施形態に係る撮像装置1によれば、1回の撮像で偏光情報および色情報を取得することができ、偏光情報および色情報を用いた処理が可能となり、高精度な距離計測を行うことができる。また、距離計測と同時にカラー画像を取得することができるという利点もある。
なお、本実施形態においては、マイクロレンズに波長透過率の異なる色フィルタを備えることとして、距離計測と同時にカラー画像を取得可能としたが、この構成は必須ではない。色フィルタを備えないこととすれば、取得される情報は複数の偏光状態を有する視差画像となるため、画素毎にエッジ量を算出して重み付けを行うことで、高精度の距離計測を行うことができる点に変わりはない。
また、本実施形態においては、各マイクロレンズに対応する領域に3×3=9個の画素が存在する場合を例示して説明したが、これに代えて、図7に示されるように、各マイクロレンズ9aに対応する領域に4×4=16個の画素が存在する場合には、R,G,Bの領域それぞれに4種類の偏光状態の画素が4つ存在することになる。この場合も上記と同様に偏光状態が同じ4つの画素を用いて公知のバイリニアもしくはバイキュービックの補間処理を行い他の偏光状態の画素を補間することにすればよい。
また、本実施形態においては、各マイクロレンズ9aに波長透過率の異なる色フィルタを設け、撮像素子として偏光撮像素子を採用したが、これに代えて、図8に示されるように、各マイクロレンズ9aに異なる偏光状態の光を通過させる偏光フィルタを設け、撮像素子としては、色フィルタがベイヤ配列されたカラー撮像素子を採用することにしてもよい。
このようにすることで、例えば、各マイクロレンズに対応する領域に3×3=9個の画素が存在する場合には、図9に示されるような情報が取得される。
図9において、Rrui(i=1〜4)、Gruj(j=1〜4)、Bru1は3個の色情報を持つ同一の偏光状態の画素となる。
この場合、マイクロレンズ9a毎に色情報の補間を行い、次に、マイクロレンズ9aの領域毎に偏光状態の補間処理を行えばよい。補間処理は上記と同様である。
これにより、上記と同様の12板の画像信号が生成され、これに基づいて距離計測を行うことができる。
A 被写体
1 撮像装置
7 撮像レンズ
9 マイクロレンズアレイ
9a マイクロレンズ
10 撮像素子
16 距離情報算出部(距離算出手段)

Claims (6)

  1. 被写体からの光を集光する撮像レンズと、
    該撮像レンズにより集光された光を撮像する撮像素子と、
    該撮像素子と前記撮像レンズとの間に配置され、偏光状態の異なる複数種のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、前記撮像レンズから入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させるマイクロレンズアレイと、
    前記撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、
    前記撮像素子が、前記マイクロレンズアレイにより結像された光を撮像することにより複数の偏光状態を有する画像信号を取得し、
    前記距離算出手段が、前記画像信号の輝度情報に対して画素毎にエッジ量を算出し、該エッジ量が多いほど重み付け係数を大きくし、エッジ量が少ないほど重み付係数を小さくして、一のマイクロレンズに対応する画素領域に含まれる画素と他のマイクロレンズに対応する画素領域に含まれる画素とのマッチング処理を行い、前記マッチング処理により算出された視差を用いて、前記被写体までの距離を算出する撮像装置。
  2. 前記撮像素子が、その撮像面の各前記マイクロレンズに対応する領域に複数のカラーフィルタを配列してなるカラー撮像素子である請求項1に記載の撮像装置。
  3. 被写体からの光を集光する撮像レンズと、
    該撮像レンズにより集光された光を複数の偏光成分毎に撮像する偏光撮像素子と、
    該偏光撮像素子と前記撮像レンズとの間に配置され、複数のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、前記撮像レンズから入射された光を集光して前記偏光撮像素子の撮像面にそれぞれ結像させるマイクロレンズアレイと、
    前記偏光撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、
    前記偏光撮像素子が、前記マイクロレンズアレイにより結像された光を撮像することにより複数の偏光状態を有する画像信号を取得し、
    前記距離算出手段が、前記偏光撮像素子により取得された画像信号の輝度情報に対して画素毎にエッジ量を算出し、該エッジ量が多いほど重み付け係数を大きくし、エッジ量が少ないほど重み付係数を小さくして、一のマイクロレンズに対応する画素領域に含まれる画素と他のマイクロレンズに対応する画素領域に含まれる画素とのマッチング処理を行い、前記マッチング処理により算出された視差を用いて、前記被写体までの距離を算出する撮像装置。
  4. 前記マイクロレンズアレイが、波長透過率の異なる複数種のマイクロレンズを光軸に交差する方向にアレイ状に配列してなる請求項3に記載の撮像装置。
  5. 前記距離算出手段が、前記一のマイクロレンズの近傍のマイクロレンズに対応する画素領域に対してマッチング処理を行う請求項1乃至請求項4の何れか1項に記載の撮像装置。
  6. 前記距離算出手段が、前記一のマイクロレンズと隣り合うマイクロレンズに対応する画素領域に対してマッチング処理を行う請求項1乃至請求項5記載の何れか1項に撮像装置。
JP2012223212A 2012-10-05 2012-10-05 撮像装置 Expired - Fee Related JP5820794B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012223212A JP5820794B2 (ja) 2012-10-05 2012-10-05 撮像装置
PCT/JP2013/076603 WO2014054598A1 (ja) 2012-10-05 2013-09-30 撮像装置
US14/677,456 US9756304B2 (en) 2012-10-05 2015-04-02 Image-acquisition apparatus for performing distance measurement using parallax

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012223212A JP5820794B2 (ja) 2012-10-05 2012-10-05 撮像装置

Publications (2)

Publication Number Publication Date
JP2014074690A JP2014074690A (ja) 2014-04-24
JP5820794B2 true JP5820794B2 (ja) 2015-11-24

Family

ID=50434925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012223212A Expired - Fee Related JP5820794B2 (ja) 2012-10-05 2012-10-05 撮像装置

Country Status (3)

Country Link
US (1) US9756304B2 (ja)
JP (1) JP5820794B2 (ja)
WO (1) WO2014054598A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667846B2 (en) * 2012-11-27 2017-05-30 Nokia Technologies Oy Plenoptic camera apparatus, a method and a computer program
EP3131292B1 (en) 2015-08-14 2022-06-15 InterDigital CE Patent Holdings Plenoptic camera comprising a shuffled color filter array
EP3376759B1 (en) * 2015-11-10 2021-04-14 Sony Corporation Image processing device and image processing method
JP6697681B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
DE112017005244T5 (de) * 2016-10-17 2019-07-11 Sony Corporation Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396873B1 (en) * 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
JP4974543B2 (ja) 2005-08-23 2012-07-11 株式会社フォトニックラティス 偏光イメージング装置
JP5040493B2 (ja) * 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP2010050521A (ja) * 2008-08-19 2010-03-04 Olympus Corp 撮像装置
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5440927B2 (ja) 2009-10-19 2014-03-12 株式会社リコー 測距カメラ装置
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP5669529B2 (ja) * 2010-11-17 2015-02-12 オリンパス株式会社 撮像装置、プログラム及びフォーカス制御方法
JP5906062B2 (ja) 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
JP5214754B2 (ja) * 2011-02-25 2013-06-19 株式会社東芝 固体撮像装置および携帯情報端末
JP2013074400A (ja) * 2011-09-27 2013-04-22 Toshiba Corp 固体撮像装置
JP2013072923A (ja) * 2011-09-27 2013-04-22 Sanyo Electric Co Ltd 撮像装置

Also Published As

Publication number Publication date
US9756304B2 (en) 2017-09-05
JP2014074690A (ja) 2014-04-24
WO2014054598A1 (ja) 2014-04-10
US20150215593A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
JP5820794B2 (ja) 撮像装置
JP5836821B2 (ja) 撮像装置
JP5619294B2 (ja) 撮像装置及び合焦用パラメータ値算出方法
JP7009091B2 (ja) 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム
CN103444183B (zh) 彩色摄像元件及摄像装置
JP2016102733A (ja) レンズ及び撮影装置
JP7104294B2 (ja) 測距カメラ
CN103460703B (zh) 彩色摄像元件及摄像装置
JP2011239241A (ja) 3次元撮像装置
JP2014216970A5 (ja) 撮像素子、測距装置及び撮像装置
CN105324991B (zh) 摄像装置、图像处理装置、摄像方法和图像处理方法
JP2022000695A (ja) 撮像装置
JP2007310043A (ja) 相関演算方法、相関演算装置、焦点検出装置および撮像装置
JP6045208B2 (ja) 撮像装置
WO2019181622A1 (ja) 測距カメラ
JP2012123317A5 (ja)
JP2020008415A (ja) 測距カメラ
JP2004229055A (ja) 画像処理装置
JP5338112B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP6469026B2 (ja) 撮像装置およびその制御方法
JP5338113B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP5820831B2 (ja) 撮像装置
JP5338119B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP2016042191A (ja) 撮像装置
JP7019442B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150213

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150213

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151005

R151 Written notification of patent or utility model registration

Ref document number: 5820794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees