以下、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態では、自動車やドローン、ロボット等の移動体の移動を支援するための画像情報及び距離情報の取得に好適な構成を有する撮像装置について説明する。図1(a)は、本発明の実施形態に係る撮像装置100の概略構成を示すブロック図である。撮像装置100は、制御部1、撮像光学系2、レンズ制御部3、撮像素子制御部4、画像処理部5、測距演算部6、表示部7、操作部8、記憶部9、撮像素子10及び通信I/F11を備える。撮像光学系2は、複数のレンズと、開口絞り12を有する。なお、撮像光学系2は、更に、ミラーを有してもよく、反射系又は反射屈折光学系の構成となっていてもよい。図1(b)は、撮像光学系2の射出瞳上の各領域を示す正面図である。図1(c)は、撮像光学系2に設けられる開口絞り12の一例である開口絞り12Aの概略構成を示す正面図(不図示の被写体側から撮像素子10側に向かって見たときの図)である。なお、説明の便宜上、図1に示すように、撮像光学系2の光軸方向をX方向とし、X方向と直交すると共に互いに直交するY方向(第1の方向)とZ方向(第2の方向)を規定する。
撮像光学系2は、被写体像を撮像素子10に結像させる。レンズ制御部3は、撮像光学系2におけるレンズ位置を調整することにより焦点位置を制御する。開口絞り12の開口120上(撮像光学系2の射出瞳上)には、第1の領域15と第2の領域16a,16bがある。
撮像素子10の構成の詳細については後述するが、第1の領域15を透過した光束は、撮像素子10が有する撮像画素21のフォトダイオードPD1に集光する。第2の領域16aを透過した光束は、撮像素子10が有する測距画素31のフォトダイオードPD2に集光し、第2の領域16bを透過した光束は、撮像素子10が有する測距画素31のフォトダイオードPD3に集光する。撮像画素21からの出力信号により撮影画像(第1の画像)が生成され、測距画素31のフォトダイオードPD2,PD3からの出力信号により視差画像(第2の画像,第3の画像)が生成される。よって、Y方向は、視差画像である第2の画像と第3の画像とに視差が生じる視差方向となる。なお、第2の領域16a,16bとして、図1(b)には楕円形状のものを示しているが、これに限定されず、例えば、円形状又は多角形状のものであってもよい。また、第2の領域16a,16bは、図1(b)に示したように、Z方向幅がY方向幅よりも長い形状を有する。これにより、測距画素31では、画素信号のS/N比を高めることができる。本実施形態では、開口絞り12の開口120を図1(b)に示したように円形としたが、開口絞り12の代わりに、図1(c)に示した開口絞り12Aを使用してもよい。開口絞り12Aには、第1の領域15を規定する第1の開口部150と、第2の領域16a,16bを規定する第2の開口部160a,160bとが形成されている。
撮像素子10は、画像情報の取得と共に、撮像面位相差方式による距離情報の取得が可能な構成となっている。撮像素子10は、具体的にはCMOSセンサ及びその周辺回路から構成されており、撮像光学系2により結像された被写体光学像を光電変換することにより、撮影画像を生成するための電気信号と、視差画像を生成するための電気信号を生成する。撮像素子制御部4は、制御部1からの指示に従って撮像素子10を構成する画素に対する電荷の蓄積、画素からの信号の読み出し等を制御し、取得した撮像信号を制御部1へ供給する。画像処理部5は、撮像素子10の撮像画素からの出力信号である撮像信号を取得し、γ変換やカラー補間等の画像処理を行って撮影画像を生成し、生成した撮影画像に対して被写体認識処理(特徴解析)を行う。また、画像処理部5は、撮像素子10の測距画素からの出力信号である視差信号を取得し、視差画像を生成する。なお、被写体認識処理には、周知の方法を用いることができ、ここでの説明は省略する。
測距演算部6は、画像処理部5が生成した視差画像に基づき、画像処理部5が被写体認識処理により検出した被写体に対する測距演算を行い、距離情報を算出する。なお、距離情報とは、被写体までの距離、デフォーカス量、視差(像ズレ量)等の被写体の位置に関する情報であり、奥行情報或いは深さ情報と呼ばれることもある。また、視差の算出方法(測距演算)については、SSDA法や面積相関法等の周知の技術を用いることができ、その詳細についての説明は省略する。制御部1は、CPU(演算処理回路)、ROM、RAM、A/Dコンバータ及びD/Aコンバータ等を有する。CPUがROMに記憶されたコンピュータプログラムをRAMに展開することにより、撮像装置100を構成する各部の動作が制御されることで、撮像装置100の全体的な制御が実現される。なお、制御部1は、撮像装置100を構成する各部の処理の全部又は一部を論理回路により実現するASIC等の専用プロセッサであってもよい。なお、測距演算部6及び画像処理部5についても同様で、ソフトウェア(プログラム)による実装とハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組合せによって実装されていてもよい。例えば、撮像装置100を車載カメラとして用いる場合、車載カメラに内蔵されたコンピュータ(マイコン、FPGA等)のメモリにプログラムを格納し、そのプログラムをコンピュータに実行させることで、各部の処理が実現される構成であってもよい。また、各部の処理の全部又は一部を論理回路により実現するASIC等の専用プロセッサを設けてもよい。
表示部7は、例えば、液晶表示装置(LCD)等であり、画像処理部5や測距演算部6により求められた画像情報や距離情報等の各種情報を表示する。なお、撮像装置100は表示部7を備えていない構成であっても構わず、例えば、通信I/F11を介して外部の表示装置に撮影画像等を表示可能な構成となっていてもよい。操作部8は、制御部1に対して各種の指令を与えるスイッチやボタン等である。記憶部9は、例えば、撮像装置100に対して着脱自在なフラッシュメモリ等の半導体メモリ等であり、画像情報や距離情報を記憶する。通信I/F11は、外部機器(例えば、撮像装置100が移動体(不図示)等に搭載されている場合には、移動体の制御装置)との通信(データ送受信)を行う。
図2は、撮像素子10の概略構成を説明する正面図であり、一部の領域W1を拡大して示している。自動車等の移動体に搭載されてその進行方向に現れる各種の物体に対する情報を取得する用途に撮像装置100を用いる場合、撮像素子10からの出力信号に基づき、撮影画像内の被写体認識と認識した被写体に対する測距とを正確且つ迅速に行う必要がある。そこで、撮像素子10の撮像面は、Y方向(視差方向)と直交するZ方向に、撮像用画素行と測距用画素行とが交互に配置された構造を有する。撮像用画素行は、撮像画素がY方向に並べられた構成となっており、同様に、測距用画素行は、測距画素がY方向に並べられた構成となっている。撮像画素は、撮像光学系2を通して受光した光束を光電変換することにより、撮影画像を生成するための信号を出力する。測距画素は、撮像光学系2を通して受光した光束を光電変換することにより、視差画像を生成するための信号を出力する。
図3(a)〜(d)は、撮像素子10における撮像用画素行と測距用画素行の構成例を示す図である。図3(a)〜(d)に示すように、撮像用画素行は、所定数の撮像画素21がZ方向においても並べられた構成となっていてもよい。但し、撮像用画素行の構成は、これに限られず、後述する図7に示すように撮像画素21がZ方向においては1個のみが配置された構成となっていてもよい。なお、撮像用画素行に示されているR(レッド)、G(グリーン)及びB(ブルー)はそれぞれ、撮像画素21が有するカラーフィルタの色を示している。
図3(a)〜(c)は、測距用画素行の構成のバリエーションを示しており、撮像用画素行の構成は同じとなっている。図3(a)〜(c)には、測距画素33(図3(a)〜(c)において「M1」で示す)、測距画素34(図3(a)〜(c)において「M2」で示す)からなる測距用画素行が示されている。測距画素33,34の詳細については図6を参照して後述するが、測距画素33はフォトダイオードPD2のみを有し、測距画素34はフォトダイオードPD3のみを有する。測距画素33のフォトダイオードPD2からの出力信号と測距画素33のフォトダイオードPD3からの出力信号により視差画像(第2の画像,第3の画像)が生成される。図3(a)〜(c)に示すように、測距画素33,34を1組として用いる場合には、Z方向において複数組の測距画素がZ方向に並べて配置された構成となっていてもよい。これにより、画素加算によってS/N比向上させ測距精度を向上させることや、Z方向における長さを撮像用画素行の長さに揃えることが容易となり、画像補間を容易に行うことが可能になる。
図3(d)は、Z方向に複数の測距画素31が並べて配置された測距用画素行の構成例を示している。測距画素31を用いる場合も、所定数がZ方向においても並べられた構成となっていてもよい。但し、測距画素31を用いる場合でも、後述する図7に示すように測距画素31がZ方向においては1個のみが配置された構成となっていてもよい。撮像素子10における撮像用画素行と測距用画素行の行数、撮像画素と測距画素の画素サイズ等は、要求される測距特性、画像品質、撮像素子10の全体形状、撮像画素と測距画素の感度等に基づいて設定される。
撮像素子10は、撮像用画素行と測距用画素行とを交互に配置して、従来よりも極めて多くの測距画素を有する構成となっているため、極めて高精度な測距を行うことが可能になる。
次に、撮像用画素行と測距用画素行の構成及び撮像画素と測距画素の構成例について説明する。図4(a)は、撮像素子10における撮像用画素行と測距用画素行の第1の構成例を示す正面図であり、Y方向では一部を、Z方向では1周期分を示している。撮像用画素行は、一辺の長さS1の画素サイズを有する撮像画素21がY方向に所定数並べられることによって構成されている。撮像画素21の一辺の長さS1は、特に制限されるものではないが、具体的には1μm<S1<10μmである。図4(b)は、図4(a)中の矢視A−Aでの断面図であり、1個の撮像画素21についてその断面構造を示している。撮像画素21は、光電変換部であるフォトダイオードPD1の前面(撮像光学系2側)に、カラーフィルタCFと、マイクロレンズMLが配置された構造を有する。先に図1(b)を参照して説明したように、撮像光学系2の射出瞳上には、撮影画像を生成するための光束を透過させるための第1の領域15と、視差画像を生成するための光束を透過させるための第2の領域16a,16bが形成されている。フォトダイオードPD1の受光面は、第1の領域15を通過した光束を受光し、第2の領域16a,16bを通過した光束を実質的に受光しない位置及びサイズに設定されている。図4(c)は、撮像画素21(フォトダイオードPD1)の感度と光束の入射角度との関係を説明する図である。前記の構成により、撮像画素21は、入射角が零度のときに感度が最も大きくなる特性を有する。
測距用画素行は、一辺の長さS1の測距画素31が、Y方向に所定数並べられた構造を有する。ここでは、測距画素31を撮像画素21と同じ大きさに設定している。図4(d)は、図4(a)中の矢視B−Bでの断面図であり、1個の測距画素31についてその断面構造を示している。測距画素31は、光電変換部である2つのフォトダイオードPD2,PD3が、視差方向であるY方向に分かれて形成された構造を有する。フォトダイオードPD2の受光面は、第2の領域16aを通過した光束を受光し、第1の領域15及び別の第2の領域16bを通過した光束を実質的に受光しない位置及びサイズに設定されている。同様に、フォトダイオードPD3の受光面は、第2の領域16bを通過した光束を受光し、第1の領域15及び他方の第2の領域16aを通過した光束を実質的に受光しない位置及びサイズに設定されている。
図4(e)は、測距画素31(フォトダイオードPD2,PD3)の感度と光束の入射角度との関係を説明する図である。ここで、測距画素31による測距精度を高めるためにはフォトダイオードPD2,PD3に入射する光束に対応する撮像光学系2での瞳における基線長を長く取ることが望まれる。しかし、瞳における基線長を長く取ると、フォトダイオードPD2,PD3に対する入射角度が大きくなって入射光量が低下することにより画素信号のS/N比は低下する。そこで、開口絞り12における第2の領域16a,16bは、所望する精度での測距を可能とする視差画像を取得することができる位置及び形状に設定されている。その結果、フォトダイオードPD2は光束の入射角が−θ度のときに、フォトダイオードPD3は光束の入射角が+θ度のときにそれぞれ感度が最も大きくなる特性を有する。
なお、本実施形態では、フォトダイオードPD2,PD3として、できる限り多くの光量を受光することができるように、カラーフィルタCFが設けられていない構造を例示している。しかし、このような構成に限定されず、カラーフィルタCFが配置された構造としてもよく、その場合には、感度を落とさないようにするために補色系カラーフィルタを用いることが望ましい。また、撮像装置100では、後述するように、測距画素31により得られる視差信号を撮影画像の生成に用いず、測距画素31の位置での画像情報をその周辺の撮像画素21の画像信号を用いて補完することによって求める。そのため、撮像素子10では、測距画素31の感度特性を撮像画素21の感度特性に合わせる必要はない。
図5(a)は、撮像素子10における撮像用画素行と測距用画素行の第2の構成例を示す正面図であり、Z方向での1周期分を示している。撮像用画素行は、一辺の長さS1の撮像画素21が、Y方向に所定数並べられた構造を有する。撮像画素21は、図4(a)に示した撮像画素21と同じであるので、撮像画素21についての説明は省略する。
測距用画素行は、測距画素32が、Y方向に所定数並べられた構造を有する。ここで、撮像画素21のアスペクト比AR(=Z方向長さ/Y方向長さ)は1であるのに対して、測距画素32は、Z方向長さS2がY方向長さS1よりも長く、アスペクト比AR(=S2/S1)が1より大きい形状を有する。ここでは、アスペクト比AR=S2/S1=2に設定した例を示しているが、測距画素32のアスペクト比はこれに限定されない。アスペクト比が整数であると、画素レイアウトが等間隔になり、回路構成が簡単になり、望ましい。また、測距画素32のアスペクト比を極端に大きくすると、画像補間の精度が低下してしまうため、測距画素32のアスペクト比ARは1より大きく2以下とすることが望ましい。測距画素32の断面構造は、図4(d)に示した測距画素31の断面構造に準ずる。測距画素32が有する不図示のマイクロレンズは、Y方向とZ方向のパワーが異なるトーリック面(例えば、楕円回転体の曲面)を有する。
測距画素32は、フォトダイオードPD2a,PD3aを有する。フォトダイオードPD2a,PD3aは、測距画素32のアスペクト比ARに応じて、測距画素31のフォトダイオードPD2,PD3をそれぞれZ方向に長く延ばした形状を有する。これにより、測距画素32では、測距画素31よりも画素信号のS/N比を高めることができる。つまり、測距画素32を用いることによって、測距精度を高めることができる。
図5(b)は、撮像素子10における撮像用画素行と測距用画素行の第3の構成例を示す正面図であり、Z方向での1周期分を示している。測距用画素行は、測距画素32が、Y方向に所定数並べられた構造を有する。測距画素32は、図5(a)に示した測距画素32と同じであるので、測距画素32についての説明は省略する。
撮像用画素行は、画素サイズの撮像画素22が、Y方向に所定数並べられた構造を有する。撮像画素22は、フォトダイオードPD1aを有する。なお、撮像画素22の構造は、図4(b)に示したフォトダイオードPD1の構造に準ずる。すなわち、撮像画素22は、一辺の長さがS1の撮像画素21をY方向とZ方向のそれぞれに等倍に拡大することにより、一辺の長さS3の画素サイズを有する。なお、撮像画素22が有する不図示のマイクロレンズMLも、画素サイズに応じて拡大されている。図5(b)では、撮像画素22の一辺の長さS3を測距画素32の長辺方向の長さS2と同じ長さとしているが、これに限られるものではなく、長さS3は測距画素32の短辺方向の長さS1よりも長くなっていればよい。第3の構成例では、開口絞り12に設けられた第1の領域15を透過した光束を受光面積の大きい1つのフォトダイオードPD1aで受光することにより、感度(S/N比)を高めることができるため、撮影画像の画質を向上させることができる。また、撮像素子10のサイズが一定であれば、撮像用画素行での画素数が少なくなるため、撮影画像を生成するための演算負荷及び撮影画像に対する被写体認識処理の演算負荷を軽減することができ、これにより、画像情報をより高速で取得することが可能となる。
図6は、撮像素子10における撮像用画素行と測距用画素行の第4の構成例を示す正面図であり、Z方向での1周期分を示している。撮像用画素行は、撮像画素21が、Y方向に所定数並べられた構造を有する。撮像画素21は、図4(a)に示した撮像画素21と同じであるので、撮像画素21についての説明は省略する。
測距用画素行は、測距画素33(第1の測距画素)がY方向に所定数並べられた第1の行と、測距画素34(第2の測距画素)がY方向に所定数並べられた第2の行とからなる構造を有する。測距画素33は、フォトダイオードPD2のみを備える点で、測距画素31と異なる。また、測距画素34は、フォトダイオードPD3のみを備える点で、測距画素31と異なる。つまり、測距画素33と測距画素34とは、フォトダイオードPD2,PD3がY方向においてそれぞれのマイクロレンズMLの光軸に対して反対側に設けられている点で異なる。
第4の構成例では、Z方向に並ぶ2個の測距画素33,34を1組として、測距画素33,34から出力される信号に基づいて視差画像を生成し、被写体に対する測距を行うため、測距用画素行は測距画素33の行と測距画素34の行から構成される。1組の測距画素33,34を用いることにより、フォトダイオードPD2,PD3間のクロストークを抑制することができ、これにより測距精度を高めることができる。また、撮像光学系2に対する斜めからの入射光に対する感度を高めることができる。更に、基線長を測距画素31よりも長くすることができることでも、測距精度を向上させることができる。なお、第4の構成例では、第2の構成例(図5(a))と同様に、1行の撮像用画素行は、測距用画素の形状との関係で、Z方向に2個の撮像画素21が配置された構成となっている。
図7は、図4に示した第1の構成例での、より広範囲の画素配置と測距画素31の画素補間の例を説明する図である。図3と同様に、撮像用画素行において、「G」で示される撮像画素21は、グリーンのカラーフィルタCFを有する画素を示している。また、「R」で示される撮像画素21はレッドのカラーフィルタCFを有する画素を、「B」で示される撮像画素21はブルーのカラーフィルタCFを有する画素をそれぞれ示している。測距用画素行を構成する測距画素31は「M0」で示されている。
図7に示されるように、撮像素子10では、カラーフィルタCFの配色が同じとなる2本の撮像用画素行の間に、2本の測距用画素行が配置され、2本の測距用画素行の間にカラーフィルタCFの配色の異なる1本の撮像用画素行が配置された構成となる。但し、図7に示した撮像用画素行におけるカラーフィルタCFの各色の配置は一例であって、これに限定されるものではない。よって、カラーフィルタCFの配色が異なる2本の撮像用画素行の間に、2本の測距用画素行が配置され、2本の測距用画素行の間に所定の配色でカラーフィルタCFが設けられた1本の撮像用画素行が配置された構成となる場合がある。このことは、後述する図8乃至図10に示す撮像用画素行でのカラーフィルタCFの配置についても同様である。
撮像素子10による撮像では、撮影画像を生成する際に、撮像画素21からの出力信号を用いて測距画素31が配置されている位置に対する画素補間処理を行う。例えば、図7中に太線枠で示されるように、1個の測距画素31に対して、Z方向で隣接する撮像用画素行にあって近接する6個の撮像画素21の信号を用いることができる。但し、これに限定されるものではなく、必要とされる画像の解像度に応じて、より少ない数の撮像画素21で測距画素31の画素補間を行っても構わず、これにより画素補間での演算負荷を軽減することができる。
次に、測距精度を確保しながら、撮影画像の品質を高める構成と撮影画像を用いた被写体認識処理での演算負荷の軽減を図る構成について説明する。図8(a)は、撮像用画素行での画素加算読み出しを模式的に説明する図である。ここでは、撮像画素21がY方向に所定数配置されると共にZ方向に4個配置された撮像用画素行を例示している。測距用画素行には、測距画素33,34からなるものを示しており、測距画素33は「M1」で示されており、測距画素34は「M2」で示されている。但し、これに限定されず、測距用画素行は、測距画素31或いは測距画素32からなるものであってもよい。
撮像用画素行では、Y方向とZ方向を各辺とする所定の領域に含まれる複数の撮像画素21に同色のカラーフィルタCFが設けられている。ここでは、(Y方向:4個)×(Z方向:4個)の撮像画素21にグリーン(G)とレッド(R)のカラーフィルタCFが設けられている例を示しており、同色のカラーフィルタCFが設けられた16個の撮像画素21から信号を加算して読み出す。そして、読み出した加算信号から撮影画像を生成し、生成した撮影画像に対して被写体認識処理等の所定の画像処理が行われる。このような構成とすることにより、撮像用画素行での感度を向上させて撮影画像の画質を向上させることができ、また、後段での被写体認識処理での演算負荷を軽減することができる。
なお、同色のカラーフィルタCFが設けられた1群の撮像画素21からの加算読み出しに代えて、1群の撮像画素21の各画素から信号を読み出した後に、読み出した信号を加算して撮影画像を生成するようにしても、同様の効果を得ることができる。また、同色のカラーフィルタCFが設けられた1群の撮像画素21は、(Y方向:4個)×(Z方向:4個)に限定されるものではない。また、図8(a)では、測距用画素行として1個の測距画素33と1個の測距画素34とがZ方向に並んだものを示したが、図3(a)を参照して説明したように、2個の測距画素33と2個の測距画素34とがZ方向で並んだ構成のものを用いてもよい。撮像用画素行を構成する撮像画素のZ方向の数と測距用画素行を構成する測距画素のZ方向の数とを等しくすることで、画像補間を容易にすることが可能となる。
図8(b)は、撮像用画素行での画素加算読み出しと測距用画素行に対する画素補間を模式的に説明する図であり、図6を参照して説明した第4の構成例をより広い領域で示したものに相当する。撮像用画素行は、撮像画素21がY方向に所定数配置されると共にZ方向に2個配置されることによって構成されており、(Y方向:2個)×(Z方向:2個)の撮像画素21に同色(G:グリーン、R:レッド、B:ブルー)のカラーフィルタCFが設けられている。同色のカラーフィルタCFを有する1群の撮像画素21から信号を加算して読み出すことにより、図8(a)に示した構成と同様に、撮影画像の画質を向上させ、また、画像処理での演算負荷を軽減することができる。なお、前述のように、同色のカラーフィルタCFが設けられた1群の撮像画素21のそれぞれから信号を読み出し、読み出した信号を加算して撮影画像を生成するようにしてもよい。
測距用画素行は、Z方向に並べられた1組の測距画素33,34がY方向に所定数配置されることによって構成されている。測距画素33,34に対する画素補間は、一例を太線枠で示したように、(Y方向:2個)×(Z方向:2個)の測距画素33,34に対してZ方向で隣接する撮像用画素行にあって近接する6群(各群では信号の加算読み出しを行う)の撮像画素21の信号を用いる。このように、測距用画素行の画素数に撮像用画素行の画素数を合わせ、撮像用画素行ではカラーフィルタCFをZ方向での画素数とY方向での画素数が同じとなるように設定する。これにより、撮影画像を生成するための測距画素の画素補間を容易に行うことができ、且つ、違和感のない撮影画像を生成することができる。なお、測距画素33,34に代えて図5(a)に示した測距画素32(又は図4(a)に示した測距画素31)を用いる場合には、測距用画素行でのZ方向での画素数を半分にすることができる。そして、Y方向に並んだ2個の測距画素32(又は測距画素31)に対する画素補間を、Z方向で隣接する撮像用画素行にあって近接する6群の撮像画素21の信号を用いて行うことで、同様の効果を得ることができる。
図9(a)は、図8(b)に示した撮像用画素行と測距用画素行の配置形態の第1の変形例を示す図である。この第1の変形例では、Z方向における1周期分の撮像用画素行と測距用画素行を1組とし、各組をZ方向に配置する際に交互にY方向に半画素分だけずらした構成となっている。このような構成とすることにより、測距画素33,34による測距における視差方向(Y方向)の分解能を高めて、より正確な測距を行うことが可能となる。(Y方向:2個)×(Z方向:2個)の測距画素33,34の画素補間には、例えば、図中に太線で示したように、Z方向で隣接する撮像用画素行にある6群(1群はカラーフィルタCFの色が同じ4個の撮像画素21)の撮像画素21の信号を用いればよい。
図9(b)は、図8(b)に示した撮像用画素行と測距用画素行の配置形態の第2の変形例を示す図である。この第2の変形例では、撮像用画素行の配置を図8(b)の配置と同じとして、測距用画素行をZ方向では交互にY方向に半画素分だけずらして配置した構成となっている。このような構成とすることによっても、測距画素33,34による測距における視差方向(Y方向)の分解能を高めて、より正確な測距を行うことが可能となる。Y方向での半画素分のずれがない測距用画素行にある(Y方向:2個)×(Z方向:2個)の測距画素33,34の画素補間は、図8(a)の場合と同様の画素補間方法を用いればよい。一方、撮像画素21に対してY方向に半画素分ずれた測距用画素行にある(Y方向:2個)×(Z方向:2個)の測距画素33,34の画素補間は、例えば、図中に太線枠で示すように、RGBのすべての色が含まれるように、Z方向で対称となる領域を用いればよい。なお、Y方向へのずらし量は、半画素に限定されるものではなく、1/3や1/4等のより小さい値にすることができ、これにより更に測距精度を高めることが可能となる。
図9(a),(b)に示したように視差方向に半画素分だけずらした測距用画素行を設ける構成は、測距画素33,34を用いる構成に限定されず、図7に示した構成に対しても適用が可能である。図10は、図7に示した撮像用画素行と測距用画素行の配置形態の変形例を示す図である。撮像用画素行での撮像画素21の配置は図7の配置と同じであるが、測距用画素行はZ方向において交互にY方向に半画素分だけずらして配置されている。Y方向に半画素分ずれた測距用画素行にある1個の測距画素31の画素補間には、例えば、Z方向で隣接する4個の撮像画素21(RGBのすべての色を含むことになる)を用いることができる。
次に、撮像素子10の電子ズーム機能について説明する。図11(a)は、一例として、撮像装置100が自動車に搭載されて進行方向を撮影しているときに検知した物体を電子ズーム機能により拡大する動作を説明する図である。なお、以下に説明する撮像素子10の電子ズーム機能は、撮像素子制御部4又は制御部1により実行される。なお、上述の実施形態では、撮影画像の画素数よりも撮像素子における撮影画像用の画素数を多く設定してダウンサンプリングしているため、ここでの電子ズームは「アップサンプリング」ではなく「ダウンサンプリング」のサンプリング間隔の調整になる。そのため、画質劣化がほとんどない電子ズームが可能となる。電子ズームで生成した画像は、不図示の表示手段や画像処理演算手段、画像認識演算手段等へ出力される。電子ズーム機能、アップサンプリング、ダウンサンプリングについては周知であるので、ここでの説明を省略する。
撮像装置100を自動車等の移動体の運転支援に用いる場合に、進行方向の正面についてのより正確な画像情報又は距離情報を取得することが望まれる場合がある。移動体の進行方向の正面に相当する領域は、概ね、撮影画像SC(撮影範囲全体が表示されているものとする)のほぼ中央部となる。そこで、図11(a)の左側の図に示されるように被写体認識処理により物体60を予め設定された領域W2内に検出された場合に、図11(a)の右側の図に示されるように領域W2を電子ズームにより拡大する。電子ズーム動作は、撮像素子中の画素信号読出し位置を領域W2に制限してもよいし、全領域の画素信号を読み出した後に不図示の画像生成手段で領域W2に制限して画像を生成するようにしてもよい。このときの拡大倍率と物体60の大きさ、物体の変化や画面内の位置に基づいて物体60までの測距(撮影画像を用いた測距)を行う。これにより、撮像面位相差方式で一般的に測距精度が低下する遠距離側の測距レンジを拡大することができる。撮影画像を用いた測距については、周知であるので(例えば、US2015/0092988A1参照)、ここでの説明を省略する。
なお、当初の「撮像面位相差方式」による測距により予め定められた一定距離よりも遠くにあると判定された物体が領域W2内に認められたときにのみ、上述した電子ズーム機能が実行されるようにしてもよい。また、領域W2は設定せずに、「撮像面位相差方式」で予め定められた一定距離よりも遠くにあると判定された任意の領域(又は特定の物体)に対して、上述した電子ズーム機能が実行されるようにしてもよい。具体的には、その任意の領域(又は特定の物体)に対して、自動的にダウンサンプリング処理を止めて(又はサンプリング間隔を短くして)、前述の「撮影画像を用いた測距」に切り替えて距離情報を取得するようにしてもよい。その際、その「撮影画像を用いた測距」で取得した距離情報と撮像面位相差方式で取得した他の領域の距離情報とをマージして出力する構成としてもよい。このとき、撮像素子は、撮影画像用の画素数が撮影画像の画素数よりも多く、また撮像面位相差方式による測距が可能であればよい。つまり、図11(b)に示すような、視差画像と撮影画像の両方を取得することができる画素を全面に配置した撮像素子であってもよい。図11(b)に示す画素は、1画素内に、1つのマイクロレンズMLと1つのカラーフィルタCF・BR>ノ対して、フォトダイオードPD1とフォトダイオードPD2の2つのフォトダイオードが設けられた構造を有する。フォトダイオードPD1とフォトダイオードPD2の信号を別々に出力することで視差画像を取得することができ、加算して出力することで撮影画像を得ることができる。
次に、撮像装置を移動体に搭載した場合のシステム構成について説明する。図12は、撮像装置100を移動体の一例である自動車50に搭載した場合のシステム構成の一例を示す図である。撮像装置100は、例えば、自動車50のフロントガラスの内側上部に取り付けられて前方を所定の画角59で撮影する。そして、撮像装置100は、前述したように撮影画像に対して被写体認識処理を行い、前方(進行方向)に現れる各種の物体を検出し、検出した物体に対する測距を行う。撮像装置100の制御部1は、自動車50が備える制御装置55へ画像情報と距離情報を提供する。なお、移動体に搭載する場合、撮像装置100は、図1に示したレンズ制御部3、表示部7、操作部8及び記憶部9を備えていない構成であっても構わない。
自動車50は、制御装置55、車両情報取得装置51、警報装置52及び制動装置53を備える。車両情報取得装置51は、車速(移動速度)、ヨーレート、舵角(移動方向)、エンジンの回転速度、ギア段等の自動車50の動的情報の少なくとも1つを車両情報として検知し、検知した車両情報を制御装置55へ供給する。警報装置52は、制御装置55からの指令に従い、警報を鳴らす、カーナビゲーションシステム等の画面に警報情報を表示する、シートベルトやステアリングに振動を与える等により、ユーザに警告を行う。制動装置53は、制御装置55からの指令に従い、エンジンの回転速度制御やギアのシフト制御、ブレーキアシスト(ABS、ESC、自動ブレーキ等)、ハンドルアシスト(自動追従運転、車線逸脱防止等)等の各種の動作を行う。
制御装置55は、車両情報取得装置51から取得した車両情報と撮像装置100から取得した所定の物体に対する距離情報に基づいて、警報装置52と制動装置53の動作を制御するコンピュータである。また、制御装置55は、撮像装置100の制御部1と通信を行い、制御部1に対してホストコンピュータとして機能する。つまり、制御装置55は、制御部1に対して画像情報と距離情報の取得と、取得した画像情報と距離情報の制御装置55への送信を指令する。
図13は、自動車50での動作制御の一例である衝突防止制御のフローチャートである。図13のフローチャートに示す処理のうち、ステップS11,S13〜S14の処理は、自動車50の制御装置55による制御の下で、撮像装置100の制御部1によって実行される。ステップS12,S15,S16の処理は、自動車50の制御装置55によって実行される。
ステップS11では、制御部1の制御下で、撮像光学系2及び撮像素子10が撮影を行い、画像処理部5が撮影画像及び視差画像を生成する。ステップS12において、制御装置55は、車両情報取得装置51から車両情報を取得する。ステップS13では、制御部1の制御下で、ステップS11で取得した画像情報に基づき画像処理部5が撮影画像に対して被写体認識処理を行う。具体的には、ステップS13では、撮影画像におけるエッジの量や方向、濃度値、色、輝度値等の特徴量を解析することにより、車両や自転車、歩行者、車線、ガードレール、ブレーキランプ等(以下「対象物」という)が検出される。なお、被写体認識処理は、複数のフレーム画像に対して行ってもよいし、複数のフレーム画像のうちの一部(少なくとも1つのフレーム画像)に対して行ってもよい。ステップS14では、制御部1の制御下で、ステップS11で取得した視差画像とステップS13で検出した対象物とに基づいて測距演算部6が対象物の距離情報を演算する。
なお、ステップS12の処理と、一連の処理であるステップS11,S13,14の処理とは、上記の通りに行われてもよいし、並行して行われてもよい。また、ステップS13とステップS14の順番を入れ替えてもよい。その場合、まず、ステップS14では、制御部1の制御下で、ステップS11で取得した視差画像に基づいて測距演算部6が距離情報を各画素で演算して距離画像(デプスマップ)を生成する。そして、ステップS13では、制御部1の制御下で、ステップS11で取得した撮影画像とステップS14で生成した距離画像とに基づいて画像処理部5が対象物を検出する。なお、フォトダイオードPD2からの出力信号により生成された第2の画像とフォトダイオードPD3からの出力信号により生成された第3の画像とから視差を求めて、デフォーカス量や対象物までの距離を求める方法は、周知であるため、ここでの説明を省略する。例えば、US2015/0097991A1に、当該方法についての説明がある。
ステップS15において制御装置55は、ステップS14で求められた距離情報に基づき、対象物までの距離が予め定められた設定距離内にあるか否か(設定距離内に対象物(=障害物)が存在するか否か)を判定する。そして、制御装置55は、設定距離内に対象物が存在する場合に、ステップS12で取得した車両情報(特に移動速度及び移動方向)と対象物の位置及び対象物までの距離に基づき、設定距離内の対象物に対する衝突可能性の有無を判定する。なお、路面状況に関する情報の取得が可能な構成を有する自動車50であれば、ステップS15の処理では、路面情報(乾いた路面か濡れた路面か)に応じて設定距離を変える(濡れた路面であれば設定距離を長くする)ようにしてもよい。
制御装置55は、衝突可能性がないと判定した場合(S15でNO)、処理をステップS11へ戻し、衝突可能性があると判定した場合(S15でYES)、処理をステップS16へ進める。ステップS16では、制御装置55の制御下で、警報装置52と制動装置53による衝突回避動作を行う。衝突回避動作としては、警報装置52による運転手に対する警報発令や、制動装置53によるブレーキング、低速ギアへの移行、エンジン出力の抑制等が挙げられるが、これらに限定されるものではない。制御装置55は、ステップS16の後、処理をステップS11へ戻す。以上のフローにより、正確に対象物(障害物)を検知して、衝突回避或いは衝突時の被害軽減を図ることができる。
ここでは、撮像装置100が取得した画像情報と距離情報に基づく衝突回避制御について説明した。しかし、これに限定されず、先行車への自動追従制御や車線内中央の走行維持制御、車線逸脱防止制御は、ステップS15での判定基準が異なるだけであり、図13のフローチャートに従う同様の手法によって実現することができる。
上記の自動車50のシステム構成では、撮像装置100は自動車50の車両前方のみに装着されているが、撮像装置100を車両後方の撮影が可能な位置に取り付けて、画像情報及び距離情報を自動車50の後退時の運転支援に用いることもできる。また、撮像装置100が取得した画像情報と距離情報は、運転支援に限らず、自律運転にも適用が可能である。更に、撮像装置100は、自動車(乗用車、トラック、バス、特殊車両、自動二輪車等を含む)限らず、画像情報と距離情報に基づく動作制御が可能な各種の移動体、例えば、船舶や鉄道車両、航空機或いは産業用ロボット等への適用が可能である。加えて、撮像装置100は、移動体に搭載される用途に限られることなく定点カメラとしても用いることができ、例えば、交差点監視システム、高度道路交通システム(ITS)等の広く物体認識を利用するシステムに適用することができる。
なお、自動車50のシステム構成において、撮像装置100の撮像光学系2及び撮像素子10以外の各部の機能を自動車50の制御装置55に持たせた構成としても構わない。つまり、撮像装置100の光学系及び撮像素子と制御系とを分離した構成として、制御系の機能を制御装置55の機能に統合したシステム構成としてもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
例えば、上記実施形態では、図4に示したように、撮像画素と測距画素とでフォトダイオードの配置や形状を異ならせた構成について説明した。これに対して、撮像画素と測距画素とでフォトダイオードの配置や形状を異ならせずに、撮像画素と測距画素のそれぞれに遮光膜を設けることによって各画素が有するフォトダイオードに入射する光束を制御する構成としてもよい。図14(a)は、遮光膜71を設けた撮像画素25の概略構成を示す断面図であり、図14(b)は、遮光膜72を設けた測距画素35の概略構成を示す断面図であり、図14(c)は、遮光膜73を設けた測距画素36の概略構成を示す断面図である。撮像画素25と測距画素35,36とでは、フォトダイオードPDの配置と形状が同じとなっている。撮像画素25の感度と光束の入射角度との関係は、図4(c)と同様になる。測距画素35の感度と光束の入射角度との関係は、図4(e)のフォトダイオードPD2と同様になる。測距画素36の感度と光束の入射角度との関係は、図4(e)のフォトダイオードPD3と同様になる。例えば、図6の画素配置において、撮像画素21に代えて撮像画素25を、測距画素33に代えて測距画素35を、測距画素34に代えて測距画素36をそれぞれ配置することによっても、図6の構成と同様の効果を得ることができる。なお、撮像素子10は、表面照射型であってもよいし、裏面照射型であってもよい。裏面照射型の場合には、画素間のクロストークを低減するために、画素境界にタングステンからなる遮光膜を設けてもよい。