JP2008157851A

JP2008157851A - カメラモジュール

Info

Publication number: JP2008157851A
Application number: JP2006349166A
Authority: JP
Inventors: Takashi Ota; 高志太田; Satoshi Tamaki; 悟史玉木; Tsuguhiro Korenaga; 継博是永; Tomokuni Iijima; 友邦飯島
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-12-26
Filing date: 2006-12-26
Publication date: 2008-07-10

Abstract

【課題】赤外カットフィルタをＯＮ／ＯＦＦするための機械的な機構を設けることなく、昼間の色再現性と夜間の感度とを両立して昼夜連続で利用可能な小型、薄型で、対象物までの距離を測定することのできるカメラモジュールを提供する。
【解決手段】レンズ１と、光学フィルタ２と、多数の画素を有する撮像領域４とを有する撮像ユニットを複数備えたカメラモジュールであって、前記複数の撮像ユニットは、赤色光撮像ユニットと、青色光撮像ユニットと、緑色光撮像ユニットと、赤外光撮像ユニットとを有し、前記赤色光撮像ユニット、前記青色光撮像ユニット、前記緑色光撮像ユニットのうちのいずれか一つの撮像ユニットと、前記赤外光撮像ユニットとはそれぞれ２つあり、前記複数の撮像ユニットのそれぞれの撮像領域から出力される画像情報を比較演算する演算回路５を備え、前記複数の撮像ユニットのそれぞれの前記レンズを一体化する。
【選択図】図１

Description

本発明は、昼夜兼用で利用可能な、小型、薄型で、かつ対象物までの距離を測定することのできるカメラモジュールに関するものである。

従来、２台のカメラ、すなわちステレオカメラを用いて、対象物までの距離を視差により測定する方法では、それぞれのカメラの機械的な取付け誤差が存在する。例えば、２台のカメラの各光軸間距離や光軸間の平行度のずれはステレオ画像における視差の誤差となって現れ、それによって算出された距離は正確な距離からかけ離れた値となってしまう。そのため信頼度の高い距離情報を得るためには、高精度な取付け機構や、取付け誤差を補正するための複雑な画像処理が必要となる。例えば特許文献１には、ステレオカメラの取付け誤差を補正する方法として、一方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線の交点から第１の消失点を算出し、同様に他方の撮像平面において、距離方向に延在する互いに平行な複数の近似直線の交点から第２の消失点を算出し、第１の消失点と第２の消失点のズレ量に基づいて誤差を補正している。具体的には、左右両側に存在する道路の白線を検出し、その白線のエッジを利用して、消失点を算出している。

一方、夜間の認識率を上げるため、１台の可視光カメラと、１台の赤外線カメラとを組み合わせて、それぞれの撮像情報を画像処理し、夜間の認識率を高くするような画像処理方法が提案されている。例えば特許文献２には、２値化された可視画像のテールランプ等の高輝度部分に対応する温度情報に基づいて赤外画像の２値化用閾値を決定し、２値化された赤外画像に基づき車両を認識している。

近年、特に車載や監視カメラにおいては、昼間における対象物までの距離計測だけでなく、夜間における距離計測の必要性が高まっている。

そのため、昼間測定用の可視光カメラ２台と夜間測定用の近赤外カメラ２台を組み合わせる距離測定システムが提案されている。
特開２００３−８３７４２号公報特開平１０−２５５０１９号公報特開２００４−１２８６３号公報

しかしながら、ステレオ視により距離を算出する場合、可視光用、近赤外用の各２台のカメラの取付け精度を高精度化、もしくは、誤差補正のための複雑な演算処理が必要となり、レイアウト性、コストアップの要因となっている。

また、特許文献３では、被写体までの距離を演算するための近赤外用の２個の測距レンズと、可視光用の撮影レンズ１個とを、同一平面上に配置したレンズモジュールを用いている。しかし、この構成では、測距レンズ群と撮影レンズとが別構成であり、あくまでも、測距レンズは自動焦点調節機能（ＡＦ）のための撮影レンズの移動量を算出するものであり、対象物の撮像は撮影レンズで行っている。したがって、測距用と撮影用とで独立した光学系が必要となり、部品点数、スペースが多く必要となり、コストアップや、カメラが大型化する問題がある。

上記課題を解決するため、本発明に係るカメラモジュールは、レンズと、光学フィルタと、多数の画素を有する撮像領域とを有する撮像ユニットを複数備えたカメラモジュールであって、前記複数の撮像ユニットは、赤色光を撮像する赤色光撮像ユニットと、青色光を撮像する青色光撮像ユニットと、緑色光を撮像する緑色光撮像ユニットと、赤外波長帯の光を撮像する赤外光撮像ユニットとを有し、前記赤色光撮像ユニット、前記青色光撮像ユニット、前記緑色光撮像ユニットのうちのいずれか一つの撮像ユニットと、前記赤外光撮像ユニットとはそれぞれ２つあり、前記複数の撮像ユニットのそれぞれの撮像領域から出力される画像情報を比較演算する演算回路を備え、前記複数の撮像ユニットのそれぞれの前記レンズが一体化されているカメラモジュールである。

本発明のカメラモジュールは、カラー画像の撮影のみならず、昼間、夜間を問わず対象物の距離測定が可能となる。また、昼間、夜間の距離測定用の演算回路を共有化することにより、システムの小型化に有利である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１のカメラモジュールの分解斜視図であり、図２はカメラモジュールの側面からみた断面図である。

図２において、１はレンズモジュール、２は光学フィルタモジュール、３は基板、４ａ〜４ｃは撮像領域、５はデジタルシグナルプロセッサ（ＤＳＰ）等からなる演算回路である。図１の図中の矢印は被写体からの光線を意味している。図２において、６は、レンズモジュール１、光学フィルタモジュール２を支持固定し、基板３と固定を行う固定台である。

図１において、レンズモジュール１は、同一平面内に１ａ〜１ｆのレンズ６個が一体で形成されている。各レンズは、光の３原色である、赤色、青色、緑色及び赤外（ＩＲ）の光に対して、要求されるＭＴＦ等の光学仕様を満足するよう個々に設計されている。レンズ１ａ〜１ｆは、ガラス、あるいはプラスチックなどで構成され、光学フィルタモジュール２を通過した対象物からの光を、各撮像領域４ａ〜４ｆ上に結像させる役割を果たす。レンズ１ａは緑色、１ｂは赤色、１ｃは赤外、１ｄは青色、1ｅは緑色、１ｆは赤外の各波長帯域に合わせた設計となっている。

光学フィルタモジュール２も、レンズモジュール１と同様、２ａ〜２ｆの光学フィルタから形成されており、対応するレンズ毎に赤色、青色、緑色及び赤外それぞれの波長帯域のみを透過するように設計されている。すなわち、２ａは緑色、２ｂは赤色、２ｃは赤外、２ｄは青色、２ｅは緑色、２ｆは赤外の各波長帯域の光を透過させる。撮像領域４ａ〜４ｆは、ＣＣＤ等の撮像センサである。上記レンズモジュール１の各レンズ１ａ〜１ｆを通過した光は、２ａ〜２ｆの各光学フィルタを透過し、赤色、青色、緑色、赤外の各波長帯域のそれぞれの光がそれぞれの撮像領域に結像する。その結果、撮像領域４ａは緑色の波長帯域の光を結像し、撮像領域４ｂは赤色の波長帯域の光を結像し、撮像領域４ｃは赤外の波長帯域の光を結像し、撮像領域４ｄは青色の波長帯域の光を結像し、撮像領域４ｅは緑色の波長帯域の光を結像し、４ｆは赤外の波長帯域の光を結像することになる。即ち、対象物からの光を、赤色、緑色、青色、赤外の各波長帯域に分離してそれぞれ結像することになる。各撮像領域４ａ〜４ｆは、色毎に分離した光を各撮像領域上に結像し、受光した光の強度に応じて、光電変換した電気信号（図示せず）として、画像情報をそれぞれ出力する。光電変換されたそれぞれの電気信号に対して、様々な演算処理、即ち、画像処理を行う。たとえば４ａ、４ｂ、４ｄ、４ｅの４つの撮像領域で撮影された画像を合成してカラー画像を作成する等の画像処理を行う。これらの演算処理は、ＤＳＰ５等を用いて実施される。

なお、１つのレンズと、それに対応する光学フィルタ、撮像領域からなる一組の撮像単位を撮像ユニットと定義する。

以上のように構成されたカメラモジュールにおいて、昼間においては、被写体からの緑色の光はレンズ１ａ、１ｅ、光学フィルタ２ａ、２ｅをそれぞれ透過し、撮像領域４ａ、４ｅにそれぞれ結像する。撮像領域４ａ、４ｅで撮像される画像は同じ緑色であるため、視差の分だけずれた画像となる。したがって、それぞれ光電変換した結果得られる電気信号、即ち画像情報を演算処理することによって、各撮像ユニット間の視差を算出し、視差から対象物までの距離が演算できる。

同様に夜間においては、赤外光源で被写体を照明すると、被写体からの赤外光はレンズ１ｃ、１ｆ、光学フィルタ２ｃ、２ｆをそれぞれ透過し、撮像領域４ｃ、４ｆでそれぞれ結像する。撮像領域４ｃ、４ｆで撮像される画像は同じ赤外光の画像情報であるため、視差の分だけずれた画像となる。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

図４を用いて測定原理について説明する。撮像領域（撮像面）４ａの画像を基準画像とする。撮像領域４ａをある特定のブロックに分割し、たとえば、８×８画素のブロック毎に分割する。そして、４ａのあるブロックと相関を有する領域を他方の撮像領域４ｅの画像において探索し特定する。そしてこの画素ブロックの視差、すなわち画素ブロックの相対的なズレ量すなわち視差に基づき対象物までの距離を算出する。

図５は、本実施の形態におけるカメラモジュールの各ユニットの配置図を示す。

昼間時について、図４において、対象物までの距離をＤとし、レンズ１а、１ｅは同一レンズであり、その焦点距離をｆとし、レンズ１ａ、１ｅのレンズ間距離をＬとし、そして、視差をΔａとすると、対象物までの距離は（数１）を用いて求めることができる。

上記構成においては、レンズ１ａ、１ｅはレンズモジュールとして一体的に形成されているため、レンズ間の距離は、２台のカメラを用いて組み立てた場合に比べてはるかに高精度、かつ安定にレンズ間距離を保持することができ、高精度に対象物までの距離を演算で求めることができる。

昼間においては赤、緑、青色の波長帯域の光が対象物からカメラモジュールに入射するため、例えば、４ａ、４ｂ、４ｄの撮像領域から得られた映像信号を、視差を考慮して合成することで、１枚のカラー画像を得ることも同時に可能となる。緑色の撮像領域４ａ、４ｅの画像情報より、基準画像４ａに対する４ｅの相対的なズレ量から、赤、青色のそれぞれの画像の基準画像４ａに対するズレ量を算出し、算出結果に基づき赤、青色の画像を補正し、基準画像４ａと合成することで、視差補正をした後、色ずれのないカラー画像を得ることができる。

また、カラー画像を用いて、形状認識を実施する場合、赤、緑、青色の波長成分より、輝度、色相、彩度の３成分を抽出することが可能となり、幾何的に連結したひとつの領域は色が似ていることより、色情報を特徴量とすることができ、白黒画像に比べて形状認識精度も格段に向上することが可能となる。

また、夜間時における距離の測定原理についても、基本的には昼間時と同様である。すなわち、レンズ１ｃ、１ｆが同一レンズであり、その焦点距離をｆとし、レンズ１ｃ、１ｆのレンズ間距離はＬ／√２とし、距離がＤの対象物を見る場合、視差Δｂは（数２）により求められる。なお、夜間においては、赤外波長の光源を設けて対象物を照らことが好ましい。

距離Ｄにある対象物はレンズ１ａ、１ｅの比較ではΔａの視差分だけずれ、レンズ１ｃ、１ｆの比較ではΔａ／√２の視差分だけずれている。

その一方で撮像領域の単位ピクセルをｐとした場合、７１ａ、７１ｂ方向の画素のピッチはそれぞれ√２ｐ、ｐとなる。

すなわち、レンズ１ａ、１ｅでは視差量は大きいが、視差が生じる方向（ここでは７１ａ）の画素ピッチも粗くなる。

（数１）より対象物の距離Ｄが大きくなるほど視差は小さくなる。したがって、細かい視差まで読み取れるほど、遠くの対象物の距離測定が可能となる。

各画素を直接比較して視差の読み取りを行う場合、７１ａ、７１ｂ方向の画素のピッチはそれぞれ√２ｐ、ｐであり、距離Ｄにある対象物はレンズ１ａ、１ｅの比較ではΔａの視差分だけずれ、レンズ１ｃ、１ｆの比較ではΔａ／√２の視差分だけずれているので、７１ａ、７１ｂ方向の画素のピッチに相当する視差を持つ対象物の距離はまったく同じになる。

また、夜間においては赤外の波長帯域に感度を有しているため、例えば、撮像領域４ｃから得られた画像情報を用いて１枚の白黒画像を得ることも同時に可能となる。

そして、レンズ１ａ、１ｅ、あるいは１ｃ、１ｆはレンズモジュールとして一体的に形成されているため、レンズ間の距離は、２台のカメラを用いて組み立てた場合に比べてはるかに高精度にレンズ間距離を確保することができ、高精度に対象物までの距離を演算で求めることができる。

ここで、３原色の各色フィルタはそのまま用いても構わないが、好ましくは、当該３原色の色フィルタは、必ずしも１枚のフィルタである必要はなく、赤外光を遮断する特性を有していることが望ましい。例えば、３原色の色フィルタと赤外カットフィルタとを重ねて配置してもよいし、ＲＧＢの各分光特性に赤外カットフィルタの分光特性を掛け合わせた特性を有する色フィルタを構成し、これを配置するようにしても良い。

本カメラモジュールでは昼間と、夜間では動作モードの変更を行う。

第１のモードでは、可視光の光電変換信号、すなわち、ＲＧＢの色フィルタ（赤外カットフィルタの分光特性が掛け合わされたもの）が配置された撮像領域の情報を主に利用して測距演算を行う。ここで言う「主に利用する」とは、Ｇフィルタが配置された撮像領域からの信号出力が、赤外フィルタが配置された撮像領域からの信号出力よりも大きいことを意味する。この第１のモードはカラー画像に適しており、昼間時に利用するモードである。

一方、第２のモードでは、赤外光の光電変換信号、すなわち、ＩＲフィルタが配置された撮像領域の情報を主に利用して測距演算を行う。ここで言う「主に利用する」とは、ＩＲフィルタが配置された撮像領域からの信号出力が、緑フィルタが配置された撮像領域からの信号出力よりも大きいことを意味する。この第２のモードは感度が高く、夜間時に利用するモードである。

以上詳しく説明したように、本実施の形態によれば、昼間などの比較的明るいときは第１のモードで、夜間などの比較的暗いときは第２のモードで画像生成と対象物の距離測定を行い、昼間のカラー画像の色再現性向上と夜間の感度向上との両立を図ることができる。

また、本実施の形態では、光学フィルタ２のフィルタ配列を工夫し、ＲＧＢＧの４つの撮像領域に対してのみ赤外カットフィルタをかけ、ＩＲの２撮像領域には赤外カットフィルタはかけないようにしている。そして、第１のモードと第２のモードの切り替えを撮像領域からの電気信号に基づいてソフトウェア的に決めているので、赤外カットフィルタをＯＮ／ＯＦＦするための機械的な機構を設ける必要がなく、撮像装置の小型軽量化、コストダウン、信頼性の向上を図ることができる。

また、上記実施の形態では、各撮像領域の信号出力からモードの切り替えを行ったが、可視光の照度を検出するための専用の受光素子を設けても良い。

そして、第２のモードにおいて、被写体に赤外光を照射して撮影を行うことにより、いままで撮影できなかったより暗い被写体の撮影（例えば、真っ暗闇での撮影）も可能となる。上記実施の形態ではレンズモジュール１を図１のように構成したが、これらの構成要素に加えて、赤外照明用の発光素子（赤外発光ＬＥＤなど）を更に備えるようにしても良い。

また、上記実施の形態では、本実施の形態のカメラモジュールはデジタルカメラに限定されない。例えば、デジタルビデオカメラ、カメラ付き携帯電話機、監視カメラ、カメラ付きＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）などにも適用することが可能である。これらの端末は、昼間の明るい被写体から夜間の暗い対象物を撮影する機会が多いので、本実施の形態を適用して好適なものである。

また、以上に説明した撮像領域４は、光電変換信号の読み出し方式としてプログレッシブ方式（全画素読み出し方式）およびフレーム読み出し方式の双方に適用することが可能である。

（実施の形態２）
図６は、実施の形態２のカメラモジュールのユニットの配置図である。なお、実施の形態１と同様の説明、記載については省略する。図６の９ａと９ｅは赤外領域の波長のユニット、９ｂと９ｄは緑色の波長を撮像するユニット、９ｃは青色、９ｆは赤色の波長をそれぞれ撮像するユニットである。

昼間においては、図１において、被写体からの緑色の光線はレンズ１ｂ、１ｄ、光学フィルタ２ｂ、２ｄをそれぞれ透過し、撮像領域４ｂ、４ｄでそれぞれ結像する。撮像領域４ｂ、４ｄで撮像される画像は同じ緑色であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

同様に夜間においては、図１において、別途、赤外光源で対象物を照明した場合、対象物からの赤外光線はレンズ１ａ、１ｅ、光学フィルタ２ａ、２ｅをそれぞれ透過し、撮像領域４ａ、４ｅでそれぞれ結像する。撮像領域４ａ、４ｅで撮像される画像は同じ赤外の像であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

また、２つの赤外光を撮像するユニットおよび２つの緑色光を撮像するユニットはそれぞれ斜め方向に配置している為、縦線、横線のいずれか一方の模様や外形がある場合でも、両方の対象物の検知が可能である。

なお、各ユニットの撮像領域は、複数の撮像領域を用いるよりも一つの撮像領域から分割して構成したほうが、対象物の距離測定の精度、測定安定性が向上し望ましい。

（実施の形態３）
図７は、実施の形態３のカメラモジュールの各ユニットの配置図である。なお、実施の形態１と同様の説明、記載については省略する。図７の１０ａと１０ｆは赤外領域の波長のユニット、１０ｃと１０ｄは緑色の波長を撮像するユニット、１０ｂは青色、１０ｅは赤色の波長をそれぞれ撮像するユニットである。

昼間においては、図１において、被写体からの緑色の光線はレンズ１ｃ、１ｄ、光学フィルタ２ｃ、２ｄをそれぞれ透過し、撮像領域４ｃ、４ｄでそれぞれ結像する。撮像領域４ｃ、４ｄで撮像される画像は同じ緑色であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

同様に夜間においては、図１において別途、赤外光源で被写体を照明した場合、被写体からの赤外光線はレンズ１ａ、１ｆ、光学フィルタ２ａ、２ｆをそれぞれ透過し、撮像領域４ａ、４ｆでそれぞれ結像する。撮像領域４ａ、４ｆで撮像される画像は同じ赤外の像であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

（実施の形態４）
図８は、実施の形態４のカメラモジュールの各ユニットの配置図である。なお、実施の形態１と同様の説明、記載については省略する。図８の１１ａと１１ｃは赤外領域の波長のユニット、１１ｄと１１ｆは緑色の波長を撮像するユニット、１１ｂは青色、１１ｅは赤色の波長をそれぞれ撮像するユニットである。

昼間においては、図１において、被写体からの緑色の光線はレンズ１ｄ、１ｆ、光学フィルタ２ｄ、２ｆをそれぞれ透過し、撮像領域４ｄ、４ｆでそれぞれ結像する。撮像領域４ｄ、４ｆで撮像される画像は同じ緑色であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

同様に夜間においては、図１において、別途、赤外光源で被写体を照明した場合、被写体からの赤外光線はレンズ１ａ、１ｃ、光学フィルタ２ａ、２ｃをそれぞれ透過し、撮像領域４ａ、４ｃでそれぞれ結像する。撮像領域４ａ、４ｃで撮像される画像は同じ赤外の像であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

また、昼夜それぞれの波長帯域で視差検出を行うので測定分解能も向上する。

例えば３フィールドのインターレース型の撮像素子を用いる場合、撮像領域の横方向に第１の走査線、第２の走査線、第３の走査線、第１の走査線・・・の順で配列しておき、第１の時間フィールドでは第１の各走査線上の画素情報を一度に読み出し、第２の時間フィールドでは第２の各走査線上の画素情報を一度に読み出し、第３の時間フィールドでは第３の各走査線上の画素情報を一度に読み出す。

本実施の形態では、１１ａと１１ｃは赤外領域の波長のユニット、１１ｄと１１ｆは緑色の波長を撮像するユニットはそれぞれ走査線と平行に配置しているため、第１〜第３の全時間フィールドの画素情報は必要なく、第１の時間フィールドだけで視差検出ができる。

このため、距離測定の演算処理に必要な画素情報データが少なくすむために、距離検出時間が短縮でき、応答性の向上や、演算回路規模の縮小が可能であるとともに、同じフィールドの画素情報を比較するために、動きの激しい対象物であっても、時間差による被写体像のずれが起こりにくく、距離測定精度の低下が防げるという特長を有する。

（実施の形態５）
図９は、実施の形態５のカメラモジュールの各ユニットの配置図である。なお、実施の形態１と同様の説明、記載については省略する。図９の１２ｄと１２ｅは赤外領域の波長のユニット、１２ｂと１２ｃは緑色の波長を撮像するユニット、１２ａは青色、１２ｆは赤色の波長をそれぞれ撮像するユニットである。

昼間においては、図１において、対象物からの緑色の光線はレンズ１ｂ、１ｃ、光学フィルタ２ｂ、２ｃをそれぞれ透過し、撮像領域４ｂ、４ｃでそれぞれ結像する。撮像領域４ｂ、４ｃで撮像される画像は同じ緑色であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

同様に夜間においては、図１において、別途、赤外光源で被写体を照明した場合、被写体からの赤外光線はレンズ１ｄ、１ｅ、光学フィルタ２ｄ、２ｅをそれぞれ透過し、撮像領域４ｄ、４ｅでそれぞれ結像する。撮像領域４ｄ、４ｅで撮像される画像は同じ赤外光の像であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

本実施の形態では１２ｄと１２ｅは赤外領域の波長のユニット、１２ｂと１２ｃは緑色の波長を撮像するユニットはそれぞれ走査線と平行に配置しているため、第１〜第３の全時間フィールドの画素情報は必要なく、第１の時間フィールドだけで視差検出ができる。

（実施の形態６）
ＣＣＤ等の撮像素子を通して得られる画像の各画素からの出力は、受光面すなわち光センサに入射する照度で決定される。このとき受光面は面積を持っているので、ＣＣＤの１画素に入射した光の画素値は、受光面の各点における光の強さを積分した値となる。図１０においてハッチングを施した領域が１画素の領域となる。また、画素の中心間距離が画素ピッチとなる。

実施の形態１で説明してきた三角測量法を用いて被写体までの距離を測定する方法では、２つの画像から得られる相対的なズレ量を、上述したような、ＣＣＤの１画素から出力される輝度値を用いて演算していることになる。すなわち、１画素内に異なる距離情報等をもつ画像を撮像しているが、実際には、各点の情報を平均化した１画素の情報を用いて処理していることになる。

そこで、各画素の情報だけではなく、画素間の輝度情報を求めることができれば、対象物までの距離の測定精度を上げることが可能となることがわかる。その場合、レンズ間距離を短く保ったままで、被写体までの距離を測定する際、より遠くの距離まで精度よく測定することが可能となることがわかる。

そこで、図１１（ａ）に示すように、１画素よりも小さい領域（これをサブピクセルとよぶ）を設定する。この場合、１画素は５×５のサブピクセルの集合で構成されることになる。図１１（ａ）において、実線で囲まれた領域が１画素、点線で囲まれた領域がサブピクセルである。一つのサブピクセルはハッチングを施した領域となる。

対象物までの距離を測定する際、実施の形態１での説明と同様に、基準画像となる４ａのあるブロックと相関を有する領域を他方４ｅの画像において探索し特定する際に、１画素単位で相関をとるのではなく、前述のサブピクセル単位で相関をとることで、対象物までの距離の測定精度を上げることが可能となる。また、レンズ間距離を短く保ったままで、対象物までの距離を測定する際、近くの距離から、より遠くの距離まで精度よく測定することが可能となる。実施の形態１で説明した例では１画素ピッチで視差を測定し距離を算出した。その場合、１ピクセルのズレ量である約２０ｃｍ以上はなれた対象物の距離算出ができなくなる。その一方で、１画素を１／５のブロックのサブピクセル化することで、その被写体までの距離は約１０ｍまで測定が可能となる。サブピクセルの画素値を求める方法として、撮像領域の１画素より出力される画素値から、線形補間により内挿して求める方法がある。

図１１（ｂ）で２×２のサブピクセルに分割した例で説明する。

１画素より出力される画素値は画素の中心位置にあるとし、サブピクセルより出力される画素値もその画素の中心位置にあると表現し、１画素の各画素値をそれぞれ、Ｐ（ｉ、ｊ）、Ｐ（ｉ，ｊ）、Ｐ（ｉ，ｊ）、Ｐ（ｉ，ｊ）とし、求めたいサブピクセルの画素値をＰ、各画素値からサブピクセルの画素値までの距離をそれぞれａ１、ａ２、ｂ１、ｂ２とすると、算出したいサブピクセルの画素値Ｐは（数３）で求めることができる。

なお、サブピクセルの画素値を求める際に、サブピクセル内のエッジの有無を検出し、近接するサブピクセルの画素値を用いて補間する方法や、線形補間とエッジ検出とを組み合わせて補間する等して求めることができる。また、本実施の形態では、２×２、５×５のサブピクセルに分割した事例を説明したが、必要な精度等により、分割数を決定すればよい。

（実施の形態７）
図１２は、実施の形態７のカメラモジュールの各ユニットの配置図である。なお、実施の形態１と同様の説明、記載については省略する。図１２の１３ｂと１３ｅは赤外領域の波長のユニット、１３ａと１３ｆは緑色の波長を撮像するユニット、１３ｃは青色、１３ｄは赤色の波長をそれぞれ撮像するユニットである。

昼間においては、図１において、対象物からの緑色の光線はレンズ１ａ、１ｆ、光学フィルタ２ａ、２ｆをそれぞれ透過し、撮像領域４ａ、４ｆでそれぞれ結像する。撮像領域４ａ、４ｆで撮像される画像は同じ緑色であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

同様に夜間においては、図１において、別途、赤外光源で対象物を照明した場合、対象物からの赤外光線はレンズ１ｂ、１ｅ、光学フィルタ２ｂ、２ｅをそれぞれ透過し、撮像領域４ｂ、４ｅでそれぞれ結像する。撮像領域４ｂ、４ｅで撮像される画像は同じ赤外の像であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

また、図４において、距離Ｄにある対象物はレンズ１ａ、１ｆの比較ではΔｃの視差分だけずれ、レンズ１ａ、１ｆの比較ではΔｃ／√５の視差分だけずれている。

その一方で撮像領域の単位ピクセルをｐとした場合、７１ｂ、７１ｃ方向の画素のピッチはそれぞれ√５ｐ、ｐとなる。

すなわち、レンズ１ａ、１ｆでは視差量は大きいが、視差が生じる方向（ここでは７１ｃ）の画素ピッチも粗くなる。

（数１）より対象物の距離Ｄが大きくなるほど視差は小さくなる。細かい視差まで読み取れるほど、遠くの対象物の距離測定が可能となる。

各画素を直接比較して視差の読み取りを行う場合、７１ｂ、７１ｃ方向の画素のピッチはそれぞれｐ、√５ｐであり、距離Ｄにある対象物はレンズ１ａ、１ｃの比較ではΔａの視差分だけずれ、レンズ１ａ、１ｆの比較ではΔｃ／√５の視差分だけずれているので、７１ｂ、６１ｃ方向の画素のピッチに相当する視差を持つ対象物の距離はまったく同じになり検知には有効である。

対象物までの距離を測定する際、実施の形態１での説明と同様に、基準画像となるブロックと相関を有する領域を他方の画像において探索し特定する際に、１画素単位で相関をとるのではなく、サブピクセル単位で相関をとることで、対象物までの距離の測定精度を上げることが可能となる。

（実施の形態８）
図１３は、実施の形態８のカメラモジュールの各ユニットの配置図である。なお、実施の形態１と同様の説明、記載については省略する。図１３の１４ａと１４ｃは赤外領域の波長のユニット、１４ｅと１４ｆは緑色の波長を撮像するユニット、１４ｂは青色、１４ｄは赤色の波長をそれぞれ撮像するユニットである。

昼間においては図１において、被写体からの緑色の光線はレンズ１ｅ、１ｆ、光学フィルタ２ｅ、２ｆをそれぞれ透過し、撮像領域４ｅ、４ｆでそれぞれ結像する。撮像領域４ｅ、４ｆで撮像される画像は同じ緑色であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

同様に夜間においては、図１において、別途、赤外光源で対象物を照明した場合、対象物からの赤外光線はレンズ１ａ、１ｃ、光学フィルタ２ａ、２ｃをそれぞれ透過し、撮像領域４ａ、４ｃでそれぞれ結像する。撮像領域４ａ、４ｃで撮像される画像は同じ赤外の像であるため、視差の分だけずれた画像である。それぞれ光電変換した結果得られる電気信号を処理して、各撮像画像データを基に視差を算出し、視差から対象物までの距離を演算する。

（実施の形態９）
図１４において、１００は自動車を上から見た図である。１０１〜１０４はカメラモジュール、１０１ａ〜１０４ａはカメラの画角である。１０５は先行車両、１０６は対向車両、１０７は道路の白線、１０８は歩行者である。複数のカメラモジュールを図１４のように各々画角ができるだけ重なり合うように配置することで、運転席からの死角をなくし、カメラモジュールから得られる撮像情報を用いて、歩行者１０８や、白線１０７、対向車両１０６、先行車両１０５の情報を検出することができる。なお、各々のカメラモジュールから得られる撮像結果を表示装置（図示せず）を用いて表示することも可能である。車両のデザイン、空力特性等を考慮すると、車両に複数個のカメラモジュールを搭載するには、形状として薄く小さいものが望まれる。本発明のカメラモジュールは、波長帯域毎にレンズ、光学フィルタ、撮像領域を使用しているため、単レンズ構成で実現することが可能であり、非常に薄型化が可能となる。また、同一波長帯域の光学系を少なくとも２つ有しているため、三角測量法を用い、対象物までの距離を測定することができ、車速、ハンドル舵角信号と組み合わせることで、さらなる予防安全を図ることが可能となる。さらに、可視光領域と赤外線領域の２つの撮像情報をあわせもつことから、対向車量のヘッドライト等の明るい状況から、夜間での歩行者等の暗い状況まで、距離情報と合わせて認識することが可能となる。さらには、可視光領域では、カラー画像を取得することが可能であるため、赤、緑、青色の波長成分より、輝度、色相、彩度の３成分を抽出することが可能となり、幾何的に連結したひとつの領域は色が似ていることより、色情報を特徴量とすることができ、白黒画像に比べて形状認識精度も格段に向上することが可能となる。なお、周囲の状況情報として車室外を想定しているが、車室内でも有効であることは言うまでもない。

（実施の形態１０）
自動車はある速度で移動しているため、進むべく方向の状況情報をより早く、正確に入手することが必要となる。図１５において、カメラモジュール１０３は車両前方の状況情報を得るためのカメラモジュールである。カメラが固定されて取付けられていると、車体の進行方向が変化して初めて、前方の状況情報を得ることが可能となる。より安全に、より早く前方の状況情報を得るために、図１５に示すように、カメラモジュール１０３を、ｚ軸２０２を中心に回転機構２００によって回転させる。ここで、ｘ、ｙ、ｚ軸は図１６に示す方向とする。車両進行方向をｘ軸、水平方向をｙ軸、それぞれと直交する方向をｚ軸とする。回転させる角度および位置決め整定までの時間は車速信号、ハンドル舵角信号を用いて、車両の進行方向を推定して決定する。このように、車両の進行方向を予測して、カメラモジュールをｚ軸を中心にして回転させることで、車体の進行方向が変化するより前に、進行方向の状況情報を得ることが可能となり、より高い安全性を提供することが可能となる。なお、カメラモジュールをｚ軸を中心に回転移動させるために、図１５では、回転台２００を用いているが、この例に限らず、図１７の例のように回転中心にトーションバー３０１を設け、ｘ軸方向に力Ｆ１（３０２）およびＦ２（３０３）を最適に加えることで、ｚ軸を中心に回転させる等レンズモジュールを回転させる機構は車両に取付けるスペース等に応じて最適な機構を採用すればよい。また、本実施の形態では、レンズが６個あるカメラモジュールについて説明したが、レンズが２つ以上であれば上記した高精度な測距が可能である。また、対象物までの距離を測定するために用いるレンズの配置も、視差、測距精度等より適切な配置を選択すればよい。そして、本実施の形態では、レンズから撮像領域までの光路は直線状であるが、プリズム等を用いて光路を曲げた反射型でも同様な効果が得られる。

本発明のカメラモジュールは、小型、薄型でカメラ機能を備えた携帯電話、デジタルスチルカメラ、監視用カメラ、車載カメラなどに有用である。

本発明の実施の形態１のカメラモジュールの分解斜視図本発明の実施の形態１のレンズモジュールの断面図本発明の視差計算を説明するための説明図本発明の実施の形態１の被写体距離を測定するための説明図本発明の実施の形態１のカメラモジュールの各ユニットの配置図本発明の実施の形態２のカメラモジュールの各ユニットの配置図本発明の実施の形態３のカメラモジュールの各ユニットの配置図本発明の実施の形態４のカメラモジュールの各ユニットの配置図本発明の実施の形態５のカメラモジュールの各ユニットの配置図本発明の実施の形態６の撮像センサの概念図本発明の実施の形態６のサブピクセルの概念図本発明の実施の形態７のカメラモジュールの各ユニットの配置図本発明の実施の形態８のカメラモジュールの各ユニットの配置図本発明の実施の形態９の車載カメラの説明図本発明の実施の形態１０のカメラモジュールの構成図本発明の実施の形態１０の基準軸の説明図本発明の実施の形態１０の他の回転機構の説明図従来における消失点の算出図

符号の説明

１レンズモジュール
１ａ〜１ｆレンズ
２光学フィルタモジュール
２ａ〜２ｆ光学フィルタ
３基板
４ａ〜４ｆ撮像領域
５デジタルシグナルプロセッサ
６固定台
７カメラモジュールの各ユニット
８カメラモジュールの各ユニット
９カメラモジュールの各ユニット
１０カメラモジュールの各ユニット
１１カメラモジュールの各ユニット
１２カメラモジュールの各ユニット
１３カメラモジュールの各ユニット
１４カメラモジュールの各ユニット

Claims

レンズと、光学フィルタと、多数の画素を有する撮像領域とを有する撮像ユニットを複数備えたカメラモジュールであって、
前記複数の撮像ユニットは、赤色光を撮像する赤色光撮像ユニットと、青色光を撮像する青色光撮像ユニットと、緑色光を撮像する緑色光撮像ユニットと、赤外波長帯の光を撮像する赤外光撮像ユニットとを有し、
前記赤色光撮像ユニット、前記青色光撮像ユニット、前記緑色光撮像ユニットのうちのいずれか一つの撮像ユニットと、前記赤外光撮像ユニットとはそれぞれ２つあり、
前記複数の撮像ユニットのそれぞれの撮像領域から出力される画像情報を比較演算する演算回路を備え、
前記複数の撮像ユニットのそれぞれの前記レンズが一体化されているカメラモジュール。
前記演算回路は、同じ波長帯の光を撮像する２つの前記撮像ユニットの撮像領域から出力される画像情報より、撮影された対象物までの距離を算出する請求項１記載のカメラモジュール。
前記演算回路は、同じ波長帯の光を撮像する２つの前記撮像ユニットの撮像領域から出力される画像情報より、撮影された対象物までの距離を算出し、前記算出された距離に基づいて前記赤色光撮像ユニットと前記青色光撮像ユニットと前記緑色光撮像ユニットのそれぞれの撮像領域から出力される画像情報を合成したカラー画像の画像情報を出力する請求項１記載のカメラモジュール。
同じ波長帯の光を撮像する２つの前記撮像ユニットが前記撮像領域の画素配列に対して斜めに配置されている請求項１記載のカメラモジュール。
同じ波長帯の光を撮像する２つの前記撮像ユニットが前記撮像領域の走査線方向と平行に配置されている請求項１記載のカメラモジュール。
前記演算回路は、前記撮像領域から出力される画像情報より内挿により画素間の画像情報を算出し、前記撮像領域から出力される画像情報及び前記内容により算出された画素間の画像情報より、撮影された対象物までの距離を算出する請求項２に記載のカメラモジュール。
赤外光照明用の発光素子をさらに備えた請求項１から６のいずれか１項に記載のカメラモジュール。
自動車に搭載され、周囲の状況情報を得る請求項１から７のいずれか１項に記載のカメラモジュール。