JP5860663B2 - ステレオ撮像装置 - Google Patents

Description

本発明は、複数の撮像素子を有するステレオ撮像装置に関する。

近年、ステレオカメラなど複数のカメラを用いて歩行者や車両などの障害物を検出する障害物検出装置が実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を、テンプレートマッチングにより算出し、算出した視差をもとに対象物の実空間上の位置を、周知の変換式により算出する装置である。

このステレオカメラは、左右２つの撮像素子で撮像した１対の画像を用いて、対象物の距離を算出し、対象物の認識を行うものである。

このステレオカメラを用いて、輝度差の大きい場面の画像を記録し、その画像の再生時に部分的にとびやつぶれによる輝度差が観賞者の感知できないという問題を解決するステレオ撮影可能であることが特許文献１に開示されている。

また、ステレオカメラではないが、特許文献２には、広ダイナミックレンジな立体画像や高精度な距離情報を得ることができる撮像装置が開示されている。

特開２０００−５６４１４号公報 特開２００３−１８６１７号公報

一般的なダイナミックレンジ（たとえば６０ｄＢ前後）の撮像素子では、輝度差が大きい場面、たとえば、夜間の道路面と先行車のブレーキランプを同時に撮像する場面や、トンネルの出入り口でのトンネル内とトンネル外を同時に撮像する場面においては、高輝度部分に露光をあわせると、その他の部分が暗くなる（以降、黒つぶれと呼ぶ。）。逆に、低輝度部分に露光をあわせると、高輝度部分が白く飽和してしまう（以降、白とびと呼ぶ。）。

こうした問題において、前記特許文献１のような従来技術では、ステレオ撮影可能なカメラにおいて、左右のカメラで露光時間を変えて撮像することができるが、左右の画像を合成出力することで左右の画像の明るさがなるべく等しく見えるように加工しているだけであり、視差画像を含む視差情報を得ることはできない。

さらに、ステレオ撮像装置における視差画像を含む視差情報を得るためには、２つの画像で同一輝度の画像が必要であるが、前記特許文献２のような従来技術では撮像するフレームごとに、長時間露光画像と短時間露光画像とを合成して、広ダイナミックレンジ画像を合成することはできるが、この場合、長時間露光画像と短時間露光画像を得るのに、少なくても、２フレーム以上が必要である。高速走行時は、撮像する時間が異なると、得られる画像の変化、すなわち撮像シーンの変化が大きくなり、視差画像を含む視差情報を正しく求めることは難しい。

本発明の目的は、輝度差が大きい場面で、撮像する全フレームにおいて、視差画像を含む視差情報を得ることができるステレオ撮像装置を提供することである。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、スレテオ撮像装置は、第１の画像と第１の画像と露光時間が異なる第２の画像を取得する画像取得部と、取得した第１の画像及び第２の画像の一方の画像に輝度補正を行う輝度補正部と、輝度補正部で補正された一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部と、取得した第１の画像及び第２の画像を合成して合成画像を生成し、出力する合成画像生成部と、第１の画像と、第１の画像と露光時間が異なる第２の画像と、視差画像と、合成画像と、のいずれかを選択して、出力する画像セレクタ部と、第１の画像と、第１の画像と露光時間が異なる第２の画像と、合成画像と、が入力され、入力された画像のいずれかを決定する画像判定部を有し、画像セレクタ部は、画像判定部で決定された画像を選択する構成とする。

本発明は、輝度差が大きい場面で、撮像する全フレームにおいて、視差画像を含む視差情報を得ることができるステレオ撮像装置を提供できる。

本発明に係るステレオ撮像装置の一実施例を示す図である。 図１の各工程における画像の例を示した図である。 本発明に係るステレオ撮像装置の他の実施例を示す図である。

以下、実施例を図面を用いて説明する。

本実施例では、ステレオ撮像装置１００について図１、図２を用いて説明する。

撮像素子を含む２つの画像を取得する装置として、たとえば、カメラモジュールがある。以降、左カメラ１１０（第１の撮像素子）と右カメラ１１１（第２の撮像素子）と呼ぶ。

左カメラ１１０と右カメラ１１１は、それぞれで異なる露光時間で撮像することができる。よって、同時に撮像したときに得られる画像（同一フレーム画像と呼ぶ）として、左カメラ１１０と右カメラ１１１とで、明るい画像２００（第１の画像）と暗い画像２１０（第１の画像より暗い第２の画像）を撮像できる。撮像状況や撮像対象によっては、常時、左右カメラにおいて異なる露光時間で撮像してもよいし、場合によっては、左右カメラにおいて同一の露光時間で撮像してもよい。本発明を説明する上で、以降、左カメラ１１０は明るい画像を得られる長い露光時間（第１の露光時間）で、右カメラ１１１は暗い画像を得られる短い露光時間（第１の露光時間より短い第２の露光時間）で設定されて、撮像されるものとする。

左カメラ１１０と右カメラ１１１で撮像された明るい画像２００、暗い画像２１０を画像取得部で取得し、取得した明るい画像２００、暗い画像２１０の明暗画像を視差演算部１０１と画像合成部１０４に入力する。視差演算部１０１では、画像の輝度補正ができる輝度補正部であるゲイン・オフセット補正部１０２に入力される。このゲイン・オフセット補正部１０２は、明るい画像２００と暗い画像２１０の輝度を合わせる。予め、左カメラ１１０と右カメラ１１１の露光時間を記憶しているので、そこから求められるゲイン値およびオフセット補正値により、左右の明暗画像の輝度を合わせる補正をする。輝度差が合った左画像２０１と右画像２１１を用いて、視差計算部１０３にてステレオ視差画像２２０および視差情報２２１を算出する。

一方で、画像合成部１０４に入力された左右の明暗画像を元に、合成画像生成部１０５にて、「白とび」と「黒つぶれ」を補完し合い、広ダイナミックレンジ画像２３０を生成する。ここで、合成画像生成のための情報として、視差計算部１０３で算出した視差情報２２１を用いて、左カメラ１１０で撮像した明るい画像と、右カメラ１１１から撮像した暗い画像において、合成画像を生成するのに適した画像領域を選択して、当該画像において「白とび」と「黒つぶれ」を補完することもできる。

前記構成にて、左カメラ１１０からの明るい画像２００、右カメラ１１１からの暗い画像２１０、ステレオ視差画像２２０、および、広ダイナミックレンジ画像２３０を生成することができる。

ここで、左カメラ１１０からの明るい画像２００（第１の画像）と、右カメラ１１１からの暗い画像２１０（第２の画像）と、ステレオ視差画像２２０（視差画像）と、広ダイナミックレンジ画像２３０（合成画像）と、のいずれかを画像セレクタ部１０６にて選択して、出力する。

たとえば、後段の画像処理部１１２では、画像処理アプリケーションに適した画像を、前記の中から、画像セレクタ部１０６にて選択して、画像処理を行うことができる。

以上のように、本発明のステレオ撮像装置によれば、撮像素子がもつダイナミックレンジ性能以上の広ダイナミックレンジ画像を１フレームの撮像画像から合成して生成して、かつ、従来同様の視差画像を含む視差情報を得ることができるため、１つのステレオ撮像装置にて、多機能画像処理を実現できる。

本実施例では、第１の実施例とは異なり、画像判定・画像選択が行えるステレオ撮像装置の例を説明する。

図３は、実施例２におけるステレオ撮像装置４００を示す構成図の例である。

図１のステレオ撮像装置１００のうち、すでに説明した図１に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。

図３のステレオ撮像装置４００では、図１のステレオ撮像装置１００に、画像判定部４０１を備える。画像判定部４０１の結果が左カメラ１１０と右カメラ１１１、および画像セレクタ部１０６に接続される。また、画像セレクタ部１０６には、外部の画像選択部４１１が接続される。

ステレオ撮像装置１００と同様に、明るい画像２００（第１の画像）と、暗い画像２１０（第１の画像より暗い第２の画像）、および、広ダイナミックレンジ画像２３０を元に、画像判定部４０１にて、画像処理部１１２で必要になる画像を決定し、画像判定部４０１からの情報により、画像セレクタ部１０６において、画像を選択する。

画像セレクタ部１０６では、画像判定部４０１からの指示で選択する他に、外部の画像選択部４１１からの画像選択指令に基づいて、画像を選択することもできる。

また、画像判定部４０１で、撮像状況における露光時間を決定し、左カメラ１１０と右カメラ１１１の露光時間を直接制御することもできる。つまり、撮像素子の露光時間を決定し、撮像素子へ決定された露光時間を出力する。これにより、左右の露光時間調整機能に加えて、フレームごとに露光時間を調整し、フレームごとにも明るい画像と暗い画像を撮像することができる。さらに、たとえば、スモールライト点灯情報などの外部要因４１２（外部要因情報）から、撮像シーンが夜間である（全体的に暗い画像になっていると）認識させて、明るい画像と暗い画像を得るための露光時間を制御することもできる。

前記のように、左カメラ１１０と右カメラ１１１の露光時間を、同一フレームで明るい画像と暗い画像を取得することができ、かつ、異なるフレーム間で明るい画像と暗い画像を取得することもできる。

以上のように、本発明によれば、当該ステレオ撮像装置で得られた画像のなかから、画像処理アプリケーションに最適な画像を選択することができて、たとえば、１台のステレオ撮像装置で多機能を実現できる。

必要に応じて、左カメラ１１０と右カメラ１１１の同一フレームにおける露光時間をそれぞれ制御し、かつ、異なるフレームにおける露光時間を制御できる一方で、常時、露光時間を固定することも可能であり、その場合は、従来と同等の機能も実現できる。

本実施例では、２つ以上の撮像素子を有するステレオ撮像装置の例を説明する。

図１のステレオ撮像装置１００、および、図３のステレオ撮像装置４００で説明した構成において、たとえば、左カメラ１１０と右カメラ１１１に加えて、第三、第四のカメラ（第３の撮像素子、第４の撮像素子）を備えても、前記説明した手法と同様にして、多種多様な画像を生成することが可能である。さらに、たとえば、単眼カメラを複数組み合わせた場合にも適用できる。

１００、４００ ステレオ撮像装置
１０２ ゲイン・オフセット補正部
１０３ 視差計算部
１０５ 合成画像生成部
１０６ 画像セレクタ部
１１０ 左カメラ
１１１ 右カメラ
１１２ 画像処理部
２００ 明るい画像
２１０ 暗い画像
２２０ 視差画像
２２１ 視差情報
２３０ 広ダイナミックレンジ画像
４０１ 画像判定部
４１１ 画像選択部
４１２ 外部要因

Claims (4)

1. 第１の画像と前記第１の画像と露光時間が異なる第２の画像を取得する画像取得部と、
   取得した前記第１の画像及び前記第２の画像の一方の画像に輝度補正を行う輝度補正部と、
   前記輝度補正部で補正された前記一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部と、
   取得した前記第１の画像及び前記第２の画像を合成して合成画像を生成し、出力する合成画像生成部と、
   前記第１の画像と、前記第１の画像と露光時間が異なる第２の画像と、前記視差画像と、前記合成画像と、のいずれかを選択して、出力する画像セレクタ部と、
   前記第１の画像と、前記第１の画像と露光時間が異なる第２の画像と、前記合成画像と、が入力され、入力された画像のいずれかを決定する画像判定部を有し、
   前記画像セレクタ部は、前記画像判定部で決定された画像を選択するステレオ撮像装置。
2. 第１の画像と前記第１の画像と露光時間が異なる第２の画像を取得する画像取得部と、
   取得した前記第１の画像及び前記第２の画像の一方の画像に輝度補正を行う輝度補正部と、
   前記輝度補正部で補正された前記一方の画像と他方の画像から視差を計算し、視差画像及び視差情報を出力する視差計算部と、
   取得した前記第１の画像及び前記第２の画像を合成して合成画像を生成し、出力する合成画像生成部と、
   前記第１の画像と、前記第１の画像と露光時間が異なる第２の画像と、前記合成画像と、が入力され、入力された画像のいずれかを決定する画像判定部と、を有し、
   前記画像判定部は、撮像素子の露光時間を決定し、撮像素子へ決定された露光時間を出力するステレオ撮像装置。
3. 請求項２記載の撮像装置において、
   前記画像判定部は、フレーム単位で、撮像素子の露光時間を決定するステレオ撮像装置。
4. 請求項２記載の撮像装置において、
   前記画像判定部は、外部から入力された外部要因情報に基づいて、撮像素子の露光時間を決定するステレオ撮像装置。