JP5440927B2

JP5440927B2 - 測距カメラ装置

Info

Publication number: JP5440927B2
Application number: JP2009239946A
Authority: JP
Inventors: 聡一郎横田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-10-19
Filing date: 2009-10-19
Publication date: 2014-03-12
Anticipated expiration: 2029-10-19
Also published as: TW201132937A; BR112012011571A2; EP2491340A4; WO2011049149A1; KR20120066043A; EP2491340B1; CN102575931A; JP2011085539A; US20130010106A1; EP2491340A1; KR101458287B1; TWI437211B; CN102575931B

Description

この発明は、被写体の画像から三次元の視差情報を求め、求めた視差情報から複数の立体物の距離を検出し、撮像範囲内にある物体を認識する測距カメラ装置に関するものである。

被写体の三次元位置を測定する技術としては、従来から図１３に示したような三角測量の原理を使って、基線長Ｂ分だけ離れた位置から撮像した視点の異なる二つのカメラの撮像素子２５ａ，２５ｂで撮影画像と、その画像を撮像したカメラの焦点距離ｆと視点の異なる撮像画像間の対応点距離（視差）ｄを利用して下記（１）式により距離を測定する測距カメラ装置が知られている。
距離Ｚ＝（基線長Ｂ×焦点距離ｆ）／視差ｄ（１）
このように視点の異なる二つの撮影画像の光軸間の距離を基線長Ｂとして、被写体の三次元位置情報を、これらの撮影画像の視差ｄと基線長Ｂから容易に演算することができる。この測距カメラ装置においては、各カメラに共通して写っている被写体に限って、その三次元位置を演算することができる。この三次元位置を演算するとき、従来の測距カメラ装置では撮影画像の輝度情報を利用している。

この撮影画像から視差を算出する際には、視点の異なるカメラで撮像した輝度画像を、あるブロックに区切り、そのブロックに対してマッチングを行うことで計算する。このブロック・マッチングで最も一般的で、かつシンプルで高速な方法は、特許文献１に示されているように、対応するピクセルの絶対値の総和から一致度を計算するＳＡＤ(Sum of Absolute Difference)を利用したシティブロック距離計算によりマッチングを行う方法である。

また、例えば車にカメラを搭載して前方の状況を撮像した画像を利用して自動認識したい要求がある。このような場合、特許文献２に示すように、偏光比情報を利用することによって、通常の輝度情報だけでは認識が困難な路面状態や路端の認識が可能になる。また特許文献１に示すように、視差情報を利用することによって、前方の状況を立体的に認識することが可能になる。そのため、これらの情報を同時に取得したいという要望がある。

また、例えば車両にカメラを搭載して前方の状況を撮像した画像を利用して自動認識し、認識した画像を車両の制御に利用する場合、処理のリアルタイム性が要求される。

特許文献１に示すように、輝度情報（明暗情報）に対して、ＳＡＤ方法を利用したシティブロック距離により視差を算出するため、撮像するカメラの感度が一定でなければ、ミスマッチを引き起こしてしまう。ミスマッチが発生すると、視差が異なって算出されてしまうため測距誤差が発生してしまう。これに対応するために画像の輝度情報を正規化してマッチングを行う、あるいは輝度情報を符号化してマッチングを行う等、種々のマッチング・アルゴリズムが研究されている。しかしながらこのような複雑なアルゴリズムを利用した場合、処理速度が大きな問題になる。また、ハードウェア化する場合には、撮像素子の感度が一定のものを選別したり、キャリブレーション工程を設けて、各撮像素子の感度を電気的に調整する方法をとる方法が考えられる。いずれの方法も、撮像するためのカメラの感度を一定に保つための調整工程が必要であり、量産を実現する場合には、コストの点で課題があった。

また、視差を算出する際には、視点の異なるカメラで撮像した輝度画像をあるブロックに区切り、そのブロックに対してマッチングを行うことで計算するとき、視差計算に使用するブロック内には、十分な輝度差がある画像が撮像されていなければならない。例えば暗くて画像内に輝度差がないような場合、どのようなブロックでも特徴は同じようなものになるため、ミスマッチが生じてしまう。このため撮像素子に対して、どのような撮像条件下でも高感度に撮像するように露光時間やゲイン・オフセット処理などを行う必要があり、コストアップや処理時間の原因になってしまう。

また、特許文献２に示すように、偏光比情報だけを利用する場合は、前方環境における奥行き情報がないため、２次元平面に撮像した場合には重なってみえる物体の分離などは非常に困難であった。

この発明は、このような問題を解消し、偏光比情報を生成し、これを利用して視差を算出することにより、感度系調整が不要でかつ暗くて輝度エッジがなかなか取れないような場所でも高精度な視差が算出でき、さらに高度な環境認識を可能にする測距カメラ装置を提供することを目的とするものである。

この発明の測距カメラ装置は、被写体を撮像して位相差のある偏光画像情報を出力する２つの撮像装置と、前記２つの撮像装置の各々により撮像した位相差のある偏光画像情報から、前記撮像装置の各々に対応する偏光比情報画像情報を計算する偏光比情報処理部と、前記偏光比情報処理部によって計算された前記撮像装置の各々に対応する前記偏光比情報画像情報を利用して視差計算を行う視差計算部と、を有することを特徴とする。

この発明の他の測距カメラ装置は、撮像装置と演算処理ユニットとメモリ及び画像処理ユニットを有し、前記撮像装置は、被写体を撮像して位相差のある偏光画像情報を出力し、前記演算処理ユニットは、２組の偏光比情報処理部及び視差計算部を有し、前記２つの偏光比情報処理部の一方の偏光比情報処理部は、前記撮像装置から出力する一方の位相差のある偏光画像情報を入力して偏光比情報を有する画像情報（以下、偏光比情報画像情報という）と輝度情報を有する画像情報（以下、輝度情報画像情報という）を算出し、他方の偏光比情報処理部は、前記撮像装置から出力する他方の位相差のある偏光画像情報を入力して偏光比情報画像情報と輝度情報画像情報を算出し、前記視差計算部は、前記２つの偏光比情報処理部からそれぞれ出力する偏光比情報画像情報を入力して視差情報を有する画像情報（以下、視差情報画像情報という）を生成し、前記メモリは、前記２つの偏光比情報処理部からそれぞれ出力する偏光比情報画像情報と輝度情報画像情報及び前記視差計算部から出力する視差情報画像情報を記憶し、前記画像処理ユニットは、前記メモリに記憶した偏光比情報画像情報と輝度情報画像情報及び視差情報画像情報により被写体を認識し、視差情報画像情報により被写体の三次元位置を算出することを特徴とする。

前記演算処理ユニットは、前記２つの偏光比情報処理部からそれぞれ出力する偏光比情報画像情報と輝度情報画像情報及び前記視差計算部から出力する視差情報画像情報を同時に出力することを特徴とする。

また、前記演算処理ユニットの前記２つの偏光比情報処理部は、位相差のある偏光画像情報の偏光比を利用して偏光比情報画像情報を算出したり、位相差のある偏光画像情報の差分を利用して偏光比情報画像情報を算出したり、位相差のある偏光画像情報の偏光比を正規化した情報を利用して偏光比情報画像情報を算出したり、あるいは位相差のある偏光画像情報の差分を正規化した情報を利用して偏光比情報画像情報を算出することを特徴とする。

さらに、前記撮像装置は、位相差のある偏光情報を画素ごとに取得したり、あるいは位相差のある偏光情報を画像内の分割されたエリアごとに取得することを特徴とする。

また、前記撮像装置は、一定の基線長を隔てた異なる位置で被写体を撮像する少なくとも２つの撮像装置からなることを特徴とする。

この発明は、一定の基線長を隔てた異なる位置で被写体を撮像して得た位相差のある偏光画像情報の偏光情報を利用して視差計算を行うことにより、異なる位置で被写体を撮像する撮像手段の感度調整処理を不要として誤りのない良好な視差画像を得ることができ、測距カメラ装置を高性能化するとともに簡素化と低コスト化を図ることができる。

また、偏光比情報画像情報と輝度情報画像情報及び視差情報画像情報を同時に出力することにより、測距カメラ装置を車両に搭載した場合、リアルタイムで、かつ高精度に被写体の認識処理を行うことができる。

さらに、位相差のある偏光画像情報の偏光比を利用して偏光比情報画像情報を算出したり、位相差のある偏光画像情報の差分を利用して偏光比情報画像情報を算出したり、位相差のある偏光画像情報の偏光比を正規化した情報を利用して偏光比情報画像情報を算出したり、あるいは位相差のある偏光画像情報の差分を正規化した情報を利用して偏光比情報画像情報を算出することにより、撮像素子の感度依存性をなくした測距カメラ装置を実現することができる。

また、撮像装置は、位相差のある偏光情報を画素ごとに取得したり、あるいは位相差のある偏光情報を画像内の分割されたエリアごとに取得することにより高精度な視差画像を得ることができる。

この発明の測距カメラ装置の構成図である。測距カメラ装置を搭載した車両の構成図である。領域分割フィルタの撮像素子に対する配置を示す構成図である。領域分割フィルタを構成する偏光子領域の構成を示す斜視図である。領域分割フィルタの構成を示す斜視図である。輝度情報、偏光比情報、視差情報の３種のデータを同時出力するリアルタイム処理を実現したハードウェアの構成例を示す図である。３種のデータを同時出力するリアルタイム処理の流れを示す図である。左右の輝度情報画像と視差画像を示す図である。第２の測距カメラ装置の構成図である。第２の測距カメラ装置の領域分割フィルタの構成を示す斜視図である。第３の測距カメラ装置の構成図である。他の偏光子領域の構成を示す斜視図である。被写体の三次元位置を測定する原理を示す説明図である。

図１は、この発明の測距カメラ装置の構成図である。測距カメラ装置１は、撮像装置２とイメージプロセッサ３と画像処理用コンピュータ４を有する。撮像装置２は、第１の撮像手段２１ａと、第１の撮像手段２１ａから所定距離だけ隔てた第２の撮像手段２１ｂを有し、イメージプロセッサ３は演算処理ユニット３１とメモリ３２を有し、第１の撮像手段２１ａと第２の撮像手段２１ｂで撮像した画像を処理して各種画像データを算出する。画像処理用コンピュータ４は認識処理や偏光比情報制御、視差計算制御を行うソフトウェアを内蔵したＭＰＵ（Micro Processing Unit）４１を有し、イメージプロセッサ３で処理して各種画像データにより道路形状や複数の立体物の三次元位置を高速で検出し、その検出結果に基づいて先行車や障害物を特定して衝突警報の判断処理等を行う。

この測距カメラ装置１は、図２に示すように、自動車等の車両５に搭載され、撮像装置２で車外の所定範囲内の物体を撮像し、撮像した画像から車外の物体を認識して監視するものである。この測距カメラ装置１の画像処理用コンピュータ４には、速度センサ６と舵角センサ７等の現在の車両の走行状態を検出するためのセンサが接続され、認識された物体が自車両５の障害物となる場合、運転者の前方に設置されたディスプレイ８へ表示して運転者に対する警告を行うほかに、図示しないアクチュエータ類を制御する外部装置を接続することにより車体の自動衝突回避制御等が可能となっている。測距カメラ装置１の撮像装置２の車両５に対する設置位置はルームミラーの後段などドライバの視野を遮らない位置に配備されることが望ましい。

なお、図２では、イメージプロセッサ３と画像処理用コンピュータ４を撮像装置２とは別体として設けた場合を示したが、イメージプロセッサ３と画像処理用コンピュータ４を撮像装置２と一体に構成しても良い。

この測距カメラ装置１の撮像装置２の第１の撮像手段２１ａは、フード部２２ａとレンズ部２３ａと領域分割フィルタ２４ａ及びプリント基板２６ａに設けられた撮像素子２５ａを有する。領域分割フィルタ２４ａはＳ偏光成分とＰ偏光成分の光をそれぞれ透過する２つの偏光子領域が分割形成され、レンズ部２３ａを通った光をＳ偏光成分の光とＰ偏光成分の光に分離する。撮像素子２５ａは領域分割フィルタ２４ａで分離したＳ偏光成分の光とＰ偏光成分の光を入射して偏光ＲＡＷ画像データ２７ａをイメージプロセッサ３の演算処理ユニット３１に出力する。

第２の撮像手段２１ｂは、フード部２２ｂとレンズ部２３ｂと領域分割フィルタ２４ｂ及びプリント基板２６ｂに設けられた撮像素子２５ｂを有する。領域分割フィルタ２４ｂはＳ偏光成分とＰ偏光成分の光をそれぞれ透過する２つの偏光子領域が分割形成され、レンズ部２３ｂを通った光をＳ偏光成分の光とＰ偏光成分の光に分離する。撮像素子２５ｂは領域分割フィルタ２４ｂで分離したＳ偏光成分の光とＰ偏光成分の光を入射して偏光ＲＡＷ画像データ２７ｂをイメージプロセッサ３の演算処理ユニット３１に出力する。

演算処理ユニット３１は２組の偏光比情報処理部３３ａ，３３ｂ及び視差計算部３４を有する。偏光比情報処理部３３ａは、第１の撮像手段２１ａから出力する偏光ＲＡＷ画像データ２７ａを入力して下記（２）式に示す計算式により、Ｐ偏光成分とＳ偏光成分の比率である偏光比を計算して偏光比情報画像データ３５ａを得て視差計算部３４とメモリ３２に出力する。この偏光比の計算は、取得した位相差の異なる偏光成分の特徴差を検出できれば良いいので、下記（３）式に示すように、Ｐ偏光成分とＳ偏光成分の差分を計算したり、（４）式に示すように、Ｐ偏光成分とＳ偏光成分の比と（Ｐ偏光成分＋Ｓ偏光成分）の比率により計算したり、（５）式に示すように、（Ｐ偏光成分−Ｓ偏光成分）と（Ｐ偏光成分＋Ｓ偏光成分）の比率で計算しても良い。ここで（３）式などは差分であるが、これら位相差のある偏光情報を利用する計算結果を総称して偏光比と呼ぶ。
偏光比＝Ｐ偏光成分／Ｓ偏光成分（２）
偏光比＝Ｐ偏光成分−Ｓ偏光成分（３）
偏光比＝｛（Ｐ偏光成分／Ｓ偏光成分）／（Ｐ偏光成分＋Ｓ偏光成分）（４）
偏光比＝（Ｐ偏光成分−Ｓ偏光成分）／（Ｐ偏光成分＋Ｓ偏光成分）（５）
なお、（４）式と（５）式における分母は正規化部分であるが、この正規化は、（Ｐ偏光成分＋Ｓ偏光成分）との差分等でもよい。また、これらの式の例では、位相の異なる偏光比情報としてＰ偏光情報とＳ偏光情報を利用しているが、これらは位相が異なれば良いので、円偏光成分を利用しても良い。

また、偏光比情報処理部３３ａでは、下記（６）式に示すように、Ｐ偏光成分とＳ偏光成分の和により輝度情報画像データ３６ａを生成してメモリ３２に出力する。
輝度データ＝（Ｐ偏光成分＋Ｓ偏光成分）（６）

偏光比情報処理部３３ｂは、第２の撮像手段２１ｂから出力する偏光ＲＡＷ画像データ２７ｂを入力してＰ偏光成分とＳ偏光成分の比率である偏光比を計算して偏光比情報画像データ３５ｂを得て視差計算部３４とメモリ３２に出力するとともにＰ偏光成分とＳ偏光成分の和により輝度情報画像データ３６ｂを生成してメモリ３２に出力する。

視差計算部３４は偏光比情報処理部３３ａから入力する偏光比情報画像データ３５ａと偏光比情報処理部３３ｂから入力する偏光比情報画像データ３５ｂを用いて両画像のブロック内の輝度差の総和ＲＳＡＤを下記（７）式に示すようなＳＡＤ計算で求めて一致度評価値とし、この一致度評価値が小さいほどブロック間の一致度が高いと評価して視差情報画像データ３７を得てメモリ３２に出力する。ここで下記（７）式において、ｉ，ｊはブロック内の画素位置を示し、Ｉ，Ｔは左右画素の輝度値を示す。

すなわち、視差計算部３４では、一方の偏光比情報画像データ３５ａについて、ある注目画素を中心にあるブロックに区切り、他方の偏光比情報画像データ３５ｂを、そのブロックと同じサイズのブロックに区切り、１画素づつずらしてそれぞれ相関値を計算し、もっとも相関があったブロックの中心にある画素までの距離を視差として算出する。このステップを偏光比情報画像データ３５ａの全画素（若しくはいくつか間引いた画素位置）について実行する。この相関値の計算には、さまざまなアルゴリズムが適用できるが、前述した（４）式が最も一般的である。なお、本願の方式は、どのような視差計算アルゴリズムにも適用することができる。

ＭＰＵ４１は、メモリ３２に格納された視差情報画像データ３７と輝度情報画像データ３６ａと輝度情報画像データ３６ｂと偏光比情報画像データ３５ａ及び偏光比情報画像データ３５ｂを用いて各種の認識処理を実行する。

第１の撮像手段２１ａの領域分割フィルタ２４ａと第２の撮像手段２１ｂの領域分割フィルタ２４ｂは、図３に示すように、Ｓ偏光成分の光のみを透過する偏光子領域２４１とＰ偏光成分の光のみを透過する偏光子領域２４２に二分割されている。このＳ偏光成分の光のみを透過する偏光子領域２４１とＰ偏光成分の光のみを透過する偏光子領域２４２の分割線は、縦横に格子状に配列する正方形の撮像素子２５ａ（２５ｂ）の配列方向に対して、特定の角度を持って傾いて設置されてなる。そして偏光子領域２４１と偏光子領域２４２の横方向の幅は撮像素子２５ａ（２５ｂ）の１画素分の幅に等しい幅寸法を有し、偏光子領域２４１と偏光子領域２４２は帯状に形成され、例えば偏光子領域２４１と偏光子領域２４２の分割線は横方向に撮像素子２５ａ（２５ｂ）の１画素分変化する間に縦方向に撮像素子２５ａ（２５ｂ）の２画素分変化するように傾いて配置されている。これにより撮像素子２５ａ（２５ｂ）と領域分割フィルタ２４ａ（２４ｂ）の位置ずれに影響を受け難い偏光比計算を実現することができる。

この領域分割フィルタ２４ａ，２４ｂの偏光子領域２４１と偏光子領域２４２は、例えばフォトニック結晶からなる偏光子からなり、領域分割フィルタ２４ａ，２４ｂの偏光子領域２４１は、図４に示すように、周期的な溝列を形成した透明基板２４３上に、透明で高屈折率の媒質層２４４と低屈折率の媒質層２４５とを界面の形状を保存しながら交互に積層して形成されている。この高屈折率の媒質層２４４と低屈折率の媒質層２４５の各層は、透明基板２４３の溝列と直交するＸ方向に周期性を持つが、溝列と平行なＹ方向には一様であっても良いし、Ｘ方向より大きい長さの周期的または非周期的な構造を有していても良い。このような微細な周期構造（フォトニック結晶）は自己クローニング技術と呼ばれる方式を用いることにより、再現性良く且つ高い均一性で作製することができる。

このフォトニック結晶からなる偏光子領域２４１，２４２は、図５（ａ）に示すように、光軸と平行なＺ軸と、Ｚ軸と直交するＸＹ軸を有する直交座標系において、ＸＹ面に平行な１つの基板２４３の上に２種以上の透明材料をＺ軸方向に交互に積層した多層構造体、例えばＴａ_２Ｏ_５とＳｉＯ_２の交互多層膜からなり、偏光子領域２４１，２４２は各膜が凹凸形状を有しており、この凹凸形状はＸＹ面内の一つの方向に周期的に繰り返されて形成されている。そして偏光子領域２４１は、図５（ｂ）に示すように、溝の方向がＹ軸方向に対して平行であり、偏光子領域２４２は溝の方向がＸ軸方向に対して平行であり、偏光子領域２４１と偏光子領域２４２で溝の方向が９０度異なって形成されている。すなわちＸＹ面に入射される入力光から、偏光子領域２４１と偏光子領域２４２によって偏光方向が異なる偏光成分を透過させるとともに、偏光子領域２４１と偏光子領域２４２でそれぞれ等量の無偏光成分を透過させるようになっている。なお、領域分割フィルタ２４ａ，２４ｂに２種類の凹凸形状の溝を設けたが、凹凸形状の溝方向は複数種類でも良い。このように偏光子領域２４１，２４２をフォトニック結晶で形成することにより、紫外線劣化などに優れて長期間安定して使用することができる。

この領域分割フィルタ２４ａ，２４ｂの偏光子領域２４１と偏光子領域２４２の開口面積や透過軸は、はじめに透明基板２４３に加工する溝パタンの大きさや方向で自由に設計することができる。パタン形成は、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子領域と、更にそれを複数並べた偏光子を形成することが可能となる。また、凹凸パタンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パタンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。

また、領域分割フィルタ２４ａ，２４ｂは撮像素子２５ａ，２５ｂと近接配置されている。より望ましくはダイ実装された撮像素子２５ａ、２５ｂにフィルタ構造面が撮像素子面側に向いて接着などにより取り付けられるのがよい。一般にレンズからの光は収束系の有限光で撮像素子に向かうため、領域分割フィルタ２４ａ，２４ｂと撮像素子２５ａ，２５ｂの間隔が開くと領域分割フィルタ２４ａ，２４ｂの境界付近の光が各々の領域に対してクロストークノイズとなってしまう。そこで前記のとおり近接配置させることにより、このようなクロストークが生じない安定した撮像装置２を実現できる。

この測距カメラ装置１で第１の撮像手段２１ａで撮像された偏光ＲＡＷ画像データ２７ａと第２に撮像手段２１ｂで撮像された偏光ＲＡＷ画像データ２７ｂに対して偏光比情報処理部３３ａと偏光比情報処理部３３ｂでＳ偏光成分とＰ偏光成分を抽出し、（２）式や（３）式などを用いて偏光比を計算して偏光比情報画像データ３５ａと偏光比情報画像データ３５ｂを生成し、（６）式を用いて輝度情報画像データ３６ａと輝度情報画像データ３６ｂを生成する処理には多くの時間が必要になる。また、生成した偏光比情報画像データ３５ａと偏光比情報画像データ３５ｂに対して視差計算部３４で視差計算を行って視差情報画像データ３７を生成する処理にも多くの処理時間が必要となる。

前述のように、偏光比情報処理部３３ａと偏光比情報処理部３３ｂ及び視差計算部３４で複雑な処理計算を行って偏光比情報画像データ３５ａ，３５ｂと輝度情報画像データ３６ａ，３６ｂ及び視差情報画像データ３７の３種類の情報を同時に出力することは非常に困難である。

これに対して３種類の情報を同時に出力できるときの処理を図６のハードウェアの構成図を参照して説明する。

第１の撮像手段２１ａと第２の撮像手段２１ｂから出力される偏光ＲＡＷ画像データ２７ａ，２７ｂは、それぞれラインバッファ９１ａ，９１ｂに１画素ずつ格納されていく。偏光ＲＡＷ画像データ２７ａ，２７ｂは、領域分割フィルタ２４ａ，２４ｂによって画素ごとに異なる偏光成分を得ているので、偏光比を計算するには２画素以上が必要になる。そこでラインバッファ９１ａ，９１ｂに格納された偏光ＲＡＷ画像データ２７ａ，２７ｂの例えば縦２画素×横２画素を使い、偏光比情報処理部３３ａと偏光比情報処理部３３ｂにより、前述した（１）式や（２）式などを用いて偏光比計算を行う。計算された偏光比情報画像データ３５ａと偏光比情報画像データ３５ｂは、随時ラインバッファ９２ａとラインバッファ９２ｂに格納されていく。このとき、偏光比情報処理部３３ａと偏光比情報処理部３３ｂでは輝度情報画像データ３６ａと輝度情報画像データ３６ｂも計算してメモリ３２に格納する。

ラインバッファ９２ａ，９２ｂに、視差計算を実行するためのブロックサイズ分のデータが格納されたら、視差計算部３４はブロックサイズ分、例えば縦４画素×横４画素分のデータを読み出し、前述した（７）式を用いて視差計算を行い、視差情報画像データ３７を生成してメモリ３２に格納する。このように、随所にラインバッファ９１ａ，９１ｂ，９２ａ，９２ｂを用いてパイプライン処理を行うため、計算結果は数ライン分のディレイのみでメモリ３２に格納していくことができる。以上の処理は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ(Application Specific IC)などによって実装される。このようなハードウェア構成にしたことにより、自動車等の車両５に搭載された車外監視装置のようなリアルタイム性が要求される状況においても、十分に対応可能である。

なお、視差計算や偏光比計算に用いる画素サイズは動的に構成してもよく、それに伴い、ラインバッファも動的に画像データを格納したり、撮像素子がＣＭＯＳセンサである場合は、1ライン分ではなく、縦数画素×横数画素に動的に割り当てる構成にしてもよい。また、撮像条件によって動的にこれらの構成を変更できる構成にしてもよい。

図７は以上の処理の流れを時間軸にそってあらわした処理例であり、第１の撮像手段２１ａと第２の撮像手段２１ｂで撮像した撮影ＲＡＷ画像２７１と偏光比情報処理部３３ａ，３３ｂで生成した輝度画像３６１と偏光比画像３５１及び視差計算部３４で生成した視差画像３７１を模式的に示すとともに輝度画像３６１と偏光比画像３５１及び視差画像３７１をメモリ３３に格納した状態を示す。メモリ３２はリングバッファ構成になっており、図に示すように、パイプライン的に輝度画像３６１と偏光比画像３５１及び視差画像３７１がリアルタイムに格納される。また、視差計算を実際に行ううえでは、ひずみ補正などの処理が必要になり、それらの補正ロジックをラインバッファを使ったパイプライン処理の中に組み込んだ構成にしてもよい。

この測距カメラ装置１を車両５に搭載して左右に設けた第１の撮像手段２１ａと第２の撮像手段２１ｂで撮像した画像と、視差計算まで行った結果を示した一例を図８に示す、図８の（ａ）は左カメラである第１の撮像手段２１ａで撮像した輝度情報画像３６１ａ、（ｂ）は右カメラである第２の撮像手段２１ｂで撮像した輝度情報画像３６１ｂであり、それぞれ輝度情報画像データ３６ａ，３６ｂに基づくものである。この例においては、第１の撮像手段２１ａと第２の撮像手段２２ｂの感度が異なるために、第２の撮像手段２１ｂで撮像した輝度情報画像３６１ｂが第１の撮像手段２１ａで撮像した輝度情報画像３６１ａと比べてだいぶ明るい画像になっている。

図８の（ｃ）は、この輝度情報画像データ３６１ａと輝度情報画像３６１ｂを使って視差計算部３４によって視差計算した結果の視差画像３７１ｂを示し、図８（ｄ）は偏光比情報処理部３３ａと偏光比情報処理部３３ｂにより（５）式で計算した偏光比情報画像データ３５ａと偏光比情報画像データ３５ｂを使って視差計算部３４により視差計算した結果の視差画像３７１ａを示す。図８（ｃ）と図８（ｄ）は同じ（７）式を用い、同じ撮像装置２で同じ時間に撮像された結果を用いて視差計算した結果である。

図８(ｃ)に示す視差画像３７１ｂにおいては左白線がすべて同じ濃度で表されて視差計算結果が大きく誤っているのが分かる。これを補正するためには第１の撮像手段２１ａと第２の撮像手段２１ｂの感度調整処理が必要になる。しかし、同様の状況において撮像した画像を使用した場合でも、図８（ｄ）に示す偏光比を使用した視差計算による視差画像３７１ａは左白線の濃度が近距離から遠距離に行くにしたがって変化し、第１の撮像手段２１ａと第２の撮像手段２１ｂの感度調整処理を不要として誤りのない良好な視差画像を得ることができる。したがって測距カメラ装置１を高性能化するとともに簡素化と低コスト化が可能である。

前記測距カメラ装置１は左右の画像を撮像するため撮像装置２に第１の撮像手段２１ａと第２の撮像手段２１ｂを設けた場合について示したが、図９の構成図に示すように、撮像手段２１のレンズ部２３にマイクロレンズアレイ２３１を使用することにより１つの撮像素子２５に複数の視点の異なる画像を結像することができ、１つの撮像手段２１を使用して測距カメラ装置１ａを構成できる。したがって測距カメラ装置１ａを小型、薄型にすることができ、コスト削減を実現できる。

このマイクロレンズアレイ２３１を使用した撮像手段２１の領域分割フィルタ２４は、図１０に示すように、マイクロレンズアレイ２３１の配列方向に対してＳ偏光成分の光のみを透過する偏光子領域２４１とＰ偏光成分の光のみを透過する偏光子領域２４２を平行な短冊形状にして少なくとも３領域以上を交互に配列すると良い。そして１画素単位に偏光子領域２４１と偏光子領域２４２を交互に設けことが望ましい。このように偏光子領域２４１と偏光子領域２４２を平行な短冊形状にして交互に配列することにより、水平方向の補間処理が省略でき、水平方向の分解能を確保することができる。また、偏光子領域２４１と偏光子領域２４２の短冊形状の配列をマイクロレンズアレイ２３１の配列方向と平行な方向にとっているため、視差検出で必要な水平方向の視差画像は高精度に取得することができる。

前記測距カメラ装置１と測距カメラ装置１ａにはＳ偏光成分の光とＰ偏光成分の光を分離する領域分割フィルタ２４ａを有する第１の撮像手段２１ａと領域分割フィルタ２４ｂを有する第２の撮像手段２１ｂを設けた場合について示したが、領域分割フィルタ２４ａ，２４ｂを用いず、Ｓ偏光成分の画像とＰ偏光成分の画像をそれぞれ別個の撮像手段で得るようにしても良い。すなわち、図１１に示すように、第１の撮像手段２１ａに相当する左側撮像手段２１０ａとしてＳ偏光成分の光だけを透過する偏光子領域２４１からなる偏光素子２４ａａを有する撮像手段２１ａａとＰ偏光成分の光だけを透過する偏光子領域２４２からなる偏光素子２４ａｂを有する撮像手段２１ａｂを設け、右側撮像手段２１０ｂをＳ偏光成分の光だけを透過する偏光子領域２４１からなる偏光素子２４ｂａを有する撮像手段２１ｂａとＰ偏光成分の光だけを透過する偏光子領域２４２からなる偏光素子２４ｂｂを有する撮像手段２１ｂｂとを設けて測距カメラ装置１ｂを構成しても良い。

このように構成することにより、測距カメラ装置１ｂは測距カメラ装置１や測距カメラ装置１ａに比べてコストはかかるが、偏光素子の幾何的な配置ずれなどを留意する必要がなくなり、また画像自体の分解能を向上させることができる。

また、より細かな偏光成分を取得するためや、ステレオ視差計算をするためなどで、測距カメラ装置１ｂに示した以上の複数の撮像手段で左右の画像を撮像するようにしても良い。

前記説明では領域分割フィルタ２４ａ，２４ｂ等を構成する偏光子領域２４１，２４２等はフォトニック結晶を利用して構成した場合について説明したが、図１２に示すように、ワイヤグリッド型の偏光子を利用しても良い。ワイヤグリッド型の偏光子とは、細い金属細線２４４を周期的に配列することにより形成された偏光子であり、従来、電磁波のミリ波領域において多く用いられてきた偏光子である。ワイヤグリッド型偏光子の構造は、入力光の波長に比べて十分細い金属細線２４４が波長に比べて十分に短い間隔で並んだ構造を有する。このような構造に光を入射した場合、金属細線２４４に平行な偏光は反射され、それに直交する偏光は透過されることはすでに知られている。金属細線２４４の方向については、１枚の基板内において領域ごとに独立に変化させて作製することができるため、ワイヤグリッド偏光子の特性を領域毎に変えることができる。これを利用すれば、領域毎に透過軸の方向を変化させた構造とすることができる。

ワイヤグリッドの作製方法としては、基板上に金属膜を形成し、リソグラフィによりパターニングを行うことで、細線状の金属を残すことができる。他の作製方法としては、リソグラフィにより基板に溝を形成し、この溝の方向とは直角で基板の法線から傾いた方向（基板面に斜めの方向）から真空蒸着により金属を成膜することで作製することができる。真空蒸着では蒸着源から飛来する粒子はその途中で他の分子もしくは原子にほとんど衝突することはなく、粒子は蒸着源から基板にむかって直線的に進むため、溝を構成する凸部にのみ成膜される一方、溝の底部（凹部）では、凸部に遮蔽されほとんど成膜されない。したがって、成膜量を制御することで、基板上に形成された溝の凸部にのみ金属膜を成膜することができ、金属細線を作製することができる。このワイヤグリッド型の偏光子に用いられるワイヤー金属としては、アルミニウムもしくは銀が望ましいが、例えばタングステンなど、そのほかの金属であっても同様の現象を実現できる。また、リソグラフィとしては、光リソグラフィ、電子ビームリソグラフィ又はＸ線リソグラフィなどが挙げられるが、可視光での動作を想定すると細線の間隔が１００ｎｍ程度になるため、電子ビームリソグラフィもしくはＸ線リソグラフィがより望ましい。また、金属の成膜では真空蒸着が望ましいが、主として基板に入射する粒子の方向性が重要であるので、高真空度の雰囲気におけるスパッタリング、もしくはコリメーターを用いたコリメーションスパッタでも可能である。このワイヤグリッド型の偏光子もフォトニック結晶による偏光子と同様に半導体プロセスであるため領域分割された２領域間の境界線などが精度よく作製することが可能である。

１；測距カメラ装置、２；撮像装置、３；イメージプロセッサ、
４；画像処理用コンピュータ、５；車両、６；速度センサ、７；舵角センサ、
８；ディスプレイ、２１ａ；第１の撮像手段、２１ｂ；第２の撮像手段、
２２；フード部、２３；レンズ部、２４；領域分割フィルタ、２５；撮像素子、
２６；プリント基板、２７；偏光ＲＡＷ画像データ、３１；演算処理ユニット、
３２；メモリ、３３；偏光比情報処理部、３４；視差計算部、
３５；偏光比情報画像データ、３６；輝度情報画像データ、
３７；視差情報画像データ、４１；ＭＰＵ。

特開平５−２６５５４７号公報特開２００８−１２２２１７号公報特開平１０−３３５７５８号公報

Claims

被写体を撮像して位相差のある偏光画像情報を出力する２つの撮像装置と、
前記２つの撮像装置の各々により撮像した位相差のある偏光画像情報から、前記撮像装置の各々に対応する偏光比情報画像情報を計算する偏光比情報処理部と、
前記偏光比情報処理部によって計算された前記撮像装置の各々に対応する前記偏光比情報画像情報を利用して視差計算を行う視差計算部と、
を有することを特徴とする測距カメラ装置。
撮像装置と演算処理ユニットとメモリ及び画像処理ユニットを有し、
前記撮像装置は、被写体を撮像して位相差のある偏光画像情報を出力し、
前記演算処理ユニットは、２組の偏光比情報処理部及び視差計算部を有し、前記２つの偏光比情報処理部の一方の偏光比情報処理部は、前記撮像装置から出力する一方の位相差のある偏光画像情報を入力して偏光比情報を有する画像情報（以下、偏光比情報画像情報という）と輝度情報を有する画像情報（以下、輝度情報画像情報という）を算出し、他方の偏光比情報処理部は、前記撮像装置から出力する他方の位相差のある偏光画像情報を入力して偏光比情報画像情報と輝度情報画像情報を算出し、前記視差計算部は、前記２つの偏光比情報処理部からそれぞれ出力する偏光比情報を有する画像情報を入力して視差情報を有する画像情報（以下、視差情報画像情報という）を生成し、
前記メモリは、前記２つの偏光比情報処理部からそれぞれ出力する偏光比情報画像情報と輝度情報画像情報及び前記視差計算部から出力する視差情報画像情報を記憶し、
前記画像処理ユニットは、前記メモリに記憶した偏光比情報画像情報と輝度情報画像情報及び視差情報画像情報により被写体を認識し、視差情報画像情報により被写体の三次元位置を算出することを特徴とする測距カメラ装置。
前記演算処理ユニットは、前記２つの偏光比情報処理部からそれぞれ出力する偏光比情報画像情報と輝度情報画像情報及び前記視差計算部から出力する視差情報画像情報を同時に出力することを特徴とする請求項２記載の測距カメラ装置。
前記演算処理ユニットの前記２つの偏光比情報処理部は、位相差のある偏光画像情報の偏光比を利用して偏光比情報画像情報を算出することを特徴とする請求項２又は３記載の測距カメラ装置。
前記演算処理ユニットの前記２つの偏光比情報処理部は、位相差のある偏光画像情報の差分を利用して偏光比情報画像情報を算出することを特徴とする請求項２又は３記載の測距カメラ装置。
前記演算処理ユニットの前記２つの偏光比情報処理部は、位相差のある偏光画像情報の偏光比を正規化した情報を利用して偏光比情報画像情報を算出することを特徴とする請求項２又は３記載の測距カメラ装置。
前記演算処理ユニットの前記２つの偏光比情報処理部は、位相差のある偏光画像情報の差分を正規化した情報を利用して偏光比情報画像情報を算出することを特徴とする請求項２又は３記載の測距カメラ装置。
前記撮像装置は、位相差のある偏光情報を画素ごとに取得することを特徴とする請求項２乃至７のいずれかに記載の測距カメラ装置。
前記撮像装置は、位相差のある偏光情報を画像内の分割されたエリアごとに取得することを特徴とする請求項２乃至７のいずれかに記載の測距カメラ装置。
前記撮像装置は、一定の基線長を隔てた異なる位置で被写体を撮像する少なくとも２つの撮像装置からなることを特徴とする請求項１乃至９のいずれかに記載の測距カメラ装置。