JP2013224922A - 複眼カメラ装置、及びそれを備えた車両 - Google Patents

Abstract

【課題】複雑な状況においても高精度且つ高速な認識（測距）処理が可能な複眼カメラ装置を提供する。
【解決手段】光学フィルタ１２、２２及び撮像素子を備えた複数の撮像ユニット１０、２０と、各撮像素子が各光学フィルタ１２、２２を介して取得した撮影画像について画像処理を行う画像処理手段３０と、を備え、光学フィルタのうちの少なくとも一つは、他の光学フィルタの特性と同じ第１の光学特性を有する領域１２ｂと、第１の光学特性とは異なる第２の光学特性を有する領域１２ａと、を備え、画像処理手段３０は、各撮像素子が取得した複数の撮影画像における、第１の光学特性に応じた第１の画像領域と、第２の光学特性に応じた第２の画像領域について、異なる画像処理を行うようにする。
【選択図】図１

Description

本発明は、視差情報を取得可能な複眼カメラ装置及びそれを備えた車両に関する。

近年、車載用のステレオカメラの普及が進んでおり、このようなステレオカメラを用いることで、車両前方の距離画像を生成し、その距離画像に基づいて障害物を認識して障害物までの距離を計測することにより、衝突の防止や車間距離制御のために運転者に警告を発したり、ブレーキやステアリングなどの制御装置の操作を実行することが出来ることが知られている。
さらに、近年は解像度などのセンサ性能が高まったこともあり、車載環境におけるセンシングの中心ニーズが高速道路から市街地へと移行してきている。
市街地環境では、高速道路等に比べてセンシングの対象となる環境が、特に多様となっている。従って、測距性能としての「高空間分解能化」及び「高精度測距」と、多様化した状況に対応するための「カラー情報の付加」が求められる。
市街地では、高速道路等よりも交通量が多く車間距離も短いため、ブレーキ制御のために求められる測距性能はよりシビアであるために「高空間分解能化」及び「高精度測距」が求められ、また、「カラー情報」に基づいて前方を走行する車両のテールランプや、信号機等の色、白線・黄白線を検出してアクセル制御等を行うことが出来れば、非常に有用である。

上記の事項の内、「高空間分解能」と「高精度測距」には、カメラに備えるセンサの高解像度化が最も有効であることが知られているが、高解像度化したセンサを用いた視差計算は、処理が複雑になり、処理に時間がかかるという問題がある。
さらに、「カラー情報を付加」するために、特許文献１に記載のようにカラーステレオカメラを用いた場合、カラーフィルタを搭載したことによるカラー補間処理が入るために、クリアフィルタで構成されたステレオカメラに対して測距精度が劣化するという問題がある。

以下に、従来のカラーステレオカメラの問題点を詳しく説明する。
図８は、従来のカラーステレオカメラの構成を示す図である。
図８に示すカラーステレオカメラにおける左右のカメラ１１０Ａ、１１０Ｂは、夫々撮像素子１１１及びカラーフィルタ１１２を備えている。
それぞれのカメラのカラーフィルタ１１２はそれぞれ同じ特性のカラーフィルタである。
図８に示すように、カラーフィルタ１１２は、ＲＧＢ各画素の領域に分割されおり、各画素領域では、カメラに入光した光学画像情報のうち、ＲＧＢの各成分のみが通過して撮像素子１１１により検出されるようになっている。

図８に示す構成のカラーステレオカメラは、例えば、下記の何れかの方法で視差を計算する。
一つには、カラーフィルタ１１２を含む夫々のカメラ１１０Ａ、１１０Ｂで取得され、且つカラー補間（各成分画像の合成）が施されたカラー画像における、各ＲＧＢ画像（画素）に対して視差計算を実行する方法がある。
また、（カラー補間を行わない）原画像における各ＲＧＢ画像（画素）に対して、視差計算を実行するようにしてもよい。
あるいは、（カラー補間を行わない）原画像の各ＲＧＢ画像（画素）に対して、補間画像を工夫して視差計算を実施する画像の枚数を低減し、それらの画像に対して視差計算を実行するようにしてもよい。
これらのいずれの方法を用いるにしても、視差計算を実施する画像の枚数が多くなり、特に最初に挙げた方法では補間処理が必要であるため、処理時間に膨大な時間がかかるという問題がある。
このような問題に対応するため、カラー補間計算ステップにおいて、カラー画像を輝度画像（Ｙ画像）と色情報画像（ＵＶ画像）とに分離して計算し、そのうちの輝度情報のみを視差計算に利用するという方法も考え得る。

しかしながら、この場合、視差計算には補間された輝度画像が利用されることになり、特に距離測定のばらつきの幅が大きくなるので、測距精度は大きく下がることになる。
すなわち、カラーステレオカメラを構成しようとした場合には、高空間分解能＋高精度測距を実現するためには、モノクロステレオカメラ以上の高解像度センサが必要になる一方で、同様の解像度をもったセンサを利用した場合でも、カラー情報が入るために、モノクロステレオカメラよりも処理時間が余計に必要になる、という２つの相反する課題（高解像度化が必要＋処理時間の増大）を抱えることになる。

本発明は、上記の相反する課題を解決し、複眼カメラでの高解像度化・高空間分解能化及び処理速度の高速化をシンプルな構成で実現し、高精度且つ高速な画像処理が可能な複眼カメラ装置を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、光学フィルタ及び撮像素子を備えた複数のカメラユニットと、前記各撮像素子が前記各光学フィルタを介して取得した撮影画像について画像処理を行う画像処理手段と、を備え、前記複数の光学フィルタは所定の第１の光学特性を有する第１の領域を備えると共に、前記複数の前記光学フィルタのうちの少なくとも一つは前記第１の光学特性とは異なる第２の光学特性を有する第２の領域を更に備え、前記画像処理手段は、各撮像素子が取得した複数の前記撮影画像における、前記第１の光学特性に応じた第１の画像領域と、前記第２の光学特性に応じた第２の画像領域について、異なる画像処理を行う複眼カメラ装置を特徴とする。

上記のように構成したので、本発明によれば、複眼カメラ装置において異なる複数の光学特性を有する画像に対して画像処理が可能になり、高精度且つ高速な画像処理が可能な複眼カメラ装置を実現することが出来る。

本発明の第１の実施の形態に係るステレオカメラの構成例を示す図。 本実施形態のステレオカメラの画像処理部の構成を示す図。 ステレオカメラの原理を示す図。 基準カメラにおける画素パタンを示す図。 第２の実施形態にかかるフィルタ構成を示した図。 第３の実施形態にかかるフィルタ構成を示した図。 本実施形態のステレオカメラを適用した車両を説明する概略図。 従来のカラーステレオカメラの構成を示す図。

以下に、図面を参照して、本発明の実施の形態を詳細に説明する。
［第１の実施形態］
図１は、本発明の第１の実施の形態に係る複眼カメラ装置の一例としてのステレオカメラの構成例を示す図である。
図１（ａ）に示すように、本実施形態に係るステレオカメラ１は、左右に基準カメラ１０及び比較カメラ２０を備えている。
基準カメラ１０（カメラユニット）は、撮像素子１１と、その上面に設けた光学フィルタ１２と、撮像素子１１に光を集光するレンズ１３とを備えている。
また、比較カメラ２０（カメラユニット）は、撮像素子２１と、その上面に設けた光学フィルタ２２と、撮像素子２１に光を集光するレンズ２３とを備えている。
図１（ｂ）は、各カメラにおける撮像素子及び光学フィルタを詳細に示した図であり、図１（ｂ）において、基準カメラ１０の光学フィルタ１２と、比較カメラ２０の光学フィルタ２２とは互いに光学特性が異なったフィルタである。従って、撮像素子１１と撮像素子２１とにより取得される画像（撮影画像）も、画像特性が互いに異なっている。
基準カメラ１０の光学フィルタ１２はカラーフィルタであり、その各ＲＧＢ画素領域（カラー領域：第２の領域）１２ａ（（第２の光学特性：カラー特性）の間にクリア領域（第１の領域）１２ｂ（第１の光学特性：クリア特性）を配置した特種フィルタである。
かかる構成により、カラー領域１２ａを使用して色情報を検出出来るとともに、クリア領域１２ｂを使用して画像情報としての輝度情報を検出することが出来る。

従って、基準カメラ１０のクリア領域１２ｂを用いて検出した輝度情報と、比較カメラ２０のクリアフィルタ２２を用いて取得した輝度情報のみを用いて、シンプルな視差計算処理を行うことが出来る。さらに、輝度情報のみを用いることでカラー画像から補間された画像を使うことがなくなるため、視差計算の制度も高精度に保つことが出来る。
また、視差計算用のモノクロ画像（クリア領域１２ｂを通した第１の画像領域）とカラー画像（カラー領域１２ａを通した第２の画像領域）とで処理を分割することにより、処理を高速化できるので、高解像度のセンサを使うことが可能になる。これによって、分解能を劣化することのないステレオカメラを実装できる。
なお、クリアフィルタ２２としては、輝度の情報を得られればよく、ＮＤフィルタを用いても良い。また、フィルタ自体を有さなくても良い。

図２は、本実施形態のステレオカメラの画像処理部の構成を示す図である。
図２に示すように、画像処理部３０は、ＲＡＭ３２と、視差計算部３１と、ＣＰＵ３３と、ＲＡＭ３４と、を備えている。
ＲＡＭ３２は、基準カメラ１０で撮影された基準撮影画像と、比較カメラ２０で撮影された比較撮影画像とが入力されるフレームバッファとして機能する。
視差計算部３１は、ＲＡＭ３２に入力された基準撮影画像のクリア領域１２ｂ通過成分と、比較撮影画像とを用いて視差計算を行う。視差計算部３１としてはＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）が使用可能である。
ＣＰＵ３３は、所定のプログラムに従って、基準撮影画像のうちのカラー領域１２ａ通過成分（ＲＧＢ画素成分）に基づく認識処理を実行する。
ＲＡＭ３４は、ＣＰＵ３３による処理のための一時データや処理プログラムを一時的に展開して格納する。
視差計算部３１による処理もＣＰＵ３３による処理とすることも可能であるが、処理速度を考慮すると、ハードウェアによる処理がより望ましい。

図３は、ステレオカメラの原理を示す図である。
図３にステレオカメラの原理を示す。基線長Ｂ（カメラ間の距離）と焦点距離ｆと視差ｄ（視点による物体の結像点の位置の差）、物体までの距離Ｚの情報を使い、式（１）に表される形で、物体までの距離を算出する。ここで、視差計算とは、数式１におけるｄを算出することを言う。

・・・（１）
このｄは、基準カメラ１０で撮像された基準撮影画像１０Ａと、比較カメラ２０で撮像された比較撮影画像２０Ａとの、各画素の対応位置を意味しており、これは一般的には、注目画素の周辺数画素を使ったブロックマッチングによって算出される。

たとえば周辺画素を含むブロックサイズを９ｘ９と想定した場合、下記式（２）に示されるようなＳＡＤ（Sum of Absolute Difference）などによって計算されるとする。
ブロックマッチングの方法としては、ＳＡＤ以外にも、ＳＳＤ（Sum of Squared Differences）やＮＣＣ（Normalized Cross Correlation）、ＺＳＡＤ（Zero-mean Sum of Absolute Differences）など、様々な手法が提案されており、いずれの手法を利用してもよい。

・・・（２）
このブロックマッチングによる視差計算は、この式（２）で表される計算を、基準撮影画像１０Ａの注目画素に対して比較撮影画像２０Ａ側で１画素づつ（もしくは小数補間されたサブピクセル合成画像づつ）計算していき、最も相関している位置を視差ｄとして算出するものである。

このように、ある画素について視差を探索するには、少なくとも想定可能な視差ｄ以上の画素数分の処理が必要になるため、多くの時間を必要とする。
例えば、１画素ごとに視差ｄを探索するための画素をずらして探索する長さ（探索幅）が６４画素だとした場合、ある画像を処理するための処理時間は、１画素分の視差を探索するために１クロックサイクルかかるとしても、１画面を処理するために６４倍の処理時間がかかることになる。一般に１画素分の相関値を計算するために１クロックサイクルで処理が実現されるということは不可能であり、これは相関を行うブロックサイズによって指数的にさらに増大する。このため、視差計算時間を短縮することは大きな課題となっている。これを一般化した式で表すと、下記（３）式のようになる。
１画面分の視差計算時間＝視差算出画素数×（１画素の相関計算時間×探索幅）
・・・（３）
従って、視差ｄは撮像素子１１、２１に集光された光の情報がそのまま利用されることが望ましい。

これに対して、カラーカメラでは、撮像素子上にＲＧＢなどの各色のフィルタが実装されるため、それらを通して集光した光情報から補間計算を実行してＲＧＢの原色画像を作成し、それぞれの色画素に対して視差計算を施して、最後にそれらから最終的な判断をする、といった利用のされ方がなされる。
このような計算をすることによって、視差としての信頼度（ミスマッチを減らす）を向上することは可能になるが、集光情報をそのまま利用するわけではないので、測距精度の劣化が問題となる。それと同時に、処理時間が膨大にかかるという問題が生じる。
図１に示すステレオカメラでは、基準カメラ１０にカラーフィルタ１２を実装し、比較カメラ２０には、モノクロ画像を撮像するクリアフィルタ２２を実装する。
従って、カラー画像は基準カメラ１０側にのみ撮像されることになる。しかし、ステレオカメラを利用した場合でも、画像認識に利用するカラー情報は基準カメラ１０側のみである。

また、基準カメラ１０において、クリア領域１２ｂが存在する分、カラー領域１２ａの解像度は当然低くなるが、たとえば車載環境などでリアルタイム画像認識を行う場合、カラー画像の解像度はそれほど必要にならない。
それは、補間処理において、撮像環境による色変化の影響を大きく受けてしまうために、遠方の小物体のカラー情報は信頼できないこと、カラー画像は処理時間が長くなってしまうこと、が理由である。
この特性を利用し、カラーフィルタの間にクリアフィルタを入れて実装する。このような構成をとることによって、輝度情報をそのまま利用した視差計算の実行が可能になる。

図４は、基準カメラにおける撮像素子における画素パタンを示す図である。
図４に示すように、ステレオカメラ前方にあるカラーの物体の位置、すなわち、撮像素子１１におけるカラー物体の結像位置（カラー画素の位置）毎に視差計算に用いる輝度情報の画素位置が異なっている。
図４（ａ）は結像パタン１を示しており、ブロックサイズが７ｘ７の結像領域１４において、ＲＧＢ画素は１２画素、輝度情報画素は３７画素である。
図４（ｂ）は結像パタン２を示しており、同じサイズの結像領域１４において、ＲＧＢ画素は１６画素、輝度情報画素は３３画素である。
図４（ｃ）は結像パタン３を示しており、同じサイズの結像領域１４において、ＲＧＢ画素は９画素、輝度情報画素は４０画素である。
図４（ｄ）は結像パタン４を示しており、同じサイズの結像領域１４において、ＲＧＢ画素は１２画素、輝度情報画素は３７画素である。

従来のステレオカメラであれば、モノクロ画像の場合はそのまま、またカラー画像の場合は、原色画像ごとにこの計算を各画素について行う。これは、背景技術の欄で説明した通りである。
本実施形態では、たとえば図１の構成でステレオカメラを構築した場合でブロックサイズが７ｘ７の場合、図３のように４種類の基準画像側のブロックの構成のパタンが存在する。
このように、画素ごとに、ブロックマッチングにおいて利用する計算画素位置を変化させながら視差計算を実施する。
このとき、視差計算は上述したように、基準画像１０Ａの各注目画素について、比較画像２０Ａの比較画素を１画素ずつずらしていき、その場所で、注目画素を中心としたブロックと比較計算を行うことになる。

そのために、たとえば図１のカラーフィルタのような構成を比較カメラ２０側でも持っていた場合、比較撮影画像２０Ａ側の画素探索位置によってはブロックマッチングの構成がまったく異なることになり、視差を算出することが不可能になる。
そのために、比較撮影画像２０Ａ側でもクリアフィルタ２２を実装することで、基準側のどのような画素位置でのブロック構成に対しても適用することが可能になる。
つまり、図１のような構成例の場合、図４のように４種類のブロックマッチング方法（ブロックマッチングのブロック内計算画素位置選択方法）を用意すればよいことになる。
ただしこのとき、図４に示すようにブロックマッチング計算に利用する画素数が可変になると、計算値の単位も異なり、同じ視差探索幅画素内でも、単位が異なる。

この問題を解消するためには、ブロックマッチング計算を実施する際に、計算結果を画素数で割って正規化するという方法、もしくは計算画素数については常に発生しうるパタンの最低数（図４の場合だと３３）に決めておき、それよりも多い画素位置は計算に含まない方法、等が考えられる。
なお、一般的に、視差計算は図２に記載のようにハードウェア化することが多いので、除算器を含む画素数による正規化は処理が遅くなることが多い。
従って、計算画素数を決定しておく方が、ハードウェアのリソースを効率よく使えたり、並列化が実装しやすいなどのメリットがある。

また、本実施形態では、図１（ｂ）に示すようなフィルタ構成とすることで、カラー補間なしで処理を実行することを前提としているため、高精度なフィルタ実装技術が必要になる。
ただし、各カメラに対してフィルタずれを計測し、各画素の輝度情報率を算出、その係数をかけて輝度部のみの情報を抽出するキャリブレーション工程を設けた構成としてもよい。
なお、本実施形態のステレオカメラを実現した場合、カラー画像には解像度の劣化がみられる。図４から明らかなように、カラー領域１２ａの面積は、クリア領域１２ｂの存在により解像度が小さくなっている。
ただし、リアルタイム画像認識においてはカラー画像の高解像度化はまだ求められることは少ないために大きな問題にはならない。しかし、仮に高解像度化の必要性があったとしても、撮像素子を高解像度化することで対応可能になる。
現在、車載などのリアルタイム画像認識装置においては、デジタルカメラや携帯電話などの高解像度センサは処理しきれないが、本構成とすることで、そのような高解像度センサも有効に活用することが可能になる。

［第２の実施形態］
図５は、第２の実施形態に係る光学フィルタの構成を示す図である。
撮像素子を高解像度化する以外にも、カラー画像としての解像度が欲しい場合、図５に示すように、フィルタ内でカラー情報の比率を上げて実装してもよい。
上述した図１の場合では、４画素に１画素の割合でカラー領域１２ａを設けていた。
これに対して、図５（ａ）のパタン１では、横方向の視差解像度を重視（１／１）して縦方向の視差画像解像度を１／２にして、４画素中２画素をカラー領域１２ａに割り当てている。図５（ｂ）のパタン２では、逆に縦方向の視差画像解像度を重視するパタンとなっている。さらに、図５（ｃ）に示すパタン３では、縦横の視差解像度を均等に割り振った構成となっている。
パタン１やパタン２の場合、カラー画像の色比率計算が正方ベースではなくなるので、それにあわせた計算としなければならない。
こういったフィルタ構成については、アプリケーションの要求にあわせて、カラー画像と視差画像の比率を調整、設計する必要がある。
いずれの場合でも、比較カメラ２０のフィルタ２２をクリアフィルタとすることで、視差計算については高精度な計算が可能である。

［第３の実施形態］
図６は、第３の実施形態に係る光学フィルタの構成を示す図である。
基準カメラ１０と比較カメラ２０の両方にカラー画像が欲しい場合は、図６のように、両方に図１（ｂ）に示すような光学フィルタを装備することで、双方のカメラからカラー画像を取得することが可能になる。
すなわち、比較カメラ２０側の光学フィルタ２２をカラーフィルタとし、ＲＧＢ画素領域（カラー領域２２ａ）２２ａの間にクリア領域２２ｂを配置した特種フィルタとして構成する。
図６の（ａ）〜（ｃ）に示す視差０位置、視差１位置、視差２位置等においてブロックマッチングを行うことによって、視差情報を得ることが可能である。
この場合も、フィルタ構成を左右で変更するという第一の特徴を使うことで、高精度測距を実現することが可能になる。
なお、仮に両方のカメラでカラー画像を取得したい場合でも、図１のカラーカメラ側のような構成で両眼を構成した場合、図５のように１ラインおきにクリアフィルタがあるので、そのままでもブロックサイズを大きくとることで視差計算を十分有効に実装することが可能である。
なお、本実施例では２眼のステレオカメラにおいて説明しているが、同様の構成・原理が適用できるため、カメラを２台以上搭載した複数の測距カメラ装置で実現してもよい。

＜その他の実施形態＞
図７は、本実施形態の距離計測装置を適用可能な車両を示す模式図である。
本実施形態の画像処理システムは、車両前方の画像を取得するための撮像ユニット４１と、取得した画像に基づいて車両４０の前方に存在する他の車両までの距離を算出する等の処理を行う画像解析ユニット４２を有している。撮像ユニット４１は、車両４０が走行する前方の画像を撮像できるように、座席のルームミラー位置等に設置されている。撮像ユニット４１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット４２に入力される。画像解析ユニット４２は、撮像ユニット４１から出力された画像信号を解析する。
撮像ユニット４１として、上記実施形態の撮像ユニット１０、２０を適用できる。
また、画像解析ユニット４２の一部の機能として、上記実施形態の画像処理部３０（視差計算部３１、ＣＰＵ３３）を適用することが出来る。
車両走行制御ユニット４８は、画像解析ユニット４２で計算された距離に基づいてハンドルやブレーキの制御も行うことが出来る。
また、画像処理部３０による画像処理により赤信号が検出された時に、ブレーキを制御して安全に停車できるようにするという応用も可能である。

１ ステレオカメラ、１０ 基準カメラ、１０Ａ 基準撮影画像、１１ 撮像素子、１２ カラーフィルタ、１２ａ カラー領域、１２ｂ クリア領域、１３ レンズ、１４ 結像領域、２０ 比較カメラ、２０Ａ 比較撮影画像、２１ 撮像素子、２２ クリアフィルタ、２３ レンズ、３０ 画像処理部、３１ 視差計算部、３２ ＲＡＭ、３３ ＣＰＵ、３４ ＲＡＭ

特開２００５−３４６３９３公報

Claims (6)

1. 光学フィルタ及び撮像素子を備えた複数のカメラユニットと、前記各撮像素子が前記各光学フィルタを介して取得した撮影画像について画像処理を行う画像処理手段と、を備え、
   前記複数の光学フィルタは所定の第１の光学特性を有する第１の領域を備えると共に、前記複数の前記光学フィルタのうちの少なくとも一つは前記第１の光学特性とは異なる第２の光学特性を有する第２の領域を更に備え、
   前記画像処理手段は、各撮像素子が取得した複数の前記撮影画像における、前記第１の光学特性に応じた第１の画像領域と、前記第２の光学特性に応じた第２の画像領域について、異なる画像処理を行うことを特徴とする複眼カメラ装置。
2. 前記複数の光学フィルタはすべて前記第２の領域を有することを特徴とする請求項１に記載の複眼カメラ装置。
3. 前記画像処理手段は、前記第１の画像領域に含まれる画像情報に基づいて、前記撮影画像間の視差を算出することを特徴とする請求項１又は２に記載の複眼カメラ装置。
4. 前記第２の画像領域に含まれる画像情報は、カラー情報であることを特徴とする請求項１乃至３の何れか一項に記載の複眼カメラ装置。
5. 前記視差計算を行う前記第１の画像領域のサイズ及び構成画素の位置は、前記第２の画像領域の位置に基づいて動的に変更されることを特徴とする請求項３に記載の複眼カメラ装置。
6. 請求項１乃至５の何れか一項に記載の複眼カメラ装置を備えたことを特徴とする車両。

Images