JP2006072757A - 物体検出装置 - Google Patents

Abstract

【課題】 演算量を低減する物体検出装置を提供することを課題とする。
【解決手段】 互いに視点の異なる複数の撮像画像を出力する撮像手段と、互いに視点の異なる画像間の対応付けを行う対応付手段とを備え、対応付けによって得られる視差から物体を検出する物体検出装置において、撮像画像を低解像度画像に変換する解像度変換手段と、低解像度画像による対応付けで得られた各対応点の視差が所定の視差以下か否かを判定する判定手段とを備え、高解像度画像による対応付けを行う場合、低解像度画像による対応付けで得られた対応点の位置に対応する高解像度画像の位置の近傍を探索範囲として設定して高解像度画像における対応付けを行い、判定手段により対応点の視差が所定の視差以下と判定した場合、対応点の視差が所定の視差より大きいと判定した場合より探索範囲における視差が少ない方向に対応する範囲を小さく設定することを特徴とする。
【選択図】 図６

Description

本発明は、ステレオ画像を用いて物体を検出する物体検出装置に関する。

物体検出装置には、左右一対のカメラで撮像したステレオ画像間で相関演算を行い、その演算結果から得られた視差を用いて物体までの距離等を算出し、物体を検出するものがある。ステレオ画像による物体検出装置は、様々な技術分野で利用されており、自動車に搭載されて前方の歩行者等を検出するための手段としても開発が進められている。自動車で利用する場合、リアルタイム処理が要求されるので、演算量を極力抑える必要がある。そこで、物体検出装置には、ステレオ画像の撮像画像（原画像）から解像度の低い画像を生成し、この低解像度画像間による相関演算によって各対応点の概略の視差を求め、その概略の視差の付近でのみ次層の高解像度画像間による相関演算によって各対応点の視差を求め、これを繰り返すことにより演算量を削減しているものがある（特許文献１参照）。
特開２００１−３１９２２９号公報

しかしながら、従来の物体検出装置では、低解像度画像から求めた各対応点の視差付近でのみ高解像度画像による相関演算を行うが、画像全体を対象としているので、高解像度画像による相関演算を行う対象の対応点は画像全体にわたって分布する。また、高解像度画像による演算量は、低解像度画像による演算量に比べて極めて多い。したがって、視差付近以外でも高解像度画像（例えば、ステレオ画像の原画像）による相関演算を行う場合に比べて演算量は削減するが、依然として相当な量の演算を行わなければならない。そのため、処理時間が制限される自動車等の場合、目標の処理時間内に演算を行えない可能性がある。

そこで、本発明は、演算量を低減する物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、互いに視点の異なる複数の撮像画像を出力する撮像手段と、互いに視点の異なる画像間の対応付けを行う対応付手段とを備え、当該対応付手段による対応付けによって得られる視差から物体を検出する物体検出装置において、撮像手段から出力された撮像画像を低解像度画像に変換する解像度変換手段と、低解像度画像における対応付けによって得られた各対応点の視差が所定の視差以下か否かを判定する判定手段とを備え、高解像度画像による対応付けを行う場合、低解像度画像における対応付けによって得られた対応点の位置に対応する高解像度画像の位置の近傍を探索範囲として設定し、当該探索範囲を対象として対応付手段により高解像度画像における対応付けを行い、判定手段により低解像度画像における対応付けによって得られた対応点の視差が所定の視差以下と判定した場合、低解像度画像における対応付けによって得られた対応点の視差が所定の視差より大きいと判定した場合より探索範囲における視差が少ない方向に対応する範囲を小さく設定することを特徴とする。

この物体検出装置では、撮像手段により異なる視点でそれぞれ撮像し、複数の撮像画像を出力する。そして、物体検出装置では、解像度変換手段により各撮像画像を解像度の低い低解像度画像に変換する。さらに、物体検出装置では、対応付手段により低解像度画像による対応付けを行い、この対応付けの結果から各対応点の視差を求める。そして、物体検出装置では、判定手段により低解像度画像による各対応点の視差が所定の視差以下か否かを判定する。視差が小さいほど撮像手段から遠くに物体が存在するので、遠くに存在する物体は情報として必要な物体である緊急度が低く、その物体を高精度に検出する必要性が低い。一方、視差が大きいほど撮像手段から近くに物体が存在するので、情報として必要な物体である緊急度が高く、その物体を高精度に検出する必要性が高い。そこで、低解像度画像による視差が所定の視差以下の対応点に対しては、物体検出装置では、低解像度画像による視差が所定の視差より大きい対応点に対して探索範囲を設定する場合に比べて視差が少ない方向に対応する範囲を小さく設定し、その設定した探索範囲を対象として対応付手段により高解像度画像における対応付けを行い、その対応付けの結果から視差を求める。視差が少ない方向とは、視差のマイナス側である。一方、低解像度画像による視差が所定の視差より大きい対応点に対しては、物体検出装置では、通常の探索範囲を設定し、その設定した探索範囲を対象として対応付手段により高解像度画像における対応付けを行い、その対応付けの結果から視差を求める。そして、物体検出手段では、求めた視差から物体との距離等を求め、物体を検出する。このように、物体検出装置では、高い検出精度を必要としない対応点に対しては探索範囲を縮小して対応付けを行う。そのため、この物体検出装置では、演算量の多い高解像度画像に対する演算量を極力抑制でき、全体の演算量を低減することができるとともに、物体の検出精度も確保している。このように、この物体検出装置は、演算量を極力低減できるので、処理時間を制限される自動車等における物体検出に好適である。

なお、解像度変換では、撮像画像に対して一層だけ解像度の異なる低解像度画像に変換してもよいしあるいは撮像画像に対して複数層解像度の異なる複数の低解像度画像に変換してもよい。ちなみに、最も解像度の高い高解像度画像は、撮像画像である。所定の視差は、検出する物体が遠方に存在するか否かを判定するための閾値である。

本発明によれば、高解像度画像による演算量を極力削減することにより、全体の演算量を低減し、処理時間を短縮できる。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る物体検出装置を、自動車に搭載される物体検出装置に適用する。本実施の形態に係る物体検出装置は、ドライバにとって必要な情報である自動車の前方に存在する歩行者や障害物等の物体を検出する。本実施の形態に係る物体検出装置は、粗画像及び密画像による相関演算によって物体を検出するが、密画像による相関演算を極力抑制し、処理全体の演算を大幅に削減する。

図１〜図５を参照して、本実施の形態に係る物体検出装置１の構成について説明する。図１は、本実施の形態に係る物体検出装置の構成図である。図２は、粗画像による相関演算を行う際の探索範囲についての説明図である。図３は、粗画像による相関演算結果の一例である。図４は、対応点の視差が０より大きい場合の密画像による相関演算を行う際の探索範囲についての説明図である。図５は、対応点の視差が０の場合の密画像による相関演算を行う際の探索範囲についての説明図である。

物体検出装置１は、自動車の前方に存在する歩行者や障害物等の物体を検出し、その検出した情報を警報装置等の他の装置に送信する。自動車は、所定の速度で前方に向かって走行しているので、短時間で前方の物体まで到達する。そのため、物体検出装置１では、物体を検出するための目標処理時間が規定されている。そこで、物体検出装置１は、密画像である撮像画像（原画像）による相関演算量を極力抑制し、処理時間を極力短縮している。物体検出装置１は、ステレオカメラを構成する２台のカメラ２，３及びＥＣＵ[Electronic Control Unit]４からなる。なお、本実施の形態では、カメラ２，３が特許請求の範囲に記載する撮像手段に相当する。

カメラ２，３は、自動車の左右に配置され、自動車の前方を撮影するステレオカメラである。カメラ２，３は、水平線が撮像画像の上下方向の中央付近にくるように、所定の高さ位置（例えば、地面から１ｍ数１０ｃｍ）に所定の俯角（例えば、下向きに数°）で設置される。カメラ２，３は、ＣＣＤ［Charge coupled device］等の撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号としてＥＣＵ４に送信する。この撮像画像は、自動車の前方の左右方向の情報を幅広く取得するために比較的横長の画像である。各画素のデジタル画像データは、画像上の位置（ｘ，ｙ）とＲＧＢの各階調のデータ等からなる。

ＥＣＵ４は、ステレオ画像処理用のＥＣＵであり、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなる。ＥＣＵ４では、物体検出装置１が起動されると、ＲＯＭに記憶されている専用のプログラムをＲＡＭにロードし、ＣＰＵによってプログラムに記述された各処理を実行する。ＥＣＵ４では、カメラ２，３から撮像画像（ステレオ画像）をそれぞれ取り入れ、左右の撮像画像から低解像度の粗画像を生成する。そして、ＥＣＵ４では、左右の粗画像による相関演算を行い、この相関演算から得られた各対応点の視差に基づいて密画像（撮像画像）による相関演算の探索範囲を設定する。さらに、ＥＣＵ４では、その設定された探索範囲に対して密画像による相関演算を行い、この相関演算から得られた各対応点の視差に基づいて物体を検出する。なお、本実施の形態では、特許請求の範囲に記載する対応付手段、解像度変換手段、判定手段はＥＣＵ４においてプログラム（ソフトウエア）が実行されることによってそれぞれ構成される。

ＥＣＵ４では、カメラ２，３から送信される各画像信号を受信し、左右の撮像画像（密画像）のデジタル画像データをフレームメモリにそれぞれ記憶させる。フレームメモリは、複数のＲＡＭから構成され、撮像画像の各画素数に対応した個数のＲＡＭからなる。なお、ＥＣＵ４で取り扱う画像は画素単位であり、画像の左右方向をｘ方向とし、上下方向をｙ方向とし、左上端点を（０，０）とする。

ＥＣＵ４では、高解像度である撮像画像（密画像）全体を低い解像度の粗画像に変換し、粗画像のデジタル画像データをフレームメモリにそれぞれ記憶させる。ここでは、撮像画像の各画素のデジタルの階調データを用いて、平均化法、ガウシアンピラミッド、ウエーブレット変換等によって低解像度変換する。粗画像は、例えば、密画像に対して上下方向及び左右方向に画素数が１／４、１／８等に間引かれ、面積（画素数）が１／１６、１／６４等に圧縮された画像である。したがって、粗画像は、ぼやかした画像であり、大きなメッシュ画像である。

ＥＣＵ４では、左右の粗画像を用いて相関演算を行う。この際、ＥＣＵ４では、右の粗画像を基準とし、左の粗画像における探索範囲内でｘ方向に１画素単位でずらしながら対応点探索を行う（図２参照）。左画像では右画像において物体が存在する位置より右側にその物体が位置し、右画像では左画像において物体が存在する位置より左側にその物体が位置する。この左右のステレオ画像における方向のずれは、反転することはない。したがって、探索範囲は、右粗画像での位置が（Ｘ，Ｙ）の画素について左粗画像で対応点探索する場合、ｙ方向についてはＹの位置で固定であり、ｘ方向についてはＸ以上の範囲である。そして、ＥＣＵ４では、各対応点の相関値を算出し、相関値が最小の点から視差を求める。この最小の点に、検出対象の物体が存在する。視差は、その最小の点におけるｘ方向のずれ量である。図２に示す例では、右粗画像の（Ｘ，Ｙ）の画素の対応点は、左粗画像では（Ｘ＋Ｄ，Ｙ）の画素であり、視差がＤである。粗画像による視差は、相関演算を行う際の情報量が少ないので、密画像による視差に比べて精度が低い。

図３には、粗画像による相関演算結果の一例を示している。この撮像画像は、走行中の自動車を後方から撮像した画像であり、遠方には多数の木がある。図３に示す画像では、粗画像によって得られた対応点を丸印で示しており、白の丸印により視差が０より大きい対応点を示しており、黒の丸印により視差が０の対応点を示している。白の丸印は、主に、自動車の輪郭部分や白線の輪郭部分に存在する。黒の丸印は、主に、遠方の木々と空との境界部分や雲の輪郭部分に存在する。この相関演算結果から判るように、カメラから遠方に存在する物体の対応点については視差が０となり、カメラから近傍に存在する物体の対応点については視差として所定の値を有している。このように、画像中には、視差が０となる対応点が非常に多く存在する。

視差が小さいほどその物体がカメラ２，３（自車）から離れているので、ドライバにとっては必要な情報ではない。したがって、その物体に関しての詳細な情報は必要なく、その物体を高精度に検出する必要はない。一方、視差が大きいほどその物体がカメラ２，３から近いので、ドライバにとっては必要な情報である。したがって、その物体に関しての詳細な情報は必要であり、その物体を高精度に検出する必要がある。そこで、ＥＣＵ４では、粗画像による相関演算で求めた各対応点の視差が０か否かを判定する。つまり、視差０により、各対応点の物体が遠方に存在する物体か否かを判定する。なお、視差０によって遠方に存在する物体か否かを判定するが、カメラのスペック等を考慮して、１や２等の０以外の小さな値で判定してもよい。

視差が０でない場合（すなわち、０より大きい場合）、ＥＣＵ４では、左右の密画像を用いて通常の相関演算を行う。この際、ＥＣＵ４では、右の密画像を基準とし、左の密画像に対して通常の探索範囲を設定し、その探索範囲においてｘ方向に１画素単位でずらしながら対応点探索を行う（図４参照）。粗画像によっておおよそ視差が存在する箇所（つまり、物体が存在する位置）が得られているので、その箇所付近（探索範囲）に絞って密画像により精度の高い視差を得る。探索範囲は、粗画像で求めた対応点の視差Ｄから算出した基準点を中心とし、プラス側及びマイナス側に一定の画素Ａ分（例えば、数画素分）の範囲を設定する。そして、ＥＣＵ４では、その対応点の相関値を算出し、相関値が最小の点から視差を求める。密画像による視差は、相関演算を行う際の情報量が多いので、精度が非常に高い。

図４に示すように、粗画像と密画像との比率をＭ（＝密画像／粗画像）とした場合、右粗画像における対応点の位置を（Ｘ，Ｙ）とすると、右密画像ではその対応点の対応する位置は（Ｍ×Ｘ，Ｍ×Ｙ）となる。また、粗画像によるその対応点の視差をＤとすると、左密画像ではその対応点の対応する位置（すなわち、探索範囲の基準点）は（Ｍ×Ｘ＋Ｍ×Ｄ，Ｍ×Ｙ）となる。したがって、探索範囲は、ｙ方向についてはＭ×Ｙの位置で固定であり、ｘ方向についてはＭ×Ｘ＋Ｍ×Ｄ−ＡからＭ×Ｘ＋Ｍ×Ｄ＋Ａの範囲である。

視差が０の場合、ＥＣＵ４では、左右の密画像を用いて演算量を削減した相関演算を行う。この際、ＥＣＵ４では、右の密画像を基準とし、左の密画像に対してマイナス側の範囲を小さくした探索範囲を設定し、その探索範囲においてｘ方向に１画素単位でずらしながら対応点探索を行う（図５参照）。マイナス側は視差が減る側（左画像の場合にはｘ方向において０に近づく側）なので、視差が０の場合には基準点よりマイナス側は視差がマイナス値となる。上記したように右画像と左画像とにおけるずれる方向は決まっており、反転することはない。したがって、マイナスの視差は有り得ない。そこで、演算量を削減するために、探索範囲は、粗画像で求めた対応点の視差Ｄから算出した基準点に対して、プラス側に一定の画素Ａ分の範囲を設定し、マイナス側について一定の画素Ａより小さい画素Ｂ分の範囲を設定する。そして、ＥＣＵ４では、その対応点の相関値を算出し、相関値が最小の点から視差を求める。この場合、通常の探索範囲で行った場合より精度が低下するが、演算量を削減できる。

図５に示すように、左密画像では基準点を（Ｍ×Ｘ＋Ｍ×Ｄ，Ｍ×Ｙ）とし、探索範囲は、ｙ方向についてはＭ×Ｙの位置で固定であり、ｘ方向についてはＭ×Ｘ＋Ｍ×Ｄ−ＢからＭ×Ｘ＋Ｍ×Ｄ＋Ａの範囲である。Ｂは、Ａより小さい値であり、０としてもよい。Ｂを０とした場合が最も演算量を削減できる。

ＥＣＵ４では、密画像によって得られた各対応点の視差を用いて、カメラ２，３から物体の各点までの距離をそれぞれ求める。さらに、ＥＣＵ４では、３点以上の物体までの距離情報から物体を形成する面を求め、物体を検出する。この物体検出では、画像上のｘ方向の位置が同じでｙ方向の位置が異なる対応点の各視差が同じ値の場合、その対応点のところに物体が存在すると判定している。そして、ＥＣＵ４では、検出した物体の情報（例えば、物体までの距離や位置、物体の形状）を検出信号として警報装置等に送信する。

図１を参照して、物体検出装置１の動作について説明する。特に、ＥＣＵ４における処理については図６のフローチャートに沿って説明する。図６は、本実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。

カメラ２，３では、左右から自車の前方を撮影し、その各撮像画像を画像信号としてＥＣＵ４に送信する。

ＥＣＵ４では、カメラ２，３から各画像信号を受信し、左右の撮像画像を取り入れる（Ｓ１）。そして、ＥＣＵ４では、各撮像画像をフレームメモリにそれぞれ記憶させる。

そして、ＥＣＵ４では、左右の密画像（撮像画像）から低解像度に変換した左右の粗画像をそれぞれ生成する（Ｓ２）。

さらに、ＥＣＵ４では、左右の粗画像を用いて相関演算を行い、左右の粗画像の対応点を探索する（Ｓ３）。そして、ＥＣＵ４では、その相関結果から視差を求める。

続いて、ＥＣＵ４では、各対応点の視差が０より大きいか否かを判定する（Ｓ４）。視差が０より大きい対応点に対しては、ＥＣＵ４では、その対応点の視差付近にプラス側とマイナス側とを同じ範囲とした探索範囲を設定し、その探索範囲を対象として左右の密画像を用いて相関演算を行い、左右の密画像の対応点を探索する（Ｓ５）。そして、ＥＣＵ４では、その相関結果から視差を求める。一方、視差が０の対応点に対しては、ＥＣＵ４では、その対応点の視差付近にマイナス側を縮小した探索範囲を設定し、その探索範囲を対象として左右の密画像を用いて相関演算を行い、左右の密画像の対応点を探索する（Ｓ６）。そして、ＥＣＵ４では、その相関結果から視差を求める。

ＥＣＵ４では、密画像による各対応点の視差を用いて、歩行者等の物体を検出する（Ｓ７）。そして、物体検出装置１では、その検出した物体の情報を警報装置等に送信する。

この物体検出装置１によれば、ドライバにとって必要性の低い遠方の物体の対応点については密画像における探索範囲のマイナス側を小さくしているので、演算量が非常に多い密画像の演算量を削減できる。したがって、全体の演算量を低減でき、処理時間も短縮できる。そのため、自動車に搭載されて目標処理時間が設定されているが、その目標処理時間内に処理を行うことができ、十分に実用条件を満たす。ちなみに、粗画像による相関演算によって得られた対応点のうち視差が０となる対応点はかなりの割合を占めるので、演算量を削減できる対応点の数は多く、密画像の演算量を大幅に削減できる。

また、物体検出装置１では、視差としては有り得ないマイナス側の探索範囲を小さくするので、探索範囲を小さくしたことによる検出精度の低下も抑制できる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では自動車に搭載し、歩行者等を検出する物体検出装置に適用したが、侵入者を検出するセキュリティ装置や障害物を検出するロボット等の他の装置に適用してもよい。

また、本実施の形態では密画像（撮像画像）と粗画像の２層の解像度画像を用いる構成としたが、３層以上の解像度画像を用いてもよく、この場合にも段階的に探索範囲を設定するようにしてもよい。

また、本実施の形態では密画像の探索範囲を設定する際にプラス側及びマイナス側において固定値により範囲を設定する構成としたが、粗画像による視差等を考慮した変動値により範囲を設定する構成としてもよい。

また、本実施の形態では右画像を基準とし、左画像に探索範囲を設定して対応点探索を行う構成としたが、左画像を基準とし、右画像に探索範囲を設定して対応点探索を行う構成としてもよい。この場合、マイナス側とプラス側は、右画像では左画像とそれぞれ反対側となる。

本実施の形態に係る物体検出装置の構成図である。 粗画像による相関演算を行う際の探索範囲についての説明図である。 粗画像による相関演算結果の一例である。 対応点の視差が０より大きい場合の密画像による相関演算を行う際の探索範囲についての説明図である。 対応点の視差が０の場合の密画像による相関演算を行う際の探索範囲についての説明図である。 図１のＥＣＵにおける処理の流れを示すフローチャートである。

符号の説明

１…物体検出装置、２，３…カメラ、４…ＥＣＵ

Claims (1)

1. 互いに視点の異なる複数の撮像画像を出力する撮像手段と、互いに視点の異なる画像間の対応付けを行う対応付手段とを備え、当該対応付手段による対応付けによって得られる視差から物体を検出する物体検出装置において、
   前記撮像手段から出力された撮像画像を低解像度画像に変換する解像度変換手段と、
   低解像度画像における対応付けによって得られた各対応点の視差が所定の視差以下か否かを判定する判定手段と
   を備え、
   高解像度画像による対応付けを行う場合、低解像度画像における対応付けによって得られた対応点の位置に対応する高解像度画像の位置の近傍を探索範囲として設定し、当該探索範囲を対象として前記対応付手段により高解像度画像における対応付けを行い、
   前記判定手段により低解像度画像における対応付けによって得られた対応点の視差が所定の視差以下と判定した場合、低解像度画像における対応付けによって得られた対応点の視差が所定の視差より大きいと判定した場合より探索範囲における視差が少ない方向に対応する範囲を小さく設定することを特徴とする物体検出装置。

Images