JP2003150938A

JP2003150938A - 画像認識装置

Info

Publication number: JP2003150938A
Application number: JP2001345105A
Authority: JP
Inventors: Shinji Nagaoka; 伸治長岡; Takayuki Tsuji; 孝之辻; Hiroshi Hattori; 弘服部; Kozo Shimamura; 考造嶋村; Masato Watanabe; 正人渡辺
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2001-11-09
Filing date: 2001-11-09
Publication date: 2003-05-23
Anticipated expiration: 2021-11-09
Also published as: JP3739693B2; US20030091228A1; US7474765B2; US7158664B2; DE10251880B4; DE10251880A1; US20070053584A1

Abstract

(57)【要約】【課題】カメラにより撮影された画像上の対象物の大
きさを考慮しつつ、その視差から異なる物体の重なりの
有無を判断し、重なっている場合はそれぞれの物体まで
の距離を独立して算出する画像認識装置を提供する。【解決手段】画像処理ユニットは、対象物の外接四角
形の大きさを判定し、異なる２つの物体の重なりを予測
する（Ｓ２１）。次に、対象物を左右のエッジを含む２
つの分割領域Ｌ＿ｂ及びＲ＿ｂに分割し（Ｓ２６）、そ
れぞれの分割領域について、ステレオカメラによって撮
影された右画像と左画像との相関演算によって、それぞ
れの分割領域Ｌ＿ｂ及びＲ＿ｂの視差を求める（Ｓ２
７）。そして、それぞれの分割領域Ｌ＿ｂ及びＲ＿ｂの
視差の差分の絶対値が所定値以上であれば、対象物にお
いて異なる物体の重なりが生じていると判断し、対象物
を分割して認識すると共に、それぞれの物体までの距離
を独立して算出する（Ｓ２８〜Ｓ２９）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、対象物の距離を
２台の撮像手段により得られた２眼立体視画像から算出
する画像認識装置に関する。

【０００２】

【従来の技術】従来、歩行者等の走行路上の障害物を車
両の運転者に通知するために、車両の前方に搭載された
１つあるいは複数のカメラの画像を運転席から目視可能
な位置に表示し、運転者の前方視界を補助するものや、
カメラの画像から自車両との接触の可能性がある障害物
を検出し、車両側の自動回避動作等を行うものがある。
ここで、運転者に表示される画像は、例えば自車両のコ
ンソールに設置されるＮＡＶＩＤｉｓｐｌａｙやフロン
トウィンドウの運転者の前方視界を妨げない位置に情報
を表示するＨＵＤ（Head Up Display ）、更には自車両
の走行状態を数字で表すメータと一体化されたメータ一
体Ｄｉｓｐｌａｙ等の画像表示装置に表示される。ま
た、車両側の自動回避動作は、車両の各部を操作するた
めに備えられた各種アクチュエータを自動制御すること
により行われる。

【０００３】更に、このように車両の周辺の環境をカメ
ラによって撮影し、撮影された画像から自車両との接触
の可能性がある障害物を検出する装置としては、例えば
特開平６−２６６８２８号公報に示すようなものが知ら
れている。この装置では、２台のカメラで撮影した画像
を処理して画像全体に渡る距離分布の情報を求め、更に
距離分布の情報に対応する対象物の３次元位置情報を計
算することで、道路の形状と側壁等の障害物を容易に、
かつ確実に検出している。これにより、複数の障害物の
存在を障害物毎に認識し、車両の運転者に警告したり、
車両側の自動回避動作等を信頼性高く行うことができ
る。

【０００４】

【発明が解決しようとする課題】しかし、上述のような
従来の装置では、画像全体に渡る距離分布を求める場合
に、画像全体を決められた大きさの領域に分割し、該領
域毎に距離分布を求めているため、対象物の大きさに対
する領域の大きさが固定となり、処理の効率が悪いとい
う問題があった。すなわち、画像全体の大きさに対し
て、撮影された対象物の占める割合が大きい場合、対象
物までの距離は対象物１つについて１つ求まれば良いの
で、対象物を必要以上に細かく分割して距離分布を求め
ると、処理の効率が悪く、距離分布全てを計算して対象
物までの距離が算出されるまでに時間がかかるという問
題があった。

【０００５】本発明は、上記課題に鑑みてなされたもの
で、カメラにより撮影された画像上の対象物の大きさを
考慮しつつ、その視差から異なる物体の重なりの有無を
判断し、重なっている場合はそれぞれの物体までの距離
を独立して算出する画像認識装置を提供することを目的
とする。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明に係わる画像認識装置は、２台の撮
像手段により得られるそれぞれの画像から対象物の視差
を測定し、該視差に基づき前記対象物までの距離を算出
する画像認識装置において、前記対象物を包含する高さ
を有すると共に前記対象物の左右のエッジをそれぞれ独
立して含む判定領域を設定し、それぞれの判定領域の視
差を測定して比較することで異なる物体の重なりの有無
を判断する画像判定手段（例えば実施の形態のステップ
Ｓ２６〜ステップＳ３０）を備えたことを特徴とする。
以上の構成を備えた画像認識装置は、画像判定手段によ
り、撮影された対象物の左、または右のエッジを含むよ
うに、対象物毎に異なる高さを考慮した領域をその都度
設定し、この領域の視差を比較することで、左右のエッ
ジの視差が一致するか、あるいは異なるかの比較結果を
得る。これにより、対象物の左部分と右部分とが同一物
体の一部か、それともそれぞれ異なる物体の一部である
かどうかを判断し、物体の重なりの有無を判断すること
ができる。

【０００７】請求項２の発明に係わる画像認識装置は、
請求項１に記載の画像認識装置において、前記画像判定
手段が、異なる物体の重なりを認識した場合に、前記判
定領域における距離判定点を前記判定領域のエッジ上に
設定し、それぞれの物体までの距離を独立して算出する
画像分離手段（例えば実施の形態のステップＳ３０）を
含むことを特徴とする。以上の構成を備えた画像認識装
置は、画像判定手段により、対象物が異なる物体の重な
った状態であると認識した場合は、対象物の左右それぞ
れのエッジを距離判定点としてそれぞれの物体までの距
離を算出し、物体を分離して捉えることができる。

【０００８】請求項３の発明に係わる画像認識装置は、
請求項１、または請求項２に記載の画像認識装置におい
て、前記対象物を囲む領域の大きさが所定値以上、ある
いは前記対象物を囲む領域の横方向の長さに対する縦方
向の長さの比が所定値以下である場合に、異なる物体の
重なりを予測する画像予測手段（例えば実施の形態のス
テップＳ２１）を備えたことを特徴とする。以上の構成
を備えた画像認識装置は、画像判定手段による異なる物
体の重なり判断の前に、画像予測手段により対象物を囲
む領域の大きさ、あるいは対象物を囲む領域の横方向の
長さに対する縦方向の長さの比を用いて、対象物が異な
る物体の重なった状態であるか否かの予測を行い、対象
物が異なる物体の重なった状態であると予測される場合
に、画像判断手段による判断を行うようにすることがで
きる。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は、本発明の一実施の
形態の画像認識装置の構成を示すブロック図である。図
１において、符号１は、本実施の形態の画像認識装置を
制御するＣＰＵ（中央演算装置）を備えた画像処理ユニ
ットであって、遠赤外線を検出可能な２つの赤外線カメ
ラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレ
ートセンサ３、更に、当該車両の走行速度（車速）を検
出する車速センサ４とブレーキの操作を検出するための
ブレーキセンサ５が接続される。これにより、画像処理
ユニット１は、車両の周辺の赤外線画像と車両の走行状
態を示す信号から、車両前方の歩行者や動物等の動く物
体を検出し、衝突の可能性が高いと判断したときに警報
を発する。

【００１０】また、画像処理ユニット１には、音声で警
報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２
Ｌにより撮影された画像を表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Ｄｉｓｐｌａｙや自車両のコンソールに設置される
ＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するＨＵＤ
（Head Up Display ）７ａ等を含む画像表示装置７が接
続されている。

【００１１】また、画像処理ユニット１は、入力アナロ
グ信号をディジタル信号に変換するＡ／Ｄ変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途
中のデータを記憶するために使用するＲＡＭ（Random A
ccess Memory）、ＣＰＵが実行するプログラムやテーブ
ル、マップなどを記憶するＲＯＭ（Read Only Memor
y）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号
などを出力する出力回路を備えており、赤外線カメラ２
Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレ
ーキセンサ５の各出力信号は、ディジタル信号に変換さ
れてＣＰＵに入力されるように構成されている。

【００１２】また、図２に示すように、赤外線カメラ２
Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方
向中心部に対してほぼ対象な位置に配置されており、２
つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物
の温度が高いほど、その出力信号レベルが高くなる（輝
度が増加する）特性を有している。また、ＨＵＤ７ａ
は、自車両１０のフロントウインドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。

【００１３】次に、本実施の形態の動作について図面を
参照して説明する。図３は、本実施の形態の画像認識装
置の画像処理ユニット１における処理手順を示すフロー
チャートである。まず、画像処理ユニット１は、赤外線
カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得し
て（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、
グレースケール画像を画像メモリに格納する（ステップ
Ｓ３）。なお、ここでは赤外線カメラ２Ｒにより右画像
が得られ、赤外線カメラ２Ｌにより左画像が得られる。
また、右画像と左画像では、同一の対象物の表示画面上
の水平位置がずれて表示されるので、このずれ（視差）
によりその対象物までの距離を算出することができる。

【００１４】次に、赤外線カメラ２Ｒにより得られた右
画像を基準画像とし、その画像信号の２値化処理、すな
わち、輝度閾値ＩＴＨより明るい領域を「１」（白）と
し、暗い領域を「０」（黒）とする処理を行う（ステッ
プＳ４）。図４（ａ）は、赤外線カメラ２Ｒにより得ら
れたグレースケール画像を示し、これに２値化処理を行
うことにより、図４（ｂ）に示すような画像を得る。な
お、図４（ｂ）において、例えばＰ１からＰ４の枠で囲
った物体を、表示画面上に白色として表示される対象物
（以下「高輝度領域」という）とする。赤外線画像から
２値化された画像データを取得したら、２値化した画像
データをランレングスデータに変換する処理を行う（ス
テップＳ５）。

【００１５】図５（ａ）は、これを説明するための図で
あり、この図では２値化により白となった領域を画素レ
ベルでラインＬ１〜Ｌ８として示している。ラインＬ１
〜Ｌ８は、いずれもｙ方向には１画素の幅を有してお
り、実際にはｙ方向には隙間なく並んでいるが、説明の
ために離間して示している。またラインＬ１〜Ｌ８は、
ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、
７画素、８画素、８画素、８画素の長さを有している。
ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの
開始点（各ラインの左端の点）の座標と、開始点から終
了点（各ラインの右端の点）までの長さ（画素数）とで
示したものである。例えばラインＬ３は、（ｘ３，ｙ
５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素から
なるので、ランレングスデータとしては、（ｘ３，ｙ
５，３）となる。

【００１６】次に、ランレングスデータに変換された画
像データから、対象物のラベリングをする（ステップＳ
６）ことにより、対象物を抽出する処理を行う（ステッ
プＳ７）。すなわち、ランレングスデータ化したライン
Ｌ１〜Ｌ８のうち、図５（ｂ）に示すように、ｙ方向に
重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１と
みなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、
ランレングスデータに対象物ラベル１、２を付加する。
この処理により、例えば図４（ｂ）に示す高輝度領域
が、それぞれ対象物１から４として把握されることにな
る。

【００１７】対象物の抽出が完了したら、次に、図５
（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ
及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出
する（ステップＳ８）。ここで、面積Ｓは、下記式
（１）によりランレングスデータの長さを同一対象物に
ついて積算することにより算出する。ラベルＡの対象物
のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ
［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とする
と、

【数１】また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、ラン
レングスデータの長さを考慮した下記（２）、（３）式
により算出する。

【数２】更に、縦横比ＡＳＰＥＣＴは、図５（ｃ）に示すＤｙと
Ｄｘとの比Ｄｙ／Ｄｘとして算出する。なお、式
（１）、（２）、（３）に示すように、ランレングスデ
ータは画素数（座標数）ｒｕｎ［ｉ］で示されているの
で、実際の長さは「−１」する必要がある。また、重心
Ｇの位置は、外接四角形の重心位置で代用してもよい。

【００１８】対象物の重心、面積、外接四角形の縦横比
が算出できたら、次に、対象物の時刻間追跡、すなわち
サンプリング周期毎の同一対象物の認識を行う（ステッ
プＳ９）。時刻間追跡は、アナログ量としての時刻ｔを
サンプリング周期で離散化した時刻をｋとし、図６
（ａ）に示すように時刻ｋで対象物Ａ、Ｂを抽出した場
合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと、対象物
Ａ、Ｂとの同一性判定を行う。具体的には、以下の同一
性判定条件１）〜３）を満たすときに、対象物Ａ、Ｂと
対象物Ｃ、Ｄとは同一であると判定し、対象物Ｃ、Ｄを
それぞれ対象物Ａ、Ｂというラベルに変更することによ
り、時刻間追跡が行われる。

【００１９】１）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）
の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），
ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ
（＝Ｃ，Ｄ）の画像上での重心位置座標を、（ｘｊ（ｋ
＋１），ｙｊ（ｋ＋１））としたとき、｜ｘｊ（ｋ＋
１）−ｘｉ（ｋ）｜＜Δｘ｜ｙｊ（ｋ＋１）−ｙｉ
（ｋ）｜＜Δｙであること。ただし、Δｘ、Δｙは、そ
れぞれｘ方向及びｙ方向の画像上の移動量の許容値であ
る。２）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の画像上での
面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物
ｊ（＝Ｃ，Ｄ）の画像上での面積をＳｊ（ｋ＋１）とし
たとき、Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳである
こと。ただし、ΔＳは面積変化の許容値である。３）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の外接四角形
の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）
における対象物ｊ（＝Ｃ，Ｄ）の外接四角形の縦横比を
ＡＳＰＥＣＴｊ（ｋ＋１）としたとき、ＡＳＰＥＣＴｊ
（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣ
Ｔであること。ただし、ΔＡＳＰＥＣＴは縦横比変化の
許容値である。

【００２０】例えば、図６（ａ）と（ｂ）とを対比する
と、各対象物は画像上での大きさが大きくなっている
が、対象物Ａと対象物Ｃとが上記同一性判定条件を満た
し、対象物Ｂと対象物Ｄとが上記同一性判定条件を満た
すので、対象物Ｃ、Ｄはそれぞれ対象物Ａ、Ｂと認識さ
れる。このようにして認識された各対象物の（重心の）
位置座標は、時系列位置データとしてメモリに格納さ
れ、後の演算処理に使用される。なお、以上説明したス
テップＳ４〜Ｓ９の処理は、２値化した基準画像（本実
施形態では、右画像）について実行する。次に、車速セ
ンサ４により検出される車速ＶＣＡＲ及びヨーレートセ
ンサ３より検出されるヨーレートＹＲを読み込み、ヨー
レートＹＲを時間積分することより、図７に示すように
自車両１０の回頭角θｒを算出する（ステップＳ１
０）。

【００２１】一方、ステップＳ９とステップＳ１０の処
理に平行して、ステップＳ１１〜Ｓ１３では、対象物と
自車両１０との距離ｚを算出する処理を行う。この演算
はステップＳ９、及びステップＳ１０より長い時間を要
するため、ステップＳ９、Ｓ１０より長い周期（例えば
ステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で
実行される。まず、基準画像（右画像）の２値化画像に
よって追跡される対象物の中の１つを選択することによ
り、図８（ａ）に示すように右画像から探索画像Ｒ１
（ここでは、外接四角形で囲まれる領域全体を探索画像
とする）を抽出する（ステップＳ１１）。

【００２２】次に、左画像中から探索画像に対応する画
像（以下「対応画像」という）を探索する探索領域を設
定し、相関演算を実行して対応画像を抽出する（ステッ
プＳ１２）。具体的には、図８（ｂ）に示すように、探
索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域
Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関
の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式
（４）により算出し、この総和値Ｃ（ａ，ｂ）が最小と
なる領域を対応画像として抽出する。なお、この相関演
算は、２値化画像ではなくグレースケール画像を用いて
行う。また同一対象物についての過去の位置データがあ
るときは、その位置データに基づいて探索領域Ｒ２より
狭い領域Ｒ２ａ（図８（ｂ）に破線で示す）を探索領域
として設定する。

【数３】ここで、ＩＲ（ｍ，ｎ）は、図９に示す探索画像Ｒ１内
の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ
−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を
基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内
の座標（ｍ，ｎ）の位置の輝度値である。基点の座標
（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が
最小となる位置を求めることにより、対応画像の位置が
特定される。

【００２３】ステップＳ１２の処理により、基準画像
（右画像）中に探索画像Ｒ１と、左画像中にこの対象物
に対応する対応画像Ｒ４とが抽出されるので、次に、探
索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差
Δｄ（画素数）を求め、下記式（５）に適用して、自車
両１０と、対象物との距離ｚを算出する（ステップＳ１
３）。

【数４】ここで、Ｂは基線長、赤外線カメラ２Ｒの撮像素子の中
心位置と、赤外線カメラ２Ｌの撮像素子の中心位置との
水平方向の距離（両赤外線カメラの光軸の間隔）、Ｆは
赤外線カメラ２Ｒ、２Ｌのレンズの焦点距離、ｐは赤外
線カメラ２Ｒ、２Ｌの撮像素子内の画素間隔である。な
お、対象物距離算出の方法については、詳細を後述す
る。

【００２４】ステップＳ１０における回頭角θｒの算出
と、ステップＳ１３における対象物との距離算出が完了
したら、画像内の座標（ｘ，ｙ）及び式（５）により算
出した距離ｚを下記式（６）に適用し、実空間座標
（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。ここ
で、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、
赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置
（自車両１０に固定された位置）を原点Ｏとして、図示
のように定め、画像内の座標は、画像の中心を原点とし
て水平方向をｘ、垂直方向をｙと定めている。

【数５】ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）
を、赤外線カメラ２Ｒの取り付け位置と、実空間原点Ｏ
との相対位置関係に基づいて、実空間原点Ｏと画像の中
心とを一致させた仮想的な画像内の座標に変換したもの
である。またｆは、焦点距離Ｆと画素間隔ｐとの比であ
る。

【００２５】また、実空間座標が求められたら、自車両
１０が回頭することによる画像上の位置ずれを補正する
ための回頭角補正を行う（ステップＳ１５）。回頭角補
正は、図７に示すように、時刻ｋから（ｋ＋１）までの
期間中に自車両１０が例えば左方向に回頭角θｒだけ回
頭すると、カメラによって得られる画像上では、図１０
に示すようにΔｘだけｘ方向にずれるので、これを補正
する処理である。具体的には、下記式（７）に実空間座
標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，
Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，
Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納す
る。なお、以下の説明では、回頭角補正後の座標を
（Ｘ，Ｙ，Ｚ）と表示する。

【数６】

【００２６】実空間座標に対する回頭角補正が完了した
ら、次に、同一対象物について、ΔＴのモニタ期間内に
得られた、回頭角補正後のＮ個の実空間位置データ（例
えばＮ＝１０程度）、すなわち時系列データから、対象
物と自車両１０との相対移動ベクトルに対応する近似直
線ＬＭＶを求める（ステップＳ１６）。具体的には、近
似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌ
ｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（８）で表
される直線を求める。

【数７】ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ、
Ｙａｖ、及びＺａｖは、それぞれ実空間位置データ列の
Ｘ座標の平均値、Ｙ座標の平均値、及びＺ座標の平均値
である。なお、式（８）は媒介変数ｕを消去すれば下記
式（８ａ）のようになる。（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ・・・（８ａ）

【００２７】また、例えばＰ（０），Ｐ（１），Ｐ
（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正
後の時系列データを示す場合、近似直線ＬＭＶは、この
時系列データの平均位置座標Ｐａｖ＝（Ｘａｖ，Ｙａ
ｖ，Ｚａｖ）を通り、各データ点からの距離の２乗の平
均値が最小となるような直線として求められる。ここ
で、各データ点の座標を示すＰに付した（）内の数値は
その値が増加するほど過去のデータであることを示す。
例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サン
プル周期前の位置座標、Ｐ（２）は２サンプル周期前の
位置座標を示す。

【００２８】次いで、最新の位置座標Ｐ（０）＝（Ｘ
（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル
前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−
１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ
上の位置に補正する。具体的には、前記式（８ａ）にＺ
座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、す
なわち下記式（９）により、補正後の位置座標Ｐｖ
（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及び
Ｐｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），
Ｚｖ（Ｎ−１））を求める。

【数８】

【００２９】式（９）で算出された位置座標Ｐｖ（Ｎ−
１）からＰｖ（０）に向かうベクトルとして、相対移動
ベクトルが得られる。このようにモニタ期間ΔＴ内の複
数（Ｎ個）のデータから対象物の自車両１０に対する相
対移動軌跡を近似する近似直線を算出して相対移動ベク
トルを求めることにより、位置検出誤差の影響を軽減し
て対象物との衝突の可能性をより正確に予測することが
可能となる。また、ステップＳ１６において、相対移動
ベクトルが求められたら、次に、検出した対象物との衝
突の可能性を判定する警報判定処理を行う（ステップＳ
１７）。

【００３０】警報判定処理（ステップＳ１７）は、以下
に示す衝突判定処理、接近判定領域内か否かの判定処
理、侵入衝突判定処理のいずれかにより、自車両１０と
検出した対象物との衝突の可能性を判定する処理であ
る。以下、図１１に示すように、自車両１０の進行方向
に対してほぼ９０°の方向から、速度Ｖｐで進行してく
る動物２０がいる場合を例に取って説明する。

【００３１】＜衝突判定処理＞まず、画像処理ユニット
１は、動物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）か
ら距離Ｚｖ（０）に接近したことにより、下記式（１
０）を用いてＺ方向の相対速度Ｖｓを算出し、衝突判定
処理を行う。衝突判定処理は、下記式（１１）及び（１
２）が成立するとき、衝突の可能性があると判定する処
理である。Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ・・・（１０）Ｚｖ（０）／Ｖｓ≦Ｔ・・・（１１）｜Ｙｖ（０）｜≦Ｈ・・・（１２）ここで、Ｚｖ（０）は最新の距離検出値（ｖは近似直線
ＬＭＶによる補正後のデータであることを示すために付
しているが、Ｚ座標は補正前と同一の値である）であ
り、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値であ
る。またＴは、余裕時間であり、衝突の可能性を予測衝
突時刻より時間Ｔだけ前に判定することを意図したもの
である。従って、Ｔは例えば２〜５秒程度に設定され
る。またＨは、Ｙ方向、すなわち高さ方向の範囲を規定
する所定高さであり、例えば自車両１０の車高の２倍程
度に設定される。

【００３２】＜接近判定領域内か否かの判定処理＞ここ
では、対象物が接近判定領域内に存在するか否かを判定
する。例えば、図１２は、赤外線カメラ２Ｒ、２Ｌで監
視可能な領域を太い実線で示す外側の三角形の領域ＡＲ
０で示し、更に領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自
車両１０に近い領域ＡＲ１、ＡＲ２、ＡＲ３を、警報判
定領域としている。ここで、領域ＡＲ１は、自車両１０
の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度
とする）を加えた範囲に対応する領域、換言すれば自車
両１０の車幅方向中心部の軸の両側に（α／２＋β）の
幅を有する領域であって、対象物がそのまま存在し続け
れば衝突の可能性がきわめて高いので、接近判定領域と
呼ぶ。領域ＡＲ２、ＡＲ３は、接近判定領域よりＸ座標
の絶対値が大きい（接近判定領域の横方向外側の）領域
であり、この領域内にある対象物については、後述する
侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこ
れらの領域は、前記式（１２）に示したようにＹ方向に
は、所定高さＨを有する。

【００３３】＜侵入衝突判定処理＞侵入衝突判定処理
は、具体的には、画像上での最新のｘ座標であるｘｃ
（０）（文字ｃは前述したように画像の中心位置を実空
間原点Ｏに一致させる補正を行った座標であることを示
すために付している）と、時間ΔＴ前のｘ座標であるｘ
ｃ（Ｎ−１）との差が下記式（１３）を満たすか否かを
判別し、満たす場合に衝突の可能性が高いと判定する。

【数９】なお、図１１に示すように、自車両１０の進行方向に対
してほぼ９０°の方向から進行してくる動物２０がいた
場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝Ｘｖ（０）／
Ｚｒ（０）であるとき、換言すれば動物の速度Ｖｐと相
対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｒ（Ｎー１）／Ｚｒ（Ｎ
−１）であるとき、自車両１０から動物２０を見る方位
角θｄは一定となり、衝突の可能性が高い。式（１３）
は、この可能性を自車両１０の車幅αを考慮して判定す
るものである。

【００３４】警報判定処理（ステップＳ１７）において
衝突判定処理、接近判定領域内か否かの判定処理、侵入
衝突判定処理のいずれにおいても、自車両１０と検出し
た対象物との衝突の可能性がないと判定された場合（ス
テップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処
理を繰り返す。また、警報判定処理（ステップＳ１７）
において衝突判定処理、接近判定領域内か否かの判定処
理、侵入衝突判定処理のいずれかにより、自車両１０と
検出した対象物との衝突の可能性があると判定された場
合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報
出力判定処理へ進む。

【００３５】ステップＳ１８では、以下のようにして警
報出力判定処理、すなわち警報出力を行うか否かの判定
を行う（ステップＳ１８）。警報出力判定処理は、まず
ブレーキセンサ５の出力ＢＲから自車両１０の運転者が
ブレーキ操作を行っているか否かを判別する。もし、自
車両１０の運転者がブレーキ操作を行っている場合に
は、それによって発生する加速度Ｇｓ（減速方向を正と
する）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより
大きいときは、ブレーキ操作により衝突が回避されると
判定して警報出力判定処理を終了し（ステップＳ１８の
ＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているとき
は、警報を発しないようにして、運転者に余計な煩わし
さを与えないようにすることができる。

【００３６】また、加速度Ｇｓが所定閾値ＧＴＨ以下で
あるとき、または自車両１０の運転者がブレーキ操作を
行っていなければ、直ちにステップＳ１９の処理へ進み
（ステップＳ１８のＹＥＳ）、対象物と接触する可能性
が高いので、スピーカ３を介して音声による警報を発す
る（ステップＳ１９）とともに、画像表示装置７に対し
て、例えば赤外線カメラ２Ｒにより得られる画像を出力
し、接近してくる対象物を自車両１０の運転者に対する
強調映像として表示する（ステップＳ２０）。なお、所
定閾値ＧＴＨは、下記式（１４）のように定める。これ
は、ブレーキ操作中の加速度Ｇｓがそのまま維持された
場合に、距離Ｚｖ（０）以下の走行距離で自車両１０が
停止する条件に対応する値である。

【数１０】

【００３７】次に、図１３に示すフローチャート、及び
図１４に示す図面を参照して、図３に示したフローチャ
ートのステップＳ１３における視差算出演算処理につい
て説明する。図１３は、視差算出演算処理の動作を示す
フローチャートである。図１３において、まず、画像処
理ユニット１は、図１４の右側画像に示した対象物５０
のように、対象物５０の外接四角形５１の幅Ｘが所定値
Ａより小さいか、または外接四角形５１の横方向の長さ
（幅Ｘ）に対する縦方向の長さ（高さＹ）の比が所定値
Ｂより大きいか、すなわち外接四角形５１の幅Ｘ＜Ａ（外接四角形５１の高さＹ／外接四角形５１の幅Ｘ）＞
Ｂのどちらかであるか否かを判定する（ステップＳ２
１）。

【００３８】ステップＳ２１において、外接四角形５１
の幅Ｘが所定値Ａより小さいか、または外接四角形５１
の横方向の長さ（幅Ｘ）に対する縦方向の長さ（高さ
Ｙ）の比が所定値Ｂより大きい場合（ステップＳ２１の
ＹＥＳ）、画像処理ユニット１は、右画像と左画像にお
ける対象物５０の全体の外接四角形５１を用いて、グレ
ースケール画像による相関演算を実行する（ステップＳ
２２）。次に、画像処理ユニット１は、ステップＳ２１
で実行した相関演算の結果から、右画像の対象物５０と
左画像の対象物５０との相関度が高いか否かを判定する
（ステップＳ２３）。ステップＳ２３において、右画像
の対象物５０と左画像の対象物５０との相関度が低い場
合（ステップＳ２３のＮＯ）、この対象物は検出対象か
ら除去する（ステップＳ２４）。

【００３９】また、ステップＳ２３において、右画像の
対象物５０と左画像の対象物５０との相関度が高い場合
（ステップＳ２３のＹＥＳ）、上述の（５）式により、
対象物までの距離を算出する（ステップＳ２５）。一
方、ステップＳ２１において、外接四角形５１の幅Ｘが
所定値Ａ以上で、かつ外接四角形５１の横方向の長さ
（幅Ｘ）に対する縦方向の長さ（高さＹ）の比が所定値
Ｂ以下である場合（ステップＳ２１のＮＯ）、画像処理
ユニット１は、対象物の重なりを予測し、図１４の右画
像に示すように、対象物を左右のエッジを含む２つの分
割領域Ｌ＿ｂ５２及び分割領域Ｒ＿ｂ５３に分割する
（ステップＳ２６）。この時、分割領域Ｌ＿ｂ５２及び
分割領域Ｒ＿ｂ５３の幅は、左右エッジからそれぞれ所
定値Ａとし、高さは分割前の外接四角形５１の高さＹと
する。

【００４０】次に、図１４の右画像に示すように、この
分割領域Ｌ＿ｂ５２及び分割領域Ｒ＿ｂ５３の周囲にそ
れぞれ相関演算用ブロック５４、５５を設定し、同様に
図１４の左画像に示すように、右画像の対象物５０に対
応した左画像の対象物５６、５７に設定された相関演算
用ブロック６０、６１との間でそれぞれ相関演算を行
い、それぞれ視差ｄｎ＿Ｌ及び視差ｄｎ＿Ｒを算出する
（ステップＳ２７）。それぞれ視差ｄｎ＿Ｌ及び視差ｄ
ｎ＿Ｒが求められたら、画像処理ユニット１は算出され
た各視差量（ｄｎ＿Ｌ、ｄｎ＿Ｒ）において、視差ｄｎ
＿Ｌと視差ｄｎ＿Ｒの差分の絶対値が所定値ＴＨより小
さいか否か、すなわち｜ｄｎ＿L−ｄｎ＿Ｒ｜＜ＴＨを満たすか否かを判定する（ステップＳ２８）。

【００４１】ステップＳ２８において、視差ｄｎ＿Ｌと
視差ｄｎ＿Ｒの差分の絶対値が所定値ＴＨより小さい場
合（ステップＳ２８のＹＥＳ）、対象物の左右エッジは
同視差であり、異なる物体の重なり状態は生じていない
と判断できる。従って、対象物を分割して認識すること
は行わず、対象物視差を、ｄｎ＝（ｄ＿Ｌ＋ｄ＿Ｒ）／２として算出し、ステップＳ２５へ進み、上述の（５）式
により、対象物までの距離を算出する（ステップＳ２
５）。

【００４２】また、ステップＳ２８において、視差ｄｎ
＿Ｌと視差ｄｎ＿Ｒの差分の絶対値が所定値ＴＨ以上で
ある場合（ステップＳ２８のＮＯ）、対象物の左右エッ
ジの視差は異なり、異なる物体の重なり状態が生じてい
ると判断できる。従って、対象物をＬｂ、Ｒｂの２つの
対象物５６、５７に分割して認識する。この時、それぞ
れの対象物の重心（左エッジ対象物重心６２、右エッジ
対象物重心６３）は、図１４の右画像または左画像に示
すように、横方向は各分割領域Ｌ＿ｂ５２、５８及び分
割領域Ｒ＿ｂ５３、５９のエッジとし、高さ方向は分割
前の対象物重心６４と同じ高さとする（ステップＳ３
０）。そして、ステップＳ２５へ進み、上述の（５）式
により、それぞれの対象物までの距離を算出する（ステ
ップＳ２５）。なお、上述のステップＳ３０において
は、重なった状態の異なる物体について、不要なものは
検出対象から除去しても良い。

【００４３】また、上述の実施の形態では、対象物にお
ける異なる物体の重なりが生じているか否かの判定を行
い、重なりが生じていた場合には、対象物を２つの対象
物に分割して認識する場合について説明したが、距離方
向に長い１つの対象物に関しても、同様の方法によって
距離方向に長いことによって発生する対象物の場所の違
いによる視差の違いを判断し、該対象物の正確な位置を
推定することができる。更に、上述した実施の形態で
は、自車両の前方を監視する例を示したが、自車両の後
方など、いずれの方向を監視するようにしてもよい。ま
た、本発明は、上述した実施形態に限るものではなく、
種々の変形が可能である。例えば、上述の実施の形態で
は、対象物の画像を得るための撮像手段として赤外線カ
メラを使用したが、例えば特開平９−２２６４９０号公
報に示されるように、通常の可視光線のみを検出可能な
テレビカメラを使用しても良い。但し、赤外線カメラを
用いることにより、動物あるいは走行中の車両などの抽
出処理を簡略化することができるため、演算装置の演算
能力が比較的低いものでも実現できる。

【００４４】また、本実施の形態では、画像処理ユニッ
ト１が、抽出領域設定手段と、探索領域設定手段と、物
体認識手段と、視差算出手段とを含んでいる。より具体
的には、図１３のＳ２１が画像予測手段に相当し、Ｓ２
６〜Ｓ３０が画像判定手段に相当する。更にＳ３０が画
像分離手段に相当する。

【００４５】以上説明したように、本実施の形態の画像
認識装置は、２値化処理によって２つの異なる物体が重
なった状態で１つの対象物として抽出された場合でも、
対象物の左右のエッジの視差から、それぞれのエッジの
距離を算出する構成とした。従って、左右のエッジの距
離の違いから対象物における異なる物体の重なりを判定
し、それぞれの対象物（物体）のエッジ点の位置と距離
から、正確な対象物の位置の推定を行うことができると
いう効果が得られる。また、異なる物体の重なりだけで
なく、距離方向に長い対象物に関しても、同様の方法に
より、左右のエッジの位置を計測することで、正確な位
置を算出することを可能とした。

【００４６】

【発明の効果】以上の如く、請求項１に記載の画像認識
装置によれば、画像判定手段により、撮影された対象物
の左、または右のエッジを含むように、対象物毎に異な
る高さを考慮した領域をその都度設定し、この領域の視
差を比較することで、左右のエッジの視差が一致する
か、あるいは異なるかの比較結果を得る。これにより、
対象物の左部分と右部分とが同一物体の一部か、それと
もそれぞれ異なる物体の一部であるかどうかを判断し、
物体の重なりの有無を判断することができる。従って、
撮影された対象物の大きさ毎に視差を求める領域が設定
されるので、車両と対象物との距離によって、どのよう
な大きさで対象物が撮影されても、必ず効率良く視差を
求めることができるという効果が得られる。

【００４７】請求項２に記載の画像認識装置によれば、
画像判定手段により、対象物が異なる物体の重なった状
態であると認識した場合は、対象物の左右それぞれのエ
ッジを距離判定点としてそれぞれの物体までの距離を算
出し、物体を分離して捉えることができる。従って、異
なる物体の重なった状態が撮影されたことで、対象物の
視差が場所によって異なるために対象物の距離が算出で
きず、不定になってしまうことを防ぎ、異なる物体毎に
距離を正確に求めることができるという効果が得られ
る。

【００４８】請求項３に記載の画像認識装置によれば、
画像判定手段による異なる物体の重なり判断の前に、予
め画像予測手段により対象物を囲む領域の大きさ、ある
いは対象物を囲む領域の横方向の長さに対する縦方向の
長さの比を用いて、対象物が異なる物体の重なった状態
であるか否かの予測を行い、対象物が異なる物体の重な
った状態である可能性が高い場合にのみ、画像判断手段
による判断を行うようにすることができる。従って、対
象物が物体の重なった状態である可能性が高い場合にの
み、画像判断手段の演算が実行されるため、画像認識装
置における処理負荷を軽減することができるという効果
が得られる。

【図面の簡単な説明】

【図１】本発明の一実施の形態の画像認識装置の構成
を示すブロック図である。

【図２】車両における赤外線カメラやセンサ、ディス
プレイ等の取り付け位置を示す図である。

【図３】同実施の形態の画像認識装置の全体動作を示
すフローチャートである。

【図４】赤外線カメラにより得られるグレースケール
画像とその２値化画像を示す図である。

【図５】ランレングスデータへの変換処理及びラベリ
ングを示す図である。

【図６】対象物の時刻間追跡を示す図である。

【図７】対象物画像の回頭角補正を示す図である。

【図８】右画像中の探索画像と、左画像に設定する探
索領域を示す図である。

【図９】探索領域を対象とした相関演算処理を示す図
である。

【図１０】車両の回頭により発生する画像上の対象物
位置のずれを示す図である。

【図１１】衝突が発生しやすい場合を示す図である。

【図１２】車両前方の領域区分を示す図である。

【図１３】同実施の形態の視差算出演算処理動作を示
すフローチャートである。

【図１４】同実施の形態の視差算出演算処理における
右画像及び左画像を示す図である。

【符号の説明】

１画像処理ユニット２Ｒ、２Ｌ赤外線カメラ３ヨーレートセンサ４車速センサ５ブレーキセンサ６スピーカ７画像表示装置１０自車両Ｓ２１画像予測手段Ｓ２６〜Ｓ３０画像判定手段Ｓ３０画像分離手段

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考） // Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (72)発明者服部弘埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内 (72)発明者嶋村考造埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内 (72)発明者渡辺正人埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内Ｆターム(参考） 2F065 AA04 AA06 AA17 BB05 BB15 CC11 CC16 DD06 FF05 FF09 FF32 FF64 FF65 GG09 GG21 JJ03 JJ05 PP01 QQ01 QQ03 QQ05 QQ17 QQ18 QQ21 QQ23 QQ24 QQ25 QQ26 QQ27 QQ28 QQ29 QQ36 QQ41 SS09 SS15 2F112 AC06 BA05 CA05 DA28 FA03 FA08 FA21 FA36 FA41 FA45 5B057 AA16 BA02 BA11 CE12 CG04 DA11 DA15 DB09 DC04 DC06 DC14 DC16 5H180 AA01 CC02 CC04 CC27 LL01 LL04 LL07 LL08 5L096 AA06 BA04 CA05 DA03 EA43 FA06 FA18 FA59 FA60 FA66 FA67 GA34 GA36 HA03

Claims

【特許請求の範囲】

【請求項１】２台の撮像手段により得られるそれぞれ
の画像から対象物の視差を測定し、該視差に基づき前記
対象物までの距離を算出する画像認識装置において、前記対象物を包含する高さを有すると共に前記対象物の
左右のエッジをそれぞれ独立して含む判定領域を設定
し、それぞれの判定領域の視差を測定して比較すること
で異なる物体の重なりの有無を判断する画像判定手段を
備えたことを特徴とする画像認識装置。
【請求項２】前記画像判定手段が、異なる物体の重な
りを認識した場合に、前記判定領域における距離判定点
を前記判定領域のエッジ上に設定し、それぞれの物体ま
での距離を独立して算出する画像分離手段を含むことを
特徴とする請求項１に記載の画像認識装置。
【請求項３】前記対象物を囲む領域の大きさが所定値
以上、あるいは前記対象物を囲む領域の横方向の長さに
対する縦方向の長さの比が所定値以下である場合に、異
なる物体の重なりを予測する画像予測手段を備えたこと
を特徴とする請求項１、または請求項２に記載の画像認
識装置。