JP5178276B2

JP5178276B2 - 画像認識装置

Info

Publication number: JP5178276B2
Application number: JP2008083207A
Authority: JP
Inventors: 仁臣滝澤; 軼群王
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2013-04-10
Anticipated expiration: 2028-03-27
Also published as: JP2009237898A

Description

本発明は、車載のカメラの撮影画像の画像認識処理により自車前方の一定距離内の歩行者を認識する画像認識装置に関する。

従来、車両における前方の歩行者の検知・警報においては、車両にステレオカメラを搭載し、このステレオカメラにより自車前方を撮影し、そのステレオ撮影画像から自車前方の各種物標の立体像を得、この立体像についての３次元のテンプレートマッチング処理等のステレオ画像認識処理により歩行者を判別して認識することがよく知られている。

また、車両にステレオカメラに代えて単眼カメラを搭載し、単眼カメラの自車前方の撮影画像（単眼撮影画像）中の移動する各物標につき、予め用意した移動速度別の複数の２次元のテンプレート画像の辞書の中から、各物体の移動速度に応じた辞書を選択し、選択した辞書を用いたテンプレートマッチングの画像認識処理により自車前方の歩行者を判別して認識することも提案されている（例えば、特許文献１参照）。
特開２００７−２４９８４１号公報（要約書、段落［００２４］−［００２７］、図１、図９等）

前記従来のステレオカメラを使用した歩行者の認識は、ステレオカメラが高価で大きな設置スペースを要し、また、ステレオカメラを車両に搭載する際にステレオカメラ固有の高精度の取り付け調整が必要であり、さらに、複雑なステレオ画像処理が必要となるため、実用的でない。

また、前記移動速度別の複数のテンプレート画像の辞書を用いた歩行者の認識では、車載のカメラとして単眼カメラを使用できるが、撮影画像の全ての物標について画像認識処理を施して歩行者か否かを判別することになる。この場合、全ての物標について例えば立ち止まっている歩行者と電柱（歩行者以外の歩行者に似た幅の狭い物標）とを区別することは困難であり、認識精度が低い。また、移動速度別の多数の辞書を用意して全ての物標についてテンプレートマッチングの処理を行うため、画像認識処理の負荷が大きいだけでなく極めて高価になる。そのため、量産化に好適な安価な構成で精度良く迅速に歩行者を認識することができない問題がある。

そして、カメラの撮影画像中の運転支援等に必要な自車前方の一定範囲内の歩行者を精度よく迅速に認識し、量産化に好適（簡素で安価）な構成の画像認識装置は、実現されていない。

なお、車両に車間距離測定等を目的としてレーザレーダやミリ波レーダのようなレーダ（アクティブセンサ）が搭載されることが多いことから、このようなレーダの自車前方の探査のみから歩行者を検出して認識することも考えられるが、この場合、歩行者を検出するにはレーダの感度（センサ感度）を極めて高くして敏感にする必要があり、そのような高感度にすると、背反として、歩行者以外の様々な物体を歩行者として誤検出してしまう。そのため、レーダの探査のみからは自車前方の歩行者を検出して認識することはできない。

本発明は、カメラの撮影画像中の自車前方の一定範囲内の歩行者を精度よく迅速に認識する画像認識装置を提供することを目的とする。

上記した目的を達成するために、本発明の画像認識装置は、車載のカメラの自車前方の撮影画像に含まれる物標を画像認識処理して歩行者を認識する画像認識装置であって、車載のレーザレーダの自車前方の探査により所定の歩行者検出可能領域以遠に検出された物標に識別情報を付与する識別情報付与手段と、前記レーザレーダと前記カメラとのセンサフュージョンにより前記識別情報が付与された物標を追跡し、前記カメラの撮影画像の前記歩行者検出可能領域内に検出された各物標のうちの前記識別情報が付与された物標を認識対象外の物標とする第１除外手段と、前記第１除外手段により認識対象外とされた物標を除く前記カメラの撮影画像の前記歩行者検出可能領域内の認識対象の物標に画像認識処理を施して歩行者を認識する認識処理手段とを備えたことを特徴としている（請求項１）。

また、本発明の画像認識装置は、自車の進路を予測する進路予測手段と、予め記憶された歩行者画像と前記認識対象の物標の画像との類似性のユークリッド距離を算出する類似性演算手段と、前記進路予測手段により予測された進路から外れる物標ほど前記ユークリッド距離に対する認識の閾値を短くし、前記進路予測手段により予測された進路に近い物標ほど前記ユークリッド距離に対する認識の閾値を長くして、前記認識対象の物標の前記予測された進路に対する遠近に応じて前記閾値を補正し、前記ユークリッド距離が前記補正した閾値以下の前記認識対象の物標にのみ前記認識処理手段の画像認識処理を施すべく前記ユークリッド距離が前記補正した閾値より大きい前記認識対象の物標を除外する第２除外手段とを更に備えたことを特徴としている（請求項２）。

さらに、本発明の画像認識装置は、物標の移動方向を判断する移動方向判断手段と、予め記憶された移動方向別の複数種類の歩行者パターンから、前記移動方向判断手段により判断された移動方向の歩行者パターンを選択するパターン選択手段とを更に備え、前記認識処理手段は、前記画像選択手段により選択された前記歩行者パターンと前記認識対象の物標の画像パターンとを照合して前記認識対象の物標に画像認識処理を施すことを特徴としている（請求項３）。

請求項１の構成によれば、レーザレーダの探査により自車前方の所定の歩行者検出可能領域以遠に検出される物標が歩行者でないことに着目し、このような物標に識別情報付与手段により識別情報を付与する。すなわち、レーザレーダの探査においては、よく知られているように、遠くに存在する車両や路側の電柱等はレーザ光の吸収が少なく、反射し易いので、容易に検出できるが、遠くに存在する歩行者はレーザ光を吸収し易く、反射しにくいため、検出できない。レーザレーダの探査のこのような特質に着目し、自車前方の所定の歩行者検出可能領域以遠に検出される物標には、歩行者でないことを示す識別情報を付ける。

さらに、前記レーザレーダと前記カメラとのセンサフュージョンにより識別情報が付与された物標を追跡し、車両（自車）の走行により、前記歩行者検出可能領域内に識別情報を付与した物標を検出すると、その物標は第１除外手段により認識対象外の物標とする。したがって、認識処理手段は、カメラの撮影画像の前記歩行者検出可能領域内の各物標のうちの前記識別情報が付与されていない認識対象の物標についてのみパターンマッチングやテンブレートマッチング等の画像認識処理を施して歩行者を認識することができる。

この場合、車載のカメラはステレオカメラでなくてよい。そして、カメラの撮影画像の前記歩行者検出可能領域内の全ての物標の画像認識処理をするのでなく、歩行者の可能性が高い物標についてのみ画像認識処理を施すので画像認識処理の負荷が少なく、量産化に好適な安価な構成で、精度良く迅速に前記歩行者検出可能領域内の歩行者を認識できる。

したがって、車載のカメラとレーザレーダとの組み合わせにより、カメラの撮影画像中の運転支援等に必要な自車前方の一定範囲内の警報が必要な歩行者を精度よく迅速に認識することができる、量産化に好適な構成の画像認識装置を提供することができる。

請求項２の構成によれば、第１除外手段により認識対象外の物標とされなかった自車前方の前記歩行者検出可能領域内の認識対象の物標につき、類似性演算手段により歩行者らしさのユークリッド距離が算出される。さらに、進路予測手段により予測された自車の進路に基づき、第２除外手段により、自車の進路に近い物標は歩行者の認識の閾値を長くして認識条件を緩くし、自車の進路から外れる物標は歩行者の認識の閾値を短くして認識条件を厳しくし、認識対象の物標であっても自車の進路に対する距離に応じて歩行者の認識の閾値を変えて画像認識処理が施されて歩行者が認識される。

この場合、前記歩行者検出可能領域内の物標であっても自車の進路に近いものほど多く画像認識処理を施して歩行者が認識され、警報が必要な歩行者の認識精度が向上する。

請求項３の構成によれば、歩行者の画像が歩行者の移動方向によって異なることに着目し、移動方向判断手段の物標の移動方向の判断に基づき、選択手段により、前記歩行者検出可能領域内の認識対象の物標に対応する移動方向の歩行者パターンが選択される。そして、選択された歩行者パターンと認識対象の物標の画像パターンとを認識処理手段により照合して認識対象の物標に画像認識処理が施される。

この場合、移動方向による歩行者の姿勢の差異を考慮して、認識処理手段のパターンマッチングの画像認識処理により、歩行者を一層精度良く認識することができる。また、認識対象の物標の画像パターンと、その移動方向の歩行者パターンのみとを照合するため、認識対象の物標の画像パターンと全移動方向の歩行者パターンとを照合する場合に比して画像処理の負担が軽減される利点もある。

つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図１３を参照して詳述する。

図１は自車（車両）１に搭載された本実施形態の画像認識装置のブロック図、図２、図３はその動作説明のフローチャート、図４は識別情報を割り当てる物標の説明図、図５〜図７は認識対象の物標の分類の説明図、図８はユークリッド距離による認識の説明図、図９は認識の閾値に対する認識対象の物標の分布例の説明図、図１０及び図１１は自車１の進路予測と認識の閾値との関係の説明図、図１２は物標の移動方向の説明図、図１３は移動方向別の歩行者画像の説明図である。

（構成）
図１において、２は自車１の前方を探査する本発明のレーザレーダである。このレーザレーダ２は例えば車間距離計測（他の用途）のために自車１に取り付けられたものである。そして、レーザレーダ２の探査においては、この種のレーザレーダについてよく知られているように、車両（先行車や対向車）や路側の電柱等は遠くに存在していてもレーザ光の吸収が少なく、反射し易いので、容易に検出できるが、遠くに存在する歩行者はレーザ光を吸収し易く、反射しにくため、検出できない。

３は自車１の前方を連続的に撮影する本発明のカメラであり、例えばステレオカメラに比して小型かつ安価なＣＣＤの単眼カメラからなる。４は自車１の車速を検出する速度センサ、５は自車１の加速度を検出するアクセル開度センサ、６は自車１のブレーキペダルの踏み込み量を検出するブレーキセンサ、７は自車１のステアリングの角度を検出する舵角センサである。

８はレーダ側物標検出部であり、レーザレーダ２の探査出力（受信反射波）から自車１の前方のレーザパルスを反射する車両や路側物（電柱や看板）や歩行者等の物標を検出する。９は識別情報付与部であり、本発明の識別情報付与手段を形成し、レーダ側物標検出部８が検出した各物標のうちの所定の歩行者検出可能領域以遠に検出された物標に簡単な番号情報等の識別情報ＩＤを割り当てて付与する。所定の歩行者検出可能領域とは、例えば図４に示す自車１のカメラ３の扇形の撮影範囲において、カメラ３の撮影画像から後述の画像認識処理により歩行者を認識できる斜線の領域であり、具体的にはカメラ３の特性や画像認識処理の手法等によって定まる自車１から一定距離（例えば、３５ｍ）の領域である。

図１の１０はカメラ側物標検出部であり、レーザレーダ２とカメラ３とのセンサフュージョンによりカメラ３の撮影画像に含まれる各物標を検出する。１１はカメラ側物標検出部１０の後段の本発明の第１除外部であり、カメラ側物標検出部１０の検出と識別情報付与部９が割り当てた識別情報ＩＤとに基づき、数秒乃至数分の一定時間にわたり識別情報ＩＤが付与された物標を追跡し、カメラ３の撮影画像の前記歩行者検出可能領域内に検出された各物標のうちの識別情報ＩＤが付与された物標を認識対象外の物標とする。

すなわち、前記歩行者検出可能領域内に検出された物標であっても、歩行者検出可能領域以遠においてレーザレーダ２によって既に検出されていた物標は、車両や路側物の電柱等であって歩行者でない。そのため、このような物標には識別情報付与部９により識別情報ＩＤを付与しておき、前記図４に示すように識別情報ＩＤが付与された物標Ｇが時間経過によって前記歩行者検出可能領域内に入っても、その識別情報ＩＤに基づき、第１除外部１１により認識対象から除去して画像認識の対象とはしないようにして、後述の画像認識処理の負担を軽減する。

図１の１２は本発明の認識処理手段を形成する認識処理部であり、基本的には、第１除外部１１により認識対象外とされた物標を除くカメラ３の撮影画像の前記歩行者検出可能領域内の認識対象の物標にパターンマッチングやテンプレートマッチング等の画像認識処理を施し、歩行者を認識する。この場合、カメラ３の撮影画像の前記歩行者検出可能領域内の全ての物標の画像認識処理をするのでなく、識別情報ＩＤが付されていない歩行者の可能性が高い物標についてのみ画像認識処理を施すので画像認識処理の負荷が少なくなり、量産化に好適な安価な構成で、精度良く迅速に前記歩行者検出可能領域内の歩行者を認識できる。したがって、車載のカメラ３とレーザレーダ２との組み合わせにより、カメラ３の撮影画像中の運転支援等に必要な自車前方の一定範囲内の警報が必要な歩行者を精度よく迅速に認識することができ、量産化に好適な構成の画像認識装置を提供することができる。そして、本実施形態においては、パターンマッチングの画像認識処理を行うものとして、以下に説明する。

すなわち、本実施形態においては、画像認識処理の負担の一層の軽減と認識精度の向上を図るため、認識処理部１２の画像認識処理において、まず、各物標の相対速度や横幅等に基づき、例えば図５に示すように、レーザレーダ２が検出する集合αの物標（実際には第１除外部１１により認識対象外とされた物標を除く前記歩行者検出可能領域内の認識対象の物標）から、集合βの相対速度が一定（例えば２０ｋｍ）以上になる同走行方向の車両（４輪車及び２輪車）や集合γの相対速度が負になる対向車の物標、集合δの電柱やパイロン等の静止障害物の物標を除く、そして、図５の残った集合εの各物標にパターンマッチングの画像認識処理を施し、同図の集合ε＊の物標を歩行者と認識する。

なお、各物標が集合β〜εのいずれに属するかは、具体的には、カメラ３の毎フレームの撮影画像について、現在（今回）と次回の分類の遷移も考慮し、例えば図６の分類条件にしたがって決定する。図６においては、車両を４輪車、２輪車、対向車、横断車に分類し、４輪車と２輪車とは横幅で区別し、対向車は相対速度が負になることから認識し、横断車は自車１の前後方向の相対速度をＺ、左右方向の相対速度をＸとして、Ｚ＝０ｋｍ／ｈ、｜Ｘ｜＞２０ｋｍ／ｈから認識する。また、同図の「分類」の縦方向の分類Ａ〜Ｆが今回の分類であり、「遷移状態」の横方向の分類Ａ〜Ｆが次回の分類であり、○印は状態の遷移が許可されることを示し、×印は状態の遷移が許されない（集合εになる）ことを示す。ここで、状態の遷移が許可されるとは、例えば、一旦分類Ａとして判断したものが、分類Ｃや分類Ｄに遷移することがあり得るということである。また、図５の集合を歩行者らしさと相対速度との関係で示すと、図７のグラフのようになる。

図１の１３は本発明の類似性演算手段を形成する類似性演算部であり、基本的には、予め歩行者パターン記憶部１４に記憶された１又は複数種類の歩行者パターン（プロトタイプ）と、第１除外部１１により識別情報ＩＤが付された物標を除去して残った前記歩行者検出可能領域内の認識対象の物標の画像パターンとの類似性のユークリッド距離を算出するが、本実施形態の場合、演算処理の負担を軽減するため、前記歩行者検出可能領域内の認識対象の物標のうちの前記集合ε＊に分類された物標の画像パターンについてのみユークリッド距離を算出する。１５は本発明の進路予測手段を形成する進路予測部であり、例えば、速度センサ４、アクセル開度センサ５、ブレーキセンサ６、舵角センサ７の検出情報等の自車１の走行に関連する諸情報に基づき、自車１の時々刻々の進路を予測する。１６は本発明の第２除外手段を形成する第２除外部であり、進路予測部１５により予測された自車１の進路（予測進路）から外れる物標ほど前記ユークリッド距離に対する認識の閾値を短くし、自車１の進路（予測進路）に近い物標ほど前記ユークリッド距離に対する認識の閾値を長くし、前記ユークリッド距離が前記認識の閾値以下の物標を除外して前記ユークリッド距離が前記認識の閾値以下の物標にのみ認識処理部１２によるパターンマッチングの画像認識処理を施す。

すなわち、画像認識処理の負担を少なくして歩行者を精度よく認識するには、前記認識の閾値の設定が重要になる。認識処理部１２の画像認識処理においては、図８に示すように、歩行者パターン記憶部１４の識別辞書に登録されている歩行者パターン（プロトタイプ）ｇｓに対して、ユークリッド距離Ｄ１が認識の閾値Ｄ０以下（Ｄ１≦Ｄ０）で類似性が高い物標ｇ１は歩行者と認識され、ユークリッド距離Ｄ２が閾値Ｄ０より大きく（Ｄ２＞Ｄ０）、類似性が低い物標ｇ２は歩行者ではないと認識される。そして、図９に示すように、閾値Ｄ０に対して、歩行者の集合ε＊の物標と、残りの歩行者でない集合ε―ε＊の物標とは双頭のように分布し、両分布の重なる部分において、閾値Ｄ０より歩行者寄りの部分が誤認識の範囲、反対側の部分が不認識の範囲である。この図９からも明らかなように、閾値Ｄ０を歩行者寄りに設定すると歩行者の不認識の範囲が大きくなり、反対寄りに設定すると歩行者の誤認識の範囲が大きくなり、両範囲が最も小さくなるように閾値Ｄ０を設定することが望ましい。なお、不認識の範囲が大きくなると、歩行者を歩行者ではないと誤認識してしまう場合がある。一方、不認識の範囲を小さくするように閾値Ｄ０を設定すると、歩行者でない物標を歩行者と誤認識しやすくなり、画像認識処理の演算量が増大するだけでなく、不要な警報にも繋がる。

そこで、本実施形態においては、前記歩行者検出可能領域内の認識対象の物標であっても、衝突の可能性を考慮して、類似性演算部１３により算出されたユークリッド距離に対して、自車１の進路の予測に基づき、第２除外部１６により、自車１の進路に近い物標については歩行者の閾値Ｄ０を長く（高く）して認識処理部１２のパターンマッチングの画像認識処理の認識条件を緩める。一方、自車１の進路から離れた物標については閾値Ｄ０を短く（低く）して認識条件を厳しくする。このようにすると、自車前方の物標に対する歩行者の認識条件（閾値Ｄ０）が、衝突の可能性を考慮し、自車１の進行方向、及び所在に応じて、例えば図１０、図１１の実線イ、ロに示すように動的に設定される。なお、図１０は自車１が直進する場合を示し、図１１は自車１が進路を変更する（曲がる）場合を示し、いずれの場合も、警報が最も必要になる自車１の進路上の物標に対する閾値Ｄ０が最も長く（高く）なり、条件が最も緩和される。

そのため、前記歩行者検出可能領域内の物標であっても自車１の進路に近いものほど多く画像認識処理を施して歩行者が認識され、警報が必要な歩行者の認識精度が向上する。また、画像認識処理する物標が少なくなるのでその負担が一層低減される。

図１の１７は本発明の移動方向判断手段を形成する移動方向判断部であり、認識対象の物標の移動方向を判断する。１８は本発明の画像選択手段を形成する歩行者パターン選択部であり、移動方向判断部１７により判断された移動方向の歩行者パターンを選択し、認識処理部１２に、歩行者パターン選択部１８によって選択された歩行者パターンと認識対象の物標の画像パターンとの照合を行なわせて認識対象の物標に画像認識処理を施す。

すなわち、認識処理部１２のパターンマッチングによる画像認識処理を飛躍的に高速化して認識精度を一層向上するため、歩行者パターン記憶部１４の識別辞書に画像認識用の歩行者パターンｇｓとして移動方向別にいくつかの歩行者バターン（プロトタイプ）を予め登録する。この歩行者パターンは移動方向に進む歩行者の姿を表す画像パターンであり、移動方向によって手の振りや顔の向き等が異なる。登録する歩行者パターンの種類は、認識処理部１２の処理能力と認識精度の要求との兼ね合い等によって決まり、例えば図１２に示すように、前時刻（前回）の撮影画像の歩行者Ｗ１が、現時刻（今回）においては、前後、左右、斜めの８方向のいずれかに進む歩行者Ｗ２１〜Ｗ２８になると考え、その８種類にすることが実用的で好ましい。

また、本実施形態においては、レーザレーダ２によって歩行者の移動方向を検出でき、歩行者の画像がその移動方向によって異なるパターンになることに着目する。そして、画像認識の手法としては様々の手法があるが、本実施形態では最も単純な周知の主成分分析による認識手法を採用する。

この場合、歩行者パターン記憶部１４の識別辞書に画像認識用の歩行者パターンとして、図１３に示すように、例えば前記８種類の歩行者Ｗ２１〜Ｗ２８それぞれについてのいくつかの歩行者バターン（プロトタイプ）ｇｓ（ｗ２１）〜ｇｓ（ｗ２８）を登録しておく。なお、図１３の軸ｅ１〜ｅｎは主成分ベクトルの軸である。

そして、第１除外部１１の除外が施された後の認識対象の各物標に対して、歩行者パターン選択部１８により、移動方向判断部１７が判断した移動方向の姿勢の歩行者パターン（歩行者パターンｇｓ（ｗ２１）〜ｇｓ（ｗ２８）のいずれか）を選択し、認識処理部１２により、選択された姿勢に属する歩行者パターンと認識対象の物標の画像パターンとを主成分分析によって照合する。さらに、照合結果につき、第２除外部１６によって補正された閾値に基づいて歩行者らしさを判断して歩行者を認識する。

この場合、移動方向の判断を行わずに歩行者を認識しようとすると、認識対象の各物標につき、図１３の全ての移動方向に属する多数の歩行者パターンとの照合が必要となるが、レーザレーダ２の探査に基づく物標の移動方向の判断を加味することにより、その移動方向に属する姿勢の歩行者パターンとのみ照合して認識処理部１２のパターンマッチングによる画像認識処理が行え、この例の場合、認識処理部１２の画像処理の演算量を、全移動方向の歩行者パターンと照合する場合に比して約１／８に低減することができる。そのため、画像認識処理の処理時間を大幅に短縮できるとともに、認識精度が向上する。

図１の１９は警報制御部であり、認識処理部１２から例えば図５の集合β〜ε（除くε＊）、ε＊の認識結果が入力され、歩行者との衝突の可能性を、例えば、距離と相対速度とに基づく衝突余裕時間（ＴＴＣ）と、自車１の進路に対する重なりの程度（ラッブ率）とから、例えば「高」、「中」、「低」の３段階で判断し、この判断と認識処理部１２からの認識結果の分類とに基づき、警報音、シートやステアリングの振動等による警報出力のタイミングを制御する。そして、図５の集合β、δ、ε（除くε＊）、ε＊に対する警報出力のタイミングは、例えば次の表１に示すように設定される。表１の○印しが警報の発生を示す。

この場合、衝突の可能性が極めて高い「高」の場合（ＴＴＣが小さく、かつ、ラッブ率が高い場合）には、どの分類結果の物標であっても警報出力するが、衝突の可能性が低い「低」の場合（ＴＴＣが大きいか、又は、ラッブ率が小さい場合）には、集合ε＊に属する歩行者の認識をした場合にのみ警報出力するので、衝突の可能性が低い場合の煩わしい警報を抑制できる。

ところで、図１の各部８〜１９は、実際には、マイクロコンピュータのソフトウエアにより実現されている。

（動作）
つぎに、上記構成に基づく、図１の画像認識装置の動作を、図２、図３を参照して説明する。

図２のステップＳ１によりレーダ側物標検出部８がレーザレーダ２の探査出力から自車１の前方の物標を検出し、ステップＳ２により識別情報付与部９が各物標のうちの所定の歩行者検出可能領域以遠に検出された物標に識別情報ＩＤを割り当てて付与する。また、ステップＳ３により、カメラ側物標検出部１０がレーザレーダ２とカメラ３とのセンサフュージョンによりカメラ３の撮影画像に含まれる各物標を検出し、ステップＳ４により、第１除外部１１がカメラ３の撮影画像の前記歩行者検出可能領域内に検出された識別情報ＩＤ付きの物標を認識対象から除外する。

一方、ステップＳ５により類似性演算部１３がユークリッド距離を演算し、ステップＳ６により進路予測部１５が自車１の進路を予測し、ステップＳ７により第２除外部１６が自車１の予測進路に基づいて前記歩行者検出可能領域内の各物標に対する歩行者の閾値Ｄ０を補正する。

そして、ステップＳ８により、認識処理部１２が前記歩行者検出可能領域内の識別情報ＩＤが付いていない物標について、テンプレートマッチング等の画像認識処理を施し、第２除外部１６によって補正された閾値Ｄ０に基づいて、閾値Ｄ０より大きい物標を除外し、歩行者らしい閾値Ｄ０以下の物標にのみ画像認識処理を施すようにすることにより、歩行者を認識する。

ステップＳ８の画像認識処理においては、図３に示すように、画像認識処理の前に、ステップＳ８１により移動方向判別部１７が物標の移動方向を判断し、ステップＳ８２により歩行者パターン選択部１８が移動方向の歩行者主成分ベクトルの選択を行って物標の移動方向の歩行者パターンを選択する。そして、ステップ８３により、認識処理部１２は、（１）認識対象の物標の画像パターンの主成分を分析し、（２）認識対象の物標の画像パターンの主成分ベクトルと選択された移動方向の歩行者パターンの主成分ベクトルとを照合し、主成分分析法によって認識対象の物標の画像パターンと選択された移動方向の歩行者パターンとを照合し、その照合結果につき、ステップＳ８４により、第２除外部１６によって補正された閾値に基づいて歩行者らしさを判断して歩行者を認識する。

そして、認識処理部１２の画像認識処理が終了すると、図２のステップＳ９により、警報制御部１９が警報出力を制御する。さらに、自車１の走行が停止するまで、ステップＳ１０からステップＳ１に戻り、つぎの撮影画像に基づく歩行者の認識をくり返す。

したがって、前記実施形態の場合、第一に、レーザレーダ２の探査により自車前方の所定の歩行者検出可能領域以遠に検出される物標に識別情報付与部９により識別情報ＩＤを付与し、認識処理部１２により、少なくとも、カメラ３の撮影画像の前記歩行者検出可能領域の識別情報ＩＤが付いていない物標についてのみパターンマッチングの画像認識処理を施して歩行者を認識するようにしたため、カメラ３はステレオカメラでなくてよく、しかも、認識処理部１２の画像認識処理の負荷が少なくなり、量産化に好適な安価な構成で、精度良く迅速に前記歩行者検出可能領域内の歩行者を認識できる。

第二に、認識処理部１２の画像認識に際して、類似性演算部１３により歩行者らしさのユークリッド距離を算出し、進路予測部１５の自車１の進路の予測に基づき、第２除外部１６により、自車１の進路に近い物標は歩行者の認識の閾値Ｄ０を長くして認識条件を緩くし、自車１の進路から外れる物標は歩行者の認識の閾値Ｄ０を短くして認識条件を厳しくしたため、認識対象の物標であっても自車１の進路に対する距離に応じて歩行者の認識の閾値Ｄ０を変えて画像認識処理を施すことができ、警報が必要な歩行者の認識精度が向上する。

第三に、移動方向判断部１７による物標の移動方向の判断に基づき、歩行者パターン選択部１８により、前記歩行者検出可能領域内の認識対象の物標について、その移動方向の歩行者パターンを選択し、認識対象の物標の画像パターンと選択した歩行者パターンとを認識処理部１２より照合して認識対象の物標に画像認識処理を施すことができ、移動方向による歩行者の画像パターンの差異を考慮した認識処理部１２の画像認識処理により、歩行者を精度良く認識することができる。また、認識処理部１２の画像処理の負担が飛躍的に軽減される利点もある。

そして、前記第一乃至第三の効果に基づき、カメラ３の撮影画像中の運転支援等の警報に必要な自車前方の一定範囲内の歩行者を精度よく迅速に認識することができる、量産化に好適な構成の画像認識装置を提供することができる。

なお、レーザレーダ２を既に搭載している車両１の場合、単眼のカメラ３等を追加するだけで、この画像認識装置を構築できる利点もある。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、画像認識処理は前記実施形態のパターンマッチングの処理以外の処理、例えばテンプレートマッチングの処理等であってもよいのは勿論である。

また、歩行者の画像の移動方向の分類数は前記実施形態の８分類に限るものではなく、例えば、４分類、１６分類等であってもよい。

さらに、自車１の進路予測や物標の移動方向の判断は、どのような手法で行ってもよく、全体の動作が図２、図３のフローチャートと異なっていてもよい。

また、カメラ３に代えてステレオカメラ等を使用しても、本発明を同様に実施することができる。

そして、本発明は、種々の車両の歩行者認識に適用することができる。

本発明の一実施形態のブロック図である。図１の動作説明の第一のフローチャートである。図１の動作説明の第二のフローチャートである。図１の識別情報を割り当てる物標の説明図である。図１における認識対象の物標の分類の第一の説明図である。図１における認識対象の物標の分類の第二の説明図である。図１における認識対象の物標の分類の第三の説明図である。図１におけるユークリッド距離による認識の説明図である。図１における認識の閾値に対する認識対象の物標の分布例の説明図である。図１の自車１の進路予測と認識の閾値との関係の一例の説明図である。図１の自車１の進路予測と認識の閾値との関係の他の例の説明図である。図１の物標の移動方向の説明図である。図１の移動方向別の歩行者画像の説明図である。

符号の説明

１自車
２レーザレーダ
３カメラ
８レーダ側物標検出部
９識別情報付与部
１０カメラ側物標検出部
１１第１除外部
１２認識処理部
１３類似性演算部
１４歩行者パターン記憶部
１５進路予測部
１６第２除外部
１７移動方向判断部
１８歩行者パターン選択部

Claims

車載のカメラの自車前方の撮影画像に含まれる物標を画像認識処理して歩行者を認識する画像認識装置であって、
車載のレーザレーダの自車前方の探査により所定の歩行者検出可能領域以遠に検出された物標に識別情報を付与する識別情報付与手段と、
前記レーザレーダと前記カメラとのセンサフュージョンにより前記識別情報が付与された物標を追跡し、前記カメラの撮影画像の前記歩行者検出可能領域内に検出された各物標のうちの前記識別情報が付与された物標を認識対象外の物標とする第１除外手段と、
前記第１除外手段により認識対象外とされた物標を除く前記カメラの撮影画像の前記歩行者検出可能領域内の認識対象の物標に画像認識処理を施して歩行者を認識する認識処理手段とを備えたことを特徴とする画像認識装置。
請求項１に記載の画像認識装置において、
自車の進路を予測する進路予測手段と、
予め記憶された歩行者画像と前記認識対象の物標の画像との類似性のユークリッド距離を算出する類似性演算手段と、
前記進路予測手段により予測された進路から外れる物標ほど前記ユークリッド距離に対する認識の閾値を短くし、前記進路予測手段により予測された進路に近い物標ほど前記ユークリッド距離に対する認識の閾値を長くして、前記認識対象の物標の前記予測された進路に対する遠近に応じて前記閾値を補正し、前記ユークリッド距離が前記補正した閾値以下の前記認識対象の物標にのみ前記認識処理手段の画像認識処理を施すべく前記ユークリッド距離が前記補正した閾値より大きい前記認識対象の物標を除外する第２除外手段とを更に備えたことを特徴とする画像認識装置。
請求項１又は２に記載の画像認識装置において、
物標の移動方向を判断する移動方向判断手段と、
予め記憶された移動方向別の歩行者パターンから、前記移動方向判断手段により判断された移動方向の前記歩行者パターンを選択する選択手段とを更に備え、
前記認識処理手段は、前記選択手段により選択された前記歩行者パターンと前記認識対象の物標の画像パターンとを照合して前記認識対象の物標に画像認識処理を施すことを特徴とする画像認識装置。