JP2007329762A - 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置 - Google Patents

Abstract

【課題】車載カメラの画像から高精度に物体が存在する可能性がある領域を検出すること。
【解決手段】基準パターンデータベース１５が、周辺の環境別に複数の基準パターンを記憶し、シーン判定部１２がナビゲーション装置３０、カメラ３１、照度センサ３２、タイマ３３、ライトスイッチ３４、ワイパースイッチ３５、雨滴センサ３６、外部通信装置３７、ＶＩＣＳ受信装置３８の出力を用いて自車両周辺の環境を判定する。基準パターン選択部１４は、シーン判定部１２の判定結果を用いて環境に対応する基準パターンを選択する。
【選択図】 図１

Description

この発明は、車載カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置、物体候補領域検出方法、かかる物体候補領域検出を用いた歩行者認識装置、歩行者認識結果を用いた車両制御装置に関する。

従来、カメラが撮影した画像に対する画像認識によって、歩行者などを検出する技術が考案されている。例えば、特許文献１は、特定の場所に固定した定点カメラが撮影した画像から、歩行者や車両を認識する技術を開示している。

また、かかる画像認識の具体的な手法としては、予め背景パターンを学習し、入力画像と背景パターンとの差異を顕著性として算出する顕著性算出手法（顕著性アルゴリズム）が適用可能である。

特開２００２−１９００１２号公報 特開２００１−２３６５０８号公報

ところで近年、車両にカメラなどを搭載し、車載カメラからの映像によって歩行者などを認識することで運転を支援し、事故を防止する技術の実現が重要な課題となっている。

しかしながら車載カメラなど移動体から撮影した画像では、その移動によって背景画像が常に変化する。そのため、上述した顕著性算出手法を使用しても、背景パターンの設定のために学習する必要のある事象が大きくなり、検出精度が低下するという問題点があった。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、車載カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置、物体候補領域検出方法、および、高精度に歩行者を認識する歩行者認識装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１の発明に係る物体候補領域検出装置は、カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、自車両周辺の環境ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶手段と、自車両周辺の環境を判定する環境判定手段と、前記環境判定手段の判定結果に基づいて、前記複数の基準パターンのうち、自車両周辺の環境に応じた基準パターンを選択する基準パターン選択手段と、現在カメラが撮影した入力画像の被判定領域と、前記選択された基準パターンとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、を備えたことを特徴とする。

この請求項１の発明によれば物体候補領域検出装置は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、複数の基準パターンから周辺環境に基づいて選択した基準パターンとの比較によって物体候補領域を検出する。

また、請求項２の発明に係る物体候補領域検出装置は、請求項１に記載の発明において、前記環境判定手段は、自車両周辺の景色、交通状態、特定の道路、工事状況、事故発生状況、周囲の明るさ、天候、時間情報、走行中の道路の車線数、自車両の走行車線のうち少なくともいずれか一つを判定することを特徴とする。

この請求項２の発明によれば物体候補領域検出装置は、自車両周辺の景色、交通状態、特定の道路、工事状況、事故発生状況、周囲の明るさ、天候、時間情報、走行中の道路の車線数、自車両の走行車線などから物体候補領域の検出に使用する基準パターンを選択する。

また、請求項３の発明に係る物体候補領域検出装置は、請求項１または２に記載の発明において、前記環境判定手段は、自車両の位置情報、周辺の地図情報、外部との通信、雨滴センサの出力、ワイパースイッチの操作状態、ライトスイッチの操作状態、画像認識のうち、少なくとも何れか一つを用いて前記自車両周辺の環境を判定することを特徴とする。

この請求項３の発明によれば物体候補領域検出装置は、自車両の位置情報、周辺の地図情報、外部との通信、雨滴センサの出力、ワイパースイッチの操作状態、ライトスイッチの操作状態、画像認識などによって自車両の環境を判定し、環境に適した基準パターンを用いて物体候補領域を検出する。

また、請求項４の発明に係る物体候補領域検出装置は、請求項１，２または３に記載の発明において、前記環境判定結果に基づいて前記検出手段による検出感度を変更する検出感度設定手段をさらに備えたことを特徴とする。

この請求項４の発明によれば物体候補領域検出装置は、周辺環境に基づいて物体候補領域の検出に使用する基準パターンと、検出感度を変更する。

また、請求項５の発明に係る物体候補領域検出装置は、カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、背景の種類ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶手段と、現在カメラが撮影した入力画像の被判定領域と、前記複数の基準パターンのそれぞれとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、を備えたことを特徴とする。

この請求項５の発明によれば物体候補領域検出装置は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、背景の種類ごとに異なる複数の基準パターンのそれぞれとの比較によって物体候補領域を検出する。

また、請求項６の発明に係る物体候補領域検出装置は、請求項５に記載の発明において、前記検出手段は、前記複数の基準パターンのいずれに対しても差異がある領域を前記物体候補領域として検出することを特徴とする。

この請求項６の発明によれば物体候補領域検出装置は、被判定領域と、背景の種類ごとに異なる複数の基準パターンとを比較し、複数の基準パターンのいずれに対しても差異がある領域を物体候補領域として検出する。

また、請求項７の発明に係る物体候補領域検出装置は、請求項５または６に記載の発明において、前記背景の種類は、路面、空、建物、田畑、樹木のうち少なくともいずれか一つを含むことを特徴とする。

この請求項７の発明によれば物体候補領域検出装置は、路面、空、建物、田畑、樹木などに対応する基準パターンを用いて物体候補領域の検出を行なう。

また、請求項８の発明に係る物体候補領域検出方法は、カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出方法であって、自車両周辺の環境ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶工程と、自車両周辺の環境を判定する環境判定工程と、前記環境判定工程の判定結果に基づいて、前記複数の基準パターンのうち、自車両周辺の環境に応じた基準パターンを選択する基準パターン選択工程と、現在カメラが撮影した入力画像の被判定領域と、前記選択された基準パターンとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出工程と、を含んだことを特徴とする。

この請求項８の発明によれば物体候補領域検出方法は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、複数の基準パターンから周辺環境に基づいて選択した基準パターンとの比較によって物体候補領域を検出する。

また、請求項９の発明に係る歩行者認識装置は、車載カメラが撮影した入力画像から歩行者を認識する歩行者認識装置であって、自車両周辺の環境ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、前記入力画像から切り出した被判定領域と、自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、を備えたことを特徴とする。

この請求項９の発明によれば歩行者認識装置は、被判定領域と自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、歩行者候補領域に対するパターンマッチングやニューロ判定によって当該歩行者候補領域が歩行者であるか否かを判別する。

また、請求項１０の発明に係る車両制御装置は、自車両周辺の環境ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、前記入力画像から切り出した被判定領域と、自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、前記歩行者判別手段によって歩行者が認識された場合に、歩行者の存在について報知する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御手段と、を備えたことを特徴とする。

この請求項１０の発明によれば車両制御装置は、被判定領域と自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、当該歩行者候補領域が歩行者である場合には、その存在を運転者に報知する報知制御や車両の動作制御を実行する。

請求項１の発明によれば物体候補領域検出装置は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、複数の基準パターンから周辺環境に基づいて選択した基準パターンとの比較によって物体候補領域を検出するので、環境の変化を利用してカメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。

また、請求項２の発明によれば物体候補領域検出装置は、自車両周辺の景色、交通状態、特定の道路、工事状況、事故発生状況、周囲の明るさ、天候、時間情報、走行中の道路の車線数、自車両の走行車線などから物体候補領域の検出に使用する基準パターンを選択するので、各種環境に対応してカメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。

また、請求項３の発明によれば物体候補領域検出装置は、自車両の位置情報、周辺の地図情報、外部との通信、雨滴センサの出力、ワイパースイッチの操作状態、ライトスイッチの操作状態、画像認識などによって自車両の環境を判定し、環境に適した基準パターンを用いて物体候補領域を検出するので、各種車載機器を利用してカメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。

また、請求項４の発明によれば物体候補領域検出装置は、周辺環境に基づいて物体候補領域の検出に使用する基準パターンと、検出感度を変更するので、環境に適応し、物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。

また、請求項５の発明によれば物体候補領域検出装置は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、背景の種類ごとに異なる複数の基準パターンのそれぞれとの比較によって物体候補領域を検出するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する、簡易な構成の物体候補領域検出装置を得ることができるという効果を奏する。

また、請求項６の発明によれば物体候補領域検出装置は、被判定領域と、背景の種類ごとに異なる複数の基準パターンとを比較し、複数の基準パターンのいずれに対しても差異がある領域を物体候補領域として検出するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。

また、請求項７の発明によれば物体候補領域検出装置は、路面、空、建物、田畑、樹木などに対応する基準パターンを用いて物体候補領域の検出を行なうので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出装置を得ることができるという効果を奏する。

また、請求項８の発明によれば物体候補領域検出方法は、カメラが撮影した入力画像の全体もしくは当該入力画像から切り出した被判定領域と、複数の基準パターンから周辺環境に基づいて選択した基準パターンとの比較によって物体候補領域を検出するので、カメラの画像から高精度に物体が存在する可能性がある領域を検出する物体候補領域検出方法を得ることができるという効果を奏する。

また、請求項９の発明によれば歩行者認識装置は、被判定領域と自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、歩行者候補領域に対するパターンマッチングやニューロ判定によって当該歩行者候補領域が歩行者であるか否かを判別するので、車載カメラの画像から高精度に歩行者を認識する歩行者認識装置を得ることができるという効果を奏する。

また、請求項１０の発明によれば車両制御装置は、被判定領域と自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある歩行者候補領域を検出し、当該歩行者候補領域が歩行者である場合には、その存在を運転者に報知する報知制御や車両の動作制御を実行するので、歩行者を高精度に認識してその安全を確保する車両制御装置を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明に係る物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置の好適な実施例について詳細に説明する。

図１は、本発明の実施例１である車載用の画像認識装置１０の概要構成を示す概要構成図である。車両は以下の構成を有している。同図に示すように、画像認識装置１０は、ナビゲーション装置３０、カメラ３１、照度センサ３２、タイマ３３、ライトスイッチ３４、ワイパースイッチ３５、雨滴センサ３６、外部通信装置３７、ＶＩＣＳ（Vehicle Information and Communication System）受信装置３８、プリクラッシュＥＣＵ４０と接続している。

ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、記憶する地図データ３０ａとを利用して走行経路の設定および誘導を行なう車載装置である。また、ナビゲーション装置３０は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、道路に関する情報などを提供する。

カメラ３１は、自車両周辺を撮影し、撮影結果を画像認識装置１０に入力する。照度センサ３２は、自車両周辺の明るさ（照度）を測定するセンサであり、タイマ３３は時間情報すなわち時刻や日付を管理する装置である。

ライトスイッチ３４は、運転者によって操作され、各種車載灯具（ヘッドランプ、スモールランプなど）の灯火状態を変更するスイッチであり、灯火状態を画像認識措置１０に通知する。同様に、ワイパースイッチ３４は、運転者によって操作され、ワイパーの動作を制御するスイッチであり、その動作状態を画像認識装置１０に通知する。

さらに、雨滴センサ３６は、雨などの水滴を検知するセンサであり、外部通信装置３７は車両外部との通信を行なう通信装置、ＶＩＣＳ受信装置３８は、事故や渋滞などの情報を受信する受信機である。

プリクラッシュＥＣＵ４０は、画像認識部１０が自車両の衝突を予測した場合に、ディスプレイ４３やスピーカ４４による乗員への通知や、ブレーキ４１、エンジン制御装置（ＥＦＩ）４２による車両の動作制御を実行する電子制御装置であり、車両制御装置として機能する。

画像認識装置１０は、その内部に前処理部１１、シーン判定部１２、検出感度設定部１３、基準パターン選択部１４、基準パターンデータベース１５、車両認識部１６、白線認識部１７、歩行者認識部１８、歩行者候補領域検出部１９および衝突判定部２０を有する。ここで、シーン判定部１２、検出感度設定部１３、基準パターン選択部１４、基準パターンデータベース１５、車両認識部１６、白線認識部１７、歩行者認識部１８、歩行者候補領域検出部１９および衝突判定部２０は、例えば単一のマイコン１０ａ（ＣＰＵ、ＲＯＭ、ＲＡＭの組み合わせからなる演算処理ユニット）などによって実現することが好適である。

前処理部１１は、カメラ３１が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、車両認識部１６、白線認識部１７および歩行者候補領域検出部１９に出力する。

車両認識部１６は、前処理部１１が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部２０に出力する。また、白線認識部１８も同様に、前処理部１１が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部２０に出力する。

一方、歩行者候補領域検出部１９は、顕著性アルゴリズムを用いて、前処理部１１が出力した画像から歩行者が存在する可能性のある領域を検出し、検出結果を歩行者認識部１８に出力する。その後、歩行者認識部１８が歩行者候補領域に対してパターンマッチングやニューラルネットワークによるニューロ判定処理を施して歩行者を認識し、衝突判定部２０に出力する。そして、歩行者を認識した場合には歩行者までの距離を画像処理などで算出し、歩行者情報としてその距離も衝突判定部２０に出力する。

衝突判定部２０は、車両認識部１６、白線認識部１７、歩行者認識部１８による認識結果およびナビゲーション装置３０が出力する位置情報を用いて、歩行者や他車両と自車両との衝突を予測し、予測結果をプリクラッシュＥＣＵ４０に出力する。一方、プリクラッシュＥＣＵ４０は予測結果（歩行者が前方に存在し、距離が数ｍに近づいているなど）に基づき、衝突の可能性があれば運転者にディスプレイ４３やスピーカ４４などにより報知制御を行なうと共に、衝突の危険度によっては車両の走行制御（ブレーキ制御、アクセル制御など）を行なう。

ここで、車両や白線など形状のバリエーションの少ないものを認識する場合には、前処理部１１が出力した画像に対して直接パターンマッチングを行なうが、歩行者のように形状の変化が激しい物体を認識する場合には、顕著性アルゴリズムによって予め候補領域を検出することによって検出精度の向上と処理負荷の軽減を図る。

顕著性アルゴリズムによる候補領域の検出について図２を参照して説明する。同図に示すように、顕著性アルゴリズムは、まず学習プロセスによって基準パターンを作成し、歩行者候補領域検出プロセスでは入力画像と基準パターンとの比較によって顕著性を算出する。

学習プロセスでは、本装置を使用する前に予め複数の学習用の画像を入力し、学習用画像から学習領域を切り出す。この学習領域は、画像内における歩行者のサイズに合わせ、例えば２０×２０ピクセルのサイズで切り出す。学習用の画像は、歩行者などターゲットを含まない道路などの背景画像である。

この切り出した学習領域をＮ次元（Ｎは画素数であり、２０×２０ピクセルであれば４００次元）のベクトルとして扱い、全ての学習領域についてＮ次元の主成分分析を行なって、特徴ベクトル（Ｎ次元ベクトルの主成分）を算出する。この特徴ベクトルの算出を全ての学習画像に対して実行し、共通するベクトル成分を基準パターンとする。

歩行者候補領域検出プロセスでは、カメラが撮影した入力画像から学習領域のサイズと同一サイズの被判定領域を切り出す。そして、この切り出した被判定領域をＮ次元ベクトルとし、基準パターンで展開する（内積をとる）。

この展開によって、被判定領域のうち基準パターンと類似のベクトル成分が得られるので、展開して得られたベクトルと被判定領域のベクトルとの残差を顕著性（基準パターンからの乖離度を示す値）として算出し、顕著性の高い領域のみを歩行者候補領域として残した結果画像を出力する。

ところが、入力する学習用画像によっては、適切な基準パターンが得られず、候補領域の検出精度が低下することがある。学習用画像として多様な画像を使用すると、各学習用画像が異なる主成分を有するために、そこから得られる基準パターンは多くの方向を有することとなり、歩行者との残差を得ることが困難になる。すなわち、歩行者の特徴が背景に埋もれてしまい、顕著性なしと判断される。

また、顕著性が少ないところまで閾値を下げ、少しでも顕著性があれば歩行者候補として検出するようにすると、歩行者以外でも顕著性有りとして検出してしまい、逆に検出精度が低くなる。例えば、図３に示すように、入力画像から樹木と建物以外の物体を検知すべく、樹木と建物を学習用画像として入力すると、樹木の特徴と建物の特徴が混合した基準パターンが作成される。

その結果、樹木の画像を判定した場合も建物の画像を判定した場合も、基準パターンと異なる、すなわち「顕著性あり」と判定される可能性がある。

このように、学習プロセスにおいて入力する事象が大きい（学習用画像間の共通性が低く、多岐にわたる）場合には、適切な基準パターンが得られず、顕著性の検出精度が低くなり、歩行者の検出漏れが発生したり、多数の領域が「顕著性のある歩行者候補領域」として出力されることなる。その結果、歩行者認識部１８での処理負荷上昇と認識精度低下が引き起こされる。

そこで、画像認識装置１０は、自車両周辺の物理的な環境に対応して基準パターンを使い分けることで、歩行者候補領域の検出精度を向上している。今までは例えば雨、晴、昼、夜に関係なく全て学習していたので、実際に人が居ても学習画像に埋もれる可能性があるが、本件では特定の環境の学習画像のみを使用するので環境変化による認識精度低下を防止することができる。

具体的には、基準パターンデータベース１５が、周辺の環境別に複数の基準パターンを記憶し、シーン判定部１２がナビゲーション装置３０、カメラ３１、照度センサ３２、タイマ３３、ライトスイッチ３４、ワイパースイッチ３５、雨滴センサ３６、外部通信装置３７、ＶＩＣＳ受信装置３８の出力を用いて自車両周辺の環境を判定する。

そして基準パターン選択部１４は、シーン判定部１２の判定結果を用いて環境に対応する基準パターンを選択する処理を行なう。また、検出感度設定部１３は、シーン判定部１２の判定結果に応じて歩行者候補領域検出部１９が使用する検出閾値を設定する処理を行なう。

シーン判定部１２によるシーンの判定の具体例について図４を参照して説明する。同図では、シーン判定部１２は、周辺の景色、交通状態、特定の場所であるか否か、工事・事故・イベントなどが発生しているか否か、周囲の明るさ、天候、季節、車線数・走行車線をそれぞれ判定する。

周辺の景色は、例えば市街地、郊外、山道などであり、ナビゲーション装置３０からの位置情報や地図情報によって判定することができる。また、例えば画像処理によって、画像内の緑色の成分が所定量以上の場合には山道を走行中である、などのように判定しても良い。

また、交通状態は、例えば渋滞の有無などであり、ＶＩＣＳ受信装置３８によるＶＩＣＳ放送の受信や、外部通信装置３７による外部のサーバとの通信によって判定することができる。

また、特定の場所とは、例えばトンネルや橋、高速道路など、特有の景色となる場所であり、ナビゲーション装置３０からの位置情報や地図情報によって判定することができる。

工事・事故・イベントなどについても、周辺の景色が独特の変化をきたす。例えば、工事中の看板や、事故車両、イベントに関係する物体や人物などが画像内に映る。これらの有無についても、ＶＩＣＳ受信装置３８によるＶＩＣＳ放送の受信や、外部通信装置３７による外部のサーバとの通信によって判定することができる。

周囲の明るさは、例えば昼と夜と区別、さらに昼であれば日射量、夜であれば街灯などの照明の量であり、照度センサ３２の出力や、タイマ３３が出力する時刻情報、ライトスイッチ３４が出力する灯火状態に基づいて判定することができる。

天候は、例えば晴天，曇天，降雨、降雪、積雪などであり、ＶＩＣＳ受信装置３８によるＶＩＣＳ放送の受信や、外部通信装置３７による外部のサーバとの通信、また降雨や降雪であれば雨滴センサ３６やワイパースイッチ３５の出力によって判定することができる。

また、季節についてはタイマ３３から時間情報を取得することによって判定することができ、車線数や自車両の走行車線は、白線認識部１７による認識結果を用いて判定することができる。

つづいて、画像認識装置１０による歩行者候補領域検出について、走行中の場所に基づく周辺景色の変化を例に説明を行なう。図５は、走行中の場所に基づく周辺景色の変化に対応する歩行者候補領域検出を説明する説明図である。

同図では、まず学習プロセスにおいて学習用画像をシーンごとに「市街走行中の背景画像」、「山道走行中の背景画像」、「高速道路走行中の背景画像」に分類している。そして、「市街走行中の背景画像」から「市街用基準パターン」、「山道走行中の背景画像」から「山道用基準パターン」、「高速道路走行中の背景画像」から「高速道路用基準パターン」のように、シーン毎に基準パターンを作成している。

これらは、車両走行実験などにより予めシーン（環境）毎にカメラの画像を解析しておき、記憶させているものである。そして、歩行者候補領域検出プロセスにおいて使用する基準パターンを、その時点で走行中の場所に応じて選択するようにしている。

つぎに、マイコン１０ａによる歩行者認識の処理動作について図６に示すフローチャートを参照して説明する。なお、この処理フローは、ＩＧオンによりマイコン１０ａに電源が供給されてスタートし、画像処理装置１０が画像認識を実行中である場合に、画像フレームの処理ごと（例えば数ｍｓｅｃごと）に繰り返し実行される処理である。また、マイコン１０ａは白線認識や車両認識も行うが、本処理フローでは説明を省略している。

同図では、まず、シーン判定部１２がナビゲーション装置３０から位置情報を取得する（ステップＳ１０１）。そして、取得した位置情報によって、自車両が高速道路を走行中であると判定した場合（ステップＳ１０２，Ｙｅｓ）、基準パターン選択部１４は、「高速道路用基準パターン」を選択する（ステップＳ１０５）。

一方、自車両が高速道路を走行中ではなく（ステップＳ１０２，Ｎｏ）、山道を走行中であると判定した場合（ステップＳ１０３，Ｙｅｓ）、基準パターン選択部１４は、「山道用基準パターン」を選択する（ステップＳ１０６）。そして、山道を走行中ではない場合（ステップＳ１０３，Ｎｏ）には、基準パターン選択部１４は、「市街用基準パターン」を選択する（ステップＳ１０４）。

基準パターンの選択（ステップＳ１０４，Ｓ１０５，Ｓ１０６）の後、歩行者候補領域選択部１９は、選択された基準パターンと切り出された被判定領域とを比較し（ステップＳ１０７）、顕著性があるか否かを判定する（ステップＳ１０８）。

その結果、顕著性が無ければ（ステップＳ１０８，Ｎｏ）そのまま処理を終了し、顕著性があるならば（ステップＳ１０８，Ｙｅｓ）、歩行者認識部１８がパターンマッチングやニューロ判定処理によって歩行者であるか否かを判定し（ステップＳ１０９）、歩行者であるならば（ステップＳ１０９，Ｙｅｓ）歩行者情報と歩行者までの距離を衝突判定部２０に出力して（ステップＳ１１０）、処理を終了する。

なお、ここでは説明を簡明にするため、位置情報のみによって「市街」「山道」「高速道路」の何れかの基準パターンを選択する場合を例に説明を行なったが、既に述べたような各種のシーンとその組み合わせによって、最適な基準パターンを選択することが望ましい。

この場合、例えば図７に示すように複数のシーンの組み合わせ（同図では明るさと、天候と、周辺の景色）に対してそれぞれ個別の基準パターンを作成しても良いし、シーン間に優先順位を設定して使用する基準パターンを選択するようにしてもよい。

つぎに、プリクラッシュＥＣＵ４０の処理動作について図８のフローチャートを参照して説明する。なお、この処理フローは、ＩＧオンなどにより電源が供給されてスタートし、繰り返し実行される処理である。

まず、プリクラッシュＥＣＵ４０は、画像認識装置１０から画像認識の結果を示すデータを受信する（ステップＳ２０１）。そして、歩行者などと衝突の危険性が高い場合には（ステップＳ２０２，Ｙｅｓ）、スピーカ４４によるブザーなどの警告音出力やディスプレイ４３による表示出力によって運転者に報知し（ステップＳ２０３）、ブレーキ４１やＥＦＩ４２による車両制御を実行して（ステップＳ２０４）、処理を終了する。

上述してきたように、本実施例１にかかる画像認識装置１は、シーン（環境）ごとに基準パターンを作成し、自車両周辺の環境によって使い分けることで、顕著性アルゴリズムによる歩行者候補領域の検出精度を向上している。

なお、シーンに合わせて基準パターンを選択する他、検出感度設定部１３がシーンに合わせて閾値を設定し、歩行者候補領域の検出感度を変更する。そのため、たとえば市街地、特に学校近辺など歩行者との交通事故が多発する場所では検出感度を上げ、高速道路など歩行者が居る可能性の小さい場所では検出感度を下げて処理負荷を軽減するなど、危険度に応じた歩行者候補領域の検出を行なうことができる。

上述した実施例１では、環境に対応した複数の基準パターンを使い分ける構成について説明を行なったが、本実施例２では、画像内の背景の種類ごとに作成した複数の基準パターンを使用する構成について説明する。

図９は、本発明の実施例２である車載用の画像認識装置５０の概要構成を示す概要構成図である。同図に示すように、画像認識装置５０は、ナビゲーション装置３０、カメラ３１、プリクラッシュＥＣＵ４０と接続し、その内部に前処理部１１、基準パターンデータベース５１、車両認識部１６、白線認識部１７、歩行者認識部１８、歩行者候補領域検出部５２および衝突判定部２０を有する。

基準パターンデータベース５１は、図１０に示すように画像内の背景の種類ごと、例えば「空」、「建物」、「樹木」、「田畑」、「路面」などに対応した複数の基準パターンを記憶している。

歩行者候補領域検出部５２は、その内部に基準パターンの数に対応した複数の顕著性算出部とＡＮＤ処理部５２ａを有する。そして、前処理部１１が出力した画像に対し、全ての基準パターンで顕著性算出を行ない、各算出結果をＡＮＤして出力する。

すなわち、入力画像から切り出した被判定領域に対し、ある基準パターンでの顕著性算出結果が「顕著性無し」であれば、他の基準パターンでの算出結果が「顕著性有り」であったとしても、その被判定領域は歩行者候補領域にはならない。

そして、全ての基準パターンでの算出結果が「顕著性有り」であった場合（図１０の例では、被判定領域が「空」「建物」「樹木」「田畑」「路面」のいずれでもない場合）に、その被判定領域を歩行者候補領域として、歩行者認識部１９に出力する。

その他の構成および動作については、実施例１に示した画像認識装置１０と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

上述してきたように、本実施例２にかかる画像認識装置１０は、画像内の背景の種類ごとに作成した複数の基準パターンを使用し、各基準パターンでの算出結果のアンドを取ることで、簡易な構成で顕著性アルゴリズムによる歩行者候補領域の検出精度を向上している。

なお、本発明は、実施例１および実施例２に示した構成に限定されること無く、任意構成によって実施することができるものである。たとえば、実施例１に示した構成と、実施例２に示した構成とを組み合わせ、各シーンに対して背景の種類ごとの複数の基準パターンを設けて、自車両周辺のシーンに対応した複数の基準パターンの全てを用いて顕著性算出を行なう構成によって本発明を実施しても良い。また、本実施例では顕著性算出を適用したが、これに限らず背景画像を基準パターンとして記憶し、現在画像との差分により、候補画を抽出する背景差分法を適用しても良い。

以上のように、本発明にかかる物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置、および車両制御装置は、車両における画像認識に有用であり、特に歩行者候補領域の検出精度向上に適している。

本発明の実施例１にかかる画像認識装置の概要構成を示す概要構成図である。 顕著性アルゴリズムによる候補領域の検出について説明する説明図である。 候補領域の検出精度低下について説明する説明図である。 シーン判定の具体例を説明する説明図である。 走行中の場所に基づく周辺景色の変化に対応する歩行者候補領域検出を説明する説明図である。 歩行者認識の処理動作について説明するフローチャートである。 複数のシーンの組み合わせ例について説明する説明図である。 図１に示したプリクラッシュＥＣＵの処理動作について説明するフローチャートである。 本発明の実施例２にかかる画像認識装置の概要構成を示す概要構成図である。 背景の種類に対応した基準パターンについて説明する説明図である。

符号の説明

１０，５０ 画像認識装置
１０ａ，５０ａ マイコン
１１ 前処理部
１２ シーン判定部
１３ 検出感度設定部
１４ 基準パターン選択部
１５，５１ 基準パターンデータベース
１６ 車両認識部
１７ 白線認識部
１８ 歩行者認識部
１９，５２ 歩行者候補領域検出部
２０ 衝突判定部
３０ ナビゲーション装置
３０ａ 地図データ
３１ カメラ
３２ 照度センサ
３３ タイマ
３４ ライトスイッチ
３５ ワイパースイッチ
３６ 雨滴センサ
３７ 外部通信装置
３８ ＶＩＣＳ受信装置

Claims (10)

1. カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、
   自車両周辺の環境ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶手段と、
   自車両周辺の環境を判定する環境判定手段と、
   前記環境判定手段の判定結果に基づいて、前記複数の基準パターンのうち、自車両周辺の環境に応じた基準パターンを選択する基準パターン選択手段と、
   現在カメラが撮影した入力画像の被判定領域と、前記選択された基準パターンとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、
   を備えたことを特徴とする物体候補領域検出装置。
2. 前記環境判定手段は、自車両周辺の景色、交通状態、特定の道路、工事状況、事故発生状況、周囲の明るさ、天候、時間情報、走行中の道路の車線数、自車両の走行車線のうち少なくともいずれか一つを判定することを特徴とする請求項１に記載の物体候補領域検出装置。
3. 前記環境判定手段は、自車両の位置情報、周辺の地図情報、外部との通信、雨滴センサの出力、ワイパースイッチの操作状態、ライトスイッチの操作状態、画像認識のうち、少なくとも何れか一つを用いて前記自車両周辺の環境を判定することを特徴とする請求項１または２に記載の物体候補領域検出装置。
4. 前記環境判定結果に基づいて前記検出手段による検出感度を変更する検出感度設定手段をさらに備えたことを特徴とする請求項１，２または３に記載の物体候補領域検出装置。
5. カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出装置であって、
   背景の種類ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶手段と、
   現在カメラが撮影した入力画像の被判定領域と、前記複数の基準パターンのそれぞれとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出手段と、
   を備えたことを特徴とする物体候補領域検出装置。
6. 前記検出手段は、前記複数の基準パターンのいずれに対しても差異がある領域を前記物体候補領域として検出することを特徴とする請求項５に記載の物体候補領域検出装置。
7. 前記背景の種類は、路面、空、建物、田畑、樹木のうち少なくともいずれか一つを含むことを特徴とする請求項５または６に記載の物体候補領域検出装置。
8. カメラが撮影した入力画像から特定の物体が存在する可能性のある領域を物体候補領域として検出する物体候補領域検出方法であって、
   自車両周辺の環境ごとに異なる複数の画像の基準パターンを予め記憶する基準パターン記憶工程と、
   自車両周辺の環境を判定する環境判定工程と、
   前記環境判定工程の判定結果に基づいて、前記複数の基準パターンのうち、自車両周辺の環境に応じた基準パターンを選択する基準パターン選択工程と、
   現在カメラが撮影した入力画像の被判定領域と、前記選択された基準パターンとの比較によって、前記被判定領域のうち、前記物体候補領域を検出する検出工程と、
   を含んだことを特徴とする物体候補領域検出方法。
9. 車載カメラが撮影した入力画像から歩行者を認識する歩行者認識装置であって、
   自車両周辺の環境ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、
   前記入力画像から切り出した被判定領域と、自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、
   当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、
   を備えたことを特徴とする歩行者認識装置。
10. 自車両周辺の環境ごとに異なる複数の基準パターンを記憶する基準パターン記憶手段と、
    前記入力画像から切り出した被判定領域と、自車両周辺の環境に応じて選択された基準パターンとの比較によって歩行者が存在する可能性のある領域を歩行者候補領域として検出する検出手段と、
    当該歩行者候補領域が歩行者に相当するか否かを判別する歩行者判別手段と、
    前記歩行者判別手段によって歩行者が認識された場合に、歩行者の存在について報知する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御手段と、
    を備えたことを特徴とする車両制御装置。

Images