JP2013205410A - 車両用外界認識装置およびそれを用いた車両システム - Google Patents

Abstract

【課題】撮像される画像の状態によらずに、安定して車両の識別を行う。
【解決手段】カメラ１００（撮像部）で撮像した画像から、ＨＯＧ（第１）特徴量算出部３１０が濃度勾配に基づく第１特徴量を算出し、ＨＯＦ（第２）特徴量算出部３２０がオプティカルフローに基づく第２特徴量を算出して、信頼度算出部４１０が、濃度勾配が大きいほど高い第１信頼度Ｒ_１と、オプティカルフローが大きいほど高い第２信頼度Ｒ_２を算出して、第１車両識別部４２０が第１特徴量に基づいて車両識別を行い、第２車両識別部４３０が第２特徴量に基づいて車両識別を行い、車両判定部４００が、第１車両識別部４２０の識別結果と第２車両識別部４３０の識別結果と第１信頼度Ｒ_１と第２信頼度Ｒ_２に基づいて車両の有無を判定する。
【選択図】図１

Description

本発明は、自車両の周辺に存在する車両を識別する車両用外界認識装置およびそれを用いた車両システムに関する。

近年、交通事故による死傷者数の低減を目指し、自車前方を監視して、衝突の危険性があるときに報知する衝突警報システムや、設定した速度の範囲内で車間距離を維持した走行を行うＡＣＣ（Adaptive Cruise Control：車間距離制御システム）が開発されている。

こうしたシステムには、自車両の周囲に存在する車両を識別して、その位置を特定する機能が必要である。その一例として、例えば、自車両に搭載した単眼カメラで撮影した自車両前方の画像の中から、車両の左右端を表す可能性が高い、画像の縦方向に沿って延びる縦エッジを検出して、その後、縦エッジ同士の間隔ｗと縦エッジ間の中心の位置ｘとをｘｗ空間に投票することによって、車両の候補領域を抽出する技術が提案されている（特許文献１）。

特開２００５−１５６１９９号公報

しかしながら、この特許文献１に記載された車両検知装置によると、様々な条件下で安定して車両を識別することは困難であった。これは、カメラで撮像した画像には、天候、時間帯、日射状態、車両の色等、様々な条件の組み合わせがあるため、条件によっては縦エッジが検出できない場合があるためである。なお、識別対象は、車両に限定されることはなく、自車両の走行に影響を及ぼす恐れのある歩行者や路上の障害物も識別対象となり得るが、その場合にも上記したのと同様の課題がある。

本発明は上記事情に鑑みなされたもので、撮像される画像の状態によらずに、安定して車両の識別を行うことができる車両用外界認識装置およびそれを用いた車両システムを提供することを目的とする。

本発明に係る車両用外界認識装置およびそれを用いた車両システムは、撮像した車両周辺の画像の中から、複数の特徴量と識別器の組み合わせによって車両を識別するものである。

すなわち、本発明の請求項１に係る車両用外界認識装置は、自車両に搭載され、前記自車両の周辺を撮像する撮像部と、前記撮像部で撮像された画像の中から、濃度勾配に基づく第１特徴量を算出する第１特徴量算出部と、前記撮像部で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づく第２特徴量を算出する第２特徴量算出部と、前記濃度勾配が大きいほど高い第１信頼度を算出し、前記オプティカルフローが大きいほど高い第２信頼度を算出する信頼度算出部と、前記第１特徴量に基づいて車両の識別を行う第１車両識別部と、前記第２特徴量に基づいて車両の識別を行う第２車両識別部と、前記第１車両識別部における識別結果と、前記第２車両識別部における識別結果と、前記第１信頼度と、前記第２信頼度と、に基づいて車両の有無を判定する車両判定部と、
を有することを特徴とする。

このように構成された本発明の請求項１に係る車両用外界認識装置によれば、撮像部で撮像された自車両の周辺の画像の中から、第１特徴量算出部が濃度勾配に基づく第１特徴量を算出して、第２特徴量算出部が撮像部で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づく第２特徴量を算出して、信頼度算出部が、濃度勾配が大きいほど高い第１信頼度を算出し、さらに、オプティカルフローが大きいほど高い第２信頼度を算出して、第１車両識別部が第１特徴量に基づいて車両の識別を行って、第２車両識別部が第２特徴量に基づいて車両の識別を行って、車両判定部が第１車両識別部における識別結果と、第２車両識別部における識別結果と、第１信頼度と、第２信頼度と、に基づいて車両の有無を判定するので、撮像された画像の中の濃度勾配が大きい、すなわちエッジがはっきりした画像に対しては、第１車両識別部が濃度勾配に基づく第１特徴量に基づいて車両の識別を行い、また、撮像された画像の中のオプティカルフローが大きい、すなわち動きがはっきりした画像に対しては、第２車両識別部がオプティカルフローに基づく第２特徴量に基づいて車両の識別を行うため、単一の識別器で車両の識別を行うよりも、幅広いシーンで車両の識別を行うことができる車両用外界認識装置を提供することができる。

さらに、本発明の請求項３に係る車両用外界認識装置は、自車両に搭載され、前記自車両の周辺を撮像する撮像部と、前記撮像部で撮像された画像の中から、濃度勾配に基づく第１特徴量を算出する第１特徴量算出部と、前記撮像部で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づく第２特徴量を算出する第２特徴量算出部と、前記第１特徴量に基づいて車両の識別を行う第１車両識別部と、前記第２特徴量に基づいて車両の識別を行う第２車両識別部と、を有し、前記第１特徴量が所定値よりも大きいときは、前記第１車両識別部における識別結果に基づいて車両の有無を判定し、前記第１特徴量が所定値よりも小さいときは、前記第２車両識別部における識別結果に基づいて車両の有無を判定することを特徴とする。

このように構成された本発明の請求項３に係る車両用外界認識装置によれば、撮像部で撮像された自車両の周辺の画像の中から、第１特徴量算出部が濃度勾配に基づく第１特徴量を算出して、算出された第１特徴量が所定値よりも大きいときには、第１車両識別部において、第１特徴量に基づいて車両の識別を行い、その識別結果に基づいて車両の有無が判定され、一方、算出された第１特徴量が所定値よりも小さいときには、第２特徴量算出部がオプティカルフローに基づく第２特徴量を算出して、算出された第２特徴量が所定値よりも大きいときには、第２車両識別部において、第２特徴量に基づいて車両の識別を行い、その識別結果に基づいて車両の有無が判定されるため、第１特徴量、もしくは第２特徴量の少なくとも一方の特徴量のみを算出することによって、車両の有無を判定することができるため、処理の負荷が小さい車両用外界認識装置を提供することができる。

また、本発明の請求項４に係る車両用外界認識装置は、自車両に搭載され、前記自車両の周辺を撮像する撮像部と、前記撮像部で撮像された画像の中から、濃度勾配に基づく第１特徴量を算出する第１特徴量算出部と、前記撮像部で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づく第２特徴量を算出する第２特徴量算出部と、前記第１特徴量に基づいて車両の識別を行う第１車両識別部と、前記第２特徴量に基づいて車両の識別を行う第２車両識別部と、を有し、前記第２特徴量が所定値よりも大きいときは、前記第２車両識別部における識別結果に基づいて車両の有無を判定し、前記第２特徴量が所定値よりも小さいときは、前記第１車両識別部における識別結果に基づいて車両の有無を判定することを特徴とする。

このように構成された本発明の請求項４に係る車両用外界認識装置によれば、撮像部で撮像された自車両の周辺の画像の中から、第２特徴量算出部がオプティカルフローに基づく第２特徴量を算出して、算出された第２特徴量が所定値よりも大きいときには、第２車両識別部において、第２特徴量に基づいて車両の識別を行い、その識別結果に基づいて車両の有無が判定され、一方、算出された第２特徴量が所定値よりも小さいときには、第１特徴量算出部が濃度勾配に基づく第１特徴量を算出して、算出された第１特徴量が所定値よりも大きいときには、第１車両識別部において、第１特徴量に基づいて車両の識別を行い、その識別結果に基づいて車両の有無が判定されるため、第１特徴量、もしくは第２特徴量の少なくとも一方の特徴量のみを算出することによって、車両の有無の判定を行うことができるため、処理の負荷が小さい車両用外界認識装置を提供することができる。

さらに、本発明の請求項５に係る車両用外界認識装置は、自車両に搭載され、前記自車両の周辺を撮像する撮像部と、前記撮像部で撮像された画像の中から、濃度勾配に基づく第１特徴量を算出する第１特徴量算出部と、前記撮像部で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づく第２特徴量を算出する第２特徴量算出部と、前記濃度勾配が大きいほど高い第１信頼度を算出し、前記オプティカルフローが大きいほど高い第２信頼度を算出する信頼度算出部と、前記第１特徴量に基づいて車両の識別を行う第１車両識別部と、前記第２特徴量に基づいて車両の識別を行う第２車両識別部と、前記第１車両識別部における識別結果と、前記第２車両識別部における識別結果と、前記第１信頼度と、前記第２信頼度と、に基づいて車両の有無を判定する車両判定部と、自車両の挙動を検出する車両挙動検出部と、を有する車両用外界認識装置において、前記車両挙動検出部で検出された前記自車両の挙動に応じて、前記第１特徴量算出部において前記第１特徴量を算出して、前記第１特徴量が所定値よりも大きいときは、前記第１車両識別部において車両の識別を行って車両の有無を判定し、前記第１特徴量が所定値よりも小さいときは、前記第２特徴量算出部において前記第２特徴量を算出して、前記第２車両識別部において車両の識別を行って車両の有無を判定する処理と、前記第２特徴量算出部において前記第２特徴量を算出して、前記第２特徴量が所定値よりも大きいときは、前記第２車両識別部において車両の識別を行って車両の有無を判定し、前記第２特徴量が所定値よりも小さいときは、前記第１特徴量算出部において前記第１特徴量を算出して、前記第１車両識別部において車両の識別を行って車両の有無を判定する処理と、を切り換えて行うことを特徴とする。

このように構成された本発明の請求項５に係る車両用外界認識装置によれば、撮像部で撮像された自車両の周辺の画像の中から、車両挙動算出部の算出結果に応じて、第１特徴量算出部が濃度勾配に基づく第１特徴量を算出して、算出された第１特徴量が所定値よりも大きいときには、第１車両識別部において、第１特徴量に基づいて車両の識別を行い、その識別結果に基づいて車両の有無を判定し、一方、算出された第１特徴量が所定値よりも小さいときには、第２特徴量算出部がオプティカルフローに基づく第２特徴量を算出して、算出された第２特徴量が所定値よりも大きいときには、第２車両識別部において、第２特徴量に基づいて車両の識別を行い、その識別結果に基づいて車両の有無を判定する処理と、第２特徴量算出部がオプティカルフローに基づく第２特徴量を算出して、算出された第２特徴量が所定値よりも大きいときには、第２車両識別部において、第２特徴量に基づいて車両の識別を行い、その識別結果に基づいて車両の有無を判定し、一方、算出された第２特徴量が所定値よりも小さいときには、第１特徴量算出部が濃度勾配に基づく第１特徴量を算出して、算出された第１特徴量が所定値よりも大きいときには、第１車両識別部において、第１特徴量に基づいて車両の識別を行い、その識別結果に基づいて車両の有無を判定する処理と、を切り換えるため、第１特徴量、もしくは第２特徴量の少なくとも一方の特徴量のみを算出して車両の有無の判定を行うことができるため、処理の負荷が小さい車両用外界認識装置を提供することができる。特に、車両挙動算出部の算出結果に応じて、算出する特徴量を切り換えることによって、処理の負荷をより一層低減することができる。

さらに、本発明の請求項７に係る車両用外界認識装置を用いた車両システムは、請求項１から６のいずれか１項に記載の車両用外界認識装置を用いた車両システムであって、前記車両用外界認識装置によって識別された車両と前記自車両との位置関係を算出する車両相対位置算出部と、前記車両相対位置算出部の算出結果に基づいて、警報を出力する必要性を判断する警報出力判断部と、前記警報出力判断部において警報の出力が必要であると判断されたときに警報を出力する警報出力部と、を有することを特徴とする。

このように構成された本発明の請求項７に係る車両用外界認識装置を用いた車両システムによれば、車両用外界認識装置によって精度高く識別された車両の位置に基づいて、車両相対位置算出部が、自車両と、識別された車両との相対位置関係を算出して、こうして算出された相対位置関係に基づいて、警報出力判断部が警報出力の必要性を判断し、警報出力判断部が、警報出力が必要であると判断したときに警報出力部が警報を出力するため、精度の高い警報出力が可能な車両用外界認識装置を用いた車両システムを提供することができる。

また、本発明の請求項８に係る車両用外界認識装置を用いた車両システムは、請求項１から６のいずれか１項に記載の車両用外界認識装置を用いた車両システムであって、前記車両用外界認識装置によって識別された車両と前記自車両との位置関係を算出する車両相対位置算出部と、前記車両相対位置算出部の算出結果に基づいて、前記自車両の挙動を制御する車両挙動制御部と、を有することを特徴とする。

このように構成された本発明の請求項８に係る車両用外界認識装置を用いた車両システムによれば、車両用外界認識装置によって精度高く識別された車両の位置に基づいて、車両相対位置算出部が、自車両と、識別された車両との相対位置関係を算出して、こうして算出された相対位置関係に基づいて、車両挙動制御部が自車両の挙動を制御するため、精度の高い車両の挙動制御が可能な車両用外界認識装置を用いた車両システムを提供することができる。

本発明に係る車両用外界認識装置によれば、２種類の異なる特徴に基づいて識別を行う２種類の識別器を用いて、車両の識別を行うため、単一の識別器で識別を行うよりも幅広いシーンで車両の識別を行うことができ、これによって撮像される画像の状態によらずに安定して車両の識別を行うことができる車両用外界認識装置を提供することができる。

さらに、本発明に係る車両用外界認識装置を用いた車両システムによれば、精度の高い警報出力や自車両の挙動制御が可能な、車両用外界認識装置を用いた車両システムを提供することができる。

本発明の実施例１に係る車両用外界認識装置を用いた衝突警報装置の概略構成を示すブロック図である。 図１の特徴抽出部の内部構成を示すブロック図である。 本発明の実施例１における処理の流れを示す概略フローチャートである。 本発明の実施例１における車両候補領域抽出処理の流れを示す概略フローチャートである。 本発明の実施例１における特徴算出処理の流れを示す概略フローチャートである。 本発明の実施例１における車両識別処理の流れを示す概略フローチャートである。 縦エッジを検出するオペレータを説明する図である。 （ａ）は本発明の実施例１において取得される画像の第１例を示す。（ｂ）は本発明の実施例１において取得される画像の第２例を示す。（ｃ）は図８（ａ）の画像から検出されたエッジ情報の例を示す。（ｄ）は図８（ｂ）の画像から検出されたエッジ情報の例を示す。 本発明の実施例２に係る車両用外界認識装置を用いた衝突警報装置の概略構成を示すブロック図である。 図９の特徴抽出部の内部構成を示すブロック図である。 本発明の実施例２における処理の流れを示す概略フローチャートである。 本発明の実施例３に係る車両用外界認識装置を用いた衝突警報装置の概略構成を示すブロック図である。 図１２の特徴抽出部の内部構成を示すブロック図である。 本発明の実施例３における処理の流れを示す概略フローチャートである。

以下、本発明に係る車両用外界認識装置を用いた車両システムの実施形態について、図面を参照して説明する。

本実施例１は、車載されたカメラで車両前方を監視して、自車両に接触する可能性のある車両が識別されたときに警報を出力する車両用外界認識装置を用いた衝突警報装置に関するものである。

まず、図１、図２を用いて装置の構成を説明する。本実施例１に係る衝突警報装置５０は、図示しない自車両１０に設置され、自車両１０前方の画像を撮像するカメラ１００（撮像部）と、自車両１０以外の車両を識別する車両用外界認識装置６０と、車両が識別されたときに、自車両１０から、識別された車両までの方向と距離を算出する車両相対位置算出部７０と、衝突の可能性を判断する警報出力判断部８０と、衝突の可能性が所定値以上であるときに警報を出力する警報出力部９０と、を備えている。

ここで、車両用外界認識装置６０は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、具体的には、一定周期で、カメラ１００（撮像部）で撮像された画像を取り込む画像取得部１５０と、撮像した画像の中から車両の候補領域を検出する車両候補領域抽出部２００と、車両候補領域の中から車両らしさを表す特徴量を算出する特徴量算出部３００と、車両候補領域が車両を表すか否かを判定する車両判定部４００を備えている。なお、車両用外界認識装置６０には、所定の処理がプログラミングされて、予め定められた周期で繰り返し処理を実行するようになっている。

そして、車両候補領域抽出部２００は、さらに、縦エッジを構成する画素の位置を検出する縦エッジ検出部２１０と、縦エッジ検出部２１０で検出された縦エッジを構成する画素の左右方向の間隔を算出する縦エッジ間隔算出部２２０と、縦エッジ間隔算出部２２０で算出された縦エッジの左右方向の間隔（ｗ）と、左右の縦エッジの中央の位置（ｘ）をｘｗ空間に投票して、この投票の結果、ピークを有する点（ｘ，ｗ）を検出して車両候補領域とするｘｗ空間生成部２３０と、車両候補領域を設定する車両候補領域設定部２４０からなる。

また、特徴量算出部３００は、さらに、ヒストグラムに基づいた濃度勾配に関するＨＯＧ(Histogram of Oriented Gradients）特徴量（第１特徴量）を算出するＨＯＧ特徴量算出部３１０（第１特徴量算出部）と、ヒストグラムに基づいたオプティカルフローに関するＨＯＦ(Histogram of Optical Flow）特徴量（第２特徴量）を算出するＨＯＦ特徴量算出部３２０（第２特徴量算出部）からなる。

なお、ＨＯＧ特徴量算出部３１０は、さらに、図２に示すように、車両候補領域設定部２４０によって設定された車両候補領域の中に、お互いに重ならないように敷き詰められた複数の部分領域を設定して、こうして設定された部分領域の中の濃度勾配の大きさと方向を算出する勾配情報算出部３１２と、勾配情報算出部３１２で算出された濃度勾配の大きさと方向を用いて濃度勾配の方向のヒストグラムを作成する勾配ヒストグラム作成部３１４と、勾配ヒストグラム作成部３１４で作成された勾配ヒストグラムから、画像の中の濃度勾配（エッジ特徴）に基づくＨＯＧ特徴量（第１特徴量）を算出する濃度勾配特徴量算出部３１６からなる。

また、ＨＯＦ特徴量算出部３２０は、さらに、図２に示すように、異なる時間に撮像した画像間で、対応する領域を探索してオプティカルフローを算出するオプティカルフロー算出部３２２と、算出したオプティカルフローのヒストグラムを作成するオプティカルフローヒストグラム作成部３２４と、算出されたオプティカルフローの大きさと方向によって、画像の中の動きの特徴を表すオプティカルフローに基づくＨＯＦ特徴量（第２特徴量）を算出するオプティカルフロー特徴量算出部３２６からなる。

そして、車両判定部４００は、さらに、ＨＯＧ特徴量とＨＯＦ特徴量に基づいて信頼度を算出する信頼度算出部４１０と、ＨＯＧ特徴量に基づいて車両の識別を行う第１車両識別部４２０と、ＨＯＦ特徴量に基づいて車両の識別を行う第２車両識別部４３０と、算出された信頼度と、第１車両識別部４２０における識別結果と、第２車両識別部４３０における識別結果に基づいて車両有無を判定する判定部４４０からなる。ここで、第１車両識別部４２０は、予め収集された様々な条件下で撮像された識別対象（車両）とそれ以外（背景など）の画像の中から、画像の中の濃度勾配に基づくＨＯＧ特徴量（第１特徴量）を算出して、算出されたＨＯＧ特徴量を学習アルゴリズムによって学習し、この学習に基づいて設計された識別器によって構成される。また、第２車両識別部４３０は、予め収集された様々な条件下で撮像された識別対象（車両）とそれ以外（背景など）の画像の中から、画像の中のオプティカルフローに基づくＨＯＦ特徴量（第２特徴量）を算出して、算出されたＨＯＦ特徴量を学習アルゴリズムによって学習し、この学習に基づいて設計された識別器によって構成される。

以下、本実施形態に係る衝突警報装置５０の作用について、図３〜図６のフローチャート、および図７、図８を用いて説明する。

まず、図３のフローチャートに基づいて、衝突警報装置５０の作用を説明する。ステップＳ１００において、カメラ１００（撮像部）によって、自車両１０前方の画像を撮像する。撮像された画像をＩ（ｘ，ｙ）とし、０≦ｘ≦ｍ−１、０≦ｙ≦ｎ−１とする。撮像された画像Ｉ（ｘ，ｙ）は、画像取得部１５０によって、車両用外界認識装置６０に取り込まれる。

ステップＳ１００によって、例えば、図８（ａ）や図８（ｂ）に示す画像が取得されて、車両用外界認識装置６０に取り込まれる。ここで、図８（ａ）は、適切な光線状態の下で撮像された画像の例であり、車両の最外部および車両の内部は、高いコントラストで画像化されており、良好なエッジ情報が得られている。一方、図８（ｂ）は、逆光の環境や、薄暗い環境で撮像された画像の例であり、車両のコントラストが低く、車両の最外部の輪郭は確認できるが、車両内部の細かいエッジ情報は欠落している。このように、ステップＳ１００では、外部の環境に応じて、様々な品質の画像が取得される。

次に、ステップＳ１２０において、車両候補領域抽出部２００の作用によって、画像Ｉ（ｘ，ｙ）の中から、車両候補領域が抽出される。なお、ステップＳ１２０の中で行われる処理の詳細を図４に示すが、その内容については後述する。

さらに、ステップＳ１４０において、特徴量算出部３００の作用によって、ステップＳ１２０で抽出された車両候補領域の内部において、車両らしさを表す特徴量が算出される。なお、ステップＳ１４０の中で行われる処理の詳細を図５に示すが、その内容については後述する。

その後、ステップＳ１５０において、車両判定部４００の作用によって、ステップＳ１４０で算出された特徴量を利用して、車両候補領域が車両を表すか否かが判定される。なお、ステップＳ１５０の中で行われる処理の詳細を図６に示すが、その内容については後述する。

次に、ステップＳ１６０において、車両相対位置算出部７０の作用によって、自車両１０と、ステップＳ１５０で識別された車両の相対位置関係が算出される。具体的には、まず、画像Ｉ（ｘ，ｙ）の中の識別された車両の下端の位置ｙと、カメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、自車両１０から、識別された車両までのおおよその距離を求める。次に、画像Ｉ（ｘ，ｙ）の中の識別された車両の左右方向の位置ｘと、カメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、識別された車両のおおよその方向を求める。そして、警報出力判断部８０の作用によって、識別された車両までの距離と方向、および、自車両１０の速度と進行方向に基づいて、警報出力が必要か否かが判断される。

そして、警報出力が必要であると判定されると、ステップＳ１７０において、警報出力部９０から警報が出力される。

次に、図３のステップＳ１２０で行われる車両候補領域を抽出する処理の詳細について、図４を用いて説明する。

まず、ステップＳ１２１において、画像Ｉ（ｘ，ｙ）の中から、縦方向に延びたエッジ（縦エッジ）の検出を行う。この処理は、縦エッジ検出部２１０において行われる。縦エッジの検出は、一般には、画像に対して所定のオペレータを重ね合わせて、対応する画素同士の積和演算を行い、その結果をオペレータの中心に対応する画素の位置におけるエッジ強度とすることによって実行される。本実施例の場合、図７に示す３×３のオペレータを作用させるものとする。このようにして得られた縦エッジの強度が格納された画像を、エッジ画像Ｊ（ｘ，ｙ）とする。なお、縦エッジを検出するオペレータは、図７に示したものに限定されるわけではなく、その他の係数を有するオペレータを用いてもよいし、図７と異なるサイズのオペレータを用いてもよい。

次に、ステップＳ１２２において、エッジ画像Ｊ（ｘ，ｙ）の中から縦エッジを構成する点を探すために、画像の中の位置を指し示すアドレスの値をｘ＝０、ｙ＝０にセットする。

そして、ステップＳ１２３において、エッジ画像Ｊ（ｘ，ｙ）の中から、水平方向に並んだ縦エッジのペアを探す処理を行う。この処理は、縦エッジ間隔算出部２２０において行われる。これは、車両の候補領域を抽出するために行う処理であり、水平方向に並んだ縦エッジのペアは、車両の左右端を構成する可能性が高いことを利用して行うものである。

なお、具体的には、エッジ画像Ｊ（ｘ，ｙ）の中を、左から右、上から下の順に走査して、まず、縦エッジ強度が所定値以上である画素を探索する。そして、条件に該当する画素Ｅ_１が見つかったら、その画素Ｅ_１（x_E１，ｙ_E１）を基準として、画素Ｅ_１（x_E１，ｙ_E１）の右方向で、予め設定された所定の幅ｗ_ｔｈの内部で、次に出現する縦エッジ強度が所定値以上である画素Ｅ_２を探索する。なお、このとき、ペアになる縦エッジ同士は、エッジの方向が約１８０°ずれたものになるような条件で探索される。これは、車両の左右端では約１８０°ずれた方向を有する縦エッジが検出されるため、車両の左右端に該当しない縦エッジペアを極力探索しないようにして、これによって、縦エッジペア探索の効率を向上させるためである。

ステップＳ１２３において、画素Ｅ_２（x_E２，ｙ_E１）が見つかったら、画素Ｅ_１と画素Ｅ_２の左右方向の間隔ｗを算出する。本実施例の場合、左右方向の間隔ｗは、ｗ＝x_E２−x_E１となる。

次に、ステップＳ１２４において、抽出された縦エッジペアの左右方向の間隔ｗが、予め設定された所定の幅ｗ_ｔｈの内部にあるか否かが判定される。そして、画素Ｅ_１（x_E１，ｙ_E１）に対して、１つ目の縦エッジペアとなる画素Ｅ_２（x_E２，ｙ_E１）が見つかった後も、所定の幅ｗ_ｔｈの内部で、更にｘ軸方向に縦エッジペアの探索が続行される。

そして、ステップＳ１２５において、算出された縦エッジの左右方向の間隔ｗと、左右の縦エッジ構成点の中央の位置ｘ＝（x_E１＋x_E２）／２が、ｘｗ空間生成部２３０において作成されるｘｗ空間の中の対応する点に対して投票（該当する画素の濃淡値を１インクリメントする）される。

ステップＳ１２３からステップＳ１２５の処理を、エッジ画像Ｊ（ｘ，ｙ）の左右方向の位置ｘをインクリメントしながら（ステップＳ１２６）、かつエッジ画像Ｊ（ｘ，ｙ）の上下方向の位置ｙをインクリメントしながら（ステップＳ１２７）繰り返す。

次に、ステップＳ１２８において、生成されたｘｗ空間の中から縦エッジペアを構成する縦エッジ構成点が多く存在することによって生じた、ピークを有する画素の抽出を行う。こうして抽出されたｘｗ空間の中の画素（ｘ，ｗ）が、車両候補領域を表す。

そして、ステップＳ１２９において、車両候補領域設定部２４０の作用によって、車両候補領域の左右端が設定される。具体的には、ｘｗ空間の中から抽出されたピークを有する画素（ｘ，ｗ）の位置に基づいて、その画素（ｘ，ｗ）に対応する領域の左右端の位置を逆算して、こうして逆算された領域の左右端の位置が、車両候補領域の左右端として、画像Ｉ（ｘ，ｙ）上に設定される。

次に、ステップＳ１３０において、車両候補領域設定部２４０の作用によって、車両候補領域の上下端が設定される。具体的には、車両の下部には、水平方向に延びるエッジ成分が多く含まれているため、ステップＳ１２９において車両候補領域の左右端として設定された領域の中について、水平方向に延びる水平エッジを検出する処理を行い、検出された水平エッジ点を水平方向に投影して、投影された頻度が所定値を超える位置を車両候補の下端位置として設定する。そして、設定された、車両候補領域の下端位置と左右端の間隔から、車両候補領域の上端位置を推定して、矩形で囲まれた車両候補領域Ｒが設定される。

次に、図３のステップＳ１４０で行われる特徴量を算出する処理の詳細について、図５、図８を用いて説明する。

まず、ステップＳ１４１において、勾配情報算出部３１２の作用によって、画像Ｉ（ｘ,ｙ）の中の車両候補領域に対して、お互いに重ならないように敷き詰められた複数の部分領域が設定されて、設定された部分領域内部の画像の濃度勾配の大きさと濃度勾配の方向が算出される。

ここで、画像Ｉ（ｘ,ｙ）の画素（ｘ,ｙ）における濃度勾配の大きさＧ（ｘ,ｙ）と濃度勾配の方向ｄ（ｘ,ｙ）は、それぞれ、以下のように算出する。

Ｇ（ｘ,ｙ）＝（ｆ_ｘ（ｘ,ｙ）^２＋ｆ_ｙ（ｘ,ｙ）^２）^１／２ （式１）

ｄ（ｘ,ｙ）＝ tan^-1(ｆ_ｙ（ｘ,ｙ）／ｆ_ｘ（ｘ,ｙ）) （式２）
ただし、ｆ_ｘ（ｘ,ｙ）＝Ｉ（ｘ＋１,ｙ）−Ｉ（ｘ−１,ｙ） （式３）

ｆ_ｙ（ｘ,ｙ）＝Ｉ（ｘ,ｙ＋１）−Ｉ（ｘ,ｙ−１） （式４）

次に、ステップＳ１４２において、勾配ヒストグラム作成部３１４の作用によって、勾配情報算出部３１２で設定された各々の部分領域に対して、（式２）で算出した濃度勾配の方向ｄ（ｘ,ｙ）のヒストグラムを作成する。これによって、部分領域の数だけのヒストグラムが作成される。具体的には、濃度勾配の方向ｄ（ｘ,ｙ）は−１８０〜１８０度の範囲で算出されるが、これを０〜１８０度の範囲に調整し、さらに、これを２０度ずつに分割して、９方向のヒストグラムを作成する。なお、ヒストグラムの投票時には、各画素の濃度勾配の方向ｄ（ｘ,ｙ）に対応したヒストグラムの横軸の位置に、その画素の濃度勾配の大きさＧ（ｘ,ｙ）の値を投票することによって、ヒストグラムの縦軸に、濃度勾配の大きさＧ（ｘ,ｙ）に対応する値が格納された勾配ヒストグラムＨ（ｄ）が作成される。

次に、ステップＳ１４３において、濃度勾配特徴量算出部３１６の作用によって、ステップＳ１４２で作成された勾配ヒストグラムＨ（ｄ）から、濃度勾配の大きさを表すノルムＮ_Ｇを算出して、さらに、作成された勾配ヒストグラムＨ（ｄ）に対して、勾配ヒストグラムＨ（ｄ）の中に格納された濃度勾配の方向の乱雑さを表すエントロピーＥ_Ｇを算出する。

ノルム（ユークリッドノルム）Ｎ_Ｇは、（式５）によって算出される。

Ｎ_Ｇ＝Σ_ｄＨ（ｄ） （式５）

ノルムＮ_Ｇは、濃度勾配が大きいほど、すなわち、エッジの量が多いほど大きい値をとる。

また、エントロピーＥ_Ｇは、（式６）で算出される。

Ｅ_Ｇ＝ Σ_ｄ（−ｐ(ｄ)log₂(ｐ(ｄ))） （式６）

ここで、ｐ（ｄ）は、勾配ヒストグラムＨ（ｄ）から算出される、濃度勾配の方向がｄになる確率(ヒストグラムの面積に占める、濃度勾配の方向がｄである濃度勾配の大きさの割合)である。そして、勾配ヒストグラムＨ（ｄ）の中に格納された濃度勾配の方向が、様々な方向を向いているほど、すなわち、部分領域の中に様々な方向のエッジが含まれて、乱雑さが高いときほど、エントロピーＥ_Ｇは大きい値をとる。

このように、（式５）で算出されたノルムＮ_Ｇと、（式６）で算出されたエントロピーＥ_Ｇによって、部分領域の中のエッジの見え方が数値化される。

例えば、図８（ａ）に示す画像が取得されたときには、図８（ｃ）に示すエッジ情報が得られる。一方、図８（ｂ）に示す画像が取得されたときには、図８（ｄ）に示すエッジ情報が得られる。図８（ｃ）のように、多くのエッジ構成点が検出されるときには、上述したノルムＮ_ＧとエントロピーＥ_Ｇは大きい値をとる。一方、図８（ｄ）のように、エッジ構成点が少ないときには、ノルムＮ_ＧとエントロピーＥ_Ｇの値は小さくなる。

次に、ステップＳ１４４において、オプティカルフロー算出部３２２の作用によって、連続した異なる時刻に撮影された複数の画像Ｉ（ｘ,ｙ）の中から、時間的に隣り合った２枚の画像Ｉ_ｔ（ｘ,ｙ）、Ｉ_ｔ＋Δｔ（ｘ,ｙ）を選択して、画像Ｉ_ｔ＋Δｔ（ｘ,ｙ）の中から、画像Ｉ_ｔ（ｘ,ｙ）の中の各画素が移動したと考えられる画素（対応する画素）の位置が探索される。

対応する画素の探索方法について、以下に説明する。まず、画像Ｉ_ｔ（ｘ,ｙ）の中から、輝度勾配の大きな点を特徴点として検出する。具体的には、画像Ｉ_ｔ（ｘ,ｙ）に対して、着目する画素の近傍に小領域を設定して、濃度勾配を表す量として、設定した小領域の内部における濃度勾配を求めるオペレータを作用させて、求めた濃度勾配の大きさが所定値よりも大きい画素を特徴点とする。このとき、併せて、同じ画素における濃度勾配の方向も算出しておく。

次に、画像Ｉ_ｔ（ｘ,ｙ）の中から検出した特徴点と同じ濃度勾配の大きさと濃度勾配の方向を有する画素を、画像Ｉ_ｔ＋Δｔ（ｘ,ｙ）の中から探索する。この処理は、画像Ｉ_ｔ＋Δｔ（ｘ,ｙ）の中に所定の大きさの探索範囲を設定して、設定した探索範囲の中で、画像Ｉ_ｔ（ｘ,ｙ）の中から検出した特徴点と同じ濃度勾配（大きさと方向）を有する画素を探索することによって行われる。

濃度勾配の大きさと方向の近似度に、それぞれしきい値を設けて、濃度勾配の大きさの差異と、濃度勾配の方向の差異が、ともに、それぞれ設定されたしきい値以内であるときに、対応点が見つかったと判定する。一方、対応点が探索されないときは、画像Ｉ_ｔ（ｘ,ｙ）上で、別の特徴点の検出を行う。

このようにして、画像Ｉ_ｔ（ｘ,ｙ）の中から検出した特徴点を始点とし、画像Ｉ_ｔ＋Δｔ（ｘ,ｙ）の中から見つけた対応点を終点とするオプティカルフローが決定する。なお、オプティカルフローは、ベクトル量であり、大きさと方向を有する。以後、画像Ｉ_ｔ（ｘ,ｙ）の画素（ｘ,ｙ）において検出されたオプティカルフローをＦ_ｔ（ｘ,ｙ）＝（ｇ_ｘ,ｇ_ｙ）で表すものとする。このとき、オプティカルフローの大きさＦ_Ｇ（ｘ,ｙ）は（式７）で表され、オプティカルフローの方向Ｆ_ｄ（ｘ,ｙ）は（式８）で表される。
Ｆ_Ｇ（ｘ,ｙ）＝ｇ_ｘ ^２＋ｇ_ｙ ^２ （式７）
Ｆ_ｄ（ｘ,ｙ）＝tan^-1（ｇ_ｙ／ｇ_ｘ） （式８）

次に、ステップＳ１４５において、オプティカルフローヒストグラム作成部３２４の作用によって、勾配情報算出部３１２が画像Ｉ_ｔ（ｘ,ｙ）の中に設定した複数の部分領域の各々に対して、オプティカルフローの方向Ｆ_ｄ（ｘ,ｙ）のヒストグラムが作成される。これによって、部分領域の数だけのヒストグラムが作成される。具体的には、オプティカルフローの方向Ｆ_ｄ（ｘ,ｙ）は、−１８０〜１８０度の範囲で算出されるが、これを０〜１８０度の範囲に調整し、さらに、これを２０度ずつに分割して、９方向のヒストグラムを作成する。なお、ヒストグラムの投票時には、各画素のオプティカルフローの方向Ｆ_ｄ（ｘ,ｙ）に対応したヒストグラムの横軸の位置に、その画素のオプティカルフローの大きさＦ_Ｇ（ｘ,ｙ）の値を投票することによって、ヒストグラムの縦軸に、オプティカルフローの大きさに対応する値が格納されたオプティカルフローのヒストグラムＨ（Ｆ_ｄ）が作成される。

次に、ステップＳ１４６において、オプティカルフロー特徴量算出部３２６の作用によって、作成されたオプティカルフローのヒストグラムＨ（Ｆ_ｄ）から、オプティカルフローの大きさを表すノルムＮ_ｄを算出し、さらに、作成されたオプティカルフローのヒストグラムＨ（Ｆ_ｄ）に対して、オプティカルフローのヒストグラムＨ（Ｆ_ｄ）の中に格納されたオプティカルフローの方向Ｆ_ｄ（ｘ,ｙ）の乱雑さを表すエントロピーＥ_ｄを算出する。

ノルム（ユークリッドノルム）Ｎ_ｄは、（式９）によって算出される。

Ｎ_ｄ＝Σ_ｄＨ（Ｆ_ｄ） （式９）

ノルムＮ_ｄは、オプティカルフローが大きいほど、すなわち、画像の動きが多いほど大きい値をとる。

また、エントロピーＥ_ｄは、（式１０）で算出される。

Ｅ_ｄ＝ Σ_ｄ（−ｐ(Ｆ_ｄ)log₂(ｐ(Ｆ_ｄ))） （式１０）

ここで、ｐ（Ｆ_ｄ）は、オプティカルフローのヒストグラムＨ（Ｆ_ｄ）から算出される、オプティカルフローの方向がＦ_ｄになる確率(ヒストグラムの面積に占める、オプティカルフローの方向がＦ_ｄであるオプティカルフローの大きさの割合)である。そして、オプティカルフローのヒストグラムＨ（Ｆ_ｄ）の中に格納されたオプティカルフローの方向が、様々な方向を向いているほど、すなわち、部分領域の中に様々な方向のオプティカルフローが含まれて、乱雑さが高いときほど、エントロピーＥ_ｄは大きい値をとる。

このように、（式９）で算出されたノルムＮ_ｄと、（式１０）で算出されたエントロピーＥ_ｄによって、部分領域の中のオプティカルフローの出現状態が数値化される。

例えば、図８（ｂ）に示す画像が取得されたときには、図８（ｄ）に示すエッジ情報が得られ、この場合エッジ構成点が少ないため、上述したようにノルムＮ_ＧとエントロピーＥ_Ｇは小さい値をとる。しかし、車両の最外部の輪郭は確認できるため、車両の動きによって生じるオプティカルフローを数多く検出することができ、これによって、ノルムＮ_ｄとエントロピーＥ_ｄは大きい値をとる。

なお、ステップＳ１４１からＳ１４６までの処理は、画像Ｉ（ｘ,ｙ）の中から抽出された、車両候補領域の全てに対して順に行われる。

次に、図３のステップＳ１５０において行われる車両を判定する処理の詳細について、図６、図８を用いて説明する。

まず、ステップＳ１５１において、信頼度算出部４１０の作用によって、濃度勾配特徴量算出部３１６で算出されたノルムＮ_ＧとエントロピーＥ_Ｇに基づいて、ノルムＮ_Ｇが大きいほど高い値をとり、エントロピーＥ_Ｇが大きいほど高い値をとる第１信頼度Ｒ_１と、オプティカルフロー特徴量算出部３２６で算出されたノルムＮ_ｄとエントロピーＥ_ｄに基づいて、ノルムＮ_ｄが大きいほど高い値をとり、エントロピーＥ_ｄが大きいほど高い値をとる第２信頼度Ｒ_２が算出される。すなわち、濃度勾配が大きいほど、また、濃度勾配が様々な方向を向いているほど、第１信頼度Ｒ_１は高い値を持つ。そして、画像の動きが多いほど、また、様々な方向のオプティカルフローが含まれているほど、第２信頼度Ｒ_２は高い値を持つ。

例えば、図８（ａ）に示す画像が取得されたときには、ノルムＮ_ＧとエントロピーＥ_Ｇが大きい値となるため、第１信頼度Ｒ_１は高い値となる。また、ノルムＮ_ｄとエントロピーＥ_ｄが大きい値となるため、第２信頼度Ｒ_２は高い値となる。

一方、図８（ｂ）に示す画像が取得されたときには、ノルムＮ_ＧとエントロピーＥ_Ｇが小さい値となるため、第１信頼度Ｒ_１は低い値となる。また、ノルムＮ_ｄとエントロピーＥ_ｄが大きい値となるため、第２信頼度Ｒ_２は高い値となる。

濃度勾配特徴量算出部３１６では、１つの車両候補領域に対して、複数の部分領域の各々から、それぞれノルムＮ_ＧとエントロピーＥ_Ｇが算出されるが、第１信頼度Ｒ_１は、こうして算出された複数のノルムＮ_Ｇの最大値と、複数のエントロピーＥ_Ｇの最大値に基づいて算出してもよいし、もしくは、これら複数のノルムＮ_Ｇの平均値と、複数のエントロピーＥ_Ｇの平均値に基づいて算出してもよい。すなわち、第１信頼度Ｒ_１は、車両候補領域の濃度勾配の特徴を表す数値として算出される。

また、オプティカルフロー特徴量算出部３２６では、１つの車両候補領域に対して、複数の部分領域の各々から、それぞれノルムＮ_ｄとエントロピーＥ_ｄが算出されるが、第２信頼度Ｒ_２は、これら複数のノルムＮ_ｄの最大値と、複数のエントロピーＥ_ｄの最大値に基づいて算出してもよいし、もしくは、これら複数のノルムＮ_ｄの平均値と、複数のエントロピーＥ_ｄの平均値に基づいて算出してもよい。すなわち、第２信頼度Ｒ_２は、車両候補領域のオプティカルフローの状態を表す数値として算出される。

次に、ステップＳ１５２において、第１車両識別部４２０で車両の識別が行われる。この識別処理は、ＨＯＧ特徴量算出部３１０（第１特徴量算出部）において、部分領域の位置を１画素ずつずらしながら、その都度、勾配ヒストグラムＨ（ｄ）を作成して、こうして作成された複数の勾配ヒストグラムＨ（ｄ）を正規化して、こうして正規化された複数の勾配ヒストグラムＨ（ｄ）に基づいて、車両候補領域のサイズと部分領域のサイズに応じた次元数を有するＨＯＧ特徴量を算出し、こうして算出されたＨＯＧ特徴量を第１車両識別部４２０に入力することによって行われる。

さらに、ステップＳ１５３において、第２車両識別部４３０で車両の識別が行われる。この識別処理は、ＨＯＦ特徴量算出部３２０（第２特徴量算出部）において、部分領域の位置を１画素ずつずらしながら、その都度オプティカルフローのヒストグラムＨ（Ｆ_ｄ）を作成して、こうして作成された複数のオプティカルフローのヒストグラムＨ（Ｆ_ｄ）を正規化して、こうして正規化された複数のオプティカルフローのヒストグラムＨ（Ｆ_ｄ）に基づいて、車両候補領域のサイズと部分領域のサイズに応じた次元数を有するＨＯＦ特徴量を算出し、こうして算出されたＨＯＦ特徴量を第２車両識別部４３０に入力することによって行われる。

そして、ステップＳ１５４において、判定部４４０の作用によって、第１信頼度Ｒ_１があらかじめ設定された第１所定値Ｒ_ｔｈ１よりも高いか否かが判定される。

第１信頼度Ｒ_１があらかじめ設定された第１所定値Ｒ_ｔｈ１よりも高いと判定されると、ステップＳ１５５において、第１車両識別部４２０における識別結果が、最終的な識別結果として採用され、第１車両識別部４２０における識別結果に基づいて、車両の有無が判定される。

例えば、図８（ａ）に示す画像が取得されたときには、ノルムＮ_ＧとエントロピーＥ_Ｇが大きい値となるため、第１信頼度Ｒ_１は高い値となり、第１信頼度Ｒ_１があらかじめ設定された第１所定値Ｒ_ｔｈ１よりも高いと判定されることによって、第１車両識別部４２０における識別結果が、最終的な識別結果として採用される。

そして、ステップＳ１５６において、判定部４４０の作用によって、第２信頼度Ｒ_２があらかじめ設定された第２所定値Ｒ_ｔｈ２よりも高いか否かが判定される。

第１信頼度Ｒ_１があらかじめ設定された第１所定値Ｒ_ｔｈ１よりも低く、かつ第２信頼度Ｒ_２があらかじめ設定された第２所定値Ｒ_ｔｈ２よりも高いと判定されると、ステップＳ１５７において、第２車両識別部４３０における識別結果が、最終的な識別結果として採用され、第２車両識別部４３０における識別結果に基づいて、車両の有無が判定される。

例えば、図８（ｂ）に示す画像が取得されたときには、ノルムＮ_ｄとエントロピーＥ_ｄが大きい値となるため、第２信頼度Ｒ_２は高い値となり、第２信頼度Ｒ_２があらかじめ設定された第１所定値Ｒ_ｔｈ２よりも高いと判定されることによって、第２車両識別部４３０における識別結果が、最終的な識別結果として採用される。

さらに、ステップＳ１５４、ステップＳ１５６のいずれの条件も満たさないとき、すなわち、第１信頼度Ｒ_１があらかじめ設定された第１所定値Ｒ_ｔｈ１よりも低く、かつ第２信頼度Ｒ_２があらかじめ設定された第２所定値Ｒ_ｔｈ２よりも低いときには、ステップＳ１５８において、着目している車両候補領域は車両ではないと判定される。

そして、ステップＳ１５９において、抽出した全ての車両候補領域に対して識別が終了したか否かが判断されて、全ての車両候補領域に対して識別が終了したと判断されると、図３のステップＳ１６０に進む。そして、全ての車両候補領域に対して識別が終了していないときは、識別処理を継続する。

なお、図６では、第１車両識別部４２０と第２車両識別部４３０でともに識別処理を行った後で、第１信頼度Ｒ_１と第２信頼度Ｒ_２の大きさに基づいて、車両の識別結果を選択する構成としたが、その限りではなく、先に第１信頼度Ｒ_１と第２信頼度Ｒ_２の大きさを評価して、その評価結果に基づいて、第１車両識別部４２０、もしくは第２車両識別部４３０において識別処理を行う構成としてもよい。このような処理構成にすることによって、第１車両識別部４２０と第２車両識別部４３０の両方で識別処理を行う必要がなく、信頼度算出部４１０で算出された第１信頼度Ｒ_１と第２信頼度Ｒ_２の大きさに基づいて、第１車両識別部４２０と第２車両識別部４３０のいずれか一方の識別器が選択されて識別処理を行うため、識別処理を効率的に実行することができる。

また、本実施例では、ソフトウェア処理の効率を上げるために、車両候補領域抽出部２００によって抽出された車両候補領域のみに対して、特徴量算出部３００でＨＯＧ特徴量とＨＯＦ特徴量を算出し、車両判定部４００で車両の識別、および判定を行ったが、特に車両候補領域を抽出する必要はなく、撮像された画像全体に亘って、特徴量算出部３００でＨＯＧ特徴量とＨＯＦ特徴量を算出し、車両判定部４００で車両の識別、および判定を行う構成としてもよい。特に、車両用外界認識装置６０が複数のＣＰＵを搭載して、複数の画像処理を並列に実行できる環境であれば、画像全体に亘って同じ処理を一気に実行した方が効率がよい場合もある。

以上説明したように、このように構成された本発明の車両用外界認識装置６０を用いた衝突警報装置５０によれば、撮像部１００で撮像された自車両１０前方の画像の中から、ＨＯＧ特徴量算出部３１０（第１特徴量算出部）が濃度勾配に基づくＨＯＧ特徴量（第１特徴量）を算出して、ＨＯＦ特徴量算出部３２０（第２特徴量算出部）が撮像部１００で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づくＨＯＦ特徴量（第２特徴量）を算出して、信頼度算出部４１０が、濃度勾配が大きいほど高い第１信頼度Ｒ_１を算出し、さらに、オプティカルフローが大きいほど高い第２信頼度Ｒ_２を算出して、第１車両識別部４２０がＨＯＧ特徴量（第１特徴量）に基づいて車両の識別を行って、第２車両識別部４３０がＨＯＦ特徴量（第２特徴量）に基づいて車両の識別を行って、車両判定部４００が第１車両識別部４２０における識別結果と、第２車両識別部４３０における識別結果と、第１信頼度Ｒ_１と、第２信頼度Ｒ_２に基づいて車両の有無を判定するので、撮像された画像の中の濃度勾配が大きい、すなわちエッジがはっきりした画像に対しては、第１車両識別部４２０が濃度勾配に基づくＨＯＧ特徴量（第１特徴量）に基づいて車両の識別を行い、また、撮像された画像の中のオプティカルフローが大きい、すなわち動きがはっきりした画像に対しては、第２車両識別部４３０がオプティカルフローに基づくＨＯＦ特徴量（第２特徴量）に基づいて車両の識別を行うため、単一の識別器で車両の識別を行うよりも、幅広いシーンで車両の識別を行うことができる車両用外界認識装置６０を提供することができる。

また、このように構成された本発明の車両用外界認識装置６０を用いた衝突警報装置５０によれば、車両判定部４００は、第１信頼度Ｒ_１が第１所定値よりも高いときには、第１車両識別部４２０の識別結果に基づいて車両の有無の判定を行い、第１信頼度Ｒ_１が第１所定値Ｒ_ｔｈ１よりも低く、かつ第２信頼度Ｒ_２が第２所定値Ｒ_ｔｈ２よりも高いときには、第２車両識別部４３０の識別結果に基づいて車両の有無の判定を行い、第１信頼度Ｒ_１が第１所定値Ｒ_ｔｈ１よりも低く、かつ第２信頼度Ｒ_２が第２所定値Ｒ_ｔｈ２よりも低いときには、車両なしと判定するため、準備された複数の識別器の全てを用いることなく、そのときに撮像された画像の特徴に合った識別器を１つだけ用いて車両の識別を行うことができるため、識別処理を効率的に行うことができる。

さらに、このように構成された本発明に係る車両用外界認識装置６０を用いた衝突警報装置５０によれば、車両用外界認識装置６０によって精度高く識別された車両の位置に基づいて、車両相対位置算出部７０が、自車両１０と、識別された車両との相対位置関係を算出して、こうして算出された相対位置関係に基づいて、警報出力判断部８０が警報出力の必要性を判断し、警報出力判断部８０が、警報出力が必要であると判断したときに警報出力部９０が警報を出力するため、精度の高い警報出力が可能な、車両用外界認識装置を用いた車両システムを提供することができる。

なお、本実施例では、識別された車両の位置に基づいて、識別された車両に衝突する可能性があるときに警報を出力する衝突警報装置を例にあげて説明したが、これは、衝突警報装置に限らず、より積極的に自車両１０の挙動を制御するシステムにも適用することができる。

すなわち、図１の構成に、さらに、自車両１０と先行車両の車間距離を測定する車間距離計測部（車両挙動制御部）を付加して、この車間距離計測部によって計測された自車両１０と先行車両の車間距離を維持するように自車両１０の車速を制御するＡＣＣシステムを実現することもできる。また、識別された車両の位置に基づいて、衝突の可能性がある場合に、自車両１０に制動をかける制動アクチュエータを作動させて、自車両１０を減速させる自動ブレーキシステムを実現することもできる。

また、本実施例では、カメラ１００（撮像部）は自車両１０前方の画像を撮像して車両の識別を行ったが、これは、自車両１０前方の画像に限定されるものではない。すなわち、カメラ１００（撮像部）で自車両１０の後方の画像を撮像して、自車両１０が後退する際に、自車両１０の後方にある車両を識別して、識別された車両と衝突する可能性があるときに警報を出力する構成とすることも可能である。さらに、カメラ１００（撮像部）で自車両１０の後側方の画像を撮像して、撮像された画像の中から車両を識別して、自車両１０が車線変更を行う際に、識別された車両と衝突する可能性があるときに、警報を出力する構成とすることも可能である。

さらに、本実施例では、学習アルゴリズムに基づいて予め設計された識別器によって構成される第１車両識別部４２０と第２車両識別部４３０によって、車両の識別を行うと説明したが、その具体的な構成例は、特に限定されるものではなく、例えばニューラルネットワークを用いて実現してもよいし、サポートベクターマシン（ＳＶＭ）識別器、ＮＮ（ニアレストネイバー）識別器、ベイズ識別器などを用いて実現してもよい。

また、本実施例では、第１特徴量としてＨＯＧ特徴量を利用したが、これは、ＨＯＧ特徴量に限定されるものではない。すなわち、撮像された画像Ｉ（ｘ,ｙ）の中の濃度勾配に基づく特徴量であれば、ＨＯＧ特徴量に代えて使用することができる。例えば、隣接する矩形領域間の輝度差を求めて、それを特徴量として用いるＨａａｒ ｌｉｋｅ特徴量や、近傍領域の輝度分布を濃度勾配として捉え、大きさや回転に不変な特徴を得ることができるＳＩＦＴ特徴量などを用いてもよい。

次に、本発明に係る車両用外界認識装置を用いた車両システムの第２の実施例について、車載されたカメラで車両前方を監視して、自車両に接触する可能性のある車両が識別されたときに警報を出力する車両用外界認識装置を用いた衝突警報装置を例にあげて説明する。

まず、図９を用いて装置の構成を説明する。本実施例２に係る衝突警報装置５２は、図示しない自車両１０に設置され、自車両１０前方の画像を撮像するカメラ１００（撮像部）と、自車両１０以外の車両を識別する車両用外界認識装置６２と、車両が識別されたときに、自車両１０から、識別された車両までの方向と距離を算出する車両相対位置算出部７０と、衝突の可能性を判断する警報出力判断部８０と、衝突の可能性が所定値以上であるときに警報を出力する警報出力部９０を備えている。

ここで、車両用外界認識装置６２は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、具体的には、一定周期で、カメラ１００（撮像部）で撮像された画像を取り込む画像取得部１５０と、撮像した画像の中から車両の候補領域を検出する車両候補領域抽出部２００と、車両候補領域の中から車両らしさを表す特徴量を算出する特徴量算出部３５０と、車両候補領域が車両を表すか否かを判定する車両判定部４５０を備えている。なお、車両用外界認識装置６２には、所定の処理がプログラミングされて、予め定められた周期で繰り返し処理を実行するようになっている。

車両候補領域抽出部２００は、さらに、縦エッジを構成する画素の位置を検出する縦エッジ検出部２１０と、縦エッジ検出部２１０で検出された縦エッジを構成する画素の左右方向の間隔を算出する縦エッジ間隔算出部２２０と、縦エッジ間隔算出部２２０で算出された縦エッジの左右方向の間隔（ｗ）と、左右の縦エッジの中央の位置（ｘ）をｘｗ空間に投票して、この投票の結果、ピークを有する点（ｘ，ｗ）を検出して車両候補領域とするｘｗ空間生成部２３０と、車両候補領域を設定する車両候補領域設定部２４０からなる。

特徴量算出部３５０は、さらに、ヒストグラムに基づいた勾配情報に関するＨＯＧ(Histogram of Oriented Gradients）特徴量（第１特徴量）を算出するＨＯＧ特徴量算出部３１０（第１特徴量算出部）と、ヒストグラムに基づいたオプティカルフローに関するＨＯＦ(Histogram of Optical Flow）特徴量（第２特徴量）を算出するＨＯＦ特徴量算出部３２０（第２特徴量算出部）と、ＨＯＧ特徴量算出部３１０で算出されたＨＯＧ特徴量を取得して、その大きさを判定し、ＨＯＧ特徴量の大きさが所定の値に満たないときには、ＨＯＦ特徴量算出部３２０に対してＨＯＦ特徴量の算出を指示し、算出されたＨＯＦ特徴量を取得して、その大きさを判定する特徴量判定部３３０からなる。

なお、特徴量算出部３５０の詳細な構成を、図１０に示す。このうち、ＨＯＧ特徴量算出部３１０とＨＯＦ特徴量算出部３２０の詳細構成は、図２に示した通りであるため、説明は省略する。そして、特徴量判定部３３０は、さらに、ＨＯＧ特徴量算出部３１０で算出されたＨＯＧ特徴量の大きさを判定するＨＯＧ特徴量判定部３３２と、ＨＯＦ特徴量算出部３２０に対して、ＨＯＦ特徴量の算出を指示するＨＯＦ特徴量算出指示部３３４と、ＨＯＦ特徴量算出部３２０で算出されたＨＯＦ特徴量の大きさを判定するＨＯＦ特徴量判定部３３６からなる。

そして、車両判定部４５０は、さらに、ＨＯＧ特徴量に基づいて車両の識別を行う第１車両識別部４２０と、ＨＯＦ特徴量に基づいて車両の識別を行う第２車両識別部４３０からなる。ここで、第１車両識別部４２０と第２車両識別部４３０は、実施例１で説明した通り、学習アルゴリズムに基づいて設計された識別器によって構成されている。

以下、本実施形態に係る衝突警報装置５２の作用について、図１１のフローチャートに基づいて説明する。なお、実施例１で説明した処理と同様の処理を行う箇所については、再説明を省略する。したがって、本実施例２の作用説明が省略されている箇所は、実施例１で説明した内容に従うものとする。

図１１のフローチャートに基づいて、衝突警報装置５２の作用を説明する。ステップＳ２００において、カメラ１００（撮像部）によって、自車両１０前方の画像を撮像する。撮像された画像をＩ（ｘ，ｙ）とし、０≦ｘ≦ｍ−１、０≦ｙ≦ｎ−１とする。撮像された画像Ｉ（ｘ，ｙ）は、画像取得部１５０によって、車両用外界認識装置６２に取り込まれる。

次に、ステップＳ２１０において、車両候補領域抽出部２００の作用によって、画像Ｉ（ｘ，ｙ）の中から、車両候補領域が抽出される。なお、ステップＳ２１０の中で行われる処理の詳細は、実施例１で説明した内容と同様であるため、説明は省略する。

さらに、ステップＳ２２０において、特徴量算出部３５０の作用によって、ステップＳ２１０で抽出された車両候補領域の内部において、画像の濃度勾配に基づくＨＯＧ特徴量（第１特徴量）が算出される。なお、ステップＳ２２０の中で行われる処理の詳細は、実施例１の中で、図５に基づいて説明したステップＳ１４１からステップＳ１４３と同様であるため、説明は省略する。そして、このステップＳ２２０の処理によって、ＨＯＧ特徴量として、勾配ヒストグラムＨ（ｄ）が作成されて、ノルムＮ_ＧとエントロピーＥ_Ｇが算出される。

その後、ステップＳ２３０において、特徴量判定部３３０の作用によって、ステップＳ２２０で算出されたＨＯＧ特徴量である、ノルムＮ_ＧとエントロピーＥ_Ｇの大きさが判定される。具体的には、ＨＯＧ特徴量判定部３３２において、ノルムＮ_Ｇの大きさが、予め設定された所定値Ｎ_Ｇｔｈよりも大きく、かつエントロピーＥ_Ｇの大きさが、予め設定された所定値Ｅ_Ｇｔｈよりも大きいときには、ステップＳ２４０に進む。

一方、ノルムＮ_Ｇの大きさとエントロピーＥ_Ｇの大きさが、前記条件を満たさないときは、ＨＯＦ特徴量算出指示部３３４からＨＯＦ特徴量算出部３２０に対してＨＯＦ特徴量の算出が指示され、ＨＯＦ特徴量算出部３２０において、ステップＳ２１０で抽出された車両候補領域の内部において、画像の動きに基づくＨＯＦ特徴量（第２特徴量）が算出される。なお、ＨＯＦ特徴量の算出処理は、実施例１の中で図５に基づいて説明したステップＳ１４４からステップＳ１４６と同様であるため、説明は省略する。そして、この処理によって、ＨＯＦ特徴量として、オプティカルフローのヒストグラムＨ（Ｆ_ｄ）が作成されて、ノルムＮ_ｄとエントロピーＥ_ｄが算出される。

次に、ステップＳ２３４において、特徴量判定部３３０の作用によって、ＨＯＦ特徴量である、ノルムＮ_ｄとエントロピーＥ_ｄの大きさが判定される。具体的には、ＨＯＦ特徴量判定部３３６において、ノルムＮ_ｄの大きさが、予め設定された所定値Ｎ_ｄｔｈよりも大きく、かつ エントロピーＥ_ｄの大きさが、予め設定された所定値Ｅ_ｄｔｈよりも大きいときには、ステップＳ２５０に進む。

一方、ノルムＮ_ｄの大きさとエントロピーＥ_ｄの大きさが、前記条件を満たさないときは、車両候補領域に車両はないと判定されて、図１０の処理を終了する。

ステップＳ２３０において、ＨＯＧ特徴量である、ノルムＮ_ＧとエントロピーＥ_Ｇの大きさが、ともに所定値よりも大きいと判定されたときは、ステップＳ２４０において、第１車両識別部４２０の作用によって車両の識別が行われる。この識別処理は、ＨＯＧ特徴量算出部３１０（第１特徴量算出部）において作成された複数の勾配ヒストグラムＨ（ｄ）を正規化して算出した、車両候補領域のサイズと部分領域のサイズに応じた次元数を有するＨＯＧ特徴量を第１車両識別部４２０に入力することによって行われる。そして、車両候補領域が車両を表すか否かが判定されて、ステップＳ２６０に進む。

さらに、ステップＳ２３４において、ＨＯＦ特徴量である、ノルムＮ_ｄとエントロピーＥ_ｄの大きさが、ともに所定値よりも大きいと判定されたときは、ステップＳ２５０において、第２車両識別部４３０の作用によって車両の識別が行われる。この識別処理は、ＨＯＦ特徴量算出部３２０（第２特徴量算出部）において作成された複数のオプティカルフローのヒストグラムＨ（Ｆ_ｄ）を正規化して算出した、車両候補領域のサイズと部分領域のサイズに応じた次元数を有するＨＯＦ特徴量を第２車両識別部４３０に入力することによって行われる。そして、車両候補領域が車両を表すか否かが判定されて、ステップＳ２６０に進む。

次に、ステップＳ２６０において、車両相対位置算出部７０の作用によって、自車両１０と、ステップＳ２４０またはステップＳ２５０で識別された車両の相対位置関係が算出される。具体的には、まず、画像Ｉ（ｘ，ｙ）の中の識別された車両の下端の位置ｙと、カメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、自車両１０から、識別された車両までのおおよその距離を求める。次に、画像Ｉ（ｘ，ｙ）の中の識別された車両の左右方向の位置ｘと、カメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、識別された車両のおおよその方向を求める。そして、警報出力判断部８０の作用によって、識別された車両までの距離と方向、および、自車両１０の速度と進行方向に基づいて、警報出力が必要か否かが判断される。

そして、警報出力が必要であると判断されると、ステップＳ２６２において、警報出力部９０から警報が出力される。

以上説明したように、このように構成された本発明の車両用外界認識装置６２を用いた衝突警報装置５２によれば、カメラ１００（撮像部）で撮像された自車両１０前方の画像の中から、第１特徴量算出部３１０が濃度勾配に基づく第１特徴量である勾配ヒストグラムＨ（ｄ）とノルムＮ_Ｇ、エントロピーＥ_Ｇを算出して、算出された第１特徴量であるＮ_Ｇ、Ｅ_Ｇが所定値よりも大きいときには、第１車両識別部４２０において、第１特徴量であるＨ（ｄ）に基づいて算出したＨＯＧ特徴量を用いて車両の識別を行い、その識別結果に基づいて車両の有無が判定されて、一方、算出された第１特徴量であるＮ_Ｇ、Ｅ_Ｇが所定値よりも小さいときには、第２特徴量算出部３２０がオプティカルフローに基づく第２特徴量であるオプティカルフローのヒストグラムＨ（Ｆ_ｄ）とノルムＮ_ｄ、エントロピーＥ_ｄを算出して、算出された第２特徴量であるＮ_ｄ、Ｅ_ｄが所定値よりも大きいときには、第２車両識別部４３０において、第２特徴量であるＨ（Ｆ_ｄ）に基づいて算出したＨＯＦ特徴量を用いて車両の識別を行い、その識別結果に基づいて車両の有無が判定されるため、第１特徴量であるＨ（ｄ）、Ｎ_Ｇ、Ｅ_Ｇ、および第２特徴量であるＨ（Ｆ_ｄ）、Ｎ_ｄ、Ｅ_ｄを、必ずしも全て算出しなくても車両の有無を判定することができるため、処理の負荷が小さい車両用外界認識装置を提供することができる。

なお、図６では、第１車両識別部４２０と第２車両識別部４３０でともに識別処理を行った後で、第１信頼度Ｒ_１と第２信頼度Ｒ_２の大きさに基づいて、車両の識別結果を選択する構成としたが、その限りではなく、先に第１信頼度Ｒ_１と第２信頼度Ｒ_２の大きさを評価して、その評価結果に基づいて、第１車両識別部４２０、もしくは第２車両識別部４３０において識別処理を行う構成としてもよい。このような処理構成にすることによって、第１車両識別部４２０と第２車両識別部４３０の両方で識別処理を行う必要がなく、信頼度算出部４１０で算出された第１信頼度Ｒ_１と第２信頼度Ｒ_２の大きさに基づいて、第１車両識別部４２０と第２車両識別部４３０のいずれか一方の識別器が選択されて識別処理を行うため、識別処理を効率的に実行することができる。

次に、本発明に係る車両用外界認識装置を用いた車両システムの第３の実施例について、車載されたカメラで車両前方を監視して、自車両に接触する可能性のある車両が識別されたときに警報を出力する車両用外界認識装置を用いた衝突警報装置を例にあげて説明する。

まず、図１２を用いて装置の構成を説明する。本実施例２に係る衝突警報装置５４は、図示しない自車両１０に設置され、自車両１０前方の画像を撮像するカメラ１００（撮像部）と、自車両１０以外の車両を識別する車両用外界認識装置６４と、車両が識別されたときに、自車両１０から識別された車両までの方向と距離を算出する車両相対位置算出部７０と、衝突の可能性を判断する警報出力判断部８０と、衝突の可能性が所定値以上であるときに警報を出力する警報出力部９０を備えている。

ここで、車両用外界認識装置６４は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、具体的には、一定周期で、カメラ１００（撮像部）で撮像された画像を取り込む画像取得部１５０と、撮像した画像の中から車両の候補領域を検出する車両候補領域抽出部２００と、車両候補領域の中から車両らしさを表す特徴量を算出する特徴量算出部３７０と、車両候補領域が車両を表すか否かを判定する車両判定部４５０を備えている。なお、車両用外界認識装置６４には、所定の処理がプログラミングされて、予め定められた周期で繰り返し処理を実行するようになっている。

車両候補領域抽出部２００は、さらに、縦エッジを構成する画素の位置を検出する縦エッジ検出部２１０と、縦エッジ検出部２１０で検出された縦エッジを構成する画素の左右方向の間隔を算出する縦エッジ間隔算出部２２０と、縦エッジ間隔算出部２２０で算出された縦エッジの左右方向の間隔（ｗ）と、左右の縦エッジの中央の位置（ｘ）をｘｗ空間に投票して、この投票の結果、ピークを有する点（ｘ，ｗ）を検出して車両候補領域とするｘｗ空間生成部２３０と、車両候補領域を設定する車両候補領域設定部２４０からなる。

特徴量算出部３７０は、さらに、自車両１０の車速を計測して、所定値以上の車速が出ているか否かを判定する車速判定部３０５（車両挙動検出部）と、ヒストグラムに基づいた勾配情報に関するＨＯＧ(Histogram of Oriented Gradients）特徴量（第１特徴量）を算出するＨＯＧ特徴量算出部３１０（第１特徴量算出部）と、ヒストグラムに基づいたオプティカルフローに関するＨＯＦ(Histogram of Optical Flow）特徴量（第２特徴量）を算出するＨＯＦ特徴量算出部３２０（第２特徴量算出部）と、ＨＯＧ特徴量算出部３１０で算出されたＨＯＧ特徴量、もしくはＨＯＦ特徴量算出部３２０で算出されたＨＯＦ特徴量の大きさを判定する特徴量判定部３４０からなる。

なお、特徴量算出部３７０の詳細な構成を、図１３に示す。このうち、ＨＯＧ特徴量算出部３１０とＨＯＦ特徴量算出部３２０の詳細構成は、図２に示した通りであるため、説明は省略する。そして、特徴量判定部３４０は、さらに、ＨＯＧ特徴量算出部３１０で算出されたＨＯＧ特徴量の大きさを判定するＨＯＧ特徴量判定部３４２と、ＨＯＦ特徴量算出部３２０で算出されたＨＯＦ特徴量の大きさを判定するＨＯＦ特徴量判定部３４４からなる。

そして、車両判定部４５０は、さらに、ＨＯＧ特徴量に基づいて車両の識別を行う第１車両識別部４２０と、ＨＯＦ特徴量に基づいて車両の識別を行う第２車両識別部４３０からなる。ここで、第１車両識別部４２０と第２車両識別部４３０は、実施例１で説明した通り、学習アルゴリズムに基づいて予め設計された識別器によって構成されている。

以下、本実施形態に係る衝突警報装置５４の作用について、図１４のフローチャートに基づいて説明する。なお、実施例１で説明した処理と同様の処理を行う箇所については、再説明を省略する。したがって、本実施例３の作用説明が省略されている箇所は、実施例１で説明した内容に従うものとする。

図１４のフローチャートに基づいて、衝突警報装置５４の作用を説明する。ステップＳ３００において、カメラ１００（撮像部）によって、自車両１０前方の画像を撮像する。撮像された画像をＩ（ｘ，ｙ）とし、０≦ｘ≦ｍ−１、０≦ｙ≦ｎ−１とする。撮像された画像Ｉ（ｘ，ｙ）は、画像取得部１５０によって、車両用外界認識装置６４に取り込まれる。

次に、ステップＳ３１０において、車両候補領域抽出部２００の作用によって、画像Ｉ（ｘ，ｙ）の中から、車両候補領域が抽出される。なお、ステップＳ３１０の中で行われる処理の詳細は、実施例１で説明した内容と同様であるため、説明は省略する。

そして、ステップＳ３２０において、一連の処理の流れを制御するために設定した定数ｋに０をセットした後、ステップＳ３３０において、車速判定部３０５（車両挙動検出部）の作用によって、自車両１０の車速ｖが計測されて、計測された車速ｖが所定値ｖ_ｔｈ以上であるか否かが判定される。車速ｖが所定値ｖ_ｔｈ以上であるときは、ステップＳ３４０に進み、一方、車速ｖが所定値ｖ_ｔｈよりも小さいときは、ステップＳ３９０に進む。

ステップＳ３４０において、特徴量算出部３７０の作用によって、ステップＳ３１０で抽出された車両候補領域の内部に対して、ＨＯＦ特徴量算出部３２０において、画像のオプティカルフローに基づくＨＯＦ特徴量（第２特徴量）が算出される。ここでＨＯＦ特徴量の算出を行うのは、自車両１０の車速ｖが所定値ｖ_ｔｈよりも大きいときは、撮像された画像の中の動きの特徴が大きくなることが予想されるためである。なお、ＨＯＦ特徴量の算出処理は、実施例１の中で、図５に基づいて説明したステップＳ１４４からステップＳ１４６と同様であるため、説明は省略する。そして、このステップＳ３４０の処理によって、オプティカルフローのヒストグラムＨ（Ｆ_ｄ）が作成され、ノルムＮ_ｄとエントロピーＥ_ｄが算出されて、ステップＳ３５０に進む。

一方、ステップＳ３３０において、計測された車速ｖが所定値ｖ_ｔｈよりも小さいときは、ステップＳ３９０に進み、特徴量算出部３７０の作用によって、ステップＳ３１０で抽出された車両候補領域の内部に対して、ＨＯＧ特徴量算出部３１０において、画像の濃度勾配に基づくＨＯＧ特徴量（第１特徴量）が算出される。ここでＨＯＧ特徴量の算出を行うのは、自車両１０の車速ｖが所定値ｖ_ｔｈよりも小さいときは、撮像された画像の中の動きの特徴が小さくなることが予想されるためである。なお、ＨＯＧ特徴量の算出処理は、実施例１の中で、図５に基づいて説明したステップＳ１４１からステップＳ１４３と同様であるため、説明は省略する。そして、この処理によって、勾配ヒストグラムＨ（ｄ）が作成され、ノルムＮ_ＧとエントロピーＥ_Ｇが算出されて、ステップＳ４００に進む。

ステップＳ３４０の処理の後、ステップＳ３５０において、特徴量判定部３４０の作用によって、ステップＳ３４０で算出されたＨＯＦ特徴量であるノルムＮ_ｄとエントロピーＥ_ｄの大きさが判定される。具体的には、ＨＯＦ特徴量判定部３４４において、ノルムＮ_ｄの大きさが、予め設定された所定値Ｎ_ｄｔｈよりも大きく、かつエントロピーＥ_ｄの大きさが、予め設定された所定値Ｅ_ｄｔｈよりも大きいときには、ステップＳ３６０に進む。

一方、ステップＳ３５０において、ノルムＮ_ｄの大きさとエントロピーＥ_ｄの大きさが、前記条件を満たさないときは、ステップＳ３７０において、定数ｋの値が１であるか否かが確認される。もしｋ＝１であるときは、ＨＯＧ特徴量であるノルムＮ_ＧとエントロピーＥ_Ｇの大きさ、およびＨＯＦ特徴量であるノルムＮ_ｄとエントロピーＥ_ｄの大きさがともに小さい値であるため、車両候補領域には車両がないと判定されて、図１４のＡに進んで、処理を終了する。

もし、ステップＳ３７０において、定数ｋの値が１でないときは、ステップＳ３８０において定数ｋが１に設定され、図１４のＢ（ステップＳ３９０）に進む。これは、自車両１０が所定値ｖ_ｔｈ以上の車速で走行しているときであっても、撮像された画像の中に写っている車両が自車両１０とほぼ等しい車速で走行しているときは、必ずしも車両の動きが大きくならないためである。このようなときは、ノルムＮ_ｄの大きさとエントロピーＥ_ｄの大きさが大きくならないため、ステップＳ３９０に進んで、取得した画像の濃度勾配に基づくＨＯＧ特徴量（第１特徴量）を算出する。

ステップＳ３５０からステップＳ３６０に進んだときは、第２車両識別部４３０の作用によって車両の識別が行われる。この識別処理は、ＨＯＦ特徴量算出部３２０（第２特徴量算出部）において作成された複数のオプティカルフローのヒストグラムＨ（Ｆ_ｄ）を正規化して算出した、車両候補領域のサイズと部分領域のサイズに応じた次元数を有するＨＯＦ特徴量を第２車両識別部４３０に入力することによって行われる。そして、車両候補領域が車両を表すか否かが判定されて、ステップＳ４４０に進む。

ステップＳ３９０の処理の後、ステップＳ４００において、特徴量判定部３４０の作用によって、ステップＳ３９０で算出されたＨＯＧ特徴量である、ノルムＮ_ＧとエントロピーＥ_Ｇの大きさが判定される。具体的には、ＨＯＧ特徴量判定部３４２において、ノルムＮ_Ｇの大きさが、予め設定された所定値Ｎ_Ｇｔｈよりも大きく、かつエントロピーＥ_Ｇの大きさが、予め設定された所定値Ｅ_Ｇｔｈよりも大きいときには、ステップＳ４１０に進む。

一方、ステップＳ４００において、ノルムＮ_Ｇの大きさとエントロピーＥ_Ｇの大きさが、前記条件を満たさないときは、ステップＳ４２０において、定数ｋの値が１であるか否かが確認される。もしｋ＝１であるときは、ＨＯＧ特徴量であるノルムＮ_ＧとエントロピーＥ_Ｇの大きさ、およびＨＯＦ特徴量であるノルムＮ_ｄとエントロピーＥ_ｄの大きさがともに小さい値であるため、車両候補領域には車両がないと判定されて、図１４のＡに進んで、処理を終了する。

もし、ステップＳ４２０において、定数ｋの値が１でないときは、ステップＳ４３０において定数ｋが１に設定され、図１４のＣ（ステップＳ３４０）に進む。これは、自車両１０が所定値ｖ_ｔｈよりも低い車速で走行しているときであっても、逆光や薄暮の状態であるときには、撮像した画像のコントラストが低く、ＨＯＧ特徴量であるノルムＮ_ＧとエントロピーＥ_Ｇが小さくなるためである。このようなときは、ステップＳ３４０に進んで、撮像した画像のオプティカルフローに基づくＨＯＦ特徴量（第２特徴量）を算出する。

ステップＳ４００からステップＳ４１０に進んだときは、第１車両識別部４２０の作用によって車両の識別が行われる。この識別処理は、ＨＯＧ特徴量算出部３１０（第１特徴量算出部）において作成された複数の勾配ヒストグラムＨ（ｄ）を正規化して算出した、車両候補領域のサイズと部分領域のサイズに応じた次元数を有するＨＯＧ特徴量を第１車両識別部４２０に入力することによって行われる。そして、車両候補領域が車両を表すか否かが判定されて、ステップＳ４４０に進む。

次に、ステップＳ４４０において、車両相対位置算出部７０の作用によって、自車両１０と、ステップＳ３６０またはステップＳ４１０で識別された車両との相対位置関係が算出される。具体的には、まず、画像Ｉ（ｘ，ｙ）の中の識別された車両の下端の位置ｙと、自車両１０に取り付けられたカメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、自車両１０から、識別された車両までのおおよその距離を求める。次に、画像Ｉ（ｘ，ｙ）の中の識別された車両の左右方向の位置ｘと、カメラ１００（撮像部）の取り付け位置、取り付け方向に基づいて、識別された車両のおおよその方向を求める。そして、警報出力判断部８０の作用によって、識別された車両までの距離と方向、および、自車両１０の速度と進行方向に基づいて、警報出力が必要か否かが判断される。

そして、警報出力が必要であると判定されると、ステップＳ４５０において、警報出力部９０から警報が出力される。

以上説明したように、このように構成された本発明の車両用外界認識装置６４を用いた衝突警報装置５４によれば、カメラ１００（撮像部）で撮像された自車両１０の前方の画像の中から、車速判定部３０５（車両挙動算出部）の算出結果に応じて、ＨＯＧ特徴量算出部３１０（第１特徴量算出部）が濃度勾配に基づく第１特徴量である勾配ヒストグラムＨ（ｄ）とノルムＮ_Ｇ、エントロピーＥ_Ｇを算出して、算出された第１特徴量であるＮ_Ｇ、Ｅ_Ｇが所定値よりも大きいときには、第１車両識別部４２０において、第１特徴量であるＨ（ｄ）に基づいて算出したＨＯＧ特徴量を用いて車両の識別を行い、その識別結果に基づいて車両の有無を判定し、一方、算出された第１特徴量であるＮ_Ｇ、Ｅ_Ｇが所定値よりも小さいときには、ＨＯＦ特徴量算出部３２０（第２特徴量算出部）がオプティカルフローに基づく第２特徴量であるオプティカルフローのヒストグラムＨ（Ｆ_ｄ）とノルムＮ_ｄ、エントロピーＥ_ｄを算出して、算出された第２特徴量であるＮ_ｄ、Ｅ_ｄが所定値よりも大きいときには、第２車両識別部４３０において、第２特徴量であるＨ（Ｆ_ｄ）に基づいて算出したＨＯＦ特徴量を用いて車両の識別を行い、その識別結果に基づいて車両の有無を判定する処理と、ＨＯＦ特徴量算出部３２０（第２特徴量算出部）がオプティカルフローに基づく第２特徴量であるＨ（Ｆ_ｄ）とＮ_ｄ、Ｅ_ｄを算出して、算出された第２特徴量であるＮ_ｄ、Ｅ_ｄが所定値よりも大きいときには、第２車両識別部４３０において、第２特徴量であるＨ（Ｆ_ｄ）に基づいて算出したＨＯＦ特徴量を用いて車両の識別を行い、その識別結果に基づいて車両の有無を判定し、一方、算出された第２特徴量であるＮ_ｄ、Ｅ_ｄが所定値よりも小さいときには、ＨＯＧ特徴量算出部３１０（第１特徴量算出部）が濃度勾配に基づく第１特徴量であるＨ（ｄ）とＮ_Ｇ、Ｅ_Ｇを算出して、算出された第１特徴量であるＮ_Ｇ、Ｅ_Ｇが所定値よりも大きいときには、第１車両識別部４２０において、第１特徴量であるＨ（ｄ）に基づいて算出したＨＯＧ特徴量を用いて車両の識別を行い、その識別結果に基づいて車両の有無を判定する処理と、を切り換えるため、第１特徴量であるＨ（ｄ）、Ｎ_Ｇ、Ｅ_Ｇ、および第２特徴量であるＨ（Ｆ_ｄ）、Ｎ_ｄ、Ｅ_ｄを、必ずしも全て算出しなくても車両の有無を判定することができるため、処理の負荷が小さい車両用外界認識装置を提供することができる。特に、車両挙動算出部の算出結果に応じて、算出する特徴量を切り換えることによって、処理の負荷をより一層低減することができる。

以上、本発明の実施例１、実施例２、実施例３を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

５０ 衝突警報装置
６０ 車両用外界認識装置
７０ 車両相対位置算出部
８０ 警報出力判断部
９０ 警報出力部
１００ カメラ（撮像部）
１５０ 画像取得部
２００ 車両候補領域抽出部
２１０ 縦エッジ検出部
２２０ 縦エッジ間隔算出部
２３０ ｘｗ空間生成部
２４０ 車両候補領域設定部
３００ 特徴量算出部
３１０ ＨＯＧ特徴量算出部（第１特徴量算出部）
３２０ ＨＯＦ特徴量算出部（第２特徴量算出部）
４００ 車両判定部
４１０ 信頼度算出部
４２０ 第１車両識別部
４３０ 第２車両識別部
４４０ 判定部

Claims (8)

1. 自車両に搭載され、前記自車両の周辺を撮像する撮像部と、
   前記撮像部で撮像された画像の中から、濃度勾配に基づく第１特徴量を算出する第１特徴量算出部と、
   前記撮像部で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づく第２特徴量を算出する第２特徴量算出部と、
   前記濃度勾配が大きいほど高い第１信頼度を算出し、前記オプティカルフローが大きいほど高い第２信頼度を算出する信頼度算出部と、
   前記第１特徴量に基づいて車両の識別を行う第１車両識別部と、
   前記第２特徴量に基づいて車両の識別を行う第２車両識別部と、
   前記第１車両識別部における識別結果と、前記第２車両識別部における識別結果と、前記第１信頼度と、前記第２信頼度と、に基づいて車両の有無を判定する車両判定部と、
   を有することを特徴とする車両用外界認識装置。
2. 前記車両判定部は、
   前記第１信頼度が第１所定値よりも高いときは、前記第１車両識別部の識別結果に基づいて車両の有無の判定を行い、
   前記第１信頼度が第１所定値よりも低く、かつ前記第２信頼度が第２所定値よりも高いときは、前記第２車両識別部の識別結果に基づいて車両の有無の判定を行い、
   前記第１信頼度が第１所定値よりも低く、かつ前記第２信頼度が第２所定値よりも低いときは、車両なしと判定することを特徴とする請求項１に記載の車両用外界認識装置。
3. 自車両に搭載され、前記自車両の周辺を撮像する撮像部と、
   前記撮像部で撮像された画像の中から、濃度勾配に基づく第１特徴量を算出する第１特徴量算出部と、
   前記撮像部で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づく第２特徴量を算出する第２特徴量算出部と、
   前記第１特徴量に基づいて車両の識別を行う第１車両識別部と、
   前記第２特徴量に基づいて車両の識別を行う第２車両識別部と、を有し、前記第１特徴量が所定値よりも大きいときは、前記第１車両識別部における識別結果に基づいて車両の有無を判定し、前記第１特徴量が所定値よりも小さいときは、前記第２車両識別部における識別結果に基づいて車両の有無を判定することを特徴とする車両用外界認識装置。
4. 自車両に搭載され、前記自車両の周辺を撮像する撮像部と、
   前記撮像部で撮像された画像の中から、濃度勾配に基づく第１特徴量を算出する第１特徴量算出部と、
   前記撮像部で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づく第２特徴量を算出する第２特徴量算出部と、
   前記第１特徴量に基づいて車両の識別を行う第１車両識別部と、
   前記第２特徴量に基づいて車両の識別を行う第２車両識別部と、を有し、前記第２特徴量が所定値よりも大きいときは、前記第２車両識別部における識別結果に基づいて車両の有無を判定し、前記第２特徴量が所定値よりも小さいときは、前記第１車両識別部における識別結果に基づいて車両の有無を判定することを特徴とする車両用外界認識装置。
5. 自車両に搭載され、前記自車両の周辺を撮像する撮像部と、
   前記撮像部で撮像された画像の中から、濃度勾配に基づく第１特徴量を算出する第１特徴量算出部と、
   前記撮像部で異なる時刻に撮像された複数の画像の中から、オプティカルフローに基づく第２特徴量を算出する第２特徴量算出部と、
   前記濃度勾配が大きいほど高い第１信頼度を算出し、前記オプティカルフローが大きいほど高い第２信頼度を算出する信頼度算出部と、
   前記第１特徴量に基づいて車両の識別を行う第１車両識別部と、
   前記第２特徴量に基づいて車両の識別を行う第２車両識別部と、
   前記第１車両識別部における識別結果と、前記第２車両識別部における識別結果と、前記第１信頼度と、前記第２信頼度と、に基づいて車両の有無を判定する車両判定部と、
   自車両の挙動を検出する車両挙動検出部と、を有する車両用外界認識装置において、
   前記車両挙動検出部で検出された前記自車両の挙動に応じて、
   前記第１特徴量算出部において前記第１特徴量を算出して、前記第１特徴量が所定値よりも大きいときは、前記第１車両識別部において車両の識別を行って車両の有無を判定し、前記第１特徴量が所定値よりも小さいときは、前記第２特徴量算出部において前記第２特徴量を算出して、前記第２車両識別部において車両の識別を行って車両の有無を判定する処理と、
   前記第２特徴量算出部において前記第２特徴量を算出して、前記第２特徴量が所定値よりも大きいときは、前記第２車両識別部において車両の識別を行って車両の有無を判定し、前記第２特徴量が所定値よりも小さいときは、前記第１特徴量算出部において前記第１特徴量を算出して、前記第１車両識別部において車両の識別を行って車両の有無を判定する処理と、を切り換えて行うことを特徴とする車両用外界認識装置。
6. 前記車両挙動検出部が、前記自車両の車速を検出するものであり、
   前記車速が所定値よりも大きいときは、前記第２特徴量算出部において前記第２特徴量を算出して、前記第２特徴量が所定値よりも大きいときは、前記第２車両識別部において車両の識別を行って車両の有無を判定し、前記第２特徴量が所定値よりも小さいときは、前記第１特徴量算出部において前記第１特徴量を算出して、前記第１車両識別部において車両の識別を行って車両の有無を判定し、
   前記車速が所定値よりも小さいときは、前記第１特徴量算出部において前記第１特徴量を算出して、前記第１特徴量が所定値よりも大きいときは、前記第１車両識別部において車両の識別を行って車両の有無を判定し、前記第１特徴量が所定値よりも小さいときは、前記第２特徴量算出部において前記第２特徴量を算出し、前記第２車両識別部において車両の識別を行って車両の有無を判定することを特徴とする請求項５に記載の車両用外界認識装置。
7. 前記車両用外界認識装置によって識別された車両と前記自車両との位置関係を算出する車両相対位置算出部と、
   前記車両相対位置算出部の算出結果に基づいて、警報を出力する必要性を判断する警報出力判断部と、
   前記警報出力判断部において警報の出力が必要であると判断されたときに警報を出力する警報出力部と、を有することを特徴とする請求項１から６のいずれか１項に記載の車両用外界認識装置を用いた車両システム。
8. 前記車両用外界認識装置によって識別された車両と前記自車両との位置関係を算出する車両相対位置算出部と、
   前記車両相対位置算出部の算出結果に基づいて、前記自車両の挙動を制御する車両挙動制御部と、を有することを特徴とする請求項１から６のいずれか１項に記載の車両用外界認識装置を用いた車両システム。