JP3987057B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、赤外線画像の２値化処理により、対象物の抽出を行う車両周辺監視装置に関する。

従来、赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出する車両周辺監視装置がある。具体的に説明すると、この装置は赤外線画像を２値化処理して明部が集中している領域（２値化対象物）を探し、この２値化対象物の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、２値化対象物が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部を判定することができたら、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。このように、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる（例えば、特許文献１参照。）。
特開平１１−３２８３６４号公報

ところで、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、赤外線画像上から抽出した２値化対象物の形状が、必ずしも本来の対象物形状を表しているとは限らない。例えば、電柱の一部のみが２値化処理で抽出される場合が生じ、２値化された部位を歩行者の一部として認識してしまう可能性が生じるという問題がある。
従って、運転者に対するより効果的な視覚補助を行うには、特許文献１に記載の装置のように、身長相当の存在に基づく形状判定や頭部と胴部の存在に基づく形状判定、あるいは頭部のみによる形状判定等、比較的判別しやすい身体的特徴を用いて歩行者の抽出を行うだけでなく、２値化対象物から道路構造物等の人工構造物を抽出し、歩行者以外の対象物と歩行者とを区別して認識する必要がある。

本発明は、上記課題に鑑みてなされたもので、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、正確に車両周囲の対象物の認識を行う車両周辺監視装置を提供することを目的とする。

上記課題を解決するために、請求項１の発明に係る車両周辺監視装置は、左右方向に並べて設置された２つの赤外線撮像手段（例えば後述する実施例の赤外線カメラ２Ｒ、２Ｌ）により撮像された画像を利用して車両（例えば後述する実施例の自車両１０）周囲の対象物を抽出する車両周辺監視装置において、前記画像を２値化処理することにより２値化対象物を抽出する２値化対象物抽出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４からステップＳ７の処理）と、前記２値化対象物の上端部もしくは下端部の上方または下方の領域を抽出領域として設定する抽出領域設定手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４１からステップＳ４６の処理において基準パタンマスクを設定する処理）と、前記抽出領域の上方向または下方向または上下方向のいずれかに探索領域を設定する探索領域設定手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４１からステップＳ４６の処理において比較パタンマスクを設定する処理）と、前記抽出領域内の前記対象物と形状の類似する対象物が前記探索領域内に存在する場合に、前記探索領域内の該形状の類似する前記対象物を類似対象物として抽出する類似対象物抽出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４１からステップＳ４６の処理において平均相関残差値を算出する処理）と、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とが同一の対象物であるか否かを判断する同一対象物判断手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４１からステップＳ４６の処理において平均相関残差値を判定する処理）と、２つの前記赤外線撮像手段により撮像された２つの画像を利用して、該画像に含まれる前記対象物までの距離を算出する距離算出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ１３の処理）とを備え、前記同一対象物判断手段が、前記抽出領域内の前記対象物までの距離と前記探索領域内の前記類似対象物までの距離とが同一である場合に、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とを同一の対象物であると判断することを特徴とすることを特徴とする。

以上の構成を備えた車両周辺監視装置は、赤外線撮像手段により撮像された画像から２値化対象物抽出手段により２値化対象物を抽出し、抽出領域設定手段が、２値化対象物抽出手段により抽出された２値化対象物の上端部もしくは下端部の近傍の領域を抽出領域として設定する。そして、抽出領域設定手段により設定された抽出領域内の対象物と形状の類似する対象物が、探索領域設定手段により設定された抽出領域の周辺の探索領域内に存在する場合に、類似対象物抽出手段が、探索領域内の該形状の類似する対象物を類似対象物として抽出する。これにより、同一対象物判断手段が、抽出領域内の対象物と探索領域内の類似対象物とが同一の対象物であるか否かを判断することで、２値化対象物あるいはその上下方向の抽出領域内の対象物と探索領域内の対象物との形状が類似するような、同一形状の連続する対象物を認識することができる。

また、以上の構成を備えた車両周辺監視装置は、左右２つの画像の視差から対象物までの距離を算出する距離算出手段により算出された抽出領域内の対象物のまでの距離と、同様に距離算出手段により算出された探索領域内の類似対象物までの距離とが同一である場合に、同一対象物判断手段が、抽出領域内の対象物と探索領域内の類似対象物とを同一の対象物であると判断することで、抽出領域内の対象物と探索領域内の類似対象物とが同一の対象物であるか否かをより正確に判断することができる。

また、以上の構成を備えた車両周辺監視装置は、探索領域設定手段が探索領域を抽出領域の上方向または下方向または上下方向のいずれかに設定し、同一対象物判断手段が、抽出領域内の２値化対象物と、抽出領域の上方向または下方向または上下方向のいずれかに設定された探索領域内の類似対象物とが同一の対象物であるか否かを判断することで、抽出領域内の２値化対象物と、抽出領域の上方向または下方向または上下方向のいずれかに設定された探索領域内の２値化対象物とが類似するような、縦方向に同一形状の連続する対象物を認識することができる。

請求項２の発明に係る車両周辺監視装置は、請求項１に記載の車両周辺監視装置において、前記探索領域設定手段が、前記探索領域を同一方向に複数個設定し、前記同一対象物判断手段が、複数の前記探索領域の内の所定割合以上から、前記類似対象物抽出手段により前記類似対象物が抽出された場合に、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とを同一の対象物であると判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、探索領域設定手段が探索領域を抽出領域の周囲に複数個設定し、類似対象物抽出手段が類似対象物を抽出した結果、複数の探索領域の内の所定割合以上に類似対象物が抽出された場合に、同一対象物判断手段が、抽出領域内の対象物と、抽出領域の周囲に複数個設定された探索領域内の類似対象物とが同一の対象物であると判断することで、全ての探索領域に類似対象物が存在しなくても、抽出領域内の対象物と探索領域内の対象物との形状が類似するような、同一形状の連続する対象物を認識することができる。

請求項３の発明に係る車両周辺監視装置は、請求項１または請求項２に記載の車両周辺監視装置において、前記抽出領域設定手段が、前記抽出領域として、前記２値化対象物抽出手段により抽出された前記２値化対象物の左右の端部の横座標をそれぞれが含む左右の抽出領域を設定し、前記探索領域設定手段が、前記左右の抽出領域の周辺にそれぞれの探索領域を設定し、前記類似対象物抽出手段が、前記左の抽出領域内の前記対象物と形状の類似する対象物が前記左の抽出領域に対応する前記探索領域内にある場合、あるいは前記右の抽出領域内の前記対象物と形状の類似する対象物が前記右の抽出領域に対応する前記探索領域内にある場合に、前記探索領域内の該形状の類似する前記対象物を類似対象物として抽出し、前記同一対象物判断手段が、前記左の抽出領域内の前記対象物と前記左の抽出領域に対応する前記探索領域内の前記類似対象物とが同一の対象物であるか否か、あるいは前記右の抽出領域内の前記対象物と前記右の抽出領域に対応する前記探索領域内の前記類似対象物とが同一の対象物であるか否かを判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、抽出領域設定手段が、２値化対象物の上端部もしくは下端部の近傍の領域に、抽出領域として、２値化対象物の左右の端部に相当する位置をそれぞれが含んだ左右の抽出領域を設定する。そして、抽出領域設定手段により設定された左右の抽出領域内の対象物と形状の類似する対象物が、探索領域設定手段により設定された左右の抽出領域のそれぞれに対応する探索領域内に存在する場合に、類似対象物抽出手段が、探索領域内の該形状の類似する対象物を類似対象物として抽出する。これにより、同一対象物判断手段が、左右いずれかの抽出領域内の対象物とその抽出領域に対応する探索領域内の類似対象物とが同一の対象物であるか否かを判断することで、左右いずれかの抽出領域内の対象物とその抽出領域に対応する探索領域内の対象物との形状が類似するような、左右いずれかの端部の形状において同一形状の連続する対象物を認識することができる。

請求項４の発明に係る車両周辺監視装置は、請求項１から請求項３のいずれかに記載の車両周辺監視装置において、前記同一対象物判断手段により同一の対象物であると判断された前記対象物の存在する領域を除外して、残る領域に存在する前記２値化対象物から歩行者を認識する歩行者認識手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ３４の処理）を備えることを特徴とする。

以上の構成を備えた車両周辺監視装置は、歩行者認識手段が、同一対象物判断手段により同一の対象物であると判断された対象物の存在する領域を除外して、残る領域に存在する２値化対象物から歩行者を認識することで、歩行者にはあり得ない同一形状の連続する対象物を除外した残りの対象物から歩行者を認識することができる。

請求項５の発明に係る車両周辺監視装置は、請求項４に記載の車両周辺監視装置において、前記歩行者認識手段により認識された前記歩行者に関する警報を出力する警報出力手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ１９、Ｓ２０の処理）を備えることを特徴とする。

以上の構成を備えた車両周辺監視装置は、警報出力手段が歩行者認識手段により認識された歩行者に関する警報を出力することで、車両の運転者に車両周囲の歩行者の存在を通知することができる。

請求項６の発明に係る車両周辺監視装置は、左右方向に並べて設置された２つの赤外線撮像手段（例えば後述する実施例の赤外線カメラ２Ｒ、２Ｌ）により撮像された画像を利用して車両（例えば後述する実施例の自車両１０）周囲の対象物を抽出し、該対象物から歩行者を認識する車両周辺監視装置であって、前記画像を２値化処理することにより２値化対象物を抽出する２値化対象物抽出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４からステップＳ７の処理）と、前記２値化対象物抽出手段により抽出された前記２値化対象物から歩行者を認識する歩行者認識手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ３４の処理）と、前記歩行者認識手段により前記歩行者と認識された前記２値化対象物の上端部もしくは下端部の上方または下方の領域を抽出領域として設定する抽出領域設定手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４１からステップＳ４６の処理において基準パタンマスクを設定する処理）と、前記抽出領域の上方向または下方向または上下方向のいずれかに探索領域を設定する探索領域設定手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４１からステップＳ４６の処理において比較パタンマスクを設定する処理）と、前記抽出領域内の前記対象物と形状の類似する対象物が前記探索領域内にある場合に、前記探索領域内の該形状の類似する前記対象物を類似対象物として抽出する類似対象物抽出手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４１からステップＳ４６の処理において平均相関残差値を算出する処理）と、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とが同一の対象物であるか否かを判断する同一対象物判断手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ４１からステップＳ４６の処理において平均相関残差値を判定する処理）と、２つの前記赤外線撮像手段により撮像された２つの画像を利用して、該画像に含まれる前記対象物までの距離を算出する距離算出手段とを備え、前記同一対象物判断手段が、前記抽出領域内の前記対象物までの距離と前記探索領域内の前記類似対象物までの距離とが同一である場合に、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とを同一の対象物であると判断するを備えることを特徴とする。

以上の構成を備えた車両周辺監視装置は、赤外線撮像手段により撮像された画像から２値化対象物抽出手段により２値化対象物を抽出すると共に、歩行者認識手段が抽出された２値化対象物から歩行者を認識し、抽出領域設定手段が、歩行者認識手段により歩行者と認識された２値化対象物の上端部もしくは下端部の近傍の領域を抽出領域として設定する。そして、抽出領域設定手段により設定された抽出領域内の対象物と形状の類似する対象物が、探索領域設定手段により設定された抽出領域の周辺の探索領域内に存在する場合に、類似対象物抽出手段が、探索領域内の該形状の類似する対象物を類似対象物として抽出する。これにより、同一対象物判断手段が、抽出領域内の対象物と探索領域内の類似対象物とが同一の対象物であるか否かを判断することで、歩行者認識手段により歩行者と認識された対象物の中から、２値化対象物あるいはその上下方向の抽出領域内の対象物と探索領域内の対象物との形状が類似するような、同一形状の連続する対象物を認識することができる。

また、以上の構成を備えた車両周辺監視装置は、同一対象物判断手段が、左右２つの画像の視差から２値化対象物までの距離を算出する距離算出手段により算出された抽出領域内の対象物のまでの距離と、同様に距離算出手段により算出された探索領域内の類似対象物までの距離とが同一である場合に、抽出領域内の対象物と探索領域内の類似対象物とを同一の対象物であると判断することで、抽出領域内の対象物と探索領域内の類似対象物とが同一の対象物であるか否かをより正確に判断することができる。

また、以上の構成を備えた車両周辺監視装置は、探索領域設定手段が探索領域を抽出領域の上方向または下方向または上下方向のいずれかに設定し、同一対象物判断手段が、抽出領域内の２値化対象物と、抽出領域の上方向または下方向または上下方向のいずれかに設定された探索領域内の類似対象物とが同一の対象物であるか否かを判断することで、歩行者認識手段により歩行者と認識された対象物の中から、抽出領域内の２値化対象物と、抽出領域の上方向または下方向または上下方向のいずれかに設定された探索領域内の２値化対象物とが類似するような、縦方向に同一形状の連続する対象物を認識することができる。

請求項７の発明に係る車両周辺監視装置は、請求項６に記載の車両周辺監視装置において、前記探索領域設定手段が、前記探索領域を同一方向に複数個設定し、前記同一対象物判断手段が、複数の前記探索領域の内の所定割合以上から、前記類似対象物抽出手段により前記類似対象物が抽出された場合に、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とを同一の対象物であると判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、探索領域設定手段が探索領域を抽出領域の周囲に複数個設定し、類似対象物抽出手段が類似対象物を抽出した結果、複数の探索領域の内の所定割合以上に類似対象物が抽出された場合に、同一対象物判断手段が、抽出領域内の対象物と、抽出領域の周囲に複数個設定された探索領域内の類似対象物とが同一の対象物であると判断することで、全ての探索領域に類似対象物が存在しなくても、歩行者認識手段により歩行者と認識された対象物の中から、抽出領域内の対象物と探索領域内の対象物との形状が類似するような、同一形状の連続する対象物を認識することができる。

請求項８の発明に係る車両周辺監視装置は、請求項６または請求項７に記載の車両周辺監視装置において、前記抽出領域設定手段が、前記抽出領域として、前記歩行者認識手段により前記歩行者と認識された前記２値化対象物の左右の端部の横座標をそれぞれが含む左右の抽出領域を設定し、前記探索領域設定手段が、前記左右の抽出領域の周辺にそれぞれの探索領域を設定し、前記類似対象物抽出手段が、前記左の抽出領域内の前記対象物と形状の類似する対象物が、前記左の抽出領域に対応する前記探索領域内にある場合、あるいは前記右の抽出領域内の前記対象物と形状の類似する対象物が、前記右の抽出領域に対応する前記探索領域内にある場合に、前記探索領域内の該形状の類似する前記対象物を類似対象物として抽出し、前記同一対象物判断手段が、前記左の抽出領域内の前記対象物と前記左の抽出領域に対応する前記探索領域内の前記類似対象物とが同一の対象物であるか否か、あるいは前記右の抽出領域内の前記対象物と前記右の抽出領域に対応する前記探索領域内の前記類似対象物とが同一の対象物であるか否かを判断することを特徴とする。

以上の構成を備えた車両周辺監視装置は、抽出領域設定手段が、歩行者認識手段により歩行者と認識された２値化対象物の上端部もしくは下端部の近傍の領域に、抽出領域として、該２値化対象物の左右の端部に相当する位置をそれぞれが含んだ左右の抽出領域を設定する。そして、抽出領域設定手段により設定された左右の抽出領域内の対象物と形状の類似する対象物が、探索領域設定手段により設定された左右の抽出領域のそれぞれに対応する探索領域内に存在する場合に、類似対象物抽出手段が、探索領域内の該形状の類似する対象物を類似対象物として抽出する。これにより、同一対象物判断手段が、左右いずれかの抽出領域内の対象物とその抽出領域に対応する探索領域内の類似対象物とが同一の対象物であるか否かを判断することで、歩行者認識手段により歩行者と認識された対象物の中から、左右いずれかの抽出領域内の対象物とその抽出領域に対応する探索領域内の対象物との形状が類似するような、左右いずれかの端部の形状において同一形状の連続する対象物を認識することができる。

請求項９の発明に係る車両周辺監視装置は、請求項６から請求項８のいずれかに記載の車両周辺監視装置において、前記同一対象物判断手段により同一の対象物であると判断された前記対象物の存在する領域を除外して、残る領域に存在する前記歩行者に対して警報を出力する警報出力手段（例えば後述する実施例の画像処理ユニット１が実行するステップＳ１９、Ｓ２０の処理）を備えることを特徴とする。

以上の構成を備えた車両周辺監視装置は、警報出力手段が、歩行者認識手段により歩行者と認識された対象物の中から、同一対象物判断手段により認識された、歩行者にはあり得ない同一形状の連続する対象物を除外して、残る歩行者に関する警報を出力することで、車両の運転者に車両周囲の歩行者のみの存在を通知することができる。

請求項１に記載の車両周辺監視装置によれば、２値化対象物あるいはその上下方向の抽出領域内の対象物と探索領域内の対象物との形状が類似するような、同一形状の連続する対象物を認識することができる。
従って、同一形状が連続するような特徴は人工構造物でしかあり得ないので、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、車両周囲の対象物から正確かつ容易に人工構造物を抽出可能な車両周辺監視装置を実現することができるという効果が得られる。

また、抽出領域内の２値化対象物と探索領域内の類似対象物とが同一の対象物であるか否かをより正確に判断することができる。
従って、車両周囲の対象物から人工構造物を抽出する抽出精度を向上させることができるという効果が得られる。

さらに、抽出領域内の２値化対象物と、抽出領域の上方向または下方向または上下方向のいずれかに設定された探索領域内の２値化対象物とが類似するような、縦方向に同一形状の連続する対象物を認識することができる。
従って、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、車両周囲の対象物から、例えば電柱等の縦方向に同一形状の連続する人工構造物を正確かつ容易に抽出可能な車両周辺監視装置を実現することができるという効果が得られる。

請求項２に記載の車両周辺監視装置によれば、全ての探索領域に類似対象物が存在しなくても、抽出領域内の２値化対象物と探索領域内の２値化対象物とが類似するような、同一形状の連続する対象物を認識することができる。
従って、車両の走行状態や対象物周囲の状況に影響を受け、その全部が赤外線撮像手段により撮像されなかった対象物からも、同一形状の連続する人工構造物を正確かつ容易に抽出し、車両周囲の対象物から人工構造物を抽出する抽出精度を向上させることができるという効果が得られる。

請求項３に記載の車両周辺監視装置によれば、左右いずれかの抽出領域とその抽出領域に対応する探索領域との比較により、左右いずれかの抽出領域内の２値化対象物とその抽出領域に対応する探索領域内の２値化対象物とが類似するような、左右いずれかの端部の形状において同一形状の連続する対象物を認識することができる。
従って、車両の走行状態や対象物周囲の状況に影響を受け、その左右の一方しか赤外線撮像手段により撮像されなかった対象物からも、同一形状の連続する人工構造物を正確かつ容易に抽出し、車両周囲の対象物から人工構造物を抽出する抽出精度を向上させることができるという効果が得られる。

請求項４に記載の車両周辺監視装置によれば、同一形状の連続する対象物を除外した残りの対象物から歩行者を認識することができる。
従って、赤外線画像から抽出される不定形な２値化対象物を的確に判定すると共に、予め同一形状が連続するような人工構造物は除外し、残る車両周囲の対象物から正確かつ容易に歩行者を抽出可能な車両周辺監視装置を実現することができるという効果が得られる。

請求項５に記載の車両周辺監視装置によれば、車両の運転者に車両周囲の歩行者の存在を通知することができる。
従って、歩行者に対する注意を車両の運転者に促すことができるという効果が得られる。

請求項６に記載の車両周辺監視装置によれば、歩行者認識手段により歩行者と認識された対象物の中から、２値化対象物あるいはその上下方向の抽出領域内の対象物と探索領域内の対象物との形状が類似するような、同一形状の連続する対象物を認識することができる。
従って、同一形状が連続するような特徴は人工構造物でしかあり得ないので、赤外線画像から抽出される不定形な２値化対象物を判定して歩行者と認識した場合でも、その中から同一形状が連続するような人工構造物は除外し、車両周囲の対象物から正確かつ容易に歩行者を抽出可能な車両周辺監視装置を実現することができるという効果が得られる。

また、抽出領域内の２値化対象物と探索領域内の類似対象物とが同一の対象物であるか否かをより正確に判断することができる。
従って、車両周囲の対象物から歩行者を抽出する抽出精度を向上させることができるという効果が得られる。

さらに、歩行者認識手段により歩行者と認識された対象物の中から、抽出領域内の２値化対象物と、抽出領域の上方向または下方向または上下方向のいずれかに設定された探索領域内の２値化対象物とが類似するような、縦方向に同一形状の連続する対象物を認識することができる。
従って、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、車両周囲の対象物から例えば電柱等の縦方向に同一形状の連続する人工構造物を除外して、残る対象物から正確かつ容易に歩行者を抽出可能な車両周辺監視装置を実現することができるという効果が得られる。

請求項７に記載の車両周辺監視装置によれば、全ての探索領域に類似対象物が存在しなくても、歩行者認識手段により歩行者と認識された対象物の中から、抽出領域内の２値化対象物と探索領域内の２値化対象物とが類似するような、同一形状の連続する対象物を認識することができる。
従って、車両の走行状態や対象物周囲の状況に影響を受け、その全部が赤外線撮像手段により撮像されず、歩行者認識手段により歩行者と認識された対象物からも、同一形状の連続する人工構造物を除外して、残る対象物から正確かつ容易に歩行者を抽出し、車両周囲の対象物から歩行者を抽出する抽出精度を向上させることができるという効果が得られる。

請求項８に記載の車両周辺監視装置によれば、左右いずれかの抽出領域とその抽出領域に対応する探索領域との比較により、歩行者認識手段により歩行者と認識された対象物の中から、左右いずれかの抽出領域内の２値化対象物とその抽出領域に対応する探索領域内の２値化対象物とが類似するような、左右いずれかの端部の形状において同一形状の連続する対象物を認識することができる。
従って、車両の走行状態や対象物周囲の状況に影響を受け、その左右の一方しか赤外線撮像手段により撮像されず、歩行者認識手段により歩行者と認識された対象物からも、同一形状の連続する人工構造物を除外して、残る対象物から正確かつ容易に歩行者を抽出し、車両周囲の対象物から歩行者を抽出する抽出精度を向上させることができるという効果が得られる。

請求項９に記載の車両周辺監視装置によれば、同一形状の連続する対象物を除外して、車両の運転者に車両周囲の歩行者のみの存在を通知することができる。
従って、同一形状の連続する人工構造物に対する不必要な警報の出力を防止し、歩行者のみに対する注意を車両の運転者に促すことができるという効果が得られる。

以下、図面を参照して本発明の実施例について説明する。

（全体構成）
図１は、本発明の一実施例の車両周辺監視装置の構成を示すブロック図である。
図１において、符号１は、本実施例の車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号とから、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。

また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。

また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、画像表示装置７の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。

また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

次に、本実施例の動作について図面を参照して説明する。
（対象物検出・警報動作）
図３は、本実施例の車両周辺監視装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
図３において、まず画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度しきい値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。

次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
２値化対象物の抽出が完了したら、次に、抽出した２値化対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。

ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する（１を減算する）必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

２値化対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。

なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施例では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。

一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１３では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とし、この探索画像の外接四角形を対象枠という）を抽出する（ステップＳ１１）。

次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像Ｒ４を抽出する（ステップＳ１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。

ステップＳ１２の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１３）。
また、ステップＳ１０における回頭角θｒの算出と、ステップＳ１３における対象物との距離ｚの算出が完了したら、次に、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１４）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。

また、回頭角補正を終了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１５）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
次に、実空間座標に対する回頭角補正が完了したら、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。

次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１６）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。

また、ステップＳ１６において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１７）。なお、警報判定処理については、詳細を後述する。
ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１７において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報出力判定処理へ進む。

ステップＳ１８では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１８）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが加速度しきい値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。

また、加速度Ｇｓが加速度しきい値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１９の処理へ進み（ステップＳ１８のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１９）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２０）。
なお、加速度しきい値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。

（警報判定処理）
次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１７における警報判定処理について更に詳細に説明する。
図５は、本実施例の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。以下、図６に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。

図５において、まず、画像処理ユニット１は衝突判定処理を行う（ステップＳ３１）。衝突判定処理は、図６において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。

次に、ステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ステップＳ３１のＹＥＳ）、更に判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ステップＳ３２）。接近判定領域内か否かの判定処理は、図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。

更に、ステップＳ３２において、対象物が接近判定領域内に存在しない場合（ステップＳ３２のＮＯ）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ステップＳ３３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。

一方、ステップＳ３２において、対象物が接近判定領域内に存在している場合（ステップＳ３２のＹＥＳ）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ステップＳ３４）。歩行者判定処理は、対象物画像に身長相当の存在に基づく形状判定や頭部と胴部の存在に基づく形状判定、あるいは頭部のみによる形状判定等を実行し、対象物画像に歩行者の特徴的な身体的特徴が検出された場合、該対象物を歩行者と判定し、警報の対象とする処理である。

また、ステップＳ３４において、対象物は歩行者の可能性があると判定された場合（ステップＳ３４のＹＥＳ）、歩行者の可能性があると判定された対象物から、例えば電柱のようにグレースケール画像上での形状が歩行者によく似た人工構造物を除外し、更に歩行者判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ステップＳ３５）。なお、人工構造物判定処理については、詳細を後述する。

従って、上述のステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ステップＳ３３のＹＥＳ）、及びステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ステップＳ３５のＮＯ）、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がある（警報の対象である）と判定し（ステップＳ３６）、図３に示すステップＳ１７のＹＥＳとしてステップＳ１８へ進み、警報出力判定処理（ステップＳ１８）を行う。

一方、上述のステップＳ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ステップＳ３１のＮＯ）、あるいはステップＳ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ステップＳ３３のＮＯ）、あるいはステップＳ３４において、対象物は歩行者の可能性がないと判定された場合（ステップＳ３４のＮＯ）、更にはステップＳ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ステップＳ３５のＹＥＳ）のいずれかであった場合は、画像処理ユニット１は、自車両１０と検出した対象物との衝突の可能性がない（警報の対象ではない）と判定し（ステップＳ３７）、図３に示すステップＳ１７のＮＯとしてステップＳ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。

（人工構造物判定処理）
次に、図８に示すフローチャート及び図９から図１６に示す模式図を参照して、図５に示したフローチャートのステップＳ３５における人工構造物判定処理について更に詳細に説明する。
図８は、本実施例における人工構造物判定処理動作を示すフローチャートである。図８において、画像処理ユニット１は、目的の２値化対象物の上方向に、同一形状で同一距離の部位が連続して存在するか否かを判定する上方向探索を行う（ステップＳ４１）。

（上方向探索１）
具体的には、まず２値化部位上方探索を示す図９のように、画像処理ユニット１は、基準画像（右画像）から抽出した２値化対象物１００の上端部の上方に、左上始点を（ｘＰ１、ｙＰ１）とすると共に、幅をｄｘＰ、高さをｄｙＰとする基準パタンマスク１０１を設定する。なお、抽出した２値化対象物１００の上端部の上方に基準パタンマスク１０１を設定するのは、例えば電柱に備えられた配電盤等、熱を発する物体が２値化対象物１００として抽出されやすいが、基準パタンマスク１０１を用いて抽出したいのはその周辺の電柱自身だからである。

次に、画像処理ユニット１は、比較対象画像（左画像）において基準パタンマスク１０１に相当する領域に、左上始点を（ｘＡ１、ｙＰ１）とすると共に、幅をｄｘＰ、高さをｄｙＰとする比較パタンマスク１０２と、比較パタンマスク１０２に連続して、基準パタンマスク１０１の上方向に相当する領域に、Ｘ軸座標をｘＡ１、幅をｄｘＰ、高さをｄｙＰとする２個の比較パタンマスク１０３、１０４を設定する。なおｄｘＰ、ｄｙＰ、ｘＰ１、ｙＰ１、ｘＡ１は、それぞれ下記（１）式から（６）式で示される値とする。また、下記（２）式におけるパタンマスク高さは、例えば２０［ｃｍ］とする。

ｄｘＰ＝２値化対象物外接四角形幅＋４［ｐｉｘｅｌ］ ・・・（１）

ｄｙＰ＝（焦点距離×パタンマスク高さ）／２値化対象物距離［ｐｉｘｅｌ］ ・・・（２）

ｘＰ１＝２値化対象物外接四角形左上横軸座標＋２値化対象物外接四角形幅／２−ｄｘＰ／２［ｐｉｘｅｌ］ ・・・（３）

ｙＰ１＝２値化対象物外接四角形左上縦軸座標−２−ｄｙＰ［ｐｉｘｅｌ］ ・・・（４）

２値化対象物視差＝（基線長×焦点距離）／２値化対象物距離［ｐｉｘｅｌ］ ・・・（５）

ｘＡ１＝ｘＰ１＋２値化対象物視差［ｐｉｘｅｌ］ ・・・（６）

また、基準パタンマスク１０１と３個の比較パタンマスク１０２、１０３、１０４それぞれとの相関度を判定するために、画像処理ユニット１は、基準パタンマスク１０１と３個の比較パタンマスク１０２、１０３、１０４それぞれとのＳＡＤ（Sum of Absolute difference）の平均相関残差値ＭＡＤ１、ＭＡＤ２、ＭＡＤ３を算出する。ここで、ＭＡＤ１＝基準パタンマスク１０１と比較パタンマスク１０２の平均相関残差値、ＭＡＤ２＝基準パタンマスク１０１と比較パタンマスク１０３の平均相関残差値、ＭＡＤ３＝基準パタンマスク１０１と比較パタンマスク１０４の平均相関残差値である。

そして、画像処理ユニット１は、平均相関残差値ＭＡＤ１、ＭＡＤ２、ＭＡＤ３を判定し、平均相関残差値ＭＡＤ１、ＭＡＤ２、ＭＡＤ３の関係が、下記（７）式を満足するか否かを判定する。なお、（７）式において、ＭＡＤ＿ＭＡＸ１は、平均相関残差値ＭＡＤ１、ＭＡＤ２、ＭＡＤ３の中の最大値、ＭＡＤ＿ＭＩＮ１は、平均相関残差値ＭＡＤ１、ＭＡＤ２、ＭＡＤ３の中の最小値、ＭＡＤ＿ＴＨ１は、２値化対象物が抽出されないグレースケール画像同士の平均相関残差値のしきい値をそれぞれ示す。

ＭＡＤ＿ＭＡＸ１−ＭＡＤ＿ＭＩＮ１＜ＭＡＤ＿ＴＨ１ ・・・（７）

そして、平均相関残差値ＭＡＤ１、ＭＡＤ２、ＭＡＤ３の関係が（７）式を満足し、基準パタンマスク１０１と３個の比較パタンマスク１０２、１０３、１０４とが類似していると判断できる、すなわち２値化対象物１００の上方向に同一形状で同一距離の部位が連続して存在する場合（ステップＳ４１のＹＥＳ）、画像処理ユニット１は、検出された対象物は人工建造物であると判定して（ステップＳ４２）人工建造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

（上方向探索２）
また、画像処理ユニット１は、同様に基準パタンマスク１０１の位置を変更して上方向探索を行う。具体的には、２値化部位上方探索を示す図１０のように、画像処理ユニット１は、基準パタンマスク１０１と比較パタンマスク１０２の高さを示すＹ軸座標値ｙＰ１を下記（８）式で示されるｙＰ２とし、基準画像（右画像）から抽出した２値化対象物１００の下端部の上方に基準パタンマスク１０１を設定して、同様の手順で平均相関残差値ＭＡＤ１、ＭＡＤ２、ＭＡＤ３の関係が、下記（９）式を満足するか否かを判定する。なお、（９）式において、ＭＡＤ＿ＴＨ２は、２値化対象物が抽出されたグレースケール画像同士の平均相関残差値のしきい値を示す。また、抽出した２値化対象物１００の下端部の上方に基準パタンマスク１０１を設定するのは、電柱等、基準パタンマスク１０１を用いて抽出したい物体そのものが２値化対象物１００として抽出されている場合に対応するためである。

ｙＰ２＝２値化対象物外接四角形左下縦軸座標−２−ｄｙＰ［ｐｉｘｅｌ］ ・・・（８）

ＭＡＤ＿ＭＡＸ１−ＭＡＤ＿ＭＩＮ１＜ＭＡＤ＿ＴＨ２ ・・・（９）

そして、同様に平均相関残差値ＭＡＤ１、ＭＡＤ２、ＭＡＤ３の関係が（９）式を満足し、基準パタンマスク１０１と３個の比較パタンマスク１０２、１０３、１０４とが類似していると判断できる、すなわち２値化対象物１００の上方向に同一形状で同一距離の部位が連続して存在する場合（ステップＳ４１のＹＥＳ）、画像処理ユニット１は、検出された対象物は人工建造物であると判定して（ステップＳ４２）人工建造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

一方、ステップＳ４１において、基準パタンマスク１０１と比較パタンマスク１０２の高さを示すＹ軸座標値がｙＰ１、ｙＰ２のいずれの場合も、平均相関残差値ＭＡＤ１、ＭＡＤ２、ＭＡＤ３の関係がそれぞれ（７）式、（９）式を満足せず、基準パタンマスク１０１と３個の比較パタンマスク１０２、１０３、１０４とが類似していると判断できない、すなわち２値化対象物１００の上方向に同一形状で同一距離の部位が連続して存在しない場合（ステップＳ４１のＮＯ）、画像処理ユニット１は、次に２値化対象物１００の下方向に、同一形状で同一距離の部位が連続して存在するか否かを判定する下方向探索を行う（ステップＳ４３）。

（下方向探索１）
具体的には、まず２値化部位下方探索を示す図１１のように、画像処理ユニット１は、基準画像（右画像）から抽出した２値化対象物１００の上端部の下方に、左上始点を（ｘＰ１、ｙＰ３）とすると共に、幅をｄｘＰ、高さをｄｙＰとする基準パタンマスク１０５を設定する。なお、抽出した２値化対象物１００の上端部の下方に基準パタンマスク１０５を設定するのは、電柱等、基準パタンマスク１０５を用いて抽出したい物体そのものが２値化対象物１００として抽出されている場合に対応するためである。

次に、画像処理ユニット１は、比較対象画像（左画像）において基準パタンマスク１０５に相当する領域に、左上始点を（ｘＡ１、ｙＰ３）とすると共に、幅をｄｘＰ、高さをｄｙＰとする比較パタンマスク１０６と、比較パタンマスク１０６に連続して、基準パタンマスク１０５の下方向に相当する領域に、Ｘ軸座標をｘＡ１、幅をｄｘＰ、高さをｄｙＰとする２個の比較パタンマスク１０７、１０８を設定する。なお、ｙＰ３は、下記（１０）式で示される値とする。

ｙＰ３＝２値化対象物外接四角形左上縦軸座標＋２［ｐｉｘｅｌ］ ・・・（１０）

また、基準パタンマスク１０５と３個の比較パタンマスク１０６、１０７、１０８それぞれとの相関度を判定するために、画像処理ユニット１は、基準パタンマスク１０５と３個の比較パタンマスク１０６、１０７、１０８それぞれとのＳＡＤの平均相関残差値ＭＡＤ４、ＭＡＤ５、ＭＡＤ６を算出する。ここで、ＭＡＤ４＝基準パタンマスク１０５と比較パタンマスク１０６の平均相関残差値、ＭＡＤ５＝基準パタンマスク１０５と比較パタンマスク１０７の平均相関残差値、ＭＡＤ６＝基準パタンマスク１０５と比較パタンマスク１０８の平均相関残差値である。

そして、画像処理ユニット１は、平均相関残差値ＭＡＤ４、ＭＡＤ５、ＭＡＤ６を判定し、平均相関残差値ＭＡＤ４、ＭＡＤ５、ＭＡＤ６の関係が、下記（１１）式を満足するか否かを判定する。なお、（１１）式において、ＭＡＤ＿ＭＡＸ２は、平均相関残差値ＭＡＤ４、ＭＡＤ５、ＭＡＤ６の中の最大値、ＭＡＤ＿ＭＩＮ２は、平均相関残差値ＭＡＤ４、ＭＡＤ５、ＭＡＤ６の中の最小値をそれぞれ示す。

ＭＡＤ＿ＭＡＸ２−ＭＡＤ＿ＭＩＮ２＜ＭＡＤ＿ＴＨ２ ・・・（１１）

そして、平均相関残差値ＭＡＤ４、ＭＡＤ５、ＭＡＤ６の関係が（１１）式を満足し、基準パタンマスク１０５と３個の比較パタンマスク１０６、１０７、１０８とが類似していると判断できる、すなわち２値化対象物１００の下方向に同一形状で同一距離の部位が連続して存在する場合（ステップＳ４３のＹＥＳ）、画像処理ユニット１は、検出された対象物は人工建造物であると判定して（ステップＳ４２）人工建造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

（下方向探索２）
また、画像処理ユニット１は、同様に基準パタンマスク１０５の位置を変更して下方向探索を行う。具体的には、２値化部位下方探索を示す図１２のように、画像処理ユニット１は、基準パタンマスク１０５と比較パタンマスク１０６の高さを示すＹ軸座標値ｙＰ３を下記（１２）式で示されるｙＰ４とし、基準画像（右画像）から抽出した２値化対象物１００の下端部の下方に基準パタンマスク１０５を設定して、同様の手順で平均相関残差値ＭＡＤ４、ＭＡＤ５、ＭＡＤ６の関係が、下記（１３）式を満足するか否かを判定する。なお、抽出した２値化対象物１００の下端部の下方に基準パタンマスク１０５を設定するのは、例えば電柱に備えられた配電盤等、熱を発する物体が２値化対象物１００として抽出されやすいが、基準パタンマスク１０５を用いて抽出したいのはその周辺の電柱自身だからである。

ｙＰ４＝２値化対象物外接四角形左下縦軸座標＋２［ｐｉｘｅｌ］ ・・・（１２）

ＭＡＤ＿ＭＡＸ２−ＭＡＤ＿ＭＩＮ２＜ＭＡＤ＿ＴＨ１ ・・・（１３）

そして、同様に平均相関残差値ＭＡＤ４、ＭＡＤ５、ＭＡＤ６の関係が（１３）式を満足し、基準パタンマスク１０５と３個の比較パタンマスク１０６、１０７、１０８とが類似していると判断できる、すなわち２値化対象物１００の下方向に同一形状で同一距離の部位が連続して存在する場合（ステップＳ４３のＹＥＳ）、画像処理ユニット１は、検出された対象物は人工建造物であると判定して（ステップＳ４２）人工建造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

一方、ステップＳ４３において、基準パタンマスク１０５と比較パタンマスク１０６の高さを示すＹ軸座標値がｙＰ３、ｙＰ４のいずれの場合も、平均相関残差値ＭＡＤ４、ＭＡＤ５、ＭＡＤ６の関係がそれぞれ（１１）式、（１３）式を満足せず、基準パタンマスク１０５と３個の比較パタンマスク１０６、１０７、１０８とが類似していると判断できない、すなわち２値化対象物１００の下方向に同一形状で同一距離の部位が連続して存在しない場合（ステップＳ４３のＮＯ）、画像処理ユニット１は、次に２値化対象物１００を含む対象物の左側端部に、同一形状で同一距離の部位が連続して存在するか否かを判定する（ステップＳ４４）。

（左側上方探索１）
具体的には、まず２値化部位左側上方探索を示す図１３のように、画像処理ユニット１は、基準画像（右画像）から抽出した２値化対象物１００の上端部の上方に、左上始点を（ｘＰ２、ｙＰ１）とすると共に、幅をｄｘＰ’、高さをｄｙＰとする基準パタンマスク１０９を設定する。次に、画像処理ユニット１は、比較対象画像（左画像）において基準パタンマスク１０９に相当する領域に、左上始点を（ｘＡ２、ｙＰ１）とすると共に、幅をｄｘＰ’、高さをｄｙＰとする比較パタンマスク１１０と、比較パタンマスク１１０に連続して、基準パタンマスク１０９の上方向に相当する領域に、Ｘ軸座標をｘＡ２、幅をｄｘＰ’、高さをｄｙＰとする２個の比較パタンマスク１１１、１１２を設定する。

なおｄｘＰ’は、下記（１４）式、及び（１５）式で表されるｄｘＰ１とｄｘＰ２と比較して、小さい方をｄｘＰ’とする。また、ｘＰ２、ｘＡ２は、それぞれ下記（１６）式、及び（１７）式で示される値とする。また、（１５）式における肩幅は、例えば７０［ｃｍ］とする。

ｄｘＰ１＝２値化対象物外接四角形幅＋４［ｐｉｘｅｌ］ ・・・（１４）

ｄｘＰ２＝（焦点距離×肩幅／２）／２値化対象物距離［ｐｉｘｅｌ］ ・・・（１５）

ｘＰ２＝２値化対象物外接四角形左上横軸座標−ｄｘＰ’／２［ｐｉｘｅｌ］ ・・・（１６）

ｘＡ２＝ｘＰ２＋２値化対象物視差［ｐｉｘｅｌ］ ・・・（１７）

また、基準パタンマスク１０９と３個の比較パタンマスク１１０、１１１、１１２それぞれとの相関度を判定するために、画像処理ユニット１は、基準パタンマスク１０９と３個の比較パタンマスク１１０、１１１、１１２それぞれとのＳＡＤの平均相関残差値ＭＡＤ７、ＭＡＤ８、ＭＡＤ９を算出する。ここで、ＭＡＤ７＝基準パタンマスク１０９と比較パタンマスク１１０の平均相関残差値、ＭＡＤ８＝基準パタンマスク１０９と比較パタンマスク１１１の平均相関残差値、ＭＡＤ９＝基準パタンマスク１０９と比較パタンマスク１１２の平均相関残差値である。

そして、画像処理ユニット１は、平均相関残差値ＭＡＤ７、ＭＡＤ８、ＭＡＤ９を判定し、平均相関残差値ＭＡＤ７、ＭＡＤ８、ＭＡＤ９の関係が、下記（１８）式を満足するか否かを判定する。なお、（１８）式において、ＭＡＤ＿ＭＡＸ３は、平均相関残差値ＭＡＤ７、ＭＡＤ８、ＭＡＤ９の中の最大値、ＭＡＤ＿ＭＩＮ３は、平均相関残差値ＭＡＤ７、ＭＡＤ８、ＭＡＤ９の中の最小値をそれぞれ示す。

ＭＡＤ＿ＭＡＸ３−ＭＡＤ＿ＭＩＮ３＜ＭＡＤ＿ＴＨ１ ・・・（１８）

そして、平均相関残差値ＭＡＤ７、ＭＡＤ８、ＭＡＤ９の関係が（１８）式を満足し、基準パタンマスク１０９と３個の比較パタンマスク１１０、１１１、１１２とが類似していると判断できる、すなわち２値化対象物１００を含む対象物の左側端部に同一形状で同一距離の部位が連続して存在する場合（ステップＳ４４のＹＥＳ）、画像処理ユニット１は、検出された対象物は人工建造物であると判定して（ステップＳ４２）人工建造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

（左側上方探索２）
また、画像処理ユニット１は、同様に基準パタンマスク１０９の位置を変更して上方向探索を行う。具体的には、２値化部位左側上方探索を示す図１４のように、画像処理ユニット１は、基準パタンマスク１０９と比較パタンマスク１１０の高さを示すＹ軸座標値ｙＰ１を（８）式で示されるｙＰ２とし、基準画像（右画像）から抽出した２値化対象物１００の下端部の上方に基準パタンマスク１０９を設定して、同様の手順で平均相関残差値ＭＡＤ７、ＭＡＤ８、ＭＡＤ９の関係が、下記（１９）式を満足するか否かを判定する。

ＭＡＤ＿ＭＡＸ３−ＭＡＤ＿ＭＩＮ３＜ＭＡＤ＿ＴＨ２ ・・・（１９）

そして、同様に平均相関残差値ＭＡＤ７、ＭＡＤ８、ＭＡＤ９の関係が（１９）式を満足し、基準パタンマスク１０９と３個の比較パタンマスク１１０、１１１、１１２とが類似していると判断できる、すなわち２値化対象物１００を含む対象物の左側端部に同一形状で同一距離の部位が連続して存在する場合（ステップＳ４４のＹＥＳ）、画像処理ユニット１は、検出された対象物は人工建造物であると判定して（ステップＳ４２）人工建造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

（左側下方探索１）
具体的には、まず２値化部位左側下方探索を示す図１５のように、画像処理ユニット１は、基準画像（右画像）から抽出した２値化対象物１００の上端部の下方に、左上始点を（ｘＰ２、ｙＰ３）とすると共に、幅をｄｘＰ’、高さをｄｙＰとする基準パタンマスク１１３を設定する。次に、画像処理ユニット１は、比較対象画像（左画像）において基準パタンマスク１１３に相当する領域に、左上始点を（ｘＡ２、ｙＰ３）とすると共に、幅をｄｘＰ’、高さをｄｙＰとする比較パタンマスク１１４と、比較パタンマスク１１４に連続して、基準パタンマスク１１３の下方向に相当する領域に、Ｘ軸座標をｘＡ２、幅をｄｘＰ’、高さをｄｙＰとする２個の比較パタンマスク１１５、１１６を設定する。

また、基準パタンマスク１１３と３個の比較パタンマスク１１４、１１５、１１６それぞれとの相関度を判定するために、画像処理ユニット１は、基準パタンマスク１１３と３個の比較パタンマスク１１４、１１５、１１６それぞれとのＳＡＤの平均相関残差値ＭＡＤ１０、ＭＡＤ１１、ＭＡＤ１２を算出する。ここで、ＭＡＤ１０＝基準パタンマスク１１３と比較パタンマスク１１４の平均相関残差値、ＭＡＤ１１＝基準パタンマスク１１３と比較パタンマスク１１５の平均相関残差値、ＭＡＤ１２＝基準パタンマスク１１３と比較パタンマスク１１６の平均相関残差値である。

そして、画像処理ユニット１は、平均相関残差値ＭＡＤ１０、ＭＡＤ１１、ＭＡＤ１２を判定し、平均相関残差値ＭＡＤ１０、ＭＡＤ１１、ＭＡＤ１２の関係が、下記（２０）式を満足するか否かを判定する。なお、（２０）式において、ＭＡＤ＿ＭＡＸ４は、平均相関残差値ＭＡＤ１０、ＭＡＤ１１、ＭＡＤ１２の中の最大値、ＭＡＤ＿ＭＩＮ４は、平均相関残差値ＭＡＤ１０、ＭＡＤ１１、ＭＡＤ１２の中の最小値をそれぞれ示す。

ＭＡＤ＿ＭＡＸ４−ＭＡＤ＿ＭＩＮ４＜ＭＡＤ＿ＴＨ２ ・・・（２０）

そして、平均相関残差値ＭＡＤ１０、ＭＡＤ１１、ＭＡＤ１２の関係が（２０）式を満足し、基準パタンマスク１１３と３個の比較パタンマスク１１４、１１５、１１６とが類似していると判断できる、すなわち２値化対象物１００を含む対象物の左側端部に同一形状で同一距離の部位が連続して存在する場合（ステップＳ４４のＹＥＳ）、画像処理ユニット１は、検出された対象物は人工建造物であると判定して（ステップＳ４２）人工建造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

（左側下方探索２）
また、画像処理ユニット１は、同様に基準パタンマスク１１３の位置を変更して下方向探索を行う。具体的には、２値化部位左側上方探索を示す図１６のように、画像処理ユニット１は、基準パタンマスク１１３と比較パタンマスク１１４の高さを示すＹ軸座標値ｙＰ１を（１２）式で示されるｙＰ４とし、基準画像（右画像）から抽出した２値化対象物１００の下端部の下方に基準パタンマスク１１３を設定して、同様の手順で平均相関残差値ＭＡＤ１０、ＭＡＤ１１、ＭＡＤ１２の関係が、下記（２１）式を満足するか否かを判定する。

ＭＡＤ＿ＭＡＸ４−ＭＡＤ＿ＭＩＮ４＜ＭＡＤ＿ＴＨ１ ・・・（２１）

そして、同様に平均相関残差値ＭＡＤ１０、ＭＡＤ１１、ＭＡＤ１２の関係が（２１）式を満足し、基準パタンマスク１１３と３個の比較パタンマスク１１４、１１５、１１６とが類似していると判断できる、すなわち２値化対象物１００を含む対象物の左側端部に同一形状で同一距離の部位が連続して存在する場合（ステップＳ４４のＹＥＳ）、画像処理ユニット１は、検出された対象物は人工建造物であると判定して（ステップＳ４２）人工建造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。

一方、ステップＳ４４において、基準パタンマスク１０９と比較パタンマスク１１０の高さを示すＹ軸座標値がｙＰ１、ｙＰ２のいずれの場合も、平均相関残差値ＭＡＤ７、ＭＡＤ８、ＭＡＤ９の関係がそれぞれ（１８）式、あるいは（１９）式を満足せず、基準パタンマスク１０９と３個の比較パタンマスク１１０、１１１、１１２とが類似していると判断できない場合、あるいは基準パタンマスク１１３と比較パタンマスク１１４の高さを示すＹ軸座標値がｙＰ３、ｙＰ４のいずれの場合も、平均相関残差値ＭＡＤ１０、ＭＡＤ１１、ＭＡＤ１２の関係がそれぞれ（２０）式、あるいは（２１）式を満足せず、基準パタンマスク１１３と３個の比較パタンマスク１１４、１１５、１１６とが類似していると判断できない場合、すなわち２値化対象物１００を含む対象物の左側端部に同一形状で同一距離の部位が連続して存在しない場合（ステップＳ４４のＮＯ）、画像処理ユニット１は、次に２値化対象物１００を含む対象物の右側端部に、同一形状で同一距離の部位が連続して存在するか否かを判定する（ステップＳ４５）。

（右側上方探索、右側下方探索）
なお、２値化対象物１００を含む対象物の右側端部に同一形状で同一距離の部位が連続して存在するか否かを判定する処理は、上述のステップＳ４４において説明した、２値化対象物１００を含む対象物の左側端部に同一形状で同一距離の部位が連続して存在するか否かを判定する処理と、２値化対象物１００に対する基準パタンマスクの位置が左右逆になるだけで、その他の手順はステップＳ４４と同じとする。

具体的には、２値化対象物１００を含む対象物の左側端部に同一形状で同一距離の部位が連続して存在するか否かを判定するステップＳ４４の処理では、基準パタンマスクの位置を２値化対象物外接四角形左上横軸座標と２値化対象物外接四角形左上縦軸座標とから算出していたが、２値化対象物１００を含む対象物の右側端部に同一形状で同一距離の部位が連続して存在するか否かを判定するステップＳ４５の処理では、各式の２値化対象物外接四角形左上横軸座標と２値化対象物外接四角形左上縦軸座標を、２値化対象物外接四角形右上横軸座標と２値化対象物外接四角形右上縦軸座標に置き換えて、基準パタンマスク１０９の位置を２値化対象物外接四角形右上横軸座標と２値化対象物外接四角形右上縦軸座標とから算出する。

そして、ステップＳ４４の処理と同様に、基準パタンマスクと３個の比較パタンマスクとが類似していると判断できる、すなわち２値化対象物１００を含む対象物の右側端部に同一形状で同一距離の部位が連続して存在する場合（ステップＳ４５のＹＥＳ）、画像処理ユニット１は、検出された対象物は人工建造物であると判定して（ステップＳ４２）人工建造物判定処理を終了し、図５に示すステップＳ３５のＹＥＳとして図５のステップＳ３７へ進み、対象物は警報対象ではないと判定する。一方、ステップＳ４５において、基準パタンマスクと３個の比較パタンマスクとが類似していると判断できない、すなわち２値化対象物１００を含む対象物の右側端部に同一形状で同一距離の部位が連続して存在しない場合（ステップＳ４５のＮＯ）、画像処理ユニット１は、検出された対象物は人工建造物ではないと判定して（ステップＳ４６）人工建造物判定処理を終了し、図５に示すステップＳ３５のＮＯとして図５のステップＳ３６へ進み、対象物は警報対象であると判定する。

なお、上述の実施例では、画像処理ユニット１は、ステップＳ４１からステップＳ４６の処理において、目的の２値化対象物の上下方向、あるいは目的の２値化対象物を含む対象物の左右の端部に相当する領域に設定された基準パタンマスクと３個の比較パタンマスクとを比較して対象物に同一形状で同一距離の部位が連続して存在するか否かを判定しているが、比較パタンマスクの数は３個に限らず、何個設定しても良い。

また、比較パタンマスクを複数個設定する場合、複数の比較パタンマスクと基準パタンマスクとの関係が、全て対象物に同一形状で同一距離の部位が連続して存在することを示す判定条件を満足しなくても良い。すなわち、複数の比較パタンマスクの中には、本来は目的の対象物が存在する画像領域であるにもかかわらず、道路上の他の物体の影響等により目的の対象物が赤外線カメラ２Ｌにより捉えられなかった画像領域に設定される比較パタンマスクもあるので、複数の比較パタンマスクの中の所定割合以上の比較パタンマスクと基準パタンマスクとの関係が、対象物に同一形状で同一距離の部位が連続して存在することを示す判定条件を満足していれば、該対象物は人工建造物であると判定する。

具体的に一例を挙げて説明すると、複数の比較パタンマスクの中の所定割合以上の比較パタンマスクと基準パタンマスクとの関係が、対象物に同一形状で同一距離の部位が連続して存在することを示す判定条件を満足するか否かの判定は、図８に示す上述の各処理において、例えば比較パタンマスクを１０個設定し、基準パタンマスクと各比較パタンマスクの平均相関残差値（ＭＡＤ）をそれぞれ算出する。そして、平均相関残差値（ＭＡＤ）を小さい方から例えば５個選択し、選択された５個の最大値と最小値との差分値が、それぞれ（７）式、（９）式、（１１）式、（１３）式、（１８）式、（１９）式を満足するか否かを判定する。

また、上述の実施例では、画像処理ユニット１は、比較パタンマスクを縦方向に複数個設定して対象物に同一形状で同一距離の部位が連続して存在するか否かを判定しているが、比較パタンマスクの設定方向（同一形状部位の探索方向）は縦方向に限らず、例えば斜め方向等、車両周囲の画像から抽出されると予想できる人工構造物の形状に合わせて、設定方向を予め複数指定、あるいはその都度変更できるようにしても良い。

また、上述の実施例では、図５に示す警報判定処理において、先に歩行者判定処理（ステップＳ３４）を実行し、次に人工構造物判定処理（ステップＳ３５）を実行するように説明したが、処理手順を逆にして、先に人工構造物判定処理を実行し、次に歩行者判定処理を実行するようにしても良い。もし、先に歩行者判定処理を実行し、次に人工構造物判定処理を実行する場合は、一度歩行者として判定した対象物から人工構造物にしかあり得ない特徴を備えた対象物を除外することになる。一方、先に人工構造物判定処理を実行し、次に歩行者判定処理を実行する場合、全ての対象物から先に人工構造物にしかあり得ない特徴を備えた対象物を除外し、残る対象物の中から歩行者を認識することになる。なお、ここで除外する対象物は、２値化画像上の２値化対象物でも良いが、グレースケール画像上の該２値化対象物に対応するグレースケール対象物でも良い。

また、本実施例では、画像処理ユニット１が、２値化対象物抽出手段と、距離算出手段と、警報出力手段と、歩行者認識手段とを含んでいる。より具体的には、図３のステップＳ４からステップＳ７の処理が２値化対象物抽出手段に相当し、図３のステップＳ１３の処理が距離算出手段に相当し、図３のステップＳ１８の処理が警報判定手段に相当し、図３のステップＳ１９、ステップＳ２０の処理が警報出力手段に相当し、図５のステップＳ３４の処理が歩行者認識手段に相当する。

更に、本実施例では、画像処理ユニット１が、抽出領域設定手段と、探索領域設定手段と、類似対象物抽出手段と、同一対象物判断手段とを含んでいる。より具体的には、図８のステップＳ４１からステップＳ４６の処理において基準パタンマスクを設定する処理が抽出領域設定手段に相当し、図８のステップＳ４１からステップＳ４６の処理において比較パタンマスクを設定する処理が探索領域設定手段に相当し、図８のステップＳ４１からステップＳ４６の処理において平均相関残差値を算出する処理が類似対象物抽出手段に相当し、図８のステップＳ４１からステップＳ４６の処理において平均相関残差値を判定する処理が同一対象物判断手段に相当する。

以上説明したように、本実施例の車両周辺監視装置は、基準画像（右画像）から抽出した２値化対象物１００を基準とする基準パタンマスクを設定すると共に、比較対象画像（左画像）に基準パタンマスクに対応して複数個の比較パタンマスクを設定する。次に、基準パタンマスクと基準パタンマスクに対応して設定された複数個の比較パタンマスクとを比較して、まず２値化対象物１００の上方向を探索する。そして、２値化対象物１００の上方向に同一形状で同一距離の部位が連続して存在する場合、対象物は人工構造物であると判定する。また、２値化対象物１００の上方向に同一形状で同一距離の部位が連続して存在しない場合、同様に２値化対象物１００の下方向を探索する。そして、２値化対象物１００の下方向に同一形状で同一距離の部位が連続して存在する場合、対象物は人工構造物であると判定する。

また、２値化対象物１００の下方向に同一形状で同一距離の部位が連続して存在しない場合、２値化対象物１００を含む対象物の左端部に相当する領域を探索する。そして、２値化対象物１００を含む対象物の左端部に相当する領域に同一形状で同一距離の部位が連続して存在する場合、対象物は人工構造物であると判定する。更に、２値化対象物１００を含む対象物の左端部に相当する領域に同一形状で同一距離の部位が連続して存在しない場合、２値化対象物１００を含む対象物の右端部に相当する領域を探索する。そして、２値化対象物１００を含む対象物の右端部に相当する領域に同一形状で同一距離の部位が連続して存在する場合、対象物は人工構造物であると判定する。

従って、赤外線画像から抽出される不定形な２値化対象物を的確に判定し、例えば電柱等の上下方向に同一形状の連続する人工構造物を正確かつ容易に抽出可能な車両周辺監視装置を実現することができるという効果が得られる。特に、２値化対象物の周囲において類似形状部位を探索するため、例えば本実施例の車両周辺監視装置で認識する人工構造物の例を示す図１７のように、電柱等の人工構造物が並んで複数存在するような場合（図１７の白丸で囲った部分）、もし左右の赤外線画像上の対象物の組合せを間違えたとしても、該人工構造物を認識することができるという効果が得られる。

また、比較パタンマスクを複数個設定することにより、比較回数が増やされて車両周囲の対象物から人工構造物を抽出する抽出精度を向上させることができるという効果が得られ、特に複数の比較パタンマスクの中の所定割合以上の比較パタンマスクと基準パタンマスクとの関係が、対象物に同一形状で同一距離の部位が連続して存在することを示す判定条件を満足していれば、該対象物は人工建造物であると判定することにより、車両の走行状態や対象物周囲の状況に影響を受け、その全部が赤外線カメラ２Ｌにより撮像されなかった対象物からも、同一形状の連続する人工構造物を正確かつ容易に抽出することができるという効果が得られる。

また、２値化対象物１００の左端部に相当する領域と、２値化対象物１００の右端部に相当する領域とを両方探索し、２値化対象物１００の左右いずれか一方の端部に相当する領域に同一形状で同一距離の部位が連続して存在する場合、対象物は人工構造物であると判定することにより、車両の走行状態や対象物周囲の状況に影響を受け、その左右の一方しか赤外線カメラにより撮像されなかった対象物からも、同一形状の連続する人工構造物を正確かつ容易に抽出することができるという効果が得られる。

本発明の一実施例の車両周辺監視装置の構成を示すブロック図である。 同実施例の車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。 同実施例における車両周辺監視装置の対象物検出・警報動作を示すフローチャートである。 赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。 同実施例における警報判定処理動作を示すフローチャートである。 衝突が発生しやすい場合を示す図である。 車両前方の領域区分を示す図である。 同実施例における人工構造物判定処理動作を示すフローチャートである。 人工構造物判定処理の２値化部位上方探索を示す図である。 人工構造物判定処理の２値化部位上方探索を示す図である。 人工構造物判定処理の２値化部位下方探索を示す図である。 人工構造物判定処理の２値化部位下方探索を示す図である。 人工構造物判定処理の２値化部位左側上方探索を示す図である。 人工構造物判定処理の２値化部位左側上方探索を示す図である。 人工構造物判定処理の２値化部位左側下方探索を示す図である。 人工構造物判定処理の２値化部位左側下方探索を示す図である。 同実施例の車両周辺監視装置で認識する人工構造物の例を示す図である。

符号の説明

１ 画像処理ユニット
２Ｒ、２Ｌ 赤外線カメラ（赤外線撮像手段）
７ 画像表示装置（表示手段）
１０ 自車両（車両）
Ｓ４〜Ｓ７ ２値化対象物抽出手段
Ｓ１３ 距離算出手段
Ｓ１９、Ｓ２０ 警報出力手段
Ｓ３４ 歩行者認識手段
Ｓ４１〜Ｓ４６ 抽出領域設定手段、探索領域設定手段、類似対象物抽出手段、同一対象物判断手段

Claims (9)

1. 左右方向に並べて設置された２つの赤外線撮像手段により撮像された画像を利用して車両周囲の対象物を抽出する車両周辺監視装置において、
   前記画像を２値化処理することにより２値化対象物を抽出する２値化対象物抽出手段と、
   前記２値化対象物抽出手段により抽出された前記２値化対象物の上端部もしくは下端部の上方または下方の領域を抽出領域として設定する抽出領域設定手段と、
   前記抽出領域の上方向または下方向または上下方向または斜め方向のいずれかに探索領域を設定する探索領域設定手段と、
   前記抽出領域内の前記対象物と形状の類似する対象物が前記探索領域内に存在する場合に、前記探索領域内の該形状の類似する前記対象物を類似対象物として抽出する類似対象物抽出手段と、
   前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とが同一の対象物であるか否かを判断する同一対象物判断手段と、
   ２つの前記赤外線撮像手段により撮像された２つの画像を利用して、該画像に含まれる前記対象物までの距離を算出する距離算出手段とを備え、
   前記同一対象物判断手段が、前記抽出領域内の前記対象物までの距離と前記探索領域内の前記類似対象物までの距離とが同一である場合に、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とを同一の対象物であると判断することを特徴とする車両周辺監視装置。
2. 前記探索領域設定手段が、前記探索領域を同一方向に複数個設定し、
   前記同一対象物判断手段が、複数の前記探索領域の内の所定割合以上から、前記類似対象物抽出手段により前記類似対象物が抽出された場合に、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とを同一の対象物であると判断することを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記抽出領域設定手段が、前記抽出領域として、前記２値化対象物抽出手段により抽出された前記２値化対象物の左右の端部の横座標をそれぞれが含む左右の抽出領域を設定し、
   前記探索領域設定手段が、前記左右の抽出領域の周辺にそれぞれの探索領域を設定し、
   前記類似対象物抽出手段が、前記左の抽出領域内の前記対象物と形状の類似する対象物が前記左の抽出領域に対応する前記探索領域内にある場合、あるいは前記右の抽出領域内の前記対象物と形状の類似する対象物が前記右の抽出領域に対応する前記探索領域内にある場合に、前記探索領域内の該形状の類似する前記対象物を類似対象物として抽出し、
   前記同一対象物判断手段が、前記左の抽出領域内の前記対象物と前記左の抽出領域に対応する前記探索領域内の前記類似対象物とが同一の対象物であるか否か、あるいは前記右の抽出領域内の前記対象物と前記右の抽出領域に対応する前記探索領域内の前記類似対象物とが同一の対象物であるか否かを判断することを特徴とする請求項１または請求項２に記載の車両周辺監視装置。
4. 前記同一対象物判断手段により同一の対象物であると判断された前記対象物の存在する領域を除外して、残る領域に存在する前記２値化対象物から歩行者を認識する歩行者認識手段を備えることを特徴とする請求項１から請求項３のいずれかに記載の車両周辺監視装置。
5. 前記歩行者認識手段により認識された前記歩行者に関する警報を出力する警報出力手段を備えることを特徴とする請求項４に記載の車両周辺監視装置。
6. 左右方向に並べて設置された２つの赤外線撮像手段により撮像された画像を利用して車両周囲の対象物を抽出し、該対象物から歩行者を認識する車両周辺監視装置であって、
   前記画像を２値化処理することにより２値化対象物を抽出する２値化対象物抽出手段と、
   前記２値化対象物抽出手段により抽出された前記２値化対象物から歩行者を認識する歩行者認識手段と、
   前記歩行者認識手段により前記歩行者と認識された前記２値化対象物の上端部もしくは下端部の上方または下方の領域を抽出領域として設定する抽出領域設定手段と、
   前記抽出領域の上方向または下方向または上下方向または斜め方向のいずれかに探索領域を設定する探索領域設定手段と、
   前記抽出領域内の前記対象物と形状の類似する対象物が前記探索領域内にある場合に、前記探索領域内の該形状の類似する前記対象物を類似対象物として抽出する類似対象物抽出手段と、
   前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とが同一の対象物であるか否かを判断する同一対象物判断手段と、
   ２つの前記赤外線撮像手段により撮像された２つの画像を利用して、該画像に含まれる前記対象物までの距離を算出する距離算出手段とを備え、
   前記同一対象物判断手段が、前記抽出領域内の前記対象物までの距離と前記探索領域内の前記類似対象物までの距離とが同一である場合に、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とを同一の対象物であると判断することを特徴とする車両周辺監視装置。
7. 前記探索領域設定手段が、前記探索領域を同一方向に複数個設定し、
   前記同一対象物判断手段が、複数の前記探索領域の内の所定割合以上から、前記類似対象物抽出手段により前記類似対象物が抽出された場合に、前記抽出領域内の前記対象物と前記探索領域内の前記類似対象物とを同一の対象物であると判断することを特徴とする請求項６に記載の車両周辺監視装置。
8. 前記抽出領域設定手段が、前記抽出領域として、前記歩行者認識手段により前記歩行者と認識された前記２値化対象物の左右の端部の横座標をそれぞれが含む左右の抽出領域を設定し、
   前記探索領域設定手段が、前記左右の抽出領域の周辺にそれぞれの探索領域を設定し、
   前記類似対象物抽出手段が、前記左の抽出領域内の前記対象物と形状の類似する対象物が、前記左の抽出領域に対応する前記探索領域内にある場合、あるいは前記右の抽出領域内の前記対象物と形状の類似する対象物が、前記右の抽出領域に対応する前記探索領域内にある場合に、前記探索領域内の該形状の類似する前記対象物を類似対象物として抽出し、
   前記同一対象物判断手段が、前記左の抽出領域内の前記対象物と前記左の抽出領域に対応する前記探索領域内の前記類似対象物とが同一の対象物であるか否か、あるいは前記右の抽出領域内の前記対象物と前記右の抽出領域に対応する前記探索領域内の前記類似対象物とが同一の対象物であるか否かを判断することを特徴とする請求項６または請求項７に記載の車両周辺監視装置。
9. 前記同一対象物判断手段により同一の対象物であると判断された前記対象物の存在する領域を除外して、残る領域に存在する前記歩行者に対して警報を出力する警報出力手段を備えることを特徴とする請求項６から請求項８のいずれかに記載の車両周辺監視装置。

Images