JP2008174028A - 対象物検出システム、及び対象物検出方法 - Google Patents

Abstract

【課題】遠赤外線撮像装置を用いて得られた認識結果について、近赤外線撮像装置（可視光撮像装置）を用いて再検証することにより、高い精度で対象物の誤認識を回避することができる対象物検出システム、及び対象物検出方法を提供する。
【解決手段】遠赤外線撮像装置１から取得した画像データに基づいて障害物候補領域を特定する。対象物に相当する対象物領域であると判断した場合、該対象物領域の位置座標、特徴量、及び該対象物領域を特定した画像データを取得した時点の車両の位置情報を記録する。所定の条件を具備している場合、画像データを取得する遠赤外線撮像装置１を近赤外線撮像装置２に切り替え、異なる時点での画像データを取得する。障害物候補領域を再特定し、記録してある対象物領域の位置座標と相違している場合、記録してある対象物領域の位置座標、特徴量、及び該対象物領域を特定した画像データを取得した時点の車両の位置情報を削除する。
【選択図】図９

Description

本発明は、車両の周辺を撮像する撮像装置で撮像した画像データに基づいて、認識すべき対象物の誤認識を防止することができる対象物検出システム、及び対象物検出方法に関する。

走行中の車両から衝突する可能性のある歩行者等の対象物を検出し、運転者に警告を出力する対象物検出システムが多々開発されている。従来の対象物検出システムは、例えば赤外線カメラ等の撮像装置により撮像された車両周辺の画像から、車両と衝突する可能性が高い歩行者等の対象物を抽出して、対象物が存在する旨の情報を運転者に提供する。

例えば特許文献１では、歩行者等の対象物までの距離は、左右一組のステレオカメラが撮影した自車両周辺の画像において対象物の視差を求めることにより算出している。そして、算出した距離、位置、移動方向等に基づいて、衝突する可能性の高い対象物を検出して警報を出力している。

しかし、歩行者等の対象物と類似した温度分布を示す道路脇の電柱、街灯のポール、自動販売機等の人工構造物が存在する場合、該人工構造物を対象物として誤認識しやすいことから、例えば歩行者が存在しないにもかかわらず運転者に警報が出力され、運転者にとっては逆に運転の妨げになるおそれがあるという問題があった。斯かる問題を解決するために、例えば特許文献２では、検出された対象物の特徴及び位置を、運転者の操作により記憶手段へ記憶することができ、記憶してある対象物が再度検出された場合には、該対象物に対する警報の出力を中止する対象物検出装置が開示されている。特許文献２では、運転者が意識的に警報出力の対象から除外したい対象物を選択することが可能となる。
特開２００１−００６０９６号公報 特開２００４−１０６６８２号公報

しかし、上述した対象物検出装置では、歩行者であると誤認識された対象物を運転者が選択する必要が有り、走行中に運転者が斯かる操作を行うことは非常に危険であるという問題点があった。

本発明は、斯かる事情に鑑みてなされたものであり、撮像装置を用いて得られた認識結果について異なる時点において自動で再検証することにより、高い精度で対象物の誤認識を回避することができ、かつ運転者による操作を必要としない対象物検出システム、及び対象物検出方法を提供することを目的とする。

上記目的を達成するために第１発明に係る対象物検出システムは、車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像を取得して画像中に含まれる対象物を検出する検出装置とを備える対象物検出システムにおいて、車両の位置情報を検出する車両位置検出装置を備え、前記検出装置は、前記撮像装置から取得した一の画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、特定された障害物候補領域に対応する一の画像データの特徴量に基づいて対象物に相当する対象物領域であるか否かを判断する手段と、該手段で対象物領域であると判断した場合、該対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を記録する手段と、前記一の画像データを取得した時点から異なる時点で、記録してある車両の位置情報に対応する位置にて、他の画像データを取得する手段と、該他の画像データに基づいて障害物候補領域を再特定する手段と、再特定された障害物候補領域の位置座標、及び記録してある対象物領域の位置座標が略一致しているか否かを判断する手段と、該手段で略一致していないと判断した場合、記録してある前記対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を削除する手段とを備え、記録された対象物領域の位置座標及び車両の位置情報に基づいて、対象物の誤認識を防止するようにしてあることを特徴とする。

第２発明に係る対象物検出システムは、車両の周辺を撮像する第１撮像装置と、該第１撮像装置で撮像した画像を取得して画像中に含まれる対象物を検出する検出装置とを備える対象物検出システムにおいて、車両の位置情報を検出する車両位置検出装置と、撮像可能な波長帯域が前記第１撮像装置と異なる第２撮像装置とを備え、前記検出装置は、前記第１撮像装置から取得した一の画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、特定された障害物候補領域に対応する一の画像データの特徴量に基づいて対象物に相当する対象物領域であるか否かを判断する手段と、該手段で対象物領域であると判断した場合、該対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を記録する手段と、所定の条件を具備している場合、前記第２撮像装置を選択し、前記所定の条件を具備していない場合、前記第１撮像装置を選択する手段と、選択された前記第１撮像装置又は第２撮像装置で、記録してある車両の位置情報に対応する位置にて、前記第１撮像装置で一の画像データを取得した時点と異なる時点での他の画像データを取得する手段と、前記他の画像データに基づいて障害物候補領域を再特定する手段と、再特定された障害物候補領域の位置座標、及び記録してある対象物領域の位置座標が略一致しているか否かを判断する手段と、該手段で略一致していないと判断した場合、記録してある前記対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を削除する手段とを備え、記録された対象物領域の位置座標及び車両の位置情報に基づいて、対象物の誤認識を防止するようにしてあることを特徴とする。

第３発明に係る対象物検出システムは、前記第１撮像装置は遠赤外線撮像装置、前記第２撮像装置は、可視光撮像装置又は近赤外線撮像装置であり、周囲の照度を検出する照度センサを備え、前記所定の条件を具備しているか否かの判断基準は、前記照度センサの検出値が所定値を超えたか否かであり、前記照度センサの検出値が所定値を超えていると判断された場合、前記第２撮像装置を選択し、所定値以下であると判断された場合、前記第１撮像装置を選択するようにしてあることを特徴とする。

第４発明に係る対象物検出システムは、前記第１撮像装置は遠赤外線撮像装置、前記第２撮像装置は、可視光撮像装置又は近赤外線撮像装置であり、車両のヘッドライトをオンオフするスイッチを備え、前記所定の条件を具備しているか否かの判断基準は、前記スイッチがオフ状態であるか否かであり、前記スイッチがオフ状態であると判断された場合、前記第２撮像装置を選択し、前記スイッチがオン状態であると判断された場合、前記第１撮像装置を選択するようにしてあることを特徴とする。

第５発明に係る対象物検出システムは、前記第１撮像装置は遠赤外線撮像装置、前記第２撮像装置は、可視光撮像装置又は近赤外線撮像装置であり、前記所定の条件を具備しているか否かの判断基準は、前記第２撮像装置で撮像された画像の輝度値の平均値が所定値を超えているか否かであり、輝度値の平均値が所定値を超えていると判断された場合、前記第２撮像装置を選択し、前記平均値が所定値以下であると判断された場合、前記第１撮像装置（又は第２撮像装置）を選択するようにしてあることを特徴とする。

第６発明に係る対象物検出方法は、車両の周辺を撮像する撮像装置で撮像した画像を取得して画像中に含まれる対象物を検出する対象物検出方法において、前記撮像装置から取得した一の画像データに基づいて障害物候補領域を特定し、特定された障害物候補領域に対応する一の画像データの特徴量に基づいて対象物に相当する対象物領域であるか否かを判断し、対象物領域であると判断した場合、該対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を記録し、前記一の画像データを取得した時点から異なる時点で、記録してある車両の位置情報に対応する位置にて、他の画像データを取得し、該他の画像データに基づいて障害物候補領域を再特定し、再特定された障害物候補領域の位置座標、及び記録してある対象物領域の位置座標が略一致しているか否かを判断し、略一致していないと判断した場合、記録してある前記対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を削除することを特徴とする。

第１発明、及び第６発明では、車両の周辺を撮像する可視光撮像装置、遠赤外線撮像装置、近赤外線撮像装置等の撮像装置で撮像した画像を取得して画像中に含まれる対象物を検出する。より詳細には撮像装置から取得した一の画像データに基づいて障害物候補領域を特定する。特定された障害物候補領域に対応する一の画像データの特徴量に基づいて対象物に相当する対象物領域であるか否かを判断し、対象物領域であると判断した場合、該対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を記録する。次に、一の画像データを取得した時点から異なる時点で、記録してある車両の位置情報に対応する位置にて、他の画像データを取得し、他の画像データに基づいて障害物候補領域を再特定する。再特定された障害物候補領域の位置座標と、記録してある対象物領域の位置座標とが略一致しているか否かを判断し、略一致していないと判断した場合、記録してある対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を削除する。一度対象物であると認識された対象物領域と同一位置において、別個のタイミングで再度障害物候補領域が特定された場合、該位置には自動販売機等の誤認識しやすい静止物が存在する可能性が高いと判断し、対象物の記録を残しておくことで、次回以降の撮像装置を用いた対象物検出処理では歩行者等の対象物であると誤認識することを回避することができる。また、運転者が意識して情報の登録作業を行う必要が無く、安全に運転を続行することが可能となる。

第２発明では、撮像可能な波長帯域が異なる第１撮像装置及び第２撮像装置を状況に応じて使い分ける。状況に応じて選択された第１撮像装置又は第２撮像装置のいずれかを使用して撮像した画像を用いるので対象物の検出精度が上がる。第１撮像装置及び第２撮像装置は、例えば可視光撮像装置、遠赤外線撮像装置、近赤外線撮像装置等である。

第３発明では、周囲の照度を検出する照度センサの検出値が所定値を超えている場合、可視光撮像装置又は近赤外線撮像装置である第２撮像装置を選択し、所定値以下である場合、遠赤外線撮像装置である第１撮像装置を選択する。これにより、車両の周囲の明るさが所定値以上である場合、例えば昼間には、第２撮像装置を用いることで障害物候補領域の特定を行うことができ、対象物領域の認識結果を検証することができる。また、車両の周囲の明るさが所定値以下である場合、例えば夜間には、第１撮像装置を用いることにより、第２撮像装置では確認することができない対象物の存在も確実に検出することが可能となり、対象物領域の認識結果を検証することができる。

第４発明では、車両のヘッドライトをオンオフするスイッチがオフ状態である場合、可視光撮像装置又は近赤外線撮像装置である第２撮像装置を選択し、スイッチがオン状態である場合、遠赤外線撮像装置である第１撮像装置を選択する。これにより、車両のヘッドライトが必要ではない場合、例えば昼間には、第２撮像装置を用いることで障害物候補領域の特定を行うことができ、対象物領域の認識結果を検証することができる。また、車両のヘッドライトが必要である場合、例えば夜間には、第１撮像装置を用いることにより、第２撮像装置では確認することができない対象物の存在も確実に検出することが可能となり、対象物領域の認識結果を検証することができる。

第５発明では、可視光撮像装置又は近赤外線撮像装置である第２撮像装置で撮像された画像の輝度値の平均値が所定値以下であると判断された場合、遠赤外線撮像装置である第１線撮像装置を選択し、平均値超であると判断された場合、第２撮像装置を選択する。これにより、第２撮像装置で撮像された画像の輝度値の平均値が所定値以下、すなわち車両の周囲の明るさが一定値以下である場合には、第１撮像装置を用いることで障害物候補領域の特定を行うことができ、夜間走行時の認識結果を検証することができる。また、第２撮像装置で撮像された画像の輝度値の平均値が所定値を超えている、すなわち車両の周囲の明るさが一定値以上である場合には、第１撮像装置を用いることにより、第２撮像装置では確認することができない対象物の存在も確実に検出することが可能となり、対象物領域の認識結果を検証することができる。

本発明によれば、一度歩行者等の対象物であると認識された対象物領域と同一位置において、別個のタイミングで再度障害物候補領域が特定された場合、該位置には自動販売機等の誤認識しやすい静止物が存在する可能性が高いと判断し、該対象物領域の位置座標、及び該対象物領域を特定した画像データを取得した車両の位置座標の記録を残しておくことで、次回以降の撮像装置を用いた対象物検出処理では歩行者等であると誤認識することを回避することができる。また、運転者が意識して情報の登録作業を行う必要が無く、安全に運転を続行することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態では、車両が走行中に、遠赤外線撮像装置（撮像装置）で撮像された画像に基づいて車両の前方に障害物、例えば歩行者、自転車等の対象物を検出する場合を例として説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る対象物検出システムの構成を示す模式図である。本実施の形態１では、走行中に車両周辺の画像を撮像する一組の遠赤外線撮像装置１、１を、車両前方の中央近傍のフロントグリル内（バンパー内でも可能）に搭載している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。

図１において、遠赤外線撮像装置１、１は、車両のフロントグリル内の左右方向の略対称な位置に並置してある。遠赤外線撮像装置１、１で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。

検出装置３には、操作部を備えた表示装置４が、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、また音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置が、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

また、車両の位置を検出するためにＧＰＳ通信することが可能な車両位置検出装置９を車両の天井部分に設けてある。車両位置検出装置９は、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して検出装置３に接続されており、車両の緯度情報及び経度情報を時系列的に送信する。

図２は、本発明の実施の形態１に係る対象物検出システムの遠赤外線撮像装置１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング（ｍｉｃｒｏｍａｃｈｉｎｉｎｇ）技術を用いた酸化バナジウムのボロメータ型、ＢＳＴ（Ｂａｒｉｕｍ−Ｓｔｒｏｎｔｉｕｍ−Ｔｉｔａｎｉｕｍ）の焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をＲＧＢ信号等のデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。

映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に画像データを出力する。

図３は、本発明の実施の形態１に係る対象物検出システムの検出装置３の構成を示すブロック図である。検出装置３は画像処理ＥＣＵであり、少なくとも映像入力部３１ａ、映像出力部３１ｂ、通信インタフェース部３１ｃ、画像メモリ３２、及びＲＡＭ３３１を内蔵するＬＳＩ３３で構成されている。

映像入力部３１ａは、遠赤外線撮像装置１、１から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１、１から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力する。

通信インタフェース部３１ｃは、車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。また、通信インタフェース部３１ｃは、車載ＬＡＮケーブル６を介して車両位置検出装置９から車両の位置を示す緯度情報及び経度情報を一定時間間隔で受信し、ＲＡＭ３３１に記憶する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１、１から入力された画像データを記憶する。

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、障害物候補領域を特定する。ＬＳＩ３３は、読み出した画像データの視差に基づいて、特定された障害物候補領域の代表点、例えば重心の位置座標を推算する。なお、障害物候補領域の代表点の位置座標は、左右に設置した撮像装置による視差に基づいて距離を算出して推算する方法に限定されるものではなく、例えば距離検出用のレーダ装置、超音波装置等を別途備え、直接求める方法であっても良い。レーダ装置、超音波装置等を備えている場合には、遠赤外線撮像装置１は１基設置していれば足りることは言うまでもない。

ＬＳＩ３３は、読み出した画像データに基づいて、障害物候補領域の特徴量を抽出し、抽出された特徴量に基づいて歩行者等の対象物が存在するか否かを判断する。ＬＳＩ３３が、歩行者等の対象物が存在すると判断した場合、ＬＳＩ３３は、歩行者等の対象物であると認識された対象物領域の代表点の位置座標、特徴量、及び算出の基礎となった画像データを撮像した時点の車両の位置座標をＲＡＭ３３１に記録する。

ＬＳＩ３３は、異なる時間帯に同一の車両位置で撮像された画像メモリ３２に記憶された画像データをフレーム単位で読出し、再度障害物候補領域を特定する。例えば記録してある対象物領域に関する情報の基礎となる画像データを撮像した時点が夜間である場合には、昼間に撮像された画像データを読み出す。ＬＳＩ３３は、読み出した画像データの視差に基づいて、特定された障害物候補領域の位置座標を推算し、ＲＡＭ３３１を照会して記録してある対象物領域の位置座標が相違しているか否かを判断する。

ＬＳＩ３３が両領域の位置座標が相違すると判断した場合、対象物検出結果が適切であった、すなわちＲＡＭ３３１に記録してある対象物領域に関する情報が歩行者に関する情報であったと判断する。位置座標が略一致すると判断した場合、ＬＳＩ３３は、歩行者等の対象物を検出したとの認識が誤りであったと判断し、ＲＡＭ３３１に記録してある対象物領域に関する情報が人工構造物等の静止物に関する情報であると判断する。

以下、本発明の実施の形態１に係る対象物検出システムの検出装置３のＬＳＩ３３の詳細な処理について説明する。図４及び図５は、本発明の実施の形態１に係る対象物検出システムの検出装置３のＬＳＩ３３の対象物検出情報の記録処理の手順を示すフローチャートである。

ＬＳＩ３３は、車両の位置座標（緯度情報及び経度情報）を車両位置検出装置９より取得する（ステップＳ４０１）。次いで、ＬＳＩ３３は、遠赤外線撮像装置１、１で撮像した画像データを取得する（ステップＳ４０２）。

そして、ＬＳＩ３３は、障害物候補領域を特定するべく、画像メモリ３２から取得した一方の遠赤外線撮像装置１で撮像された画像データを所定の大きさの小領域に分割する（ステップＳ４０３）。分割する小領域の設定方法は特に限定されるものではない。例えばｍ×ｎ（ｍ、ｎは自然数）画素からなる方形領域として設定しても良い。本実施の形態１では、３×３画素からなる方形領域として小領域を設定する。

ＬＳＩ３３は、分割された小領域を基準領域として、一方の遠赤外線撮像装置１で撮像された画像データ中の一の基準領域に対応する領域、すなわち同一の物体を指す領域（以下「対応領域」と呼ぶ）を、他方の遠赤外撮像装置１で撮像した画像データ中から探索する。具体的には、一方の遠赤外線撮像装置１で撮像した画像データ中の一の基準領域と、他方の遠赤外線撮像装置１で撮像した画像データ中の基準領域と同サイズの領域（以下「探索領域」と呼ぶ）との間で相関計算を行い（ステップＳ４０４）、相関値が所定値より大きいか否かを判断する（ステップＳ４０５）。

ＬＳＩ３３が、基準領域と探索領域との相関値が所定値より小さいと判断した場合（ステップＳ４０５：ＮＯ）、ＬＳＩ３３は、探索領域を変更し、処理をステップＳ４０４に戻して上述した処理を繰り返す。ＬＳＩ３３が、相関値が所定値より大きいと判断した場合（ステップＳ４０５：ＹＥＳ）、ＬＳＩ３３は探索領域を対応領域と見なし、基準領域と対応領域との視差を算出する（ステップＳ４０６）。具体的には、一方の遠赤外線撮像装置１、例えば右に設置した遠赤外線撮像装置１で撮像された画像中の基準領域と、該基準領域の対応領域、すなわち他方の遠赤外線撮像装置１、例えば左に設置した遠赤外線撮像装置１で撮像された画像中で相関値が所定値より大きい探索領域との視差を算出する（ステップＳ４０６）。

ＬＳＩ３３は、一方の遠赤外線撮像装置１で撮像された画像中のすべての基準領域について視差を算出したか否かを判断し（ステップＳ４０７）、ＬＳＩ３３が、未算出である基準領域が存在すると判断した場合（ステップＳ４０７：ＮＯ）、ＬＳＩ３３は、基準領域を変更して（ステップＳ４０８）、処理をステップＳ４０４へ戻し、上述した処理を繰り返す。ＬＳＩ３３が、画像中のすべての基準領域について視差を算出したと判断した場合（ステップＳ４０７：ＹＥＳ）、ＬＳＩ３３は、視差が略一致する隣接する小領域を結合して障害物候補領域として特定する（ステップＳ４０９）。

ＬＳＩ３３は、特定された障害物候補領域において、歩行者等の対象物が存在するか否かを判断するのに使用する特徴量を抽出し、判定規則に則って障害物候補領域が歩行者等の対象物を示す対象物領域か否かを判定する。例としては、障害物候補領域の画素データと、人間の標準的な温度分布を示すテンプレートの画素データとのパターンマッチングによる相関値を特徴量として算出し（ステップＳ４１０）、判定規則として設定した所定値より算出した相関値が大きいか否かを判断する（ステップＳ４１１）。ＬＳＩ３３が、相関値が所定値以下であると判断した場合（ステップＳ４１１：ＮＯ）、ＬＳＩ３３は、歩行者等の対象物の存在を示す対象物領域ではないものと判断し、ステップＳ４１０に戻って次の障害物候補領域に対して同様の処理を繰り返す。

ＬＳＩ３３が、相関値が所定値より大きいと判断した場合（ステップＳ４１１：ＹＥＳ）、ＬＳＩ３３は、該障害物候補領域が歩行者等の対象物を示す対象物領域であると判断して、算出した該対象物領域の代表点の位置座標、抽出された特徴量、及び該対象物領域を特定した画像データを取得した時点での車両の位置座標を、ＲＡＭ３３１に記録する（ステップＳ４１２）。

なお、ＬＳＩ３３が、歩行者等の対象物が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートの画素データと、障害物候補領域の画素データとをマッチングすることにより算出した相関値Ｒを用いる場合、相関値Ｒは（数１）に基づいて算出される。

（数１）において、Ｎはテンプレートの総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋはテンプレート内におけるｋ番目の画素の画素値を、Ｇｋは障害物候補領域におけるｋ番目の画素の画素値を、それぞれ示している。

なお、特定された障害物候補領域が歩行者等の対象物であると認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した相関値に限定されるものではなく、歩行者等の対象物であると認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者等の対象物であると認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。また、判定規則も閾値処理に限定されるものではなく、サポートベクターマシン、ブースティングなどの学習機械による判定を行っても良い。

ＬＳＩ３３が、該障害物候補領域が歩行者等の対象物の存在を示す対象物領域であると判断した場合、ＬＳＩ３３は、歩行者等の対象物を検出した旨を示す信号を表示装置４又は警報装置５へ出力する。表示装置４では、歩行者等の対象物を検出した旨を示す表示を出力する、警告表示を点滅させる等の警告表示を出力する。警報装置５では、ブザーの鳴動等によって歩行者等の対象物の存在を運転者へ報知する。

図６及び図７は、本発明の実施の形態１に係る対象物検出システムの検出装置３のＬＳＩ３３の誤認識回避処理の手順を示すフローチャートである。ＬＳＩ３３は、車両の位置座標を車両位置検出装置９から取得し（ステップＳ６０１）、ＲＡＭ３３１に記録してある車両の位置座標と略一致しているか否かを判断する（ステップＳ６０２）。ＬＳＩ３３が、相違していると判断した場合（ステップＳ６０２：ＮＯ）、ＬＳＩ３３は、ステップＳ６０１へ戻り、車両の位置座標を取得する。ＬＳＩ３３が、略一致していると判断した場合（ステップＳ６０２：ＹＥＳ）、ＬＳＩ３３は、遠赤外線撮像装置１、１で撮像した画像データを取得する（ステップＳ６０３）。

車両が同一の位置を異なる時間に走行する場合に、前回歩行者等の対象物の存在を検出した位置に同じ特徴量を有する障害物候補領域が存在することはほとんどない。歩行者等は移動するからである。しかし、歩行者等と類似した温度分布を示す道路脇の電柱、街灯のポール、自動販売機等の人工構造物を検出している場合には、撮像した時間が異なる場合であっても略同一の位置に略同一の特徴量を有する対象物を検出することになる。

したがって、車両が同一の位置を異なる時間に走行する場合に、前回歩行者等の対象物の存在を検出した位置に同じ特徴量を有する障害物候補領域が存在するときには、前回歩行者等の対象物の存在を検出したこと自体が誤りであるものと判断し、前回の対象物領域の位置及び特徴量の記録を残しておくことにより、次回以降歩行者等の対象物であると誤認識することを回避することができる。逆に車両が同一の位置を異なる時間に走行する場合に、前回歩行者等の対象物であると検出した位置に同じ特徴量を有する障害物候補領域が存在しないときには、前回歩行者等の対象物の存在を検出したことは正しいものと判断し、ＲＡＭ３３１に記録してある対象物領域の位置及び特徴量を削除する。

上述の処理を具現化すべくＬＳＩ３３は、画像メモリ３２から取得した画像データを所定の大きさの小領域に分割する（ステップＳ６０４）。分割する小領域の設定方法は特に限定されるものではない。例えばｍ×ｎ（ｍ、ｎは自然数）画素からなる方形領域として設定しても良い。本実施の形態１では、３×３画素からなる方形領域として小領域を設定する。

ＬＳＩ３３は、分割された小領域を基準領域として、一方の遠赤外線撮像装置１で撮像された画像データ中の基準領域と、他方の遠赤外線撮像装置１で撮像された画像データ中の探索領域との間で正規相互相関値を算出して（ステップＳ６０５）、相関値が所定値より大きい探索領域が存在するか否かを判断する（ステップＳ６０６）。

ＬＳＩ３３が、所定値より大きい探索領域が存在しないと判断した場合（ステップＳ６０６：ＮＯ）、ＬＳＩ３３は、探索領域を変更し、処理をステップＳ６０５へ戻して上述した処理を繰り返す。ＬＳＩ３３が、所定値より大きい探索領域が存在すると判断した場合（ステップＳ６０６：ＹＥＳ）、ＬＳＩ３３は、基準領域と該探索領域間の視差、すなわち一方の遠赤外線撮像装置１、例えば右に設置した遠赤外線撮像装置１で撮像された画像中の基準領域と、該基準領域に対応する他方の遠赤外線撮像装置１、例えば左に設置した遠赤外線撮像装置１で撮像された画像中で相関値が所定値より大きい探索領域との視差を算出する（ステップＳ６０７）。

ＬＳＩ３３は、画像中のすべての小領域について視差を算出したか否かを判断し（ステップＳ６０８）、ＬＳＩ３３が、未算出である小領域が存在すると判断した場合（ステップＳ６０８：ＮＯ）、ＬＳＩ３３は、小領域を変更して（ステップＳ６０９）、処理をステップＳ６０５へ戻し、上述した処理を繰り返す。ＬＳＩ３３が、画像中のすべての小領域について視差を算出したと判断した場合（ステップＳ６０８：ＹＥＳ）、ＬＳＩ３３は、視差が略一致する隣接する小領域を結合して障害物候補領域として特定する（ステップＳ６１０）。

次いで、ＬＳＩ３３は、障害物候補領域までの距離を、左右の撮像装置の視差画像に基づいて推算することにより、障害物候補領域の重心位置（代表点）の位置座標を推算する（ステップＳ６１１）。もちろん、レーザ装置、超音波装置等により実際に存在する障害物までの距離、及び障害物の代表点の位置座標を直接求めても良い。

次いで、ＬＳＩ３３は、推算した障害物候補領域の位置座標が、ＲＡＭ３３１に記録してある対象物領域の位置座標と相違するか否かを判断する（ステップＳ６１２）。ＬＳＩ３３が、相違すると判断した場合（ステップＳ６１２：ＹＥＳ）、ＬＳＩ３３は、前回歩行者等の対象物の存在を検出した処理が正しい処理であったと判断し、ＲＡＭ３３１に記録してある対象物領域の位置座標、該対象物領域に対応する画像データの特徴量、及び該対象物領域を特定した画像データを取得した時点の車両の位置座標を削除する（ステップＳ６１３）。なお、位置座標が相違するか否かは、ＲＡＭ３３１に記録してある対象物領域の位置座標から所定の範囲内に、推算した障害物候補領域の位置座標が含まれるか否かで判断する。

ＬＳＩ３３が、略一致すると判断した場合（ステップＳ６１２：ＮＯ）、ＬＳＩ３３は、前回歩行者等の対象物の存在を検出した処理が誤っており、検出したのは人工構造物であるものと判断し、ＲＡＭ３３１の該対象物領域の記録を残す（ステップＳ６１４）。次回以降、ＲＡＭ３３１に記録してある対象物領域の位置座標、該対象物領域に対応する画像データの特徴量、及び該対象物領域を特定した画像データを取得した時点の車両の位置座標と照合することにより、明らかに歩行者等の対象物ではなく人工的な構造物である対象物を、歩行者等の対象物であると誤認識することを未然に回避することが可能となる。したがって、ＬＳＩ３３は、歩行者等の対象物の存在を検出した旨を示す信号を表示装置４又は警報装置５へ出力することがなく、運転者は不要な警告表示、警報の鳴動等に煩わされることなく安全に運転することができる。

以上のように本実施の形態１によれば、一度歩行者等の対象物であると認識された対象物領域が、別個のタイミングでは歩行者等の対象物ではないと認識された場合には、歩行者等の対象物であるとの認識自体が誤りであるものと判断し、該対象物領域の位置座標、特徴量、及び該対象物領域を特定した画像データを取得した車両の位置座標を記録しておくことで、次回以降の対象物検出処理では歩行者等の対象物であると誤認識することを回避することができる。また、運転者が意識して情報の登録作業を行う必要が無く、安全に運転を続行することが可能となる。

なお、上述した実施の形態１において、検出装置３のＬＳＩ３３が上述した処理を実行しているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

また、上述のように障害物候補領域の代表点の位置座標と対象物領域の代表点の位置座標とが略一致するか否かで判断することに限定されるものではなく、例えば障害物候補領域の特徴量と対象物領域の特徴量とが略一致するか否かの判断を併用しても良いことは言うまでも無い。
更に、実施の形態１では、遠赤外線撮像装置を備えた場合を説明したが、撮像可能な波長帯域が遠赤外線撮像装置と異なる可視光撮像装置、近赤外線撮像装置等の他の撮像装置を備えても良い。但し、赤外線撮像装置を備えた方が、赤外線を放射する歩行者等以外の静止物を誤認識する可能性が低いため、より好適である。

（実施の形態２）
図８は、本発明の実施の形態２に係る対象物検出システムの構成を示す模式図である。本実施の形態２では、走行中に車両周辺の画像を撮像する一組の遠赤外線撮像装置１、１（第１撮像装置）及び近赤外線撮像装置２、２（第２撮像装置）を、車両前方の中央近傍のフロントグリル内（バンパー内でも可能）に搭載している。なお、遠赤外線撮像装置１、１は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置であり、近赤外線撮像装置２、２は、波長が０．８〜３マイクロメートルの赤外光を用いた撮像装置である。また、近赤外線撮像装置２、２の代わりに、波長が０．４〜０．８マイクロメートルの可視光を用いた可視光撮像装置を備えていても良い。

図８において、遠赤外線撮像装置１、１及び近赤外線撮像装置２、２は、車両のフロントグリル内の左右方向の略対称な位置に並置してある。遠赤外線撮像装置１、１及び近赤外線撮像装置２、２で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して接続してある検出装置３へ送信される。

検出装置３には、遠赤外線撮像装置１、１、近赤外線撮像装置２、２の他、操作部を備えた表示装置４が、ＮＴＳＣ、ＶＧＡ、ＤＶＩ等の映像方式に対応したケーブル８を介して接続されており、また音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置が、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して接続されている。

また、車両の位置を検出するためにＧＰＳ通信することが可能な車両位置検出装置９を車両の天井部分に設けてある。車両位置検出装置９は、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して検出装置３に接続されており、車両の緯度情報及び経度情報を時系列的に送信する。

画像撮像部１１は、光学信号を電気信号に変換する撮像素子をマトリックス状に備えている。赤外光用の撮像素子としては、マイクロマシニング技術を用いた酸化バナジウムのボロメータ型、ＢＳＴの焦電型等の赤外線センサを用いている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩであり、画像撮像部１１から受信した輝度信号をＲＧＢ信号等のデジタル信号に変換し、撮像素子のばらつきを補正する処理、欠陥素子の補正処理、ゲイン制御処理等を行い、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接検出装置３へ送信しても良いことは言うまでもない。

映像出力部１４は、ＬＳＩであり、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル７を介して検出装置３に画像データを出力する。

近赤外線撮像装置２の構成は、遠赤外線撮像装置１と同様であり、撮像素子として用いるＣＣＤ、ＣＭＯＳ等の赤外線センサが検出可能な赤外光の波長が、０．８〜３マイクロメートルの近赤外光である点のみが相違している。

図９は、本発明の実施の形態２に係る対象物検出システムの検出装置３の構成を示すブロック図である。検出装置３は画像処理ＥＣＵであり、少なくとも映像入力部３１ａ、映像出力部３１ｂ、通信インタフェース部３１ｃ、画像メモリ３２、及びＲＡＭ３３１を内蔵するＬＳＩ３３で構成されている。

映像入力部３１ａは、遠赤外線撮像装置１、１及び近赤外線撮像装置２、２から映像信号の入力を行う。映像入力部３１ａは、遠赤外線撮像装置１、１及び近赤外線撮像装置２、２から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３１ｂは、映像ケーブル８を介して液晶ディスプレイ等の表示装置４に対して画像データを出力する。

通信インタフェース部３１ｃは、車載ＬＡＮケーブル６を介してブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。また、通信インタフェース部３１ｃは、車載ＬＡＮケーブル６を介して車両位置検出装置９から車両の位置を示す緯度情報及び経度情報を一定時間間隔で受信し、ＲＡＭ３３１に記憶する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３１ａを介して遠赤外線撮像装置１、１及び近赤外線撮像装置２、２から入力された画像データを記憶する。

画像処理を行うＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、障害物候補領域を特定する。ＬＳＩ３３は、所定の条件、例えば周囲の明るさが一定以上であるか否かに基づいて遠赤外線撮像装置１、１から取得した画像データを読み出すか、又は近赤外線撮像装置２、２から画像データを読み出すかを切り替え、読み出した画像データの視差に基づいて、特定された障害物候補領域の代表点、例えば重心の位置座標を推算する。なお、障害物候補領域の代表点の位置座標は、左右に設置した撮像装置による視差に基づいて距離を算出して推算する方法に限定されるものではなく、例えば距離検出用のレーダ装置、超音波装置等を別途備え、直接求める方法であっても良い。レーダ装置、超音波装置等を備えている場合には、遠赤外線撮像装置１及び近赤外線撮像装置２はそれぞれ１基設置していれば足りることは言うまでもない。

ＬＳＩ３３は、読み出した画像データに基づいて、障害物候補領域の特徴量を抽出し、抽出された特徴量に基づいて歩行者等の対象物が存在するか否かを判断する。ＬＳＩ３３が、歩行者等の対象物が存在すると判断した場合、ＬＳＩ３３は、歩行者等の対象物であると認識された対象物領域の代表点の位置座標、特徴量、及び算出の基礎となった画像データを撮像した時点の車両の位置座標をＲＡＭ３３１に記憶する。

ＬＳＩ３３は、異なる時間帯に同一の車両位置で撮像された画像メモリ３２に記憶された画像データをフレーム単位で読出し、再度障害物候補領域を特定する。例えば記録してある対象物領域に関する情報の基礎となる画像データを撮像した時点が夜間である場合には、昼間に撮像された画像データを読み出す。ＬＳＩ３３は、読み出した画像データの視差に基づいて、特定された障害物候補領域の位置座標を推算し、ＲＡＭ３３１を照会して記録してある対象物領域の位置座標が相違しているか否かを判断する。

ＬＳＩ３３が両領域の位置座標が相違すると判断した場合、対象物検出結果が適切であった、すなわちＲＡＭ３３１に記録してある対象物領域に関する情報が歩行者に関する情報であったと判断する。位置座標が略一致すると判断した場合、ＬＳＩ３３は、歩行者等の対象物を検出したとの認識が誤りであったと判断し、ＲＡＭ３３１に記録してある対象物領域に関する情報が人工構造物等の静止物に関する情報であると判断する。

以下、本発明の実施の形態２に係る対象物検出システムの検出装置３のＬＳＩ３３の詳細な処理について説明する。図１０及び図１１は、本発明の実施の形態２に係る対象物検出システムの検出装置３のＬＳＩ３３の対象物検出情報の記録処理の手順を示すフローチャートである。

ＬＳＩ３３は、車両の位置座標（緯度情報及び経度情報）を車両位置検出装置９より取得し（ステップＳ１００１）、外部に設けてある各種のセンサによる検出値、車両のヘッドライトのオンオフ情報、画像データの輝度値の平均値等の条件判断情報を取得し（ステップＳ１００２）、取得した条件判断情報に基づいて所定の条件を具備しているか否かを判断する（ステップＳ１００３）。ＬＳＩ３３が、所定の条件を具備していると判断した場合（ステップＳ１００３：ＹＥＳ）、ＬＳＩ３３は、近赤外線撮像装置２、２で撮像した画像データを取得し（ステップＳ１００４）、ＬＳＩ３３が、所定の条件を具備していないと判断した場合（ステップＳ１００３：ＮＯ）、ＬＳＩ３３は、遠赤外線撮像装置１、１で撮像した画像データを取得する（ステップＳ１００５）。

所定の条件を具備しているか否かを判断する判断基準は特に限定されるものではない。例えば車両の周囲の照度を検出する照度センサ（図示せず）を車両に設置しておき、照度センサの出力値が所定値より大きい場合に条件を具備するものと判断する。すなわち、出力された照度が所定値より大きい場合には昼間であると判断し、近赤外線撮像装置２、２で撮像した画像データを取得する。出力された照度が所定値以下である場合には夜間であると判断し、遠赤外線撮像装置１、１で撮像された画像データを取得する。

また、車両のヘッドライトのスイッチがオフ状態である場合に条件を具備していると判断しても良い。この場合、車両のヘッドライトのスイッチがオン状態である場合には夜間であると判断し、遠赤外線撮像装置１、１で撮像された画像データを取得する。車両のヘッドライトのスイッチがオフ状態である場合には昼間であると判断し、近赤外線撮像装置２、２で撮像された画像データを取得する。

さらに、近赤外線撮像装置２、２で撮像された画像データの輝度値の平均値を算出して、算出された平均値が所定値より大きい場合に条件を具備していると判断しても良い。この場合、算出された平均値が所定値より大きい場合には昼間であると判断し、近赤外線撮像装置２、２で撮像された画像データを取得する。算出された平均値が所定値以下である場合には夜間であると判断し、遠赤外線撮像装置１、１で撮像された画像データを取得する。

このように画像データを取得する撮像装置を切り替えることにより、車両の周囲の明るさが一定以上である場合、例えば昼間には、可視光撮像装置又は近赤外線撮像装置２，２を用いることで、障害物候補領域の特定を行うことができ、夜間走行時の認識結果を検証することができる。また、車両の周囲の明るさが一定以下である場合、例えば夜間には、遠赤外線撮像装置１，１を用いることにより、可視光線撮像装置又は近赤外線撮像装置２，２では確認することができない対象物の存在も確実に検出することが可能となる。

ＬＳＩ３３は、障害物候補領域を特定するべく、画像メモリ３２から取得した一方の遠赤外線撮像装置１で撮像された画像データを所定の大きさの小領域に分割する（ステップＳ１００６）。

ＬＳＩ３３は、分割された小領域を基準領域として、一方の遠赤外線撮像装置１で撮像された画像データ中の一の基準領域に対応する領域、すなわち同一の物体を指す対応領域を、他方の遠赤外撮像装置１で撮像した画像データ中から探索する。具体的には、一方の遠赤外線撮像装置１で撮像した画像データ中の一の基準領域と、他方の遠赤外線撮像装置１で撮像した画像データ中の基準領域と同サイズの探索領域の間で相関計算を行い（ステップＳ１００７）、相関値が所定値より大きいか否かを判断する（ステップＳ１００８）。

ＬＳＩ３３が、基準領域と探索領域との相関値が所定値より小さいと判断した場合（ステップＳ１００８：ＮＯ）、ＬＳＩ３３は、探索領域を変更し、処理をステップＳ１００７に戻して上述した処理を繰り返す。ＬＳＩ３３が、相関値が所定値より大きいと判断した場合（ステップＳ１００８：ＹＥＳ）、ＬＳＩ３３は探索領域を対応領域と見なし、基準領域と該探索領域との視差を算出する（ステップＳ１００９）。

ＬＳＩ３３は、一方の遠赤外線撮像装置１で撮像された画像中のすべての基準領域について視差を算出したか否かを判断し（ステップＳ１０１０）、ＬＳＩ３３が、未算出である基準領域が存在すると判断した場合（ステップＳ１０１０：ＮＯ）、ＬＳＩ３３は、基準領域を変更して（ステップＳ１０１１）、処理をステップＳ１００７へ戻し、上述した処理を繰り返す。ＬＳＩ３３が、画像中のすべての基準領域について視差を算出したと判断した場合（ステップＳ１０１０：ＹＥＳ）、ＬＳＩ３３は、視差が略一致する隣接する小領域を結合して障害物候補領域として特定する（ステップＳ１０１２）。

ＬＳＩ３３は、特定された障害物候補領域において、歩行者等の対象物が存在するか否かを判断するのに使用する特徴量を抽出し、判定規則に則って障害物候補領域が歩行者等の対象物を示す対象物領域か否かを判定する。例としては、障害物候補領域の画素データと、人間の標準的な温度分布を示すテンプレートの画素データとのパターンマッチングによる相関値を特徴量として算出し（ステップＳ１０１３）、判定規則として設定した所定値より算出した相関値が大きいか否かを判断する（ステップＳ１０１４）。ＬＳＩ３３が、相関値が所定値以下であると判断した場合（ステップＳ１０１４：ＮＯ）、ＬＳＩ３３は、歩行者等の対象物の存在を示す対象物領域ではないものと判断し、ステップＳ１０１３に戻って次の障害物候補領域に対して同様の処理を繰り返す。

ＬＳＩ３３が、相関値が所定値より大きいと判断した場合（ステップＳ１０１４：ＹＥＳ）、ＬＳＩ３３は、該障害物候補領域が歩行者等の対象物を示す対象物領域であると判断して、算出した該対象物領域の代表点の位置座標、抽出された特徴量、及び該対象物領域を特定した画像データを取得した時点での車両の位置座標を、ＲＡＭ３３１に記録する（ステップＳ１０１５）。

図１２及び図１３は、本発明の実施の形態２に係る対象物検出システムの検出装置３のＬＳＩ３３の誤認識回避処理の手順を示すフローチャートである。ＬＳＩ３３は、車両の位置座標を車両位置検出装置９から取得し（ステップＳ１２０１）、ＲＡＭ３３１に記録してある車両の位置座標と略一致しているか否かを判断する（ステップＳ１２０２）。ＬＳＩ３３が、相違していると判断した場合（ステップＳ１２０２：ＮＯ）、ＬＳＩ３３は、ステップＳ１２０１へ戻り、車両の位置座標を取得する。ＬＳＩ３３が、略一致していると判断した場合（ステップＳ１２０２：ＹＥＳ）、ＬＳＩ３３は、外部に設けてある各種のセンサによる検出値、車両のヘッドライトのオンオフ情報、画像データの輝度値の平均値等の条件判断情報を取得し（ステップＳ１２０３）、取得した条件判断情報に基づいて所定の条件を具備しているか否かを判断する（ステップＳ１２０４）。

ＬＳＩ３３が、所定の条件を具備していると判断した場合（ステップＳ１２０４：ＹＥＳ）、ＬＳＩ３３は、近赤外線撮像装置２、２で撮像した画像データを取得し（ステップＳ１２０５）、ＬＳＩ３３が、所定の条件を具備していないと判断した場合（ステップＳ１２０４：ＮＯ）、ＬＳＩ３３は、遠赤外線撮像装置１、１で撮像した画像データを取得する（ステップＳ１２０６）。

車両が同一の位置を異なる時間に走行する場合に、前回歩行者等の対象物の存在を検出した位置に同じ特徴量を有する障害物候補領域が存在することはほとんどない。歩行者等は移動するからである。しかし、歩行者等と類似した温度分布を示す道路脇の電柱、街灯のポール、自動販売機等の人工構造物を検出している場合には、撮像した時間が異なる場合であっても略同一の位置に略同一の特徴量を有する対象物を検出することになる。

したがって、車両が同一の位置を異なる時間に走行する場合に、前回歩行者等の対象物の存在を検出した位置に同じ特徴量を有する障害物候補領域が存在するときには、前回歩行者等の対象物の存在を検出したこと自体が誤りであるものと判断し、前回の対象物領域の位置及び特徴量の記録を残しておくことにより、次回以降歩行者等の対象物であると誤認識することを回避することができる。逆に車両が同一の位置を異なる時間に走行する場合に、前回歩行者等の対象物であると検出した位置に同じ特徴量を有する障害物候補領域が存在しないときには、前回歩行者等の対象物の存在を検出したことは正しいものと判断し、ＲＡＭ３３１に記録してある対象物領域の位置及び特徴量を削除する。

上述の処理を具現化すべくＬＳＩ３３は、画像メモリ３２から取得した画像データを所定の大きさの小領域に分割する（ステップＳ１２０７）。

ＬＳＩ３３は、分割された小領域を基準領域として、一方の遠赤外線撮像装置１で撮像された画像データ中の基準領域と、他方の遠赤外線撮像装置１で撮像された画像データ中の探索領域との間で正規相互相関値を算出して（ステップＳ１２０８）、相関値が所定値より大きい探索領域が存在するか否かを判断する（ステップＳ１２０９）。

ＬＳＩ３３が、所定値より大きい探索領域が存在しないと判断した場合（ステップＳ１２０９：ＮＯ）、ＬＳＩ３３は、基準領域を変更し、処理をステップＳ１２０８へ戻して上述した処理を繰り返す。ＬＳＩ３３が、所定値より大きい探索領域が存在すると判断した場合（ステップＳ１２０９：ＹＥＳ）、ＬＳＩ３３は、基準領域と該探索領域間の視差、すなわち一方の遠赤外線撮像装置１、例えば右に設置した遠赤外線撮像装置１で撮像された画像中の基準領域と、該基準領域に対応する他方の遠赤外線撮像装置１、例えば左に設置した遠赤外線撮像装置１で撮像された画像中で相関値が所定値より大きい基準領域との視差を算出する（ステップＳ１２１０）。

ＬＳＩ３３は、画像中のすべての小領域について視差を算出したか否かを判断し（ステップＳ１２１１）、ＬＳＩ３３が、未算出である小領域が存在すると判断した場合（ステップＳ１２１１：ＮＯ）、ＬＳＩ３３は、小領域を変更して（ステップＳ１２１２）、処理をステップＳ１２０８へ戻し、上述した処理を繰り返す。ＬＳＩ３３が、画像中のすべての小領域について視差を算出したと判断した場合（ステップＳ１２１１：ＹＥＳ）、ＬＳＩ３３は、視差が略一致する隣接する小領域を結合して障害物候補領域として特定する（ステップＳ１２１３）。

次いで、ＬＳＩ３３は、障害物候補領域までの距離を、左右の撮像装置の視差画像に基づいて推算することにより、障害物候補領域の重心位置（代表点）の位置座標を推算する（ステップＳ１２１４）。

そして、ＬＳＩ３３は、推算した障害物候補領域の位置座標が、ＲＡＭ３３１に記録してある対象物領域の位置座標と相違するか否かを判断する（ステップＳ１２１５）。ＬＳＩ３３が、相違すると判断した場合（ステップＳ１２１５：ＹＥＳ）、ＬＳＩ３３は、前回歩行者等の対象物の存在を検出した処理が正しい処理であったと判断し、ＲＡＭ３３１に記録してある対象物領域の位置座標、該対象物領域に対応する画像データの特徴量、及び該対象物領域を特定した画像データを取得した時点の車両の位置座標を削除する（ステップＳ１２１６）。なお、位置座標が相違するか否かは、ＲＡＭ３３１に記録してある対象物領域の位置座標から所定の範囲内に、推算した障害物候補領域の位置座標が含まれるか否かで判断する。

ＬＳＩ３３が、略一致すると判断した場合（ステップＳ１２１５：ＮＯ）、ＬＳＩ３３は、前回歩行者等の対象物の存在を検出した処理が誤っており、検出したのは人工構造物であるものと判断し、ＲＡＭ３３１の該対象物領域の記録を残す（ステップＳ１２１７）。次回以降、ＲＡＭ３３１に記録してある対象物領域の位置座標、該対象物領域に対応する画像データの特徴量、及び該対象物領域を特定した画像データを取得した時点の車両の位置座標と照合することにより、明らかに歩行者等の対象物ではなく人工的な構造物である対象物を、歩行者等の対象物であると誤認識することを未然に回避することが可能となる。したがって、ＬＳＩ３３は、歩行者等の対象物の存在を検出した旨を示す信号を表示装置４又は警報装置５へ出力することがなく、運転者は不要な警告表示、警報の鳴動等に煩わされることなく安全に運転することができる。

以上のように本実施の形態２によれば、一度歩行者等の対象物であると認識された対象物領域が、別個のタイミングでは歩行者等の対象物ではないと認識された場合には、歩行者等の対象物であるとの認識自体が誤りであるものと判断し、該対象物領域の位置座標、特徴量、及び該対象物領域を特定した画像データを取得した車両の位置座標を記録しておくことで、次回以降の対象物検出処理では歩行者等の対象物であると誤認識することを回避することができる。また、運転者が意識して情報の登録作業を行う必要が無く、安全に運転を続行することが可能となる。
なお、実施の形態２では、遠赤外線撮像装置及び近赤外線撮像装置を備えた場合を説明したが、撮像可能な波長帯域が異なる２つの撮像装置を備えても良い。例えば、可視光撮像装置、遠赤外線撮像装置、近赤外線撮像装置のいずれか二つを備えても良い。但し、遠赤外線撮像装置及び近赤外線撮像装置を備えた方が、赤外線を放射する歩行者等以外の静止物を誤認識する可能性が低いため、より好適である。

実施の形態２に係る対象物検出システムの他の構成、作用及び効果は、実施の形態１に係る対象物検出システムの構成、作用及び効果と同様であるため、対応する箇所には同様の符号を付してその詳細な説明を省略する。

本発明の実施の形態１に係る対象物検出システムの構成を示す模式図である。 本発明の実施の形態１に係る対象物検出システムの遠赤外線撮像装置の構成を示すブロック図である。 本発明の実施の形態１に係る対象物検出システムの検出装置の構成を示すブロック図である。 本発明の実施の形態１に係る対象物検出システムの検出装置のＬＳＩの対象物検出情報の記録処理の手順を示すフローチャートである。 本発明の実施の形態１に係る対象物検出システムの検出装置のＬＳＩの対象物検出情報の記録処理の手順を示すフローチャートである。 本発明の実施の形態１に係る対象物検出システムの検出装置のＬＳＩの誤認識回避処理の手順を示すフローチャートである。 本発明の実施の形態１に係る対象物検出システムの検出装置のＬＳＩの誤認識回避処理の手順を示すフローチャートである。 本発明の実施の形態２に係る対象物検出システムの構成を示す模式図である。 本発明の実施の形態２に係る対象物検出システムの検出装置の構成を示すブロック図である。 本発明の実施の形態２に係る対象物検出システムの検出装置のＬＳＩの対象物検出情報の記録処理の手順を示すフローチャートである。 本発明の実施の形態２に係る対象物検出システムの検出装置のＬＳＩの対象物検出情報の記録処理の手順を示すフローチャートである。 本発明の実施の形態２に係る対象物検出システムの検出装置のＬＳＩの誤認識回避処理の手順を示すフローチャートである。 本発明の実施の形態２に係る対象物検出システムの検出装置のＬＳＩの誤認識回避処理の手順を示すフローチャートである。

符号の説明

１ 遠赤外線撮像装置
２ 近赤外線撮像装置
３ 検出装置
４ 表示装置
５ 警報装置
６ 車載ＬＡＮケーブル
７ 映像ケーブル
８ ケーブル
９ 車両位置検出装置
３１ａ 映像入力部
３１ｂ 映像出力部
３１ｃ 通信インタフェース部
３２ 画像メモリ
３３ ＬＳＩ
３３１ ＲＡＭ

Claims (6)

1. 車両の周辺を撮像する撮像装置と、該撮像装置で撮像した画像を取得して画像中に含まれる対象物を検出する検出装置とを備える対象物検出システムにおいて、
   車両の位置情報を検出する車両位置検出装置を備え、
   前記検出装置は、
   前記撮像装置から取得した一の画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、
   特定された障害物候補領域に対応する一の画像データの特徴量に基づいて対象物に相当する対象物領域であるか否かを判断する手段と、
   該手段で対象物領域であると判断した場合、該対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を記録する手段と、
   前記一の画像データを取得した時点から異なる時点で、記録してある車両の位置情報に対応する位置にて、他の画像データを取得する手段と、
   該他の画像データに基づいて障害物候補領域を再特定する手段と、
   再特定された障害物候補領域の位置座標、及び記録してある対象物領域の位置座標が略一致しているか否かを判断する手段と、
   該手段で略一致していないと判断した場合、記録してある前記対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を削除する手段と
   を備え、
   記録された対象物領域の位置座標及び車両の位置情報に基づいて、対象物の誤認識を防止するようにしてあることを特徴とする対象物検出システム。
2. 車両の周辺を撮像する第１撮像装置と、該第１撮像装置で撮像した画像を取得して画像中に含まれる対象物を検出する検出装置とを備える対象物検出システムにおいて、
   車両の位置情報を検出する車両位置検出装置と、
   撮像可能な波長帯域が前記第１撮像装置と異なる第２撮像装置と
   を備え、
   前記検出装置は、
   前記第１撮像装置から取得した一の画像データに基づいて障害物候補領域を特定する障害物候補領域特定手段と、
   特定された障害物候補領域に対応する一の画像データの特徴量に基づいて対象物に相当する対象物領域であるか否かを判断する手段と、
   該手段で対象物領域であると判断した場合、該対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を記録する手段と、
   所定の条件を具備している場合、前記第２撮像装置を選択し、前記所定の条件を具備していない場合、前記第１撮像装置を選択する手段と、
   選択された前記第１撮像装置又は第２撮像装置で、記録してある車両の位置情報に対応する位置にて、前記第１撮像装置で一の画像データを取得した時点と異なる時点での他の画像データを取得する手段と、
   前記他の画像データに基づいて障害物候補領域を再特定する手段と、
   再特定された障害物候補領域の位置座標、及び記録してある対象物領域の位置座標が略一致しているか否かを判断する手段と、
   該手段で略一致していないと判断した場合、記録してある前記対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を削除する手段と
   を備え、
   記録された対象物領域の位置座標及び車両の位置情報に基づいて、対象物の誤認識を防止するようにしてあることを特徴とする対象物検出システム。
3. 前記第１撮像装置は遠赤外線撮像装置、前記第２撮像装置は、可視光撮像装置又は近赤外線撮像装置であり、
   周囲の照度を検出する照度センサを備え、
   前記所定の条件を具備しているか否かの判断基準は、前記照度センサの検出値が所定値を超えたか否かであり、
   前記照度センサの検出値が所定値を超えていると判断された場合、前記第２撮像装置を選択し、所定値以下であると判断された場合、前記第１撮像装置を選択するようにしてあることを特徴とする請求項２に記載の対象物検出システム。
4. 前記第１撮像装置は遠赤外線撮像装置、前記第２撮像装置は、可視光撮像装置又は近赤外線撮像装置であり、
   車両のヘッドライトをオンオフするスイッチを備え、
   前記所定の条件を具備しているか否かの判断基準は、前記スイッチがオフ状態であるか否かであり、
   前記スイッチがオフ状態であると判断された場合、前記第２撮像装置を選択し、前記スイッチがオン状態であると判断された場合、前記第１撮像装置を選択するようにしてあることを特徴とする請求項２記載の対象物検出システム。
5. 前記第１撮像装置は遠赤外線撮像装置、前記第２撮像装置は、可視光撮像装置又は近赤外線撮像装置であり、
   前記所定の条件を具備しているか否かの判断基準は、前記第２撮像装置で撮像された画像の輝度値の平均値が所定値を超えているか否かであり、
   輝度値の平均値が所定値を超えていると判断された場合、前記第２撮像装置を選択し、前記平均値が所定値以下であると判断された場合、前記第１撮像装置を選択するようにしてあることを特徴とする請求項２記載の対象物検出システム。
6. 車両の周辺を撮像する撮像装置で撮像した画像を取得して画像中に含まれる対象物を検出する対象物検出方法において、
   前記撮像装置から取得した一の画像データに基づいて障害物候補領域を特定し、
   特定された障害物候補領域に対応する一の画像データの特徴量に基づいて対象物に相当する対象物領域であるか否かを判断し、
   対象物領域であると判断した場合、該対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を記録し、
   前記一の画像データを取得した時点から異なる時点で、記録してある車両の位置情報に対応する位置にて、他の画像データを取得し、
   該他の画像データに基づいて障害物候補領域を再特定し、
   再特定された障害物候補領域の位置座標、及び記録してある対象物領域の位置座標が略一致しているか否かを判断し、
   略一致していないと判断した場合、記録してある前記対象物領域の位置座標、及び該対象物領域を特定した一の画像データを取得した時点の車両の位置情報を削除することを特徴とする対象物検出方法。

Images