JP5530530B2 - 車両の周辺監視装置 - Google Patents

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺を監視するに際し、所望の種別の対象物を、簡易かつ効率的に区別して検出することが可能な装置に関する。

従来より、車両の周辺に存在する様々な対象物を抽出する装置が提案されている。下記の特許文献１には、車両に１つの赤外線カメラを搭載し、該カメラで得られた画像内に、対象物の動きが比較的少ない部分が存在する領域として局所領域を設定し、該局所領域のサイズの時間的な変化率に基づいて、車両から該対象物までの距離を測定する手法が記載されている。

特許第４４８６９９７号

上記の手法では、対象物の動きが比較的少ない部分が存在する領域として、頭部を含む歩行者の上半身の領域が、局所領域として設定されている。歩行者のような生体の頭部は、比較的高温であるため、たとえば遠赤外線カメラのような撮像装置を用いて検出しやすい。該局所領域を用いることにより、１つの撮像装置でも、対象物までの距離を良好に測定することができる。

しかしながら、車両の周辺には、たとえば街灯のような、歩行者の頭部と類似の形状を持つ熱源が存在しうる。上記のように遠赤外線カメラを用いても、該街灯のような人工構造物を、歩行者のような生体として誤って検出してしまうおそれがある。

したがって、この発明は、所望の種別の対象物以外のものを、該所望の種別の対象物として誤って検出する可能性を低減し、該所望の種別の対象物の検出精度を向上させることを目的とする。

この発明の一つの側面によると、車両周辺監視装置は、車両に搭載され、該車両の周辺を撮像する撮像手段と、該撮像された画像において、所望の種別の対象物の所定の部位に相当する可能性のある画像領域を抽出する手段と、前記抽出された画像領域の下方に所定の領域を設定する手段と、前記所定の領域に基づいて、車両外に存在する前記所望の種別の対象物候補を抽出する対象物候補抽出手段と、前記抽出された対象物候補のそれぞれについて、該対象物候補が、前記所望の種別の対象物かどうかを判定する判定手段と、を備える。ここで、対象物候補抽出手段は、前記所定の領域内に、背景とは異なるパターンが撮像されていないとき、および、前記所定の領域を、前記撮像された画像の左右方向に第１および第２の領域に二分し、該第１および第２の領域のいずれか一方にのみ、背景とは異なるパターンが撮像されているとき、該所定の領域に対応する前記画像領域内の対象物を、前記所望の種別の対象物候補から除外する。

所望の種別が歩行者の場合、該歩行者の頭部に相当する可能性のある画像領域を抽出すると、該画像領域は、実際には、同様の形状を有する街灯のような人工構造物である場合がある。しかしながら、該画像領域が、歩行者の頭部である場合には、頭部の下方にある胴体部や足部がほぼ左右対称の構成を取るのに対し、該画像領域が、街灯のような人工構造物である場合には、街灯の下方の支柱等が左右対称の構成を取らないことが多い。

この発明は、当該知見に鑑みてなされたものであり、抽出した画像領域の下方の所定領域を調べ、該所定領域内に何のパターンも撮像されていない場合や、該所定領域の左側および右側領域の一方にのみ何らかのパターンが撮像されている場合には、該所定の領域内の対象物を、該所望の種別の対象物候補から除外する。これにより、たとえば歩行者を、街灯のような人工構造物から、比較的簡単な演算で区別することができる。

また、抽出された対象物候補の種別、すなわち、対象物候補が歩行者のような人であるのか、それともそれ以外の建物等の人工構造物であるのかを最終的に判定する処理は、一般に、対象物の形状特徴を調べる画像処理や、時系列に該対象物を追跡して該対象物の挙動を調べる画像処理等を含むため、比較的演算負荷が高い。抽出されたすべての対象物候補についてこのような種別判定処理を行うと、演算負荷の増大を招くおそれがある。この発明によれば、上記のように除外した上で種別判定処理を実行するため、該種別判定処理の演算負荷を低減することができる。

この発明の一実施形態によると、前記撮像手段は、赤外線カメラであり、前記抽出される画像領域は、前記撮像された画像において、所定値より高い輝度値を持つ高輝度領域である。前記対象物候補抽出手段は、前記第１および第２の領域の輝度値に基づいて、該第１および第２の領域内の対象物の左右対称性を調べ、該左右対称性が低いと判定したとき、該所定の領域に対応する前記画像領域内の対象物を、前記所望の種別の対象物候補から除外する。こうして、赤外線カメラを用いることにより、輝度値に基づいて、所望の種別の対象物候補を、より良好な精度で、かつより簡単な演算で、抽出することができる。

この発明の一実施形態によると、前記対象物候補抽出手段は、前記第１の領域内の画素の輝度値の総和および該第２の領域内の画素の輝度値の総和の差が所定値以上であるとき、または該第１の領域内の画素の輝度値の分散および該第２の領域内の画素の輝度値の分散の差が所定値以上であるとき、前記左右対称性が低いと判定する。こうして、輝度値を用いて、第１および第２の領域間の左右対称性を判定することができ、これにより、所望の種別の対象物候補を、より良好な精度で、かつより簡単な演算で、抽出することができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、カメラの取り付け位置を説明するための図。 この発明の一実施例に従う、下部領域の設定例を示す図。 この発明の一実施例に従う、下部領域の他の設定例を示す図。 この発明の一実施例に従う、画像処理ユニットにより実行される対象物判定プロセスのフローチャート。 この発明の一実施例に従う、現在画像と過去画像を模式的に示す図。

次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺を監視するための装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な１つの赤外線カメラ１と、カメラ１によって得られる画像データに基づいて車両周辺の対象物を検出し、その種別を判定するための画像処理ユニット２と、該判定の結果に基づいて音声で警報を発生するスピーカ３と、カメラ１による撮像によって得られる画像を表示すると共に、該判定の結果に基づいて警報表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４と、を備えている。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ６と、車両の走行速度（車速）を検出する車速センサ７とを備え、これらのセンサの検出結果は、画像処理ユニット２に送られ、必要に応じて所定の画像処理に用いられる。

この実施例では、図２に示すように、カメラ１は、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸上に配置されている。赤外線カメラ１は、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。

なお、ＨＵＤ４に代えて、たとえばダッシュボードに取り付けられる表示装置でもよい。たとえば、表示装置として、いわゆるナビゲーション装置（図示せず）の表示装置を利用することができる。ナビゲーション装置は、周知の如く、車両の現在位置を検出すると共に、目的地への最適な経路を算出して、地図情報上に該現在位置および該経路を表示することができる装置である。

図３は、本願発明の基本的な考え方を説明するための図である。図３の（ａ）は、カメラで撮像された歩行者を模式的に示したものであり、図３の（ｂ）および（ｃ）は、カメラで撮像された街灯を模式的に示したものである。（ａ）において斜線領域で示される歩行者の頭部は、人間の部位の中で露出されていることが多いため、高温対象物すなわち高輝度の画像領域として比較的安定的に抽出されることができる。他方、（ｂ）および（ｃ）において斜線領域で示されるように、街灯は熱源であるため、高温対象物すなわち高輝度の画像領域として抽出される可能性が高い。

このように、この実施例では、所望の種別の対象物を、歩行者とし、該歩行者の頭部に相当する可能性のある画像領域を抽出する。赤外線カメラを用いることにより、所定値より高い輝度値を持つ高輝度領域を、該歩行者の頭部に相当する可能性のある画像領域として抽出することができる。しかしながら、上で述べたように、抽出された画像領域（この実施例では、高輝度領域）が、歩行者の頭部ではなく、街灯のような人工構造物を示す場合が起こりうる。

そこで、本願発明では、抽出された高輝度領域の下方に、所定の下部領域３１を設定する。下部領域３１は、抽出された高輝度領域の重心または中心を上下方向に伸長する基準ライン３３を中心として左右対称に設定される。すなわち、下部領域３１は、左側（第１）領域３１Ｌおよび右側（第２）領域３１Ｒに二分される。

歩行者の頭部の下部（胴体や足）は、ほぼ左右対称の構成を取る。したがって、（ａ）に示すように、斜線で表されている高輝度領域が歩行者の頭部を表しているのであれば、その下に設定される下部領域３１の左側領域３１Ｌおよび右側領域３１Ｒのいずれにも、歩行者の胴体等を含む何らかのパターン（背景とは異なる何らかの対象物）が撮像されるはずである。

他方、図に示すような街灯は、その熱源部分（斜線部分）の下部の支柱部分３５が、基準ライン３３に対して左右対称の構成とはならず、パターンが、（ｂ）に示すように左側領域３１Ｌおよび右側領域３１Ｒの一方にのみ撮像されたり、（ｃ）に示すように左側領域３１Ｌおよび右側領域３１Ｒのいずれにも撮像されなかったりする。後者の場合、下部領域３１に撮像されているのは、空（そら）のような背景部分のみである。

したがって、本願発明では、高輝度領域の下方に設定される下部領域３１中のパターンの有無やパターンの左右対称性に基づいて、所望の種別の対象物（この実施例では、歩行者）を、該所望の種別の対象物以外のもの（この実施例では、街灯のような人工構造物）から区別して検出する。

図にも示すように、歩行者は、胴体から足の部分に至るまで、基準ライン３３に対してほぼ左右対称の構成を取り、街灯については、支柱３５が路面に接する部分に至るまで、左右対称の構成とはならない。したがって、上記のように設定される下部領域３１は、斜線で示される高輝度領域の下方であればよく、高輝度領域に接する必要は必ずしもない。たとえば、図４の（ａ）に示すように、高輝度領域より下の路面に接するまでの部分を下部領域３１として設定してもよい。この場合、歩行者の足や街灯の支柱の路面との接点がエッジとして抽出されるため、該エッジから高輝度領域までの上下方向の領域を下部領域３１とすることができる。代替的に、図４の（ｂ）に示すように、高次度領域から離れて、路面に接する部分の領域を下部領域３１として設定してもよい。

また、下部領域３１の水平（左右）方向の長さおよび垂直（上下）方向の長さは、適切な任意の所定値に設定されることができる。図３〜図４では、該水平方向の長さは、歩行者の胴体の幅より大きくなるよう設定されているが、該胴体の幅より短いよう設定されてもよい。この場合でも、下部領域３１には、歩行者の胴体の左右対称性が現れるからである。

図５は、本願発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。この実施例では、図３に示すように、高輝度領域として抽出される領域に接するように、下部領域は設定されるものとする。また、前述したように、所望の種別の対象物は、歩行者であるとする。

ステップＳ１１において、遠赤外カメラ１の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、対象物の温度が高いほど高い輝度値を持つグレースケール画像である。

ステップＳ１２において、該グレースケール画像の２値化処理を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。この２値化処理により、たとえば生体や人工構造物の熱源のような所定の温度より高い対象物が、白領域（高輝度領域）として抽出される。

ステップＳ１３において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。

ステップＳ１４において、対象物のラベリングを行い、所望の種別の対象物候補を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物候補が抽出（検出）される。

検出された対象物候補は、所定の温度より高い対象物であるため、人間（歩行者）や動物のような生体のほか、たとえば熱源を有する街灯のような人工構造物も含まれる可能性がある。図６の（ａ）には、今回実行された当該プロセスで取得された画像（現在画像と呼ぶ）の一例が模式的に示されており、この例では、斜線で示すように、歩行者の頭部１０１および街灯１０２が、高温対象物（すなわち、高輝度領域）として抽出されている。

ステップＳ１５において、対象物の追跡処理、すなわち、今回検出された対象物候補と、過去に当該プロセスを実行したときに検出された対象物候補が同一か否かを判定する処理が行われる。たとえば、当該プロセスの実行周期をｋで表すと、前回（時刻ｋ−１）当該プロセスを実行したときにステップＳ１４で検出された対象物候補と、今回（時刻ｋ）ステップＳ１４で検出された対象物候補の間で、同一か否かの判定を行う。この判定手法は、任意の手法で行うことができる。たとえば、特開２００１−６０９６号公報に記載されているように、時刻ｋにおける対象物と時刻ｋ−１における対象物との間で、重心位置座標の差、面積の差、対象物を外接する四角形の縦横比の差が所定の許容値以下であるとき、両者の対象物は同一と判定することができる。代替的に、グレースケール画像を用い、今回検出された対象物候補の画像領域内の輝度分布と、過去に検出された対象物の画像領域候補の輝度分布との相関性（類似度）に基づいて、該同一の判定を行ってもよい。たとえば、両者の輝度の分散の差が所定値以下なら、相関性が高いため、同一と判定することができる。

図６の（ｂ）には、（ａ）よりも過去（この例では、前回）に取得された画像（過去画像と呼ぶ）の一例が模式的に示されており、斜線で示すように歩行者の頭部１０１および街灯１０２が、高温対象物（高輝度領域）すなわち対象物候補として抽出され、これらが、それぞれ、（ａ）の対象物１０１および１０２と同一と判定されたものとする。

ステップＳ１６において、今回抽出された高輝度領域１０１および１０２の下方に、前述したように、下部領域３１を設定する。下部領域３１は、検出された高輝度領域すなわち検出された高温対象物の重心または中心を通り、画像において上下方向に伸びる基準ライン３３を中心に、左右方向に対称に設定される。したがって、下部領域３１は、左側領域３１Ｌおよび右側領域３１Ｒから成る。

この実施例では、下部領域３１は、所定の大きさを持つよう設定されるが、下部領域３１の大きさを、高輝度領域の大きさに応じて変化させるようにしてもよい。たとえば、水平方向においては、高輝度領域の最長部分以上の長さを持ち、垂直方向においては、所定の長さを持つようにしてもよい。

ステップＳ１７において、ステップＳ１６で同一と判定された対象物候補について、（ａ）に示す現在画像において設定された下部領域３１をマスクとして使用し、（ｂ）に示す過去画像において、最も類似度の高い（相関性の高い）領域を探索する。たとえば、図６の高輝度領域１０１の場合、（ａ）で設定された下部領域３１をマスクとし、（ｂ）の画像の高輝度領域１０１の下方向に、該マスクを重畳させながら移動させ、該マスクと最も類似度の高い領域を探索する。前述したように、たとえば、マスク内の画素の輝度の分散と、重畳されている画像の輝度の分散との差の大きさが最小となる領域を探索することができる。該最小となったときの該分散値を、類似度を示す指標として用いることができる。図には、こうして探索された結果としての領域１３１が、（ｂ）に示す過去画像に示されている。高輝度領域１０２についても、同様のことが行われる。

好ましくは、図５には示していないが、こうして探索された領域１３１を左右対称に二分するラインと、過去画像の高輝度領域１０１に基づいて設定された基準ライン３３との間の、水平方向のずれ（差）が所定値以上であるときには、ステップＳ１８に進むことなく、ステップＳ２４に進んで、該高輝度領域に対応する対象物を、歩行者候補から除外する。このような大きな“ずれ”が生じるということは、たとえば、距離の異なる対象物が、現在画像または過去画像のいずれかで重なって撮像されている可能性があり、その後の歩行者の位置（距離）を算出する精度が低下するおそれがあるからである。

ステップＳ１８において、現在画像中に設定された下部領域３１に、何らかのパターンが存在するかどうかを判断する。前述したように、対象物が歩行者であれば、頭部の真下に胴体や足の部分があるため、高輝度領域の下に設定された下部領域３１には、背景とは異なる何らかのパターンが存在するはずであり、よって、この点を調べる。具体的には、下部領域３１中の画素の輝度値の分散を算出し、該分散が所定値以上である場合には、背景とは異なるパターンが存在すると判断し、該所定値未満である場合には、背景とは異なるパターンが存在しないと判定する。また、下部領域３１を左右二分割した場合に、その一方のみにパターンが存在する（物体有り）の場合は、「歩行者ではない」（例えば電柱）と判定してもよい。

たとえば、図３の（ｃ）で示すような街灯の場合、下部領域３１にはパターンが存在せず、空等の背景のみが撮像されているため、輝度の分散値は低くなるが、歩行者の場合には、図３の（ａ）や図６に示すように、下部領域３１には胴体が撮像されているため、輝度の分散値は高くなる。パターンが存在しないと判断した場合には、ステップＳ２４において、該下部領域３１に対応する高輝度領域中の対象物を、歩行者候補から除外する。歩行者候補から除外された対象物は、その後の種別判定処理（ステップＳ２６）には供されないこととなる。なお、図６の例では、高輝度領域１０１の下部領域３１には歩行者の胴体が撮像され、高輝度領域１０２の下部領域３１には街灯の支柱が撮像されているため、当該ステップＳ１８の判断はＹｅｓとなり、ステップＳ１９に進む。

ステップＳ１９において、現在画像中に設定された下部領域３１と、ステップＳ１７の探索の結果として過去画像中に設定された下部領域１３１とを比較する。

ステップＳ２０において、該比較の結果、両者の類似度が所定値以上かどうかどうかを判断する。前述したように、輝度の分散を、類似度を示す指標として用いることができる。したがって、現在画像中の下部領域３１の画素の輝度値の分散を算出すると共に、過去画像中の下部領域１３１の画素の輝度値の分散を算出し、両者の差の大きさが所定値以下であれば、両者の類似度（相関性）は高いと判定し、ステップＳ２１に進む。該差の大きさが所定値より大きければ、両者の類似度は低いと判定し、ステップＳ２３に進む。

ステップＳ２１において、現在画像中の下部領域３１を、基準ライン３３を中心として左右に二分する。ステップＳ２２において、該下部領域３１の左側領域３１Ｌおよび右側領域３１Ｒの両方に、背景とは異なるパターンが存在するかどうかを判断する。前述したように、対象物が歩行者であれば、下部領域３１には胴体が撮像されているため、左側領域３１Ｌと右側領域３１Ｒの両方に、背景とは異なる何らかのパターンが撮像されているはずである。それに対し、対象物が街灯であれば、図に示すように、仮に撮像されているとしても、左側領域３１Ｌおよび右側領域３１Ｒのいずれか一方のみである。したがって、この点を、各下部領域３１について調べる。

具体的には、左側領域３１Ｌ中の画素の輝度値の分散と、右側領域３１Ｒ中の画素の輝度値の分散とを算出し、両者の差の大きさが所定値以上かどうかを調べる。所定値以上ならば、たとえば街灯の支柱が一方の領域のみに撮像されているというように、一方の領域にのみパターンが撮像されており、左側領域３１Ｌおよび右側領域３１Ｒの間の左右対称性が低いと判定する。したがって、この場合には、ステップＳ２４に進み、該下部領域３１に対応する高輝度領域中の対象物を歩行者候補から除外する。他方、両者の差の大きさが所定値未満であれば、左側領域３１Ｌおよび右側領域３１Ｒの両方に何らかのパターンが撮像されており、両者間の左右対称性が高いと判定する。したがって、この場合にはステップＳ２５に進み、該対象物を、歩行者候補と判定する。

代替的に、輝度値の分散に代えて、輝度値の総和を用いてもよい。左側領域３１Ｌ中の画素の輝度値の総和と、右側領域３１Ｒ中の画素の輝度値の総和とを算出し、両者の差の大きさが所定値以上かどうかを調べ、所定値以上ならば、一方の領域にのみパターンが撮像されており、左右対称性が低いと判定して、ステップＳ２４に進み、所定値未満であれば、両方の領域に何らかのパターンが撮像されており、左右対称性が高いと判定して、ステップＳ２５に進む。なお、対称性を判断する際に、分散や輝度値の総和に代えてあるいは加えて、累積絶対値誤差（SAD：Sum of Absolute Difference）を用いてもよい。

ステップＳ２０に戻り、現在画像の下部領域３１と過去画像の下部領域１３１の間の類似度が所定値以上でなければ、ステップＳ２３に進み、歩行者に特有の特徴が存在するかどうかを調べる。歩行者に特有の特徴の抽出は、たとえば形状的な観点や歩行の周期性の観点から、任意の適切な手法で実現されることができる。たとえば、高輝度領域から路面までの画像領域を抽出し、そこから、足と考えられる形状的な特徴（たとえば、２本の垂直方向に伸長する部分）が抽出されるかどうかや、過去から現在まで高輝度領域から路面までの画像領域を追跡して、歩行に基づく周期的な特徴が抽出されるかどうかを調べることができる（たとえば、特開２００７−２６４７７８号公報）。ここで、抽出される画像領域の水平方向の幅は、たとえば、高輝度領域の最長部分の長さに所定の余裕を加算したものとすることができる。歩行者に特有の特徴が抽出されなければ、ステップＳ２４に進んで、該対象物を歩行者候補から除外し、該特徴が抽出されたならば、ステップＳ２５に進んで、該対象物を歩行者候補と判定する。

ステップＳ２６において、ステップＳ２５で判定された歩行者候補のそれぞれについて、最終的に歩行者かどうかを判定する種別判定処理を行う。この種別判定処理により、より精細に、歩行者候補が歩行者であるか否かを特定することができる。

種別判定処理には、任意の適切な手法を用いることができ、たとえば、既知のパターンマッチングを用いて対象物候補の形状に関する特徴を調べたり、該対象物候補の時系列の挙動等を調べることにより、該対象物候補が歩行者か否かを判定することができる。たとえば、歩行者の種別判定処理には、特開２００７−２４１７４０号公報、特開２００７−２６４７７８号公報、特開２００７−３３４７５１号公報等に記載された手法を用いることができる。また、当該種別判定処理では、歩行者判定と合わせて、人工構造物判定や動物判定を行ってもよい。これにより、歩行者と判定されなかった対象物候補について、人工構造物なのか動物なのか等の種別を判定することができる。この場合、人工構造物の種別判定処理には、たとえば、特開２００３−０１６４２９号公報、特開２００８−２７６７８７号公報等に記載されている手法を用いることができる。また、動物の種別判定処理には、たとえば、特開２００７−３１０７０５号公報、特開２００７−３１０７０６号公報等に記載されている手法を用いることができる。

なお、種別判定の際に歩行者と判定された対象物の距離を算出するようにしてもよい。これは、任意の適切な手法で行うことができる。たとえば、特許第４４８６９９７号公報に示されるように、高輝度領域を含むよう局所領域（対象物が歩行者である場合、これは、動きが比較的少ない領域として設定される）を設定し、過去画像の局所領域と現在画像の局所領域のサイズの変化率を求め、該変化率と、車速センサ７によって検出された車速とに基づいて、対象物の距離を算出することができる。こうして、対象物の自車両に対する位置が特定される。

ステップＳ２７において、歩行者と判定された対象物についての警報を、運転者に発行する。たとえば、上記のように算出された距離を知らせるような警報を発行してもよいし、該距離値が所定値以下の場合に警報を発行してもよい。さらに、たとえば特開２００１−６０９６号公報に示すように、該距離値に基づいて、対象物の車両との接触の可能性の高低を調べ、接触可能性が高いと判定された場合に、警報を発行することができる。警報は、スピーカ３を介して音声によって行ってもよいし、ＨＵＤ４を介して視覚的表示によって行ってもよい。

こうして、本願発明では、所望の種別が歩行者である場合には、該歩行者の頭部に相当する可能性のある画像領域（この実施例では、高輝度領域）の下部領域内に、背景とは異なる何らかのパターンが存在するかどうか、もしくは、該下部領域を左右に二分して、いずれか一方の領域にのみ、背景とは異なる何らかのパターンが存在するかどうかを調べることで、街灯のような人工構造物を、歩行者候補から除外する。したがって、比較的簡単な演算によって、抽出される歩行者候補の精度を向上させることができる。また、該除外処理は、種別判定処理に先立って、抽出された対象物候補を大まかに（粗く）フィルタリングする役割を有しており、所望の種別である可能性が低い対象物候補を、後続の種別判定処理から除外するよう動作する。これにより、種別判定処理にノイズとなりうる対象物候補を、予め除くことができる。該除外処理を行った上で種別判定処理を行うこととなるため、該種別判定処理の演算負荷を低減することができる。さらに、車両に搭載されるカメラは１台でよいので、コストを低減することができる。

上記のフローでは、高輝度領域に接するように下部領域３１を設定しているが、図４を参照して説明したように、下部領域３１は、高輝度領域から路面までの領域となるよう設定してもよいし、高輝度領域から下方に離れるよう設定してもよい。この場合、たとえばステップＳ１６において、足や街灯の支柱が路面に接する部分は、撮像画像中にエッジとして現れるため、高輝度領域を下方に探索して、該エッジを抽出する。抽出されたエッジから高輝度領域の下端までの部分を、下部領域３１としてもよいし（図４の（ａ）の場合）、該抽出されたエッジから、上方に所定の長さを持つ領域を、下部領域３１としてもよい（図４の（ｂ）の場合）。

なお、上記の実施例では、歩行者を撮像した場合に、頭部が高輝度領域として抽出される例を示した。仮に、歩行者について頭部のみが高輝度領域として抽出される場合でも、歩行者を、街灯のような、歩行者頭部と類似の形状の熱源を有する人工構造物とは区別して検出することができる。なお、歩行者について、頭部だけでなく、胴体や足部分も含めて高輝度領域として抽出された場合でも、上記と同様の処理を行うことができる。たとえば、抽出された高輝度領域のうち、ほぼ円形領域と判定できる部分を頭部領域として判定し、該頭部領域の下方に、下部領域を設定することができる。

上記の実施例では、赤外線カメラを用いることにより、歩行者の頭部に相当する可能性のある画像領域を、輝度値を用いて比較的容易に抽出することができる。しかしながら、代替的に、たとえば可視カメラ等の、他のカメラを用いてもよい。この場合でも、任意の既知の手法により、歩行者の頭部に相当する可能性のある画像領域（たとえば、丸い形状の画像領域）を抽出して、その下に下部領域を設定すればよい。そして、該下部領域内の画素値を用いて、該下部領域に、背景とは異なるパターンが撮像されているか否か、また、該下部領域を左右に二分して、左側および右側領域の両方に、背景とは異なるパターンが撮像されているか否かを判断するようにしてもよい。

また、上記の実施例では、現在画像と過去画像間の対象物の類似度を調べ、類似度が高い場合でも、街灯のような人工構造物を除外して、歩行者候補を、より良好な精度で抽出できることを示している。しかしながら、このような時系列の対象物の類似度を調べることは、必ずしも必要とされず、他の実施形態では、該類似度を調べることなく、現在画像において下部領域を設定し、前述したように該下部領域を調べることで、歩行者候補を判定するようにしてもよい。この場合、時系列に対象物を追跡する必要が無いため、演算負荷を、より低減することができる。

以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。

１ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ ＨＵＤ

Claims (3)

1. 車両に搭載され、該車両の周辺を撮像する撮像手段と、
   プロセッサおよびメモリを備える画像処理ユニットと、を備える車両周辺監視装置であって、
   前記画像処理ユニットは、
   該撮像された画像において、所望の種別の対象物の所定の部位に相当する可能性のある画像領域を抽出し、
   前記抽出された画像領域の下方に所定の領域を設定し、
   前記所定の領域に基づいて、車両外に存在する前記所望の種別の対象物候補を抽出し、
   前記抽出された対象物候補のそれぞれについて、該対象物候補が、前記所望の種別の対象物かどうかを判定し、
   前記所定の領域内に、背景とは異なるパターンが撮像されていないとき、または、前記所定の領域を前記撮像された画像の左右方向に二分した第１および第２の領域のいずれか一方にのみ、背景とは異なるパターンが撮像されているとき、該所定の領域に対応する前記画像領域内の対象物を、前記所望の種別の対象物候補から除外する、
   よう構成されている、車両周辺監視装置。
2. 前記撮像手段は、赤外線カメラであり、
   前記抽出される画像領域は、前記撮像された画像において、所定値より高い輝度値を持つ高輝度領域であり、
   前記画像処理ユニットは、前記第１および第２の領域の輝度値に基づいて、該第１および第２の領域内の対象物の左右対称性を調べ、該左右対称性が低いと判定したとき、該所定の領域に対応する前記画像領域内の対象物を、前記所望の種別の対象物候補から除外するよう構成されている、
   請求項１に記載の車両周辺監視装置。
3. 前記画像処理ユニットは、前記第１の領域内の画素の輝度値の総和および該第２の領域内の画素の輝度値の総和の差が所定値以上であるとき、または該第１の領域内の画素の輝度値の分散および該第２の領域内の画素の輝度値の分散の差が所定値以上であるとき、前記左右対称性が低いと判定するよう構成されている、
   請求項２に記載の車両周辺監視装置。

Images