JP4482599B2 - 車両の周辺監視装置 - Google Patents

Description

この発明は、赤外線カメラによって得られる撮像画像を用いて車両の周辺を監視するための装置に関し、より具体的には、該撮像画像の２値化処理によって対象物の抽出を行う車両周辺監視装置に関する。

従来、赤外線カメラを車両に搭載し、該カメラにより撮像された車両周辺の撮像画像を２値化して、歩行者や動物等の高温の対象物を抽出する装置が提案されている。下記の特許文献１では、赤外線カメラを用いて得られた撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムに基づいて、背景画像と対象物画像とに二分する閾値を決定する手法が提案されている。このような閾値を用いた２値化処理により、高温対象物を背景と区別して抽出する。
特開２００３−２１６９４９号公報

車両の周辺には、歩行者や動物等の生体の他に、電柱や壁等の人工の構造物が様々に存在しうる。歩行者や動物等の生体を、高温の対象物として背景から分離して抽出するためには、２値化処理において、このような人工構造物は背景に分類されるのが望ましい。しかしながら、人工構造物の種類やその配置、および周辺の温度等の車両の周辺環境に依存して、人工構造物は、それ以外の背景部分よりも高温なことがあり、結果として、上記のような従来の手法を採用しても、人工構造物を高温対象物として分類してしまうおそれがある。 したがって、車両の周辺環境に依存することなく、所望の対象物を、２値化処理においてより良好な精度で背景から分離して抽出することのできる手法が望まれている。

この発明の一つの側面によると、車両に搭載された赤外線カメラによって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置は、車両の外気温を検出する外気温検出手段と、外気温に基づいて推定された対象物の表面温度と前記外気温との温度差を求める温度差算出手段と、撮像画像における背景の輝度値および前記温度差に対応する輝度差に基づいて、該撮像画像における該対象物の輝度値を算出する対象物輝度値算出手段と、該対象物の輝度値を閾値として、前記赤外線カメラによって得られた撮像画像を２値化し、対象物を抽出する対象物抽出手段と、を備える。

対象物の表面温度と外気温との間の関係は予め決まっており、外気温から該表面温度を推定することができる。この発明は、この知見に基づいてなされたものであり、検出された外気温に基づいて推定された対象物の表面温度と、外気温との温度差を算出する。背景の輝度値は外気温に対応すると考えられるので、該背景の輝度値と、該温度差に対応する輝度差とに基づいて、対象物に対応する輝度値を算出することができる。該算出された輝度値を閾値として２値化することにより、対象物を、該対象物以外の背景部分から良好に分離して抽出することができる。したがって、たとえば歩行者を対象物とする場合には、歩行者の表面温度と外気温との間の関係を予め決めておくことにより、人工構造物などを対象物として誤って抽出するのを防止することができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

次に図面を参照してこの発明の実施の形態を説明する。

図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、車両周辺の外気の温度（外気温）を検出するセンサ５と、カメラ１Ｒおよび１Ｌによって得られる画像データに基づいて車両前方の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示すると共に、運転者に車両前方の対象物を認識させるための表示を行うヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４とを備えている。

図２に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、背景の温度よりも対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度値が大きくなる）特性を有している。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号およびセンサ５の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。

図３は、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行されることができる。

ステップＳ１１〜Ｓ１３において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。

以下のステップＳ１４〜Ｓ１９は、２値化処理において、所望の対象物を、背景とは分離して抽出するための処理である。この実施例では、歩行者を、該所望の対象物として説明する。

ステップＳ１４において、外気温センサ５によって検出された外気温ｉ（℃）を取得する。ステップＳ１５において、背景の輝度値Ｔｂを決定する。

背景の輝度値は、任意の手法で決定されることができる。この実施例では、グレースケール画像に基づいて輝度値ヒストグラムを作成し、最も度数の高い輝度値を、背景の輝度値Ｔｂとして用いる。撮像画像においては、通常、背景の占める面積が最も大きいからである。

ステップＳ１６において、検出された外気温ｉに基づいて、図４に示すようなマップを参照する。ここで、該マップを説明する。歩行者の頭部は、主にその顔面において皮膚が外気にさらされており、熱源を妨げるものが少ない部位である。したがって、外気にさらされている頭部表面に着目する。頭部表面の温度（以下、表面温度と呼ぶ）ｆａ（℃）と外気温ｉ（℃）との間の関係を、実験やシミュレーション等で調べた結果、両者の間には、図４に示すような関係があることが判明した。この図において、横軸は外気温ｉ（℃）を示し、縦軸は表面温度ｆａ（℃）を示す。この図に示すように、外気温ｉから、表面温度ｆａを推定することができる。

表面温度ｆａは、外気温ｉに対して、曲線１０１に示すように推移し、外気温ｉが高くなるほど、表面温度ｆａも高くなる。所与の外気温ｉにおいて、該外気温ｉに対する表面温度ｆａ（ｉ）の差が、曲線１０１と線１０３（これは、ｆａ＝ｉを表す直線である）の差によって表されており、これを、表面温度差と呼び、Ｆ（ｉ）で表す。すなわち、Ｆ（ｉ）＝表面温度ｆａ（ｉ）― 外気温ｉである。図に示されるように、表面温度差Ｆ（ｉ）は、外気温ｉが高くなるにつれて小さくなる傾向がある。

対象物の抽出精度をより向上させるため、この実施例では、Ｆ（ｉ）を中心として、所定の余裕範囲（マージン）Ｔ（℃）を設定する。該余裕範囲の上限が点線１０１Ｕよって示されており、該上限と外気温ｉとの差を、Ｆ（ｉ）ｍａｘで表す。該余裕範囲の下限が点線１０１Ｌによって示されており、該下限と外気温ｉとの差を、Ｆ（ｉ）ｍｉｎで表す。

図４に示されるようなマップは、画像処理ユニット２のメモリに予め記憶される。画像処理ユニット２は、検出された外気温ｉ（℃）に基づいて該マップを参照することにより、外気温ｉに対応する表面温度ｆａを求め、該表面温度ｆａと外気温ｉとの表面温度差Ｆ（ｉ）を算出し、所定の余裕範囲Ｔを用いて、該表面温度差Ｆ（ｉ）に対する上限値Ｆ（ｉ）ｍａｘおよび下限値Ｆ（ｉ）ｍｉｎを算出する。ここで、余裕範囲Ｔは、外気温ｉに従って変化させてもよいし、一定でもよい。

代替的に、各外気温ｉに対する表面温度差Ｆ（ｉ）についての上限値Ｆ（ｉ）ｍａｘおよび下限値Ｆ（ｉ）ｍｉｎをメモリに記憶し、外気温ｉから表面温度ｆａを求めることをスキップして、外気温ｉから直接上限値Ｆ（ｉ）ｍａｘおよび下限値Ｆ（ｉ）ｍｉｎを求めるようにしてもよい。

図３に戻り、ステップＳ１７において、表面温度差Ｆ（ｉ）の上限値Ｆ（ｉ）ｍａｘおよび下限値Ｆ（ｉ）ｍｉｎに対応する輝度差を算出する。遠赤外線カメラの仕様によって、温度変化に対する輝度値変化の割合は決まっており、これを、パラメータＳｉＴＦで表す。こうして、表面温度差Ｆ（ｉ）の上限値Ｆ（ｉ）ｍａｘおよび下限値Ｆ（ｉ）ｍｉｎに対応して、以下の式（１）のように、輝度差の上限値ｄＴｍａｘおよび下限値ｄＴｍｉｎがそれぞれ算出される。
ｄＴｍａｘ＝ＳｉＴＦ×Ｆ（ｉ）ｍａｘ
ｄＴｍｉｎ＝ＳｉＴＦ×Ｆ（ｉ）ｍｉｎ （１）

ステップＳ１８において、２値化処理のための閾値を算出する。ここで図５を参照すると、ステップＳ１３で取得されたグレースケール画像の輝度値ヒストグラムの一例が示されている。前述したように、ステップＳ１５において、最も度数の高い輝度値（ピーク輝度値）が背景の輝度値Ｔｂに設定されている。背景の輝度値Ｔｂは、外気温ｉに対応すると考えることができる。したがって、以下の式（２）に示すように、外気温ｉに対して表面温度差の上限値Ｆ（ｉ）ｍａｘを持つ表面温度の輝度値Ｔｃｍａｘは、背景の輝度値Ｔｂに対し、輝度差の上限値ｄＴｍａｘを持つ。同様に、外気温ｉに対して表面温度差の上限値Ｆ（ｉ）ｍｉｎを持つ表面温度の輝度値Ｔｃｍｉｎは、背景の輝度値Ｔｂに対し、輝度差の下限値ｄＴｍｉｎを持つ。
Ｔｃｍａｘ＝Ｔｂ＋ｄＴｍａｘ
Ｔｃｍｉｎ＝Ｔｂ＋ｄＴｍｉｎ （２）

上限の輝度値Ｔｃｍａｘおよび下限の輝度値Ｔｃｍｉｎは、２値化処理の閾値に設定される。これら２つの閾値によって画定される領域１１１が図５に示されており、該領域１１１が、抽出すべき対象物の輝度領域である。

ステップＳ１９において、ステップＳ１８において設定された閾値を用いて、ステップＳ１３で取得されたグレースケール画像（この実施例では、カメラ１Ｒで得られた撮像画像を用いるが、カメラ１Ｌで得られた撮像画像でもよい）に対し、２値化処理を行う。撮像画像の各画素について、該画素の輝度値が輝度領域１１１内にあるときには、抽出すべき対象物であると判定されて、該画素を値１の白領域とし、該画素の輝度値が輝度領域１１１外にあるときには、背景であると判定されて、該画素を値ゼロの黒領域とする。

ここで、図６を参照すると、画像を模式的に表した図が示されている。（ａ）はグレースケール画像（撮像画像）を示し、図では、ハッチングの種類の違いによって階調の違いを表している。（ｂ）は、従来の手法によって２値化された画像を示し、（ｃ）は、上記ステップＳ１４〜Ｓ１９の手法によって２値化された画像を示す。図では、黒領域は、ハッチングされた領域で表している。

グレースケール画像には、歩行者１２１の他に、電柱１２５や自動車１２７のような人工構造物が撮像されている。従来は、２値化に用いる閾値に依存して、（ｂ）に示すように、これら人工構造物１２５，１２７も、歩行者と同様の対象物として、すなわち白領域として抽出されることがあった。

それに対し、本願発明の上記手法によれば、外気温に対する対象物（この実施例では、歩行者）の表面温度が推定されて、該推定された表面温度の外気温に対する温度差に基づいて、対象物の輝度領域を設定するので、（ｃ）の白領域１３１に示すように、歩行者１２１の頭部部分のみを抽出することができる（この領域を、以下、頭部領域と呼ぶ）。（ａ）に示されるように人工構造物１２５と歩行者１２１とが重なって撮像されていても、（ｃ）の白領域１３１に示されるように歩行者１２１のみを容易に抽出することができる。このように、本願発明によれば、対象物を、該対象物以外の背景部分からより良好に分離して抽出することができる。

図３に戻り、ステップＳ２０において、抽出された頭部領域に基づいて、撮像画像における歩行者全身の大きさを推定する。推定は、任意の手法で実現されることができ、ここでは、その一例を具体的に説明する。

図７を参照すると、（ａ）には、２値画像において抽出された頭部領域が黒の領域で表されており、その幅がｗ（画素数により表される）により示されている。幅ｗは、たとえば頭部領域に外接する四角形を設定し、その幅を求めることにより算出されることができる。歩行者の頭部以外の部分は点線で示されているが、これはまだ抽出されていない部分である。ステップＳ２０では、歩行者の撮像画像における高さｈ（画素数により表される）を推定することを目的とする。

この推定のため、（ｂ）に示すように、実空間における歩行者の一般的なサイズ、すなわち頭部の幅Ｗａおよび身長Ｈａが予め設定される。ＷａおよびＨａには、たとえば、成人の平均値に基づく値を設定することができる（たとえば、Ｗａは２０（ｃｍ）、Ｈａは、１６０〜１７０（ｃｍ）内の値）。

また、（ｃ）は、カメラ１Ｒと対象物との配置の関係をＸＺ平面上に表した図であり、（ｄ）は、カメラ１Ｒと対象物との配置の関係をＹＺ平面上に表した図である。ここで、Ｘは、車両１０の車幅方向を示し、Ｙは、車両１０の車高方向を示し、Ｚは、車両１０から対象物への距離方向を示す。カメラ１Ｒは、撮像素子１１Ｒおよびレンズ１２Ｒを備えている。ｆは、レンズ１２Ｒの焦点距離を示す。

（ｃ）の図により、対象物までの距離をＺ（ｃｍ）とすると、距離Ｚは、以下の式（３）のように算出される。ここで、ｐｃｗは、Ｘ方向の画素間隔すなわち１画素あたりの長さ（ｃｍ）を示す。
Ｚ＝Ｗａ×ｆ／（ｗ×ｐｃｗ） （３）

（ｄ）の図により、距離Ｚを用いて、歩行者の撮像画像における高さｈ（ｃｍ）を、以下の式（４）のように算出することができる。ここで、ｐｃｈは、Ｙ方向の画素間隔すなわち１画素あたりの長さ（ｃｍ）を示す。
ｈ＝（Ｈａ／ｐｃｈ）×ｆ／Ｚ （４）

こうして、撮像画像における歩行者の大きさは、幅ｗおよび高さｈを持つと推定することができる。なお、頭部の幅よりも胴体の幅の方が一般的に広いことを考慮して、代替的に、頭部領域の幅ｗに所定の余裕値を加えた値を、上記の幅ｗの代わりに用いてもよい。

図３に戻り、ステップＳ２１において、ステップＳ２０で推定された歩行者の大きさに従って、撮像画像（グレースケール画像でもよいし、２値画像でもよい）上に対象物領域を設定する。ここで図８（ａ）を参照すると、前述したように抽出された頭部領域１３１が示されている。太枠で示すように、該頭部領域１３１の幅ｗを持ち、頭部領域１３１の頂点（図では、ｙ座標値がｙｕ）から高さｈの対象物領域１４１が設定される。こうして、撮像画像における対象物の位置が特定される。

図３に戻り、この実施例では、ステップＳ２２を実行して、設定された対象物領域１４１に対して対象物判定処理を実行し、該対象物領域１４１内に撮像されている対象物が歩行者かどうかを判定する。たとえば、周知の形状マッチング手法を用いた任意の適切な対象物判定手法により、歩行者を判定することができる（たとえば、特開２００７−２６４７７８号公報）。この処理は、グレースケール画像を用いて行われる。図８（ｂ）には、こうして形状判定された歩行者１５１が示されている。

ステップＳ２２において対象物が歩行者と判定されたならば、ステップＳ２３に進んで警報判定処理を行う。この処理では、運転者に対し、警報を実際に出力するかどうかを判定し、この判定結果が肯定であれば、警報を出力する。

たとえば、ブレーキセンサ（図示せず）の出力から、車両の運転者がブレーキ操作を行っているか否かを判別し、ブレーキ操作を行っていなければ、警報出力を行うことができる。警報出力は、スピーカ３を介して音声による警報を発するとともに、ＨＵＤ４により、例えばカメラ１Ｒにより得られる画像を画面４ａに表示し、歩行者を強調表示する。強調表示は任意の手法でよく、たとえば、色のついた枠で囲んで強調することができる。こうして、車両前方に存在する歩行者を、運転者はより確実に認識することができる。なお、警報および画像表示のいずれか一方を用いて警報出力を行ってもよい。

上記のステップＳ２０の他の手法として、たとえば、頭部領域１３１の高さ（頭部領域１３１に外接する四角形の高さを用いることができ、画数で表される）と頭身数とから、撮像画像における歩行者の高さｈを算出してもよい。たとえば、頭部領域１３１の高さがｈｂであり、成人の平均頭身数が７とすると、歩行者の高さｈを、ｈ＝７×ｈｂと推定することができる。

また、ステップＳ２０およびＳ２１のさらなる他の手法として、頭部領域１３１の下部領域の輝度値から路面を判定し、対象物領域１４１を特定する手法を採用してもよい。図９を参照してこの手法を簡単に説明すると、（ａ）はグレースケール画像（図では、頭部領域１３１以外のものは省略されている）であり、抽出された頭部領域１３１の下に、所定サイズのマスク１６１を設定し、該マスクによって覆われた領域内の輝度値の分散（代替的に、分散の平方根である標準偏差を用いてもよい）を算出する。路面は、輝度値がほぼ一様の画像領域として撮像されると考えられるので、分散が所定値より高ければ、該マスクが設定された領域は路面ではないと判定する。その場合、（ｂ）に示すように、マスク１６１を下方に移動し、再び分散を算出する。この処理を、マスク１６１を下方に移動しながら繰り返す。マスク１６１によって覆われる領域が路面のみになると、分散は低い値を示す。（ｃ）に示すように、分散が所定値より低くなったマスク１６１の位置が求められたならば、該マスク１６１の位置と、該マスク１６１の前回の位置（点線で表示）との間の境界（ｙ座標値がｙｂ）を、対象物領域１４１の底辺と判断することができる。こうして、幅ｗを持ち、頭部領域の頂部（ｙ座標がｙｕ）から該境界までの高さを持つ対象物領域１４１が抽出される。

上記実施例では、輝度値ヒストグラムにおいて、最も度数の高い輝度値を背景の輝度値Ｔｂに設定し、これを、外気温に対応づけた。代替的に、外気温と路面の温度とを区別して、以下のように背景の輝度値Ｔｂを決定してもよい。すなわち、図２に示すように車両前方に配置したカメラの場合、撮像画像に占める路面の面積が大きいため、通常、最も度数の高い輝度値は、路面温度に対応づけることができる。したがって、路面温度と外気温の関係を予めマップ（図示せず）に規定してこれをメモリに記憶しておく。該関係は、実験やシミュレーション等によって得られることができる。

検出された外気温ｉに基づいて該マップを参照し、対応する路面の温度Ｒを求める。路面温度Ｒと外気温ｉの温度差を算出する。前述したパラメータＳｉＴＦを用いて、該温度差を輝度差ｄＴｉに変換する。ここで、図１０を参照すると、図５と同様の輝度値ヒストグラムが示されている。最も度数の高い輝度値Ｔｒは、路面温度Ｒに対応づけられている。路面の温度Ｒは、通常、外気温ｉより高いため、算出された輝度差ｄＴｉの分だけ、路面の輝度値Ｔｒから減算して、外気温ｉに対応する輝度値を算出し、これを、図３のステップＳ１５の背景輝度値Ｔｂとする。なお、外気温ｉの方が路面温度Ｒより高い場合には、路面の輝度値Ｔｒに対して輝度差ｄＴｉを加算し、外気温に対応する輝度値Ｔｉを求めればよい。背景の輝度値Ｔｂに対し、輝度差ｄＴｍａｘおよびｄＴｍｉｎを持つ輝度値ＴｃｍａｘおよびＴｃｍｉｎにより、対象物の輝度領域１１１が特定される。こうして、外気温と路面温度とを区別することにより、背景の輝度値をより正確に求めることができる。したがって、２値化処理に用いる閾値をより適切に設定することができ、対象物を抽出する精度をより高めることができる。

好ましくは、路面温度と外気温との間の温度差は、天候の状態（晴れているかどうか、風速、雨量等）や日没からの経過時間等の外部環境パラメータの値によって変動するおそれがあるので、予め設定された外部環境パラメータ値のそれぞれについてマップを作成して記憶し、その日の外部環境パラメータ値に応じたマップを用いるようにしてもよい。

同様に、図４のマップも、天候の状態等の外部環境パラメータの値ごとに設定してメモリに記憶するようにしてもよい。たとえば、風速が所定値以上の日とそうでない日とでそれぞれマップを作成して記憶し、その日の風速に応じたマップを用いることができる。

また、上記実施例では、図４を参照して説明したように、表面温度差Ｆ（ｉ）について、余裕範囲Ｔを規定する上限値Ｆ（ｉ）ｍａｘと下限値Ｆ（ｉ）ｍｉｎを設定した。このような余裕範囲を設定することにより、より確実かつ良好な精度で対象物を抽出することができるように２値化処理の閾値を設定することができる。しかしながら、代替的に、このような余裕範囲Ｔを設定することなく、表面温度差Ｆ（ｉ）に対応する輝度差ｄＴを算出し、これを、背景の輝度値Ｔｂに加算して、対象物の輝度値Ｔｃを算出してもよい。輝度値Ｔｃを閾値として２値化を行うことができる。たとえば、輝度値Ｔｃに一致する輝度値を有する画素は、対象物であると判定して白領域に設定され、輝度値Ｔｃに一致しない輝度値を有する画素は、対象物ではないと判定して黒領域に設定される。また、輝度値Ｔｃを中心とした所定範囲を、対象物の輝度領域に設定してもよい。

さらに、上記実施例は、２値化処理において抽出すべき対象物が歩行者を例に説明している。代替的に、対象物は、動物等の他の生体でもよい。たとえば、所定の動物について、図３のようなマップを実験やシミュレーション等によって予め作成し、該マップを用いて、前述したような２値化処理の閾値を設定する。動物の場合には、ほぼ全身が外気にさらされていることが多いので、図３のステップＳ１９の２値化処理において、その全身が抽出される。したがって、ステップＳ２０およびＳ２１をスキップし、ステップＳ２２において、ステップＳ１９で抽出された領域に対し、形状判定等を行って、対象物が動物であるかどうかを判定するようにしてもよい。動物と判定されたならば、ステップＳ２３の警報判定が行われる。

また、本願発明は、図３のマップに示されるように、外気温との関係を予め実験やシミュレーション等によって規定することができる表面温度を有する対象物について適用可能であり、よって、対象物は、人間および動物のような生体に必ずしも限定されるものではない。

この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、カメラの取り付け位置を説明するための図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、外気温と対象物の表面温度との間の関係を規定するマップを示す図。 この発明の一実施例に従う、２値化処理の閾値設定を説明するための図。 従来の２値化画像と、この発明の一実施例に従う２値化画像との比較を表す図。 この発明の一実施例に従う、撮像画像における対象物の大きさの推定を説明するための図。 この発明の一実施例に従う、対象物領域の設定および対象物判定を説明するための図。 この発明の一実施例に従う、対象物領域の設定の他の手法を説明するための図。 この発明の一実施例に従う、路面温度を用いて２値化処理の閾値を設定する手法を説明するための図。

符号の説明

１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ ヘッドアップディスプレイ

Claims (2)

1. 車両に搭載された赤外線カメラによって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
   前記車両の外気温を検出する外気温検出手段と、
   前記外気温に基づいて路面温度を推定する路面温度推定手段と、
   前記路面温度と前記外気温との温度差に対応する輝度差に基づいて、前記撮像画像の輝度値ヒストグラムにおいて最も度数の高い輝度値を補正することにより、該外気温に対応する輝度値を求める手段と、
   前記外気温に対応する輝度値を、前記撮像画像における背景の輝度値に設定する手段と、
   前記外気温に基づいて推定された対象物の表面温度と前記外気温との温度差を求める温度差算出手段と、
   前記撮像画像における前記背景の輝度値および前記温度差算出手段により算出された前記温度差に対応する輝度差に基づいて、該撮像画像における該対象物の輝度値を算出する対象物輝度値算出手段と、
   前記対象物の輝度値を閾値として、前記赤外線カメラによって得られた撮像画像を２値化し、前記対象物を抽出する対象物抽出手段と、
   を備える、車両周辺監視装置。
2. 前記推定された対象物の表面温度として、上限表面温度および下限表面温度があり、
   前記温度差算出手段は、前記推定された上限表面温度と前記外気温との第１の温度差を算出すると共に、前記推定された下限表面温度と前記外気温との第２の温度差を算出し、
   前記対象物輝度値算出手段は、前記背景の輝度値および前記算出された第１の温度差に対応する輝度差に基づいて、前記撮像画像における該対象物の上限の輝度値を算出すると共に、前記背景の輝度値および前記算出された第２の温度差に対応する輝度差に基づいて、該撮像画像における該対象物の下限の輝度値を算出し、
   前記対象物抽出手段は、前記閾値として、前記上限の輝度値および前記下限の輝度値を用い、前記撮像画像の各輝度値が該下限の輝度値と該上限の輝度値の間にあるかどうかに従って、該撮像画像の２値化を行う、
   請求項１に記載の車両周辺監視装置。