JP4972116B2 - 車両の周辺監視装置 - Google Patents

車両の周辺監視装置 Download PDF

Info

Publication number
JP4972116B2
JP4972116B2 JP2009083692A JP2009083692A JP4972116B2 JP 4972116 B2 JP4972116 B2 JP 4972116B2 JP 2009083692 A JP2009083692 A JP 2009083692A JP 2009083692 A JP2009083692 A JP 2009083692A JP 4972116 B2 JP4972116 B2 JP 4972116B2
Authority
JP
Japan
Prior art keywords
vehicle
value
predetermined
luminance
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009083692A
Other languages
English (en)
Other versions
JP2010237874A (ja
Inventor
誠 相村
幸大 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2009083692A priority Critical patent/JP4972116B2/ja
Publication of JP2010237874A publication Critical patent/JP2010237874A/ja
Application granted granted Critical
Publication of JP4972116B2 publication Critical patent/JP4972116B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の状況に応じて、対象物を抽出するための閾値を変更する装置に関する。
従来より、画像において、所望の対象物を背景から分離する方法として、所定の閾値で二値化する手法がある。下記の特許文献1では、CCDなどの撮像素子を用いて撮像された画像において、認識すべき物体自身に明るさのむらがある場合でも、物体と背景とを分離するよう、二値化で用いる閾値を変更することが記載されている。
他方、赤外線カメラを用いて、車両の周辺を監視することが提案されている。歩行者および動物などの生体は、背景に比べて通常高温であるため、赤外線カメラを用いれば、これらの生体を背景から区別して検出することができる。赤外線カメラにより撮像された画像において、下記の特許文献2には、いわゆるモード法を利用した二値化の閾値設定手法が記載されている。モード法によると、輝度値ヒストグラムにおいて、背景に対応するピークと、高温対象物に対応するピークとの間で、画像中の輝度値を二分する閾値を決定する。
特開平8−315153号公報 特許3756452号公報
赤外線カメラで車両周辺を撮像した場合に、その撮像画像の輝度値ヒストグラムにおいて、背景に対応するピークと高温対象物に対応するピークの2つのピークが出現すれば、上記のようなモード法を利用して閾値を設定するのは有効である。
しかしながら、赤外線カメラによる撮像画像には、車両の周辺の状況によって様々な対象物が撮像されることがあり、2つのピークが明瞭に出現しないことがある。そのような場合、モード法を利用するのは困難である。他方、固定の閾値で輝度値を分類すると、検出すべき所望の対象物を、背景から良好に分離して抽出することができないおそれがある。
したがって、赤外線カメラを用いた撮像画像において、上記のような2つのピークが明瞭に出現しない場合でも、所望の対象物を背景から良好に抽出可能なように、輝度値を二分することができる手法が望まれている。
この発明の一つの側面によると、車両周辺監視装置は、車両に搭載された赤外線カメラと、前記赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて、全体の度数に対する所定の割合S(%)を用いて、累積度数が(100−S)%となる低輝度範囲と、累積度数がS%となる高輝度範囲とに二分し、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する手段と、前記抽出された対象物の候補について、前記検出すべき対象物かどうかを判定する判定手段と、前記検出すべき対象物と判定されたとき、運転者への通報を行う手段と、を備える。さらに、該装置は、前記車両の周辺に、高温対象物が多く存在する状況か否かを推定する推定手段と、前記高温対象物が多く存在する状況か否かの推定結果に応じて、前記所定の割合を変更する手段と、を備える。
この発明では、いわゆるPタイル法を利用する。Pタイル法によれば、輝度値ヒストグラムにおいて、全体の度数に対する所定の割合Sを用い、累積度数が(100−S)%となる低輝度範囲と、累積度数がS%となる高輝度範囲とに二分するので、2つのピークが明瞭に出現しない画像にも適用可能である。車両の周辺の状況は、走行するに従って変化し、市街地のように高温対象物が多く存在する場所がある一方で、高速道路や郊外地のように高温対象物が少ない場所がある。車両の周辺の状況にかかわらず、上記の所定の割合Sを固定すると、高温対象物が多く存在する場所では、抽出される対象物の候補に、検出すべき対象物が含まれなくなるおそれがあり、他方、高温対象物が少ない場所では、抽出される対象物の候補に、背景が含まれるおそれがある。この発明によれば、車両の周辺に高温対象物が多く存在する状況かどうかを推定し、その推定結果に応じて上記所定の割合Sを変更するので、対象物の抽出処理において、検出すべき対象物が漏れたり、背景を含んだりというような現象を、より確実に防止することができ、対象物の抽出精度を向上させることができる。
この発明の一実施形態によると、前記推定手段は、前記撮像画像から、所定数以上の対象物が検出された場合、所定の種類の対象物が所定数以上検出された場合、該所定数以上の対象物が前記車両から所定距離内で検出された場合、および、該所定の種類の対象物が前記車両から所定距離内で所定数以上検出された場合の少なくともいずれかが満たされた場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする。
この発明によれば、撮像画像の対象物を用いて、車両の周辺の状況を推定することができる。すなわち、所定数以上の対象物が検出された場合には、歩行者等の高温対象物が多く存在する状況と推定することができる。また、所定の種類の対象物、たとえば所定の人工構造物(街灯等)が所定数以上検出されたならば、やはり、歩行者等の高温対象物が多く存在する状況と推定することができる。車両からの距離を考慮することにより、このような状況を、より正確に推定することができる。また、高温対象物が多く存在する状況ではないと推定された場合には、多く存在する状況であると推定された場合に比べて、所定の割合Sを低くするので、より適切な閾値で輝度値を二分することができ、検出すべき対象物を良好な精度で抽出することができる。
この発明の一実施形態によると、前記推定手段は、前記撮像画像の所定領域における輝度値の分散または平均が所定値以上である場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする。
この発明によれば、撮像画像の輝度値によって、車両の周辺の状況を推定することができる。すなわち、撮像画像の所定領域の輝度値の分散が高ければ、車両の周辺に歩行者や街灯等が存在することによって輝度値のばらつきが大きくなっており、よって、高温対象物が多く存在する状況であると推定することができる。また、撮像画像の所定領域の輝度値の平均値が高ければ、車両の周辺に歩行者や街灯等が存在することによって輝度値が全体的に高くなっており、よって、高温対象物が多く存在する状況であると推定することができる。さらに、高温対象物が多く存在する状況ではないと推定された場合には、多く存在する状況であると推定された場合に比べて、所定の割合Sを低くするので、より適切な閾値で輝度値を二分することができ、検出すべき対象物を良好な精度で抽出することができる。
この発明の一実施形態によると、前記車両の運転状態を検出する検出手段を備え、前記推定手段は、前記検出手段によって検出された車両の運転状態に応じて、前記高温対象物が多く存在する状況であるか否かを推定する。
この発明によれば、車両の運転状態から、車両の周辺の状況を推定することができる。たとえば、車速に応じて、高温対象物が周辺にほとんど存在しない高速道路を走行しているか否かを推定することができる。
この発明の一実施形態によると、前記車両の現在位置を検出する検出手段を備え、前記推定手段は、前記検出手段によって検出された車両の現在位置が存在する道路および地域の少なくとも一方について取得された情報に応じて、前記高温対象物が多く存在する状況であるか否かを推定する。
この発明によれば、車両のナビゲーション機能を利用して、車両の周辺の状況を推定することができる。たとえば、車両が、高温対象物が周辺にほとんど存在しない高速道路を走行しているか否かは、車両の現在位置の道路についての情報から推定することができる。また、車両が、高温対象物が存在しやすい比較的人口の多い場所を走行しているか否かは、車両の現在位置の地域に関する情報から推定することができる。
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、カメラの取り付け位置を説明するための図。 モード法とPタイル法の違いを説明するための図。 この発明の一実施例に従う、車両の周辺に高温対象物が多く存在する状況における所定の割合の設定、および、該高温対象物が多く存在しない状況における所定の割合の設定を説明するための図。 この発明の一実施例に従う、対象物判定プロセスを示すフローチャート。 この発明の一実施例に従う、車両の周辺の状況を推定するのに用いる撮像画像の領域の一例を示す図。 この発明の第2の実施例に従う、周辺監視装置の構成を示すブロック図。 この発明の第3の実施例に従う、周辺監視装置の構成を示すブロック図。 この発明の第3の実施例に従う、車両の周辺の状況を推定するためのプロセスのフローチャート。
次に図面を参照してこの発明の実施の形態を説明する。
図1は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な2つの赤外線カメラ1Rおよび1Lと、カメラ1Rおよび1Lによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット2と、該検出結果に基づいて音声で警報を発生するスピーカ3と、カメラ1Rまたは1Lによって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ(以下、HUDと呼ぶ)4とを備えている。
この実施例では、図2に示すように、カメラ1Rおよび1Lは、車両10の前方を撮像するよう、車両10の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。2つのカメラ1Rおよび1Lは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ1Rおよび1Lは、対象物の温度が高いほど、その出力信号のレベルが高くなる(すなわち、撮像画像における輝度が大きくなる)特性を有している。
画像処理ユニット2は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置(CPU)、CPUが演算に際してデータを記憶するのに使用するRAM(ランダムアクセスメモリ)、CPUが実行するプログラムおよび用いるデータ(テーブル、マップを含む)を記憶するROM(リードオンリーメモリ)、スピーカ3に対する駆動信号およびHUD4に対する表示信号などを出力する出力回路を備えている。カメラ1Rおよび1Lの出力信号は、デジタル信号に変換されてCPUに入力されるよう構成されている。HUD4は、図2に示すように、車両10のフロントウィンドウの、運転者の前方位置に画面4aが表示されるように設けられている。こうして、運転者は、HUD4に表示される画面を視認することができる。
ここで、具体的な実施例を述べる前に、図3〜図5を参照して本願発明の基本的な考え方を述べる。
図3を参照すると、(a)は、一の撮像画像の輝度値ヒストグラムを示し、(b)は、他の撮像画像の輝度値ヒストグラムを示す。撮像画像の輝度値を二分するのは、高温対象物領域を、それ以外の背景領域から区別するためである。前述したように、撮像画像の輝度値を二分する手法として、いわゆるモード法と呼ばれるものがある。(a)のように、背景に対応するピーク111と高温対象物に対応するピーク113が明瞭に出現した場合には、両者のピークの間に閾値THを設定することにより、高温対象物を、背景から良好に分離して抽出することができる。
しかしながら、車両の周辺の状況によっては、(b)のように、上記のような2つのピークが明瞭に出現しない輝度値ヒストグラムが得られる場合もある。このような場合に対処するため、この発明では、Pタイル法を用いる。
Pタイル法は、周知のごとく、ヒストグラムの全体の度数(最小輝度値Lから最大輝度値Hまでの度数の和)に対して所定の割合S(%)を設定し、累積度数がS%となる高輝度範囲と、累積度数が(100―S)%となる低輝度範囲とに、輝度値を二分する方法である。図には、高輝度範囲が、斜線が付された領域A1によって示され、低輝度範囲は、領域A2によって示されている。領域A1と領域A2の面積比率は、S:(100−S)である。
たとえば、ヒストグラムの全体の度数を1000個(撮像画像の画素数に相当する)とし、所定の割合Sを30%とすると、輝度値の最大値Hから度数を加算していき、その累積度数が、1000×S(%)である300個に達した所の輝度値を、閾値THとする。撮像画像の輝度値は、閾値TH以上の高輝度範囲A1と、THより低い低輝度範囲A2とに、二分される。閾値TH以上の高輝度範囲A1内の輝度値を有する対象物が、高温対象物として抽出される。
このように、Pタイル法を用いれば、2つのピークが出現しない撮像画像についても輝度値を二分することができる。しかしながら、上記の所定の割合(比率)Sを固定値にすると、所望の対象物を背景から良好に分離して抽出することは困難である。
この点について説明すると、図4の(a)は、市街地の幹線道路を走行している場合に車両に搭載されたカメラ1Rで撮像された画像(グレースケール画像)の一例を示し、図4の(b)は、郊外の一般道路を走行している場合に車両に搭載されたカメラ1Rで撮像された画像(グレースケール画像)の一例を示す。赤外線カメラを用いているので、対象物が高温なほど、白い領域として撮像されている。
両者を比較して明らかなように、(a)のような場所を走行していると、歩行者101等の高温対象物だけでなく、他の車両103や街灯105のような比較的高温を呈する人工構造物が多く存在しており、そのために、撮像画像上には、白または白に近い画像領域が多く存在する。他方、(b)のような場所を走行していると、車両の周辺には高温対象物がほとんど存在せず、この例では、動物107が存在しているにすぎない。そのため、(a)に比べて、白または白に近い画像領域が少ない。
(c)は、(a)のような車両の周辺に高温対象物が多く存在している状況で撮像された画像の輝度値ヒストグラムを示し、(d)は、(b)のような車両の周辺に高温対象物がほとんど存在しない状況で撮像された画像の輝度値ヒストグラムを示す。両者を比較して明らかなように、(c)では、矢印121に示すように、輝度の高い領域で度数が高くなっているが、(d)では、矢印123に示すように、輝度の高い領域での度数が低い。
高温対象物を背景から良好に分離するためには、輝度の高い領域で度数が高くなっている部分(山の部分)のみを、他の部分と分離するのが望ましい。したがって、(a)では、上記のPタイル法による所定の割合Sを、高めの値S2に設定し、(b)では、該所定の割合Sを、低めの値S1(<S2)に設定するのが好ましい。図には、所定の割合がS2である場合の閾値がTH2で示され、所定の割合がS1である場合の閾値がTH1で示されている。前述したように、閾値TH2は、(c)の輝度値ヒストグラムにおいて、輝度値の最大値Hから度数を加算していき、その度数の合計が、全体の度数に対するS2(%)となった所の輝度値であり、閾値TH1は、(d)の輝度値ヒストグラムにおいて、輝度値の最大値Hから度数を加算していき、その度数の合計が、全体の度数に対するS1(%)となった所の輝度値である。
(c)では、閾値TH2以上の高輝度範囲A1(斜線で示されている)内の輝度値を有する対象物が、高温対象物として抽出され、(d)では、閾値TH1以上の高輝度範囲A1(斜線で示されている)内の輝度値を有する対象物が、高温対象物として抽出される。
仮に、(c)のような輝度値ヒストグラムに、所定の割合Sとして低めの値S1を設定すると、図の点線125で二分されることとなる。これでは、高温対象物として抽出すべき領域の一部が、高輝度範囲A1から外れてしまい、よって、高温対象物のみを背景から分離することが困難となる。また、(d)のような輝度値ヒストグラムに、所定の割合Sとして高めの値S2を設定すると、図の点線127で二分されることとなる。これでは、高温対象物として抽出される高輝度範囲に背景部分を含んでしまい、よって、高温対象物のみを背景から分離することが困難となる。
よって、この発明では、車両の周辺の状況を推定し、(a)のような高温対象物が多く存在する状況と推定されたならば、(c)のように、所定の割合Sを高めの値S2に設定する。他方、車両の周辺の状況を推定し、(b)のような高温対象物が多く存在する状況ではないと推定されたならば、(d)のように、所定の割合Sを低めの値S1に設定する。車両の周辺の状況に応じて、輝度値を二分するための所定の割合Sを変更するので、車両の周辺の状況に適したように、撮像画像の輝度値を二分することができ、よって、高温対象物を背景から良好に分離して抽出することができる。
以下の実施例では、図4の(a)および(c)のような、所定の割合Sに高めの値S2が設定されるべき状況、すなわち車両の周辺に高温の対象物が多く存在する状況を第1の状況とし、図4の(b)および(d)のような、所定の割合Sに低めの値S1が設定されるべき状況、すなわち車両の周辺に高温の対象物が多く存在しない状況を第2の状況と呼ぶ。
図5は、この発明の一実施例に従う、画像処理ユニット2によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
ステップS11〜S13において、カメラ1Rおよび1Lの出力信号(すなわち、撮像画像のデータ)を入力として受け取り、これをA/D変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。
ステップS14において、グレースケール画像(右画像でよく、代替的に、左画像でもよい)の輝度値ヒストグラムを作成する。ステップS15において、車両の周辺の状況を推定する。この推定手法についての詳細は後述される。
ステップS16において、推定の結果、前述した第1の状況が推定されたならば、ステップS17において、Pタイル法で用いる所定の割合Sを、所定値S2に設定する。前述した第2の状況が推定されたならば、ステップS18において、該所定の割合Sを、所定値S1に設定する。ここで、S1<S2である。こうして、第1の状況すなわち車両周辺に高温対象物が多く存在する状況が推定された場合には、所定の割合Sが高めの値S2に設定され、そうでない第2の状況では、所定の割合Sが低めの値S1に設定される。したがって、第1の状況においては、歩行者や動物等の生体が、抽出される高輝度範囲から外れて背景に分類されてしまうのを防止すると共に、第2の状況においては、背景が、抽出される高輝度範囲に含まれてしまうのを、より確実に防止することができる。結果として、車両の周辺の状況に適したように、輝度値を二分することができる。
ステップS21において、右画像を基準画像とし(代替的に、左画像を基準画像としてもよい)、その画像信号の2値化を、所定の割合Sを用いたPタイル法によって行う。所定の割合S(%)に所定値S1が設定された場合には、輝度値ヒストグラムの全体の度数Nに対し、該ヒストグラム上の最大輝度値Hから、N×S1(%)個分の輝度値の画素については「1」(白)とし、それ以外の輝度値の画素については「0」(黒)とする。言い換えれば、前述したように、該所定の割合S1に対応する閾値TH1を求め、該閾値TH1以上の輝度値の画素については「1」(白)とし、該閾値TH1より低い輝度値の画素については「黒」(0)とする。この2値化処理により、閾値TH1に対応する温度以上の対象物が、白領域として抽出される。所定の割合Sに所定値S2が設定された場合も、同様の手法で2値化が行われる。
ステップS22において、2値化した画像データを、ランレングスデータに変換する。具体的には、2値化により白となった領域について、各画素行の該白領域(ラインと呼ぶ)の開始点(各ラインの左端の画素)の座標と、開始点から終了点(各ラインの右端の画素)までの長さ(画素数で表される)とで、ランレングスデータを表す。たとえば、y座標がy1である画素行における白領域が、(x1,y1)から(x3,y1)までのラインであるとすると、このラインは3画素からなるので、(x1,y1,3)というランレングスデータで表される。
ステップS23およびS24において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを合わせて1つの対象物とみなし、これにラベルを付与する。こうして、1または複数の対象物の候補が抽出される。
ステップS25において、抽出された対象物候補が、検出すべき対象物かどうかを判定するための対象物判定プロセスを実行する。具体的には、抽出された対象物が、歩行者であるか、動物であるか、人工構造物であるかの判定が行われる。これらの判定は、任意の既知の手法を用いて行われることができる。たとえば、歩行者判定処理は、特開2007−241740号公報、特開2007−334751号公報等に記載されている。たとえば、動物判定処理は、特開2007−310705号公報、特開2007−310706号公報等に記載されている。たとえば、人工構造物判定処理については、特開2007−310705号公報、特開2008−276787号公報等に記載されている。
ステップS26では、ステップS25で判定された対象物が、検出すべき対象物ならば、通報(警報)を行う。この実施例では、検出すべき対象物は、歩行者や動物等の生体である。したがって、対象物が歩行者や動物等の生体であると判定された場合には、運転者に対して通報を出力する。通報は、任意の形態で出力されることができ、たとえば、HUD4の表示画面4a上に撮像画像を表示し、該撮像画像上に撮像されている対象物を強調表示(たとえば、対象物を枠で囲んで表示)することができる。また、このような強調表示に加え、または強調表示に代えて、スピーカ3を介して対象物が存在することを運転者に知らせてもよい。他方、ステップS25で判定された対象物が、人工構造物である場合には、警通報の対象物ではないので、通報することなく当該プロセスを抜ける。
なお、以上の処理に加え、過去の複数の撮像画像について、同一対象物を追跡(トラッキング)すると共に、対象物への距離を、カメラ1Rおよび1Lの2枚の撮像画像に基づいて算出し、対象物が、車両の周辺の所定範囲に存在するかどうか、および該所定範囲に侵入するおそれがあるかどうかを判定するようにしてもよい。これらの処理の詳細は、たとえば特開2001−006096号公報に記載されている。
以下に、ステップS15で実施される、車両の周辺の状況を推定する処理について、いくつかの実施例を説明する。
第1の実施例では、ステップS13で取得された撮像画像(グレースケール画像)を用いて、この推定を行う。撮像画像を用いた場合、さらに以下の2つの形態が考えられる。
1)撮像画像の輝度値を用いた形態
2)撮像画像に撮像されている対象物を用いた形態
上記1)について説明すると、図4の(a)と(b)を比較して明らかなように、(a)の撮像画像においては、車両の左右周辺に、背景よりも高温の対象物が様々に点在しているのに対し、(b)の撮像画像においては、車両の左右周辺においてこのような点在は見られず、ほとんど背景部分となっている。
したがって、図6(a)および(b)に示すように、図4(a)および(b)のそれぞれの撮像画像の所定の領域、好ましくは撮像画像の左右端に設定された所定領域131Lおよび131Rの輝度値の分散を算出する。(a)のような状況下では、上記のように様々な対象物が点在しているので、領域131Lおよび131Rの輝度値のばらつき、すなわち分散は高くなる。他方、(b)のような状況下では、対象物が車両周辺にほとんど存在しないので、領域131Lおよび131Rの輝度値のばらつき、すなわち分散は低くなる。
したがって、一例では、撮像画像の所定領域131Lおよび131Rの輝度値の分散(標準偏差でもよい)を算出し、該分散の値が所定値より高ければ第1の状況と推定し、該所定値以下であれば第2の状況と推定する。
分散に代えて、平均値を用いてもよい。図6(a)の領域131Lおよび131Rには、車両の周辺に存在する対象物によって高輝度が多く含まれるのに対し、図6(b)の領域131Lおよび131Rには、このような対象物がほとんど存在しないため、高輝度が含まれることも少ないからである。
したがって、他の例では、撮像画像の左右端の所定領域131Lおよび131Rの輝度値の平均値を算出し、該平均値が所定値より高ければ第1の状況と推定し、該所定値以下であれば第2の状況と推定する。
ここで、所定領域131Lおよび131Rは、図6に示すように、撮像画像の左右端に設定されるのが好ましい。車両が道路を走行しているとき、(a)のような市街地においては、該道路の左右に、歩行者や建物等の人工構造物が存在する。他方、撮像画像の中央の領域は、道路前方の領域であるので、これらの対象物が撮像されない可能性がある。したがって、該道路の左右に存在するこれらの対象物が撮像されるように、撮像画像の左右端に所定領域131Lおよび131Rは設定されるのがよい。さらに、道路の左右に存在する対象物が撮像されるように、所定領域131Lおよび131Rの水平方向の幅は設定されるのがよい。
また、所定領域を下方に伸長すると、該所定領域に道路が含まれるおそれがある。さらに、高い建物が無い場合には、所定領域を上方に伸長すると、該所定領域に空が含まれるおそれがある。道路や空の部分が所定領域に含まれると、(a)のような市街地でも、分散や平均が低く算出されるおそれがある。このようなことを防止するため、所定領域の垂直方向の長さは、道路や空を含まないように、画像の底辺から所定距離離れた所から、画像の上辺から所定距離離れた所まで伸長するよう設定されるのがよい。
次に、上記2)について説明すると、図4(a)のように、高温対象物が周辺に多く存在する状況で撮像された画像からは、図4(b)のような撮像画像に比べて、抽出される対象物の個数が多い。この点に着目し、一例では、抽出される対象物の個数から、車両の周辺の状況を推定する。
具体的には、ステップS15が実行される時点では、上で述べたように、今回撮像した画像については、未だ対象物の抽出処理は行われていない。他方、図5のプロセスは、よりリアルタイムに対象物の通報を行うため、その実行サイクル(周期)は比較的短く設定される(たとえば、100ミリ秒)ので、今回の撮像画像と前回の撮像画像の差異は小さい。したがって、前回の撮像画像を用いることができる。
すなわち、前回のサイクルで図5のプロセスを実行した時点でステップS24において抽出された対象物の個数が所定値以上ならば、第1の状況と推定し、該所定値より少なければ、第2の状況と推定する。代替的に、前回のサイクルまで連続して撮像された所定数の撮像画像に対する対象物抽出結果を用いてもよい。たとえば、撮像画像1枚あたりの対象物抽出個数の平均値を算出し、該平均値が所定値以上ならば、第1の状況と推定し、該所定値より小さければ、第2の状況と推定する。
また、他の例では、所定の種類の対象物の個数から、車両の周辺の状況を推定する。所定の種類の対象物として、一例では、人工構造物を用いる。図4(a)のように、高温対象物が車両周辺に多く存在する状況は、或る程度以上の人口が存在している場所で起こり、よって、人工構造物の数が多い場所で起こると考えることができる。したがって、人工構造物の数に応じて、車両周辺の状況を推定する。具体的には、人工構造物の判定処理は、図5のステップS25で行われるので、今回の撮像画像については未だ人工構造物は判定されていない。したがって、前回の撮像画像を用いる。前回のサイクルで図5のプロセスを実行した時点でステップS25において判定された人工構造物の個数が所定値以上ならば、第1の状況と推定し、該所定値より少なければ、第2の状況と推定する。代替的に、前回のサイクルまで連続して撮像された所定数の撮像画像に対する人工構造物判定結果を用いてもよい。たとえば、撮像画像1枚あたりの人工構造物の個数の平均値を算出し、該平均値が所定値以上ならば、第1の状況と推定し、該所定値より小さければ、第2の状況と推定する。
ここで、個数を数える対象となる人工構造物の種類を、さらに特定してもよい。該特定の種類の人工構造物が所定数以上存在するかどうかに応じて、第1または第2の状況を推定してもよい。該特定の種類は、高温対象物が多く存在する場所で存在する種類のものとして選択される。たとえば、市街地では、所定高さ以上の照明物(街灯、看板のライト、建物のライトを含む)が多く存在しており、これを、特定の種類の人工構造物とすることができる。特定する種類の数は、1つでもよく、複数でもよい。複数の場合は、いずれかの種類の人工構造物の数が所定数以上かどうかに応じて第1または第2の状況を推定してもよいし、すべての種類の人工構造物の数が所定数以上かどうかに応じて第1または第2の状況を推定してもよい。
なお、人工構造物の種類の判定は、ステップS25の対象物判定処理に含めることができる。典型的には、形状および大きさの観点から、人工構造物の種類を特定することが行われる。たとえば、該特定の種類の人工構造物の形状をモデル化したテンプレートを用いて周知の形状マッチングを行うと共に、抽出された対象物の実空間での大きさが、該特定の種類の人工構造物に相当する範囲内かどうかを判断する。形状マッチングを行った結果の類似度(相関の程度)が所定値より高く、かつ算出された大きさが、該特定の種類の人工構造物に相当する範囲内であれば、対象物が、該特定の種類の人工構造物であると判定する。代替的に、形状および大きさのいずれか一方に基づいて、該特定の種類の人工構造物を判定してもよい。
上記の所定の種類の対象物として、他の例では、歩行者を用いる。歩行者の数が多ければ、高温対象物が周辺に多く存在する状況を示すからである。この場合、前回の撮像画像を用い、前回のサイクルで図5のプロセスを実行した時点でステップS25において判定された歩行者の数が所定値以上ならば、第1の状況と推定し、該所定値より少なければ、第2の状況と推定する。人工構造物の場合と同様に、前回のサイクルまで連続して撮像された所定数の撮像画像に対する歩行者判定結果を用いてもよい。
なお、上記の対象物の数または所定の種類の対象物の数は、車両から所定の距離値内に存在するものを対象に数えるようにしてもよい。こうすることにより、車両の近傍の状況を、より確実に見極めることができる。ここで、対象物の車両からの距離は、この実施例では、図1に示すように一対のカメラ1Rおよび1Lを用いているので、周知の三角測量法を用いて算出されることができる。
以上述べた第1の実施例では、様々な条件を用いて車両の周辺の状況を推定しているが、これらの条件のうち、1つを用いてもよいし、任意の複数のものを用いてもよい。後者の場合には、いずれかの条件が満たされた場合、または任意の複数の条件が満たされた場合に第1の状況と推定し、それ以外の場合は第2の状況と判定してもよい。
次に、第2の実施例について説明する。図7は、第2の実施例に基づく、車両の周辺監視装置のブロック図を示す。図1と異なるのは、車両の運転状態を検出する運転状態検出手段21が設けられており、運転状態検出手段21によって検出された運転状態は、画像処理ユニット2に入力される点である。図5のプロセスは該第2の実施例にも同様に適用され、この場合、ステップS15では、該検出された運転状態を用いて、車両の周辺の状況を推定する。
一例では、運転状態検出手段21は、車速を検出する手段であり、たとえば車速センサにより実現されることができる。たとえば、高速道路では制限速度が通常設けられているので、所定時間間隔で車速を検出し、該車速が、該制限速度以上であって所定時間以上継続した場合には、高速道路を走行していると推定することができる。高速道路は、車両の周辺にほとんど高温対象物が存在しない。したがって、高速道路と推定された場合には、第2の状況と推定し、高速道路ではないと推定された場合には、第1の状況と推定する。
他方、図4(a)のような市街地を走行しているときには、図4(b)のような郊外を走行しているときに比べ、信号や歩行者等の存在により、車両は頻繁に停止または低速で走行する。市街地は、高温対象物が的多く存在する場所である。したがって、所定時間間隔で車速を検出し、該検出された車速に基づいて所定時間の平均車速を算出し、該平均車速が所定値以下の場合には、第1の状況と推定し、該所定値より大きければ、第2の状況と推定してもよい。
他の例では、運転状態検出手段21は、車両の舵角を検出する手段であり、たとえば舵角センサにより実現されることができる。図4(a)のような市街地を走行している場合には、図4(b)のような郊外を走行している場合に比べ、より頻繁にハンドルの操舵が行われる。したがって、所定時間間隔で舵角を検出し、所定時間にわたり、該舵角が所定値以上の大きさで変化する頻度をカウントし、該頻度が所定値以上ならば、第1の状況と推定し、該所定値より小さければ、第2の状況と推定することができる。
さらなる他の例では、運転状態検出手段21は、車両のヨー角(車両重心の垂直方向軸回りの回転角度)を検出する手段であり、たとえばヨーレートセンサによって実現されることができる。図4(a)のような市街地は、図4(b)のような郊外を走行している場合に比べ、曲がり角が多い。したがって、所定時間間隔でヨー角を検出し、所定時間にわたり、該ヨー角が所定値以上の大きさで変化する頻度をカウントし、該頻度が所定値以上ならば、第1の状況と推定し、該所定値より小さければ、第2の状況と推定することができる。
次に、第3の実施例について説明する。図8は、第3の実施例に基づく、車両の周辺監視装置のブロック図を示す。図1と異なるのは、ナビゲーションユニット25が画像処理ユニット2に接続されている点である。
ナビゲーションユニット25は、たとえば人工衛星を利用して車両10の位置を測定するためのGPS信号を受信し、該GPS信号に基づいて、車両10の現在位置を検出する。ナビゲーションユニット25は、地図情報を記憶する地図情報記憶部27を備える。地図情報記憶部27は、任意の記憶装置(記録媒体やハードディスクドライブなど)に実現されることができる。ナビゲーションユニット25は、地図情報記憶部27に記憶された地図情報を読み出して、所定の表示装置(HUD4でもよい)の表示画面上に表示することができる。
図5のプロセスは該第3の実施例にも同様に適用され、この場合、ステップS15では、該ナビゲーションユニット25を介して検出された車両の現在位置を取得すると共に、該現在位置が存在する道路および地域の少なくとも一方に関する情報を取得し、該情報を用いて、車両の周辺の状況を推定する。
まず、道路に関する情報を用いて車両の周辺の状況を推定する場合を述べる。この実施例では、道路に関する情報として、道路の種別情報を用いる。道路の種別は、ナビゲーションユニット25の地図情報内に、各道路の属性情報として予め設定されている。たとえば、地図情報の道路種別情報は、高速道路、都市高速道路、有料道路、一般道路(国道、県道、その他)等を示す。したがって、車両が現在走行している位置の道路の道路種別情報を地図情報から取得することにより、該道路が高速道路かどうかを判断することができる。
代替的に、地図情報に道路種別情報が設定されていない場合には、地図情報とは別個のテーブルに、各道路について高速道路かどうかを示す情報を設定し(たとえば、高速道路か否かを示すフラグを、各道路の名称に対応づけて設定することができる)、該テーブルをメモリ等の記憶装置に記憶することができる。車両が現在走行している位置の道路の名称を地図情報から取得し、該取得した名称に基づいて該テーブルを参照することにより、道路が高速道路かどうかを判断することができる。
前述したように、高速道路は、周辺に高温対象物がほとんど存在しない状況である、したがって、高速道路と判断されたならば、第2の状況と推定し、そうでない場合には、第1の状況と推定する。
次に、地域に関する情報を用いて車両の周辺の状況を推定する場合を述べる。地域に関する情報として、「街」か否かを示す情報を用いる。ここで、「街」は、或る程度の数の人口が存在する場所である。「街」は、任意の情報源に基づいて、任意の適切な条件を満たす地域として定義されることができる。たとえば、日本の場合、市区町村の単位で「街」かどうかを決定し、人口密度が所定値以上であれば「街」に分類し、人口密度が該所定値より小さければ、「街」以外に分類することができる。また、人口密度に加え、その地域への就業や通学のための流入人口を考慮してもよい。たとえば、人工密度が該所定値より小さくても、流入人口が所定値以上ならば、その地域には企業等の人間が比較的多く存在しており、よって「街」に分類されることができる。また、通常、ビルや家屋等の建物の数が多いほど、人間が多く存在するため、建物の数が所定値以上であれば「街」に分類し、そうでなければ「街」以外に分類するようにしてもよい。
代替的に、所定の動物(たとえば、鹿などの所定の大型動物)について、過去に出没したとの情報、生息地域の情報、およびこれらの動物の出没の可能性を示す標識が設置されている場所の情報等に基づいて、動物が出没する可能性のある地域を特定し、これらの地域については「街」以外に分類し、そうでない地域については「街」に分類するようにしてもよい。
こうして、各市区町村に、「街」か否かを示す情報が関連づけられて、地図情報に予め記憶されることができる(たとえば、「街」か否かを示すフラグを、その地名に対して設定する)。代替的に、地図情報とは別個のテーブルに、各市区町村について、街か否かを示す情報(上記のようなフラグでよい)を設定してメモリ等に記憶してもよい。地図情報または該テーブルを参照することにより、車両の現在走行している場所が「街」に分類されているか否かを判断することができる。
「街」は、或る程度の人口が存在する場所であるから、高温対象物が多く存在する場所である。したがって、車両の現在位置の地域が、「街」であると判断されたならば、第1の状況と推定し、そうでない場合には、第2の状況と推定する。
なお、上で述べたような、道路の種別を表す情報および「街」かどうかを示す情報を、ユーザが登録することができるようにしてもよい。たとえば、表示装置上に表示された地図情報上で、ユーザが、「街」に分類されるべき市区町村を、たとえばタッチパネルを介して指定し、画像処理ユニット2は、該指定された地域に対し、「街」であることを示すフラグを設定して地図情報に記憶することができる。
また、ナビゲーションユニット25の通信機能を利用して、これらの情報をリアルタイムに取得するようにしてもよい。たとえば、車両は、所定のコンピュータ(サーバ等)と通信し、該サーバには、各道路および各市区町村について、道路種別情報および「街」かどうかを示す情報が記憶されている。車両は、車両の現在位置をサーバに送信し、サーバは、該現在位置について設定されているこれらの情報を、車両に知らせることができる。また、既存のVICSシステム等の交通情報を車両に提供するシステムを利用し、該交通情報の一貫として、これらの情報を車両に送信するようにしてもよい。
ここで、図9を参照して、ステップS15で実行される、ナビゲーション機能を用いた車両周辺の状況を推定する処理のフローを説明する。
ステップS31において、ナビゲーションユニット25を介して、車両の現在位置を取得する。ステップS32において、ナビゲーションユニット25の地図情報から、該現在位置の道路の種別を取得する。前述したように、ナビゲーションユニット25の地図情報には、各道路について、その属性情報として道路の種別を表す情報が設定されている。
ステップS33において、取得した道路種別情報に基づいて、現在位置の道路が高速道路かどうかを判断する。高速道路ならば(ステップS33がYes)、ステップS34においてフラグRoad_flagに値1を設定し、高速道路でなければ(ステップS33がNo)、ステップS35においてフラグRoad_flagに値2を設定する。
ステップS36において、ナビゲーションユニット25の地図情報から、該現在位置が属する地域について設定されている「街」か否かを示す情報を取得する。前述したように、地図情報には、市区町村等の単位で、「街」かどうかを示す情報が設定されている。
ステップS37において、取得した「街」か否かを示す情報に基づいて、現在位置の地域が「街」に分類されているかどうかを判断する。「街」であると判断されたならば(ステップS37がYes)、ステップS38においてフラグTown_flagに値1を設定し、「街」ではないと判断されたならば(ステップS37がNo)、ステップS39においてフラグTown_flagに値2を設定する。
ステップS40において、Road_flagが値1であるか、または、Town_flagが値2であるかどうかを判断する。Road_flagが値1である、またはTown_flagが値2であるならば、車両の現在位置が、高速道路であるか、または「街」ではない地域に存在していることを示す。これは、高温対象物は多く存在しない状況を示すので、ステップS41で第2の状況と推定する。他方、ステップS40の判断がNoであるとき、Road_flagが値2であるか、またはTown_flagが値1である場合を示し、これは、車両の現在位置が、高速道路ではないか、または「街」である地域に存在していることを示す。これは、高温対象物が多く存在する状況を示すので、ステップS42で第1の状況と推定する。
以上述べてきた第1〜第3の実施例では、所定の割合Sとして、2つの値S1およびS2を用いているが、このような形態には限定されず、車両の周辺の状況に応じて、所定の割合Sを、値S1とS2の間で徐々に変化させるようにしてもよい。
たとえば、第1の実施例では、撮像画像の所定の領域の輝度値の分散または平均値の値が高くなるほど、低めの値S1から高めの値S2に向けて、所定の割合Sを徐々に変化させることができ、この逆も同様である。また、第1の実施例では、抽出された対象物の個数または所定の種類の対象物の個数が多いほど、低めの値S1から高めの値S2に向けて、所定の割合Sを徐々変化させることができ、この逆も同様である。
また、上で述べてきた第1〜第3実施例においては、所定の割合Sを、第1および第2の状況のいずれかが推定されたことに応じて2つの値S1およびS2の間で切り換えているが、この切り換えの際に、所定の割合Sを一時に値S1とS2の間で変化させるのではなく、徐々に変化させるようにしてもよい。
たとえば、前回のサイクルで第2の状況と推定され、今回のサイクルで第1の状況と推定されたとき、該今回のサイクルでは、所定の割合Sの前回値に所定の増分値α(ただし、|α|<|S2−S1|)を加算した値を、所定の割合Sの今回値とする。次に第2の状況と推定されるまでの期間にわたり、高めの値S2を上限値として、サイクル毎に、所定の割合Sの前回値に増分値αが加算されていく。ここで、増分値αは、サイクル毎に一定であってもよいし、一定でなくてもよい。
同様に、前回のサイクルで第1の状況と推定され、今回のサイクルで第2の状況と推定されたとき、該今回のサイクルでは、所定の割合Sの前回値に所定の減分値α(負の値を有し、|α|<|S2−S1|)を加算した値を、所定の割合Sの今回値とする。次に第1の状況と推定されるまでの期間にわたり、低めの値S1を下限値として、サイクル毎に、所定の割合Sの前回値に減分値αが加算されていく。ここで、減分値αは、サイクル毎に一定であってもよいし、一定でなくてもよい。
こうして、輝度値を二分する閾値の急激な変化を抑制することができる。特に、値S1からS2への切り換えを一時に行うと、高温対象物として抽出される面積の比率が一時に大きくなるため、車両の周辺の状況によっては、抽出される高輝度範囲に背景を含んでしまうおそれがある。上記のような切り換えにより、このような状況を回避することができる。
上で述べた実施例では、所定の割合Sの更新を行うステップS14〜S18は、図5のプロセスの一環として行われているが、代替的に、ステップS14〜S18を、他のステップとは別のプロセスとしてもよい。この場合、ステップS14〜S18のプロセスの実行サイクルを変更することにより、該所定の割合Sの更新周期を可変としてもよい。
たとえば、高温対象物が多く存在する市街地のような場所では、高温対象物の突然の出現や消滅が頻繁に起こることがある。このような高温対象物に対処するため、第1の状況と推定されている間は、所定の割合Sの更新周期を短くするのがよい。
他方、周辺に存在する高温対象物の大きさによっては、車両に接近するよう撮像されるにつれて、その高温対象物が撮像される面積が大きくなる。そのため、たとえば上記の第1の実施例の輝度値に基づいて第1または第2の状況を推定しているような場合に、短期間で所定の割合Sを更新していくと、所定の割合Sが、低めの値S1から高めの値S2に変更されたり、該高めの値S2に向けて増大するおそれがある。低めの値S1に設定すべき状況において高めの値S2が用いられると、図4を参照して説明したように、抽出される高輝度範囲に背景を含むおそれが生じる。このようなことを防止するため、第2の状況と推定されている間は、所定の割合Sの更新周期を長くするのがよい。
したがって、一例では、所定の割合Sに高めの値S2が設定される場合には、更新周期を短くし、低めの値S1が設定される場合には、更新周期を、それよりも長くすることができる。代替的に、所定の割合Sが、高めの値S2から低めの値S1に向かうにつれて、更新周期を徐々に長くするようにしてもよい。いずれの場合にも、一番短い周期を、図5のプロセスの周期と同じとなるよう設定することができる。
また、上記の実施形態では、図1に示すように、2つの赤外線カメラを用いた構成となっているが、この発明は、1つの赤外線カメラを用いて撮像された画像にも適用可能である。1つのカメラの場合、対象物までの距離値は、たとえばレーダなどを用いて検出するようにしてもよいし、該カメラの撮像画像において対象物が撮像された位置から、対象物までの距離を推定するようにしてもよい。
また、図5のプロセスでは、上記に述べたようにして設定された所定の割合Sを用いて、ステップS21で画像の二値化して黒白画像を生成しているが、このような黒白画像を生成すること自体は、必ずしも行わなくてもよい。すなわち、グレースケール画像から、所定の割合Sによって規定される高輝度範囲に属する画素のみを直接抽出し、これらの画素に基づいて。ステップS22以下を実施してもよい。
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
1R,1L 赤外線カメラ(撮像手段)
2 画像処理ユニット
3 スピーカ
4 ヘッドアップディスプレイ

Claims (4)

  1. 車両に搭載された赤外線カメラと、
    前記赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて高輝度側から算出した累積度数の全体度数に対する割合である度数割合が予め定められた所定値以下である輝度値範囲を高輝度範囲とし、前記度数割合が前記所定値を超える輝度値範囲を低輝度範囲として、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する手段と、
    前記抽出された対象物の候補について、前記検出すべき対象物かどうかを判定する判定手段と、
    前記検出すべき対象物と判定されたとき、運転者への通報を行う手段と、を備える車両周辺監視装置であって、
    前記車両の周辺に、高温対象物が多く存在する状況か否かを推定する推定手段と、
    前記高温対象物が多く存在する状況か否かの推定結果に応じて、前記所定の割合を変更する手段と、
    を備え、
    前記推定手段は、前記撮像画像から、所定数以上の対象物が検出された場合、所定の種類の対象物が所定数以上検出された場合、該所定数以上の対象物が前記車両から所定距離内で検出された場合、および、該所定の種類の対象物が前記車両から所定距離内で所定数以上検出された場合の少なくともいずれかが満たされた場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、
    前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする、
    両周辺監視装置。
  2. 車両に搭載された赤外線カメラと、
    前記赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて高輝度側から算出した累積度数の全体度数に対する割合である度数割合が予め定められた所定値以下である輝度値範囲を高輝度範囲とし、前記度数割合が前記所定値を超える輝度値範囲を低輝度範囲として、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する手段と、
    前記抽出された対象物の候補について、前記検出すべき対象物かどうかを判定する判定手段と、
    前記検出すべき対象物と判定されたとき、運転者への通報を行う手段と、を備える車両周辺監視装置であって、
    前記車両の周辺に、高温対象物が多く存在する状況か否かを推定する推定手段と、
    前記高温対象物が多く存在する状況か否かの推定結果に応じて、前記所定の割合を変更する手段と、
    を備え、
    前記推定手段は、前記撮像画像の所定領域における輝度値の分散または平均が所定値以上である場合には、前記高温対象物が多く存在する状況であると推定し、そうでない場合には、前記高温対象物が多く存在する状況ではないと推定し、
    前記高温対象物が多く存在する状況ではないと推定されたならば、該高温対象物が多く存在する状況であると推定された場合に比べて、前記所定の割合を低くする、
    両周辺監視装置。
  3. 車両に搭載された赤外線カメラと、
    前記赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて高輝度側から算出した累積度数の全体度数に対する割合である度数割合が予め定められた所定値以下である輝度値範囲を高輝度範囲とし、前記度数割合が前記所定値を超える輝度値範囲を低輝度範囲として、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する手段と、
    前記抽出された対象物の候補について、前記検出すべき対象物かどうかを判定する判定手段と、
    前記検出すべき対象物と判定されたとき、運転者への通報を行う手段と、を備える車両周辺監視装置であって、
    前記車両の周辺に、高温対象物が多く存在する状況か否かを推定する推定手段と、
    前記高温対象物が多く存在する状況か否かの推定結果に応じて、前記所定の割合を変更する手段と、
    前記車両の運転状態を検出する検出手段と、
    を備え、
    前記推定手段は、前記検出手段によって検出された車両の運転状態に応じて、前記高温対象物が多く存在する状況であるか否かを推定する、
    両周辺監視装置。
  4. 車両に搭載された赤外線カメラと、
    前記赤外線カメラにより撮像された撮像画像の輝度値ヒストグラムを作成し、該輝度値ヒストグラムにおいて高輝度側から算出した累積度数の全体度数に対する割合である度数割合が予め定められた所定値以下である輝度値範囲を高輝度範囲とし、前記度数割合が前記所定値を超える輝度値範囲を低輝度範囲として、該高輝度範囲に含まれる輝度値を有する対象物を、検出すべき対象物の候補として抽出する手段と、
    前記抽出された対象物の候補について、前記検出すべき対象物かどうかを判定する判定手段と、
    前記検出すべき対象物と判定されたとき、運転者への通報を行う手段と、を備える車両周辺監視装置であって、
    前記車両の周辺に、高温対象物が多く存在する状況か否かを推定する推定手段と、
    前記高温対象物が多く存在する状況か否かの推定結果に応じて、前記所定の割合を変更する手段と、
    前記車両の現在位置を検出する検出手段と、
    を備え、
    前記推定手段は、前記検出手段によって検出された車両の現在位置が存在する道路および地域の少なくとも一方について取得された情報に応じて、前記高温対象物が多く存在する状況であるか否かを推定する、
    両周辺監視装置。
JP2009083692A 2009-03-30 2009-03-30 車両の周辺監視装置 Expired - Fee Related JP4972116B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009083692A JP4972116B2 (ja) 2009-03-30 2009-03-30 車両の周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009083692A JP4972116B2 (ja) 2009-03-30 2009-03-30 車両の周辺監視装置

Publications (2)

Publication Number Publication Date
JP2010237874A JP2010237874A (ja) 2010-10-21
JP4972116B2 true JP4972116B2 (ja) 2012-07-11

Family

ID=43092137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009083692A Expired - Fee Related JP4972116B2 (ja) 2009-03-30 2009-03-30 車両の周辺監視装置

Country Status (1)

Country Link
JP (1) JP4972116B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012125373A (ja) * 2010-12-15 2012-07-05 Hitachi Aloka Medical Ltd 超音波画像処理装置
DE112012001092A5 (de) 2011-03-04 2014-06-18 Continental Teves Ag & Co. Ohg Begrenzung der Aktivierung eines Ausweichassistenten
JP5537491B2 (ja) * 2011-05-12 2014-07-02 富士重工業株式会社 環境認識装置
JP5547160B2 (ja) * 2011-10-27 2014-07-09 本田技研工業株式会社 車両周辺監視装置
CN106384351A (zh) * 2016-08-25 2017-02-08 成都市晶林科技有限公司 基于红外图像直方图的红外图像背景识别方法
CN117549913A (zh) * 2024-01-11 2024-02-13 交通运输部水运科学研究所 港区槽罐车集卡车混流的安全驾驶预警***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3756452B2 (ja) * 2002-01-18 2006-03-15 本田技研工業株式会社 赤外線画像処理装置
JP4543861B2 (ja) * 2004-09-30 2010-09-15 日産自動車株式会社 人物検出装置及び方法
JP2007156968A (ja) * 2005-12-07 2007-06-21 Konica Minolta Photo Imaging Inc 画像読取表示装置
JP4732985B2 (ja) * 2006-09-05 2011-07-27 トヨタ自動車株式会社 画像処理装置
JP4695615B2 (ja) * 2007-03-05 2011-06-08 日本放送協会 映像オブジェクトの軌跡画像合成装置およびそのプログラム

Also Published As

Publication number Publication date
JP2010237874A (ja) 2010-10-21

Similar Documents

Publication Publication Date Title
JP5577398B2 (ja) 車両の周辺監視装置
JP6254084B2 (ja) 画像処理装置
JP4173902B2 (ja) 車両周辺監視装置
JP5747549B2 (ja) 信号機検出装置及びプログラム
KR101032160B1 (ko) 카메라를 이용한 도로 시정 측정 시스템 및 그 방법
JP5576937B2 (ja) 車両の周辺監視装置
EP2549457A1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
JP4972116B2 (ja) 車両の周辺監視装置
JP2010224670A (ja) 車両の周辺監視装置
JP5547160B2 (ja) 車両周辺監視装置
JP6020567B2 (ja) 立体物検出装置および立体物検出方法
JP2007193445A (ja) 車両の周辺監視装置
JP4528283B2 (ja) 車両周辺監視装置
JP2010102572A (ja) 車両の周辺監視装置
JP2014085920A (ja) 車両周辺監視装置
JP2010198166A (ja) 車両の周辺監視装置
JP2009298344A (ja) 車両灯火判定装置及びプログラム
JP5530530B2 (ja) 車両の周辺監視装置
JP4644273B2 (ja) 車両周辺監視装置
JP2011076214A (ja) 障害物検出装置
JP5481074B2 (ja) 照明環境判定装置及びプログラム
JP4128562B2 (ja) 車両周辺監視装置
JP4813304B2 (ja) 車両周辺監視装置
JPWO2018138782A1 (ja) 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法
JP2008032557A (ja) 車載用ナビゲーション装置及び道路種判別方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees