JP2007058805A

JP2007058805A - 前方環境認識装置

Info

Publication number: JP2007058805A
Application number: JP2005246589A
Authority: JP
Inventors: Toyokazu Ogasawara; 豊和小笠原
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2005-08-26
Filing date: 2005-08-26
Publication date: 2007-03-08

Abstract

【課題】歩行者の状態や様々な環境条件の変化があっても歩行者の判定を精度良く行う。
【解決手段】制御ユニット３は、一対の遠赤外線カメラ４で撮影した画像に対し、予め用意しておいた複数のモデル画像を用いてパターンマッチング処理することにより歩行者の検出を行う。具体的には、降雨有り、或いは、外気温が閾値以下と判定された場合はパターンＡのモデル画像にマッチングするのであれば歩行者であると判定する。また、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、現在時刻が設定時間帯以外の場合は、パターンＡ、Ｃ、Ｅの何れかとマッチングするのであれば歩行者であると判定する。更に、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、設定時間帯以内の場合は、パターンＢ、Ｄ、Ｆの何れかとマッチングするのであれば歩行者であると判定する。
【選択図】図２

Description

本発明は、特に遠赤外線カメラ等で撮影した画像からパターンマッチング処理により歩行者を認識する前方環境認識装置に関する。

近年、車載したカメラ等により前方の走行環境を撮影し、走行環境の状況により先行車や歩行者を認識して、ドライバに対する警告や、ブレーキ制御等が行える運転支援装置が開発され、実用化されている。特に、歩行者の認識においては、遠赤外線カメラを用いて歩行者が発する熱を検出し、パターンマッチング処理により歩行者認識を精度良く行うシステムが提案されている。

例えば、特開２００４−１３５０３４号公報では、遠赤外線カメラで撮影した画像から、対象物の重心、面積、自車両との距離、更には対象物の外接四角形の縦横比、高さと幅、及び重心座標の値を利用して、実空間での２値化対象物形状特徴量を算出する。次に、自車両の周囲の天候が雨天ではなかった場合は、グレースケール画像上の対象物の高さを求め、グレースケール対象物の中に複数のマスク領域を設定し、各マスクの輝度平均値と、輝度変化を算出する。そして、対象物の高さ、幅、存在高さ、輝度平均値、輝度分散等について、歩行者として適当な範囲内の値か否かを判定し、何れかが歩行者として適当ではないと判定された場合、対象物は歩行者ではないと判定する技術が開示されている。
特開２００４−１３５０３４号公報

しかしながら、遠赤外線カメラにて捉えられるカメラ歩行者の発熱領域の形状は様々であり、上述の特許文献１のように対象物の高さ、幅、存在高さ、輝度平均値、輝度分散で歩行者か否か判定すると、判定の精度が低下するという問題がある。また、上述の特許文献１では雨天の場合とそれ以外の場合とで歩行者判定の方法を変更しているが、雨天以外の要因によっても歩行者判定が影響を受けるという問題がある。

本発明は上記事情に鑑みてなされたもので、たとえ歩行者の状態や、様々な環境条件の変化があっても歩行者の判定を精度良く行うことができる前方環境認識装置を提供することを目的とする。

本発明は、前方環境の熱源を検出する熱源検出手段と、上記熱源検出手段で検出した熱源の形状に対して予め設定しておいたモデル画像を用いてパターンマッチング処理し、歩行者を検出する歩行者認識手段とを備えた前方環境認識装置において、上記歩行者認識手段は、上記モデル画像として上記歩行者自身の形状と上記歩行者の衣服の形状とを予め設定しておくことを特徴としている。

本発明による前方環境認識装置は、たとえ歩行者の状態や、様々な環境条件の変化があっても歩行者の判定を精度良く行うことが可能となる。

以下、図面に基づいて本発明の実施の形態を説明する。
図１乃至図６は本発明の実施の一形態を示し、図１は車両に搭載した運転支援装置の概略構成図、図２はパターンマッチング処理に用いるモデル画像の選択プログラムのフローチャート、図３は遠赤外線カメラで撮影した画像の一例を示す説明図、図４は歩行者自身のモデル画像の一例の説明図、図５は歩行者の衣服のモデル画像の一例の説明図、図６は図５とは異なる歩行者の衣服のモデル画像の一例の説明図である。

図１において、符号１は自動車等の車両（自車両）で、この車両１には、車両用運転支援装置２が搭載されている。

車両用運転支援装置２は、制御ユニット３に、一対の遠赤外線カメラ４と、車速を検出する車速センサ５と、雨天か否かを検出する雨滴センサ、又は、ワイパースイッチ６と、現時刻を検出する時計７と、外気温を検出する外気温センサ８が接続されている。尚、雨滴センサ又はワイパースイッチ６、時計７、及び、外気温センサ８は、環境情報検出手段として設けられている。

車両用運転支援装置２は、前方環境を認識し、歩行者、先行車等の立体物を抽出する前方環境認識機能と、この前方環境認識機能で得られた情報を基に、スピーカ９を通じてドライバに対して音声警告する警報機能とを有している。

一対の遠赤外線カメラ４は、熱源検出手段として設けられており、ステレオ光学系として、車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点から前方環境をステレオ撮像し、撮影した画像を制御ユニット３に出力する。尚、遠赤外線カメラ４では、撮影する対象の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。

制御ユニット３における、一対の遠赤外線カメラ４からの画像の処理は、例えば以下のように行われる。まず、一対の遠赤外線カメラ４で撮像した自車両１の進行方向の環境の１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって画像全体にわたる距離情報を求める処理を行なって、三次元の距離分布を表す距離画像を生成する。そして、このデータを基に、周知のグルーピング処理や、予め記憶しておいた３次元的なモデル画像（道路形状データ、立体物データ等）と比較し、周知のパターンマッチング処理を行って、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、歩行者、車両等の立体物データを抽出する。

立体物に関しては、例えば、図３に示すように、グルーピングされた画像に対して外接四角形を形成する。そして、歩行者の認識に際しては、予め設定しておいた大きさの範囲の外接四角形で、該外接四角形の形状（縦横比等）が設定範囲のものに対し、外接四角形内の立体物形状と予め記憶しておいたモデル画像とを比較し、パターンマッチング処理することにより立体物の中から歩行者を抽出する。

この歩行者を抽出するパターンマッチング処理に用いるモデル画像は、前方環境に応じて複数用意されている。例えば、雨滴センサにより雨滴が検出され、又は、ワイパースイッチ６がＯＮにされるような降雨状態の場合や、外気温センサ８による外気温が閾値（例えば、体温に近い温度で３４℃）以下の場合、或いは、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、時計７により計測されている現在時刻が設定時間帯（例えば、昼間の時間帯で６：００〜１８：００（尚、月日まで計測できる場合には、月日毎に可変設定しても良い））以外の場合には、図４（ａ）に示すような、歩行者自身の輝度が高く形成されたパターンＡのモデル画像が用いられる。

また、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、時計７により計測されている現在時刻が設定時間帯以内の場合には、図４（ｂ）に示すような、歩行者自身の輝度が低く形成されたパターンＢのモデル画像が用いられる。

更に、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、時計７により計測されている現在時刻が設定時間帯以外の場合には、図５（ａ）に示すような、歩行者の衣服の輝度が高く形成されたパターンＣのモデル画像が用いられる。また、この条件では、図６（ａ）に示すような、図５（ａ）とは異なる歩行者の衣服の輝度が高く形成されたパターンＥのモデル画像が用いられる。

そして、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、時計７により計測されている現在時刻が設定時間帯以外の場合においては、パターンＡ、Ｃ、Ｅの何れかとマッチングするのであれば、歩行者であると判定する。

一方、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、時計７により計測されている現在時刻が設定時間帯以内の場合には、図５（ｂ）に示すような、歩行者の衣服の輝度が低く形成されたパターンＤのモデル画像が用いられる。また、この条件では、図６（ｂ）に示すような、図５（ｂ）とは異なる歩行者の衣服の輝度が低く形成されたパターンＦのモデル画像が用いられる。

そして、降雨状態でもなく、且つ、外気温が閾値よりも大きく、且つ、時計７により計測されている現在時刻が設定時間帯以内の場合においては、パターンＢ、Ｄ、Ｆの何れかとマッチングするのであれば、歩行者であると判定する。

このように、制御ユニット３の前方環境認識機能は、歩行者認識手段としての機能を有して構成されている。尚、本実施の形態では、歩行者の衣服に関するモデル画像として、図５、及び、図６の２つの画像を用意しているが、何れか一方のみでも良く、また、季節により衣服のモデル画像を使い分けても良い。更に、より複数のモデル画像を用意しても良い。

制御ユニット３における警報機能は、上述の如く歩行者が認識された場合、歩行者が自車両前方の予め設定する領域に存在する場合、「前方歩行者に注意して下さい。」等の音声警報をスピーカ９から発する。この領域は、例えば車速に応じて可変設定され、車速が高いほど前方に大きな領域が設定される。

次に、制御ユニット３で実行される前述のパターンマッチング処理に用いるモデル画像の選択プログラムを、図２のフローチャートで説明する。
まず、ステップ（以下、「Ｓ」と略称）１０１で、雨滴センサ、又は、ワイパースイッチ６からの信号を参照して降雨有りか否か判定する。この判定の結果、降雨有りと判定された場合は、Ｓ１０２に進み、図４（ａ）に示すような、歩行者自身の輝度が高く形成されたパターンＡのモデル画像を適用することを決定し、プログラムを抜ける。すなわち、一般的に降雨時の気温は、人の体温より低いため、人の輝度は背景の輝度より高くなる。従って、降雨と判定した場合、適用するモデル画像としてパターンＡのモデル画像を選択し、パターンマッチング処理するのである。

また、Ｓ１０１で、降雨無しと判定した場合は、Ｓ１０３に進み、外気温センサ８による外気温ＴＡが閾値Ｔｃ（例えば、体温に近い温度で３４℃）以下か否か判定する。この判定の結果、外気温ＴＡが閾値Ｔｃ以下の場合は、上述と同様の理由、すなわち、人の輝度は背景の輝度より高くなるため、Ｓ１０２に進み、図４（ａ）に示すような、歩行者自身の輝度が高く形成されたパターンＡのモデル画像を適用することを決定し、プログラムを抜ける。

逆に、Ｓ１０３の判定の結果、外気温ＴＡが閾値Ｔｃよりも高い場合は、Ｓ１０４に進み、時計７により計測されている現在時刻が設定時間帯（例えば、昼間の時間帯で６：００〜１８：００）か否か判定する。

このＳ１０４の判定の結果、現在時刻が設定時間帯以内の場合は、Ｓ１０５に進み、パターンＢ、Ｄ、Ｆをモデル画像としてパターンマッチング処理を行い、パターンＢ、Ｄ、Ｆの何れかとマッチングするのであれば、歩行者であると判定してプログラムを抜ける。すなわち、この場合は、背景の輝度と人の輝度がほぼ同一のため、モデル画像がパターンＡ、Ｂのみでは、人の認識が困難となっている。そこで、衣服は人のように発熱せず、且つ、蓄熱しにくいため、人や背景よりは輝度が低い傾向にある。また、昼間の時間帯６：００〜１８：００は、太陽熱で、路面やビルの壁面等が暖められやすく、背景輝度が高くなりやすいため、モデル画像としてパターンＢ、Ｄ、Ｆを用いてパターンマッチング処理を行い、パターンＢ、Ｄ、Ｆの何れかとマッチングするのであれば、歩行者であると判定する。

一方、上述のＳ１０４の判定の結果、現在時刻が設定時間帯以外の場合は、Ｓ１０６に進み、パターンＡ、Ｃ、Ｅをモデル画像としてパターンマッチング処理を行い、パターンＡ、Ｃ、Ｅの何れかとマッチングするのであれば、歩行者であると判定してプログラムを抜ける。すなわち、この状況では、上述のＳ１０５で説明した理由とは逆に、背景輝度が下がる傾向にあるためモデル画像としてパターンＡ、Ｃ、Ｅを用いてパターンマッチング処理を行い、パターンＡ、Ｃ、Ｅの何れかとマッチングするのであれば、歩行者であると判定する。

このように本発明の実施の形態によれば、歩行者自身のモデル画像のみならず、歩行者の衣服の形状のモデル画像を用意し、これらモデル画像を、降雨の有無、外気温状態、現在時刻に応じて使い分け、パターンマッチング処理を行って歩行者判定を行うようになっている。従って、たとえ歩行者の状態や、様々な環境条件の変化があっても歩行者の判定を精度良く行うことが可能となる。

尚、本実施の形態では、車両用運転支援装置２の制御ユニット３は、警報機能を有している例で説明しているが、他に衝突回避のために自動ブレーキをかける衝突回避機能等を有するものであっても良い。

また、遠赤外線カメラ４を配設する位置は、本実施形態に限るものではなく、例えば、車両前バンパに設けるようにしても良い。

更に、本実施の形態では、一対の遠赤外線カメラ４により立体物までの距離まで求められるようにしているが、距離は通常のステレオカメラ（ＣＣＤカメラ）で求めるようにし、温度分布のみを遠赤外線カメラで求めて画像合成するようなシステムにおいても、適用可能であることは云うまでもない。

車両に搭載した運転支援装置の概略構成図パターンマッチング処理に用いるモデル画像の選択プログラムのフローチャート遠赤外線カメラで撮影した画像の一例を示す説明図歩行者自身のモデル画像の一例の説明図歩行者の衣服のモデル画像の一例の説明図図５とは異なる歩行者の衣服のモデル画像の一例の説明図

符号の説明

１自車両
２車両用運転支援装置
３制御ユニット（歩行者認識手段）
４遠赤外線カメラ（熱源検出手段）
６雨滴センサ又はワイパースイッチ（環境情報検出手段）
７時計（環境情報検出手段）
８外気温センサ（環境情報検出手段）

Claims

前方環境の熱源を検出する熱源検出手段と、
上記熱源検出手段で検出した熱源の形状に対して予め設定しておいたモデル画像を用いてパターンマッチング処理し、歩行者を検出する歩行者認識手段とを備えた前方環境認識装置において、
上記歩行者認識手段は、上記モデル画像として上記歩行者自身の形状と上記歩行者の衣服の形状とを予め設定しておくことを特徴とする前方環境認識装置。
上記前方環境の環境情報を検出する環境情報検出手段を有し、
上記歩行者認識手段で用いる上記モデル画像は、上記環境情報に応じて異なったモデル画像を用いることを特徴とする請求項１記載の前方環境認識装置。
上記環境情報検出手段は、少なくとも外気温を検出するものであって、
上記歩行者認識手段で用いる上記モデル画像は、少なくとも上記外気温に応じて異なったモデル画像を用いることを特徴とする請求項２記載の前方環境認識装置。
上記環境情報検出手段は、少なくとも降雨の有無を検出するものであって、
上記歩行者認識手段で用いる上記モデル画像は、少なくとも上記降雨の有無に応じて異なったモデル画像を用いることを特徴とする請求項２又は請求項３記載の前方環境認識装置。
上記環境情報検出手段は、少なくとも現在時刻を検出するものであって、
上記歩行者認識手段で用いる上記モデル画像は、少なくとも上記現在時刻に応じて異なったモデル画像を用いることを特徴とする請求項２乃至請求項４の何れか一つに記載の前方環境認識装置。