JP3716623B2 - 温体検出装置 - Google Patents
温体検出装置 Download PDFInfo
- Publication number
- JP3716623B2 JP3716623B2 JP19466998A JP19466998A JP3716623B2 JP 3716623 B2 JP3716623 B2 JP 3716623B2 JP 19466998 A JP19466998 A JP 19466998A JP 19466998 A JP19466998 A JP 19466998A JP 3716623 B2 JP3716623 B2 JP 3716623B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- pedestrian
- image
- warm body
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Geophysics And Detection Of Objects (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の走行方向に存在する温体を正確に検出可能な温体検出装置に関する。
【０００２】
【従来の技術】
従来の温体検出装置としては、図１４に示す特開平７−２００９８６号報に記載の「画像式歩行者検出装置」が報告されている。
【０００３】
従来の温体検出装置においては、昼間はＣＣＤカメラ１４１を用いて可視画像を撮像する一方、夜間は熱画像センサカメラ１４３を用いて温体画像を撮像し、映像信号切替器１４５を用いて入力画像を切り替えて画像処理部１４７に入力し、入力された画像を２値化した後、最新のフレーム画像の２値化データと以前のフレーム画像の２値化データとの差分を取ることで、撮影エリア内に物体あり、物体なし、物体退却、物体侵入の４つの状態に分類する。さらに、物体侵入、物体あり、物体退却の連続する撮像エリア内の領域のみに着目して、移動ベクトルを演算する。移動ベクトルの方向が、横断歩道と平行になるものは歩行者とみなす一方、垂直になるものは車両と見なして区別することで、歩行者と車両とを効果的に識別することができる。この結果、歩行者を検知したときには、出力部１４９から運転車に歩行者の存在注意を喚起される。
【０００４】
【発明が解決しようとする課題】
従来の温体検出装置にあっては、カメラが固定された場所に設置され、処理画像が静止画である時にのみ歩行者の検知機能を発揮していた。
しかしながら、従来の温体検出装置を車両に搭載した場合、撮影エリア内の全ての対象物が移動物体として検出されるため、歩行者のみを区別して検出することが困難であり、撮影エリア内に物体あり、物体なし、物体退却、物体侵入といった４つの状態に分類することが不可能になる。
【０００５】
また、カメラを車両上に装着して道路上を走行した場合、横断方向の歩行者の移動速度ベクトルに比較して、車両の移動速度が相対的に極めて大きいので、車両と歩行者とを移動ベクトルの方向を用いて区別することは困難である。
さらに、赤外線カメラで車両前方の道路を撮影した場合、輝度が高く入力される対象物としては、歩行者の顔の他に、対向車線を走行する車両のヘッドライト、ラジェター、また先行車のマフラ、ボディ、テールライト、さらに信号灯火、道路照明等があり、これらの外乱と歩行者の顔とは、形状，大きさのいずれにおいても類似しているため、両者を識別することが困難である。このため、温体として歩行者を検出しようとしても誤動作が多く、温体検出装置を警報システムに利用しても信頼性が著しく低下するといった問題があった。
【０００６】
本発明は、上記に鑑みてなされたもので、その目的としは、外乱要因に影響されることなく、正確に歩行者を検出することができる温体検出装置を提供することにある。
【０００７】
請求項１記載の発明は、上記課題を解決するため、車両の走行方向の熱源を有する温体画像を撮像する温体画像撮像手段と、車両の走行方向の可視画像を撮像する可視画像撮像手段と、車両の走行方向の他車両までの距離及び方向を検出する車両検出手段と、この他車両までの距離及び方向に基づいて、他車両の存在領域を抽出する車両抽出手段と、前記可視画像撮像手段で撮像された可視画像の輝度に基づいて、前記可視画像から発光する物体を抽出し、前記温体画像撮像手段で撮像された温体画像から前記発光する物体及び前記車両抽出手段で抽出された他車両の存在領域を除去する画像除去処理手段と、この除去処理結果として得られた温体画像に基づいて、歩行者の存在を検出する温体検出手段とを備えたことを要旨とする。
【０００８】
請求項２記載の発明は、上記課題を解決するため、前記車両抽出手段は、前記他車両までの距離及び方向で表される複数の点群間の水平距離が所定値以下の点群同志をグループ化するグループ生成手段と、水平幅が所定値を超えるグループを車両グループとして選択するグループ選択手段と、この選択された車両グループの領域面積を高さ方向に拡張する面積拡張手段と、この拡張処理後の車両グループの領域に所定の輝度値を設定して車両の存在領域を生成する存在領域生成手段とを備えたことを要旨とする。
【０００９】
請求項３記載の発明は、上記課題を解決するため、前記温体検出手段は、温体画像の画素群の面積が所定基準値を超える場合に歩行者と判断する面積判断手段と、温体画像の画素群に外接する四角形の縦横比率が所定範囲内の場合に歩行者と判断する縦横比率判断手段と、温体画像の画素群の単位面積当たりの高輝度画素率が所定範囲内の場合に歩行者と判断する高輝度画素率判断手段と、前記面積判断手段と縦横比率判断手段及び高輝度画素率判断手段での判断結果が全て歩行者である場合には、歩行者として判定する歩行者判定手段とを備えたことを要旨とする。
請求項４記載の発明は、上記課題を解決するため、前記車両検出手段は、レーザレーダ、ミリ波レーダ、ステレオカメラのいずれか１つを用いることを要旨とする。
【００１０】
【発明の効果】
請求項１記載の本発明によれば、車両の走行方向の温体画像と可視画像を撮像しておき、車両の走行方向の他車両までの距離及び方向を検出するようにし、この他車両までの距離及び方向に基づいて、他車両の存在領域を抽出する。次に、この温体画像から可視画像及び他車両の存在領域を除去し、この除去処理結果として得られた温体画像に基づいて、歩行者の存在を検出するようにしているので、外乱要因に影響されることなく、正確に歩行者を検出することができる。
【００１１】
請求項２記載の本発明によれば、他車両までの距離及び方向で表される複数の点群間の水平距離が所定値以下の点群同志をグループ化し、水平幅が所定値を超えるグループを車両グループとして選択する。次に、この選択された車両グループの領域面積を高さ方向に拡張し、この拡張処理後の車両グループの領域に所定の輝度値を設定して車両の存在領域を生成することで、車両の走行方向の他車両の存在領域を正確に抽出することができ、この結果、外乱要因の発生箇所を特定することができる。
【００１２】
請求項３記載の本発明によれば、温体画像の画素群の面積が所定基準値を超える場合に歩行者と判断しておき、次に、温体画像の画素群に外接する四角形の縦横比率が所定範囲内の場合に歩行者と判断しておく。さらに、温体画像の画素群の単位面積当たりの高輝度画素率が所定範囲内の場合に歩行者と判断しておき、これらの判断結果が全て歩行者である場合には、歩行者として判定することで、歩行者の精度向上に寄与することができる。
【００１３】
請求項４記載の本発明によれば、レーザレーダ、ミリ波レーダ、ステレオカメラのいずれか１つを用いて、車両の走行方向の他車両までの距離及び方向を検出することができ、この結果、他車両の存在領域を抽出して外乱要因の発生箇所を特定することができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施の形態に係る温体検出装置の全体構成を示す図である。
【００１５】
温体検出装置は、図１に示すように、車両９前方のラジェターグリル１１の奥部にはカメラユニット１３が配置される。カメラユニット１３には、車両前方の温体画像を撮像する赤外線カメラ１と、車両前方の可視画像を撮像する可視カメラ３と、車両の走行方向の他車両の距離及び方向を存在領域として検出するレーザレーダからなる車両検出部１７とが配置されており、それぞれの出力はハーネス１５を経由して車室内に配置された画像処理ユニット５に伝送される。
【００１６】
画像処理ユニット５は、歩行者の存在を検知した場合には、警報部７に検知信号を送り、音、ＬＥＤ、映像等を使用した警報を発生して、歩行者に対する注意を運転者に喚起する。
【００１７】
なお、カメラユニット１３をラジェターグリル１１部分に配置するよう説明しているが、車両のヘッドライト内部、バンパー部、フロントガラス部、ルーフ部等に配置してもよく、さらに、カメラユニット１３の検知領域は、車両前方の他に車両後方であってもよい。
【００１８】
また、赤外線カメラ１の水平，垂直の画角と、可視カメラ３の水平，垂直の画角は、予め光学的にあるいは拡大縮小処理により概ね合わされている。さらに、赤外線カメラ１の水平画角と車両検出部１７とも予め上記処理により合わされていることとする。
【００１９】
次に、図２は、温体検出装置のブロック図である。
温体画像は、赤外線カメラ１で撮像された後に、Ａ／Ｄ変換器２１で２次元の所定画素数の輝度を有するデジタル画像データに変換される。さらに、ウィンドウコンパレータ２５で所定幅の輝度を有する画素のみが選択された後に、２値化部２９で２値化される。
【００２０】
一方、可視画像は、可視カメラ３で撮像された後に、Ａ／Ｄ変換器２３で２次元の所定画素数の輝度を有するデジタル画像データに変換される。さらに、ウィンドウコンパレータ２７で所定幅の輝度を有する画素のみが選択された後に、２値化部３１で２値化される。
【００２１】
ここで、差分部３３では、２値化部２９から出力された温体画像から、２値化部３１から出力された可視画像、車両検出部１７から出力された先行車の存在領域画像が減算される。歩行者識別部３５では、差分部３３かの減算結果から得られた画像に歩行者が存在するか否かを識別し、歩行者が存在すると判断した場合には、警報部７に警報信号を出力する。この結果、警報部７から歩行者が存在していることへの注意が運転者に喚起される。
なお、画像処理ユニット５は、ＣＰＵ，ＲＯＭ，ＲＡＭ等の電子部品から構成されており、上述したような機能ブロックを有している。
【００２２】
次に、図１，図２，図４を参照しつつ、図３に示す画像処理ユニット５の動作を説明する。なお、画像処理ユニット５は、ＲＯＭに記憶されている制御プログラムに従って制御されることとする。
いま、図４に示すように、自車両前方には、自車線４１の左前方に信号機５１が設置されおり、自車線４１上に先行車４３が走行している。また、対向車線４５上に対向車４７がへッドライトを点灯して走行している。また、歩道６０上に歩行者４９が歩行している。
【００２３】
まず、ステップＳｌ０では、赤外線カメラ１からの温体画像をＡ／Ｄ変換器２１でＡ／Ｄ変換し、２次元の所定画素数の輝度データに変換する。
次に、ステップＳ２０では、ウィンドウコンパレータ２５で所定幅の輝度値を有する画素のみを選択する。例えばダイナミックレンジが２５６階調の輝度データのうち歩行者の顔の輝度値が通常２００程度であれば、輝度範囲１９０〜２１０内の輝度データのみを選択し、他の画素の輝度値は全て０に書き換える。また、別の方法として、全画素の輝度値の出現ヒストグラムを計測して生成しておき、所定画素数として例えば１００個の画素のみを抽出するように所定幅の輝度を調整すれば、自動的に歩行者の顔の輝度データのみを抽出することも可能となる。
【００２４】
次に、ステップＳ３０では、ステップＳ２０で得られた各画素のうち輝度データが０でない画素に対して全て輝度値２５５に書き換える。ここで、図５にステップＳ３０の処理を経た温体画像を示す。赤外線カメラ１で撮像された温体画像であるので、熱源を有する温体画像のみが高輝度値２５５を有し、図５に示す黒色で塗りつぶした部位が高輝度値２５５の画素に対応する。図５に示すように、青信号の赤外像５１１、対向車のヘッドライトの赤外像５２１、歩行者の頭部４９１、歩行者の右手４９５、歩行者の左手４９３、先行車のテールライトの赤外像５３１、先行車のマフラの赤外像５４が抽出されている。
【００２５】
ステップＳ４０では、可視カメラ３で撮像された可視画像をＡ／Ｄ変換器２３でＡ／Ｄ変換し、２次元の所定画素数の輝度データに変換する。
ステップＳ５０では、ウィンドウコンパレータ２７により所定幅の輝度値を有する画素のみを選択する。
ステップＳ６０では、ステップＳ５０で得られた各画素のうち輝度データが０でない画素に対しては全て輝度値２５５に書き換える。ここで、図６にステップＳ６０の処理を経た可視画像を示す。可視カメラ３で撮像された可視画像であるので、発光する物体のみが高輝度値２５５を有し、図６に示す黒色で塗りつぶした部位が高輝度値２５５の画素に対応する。図６に示すように、青信号の可視像５１３、対向車のヘッドライトの可視像５２３、先行車のテールライトの可視像５３３が抽出されている。この時、可視画像において、青信号の可視像５１３、対向車のヘッドライトの可視像５２３、先行車のテールライトの可視像５３３等の灯火は、空気中の粉塵により散乱し、いわゆるグレア現象を起すので、赤外線カメラ１で撮像された灯火より選択される領域が拡大される。
【００２６】
ステップＳ７０では、車両検出部１７で車両前方の物体までの距離及び方向を検出してその値を取り込む。図７に示すように、車両検出部１７で検出される距離点群は信号機５１の支柱、先行車のテールライトおよびその間のトランク部分５３、対向車のヘッドライト及びその間の部分５２のそれぞれナンバープレート部分である。これら点群の距離Ｄは、信号機５１の支柱はＤ３、先行車のテールライトおよびその間のトランク部分５３のナンバープレート部分はＤｌ、対向車のヘッドライトおよびその間の部分５２のナンバープレート部分はＤ２と計測される。
【００２７】
ステップＳ８０では、ステップＳ７０で得られた点群から、対象点群までの到達距離の差及びこの距離と方向とにより三角関数演算を用いて計算される点群間において、水平距離が所定値以下の点群同志をグループ化する。例えば、この所定値として水平方向の距離が０．１ｍ以内、点群までの距離を０．１ｍ以内に設定しておけば、次のステップＳ９０での車両抽出処理を行うのに十分な分解能が得られる。
【００２８】
ステップＳ９０では、ステップＳ８０で求めた各グループのうちから、グループの水平方向幅が所定値より大きいグループのみを選択する。例えば、各グループのうち水平方向幅が１．５ｍ以上のグループのみを車両グループとして選択しておけば、少なくとも車両を確実に抽出することができる。
【００２９】
ステップＳ１００では、ステップＳ９０で選択した車両グループの面積を予め計算しておいた車両グループの面積重心を原点として高さ方向のみ約６倍程度に拡張し、図７に示す領域Ａ及びＢに対して、輝度値を２５５に設定し、その他の領域の輝度値を０に設定する。ここで、面積を高さ方向に６倍に拡張するのは、車種によっては一般車両の車両グループよりも突出した部位にマフラが配置されていることも考えられるので、このような先行車をも車両グループに含めるためである。
【００３０】
ステップＳｌｌ０では、ステップＳ３０で得られた温体画像からステップＳ６０で得られた可視画像を各画素ごとに減算する。この減算結果が負の場合には減算結果を０に書き換える。この結果、図８に示すように、歩行者の頭部４９１、歩行者の右手４９５、歩行者の左手４９３、及び先行車のマフラ３２が抽出され、青信号の赤外像５１１、対向車のヘッドライトの赤外像５２１、先行車のテールライトの赤外像５３１は除去される。さらに、この除去結果からステップＳ１００で得られた先行車の存在領域を各画素ごとに減算を行ない、減算結果が負の場合は０に書き換える。この結果、図９に示すように、歩行者の頭部４９１、歩行者の右手４９５、歩行者の左手４９３が抽出され、先行車のマフラ５４の赤外像は除去される。
【００３１】
ステップＳ１２０では、ステップＳ１１０で抽出された画素群のうち、連続した領域を固まりとして順次にラベリングする。
ステップＳ１３０では、各ラベリングされた画素群の面積を計算する。
ステップＳ１４０では、各ラべリングされた画素群の重心を計算し、さらに重心位置を計算する。
ステップＳ１５０では、図１０に示すように、紙面縦方向に領域Ａ〜Ｅまでの５つの領域を予め設定しておき、ステップＳ１４０で計算された各画素群の重心位置から、各ラべリングされた画素群が領域Ａ〜Ｅのうちどの領域に属するかを判別する。
【００３２】
ステップＳ１６０では、ステップＳ１３０で計算した各ラベリングされた画素群の面積の大きさと、予め、各領域毎に基準値を設定してある歩行者の顔の面積の大きさとを比較し、歩行者の顔であると判断した場合は大きさ一致を表す大きさフラグを１に設定する一方、否と判断した場合には大きさフラグを０に設定する。この結果、歩行者の手は、歩行者の顔に対して小さいため排除される。従って、大きさフラグが１に設定される画素群は、歩行者の頭部４９１のみである。各領域毎に歩行者の顔の大きさの基準値を個別に設定することで、自車との距離に依存して見かけの大きさが変化する場合でも、歩行者の顔の大きさの比較を正確に行なえるようになる。
【００３３】
ステップＳ１７０では、ステップＳ１６０で大きさフラグが１に設定された歩行者の頭部４９１に対して外接四角形の座標を計算する。
ステップＳ１８０では、図１１に示すように、大きさフラグが１に設定された歩行者の頭部の外接四角形４９７に対して縦横比率、すなわち、外接四角形４９７の横長Ａと縦長Ｂとの比率を計算する。
【００３４】
ステップＳ１９０では、歩行者の頭部の外接四角形４９７の横長Ａと縦長Ｂとの比が予め設定した所定範囲内であるか否かを判断する。所定範囲内である場合には縦横比率の一致を表す縦横比フラグを１に設定し、否であれば０を設定する。一般に、歩行者の顔は円形に近いので、縦横比が１に近い値が所定範囲のしきい値となる。
【００３５】
ステップＳ２００では、ステップＳ１７０で求めた外接四角形の座標に従って、面積を計算する。さらに、ステップＳ１３０で求めた歩行者の頭部４９１の面積との比を求めることで、対象の画素群に関する単位面積当たりの高輝度画素の比率、すなわち、充足率を計算する。
【００３６】
ステップＳ２１０では、ステップＳ２００で計算した充足率が予め設定した所定範囲内であるか否かを判断する。所定範囲内の場合には充足率が一致したことを表す充足率フラグを１に設定し、否であれば０を設定する。この結果、歩行者の顔のように画素密度が大きい画素群のみが選択される一方、画素密度が大きくない画素群は排除されるので、歩行者検出の精度を向上することができる。
【００３７】
以上の処理結果として、外乱の熱源が存在していても、大きさ、形、充足率により、これらを排除することが可能である。ただし、先行車のマフラ５４の赤外像は、歩行者の頭部４９１と、大きさ、形、充足率が概ね等しいため、ステップＳ１６０、ステップＳ１９０及びステップＳ２１０では排除できないが、予めステップＳ１１０で排除されているので、先行車のマフラ５４の赤外像を、歩行者の頭部４９１と間違えることはない。
【００３８】
ステップＳ２２０では、ステップＳ１６０で設定された大きさフラグ、ステップＳ１９０で設定された縦横比フラグ、ステップＳ２１０で設定された充足率フラグがいずれも１である画素群が存在する場合には、歩行者であると判定し、警報信号を警報部７に送る。この結果、警報部７から歩行者が存在していることへの注意が運転者に喚起される。警報部７にはブザー、インジケータ、モニタ等が備えられており、ブザーから警報音が発生され、インジケータから赤色の警報光が発生される。さらに、モニタからは画像処理ユニット５で抽出された歩行者の温体画像が表示される。この結果、運転者が警報音に気付いてモニタを見ると、歩行者の温体画像が表示されているので、歩行者の存在領域をも視認することができる。
【００３９】
なお、本実施の形態においては、赤外線カメラ１及び可視カメラ３で撮像された温体画像及び可視画像を差分部３３で単純に減算して差分処理とするように説明しているが、赤外線カメラ１及び可視カメラ３からの画像にはスミア現象と呼ばれる残像現象が生じることが考えられる。このスミア現象は、強い輝度信号がカメラに入力した時に発生するので、この現象を解消するまでの間、カメラの絞りを絞ることが有効である。また、スミア検出は、強い輝度信号が解消するまでの間、所定画素の輝度値の変化を検出すればよい。スミア現象の発生している時間に従って、差分部３３に入力する映像の時間的遅れを調整することも可能である。また、スミア現象の発生している時間に従って、カメラの絞りを自動的に調節することも可能である。
【００４０】
また、本実施の形態では、車両検出部１７にレーザレーダ用いているが、これに替わって、ミリ波レーダに置き換えることも可能である。車両検出部１７にミリ波レーダを使用した場合、図１２に示すように、検出される距離点群は、ミリ波を良好に反射する金属板となる。この金属板は、例えば信号機５１の支柱、先行車４３の全体、及び対向車４７の全体である。これら点群の距離Ｄは、信号機５１の支柱がＤ３、先行車４３がＤｌ、対向車４７がＤ２と計測される。
【００４１】
さらに、車両検出部１７に、ステレオカメラ法に置き換えたこともことも可能である。車両検出部１７に、水平方向に所定距離を隔して配置される２台のカメラを使用し、両者の視差に基づいて、物体までの距離を測定する方法である。図１３に示すように、検出される距離点群は、先行車４３の全体、及び対向車４７の全体である。このように、ステレオカメラ法では、計測ノイズを低減するため、小さい物体、あるいは細い物体を予め排除して距離演算を行えるため、車両のみを抽出することが可能となる。また、信号器５１のように高い位置に配置される物体も、計測画角の設定により排除することが容易に可能である。これらの点群の距離Ｄは、先行車４３がＤｌ、対向車４７がＤ２と計測される。
【００４２】
さらにまた、車両検出部１７に、超音波方式を用いる場合や、ＣＣＤからなる１ラインセンサで得られる画像信号を光学的三角測量を用いる場合も考えられる。
【００４３】
また、車両の車速や、車両検出部１７で検出される先行車との距離や、先行車との相対車速等を判断して、温体検出装置の作動条件を限定してもよい。
さらに、赤外線カメラ１で撮像される温体画像と可視カメラ３で撮像される可視画像とが光軸のずれ等に起因して完全に一致していなくても、本発明の効果を満足することができるため、精密な光軸調整のためのコスト高を防止することができる。
【００４４】
さらにまた、灯火としては、信号機、対向車のヘッドライト、及び先行車のテールライトに限定しているが、道路の照明灯、家屋の照明等全ての発光体に関しても同様の効果が得られることはいうまでもない。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る温体検出装置の全体構成を示す図である。
【図２】温体検出装置のブロック図である。
【図３】画像処理ユニット５の動作を説明するためのフローチャートである。
【図４】温体検出装置の使用状況を説明するための図である。
【図５】赤外線カメラで撮像された温体画像を画像処理ユニット５で画像処理した結果を示す図である。
【図６】可視カメラで撮像された可視画像を画像処理ユニット５で画像処理した結果を示す図である。
【図７】レーザレーダで検出された距離及び方向を示す図である。
【図８】画像処理ユニット５で温体画像から可視画像を減算処理した結果を示す図である。
【図９】画像処理ユニット５で歩行者の温体画像のみが抽出された画像処理結果を示す図である。
【図１０】画像処理ユニット５で画像処理に用いられる処理領域Ａ〜Ｅを示す図である。
【図１１】画像処理ユニット５で画像処理に用いられる歩行者の頭部を示す図である。
【図１２】ミリ波レーダで検出される距離点群を示す図である。
【図１３】ステレオカメラで検出される距離点群を示す図である。
【図１４】従来の温体検出装置として報告されている画像式歩行者検出装置のブロック図である。
【符号の説明】
１ 赤外線カメラ
３ 可視カメラ
５ 画像処理ユニット
７ 警報部
９ 車両
１１ ラジェターグリル
１３ カメラユニット
１５ ハーネス
１７ 車両検出部
４１ 自車線
４３ 先行車
４５ 対向車線
４７ 対向車
４９ 歩行者
２１，２３ Ａ／Ｄ変換器
２５，２７ ウィンドウコンパレータ
２９，３１ ２値化部
３３ 差分部
３５ 歩行者識別部
５１ 信号機
５２ 対向車のヘッドライト
５３ 先行車のテールライト
５４ 先行車のマフラの赤外像
６０ 歩道
５１１ 青信号の赤外像
５１３ 青信号の可視像
５２１ 対向車のヘッドライトの赤外像
５２３ 対向車のヘッドライトの可視像
４９１ 歩行者の頭部
４９３ 歩行者の左手
４９５ 歩行者の右手
４９７ 歩行者の頭部の外接四角形
５３１ 先行車のテールライトの赤外像
５３３ 先行車のテールライトの可視像
【発明の属する技術分野】
本発明は、車両の走行方向に存在する温体を正確に検出可能な温体検出装置に関する。
【０００２】
【従来の技術】
従来の温体検出装置としては、図１４に示す特開平７−２００９８６号報に記載の「画像式歩行者検出装置」が報告されている。
【０００３】
従来の温体検出装置においては、昼間はＣＣＤカメラ１４１を用いて可視画像を撮像する一方、夜間は熱画像センサカメラ１４３を用いて温体画像を撮像し、映像信号切替器１４５を用いて入力画像を切り替えて画像処理部１４７に入力し、入力された画像を２値化した後、最新のフレーム画像の２値化データと以前のフレーム画像の２値化データとの差分を取ることで、撮影エリア内に物体あり、物体なし、物体退却、物体侵入の４つの状態に分類する。さらに、物体侵入、物体あり、物体退却の連続する撮像エリア内の領域のみに着目して、移動ベクトルを演算する。移動ベクトルの方向が、横断歩道と平行になるものは歩行者とみなす一方、垂直になるものは車両と見なして区別することで、歩行者と車両とを効果的に識別することができる。この結果、歩行者を検知したときには、出力部１４９から運転車に歩行者の存在注意を喚起される。
【０００４】
【発明が解決しようとする課題】
従来の温体検出装置にあっては、カメラが固定された場所に設置され、処理画像が静止画である時にのみ歩行者の検知機能を発揮していた。
しかしながら、従来の温体検出装置を車両に搭載した場合、撮影エリア内の全ての対象物が移動物体として検出されるため、歩行者のみを区別して検出することが困難であり、撮影エリア内に物体あり、物体なし、物体退却、物体侵入といった４つの状態に分類することが不可能になる。
【０００５】
また、カメラを車両上に装着して道路上を走行した場合、横断方向の歩行者の移動速度ベクトルに比較して、車両の移動速度が相対的に極めて大きいので、車両と歩行者とを移動ベクトルの方向を用いて区別することは困難である。
さらに、赤外線カメラで車両前方の道路を撮影した場合、輝度が高く入力される対象物としては、歩行者の顔の他に、対向車線を走行する車両のヘッドライト、ラジェター、また先行車のマフラ、ボディ、テールライト、さらに信号灯火、道路照明等があり、これらの外乱と歩行者の顔とは、形状，大きさのいずれにおいても類似しているため、両者を識別することが困難である。このため、温体として歩行者を検出しようとしても誤動作が多く、温体検出装置を警報システムに利用しても信頼性が著しく低下するといった問題があった。
【０００６】
本発明は、上記に鑑みてなされたもので、その目的としは、外乱要因に影響されることなく、正確に歩行者を検出することができる温体検出装置を提供することにある。
【０００７】
請求項１記載の発明は、上記課題を解決するため、車両の走行方向の熱源を有する温体画像を撮像する温体画像撮像手段と、車両の走行方向の可視画像を撮像する可視画像撮像手段と、車両の走行方向の他車両までの距離及び方向を検出する車両検出手段と、この他車両までの距離及び方向に基づいて、他車両の存在領域を抽出する車両抽出手段と、前記可視画像撮像手段で撮像された可視画像の輝度に基づいて、前記可視画像から発光する物体を抽出し、前記温体画像撮像手段で撮像された温体画像から前記発光する物体及び前記車両抽出手段で抽出された他車両の存在領域を除去する画像除去処理手段と、この除去処理結果として得られた温体画像に基づいて、歩行者の存在を検出する温体検出手段とを備えたことを要旨とする。
【０００８】
請求項２記載の発明は、上記課題を解決するため、前記車両抽出手段は、前記他車両までの距離及び方向で表される複数の点群間の水平距離が所定値以下の点群同志をグループ化するグループ生成手段と、水平幅が所定値を超えるグループを車両グループとして選択するグループ選択手段と、この選択された車両グループの領域面積を高さ方向に拡張する面積拡張手段と、この拡張処理後の車両グループの領域に所定の輝度値を設定して車両の存在領域を生成する存在領域生成手段とを備えたことを要旨とする。
【０００９】
請求項３記載の発明は、上記課題を解決するため、前記温体検出手段は、温体画像の画素群の面積が所定基準値を超える場合に歩行者と判断する面積判断手段と、温体画像の画素群に外接する四角形の縦横比率が所定範囲内の場合に歩行者と判断する縦横比率判断手段と、温体画像の画素群の単位面積当たりの高輝度画素率が所定範囲内の場合に歩行者と判断する高輝度画素率判断手段と、前記面積判断手段と縦横比率判断手段及び高輝度画素率判断手段での判断結果が全て歩行者である場合には、歩行者として判定する歩行者判定手段とを備えたことを要旨とする。
請求項４記載の発明は、上記課題を解決するため、前記車両検出手段は、レーザレーダ、ミリ波レーダ、ステレオカメラのいずれか１つを用いることを要旨とする。
【００１０】
【発明の効果】
請求項１記載の本発明によれば、車両の走行方向の温体画像と可視画像を撮像しておき、車両の走行方向の他車両までの距離及び方向を検出するようにし、この他車両までの距離及び方向に基づいて、他車両の存在領域を抽出する。次に、この温体画像から可視画像及び他車両の存在領域を除去し、この除去処理結果として得られた温体画像に基づいて、歩行者の存在を検出するようにしているので、外乱要因に影響されることなく、正確に歩行者を検出することができる。
【００１１】
請求項２記載の本発明によれば、他車両までの距離及び方向で表される複数の点群間の水平距離が所定値以下の点群同志をグループ化し、水平幅が所定値を超えるグループを車両グループとして選択する。次に、この選択された車両グループの領域面積を高さ方向に拡張し、この拡張処理後の車両グループの領域に所定の輝度値を設定して車両の存在領域を生成することで、車両の走行方向の他車両の存在領域を正確に抽出することができ、この結果、外乱要因の発生箇所を特定することができる。
【００１２】
請求項３記載の本発明によれば、温体画像の画素群の面積が所定基準値を超える場合に歩行者と判断しておき、次に、温体画像の画素群に外接する四角形の縦横比率が所定範囲内の場合に歩行者と判断しておく。さらに、温体画像の画素群の単位面積当たりの高輝度画素率が所定範囲内の場合に歩行者と判断しておき、これらの判断結果が全て歩行者である場合には、歩行者として判定することで、歩行者の精度向上に寄与することができる。
【００１３】
請求項４記載の本発明によれば、レーザレーダ、ミリ波レーダ、ステレオカメラのいずれか１つを用いて、車両の走行方向の他車両までの距離及び方向を検出することができ、この結果、他車両の存在領域を抽出して外乱要因の発生箇所を特定することができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施の形態に係る温体検出装置の全体構成を示す図である。
【００１５】
温体検出装置は、図１に示すように、車両９前方のラジェターグリル１１の奥部にはカメラユニット１３が配置される。カメラユニット１３には、車両前方の温体画像を撮像する赤外線カメラ１と、車両前方の可視画像を撮像する可視カメラ３と、車両の走行方向の他車両の距離及び方向を存在領域として検出するレーザレーダからなる車両検出部１７とが配置されており、それぞれの出力はハーネス１５を経由して車室内に配置された画像処理ユニット５に伝送される。
【００１６】
画像処理ユニット５は、歩行者の存在を検知した場合には、警報部７に検知信号を送り、音、ＬＥＤ、映像等を使用した警報を発生して、歩行者に対する注意を運転者に喚起する。
【００１７】
なお、カメラユニット１３をラジェターグリル１１部分に配置するよう説明しているが、車両のヘッドライト内部、バンパー部、フロントガラス部、ルーフ部等に配置してもよく、さらに、カメラユニット１３の検知領域は、車両前方の他に車両後方であってもよい。
【００１８】
また、赤外線カメラ１の水平，垂直の画角と、可視カメラ３の水平，垂直の画角は、予め光学的にあるいは拡大縮小処理により概ね合わされている。さらに、赤外線カメラ１の水平画角と車両検出部１７とも予め上記処理により合わされていることとする。
【００１９】
次に、図２は、温体検出装置のブロック図である。
温体画像は、赤外線カメラ１で撮像された後に、Ａ／Ｄ変換器２１で２次元の所定画素数の輝度を有するデジタル画像データに変換される。さらに、ウィンドウコンパレータ２５で所定幅の輝度を有する画素のみが選択された後に、２値化部２９で２値化される。
【００２０】
一方、可視画像は、可視カメラ３で撮像された後に、Ａ／Ｄ変換器２３で２次元の所定画素数の輝度を有するデジタル画像データに変換される。さらに、ウィンドウコンパレータ２７で所定幅の輝度を有する画素のみが選択された後に、２値化部３１で２値化される。
【００２１】
ここで、差分部３３では、２値化部２９から出力された温体画像から、２値化部３１から出力された可視画像、車両検出部１７から出力された先行車の存在領域画像が減算される。歩行者識別部３５では、差分部３３かの減算結果から得られた画像に歩行者が存在するか否かを識別し、歩行者が存在すると判断した場合には、警報部７に警報信号を出力する。この結果、警報部７から歩行者が存在していることへの注意が運転者に喚起される。
なお、画像処理ユニット５は、ＣＰＵ，ＲＯＭ，ＲＡＭ等の電子部品から構成されており、上述したような機能ブロックを有している。
【００２２】
次に、図１，図２，図４を参照しつつ、図３に示す画像処理ユニット５の動作を説明する。なお、画像処理ユニット５は、ＲＯＭに記憶されている制御プログラムに従って制御されることとする。
いま、図４に示すように、自車両前方には、自車線４１の左前方に信号機５１が設置されおり、自車線４１上に先行車４３が走行している。また、対向車線４５上に対向車４７がへッドライトを点灯して走行している。また、歩道６０上に歩行者４９が歩行している。
【００２３】
まず、ステップＳｌ０では、赤外線カメラ１からの温体画像をＡ／Ｄ変換器２１でＡ／Ｄ変換し、２次元の所定画素数の輝度データに変換する。
次に、ステップＳ２０では、ウィンドウコンパレータ２５で所定幅の輝度値を有する画素のみを選択する。例えばダイナミックレンジが２５６階調の輝度データのうち歩行者の顔の輝度値が通常２００程度であれば、輝度範囲１９０〜２１０内の輝度データのみを選択し、他の画素の輝度値は全て０に書き換える。また、別の方法として、全画素の輝度値の出現ヒストグラムを計測して生成しておき、所定画素数として例えば１００個の画素のみを抽出するように所定幅の輝度を調整すれば、自動的に歩行者の顔の輝度データのみを抽出することも可能となる。
【００２４】
次に、ステップＳ３０では、ステップＳ２０で得られた各画素のうち輝度データが０でない画素に対して全て輝度値２５５に書き換える。ここで、図５にステップＳ３０の処理を経た温体画像を示す。赤外線カメラ１で撮像された温体画像であるので、熱源を有する温体画像のみが高輝度値２５５を有し、図５に示す黒色で塗りつぶした部位が高輝度値２５５の画素に対応する。図５に示すように、青信号の赤外像５１１、対向車のヘッドライトの赤外像５２１、歩行者の頭部４９１、歩行者の右手４９５、歩行者の左手４９３、先行車のテールライトの赤外像５３１、先行車のマフラの赤外像５４が抽出されている。
【００２５】
ステップＳ４０では、可視カメラ３で撮像された可視画像をＡ／Ｄ変換器２３でＡ／Ｄ変換し、２次元の所定画素数の輝度データに変換する。
ステップＳ５０では、ウィンドウコンパレータ２７により所定幅の輝度値を有する画素のみを選択する。
ステップＳ６０では、ステップＳ５０で得られた各画素のうち輝度データが０でない画素に対しては全て輝度値２５５に書き換える。ここで、図６にステップＳ６０の処理を経た可視画像を示す。可視カメラ３で撮像された可視画像であるので、発光する物体のみが高輝度値２５５を有し、図６に示す黒色で塗りつぶした部位が高輝度値２５５の画素に対応する。図６に示すように、青信号の可視像５１３、対向車のヘッドライトの可視像５２３、先行車のテールライトの可視像５３３が抽出されている。この時、可視画像において、青信号の可視像５１３、対向車のヘッドライトの可視像５２３、先行車のテールライトの可視像５３３等の灯火は、空気中の粉塵により散乱し、いわゆるグレア現象を起すので、赤外線カメラ１で撮像された灯火より選択される領域が拡大される。
【００２６】
ステップＳ７０では、車両検出部１７で車両前方の物体までの距離及び方向を検出してその値を取り込む。図７に示すように、車両検出部１７で検出される距離点群は信号機５１の支柱、先行車のテールライトおよびその間のトランク部分５３、対向車のヘッドライト及びその間の部分５２のそれぞれナンバープレート部分である。これら点群の距離Ｄは、信号機５１の支柱はＤ３、先行車のテールライトおよびその間のトランク部分５３のナンバープレート部分はＤｌ、対向車のヘッドライトおよびその間の部分５２のナンバープレート部分はＤ２と計測される。
【００２７】
ステップＳ８０では、ステップＳ７０で得られた点群から、対象点群までの到達距離の差及びこの距離と方向とにより三角関数演算を用いて計算される点群間において、水平距離が所定値以下の点群同志をグループ化する。例えば、この所定値として水平方向の距離が０．１ｍ以内、点群までの距離を０．１ｍ以内に設定しておけば、次のステップＳ９０での車両抽出処理を行うのに十分な分解能が得られる。
【００２８】
ステップＳ９０では、ステップＳ８０で求めた各グループのうちから、グループの水平方向幅が所定値より大きいグループのみを選択する。例えば、各グループのうち水平方向幅が１．５ｍ以上のグループのみを車両グループとして選択しておけば、少なくとも車両を確実に抽出することができる。
【００２９】
ステップＳ１００では、ステップＳ９０で選択した車両グループの面積を予め計算しておいた車両グループの面積重心を原点として高さ方向のみ約６倍程度に拡張し、図７に示す領域Ａ及びＢに対して、輝度値を２５５に設定し、その他の領域の輝度値を０に設定する。ここで、面積を高さ方向に６倍に拡張するのは、車種によっては一般車両の車両グループよりも突出した部位にマフラが配置されていることも考えられるので、このような先行車をも車両グループに含めるためである。
【００３０】
ステップＳｌｌ０では、ステップＳ３０で得られた温体画像からステップＳ６０で得られた可視画像を各画素ごとに減算する。この減算結果が負の場合には減算結果を０に書き換える。この結果、図８に示すように、歩行者の頭部４９１、歩行者の右手４９５、歩行者の左手４９３、及び先行車のマフラ３２が抽出され、青信号の赤外像５１１、対向車のヘッドライトの赤外像５２１、先行車のテールライトの赤外像５３１は除去される。さらに、この除去結果からステップＳ１００で得られた先行車の存在領域を各画素ごとに減算を行ない、減算結果が負の場合は０に書き換える。この結果、図９に示すように、歩行者の頭部４９１、歩行者の右手４９５、歩行者の左手４９３が抽出され、先行車のマフラ５４の赤外像は除去される。
【００３１】
ステップＳ１２０では、ステップＳ１１０で抽出された画素群のうち、連続した領域を固まりとして順次にラベリングする。
ステップＳ１３０では、各ラベリングされた画素群の面積を計算する。
ステップＳ１４０では、各ラべリングされた画素群の重心を計算し、さらに重心位置を計算する。
ステップＳ１５０では、図１０に示すように、紙面縦方向に領域Ａ〜Ｅまでの５つの領域を予め設定しておき、ステップＳ１４０で計算された各画素群の重心位置から、各ラべリングされた画素群が領域Ａ〜Ｅのうちどの領域に属するかを判別する。
【００３２】
ステップＳ１６０では、ステップＳ１３０で計算した各ラベリングされた画素群の面積の大きさと、予め、各領域毎に基準値を設定してある歩行者の顔の面積の大きさとを比較し、歩行者の顔であると判断した場合は大きさ一致を表す大きさフラグを１に設定する一方、否と判断した場合には大きさフラグを０に設定する。この結果、歩行者の手は、歩行者の顔に対して小さいため排除される。従って、大きさフラグが１に設定される画素群は、歩行者の頭部４９１のみである。各領域毎に歩行者の顔の大きさの基準値を個別に設定することで、自車との距離に依存して見かけの大きさが変化する場合でも、歩行者の顔の大きさの比較を正確に行なえるようになる。
【００３３】
ステップＳ１７０では、ステップＳ１６０で大きさフラグが１に設定された歩行者の頭部４９１に対して外接四角形の座標を計算する。
ステップＳ１８０では、図１１に示すように、大きさフラグが１に設定された歩行者の頭部の外接四角形４９７に対して縦横比率、すなわち、外接四角形４９７の横長Ａと縦長Ｂとの比率を計算する。
【００３４】
ステップＳ１９０では、歩行者の頭部の外接四角形４９７の横長Ａと縦長Ｂとの比が予め設定した所定範囲内であるか否かを判断する。所定範囲内である場合には縦横比率の一致を表す縦横比フラグを１に設定し、否であれば０を設定する。一般に、歩行者の顔は円形に近いので、縦横比が１に近い値が所定範囲のしきい値となる。
【００３５】
ステップＳ２００では、ステップＳ１７０で求めた外接四角形の座標に従って、面積を計算する。さらに、ステップＳ１３０で求めた歩行者の頭部４９１の面積との比を求めることで、対象の画素群に関する単位面積当たりの高輝度画素の比率、すなわち、充足率を計算する。
【００３６】
ステップＳ２１０では、ステップＳ２００で計算した充足率が予め設定した所定範囲内であるか否かを判断する。所定範囲内の場合には充足率が一致したことを表す充足率フラグを１に設定し、否であれば０を設定する。この結果、歩行者の顔のように画素密度が大きい画素群のみが選択される一方、画素密度が大きくない画素群は排除されるので、歩行者検出の精度を向上することができる。
【００３７】
以上の処理結果として、外乱の熱源が存在していても、大きさ、形、充足率により、これらを排除することが可能である。ただし、先行車のマフラ５４の赤外像は、歩行者の頭部４９１と、大きさ、形、充足率が概ね等しいため、ステップＳ１６０、ステップＳ１９０及びステップＳ２１０では排除できないが、予めステップＳ１１０で排除されているので、先行車のマフラ５４の赤外像を、歩行者の頭部４９１と間違えることはない。
【００３８】
ステップＳ２２０では、ステップＳ１６０で設定された大きさフラグ、ステップＳ１９０で設定された縦横比フラグ、ステップＳ２１０で設定された充足率フラグがいずれも１である画素群が存在する場合には、歩行者であると判定し、警報信号を警報部７に送る。この結果、警報部７から歩行者が存在していることへの注意が運転者に喚起される。警報部７にはブザー、インジケータ、モニタ等が備えられており、ブザーから警報音が発生され、インジケータから赤色の警報光が発生される。さらに、モニタからは画像処理ユニット５で抽出された歩行者の温体画像が表示される。この結果、運転者が警報音に気付いてモニタを見ると、歩行者の温体画像が表示されているので、歩行者の存在領域をも視認することができる。
【００３９】
なお、本実施の形態においては、赤外線カメラ１及び可視カメラ３で撮像された温体画像及び可視画像を差分部３３で単純に減算して差分処理とするように説明しているが、赤外線カメラ１及び可視カメラ３からの画像にはスミア現象と呼ばれる残像現象が生じることが考えられる。このスミア現象は、強い輝度信号がカメラに入力した時に発生するので、この現象を解消するまでの間、カメラの絞りを絞ることが有効である。また、スミア検出は、強い輝度信号が解消するまでの間、所定画素の輝度値の変化を検出すればよい。スミア現象の発生している時間に従って、差分部３３に入力する映像の時間的遅れを調整することも可能である。また、スミア現象の発生している時間に従って、カメラの絞りを自動的に調節することも可能である。
【００４０】
また、本実施の形態では、車両検出部１７にレーザレーダ用いているが、これに替わって、ミリ波レーダに置き換えることも可能である。車両検出部１７にミリ波レーダを使用した場合、図１２に示すように、検出される距離点群は、ミリ波を良好に反射する金属板となる。この金属板は、例えば信号機５１の支柱、先行車４３の全体、及び対向車４７の全体である。これら点群の距離Ｄは、信号機５１の支柱がＤ３、先行車４３がＤｌ、対向車４７がＤ２と計測される。
【００４１】
さらに、車両検出部１７に、ステレオカメラ法に置き換えたこともことも可能である。車両検出部１７に、水平方向に所定距離を隔して配置される２台のカメラを使用し、両者の視差に基づいて、物体までの距離を測定する方法である。図１３に示すように、検出される距離点群は、先行車４３の全体、及び対向車４７の全体である。このように、ステレオカメラ法では、計測ノイズを低減するため、小さい物体、あるいは細い物体を予め排除して距離演算を行えるため、車両のみを抽出することが可能となる。また、信号器５１のように高い位置に配置される物体も、計測画角の設定により排除することが容易に可能である。これらの点群の距離Ｄは、先行車４３がＤｌ、対向車４７がＤ２と計測される。
【００４２】
さらにまた、車両検出部１７に、超音波方式を用いる場合や、ＣＣＤからなる１ラインセンサで得られる画像信号を光学的三角測量を用いる場合も考えられる。
【００４３】
また、車両の車速や、車両検出部１７で検出される先行車との距離や、先行車との相対車速等を判断して、温体検出装置の作動条件を限定してもよい。
さらに、赤外線カメラ１で撮像される温体画像と可視カメラ３で撮像される可視画像とが光軸のずれ等に起因して完全に一致していなくても、本発明の効果を満足することができるため、精密な光軸調整のためのコスト高を防止することができる。
【００４４】
さらにまた、灯火としては、信号機、対向車のヘッドライト、及び先行車のテールライトに限定しているが、道路の照明灯、家屋の照明等全ての発光体に関しても同様の効果が得られることはいうまでもない。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る温体検出装置の全体構成を示す図である。
【図２】温体検出装置のブロック図である。
【図３】画像処理ユニット５の動作を説明するためのフローチャートである。
【図４】温体検出装置の使用状況を説明するための図である。
【図５】赤外線カメラで撮像された温体画像を画像処理ユニット５で画像処理した結果を示す図である。
【図６】可視カメラで撮像された可視画像を画像処理ユニット５で画像処理した結果を示す図である。
【図７】レーザレーダで検出された距離及び方向を示す図である。
【図８】画像処理ユニット５で温体画像から可視画像を減算処理した結果を示す図である。
【図９】画像処理ユニット５で歩行者の温体画像のみが抽出された画像処理結果を示す図である。
【図１０】画像処理ユニット５で画像処理に用いられる処理領域Ａ〜Ｅを示す図である。
【図１１】画像処理ユニット５で画像処理に用いられる歩行者の頭部を示す図である。
【図１２】ミリ波レーダで検出される距離点群を示す図である。
【図１３】ステレオカメラで検出される距離点群を示す図である。
【図１４】従来の温体検出装置として報告されている画像式歩行者検出装置のブロック図である。
【符号の説明】
１ 赤外線カメラ
３ 可視カメラ
５ 画像処理ユニット
７ 警報部
９ 車両
１１ ラジェターグリル
１３ カメラユニット
１５ ハーネス
１７ 車両検出部
４１ 自車線
４３ 先行車
４５ 対向車線
４７ 対向車
４９ 歩行者
２１，２３ Ａ／Ｄ変換器
２５，２７ ウィンドウコンパレータ
２９，３１ ２値化部
３３ 差分部
３５ 歩行者識別部
５１ 信号機
５２ 対向車のヘッドライト
５３ 先行車のテールライト
５４ 先行車のマフラの赤外像
６０ 歩道
５１１ 青信号の赤外像
５１３ 青信号の可視像
５２１ 対向車のヘッドライトの赤外像
５２３ 対向車のヘッドライトの可視像
４９１ 歩行者の頭部
４９３ 歩行者の左手
４９５ 歩行者の右手
４９７ 歩行者の頭部の外接四角形
５３１ 先行車のテールライトの赤外像
５３３ 先行車のテールライトの可視像
Claims (4)
- 車両の走行方向の熱源を有する温体画像を撮像する温体画像撮像手段と、
車両の走行方向の可視画像を撮像する可視画像撮像手段と、
車両の走行方向の他車両までの距離及び方向を検出する車両検出手段と、
この他車両までの距離及び方向に基づいて、他車両の存在領域を抽出する車両抽出手段と、
前記可視画像撮像手段で撮像された可視画像の輝度に基づいて、前記可視画像から発光する物体を抽出し、前記温体画像撮像手段で撮像された温体画像から前記発光する物体及び前記車両抽出手段で抽出された他車両の存在領域を除去する画像除去処理手段と、
この除去処理結果として得られた温体画像に基づいて、歩行者の存在を検出する温体検出手段とを備えたことを特徴とする温体検出装置。 - 前記車両抽出手段は、
前記他車両までの距離及び方向で表される複数の点群間の水平距離が所定値以下の点群同志をグループ化するグループ生成手段と、
水平幅が所定値を超えるグループを車両グループとして選択するグループ選択手段と、
この選択された車両グループの領域面積を高さ方向に拡張する面積拡張手段と、
この拡張処理後の車両グループの領域に所定の輝度値を設定して車両の存在領域を生成する存在領域生成手段とを備えたことを特徴とする請求項１記載の温体検出装置。 - 前記温体検出手段は、
温体画像の画素群の面積が所定基準値を超える場合に歩行者と判断する面積判断手段と、
温体画像の画素群に外接する四角形の縦横比率が所定範囲内の場合に歩行者と判断する縦横比率判断手段と、
温体画像の画素群の単位面積当たりの高輝度画素率が所定範囲内の場合に歩行者と判断する高輝度画素率判断手段と、
前記面積判断手段と縦横比率判断手段及び高輝度画素率判断手段での判断結果が全て歩行者である場合には、歩行者として判定する歩行者判定手段とを備えたことを特徴とする請求項１記載の温体検出装置。 - 前記車両検出手段は、
レーザレーダ、ミリ波レーダ、ステレオカメラのいずれか１つを用いることを特徴とする請求項１記載の温体検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19466998A JP3716623B2 (ja) | 1998-07-09 | 1998-07-09 | 温体検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19466998A JP3716623B2 (ja) | 1998-07-09 | 1998-07-09 | 温体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000030197A JP2000030197A (ja) | 2000-01-28 |
| JP3716623B2 true JP3716623B2 (ja) | 2005-11-16 |
Family
ID=16328347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19466998A Expired - Fee Related JP3716623B2 (ja) | 1998-07-09 | 1998-07-09 | 温体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3716623B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8509523B2 (en) | 2004-07-26 | 2013-08-13 | Tk Holdings, Inc. | Method of identifying an object in a visual scene |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4267171B2 (ja) * | 1999-05-10 | 2009-05-27 | 本田技研工業株式会社 | 歩行者検知装置 |
| JP3987013B2 (ja) | 2003-09-01 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4543861B2 (ja) * | 2004-09-30 | 2010-09-15 | 日産自動車株式会社 | 人物検出装置及び方法 |
| JP4242334B2 (ja) | 2004-11-30 | 2009-03-25 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4130434B2 (ja) | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | 撮像装置の異常検知装置 |
| JP4128562B2 (ja) | 2004-11-30 | 2008-07-30 | 本田技研工業株式会社 | 車両周辺監視装置 |
| US7489805B2 (en) | 2004-11-30 | 2009-02-10 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| JP3970876B2 (ja) | 2004-11-30 | 2007-09-05 | 本田技研工業株式会社 | 車両周辺監視装置 |
| DE102005056666B4 (de) | 2004-11-30 | 2010-09-30 | Honda Motor Co., Ltd. | Fahrzeugumgebungsüberwachungsvorrichtung |
| JP4234092B2 (ja) | 2004-11-30 | 2009-03-04 | 本田技研工業株式会社 | 画像処理装置 |
| DE102005056647B4 (de) | 2004-11-30 | 2011-02-03 | Honda Motor Co., Ltd. | Fahrzeugumgebungsüberwachungsvorrichtung |
| JP4094604B2 (ja) | 2004-11-30 | 2008-06-04 | 本田技研工業株式会社 | 車両周辺監視装置 |
| US7403639B2 (en) | 2004-11-30 | 2008-07-22 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| US7515737B2 (en) | 2004-11-30 | 2009-04-07 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| JP4130435B2 (ja) | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | 撮像装置の異常検知装置 |
| US7483549B2 (en) | 2004-11-30 | 2009-01-27 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| JP4975379B2 (ja) * | 2006-06-16 | 2012-07-11 | 本田技研工業株式会社 | 車両周辺監視システム |
| JP5195351B2 (ja) * | 2008-11-27 | 2013-05-08 | トヨタ自動車株式会社 | 車両周辺監視装置 |
| JP5215329B2 (ja) * | 2010-01-28 | 2013-06-19 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP5642785B2 (ja) * | 2010-06-07 | 2014-12-17 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| JP5480925B2 (ja) * | 2012-03-05 | 2014-04-23 | 本田技研工業株式会社 | 車両周辺監視装置 |
| US9738253B2 (en) | 2012-05-15 | 2017-08-22 | Aps Systems, Llc. | Sensor system for motor vehicle |
| CN104584093B (zh) * | 2012-08-30 | 2018-02-23 | 富士通株式会社 | 图像处理装置以及图像处理方法 |
| KR101729444B1 (ko) * | 2016-07-04 | 2017-04-24 | 강래호 | 신호등 정보 획득 장치 및 방법 |
| JP7135579B2 (ja) * | 2018-08-20 | 2022-09-13 | 株式会社Soken | 物体検知装置 |
| CN110929636A (zh) * | 2019-11-20 | 2020-03-27 | 上海融军实业有限公司 | 一种客流大小、方向检测方法和*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6171787A (ja) * | 1984-09-14 | 1986-04-12 | Mitsubishi Heavy Ind Ltd | 環境映像監視装置 |
| JPH09128548A (ja) * | 1995-11-06 | 1997-05-16 | Mitsubishi Motors Corp | 車両検出方法 |
| JPH09326096A (ja) * | 1996-06-06 | 1997-12-16 | Nissan Motor Co Ltd | 車両用人的障害物検知装置 |
| JP3843502B2 (ja) * | 1996-09-30 | 2006-11-08 | マツダ株式会社 | 車両用動体認識装置 |
-
1998
- 1998-07-09 JP JP19466998A patent/JP3716623B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8509523B2 (en) | 2004-07-26 | 2013-08-13 | Tk Holdings, Inc. | Method of identifying an object in a visual scene |
| US8594370B2 (en) | 2004-07-26 | 2013-11-26 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
| US9330321B2 (en) | 2004-07-26 | 2016-05-03 | Tk Holdings, Inc. | Method of processing an image of a visual scene |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000030197A (ja) | 2000-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3716623B2 (ja) | 温体検出装置 | |
| US7366325B2 (en) | Moving object detection using low illumination depth capable computer vision | |
| EP3480057B1 (en) | Rear obstruction detection | |
| TWI302879B (en) | Real-time nighttime vehicle detection and recognition system based on computer vision | |
| US7566851B2 (en) | Headlight, taillight and streetlight detection | |
| US10860869B2 (en) | Time to collision using a camera | |
| JP5883732B2 (ja) | 環境認識装置 | |
| KR101891460B1 (ko) | 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치 | |
| JP2003296736A (ja) | 障害物検知装置及びその方法 | |
| JP2014013449A (ja) | 車載装置 | |
| JP2008070979A (ja) | 車載霧判定装置 | |
| JP2007057331A (ja) | 車載霧判定装置 | |
| JP5051405B2 (ja) | 距離測定装置、及び距離測定方法 | |
| JPH1139597A (ja) | 車両の衝突防止装置 | |
| JPH08193831A (ja) | 接近車両検出装置 | |
| JP4798576B2 (ja) | 付着物検出装置 | |
| JP2005090974A (ja) | 先行車認識装置 | |
| JP3598793B2 (ja) | 歩行者検出警報装置 | |
| JP7261006B2 (ja) | 車外環境認識装置 | |
| JPH0927100A (ja) | 前方車両認識方法及び前方車両認識装置並びにそれを用いた車両用追突防止装置 | |
| JP3988657B2 (ja) | 対象物検出装置 | |
| Wu et al. | A new vehicle detection with distance estimation for lane change warning systems | |
| JP6378547B2 (ja) | 車外環境認識装置 | |
| JP4334744B2 (ja) | 交通流計測装置 | |
| JP2012118929A (ja) | 外部環境判定装置及び外部環境判定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050822 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090909 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110909 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |