JP3823944B2 - Moving object notification device - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、夜間、夕暮れ時、トンネル内等の周囲が暗いときに、自車両前方に存在する歩行者等の移動物体を検出して、その存在を車両の乗員に報知する移動物体報知装置に関する。
【０００２】
【従来の技術】
従来より、移動物体に追従する技術として、例えば特開２００２−８３３８３号公報（特許文献１）に開示された移動体追従スポットライト制御装置及びその移動体検出方法ならびに制御方法が知られている。この特許文献１に開示された発明は、不特定の移動物体の位置にスポットライトの照射位置を追従させ、防犯用途に好適な自律型監視車両を具現化する技術を提供している。
【０００３】
【特許文献１】
特開２００２−８３３８３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１に記載されたように、スポットライトを人体等の移動物体に追従させて照射を行う方法は、車両に適用した場合には、以下の（イ）〜（ハ）に示す如くの問題が生じる。
【０００５】
（イ）運転者は前方道路状況の監視はもちろんのこと、後方、側方、車内等種々の確認行動を常時行う必要があるため、単に人体等の移動物体にスポットライトを照射しただけでは、運転者が気付かない場合がある。
（ロ）車両運転中は、幾多の確認、操作を同時に行うため、単に移動物体を運転者に報知しても、直ちにどのような回避動作を行うかを思考するには時間を要する。即ち、移動物体を確認した後に、この移動物体の周囲に、自車の回避スペースがあるか、ある場合は減速すべきか、またはハンドル操作のみで回避できるか否か、また移動物体の周囲に自車の回避スペースがない場合には停止するか、または減速して直近を通過するか、といった判断が必要となる。
【０００６】
（ハ）対向車両の近傍に人体等の移動物体が存在した場合、人体のみならず、対向車両へもスポットライトを照射することになり、対向車両の運転者の幻惑を招く恐れがある。
【０００７】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、車両前方に存在する移動物体を検出すると共に、検出後の運転者が採るべき行動を的確に指示することのできる移動物体報知装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明は、車両前方に存在する移動物体を検出し、この存在を車両の乗員に報知する移動物体報知装置において、車両前方にマーカを照射するマーカ照射手段と、マーキングの対象となる前記移動物体を検出する移動物体検出手段と、前記移動物体検出手段の検出結果に基づいて、前記移動物体の位置を検出する位置検出手段と、前記位置検出手段により検出された前記移動物体の位置に応じて、前記マーカ照射手段による照射パターンを変化させる照射状態可変手段と、を有し、前記マーカ照射手段は、可視光の電磁波ビームを照射する電磁波ビーム照射手段、及び前記電磁波ビームを車両前方の所定の領域内にて走査するビーム走査手段を備え、前記照射状態可変手段は、前記ビーム走査手段の走査位置に応じて、前記電磁波ビーム照射手段より照射する電磁波ビームを調整して、前記所定の領域内に任意のマーカを生成することを特徴とする。
【０００９】
【発明の効果】
本発明によれば、車両前方に移動物体が存在する場合には、この移動物体との接近を回避するための情報がマーカとして車両前方の所定領域に表示されるので、運転者は、自分が採るべき行動を直ちに認識することができ、緊急時における適切な行動判断を支援することができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る移動物体報知装置の構成を示すブロック図である。同図に示すように、この移動物体報知装置は、車両前方に存在する検出対象７を撮影する赤外線カメラ３、及び可視カメラ４と、ミリ波を出射して検出対象７（例えば、歩行者）までの距離を測定するミリ波レーダ（距離計測手段）５を有し、更に、これらの出力に基づいて、検出対象７の位置を検出する位置検出手段６を備えている。
【００１１】
また、この移動物体報知装置は、検出対象７に向けてレーザを発するレーザダイオード（電磁波ビーム照射手段）１と、このレーザダイオード１の出力側に配設され、出射されたレーザを水平方向、及び垂直方向に走査する二次元スキャナ（ビーム走査手段）８と、該二次元スキャナ８の走査方向を制御するスキャナ駆動手段１０と、を備えている。
【００１２】
更に、二次元スキャナ８の水平、及び垂直方向の走査位置を検出してデジタル信号に変換する走査位置検出手段９と、二次元スキャナ８にて走査されたレーザの照射方向が検出対象７の方向に向くようにレーザを反射させる反射ミラー１１と、制御回路（照射状態可変手段）２を備えている。
【００１３】
制御回路２は、位置検出手段６にて検出された検出対象７の位置情報に基づいて、レーザダイオード１によるレーザの出射を制御すると共に、後述する手順により、二次元スキャナ８による水平、垂直方向の走査指令信号をスキャナ駆動手段１０に出力する。また、後述する警報パターンを記憶するための二次元メモリ２ａを備えている。
【００１４】
次に、上記のように構成された本実施形態に係る移動物体報知装置の作用を、図２に示すフローチャート、及び図３〜図７に示す説明図を参照しながら説明する。
【００１５】
図３は、自車前方の映像を模式的に示す説明図であり、自車が走行中の自車線２０の右側には、センターライン２３を挟んで反対車線２２が存在し、左側には路肩２１が存在する。そして、歩行者（移動物体）２４が自車前方約５０ｍの距離で、路肩２１から、自車線２０に図中左側から右側に向けて侵入している。
【００１６】
図２に示すフローチャートにおいて、位置検出手段６及び制御回路２では、以下に説明するロジックが作用する。
【００１７】
まず、ステップＳ１０において、運転者がシステムスイッチ（図示省略）をＯＮすることにより、本システムが作動する。
【００１８】
ステップＳ２０において、赤外線カメラ３で撮影された画像を１フレーム取り込む。図４はこのときの状態を説明する図であり、歩行者２４のみが、体温に感度を有することにより、強調して撮像されている。
【００１９】
次いで、ステップＳ３０において、ミリ波レーダ５で検出された画像を１フレーム取り込む。図５は、このときの状態を説明する図であり、物標としての歩行者２４、及び街路樹２５がミリ波を反射し、これら物標までの距離が計算される。本図において、歩行者２４までの距離は５０ｍ、街路樹２５までの距離は３０ｍと計算されている。
【００２０】
ステップＳ４０において、可視カメラ４で撮影された画像を１フレーム取り込む。図６は、このときの状態を説明する図であり、色階調値の差によって白または黄色の線（路上の仕切線）のみが抽出され、図中左より、第１の路側線２６、センターライン２３、第２の路側線２７が抽出される。
【００２１】
更に、ステップＳ４０においては、自車線２０を特定するため、第１の路側線２６、センターライン２３、第２の路側線２７の色階調の変化量（エッジ）を抽出し、自車線２０中央の位置から左右方向に向かって近い順にエッジの座標を抽出する。すると、第１の路側線２６の左右方向内側のエッジ、センターライン２３の左右方向内側のエッジが抽出される。これらエッジの線分としての連続性及び直線らしさを既知のハフ変換等の数値処理を行って、連続した線分としてグルーピングを行う。上述の説明により抽出された、線分で囲まれる領域が自車線２０であるものと識別する。図７に、上記の処理で識別された自車線２０の領域を示す。
【００２２】
ステップＳ５０において、ステップＳ２０の赤外線カメラ３により抽出された領域と、ステップＳ３０の処理により抽出された領域との論理和をとり、赤外線感度があり、且つ距離情報を有するものが、歩行者２４であるものと認識する。ここで、街路樹２５は赤外線に感度を有さないので除外される。
【００２３】
ステップＳ６０において、歩行者２４の横位置、及び距離を算出する。横位置は、ステップＳ２０により取り込まれた赤外線カメラ３の画像の横画素値を計算し、距離はステップＳ３０により取り込まれたミリ波レーダ５の出力情報を用いて算出する。
【００２４】
ステップＳ７０では、ステップＳ６０にて抽出された歩行者２４が、ステップＳ４０で抽出された自車線内に存在するか否かを判別する。存在しない場合は、ステップＳ２０に戻り、存在する場合はステップＳ８０に進む。自車線は必要に応じて、膨張等の画像処理手段により、多少図中左右方向に拡大してもよい。
【００２５】
これは歩行者２４が高さ方向に領域を有しているため、厳密に、自車線を規定したとき、歩行者２４の存在を示す警報出力と自車線の規定とが運転者に違和感を与える場合に有効である。ただし、膨張量を大きくしすぎると、本来問題とならない路肩２１を歩行する歩行者に対しても警報を与えることになり、誤警報の原因となるため、適切な値を設定することが必要である。
【００２６】
ステップＳ８０において、歩行者２４までの距離が１００ｍより大きいか否かが判断される。１００ｍより大きいと判断された場合には、後述の第１警報を作動し、ステップＳ１１０に進む。他方、１００ｍ以下であると判断された場合には、ステップＳ９０の処理に進む。
【００２７】
ステップＳ９０にて、歩行者２４までの距離が５０ｍ〜１００ｍの範囲に存在するか否かが判断される。この範囲内に存在する場合には、後述する第２警報を作動してステップＳ１１０に進む。また、この範囲内に存在しない場合には、ステップＳ１００に進む。
【００２８】
ステップＳ１００において、歩行者２４までの距離が５０ｍ以下に存在するか否かが判断される。５０ｍ以下である場合には、後述する第３警報を作動して、ステップＳ１１０に進む。それ以外の場合には、エラーとしてステップＳ１１０に進む。
【００２９】
ステップＳ１１０にて、システムがＯＮ、即ち作動状態にあるか否かを判断し、システムがＯＮである場合には、ステップＳ２０に戻り、ＯＦＦである場合には、処理を終了する。
【００３０】
図８〜図１０は、上述した第１警報〜第３警報を発生する際の、作用を示す説明図である。
【００３１】
図２のステップＳ８０において、歩行者が１００ｍを超える位置に存在すると判定された場合には、第１警報の作動の分岐に入り、二次元メモリ２ａに格納されている図８に示す如くのメモリパターンが選択される。
【００３２】
水平方向に２００個、垂直方向に１００個の配列を有する二次元メモリ２ａには、メモリパターンとして、予め警報の表示パターンを入力してある。図８は、第１警報に用いるメモリパターンであり、図示のように、例えば折れ曲がった矢印の点線を描いたメモリパターンとすることができる。水平方向のメモリ番地をｘ、垂直方向のメモリ番地をｙで表記し、各メモリの番地を（ｘ，ｙ）で表すことにする。
【００３３】
図中（８０，５）から（８５，４５）を経由して折れ曲がり（１００，６０）までの破線、及び矢印の描画データが各メモリに１ビットのデータとして記録されている。
【００３４】
このメモリの構造を、図１１を参照して、より詳しく説明する。図１１は、図８に示したメモリ配列のうち、（７８，５）から（８３，１０）までのメモリ配列に限定して記載した図であり、丁度図８における破線の開始領域に相当する。図１１は、横軸にｘ番地、縦軸にｙ番地を表しており、（ｘ、ｙ）の形式で記載すると、（８０，５）、（８０，６）、（８０，８）、（８１，９）、（８１，１０）のメモリ番地のデータが「１」でありその他の番地のデータは「０」である。
【００３５】
以上のように図８においても水平方向に２００個、垂直方向に１００個の、合計２００００個のメモリの各番地に「０」、または「１」のデータを記憶させておくことにより、任意の画像データを二次元メモリ２ａに格納することが可能となっている。
【００３６】
同様に、図２のステップＳ９０において、歩行者が１００ｍ以下で、且つ５０ｍを超える位置に存在する場合には、第２警報の作動の分岐に入り、この場合には、図９に示す如くのメモリパターンが選択される。
【００３７】
図９において、メモリ番地（８０，５）から（８１，３０）を経由して折れ曲がり、（１１０，５０）までの破線および矢印の描画データが各メモリに１ビットのデータとして記録されている。
【００３８】
同様に、ステップＳ１００において、歩行者が５０ｍ以下の位置に存在する場合には、第３警報の作動の分岐に入り、図１０のメモリパターンが選択される。
【００３９】
図１０は、第３警報に用いるメモリ記憶パターンであり、図中（８０，５）から（８２，２０）を経由して折れ曲がり、（１１０，４０）までの破線及び矢印の描画データが各メモリに１ビットのデータとして記録されている。
【００４０】
走査位置検出回路９の出力信号により、現在のレーザ照射方向が水平方向２００個、垂直方向１００個の各メモリ番地のいずれの位置に存在するかを、常時二次元の位置データとして検出しており、逐次対応する番地のメモリ値を読み出す。
【００４１】
もし、メモリ値が「１」の場合、制御回路２はレーザダイオード１に発光指令を出力する。また、メモリ値が「０」の場合は逆に発光指令を送出しない。
【００４２】
以上の操作を、メモリ番地における水平方向２００個、垂直方向１００個のデータに対応する前方へのレーザレーダのビーム照射を断続させることにより、メモリパターンに等しいパターンのレーザビームがマーカとして自車前方に照射され、その結果、運転者は自車前方の路面にメモリパターンと等しいマーカを認知することが可能となる。従って、記号情報による強調された報知により、運転者は移動物体の存在を直ちに認識することができる。
【００４３】
図１２は、第２警報が報知された状態の前方風景を示しており、歩行者２４を回避するようにマーカ２８が路面に照射されている。また、本実施例の変形例としてステップＳ６０において、歩行者２４が自車走行車線の左、または右のいづれに位置するかに応じて、警報のメモリパターンを変更してもよい。
【００４４】
例えば、図８〜図１０に示した、警報のメモリパターンは、自車線の左側に歩行者２４が位置する状況に適切なメモリーパターンを用いて説明している。歩行者２４は主として自車線左側に位置するときがリスク度が高いため、効果的な報知方法であるが、まれに、自車線の右に歩行者２４が位置する場合もある。
【００４５】
この場合、ステップＳ６０で歩行者の横位置情報に従い、歩行者が自車線の右に位置する場合は図１３に示すように、自車の進行を左側に迂回するようレーザダイオードにより路面にマーカ２８を描画してもよいし、停止記号を描画してもよい。
【００４６】
なお、本実施形態においては、第１警報から第３警報までの３段階に警報の緊急度を可変とする構成に基づいて説明しているが、必要に応じて、任意の警報の段階に定めてもよい。
【００４７】
また、本実施形態においては、１つのレーザダイオード１によりレーザビームを照射する構成において説明しているが、請求項２に記載したマーカの照射パターンを変化させる一例として、ＲＧＢ３色のレーザダイオードを用いて、各ダイオードの発光出力を制御することにより、マーカ２８の色を可変にすることや、レーザダイオード１の照射間隔を可変にすることにより、マーカ２８を点滅させるようにすることも可能である。このような構成によれば、運転者による情報認知を容易とすることができる。
【００４８】
また、請求項３に記載したように、位置検出手段６の信号に基づき、歩行者２４までの距離が既知であることを利用して、図１４に示すように、歩行者２４までの距離より５ｍ手前側の位置に注意マーカ２９を呈示することも可能である。このような構成によれば、電磁波ビームの人体への照射を防止することが可能となり、その結果、人が急に光を照射されることにより驚き、その場に立ち止まってしまうという状況が発生することを防止することができる。
【００４９】
また、マーカが、自車両を迂回誘導する走路情報として表示されるので、運転者が直ちにどのように回避動作を行えばよいかを直感的に判断することができ、その結果、回避動作を素速く行うことができる。
【００５０】
また、請求項１に記載したように、距離情報に依存せずに、自車前方視野角の垂直方向に関して、上は遠方、下は近距離であるという、擬似的な距離検出論理に基づいて、本実施形態にて説明した作用を具現化することも、コスト低減の観点から効果的である。
【００５１】
更に、請求項５に記載したように、反対車線２２に車両が存在する場合、即ち、赤外線カメラ３により検出された対向車のヘッドライトの間隔と、ミリ波レーダ５にて検出された、対向車までの距離に応じて演算される、車両か否かの判定により、対向車線２２に存在する物体が対向車であると制御回路２により認識された場合には、図１５に示すように、照射制限領域３０を、対向車を検出した領域の略同一部位に設定し、本照射制限領域３０で歩行者２４を検出した場合は、請求項３に記載したように、歩行者２４の前方５ｍの位置に、マーカ２８を照射するようにすれば、対向車に与える幻惑を防止できる。
【００５２】
以上、各実施形態は、更に、自車の走行速度に応じて、マーカ２８の描画を制御することも可能である。例えば、車速が高いときは、照射領域を遠方に設定する、照射光量を増大する、照射の色をよりリスク度が高いことを示す色、例えば黄色や赤スペクトル成分を増大する、照射間隔を短めに設定する等の制御である。
【００５３】
同様に、周囲の光量が低い、例えば、夜間の場合、夕暮れ時、及び昼間と制御量を可変にする、また、雨、霧、雪等の場合もこれら各種制御量を可変にするといった制御を付加してもよい。
【００５４】
また、上記各実施形態は、検出対象７を人間として説明しているが、自転車、バイク、車両に適用してもよい。
【００５５】
更に、上記各実施形態は、熱物体を検出する赤外線カメラ３、距離を検出するミリ波レーダ５、白線等の道路仕切線を検出する可視カメラ４を用いた構成に基づき説明したが、自車線を特定せずに、自車前方の熱物体を検出し、警報を行うならば、可視カメラ４は不要である。
【００５６】
また、熱物体（人体）までの距離を正確に測定する必要がない場合は、赤外線カメラ３の上下方向の画素値から算出される、距離対応情報により、簡易的に熱物体までの距離を測定しても良い。また、熱に特化せずに、人体等の障害物を検出するには、赤外線カメラ３に限定されるものではなく、近赤外領域に感度を有する、可視カメラ４、レーザレーダ、超音波、電磁波による障害物検出手段で代用してもよい。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動物体報知装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係る移動物体報知装置の処理手順を示すフローチャートである。
【図３】自車前方の映像を示す説明図である。
【図４】自車両前方に存在する熱物体（歩行者）の映像を示す説明図である。
【図５】ミリ波レーダにより検出される自車前方障害物の映像を示す説明図である。
【図６】自車前方に存在する自車線、及び対向車線の映像を示す説明図である。
【図７】自車前方に存在する自車線の映像を示す説明図である。
【図８】二次元メモリに記憶される第１警報の表示パターンを示す説明図である。
【図９】二次元メモリに記憶される第２警報の表示パターンを示す説明図である。
【図１０】二次元メモリに記憶される第３警報の表示パターンを示す説明図である。
【図１１】メモリに記憶されるビットパターンを示す説明図である。
【図１２】第１警報の表示パターンを、レーザダイオードを用いて自車前方に表示するマーカの例を示す説明図であり、歩行者が左側から自車線内に進入した場合の表示例である。
【図１３】第１警報の表示パターンを、レーザダイオードを用いて自車前方に表示するマーカの例を示す説明図であり、歩行者が右側から自車線内に進入した場合の表示例である。
【図１４】マーキングの対象となる歩行者の手前に注意マーカを照射した場合の例を示す説明図である。
【図１５】対向車が存在する場合に設定される照射制限領域を示す説明図である。
【符号の説明】
１ レーザダイオード
２ 制御回路
３ 赤外線カメラ
４ 可視カメラ
５ ミリ波レーダ
６ 位置検出手段
７ 検出対象
８ 二次元スキャナ
９ 走査位置検出回路
１０ スキャナ駆動手段
１１ 反射ミラー
２０ 自車線
２１ 路肩
２２ 反対車線
２３ センターライン
２４ 歩行者
２５ 街路樹
２６ 第１の路側線
２７ 第２の路側線
２８ マーカ
２９ 注意マーカ
３０ 照射制限領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving object notification device for detecting a moving object such as a pedestrian existing in front of the own vehicle and informing the vehicle occupant of the presence when the surroundings are dark at night, dusk, or in a tunnel. .
[0002]
[Prior art]
Conventionally, as a technique for following a moving object, for example, a moving body tracking spotlight control device, a moving body detection method, and a control method disclosed in Japanese Patent Laid-Open No. 2002-83383 (Patent Document 1) are known. The invention disclosed in Patent Document 1 provides a technique for realizing an autonomous surveillance vehicle suitable for crime prevention use by causing the irradiation position of a spotlight to follow the position of an unspecified moving object.
[0003]
[Patent Document 1]
JP-A-2002-83383 [0004]
[Problems to be solved by the invention]
However, as described in Patent Document 1 described above, the method of performing irradiation by causing a spotlight to follow a moving object such as a human body is applied to the following (a) to (c) when applied to a vehicle. Problems as shown arise.
[0005]
(I) The driver must always perform various confirmation actions such as the back, side, and in the car as well as monitoring the front road conditions, so simply by irradiating a moving object such as a human body with a spotlight, The driver may not be aware.
(B) Since many confirmations and operations are performed simultaneously while the vehicle is being driven, it takes time to immediately think about what kind of avoidance action to perform even if the driver is simply notified of the moving object. That is, after confirming the moving object, there is a space around the moving object, whether it should be decelerated, or whether it can be avoided by only operating the steering wheel, and the surroundings of the moving object. When there is no vehicle avoidance space, it is necessary to judge whether to stop or decelerate and pass the latest.
[0006]
(C) When a moving object such as a human body exists in the vicinity of the oncoming vehicle, not only the human body but also the oncoming vehicle is irradiated with a spotlight, which may cause the driver of the oncoming vehicle to be dazzled.
[0007]
The present invention has been made in order to solve such a conventional problem, and an object of the present invention is to detect a moving object existing in front of the vehicle and accurately determine an action to be taken by the driver after the detection. It is in providing the moving object alerting | reporting apparatus which can instruct | indicate.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a moving object notifying device for detecting a moving object existing in front of a vehicle and informing the vehicle occupant of the presence of the moving object, marker irradiating means for irradiating the marker in front of the vehicle, marking A moving object detecting means for detecting the moving object that is the target of the detection, a position detecting means for detecting the position of the moving object based on a detection result of the moving object detecting means, and the position detecting means detected by the position detecting means. depending on the position of the moving object, has an irradiation condition varying means for varying a radiation pattern by the marker irradiation means, said marker irradiation means electromagnetic beam irradiation means for irradiating an electromagnetic wave beam of visible light, and the electromagnetic wave Beam scanning means for scanning the beam in a predetermined area in front of the vehicle is provided, and the irradiation state variable means corresponds to the scanning position of the beam scanning means. , By adjusting the electromagnetic beam to be irradiated from the electromagnetic wave beam irradiation means, and generating an arbitrary marker in the predetermined area.
[0009]
【The invention's effect】
According to the present invention, when there is a moving object in front of the vehicle, information for avoiding the approach to the moving object is displayed as a marker in a predetermined area in front of the vehicle. Actions to be taken can be recognized immediately, and appropriate action judgments in an emergency can be supported.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a moving object notification device according to an embodiment of the present invention. As shown in the figure, this moving object notification device includes an infrared camera 3 and a visible camera 4 that photograph a detection target 7 existing in front of the vehicle, and a detection target 7 (for example, a pedestrian) that emits millimeter waves. And a position detection means 6 for detecting the position of the detection object 7 based on these outputs.
[0011]
The moving object notification device includes a laser diode (electromagnetic wave beam irradiation means) 1 that emits a laser toward the detection target 7, and an output laser that is disposed on the output side of the laser diode 1 and transmits the emitted laser in the horizontal direction. A two-dimensional scanner (beam scanning means) 8 for scanning in the vertical direction and a scanner driving means 10 for controlling the scanning direction of the two-dimensional scanner 8 are provided.
[0012]
Furthermore, the scanning position detecting means 9 for detecting the horizontal and vertical scanning positions of the two-dimensional scanner 8 and converting them into digital signals, and the irradiation direction of the laser scanned by the two-dimensional scanner 8 is the direction of the detection target 7. And a control circuit (irradiation state varying means) 2 are provided.
[0013]
The control circuit 2 controls the emission of the laser by the laser diode 1 based on the position information of the detection target 7 detected by the position detection means 6, and in the horizontal and vertical directions by the two-dimensional scanner 8 according to the procedure described later. Are output to the scanner driving means 10. In addition, a two-dimensional memory 2a for storing an alarm pattern to be described later is provided.
[0014]
Next, the operation of the moving object notification device according to the present embodiment configured as described above will be described with reference to the flowchart shown in FIG. 2 and the explanatory diagrams shown in FIGS.
[0015]
FIG. 3 is an explanatory diagram schematically showing an image in front of the host vehicle. On the right side of the host lane 20 where the host vehicle is traveling, there is an opposite lane 22 across the center line 23, and on the left side is a shoulder. 21 exists. A pedestrian (moving object) 24 enters the own lane 20 from the road shoulder 21 toward the right side in the figure at a distance of about 50 m ahead of the own vehicle.
[0016]
In the flowchart shown in FIG. 2, the logic described below operates in the position detection unit 6 and the control circuit 2.
[0017]
First, in step S10, when the driver turns on a system switch (not shown), the present system operates.
[0018]
In step S20, one frame of an image taken by the infrared camera 3 is captured. FIG. 4 is a diagram illustrating the state at this time, and only the pedestrian 24 is imaged with emphasis by being sensitive to body temperature.
[0019]
Next, in step S30, one frame of the image detected by the millimeter wave radar 5 is captured. FIG. 5 is a diagram for explaining the state at this time. The pedestrian 24 and the street tree 25 as targets reflect the millimeter waves, and the distances to these targets are calculated. In this figure, the distance to the pedestrian 24 is calculated as 50 m, and the distance to the roadside tree 25 is calculated as 30 m.
[0020]
In step S40, one frame of an image photographed by the visible camera 4 is captured. FIG. 6 is a diagram for explaining the state at this time. Only the white or yellow line (the partition line on the road) is extracted based on the difference in the color gradation value. From the left in the figure, the first road line 26, A center line 23 and a second road line 27 are extracted.
[0021]
Furthermore, in step S40, in order to identify the own lane 20, the color gradation change amount (edge) of the first roadside line 26, the centerline 23, and the second roadside line 27 is extracted, and the center of the own lane 20 is extracted. The coordinates of the edge are extracted in the order from the position of the left to the right. Then, the edge inside the left-right direction of the 1st roadside line 26 and the edge inside the left-right direction of the center line 23 are extracted. The continuity and straightness of the edges as line segments are subjected to numerical processing such as known Hough transform to group them as continuous line segments. The area surrounded by the line segment extracted by the above description is identified as the own lane 20. FIG. 7 shows the area of the own lane 20 identified by the above processing.
[0022]
In step S50, the area extracted by the infrared camera 3 in step S20 and the area extracted by the process in step S30 are logically summed, and the pedestrian 24 has infrared sensitivity and has distance information. Recognize that there is. Here, the roadside tree 25 is excluded because it has no sensitivity to infrared rays.
[0023]
In step S60, the lateral position and distance of the pedestrian 24 are calculated. The horizontal position is calculated using the horizontal pixel value of the image of the infrared camera 3 captured in step S20, and the distance is calculated using the output information of the millimeter wave radar 5 captured in step S30.
[0024]
In step S70, it is determined whether or not the pedestrian 24 extracted in step S60 exists in the own lane extracted in step S40. When it does not exist, it returns to step S20, and when it exists, it progresses to step S80. The own lane may be slightly enlarged in the left-right direction in the figure by image processing means such as expansion as necessary.
[0025]
This is because the pedestrian 24 has an area in the height direction, and strictly speaking, when the own lane is defined, the alarm output indicating the presence of the pedestrian 24 and the definition of the own lane give the driver a sense of incongruity. It is effective in the case. However, if the amount of expansion is too large, a warning is also given to pedestrians who are walking on the shoulder 21 which is not a problem, and it may cause a false alarm, so it is necessary to set an appropriate value. is there.
[0026]
In step S80, it is determined whether or not the distance to the pedestrian 24 is greater than 100 m. If it is determined that the distance is greater than 100 m, a first alarm described later is activated and the process proceeds to step S110. On the other hand, if it is determined that the distance is 100 m or less, the process proceeds to step S90.
[0027]
In step S90, it is determined whether or not the distance to the pedestrian 24 is in the range of 50 to 100 m. When it exists in this range, the 2nd warning mentioned later is operated and it progresses to Step S110. If it does not exist within this range, the process proceeds to step S100.
[0028]
In step S100, it is determined whether or not the distance to the pedestrian 24 is 50 m or less. When it is 50 m or less, a third alarm described later is activated and the process proceeds to step S110. Otherwise, the process proceeds to step S110 as an error.
[0029]
In step S110, it is determined whether or not the system is ON, that is, in an operating state. If the system is ON, the process returns to step S20, and if it is OFF, the process ends.
[0030]
8-10 is explanatory drawing which shows an effect | action at the time of generating the 1st alarm-3rd alarm mentioned above.
[0031]
If it is determined in step S80 of FIG. 2 that the pedestrian is present at a position exceeding 100 m, the first alarm is activated and the memory as shown in FIG. 8 is stored in the two-dimensional memory 2a. A pattern is selected.
[0032]
An alarm display pattern is input in advance as a memory pattern to the two-dimensional memory 2a having an array of 200 in the horizontal direction and 100 in the vertical direction. FIG. 8 shows a memory pattern used for the first alarm. As shown in the figure, for example, it can be a memory pattern in which a dotted line of a bent arrow is drawn. The horizontal memory address is denoted by x, the vertical memory address is denoted by y, and the address of each memory is denoted by (x, y).
[0033]
In the figure, drawing data of broken lines and arrows from (80, 5) to (100, 60) via (85, 45) are recorded as 1-bit data in each memory.
[0034]
The structure of this memory will be described in more detail with reference to FIG. FIG. 11 is a diagram limited to the memory arrays (78, 5) to (83, 10) in the memory array shown in FIG. 8, and corresponds to the start area of the broken line in FIG. . In FIG. 11, the horizontal axis represents the x address, and the vertical axis represents the y address. When written in the format (x, y), (80, 5), (80, 6), (80, 8), ( 81, 9) and (81, 10) are “1” at the memory addresses and “0” at other addresses.
[0035]
As described above, even in FIG. 8, data of “0” or “1” is stored in each address of a total of 20000 memories, 200 in the horizontal direction and 100 in the vertical direction. Image data can be stored in the two-dimensional memory 2a.
[0036]
Similarly, in step S90 of FIG. 2, when a pedestrian is present at a position of 100 m or less and more than 50 m, the second alarm operation branch is entered. In this case, as shown in FIG. A memory pattern is selected.
[0037]
In FIG. 9, the broken line and arrow drawing data from (80, 5) to (110, 50) are recorded as 1-bit data in each memory.
[0038]
Similarly, in step S100, when a pedestrian is present at a position of 50 m or less, the third alarm operation branch is entered, and the memory pattern of FIG.
[0039]
FIG. 10 is a memory storage pattern used for the third alarm. In FIG. 10, the broken line and arrow drawing data from (80, 5) to (82, 20) in FIG. Are recorded as 1-bit data.
[0040]
Based on the output signal of the scanning position detection circuit 9, it is always detected as two-dimensional position data at which position the current laser irradiation direction is located at each of the 200 memory addresses in the horizontal direction and 100 memory addresses in the vertical direction. Then, the memory value of the corresponding address is read sequentially.
[0041]
If the memory value is “1”, the control circuit 2 outputs a light emission command to the laser diode 1. On the other hand, when the memory value is “0”, no light emission command is sent.
[0042]
By repeating the above operation by intermittently irradiating the front of the laser radar beam corresponding to the data of 200 horizontal directions and 100 vertical directions at the memory address, a laser beam having a pattern equal to the memory pattern is used as a marker in front of the vehicle. As a result, the driver can recognize a marker equal to the memory pattern on the road surface ahead of the vehicle. Therefore, the driver can immediately recognize the presence of the moving object by the enhanced notification by the symbol information.
[0043]
FIG. 12 shows a front landscape in a state where the second alarm is notified, and the marker 28 is irradiated on the road surface so as to avoid the pedestrian 24. As a modification of the present embodiment, in step S60, the alarm memory pattern may be changed depending on whether the pedestrian 24 is located on the left or right side of the host vehicle travel lane.
[0044]
For example, the alarm memory pattern shown in FIGS. 8 to 10 is described using a memory pattern appropriate for the situation where the pedestrian 24 is located on the left side of the own lane. When the pedestrian 24 is located mainly on the left side of the own lane, the risk degree is high, and this is an effective notification method. However, in rare cases, the pedestrian 24 may be located on the right side of the own lane.
[0045]
In this case, according to the lateral position information of the pedestrian in step S60, when the pedestrian is positioned on the right side of the own lane, as shown in FIG. May be drawn, or a stop symbol may be drawn.
[0046]
In the present embodiment, the description is based on the configuration in which the urgency level of the alarm is variable in three stages from the first alarm to the third alarm. However, it is determined at an arbitrary alarm stage as necessary. May be.
[0047]
In the present embodiment, the laser beam is irradiated by one laser diode 1, but an RGB three-color laser diode is used as an example of changing the marker irradiation pattern described in claim 2. Thus, by controlling the light emission output of each diode, the color of the marker 28 can be made variable, or the irradiation interval of the laser diode 1 can be made variable to make the marker 28 blink. . According to such a configuration, information recognition by the driver can be facilitated.
[0048]
Further, as described in claim 3, based on the signal of the position detecting means 6, the fact that the distance to the pedestrian 24 is known is shown in FIG. It is also possible to present the attention marker 29 at a position on the front side of 5 m. According to such a configuration, it becomes possible to prevent the irradiation of the electromagnetic wave beam to the human body, and as a result, a situation occurs in which a person is surprised and suddenly stops by being irradiated with light suddenly. This can be prevented.
[0049]
In addition, since the marker is displayed as the track information for detouring the host vehicle, it is possible to intuitively determine how the driver should perform the avoidance operation immediately. Can be done fast.
[0050]
Further, as described in claim 1, without depending on the distance information, based on the pseudo distance detection logic that the upper side is far and the lower side is near, with respect to the vertical direction of the vehicle front viewing angle. It is also effective from the viewpoint of cost reduction to realize the operation described in the present embodiment.
[0051]
Further, as described in claim 5, when a vehicle is present in the opposite lane 22, that is, the distance between the headlights of the oncoming vehicle detected by the infrared camera 3 and the opposite direction detected by the millimeter wave radar 5. When the control circuit 2 recognizes that an object existing in the oncoming lane 22 is an oncoming vehicle by determining whether or not the vehicle is calculated according to the distance to the car, as shown in FIG. In the case where the irradiation restricted area 30 is set at substantially the same site as the area where the oncoming vehicle is detected, and the pedestrian 24 is detected in the main irradiation restricted area 30, as described in claim 3, If the marker 28 is irradiated to the position of, the dazzling given to the oncoming vehicle can be prevented.
[0052]
As described above, each embodiment can further control the drawing of the marker 28 according to the traveling speed of the host vehicle. For example, when the vehicle speed is high, set the irradiation area far, increase the amount of irradiation light, increase the color of the irradiation to indicate a higher risk level, for example, increase the yellow or red spectral components, shorten the irradiation interval It is control of setting to.
[0053]
Similarly, the amount of control in the surroundings is low, for example, at night, at dusk, during the daytime, and the control amount is variable, and in the case of rain, fog, snow, etc., these various control amounts are variable. It may be added.
[0054]
Moreover, although each said embodiment demonstrated the detection target 7 as a human, you may apply to a bicycle, a motorcycle, and a vehicle.
[0055]
Furthermore, although each said embodiment demonstrated based on the structure using the infrared camera 3 which detects a thermal object, the millimeter wave radar 5 which detects distance, and the visible camera 4 which detects road partition lines, such as a white line, it is the own lane If a hot object in front of the vehicle is detected and an alarm is issued without specifying the vehicle, the visible camera 4 is unnecessary.
[0056]
In addition, when it is not necessary to accurately measure the distance to the thermal object (human body), the distance to the thermal object is simply measured by the distance correspondence information calculated from the pixel values in the vertical direction of the infrared camera 3. You may do it. Moreover, in order to detect obstacles such as a human body without specializing in heat, the present invention is not limited to the infrared camera 3 but has a sensitivity in the near infrared region, a visible camera 4, a laser radar, an ultrasonic wave. Alternatively, obstacle detection means using electromagnetic waves may be substituted.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a moving object notification device according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure of the moving object notification device according to the embodiment of the present invention.
FIG. 3 is an explanatory diagram showing an image in front of the host vehicle.
FIG. 4 is an explanatory diagram showing an image of a thermal object (pedestrian) existing in front of the host vehicle.
FIG. 5 is an explanatory diagram showing an image of an obstacle ahead of the vehicle detected by a millimeter wave radar.
FIG. 6 is an explanatory diagram showing images of the own lane and the opposite lane existing in front of the own vehicle.
FIG. 7 is an explanatory diagram showing an image of the own lane existing in front of the own vehicle.
FIG. 8 is an explanatory diagram showing a display pattern of a first alarm stored in a two-dimensional memory.
FIG. 9 is an explanatory diagram showing a display pattern of a second alarm stored in a two-dimensional memory.
FIG. 10 is an explanatory diagram showing a display pattern of a third alarm stored in a two-dimensional memory.
FIG. 11 is an explanatory diagram showing bit patterns stored in a memory.
FIG. 12 is an explanatory diagram showing an example of a marker that displays a display pattern of the first alarm in front of the host vehicle using a laser diode, and is a display example when a pedestrian enters the own lane from the left side. .
FIG. 13 is an explanatory diagram showing an example of a marker that displays a display pattern of a first alarm in front of the host vehicle using a laser diode, and is a display example when a pedestrian enters the own lane from the right side. .
FIG. 14 is an explanatory diagram showing an example when a caution marker is irradiated in front of a pedestrian to be marked.
FIG. 15 is an explanatory diagram showing an irradiation restriction area set when there is an oncoming vehicle.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Laser diode 2 Control circuit 3 Infrared camera 4 Visible camera 5 Millimeter wave radar 6 Position detection means 7 Detection object 8 Two-dimensional scanner 9 Scanning position detection circuit 10 Scanner drive means 11 Reflection mirror 20 Own lane 21 Road shoulder 22 Opposite lane 23 Center line 24 Pedestrian 25 Street tree 26 First roadside line 27 Second roadside line 28 Marker 29 Caution marker 30 Irradiation restricted area

Claims (5)

車両前方に存在する移動物体を検出し、この存在を車両の乗員に報知する移動物体報知装置において、
車両前方にマーカを照射するマーカ照射手段と、
マーキングの対象となる前記移動物体を検出する移動物体検出手段と、
前記移動物体検出手段の検出結果に基づいて、前記移動物体の位置を検出する位置検出手段と、
前記位置検出手段により検出された前記移動物体の位置に応じて、前記マーカ照射手段による照射パターンを変化させる照射状態可変手段と、を有し、
前記マーカ照射手段は、可視光の電磁波ビームを照射する電磁波ビーム照射手段、及び前記電磁波ビームを車両前方の所定の領域内にて走査するビーム走査手段を備え、
前記照射状態可変手段は、前記ビーム走査手段の走査位置に応じて、前記電磁波ビーム照射手段より照射する電磁波ビームを調整して、前記所定の領域内に任意のマーカを生成することを特徴とする移動物体報知装置。In a moving object notification device that detects a moving object present in front of the vehicle and notifies the vehicle occupant of this presence,
Marker irradiation means for irradiating a marker in front of the vehicle;
A moving object detecting means for detecting the moving object to be marked;
Position detection means for detecting the position of the moving object based on the detection result of the moving object detection means;
Irradiation state variable means for changing an irradiation pattern by the marker irradiation means according to the position of the moving object detected by the position detection means,
It said marker irradiation means includes a beam scanning means for scanning at electromagnetic beam irradiation means, and the electromagnetic wave beam ahead of the vehicle in a predetermined region for emitting an electromagnetic wave beam of visible light,
The irradiation state variable means adjusts the electromagnetic wave beam emitted from the electromagnetic wave beam irradiation means in accordance with the scanning position of the beam scanning means, and generates an arbitrary marker in the predetermined region. Moving object notification device. 車両から前記移動物体までの距離を計測する距離計測手段を備え、前記位置検出手段は、前記距離計測手段により計測された前記移動物体までの距離に基づいて、当該移動物体の位置を検出し、
前記照射状態可変手段は、前記距離計測手段の計測結果に基づいて、マーカの照射パターンを変化させることを特徴とする請求項１に記載の移動物体報知装置。Distance measuring means for measuring the distance from the vehicle to the moving object, the position detecting means detects the position of the moving object based on the distance to the moving object measured by the distance measuring means;
The moving object notification device according to claim 1, wherein the irradiation state variable unit changes an irradiation pattern of the marker based on a measurement result of the distance measurement unit. 前記マーカは、マーキングの対象となる前記移動物体に対して手前側となる部位に投影照射されることを特徴とする請求項１または請求項２のいずれかに記載の移動物体報知装置。3. The moving object notification device according to claim 1, wherein the marker is projected and irradiated to a portion on the near side with respect to the moving object to be marked. 4. 前記マーカは、前記移動物体に対して車両を迂回誘導する走路情報であることを特徴とする請求項１〜請求項３のいずれか１項に記載の移動物体報知装置。4. The moving object notification device according to claim 1, wherein the marker is travel path information for detouring a vehicle with respect to the moving object. 5. 前記位置検出手段は、対向車を検出する機能を備え、前記マーカ照射手段は、対向車が検出された際に、当該対向車が存在する領域に対して、マーカの照射を制限することを特徴とする請求項１〜請求項４のいずれか１項に記載の移動物体報知装置。The position detection unit has a function of detecting an oncoming vehicle, and the marker irradiating unit restricts marker irradiation to a region where the oncoming vehicle exists when the oncoming vehicle is detected. The moving object notification device according to any one of claims 1 to 4.

Images