JP2023059552A - 運転支援装置および運転支援方法 - Google Patents

Abstract

【課題】熱放射物体をカーブミラー越しに検出することを容易化する運転支援装置および運転支援方法を提供する。
【解決手段】運転支援装置１００は、車両に備えられた遠赤外線カメラが撮影した熱画像を取得する撮影制御部１４１と、熱画像におけるカーブミラーの鏡面範囲を検出するカーブミラー検出部１４２と、鏡面範囲内のゲインおよびコントラストの少なくとも一方を調整する画像調整部１４３と、ゲインおよびコントラストの少なくとも一方を調整した鏡面範囲内に、熱放射物体を検出する物体検出部１４４と、鏡面範囲内に、熱放射物体を検出した場合、車両の運転者に通知する通知制御部１４５と、を備える。
【選択図】図１

Description

本発明は運転支援装置および運転支援方法に関し、特に、遠赤外線カメラを用いて運転を支援する技術に関する。

可視光カメラや遠赤外線カメラを用いた運転支援システムが普及しており、カーブミラーに反射した物体を、可視光カメラを用いて検出する技術が提案されている。特許文献１には、可視光画像からカーブミラーを検出し、カーブミラーに障害物が写っていることを検出する技術が開示されている。また、特許文献２には、カーブミラーの鏡面の部分を引き伸ばして表示させ、解像度を高めることが記載されている。

車両の運転者は、カーブミラーにおける鏡面反射により、死角方向を確認できる。しかし、光源を持たない歩行者などを光量が少ない時間帯（例えば、夕方～夜間）に確認する場合、目視や可視光カメラによってカーブミラーの鏡面範囲を確認することは困難である。また、熱画像を取得する遠赤外線カメラを用いた場合、物体の温度差が熱画像として取得されるため、カーブミラーの鏡面範囲の領域は暗くなり、熱放射物体（例えば、歩行者）をカーブミラー越しに検出するのは困難であった。

特開２０２０－１５４６９８号公報 特開２０１８―００７０３８号公報

上記のように、熱放射物体をカーブミラー越しに検出することが難しいという問題があった。

本発明は、このような問題を解決するためになされたものであり、熱放射物体をカーブミラー越しに検出することを容易化する運転支援装置および運転支援方法を提供することを目的とする。

本発明は、車両に備えられた遠赤外線カメラが撮影した熱画像を取得する撮影制御部と、
前記熱画像におけるカーブミラーの鏡面範囲を検出するカーブミラー検出部と、
前記鏡面範囲内のゲインおよびコントラストの少なくとも一方を調整する画像調整部と、
前記画像調整部によってゲインおよびコントラストの少なくとも一方を調整した鏡面範囲内に、熱放射物体を検出する物体検出部と、
前記鏡面範囲内に、前記熱放射物体を検出した場合、前記車両の運転者に通知する通知制御部と、を備える運転支援装置を提供する。

本発明は、車両に備えられた遠赤外線カメラが撮影した熱画像を取得する熱画像取得ステップと、
前記熱画像におけるカーブミラーの鏡面範囲を検出するカーブミラー検出ステップと、
検出した前記鏡面範囲内のゲインおよびコントラストの少なくとも一方を調整する画像調整ステップと、
ゲインおよびコントラストの少なくとも一方を調整した前記鏡面範囲内に、熱放射物体を検出する物体検出ステップと、
前記鏡面範囲内に、前記熱放射物体を検出した場合、前記車両の運転者に通知する通知ステップと、を運転支援装置が実行する運転支援方法を提供する。

本発明によれば、熱放射物体をカーブミラー越しに検出することを容易化する運転支援装置および運転支援方法を提供できる。

実施形態１にかかる運転支援装置の構成を示すブロック図である。 実施形態１にかかる運転支援方法の流れを示すフローチャートである。 実施形態２にかかる運転支援装置の構成を示すブロック図である。

（実施形態１）
図１は、実施形態１にかかる運転支援装置１００の構成を示すブロック図である。運転支援装置１００は、車両に搭載されており、車両の運転者の運転を支援する装置である。運転支援装置１００は、ナイトビジョンシステムであってもよい。運転支援装置１００は、遠赤外線カメラ１１０、表示部１２０、照度センサ１３０、および制御部１４０を備えている。また、運転支援装置１００は、図示しないスピーカをさらに備えていてもよい。

遠赤外線カメラ１１０は、車両の外部の熱画像を撮像する。遠赤外線カメラ１１０は、車両に備えられており、例えば、フロントグリル内に取り付けられる。表示部１２０は、ディスプレイ等の表示装置であり、遠赤外線カメラ１１０による熱画像を表示する。表示される熱画像は、後述する制御部１４０の画像調整部１４３によって、ゲインやコントラストの調整が行われている。また、表示される熱画像では、後述する熱放射物体が強調表示されていてもよい。照度センサ１３０は、車両の外部の照度を検出するセンサである。なお、運転支援装置１００は、照度センサ１３０を備えていなくてもよい。

制御部１４０は、運転支援装置１００における各種処理を行うＣＰＵ（Ｃｎｅｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリなどで構成され、プログラムによって様々な処理を実行する。制御部１４０は、撮影制御部１４１、カーブミラー検出部１４２、画像調整部１４３、物体検出部１４４、通知制御部１４５、および照度検出部１４６を、機能として備える。制御部１４０の各機能は、図示しないプログラムを図示しないＲＡＭ等のメモリに読み込ませ、図示しないプロセッサが実行することにより実現されてもよい。また、制御部１４０の各機能は、専用のハードウェアとして実現されてもよい。

以下、制御部１４０が備える各機能について説明する。撮影制御部１４１は、遠赤外線カメラ１１０による熱画像の撮影を制御し、遠赤外線カメラ１１０が撮影した熱画像を取得する。

カーブミラー検出部１４２は、遠赤外線カメラ１１０が撮影した熱画像、つまり、撮影制御部１４１が遠赤外線カメラ１１０から取得した熱画像におけるカーブミラーの鏡面範囲を検出する。具体的には、カーブミラー検出部１４２は、テンプレートマッチング処理、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴などの機械学習に基づく検出処理、あるいはハフ変換を使った楕円検出処理を行うことにより、カーブミラーの形状を検出し、カーブミラーの形状における楕円形状内部をカーブミラーの鏡面範囲として検出する。

画像調整部１４３は、撮影制御部１４１が遠赤外線カメラ１１０から取得した熱画像の調整を行う。画像調整部１４３は、カーブミラー検出部１４２によって検出された鏡面範囲内のゲインおよびコントラストの少なくとも一方を調整する。ゲインは、例えば、輝度値のデータをソフトウェア演算によって調整されるデジタルゲインである。なお、画像調整部１４３は、遠赤外線カメラ１１０側でゲインを調整する処理を行ってもよい。コントラストを調整する処理は、コントラストを強調する処理とも呼ばれる。ゲインおよびコントラストの少なくとも一方を調整する処理は、ゲインおよびコントラストの少なくとも一方を上げる処理に加えて、ゲインおよびコントラストの少なくとも一方を下げる処理も含まれる。例えば、コントラストを強調するためにゲインを下げる場合や、部分的にコントラストの強弱を調整することで、強調されたコントラストを得る場合などである。画像調整部１４３は、具体的には、後述する熱放射物体を検出し易くなるように、鏡面範囲内のコントラストおよび明るさを調整する。画像調整部１４３は、コントラストおよび明るさを調整した後、鏡面範囲内においてエッジを強調する処理をさらに行ってもよい。

画像調整部１４３による画像調整により、カーブミラーの鏡面部分に映る熱放射物体が視認可能な状態となる。画像調整を行った熱画像を表示部１２０に表示させた場合、運転者は、表示部１２０を確認し、カーブミラー内に写る歩行者等に早期に気付くことができる。

物体検出部１４４は、撮影制御部１４１が遠赤外線カメラ１１０から取得した熱画像から、熱放射物体を検出する処理を行う。物体検出部１４４は、画像調整部１４３によってゲインおよびコントラストの少なくとも一方を調整した鏡面範囲内に、熱放射物体を検出する。熱放射物体とは、熱放射のある物体を意味している。熱放射物体は、熱物体とも称され、遠赤外線を放射する。熱放射物体は、道路や建物などの周辺環境物と比べて高温の物体であってもよい。熱放射物体は、具体的には、歩行者、サイクリスト（自転車に乗車している人物）、動物等である。

熱放射物体の検出は、例えば、ＨＯＧ特徴などを機械学習することによって行われる。物体検出部１４４は、熱画像に基づき人物を検出する辞書を用いて、鏡面範囲内を含む熱画像内に人物を検出してもよい。人物は、歩行者であってもよく、サイクリストであってもよい。

通知制御部１４５は、撮影制御部１４１が遠赤外線カメラ１１０から取得した熱画像に、熱放射物体を検出した場合、車両の運転者に通知を行う。また、通知制御部１４５は、画像調整部１４３がゲインおよびコントラストの少なくとも一方を調整した鏡面範囲内に、熱放射物体を検出した場合、車両の運転者に通知を行う。通知制御部１４５は、特に、鏡面範囲内に人物を検出した場合に、車両の運転者に通知を行ってもよい。

通知制御部１４５は、車両の運転者に表示画面や音などで熱放射物体の存在を通知する。表示画面で通知を行う場合、通知制御部１４５は、表示画面に表示されている熱画像に対して、検出された熱放射物体を囲う検出枠を表示させる。また、通知制御部１４５は、鏡面範囲や、鏡面範囲内の熱放射物体を強調表示する。例えば、通知制御部１４５は、鏡面範囲を囲む強調枠を表示させてもよい。音で通知を行う場合、運転支援装置１００は、図示しないスピーカから警告音を出力してもよい。

照度検出部１４６は、照度センサの検出結果に基づいて、車両の周囲の照度を示す情報を取得する。照度検出部１４６は、照度センサ１３０の検出結果に基づいて、車両の周囲の照度が所定閾値未満であることを検出する。照度が所定閾値未満の場合、運転支援装置１００は、撮影制御部１４１、カーブミラー検出部１４２、画像調整部１４３、物体検出部１４４、および通知制御部１４５による処理を実行する。照度検出部１４６は、車両の周囲の照度が、夜間であり且つ街灯や建造物の照明が少ないような照度の閾値を設定し、車両の周囲の照度が所定閾値未満であることを検出する。閾値は、例えば１０ルクスなどである。

なお、制御部１４０が照度検出部１４６を備えない場合も、実施形態１にかかる運転支援装置１００には含まれ得る。運転支援装置１００は、運転者の入力に応じて処理を開始してもよく、後述するように車両のヘッドライトの状態に応じて処理を開始してもよい。

図２は、実施形態にかかる運転支援方法の流れを示すフローチャートである。まず、運転支援装置１００の撮影制御部１４１は、遠赤外線カメラ１１０から熱画像を取得する処理を開始する（ステップＳ１０１）。ステップＳ1０１の処理は、車両のエンジンや電源がオンとなることで開始される。また、ステップＳ１０１の処理は、車両の運転者による操作や、車両のＣＡＮ(Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ)通信でヘッドライトのオンオフ状態を取得し、車両のヘッドライトがオンとなったことを取得した場合、または、照度検出部１４６が検出する車両周囲の照度に基づき開始されてもよい。遠赤外線カメラが撮影する熱画像を、車両の運転者に視認させることは、昼夜を問わず実行されてもよく、車両のヘッドライトや照度センサの検出結果に基づき、夜間やトンネル内の走行中などに実行されてもよい。また、図２のステップＳ１０２からステップＳ１０６の処理に平行して、熱画像全体における物体検出結果の通知も実行されている。

次に、運転支援装置１００のカーブミラー検出部１４２は、熱画像からカーブミラーの鏡面範囲を検出する処理を開始する（ステップＳ１０２）。カーブミラーの鏡面範囲が検出された場合（ステップＳ１０３のＹｅｓ）、運転支援装置１００の画像調整部１４３は、熱画像内の鏡面範囲における画像調整を行う（ステップＳ１０４）。一方、カーブミラーの鏡面範囲が検出されなかった場合（ステップＳ１０３のＮｏ）、後述するステップＳ１０７に移行する。

カーブミラーの鏡面範囲における画像調整を行った後、運転支援装置１００の物体検出部１４４は、熱画像から熱放射物体を検出する処理を行う。熱放射物体が検出された場合（ステップＳ１０５のＹｅｓ）、運転支援装置１００の通知制御部１４５は、車両の運転者に熱放射物体が存在することを通知する（ステップＳ１０６）。一方、熱放射物体が検出されなかった場合（ステップＳ１０５のＮｏ）、熱画像の取得を終了するか否かを判定する（ステップＳ１０７）。熱画像の取得を終了しない場合にはステップＳ１０３に戻り、熱画像の取得を終了する場合には運転支援方法を終了する。

運転支援装置１００は、車両の周囲の照度が所定閾値未満の場合、つまり、夜間であって、且つ、特に周囲の照度が低いために、カーブミラーを用いて人物等光源を持たない熱放射体の目視が困難な条件である場合に、ステップＳ１０２からステップＳ１０６の処理を実行してもよい。これにより、可視光を用いてカーブミラーから物体を検出しにくい時間帯（例えば、夕方～夜間）に上述した運転支援方法を実行できる。

この場合、ステップＳ１０２の前に、車両の周囲の照度が所定閾値未満であるか否かの分岐が入り、所定閾値未満であると判定された場合は、ステップＳ１０２に推移、所定閾値未満ではないと判定された場合は、ステップＳ１０７に推移する。

また、運転支援装置１００は、車両がカーブミラーの周辺に位置するか否かを、特に車両の進行方向の所定距離以内（例えば５０ｍ以内）にカーブミラーが存在するか否かを判定し、判定結果に応じてステップＳ１０２からステップＳ１０６の処理を実行してもよい。これにより、カーブミラーの鏡面範囲を精度よく検出できる。運転支援装置１００は、例えば、車両のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報および地図情報に基づいて、カーブミラーが車両の周囲に存在するか否かを判定する。運転支援装置１００は、地図情報に基づいて、交差点やカーブの周辺にカーブミラーが存在すると判定してもよい。また、地図情報に、カーブミラーの位置に関する情報が含まれていてもよい。

また、上述したカーブミラー検出部１４２は、車両がカーブミラーの周辺に位置しており、かつ、想定される位置において円形や楕円形の物体が検出された場合に、熱画像内における当該物体の領域を、カーブミラーの鏡面範囲として検出してもよい。これにより、カーブミラー検出部１４２は、カーブミラーの鏡面範囲を精度よく検出できる。

この場合、ステップＳ１０２の前に、車両がカーブミラーの周辺に位置するか否か、または車両の進行方向の所定距離以内にカーブミラーが存在する否かの分岐が入り、Ｙｅｓであると判定された場合は、ステップＳ１０２に推移、Ｎｏであると判定された場合は、ステップＳ１０７に推移する。

実施形態１にかかる運転支援装置は、熱画像からカーブミラーの鏡面範囲を検出し、ゲインおよびコントラストの少なくとも一方を調整する処理を行う。したがって、実施形態１にかかる運転支援装置は、カーブミラー越しに熱放射物体を検出することを容易化できる。これにより、カーブミラーの鏡面範囲から熱放射物体を検出し、運転者に通知を行うことができる。

（実施形態２）
図３は、実施形態２にかかる運転支援装置１００ａの構成を示すブロック図である。図１と図３とを比較すると、可視光カメラ１５０が追加されており、制御部１４０が制御部１４０ａに置き換わっている。制御部１４０と制御部１４０ａとを比較すると、撮影制御部１４１が撮影制御部１４１ａに置き換わっており、カーブミラー検出部１４２がカーブミラー検出部１４２ａに置き換わっている。

可視光カメラ１５０は、遠赤外線カメラ１１０と同一方向を撮影する。遠赤外線カメラ１１０と可視光カメラ１５０とは撮像領域が重なっている。撮影制御部１４１ａは、遠赤外線カメラ１１０から熱画像を取得し、可視光カメラ１５０から可視光画像を取得する。

カーブミラー検出部１４２ａは、まず、可視光画像からカーブミラーの鏡面領域を検出する。実施形態１において熱画像からカーブミラーの鏡面領域を検出したときと同様に、テンプレートマッチング処理や、ＨＯＧ特徴に基づく検出処理、あるいはハフ変換を使った楕円検出処理が行われてもよい。可視光カメラ１５０の撮像領域が、遠赤外線カメラ１１０の撮像領域より広い場合は、可視光カメラ１５０の撮像領域のうち、遠赤外線カメラ１１０の撮像領域に一致する範囲に対して、カーブミラーの鏡面領域を検出してもよい。

そして、カーブミラー検出部１４２ａは、熱画像から、可視光画像における鏡面領域に対応する領域を、熱画像における鏡面領域として検出する。カーブミラー検出部１４２ａは、熱画像における鏡面領域を、画像調整部１４３に出力する。画像調整部１４３、物体検出部１４４、通知制御部１４５、および照度検出部１４６における処理は、実施形態１と同様であるため、説明を省略する。

カーブミラーの鏡面範囲の検出に可視光画像を用いた理由としては、カーブミラー自体には、遠赤外線カメラでカーブミラーを検出可能な程度の熱的なコントラストがない場合もある。このような場合、可視光画像に基づいて、カーブミラーの鏡面を適切に検出できる。可視光画像を用いてカーブミラーの鏡面範囲を検出した場合も、実施形態１と同様に、熱画像における鏡面範囲のゲインやコントラストを調整して熱物体を検出できる。したがって、実施形態２にかかる運転支援装置も、実施形態１と同様に、カーブミラー越しに熱放射物体を検出することを容易化できる。

最後に、実施形態１および実施形態２にかかる運転支援装置が奏する効果について詳細に説明する。熱放射物体をカーブミラー越しに検出する場合、熱放射物体からの遠赤外線が減衰してしまうという問題がある。したがって、熱画像内においてカーブミラー越しの熱放射体が暗くなってしまい、熱放射物体をカーブミラーの領域から検出することが困難であった。

実施形態１および実施形態２にかかる運転支援装置は、熱画像内のカーブミラーの鏡面範囲を検出し、鏡面範囲内のゲインやコントラストを調整する処理を行う。したがって、当該運転支援装置は、熱画像内のカーブミラーの領域において熱放射物体を検出しやすくすることができ、運転者の死角に位置する歩行者等を検知して運転者に通知できる。

実施形態１および実施形態２にかかる運転支援装置によると、特に、目視や可視光カメラによってカーブミラーを確認することが困難な時間帯（例えば、夕方～夜間）において、カーブミラーから歩行者等を検知して運転者に対して通知できる。

上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージなどを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、またはその他の形式の伝搬信号を含む。

１００、１００ａ 運転支援装置
１１０ 遠赤外線カメラ
１２０ 表示部
１３０ 照度センサ
１４０、１４０ａ 制御部
１４１、１４１ａ 撮影制御部
１４２、１４２ａ カーブミラー検出部
１４３ 画像調整部
１４４ 物体検出部
１４５ 通知制御部
１４６ 照度検出部
１５０ 可視光カメラ

Claims (5)

1. 車両に備えられた遠赤外線カメラが撮影した熱画像を取得する撮影制御部と、
   前記熱画像におけるカーブミラーの鏡面範囲を検出するカーブミラー検出部と、
   前記鏡面範囲内のゲインおよびコントラストの少なくとも一方を調整する画像調整部と、
   前記画像調整部によってゲインおよびコントラストの少なくとも一方を調整した前記鏡面範囲内に、熱放射物体を検出する物体検出部と、
   前記鏡面範囲内に、前記熱放射物体を検出した場合、前記車両の運転者に通知する通知制御部と、
   を備える、運転支援装置。
2. 前記物体検出部は、熱画像に基づき人物を検出する辞書を用いて、前記鏡面範囲内に人物を検出し、
   前記通知制御部は、前記鏡面範囲内に前記人物を検出した場合、前記車両の運転者に通知する、
   請求項１に記載の運転支援装置。
3. 前記撮影制御部は、前記遠赤外線カメラと同一方向を撮影する可視光カメラが撮影した可視光画像をさらに取得し、
   前記カーブミラー検出部は、前記可視光画像からカーブミラーの鏡面範囲を検出し、前記熱画像から、前記可視光画像における鏡面範囲に対応する範囲を、前記熱画像における鏡面範囲として検出する、
   請求項１または２に記載の運転支援装置。
4. 前記車両の周囲の照度が所定閾値未満であることを検出する照度検出部をさらに備え、
   前記運転支援装置は、
   前記照度検出部が、前記車両の周囲の照度が所定閾値未満であることを検出した場合に、前記撮影制御部、前記カーブミラー検出部、前記画像調整部、前記物体検出部、および前記通知制御部による処理を実行する、
   請求項１から３のいずれか１項に記載の運転支援装置。
5. 車両に備えられた遠赤外線カメラが撮影した熱画像を取得する熱画像取得ステップと、
   前記熱画像におけるカーブミラーの鏡面範囲を検出するカーブミラー検出ステップと、
   検出した前記鏡面範囲内のゲインおよびコントラストの少なくとも一方を調整する画像調整ステップと、
   ゲインおよびコントラストの少なくとも一方を調整した前記鏡面範囲内に、熱放射物体を検出する物体検出ステップと、
   前記鏡面範囲内に、前記熱放射物体を検出した場合、前記車両の運転者に通知する通知ステップと、
   を運転支援装置が実行する運転支援方法。

Images