JP2009117978A - 車両周辺表示装置 - Google Patents

Abstract

【課題】違和感の少ない情報を表示すると共に、早期から確実に注意すべき物体を示すことができる車両周辺表示装置を得る。
【解決手段】車両１に搭載され、車両１の周辺を撮影するカメラ２，４と、カメラ２，４により撮影した画像を表示するモニタ６とを備える。カメラ２，４により撮影されている画像に含まれている物体を検出し（Ｓ２００）、物体の検出に対する信頼の程度に応じた信頼度を算出する（Ｓ５００）。カメラ２，４により撮影された画像を表示する際に、画像に含まれる物体の信頼度に応じて物体の強調表示を行う（Ｓ９００）。その際、カメラ２，４により撮影された物体の画像と予め記憶されたテンプレートとの差分が小さいときに、物体を大きな信頼度として算出する。
【選択図】図３

Description

本発明は、車両の周辺を撮影して表示し、運転者に車両周辺の情報を提供する車両周辺表示装置に関する。

従来より、運転者の運転に対する負荷を軽減すると共に、安全運転にも寄与するために、自車両の周辺の障害物や運転に必要な情報を検出・撮影して、撮影した画像をディスプレイに表示する表示装置が知られている。

このような表示装置として、特許文献１にあるように、車両が移動するときの移動空間予想軌跡を推定し、車両周辺の検出した情報に基づいて作成した画像上で、車両の移動空間予想軌跡内に存在する障害物を検出し、画像と共に障害物の輪郭等を強調表示する装置が提案されている。
特開２００４−２０３０６８号公報

しかしながら、こうした従来の装置では、障害物の輪郭等を強調表示するが、障害物を検出するセンサがノイズ等の影響により障害物を見失う未検出状態となった場合、ディスプレイに強調表示されている障害物が突然画面から消え、その後、センサが正常に障害物を検出すると、突然障害物が画面上に現れたりする場合があり、運転者に違和感を与えてしまうという問題があった。また、センサがノイズ等の影響により何もないにもかかわらず障害物を検出する誤検出状態となった場合、突然画面上に大きな障害物が出現してしまう場合があり、運転者に違和感を与えてしまうという問題があった。

本発明の課題は、違和感の少ない情報を表示すると共に、早期から確実に注意すべき物体を示すことができる車両周辺表示装置を提供することにある。

かかる課題を達成すべく、本発明は課題を解決するため次の手段を取った。即ち、
車両に搭載され、該車両の周辺を撮影する撮影手段と、
該撮影手段により撮影した画像を表示する表示手段とを備えた車両周辺表示装置において、
前記撮影手段により撮影されている画像に含まれている物体を検出する物体検出手段と、
前記物体検出手段により検出されている前記物体の検出に対する信頼の程度に応じた信頼度を算出する信頼度算出手段を備え、
前記表示手段は、前記撮影手段により撮影された画像を表示する際に、前記画像に含まれる前記物体の前記信頼度に応じて前記物体の強調表示を行うことを特徴とする車両周辺表示装置がそれである。

前記信頼度算出手段は、前記撮影手段により撮影された物体の画像と予め記憶されたテンプレートとの差分が小さいときに、前記物体を大きな信頼度として算出するようにしてもよい。また、前記撮影手段により撮影されている前記物体を追尾する履歴追尾手段を備え、前記信頼度算出手段は、前記履歴追尾手段により追尾されている前記物体の履歴が長いときに、前記物体を大きな前記信頼度として算出するようにしてもよい。

前記信頼度算出手段により算出された信頼度が大きな前記物体が、前記物体検出手段により検出されなくなったとき、前記物体を前記表示手段に表示させる物体外挿手段を備えてもよい。あるいは、前記車両の運転者の視線方向を検出する視線方向検出手段を備え、前記表示手段は、前記視線方向検出手段が検出した前記運転者の視線方向に応じて、前記物体の強調表示を変更するようにしてもよい。

本発明の車両周辺表示装置は、物体の検出に対する信頼の程度を示す信頼度を算出して、信頼度に応じて物体を強調表示するので、違和感の少ない情報を表示することができると共に、早期から確実に注意すべき物体を示すことができるという効果を奏する。

また、物体の画像とテンプレートとの差分が小さいときに、大きな信頼度として算出することにより、物体の検出に対する信頼の程度に応じた信頼度を精度よく算出できる。更に、物体を追尾して、追尾されている物体の履歴が長いときに、大きな信頼度として算出することにより、物体の検出に対する信頼の程度に応じた信頼度を精度よく算出できる。

未検出等により、信頼度の大きな物体が検出されなくなったとき、物体を表示することにより、違和感のない表示をすることができる。また、運転者の視線方向に応じて、物体の強調表示を変更することにより、運転者に認識しやすい表示を行うことができる。

以下本発明を実施するための最良の形態を図面に基づいて詳細に説明する。
図１に示すように、１は車両で、車両１の左右両側にはそれぞれ車両１の側後方を撮影する撮影手段としての左右のカメラ２，４が搭載されている。左右のカメラ２，４は、車両１の側面に取り付けてもよく、また、図示しない左右のドアミラーがある場合には、左右のドアミラーに取り付けてもよく、あるいは、ルーフ上にカメラ２，４を設けてもよく、ルーフの中央に左右の側後方を広角撮影できる一台のカメラを用いてもよい。

左右のカメラ２，４は、それぞれ車両１の左右両側で、かつ、車両１の後方を撮影するもので、撮影範囲は、左右のドアミラーに映し出される範囲と同程度か、より広い範囲である。

車室内のダッシュボード上には表示手段としての液晶パネルを用いたモニタ６が運転席に向かって設けられ、運転者から視認できる位置に配置されている。また、運転席に着座した運転者の正面側のダッシュボードには、運転者を撮影、特に運転者の顔面を撮影する車室内カメラ８が設けられている。更に、車両１には、車両１の速度やヨー、ピッチなどの車両１の走行状態を検出する走行状態検出センサ１０が設けられている。

左右のカメラ２，４、モニタ６、車室内カメラ８、走行状態検出センサ１０は電子制御ユニット（以下ＥＣＵ２０と呼ぶ）に接続されており、ＥＣＵ２０は、図２に示すように、画像から物体を認識して場所と信頼度を出力する画像認識部２２、強調表示用の画像を描画する強調表示描画部２４等を備えている。

ＥＣＵ２０は、左右のカメラ２，４、車室内カメラ８、走行状態検出センサ１０からの画像情報や走行状態の情報を画像認識部２２に取り込み、これらの信号等に基づいて、画像信号を強調表示描画部２４に出力し、強調表示描画部２４は左右のカメラ２，４からの画像信号と画像認識部２２からの信号とに基づいて、モニタ６に画像信号を出力する。また、強調表示描画部２４は、表示調整つまみ２６による設定に基づいて、モニタ６に表示する画像の輝度や拡大率、縮小率、表示範囲等を調整する。

次に、前述したＥＣＵ２０において行われる検出処理について、図３のフローチャートによって説明する。検出処理はＥＣＵ２０により、一定時間毎に繰り返し実行される。
まず、左右のカメラ２，４により撮影した車両１の左右後方の画像情報を取り込む（ステップ１００。以下Ｓ１００という。以下同様。）。次に、取得した画像情報から、車両１の後方の物体を検出する物体検出処理（Ｓ２００）を実行する。

次に、今回のサイクルで検出した物体と前回のサイクルで検出した物体とを対応付ける履歴追尾処理（Ｓ３００）を実行する。続いて、１サイクル前までに検出していた物体が今回のサイクルで検出できなかった場合、物体情報を作成して、あたかも検出したかのようにモニタ６に画像を挿入表示する物標外挿処理（Ｓ４００）を実行する。そして、検出した物体のそれぞれについて信頼度を算出する信頼度算出処理（Ｓ５００）を実行し、これらの画像情報をモニタ６に送信する（Ｓ６００）。

次に、前述した物体検出処理（Ｓ２００）について、図４のフローチャートによって詳細に説明する。
まず、物体検出処理では、左右のカメラ２，４からの画像情報に基づいて、注目領域を算出する（Ｓ２１０）。注目領域は、例えば、左右のカメラ２，４で撮影された画像の一部に含まれている物体らきしものを含む画像領域であり、例えば、注目領域は、左右のカメラ２，４で撮影された画像から物体の輪郭を作成し、その輪郭に囲まれた領域としてもよい。また、本実施形態では、自動二輪車や四輪車等の車両を検出する物体とし、その物体の画像をテンプレートとして記憶している。尚、ガードレールや電柱等を物体とし、その画像をテンプレートとして記憶してもよい。

そして、注目領域とテンプレートとの差分△ｉを算出する（Ｓ２２０）。続いて、差分△ｉが予め記憶された所定のしきい値ＴＭＰ＿ＴＳＤ以下か否かを判断する（Ｓ２３０）。差分△ｉがしきい値ＴＭＰ＿ＴＳＤ以下のときには、注目領域の画像は物体らしいと判断する（Ｓ２３０：ＹＥＳ）。

差分△ｉがしきい値ＴＭＰ＿ＴＳＤ以下のときには、それを物標ｉとして登録する（Ｓ２４０）。その物標ｉの画像上の領域の面積Ａｉを算出して記憶すると共に、その物標ｉの画面上の位置座標（Ｘｉ，Ｙｉ）を記憶する（Ｓ２５０）。

次に、左右のカメラ２，４で撮影された画像の全ての領域を走査して、注目領域の全てについて抽出したか否かを判断する（Ｓ２６０）。全ての領域を注目領域として走査していないときには（Ｓ２６０：ＮＯ）、前述したＳ２１０以下の処理を繰り返して、左右のカメラ２，４で撮影された画像領域について注目領域を算出し、差分△ｉがしきい値ＴＭＰ＿ＴＳＤ以下のときには、物標ｉとして登録する。差分△ｉがしきい値ＴＭＰ＿ＴＳＤを上回るときには、物標として登録することなく（Ｓ２３０：ＮＯ）、Ｓ２６０の処理を実行する。ここで、添字ｉは、左右のカメラ２，４で撮影された画像に含まれている物体が複数ある場合、それらを区別するため、例えば、検出した順番に付される番号である。

全ての注目領域について判断した後（Ｓ２６０：ＹＥＳ）、一旦本制御処理を終了して、元の処理に戻る。そして、前述した履歴追尾処理（Ｓ３００）を実行する。履歴追尾処理（Ｓ３００）について、図５に示すフローチャートによって説明する。

履歴追尾処理（Ｓ３００）では、まず、検出処理の１サイクル前の物標の個数が０か否かを判断する（Ｓ３１０）。１サイクル前の物標の個数が０であるときには（Ｓ３１０：ＹＥＳ）、追跡して履歴を取る対象がないので、一旦本制御処理を終了し、物標の個数が０でないときには（Ｓ３１０：ＮＯ）、今回のサイクルによる物体検出処理の実行で算出された物標の個数が０か否かを判断する（Ｓ３２０）。

今回のサイクルでの物標が０であるときは（Ｓ３２０：ＹＥＳ）、追跡して履歴を取る対象がないので、一旦本制御処理を終了し、物標の個数が０でないときには（Ｓ３２０：ＮＯ）、今回のサイクルでの物標と１サイクル前での物標との組み合わせを取る（Ｓ３３０）。

そして、組み合わせた、今回のサイクルでの物標と１サイクル前での物標との位置座標の差分ＤＸｉ，ＤＹｉを演算する（Ｓ３４０）。演算した位置座標の差分ＤＸｉ，ＤＹｉがそれぞれしきい値ＤＸＴＳＤ，ＤＹＴＳＤよりも小さいか否かを判断する（Ｓ３５０）。位置座標の差分ＤＸｉ，ＤＹｉがそれぞれしきい値ＤＸＴＳＤ，ＤＹＴＳＤよりも小さいときには（Ｓ３５０：ＹＥＳ）、今回のサイクルでの物標ｉと１サイクル前での物標ｉとの組み合わせは同じ物体であると判断する。その際、走行状態検出センサ１０により検出される車両１の走行速度等に基づいて、しきい値ＤＸＴＳＤ，ＤＹＴＳＤを決定するようにしてもよい。

位置座標の差分ＤＸｉ，ＤＹｉがそれぞれしきい値ＤＸＴＳＤ，ＤＹＴＳＤよりも小さいときには（Ｓ３５０：ＹＥＳ）、今回のサイクルの物標ｉの検出カウンタＣＮＴｉに１サイクル前の物標ｉの検出カウンタに１を加えて代入する（Ｓ３６０）。次に、今回のサイクルの物標ｉの確認フラグＦｉに１サイクル前の物標ｉの確認フラグＦｉを代入する（Ｓ３７０）。尚、本実施形態では、確認フラグＦｉの初期値は０とし、後述するＳ８４０の処理により、運転者がモニタ６により物標ｉの物体を確認した際に、確認フラグＦｉが１とされる。続いて、複数の物標ｉについて、全ての組み合わせを検索したか否かを判断する（Ｓ３８０）。

一方、Ｓ３５０の処理により、位置座標の差分ＤＸｉ，ＤＹｉの一方でも、しきい値ＤＸＴＳＤ，ＤＹＴＳＤ以上であると（Ｓ３５０：ＮＯ）、Ｓ３３０の処理により組み合わせた今回のサイクルでの物標と１サイクル前での物標とは異なる物体のものであると判断して、Ｓ３８０の処理を実行する。

Ｓ３８０の処理により、全ての組み合わせを検索したか否かを判断し、今回のサイクルでの物標ｉと１サイクル前での物標ｉとの、全ての組み合わせについて、前述したＳ３３０以下の処理を繰り返して、今回のサイクルと１サイクル前とでの同じ物体の物標については、検出カウンタに１を加算すると共に、確認フラグＦｉを引き継ぎ、各物標ｉについて追尾して履歴を取り、全ての組み合わせを検索したと判断すると（Ｓ３８０：ＹＥＳ）、一旦本制御処理を終了して、元の処理に戻る。そして、前述した物標外挿処理（Ｓ４００）を実行する。

物標外挿処理（Ｓ４００）について、図６に示すフローチャートによって説明する。物標外挿処理（Ｓ４００）では、まず、Ｓ３１０の処理と同様に、１サイクル前の物標の個数が０か否かを判断する（Ｓ４１０）。１サイクル前の物標の個数が０であるときには（Ｓ４１０：ＹＥＳ）、一旦本制御処理を終了し、物標の個数が０でないときには（Ｓ４１０：ＮＯ）、１サイクル前の物標ｉの情報を取り出す（Ｓ４２０）。

そして、この１サイクル前の物標ｉが今回のサイクルの物標ｉと履歴が接続しているか否かを判断する（Ｓ４３０）。Ｓ３００の履歴追尾処理の実行により、１サイクル前の物標と今回のサイクルの物標とが同じ物体であるとされていると、履歴が接続していると判断する（Ｓ４３０：ＹＥＳ）。

一方、履歴が接続していないと判断すると（Ｓ４３０：ＮＯ）、１サイクル前の後述するＳ４６０の処理により算出された外挿カウンタＩＣＮＴｉが所定のしきい値ＩＮＰ＿ＴＳＤより小さく、かつ、１サイクル前の後述するＳ５４１の処理により算出された信頼度Ｓｉが所定のしきい値ＩＮＰ＿Ｓ＿ＴＳＤより大きいか否かを判断する（Ｓ４４０）。

外挿カウンタＩＣＮＴｉが大きいと、検出処理を繰り返し実行した際、左右のカメラ２，４で撮影された画像に物標ｉの物体が含まれない場合が多いことを意味する。また、信頼度Ｓｉが小さいと、後述する信頼度算出処理により、物標ｉは物体としての信頼度が低いことを意味する。

外挿カウンタＩＣＮＴｉが所定のしきい値ＩＮＰ＿ＴＳＤより小さく、かつ、信頼度Ｓｉが所定のしきい値ＩＮＰ＿Ｓ＿ＴＳＤより大きいときには（Ｓ４４０：ＹＥＳ）、今回のサイクルの実行の際、画像に物標ｉの物体がカメラ２，４による未検出等により含まれていない可能性が高いと判断する。

そして、今回のサイクルでは、物標ｉを外挿して作成する（Ｓ４５０）。外挿物標は、今回のサイクル分の処理として、１サイクル前の物標の情報をそのまま引き継ぐ。あるいは、１サイクル前の物標情報とその履歴から予測される物標情報を作成して、外挿物標の情報としてもよい。次に、外挿カウンタＩＣＮＴｉに１サイクル前の物標の外挿カウンタの値に１を加算して代入する（Ｓ４６０）。

そして、１サイクル前に認識されている物標の全てについて検索を行ったか否かを判断し（Ｓ４７０）、物標の全てについて検索を行っていないときには（Ｓ４７０：ＮＯ）、Ｓ４２０以下の処理を繰り返し、１サイクル前に認識されている全ての物標について外挿するかの処理を行う。

一方、Ｓ４３０の処理の実行により、履歴が接続していると判断すると（Ｓ４３０：ＹＥＳ）、あるいは、Ｓ４４０の処理の実行により、外挿カウンタＩＣＮＴｉが所定のしきい値ＩＮＰ＿ＴＳＤより大きく、または、信頼度Ｓｉが所定のしきい値ＩＮＰ＿Ｓ＿ＴＳＤより小さいと判断すると（Ｓ４４０：ＮＯ）、外挿物標を作成することなく、Ｓ４７０の処理を実行する。

Ｓ４７０の処理の実行により、１サイクル前に認識されている物標の全てについて検索を行ったと判断すると（Ｓ４７０：ＹＥＳ）、一旦本制御処理を終了して、元の処理に戻る。そして、前述した信頼度算出処理（Ｓ５００）を実行する。

信頼度算出処理（Ｓ５００）について、図７に示すフローチャートによって説明する。信頼度算出処理（Ｓ５００）では、まず、今回のサイクルでの物標の個数が０か否かを判断する（Ｓ５１０）。物標の個数が０であるときには（Ｓ５１０：ＹＥＳ）、一旦本制御処理を終了し、物標の個数が０でないときには（Ｓ５１０：ＮＯ）、物標ｉの情報を取り出す（Ｓ５２０）。

そして、取り出した物標ｉの信頼度Ｓｉを算出する物標信頼度算出処理を実行し（Ｓ５３０）、全ての物標ｉについて信頼度Ｓｉを算出したか否かを判断する（Ｓ５９０）。全ての物標ｉについて信頼度Ｓｉを算出するまで、Ｓ５２０以下の処理を繰り返し、全ての物標ｉについて信頼度Ｓｉを算出した後（Ｓ５９０：ＹＥＳ）、一旦本制御処理を終了する。

続いて、物標信頼度算出処理（Ｓ５３０）について、図８に示すフローチャートによって説明する。物標信頼度算出処理では、まず、Ｓ２３０の判断処理における所定のしきい値ＴＭＰ＿ＴＳＤから、Ｓ２２０の処理により算出した差分△ｉを減算し、第１信頼計数Ａ０１（＝ＴＭＰ＿ＴＳＤ−△ｉ）に代入する（Ｓ５３１）。

注目領域とテンプレートとの差分△ｉが小さいということは、画像の模様が物体らしいということを示す。差分△ｉが小さいほど、信頼度Ｓｉが高いことを示すので、本実施形態では、所定のしきい値ＴＭＰ＿ＴＳＤから差分△ｉを減算して、第１信頼計数Ａ０１としている。

次に、物標検出カウンタ値ＣＮＴｉを第２信頼計数Ａ０２に代入する（Ｓ５３２）。検出カウンタ値ＣＮＴｉが大きいということは、物体として検出されている回数が大きく、時間的に長い間検出されていることを示す。物体が急に消えてなくならないので、検出カウンタ値ＣＮＴｉが大きいということは、信頼度Ｓｉが高いことを示す。

続いて、Ｓ２５０の処理により算出した物標ｉの画像上領域の面積Ａｉと１サイクル前の画像上領域の面積Ａｉとの比を面積比ＤＳｉ（＝今回Ａｉ／前回Ａｉ）に代入する（Ｓ５３３）。

続いて、この面積比ＤＳｉが所定の下限値ＤＳ＿ＴＳＤＬと上限値ＤＳ＿ＴＳＤＵとの範囲内にあるか否かを判断する（Ｓ５３４）。面積比ＤＳｉが所定の範囲内にあるときには（Ｓ５３４：ＹＥＳ）、第３信頼計数Ａ０３に１を代入する（Ｓ５３５）。面積比ＤＳｉが所定の範囲内にないときには（Ｓ５３４：ＮＯ）、第３信頼計数Ａ０３に０を代入する。

例えば、物標ｉの物体が遠ざかった場合は、面積比ＤＳｉが１より小さくなる。また、物標ｉの物体が近づいた場合は、面積比ＤＳｉが１より大きくなる。また、１サイクル前の物標ｉの面積値Ａｉと今回のサイクルの物標ｉの面積値Ａｉとの比は短時間では大きく変化しない。面積比ＤＳｉが所定の範囲内であれば、検出した物体の信頼度Ｓｉは高い。

Ｓ５３５又はＳ５３６の処理を実行すると、外挿カウンタＩＣＮＴｉと物標検出カウンタ値ＣＮＴｉに外挿カウンタＩＣＮＴｉを加算した値との比を第４信頼計数Ａ０４（＝ＩＣＮＴｉ／（ＣＮＴｉ＋ＩＣＮＴｉ））に代入する（Ｓ５３７）。外挿カウンタＩＣＮＴｉの値の大きい物標ｉの物体は、検出処理を繰り返し実行した際、カメラ２，４による画像に含まれていない場合が多く、その物標ｉは物体としての信頼性Ｓｉが低いと判断できる。例えば、カメラ２，４へのノイズ等により、誤検出されている可能性が高い。

次に、初期検出時の物標面積Ａｉが所定のしきい値ＡＦ＿ＴＳＤよりも小さいか否かを判断する（Ｓ５３８）。初期検出時の物標面積Ａｉが所定のしきい値ＡＦ＿ＴＳＤよりも小さいときには（Ｓ５３８：ＹＥＳ）、第５信頼計数Ａ０５に１を代入する（Ｓ５３９）。初期検出時の物標面積が所定のしきい値ＡＦ＿ＴＳＤ以上であるときには（Ｓ５３８：ＮＯ）、第５信頼計数Ａ０５に０を代入する（Ｓ５４０）。

自車両１に対して障害となる物体は、左右のカメラ２，４により撮影される際、初期にはその大きさが小さく、その物体が近づくに従って大きくなる。突然、大きな物体が左右のカメラ２，４により撮影された画像に現れるのは、ノイズ等の影響による場合が考えられ、その画像上の物体は信頼性Ｓｉが低い。

Ｓ５３９又はＳ５４０の処理を実行した後、信頼度Ｓｉを第１〜第５信頼計数Ａ０１〜Ａ０５に基づいて、下記式により算出する（Ｓ５４１）。ここで、Ｂ１〜Ｂ５は予め設定された係数であり、各第１〜第５信頼計数Ａ０１〜Ａ０５に応じた重み付けを考慮したものである。信頼度Ｓｉを算出した後、一旦本制御処理を終了する。

Ｓｉ＝Ｂ１×Ａ０１＋Ｂ２×Ａ０２＋Ｂ３×Ａ０３＋Ｂ４×Ａ０４＋Ｂ５×Ａ０５
このように、本実施形態では、物体の信頼度Ｓｉを、テンプレートとの差分△ｉや物体が検出されている時間に応じて大きくなる検出カウンタ値ＣＮＴｉ等に基づいて算出している。信頼度Ｓｉは、物体の検出に対する信頼の程度を示した指標であり、信頼度Ｓｉは、カメラ２，４等が物体を検出する際にどれだけ自信があるか、確からしいかを表す指標となる。

本実施形態では、カメラ２，４を用いて物体を検出し、テンプレートとの差分△ｉ等に基づいて信頼度Ｓｉを算出しているが、これに限らず、使用するセンサの特性に基づいて物体らしさを表す指標を用いればよく、センサがレーダのようにものの場合、電波の反射量の強さなどを用いればよく、更に、検出した物体の位置の変動度合いやある空間や時間における位置のばらつき度合いなどを用いることができる。

次に、モニタ６に表示するための表示制御処理について、図９のフローチャートによって説明する。
まず、表示制御処理では、左右のカメラ２，４から画像信号を取り込む（Ｓ７００）。次に、物標データを取り込む（Ｓ７１０）。そして、車室内カメラ８により撮影された運転者の視線情報を取り込む（Ｓ７２０）。

続いて、取り込んだ運転者の視線情報から、モニタ６に表示する内容を統合する視線結果統合処理を実行する（Ｓ８００）。次に、左右のカメラ２，４から画像をモニタ６に表示すると共に、信頼度Ｓｉに応じた強調表示を行なうデータ表示処理を実行する（Ｓ９００）。そして、強調表示をしていた物体が検出されなくなったとき、信頼度Ｓｉに応じてその物体を画像に挿入して表示するデータ表示外挿処理を実行する（Ｓ１０００）。

次に、前述した視線結果統合処理（Ｓ８００）について、図１０に示すフローチャートによって詳細に説明する。
まず、視線結果統合処理では、運転者がモニタ６を確認したか否かを判断する（Ｓ８１０）。モニタ６を確認したか否かは、Ｓ７２０の処理により、車室内カメラ８により運転者の顔面等を撮影して、運転者の視線方向を検出する。その視線方向がモニタ６の方向と一致したときに、運転者がモニタ６を確認したと判断する。

運転者がモニタ６を確認していないと判断すると（Ｓ８１０：ＮＯ）、一旦本制御処理を終了し、運転者がモニタ６を確認したと判断すると（Ｓ８１０：ＹＥＳ）、物標ｉの個数が０か否かを判断する（Ｓ８２０）。物標ｉの個数が０であるときには、自車両１の周辺には物体が存在しないと判断して（Ｓ８２０：ＮＯ）、一旦、本制御処理を終了し、物標ｉの個数が０でないときには（Ｓ８２０：ＹＥＳ）、運転者がモニタ６を確認して、その際、モニタ６に表示されている物体の物標ｉを取り出す（Ｓ８３０）。

次に、そのとき、モニタ６に表示されている物体の物標ｉの確認フラグＦｉに１を代入して（Ｓ８４０）、１サイクル前に認識した物標ｉ全てを検索したか否かを判断する（Ｓ８５０）。物標ｉ全てを検索していないときには（Ｓ８５０：ＮＯ）、Ｓ８３０以下の処理を繰り返し、全ての物標ｉを取り出すと共に（Ｓ８３０）、全ての物標ｉ毎の確認フラグＦｉに１を代入して（Ｓ８４０）、全ての物標ｉを検索したときには（Ｓ８５０：ＹＥＳ）、一旦本制御処理を終了する。視線結果統合処理の実行により、確認フラグＦｉが１の物標ｉは、運転者がモニタ６で確認した物体となる。 次に、前述したデータ表示処理（Ｓ９００）について、図１１に示すフローチャートによって詳細に説明する。

まず、データ表示処理では、物標の個数が０か否かを判断する（Ｓ９１０）。物標の個数が０であるときには、自車両１の周辺には物体が存在しないと判断して（Ｓ９１０：ＮＯ）、一旦、本制御処理を終了し、物標の個数が０でないときには（Ｓ９１０：ＹＥＳ）、物標を取り出す（Ｓ９２０）。

次、取り出した物標の物標確認フラグＦｉが１か否かを判断する（Ｓ９３０）。物標確認フラグＦｉが１のときには（Ｓ９３０：ＹＥＳ）、その物標の強調度合いＰを信頼度Ｓｉに応じて算出する（Ｓ９４０）。本実施形態では、信頼度Ｓｉに予め設定した所定割合０．３を乗算した値を強調度合いＰ（＝Ｓｉ×０．３）に代入している。即ち、１サイクル前の処理の実行の際に、運転者がモニタ６を見て、物標ｉの物体を認識しているときには、その物標ｉについては、強調度合いＰを信頼度Ｓｉよりも所定割合小さな値として、強調の程度を低くしている。

一方、物標確認フラグＦｉが１でないときには（Ｓ９３０：ＮＯ）、その物標の強調度合いＰに信頼度Ｓｉをそのまま代入する（Ｓ９５０）。即ち、物標確認フラグＦｉが１でない物標ｉは、運転者がモニタ６により確認していない物体であり、その際には、その物標ｉについては、強調度合いＰを信頼度Ｓｉとして、強調するようにする。このように、物標確認フラグＦｉを運転者が認識したか否かによりセットすることにより、強調度合いＰを変えることができる。

Ｓ９４０又はＳ９５０の処理により強調度合いＰを求めた後、物標ｉの占める領域Ｉ内を色・コントラスト等を強調度合いＰに従って強調表示する（Ｓ９６０）。次に、物標ｉの速度、例えば、Ｓ３４０の処理により算出した位置差分ＤＸｉ，ＤＹｉに応じた物標領域Ｉの周囲を強調表示する（Ｓ９７０）。

例えば、図１３に示すように、物体の輪郭を太く強調表示したり、輪郭の内部の色を変えて強調表示したり、物体の周囲に放射状に線を表示して強調表示する。また、物体との相対速度に応じて、物体に尾を引くように強調表示してもよい。

信頼度Ｓｉに基づく強調度合いＰにより、物体を強調表示することにより、信頼度Ｓｉの高い物体はより強調表示され、逆に信頼度Ｓｉの低い物体は目立たなく表示するので、運転者に注意すべき物体をより強調して表示できるため、違和感のない情報を表示できる。

誤検出した場合、たいていの場合はノイズのようなものを物体として検出してしまう状況であったり、ある一瞬だけ物体とみなしてしまうような偶然性の高いものである場合であるため、物体としての信頼が低い場合や、一瞬で消えてしまう場合が多い。このような場合でも、物体の検出に対する信頼の程度に応じた信頼度Ｓｉで表すことで、運転者に違和感のない強調表示を行うことができる。

このように、未検出や誤検出があっても、信頼度Ｓｉに応じて物体を強調表示するので、モニタ６に表示されている物体が突然表示されなくなったり、あるいは、突然大きな物体がモニタ６に表示されたりすることがなく、モニタ６に違和感の少ない情報を表示できる。また、物体の出現早期から確実に注意すべき物体を表示できる。

その後、１サイクル前に認識した物標ｉ全てを検索したか否かを判断する（Ｓ９８０）。物標ｉ全てを検索していないときには（Ｓ９８０：ＮＯ）、Ｓ９２０以下の処理を繰り返し、認識している物標ｉについて、信頼度Ｓｉに応じて強調表示する。全ての物標ｉを検索したときには（Ｓ９８０：ＹＥＳ）、一旦本制御処理を終了する。

尚、強調表示した部分を記憶して、直後の時刻の画像に対して強調結果を残すことで、物体の強調結果を残像として残すことができる。このように残像を表示するようにすれば、ある瞬間に外乱により物体を見失った場合でも運転者は物体が存在するという情報を受けることができる。また、物体の画像内の移動速度を使った残像を表示すると、運転者はモニタ６を一目見ただけで検出物体の速度を理解できる。特に、物体の占める範囲に色を付加した場合には、ある時刻に色を付けた領域が、時間的にだんだん薄くしていくような処理を加えることで、ある瞬間に全く検出できなくなってもそれまでに付加した色を残すことができる。このような表示を行ったとしても、運転者は自分が必要な場合のみモニタ６を見るだけなので、音声などで報知する場合に比べて運転者に煩わしくない報知の仕方ができ、更に、物体がどのように動いてきたかの軌跡情報が一目で確認できる。

次に、前述したデータ表示外挿処理（Ｓ１０００）について、図１２のフローチャートによって説明する。
まず、データ表示外挿処理では、１サイクル前の強調領域で、今回強調しない領域があるか否かを判断する（Ｓ１０１０）。１サイクル前の強調領域で、今回強調しない領域がないときには（Ｓ１０１０：ＮＯ）、一旦、本制御処理を終了し、１サイクル前の強調領域で、今回強調しない領域があるときには（Ｓ１０１０：ＹＥＳ）、１サイクル前の強調した表示領域Ｉと強調度合いＰを取り出す（Ｓ１０２０）。そして、その強調度合いＰが所定のしきい値Ｐ＿ＴＳＤよりも大きいか否かを判断する（Ｓ１０３０）。

強調度合いＰが所定のしきい値Ｐ＿ＴＳＤよりも大きいときには（Ｓ１０３０：ＹＥＳ）、強調度合いＰを１／２にして、新たな強調度合いＰとする（Ｓ１０４０）。次に、強調表示領域Ｉの色・コントラスト等を新たな強調度合いＰに従って強調表示する（Ｓ１０５０）。例えば、外乱等によりカメラ２，４が一瞬物体を撮影できなかったとき、表示できなかった物標ｉの物体を強調表示する。これにより、運転者は外乱等により検出できなかった場合でも、物体が表示されるので、違和感なくモニタ６の表示を見ることができる。

一方、強調度合いＰが所定のしきい値Ｐ＿ＴＳＤ以下であるときには（Ｓ１０３０：ＮＯ）、Ｓ１０１０以下の処理を繰り返す。また、Ｓ１０５０の処理により強調表示した後、Ｓ１０１０以下の処理を繰り返し、１サイクル前の強調領域で、今回強調しない領域があるか否かを判断し、１サイクル前の強調領域で今回強調しない領域については、新たな強調度合いＰに従って強調表示する。そして、１サイクル前の強調領域で、今回強調しない領域の全てについて判断したときには（Ｓ１０１０：ＮＯ）、本制御処理を終了する。

尚、本実施形態では、物体検出処理（Ｓ２００）の実行が物体検出手段として働き、信頼度算出処理（Ｓ５００）の実行が信頼度算出手段として働き、表示制御処理の実行が表示手段として働く。また、履歴追尾処理（Ｓ３００）の実行が履歴追尾手段として働き、データ表示外挿処理（Ｓ１０００）の実行が物体外挿手段として働き、Ｓ７２０の処理の実行が視線方向検出手段として働く。

以上本発明はこの様な実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲において種々なる態様で実施し得る。

本発明の一実施形態としての車両周辺表示装置の車両への概略配置図である。 本実施形態の車両周辺表示装置の電気系統を示すブロック図である。 本実施形態の電子制御ユニットで行われる検出処理の一例を示すフローチャートである。 本実施形態の電子制御ユニットで行われる物体検出処理の一例を示すフローチャートである。 本実施形態の電子制御ユニットで行われる履歴追尾処理の一例を示すフローチャートである。 本実施形態の電子制御ユニットで行われる物標外挿処理の一例を示すフローチャートである。 本実施形態の電子制御ユニットで行われる信頼度算出処理の一例を示すフローチャートである。 本実施形態の電子制御ユニットで行われる物標信頼度算出処理の一例を示すフローチャートである。 本実施形態の電子制御ユニットで行われる表示制御処理の一例を示すフローチャートである。 本実施形態の電子制御ユニットで行われる視線結果統合処理の一例を示すフローチャートである。 本実施形態の電子制御ユニットで行われるデータ表示処理の一例を示すフローチャートである。 本実施形態の電子制御ユニットで行われるデータ表示外挿処理の一例を示すフローチャートである。 本実施形態のモニタへの情報の強調表示を示す説明図である。

符号の説明

１…車両 ２，４…カメラ
６…モニタ ８…車室内カメラ
１０…走行状態検出センサ
２０…電子制御ユニット
２２…画像認識部 ２４…強調表示描画部

Claims (5)

1. 車両に搭載され、該車両の周辺を撮影する撮影手段と、
   該撮影手段により撮影した画像を表示する表示手段とを備えた車両周辺表示装置において、
   前記撮影手段により撮影されている画像に含まれている物体を検出する物体検出手段と、
   前記物体検出手段により検出されている前記物体の検出に対する信頼の程度に応じた信頼度を算出する信頼度算出手段を備え、
   前記表示手段は、前記撮影手段により撮影された画像を表示する際に、前記画像に含まれる前記物体の前記信頼度に応じて前記物体の強調表示を行うことを特徴とする車両周辺表示装置。
2. 前記信頼度算出手段は、前記撮影手段により撮影された物体の画像と予め記憶されたテンプレートとの差分が小さいときに、前記物体を大きな信頼度として算出することを特徴とする請求項１に記載の車両周辺表示装置。
3. 前記撮影手段により撮影されている前記物体を追尾する履歴追尾手段を備え、
   前記信頼度算出手段は、前記履歴追尾手段により追尾されている前記物体の履歴が長いときに、前記物体を大きな前記信頼度として算出することを特徴とする請求項１または請求項２のいずれかに記載の車両周辺表示装置。
4. 前記信頼度算出手段により算出された信頼度が大きな前記物体が、前記物体検出手段により検出されなくなったとき、前記物体を前記表示手段に表示させる物体外挿手段を備えたことを特徴とする請求項１ないし請求項３のいずれかに記載の車両周辺表示装置。
5. 前記車両の運転者の視線方向を検出する視線方向検出手段を備え、
   前記表示手段は、前記視線方向検出手段が検出した前記運転者の視線方向に応じて、前記物体の強調表示を変更することを特徴とする請求項１ないし請求項４のいずれかに記載の車両周辺表示装置。

Images