JP2013541915A - 死角地帯の表示装置および方法 - Google Patents

Abstract

【課題】
【解決手段】
カメラ、ナビゲーションおよびストリートビュー受信機のうちの少なくとも一種を備えるイメージ検出部が提供する少なくとも１枚の車両の周辺イメージを表示して、車両が走行する間に車体に遮られて運転者の視野が確保し難い車両の前方、後方および側面の死角地帯情報を運転者に提供する死角地帯の表示装置および方法を提供することを目的とする。
【選択図】なし

Description

本発明は、車両の周辺の死角地帯を表示する装置および方法に係り、さらに詳しくは、カメラ、ナビゲーションおよびストリートビュー受信機のうちの少なくとも一種を備えるイメージ検出部が提供する少なくとも１枚の車両の周辺イメージを表示して、車両が走行する間に車体に遮られて運転者の視野が確保し難い車両の前方、後方および側面の死角地帯情報を運転者に提供する死角地帯の表示装置および方法に関する。

一般に、車両は、車体に装備したエンジンなどの原動機を動力源として道路などを走行し、人間や荷物を運搬したり各種の作業を行ったりする装置であり、車両の運転者は走行方向を注視しながら車両を安全に運転する。

しかしながら、通常の車両は、図１に示すように、車両１０の駆動に必要なエンジンなどが設けられたフロント部によって車両１０と隣り合う前方部が運転者の視野に入らずに死角地帯２０が形成され、車両１０の後尾部に形成されたトランクによって後方視野を部分的に制限する死角地帯３０が形成され、且つ、車両の扉などによって側面視野を部分的に制限する死角地帯４０が形成される。

これらの死角地帯２０、３０、４０とは、物体が視認されない角度に位置している領域のことをいい、運転者の前方および後方の視野が車体の一部によって制限されると、走行時には前方が開けている道路を走行するため運転に障害を引き起こすという問題は発生しないものの、車両の駐車時には車両１０の周りに種々の障害物が存在するため、死角地帯に障害物が位置している場合に運転者の視野が確保し難くて駐車しにくくなるという問題点が生じる。

また、車両の駐車に際して、運転に慣れていない運転者は前方または後方の障害物を見つけられずに障害物と衝突する場合が発生し、運転に慣れている運転者であっても運転者が頭をもたげて前方および後方を自ら見回しながら障害物を避けなければ駐車をすることができないが、部分的な視野しか確保できないため非常に駐車し難くなるという問題点がある。

さらに、運転者が車両の前方または後方に障害物が存在するということを認識しても、運転または駐車に集中する場合に認識された障害物の存在を一時的に記憶からなくなり、障害物との衝突が発生するという問題点がある。

本発明は、カメラ、ナビゲーションおよびストリートビュー受信機のうちの少なくとも一種を備えるイメージ検出部が提供する少なくとも１枚の車両の周辺イメージを表示して、車両が走行する間に車体に遮られて運転者の視野が確保し難い車両の前方、後方および側面の死角地帯情報を運転者に提供する死角地帯の表示装置および方法を提供することを目的とする。

上記の目的を達成するための本発明に係る死角地帯の表示装置は、車両周辺のイメージを検出するイメージ検出部と、前記イメージ検出部が任意の時点でまたは前記任意の時点前に撮影した少なくとも一枚のイメージをディスプレイ用イメージとして出力し、前記出力されるディスプレイ用イメージに車両の現在位置を示す車両アイコンを車両の形状に倣った輪郭線状または半透明状に表示して車体に遮られた死角地帯が表示されるように前記ディスプレイ用イメージおよび車両アイコンを出力する制御部と、前記制御部から出力されるディスプレイ用イメージおよび車両アイコンを表示する画面表示部と、を備える。

好ましくは、前記出力されるディスプレイ用イメージは、前記撮影されたイメージの原イメージであるか、あるいは、前記原イメージの時点を変えたイメージである。

また、好ましくは、前記出力されるディスプレイ用イメージは、前記撮影されたイメージの原イメージまたは時点を変えたイメージの多数枚を合成したものであるか、あるいは、多数枚のイメージの一部を組み合わせたものである。

さらに、好ましくは、前記車体に遮られた死角地帯は、車両の下部を含む。

さらに、好ましくは、前記イメージ検出部は、車両に設けられて車両の周辺イメージを撮影して提供するカメラであるか、前記車両の位置情報を検出して対応する位置の周辺イメージを提供するナビゲーションであるか、あるいは、前記車両の周辺道路または建物に設けられたカメラから車両周辺のイメージを受信して提供する外部情報受信部である。

さらに、好ましくは、前記制御部は、車両の外部から提供される車両の位置移動情報または車両から検出した運転制御情報を用いて、前記車両が任意の位置から移動した変位情報を演算して車両の現在の位置情報を検出する。

さらに、好ましくは、前記制御部は、前記車両の移動に伴うリアルタイム位置情報を反映して、ディスプレイ用イメージの上に表示された車両アイコンの位置が変更されるように表示する。

さらに、好ましくは、前記ディスプレイ用イメージの上に表示された車両アイコンの位置変更の表示は、ディスプレイ用イメージを固定し、且つ車両アイコンの位置のみを変更するか、車両アイコンの位置を固定し、且つディスプレイ用イメージのみを移動させるか、あるいは、ディスプレイ用イメージおよび車両アイコンの位置を両方とも変更することにより行われる。

さらに、好ましくは、前記生成されたディスプレイ用イメージは、車両から提供される車両の位置移動情報または車両から検出した運転制御情報を用いて予め設定された単位ピクセル数だけ移動させたイメージ領域を合成する。

さらに、好ましくは、前記生成されたディスプレイ用イメージは、イメージのみを比較して、類似度のあるピクセルのイメージ領域と、その周辺の類似度の低い領域とを合成する。

さらに、好ましくは、前記生成されたイメージ情報は、車両から提供される車両の速度および移動方向をはじめとする車両の運行情報に基づいて、速度情報および操向角情報による絞り込まれたイメージ検索領域を抽出して、類似度のあるピクセルのイメージ領域とその周辺の類似度の低い領域とを合成する。

上記の目的を達成するための本発明に係る死角地帯の表示方法は、ａ）制御部が、任意の時点でまたは前記任意の時点前にイメージ検出部が撮影した少なくとも１枚のイメージをディスプレイ用イメージとして出力するステップと、ｂ）前記制御部が、車両の外部から提供される車両の位置移動情報または車両から提供される運転制御情報に基づいて、前記車両が任意の位置から移動した変位情報を演算して車両の現在位置を検出するステップと、ｃ）前記制御部が、前記ステップｂ）において検出された現在位置および変位情報に基づいて、車両の現在位置を示す車両アイコンを前記ステップａ）において出力されるディスプレイ用イメージの上に輪郭線状または半透明状に表示して車両周辺の死角地帯および車体に遮られた死角地帯が表示されるように前記ディスプレイ用イメージおよび車両アイコンを出力するステップと、を含むことを特徴とする。

好ましくは、前記ステップａ）におけるディスプレイ用イメージは、前記撮影されたイメージの原イメージであるか、あるいは、前記原イメージの時点を変えたイメージである。

また、好ましくは、前記ステップａ）におけるディスプレイ用イメージは、前記撮影されたイメージの原イメージまたは時点を変えたイメージの多数枚を合成したものであるか、あるいは、多数枚のイメージの一部を組み合わせたものである。

さらに、好ましくは、前記ステップａ）におけるディスプレイ用イメージは、車両に設けられて車両の周辺イメージを撮影して提供するカメラ、前記車両の位置情報を検出して対応する位置の周辺イメージを提供するナビゲーション、または、前記車両の周辺道路または建物に設けられたカメラから車両周辺のイメージを受信して提供する外部情報受信部によって提供されたイメージである。

さらに、好ましくは、本発明に係る死角地帯の表示方法においては、前記車両の移動に伴うリアルタイム位置情報を反映して、ディスプレイ用イメージの上に表示された車両アイコンの位置が変更されるように表示する。

さらに、好ましくは、前記ディスプレイ用イメージの上に表示された車両アイコンの位置変更の表示は、ディスプレイ用イメージを固定し、且つ車両アイコンの位置のみを変更するか、車両アイコンの位置を固定し、且つディスプレイ用イメージのみ移動させるか、あるいは、ディスプレイ用イメージおよび車両アイコンの位置を両方とも変更することにより行われる。

本発明は、イメージ検出部が提供する少なくとも1枚の車両の周辺イメージを表示して、車両が走行する間に車体に遮られて運転者の視野が確保し難い車両の前方、後方および側面の死角地帯情報を運転者に提供することができるというメリットがある。

また、本発明によれば、運転者は、運転者の視野が確保し難い死角地帯を確認しやすいことから、運転者に安全な走行環境および安全な駐車環境を提供することができるというメリットがある。

通常の車両の前方および後方の死角地帯を示す例示図である。 本発明に係る死角地帯の表示装置の一実施形態を示すブロック図である。 本発明に係る死角地帯の表示装置の動作過程を示す例示図である。 本発明に係る死角地帯の表示装置の他の動作過程を示す例示図である。 本発明に係る死角地帯の表示装置により検出される後方の過去イメージと現在イメージとを合成して示す例示図である。 本発明に係る死角地帯の表示装置により検出されるイメージの上に車両アイコンの一実施形態を表示して示す例示図である。 本発明に係る死角地帯の表示装置により検出されるイメージの上に車両アイコンの他の実施形態を表示して示す例示図である。 本発明に係る死角地帯の表示装置により検出される道路イメージの上に車両アイコンを表示して示す例示図である。 本発明に係る死角地帯の表示過程を示すフローチャートである。 本発明に係る死角地帯の表示装置の他の実施形態を示すブロック図である。

以下、添付図面に基づき、本発明に係る死角地帯の表示装置および方法の好適な実施形態について詳述する。

＜第１の実施形態＞
図２は、本発明に係る死角地帯の表示装置の一実施形態を示すブロック図であり、図３は、本発明に係る死角地帯の表示装置の動作過程を示す例示図であり、図４は、本発明に係る死角地帯の表示装置の他の動作過程を示す例示図であり、そして図５は、本発明に係る死角地帯の表示装置により検出される後方の過去イメージと現在イメージとを合成して示す例示図である。

図２から図５に示すように、本発明に係る死角地帯の表示装置１００は、車両の周辺イメージを提供するイメージ検出手段としての第１のカメラ１１０と、第２のカメラ１２０および第ｎのカメラ１５０と、制御部１３０および画面表示部１４０を備える。

前記第１のカメラ１１０は、車両２００に設けられて走行中の車両の後方を撮影したイメージを出力するものであり、車両の室内に設けられたテールランプ、後尾灯またはトランクドアなどに設けられる。

前記第２のカメラ１２０は、車両２００に設けられて走行中の車両の前方を撮影したイメージを出力するものであり、車両の室内に設けられたルームミラー、ヘッドランプまたはラジエータグリルなどに設けられる。

前記第ｎのカメラ１５０は、車両２００に設けられて走行中の車両の側面を撮影したイメージを出力するものであり、車両のサイドミラーなどに設けられる。

前記第１、第２および第ｎのカメラ１１０、１２０および１５０としては、ＣＭＯＳ（相補性金属酸化膜半導体）を用いたイメージセンサー、ＣＣＤ（電荷結合素子）を用いたイメージセンサーまたは第３のタイプのイメージセンサーのいずれを用いても構わない。

また、本実施形態においては、車両の前方または後方の走行方向イメージを撮影するためにそれぞれ１台のカメラが設けられて動作する構成を例にとって説明しているが、同じ走行方向を撮影する複数のカメラを設ける構成をとってもよい。

前記制御部１３０は、第１のカメラ１１０と、第２のカメラ１２０または第ｎのカメラ１５０が任意の時点（以下、現在時点と称する。）で撮影した少なくとも１枚のイメージをそのまま表示するか、あるいは、予めインストールされたイメージ処理プログラムを用いて合成／変換／組合せのいずれかを行って生成されたイメージを画面表示部１４０に表示する。

図３に示すように、前記制御部１３０は、任意の出発位置から車両２００が後進する場合に、車両後方の所定の領域を撮影する第１のカメラ１１０が任意の時点で撮影した少なくとも１枚の後方イメージＡ＋Ｂを検出してメモリ（図示せず）などの記憶手段に保存する。

ここで、任意の時点は、現在時点であってもよく、過去時点と現在時点との間の任意の時間区間のいずれかの時点であってもよい。

また、前記任意の時点で撮影した少なくとも１枚の後方イメージＡ＋Ｂは、１枚の長いイメージであってもよく、第１のイメージＡを任意の過去時点で検出し、所定の速度で所定の時間（ｔ秒）だけ移動した車両２００’の第１のカメラ１１０’が撮影した現在時点の第２のイメージＢを検出して両イメージＡ、Ｂを１枚のイメージＡ＋Ｂに合成したイメージであってもよい。

さらに、前記制御部１３０は、車両のＥＣＵ（電子制御ユニット）、ＴＣＵ（変速制御装置）、速度センサー、操向角センサー、ホイールセンサー、カメラが現在撮影したイメージと直前に撮影したイメージとを比較して算出した移動距離情報などから車両の移動距離、速度、走行方向および操向角情報を検出し、前記検出された移動距離、速度、走行方向および操向角情報をはじめとする運転制御情報から車両の移動変位情報を検出する。

さらにまた、前記検出された車両の移動変位情報に基づいて、任意の位置から移動した単位時間当たりの車両の移動位置を算出して車両の現在の位置情報を検出し、前記検出された車両の現在の位置情報に対応する前記後方イメージＡ＋Ｂの任意の位置に車両２００’の現在位置を示すために輪郭線状または半透明状に車両アイコン４００を表示する。

すなわち、前記制御部１３０は、後方イメージＡ＋Ｂを検出した後、前記検出された後方イメージＡ＋Ｂの上に実際の車両２００’の代わりに輪郭線状または半透明状に車両アイコン４００を表示し、車両の速度センサーまたはＴＣＵ（変速制御装置）などにより検出された速度情報に基づいて、任意の位置から所定の時間（例えば、０．５秒）が経過する間に車両２００’が移動した距離を算出し、前記算出された車両の移動距離に応じて、前記輪郭線状または半透明状の車両アイコンを、前記後方イメージＡ＋Ｂ上において予め設定された単位ピクセル数または所定の距離だけ移動した位置、例えば、Ａ領域に表示する。前記所定の時間としての０．５秒は、説明の便宜のための単なる例示に過ぎず、本発明はこれに限定されるものではない。

また、車両が前進する場合に、前記制御部１３０は、図４に示すように、任意の時点で第２のカメラ１２０が撮影した１枚の前方イメージＣ＋Ｄを検出してメモリ（図示せず）などの記憶手段に保存する。

前記任意の時点で撮影した少なくとも１枚の前方イメージＣ＋Ｄは、１枚の長いイメージであってもよく、前方を撮影した第１のイメージＣを任意の過去時点で検出し、所定の速度で所定の時間（ｔ秒）だけ移動した車両２００’の第２のカメラ１２０’が撮影した現在時点の前方第２のイメージＤを検出して両イメージＣ、Ｄを１枚のイメージＣ＋Ｄに合成したイメージであってもよい。

さらに、前記制御部１３０は、車両から車両の速度、走行方向および操向角情報をはじめとする車両の移動変位情報を検出し、前記検出された車両の移動変位情報に基づいて任意の位置から単位時間当たりに車両が移動した位置を算出して車両の現在位置を検出し、前記前方イメージＣ＋Ｄの任意の位置に車両２００’の現在位置を示すために輪郭線状または半透明状に車両アイコン４００を表示する。

すなわち、前記制御部１３０は、前方イメージＣ＋Ｄを検出した後に、前記検出された前方イメージＣ＋Ｄの上に実際の車両２００’の代わりに輪郭線状または半透明状に車両アイコン４００を表示し、車両の速度情報に基づいて所定の時間が経過する間に車両２００’が移動した距離を算出して車両の移動距離に応じて前記輪郭線状または半透明状の車両アイコンを、前記前方イメージＣ＋Ｄ上において予め設定された単位ピクセル数だけ移動された位置、例えば、Ｃ領域に表示する。

一方、過去イメージと現在イメージとを合成する過程は、図５（ａ）および図５（ｂ）に示すように、例えば、後方第１のイメージＡと後方第２のイメージ情報Ｂとが検出されると、現在のイメージ情報である後方第２のイメージ情報Ｂと過去のイメージ情報である後方第１のイメージ情報Ａとを合成して、図５（ｃ）に示すディスプレイ用イメージＡ＋Ｂを生成する。

このとき、過去に車両が通過した場所のイメージである後方第１のイメージ情報Ａから表示線ｌを中心として任意の合成領域Ａ−１、Ａ−２およびＡ−３に画成し、前記画成された任意の合成領域Ａ−１、Ａ−２およびＡ−３と現在表示されるイメージである後方第２のイメージ情報Ｂに対して物体認識による特徴点抽出を行って合成に必要な後方第１のイメージ情報の合成領域Ａ−１、Ａ−２およびＡ−３を検出し、それぞれの合成領域のイメージをマージプログラムまたはスティッチングプログラムを用いてサイズなどを調節することで合成したディスプレイ用イメージＡ＋Ｂを生成する。

すなわち、前記ディスプレイ用イメージは、任意の時点ｔ＋１で撮影した１枚のイメージであるか、前記任意の時点ｔ＋１で撮影したイメージと以前の時点ｔで撮影したイメージとを合成したイメージであるか、あるいは、前記任意の時点ｔ＋１で撮影したイメージと以前の時点ｔで撮影したイメージとそれ以前の時点ｔ−１で撮影したイメージとを合成したイメージであり、カメラに撮られない死角地帯を過去イメージを用いて表示する。

本実施形態においては、２枚のイメージを比較して類似度のあるピクセルのイメージ領域を合成するが、本発明はこれに限定されるものではなく、車両から提供される車両の速度および移動方向をはじめとする車両の運行情報に基づいて、速度情報および操向角情報に基づいて予め設定された単位ピクセル数だけ移動させたイメージ領域を合成してもよい。

すなわち、車両の速度が１０Ｋｍであり、且つ、操向角が１０°である場合に、ピクセルを走行方向に沿って上下方向のうちのいずれかの方向に予め設定された単位ピクセル（例えば、２０ピクセル）数だけ移動させ、操向方向に沿って左方または右方に予め設定された単位ピクセル（例えば、１０ピクセル）数だけ移動させたイメージ領域を合成してもよい。

また、一層精度よいイメージ合成のために、車両から提供される車両の速度および移動方向をはじめとする車両の運行情報に基づいて、速度情報および操向角情報によるイメージの検索領域を絞り込み、検索領域の絞り込まれた前記イメージから類似度のあるピクセルのイメージ領域を抽出して合成してもよい。

一方、過去イメージから類似度のある領域のピクセルを抽出すると、前記過去イメージ上において類似度のあるピクセル領域の周りに位置している残りのピクセル領域、すなわち、類似度の低いピクセル領域を抽出して合成し、過去イメージを用いて現在イメージには視認されない死角地帯が含まれているディスプレイ用イメージを生成することになる。

図６は、車体に遮られた死角地帯を死角地帯の表示装置により検出されるイメージの上に車両アイコンとともに表示するものであり、図６（ａ）は、車両が後進する場合にカメラを用いて任意の時点前（過去）に撮影した後方第１のイメージＡであり、図６（ｂ）は、前記カメラを用いて任意の時点（現在）で撮影した後方第２のイメージＢであり、図６（ｃ）は、前記後方第１および第２のイメージを合成したディスプレイ用イメージＡ＋Ｂである。

図６（ｃ）に示すように、任意の時点（現在）で撮影した後方第２のイメージＢと前記任意の時点前（過去）に撮影した後方第１のイメージＡとを合成すると、１枚の長いディスプレイ用イメージＡ＋Ｂが生成されて後方第２のイメージＢには視認されない死角地帯（車体に遮られた部分）を確認することが可能になる。

前記ディスプレイ用イメージＡ＋Ｂは、現在イメージと過去イメージとを合成して生成してもよいが、１枚の長いイメージを用いて表示してもよい。

一方、制御部１３０は、生成されたディスプレイ用イメージＡ＋Ｂ上において運転者が車両の現在位置を確認可能なように後方第２のイメージＡに輪郭線状に車両アイコン４００を重ねて表示することにより、後進している車両の正確な位置を確認することができる。

また、車両アイコン４００とともに車輪４１０の位置も表示して、例えば、車輪４１０が駐車案内線から外れるか否か、あるいは、正確な方向に後進しているか否かを運転者に確認せしめる。

さらに、図７は、車体に遮られた死角地帯を死角地帯の表示装置により検出されるイメージの上に車両アイコンとともに表示するものであり、車両が前進する場合に、図７（ａ）は、前進中の車両の現在の周辺イメージを第２のカメラ１２０が撮影した前方第２のイメージＤであり、図７（ｂ）は、所定の時間前の過去に撮影した前方第１のイメージＣと前記前方第２のイメージＤとを合成したディスプレイ用イメージＣ＋Ｄまたは第２のカメラ１２０が任意の時点で過速防止段差３００が入った１枚の前方イメージＣ＋Ｄを撮影して生成したディスプレイ用イメージである。

車両が走行し続けてｔ秒後に車両の現在位置がディスプレイ用に合成された前方イメージＣ＋Ｄ上のＣ領域にあると、運転者はｔ秒前に見た過速防止段差３００を車両が通過していることが分かるが、実際に過速防止段差３００が車体に遮られて運転者の視野が確保し難い死角地帯に位置することになる。

前記制御部１３０は、運転者が死角地帯に位置している過速防止段差３００に関する情報を認識可能なように前方イメージＣ＋Ｄ上のＣ領域に車両の現在位置を示す仮想の車両アイコン４００を車両の移動距離情報、速度情報、操向角情報などに基づく車両の移動変位情報を既知の距離および位置演算プログラムを用いて演算して車両が任意の時点から移動した距離および位置情報を検出し、前記検出された距離および位置情報に基づいて前記前方イメージＣ＋Ｄ上の対応領域（例えば、Ｃ領域）に車両の現在位置を示す車両アイコン４００の位置を輪郭線状または半透明状に表示することにより、運転者に車体に遮られた車両下部の死角地帯を認識せしめる。

さらに、前記制御部１３０が、車両が現在位置している場所に仮想の車両アイコン４００を輪郭線状または半透明状に表示することにより、運転者は、現在過速防止段差３００付き区間を通過していることを認識することが可能になり、車両アイコン４００を中心として右側の死角地帯領域Ｃ−１と左側の死角地帯領域Ｃ−２を確認することが可能になる。

加えて、前記制御部１３０は、仮想の車両アイコン４００を前方イメージＣ＋Ｄの上に輪郭線状または半透明状に表示して車両の周辺道路の上に位置している障害物および方向案内情報が運転者に認識されるように表示する。

さらに、図８に基づいて、車体に遮られて車両の下部と周辺道路の上に位置している障害物および方向案内情報が運転者に認識されることについて詳述する。

図８（ａ）は、現在イメージである前方第２のイメージ情報Ｄであり、図８（ｂ）は、所定の時間（例えば、０．５秒）前の過去イメージである前方第１のイメージ情報Ｃであり、図８（ｃ）は、前記図８（ａ）および図８（ｂ）を整合した前方整合イメージ情報Ｃ＋Ｄである。

運転者が走行中に道路上に標示された方向案内情報５００を認識できなかった場合に、前記方向案内情報５００が運転者に認識可能なように、制御部１３０は、前方イメージＣ＋Ｄの上に仮想の車両アイコン４００を半透明状にまたは輪郭線状に表示する。

また、前記制御部１３０は、現在イメージと任意の時点前の過去イメージに含まれている固定物体または移動中の物体の有無を確認して物体までの距離情報をも表示してもよい。

すなわち、前記制御部１３０は、１台のカメラを用いてイメージを撮影した場合に、撮影した現在時点のイメージと所定の時間前の過去時点で撮影したイメージとをイメージプロセッシングして、現在イメージ及び過去イメージから類似する特性（例えば、ピクセルの明るさ、エッジの有無など）を有する物体（ピクセル）情報を見出して変位が生じた任意の物体情報（ピクセル情報）をそれぞれ検出する。

前記制御部１３０は、イメージプロセッシングにより関心のある２枚のイメージを比較してベクトルで定義された画素の移動変位と角度変位などを用いて類似度を検出して物体を認識したり、物体の境界線または輪郭線などのエッジや物体の輪郭に近づく線分、曲線などを求めて認識したり、イメージ内に存在する角点、不変点、または回転変換や大きさ変化などに対して不変な特徴点を用いて認識したり、イメージに含まれている物体の特徴点を抽出して認識したりする。

さらに、前記制御部１３０は、前記現在イメージから検出された現在の物***置と過去のイメージから検出された過去の物***置との間の移動変位（ベクトル）を検出し、車両のＥＣＵ（電子制御ユニット）、ＴＣＵ（変速制御装置）、ホイールセンサーまたは操向角センサーなどから提供される車両の操向角情報、距離情報および速度情報をはじめとする運行情報を検出して前記両物体の移動変位に対応する移動距離を算出する。

すなわち、前記制御部１３０は、現在のイメージの上に現在の物***置及び過去の物***置を表示し、両物体間の差分値は、車両が移動した距離を用いて、両物体間の移動距離として設定する。

また、前記制御部１３０は、現在イメージの上に予め設定された基準点と現在の物体及び過去の物体に至るまでの変位を検出し、前記基準点と現在の物体および過去の物体がなす三角形情報、すなわち、前記現在物体と過去物体との間の移動変位を基準辺とし、前記基準点が現在の物体および過去の物体とそれぞれなす変位を他の二辺とし、これらがなす角度をそれぞれ算出して基準点から現在物体までの距離を算出する。

さらに、前記制御部１３０は、算出される現在物体の位置がイメージ領域における過去イメージの領域上にあれば、物体の移動変位を推定し、推定された予想移動変位と、車両の速度および前記移動変位から検出された現在物体の相対速度などに基づいて所定時間の経過後に任意のイメージ領域の上に位置している物体までの予想位置および距離を算出して提供する。

加えて、前記制御部１３０は、少なくとも２台以上のステレオカメラを用いる場合にステレオビジョンを用いて物体までの距離抽出を行ってもよく、このとき、前記物体の移動変位を推定し、推定された予想移動変位と、車両の速度および前記移動変位から検出された現在物体の相対速度などに基づいて所定時間の経過後にイメージの任意の領域上に位置している物体までの予想位置および距離を算出して提供してもよい。

また、前記制御部１３０は、前記算出された距離と予め設定された衝突判断用の基準距離情報とを比較し、その結果、衝突が予想されると、警告音または警告画面が表示されるように警告信号を出力する。

前記ステレオビジョンプログラムは、車両の前照灯、後尾灯またはサイドミラーの左側および右側にそれぞれ設けられたステレオカメラを介して左側および右側のイメージが入力されると、左側および右側のイメージに対する明るさおよびエピポーララインを一致させるステレオ入力イメージに対する前処理過程を行い、同じ物体であると判断される左側および右側のイメージから重なり合う領域のピクセル間の両眼差を生成するステレオマッチングを行い、このような両眼差の結果からノイズ成分を除去した後にそのステレオ入力イメージの距離情報に対するプロジェクション、セグメンテーション、フィルタリングなどの後処理過程を行ってステレオイメージを取得し、このようなステレオイメージを用いて物体の距離、形状、方向などの情報を検出することになる。

前記ステレオビジョンプログラムは、一実施の形態に過ぎず、公知の種々のステレオビジョンプログラムが使用可能である。

また、前記制御部１３０は、カメラが撮影した原イメージをそのままディスプレイ用イメージとして出力してもよいが、前記撮影された原イメージを時点変換プログラムを用いてバーズアイビュー時点に変えたイメージをディスプレイ用イメージとして出力してもよい。

さらに、前記制御部１３０は、前記カメラが撮影した原イメージまたは時点の変わったイメージの多数枚をイメージプロセッシングプログラムを用いて合成もしくはスティッチングしてディスプレイ用イメージとして出力してもよい。

加えて、前記制御部１３０は、前記カメラが撮影した原イメージ、時点の変わったイメージまたは合成された多数枚のイメージの一部をイメージプロセッシングプログラムを用いて組み合わせてディスプレイ用イメージとして出力してもよい。

前記画面表示部１４０は、制御部１３０から出力されるイメージと仮想の輪郭線状または半透明状の車両アイコン４００とを同時に出力し、前記画面表示部１４０としては、液晶ディスプレイ（ＬＣＤ）などの出力手段が採用される。

前記車両アイコン４００は、半透明状または輪郭線状の車両形状を呈し、現在位置の車両をディスプレイ用イメージに仮想で表示する。

また、前記車両アイコン４００は、車両の車輪（図示せず）の位置を半透明状または輪郭線状の車両の形状と一緒に表示してもよく、車両の走行時に車体に遮られた車両の下部と、道路に表示された走行方向および道路案内用文字を運転者に正確に伝えることができる。

さらに、ディスプレイ用イメージの上に表示された車両アイコン４００の位置変更の表示は、ディスプレイ用イメージを固定し、且つ車両アイコン４００の位置のみを変更するか、車両アイコン４００の位置を固定し、且つ、ディスプレイ用イメージのみを移動させるか、あるいは、ディスプレイ用イメージおよび車両アイコンの位置を両方とも変更することにより行われる。

図９は、本発明に係る死角地帯を表示する過程を示すフローチャートであり、図２と、図４から図９に基づいて、本発明に係る死角地帯の表示方法について説明する。

車両２００が、例えば、前進すると、車両に設けられた第２のカメラ１２０は、車両２００の走行に伴い撮影を始め、制御部１３０は、任意の時点で第２のカメラ１２０が撮影したディスプレイ用イメージＣまたはＣ＋Ｄを検出（Ｓ１００）して一時的に保存する。

また、前記ステップＳ１００において撮影されたディスプレイ用イメージは、カメラが撮影した原イメージをそのままディスプレイ用イメージとして保存して出力してもよいが、前記撮影された原イメージを、制御部１３０が、時点変換プログラムを用いてバーズアイビュー時点に変えてディスプレイ用イメージとして出力してもよい。

さらに、前記ステップＳ１００において撮影されたディスプレイ用イメージは、前記カメラが撮影した原イメージまたは前記時点の変わったイメージの多数枚を制御部１３０がイメージプロセッシングプログラムを用いて合成もしくはスティッチングしたり、前記撮影した原イメージ、時点の変わったイメージまたは合成された多数枚のイメージの一部を制御部１３０がイメージプロセッシングプログラムを用いて組み合わせたりしてディスプレイ用イメージとして出力してもよい。

前記ステップＳ１００後に、制御部１３０は、車両から提供される車両のＥＣＵ（電子制御ユニット）、ＴＣＵ（変速制御装置）、速度センサー、操向角センサー、ホイールセンサー、カメラが現在撮影したイメージと直前に撮影したイメージとを比較して算出した運転制御情報から車両の移動距離、速度、走行方向および操向角情報をはじめとする車両の移動変位情報を検出し、前記検出された移動変位情報に基づいて単位時間当たりの車両の移動距離及び操向方向による位置を算出（Ｓ１１０）する。

前記制御部１３０は、前記算出された移動距離及び位置を、予め設定された単位ピクセル数に応じて、前記ステップＳ１００において検出されたディスプレイ用イメージＣ＋Ｄの上に対応付けて、車両の現在位置を示す仮想の車両アイコン４００を輪郭線状または半透明状に表示（Ｓ１２０）して、画面表示部１４０に出力する。

前記ステップＳ１２０において、画面表示部１４０に出力される前記仮想の車両アイコン４００は、前方イメージＣ＋Ｄの上に半透明状または輪郭線状に表示されることにより、死角地帯にある障害物（例えば、過速防止段差、境界石、分離帯など）や方向案内情報５００が車両の現在の位置情報とともに運転者に認識されやすくなる。

このため、車体に遮られて運転者の視野が確保し難い死角地帯と、カメラが撮影する現在のイメージには視認されない車両周辺の死角地帯を確認することができて、運転者に安全な走行環境および安全な駐車環境を提供することが可能になる。

一方、本実施形態においては、ディスプレイ用イメージ上において車両の現在位置を示す仮想の車両アイコンが、車両の移動に伴い、前記ディスプレイ用イメージの上に位置が変更されながら表示されることを例にとって説明したが、複数枚のイメージが連続して配置されたディスプレイ用イメージ上において前記車両アイコンが、車両の移動に伴い、前記連続して配置されたイメージ上において位置が変更されながら表示されてもよいということはいうまでもない。

＜第２の実施形態＞
図１０は、本発明に係る死角地帯の表示装置の他の実施形態を示すブロック図であり、第２の実施形態は、車両に設けられたカメラ以外の装置から車両の周辺イメージを検出して死角地帯を表示するようになっている。

図１０に示すように、第２の実施形態に係る死角地帯の表示装置６００は、車両の周辺イメージを提供するイメージ検出手段としてのナビゲーション６１０および外部情報受信部６２０と、制御部６３０と、画面表示部６４０と、を備える。

前記ナビゲーション６１０は、車両に設けられてＧＰＳ（全地球測位システム）受信機から位置情報を受信して車両の現在の位置情報を検出し、前記検出された車両の位置情報に基づいてメモリ（図示せず）などに予め保存された当該位置のマップイメージ（または、実写イメージ）を読み出して提供する。

前記外部情報受信部６２０は、無線ネットワークを介して車両周辺の道路および建物などに設けられたカメラ（図示せず）と接続され、前記カメラが撮影するイメージを受信して制御部６３０に提供する。

現在の知能型道路網システムは、一部の道路区間や建物の一部の領域を固定的に撮影するカメラを備えており、前記カメラには固有のＩＰアドレスが割り当てられて、無線通信を用いて前記カメラに接続することによりカメラが撮影したイメージをユーザが手軽に受信して確認することができる。

すなわち、前記外部情報受信部６２０は、道路または道路周辺の建物などに設けられた、例えば、ＩＰカメラと無線通信により接続し、前記ＩＰカメラが提供するイメージと前記ＩＰカメラが設けられた場所の位置情報を受信してメモリ（図示せず）に保存し、前記ＩＰカメラから受信されたイメージを制御部６３０に提供する。

なお、前記外部情報受信部６２０は、前記ＩＰカメラから提供されるカメラの設置位置情報と、前記ナビゲーション６１０やＧＰＳ（全地球測位システム）受信機（図示せず）などから提供される車両の現在位置情報とを検出して制御部６３０に送信する。

前記制御部６３０は、ナビゲーション６１０または外部情報受信部６２０が任意の時点で提供する当該位置のマップイメージまたは車両が位置している場所のイメージを検出し、前記検出された少なくとも１枚のイメージをそのまま用いてディスプレイ用イメージを生成するか、イメージプロセッシングプログラムを用いて任意の時点でまたは前記任意の時点およびその直前に検出したイメージを合成するか、時点変換プログラムを用いて検出したイメージの時点を変えて再構成するか、あるいは、イメージの一部を組み合わせて再構成したディスプレイ用イメージが表示されるように出力する。

すなわち、前記制御部６３０は、例えば、ＩＰカメラが撮影した原イメージをそのままディスプレイ用イメージとして出力してもよいが、前記撮影された原イメージの時点を時点変換プログラムを用いてバーズアイビュー時点に変え、当該イメージをディスプレイ用イメージとして出力してもよい。

また、前記制御部６３０は、前記ＩＰカメラが撮影した原イメージまたは時点の変わった過去イメージの多数枚をイメージプロセッシングプログラムを用いて合成もしくはスティッチングしてディスプレイ用イメージとして出力してもよく、前記ＩＰカメラが撮影した原イメージ、時点の変わったイメージまたは合成されたイメージの一部をイメージプロセッシングプログラムを用いて組み合わせてディスプレイ用イメージとして出力してもよい。

さらに、前記制御部６３０は、車両のＥＣＵ（電子制御ユニット）、ＴＣＵ（変速制御装置）、速度センサー、操向角センサー、ホイールセンサーなどから検出した運転制御情報と、任意の時点前に受信した運転制御情報とを比較・演算して車両が移動した距離、速度、走行方向および操向角など車両の移動変位情報を検出する。

加えて、前記制御部６３０は、ナビゲーション６１０がＧＰＳ（全地球測位システム）などを用いて車両の外部から提供される位置情報を検出して出力すると、前記位置情報に対応するマップイメージと、任意の時点前に受信した位置情報およびイメージとを比較・演算して車両の移動変位情報を検出することができる。

また、前記制御部６３０は、ストリートビュー受信機６２０が検出したカメラの設置位置情報および周辺イメージと、ナビゲーション６１０を用いて検出した位置移動情報とを比較・演算して車両の移動変位情報を検出することができる。

さらに、前記制御部６３０は、前記検出された車両の移動変位情報に基づいて任意の位置から移動した車両の現在の位置情報を検出し、生成されたディスプレイ用イメージの上に前記検出された車両の現在位置を示す輪郭線状または半透明状の車両アイコンを表示する。

前記画面表示部６４０は、制御部６３０から出力されるディスプレイ用イメージと、仮想の輪郭線状または半透明状の車両アイコンとを同時に出力し、前記画面表示部１４０としては、液晶ディスプレイ（ＬＣＤ）などの出力手段が採用される。

以上、本発明の好適な実施形態を例示して説明したが、当該技術分野における当業者であれば、特許請求の範囲に記載の本発明の思想および領域から逸脱しない範囲内において本発明を種々に修正および変更することができるということが理解できるであろう。

したがって、本発明によれば、運転者は、車両の周辺イメージを用いて、車体に遮られて運転者の視野が確保し難い現在位置における死角地帯の障害物の配置を確認しやすいことから、運転者に安全な走行環境および安全な駐車環境を提供することが可能になる。

１００：死角地帯の表示装置
１１０：第１のカメラ
１１０’：ｔ秒経過後の第１のカメラ
１２０：第２のカメラ
１２０’：ｔ秒経過後の第２のカメラ
１３０：制御部
１４０：画面表示部
１５０：第ｎのカメラ
２００：車両
２００’：ｔ秒経過後の車両
３００：過速防止段差
４００：車両アイコン
４１０：車輪
５００：方向案内情報
６００：死角地帯の表示装置
６１０：ナビゲーション
６２０：外部情報受信部
６３０：制御部
６４０：画面表示部

Claims (17)

1. 車両周辺のイメージを検出するイメージ検出部と、
   前記イメージ検出部が任意の時点でまたは前記任意の時点前に撮影した少なくとも一枚のイメージをディスプレイ用イメージとして出力し、前記出力されるディスプレイ用イメージに車両の現在位置を示す車両アイコンを輪郭線状または半透明状に表示して車体に遮られた死角地帯が表示されるように前記ディスプレイ用イメージおよび車両アイコンを出力する制御部と、
   前記制御部から出力されるディスプレイ用イメージおよび車両アイコンを表示する画面表示部と、
   を備える死角地帯の表示装置。
2. 前記出力されるディスプレイ用イメージは、前記撮影されたイメージの原イメージであるか、あるいは、前記原イメージの時点を変えたイメージであることを特徴とする請求項１に記載の死角地帯の表示装置。
3. 前記出力されるディスプレイ用イメージは、前記撮影されたイメージの原イメージまたは時点を変えたイメージの多数枚を合成したものであるか、あるいは、多数枚のイメージの一部を組み合わせたものであることを特徴とする請求項２に記載の死角地帯の表示装置。
4. 前記車体に遮られた死角地帯は、車両の下部を含むことを特徴とする請求項１から３のいずれか１項に記載の死角地帯の表示装置。
5. 前記イメージ検出部は、車両に設けられて車両の周辺イメージを撮影して提供するカメラであるか、前記車両の位置情報を検出して対応する位置の周辺イメージを提供するナビゲーションであるか、あるいは、前記車両の周辺道路または建物に設けられたカメラから車両周辺のイメージを受信して提供する外部情報受信部であることを特徴とする請求項４に記載の死角地帯の表示装置。
6. 前記制御部は、車両の外部から提供される車両の位置移動情報または車両から検出した運転制御情報を用いて、前記車両が任意の位置から移動した変位情報を演算して車両の現在の位置情報を検出することを特徴とする請求項５に記載の死角地帯の表示装置。
7. 前記制御部は、前記車両の移動に伴うリアルタイム位置情報を反映して、ディスプレイ用イメージの上に表示された車両アイコンの位置が変更されるように表示することを特徴とする請求項５に記載の死角地帯の表示装置。
8. 前記ディスプレイ用イメージの上に表示された車両アイコンの位置変更の表示は、ディスプレイ用イメージを固定し、且つ車両アイコンの位置のみを変更するか、車両アイコンの位置を固定し、且つディスプレイ用イメージのみを移動させるか、あるいは、ディスプレイ用イメージおよび車両アイコンの位置を両方とも変更することにより行われることを特徴とする請求項７に記載の死角地帯の表示装置。
9. 前記生成されたディスプレイ用イメージは、車両から提供される車両の位置移動情報または車両から検出した運転制御情報を用いて、予め設定された単位ピクセル数だけ移動させたイメージ領域を合成することを特徴とする請求項４に記載の死角地帯の表示装置。
10. 前記生成されたディスプレイ用イメージは、イメージのみを比較して、類似度のあるピクセルのイメージ領域と、その周辺の類似度の低い領域とを合成することを特徴とする請求項４に記載の死角地帯の表示装置。
11. 前記生成されたイメージ情報は、車両から提供される車両の速度および移動方向をはじめとする車両の運行情報に基づいて、速度情報および操向角情報による絞り込まれたイメージ検索領域を抽出して、類似度のあるピクセルのイメージ領域とその周辺の類似度の低い領域とを合成することを特徴とする請求項４に記載の死角地帯の表示装置。
12. ａ）制御部が、任意の時点でまたは前記任意の時点前にイメージ検出部が撮影した少なくとも１枚のイメージをディスプレイ用イメージとして出力するステップと、
    ｂ）前記制御部が、車両の外部から提供される車両の位置移動情報または車両から提供される運転制御情報に基づいて、前記車両が任意の位置から移動した変位情報を演算して車両の現在位置を検出するステップと、
    ｃ）前記制御部が、前記ステップｂ）において検出された現在位置および変位情報に基づいて、車両の現在位置を示す車両アイコンを前記ステップａ）において出力されるディスプレイ用イメージの上に輪郭線状または半透明状に表示して車両周辺の死角地帯および車体に遮られた死角地帯が表示されるように前記ディスプレイ用イメージおよび車両アイコンを出力するステップと、
    を含む死角地帯の表示方法。
13. 前記ステップａ）におけるディスプレイ用イメージは、前記撮影されたイメージの原イメージであるか、あるいは、前記原イメージの時点を変えたイメージであることを特徴とする請求項１２に記載の死角地帯の表示方法。
14. 前記ステップａ）におけるディスプレイ用イメージは、前記撮影されたイメージの原イメージまたは時点を変えたイメージの多数枚を合成したものであるか、あるいは、多数枚のイメージの一部を組み合わせたものであることを特徴とする請求項１３に記載の死角地帯の表示方法。
15. 前記ステップａ）におけるディスプレイ用イメージは、車両に設けられて車両の周辺イメージを撮影して提供するカメラ、前記車両の位置情報を検出して対応する位置の周辺イメージを提供するナビゲーション、または、前記車両の周辺道路または建物に設けられたカメラから車両周辺のイメージを受信して提供する外部情報受信部によって撮影されたイメージであることを特徴とする請求項１２から１４のいずれか１項に記載の死角地帯の表示方法。
16. 前記車両の移動に伴うリアルタイム位置情報を反映して、ディスプレイ用イメージの上に表示された車両アイコンの位置が変更されるように表示することを特徴とする請求項１５に記載の死角地帯の表示方法。
17. 前記ディスプレイ用イメージの上に表示された車両アイコンの位置変更の表示は、ディスプレイ用イメージを固定し、且つ車両アイコンの位置のみを変更するか、車両アイコンの位置を固定し、且つディスプレイ用イメージのみ移動させるか、あるいは、ディスプレイ用イメージおよび車両アイコンの位置を両方とも変更することにより行われることを特徴とする請求項１６に記載の死角地帯の表示方法。
    

Images