JP4643860B2

JP4643860B2 - 車両用視覚支援装置及び支援方法

Info

Publication number: JP4643860B2
Application number: JP2001176513A
Authority: JP
Inventors: 伸洋田崎; 武志橋本
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2001-06-12
Filing date: 2001-06-12
Publication date: 2011-03-02
Anticipated expiration: 2021-06-12
Also published as: JP2002367080A

Description

【０００１】
【発明の属する技術分野】
本発明は、自車両の運転中に他車両が撮影した映像を表示する車両用視覚支援装置及び支援方法に関する。
【０００２】
【従来の技術】
自車両の運転中に、他車両が撮影した映像を自車両の表示装置に表示させる車両用視覚支援装置としては、例えば特開平７−９８８６号公報に記載された車両の運転情報装置がある。
【０００３】
この運転情報装置は、各車両が前方監視カメラ及び通信装置を備え、他車両の前方監視カメラが撮影した当該他車両の前方の映像を、自車両及び他車両の通信装置を用いて、自車両の表示装置に表示させることにより、自車両の運転者等に視覚情報を提供するものである。
【０００４】
【発明が解決しようとする課題】
ところが、上述のような車両の運転情報装置では、自車両の表示装置に表示される、他車両の前方監視カメラで撮影された映像は、自車両の前方監視カメラで撮影された映像とは表示視点が異なる。しかも、この表示視点に関する情報が自車両の表示装置に表示されていない。
【０００５】
これらのことから、自車両の運転者を含めた利用者は、他車両の監視カメラで撮影された映像における被写体の位置等を認識しにくく、従って、車両の運転操作性が必ずしも向上するとは言えない。
【０００６】
本発明の目的は、上述の事情を考慮してなされたものであり、他車両にて撮影した被写体の映像を、自車両の利用者が認識し易いように表示できる車両用視覚支援装置及び支援方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、自車両の表示部に、他車両から送信された自車両の映像を含んだ映像情報を表示する表示手段を備え、前記表示手段が、複数の他車両から送信される複数の前記映像情報を同一被写体が重なるように合成して表示することを特徴とするものである。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、前記表示手段が略同一方向に移動中の他車両から送信される前記映像情報を表示することを特徴とするものである。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記表示手段が複数の映像情報の各撮影枠における位置、方位、及びスケールを各他車両との相対位置に基づいて座標変換して表示することを特徴とするものである。
【００１０】
請求項４に記載の発明は、請求項１乃至３のいずれか一項に記載の発明において、前記表示手段が複数の映像情報の合成に際し、撮影時刻が新しい映像、または解像度の高い映像を優先して用いるように構成されたことを特徴とするものである。
【００１１】
請求項５に記載の発明は、請求項１乃至４のいずれか一項に記載の発明において、前記自車両の表示部には、当該自車両と他車両との間の距離に関する情報が、映像情報に重ねて表示されることを特徴とするものである。
【００１２】
請求項６に記載の発明は、請求項５に記載の発明において、前記自車両と前記他車両間の距離に関する情報を、自車両と他車両との通信における送受信時間に基づいて決定するように構成されたことを特徴とするものである。
【００１３】
請求項７に記載の発明は、請求項５に記載の発明において、前記自車両と前記他車両間の距離に関する情報を、自車両の位置情報と他車両の位置情報に基づいて決定するように構成されたことを特徴とするものである。
【００１４】
請求項８に記載の発明は、自車両の表示部に、他車両で撮影され送信された自車両の映像を含んだ映像情報を表示するときに、複数の他車両から送信される複数の前記映像情報を同一被写体が重なるように合成して表示することを特徴とするものである。
【００１９】
請求項１乃至８に記載の発明には、次の作用がある。
【００２０】
他車両で撮影した映像を予め設定された表示視点の映像に変換し、この変換した映像を表示することから、他車両で撮影した被写体を自車両の利用者が認識し易いように表示できるので、自車両の運転操作性を向上させることができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を、図面に基づき説明する。
【００２２】
図１は、本発明に係る車両用視覚支援装置の一実施の形態を示すブロック図である。
【００２３】
車両１００に搭載された車両用視覚支援装置１０は、異なる車両１００間で映像情報を通信によって相互に伝達し、各車両１００において他の車両１００で撮影した映像を表示するものであり、カメラ１１、位置取得部１２、無線通信部１３、記憶部１４、演算部１５及び表示部１６を有して構成される。
【００２４】
上記カメラ１１は、自らの車両１００の周囲を撮影し、その映像情報を演算部１５へ出力する。
【００２５】
上記位置取得部１２は、ＧＰＳ（Global Positioning System）受信機やジャイロコンパス等を有して構成され、自らの車両１００の位置と方位を検出して取得し、その位置情報を演算部１５へ出力する。
【００２６】
上記無線通信部１３は、他の車両１００との間で、カメラ１１が撮影した映像情報、位置取得部１２が取得した車両１００の位置情報、更にカメラ１１が車両１００に設置された位置と角度等を内容とするカメラ設置情報等を含む要求信号や返答信号を相互に通信する。上記車両１００の位置情報等の各種情報は、無線通信部１３と演算部１５との間で入出力される。
【００２７】
上記記憶部１４は、自らの車両１００におけるカメラ設置情報、自らの車両１００の表示部１６に表示される映像の表示視点に関し予め設定された情報、自らの車両１００の表示部１６に表示可能な表示領域に関する情報、更に、後述の如く表示視点が変更された、他の車両１００のカメラ１１にて撮影された映像等が記憶される。これらの各種情報は、記憶部１４と演算部１５との間で入出力される。
【００２８】
上記演算部１５の機能は、後述の図４及び図５のフローチャートに示されるが、その主な機能は、カメラ１１にて検出された自らの車両１００の位置情報、無線通信部１３にて取得された他の車両１００の位置情報及び他の車両１００のカメラ設置情報、並びに記憶部１４に記憶された予め設定された表示視点に関する情報に基づき、他の車両１００で撮影された映像を、予め設定された表示視点の映像に座標変換し、この変換した映像を記憶部１４へ出力して記憶させるものである。
【００２９】
つまり、演算部１５は、自らの車両１００の位置情報と他の車両１００の位置情報とから、自らの車両１００に対する他の車両１００の相対位置を算出する。そして、演算部１５は、この相対位置と他の車両１００のカメラ設置情報とを用いて、自らの車両１００の記憶部１４に記憶された予め設定された表示視点に対する、他の車両１００のカメラ１１で撮影した映像の表示視点の相対位置を算出する。次に、演算部１５は、この他の車両１００による映像の表示視点の相対位置が、記憶部１４に記憶された自らの車両１００の表示領域にある場合に、この他の車両１００で撮影した映像の表示視点の相対位置を用いて、この他の車両１００で撮影された映像を、予め設定された上記表示視点の映像に座標変換し、この変換した映像を記憶部１４へ出力して記憶させる。
【００３０】
演算部１５の他の主な機能としては、複数の他の車両１００におけるカメラ１１が撮影した映像を、上述と同様にして、予め設定された上記表示視点の映像に座標変換し、これらを記憶部１４に記憶させた後に、これらの記憶された座標変換後の他の車両１００における映像を１つの映像に合成し、この合成した映像の映像信号を表示部１６へ出力する。この合成に際しては、記憶部１４に記憶された同様な複数の他の車両１００の映像のうち、撮影時刻が新しい映像、または上述の座標変換後に解像度が高い映像が優先して用いられて合成される。
【００３１】
前記表示部１６は、演算部１５にて出力された映像信号を画像として表示する。この表示部１６には、自らの車両１００と他の車両１００との間の車間距離に関する情報（車間距離の表示、車両１００接近の警告等）が、上述の合成した映像に重ねて表示されてもよい。この車間距離は、演算部１５によって、自らの車両１００の位置情報と他の車両１００の位置情報とから算出された相対距離から求められる。或いは、上記車間距離は、演算部１５によって、自らの車両１００と他の車両１００との通信における送受信時間（例えば、自らの車両１００の無線通信部１３が要求信号を送信した時点から返信信号を受信した時点までの時間）に基づいて算出される。
【００３２】
上述のように構成された車両用視覚支援装置１０が、図２に示す第１車両１０１、第２車両１０２及び第３車両１０３に設置されており、第１車両１０１の周囲に、車両用視覚支援装置１０が搭載されていない第４車両１０４及び第５車両１０５が存在し、第１車両１０１の表示部１６に、第２車両１０２及び第３車両１０３のカメラ１１にて撮影された映像を合成して表示する例を説明する。この場合、第２車両１０２及び第３車両１０３は、これらのカメラ１１が第１車両１０１の死角を含む映像を撮影できる位置に存在するものとする。
【００３３】
（１）、第１車両１０１における要求信号の送信動作（図４）
第１車両１０１の位置取得部１２は、この第１車両１０１の位置及び方位を取得し、位置情報として第１車両１０１の演算部１５へ出力する（Ｓ１）。
【００３４】
この第１車両１０１の演算部１５は、ステップＳ１にて取得された第１車両１０１の位置情報を含む要求信号を、第１車両１０１の無線通信部１３へ出力する。そして、この第１車両１０１の無線通信部１３が、位置情報を含む上記要求信号を第２車両１０２及び第３車両１０３へ送信し（Ｓ２）、その後返答信号の受信待機を実行する（Ｓ３）。
【００３５】
（２）、要求信号を受信した第２車両１０２及び第３車両１０３の動作（図５）
第２車両１０２、第３車両１０３のそれぞれの無線通信部１３は、要求信号の受信待機を実行しており（Ｓ４）、第１車両１０１から送信された要求信号を、受信可能か否か判断する（Ｓ５）。
【００３６】
上記要求信号が受信可能であれば、第２車両１０２の位置取得部１２は、この第２車両１０２の位置と方位を取得して、第２車両１０２の演算部１５へ出力し、また、第３車両１０３の位置取得部１２は、この第３車両１０３の位置及び方位を取得して、第３車両１０３の演算部１５へ出力する（Ｓ６）。
【００３７】
更に、第２車両１０２の演算部１５は、この第２車両１０２の記憶部１４に予め記憶された第２車両１０２のカメラ設置情報を入力し、また、第３車両１０３の演算部１５は、この第３車両１０３の記憶部１４に予め記憶された第３車両１０３のカメラ設置情報を入力する（Ｓ６）。
【００３８】
ステップＳ５において、要求信号が受信可能でなければ、第２車両１０２、第３車両１０３のそれぞれの無線通信部１３は、要求信号の受信待機を実行する（Ｓ４）。
【００３９】
第２車両１０２の演算部１５は、受信した第１車両１０１の位置情報、第２車両１０２の位置情報及び第２車両１０２のカメラ設置情報を用いて、第２車両１０２のカメラ１１が撮影する映像が、第１車両１０１にとって有効であるか否か、即ち、第２車両１０２のカメラ１１が第１車両１０１周辺の位置或いは第１車両１０１の走行に関わる方向の映像を撮影できるか否かを判断する（Ｓ７）。
【００４０】
同様にして、第３車両１０３の演算部１５も、受信した第１車両１０１の位置情報、第３車両１０３の位置情報及び第３車両１０３のカメラ設置情報を用いて、第３車両１０３のカメラ１１が撮影する映像が、第１車両１０１にとって有効か否かを判断する（Ｓ７）。
【００４１】
ステップＳ７において、第２車両１０２のカメラ１１による映像が第１車両１０１にとって有効であると第２車両１０２の演算部１５が判断した場合、第２車両１０２のカメラ１１は、当該第２車両１０２の周辺を撮影し、その映像情報を第２車両１０２の演算部１５へ出力する（Ｓ８）。その後、第２車両１０２の無線通信部１３が、第２車両１０２のカメラ１１による映像信号、第２車両１０２の位置情報及び第２車両１０２のカメラ設置情報を含む返答信号を、第１車両１０１へ送信する（Ｓ９）。
【００４２】
同様に、第３車両１０３のカメラ１１による映像が第１車両１０１にとって有効であると第３車両１０３の演算部１５が判断した場合、第３車両１０３のカメラ１１は、当該第３車両１０３周囲を撮影し、その映像情報を第３車両１０３の演算部１５へ出力する（Ｓ８）。その後、第３車両１０３の無線通信部１３が、第３車両１０３のカメラ１１による映像情報、第３車両１０３の位置情報及び第３車両１０３のカメラ設置情報を含む返答信号を、第１車両１０１へ送信する（Ｓ９）。
【００４３】
ステップＳ７において、第２車両１０２、第３車両１０３のそれぞれのカメラ１１による映像が第１車両１０１にとって有効であると、第２車両１０２、第３車両１０３のそれぞれの演算部１５が判断しなかった場合には、第２車両１０２、第３車両１０３のそれぞれの無線通信部１３は再び受信待機を実行する（Ｓ４）。
【００４４】
（３）、返答信号を受信した第１車両１０１の動作（図４）
第１車両１０１の無線通信部１３は、第２車両１０２から送信された返答信号を受信可能か否か判断し（Ｓ１０）、受信可能であれば、受信した第２車両１０２の映像情報、位置情報及びカメラ設置情報を第１車両１０１の演算部１５へ出力する。
【００４５】
第１車両１０１の演算部１５は、第１車両１０１の位置情報と第２車両１０２の位置情報とから、第１車両１０１に対する第２車両１０２の相対位置を算出する（Ｓ１１）。
【００４６】
次に、第１車両１０１の演算部１５は、表示部１６にて表示する映像の、予め設定された表示視点を記憶部１４から入力すると共に、ステップＳ１１にて求めた第２車両１０２の相対位置と第２車両１０２のカメラ設置情報とを用いて、予め設定された表示視点に対する、第２車両１０２のカメラ１１で撮影した映像の映像視点の相対位置を算出する（Ｓ１２）。
【００４７】
その後、第１車両１０１の演算部１５は、表示部１６にて表示可能な表示領域の情報を記憶部１４から入力し、第２車両１０２の映像の表示視点の相対位置が、上記表示領域内にあるか否かを判断する（Ｓ１３）。
【００４８】
ステップＳ１３で表示領域内にある場合には、第１車両１０１の演算部１５は、第２車両１０２の映像における表示視点の相対位置を用いて、この第２車両１０２の映像の位置、方位、スケール等を調整することにより、第２車両１０２の映像を予め設定された上記表示視点の映像に座標変換し、この変換した映像を第１車両１０１の記憶部１４に記憶させる（Ｓ１４）。
【００４９】
上述のステップＳ１０〜Ｓ１４までの手順を、第３車両１０３から送信された返答信号についても同様に実行し、予め設定された上記表示視点の映像に座標変換された第３車両１０３の映像を、第１車両１０１の記憶部１４に記憶させる。
【００５０】
最後に、第１車両１０１の演算部１５は、第１車両１０１の記憶部１４に蓄積された、表示視点を座標変換した第２車両１０２、第３車両１０３の映像のうち、撮影時刻の新しい映像、または表示視点に変換後に解像度の高い映像を優先して、これら第２車両１０２及び第３車両１０３の映像を合成する（Ｓ１５）。
【００５１】
第１車両１０１の演算部１５が、合成された映像の映像信号を第１車両１０１の表示部１６へ出力すると、この表示部１６が合成映像を表示する（Ｓ１６）。
【００５２】
図３（Ｃ）は、第１車両１０１の表示部１６に表示される合成映像を示す。この図３（Ｃ）では、第１車両１０１の表示部１６にて表示される、予め設定された映像の表示視点は、第１車両１０１の後方から、この第１車両１０１を臨む視点に設定されており、第１車両１０１の死角を減少させている。
【００５３】
一方、図３（Ａ）は、第２車両１０２のカメラ１１が撮影して第１車両１０１へ送信した座標変換前の映像である。撮影枠Ａ内に、後方から見た第１車両１０１及び第４車両１０４が映っている。また、図５（Ｂ）は、第３車両１０３のカメラ１１が撮影して第１車両１０１へ送信した座標変換前の映像である。撮影枠Ｂ内に、後方から見た第１車両１０１及び第５車両１０５が映っている。
【００５４】
図３（Ｃ）に示す合成映像を作成するために、撮影枠Ａと撮影枠Ｂの位置、方位及びスケールは、第２車両１０２と第３車両１０３のそれぞれで撮影した映像の表示視点の相対位置に基づいて、撮影枠Ａの映像と撮影枠Ｂの映像における同一被写体（例えば第１車両１０１）が重なるように、座標変換によって調整される。つまり、撮影枠Ａは、撮影枠Ｂよりも左側を撮影しているため、図３（Ｃ）の合成映像の表示枠Ｃにおいて、撮影枠Ｂよりも左に配置される。また、撮影枠Ａは、撮影枠Ｂよりも近距離で撮影されているため、表示枠Ｃにおいて撮影枠Ｂよりも縮小される。
【００５５】
以上のように構成されたことから、上記実施の形態によれば、次の効果を奏する。
【００５６】
第１車両１０１の車両用視覚支援装置１０では、第２車両１０２、第３車両１０３のカメラ１１にて撮影した映像を予め設定された表示視点の映像に変換し、この変換した映像を、表示部１６に表示することから、第２車両１０２、第３車両１０３のカメラ１１で撮影した被写体を第１車両１０１の利用者（運転者を含む）が認識し易いように表示できる。この結果、第１車両１０１の運転操作性を向上させることができるので、車両の走行安全性を高めることができる。
【００５７】
以上、本発明を上記実施の形態に基づいて説明したが、本発明はこれに限定されるものではない。
【００５８】
例えば、上記実施の形態では、第２車両１０２、第３車両１０３のカメラ１１にて撮影された２枚の映像を合成して合成映像が作成される場合を述べたが、３台以上の車両のカメラ１１にて撮影された３枚以上の映像により合成映像を作成してもよい。
【００５９】
また、例えば第２車両１０２のカメラ１１にて撮影された映像のみを第１車両１０１の表示部１６に表示させる場合には、上記映像の表示視点を座標変換した映像のみを、他の映像と合成することなくカメラ１１の表示部１６に表示してもよい。
【００６０】
【発明の効果】
本発明によれば、他車両にて撮影した被写体の映像を、自車両の利用者が認識し易いように表示できる。
【図面の簡単な説明】
【図１】本発明に係る車両用視覚支援装置の一実施の形態を示すブロック図である。
【図２】図１の車両用視覚支援装置を搭載した車両の位置関係を示す俯瞰図である。
【図３】図２の車両に搭載された車両用視覚支援装置が撮影した映像を示す図である。
【図４】映像受信側の車両（第１車両１０１）における車両用視覚支援装置が実行するフローチャートである。
【図５】映像送信側の車両（第２車両１０２、第３車両１０３）における車両用視覚支援装置が実行するフローチャートである。
【符号の説明】
１０車両用視覚支援装置
１１カメラ
１２位置取得部
１３無線通信部
１４記憶部
１５演算部
１６表示部
１００車両
１０１第１車両
１０２第２車両
１０３第３車両
Ａ、Ｂ撮影枠
Ｃ表示枠

Claims

自車両の表示部に、他車両から送信された自車両の映像を含んだ映像情報を表示する表示手段を備え、
前記表示手段が、複数の他車両から送信される複数の前記映像情報を同一被写体が重なるように合成して表示することを特徴とする車両用視覚支援装置。
前記表示手段が略同一方向に移動中の他車両から送信される前記映像情報を表示することを特徴とする請求項１に記載の車両用視覚支援装置。
前記表示手段が複数の映像情報の各撮影枠における位置、方位、及びスケールを各他車両との相対位置に基づいて座標変換して表示することを特徴とする請求項１または２に記載の車両用視覚支援装置。
前記表示手段が複数の映像情報の合成に際し、撮影時刻が新しい映像、または解像度の高い映像を優先して用いるように構成されたことを特徴とする請求項１乃至３のいずれか一項に記載の車両用視覚支援装置。
前記自車両の表示部には、当該自車両と他車両との間の距離に関する情報が、映像情報に重ねて表示されることを特徴とする請求項１乃至４のいずれか一項に記載の車両用視覚支援装置。
前記自車両と前記他車両間の距離に関する情報を、自車両と他車両との通信における送受信時間に基づいて決定するように構成されたことを特徴とする請求項５に記載の車両用視覚支援装置。
前記自車両と前記他車両間の距離に関する情報を、自車両の位置情報と他車両の位置情報に基づいて決定するように構成されたことを特徴とする請求項５に記載の車両用視覚支援装置。
自車両の表示部に、他車両で撮影され送信された自車両の映像を含んだ映像情報を表示するときに、複数の他車両から送信される複数の前記映像情報を同一被写体が重なるように合成して表示することを特徴とする車両用視覚支援方法。