JP2018147035A - Display device, mobile body, and display system - Google Patents
Display device, mobile body, and display system Download PDFInfo
- Publication number
- JP2018147035A JP2018147035A JP2017038430A JP2017038430A JP2018147035A JP 2018147035 A JP2018147035 A JP 2018147035A JP 2017038430 A JP2017038430 A JP 2017038430A JP 2017038430 A JP2017038430 A JP 2017038430A JP 2018147035 A JP2018147035 A JP 2018147035A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- display device
- field
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、自動車等の移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置、移動体及び表示システムに関するものである。 The present invention relates to a display device, a moving body, and a display system that display a superimposed image superimposed on a field of view outside a moving body that is visually recognized from a windshield of a moving body such as an automobile, or on a view image that reflects the field of view. It is about.
特許文献1には、車両情報(速度や回転数など)やナビゲーション情報などを示す画像情報を、自車両のフロントガラスを通じて視認される自車両前方の視界に重なるように、自車両のフロントガラスに投影表示するヘッドアップディスプレイが開示されている。
In
特許文献2には、自車両のカメラで自車両前方を撮影して得られる撮像画像中における前方車両によって死角となっている部分に、前方車両のカメラで撮像された画像を重ね合わせ、前方車両を透過した合成画像を生成する車載画像処理装置が開示されている。この車載画像処理装置では、生成した合成画像を、フロントガラスとは別の場所に配置される液晶ディスプレイ等の表示画面に表示させる。
In
前記特許文献1に開示のヘッドアップディスプレイは、自車両に搭載されているセンサやカメラ等の機器によって得られる情報に基づいた画像(重畳画像)を、車両のフロントガラス(光透過性の前方ウィンドシールド)に投影表示するものである。このような自車両に搭載の機器で得られる情報では、自車両のフロントガラスを通じて視認される自車両前方の視界中における死角領域に存在する対象物を把握することはできない。したがって、そのような死角領域に存在する対象物を示す画像を、フロントガラスを通じて視認されるように前記死角領域に重ねて表示することはできない。
The head-up display disclosed in
一方、前記特許文献2に開示の車載画像処理装置は、前方車両のカメラで撮像された画像を自車両で受信することにより、自車両のフロントガラスを通じて視認される自車両前方の視界中における前方車両による死角領域に存在する対象物を把握することが可能である。しかしながら、この車載画像処理装置では、前記合成画像をフロントガラスとは別の場所に配置される液晶ディスプレイ等の表示画面に表示するため、死角領域に存在する対象物を認識するには、フロントガラスとは別の表示画面へ運転者の視線を移させなければならず、死角領域の対象物を運転者に迅速に認識させることが困難である。
On the other hand, the in-vehicle image processing device disclosed in
本発明の一態様に係る表示装置は、移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置において、前記移動体の外部機器から、前記視界中の死角領域に存在する対象物を示す対象物情報を取得する対象物情報取得手段と、前記対象物情報取得手段により取得した対象物情報に基づき、前記対象物を示す重畳画像を生成する画像生成手段と、前記視界中の前記死角領域に重ねて、又は、前記死角領域に対応する前記視界画像中の画像部分に重ねて、前記画像生成手段により生成された重畳画像を表示する表示手段とを有する。 A display device according to an aspect of the present invention is a display device that displays a superimposed image, overlaid on a field of view outside the moving body that is visually recognized from the windshield of the moving body, or overlaid on a view image that reflects the field of view. Based on the object information acquired by the object information acquisition means, the object information acquisition means for acquiring object information indicating the object existing in the blind spot area in the field of view from the external device of the mobile body, Generated by the image generation means for generating a superimposed image showing an object and the image generation means superimposed on the blind spot area in the field of view or on an image portion in the view field image corresponding to the blind spot area. Display means for displaying the superimposed image.
前記表示装置において、前記外部機器は、撮像手段であり、前記対象物情報は、前記撮像手段により前記死角領域内の前記対象物を撮像して得られる撮像画像を含むものであってもよい。
また、前記表示装置において、前記画像生成手段は、前記対象物情報取得手段により取得した撮像画像に基づき、前記ウィンドシールドから視認されるときに死角となる視界部分を映し出す死角領域視界画像を、前記重畳画像として生成するものであってもよい。
また、前記表示装置において、前記表示手段は、前記視界中の前記死角領域に重ならない重畳画像部分、又は、前記死角領域に対応する前記視界画像中の画像部分に重ならない重畳画像部分を、非表示にするものであってもよい。
また、前記表示装置において、前記ウィンドシールドは、前記移動体の前方ウィンドシールドであり、
前記表示手段は、前記前方ウィンドシールド上の側部領域から視認される移動体外部の前方視界中の側部に重なる重畳画像部分、又は、該前方視界中の側部を映し出す前記視界画像中の画像部分に重なる重畳画像部分を、非表示にするものであってもよい。
また、前記表示装置において、前記対象物情報取得手段は、移動通信網を介して前記対象物情報を前記外部機器から受信して取得するものであってもよい。
また、前記表示装置において、前記対象物情報取得手段は、前記外部機器との間の無線通信により前記対象物情報を受信して取得するものであってもよい。
また、前記表示装置において、前記外部機器は、前記移動体が移動する移動経路の周辺に配置されている機器を含んでもよい。
また、前記表示装置において、前記外部機器は、前記移動体とは別の移動体に配置されている機器を含んでもよい。
また、前記表示装置において、前記別の移動体は、前記移動体と同方向へ移動する同方向移動体を含んでもよい。
また、前記表示装置において、前記外部機器は、前記対象物に配置されている機器を含み、前記対象物情報は、前記対象物の位置情報を含むものであってもよい。
また、前記表示装置において、前記表示手段は、前記移動体の光透過性ウィンドシールドから視認される移動体外部の視界に重ねて前記重畳画像を表示するものであってもよい。
また、前記表示装置において、前記表示手段は、前記移動体のウィンドシールド上に、該移動体上の撮像手段によって撮像した前記視界を映し出す視界画像に前記重畳画像を重ねた合成画像を表示するものであってもよい。
また、前記表示装置において、前記表示手段は、所定の非表示条件を満たすときは、前記重畳画像の全体を非表示にするものであってもよい。
In the display device, the external device may be an imaging unit, and the object information may include a captured image obtained by imaging the object in the blind spot area by the imaging unit.
Further, in the display device, the image generation means, based on the captured image acquired by the object information acquisition means, a blind spot area view image that shows a view portion that becomes a blind spot when viewed from the windshield, It may be generated as a superimposed image.
Further, in the display device, the display means may include a superimposed image portion that does not overlap the blind spot region in the field of view or a superimposed image portion that does not overlap the image portion in the field of view image corresponding to the blind spot region. It may be displayed.
In the display device, the windshield is a front windshield of the moving body,
The display means includes a superimposed image portion that overlaps a side portion in the front field of view outside the moving body that is viewed from a side region on the front windshield, or a side image in the field of view that displays the side portion in the front field of view. The superimposed image portion that overlaps the image portion may be hidden.
In the display device, the object information acquisition unit may receive and acquire the object information from the external device via a mobile communication network.
Further, in the display device, the object information acquisition unit may receive and acquire the object information by wireless communication with the external device.
In the display device, the external device may include a device arranged around a moving path along which the moving body moves.
In the display device, the external device may include a device arranged on a moving body different from the moving body.
In the display device, the another moving body may include a same-direction moving body that moves in the same direction as the moving body.
In the display device, the external device may include a device arranged on the object, and the object information may include position information of the object.
In the display device, the display unit may display the superimposed image so as to overlap with a field of view outside the moving body that is visually recognized from the light transmissive windshield of the moving body.
Further, in the display device, the display unit displays a composite image in which the superimposed image is superimposed on a field image that reflects the field of view captured by the imaging unit on the moving body on the windshield of the moving body. It may be.
In the display device, the display unit may be configured to hide the entire superimposed image when a predetermined non-display condition is satisfied.
本発明の他の態様に係る移動体は、ウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置を備えた移動体において、その表示装置として、前記表示装置を用いたものである。
ここでいう移動体は、光透過性のウィンドシールドを通じて移動体外部の視界を直接的に視認可能な移動体、又は、光不透過性ウィンドシールドの内壁面に配置される表示画面に移動体外部の視界を映し出す視界画像を表示することにより移動体外部の視界を間接的に視認可能な移動体のいずれであってもよい。また、移動体には、乗用車、バス、トラック若しくは自動二輪車を含む自動車、線路上を走行する鉄道車両、航空機、船舶、産業用重機あるいは産業用ロボットなどが含まれる。
A moving body according to another aspect of the present invention includes a display device that displays a superimposed image superimposed on a field of view outside the moving body viewed from a windshield, or superimposed on a field of view image that displays the field of view. In the body, the display device is used as the display device.
The moving body referred to here is a moving body that can directly see the field of view outside the moving body through a light-transmitting windshield, or a display screen arranged on the inner wall surface of the light-impermeable windshield. It may be any moving body that can indirectly view the field of view outside the moving body by displaying a view image that reflects the field of view. In addition, the moving body includes automobiles including passenger cars, buses, trucks, or motorcycles, railway vehicles traveling on railroad tracks, airplanes, ships, industrial heavy machinery, industrial robots, and the like.
また、本発明の更に他の態様に係る表示システムは、移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置が、前記移動体に設けられ、前記視界中の死角領域に存在する対象物を示す対象物情報を発信する外部機器が、前記移動体の外部に設けられた表示システムであって、その表示装置として、前記表示装置を用いたものである。 In addition, a display system according to still another aspect of the present invention displays a superimposed image so as to be superimposed on a field of view outside the moving object viewed from the windshield of the moving object or superimposed on a field of view image that displays the field of view. A display system is provided on the moving body, and an external device for transmitting object information indicating an object existing in the blind spot area in the field of view is a display system provided outside the moving body, The display device is used as a display device.
本発明によれば、移動体のウィンドシールドから視認される視界中の死角領域に存在する対象物を示す重畳画像が、そのウィンドシールドから視認される視界中の当該死角領域に重ねて表示され、又は、当該死角領域に対応する視界画像中の画像部分に重ねて表示されるので、運転者等の搭乗者に対し、死角領域の対象物を迅速に認識させることができる。 According to the present invention, a superimposed image showing an object existing in the blind spot area in the field of view viewed from the windshield of the moving object is displayed superimposed on the blind spot area in the field of view viewed from the windshield, Alternatively, since the image is displayed so as to be superimposed on the image portion in the field-of-view image corresponding to the blind spot area, a passenger such as a driver can quickly recognize the object in the blind spot area.
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の実施形態に係る表示システムの一例を示す説明図である。
本実施形態の表示システムは、移動体である自車両(乗用車、トラック、バスなど)40(1)に搭載される表示装置1と、自車両40(1)の前方を同一方向へ走行する別の移動体である同方向移動体としての先行車両40(2)に搭載される外部機器である撮像手段としてのカメラ50とを備える。なお、本実施形態では、移動体が自動車である場合について説明するが、本実施形態における移動体は、自動車のほか、線路上を走行する鉄道車両、航空機、船舶、産業用重機、産業用ロボットなどであってもよい。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is an explanatory diagram illustrating an example of a display system according to an embodiment of the present invention.
The display system of the present embodiment is different from the
本実施形態の表示システムにおいて、自車両40(1)上の表示装置1は、先行車両40(2)上のカメラ50で撮像した撮像画像のデータを、通信網60を介して受信することができる。この通信網60は、撮像画像のデータを通信可能な通信網であれば特に制限はないが、広く普及しているセルラー方式の移動通信網であるのが好ましい。また、このような通信網60を利用せず、例えば、図2に示すように、自車両40(1)と先行車両40(2)との間の無線通信(車車間通信)によって、先行車両40(2)上のカメラ50で撮像した撮像画像のデータを自車両40(1)上の表示装置1が受信するようにしてもよい。
In the display system of the present embodiment, the
図3は、本実施形態における表示装置1を搭載する自車両40(1)の構成を示す模式図である。
図4は、本実施形態における表示装置1で用いる表示手段としてのヘッドアップディスプレイ(以下「HUD」という。)20の構成を示す説明図である。
本実施形態の表示装置1は、画像処理装置10とHUD20とに大別することができる。HUD20は、例えば自車両40(1)のダッシュボードに配置されたプロジェクタにより、自車両40(1)の前方ウィンドシールドであるフロントガラス42に画像を投射するものである。
FIG. 3 is a schematic diagram illustrating the configuration of the host vehicle 40 (1) on which the
FIG. 4 is an explanatory diagram showing a configuration of a head-up display (hereinafter referred to as “HUD”) 20 as display means used in the
The
HUD20は、主に、表示装置1の画像処理装置10において生成される画像を表示するための画像光(光束)を照射する光照射装置21、照射レンズ22、画像光の照射範囲を制御するための光学レンズ23、画像光の照射位置を制御するための反射ミラー24、画像を拡大するための拡大レンズ25で構成される。
The
光照射装置21が照射した画像光(光束)は、照射レンズ22及び光学レンズ23を介して反射ミラー24に照射される。反射ミラー24で反射した画像光は、拡大レンズ25で拡大されて、自車両40(1)のフロントガラス42に投射される。フロントガラス42に投射された画像光は、フロントガラス42の内壁面で反射され、自車両の運転者Pに向かう。したがって、本実施形態の表示装置1は、自車両のフロントガラス42を通じて視認される自車両前方の視界に重ねて、HUD20によって投射される画像(重畳画像)Gを表示することができる。運転者Pは、HUD20によって投射された画像Gを、自車両のフロントガラス42を通じて視認される自車両前方の視界に重ねた状態で、視認することができる。
The image light (light beam) irradiated by the
投射される画像Gの表示範囲(画像光の照射範囲)は、光学レンズ23を光軸方向へ移動させることで制御することができる。また、画像Gの表示位置(画像光の照射位置)は、反射ミラー24の角度を変更することによって制御することができる。光学レンズ23の移動や反射ミラー24の角度変更は、画像処理装置10により所定の駆動部を制御することによって行うことができる。
The display range of the projected image G (image light irradiation range) can be controlled by moving the
図5は、本実施形態の表示装置1における画像処理装置10の主要構成を示すハードウェアブロック図である。
画像処理装置10のハードウェアは、主に、CPU10A、ROM10B、RAM10C、外部通信I/F10D、データI/F10Eから構成されている。CPU10Aは、ROM10Bに記憶されている各種プログラムを実行することにより、HUD20の駆動制御等の画像表示制御を実行したり、各種画像処理を実行したり、表示装置1の各機能を制御したりする。ROM10Bは、CPU10Aが表示装置1の各機能を制御するために実行する各種プログラムを記憶する。RAM10Cは、CPU10Aのワークエリアとして使用される。外部通信I/F10Dは、通信網60を介して、先行車両40(2)に搭載されるカメラ50等の外部機器との通信を行ったり、自車両40(1)のCAN(Controller Area Network)61を介して、自車両40(1)のナビゲーション装置、GPS装置や車速センサなどの各種車載センサとの通信を行ったりする。データI/F10Eは、HUD20との間の通信を行う。
FIG. 5 is a hardware block diagram illustrating a main configuration of the
The hardware of the
図6は、自車両40(1)に搭載される表示装置1の機能ブロック図である。
表示装置1の画像処理装置10は、表示装置1の全体機能を制御する制御部11と、先行車両40(2)のカメラ50により先行車両40(2)の前方を撮像した先行車両撮像画像のデータを通信網60を介して受信する外部通信部12と、外部通信部12で受信した先行車両撮像画像のデータに基づき、自車両40(1)のフロントガラス42を通じて視認される自車両前方の視界に重ねてHUD20により表示させる画像(重畳画像)を生成する画像生成部13と、画像生成部13により生成された画像を表示するHUD20の制御を行う表示制御部14と、自車両40(1)に搭載されているGPS(Global Positioning System)装置43や各種車載センサ(車速センサ、加速度センサ、姿勢センサ、レーダー、温度センサなど)44からの情報を自車両40(1)のCAN61を介して受信する車内通信部15と、自車両40(1)の前方を撮像して自車両撮像画像を得る撮像部16とから構成される。
FIG. 6 is a functional block diagram of the
The
図7は、先行車両40(2)に搭載されるカメラ50の機能ブロック図である。
カメラ50は、カメラ50の全体機能を制御する制御部51と、撮像部53によって先行車両40(2)の前方を撮像した先行車両撮像画像のデータを通信網60より送信する外部通信部52と、先行車両40(2)の前方を撮像して先行車両撮像画像を得る撮像部53と、先行車両40(2)に搭載されているGPS装置43や各種車載センサ44からの情報を先行車両40(2)のCAN61を介して受信する車内通信部54とから構成される。
FIG. 7 is a functional block diagram of the
The
図8は、自車両40(1)及び先行車両40(2)を側方から見たときの説明図である。
図9は、表示装置1により先行車両撮像画像を表示してない状態において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界の一例を示す模式図である。
図10は、表示装置1により先行車両撮像画像を表示した状態において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界の一例を示す模式図である。
FIG. 8 is an explanatory diagram when the host vehicle 40 (1) and the preceding vehicle 40 (2) are viewed from the side.
FIG. 9 is a schematic diagram illustrating an example of a field of view in front of the host vehicle that is viewed by the driver P through the
FIG. 10 is a schematic diagram illustrating an example of a field of view in front of the host vehicle that is viewed by the driver P through the
図示の例は、交差点を通過する直前の先行車両40(2)に続いて、自車両40(1)が走行している状況の例である。この状況において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界中には、図8に示すように、先行車両40(2)による死角領域(図8中の斜線部分D)が存在する。この例では、図9に示すように、自車両40(1)の運転者Pは、死角領域Dに存在する対象物としての信号機45が先行車両40(2)に隠れてしまい、信号機45を視認することができない。そのため、自車両40(1)の運転者Pは、信号機45が赤信号になっていることに気付かずに、交差点に自車両40(1)を進入させてしまうおそれがある。
The illustrated example is an example of a situation where the host vehicle 40 (1) is traveling following the preceding vehicle 40 (2) immediately before passing through the intersection. In this situation, as shown in FIG. 8, a blind spot area (in FIG. 8) by the preceding vehicle 40 (2) is present in the field of view in front of the host vehicle that the driver P visually recognizes through the
本実施形態では、先行車両40(2)のカメラ50による撮像領域Eには先行車両40(2)による死角領域Dが含まれているので、そのカメラ50による撮像画像(先行車両撮像画像)を自車両40(1)が受信する。そして、受信した先行車両撮像画像(重畳画像)を、HUD20により、図10に示すように、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重ねて投射表示する。これにより、自車両40(1)の運転者Pは、死角領域Dに存在する信号機45を認識することができ、信号機45が赤信号になっていることに気付かずに交差点に自車両40(1)を進入させてしまう事態が抑制される。特に、本実施形態では、運転者Pは、フロントガラス42から視線を外すことなく、死角領域Dに存在する信号機45を認識することができるので、信号機45を迅速に認識することができ、上述した事態をより効果的に抑制することができる。
In this embodiment, since the imaging area E by the
図11は、本実施形態の表示処理の流れを示すシーケンス図である。
本実施形態では、自車両40(1)において所定の処理開始条件が満たされることで、自車両40(1)に搭載される表示装置1の制御部11の制御の下、外部通信部12から通信網60を通じて、先行車両40(2)へ画像取得要求が送信される(S1)。
FIG. 11 is a sequence diagram illustrating a flow of display processing according to the present embodiment.
In the present embodiment, when a predetermined processing start condition is satisfied in the host vehicle 40 (1), the
所定の処理開始条件は、例えば、先行車両40(2)から受信する先行車両撮像画像を常にHUD20により投射表示させる場合には、自車両40(1)のイグニッションをオンにするという条件、表示装置1の電源をオンにするという条件、シフトレバーをDポジションに操作するという条件などであってもよい。
また、所定の処理開始条件は、例えば、運転者Pの希望する期間だけ先行車両撮像画像を投射表示させる場合には、運転者Pによる処理開始操作を受け付けるという条件などであってもよい。
また、所定の処理開始条件は、例えば、予めシステム上で決められた状況(信号機45等の対象物が死角領域Dに隠れた状況)の時期だけ先行車両撮像画像を投射表示させる場合には、自車両40(1)に搭載されたセンサ等により当該状況を検知したという条件などであってもよい。なお、このような状況の検知は、例えば、自車両40(1)に前方カメラを搭載し、その前方カメラで撮像された撮像画像に基づいて識別された信号機45が撮像画像から識別できなくなったことを判断する方法などによって実現することができる。この方法では、信号機45が撮像画像から識別できなくなったときに、信号機45が死角領域Dに入ったことを把握することができる。
The predetermined processing start condition is, for example, a condition that the ignition of the host vehicle 40 (1) is turned on when the preceding vehicle captured image received from the preceding vehicle 40 (2) is always projected and displayed by the
Further, the predetermined process start condition may be, for example, a condition that a process start operation by the driver P is accepted when the preceding vehicle captured image is projected and displayed for a period desired by the driver P.
Further, the predetermined processing start condition is, for example, when the preceding vehicle captured image is projected and displayed only in a time determined in advance in the system (a situation where an object such as the
先行車両40(2)に搭載されるカメラ50の撮像部53は、例えば、先行車両40(2)のフロントガラス内壁に取り付けられたルームミラー付近に設置されている。先行車両40(2)に搭載されたカメラ50は、撮像部53により、先行車両40(2)のフロントガラスを通じて先行車両40(2)の前方を常時撮像している。自車両40(1)の外部通信部12から送信された画像取得要求が先行車両40(2)の外部通信部52に受信されると、カメラ50の制御部51は、撮像部53により撮像した撮像画像(先行車両撮像画像)を、外部通信部52から通信網60を通じて、自車両40(1)へ送信する処理を開始する(S2)。
The
ここで、自車両40(1)が先行車両40(2)から先行車両撮像画像を受信するためには、画像取得要求の送信先として先行車両40(2)を特定する必要がある。そのため、本実施形態では、以下の方法によって画像取得要求の送信先を特定する。 Here, in order for the own vehicle 40 (1) to receive the preceding vehicle captured image from the preceding vehicle 40 (2), it is necessary to specify the preceding vehicle 40 (2) as the transmission destination of the image acquisition request. Therefore, in this embodiment, the transmission destination of the image acquisition request is specified by the following method.
図12は、本実施形態における通信網60を構成する基地局65の機能ブロック図である。
本実施形態における通信網60は、セルラー方式の移動通信網である。そのため、自車両40(1)の外部通信部12は、移動局として、例えば、28GHz帯、5GHz帯、4.2GHz帯などの周波数帯を用いた無線通信により、自車両40(1)が属するセルを形成する基地局65と通信し、基地局65からバックホール回線を介して通信網60のコアネットワーク62に接続される。
FIG. 12 is a functional block diagram of the
The
本実施形態の基地局65は、主に、通信可能な移動局あるいは他の基地局との間で送受信されるデータを処理するためのデータ処理部66、各種データを記憶する記憶部67、セル内の各移動局と通信するための移動通信部68、通信網60のコアネットワーク62に接続された他の基地局あるいは管理装置等と通信するためのバックホール通信部69で構成される。本実施形態の基地局は、セル内のローカルデータセンターとして機能することができる。具体的には、例えば、位置情報を取得する機能(GPS装置43等)を備えている移動局に対しては、その移動局の現在位置を示す位置情報を当該移動局から受信し、これを記憶部67に記憶する。これにより、基地局65は、そのセル内に属する各移動局の位置情報をデータベースとして保持する。
The
自車両40(1)における表示装置1の制御部11は、外部通信部12から画像取得要求を送信する際、自車両40(1)に搭載されているGPS装置43から取得される自車両40(1)の位置情報に関連づけて画像取得要求を送信する。この画像取得要求が通信網60の基地局65に受信されると、基地局65のデータ処理部66は、記憶部67に記憶されているデータベースを参照し、受信した画像取得要求に関連づけられた自車両40(1)の位置情報から、自車両40(1)の前方エリア内の位置情報をもつ移動局(先行車両40(2))を特定する。そして、データ処理部66は、特定した移動局すなわち先行車両40(2)の外部通信部52へ自車両40(1)からの画像取得要求を送信する。そして、この画像取得要求を受信した先行車両40(2)の制御部51は、その応答として、カメラ50の撮像部53により撮像した先行車両撮像画像を、先行車両40(2)に搭載されているGPS装置43から取得される先行車両40(2)の位置情報に関連づけて、外部通信部52から送信する処理を実行する。
When the
このように基地局65がローカルデータセンターとして機能することで、同じセル内に属する移動局間における通信については、通信網60のコアネットワーク62を用いずに実現でき、通信網60のコアネットワーク62側の通信トラフィックや処理負荷を軽減することができる。したがって、本実施形態において、自車両40(1)と先行車両40(2)との間で行われる通信は、通信網60のコアネットワーク62側に通信トラフィックや処理負荷をかけることなく、実現することができる。
As the
自車両40(1)の制御部11は、外部通信部12から先行車両撮像画像を先行車両40(2)の位置情報に関連づけて受信すると(S3)、先行車両撮像画像の視点を変換する視点変換処理を行う(S4)。この視点変換処理では、先行車両40(2)の撮像部53で撮像した先行車両撮像画像の視点位置を、自車両40(1)のフロントガラス42を通じて視認される運転者Pの視点位置に変換する。この視点変換処理により、先行車両40(2)の視界を映し出す先行車両撮像画像を、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。
When the
例えば、先行車両40(2)の位置情報と自車両40(1)の位置情報とから、先行車両40(2)の撮像部53の視点位置(先行車両撮像画像の視点位置)と自車両40(1)の視点位置(運転者Pの視点位置)との位置関係を特定できる。よって、その位置関係に応じた視点変換パラメータを用いて、先行車両撮像画像の画像中心変更や画像拡大などを行い、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。より詳細な位置関係を特定する場合には、先行車両40(2)の位置情報だけでなく、先行車両40(2)の車両データや撮像部53の設定情報(撮像部53の設置高さや撮像方向のデータなど)、自車両40(1)の車両データや自車両40(1)の運転者Pの視点位置情報などを取得し、これらの情報も用いて視点変換処理を実行してもよい。
For example, from the position information of the preceding vehicle 40 (2) and the position information of the own vehicle 40 (1), the viewpoint position of the
また、視点変換処理は、このような位置情報を用いずに行うことも可能である。例えば、自車両40(1)に搭載の撮像部16で撮像した自車両撮像画像を、先行車両40(2)から受信した先行車両撮像画像と対比し、両画像に映し出されている被写体のマッチング処理を行う。そして、マッチングした被写体の相対位置関係を特定し、その相対位置関係に応じた視点変換パラメータを用いて、先行車両撮像画像の画像中心変更や画像拡大などを行い、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。
The viewpoint conversion process can also be performed without using such position information. For example, the subject vehicle captured image captured by the
次に、自車両40(1)の制御部11は、視点変換処理後の先行車両撮像画像から、先行車両40(2)による自車両40(1)の死角領域(図8中の斜線部分D)に対応する画像部分を抽出する死角領域抽出処理を行う(S5)。この死角領域抽出処理は、視点変換処理後の先行車両撮像画像(重畳画像)を、HUD20により、図10に示すように、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面(死角領域)に重ねて投射表示する際、死角領域Dではない視界部分(先行車両40(2)の背面以外の視界部分)に先行車両撮像画像が投射表示されないようにするための処理である。
Next, the
死角領域Dではない視界部分に先行車両撮像画像が投射表示されると、死角領域Dではない視界部分において、自車両40(1)の運転者Pが視認できている対象物に先行車両撮像画像が重なってしまい、その対象物が見えにくくなってしまう。特に、自車両40(1)のフロントガラス42上の側部領域(フロントガラス42を通じて視認される先行車両40(2)の両側領域)は、歩行者やバイクなどが横からの飛び出してくることを運転者Pが察知するために重要な視界部分である。そのため、自車両40(1)のフロントガラス42上の側部領域については、運転者Pの視認性を確保することが特に重要であり、先行車両撮像画像を非表示にすることが望ましい。
When the preceding vehicle captured image is projected and displayed on the field of view that is not the blind spot area D, the preceding vehicle captured image is displayed on the object that is visible to the driver P of the host vehicle 40 (1) in the field of view that is not the blind spot area D. Will overlap, making it difficult to see the object. In particular, pedestrians, motorcycles, and the like jump out from the side areas on the
本実施形態においては、死角領域抽出処理を行うことで、先行車両40(2)による死角領域Dだけに先行車両撮像画像(重畳画像)が重ねて表示され、その死角領域D以外は先行車両撮像画像(重畳画像)が表示されない。したがって、自車両40(1)のフロントガラス42上の側部領域については、先行車両撮像画像が表示されず、運転者Pの視認性を確保することができる。
In this embodiment, by performing the blind spot area extraction process, the preceding vehicle captured image (superimposed image) is displayed only on the blind spot area D of the preceding vehicle 40 (2). The image (superimposed image) is not displayed. Therefore, the preceding vehicle captured image is not displayed in the side region on the
本実施形態の死角領域抽出処理では、自車両40(1)に搭載の撮像部16によって自車両40(1)の前方を撮像した自車両撮像画像を解析して、自車両40(1)のフロントガラス42を通じて運転者Pに視認される視界中における先行車両40(2)による死角領域Dを特定する。自車両撮像画像は、運転者Pに視認される視界の一部又は全部を含むエリアが映し出されており、図9に示すものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、先行車両40(2)を映し出す画像部分(死角領域Dの画像部分)を特定する。死角領域Dの画像部分を特定する方法については、特に制限はなく、例えば、自車両撮像画像中のエッジ部(輝度変化が大きい部分)を抽出するなどの方法を用いることができる。
In the blind spot area extraction processing according to the present embodiment, the captured image of the host vehicle 40 (1) captured by the
その後、自車両40(1)の制御部11は、表示制御部14を介して、死角領域Dについて抽出した先行車両撮像画像の画像部分を、死角領域視界画像として、HUD20により、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重なるように投射表示する(S6)。これにより、図10に示すように、先行車両40(2)によって死角となっていた信号機45を映し出す先行車両撮像画像の画像部分が、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重ねて投射表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する信号機45を認識することができ、信号機45が赤信号になっていることに気付かずに交差点に自車両40(1)を進入させてしまう事態が抑制される。特に、本実施形態では、運転者Pは、フロントガラス42から視線を外すことなく、死角領域Dに存在する信号機45を認識することができるので、信号機45を迅速に認識することができ、上述した事態をより効果的に抑制することができる。
Thereafter, the
なお、本実施形態では、死角領域抽出処理を実行して、先行車両40(2)による死角領域Dだけに先行車両撮像画像(重畳画像)が重ねて表示しているが、死角領域抽出処理は必ずしも実行する必要はない。例えば、死角領域抽出処理を実行せず、視点変換処理後の先行車両撮像画像を、自車両40(1)のフロントガラス42上の予め決められた領域(横方向中央領域など)に投射表示するようにしてもよい。この場合でも、自車両40(1)のフロントガラス42上の側部領域については、先行車両撮像画像が表示されないので、運転者Pの視認性を確保することができる。
In this embodiment, the blind spot area extraction process is executed, and the preceding vehicle captured image (superimposed image) is displayed only on the blind spot area D of the preceding vehicle 40 (2), but the blind spot area extraction process is performed. It is not always necessary to execute. For example, the blind spot area extraction process is not executed, and the preceding vehicle captured image after the viewpoint conversion process is projected and displayed on a predetermined area (such as a lateral center area) on the
また、本実施形態では、死角領域Dに存在する対象物である信号機45を、視点変換処理後の先行車両撮像画像を投射することにより死角領域Dに重ねて表示したが、対象物を運転者Pに認知させることができる画像であれば、先行車両撮像画像に代えて、予め用意しておいたマーク画像などを死角領域Dに重ねて表示するようにしてもよい。このようなマーク画像を用いることは、先行車両撮像画像を死角領域Dに重ねて投射表示させる場合に対象物の視認性を十分に確保することが困難である場合に有効である。
Further, in the present embodiment, the
具体例としては、例えば、上述した死角領域抽出処理により先行車両撮像画像から抽出した死角領域Dの画像部分内に信号機45が含まれているか否かの識別処理を行い、信号機45が含まれていることを識別したら、その信号機45の色を特定し、その色に対応する信号機のマーク画像を、自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重ねて投射表示する。例えば、赤信号のマーク画像は、図13に示すような信号機のマーク画像45’のように赤信号部分を相対的に拡大するなど、赤信号であることを強調するようなデザインであるのが好ましい。
As a specific example, for example, an identification process is performed to determine whether or not the
また、本実施形態では、死角領域に存在する対象物が信号機45である場合を例に挙げて説明したが、対象物はこれに限らず、運転者を含む搭乗者に視認させることが有益な対象物であれば、人(歩行者等)、軽車両(自転車等)、移動経路周囲の他の構造物(電柱やガードレール等)などであってもよい。例えば、自車両40(1)の直前を走行する先行車両40(2)によって道路脇(路側等)に居る歩行者Wが死角になっている状況においては、先行車両40(2)に搭載されているカメラ50がその歩行者Wを撮像し得る。この場合、その先行車両撮像画像を自車両40(1)が受信することで、図14に示すように、死角領域Dに存在する歩行者Wが自車両40(1)のフロントガラス42を通じて視認される先行車両40(2)の背面に重ねて投射表示される。
Further, in the present embodiment, the case where the object existing in the blind spot area is the
また、本実施形態では、先行車両40(2)に搭載されているカメラ50によって撮像した先行車両撮像画像を自車両40(1)が受信することで、死角領域Dに存在する対象物である信号機45の撮像画像を自車両40(1)が取得するが、その取得方法はこれに限られない。例えば、信号機45を撮像する外部機器である撮像手段としての路側カメラを路側に配置し、その路側カメラによって撮像した路側カメラ撮像画像を通信網60を介して自車両40(1)が受信することで、死角領域Dに存在する対象物である信号機45の撮像画像を自車両40(1)が取得してもよい。
Moreover, in this embodiment, it is the target object which exists in the blind spot area | region D because the own vehicle 40 (1) receives the preceding vehicle captured image imaged with the
また、本実施形態では、自車両40(1)のフロントガラス42(光透過性ウィンドシールド)から視認される自車両外部の視界に重ねて重畳画像を表示する表示手段として、プロジェクタによりフロントガラス42に画像を投射するHUD20を用いているが、これに限られない。例えば、自車両40(1)の前方ウィンドシールド自体を透明又は半透明の透過型ディスプレイ(例えば、透明又は半透明の液晶ディスプレイ)で構成し、透過型ディスプレイ上に重畳画像を表示することで、透過型ディスプレイを通じて視認される自車両外部の視界に重ねて重畳画像を表示するものであってもよい。また、例えば、自車両40(1)のフロントガラス42(光透過性ウィンドシールド)に透過型ディスプレイを重ねて配置し、透過型ディスプレイ上に重畳画像を表示することで、フロントガラス42及び透過型ディスプレイを通じて視認される自車両外部の視界に重ねて重畳画像を表示するものであってもよい。
Further, in the present embodiment, the
〔変形例1〕
次に、本実施形態における一変形例(以下、本変形例を「変形例1」という。)について説明する。
上述した実施形態では、自車両40(1)のフロントガラス42を通じて視認される視界中の死角領域Dに存在する対象物を示す対象物情報が、先行車両40(2)のカメラ50で撮像した先行車両撮像画像のデータであった。しかしながら、他の対象物情報を用いてもよく、例えば、先行車両40(2)に搭載されている超音波センサやレーダーなどの対象物検出手段の検出結果に基づく対象物情報であってもよい。本変形例1では、先行車両40(2)の直前を走行している先々行車両を対象物とし、先行車両40(2)に搭載される超音波センサやレーダーなどの対象物検出手段の検出結果を対象物情報として用いる。
[Modification 1]
Next, a modified example (hereinafter referred to as “modified example 1”) in the present embodiment will be described.
In the above-described embodiment, the object information indicating the object existing in the blind spot area D in the field of view visually recognized through the
図15は、本変形例1において、先行車両40(2)の直前を走行している先々行車両40(3)が急ブレーキをかけて先々行車両40(3)が先行車両40(2)に急接近した例を示す説明図である。
自車両40(1)の直前を走行している先行車両40(2)に搭載されている超音波センサやレーダーなどの対象物検出手段が対象物である先々行車両40(3)の急接近を検出した場合、その検出結果が対象物情報として先行車両40(2)から通信網60を通じて自車両40(1)へ送信される。
FIG. 15 shows that in the first modification, the preceding vehicle 40 (3) traveling immediately before the preceding vehicle 40 (2) suddenly brakes, and the preceding vehicle 40 (3) suddenly strikes the preceding vehicle 40 (2). It is explanatory drawing which shows the example which approached.
The preceding vehicle 40 (3), which is the target, is detected by an object detection means such as an ultrasonic sensor or a radar mounted on the preceding vehicle 40 (2) traveling immediately before the host vehicle 40 (1). If detected, the detection result is transmitted as object information from the preceding vehicle 40 (2) to the host vehicle 40 (1) through the
この対象物情報を受信した自車両40(1)の制御部11は、表示制御部14により、例えば、図16に示すように、先行車両40(2)による死角領域D(先行車両40(2)の背面)に重なるように、先々行車両40(3)の急接近を知らせるマーク画像40(3)’を重畳画像として投射表示する。このマーク画像40(3)’は、ブレーキランプが強調表示された自動車の背面を模式的に表したものである。このようなマーク画像40(3)’が投射表示されることで、自車両40(1)の運転者Pは、先行車両40(2)の前方に位置する死角領域Dの先々行車両40(3)の急接近を迅速かつ直感的に認識することができる。その結果、自車両40(1)のブレーキ操作を行うなどの適切な操作を早期のうちに行うことができる。
The
〔変形例2〕
次に、本実施形態における更に他の変形例(以下、本変形例を「変形例3」という。)について説明する。
上述した実施形態や変形例1では、自車両40(1)のフロントガラス42を通じて視認される視界中の死角領域Dに存在する対象物を示す対象物情報が、先行車両40(2)に搭載されているカメラ50や超音波センサやレーダーなどの対象物検出手段で取得される情報であった。しかしながら、他の対象物情報を用いてもよく、例えば、逆方向移動体である対向車両に搭載されている撮像手段で撮像した対向車両撮像画像のデータであってもよい。本変形例2では、対向車両の前方を横切る歩行者を対象物とし、その対向車両に搭載される撮像手段によって撮像された対向車両撮像画像を対象物情報として用いる。
[Modification 2]
Next, still another modification example of the present embodiment (hereinafter, this modification example is referred to as “Modification Example 3”) will be described.
In the embodiment and the first modification described above, the object information indicating the object existing in the blind spot area D in the field of view visually recognized through the
図17は、本変形例2において、対向車線で渋滞している場合において、第一対向車両40(4)とその前に停止している第二対向車両40(5)との間を通って、歩行者Wが自車両40(1)の走行車線を横切ろうとしている例を示す説明図である。
図18は、本変形例2の表示装置1により対向車両撮像画像を表示してない状態において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界の一例を示す模式図である。
図19は、本変形例2の表示装置1により対向車両撮像画像を表示した状態において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界の一例を示す模式図である。
FIG. 17 shows a case where the traffic is congested in the oncoming lane in the second modification, passing between the first oncoming vehicle 40 (4) and the second oncoming vehicle 40 (5) stopped in front of the first oncoming vehicle 40 (4). It is explanatory drawing which shows the example which the pedestrian W is going to cross the driving | running | working lane of the own vehicle 40 (1).
FIG. 18 shows an example of the field of view in front of the host vehicle that is viewed by the driver P through the
FIG. 19 is a schematic diagram illustrating an example of a field of view in front of the host vehicle that is viewed by the driver P through the
図示の例において、自車両40(1)のフロントガラス42を通じて運転者Pが視認する自車両前方の視界中には、図17に示すように、第二対向車両40(5)による死角領域(図17中の斜線部分D)が存在する。この例では、自車両40(1)の運転者Pは、死角領域Dに存在する対象物としての歩行者Wが第二対向車両40(5)に隠れてしまい、図18に示すように、歩行者Wを視認することができない。そのため、自車両40(1)の運転者Pは、自車両40(1)の走行車線を横切ろうとしている歩行者Wの存在に気付かないまま自車両40(1)を走行させることになり、歩行者Wと接触するおそれがある。
In the illustrated example, as shown in FIG. 17, a blind spot area (second blind vehicle area) (see FIG. 17) in the field of view in front of the host vehicle P viewed by the driver P through the
ここで、第一対向車両40(4)に搭載されている外部機器である撮像手段としてのカメラ50による撮像領域Eには、第二対向車両40(5)による死角領域Dが含まれ、そのカメラ50による撮像画像(対向車両撮像画像)には、自車両40(1)の走行車線を横切ろうとしている歩行者Wが映し出される。なお、第一対向車両40(4)に搭載されるカメラ50の構成や動作は、上述した実施形態における先行車両40(2)に搭載されるカメラ50と同様である。本変形例2においては、第一対向車両40(4)に搭載されているカメラ50によって撮像される対向車両撮像画像を自車両40(1)が受信し、これを重畳画像として、HUD20により、図19に示すように、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(5)の側面(死角領域D)に重ねて投射表示する。
Here, the imaging area E by the
本変形例2において、自車両40(1)における画像処理装置10の制御部11は、外部通信部12から対向車両撮像画像を第一対向車両40(4)の位置情報に関連づけて受信する。その後、制御部11は、対向車両撮像画像の視点を変換する視点変換処理を行う。この視点変換処理では、第一対向車両40(4)のカメラ50の撮像部53で撮像した対向車両撮像画像の視点位置を、自車両40(1)のフロントガラス42を通じて視認される運転者Pの視点位置に変換する。この視点変換処理により、第一対向車両40(4)の視界を映し出す対向車両撮像画像を、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。
In the second modification, the
例えば、第一対向車両40(4)の位置情報と自車両40(1)の位置情報とから、第一対向車両40(4)の撮像部53の視点位置(対向車両撮像画像の視点位置)と自車両40(1)の視点位置(運転者Pの視点位置)との位置関係を特定できる。よって、その位置関係に応じた視点変換パラメータを用いて、対向車両撮像画像の左右反転、画像中心の変更、画像拡大又は画像縮小などを行い、自車両40(1)の運転者Pから見える視界を映し出す画像へと変換する。より詳細な位置関係を特定する場合には、上述した実施形態と同様、第一対向車両40(4)の位置情報だけでなく、第一対向車両40(4)の車両データや撮像部53の設定情報(撮像部53の設置高さや撮像方向のデータなど)、自車両40(1)の車両データや自車両40(1)の運転者Pの視点位置情報などを取得し、これらの情報も用いて視点変換処理を実行してもよい。また、視点変換処理を、このような位置情報を用いずに行うことも可能である点は、上述した実施形態と同様である。
For example, from the position information of the first oncoming vehicle 40 (4) and the position information of the host vehicle 40 (1), the viewpoint position of the
次に、自車両40(1)の制御部11は、視点変換処理後の対向車両撮像画像から、第二対向車両40(5)による自車両40(1)の死角領域(図17中の斜線部分D)に対応する画像部分を抽出する死角領域抽出処理を行う。この死角領域抽出処理は、視点変換処理後の対向車両撮像画像(重畳画像)を、HUD20により、図19に示すように、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(5)の側面(死角領域)に重ねて投射表示する際、死角領域Dではない視界部分(第二対向車両40(5)の側面以外の視界部分)に対向車両撮像画像が投射表示されないようにするための処理である。
Next, the
本変形例2の死角領域抽出処理は、上述した実施形態と同様、自車両40(1)に搭載の撮像部16によって自車両40(1)の前方を撮像した自車両撮像画像を解析して、自車両40(1)のフロントガラス42を通じて運転者Pに視認される視界中における第二対向車両40(5)による死角領域Dを特定する。自車両撮像画像は、運転者Pに視認される視界の一部又は全部を含むエリアが映し出されており、図18に示すものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、第二対向車両40(5)を映し出す画像部分(死角領域Dの画像部分)を特定する。
The blind spot area extraction process of the second modification is performed by analyzing a captured image of the host vehicle 40 (1) captured by the
その後、自車両40(1)の制御部11は、表示制御部14を介して、死角領域Dについて抽出した対向車両撮像画像の画像部分を、死角領域視界画像として、HUD20により、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(5)の側面に重なるように投射表示する。これにより、図19に示すように、第二対向車両40(5)によって死角となっていた歩行者Wを映し出す対向車両撮像画像の画像部分が、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(5)の側面に重ねて投射表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する歩行者Wを認識することができ、歩行者Wの存在に気付かずに自車両40(1)を走行させる事態が抑制される。
Thereafter, the
〔変形例3〕
次に、本実施形態における更に他の変形例(以下、本変形例を「変形例3」という。)について説明する。
上述した実施形態や変形例1、2では、自車両40(1)のフロントガラス42を通じて視認される自車両前方の死角領域Dに存在する信号機45、先々行車両40(3)、歩行者W等の対象物を示す重畳画像を、フロントガラス42を通じて視認される視界中の死角領域Dに重ねて表示する例であった。しかしながら、フロントガラス42のような前方のウィンドシールドに限らず、例えば、自車両40(1)のドアウィンドウ等の他のウィンドシールドを通じて視認される視界に重ねて、死角領域に存在する対象物を示す重畳画像を表示するようにしてもよい。
[Modification 3]
Next, still another modification example of the present embodiment (hereinafter, this modification example is referred to as “Modification Example 3”) will be described.
In the above-described embodiment and
図20は、本変形例3において、片側三車線の道路において、左車線の自車両40(1)と、中央車線の側方車両40(6)と、右車線の側々方車両40(7)とが併走している例を示す説明図である。
図示の例において、自車両40(1)の右側ドアウィンドウを通じて運転者Pが視認する自車両右側方の視界中には、図20に示すように、側方車両40(6)による死角領域(図20中の斜線部分D)が存在する。この例では、自車両40(1)の運転者Pは、死角領域Dに存在する対象物としての側々方車両40(7)が側方車両40(6)に隠れてしまい、側々方車両40(7)を視認することができない。そのため、自車両40(1)の運転者Pは、側々方車両40(7)の存在に気付かないまま、例えば、左車線から側方車両40(6)の前方の中央車線へ車線変更する場合がある。その場合、右車線を走行する側々方車両40(7)も側方車両40(6)の前方の中央車線へ車線変更しようとしていたときには、側々方車両40(7)と接触するおそれがある。
FIG. 20 shows a left side lane own vehicle 40 (1), a center lane side vehicle 40 (6), and a right side lane side vehicle 40 (7) on the one side three lane road. It is explanatory drawing which shows the example which is running in parallel.
In the illustrated example, as shown in FIG. 20, a blind spot area (by a side vehicle 40 (6)) in the right side view of the host vehicle 40 (1) viewed by the driver P through the right door window of the host vehicle 40 (1). A hatched portion D) in FIG. 20 exists. In this example, the driver P of the host vehicle 40 (1) has the side vehicle 40 (7) as an object existing in the blind spot area D hidden by the side vehicle 40 (6), and the driver The vehicle 40 (7) cannot be visually recognized. Therefore, the driver P of the host vehicle 40 (1) changes the lane from the left lane to the central lane ahead of the side vehicle 40 (6), for example, without noticing the presence of the side vehicle 40 (7). There is a case. In that case, when the side vehicle 40 (7) traveling in the right lane is also about to change the lane to the center lane ahead of the side vehicle 40 (6), there is a possibility that the side vehicle 40 (7) may come into contact with the side vehicle 40 (7). is there.
本変形例3では、自車両40(1)のドアウィンドウを通じて視認される自車両側方の視界に重ねて、自車両側方の死角領域Dに存在する側々方車両40(7)を示す重畳画像を表示する。これにより、自車両40(1)の運転者Pは、左車線から側方車両40(6)の前方の中央車線へ車線変更する際に、側々方車両40(7)の存在を認識することができ、適切な操作を行うことが可能となる。 In the third modification, the side vehicle 40 (7) existing in the blind spot area D on the side of the host vehicle is shown superimposed on the field of view on the side of the host vehicle viewed through the door window of the host vehicle 40 (1). Display a superimposed image. Accordingly, the driver P of the host vehicle 40 (1) recognizes the presence of the side vehicle 40 (7) when changing the lane from the left lane to the central lane ahead of the side vehicle 40 (6). And appropriate operations can be performed.
なお、本変形例3において、自車両40(1)のドアウィンドウを通じて視認される自車両側方の視界に重ねて、自車両側方の死角領域に存在する対象物を示す重畳画像を表示する方法も、フロントガラス42に重畳画像を表示する方法と同様の方法を用いることができる。また、自車両側方の死角領域Dに存在する側々方車両40(7)を示す対象物情報も、フロントガラス42に重畳画像を表示する方法と同様、側方車両40(6)に搭載されるカメラ50の撮像画像や、側方車両40(6)に搭載される超音波センサやレーダーなどの対象物検出手段の検出結果を用いることができる。
Note that, in the third modification, a superimposed image indicating the object existing in the blind spot area on the side of the host vehicle is displayed so as to be superimposed on the field of view on the side of the host vehicle viewed through the door window of the host vehicle 40 (1). As the method, a method similar to the method of displaying the superimposed image on the
また、本変形例3では、前方ウィンドシールドとは別のウィンドシールドを通じて視認される視界に重ねて重畳画像を表示する例として、別のウィンドシールドがドアウィンドウである例を挙げたが、例えば、後方ウィンドシールドであってもよい。 In the third modification, as an example of displaying a superimposed image on a field of view visually recognized through a windshield different from the front windshield, an example in which another windshield is a door window is given. It may be a rear windshield.
具体例を挙げて説明すると、図21は、片側二車線の道路において、左車線を走行する自車両40(1)の斜め後方を同方向へ移動する同方向移動体としての側方車両40(6)が右車線を走行し、その側方車両40(6)の後方をバイクBが走行している状況の例である。この状況において、後方ウィンドシールド47を通じて視認される視界中には、側方車両40(6)による死角領域(図21中の斜線部分D)が存在する。この例では、自車両40(1)の運転者Pがルームミラー46に映し出される後方ウィンドシールド47を通じて視認する視界では、死角領域Dに存在する対象物としてのバイクBが側方車両40(6)に隠れてしまい、バイクBを視認することができない。そのため、自車両40(1)の運転者Pは、例えば、そのバイクBが自車両40(1)の前方に急な車線変更をしたとき、そのバイクBを事前に察知できていないため、自車両40(1)の操作を誤るおそれがある。
To explain with a specific example, FIG. 21 shows a side vehicle 40 (as a unidirectional moving body moving in the same direction on the one-lane two-lane road moving diagonally behind the host vehicle 40 (1) traveling in the left lane. 6) is an example of a situation where the motorcycle B is traveling in the right lane and the motorcycle B is traveling behind the side vehicle 40 (6). In this situation, in the field of view visually recognized through the
このような状況において、図22に示すように、自車両40(1)の後方ウィンドシールド47を通じて視認される自車両後方の視界に重ねて、自車両後方の死角領域Dに存在するバイクBを示す重畳画像を表示する。このような重畳画像は、例えば、側方車両40(6)に搭載されたカメラ50によって側方車両40(6)の後方を撮像した側方車両撮像画像を自車両40(1)で取得することにより得ることができる。このようなバイクBを示す重畳画像を、後方ウィンドシールド47を通じて視認される自車両後方の視界中の側方車両40(6)の側面に重ねて表示することにより、自車両40(1)の運転者Pは、例えば、バイクBが自車両40(1)の前方に急な車線変更をしたときでも、そのバイクBを事前に察知することが可能であり、自車両40(1)の操作を適切に行うことが可能となる。
In such a situation, as shown in FIG. 22, the motorcycle B existing in the blind spot area D behind the host vehicle is superimposed on the field of view behind the host vehicle that is visually recognized through the
自車両後方の死角領域Dに存在するバイクBを示す撮像画像(対象物情報)は、上述した方法(側方車両40(6)に搭載された後方カメラで撮像し、その側方車両撮像画像を自車両40(1)で取得する方法)に限られない。例えば、自車両40(1)の前方を走行する先行車両に搭載された後方カメラにより死角領域DのバイクBを撮像できる場合には、その後方カメラで撮像した先行車両撮像画像を自車両40(1)で取得してもよい。また、例えば、自車両40(1)の後方を走行する後行車両に搭載された前方カメラにより死角領域DのバイクBを撮像できる場合には、その前方カメラで撮像した後行車両撮像画像を自車両40(1)で取得してもよい。また、例えば、バイクBの後方で同方向に右車線を走行する別の側方車両に搭載された前方カメラにより死角領域DのバイクBを撮像できる場合には、その前方カメラで撮像した当該別の側方車両の撮像画像を自車両40(1)で取得してもよい。また、例えば、対向車線を走行する対向車両に搭載された前方カメラ又は後方カメラにより死角領域DのバイクBを撮像できる場合には、その前方カメラや後方カメラで撮像した対向車両撮像画像を自車両40(1)で取得してもよい。また、路側に設置された路側カメラにより死角領域DのバイクBを撮像できる場合には、その路側カメラで撮像した路側カメラ撮像画像を自車両40(1)で取得してもよい。
なお、ここで例示した対象物情報の取得方法は、自車両後方の死角領域Dに存在するバイクBに限らず、他の対象物についての対象物情報を取得する方法としても適用できる。
The captured image (object information) indicating the motorcycle B present in the blind spot area D behind the host vehicle is captured by the above-described method (the rear camera mounted on the side vehicle 40 (6)), and the side vehicle captured image is captured. Is not limited to the vehicle 40 (1). For example, when the motorcycle B in the blind spot area D can be captured by a rear camera mounted on a preceding vehicle traveling in front of the host vehicle 40 (1), the preceding vehicle captured image captured by the rear camera is captured by the host vehicle 40 ( You may acquire by 1). Further, for example, when the motorcycle B in the blind spot area D can be imaged by the front camera mounted on the following vehicle traveling behind the host vehicle 40 (1), the following vehicle image captured by the front camera is captured. You may acquire with the own vehicle 40 (1). Further, for example, when the motorcycle B in the blind spot area D can be imaged by a front camera mounted on another side vehicle traveling in the right lane in the same direction behind the motorcycle B, the other image captured by the front camera is used. A captured image of the side vehicle may be acquired by the host vehicle 40 (1). Further, for example, when the motorcycle B in the blind spot area D can be imaged by the front camera or the rear camera mounted on the oncoming vehicle traveling in the oncoming lane, the oncoming vehicle captured image captured by the front camera or the rear camera is captured. You may acquire by 40 (1). Further, when the motorcycle B in the blind spot area D can be captured by the roadside camera installed on the roadside, the roadside camera captured image captured by the roadside camera may be acquired by the own vehicle 40 (1).
Note that the object information acquisition method exemplified here is not limited to the motorcycle B existing in the blind spot area D behind the host vehicle, and can also be applied as a method of acquiring object information about other objects.
〔変形例4〕
次に、本実施形態における更に他の変形例(以下、本変形例を「変形例4」という。)について説明する。
上述した実施形態や変形例1〜3における表示手段は、フロントガラス42やドアウィンドウなどの光透過性ウィンドシールドを通じて視認される自車両40(1)の外部の視界に重ねて重畳画像を表示するHUD20であった。しかしながら、自車両40(1)に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両40(1)のウィンドシールド上に表示させるディスプレイ装置を備えている場合には、そのディスプレイ装置を表示手段として用い、視界画像に重畳画像を重ねた合成画像を生成して、その合成画像をウィンドシールド上に表示するようにしてもよい。
[Modification 4]
Next, still another modification example of the present embodiment (hereinafter, this modification example will be referred to as “Modification Example 4”) will be described.
The display means in the embodiment and the first to third modifications described above displays a superimposed image superimposed on a field of view outside the host vehicle 40 (1) viewed through a light transmissive windshield such as the
図23は、本変形例4における表示装置1で用いる表示手段としてのディスプレイ装置120の構成を示す説明図である。
本変形例4の表示装置1は、画像処理装置10とディスプレイ装置120とに大別することができる。画像処理装置10は、上述した実施形態と同様の構成及び動作でよい。自車両40(1)の前方ウィンドシールドは、上述した実施形態では光透過性を有するフロントガラス42であったが、本変形例4では、光不透過性の板状部材で構成されている。ディスプレイ装置120は、主に、この光不透過性である前方ウィンドシールド42’の内壁面に配置される表示画面121と、表示画面121に表示させる画像を生成する画像合成部122とから構成される。
FIG. 23 is an explanatory diagram illustrating a configuration of the
The
ディスプレイ装置120は、自車両40(1)の前方を撮像する撮像部16から送られてくる自車両撮像画像が画像合成部122に入力されると、撮像部16で撮像した自車両撮像画像(自車両前方を撮像した画像)の視点位置を、自車両40(1)の運転者Pの視点位置に変換する視点変換処理を行い、視点変換処理後の自車両撮像画像(視界画像)を表示画面121へ出力する。これにより、前方ウィンドシールド42’上の表示画面121には、運転者Pがあたかも前方ウィンドシールド42’を透過して自車両40(1)の前方を視認しているのと同等の視界画像が、リアルタイム表示される。すなわち、本変形例4では、運転者Pは、前方ウィンドシールド42’上の表示画面121に表示される視界画像によって自車両40(1)の前方の視界を得ながら、自車両40(1)の操縦を行う。
When the host vehicle captured image sent from the
本変形例4において、表示画面121に表示させる画像を生成する画像合成部122には、画像処理装置10の画像生成部13からの重畳画像が入力される。この画像生成部13で生成される重畳画像は、上述した実施形態や変形例1などと同様のものを用いることができる。例えば、上述した実施形態のように、先行車両40(2)のカメラ50によって撮像した先行車両撮像画像を自車両40(1)で受信し、視点変換処理や死角領域抽出処理等を施した先行車両撮像画像(死角領域D内の信号機45を撮像した画像)を、画像処理装置10からディスプレイ装置120の画像合成部122へ入力する。また、上述した変形例1のように、先行車両40(2)に搭載されている超音波センサやレーダーなどの対象物検出手段が先々行車両40(3)の急接近を検出した結果に応じたマーク画像(ブレーキランプが強調表示された自動車の背面を模式的に表した画像)を、画像処理装置10からディスプレイ装置120の画像合成部122へ入力する。
In the fourth modification, the superimposed image from the
ディスプレイ装置120の画像合成部122は、画像処理装置10から入力された重畳画像を、前方ウィンドシールド42’上の表示画面121に表示される視界画像に重ねた合成画像を生成し、その合成画像を表示画面121へ出力する。これにより、画像処理装置10から入力された重畳画像(信号機45を映し出す先行車両撮像画像や、先々行車両40(3)の急接近を知らせるマーク画像)が、自車両40(1)の前方ウィンドシールド42’上の表示画面121に表示される視界画像に映し出されている先行車両40(2)の背面画像部分に重ねて表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する信号機45や先々行車両40(3)を認識することができ、信号機45が赤信号になっていることに気付かずに交差点に自車両40(1)を進入させてしまう事態が抑制され、また、先々行車両40(3)の急ブレーキによる対応を迅速に行うことができる。
The
上述した実施形態では、自車両40(1)の前方の視界を、光透過性のフロントガラス42を通じて直接視認する構成であったため、運転者Pに提供される自車両前方の視界の内容を変更することはできない。これに対し、本変形例4においては、自車両40(1)の前方の視界を、光不透過性のウィンドシールド42’上の表示画面121に表示される視界画像によって運転者Pに提供する構成であるため、視界画像を画像処理することにより、自車両前方の視界の内容を変更した状態で運転者Pに提供することが可能である。
In the above-described embodiment, the field of view in front of the host vehicle 40 (1) is directly viewed through the light-transmitting
そこで、本変形例4においては、自車両前方の視界を映し出す視界画像(自車両撮像画像を視点変換処理したもの)を画像処理したものに、画像処理装置10から入力された重畳画像を重ねた合成画像を生成する。具体的には、画像合成部122は、自車両前方の視界を映し出す視界画像のレイヤーの下に、画像処理装置10から入力された重畳画像のレイヤーを重ねるとともに、視界画像レイヤーにおける先行車両40(2)の背面画像部分(死角領域Dに対応する画像部分)を半透明にして、重畳画像レイヤー上の対応する画像部分が先行車両40(2)の背面画像部分を透けて視認できる合成画像を生成する。
Therefore, in the fourth modification, the superimposed image input from the
これにより、例えば、図24に示すように、先行車両40(2)によって死角となっていた信号機45を映し出す先行車両撮像画像の画像部分が先行車両40(2)の背面画像部分(半透明状態)を透過した状態の合成画像が、自車両40(1)の前方ウィンドシールド42’上の表示画面121に表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する信号機45を認識することができ、信号機45が赤信号になっていることに気付かずに交差点に自車両40(1)を進入させてしまう事態が抑制される。
Thus, for example, as shown in FIG. 24, the image portion of the preceding vehicle captured image that displays the
なお、本変形例4では、自車両40(1)に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両40(1)のウィンドシールド上に表示させる表示手段として、自車両40(1)の光不透過性の前方ウィンドシールド42’上に表示画面121が配置されたディスプレイ装置120を用いているが、これに限られない。例えば、自車両40(1)の光不透過性の前方ウィンドシールド42’の内壁面にプロジェクタによって視界画像を投射するHUDを用いてもよい。また、例えば、自車両40(1)の前方ウィンドシールド自体をディスプレイ装置で構成してもよい。そのディスプレイ装置としては、例えば、透明又は半透明の透過型ディスプレイを採用してもよく、この場合、視界画像に重畳画像を重ねた合成画像を表示しない時期には、透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。また、例えば、自車両40(1)のフロントガラス42(光透過性ウィンドシールド)に透過型ディスプレイを重ねて配置した構成を採用してもよく、この場合も、視界画像に重畳画像を重ねた合成画像を表示しない時期には、フロントガラス42及び透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。
In addition, in this
〔変形例5〕
次に、本実施形態における更に他の変形例(以下、本変形例を「変形例5」という。)について説明する。
上述した実施形態や変形例1〜4においては、死角領域Dに存在する対象物を示す対象物情報が、先行車両40(2)や第一対向車両40(4)のカメラ50で撮像した先行車両撮像画像のデータや超音波センサやレーダーなどの対象物検出手段で取得される情報であった。しかしながら、他の対象物情報を用いてもよく、例えば、対象物本体に配置されている外部機器としての携帯電話機が取得する対象物の位置情報を対象物情報として用いてもよい。本変形例5では、対象物である歩行者Wが所持している携帯電話機から送信される当該携帯電話機の位置情報を対象物情報として用いる。
[Modification 5]
Next, still another modified example (hereinafter, this modified example is referred to as “modified example 5”) in the present embodiment will be described.
In the embodiment and the first to fourth modifications described above, the object information indicating the object existing in the blind spot area D is captured by the
本変形例5においては、上述した変形例2と同様、図17に示したように、対向車線で渋滞している場合において、第一対向車両40(4)とその前に停止している第二対向車両40(5)との間を通って、歩行者Wが自車両40(1)の走行車線を横切ろうとしている例である。本変形例5では、対象物である歩行者Wが所持している携帯電話機から送信される当該携帯電話機の位置情報を対象物情報として自車両40(1)が受信し、その歩行者Wの位置が死角領域D内であるときに、図26に示すように、歩行者の存在を示す歩行者マーク画像W’を重畳画像として、HUD20により、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(5)の側面(死角領域D)に重ねて投射表示する。この歩行者マーク画像W’は、運転者Pが歩行者Wの存在に気付きやすいように強調されたデザインであるのが好ましい。
In the fifth modification, as in the second modification described above, as shown in FIG. 17, when there is a traffic jam in the oncoming lane, the first oncoming vehicle 40 (4) and the first vehicle that has stopped before it are stopped. This is an example in which the pedestrian W is about to cross the traveling lane of the host vehicle 40 (1) through the space between the two oncoming vehicles 40 (5). In the fifth modification, the host vehicle 40 (1) receives the position information of the mobile phone transmitted from the mobile phone possessed by the pedestrian W that is the object as the object information, and the pedestrian W When the position is in the blind spot area D, as shown in FIG. 26, the pedestrian mark image W ′ indicating the presence of a pedestrian is visually recognized by the
図25は、本変形例5の表示処理の流れを示すシーケンス図である。
歩行者Wが所持している携帯電話機は、GPS装置を備えており、上述したように、ローカルデータセンターとして機能する通信網60の基地局65に対し、当該携帯電話機の現在位置を示す位置情報を送信する(S11)。これを受信した基地局65は、当該携帯電話機の位置情報を記憶部67に記憶する。これにより、基地局65の位置情報データベースに、歩行者Wが所持している携帯電話機の位置情報すなわち歩行者Wの現在位置が登録される(S12)。自車両40(1)の位置情報についても、基地局65の位置情報データベースに登録される。
FIG. 25 is a sequence diagram illustrating the flow of display processing according to the fifth modification.
The mobile phone possessed by the pedestrian W has a GPS device, and as described above, the location information indicating the current location of the mobile phone with respect to the
一方、自車両40(1)における表示装置1の制御部11は、外部通信部12から歩行者報知情報の取得要求を送信する(S13)。このとき、自車両40(1)に搭載されているGPS装置43から取得される自車両40(1)の位置情報に関連づけて取得要求を送信する。この取得要求が通信網60の基地局65に受信されると、基地局65のデータ処理部66は、記憶部67に記憶されている位置情報データベースを参照し、受信した取得要求に関連づけられた自車両40(1)の位置情報から、自車両40(1)の前方エリア内の位置情報をもつ移動局(歩行者Wの携帯電話機)が存在するか否かを判断する(S14)。自車両40(1)の前方エリア内の位置情報をもつ移動局(歩行者Wの携帯電話機)が存在する場合、基地局65のデータ処理部66は、歩行者報知条件を満たす判断し、その携帯電話機の位置情報(すなわち歩行者Wの位置情報)を含む歩行者報知情報を、自車両40(1)へ送信する。
On the other hand, the
自車両40(1)の制御部11は、外部通信部12から歩行者報知情報を受信すると(S15)、その歩行者報知情報に含まれる歩行者Wの位置情報に基づき、歩行者Wが死角領域D内に存在するか否かを判断する(S16)。この判断は、例えば、次のようにして行うことができる。自車両40(1)に搭載の撮像部16によって自車両40(1)の前方を撮像した自車両撮像画像を解析して、自車両40(1)のフロントガラス42を通じて運転者Pに視認される視界中における先行車両40(2)による死角領域Dを特定する。自車両撮像画像は、運転者Pに視認される視界の一部又は全部を含むエリアが映し出されており、図18に示したものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、第二対向車両40(5)を映し出す画像部分(死角領域Dの画像部分)を特定する。その後、死角領域Dの画像部分に対応する自車両前方の実範囲を算出し、歩行者Wの位置がその実範囲内に属しているか否かを判断する。
When the
歩行者Wが死角領域D内に存在すると判断した場合、自車両40(1)の制御部11は、表示制御部14を介して、自車両40(1)のフロントガラス42を通じて視認される歩行者Wの位置、すなわち、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(5)の側面に、歩行者マーク画像W’が重なるように、死角領域視界画像としてHUD20により投射表示する(S17)。これにより、図26に示すように、第二対向車両40(5)によって死角となっていた歩行者Wを示す歩行者マーク画像W’が、自車両40(1)のフロントガラス42を通じて視認される第二対向車両40(5)の側面に重ねて投射表示される。その結果、自車両40(1)の運転者Pは、死角領域Dに存在する歩行者Wを認識することができ、歩行者Wの存在に気付かずに自車両40(1)を走行させる事態が抑制される。
If it is determined that the pedestrian W is present in the blind spot area D, the
なお、本明細書で説明された表示装置、移動体及び表示システムの構成要素あるいは処理工程は、様々な手段によって実装することができる。例えば、これらの構成要素や処理工程は、ハードウェア、ファームウェア、ソフトウェア、又は、それらの組み合わせで実装されてもよく、例えば、後述のハードウェアに所定のプログラムが読み込まれて実行されたり、後述のハードウェアに予め組み込まれた所定のプログラムが実行されたりすることにより、実現される。 Note that the components or processing steps of the display device, the moving body, and the display system described in this specification can be implemented by various means. For example, these components and processing steps may be implemented by hardware, firmware, software, or a combination thereof. For example, a predetermined program is read and executed by hardware described later, or is described later. This is realized by executing a predetermined program incorporated in advance in hardware.
ハードウェア実装については、実体(例えば、各種無線通信装置、Node B、端末、ハードディスクドライブ装置、又は、光ディスクドライブ装置)において構成要素や処理工程を実現するために用いられる処理ユニット等の手段は、1つ又は複数の、特定用途向けIC(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラマブル・ロジック・デバイス(PLD)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するようにデザインされた他の電子ユニット、コンピュータ、又は、それらの組み合わせの中に実装されてもよい。 For hardware implementation, means such as processing units used to realize components and processing steps in an entity (for example, various wireless communication devices, Node Bs, terminals, hard disk drive devices, or optical disk drive devices) One or more application specific IC (ASIC), digital signal processor (DSP), digital signal processor (DSPD), programmable logic device (PLD), field programmable gate array (FPGA), processor , A controller, a microcontroller, a microprocessor, an electronic device, other electronic units designed to perform the functions described herein, a computer, or a combination thereof.
また、ファームウェア及び/又はソフトウェア実装については、上記構成要素を実現するために用いられる処理ユニット等の手段は、本明細書で説明された機能を実行するプログラム(例えば、プロシージャ、関数、モジュール、インストラクション、などのコード)で実装されてもよい。一般に、ファームウェア及び/又はソフトウェアのコードを明確に具体化する任意のコンピュータ/プロセッサ読み取り可能な媒体が、本明細書で説明された上記処理工程及び構成要素を実現するために用いられる処理ユニット等の手段の実装に利用されてもよい。例えば、ファームウェア及び/又はソフトウェアコードは、例えば制御装置において、メモリに記憶され、コンピュータやプロセッサにより実行されてもよい。そのメモリは、コンピュータやプロセッサの内部に実装されてもよいし、又は、プロセッサの外部に実装されてもよい。また、ファームウェア及び/又はソフトウェアコードは、例えば、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、プログラマブルリードオンリーメモリ(PROM)、電気的消去可能PROM(EEPROM)、FLASHメモリ、フロッピー(登録商標)ディスク、コンパクトディスク(CD)、デジタルバーサタイルディスク(DVD)、磁気又は光データ記憶装置、などのような、コンピュータやプロセッサで読み取り可能な媒体に記憶されてもよい。そのコードは、1又は複数のコンピュータやプロセッサにより実行されてもよく、また、コンピュータやプロセッサに、本明細書で説明された機能性のある態様を実行させてもよい。 Also, for firmware and / or software implementation, means such as processing units used to implement the above components may be programs (eg, procedures, functions, modules, instructions) that perform the functions described herein. , Etc.). In general, any computer / processor readable medium that specifically embodies firmware and / or software code may be used, such as a processing unit used to implement the processing steps and components described herein. It may be used to implement the means. For example, the firmware and / or software code may be stored in a memory, for example, in a control device, and executed by a computer or processor. The memory may be implemented inside the computer or processor, or may be implemented outside the processor. The firmware and / or software code may be, for example, random access memory (RAM), read only memory (ROM), nonvolatile random access memory (NVRAM), programmable read only memory (PROM), electrically erasable PROM (EEPROM) ), FLASH memory, floppy disk, compact disk (CD), digital versatile disk (DVD), magnetic or optical data storage, etc. Good. The code may be executed by one or more computers or processors, and may cause the computers or processors to perform the functional aspects described herein.
また、本明細書で開示された実施形態の説明は、当業者が本開示を製造又は使用するのを可能にするために提供される。本開示に対するさまざまな修正は当業者には容易に明白になり、本明細書で定義される一般的原理は、本開示の趣旨又は範囲から逸脱することなく、他のバリエーションに適用可能である。それゆえ、本開示は、本明細書で説明される例及びデザインに限定されるものではなく、本明細書で開示された原理及び新規な特徴に合致する最も広い範囲に認められるべきである。 Also, descriptions of embodiments disclosed herein are provided to enable any person skilled in the art to make or use the present disclosure. Various modifications to the present disclosure will be readily apparent to those skilled in the art, and the general principles defined herein may be applied to other variations without departing from the spirit or scope of the disclosure. The present disclosure is therefore not limited to the examples and designs described herein, but should be accorded the widest scope consistent with the principles and novel features disclosed herein.
1 表示装置
10 画像処理装置
11 制御部
12 外部通信部
13 画像生成部
14 表示制御部
15 車内通信部
16 撮像部
20 HUD
40(1) 自車両
40(2) 先行車両
40(3) 先々行車両
40(4) 第一対向車両
40(5) 第二対向車両
40(6) 側方車両
40(7) 側々方車両
42 フロントガラス
42’ ウィンドシールド
43 GPS装置
44 各種車載センサ
45 信号機
50 カメラ
51 制御部
52 外部通信部
53 撮像部
54 車内通信部
60 通信網
65 基地局
66 データ処理部
67 記憶部
68 移動通信部
69 バックホール通信部
120 ディスプレイ装置
121 表示画面
122 画像合成部
D 死角領域
E 撮像領域
P 運転者
W 歩行者
DESCRIPTION OF
40 (1) Own vehicle 40 (2) Preceding vehicle 40 (3) Preceding vehicle 40 (4) First oncoming vehicle 40 (5) Second oncoming vehicle 40 (6) Side vehicle 40 (7)
Claims (16)
前記移動体の外部機器から、前記視界中の死角領域に存在する対象物を示す対象物情報を取得する対象物情報取得手段と、
前記対象物情報取得手段により取得した対象物情報に基づき、前記対象物を示す重畳画像を生成する画像生成手段と、
前記視界中の前記死角領域に重ねて、又は、前記死角領域に対応する前記視界画像中の画像部分に重ねて、前記画像生成手段により生成された重畳画像を表示する表示手段とを有することを特徴とする表示装置。 In a display device that displays a superimposed image overlaid on a field of view outside the moving body viewed from the windshield of the moving body, or overlaid on a view image that reflects the field of view,
Object information acquisition means for acquiring object information indicating an object existing in a blind spot area in the field of view from an external device of the moving body;
Image generating means for generating a superimposed image showing the object based on the object information acquired by the object information acquiring means;
A display unit that displays the superimposed image generated by the image generation unit so as to be superimposed on the blind spot area in the field of view or on an image portion in the view field image corresponding to the blind spot area. Characteristic display device.
前記外部機器は、撮像手段であり、
前記対象物情報は、前記撮像手段により前記死角領域内の前記対象物を撮像して得られる撮像画像を含むことを特徴とする表示装置。 The display device according to claim 1.
The external device is imaging means,
The display device according to claim 1, wherein the object information includes a captured image obtained by imaging the object in the blind spot area by the imaging unit.
前記画像生成手段は、前記対象物情報取得手段により取得した撮像画像に基づき、前記ウィンドシールドから視認されるときに死角となる視界部分を映し出す死角領域視界画像を、前記重畳画像として生成することを特徴とする表示装置。 The display device according to claim 2.
The image generation means generates, as the superimposed image, a blind spot area visual field image that displays a visual field portion that becomes a blind spot when viewed from the windshield based on the captured image acquired by the object information acquisition means. Characteristic display device.
前記表示手段は、前記視界中の前記死角領域に重ならない重畳画像部分、又は、前記死角領域に対応する前記視界画像中の画像部分に重ならない重畳画像部分を、非表示にすることを特徴とする表示装置。 The display device according to any one of claims 1 to 3,
The display unit is configured to hide a superimposed image portion that does not overlap the blind spot area in the field of view or a superimposed image part that does not overlap the image part in the field of view image corresponding to the blind spot area. Display device.
前記ウィンドシールドは、前記移動体の前方ウィンドシールドであり、
前記表示手段は、前記前方ウィンドシールド上の側部領域から視認される移動体外部の前方視界中の側部に重なる重畳画像部分、又は、該前方視界中の側部を映し出す前記視界画像中の画像部分に重なる重畳画像部分を、非表示にすることを特徴とする表示装置。 The display device according to any one of claims 1 to 4,
The windshield is a front windshield of the moving body,
The display means includes a superimposed image portion that overlaps a side portion in the front field of view outside the moving body that is viewed from a side region on the front windshield, or a side image in the field of view that displays the side portion in the front field of view. A display device characterized by hiding a superimposed image portion overlapping an image portion.
前記対象物情報取得手段は、移動通信網を介して前記対象物情報を前記外部機器から受信して取得するものであることを特徴とする表示装置。 The display device according to any one of claims 1 to 5,
The display device according to claim 1, wherein the object information acquisition means is configured to receive and acquire the object information from the external device via a mobile communication network.
前記対象物情報取得手段は、前記外部機器との間の無線通信により前記対象物情報を受信して取得するものであることを特徴とする表示装置。 The display device according to any one of claims 1 to 5,
The display device according to claim 1, wherein the object information acquisition means receives and acquires the object information through wireless communication with the external device.
前記外部機器は、前記移動体が移動する移動経路の周辺に配置されている機器を含むことを特徴とする表示装置。 The display device according to any one of claims 1 to 7,
The display device according to claim 1, wherein the external device includes a device arranged around a moving path along which the moving body moves.
前記外部機器は、前記移動体とは別の移動体に配置されている機器を含むことを特徴とする表示装置。 The display device according to any one of claims 1 to 8,
The display device according to claim 1, wherein the external device includes a device arranged in a moving body different from the moving body.
前記別の移動体は、前記移動体と同方向へ移動する同方向移動体を含むことを特徴とする表示装置。 The display device according to claim 9.
The another moving body includes a same-direction moving body that moves in the same direction as the moving body.
前記外部機器は、前記対象物に配置されている機器を含み、
前記対象物情報は、前記対象物の位置情報を含むことを特徴とする表示装置。 The display device according to any one of claims 1 to 10,
The external device includes a device arranged on the object,
The display device characterized in that the object information includes position information of the object.
前記表示手段は、前記移動体の光透過性ウィンドシールドから視認される移動体外部の視界に重ねて前記重畳画像を表示するものであることを特徴とする表示装置。 The display device according to any one of claims 1 to 11,
The display device, wherein the display means displays the superimposed image so as to be superimposed on a field of view outside the moving body viewed from a light transmissive windshield of the moving body.
前記表示手段は、前記移動体のウィンドシールド上に、該移動体上の撮像手段によって撮像した前記視界を映し出す視界画像に前記重畳画像を重ねた合成画像を表示するものであることを特徴とする表示装置。 The display device according to any one of claims 1 to 11,
The display means displays on the windshield of the moving body a composite image in which the superimposed image is superimposed on a visual field image showing the visual field captured by the imaging means on the moving body. Display device.
前記表示手段は、所定の非表示条件を満たすときは、前記重畳画像の全体を非表示にすることを特徴とする表示装置。 The display device according to any one of claims 1 to 13,
The display device is configured to hide the entire superimposed image when a predetermined non-display condition is satisfied.
前記表示装置として、請求項1乃至14のいずれかの表示装置を用いたことを特徴とする移動体。 In a moving body provided with a display device that displays a superimposed image superimposed on a field of view outside the moving body viewed from a windshield or superimposed on a field of view image that displays the field of view,
A moving body using the display device according to claim 1 as the display device.
前記視界中の死角領域に存在する対象物を示す対象物情報を発信する外部機器が、前記移動体の外部に設けられた表示システムであって、
前記表示装置として、請求項1乃至14のいずれかの表示装置を用いたことを特徴とする表示システム。 A display device that displays a superimposed image superimposed on a field of view outside the moving body viewed from the windshield of the moving body or on a field of view image that reflects the field of view is provided on the moving body,
An external device that transmits object information indicating an object existing in a blind spot area in the field of view is a display system provided outside the mobile body,
15. A display system using the display device according to claim 1 as the display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017038430A JP6599386B2 (en) | 2017-03-01 | 2017-03-01 | Display device and moving body |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017038430A JP6599386B2 (en) | 2017-03-01 | 2017-03-01 | Display device and moving body |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018147035A true JP2018147035A (en) | 2018-09-20 |
JP6599386B2 JP6599386B2 (en) | 2019-10-30 |
Family
ID=63588812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017038430A Active JP6599386B2 (en) | 2017-03-01 | 2017-03-01 | Display device and moving body |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6599386B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021065971A (en) * | 2019-10-23 | 2021-04-30 | ファナック株式会社 | Robot teaching system, image forming method and program |
JP2021535507A (en) * | 2018-08-30 | 2021-12-16 | ヴァレオ、コンフォート、アンド、ドライビング、アシスタンスValeo Comfort And Driving Assistance | Conditional availability of mixed reality of vehicles |
US11403950B2 (en) | 2020-06-03 | 2022-08-02 | Toyota Jidosha Kabushiki Kaisha | Moving body detection system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004114709A (en) * | 2002-09-20 | 2004-04-15 | Equos Research Co Ltd | On-vehicular image display device |
JP2006215911A (en) * | 2005-02-04 | 2006-08-17 | Sumitomo Electric Ind Ltd | Apparatus, system and method for displaying approaching mobile body |
JP2009070243A (en) * | 2007-09-14 | 2009-04-02 | Denso Corp | Field of vision support system for vehicle, and information distribution device |
JP2010267052A (en) * | 2009-05-14 | 2010-11-25 | Denso Corp | On-vehicle display device |
JP2013120574A (en) * | 2011-12-08 | 2013-06-17 | Daimler Ag | On-vehicle pedestrian alarm device |
US20130181823A1 (en) * | 2010-09-15 | 2013-07-18 | Continental Teve AG & Co., oHG | Visual Driver Information and Warning System for a Driver of a Motor Vehicle |
US20140019005A1 (en) * | 2012-07-10 | 2014-01-16 | Samsung Electronics Co., Ltd. | Transparent display apparatus for displaying information of danger element, and method thereof |
-
2017
- 2017-03-01 JP JP2017038430A patent/JP6599386B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004114709A (en) * | 2002-09-20 | 2004-04-15 | Equos Research Co Ltd | On-vehicular image display device |
JP2006215911A (en) * | 2005-02-04 | 2006-08-17 | Sumitomo Electric Ind Ltd | Apparatus, system and method for displaying approaching mobile body |
JP2009070243A (en) * | 2007-09-14 | 2009-04-02 | Denso Corp | Field of vision support system for vehicle, and information distribution device |
JP2010267052A (en) * | 2009-05-14 | 2010-11-25 | Denso Corp | On-vehicle display device |
US20130181823A1 (en) * | 2010-09-15 | 2013-07-18 | Continental Teve AG & Co., oHG | Visual Driver Information and Warning System for a Driver of a Motor Vehicle |
JP2013120574A (en) * | 2011-12-08 | 2013-06-17 | Daimler Ag | On-vehicle pedestrian alarm device |
US20140019005A1 (en) * | 2012-07-10 | 2014-01-16 | Samsung Electronics Co., Ltd. | Transparent display apparatus for displaying information of danger element, and method thereof |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021535507A (en) * | 2018-08-30 | 2021-12-16 | ヴァレオ、コンフォート、アンド、ドライビング、アシスタンスValeo Comfort And Driving Assistance | Conditional availability of mixed reality of vehicles |
JP7229336B2 (en) | 2018-08-30 | 2023-02-27 | ヴァレオ、コンフォート、アンド、ドライビング、アシスタンス | Conditional Availability of Vehicle Mixed Reality |
JP2021065971A (en) * | 2019-10-23 | 2021-04-30 | ファナック株式会社 | Robot teaching system, image forming method and program |
JP7517803B2 (en) | 2019-10-23 | 2024-07-17 | ファナック株式会社 | ROBOT TEACHING SYSTEM, IMAGE GENERATION METHOD, AND PROGRAM |
US11403950B2 (en) | 2020-06-03 | 2022-08-02 | Toyota Jidosha Kabushiki Kaisha | Moving body detection system |
Also Published As
Publication number | Publication date |
---|---|
JP6599386B2 (en) | 2019-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2700635C1 (en) | Method and device for parking places detection | |
US10176720B2 (en) | Auto driving control system | |
JP6547836B2 (en) | Parking support method and parking support apparatus | |
WO2016186039A1 (en) | Automobile periphery information display system | |
JP4807263B2 (en) | Vehicle display device | |
WO2018105136A1 (en) | Vehicle surrounding information acquisition device and vehicle | |
GB2550262A (en) | Pedestrian detection and motion prediction with rear-facing camera | |
JPWO2018105135A1 (en) | Vehicle peripheral information acquisition device and vehicle | |
JP6798906B2 (en) | Base station equipment and communication system | |
JP5712119B2 (en) | Pedestrian notification device for vehicles | |
CN103171439A (en) | Behavior prediction of robot guiding system | |
JP2017091093A (en) | Information display device | |
JP2006227811A (en) | Driving support apparatus | |
JP6599387B2 (en) | Information notification apparatus, moving body, and information notification system | |
WO2014185042A1 (en) | Driving assistance device | |
US11042154B2 (en) | Transportation equipment and traveling control method therefor | |
JP7006235B2 (en) | Display control device, display control method and vehicle | |
JP6599386B2 (en) | Display device and moving body | |
JP2010198428A (en) | On-vehicle system | |
JP2016162204A (en) | Dirt determination device | |
US20210291736A1 (en) | Display control apparatus, display control method, and computer-readable storage medium storing program | |
JP6555413B2 (en) | Moving object surrounding display method and moving object surrounding display device | |
WO2021251468A1 (en) | Image processing device | |
JP2017007581A (en) | Vehicular safe control apparatus | |
WO2024154271A1 (en) | Driving assistance device, driving assistance method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190201 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6599386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |