JP2018147035A - Display device, mobile body, and display system - Google Patents
Display device, mobile body, and display system Download PDFInfo
- Publication number
- JP2018147035A JP2018147035A JP2017038430A JP2017038430A JP2018147035A JP 2018147035 A JP2018147035 A JP 2018147035A JP 2017038430 A JP2017038430 A JP 2017038430A JP 2017038430 A JP2017038430 A JP 2017038430A JP 2018147035 A JP2018147035 A JP 2018147035A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- display device
- field
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、自動車等の移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置、移動体及び表示システムに関するものである。 The present invention relates to a display device, a moving body, and a display system that display a superimposed image superimposed on a field of view outside a moving body that is visually recognized from a windshield of a moving body such as an automobile, or on a view image that reflects the field of view. It is about.
特許文献１には、車両情報（速度や回転数など）やナビゲーション情報などを示す画像情報を、自車両のフロントガラスを通じて視認される自車両前方の視界に重なるように、自車両のフロントガラスに投影表示するヘッドアップディスプレイが開示されている。
In
特許文献２には、自車両のカメラで自車両前方を撮影して得られる撮像画像中における前方車両によって死角となっている部分に、前方車両のカメラで撮像された画像を重ね合わせ、前方車両を透過した合成画像を生成する車載画像処理装置が開示されている。この車載画像処理装置では、生成した合成画像を、フロントガラスとは別の場所に配置される液晶ディスプレイ等の表示画面に表示させる。
In
前記特許文献１に開示のヘッドアップディスプレイは、自車両に搭載されているセンサやカメラ等の機器によって得られる情報に基づいた画像（重畳画像）を、車両のフロントガラス（光透過性の前方ウィンドシールド）に投影表示するものである。このような自車両に搭載の機器で得られる情報では、自車両のフロントガラスを通じて視認される自車両前方の視界中における死角領域に存在する対象物を把握することはできない。したがって、そのような死角領域に存在する対象物を示す画像を、フロントガラスを通じて視認されるように前記死角領域に重ねて表示することはできない。
The head-up display disclosed in
一方、前記特許文献２に開示の車載画像処理装置は、前方車両のカメラで撮像された画像を自車両で受信することにより、自車両のフロントガラスを通じて視認される自車両前方の視界中における前方車両による死角領域に存在する対象物を把握することが可能である。しかしながら、この車載画像処理装置では、前記合成画像をフロントガラスとは別の場所に配置される液晶ディスプレイ等の表示画面に表示するため、死角領域に存在する対象物を認識するには、フロントガラスとは別の表示画面へ運転者の視線を移させなければならず、死角領域の対象物を運転者に迅速に認識させることが困難である。
On the other hand, the in-vehicle image processing device disclosed in
本発明の一態様に係る表示装置は、移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置において、前記移動体の外部機器から、前記視界中の死角領域に存在する対象物を示す対象物情報を取得する対象物情報取得手段と、前記対象物情報取得手段により取得した対象物情報に基づき、前記対象物を示す重畳画像を生成する画像生成手段と、前記視界中の前記死角領域に重ねて、又は、前記死角領域に対応する前記視界画像中の画像部分に重ねて、前記画像生成手段により生成された重畳画像を表示する表示手段とを有する。 A display device according to an aspect of the present invention is a display device that displays a superimposed image, overlaid on a field of view outside the moving body that is visually recognized from the windshield of the moving body, or overlaid on a view image that reflects the field of view. Based on the object information acquired by the object information acquisition means, the object information acquisition means for acquiring object information indicating the object existing in the blind spot area in the field of view from the external device of the mobile body, Generated by the image generation means for generating a superimposed image showing an object and the image generation means superimposed on the blind spot area in the field of view or on an image portion in the view field image corresponding to the blind spot area. Display means for displaying the superimposed image.
前記表示装置において、前記外部機器は、撮像手段であり、前記対象物情報は、前記撮像手段により前記死角領域内の前記対象物を撮像して得られる撮像画像を含むものであってもよい。
また、前記表示装置において、前記画像生成手段は、前記対象物情報取得手段により取得した撮像画像に基づき、前記ウィンドシールドから視認されるときに死角となる視界部分を映し出す死角領域視界画像を、前記重畳画像として生成するものであってもよい。
また、前記表示装置において、前記表示手段は、前記視界中の前記死角領域に重ならない重畳画像部分、又は、前記死角領域に対応する前記視界画像中の画像部分に重ならない重畳画像部分を、非表示にするものであってもよい。
また、前記表示装置において、前記ウィンドシールドは、前記移動体の前方ウィンドシールドであり、
前記表示手段は、前記前方ウィンドシールド上の側部領域から視認される移動体外部の前方視界中の側部に重なる重畳画像部分、又は、該前方視界中の側部を映し出す前記視界画像中の画像部分に重なる重畳画像部分を、非表示にするものであってもよい。
また、前記表示装置において、前記対象物情報取得手段は、移動通信網を介して前記対象物情報を前記外部機器から受信して取得するものであってもよい。
また、前記表示装置において、前記対象物情報取得手段は、前記外部機器との間の無線通信により前記対象物情報を受信して取得するものであってもよい。
また、前記表示装置において、前記外部機器は、前記移動体が移動する移動経路の周辺に配置されている機器を含んでもよい。
また、前記表示装置において、前記外部機器は、前記移動体とは別の移動体に配置されている機器を含んでもよい。
また、前記表示装置において、前記別の移動体は、前記移動体と同方向へ移動する同方向移動体を含んでもよい。
また、前記表示装置において、前記外部機器は、前記対象物に配置されている機器を含み、前記対象物情報は、前記対象物の位置情報を含むものであってもよい。
また、前記表示装置において、前記表示手段は、前記移動体の光透過性ウィンドシールドから視認される移動体外部の視界に重ねて前記重畳画像を表示するものであってもよい。
また、前記表示装置において、前記表示手段は、前記移動体のウィンドシールド上に、該移動体上の撮像手段によって撮像した前記視界を映し出す視界画像に前記重畳画像を重ねた合成画像を表示するものであってもよい。
また、前記表示装置において、前記表示手段は、所定の非表示条件を満たすときは、前記重畳画像の全体を非表示にするものであってもよい。
In the display device, the external device may be an imaging unit, and the object information may include a captured image obtained by imaging the object in the blind spot area by the imaging unit.
Further, in the display device, the image generation means, based on the captured image acquired by the object information acquisition means, a blind spot area view image that shows a view portion that becomes a blind spot when viewed from the windshield, It may be generated as a superimposed image.
Further, in the display device, the display means may include a superimposed image portion that does not overlap the blind spot region in the field of view or a superimposed image portion that does not overlap the image portion in the field of view image corresponding to the blind spot region. It may be displayed.
In the display device, the windshield is a front windshield of the moving body,
The display means includes a superimposed image portion that overlaps a side portion in the front field of view outside the moving body that is viewed from a side region on the front windshield, or a side image in the field of view that displays the side portion in the front field of view. The superimposed image portion that overlaps the image portion may be hidden.
In the display device, the object information acquisition unit may receive and acquire the object information from the external device via a mobile communication network.
Further, in the display device, the object information acquisition unit may receive and acquire the object information by wireless communication with the external device.
In the display device, the external device may include a device arranged around a moving path along which the moving body moves.
In the display device, the external device may include a device arranged on a moving body different from the moving body.
In the display device, the another moving body may include a same-direction moving body that moves in the same direction as the moving body.
In the display device, the external device may include a device arranged on the object, and the object information may include position information of the object.
In the display device, the display unit may display the superimposed image so as to overlap with a field of view outside the moving body that is visually recognized from the light transmissive windshield of the moving body.
Further, in the display device, the display unit displays a composite image in which the superimposed image is superimposed on a field image that reflects the field of view captured by the imaging unit on the moving body on the windshield of the moving body. It may be.
In the display device, the display unit may be configured to hide the entire superimposed image when a predetermined non-display condition is satisfied.
本発明の他の態様に係る移動体は、ウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置を備えた移動体において、その表示装置として、前記表示装置を用いたものである。
ここでいう移動体は、光透過性のウィンドシールドを通じて移動体外部の視界を直接的に視認可能な移動体、又は、光不透過性ウィンドシールドの内壁面に配置される表示画面に移動体外部の視界を映し出す視界画像を表示することにより移動体外部の視界を間接的に視認可能な移動体のいずれであってもよい。また、移動体には、乗用車、バス、トラック若しくは自動二輪車を含む自動車、線路上を走行する鉄道車両、航空機、船舶、産業用重機あるいは産業用ロボットなどが含まれる。
A moving body according to another aspect of the present invention includes a display device that displays a superimposed image superimposed on a field of view outside the moving body viewed from a windshield, or superimposed on a field of view image that displays the field of view. In the body, the display device is used as the display device.
The moving body referred to here is a moving body that can directly see the field of view outside the moving body through a light-transmitting windshield, or a display screen arranged on the inner wall surface of the light-impermeable windshield. It may be any moving body that can indirectly view the field of view outside the moving body by displaying a view image that reflects the field of view. In addition, the moving body includes automobiles including passenger cars, buses, trucks, or motorcycles, railway vehicles traveling on railroad tracks, airplanes, ships, industrial heavy machinery, industrial robots, and the like.
また、本発明の更に他の態様に係る表示システムは、移動体のウィンドシールドから視認される移動体外部の視界に重ねて、又は、該視界を映し出す視界画像に重ねて、重畳画像を表示する表示装置が、前記移動体に設けられ、前記視界中の死角領域に存在する対象物を示す対象物情報を発信する外部機器が、前記移動体の外部に設けられた表示システムであって、その表示装置として、前記表示装置を用いたものである。 In addition, a display system according to still another aspect of the present invention displays a superimposed image so as to be superimposed on a field of view outside the moving object viewed from the windshield of the moving object or superimposed on a field of view image that displays the field of view. A display system is provided on the moving body, and an external device for transmitting object information indicating an object existing in the blind spot area in the field of view is a display system provided outside the moving body, The display device is used as a display device.
本発明によれば、移動体のウィンドシールドから視認される視界中の死角領域に存在する対象物を示す重畳画像が、そのウィンドシールドから視認される視界中の当該死角領域に重ねて表示され、又は、当該死角領域に対応する視界画像中の画像部分に重ねて表示されるので、運転者等の搭乗者に対し、死角領域の対象物を迅速に認識させることができる。 According to the present invention, a superimposed image showing an object existing in the blind spot area in the field of view viewed from the windshield of the moving object is displayed superimposed on the blind spot area in the field of view viewed from the windshield, Alternatively, since the image is displayed so as to be superimposed on the image portion in the field-of-view image corresponding to the blind spot area, a passenger such as a driver can quickly recognize the object in the blind spot area.
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の実施形態に係る表示システムの一例を示す説明図である。
本実施形態の表示システムは、移動体である自車両（乗用車、トラック、バスなど）４０（１）に搭載される表示装置１と、自車両４０（１）の前方を同一方向へ走行する別の移動体である同方向移動体としての先行車両４０（２）に搭載される外部機器である撮像手段としてのカメラ５０とを備える。なお、本実施形態では、移動体が自動車である場合について説明するが、本実施形態における移動体は、自動車のほか、線路上を走行する鉄道車両、航空機、船舶、産業用重機、産業用ロボットなどであってもよい。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is an explanatory diagram illustrating an example of a display system according to an embodiment of the present invention.
The display system of the present embodiment is different from the
本実施形態の表示システムにおいて、自車両４０（１）上の表示装置１は、先行車両４０（２）上のカメラ５０で撮像した撮像画像のデータを、通信網６０を介して受信することができる。この通信網６０は、撮像画像のデータを通信可能な通信網であれば特に制限はないが、広く普及しているセルラー方式の移動通信網であるのが好ましい。また、このような通信網６０を利用せず、例えば、図２に示すように、自車両４０（１）と先行車両４０（２）との間の無線通信（車車間通信）によって、先行車両４０（２）上のカメラ５０で撮像した撮像画像のデータを自車両４０（１）上の表示装置１が受信するようにしてもよい。
In the display system of the present embodiment, the
図３は、本実施形態における表示装置１を搭載する自車両４０（１）の構成を示す模式図である。
図４は、本実施形態における表示装置１で用いる表示手段としてのヘッドアップディスプレイ（以下「ＨＵＤ」という。）２０の構成を示す説明図である。
本実施形態の表示装置１は、画像処理装置１０とＨＵＤ２０とに大別することができる。ＨＵＤ２０は、例えば自車両４０（１）のダッシュボードに配置されたプロジェクタにより、自車両４０（１）の前方ウィンドシールドであるフロントガラス４２に画像を投射するものである。
FIG. 3 is a schematic diagram illustrating the configuration of the host vehicle 40 (1) on which the
FIG. 4 is an explanatory diagram showing a configuration of a head-up display (hereinafter referred to as “HUD”) 20 as display means used in the
The
ＨＵＤ２０は、主に、表示装置１の画像処理装置１０において生成される画像を表示するための画像光（光束）を照射する光照射装置２１、照射レンズ２２、画像光の照射範囲を制御するための光学レンズ２３、画像光の照射位置を制御するための反射ミラー２４、画像を拡大するための拡大レンズ２５で構成される。
The
光照射装置２１が照射した画像光（光束）は、照射レンズ２２及び光学レンズ２３を介して反射ミラー２４に照射される。反射ミラー２４で反射した画像光は、拡大レンズ２５で拡大されて、自車両４０（１）のフロントガラス４２に投射される。フロントガラス４２に投射された画像光は、フロントガラス４２の内壁面で反射され、自車両の運転者Ｐに向かう。したがって、本実施形態の表示装置１は、自車両のフロントガラス４２を通じて視認される自車両前方の視界に重ねて、ＨＵＤ２０によって投射される画像（重畳画像）Ｇを表示することができる。運転者Ｐは、ＨＵＤ２０によって投射された画像Ｇを、自車両のフロントガラス４２を通じて視認される自車両前方の視界に重ねた状態で、視認することができる。
The image light (light beam) irradiated by the
投射される画像Ｇの表示範囲（画像光の照射範囲）は、光学レンズ２３を光軸方向へ移動させることで制御することができる。また、画像Ｇの表示位置（画像光の照射位置）は、反射ミラー２４の角度を変更することによって制御することができる。光学レンズ２３の移動や反射ミラー２４の角度変更は、画像処理装置１０により所定の駆動部を制御することによって行うことができる。
The display range of the projected image G (image light irradiation range) can be controlled by moving the
図５は、本実施形態の表示装置１における画像処理装置１０の主要構成を示すハードウェアブロック図である。
画像処理装置１０のハードウェアは、主に、ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ、ＲＡＭ１０Ｃ、外部通信Ｉ／Ｆ１０Ｄ、データＩ／Ｆ１０Ｅから構成されている。ＣＰＵ１０Ａは、ＲＯＭ１０Ｂに記憶されている各種プログラムを実行することにより、ＨＵＤ２０の駆動制御等の画像表示制御を実行したり、各種画像処理を実行したり、表示装置１の各機能を制御したりする。ＲＯＭ１０Ｂは、ＣＰＵ１０Ａが表示装置１の各機能を制御するために実行する各種プログラムを記憶する。ＲＡＭ１０Ｃは、ＣＰＵ１０Ａのワークエリアとして使用される。外部通信Ｉ／Ｆ１０Ｄは、通信網６０を介して、先行車両４０（２）に搭載されるカメラ５０等の外部機器との通信を行ったり、自車両４０（１）のＣＡＮ（Controller Area Network）６１を介して、自車両４０（１）のナビゲーション装置、ＧＰＳ装置や車速センサなどの各種車載センサとの通信を行ったりする。データＩ／Ｆ１０Ｅは、ＨＵＤ２０との間の通信を行う。
FIG. 5 is a hardware block diagram illustrating a main configuration of the
The hardware of the
図６は、自車両４０（１）に搭載される表示装置１の機能ブロック図である。
表示装置１の画像処理装置１０は、表示装置１の全体機能を制御する制御部１１と、先行車両４０（２）のカメラ５０により先行車両４０（２）の前方を撮像した先行車両撮像画像のデータを通信網６０を介して受信する外部通信部１２と、外部通信部１２で受信した先行車両撮像画像のデータに基づき、自車両４０（１）のフロントガラス４２を通じて視認される自車両前方の視界に重ねてＨＵＤ２０により表示させる画像（重畳画像）を生成する画像生成部１３と、画像生成部１３により生成された画像を表示するＨＵＤ２０の制御を行う表示制御部１４と、自車両４０（１）に搭載されているＧＰＳ（Global Positioning System）装置４３や各種車載センサ（車速センサ、加速度センサ、姿勢センサ、レーダー、温度センサなど）４４からの情報を自車両４０（１）のＣＡＮ６１を介して受信する車内通信部１５と、自車両４０（１）の前方を撮像して自車両撮像画像を得る撮像部１６とから構成される。
FIG. 6 is a functional block diagram of the
The
図７は、先行車両４０（２）に搭載されるカメラ５０の機能ブロック図である。
カメラ５０は、カメラ５０の全体機能を制御する制御部５１と、撮像部５３によって先行車両４０（２）の前方を撮像した先行車両撮像画像のデータを通信網６０より送信する外部通信部５２と、先行車両４０（２）の前方を撮像して先行車両撮像画像を得る撮像部５３と、先行車両４０（２）に搭載されているＧＰＳ装置４３や各種車載センサ４４からの情報を先行車両４０（２）のＣＡＮ６１を介して受信する車内通信部５４とから構成される。
FIG. 7 is a functional block diagram of the
The
図８は、自車両４０（１）及び先行車両４０（２）を側方から見たときの説明図である。
図９は、表示装置１により先行車両撮像画像を表示してない状態において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界の一例を示す模式図である。
図１０は、表示装置１により先行車両撮像画像を表示した状態において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界の一例を示す模式図である。
FIG. 8 is an explanatory diagram when the host vehicle 40 (1) and the preceding vehicle 40 (2) are viewed from the side.
FIG. 9 is a schematic diagram illustrating an example of a field of view in front of the host vehicle that is viewed by the driver P through the
FIG. 10 is a schematic diagram illustrating an example of a field of view in front of the host vehicle that is viewed by the driver P through the
図示の例は、交差点を通過する直前の先行車両４０（２）に続いて、自車両４０（１）が走行している状況の例である。この状況において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界中には、図８に示すように、先行車両４０（２）による死角領域（図８中の斜線部分Ｄ）が存在する。この例では、図９に示すように、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する対象物としての信号機４５が先行車両４０（２）に隠れてしまい、信号機４５を視認することができない。そのため、自車両４０（１）の運転者Ｐは、信号機４５が赤信号になっていることに気付かずに、交差点に自車両４０（１）を進入させてしまうおそれがある。
The illustrated example is an example of a situation where the host vehicle 40 (1) is traveling following the preceding vehicle 40 (2) immediately before passing through the intersection. In this situation, as shown in FIG. 8, a blind spot area (in FIG. 8) by the preceding vehicle 40 (2) is present in the field of view in front of the host vehicle that the driver P visually recognizes through the
本実施形態では、先行車両４０（２）のカメラ５０による撮像領域Ｅには先行車両４０（２）による死角領域Ｄが含まれているので、そのカメラ５０による撮像画像（先行車両撮像画像）を自車両４０（１）が受信する。そして、受信した先行車両撮像画像（重畳画像）を、ＨＵＤ２０により、図１０に示すように、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重ねて投射表示する。これにより、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する信号機４５を認識することができ、信号機４５が赤信号になっていることに気付かずに交差点に自車両４０（１）を進入させてしまう事態が抑制される。特に、本実施形態では、運転者Ｐは、フロントガラス４２から視線を外すことなく、死角領域Ｄに存在する信号機４５を認識することができるので、信号機４５を迅速に認識することができ、上述した事態をより効果的に抑制することができる。
In this embodiment, since the imaging area E by the
図１１は、本実施形態の表示処理の流れを示すシーケンス図である。
本実施形態では、自車両４０（１）において所定の処理開始条件が満たされることで、自車両４０（１）に搭載される表示装置１の制御部１１の制御の下、外部通信部１２から通信網６０を通じて、先行車両４０（２）へ画像取得要求が送信される（Ｓ１）。
FIG. 11 is a sequence diagram illustrating a flow of display processing according to the present embodiment.
In the present embodiment, when a predetermined processing start condition is satisfied in the host vehicle 40 (1), the
所定の処理開始条件は、例えば、先行車両４０（２）から受信する先行車両撮像画像を常にＨＵＤ２０により投射表示させる場合には、自車両４０（１）のイグニッションをオンにするという条件、表示装置１の電源をオンにするという条件、シフトレバーをＤポジションに操作するという条件などであってもよい。
また、所定の処理開始条件は、例えば、運転者Ｐの希望する期間だけ先行車両撮像画像を投射表示させる場合には、運転者Ｐによる処理開始操作を受け付けるという条件などであってもよい。
また、所定の処理開始条件は、例えば、予めシステム上で決められた状況（信号機４５等の対象物が死角領域Ｄに隠れた状況）の時期だけ先行車両撮像画像を投射表示させる場合には、自車両４０（１）に搭載されたセンサ等により当該状況を検知したという条件などであってもよい。なお、このような状況の検知は、例えば、自車両４０（１）に前方カメラを搭載し、その前方カメラで撮像された撮像画像に基づいて識別された信号機４５が撮像画像から識別できなくなったことを判断する方法などによって実現することができる。この方法では、信号機４５が撮像画像から識別できなくなったときに、信号機４５が死角領域Ｄに入ったことを把握することができる。
The predetermined processing start condition is, for example, a condition that the ignition of the host vehicle 40 (1) is turned on when the preceding vehicle captured image received from the preceding vehicle 40 (2) is always projected and displayed by the
Further, the predetermined process start condition may be, for example, a condition that a process start operation by the driver P is accepted when the preceding vehicle captured image is projected and displayed for a period desired by the driver P.
Further, the predetermined processing start condition is, for example, when the preceding vehicle captured image is projected and displayed only in a time determined in advance in the system (a situation where an object such as the
先行車両４０（２）に搭載されるカメラ５０の撮像部５３は、例えば、先行車両４０（２）のフロントガラス内壁に取り付けられたルームミラー付近に設置されている。先行車両４０（２）に搭載されたカメラ５０は、撮像部５３により、先行車両４０（２）のフロントガラスを通じて先行車両４０（２）の前方を常時撮像している。自車両４０（１）の外部通信部１２から送信された画像取得要求が先行車両４０（２）の外部通信部５２に受信されると、カメラ５０の制御部５１は、撮像部５３により撮像した撮像画像（先行車両撮像画像）を、外部通信部５２から通信網６０を通じて、自車両４０（１）へ送信する処理を開始する（Ｓ２）。
The
ここで、自車両４０（１）が先行車両４０（２）から先行車両撮像画像を受信するためには、画像取得要求の送信先として先行車両４０（２）を特定する必要がある。そのため、本実施形態では、以下の方法によって画像取得要求の送信先を特定する。 Here, in order for the own vehicle 40 (1) to receive the preceding vehicle captured image from the preceding vehicle 40 (2), it is necessary to specify the preceding vehicle 40 (2) as the transmission destination of the image acquisition request. Therefore, in this embodiment, the transmission destination of the image acquisition request is specified by the following method.
図１２は、本実施形態における通信網６０を構成する基地局６５の機能ブロック図である。
本実施形態における通信網６０は、セルラー方式の移動通信網である。そのため、自車両４０（１）の外部通信部１２は、移動局として、例えば、２８ＧＨｚ帯、５ＧＨｚ帯、４．２ＧＨｚ帯などの周波数帯を用いた無線通信により、自車両４０（１）が属するセルを形成する基地局６５と通信し、基地局６５からバックホール回線を介して通信網６０のコアネットワーク６２に接続される。
FIG. 12 is a functional block diagram of the
The
本実施形態の基地局６５は、主に、通信可能な移動局あるいは他の基地局との間で送受信されるデータを処理するためのデータ処理部６６、各種データを記憶する記憶部６７、セル内の各移動局と通信するための移動通信部６８、通信網６０のコアネットワーク６２に接続された他の基地局あるいは管理装置等と通信するためのバックホール通信部６９で構成される。本実施形態の基地局は、セル内のローカルデータセンターとして機能することができる。具体的には、例えば、位置情報を取得する機能（ＧＰＳ装置４３等）を備えている移動局に対しては、その移動局の現在位置を示す位置情報を当該移動局から受信し、これを記憶部６７に記憶する。これにより、基地局６５は、そのセル内に属する各移動局の位置情報をデータベースとして保持する。
The
自車両４０（１）における表示装置１の制御部１１は、外部通信部１２から画像取得要求を送信する際、自車両４０（１）に搭載されているＧＰＳ装置４３から取得される自車両４０（１）の位置情報に関連づけて画像取得要求を送信する。この画像取得要求が通信網６０の基地局６５に受信されると、基地局６５のデータ処理部６６は、記憶部６７に記憶されているデータベースを参照し、受信した画像取得要求に関連づけられた自車両４０（１）の位置情報から、自車両４０（１）の前方エリア内の位置情報をもつ移動局（先行車両４０（２））を特定する。そして、データ処理部６６は、特定した移動局すなわち先行車両４０（２）の外部通信部５２へ自車両４０（１）からの画像取得要求を送信する。そして、この画像取得要求を受信した先行車両４０（２）の制御部５１は、その応答として、カメラ５０の撮像部５３により撮像した先行車両撮像画像を、先行車両４０（２）に搭載されているＧＰＳ装置４３から取得される先行車両４０（２）の位置情報に関連づけて、外部通信部５２から送信する処理を実行する。
When the
このように基地局６５がローカルデータセンターとして機能することで、同じセル内に属する移動局間における通信については、通信網６０のコアネットワーク６２を用いずに実現でき、通信網６０のコアネットワーク６２側の通信トラフィックや処理負荷を軽減することができる。したがって、本実施形態において、自車両４０（１）と先行車両４０（２）との間で行われる通信は、通信網６０のコアネットワーク６２側に通信トラフィックや処理負荷をかけることなく、実現することができる。
As the
自車両４０（１）の制御部１１は、外部通信部１２から先行車両撮像画像を先行車両４０（２）の位置情報に関連づけて受信すると（Ｓ３）、先行車両撮像画像の視点を変換する視点変換処理を行う（Ｓ４）。この視点変換処理では、先行車両４０（２）の撮像部５３で撮像した先行車両撮像画像の視点位置を、自車両４０（１）のフロントガラス４２を通じて視認される運転者Ｐの視点位置に変換する。この視点変換処理により、先行車両４０（２）の視界を映し出す先行車両撮像画像を、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。
When the
例えば、先行車両４０（２）の位置情報と自車両４０（１）の位置情報とから、先行車両４０（２）の撮像部５３の視点位置（先行車両撮像画像の視点位置）と自車両４０（１）の視点位置（運転者Ｐの視点位置）との位置関係を特定できる。よって、その位置関係に応じた視点変換パラメータを用いて、先行車両撮像画像の画像中心変更や画像拡大などを行い、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。より詳細な位置関係を特定する場合には、先行車両４０（２）の位置情報だけでなく、先行車両４０（２）の車両データや撮像部５３の設定情報（撮像部５３の設置高さや撮像方向のデータなど）、自車両４０（１）の車両データや自車両４０（１）の運転者Ｐの視点位置情報などを取得し、これらの情報も用いて視点変換処理を実行してもよい。
For example, from the position information of the preceding vehicle 40 (2) and the position information of the own vehicle 40 (1), the viewpoint position of the
また、視点変換処理は、このような位置情報を用いずに行うことも可能である。例えば、自車両４０（１）に搭載の撮像部１６で撮像した自車両撮像画像を、先行車両４０（２）から受信した先行車両撮像画像と対比し、両画像に映し出されている被写体のマッチング処理を行う。そして、マッチングした被写体の相対位置関係を特定し、その相対位置関係に応じた視点変換パラメータを用いて、先行車両撮像画像の画像中心変更や画像拡大などを行い、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。
The viewpoint conversion process can also be performed without using such position information. For example, the subject vehicle captured image captured by the
次に、自車両４０（１）の制御部１１は、視点変換処理後の先行車両撮像画像から、先行車両４０（２）による自車両４０（１）の死角領域（図８中の斜線部分Ｄ）に対応する画像部分を抽出する死角領域抽出処理を行う（Ｓ５）。この死角領域抽出処理は、視点変換処理後の先行車両撮像画像（重畳画像）を、ＨＵＤ２０により、図１０に示すように、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面（死角領域）に重ねて投射表示する際、死角領域Ｄではない視界部分（先行車両４０（２）の背面以外の視界部分）に先行車両撮像画像が投射表示されないようにするための処理である。
Next, the
死角領域Ｄではない視界部分に先行車両撮像画像が投射表示されると、死角領域Ｄではない視界部分において、自車両４０（１）の運転者Ｐが視認できている対象物に先行車両撮像画像が重なってしまい、その対象物が見えにくくなってしまう。特に、自車両４０（１）のフロントガラス４２上の側部領域（フロントガラス４２を通じて視認される先行車両４０（２）の両側領域）は、歩行者やバイクなどが横からの飛び出してくることを運転者Ｐが察知するために重要な視界部分である。そのため、自車両４０（１）のフロントガラス４２上の側部領域については、運転者Ｐの視認性を確保することが特に重要であり、先行車両撮像画像を非表示にすることが望ましい。
When the preceding vehicle captured image is projected and displayed on the field of view that is not the blind spot area D, the preceding vehicle captured image is displayed on the object that is visible to the driver P of the host vehicle 40 (1) in the field of view that is not the blind spot area D. Will overlap, making it difficult to see the object. In particular, pedestrians, motorcycles, and the like jump out from the side areas on the
本実施形態においては、死角領域抽出処理を行うことで、先行車両４０（２）による死角領域Ｄだけに先行車両撮像画像（重畳画像）が重ねて表示され、その死角領域Ｄ以外は先行車両撮像画像（重畳画像）が表示されない。したがって、自車両４０（１）のフロントガラス４２上の側部領域については、先行車両撮像画像が表示されず、運転者Ｐの視認性を確保することができる。
In this embodiment, by performing the blind spot area extraction process, the preceding vehicle captured image (superimposed image) is displayed only on the blind spot area D of the preceding vehicle 40 (2). The image (superimposed image) is not displayed. Therefore, the preceding vehicle captured image is not displayed in the side region on the
本実施形態の死角領域抽出処理では、自車両４０（１）に搭載の撮像部１６によって自車両４０（１）の前方を撮像した自車両撮像画像を解析して、自車両４０（１）のフロントガラス４２を通じて運転者Ｐに視認される視界中における先行車両４０（２）による死角領域Ｄを特定する。自車両撮像画像は、運転者Ｐに視認される視界の一部又は全部を含むエリアが映し出されており、図９に示すものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、先行車両４０（２）を映し出す画像部分（死角領域Ｄの画像部分）を特定する。死角領域Ｄの画像部分を特定する方法については、特に制限はなく、例えば、自車両撮像画像中のエッジ部（輝度変化が大きい部分）を抽出するなどの方法を用いることができる。
In the blind spot area extraction processing according to the present embodiment, the captured image of the host vehicle 40 (1) captured by the
その後、自車両４０（１）の制御部１１は、表示制御部１４を介して、死角領域Ｄについて抽出した先行車両撮像画像の画像部分を、死角領域視界画像として、ＨＵＤ２０により、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重なるように投射表示する（Ｓ６）。これにより、図１０に示すように、先行車両４０（２）によって死角となっていた信号機４５を映し出す先行車両撮像画像の画像部分が、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重ねて投射表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する信号機４５を認識することができ、信号機４５が赤信号になっていることに気付かずに交差点に自車両４０（１）を進入させてしまう事態が抑制される。特に、本実施形態では、運転者Ｐは、フロントガラス４２から視線を外すことなく、死角領域Ｄに存在する信号機４５を認識することができるので、信号機４５を迅速に認識することができ、上述した事態をより効果的に抑制することができる。
Thereafter, the
なお、本実施形態では、死角領域抽出処理を実行して、先行車両４０（２）による死角領域Ｄだけに先行車両撮像画像（重畳画像）が重ねて表示しているが、死角領域抽出処理は必ずしも実行する必要はない。例えば、死角領域抽出処理を実行せず、視点変換処理後の先行車両撮像画像を、自車両４０（１）のフロントガラス４２上の予め決められた領域（横方向中央領域など）に投射表示するようにしてもよい。この場合でも、自車両４０（１）のフロントガラス４２上の側部領域については、先行車両撮像画像が表示されないので、運転者Ｐの視認性を確保することができる。
In this embodiment, the blind spot area extraction process is executed, and the preceding vehicle captured image (superimposed image) is displayed only on the blind spot area D of the preceding vehicle 40 (2), but the blind spot area extraction process is performed. It is not always necessary to execute. For example, the blind spot area extraction process is not executed, and the preceding vehicle captured image after the viewpoint conversion process is projected and displayed on a predetermined area (such as a lateral center area) on the
また、本実施形態では、死角領域Ｄに存在する対象物である信号機４５を、視点変換処理後の先行車両撮像画像を投射することにより死角領域Ｄに重ねて表示したが、対象物を運転者Ｐに認知させることができる画像であれば、先行車両撮像画像に代えて、予め用意しておいたマーク画像などを死角領域Ｄに重ねて表示するようにしてもよい。このようなマーク画像を用いることは、先行車両撮像画像を死角領域Ｄに重ねて投射表示させる場合に対象物の視認性を十分に確保することが困難である場合に有効である。
Further, in the present embodiment, the
具体例としては、例えば、上述した死角領域抽出処理により先行車両撮像画像から抽出した死角領域Ｄの画像部分内に信号機４５が含まれているか否かの識別処理を行い、信号機４５が含まれていることを識別したら、その信号機４５の色を特定し、その色に対応する信号機のマーク画像を、自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重ねて投射表示する。例えば、赤信号のマーク画像は、図１３に示すような信号機のマーク画像４５’のように赤信号部分を相対的に拡大するなど、赤信号であることを強調するようなデザインであるのが好ましい。
As a specific example, for example, an identification process is performed to determine whether or not the
また、本実施形態では、死角領域に存在する対象物が信号機４５である場合を例に挙げて説明したが、対象物はこれに限らず、運転者を含む搭乗者に視認させることが有益な対象物であれば、人（歩行者等）、軽車両（自転車等）、移動経路周囲の他の構造物（電柱やガードレール等）などであってもよい。例えば、自車両４０（１）の直前を走行する先行車両４０（２）によって道路脇（路側等）に居る歩行者Ｗが死角になっている状況においては、先行車両４０（２）に搭載されているカメラ５０がその歩行者Ｗを撮像し得る。この場合、その先行車両撮像画像を自車両４０（１）が受信することで、図１４に示すように、死角領域Ｄに存在する歩行者Ｗが自車両４０（１）のフロントガラス４２を通じて視認される先行車両４０（２）の背面に重ねて投射表示される。
Further, in the present embodiment, the case where the object existing in the blind spot area is the
また、本実施形態では、先行車両４０（２）に搭載されているカメラ５０によって撮像した先行車両撮像画像を自車両４０（１）が受信することで、死角領域Ｄに存在する対象物である信号機４５の撮像画像を自車両４０（１）が取得するが、その取得方法はこれに限られない。例えば、信号機４５を撮像する外部機器である撮像手段としての路側カメラを路側に配置し、その路側カメラによって撮像した路側カメラ撮像画像を通信網６０を介して自車両４０（１）が受信することで、死角領域Ｄに存在する対象物である信号機４５の撮像画像を自車両４０（１）が取得してもよい。
Moreover, in this embodiment, it is the target object which exists in the blind spot area | region D because the own vehicle 40 (1) receives the preceding vehicle captured image imaged with the
また、本実施形態では、自車両４０（１）のフロントガラス４２（光透過性ウィンドシールド）から視認される自車両外部の視界に重ねて重畳画像を表示する表示手段として、プロジェクタによりフロントガラス４２に画像を投射するＨＵＤ２０を用いているが、これに限られない。例えば、自車両４０（１）の前方ウィンドシールド自体を透明又は半透明の透過型ディスプレイ（例えば、透明又は半透明の液晶ディスプレイ）で構成し、透過型ディスプレイ上に重畳画像を表示することで、透過型ディスプレイを通じて視認される自車両外部の視界に重ねて重畳画像を表示するものであってもよい。また、例えば、自車両４０（１）のフロントガラス４２（光透過性ウィンドシールド）に透過型ディスプレイを重ねて配置し、透過型ディスプレイ上に重畳画像を表示することで、フロントガラス４２及び透過型ディスプレイを通じて視認される自車両外部の視界に重ねて重畳画像を表示するものであってもよい。
Further, in the present embodiment, the
〔変形例１〕
次に、本実施形態における一変形例（以下、本変形例を「変形例１」という。）について説明する。
上述した実施形態では、自車両４０（１）のフロントガラス４２を通じて視認される視界中の死角領域Ｄに存在する対象物を示す対象物情報が、先行車両４０（２）のカメラ５０で撮像した先行車両撮像画像のデータであった。しかしながら、他の対象物情報を用いてもよく、例えば、先行車両４０（２）に搭載されている超音波センサやレーダーなどの対象物検出手段の検出結果に基づく対象物情報であってもよい。本変形例１では、先行車両４０（２）の直前を走行している先々行車両を対象物とし、先行車両４０（２）に搭載される超音波センサやレーダーなどの対象物検出手段の検出結果を対象物情報として用いる。
[Modification 1]
Next, a modified example (hereinafter referred to as “modified example 1”) in the present embodiment will be described.
In the above-described embodiment, the object information indicating the object existing in the blind spot area D in the field of view visually recognized through the
図１５は、本変形例１において、先行車両４０（２）の直前を走行している先々行車両４０（３）が急ブレーキをかけて先々行車両４０（３）が先行車両４０（２）に急接近した例を示す説明図である。
自車両４０（１）の直前を走行している先行車両４０（２）に搭載されている超音波センサやレーダーなどの対象物検出手段が対象物である先々行車両４０（３）の急接近を検出した場合、その検出結果が対象物情報として先行車両４０（２）から通信網６０を通じて自車両４０（１）へ送信される。
FIG. 15 shows that in the first modification, the preceding vehicle 40 (3) traveling immediately before the preceding vehicle 40 (2) suddenly brakes, and the preceding vehicle 40 (3) suddenly strikes the preceding vehicle 40 (2). It is explanatory drawing which shows the example which approached.
The preceding vehicle 40 (3), which is the target, is detected by an object detection means such as an ultrasonic sensor or a radar mounted on the preceding vehicle 40 (2) traveling immediately before the host vehicle 40 (1). If detected, the detection result is transmitted as object information from the preceding vehicle 40 (2) to the host vehicle 40 (1) through the
この対象物情報を受信した自車両４０（１）の制御部１１は、表示制御部１４により、例えば、図１６に示すように、先行車両４０（２）による死角領域Ｄ（先行車両４０（２）の背面）に重なるように、先々行車両４０（３）の急接近を知らせるマーク画像４０（３）’を重畳画像として投射表示する。このマーク画像４０（３）’は、ブレーキランプが強調表示された自動車の背面を模式的に表したものである。このようなマーク画像４０（３）’が投射表示されることで、自車両４０（１）の運転者Ｐは、先行車両４０（２）の前方に位置する死角領域Ｄの先々行車両４０（３）の急接近を迅速かつ直感的に認識することができる。その結果、自車両４０（１）のブレーキ操作を行うなどの適切な操作を早期のうちに行うことができる。
The
〔変形例２〕
次に、本実施形態における更に他の変形例（以下、本変形例を「変形例３」という。）について説明する。
上述した実施形態や変形例１では、自車両４０（１）のフロントガラス４２を通じて視認される視界中の死角領域Ｄに存在する対象物を示す対象物情報が、先行車両４０（２）に搭載されているカメラ５０や超音波センサやレーダーなどの対象物検出手段で取得される情報であった。しかしながら、他の対象物情報を用いてもよく、例えば、逆方向移動体である対向車両に搭載されている撮像手段で撮像した対向車両撮像画像のデータであってもよい。本変形例２では、対向車両の前方を横切る歩行者を対象物とし、その対向車両に搭載される撮像手段によって撮像された対向車両撮像画像を対象物情報として用いる。
[Modification 2]
Next, still another modification example of the present embodiment (hereinafter, this modification example is referred to as “Modification Example 3”) will be described.
In the embodiment and the first modification described above, the object information indicating the object existing in the blind spot area D in the field of view visually recognized through the
図１７は、本変形例２において、対向車線で渋滞している場合において、第一対向車両４０（４）とその前に停止している第二対向車両４０（５）との間を通って、歩行者Ｗが自車両４０（１）の走行車線を横切ろうとしている例を示す説明図である。
図１８は、本変形例２の表示装置１により対向車両撮像画像を表示してない状態において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界の一例を示す模式図である。
図１９は、本変形例２の表示装置１により対向車両撮像画像を表示した状態において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界の一例を示す模式図である。
FIG. 17 shows a case where the traffic is congested in the oncoming lane in the second modification, passing between the first oncoming vehicle 40 (4) and the second oncoming vehicle 40 (5) stopped in front of the first oncoming vehicle 40 (4). It is explanatory drawing which shows the example which the pedestrian W is going to cross the driving | running | working lane of the own vehicle 40 (1).
FIG. 18 shows an example of the field of view in front of the host vehicle that is viewed by the driver P through the
FIG. 19 is a schematic diagram illustrating an example of a field of view in front of the host vehicle that is viewed by the driver P through the
図示の例において、自車両４０（１）のフロントガラス４２を通じて運転者Ｐが視認する自車両前方の視界中には、図１７に示すように、第二対向車両４０（５）による死角領域（図１７中の斜線部分Ｄ）が存在する。この例では、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する対象物としての歩行者Ｗが第二対向車両４０（５）に隠れてしまい、図１８に示すように、歩行者Ｗを視認することができない。そのため、自車両４０（１）の運転者Ｐは、自車両４０（１）の走行車線を横切ろうとしている歩行者Ｗの存在に気付かないまま自車両４０（１）を走行させることになり、歩行者Ｗと接触するおそれがある。
In the illustrated example, as shown in FIG. 17, a blind spot area (second blind vehicle area) (see FIG. 17) in the field of view in front of the host vehicle P viewed by the driver P through the
ここで、第一対向車両４０（４）に搭載されている外部機器である撮像手段としてのカメラ５０による撮像領域Ｅには、第二対向車両４０（５）による死角領域Ｄが含まれ、そのカメラ５０による撮像画像（対向車両撮像画像）には、自車両４０（１）の走行車線を横切ろうとしている歩行者Ｗが映し出される。なお、第一対向車両４０（４）に搭載されるカメラ５０の構成や動作は、上述した実施形態における先行車両４０（２）に搭載されるカメラ５０と同様である。本変形例２においては、第一対向車両４０（４）に搭載されているカメラ５０によって撮像される対向車両撮像画像を自車両４０（１）が受信し、これを重畳画像として、ＨＵＤ２０により、図１９に示すように、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面（死角領域Ｄ）に重ねて投射表示する。
Here, the imaging area E by the
本変形例２において、自車両４０（１）における画像処理装置１０の制御部１１は、外部通信部１２から対向車両撮像画像を第一対向車両４０（４）の位置情報に関連づけて受信する。その後、制御部１１は、対向車両撮像画像の視点を変換する視点変換処理を行う。この視点変換処理では、第一対向車両４０（４）のカメラ５０の撮像部５３で撮像した対向車両撮像画像の視点位置を、自車両４０（１）のフロントガラス４２を通じて視認される運転者Ｐの視点位置に変換する。この視点変換処理により、第一対向車両４０（４）の視界を映し出す対向車両撮像画像を、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。
In the second modification, the
例えば、第一対向車両４０（４）の位置情報と自車両４０（１）の位置情報とから、第一対向車両４０（４）の撮像部５３の視点位置（対向車両撮像画像の視点位置）と自車両４０（１）の視点位置（運転者Ｐの視点位置）との位置関係を特定できる。よって、その位置関係に応じた視点変換パラメータを用いて、対向車両撮像画像の左右反転、画像中心の変更、画像拡大又は画像縮小などを行い、自車両４０（１）の運転者Ｐから見える視界を映し出す画像へと変換する。より詳細な位置関係を特定する場合には、上述した実施形態と同様、第一対向車両４０（４）の位置情報だけでなく、第一対向車両４０（４）の車両データや撮像部５３の設定情報（撮像部５３の設置高さや撮像方向のデータなど）、自車両４０（１）の車両データや自車両４０（１）の運転者Ｐの視点位置情報などを取得し、これらの情報も用いて視点変換処理を実行してもよい。また、視点変換処理を、このような位置情報を用いずに行うことも可能である点は、上述した実施形態と同様である。
For example, from the position information of the first oncoming vehicle 40 (4) and the position information of the host vehicle 40 (1), the viewpoint position of the
次に、自車両４０（１）の制御部１１は、視点変換処理後の対向車両撮像画像から、第二対向車両４０（５）による自車両４０（１）の死角領域（図１７中の斜線部分Ｄ）に対応する画像部分を抽出する死角領域抽出処理を行う。この死角領域抽出処理は、視点変換処理後の対向車両撮像画像（重畳画像）を、ＨＵＤ２０により、図１９に示すように、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面（死角領域）に重ねて投射表示する際、死角領域Ｄではない視界部分（第二対向車両４０（５）の側面以外の視界部分）に対向車両撮像画像が投射表示されないようにするための処理である。
Next, the
本変形例２の死角領域抽出処理は、上述した実施形態と同様、自車両４０（１）に搭載の撮像部１６によって自車両４０（１）の前方を撮像した自車両撮像画像を解析して、自車両４０（１）のフロントガラス４２を通じて運転者Ｐに視認される視界中における第二対向車両４０（５）による死角領域Ｄを特定する。自車両撮像画像は、運転者Ｐに視認される視界の一部又は全部を含むエリアが映し出されており、図１８に示すものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、第二対向車両４０（５）を映し出す画像部分（死角領域Ｄの画像部分）を特定する。
The blind spot area extraction process of the second modification is performed by analyzing a captured image of the host vehicle 40 (1) captured by the
その後、自車両４０（１）の制御部１１は、表示制御部１４を介して、死角領域Ｄについて抽出した対向車両撮像画像の画像部分を、死角領域視界画像として、ＨＵＤ２０により、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面に重なるように投射表示する。これにより、図１９に示すように、第二対向車両４０（５）によって死角となっていた歩行者Ｗを映し出す対向車両撮像画像の画像部分が、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面に重ねて投射表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する歩行者Ｗを認識することができ、歩行者Ｗの存在に気付かずに自車両４０（１）を走行させる事態が抑制される。
Thereafter, the
〔変形例３〕
次に、本実施形態における更に他の変形例（以下、本変形例を「変形例３」という。）について説明する。
上述した実施形態や変形例１、２では、自車両４０（１）のフロントガラス４２を通じて視認される自車両前方の死角領域Ｄに存在する信号機４５、先々行車両４０（３）、歩行者Ｗ等の対象物を示す重畳画像を、フロントガラス４２を通じて視認される視界中の死角領域Ｄに重ねて表示する例であった。しかしながら、フロントガラス４２のような前方のウィンドシールドに限らず、例えば、自車両４０（１）のドアウィンドウ等の他のウィンドシールドを通じて視認される視界に重ねて、死角領域に存在する対象物を示す重畳画像を表示するようにしてもよい。
[Modification 3]
Next, still another modification example of the present embodiment (hereinafter, this modification example is referred to as “Modification Example 3”) will be described.
In the above-described embodiment and
図２０は、本変形例３において、片側三車線の道路において、左車線の自車両４０（１）と、中央車線の側方車両４０（６）と、右車線の側々方車両４０（７）とが併走している例を示す説明図である。
図示の例において、自車両４０（１）の右側ドアウィンドウを通じて運転者Ｐが視認する自車両右側方の視界中には、図２０に示すように、側方車両４０（６）による死角領域（図２０中の斜線部分Ｄ）が存在する。この例では、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する対象物としての側々方車両４０（７）が側方車両４０（６）に隠れてしまい、側々方車両４０（７）を視認することができない。そのため、自車両４０（１）の運転者Ｐは、側々方車両４０（７）の存在に気付かないまま、例えば、左車線から側方車両４０（６）の前方の中央車線へ車線変更する場合がある。その場合、右車線を走行する側々方車両４０（７）も側方車両４０（６）の前方の中央車線へ車線変更しようとしていたときには、側々方車両４０（７）と接触するおそれがある。
FIG. 20 shows a left side lane own vehicle 40 (1), a center lane side vehicle 40 (6), and a right side lane side vehicle 40 (7) on the one side three lane road. It is explanatory drawing which shows the example which is running in parallel.
In the illustrated example, as shown in FIG. 20, a blind spot area (by a side vehicle 40 (6)) in the right side view of the host vehicle 40 (1) viewed by the driver P through the right door window of the host vehicle 40 (1). A hatched portion D) in FIG. 20 exists. In this example, the driver P of the host vehicle 40 (1) has the side vehicle 40 (7) as an object existing in the blind spot area D hidden by the side vehicle 40 (6), and the driver The vehicle 40 (7) cannot be visually recognized. Therefore, the driver P of the host vehicle 40 (1) changes the lane from the left lane to the central lane ahead of the side vehicle 40 (6), for example, without noticing the presence of the side vehicle 40 (7). There is a case. In that case, when the side vehicle 40 (7) traveling in the right lane is also about to change the lane to the center lane ahead of the side vehicle 40 (6), there is a possibility that the side vehicle 40 (7) may come into contact with the side vehicle 40 (7). is there.
本変形例３では、自車両４０（１）のドアウィンドウを通じて視認される自車両側方の視界に重ねて、自車両側方の死角領域Ｄに存在する側々方車両４０（７）を示す重畳画像を表示する。これにより、自車両４０（１）の運転者Ｐは、左車線から側方車両４０（６）の前方の中央車線へ車線変更する際に、側々方車両４０（７）の存在を認識することができ、適切な操作を行うことが可能となる。 In the third modification, the side vehicle 40 (7) existing in the blind spot area D on the side of the host vehicle is shown superimposed on the field of view on the side of the host vehicle viewed through the door window of the host vehicle 40 (1). Display a superimposed image. Accordingly, the driver P of the host vehicle 40 (1) recognizes the presence of the side vehicle 40 (7) when changing the lane from the left lane to the central lane ahead of the side vehicle 40 (6). And appropriate operations can be performed.
なお、本変形例３において、自車両４０（１）のドアウィンドウを通じて視認される自車両側方の視界に重ねて、自車両側方の死角領域に存在する対象物を示す重畳画像を表示する方法も、フロントガラス４２に重畳画像を表示する方法と同様の方法を用いることができる。また、自車両側方の死角領域Ｄに存在する側々方車両４０（７）を示す対象物情報も、フロントガラス４２に重畳画像を表示する方法と同様、側方車両４０（６）に搭載されるカメラ５０の撮像画像や、側方車両４０（６）に搭載される超音波センサやレーダーなどの対象物検出手段の検出結果を用いることができる。
Note that, in the third modification, a superimposed image indicating the object existing in the blind spot area on the side of the host vehicle is displayed so as to be superimposed on the field of view on the side of the host vehicle viewed through the door window of the host vehicle 40 (1). As the method, a method similar to the method of displaying the superimposed image on the
また、本変形例３では、前方ウィンドシールドとは別のウィンドシールドを通じて視認される視界に重ねて重畳画像を表示する例として、別のウィンドシールドがドアウィンドウである例を挙げたが、例えば、後方ウィンドシールドであってもよい。 In the third modification, as an example of displaying a superimposed image on a field of view visually recognized through a windshield different from the front windshield, an example in which another windshield is a door window is given. It may be a rear windshield.
具体例を挙げて説明すると、図２１は、片側二車線の道路において、左車線を走行する自車両４０（１）の斜め後方を同方向へ移動する同方向移動体としての側方車両４０（６）が右車線を走行し、その側方車両４０（６）の後方をバイクＢが走行している状況の例である。この状況において、後方ウィンドシールド４７を通じて視認される視界中には、側方車両４０（６）による死角領域（図２１中の斜線部分Ｄ）が存在する。この例では、自車両４０（１）の運転者Ｐがルームミラー４６に映し出される後方ウィンドシールド４７を通じて視認する視界では、死角領域Ｄに存在する対象物としてのバイクＢが側方車両４０（６）に隠れてしまい、バイクＢを視認することができない。そのため、自車両４０（１）の運転者Ｐは、例えば、そのバイクＢが自車両４０（１）の前方に急な車線変更をしたとき、そのバイクＢを事前に察知できていないため、自車両４０（１）の操作を誤るおそれがある。
To explain with a specific example, FIG. 21 shows a side vehicle 40 (as a unidirectional moving body moving in the same direction on the one-lane two-lane road moving diagonally behind the host vehicle 40 (1) traveling in the left lane. 6) is an example of a situation where the motorcycle B is traveling in the right lane and the motorcycle B is traveling behind the side vehicle 40 (6). In this situation, in the field of view visually recognized through the
このような状況において、図２２に示すように、自車両４０（１）の後方ウィンドシールド４７を通じて視認される自車両後方の視界に重ねて、自車両後方の死角領域Ｄに存在するバイクＢを示す重畳画像を表示する。このような重畳画像は、例えば、側方車両４０（６）に搭載されたカメラ５０によって側方車両４０（６）の後方を撮像した側方車両撮像画像を自車両４０（１）で取得することにより得ることができる。このようなバイクＢを示す重畳画像を、後方ウィンドシールド４７を通じて視認される自車両後方の視界中の側方車両４０（６）の側面に重ねて表示することにより、自車両４０（１）の運転者Ｐは、例えば、バイクＢが自車両４０（１）の前方に急な車線変更をしたときでも、そのバイクＢを事前に察知することが可能であり、自車両４０（１）の操作を適切に行うことが可能となる。
In such a situation, as shown in FIG. 22, the motorcycle B existing in the blind spot area D behind the host vehicle is superimposed on the field of view behind the host vehicle that is visually recognized through the
自車両後方の死角領域Ｄに存在するバイクＢを示す撮像画像（対象物情報）は、上述した方法（側方車両４０（６）に搭載された後方カメラで撮像し、その側方車両撮像画像を自車両４０（１）で取得する方法）に限られない。例えば、自車両４０（１）の前方を走行する先行車両に搭載された後方カメラにより死角領域ＤのバイクＢを撮像できる場合には、その後方カメラで撮像した先行車両撮像画像を自車両４０（１）で取得してもよい。また、例えば、自車両４０（１）の後方を走行する後行車両に搭載された前方カメラにより死角領域ＤのバイクＢを撮像できる場合には、その前方カメラで撮像した後行車両撮像画像を自車両４０（１）で取得してもよい。また、例えば、バイクＢの後方で同方向に右車線を走行する別の側方車両に搭載された前方カメラにより死角領域ＤのバイクＢを撮像できる場合には、その前方カメラで撮像した当該別の側方車両の撮像画像を自車両４０（１）で取得してもよい。また、例えば、対向車線を走行する対向車両に搭載された前方カメラ又は後方カメラにより死角領域ＤのバイクＢを撮像できる場合には、その前方カメラや後方カメラで撮像した対向車両撮像画像を自車両４０（１）で取得してもよい。また、路側に設置された路側カメラにより死角領域ＤのバイクＢを撮像できる場合には、その路側カメラで撮像した路側カメラ撮像画像を自車両４０（１）で取得してもよい。
なお、ここで例示した対象物情報の取得方法は、自車両後方の死角領域Ｄに存在するバイクＢに限らず、他の対象物についての対象物情報を取得する方法としても適用できる。
The captured image (object information) indicating the motorcycle B present in the blind spot area D behind the host vehicle is captured by the above-described method (the rear camera mounted on the side vehicle 40 (6)), and the side vehicle captured image is captured. Is not limited to the vehicle 40 (1). For example, when the motorcycle B in the blind spot area D can be captured by a rear camera mounted on a preceding vehicle traveling in front of the host vehicle 40 (1), the preceding vehicle captured image captured by the rear camera is captured by the host vehicle 40 ( You may acquire by 1). Further, for example, when the motorcycle B in the blind spot area D can be imaged by the front camera mounted on the following vehicle traveling behind the host vehicle 40 (1), the following vehicle image captured by the front camera is captured. You may acquire with the own vehicle 40 (1). Further, for example, when the motorcycle B in the blind spot area D can be imaged by a front camera mounted on another side vehicle traveling in the right lane in the same direction behind the motorcycle B, the other image captured by the front camera is used. A captured image of the side vehicle may be acquired by the host vehicle 40 (1). Further, for example, when the motorcycle B in the blind spot area D can be imaged by the front camera or the rear camera mounted on the oncoming vehicle traveling in the oncoming lane, the oncoming vehicle captured image captured by the front camera or the rear camera is captured. You may acquire by 40 (1). Further, when the motorcycle B in the blind spot area D can be captured by the roadside camera installed on the roadside, the roadside camera captured image captured by the roadside camera may be acquired by the own vehicle 40 (1).
Note that the object information acquisition method exemplified here is not limited to the motorcycle B existing in the blind spot area D behind the host vehicle, and can also be applied as a method of acquiring object information about other objects.
〔変形例４〕
次に、本実施形態における更に他の変形例（以下、本変形例を「変形例４」という。）について説明する。
上述した実施形態や変形例１〜３における表示手段は、フロントガラス４２やドアウィンドウなどの光透過性ウィンドシールドを通じて視認される自車両４０（１）の外部の視界に重ねて重畳画像を表示するＨＵＤ２０であった。しかしながら、自車両４０（１）に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両４０（１）のウィンドシールド上に表示させるディスプレイ装置を備えている場合には、そのディスプレイ装置を表示手段として用い、視界画像に重畳画像を重ねた合成画像を生成して、その合成画像をウィンドシールド上に表示するようにしてもよい。
[Modification 4]
Next, still another modification example of the present embodiment (hereinafter, this modification example will be referred to as “Modification Example 4”) will be described.
The display means in the embodiment and the first to third modifications described above displays a superimposed image superimposed on a field of view outside the host vehicle 40 (1) viewed through a light transmissive windshield such as the
図２３は、本変形例４における表示装置１で用いる表示手段としてのディスプレイ装置１２０の構成を示す説明図である。
本変形例４の表示装置１は、画像処理装置１０とディスプレイ装置１２０とに大別することができる。画像処理装置１０は、上述した実施形態と同様の構成及び動作でよい。自車両４０（１）の前方ウィンドシールドは、上述した実施形態では光透過性を有するフロントガラス４２であったが、本変形例４では、光不透過性の板状部材で構成されている。ディスプレイ装置１２０は、主に、この光不透過性である前方ウィンドシールド４２’の内壁面に配置される表示画面１２１と、表示画面１２１に表示させる画像を生成する画像合成部１２２とから構成される。
FIG. 23 is an explanatory diagram illustrating a configuration of the
The
ディスプレイ装置１２０は、自車両４０（１）の前方を撮像する撮像部１６から送られてくる自車両撮像画像が画像合成部１２２に入力されると、撮像部１６で撮像した自車両撮像画像（自車両前方を撮像した画像）の視点位置を、自車両４０（１）の運転者Ｐの視点位置に変換する視点変換処理を行い、視点変換処理後の自車両撮像画像（視界画像）を表示画面１２１へ出力する。これにより、前方ウィンドシールド４２’上の表示画面１２１には、運転者Ｐがあたかも前方ウィンドシールド４２’を透過して自車両４０（１）の前方を視認しているのと同等の視界画像が、リアルタイム表示される。すなわち、本変形例４では、運転者Ｐは、前方ウィンドシールド４２’上の表示画面１２１に表示される視界画像によって自車両４０（１）の前方の視界を得ながら、自車両４０（１）の操縦を行う。
When the host vehicle captured image sent from the
本変形例４において、表示画面１２１に表示させる画像を生成する画像合成部１２２には、画像処理装置１０の画像生成部１３からの重畳画像が入力される。この画像生成部１３で生成される重畳画像は、上述した実施形態や変形例１などと同様のものを用いることができる。例えば、上述した実施形態のように、先行車両４０（２）のカメラ５０によって撮像した先行車両撮像画像を自車両４０（１）で受信し、視点変換処理や死角領域抽出処理等を施した先行車両撮像画像（死角領域Ｄ内の信号機４５を撮像した画像）を、画像処理装置１０からディスプレイ装置１２０の画像合成部１２２へ入力する。また、上述した変形例１のように、先行車両４０（２）に搭載されている超音波センサやレーダーなどの対象物検出手段が先々行車両４０（３）の急接近を検出した結果に応じたマーク画像（ブレーキランプが強調表示された自動車の背面を模式的に表した画像）を、画像処理装置１０からディスプレイ装置１２０の画像合成部１２２へ入力する。
In the fourth modification, the superimposed image from the
ディスプレイ装置１２０の画像合成部１２２は、画像処理装置１０から入力された重畳画像を、前方ウィンドシールド４２’上の表示画面１２１に表示される視界画像に重ねた合成画像を生成し、その合成画像を表示画面１２１へ出力する。これにより、画像処理装置１０から入力された重畳画像（信号機４５を映し出す先行車両撮像画像や、先々行車両４０（３）の急接近を知らせるマーク画像）が、自車両４０（１）の前方ウィンドシールド４２’上の表示画面１２１に表示される視界画像に映し出されている先行車両４０（２）の背面画像部分に重ねて表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する信号機４５や先々行車両４０（３）を認識することができ、信号機４５が赤信号になっていることに気付かずに交差点に自車両４０（１）を進入させてしまう事態が抑制され、また、先々行車両４０（３）の急ブレーキによる対応を迅速に行うことができる。
The
上述した実施形態では、自車両４０（１）の前方の視界を、光透過性のフロントガラス４２を通じて直接視認する構成であったため、運転者Ｐに提供される自車両前方の視界の内容を変更することはできない。これに対し、本変形例４においては、自車両４０（１）の前方の視界を、光不透過性のウィンドシールド４２’上の表示画面１２１に表示される視界画像によって運転者Ｐに提供する構成であるため、視界画像を画像処理することにより、自車両前方の視界の内容を変更した状態で運転者Ｐに提供することが可能である。
In the above-described embodiment, the field of view in front of the host vehicle 40 (1) is directly viewed through the light-transmitting
そこで、本変形例４においては、自車両前方の視界を映し出す視界画像（自車両撮像画像を視点変換処理したもの）を画像処理したものに、画像処理装置１０から入力された重畳画像を重ねた合成画像を生成する。具体的には、画像合成部１２２は、自車両前方の視界を映し出す視界画像のレイヤーの下に、画像処理装置１０から入力された重畳画像のレイヤーを重ねるとともに、視界画像レイヤーにおける先行車両４０（２）の背面画像部分（死角領域Ｄに対応する画像部分）を半透明にして、重畳画像レイヤー上の対応する画像部分が先行車両４０（２）の背面画像部分を透けて視認できる合成画像を生成する。
Therefore, in the fourth modification, the superimposed image input from the
これにより、例えば、図２４に示すように、先行車両４０（２）によって死角となっていた信号機４５を映し出す先行車両撮像画像の画像部分が先行車両４０（２）の背面画像部分（半透明状態）を透過した状態の合成画像が、自車両４０（１）の前方ウィンドシールド４２’上の表示画面１２１に表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する信号機４５を認識することができ、信号機４５が赤信号になっていることに気付かずに交差点に自車両４０（１）を進入させてしまう事態が抑制される。
Thus, for example, as shown in FIG. 24, the image portion of the preceding vehicle captured image that displays the
なお、本変形例４では、自車両４０（１）に搭載される撮像手段により撮像した自車両外部の視界を映し出す視界画像を自車両４０（１）のウィンドシールド上に表示させる表示手段として、自車両４０（１）の光不透過性の前方ウィンドシールド４２’上に表示画面１２１が配置されたディスプレイ装置１２０を用いているが、これに限られない。例えば、自車両４０（１）の光不透過性の前方ウィンドシールド４２’の内壁面にプロジェクタによって視界画像を投射するＨＵＤを用いてもよい。また、例えば、自車両４０（１）の前方ウィンドシールド自体をディスプレイ装置で構成してもよい。そのディスプレイ装置としては、例えば、透明又は半透明の透過型ディスプレイを採用してもよく、この場合、視界画像に重畳画像を重ねた合成画像を表示しない時期には、透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。また、例えば、自車両４０（１）のフロントガラス４２（光透過性ウィンドシールド）に透過型ディスプレイを重ねて配置した構成を採用してもよく、この場合も、視界画像に重畳画像を重ねた合成画像を表示しない時期には、フロントガラス４２及び透過型ディスプレイを通じて自車両外部の視界を視認できるように構成することができる。
In addition, in this
〔変形例５〕
次に、本実施形態における更に他の変形例（以下、本変形例を「変形例５」という。）について説明する。
上述した実施形態や変形例１〜４においては、死角領域Ｄに存在する対象物を示す対象物情報が、先行車両４０（２）や第一対向車両４０（４）のカメラ５０で撮像した先行車両撮像画像のデータや超音波センサやレーダーなどの対象物検出手段で取得される情報であった。しかしながら、他の対象物情報を用いてもよく、例えば、対象物本体に配置されている外部機器としての携帯電話機が取得する対象物の位置情報を対象物情報として用いてもよい。本変形例５では、対象物である歩行者Ｗが所持している携帯電話機から送信される当該携帯電話機の位置情報を対象物情報として用いる。
[Modification 5]
Next, still another modified example (hereinafter, this modified example is referred to as “modified example 5”) in the present embodiment will be described.
In the embodiment and the first to fourth modifications described above, the object information indicating the object existing in the blind spot area D is captured by the
本変形例５においては、上述した変形例２と同様、図１７に示したように、対向車線で渋滞している場合において、第一対向車両４０（４）とその前に停止している第二対向車両４０（５）との間を通って、歩行者Ｗが自車両４０（１）の走行車線を横切ろうとしている例である。本変形例５では、対象物である歩行者Ｗが所持している携帯電話機から送信される当該携帯電話機の位置情報を対象物情報として自車両４０（１）が受信し、その歩行者Ｗの位置が死角領域Ｄ内であるときに、図２６に示すように、歩行者の存在を示す歩行者マーク画像Ｗ’を重畳画像として、ＨＵＤ２０により、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面（死角領域Ｄ）に重ねて投射表示する。この歩行者マーク画像Ｗ’は、運転者Ｐが歩行者Ｗの存在に気付きやすいように強調されたデザインであるのが好ましい。
In the fifth modification, as in the second modification described above, as shown in FIG. 17, when there is a traffic jam in the oncoming lane, the first oncoming vehicle 40 (4) and the first vehicle that has stopped before it are stopped. This is an example in which the pedestrian W is about to cross the traveling lane of the host vehicle 40 (1) through the space between the two oncoming vehicles 40 (5). In the fifth modification, the host vehicle 40 (1) receives the position information of the mobile phone transmitted from the mobile phone possessed by the pedestrian W that is the object as the object information, and the pedestrian W When the position is in the blind spot area D, as shown in FIG. 26, the pedestrian mark image W ′ indicating the presence of a pedestrian is visually recognized by the
図２５は、本変形例５の表示処理の流れを示すシーケンス図である。
歩行者Ｗが所持している携帯電話機は、ＧＰＳ装置を備えており、上述したように、ローカルデータセンターとして機能する通信網６０の基地局６５に対し、当該携帯電話機の現在位置を示す位置情報を送信する（Ｓ１１）。これを受信した基地局６５は、当該携帯電話機の位置情報を記憶部６７に記憶する。これにより、基地局６５の位置情報データベースに、歩行者Ｗが所持している携帯電話機の位置情報すなわち歩行者Ｗの現在位置が登録される（Ｓ１２）。自車両４０（１）の位置情報についても、基地局６５の位置情報データベースに登録される。
FIG. 25 is a sequence diagram illustrating the flow of display processing according to the fifth modification.
The mobile phone possessed by the pedestrian W has a GPS device, and as described above, the location information indicating the current location of the mobile phone with respect to the
一方、自車両４０（１）における表示装置１の制御部１１は、外部通信部１２から歩行者報知情報の取得要求を送信する（Ｓ１３）。このとき、自車両４０（１）に搭載されているＧＰＳ装置４３から取得される自車両４０（１）の位置情報に関連づけて取得要求を送信する。この取得要求が通信網６０の基地局６５に受信されると、基地局６５のデータ処理部６６は、記憶部６７に記憶されている位置情報データベースを参照し、受信した取得要求に関連づけられた自車両４０（１）の位置情報から、自車両４０（１）の前方エリア内の位置情報をもつ移動局（歩行者Ｗの携帯電話機）が存在するか否かを判断する（Ｓ１４）。自車両４０（１）の前方エリア内の位置情報をもつ移動局（歩行者Ｗの携帯電話機）が存在する場合、基地局６５のデータ処理部６６は、歩行者報知条件を満たす判断し、その携帯電話機の位置情報（すなわち歩行者Ｗの位置情報）を含む歩行者報知情報を、自車両４０（１）へ送信する。
On the other hand, the
自車両４０（１）の制御部１１は、外部通信部１２から歩行者報知情報を受信すると（Ｓ１５）、その歩行者報知情報に含まれる歩行者Ｗの位置情報に基づき、歩行者Ｗが死角領域Ｄ内に存在するか否かを判断する（Ｓ１６）。この判断は、例えば、次のようにして行うことができる。自車両４０（１）に搭載の撮像部１６によって自車両４０（１）の前方を撮像した自車両撮像画像を解析して、自車両４０（１）のフロントガラス４２を通じて運転者Ｐに視認される視界中における先行車両４０（２）による死角領域Ｄを特定する。自車両撮像画像は、運転者Ｐに視認される視界の一部又は全部を含むエリアが映し出されており、図１８に示したものと同様の自車両撮像画像が得られる。このような自車両撮像画像中から、第二対向車両４０（５）を映し出す画像部分（死角領域Ｄの画像部分）を特定する。その後、死角領域Ｄの画像部分に対応する自車両前方の実範囲を算出し、歩行者Ｗの位置がその実範囲内に属しているか否かを判断する。
When the
歩行者Ｗが死角領域Ｄ内に存在すると判断した場合、自車両４０（１）の制御部１１は、表示制御部１４を介して、自車両４０（１）のフロントガラス４２を通じて視認される歩行者Ｗの位置、すなわち、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面に、歩行者マーク画像Ｗ’が重なるように、死角領域視界画像としてＨＵＤ２０により投射表示する（Ｓ１７）。これにより、図２６に示すように、第二対向車両４０（５）によって死角となっていた歩行者Ｗを示す歩行者マーク画像Ｗ’が、自車両４０（１）のフロントガラス４２を通じて視認される第二対向車両４０（５）の側面に重ねて投射表示される。その結果、自車両４０（１）の運転者Ｐは、死角領域Ｄに存在する歩行者Ｗを認識することができ、歩行者Ｗの存在に気付かずに自車両４０（１）を走行させる事態が抑制される。
If it is determined that the pedestrian W is present in the blind spot area D, the
なお、本明細書で説明された表示装置、移動体及び表示システムの構成要素あるいは処理工程は、様々な手段によって実装することができる。例えば、これらの構成要素や処理工程は、ハードウェア、ファームウェア、ソフトウェア、又は、それらの組み合わせで実装されてもよく、例えば、後述のハードウェアに所定のプログラムが読み込まれて実行されたり、後述のハードウェアに予め組み込まれた所定のプログラムが実行されたりすることにより、実現される。 Note that the components or processing steps of the display device, the moving body, and the display system described in this specification can be implemented by various means. For example, these components and processing steps may be implemented by hardware, firmware, software, or a combination thereof. For example, a predetermined program is read and executed by hardware described later, or is described later. This is realized by executing a predetermined program incorporated in advance in hardware.
ハードウェア実装については、実体（例えば、各種無線通信装置、Ｎｏｄｅ Ｂ、端末、ハードディスクドライブ装置、又は、光ディスクドライブ装置）において構成要素や処理工程を実現するために用いられる処理ユニット等の手段は、１つ又は複数の、特定用途向けＩＣ（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するようにデザインされた他の電子ユニット、コンピュータ、又は、それらの組み合わせの中に実装されてもよい。 For hardware implementation, means such as processing units used to realize components and processing steps in an entity (for example, various wireless communication devices, Node Bs, terminals, hard disk drive devices, or optical disk drive devices) One or more application specific IC (ASIC), digital signal processor (DSP), digital signal processor (DSPD), programmable logic device (PLD), field programmable gate array (FPGA), processor , A controller, a microcontroller, a microprocessor, an electronic device, other electronic units designed to perform the functions described herein, a computer, or a combination thereof.
また、ファームウェア及び／又はソフトウェア実装については、上記構成要素を実現するために用いられる処理ユニット等の手段は、本明細書で説明された機能を実行するプログラム（例えば、プロシージャ、関数、モジュール、インストラクション、などのコード）で実装されてもよい。一般に、ファームウェア及び／又はソフトウェアのコードを明確に具体化する任意のコンピュータ／プロセッサ読み取り可能な媒体が、本明細書で説明された上記処理工程及び構成要素を実現するために用いられる処理ユニット等の手段の実装に利用されてもよい。例えば、ファームウェア及び／又はソフトウェアコードは、例えば制御装置において、メモリに記憶され、コンピュータやプロセッサにより実行されてもよい。そのメモリは、コンピュータやプロセッサの内部に実装されてもよいし、又は、プロセッサの外部に実装されてもよい。また、ファームウェア及び／又はソフトウェアコードは、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、フロッピー（登録商標）ディスク、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、磁気又は光データ記憶装置、などのような、コンピュータやプロセッサで読み取り可能な媒体に記憶されてもよい。そのコードは、１又は複数のコンピュータやプロセッサにより実行されてもよく、また、コンピュータやプロセッサに、本明細書で説明された機能性のある態様を実行させてもよい。 Also, for firmware and / or software implementation, means such as processing units used to implement the above components may be programs (eg, procedures, functions, modules, instructions) that perform the functions described herein. , Etc.). In general, any computer / processor readable medium that specifically embodies firmware and / or software code may be used, such as a processing unit used to implement the processing steps and components described herein. It may be used to implement the means. For example, the firmware and / or software code may be stored in a memory, for example, in a control device, and executed by a computer or processor. The memory may be implemented inside the computer or processor, or may be implemented outside the processor. The firmware and / or software code may be, for example, random access memory (RAM), read only memory (ROM), nonvolatile random access memory (NVRAM), programmable read only memory (PROM), electrically erasable PROM (EEPROM) ), FLASH memory, floppy disk, compact disk (CD), digital versatile disk (DVD), magnetic or optical data storage, etc. Good. The code may be executed by one or more computers or processors, and may cause the computers or processors to perform the functional aspects described herein.
また、本明細書で開示された実施形態の説明は、当業者が本開示を製造又は使用するのを可能にするために提供される。本開示に対するさまざまな修正は当業者には容易に明白になり、本明細書で定義される一般的原理は、本開示の趣旨又は範囲から逸脱することなく、他のバリエーションに適用可能である。それゆえ、本開示は、本明細書で説明される例及びデザインに限定されるものではなく、本明細書で開示された原理及び新規な特徴に合致する最も広い範囲に認められるべきである。 Also, descriptions of embodiments disclosed herein are provided to enable any person skilled in the art to make or use the present disclosure. Various modifications to the present disclosure will be readily apparent to those skilled in the art, and the general principles defined herein may be applied to other variations without departing from the spirit or scope of the disclosure. The present disclosure is therefore not limited to the examples and designs described herein, but should be accorded the widest scope consistent with the principles and novel features disclosed herein.
１ 表示装置
１０ 画像処理装置
１１ 制御部
１２ 外部通信部
１３ 画像生成部
１４ 表示制御部
１５ 車内通信部
１６ 撮像部
２０ ＨＵＤ
４０（１） 自車両
４０（２） 先行車両
４０（３） 先々行車両
４０（４） 第一対向車両
４０（５） 第二対向車両
４０（６） 側方車両
４０（７） 側々方車両
４２ フロントガラス
４２’ ウィンドシールド
４３ ＧＰＳ装置
４４ 各種車載センサ
４５ 信号機
５０ カメラ
５１ 制御部
５２ 外部通信部
５３ 撮像部
５４ 車内通信部
６０ 通信網
６５ 基地局
６６ データ処理部
６７ 記憶部
６８ 移動通信部
６９ バックホール通信部
１２０ ディスプレイ装置
１２１ 表示画面
１２２ 画像合成部
Ｄ 死角領域
Ｅ 撮像領域
Ｐ 運転者
Ｗ 歩行者
DESCRIPTION OF
40 (1) Own vehicle 40 (2) Preceding vehicle 40 (3) Preceding vehicle 40 (4) First oncoming vehicle 40 (5) Second oncoming vehicle 40 (6) Side vehicle 40 (7)
Claims (16)
前記移動体の外部機器から、前記視界中の死角領域に存在する対象物を示す対象物情報を取得する対象物情報取得手段と、
前記対象物情報取得手段により取得した対象物情報に基づき、前記対象物を示す重畳画像を生成する画像生成手段と、
前記視界中の前記死角領域に重ねて、又は、前記死角領域に対応する前記視界画像中の画像部分に重ねて、前記画像生成手段により生成された重畳画像を表示する表示手段とを有することを特徴とする表示装置。 In a display device that displays a superimposed image overlaid on a field of view outside the moving body viewed from the windshield of the moving body, or overlaid on a view image that reflects the field of view,
Object information acquisition means for acquiring object information indicating an object existing in a blind spot area in the field of view from an external device of the moving body;
Image generating means for generating a superimposed image showing the object based on the object information acquired by the object information acquiring means;
A display unit that displays the superimposed image generated by the image generation unit so as to be superimposed on the blind spot area in the field of view or on an image portion in the view field image corresponding to the blind spot area. Characteristic display device.
前記外部機器は、撮像手段であり、
前記対象物情報は、前記撮像手段により前記死角領域内の前記対象物を撮像して得られる撮像画像を含むことを特徴とする表示装置。 The display device according to claim 1.
The external device is imaging means,
The display device according to claim 1, wherein the object information includes a captured image obtained by imaging the object in the blind spot area by the imaging unit.
前記画像生成手段は、前記対象物情報取得手段により取得した撮像画像に基づき、前記ウィンドシールドから視認されるときに死角となる視界部分を映し出す死角領域視界画像を、前記重畳画像として生成することを特徴とする表示装置。 The display device according to claim 2.
The image generation means generates, as the superimposed image, a blind spot area visual field image that displays a visual field portion that becomes a blind spot when viewed from the windshield based on the captured image acquired by the object information acquisition means. Characteristic display device.
前記表示手段は、前記視界中の前記死角領域に重ならない重畳画像部分、又は、前記死角領域に対応する前記視界画像中の画像部分に重ならない重畳画像部分を、非表示にすることを特徴とする表示装置。 The display device according to any one of claims 1 to 3,
The display unit is configured to hide a superimposed image portion that does not overlap the blind spot area in the field of view or a superimposed image part that does not overlap the image part in the field of view image corresponding to the blind spot area. Display device.
前記ウィンドシールドは、前記移動体の前方ウィンドシールドであり、
前記表示手段は、前記前方ウィンドシールド上の側部領域から視認される移動体外部の前方視界中の側部に重なる重畳画像部分、又は、該前方視界中の側部を映し出す前記視界画像中の画像部分に重なる重畳画像部分を、非表示にすることを特徴とする表示装置。 The display device according to any one of claims 1 to 4,
The windshield is a front windshield of the moving body,
The display means includes a superimposed image portion that overlaps a side portion in the front field of view outside the moving body that is viewed from a side region on the front windshield, or a side image in the field of view that displays the side portion in the front field of view. A display device characterized by hiding a superimposed image portion overlapping an image portion.
前記対象物情報取得手段は、移動通信網を介して前記対象物情報を前記外部機器から受信して取得するものであることを特徴とする表示装置。 The display device according to any one of claims 1 to 5,
The display device according to claim 1, wherein the object information acquisition means is configured to receive and acquire the object information from the external device via a mobile communication network.
前記対象物情報取得手段は、前記外部機器との間の無線通信により前記対象物情報を受信して取得するものであることを特徴とする表示装置。 The display device according to any one of claims 1 to 5,
The display device according to claim 1, wherein the object information acquisition means receives and acquires the object information through wireless communication with the external device.
前記外部機器は、前記移動体が移動する移動経路の周辺に配置されている機器を含むことを特徴とする表示装置。 The display device according to any one of claims 1 to 7,
The display device according to claim 1, wherein the external device includes a device arranged around a moving path along which the moving body moves.
前記外部機器は、前記移動体とは別の移動体に配置されている機器を含むことを特徴とする表示装置。 The display device according to any one of claims 1 to 8,
The display device according to claim 1, wherein the external device includes a device arranged in a moving body different from the moving body.
前記別の移動体は、前記移動体と同方向へ移動する同方向移動体を含むことを特徴とする表示装置。 The display device according to claim 9.
The another moving body includes a same-direction moving body that moves in the same direction as the moving body.
前記外部機器は、前記対象物に配置されている機器を含み、
前記対象物情報は、前記対象物の位置情報を含むことを特徴とする表示装置。 The display device according to any one of claims 1 to 10,
The external device includes a device arranged on the object,
The display device characterized in that the object information includes position information of the object.
前記表示手段は、前記移動体の光透過性ウィンドシールドから視認される移動体外部の視界に重ねて前記重畳画像を表示するものであることを特徴とする表示装置。 The display device according to any one of claims 1 to 11,
The display device, wherein the display means displays the superimposed image so as to be superimposed on a field of view outside the moving body viewed from a light transmissive windshield of the moving body.
前記表示手段は、前記移動体のウィンドシールド上に、該移動体上の撮像手段によって撮像した前記視界を映し出す視界画像に前記重畳画像を重ねた合成画像を表示するものであることを特徴とする表示装置。 The display device according to any one of claims 1 to 11,
The display means displays on the windshield of the moving body a composite image in which the superimposed image is superimposed on a visual field image showing the visual field captured by the imaging means on the moving body. Display device.
前記表示手段は、所定の非表示条件を満たすときは、前記重畳画像の全体を非表示にすることを特徴とする表示装置。 The display device according to any one of claims 1 to 13,
The display device is configured to hide the entire superimposed image when a predetermined non-display condition is satisfied.
前記表示装置として、請求項１乃至１４のいずれかの表示装置を用いたことを特徴とする移動体。 In a moving body provided with a display device that displays a superimposed image superimposed on a field of view outside the moving body viewed from a windshield or superimposed on a field of view image that displays the field of view,
A moving body using the display device according to claim 1 as the display device.
前記視界中の死角領域に存在する対象物を示す対象物情報を発信する外部機器が、前記移動体の外部に設けられた表示システムであって、
前記表示装置として、請求項１乃至１４のいずれかの表示装置を用いたことを特徴とする表示システム。 A display device that displays a superimposed image superimposed on a field of view outside the moving body viewed from the windshield of the moving body or on a field of view image that reflects the field of view is provided on the moving body,
An external device that transmits object information indicating an object existing in a blind spot area in the field of view is a display system provided outside the mobile body,
15. A display system using the display device according to claim 1 as the display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017038430A JP6599386B2 (en) | 2017-03-01 | 2017-03-01 | Display device and moving body |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017038430A JP6599386B2 (en) | 2017-03-01 | 2017-03-01 | Display device and moving body |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018147035A true JP2018147035A (en) | 2018-09-20 |
| JP6599386B2 JP6599386B2 (en) | 2019-10-30 |
Family
ID=63588812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017038430A Active JP6599386B2 (en) | 2017-03-01 | 2017-03-01 | Display device and moving body |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6599386B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021065971A (en) * | 2019-10-23 | 2021-04-30 | ファナック株式会社 | Robot teaching system, image forming method and program |
| JP2021535507A (en) * | 2018-08-30 | 2021-12-16 | ヴァレオ、コンフォート、アンド、ドライビング、アシスタンスValeo Comfort And Driving Assistance | Conditional availability of mixed reality of vehicles |
| US11403950B2 (en) | 2020-06-03 | 2022-08-02 | Toyota Jidosha Kabushiki Kaisha | Moving body detection system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004114709A (en) * | 2002-09-20 | 2004-04-15 | Equos Research Co Ltd | On-vehicular image display device |
| JP2006215911A (en) * | 2005-02-04 | 2006-08-17 | Sumitomo Electric Ind Ltd | Apparatus, system and method for displaying approaching mobile body |
| JP2009070243A (en) * | 2007-09-14 | 2009-04-02 | Denso Corp | Field of vision support system for vehicle, and information distribution device |
| JP2010267052A (en) * | 2009-05-14 | 2010-11-25 | Denso Corp | On-vehicle display device |
| JP2013120574A (en) * | 2011-12-08 | 2013-06-17 | Daimler Ag | On-vehicle pedestrian alarm device |
| US20130181823A1 (en) * | 2010-09-15 | 2013-07-18 | Continental Teve AG & Co., oHG | Visual Driver Information and Warning System for a Driver of a Motor Vehicle |
| US20140019005A1 (en) * | 2012-07-10 | 2014-01-16 | Samsung Electronics Co., Ltd. | Transparent display apparatus for displaying information of danger element, and method thereof |
-
2017
- 2017-03-01 JP JP2017038430A patent/JP6599386B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004114709A (en) * | 2002-09-20 | 2004-04-15 | Equos Research Co Ltd | On-vehicular image display device |
| JP2006215911A (en) * | 2005-02-04 | 2006-08-17 | Sumitomo Electric Ind Ltd | Apparatus, system and method for displaying approaching mobile body |
| JP2009070243A (en) * | 2007-09-14 | 2009-04-02 | Denso Corp | Field of vision support system for vehicle, and information distribution device |
| JP2010267052A (en) * | 2009-05-14 | 2010-11-25 | Denso Corp | On-vehicle display device |
| US20130181823A1 (en) * | 2010-09-15 | 2013-07-18 | Continental Teve AG & Co., oHG | Visual Driver Information and Warning System for a Driver of a Motor Vehicle |
| JP2013120574A (en) * | 2011-12-08 | 2013-06-17 | Daimler Ag | On-vehicle pedestrian alarm device |
| US20140019005A1 (en) * | 2012-07-10 | 2014-01-16 | Samsung Electronics Co., Ltd. | Transparent display apparatus for displaying information of danger element, and method thereof |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021535507A (en) * | 2018-08-30 | 2021-12-16 | ヴァレオ、コンフォート、アンド、ドライビング、アシスタンスValeo Comfort And Driving Assistance | Conditional availability of mixed reality of vehicles |
| JP7229336B2 (en) | 2018-08-30 | 2023-02-27 | ヴァレオ、コンフォート、アンド、ドライビング、アシスタンス | Conditional Availability of Vehicle Mixed Reality |
| JP2021065971A (en) * | 2019-10-23 | 2021-04-30 | ファナック株式会社 | Robot teaching system, image forming method and program |
| JP7517803B2 (en) | 2019-10-23 | 2024-07-17 | ファナック株式会社 | ROBOT TEACHING SYSTEM, IMAGE GENERATION METHOD, AND PROGRAM |
| US11403950B2 (en) | 2020-06-03 | 2022-08-02 | Toyota Jidosha Kabushiki Kaisha | Moving body detection system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6599386B2 (en) | 2019-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2700635C1 (en) | Method and device for parking places detection | |
| US10176720B2 (en) | Auto driving control system | |
| JP6547836B2 (en) | Parking support method and parking support apparatus | |
| WO2016186039A1 (en) | Automobile periphery information display system | |
| JP4807263B2 (en) | Vehicle display device | |
| WO2018105136A1 (en) | Vehicle surrounding information acquisition device and vehicle | |
| GB2550262A (en) | Pedestrian detection and motion prediction with rear-facing camera | |
| JPWO2018105135A1 (en) | Vehicle peripheral information acquisition device and vehicle | |
| JP6798906B2 (en) | Base station equipment and communication system | |
| JP5712119B2 (en) | Pedestrian notification device for vehicles | |
| CN103171439A (en) | Behavior prediction of robot guiding system | |
| JP2017091093A (en) | Information display device | |
| JP2006227811A (en) | Driving support apparatus | |
| JP6599387B2 (en) | Information notification apparatus, moving body, and information notification system | |
| WO2014185042A1 (en) | Driving assistance device | |
| US11042154B2 (en) | Transportation equipment and traveling control method therefor | |
| JP7006235B2 (en) | Display control device, display control method and vehicle | |
| JP6599386B2 (en) | Display device and moving body | |
| JP2010198428A (en) | On-vehicle system | |
| JP2016162204A (en) | Dirt determination device | |
| US20210291736A1 (en) | Display control apparatus, display control method, and computer-readable storage medium storing program | |
| JP6555413B2 (en) | Moving object surrounding display method and moving object surrounding display device | |
| WO2021251468A1 (en) | Image processing device | |
| JP2017007581A (en) | Vehicular safe control apparatus | |
| WO2024154271A1 (en) | Driving assistance device, driving assistance method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190201 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190401 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190411 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191002 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6599386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |