JP2019059247A - Head-up display device - Google Patents
Head-up display device Download PDFInfo
- Publication number
- JP2019059247A JP2019059247A JP2016061245A JP2016061245A JP2019059247A JP 2019059247 A JP2019059247 A JP 2019059247A JP 2016061245 A JP2016061245 A JP 2016061245A JP 2016061245 A JP2016061245 A JP 2016061245A JP 2019059247 A JP2019059247 A JP 2019059247A
- Authority
- JP
- Japan
- Prior art keywords
- display
- vehicle
- virtual image
- display device
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000013459 approach Methods 0.000 claims description 53
- 238000004891 communication Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 26
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 2
- 238000000034 method Methods 0.000 description 131
- 230000008569 process Effects 0.000 description 81
- 238000012545 processing Methods 0.000 description 62
- 238000010586 diagram Methods 0.000 description 58
- 230000003287 optical effect Effects 0.000 description 49
- 238000009792 diffusion process Methods 0.000 description 26
- 239000004973 liquid crystal related substance Substances 0.000 description 24
- 238000012937 correction Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 230000009471 action Effects 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、ヘッドアップディスプレイ装置の技術に関し、特に、ＡＲ（Augmented Reality：拡張現実）を利用したヘッドアップディスプレイ装置に適用して有効な技術に関するものである。 The present invention relates to the technology of a head-up display device, and in particular, to a technology that is effective when applied to a head-up display device using AR (Augmented Reality).
例えば、自動車等の車両において、通常は、車速やエンジン回転数等の情報は、ダッシュボード内の計器盤（インパネ）に表示される。また、カーナビゲーション等の画面は、ダッシュボードに組み込まれもしくはダッシュボード上に設置されたディスプレイに表示される。運転者がこれらの情報を視認する場合に視線を大きく移動させることが必要となることから、視線の移動量を低減させる技術として、車速等の情報やカーナビゲーションに係る指示等の情報をフロントガラス（ウィンドシールド）に投射して表示するヘッドアップディスプレイ（Head Up Display、以下では「ＨＵＤ」と記載する場合がある）が知られている。 For example, in a vehicle such as a car, usually, information such as the vehicle speed and the engine speed is displayed on an instrument panel in a dashboard. In addition, a screen such as a car navigation is displayed on a display incorporated in the dashboard or installed on the dashboard. Since it is necessary for the driver to move the line of sight largely when the driver views these information, as a technique for reducing the amount of movement of the line of sight, information such as information on vehicle speed and information related to car navigation is used as a windshield There is known a head up display (Head Up Display, hereinafter sometimes referred to as "HUD") for projecting and displaying on a (wind shield).
ＨＵＤも含む車載の表示装置では、車両が走行状況に応じて振動したり傾いたりする場合があるため、表示映像の視認性に問題が生じる場合や、適切な内容を表示できない場合等が生じ得る。 In the on-vehicle display device including the HUD, since the vehicle may vibrate or tilt depending on the traveling condition, a problem may occur in the visibility of the display image, or an appropriate content may not be displayed. .
ＨＵＤにおける表示映像の視認性の改善等に関連する技術として、例えば、特開２０１３−２３７３２０号公報（特許文献１）には、車体に生じる回転成分を当該車体の傾きとして取得して、これに基づいて映像を３次元的に回転補正し、回転補正した映像を表示するための位置と傾きを決定して投影表示することが記載されている。 As a technique related to the improvement of the visibility of the display image in the HUD etc., for example, in Japanese Patent Laid-Open No. 2013-237320 (Patent Document 1), the rotational component generated in the vehicle body is acquired as the inclination of the vehicle body, It is described that the image is three-dimensionally subjected to rotational correction based on the image, and the position and inclination for displaying the image subjected to the rotational correction are determined and projected and displayed.
また、特開２００７−５５３６５号公報（特許文献２）には、ＨＵＤに距離スケールを表示する際に、ナビゲーション装置の地図データから、自車両が現在走行している走行地点情報と、自車両が走行するであろう走行予定地点情報とを取得し、これに基づいて自車両が走行する道路の傾斜角度を取得して、傾斜角度に応じた補正係数を用いて距離スケールの地面からの表示高さを補正して表示することが記載されている。 Moreover, when displaying a distance scale on HUD according to JP 2007-55365 A (patent document 2), traveling point information where the vehicle is currently traveling and the vehicle are displayed from map data of the navigation device. Acquires the planned traveling point information that will travel, acquires the inclination angle of the road on which the host vehicle travels based on this, and uses the correction coefficient according to the inclination angle to display the distance scale from the ground of the distance scale It is described that the display is corrected.
また、特開２００６−７８６７号公報（特許文献３）には、検出した右左折、加減速等の走行状況に応じて、生成した映像の表示位置を、例えば、左折を検出した場合には左の方向にシフトし、右折を検出した場合には右の方向にシフトする、等のように制御することが記載されている。 In addition, according to the detected traveling conditions such as right / left turn and acceleration / deceleration in Japanese Patent Application Laid-Open No. 2006-7867 (Patent Document 3), the display position of the generated image is, for example, left if left turn is detected. It is described that control is performed such as shifting in the direction of, and shifting in the direction of the right when a right turn is detected.
また、特開２０１５−２０２８４２号公報（特許文献４）には、車両状態に従って運転者の視界が確保される方向に、映像情報の表示位置を移動させることが記載されている。 Further, Japanese Patent Application Laid-Open No. 2015-202842 (Patent Document 4) describes that the display position of the video information is moved in the direction in which the driver's view is secured according to the vehicle state.
ＨＵＤは、映像をウィンドシールドに投射することで、当該映像を車外における虚像として運転者に認識させるものである。これに対し、ウィンドシールド越しに見える車外の実際の風景に虚像を重畳させるように表示することで、対象物等に係る情報を運転者に示すことを可能とするいわゆるＡＲ機能を実現するＨＵＤ（以下では「ＡＲ−ＨＵＤ」と記載する場合がある）が知られている。このようなＡＲ−ＨＵＤにおいても、車両の走行状況等に応じて表示映像の視認性や適切性等を維持するための調整を行う必要がある。 The HUD causes the driver to recognize the video as a virtual image outside the vehicle by projecting the video onto the windshield. On the other hand, a HUD that realizes a so-called AR function that enables the driver to show information related to an object or the like by displaying so as to superimpose a virtual image on an actual landscape outside the vehicle seen through the windshield. Hereinafter, "AR-HUD" may be described). Also in such AR-HUD, it is necessary to perform adjustment for maintaining the visibility, appropriateness, and the like of the display image in accordance with the traveling condition and the like of the vehicle.
この点、例えば、上記の特許文献１〜３に記載されたような技術を用いることで、車両が走行状況に応じて振動したり傾いたりする場合でも、表示映像（虚像）の視認性や適切性に与える影響を低減・解消させることが可能である。一方で、これらの技術では、ＨＵＤにおける虚像の表示領域内に表示される映像を対象として、その表示位置や表示内容等を走行状況に応じて調整するものである。しかしながら、ＨＵＤの場合は、運転者の視線の移動量を低減させるという効果を車両の走行状況に関わらず得られるようにすることも考慮して、表示領域内の映像の調整だけでなく表示領域自体についても位置を移動させる等の調整を行うのが望ましい。
In this respect, for example, by using the techniques as described in
この点、特許文献４に記載された技術では、車両状態に応じてＨＵＤにおける表示領域自体を移動させることが可能である。しかしながら、特許文献４に記載された技術は、車両状態に変化が生じた場合でも運転者の視界を確保することを目的としたものであり、ＨＵＤにおける表示領域を運転者の障害とならないような位置に移動させるものである。このような技術をＡＲ−ＨＵＤに適用すると、運転者の視界に含まれる実際の風景に虚像を重畳させることができなくなる場合が生じ、ＡＲ機能が実効性を有さないことになる。 In this respect, according to the technology described in Patent Document 4, it is possible to move the display area itself in the HUD according to the vehicle state. However, the technique described in Patent Document 4 aims to secure the visibility of the driver even when the vehicle state changes, and the display area in the HUD is not an obstacle for the driver. It is moved to the position. When such a technique is applied to AR-HUD, a virtual image may not be superimposed on an actual landscape included in the driver's view, and the AR function will not be effective.
そこで本発明の目的は、車両の走行状況に応じて虚像を実際の風景に適切に重畳させるよう表示することを可能とするヘッドアップディスプレイ装置を提供することにある。 Therefore, an object of the present invention is to provide a head-up display device capable of displaying a virtual image so as to be appropriately superimposed on an actual landscape according to the traveling condition of a vehicle.
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of the present specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。 The outline of typical ones of the inventions disclosed in the present application will be briefly described as follows.
本発明の代表的な実施の形態によるヘッドアップディスプレイ装置は、車両のウィンドシールドに映像を投射することで、運転者に対して前記車両の前方の風景に重畳させて虚像を表示するヘッドアップディスプレイ装置であって、前記車両が検知することができる各種の車両情報を取得する車両情報取得部と、前記車両情報取得部が取得した前記車両情報に基づいて、前記映像の表示を制御する制御部と、前記制御部からの指示に基づいて前記映像を形成する映像表示装置と、前記映像表示装置が形成した前記映像を反射して前記ウィンドシールドに投射するミラーと、前記制御部からの指示に基づいて前記ミラーの角度を変化させるミラー駆動部と、前記運転者に対する前記虚像の表示距離を調整する表示距離調整機構と、を有するものである。 A head-up display device according to a representative embodiment of the present invention displays a virtual image superimposed on a landscape in front of the vehicle for the driver by projecting an image on a windshield of the vehicle. It is an apparatus, The control part which controls the display of the picture based on the vehicle information acquisition part which acquires various kinds of vehicle information which the vehicle can detect, and the vehicle information which the vehicle information acquisition part acquired. An image display device for forming the image based on an instruction from the control unit, a mirror for reflecting the image formed by the image display device and projecting the image onto the windshield, and an instruction from the control unit A mirror drive unit that changes an angle of the mirror based on the display distance adjustment mechanism that adjusts a display distance of the virtual image with respect to the driver A.
そして、前記制御部は、前記車両情報に基づいて、前記運転者に対して前記風景に前記虚像を重畳させて表示することが可能となるよう、前記ミラー駆動部を介して前記ミラーの角度を調整する。また、前記虚像が前記風景における所定の対象物に重なる場合に、前記虚像の表示位置を変更する、ヘッドアップディスプレイ装置。 Then, based on the vehicle information, the control unit can set the angle of the mirror via the mirror drive unit so that the virtual image can be displayed superimposed on the landscape for the driver. adjust. Moreover, the head-up display apparatus which changes the display position of the said virtual image, when the said virtual image overlaps with the predetermined | prescribed target object in the said landscape.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 The effects obtained by typical ones of the inventions disclosed in the present application will be briefly described as follows.
すなわち、本発明の代表的な実施の形態によれば、ＡＲ−ＨＵＤにおいて車両の走行状況に応じて虚像を実際の風景に適切に重畳させるよう表示することが可能となる。 That is, according to the representative embodiment of the present invention, it is possible to display on the AR-HUD in such a manner that the virtual image is appropriately superimposed on the actual landscape according to the traveling condition of the vehicle.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。 Hereinafter, embodiments of the present invention will be described in detail based on the drawings. Note that, in all the drawings for describing the embodiments, the same reference numeral is attached to the same part in principle, and the repetitive description thereof will be omitted. On the other hand, the parts described with reference to the reference numerals in a certain drawing may be referred to by the same reference numeral although not shown again in the description of the other drawings.
（実施の形態１）
＜装置構成＞
図２は、本発明の実施の形態１であるヘッドアップディスプレイ装置の動作概念の例について概要を示した図である。本実施の形態のＡＲ−ＨＵＤ１では、プロジェクタやＬＣＤ（Liquid Crystal Display）等からなる映像表示装置３０に表示された映像を、ミラー５１やミラー５２（例えば、自由曲面ミラーや光軸非対称の形状を有するミラー等）により反射させて、車両２のウィンドシールド３に投射する。
<Device configuration>
FIG. 2 is a diagram schematically showing an example of the operation concept of the head-up display device according to the first embodiment of the present invention. In the AR-
運転者５は、ウィンドシールド３に投射された映像を見ることで、透明のウィンドシールド３を通してその前方に虚像として上記映像を視認する。本実施の形態では、後述するように、ミラー５２の角度を調整することで、映像をウィンドシールド３に投射する位置を調整することにより、運転者５が見る虚像の表示位置を上下方向に調整することが可能である。また、後述する各種の手法を用いることで、虚像を近方（例えば２〜３ｍ先）に表示したり、遠方（例えば３０〜４０ｍ先）に表示したり等、表示距離を調整することも可能である。そして、虚像を車外の風景（道路や建物、人等）に重畳させるようにその表示位置や表示距離を調整することで、ＡＲ機能を実現する。
The
図１は、本発明の実施の形態１であるヘッドアップディスプレイ装置の全体の構成例について概要を示した機能ブロック図である。車両２に搭載されたＡＲ−ＨＵＤ１は、例えば、車両情報取得部１０、制御部２０、映像表示装置３０、表示距離調整機構４０、ミラー駆動部５０、ミラー５２、およびスピーカ６０からなる。なお、図１の例では、車両２の形状を乗用車のように表示しているが、特にこれに限られず、車両一般に適宜適用することができる。
FIG. 1 is a functional block diagram schematically showing an example of the entire configuration of a head-up display device according to a first embodiment of the present invention. The AR-
車両情報取得部１０は、車両２の各部に設置された後述するような各種のセンサ等の情報取得デバイスからなり、車両２で生じた各種イベントを検知したり、所定の間隔で走行状況に係る各種パラメータの値を検知・取得したりすることで車両情報４を取得して出力する。車両情報４には、図示するように、例えば、車両２の速度情報やギア情報、ハンドル操舵角情報、ランプ点灯情報、外光情報、距離情報、赤外線情報、エンジンＯＮ／ＯＦＦ情報、カメラ映像情報（車内／車外）、加速度ジャイロ情報、ＧＰＳ（Global Positioning System）情報、ナビゲーション情報、車車間通信情報、および路車間通信情報等が含まれ得る。
The vehicle
制御部２０は、ＡＲ−ＨＵＤ１の動作を制御する機能を有し、例えば、ＣＰＵ（Central Processing Unit）とこれにより実行されるソフトウェアにより実装される。マイコンやＦＰＧＡ（Field Programmable Gate Array）等のハードウェアにより実装されていてもよい。制御部２０は、図２にも示したように、車両情報取得部１０から取得した車両情報４等に基づいて、虚像として表示する映像を映像表示装置３０を駆動して形成し、これをミラー５２等によって適宜反射させることでウィンドシールド３に投射する。そして、後述するような手法により、虚像の表示領域の表示位置を調整したり、虚像の表示距離を調整したり等の制御を行う。
The
映像表示装置３０は、上述したように、例えば、プロジェクタやＬＣＤにより構成されるデバイスであり、制御部２０からの指示に基づいて虚像を表示するための映像を形成してこれを投射したり表示したりする。表示距離調整機構４０は、制御部２０からの指示に基づいて、表示される虚像の運転者５からの距離を調整するための機構であり、例えば、後述するような各種の表示距離調整手法のいずれか１つ以上を実装したものである。
As described above, the
ミラー駆動部５０は、制御部２０からの指示に基づいてミラー５２の角度を調整し、虚像の表示領域の位置を上下方向に調整する。虚像の表示領域の位置の調整については後述する。スピーカ６０は、ＡＲ−ＨＵＤ１に係る音声出力を行う。例えば、ナビゲーションシステムの音声案内や、ＡＲ機能によって運転者５に警告等を通知する際の音声出力等を行うことができる。
The
図３は、本実施の形態のヘッドアップディスプレイ装置における車両情報４の取得に係るハードウェア構成の例について概要を示した図である。ここでは主に車両情報取得部１０および制御部２０の一部のハードウェア構成について示す。車両情報４の取得は、例えば、ＥＣＵ（Electronic Control Unit）２１の制御の下、ＥＣＵ２１に接続された各種のセンサ等の情報取得デバイスにより行われる。
FIG. 3: is the figure which showed the outline | summary about the example of the hardware constitutions which concern on acquisition of the vehicle information 4 in the head-up display apparatus of this Embodiment. Here, the hardware configuration of a part of the vehicle
これらの情報取得デバイスとして、例えば、車速センサ１０１、シフトポジションセンサ１０２、ハンドル操舵角センサ１０３、ヘッドライトセンサ１０４、照度センサ１０５、色度センサ１０６、測距センサ１０７、赤外線センサ１０８、エンジン始動センサ１０９、加速度センサ１１０、ジャイロセンサ１１１、温度センサ１１２、路車間通信用無線受信機１１３、車車間通信用無線受信機１１４、カメラ（車内）１１５、カメラ（車外）１１６、ＧＰＳ受信機１１７、およびＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム、登録商標（以下同様））受信機１１８等の各デバイスを有する。必ずしもこれら全てのデバイスを備えている必要はなく、また、他の種類のデバイスを備えていてもよい。備えているデバイスによって取得できる車両情報４を適宜用いることができる。
As these information acquisition devices, for example,
車速センサ１０１は、車両２の速度情報を取得する。シフトポジションセンサ１０２は、車両２の現在のギア情報を取得する。ハンドル操舵角センサ１０３は、ハンドル操舵角情報を取得する。ヘッドライトセンサ１０４は、ヘッドライトのＯＮ／ＯＦＦに係るランプ点灯情報を取得する。照度センサ１０５および色度センサ１０６は、外光情報を取得する。測距センサ１０７は、車両２と外部の物体との間の距離情報を取得する。赤外線センサ１０８は、車両２の近距離における物体の有無や距離等に係る赤外線情報を取得する。エンジン始動センサ１０９は、エンジンＯＮ／ＯＦＦ情報を検知する。
The
加速度センサ１１０およびジャイロセンサ１１１は、車両２の姿勢や挙動の情報として、加速度や角速度からなる加速度ジャイロ情報を取得する。温度センサ１１２は車内外の温度情報を取得する。路車間通信用無線受信機１１３および車車間通信用無線受信機１１４は、それぞれ、車両２と道路や標識、信号等との間の路車間通信により受信した路車間通信情報、および車両２と周辺の他の車両との間の車車間通信により受信した車車間通信情報を取得する。
The
カメラ（車内）１１５およびカメラ（車外）１１６は、それぞれ、車内および車外の状況の動画像を撮影してカメラ映像情報（車内／車外）を取得する。カメラ（車内）１１５では、例えば、運転者５の姿勢や、眼の位置、動き等を撮影する。得られた動画像を解析することにより、例えば、運転者５の疲労状況や視線の位置等を把握することが可能である。また、カメラ（車外）１１６では、車両２の前方や後方等の周囲の状況を撮影する。得られた動画像を解析することにより、例えば、周辺の他の車両や人等の移動物の有無、建物や地形、路面状況（雨や積雪、凍結、凹凸等）等を把握することが可能である。
A camera (inside car) 115 and a camera (outside car) 116 capture moving images of the inside and outside of the car, respectively, and acquire camera video information (inside car / outside car). The camera (in the car) 115 captures, for example, the posture of the
ＧＰＳ受信機１１７およびＶＩＣＳ受信機１１８は、それぞれ、ＧＰＳ信号を受信して得られるＧＰＳ情報およびＶＩＣＳ信号を受信して得られるＶＩＣＳ情報を取得する。これらの情報を取得して利用するカーナビゲーションシステムの一部として実装されていてもよい。
The
図４は、本実施の形態のヘッドアップディスプレイ装置の構成例について詳細を示した機能ブロック図である。図４の例では、映像表示装置３０がプロジェクタである場合を示しており、映像表示装置３０は、例えば、光源３１、照明光学系３２、および表示素子３３等の各部を有する。光源３１は、投射用の照明光を発生する部材であり、例えば、高圧水銀ランプやキセノンランプ、ＬＥＤ（Light Emitting Diode）光源、レーザー光源等を用いることができる。照明光学系３２は、光源３１で発生した照明光を集光し、より均一化して表示素子３３に照射する光学系である。表示素子３３は、投射する映像を生成する素子であり、例えば、透過型液晶パネル、反射型液晶パネル、ＤＭＤ（Digital Micromirror Device）（登録商標）パネル等を用いることができる。
FIG. 4 is a functional block diagram showing in detail the configuration example of the head-up display device of the present embodiment. The example of FIG. 4 shows the case where the
制御部２０は、より詳細には、ＥＣＵ２１、音声出力部２２、不揮発性メモリ２３、メモリ２４、光源調整部２５、歪み補正部２６、表示素子駆動部２７、表示距離調整部２８、およびミラー調整部２９等の各部を有する。ＥＣＵ２１は、図３に示したように、車両情報取得部１０を介して車両情報４を取得するとともに、取得した情報を必要に応じて不揮発性メモリ２３やメモリ２４に記録、格納したり読み出したりする。不揮発性メモリ２３には、各種制御のための設定値やパラメータ等の設定情報が格納されていてもよい。また、ＥＣＵ２１は、専用のプログラムを実行させる等により、ＡＲ−ＨＵＤ１として表示する虚像に係る映像データを生成する。
More specifically, the
音声出力部２２は、必要に応じてスピーカ６０を介して音声情報を出力する。光源調整部２５は、映像表示装置３０の光源３１の発光量を調整する。光源３１が複数ある場合にはそれぞれ個別に制御するようにしてもよい。歪み補正部２６は、ＥＣＵ２１が生成した映像について、映像表示装置３０によって車両２のウィンドシールド３に投射した場合に、ウィンドシールド３の曲率によって生じる映像の歪みを画像処理により補正する。表示素子駆動部２７は、歪み補正部２６による補正後の映像データに応じた駆動信号を表示素子３３に対して送り、投射する映像を生成させる。
The
表示距離調整部２８は、虚像の表示距離を調整する必要がある場合に、表示距離調整機構４０を駆動して、映像表示装置３０から投射される映像の表示距離を調整する。虚像の表示距離を調整する各種手法については後述する。ミラー調整部２９は、虚像の表示領域自体の位置を調整する必要がある場合に、ミラー駆動部５０を介してミラー５２の角度を変更し、虚像の表示領域を上下に移動させる。虚像の表示領域の位置調整についても後述する。
When it is necessary to adjust the display distance of the virtual image, the display
図５は、本実施の形態のヘッドアップディスプレイ装置における表示距離調整に係る構成の例について詳細を示した図である。制御部２０の表示距離調整部２８は、さらに、ＥＣＵ２１により個別に制御される各部として、例えば、機能性液晶フィルムＯＮ／ＯＦＦ制御部２８１、レンズ可動部２８２、調光ミラーＯＮ／ＯＦＦ制御部２８３、拡散板可動部２８４、および光学フィルタ可動部２８５等を有する。また、これら各部により制御・駆動されるハードウェアやデバイス等として、表示距離調整機構４０は、さらに、機能性液晶フィルム４０１、レンズ可動機構４０２、調光ミラー４０３、拡散板可動機構４０４、および光学フィルタ可動機構４０５等を有する。これら各部による虚像の表示距離の調整手法については後述する。
FIG. 5 is a diagram showing in detail an example of a configuration related to display distance adjustment in the head-up display device of the present embodiment. The display
なお、ＡＲ−ＨＵＤ１としてはこれら各部やデバイス等を全て備えている必要はなく、後述する虚像の表示距離の調整手法の中から適用するものを実装するために必要な各部を適宜備えていればよい。
Note that the AR-
＜処理内容＞
図６は、本実施の形態のヘッドアップディスプレイ装置の初期動作の例について概要を示したフローチャートである。停止中の車両２においてイグニッションスイッチがＯＮされることでＡＲ−ＨＵＤ１の電源がＯＮされると（Ｓ０１）、ＡＲ−ＨＵＤ１は、制御部２０からの指示に基づいて、まず、車両情報取得部１０により車両情報を取得する（Ｓ０２）。そして、制御部２０は、車両情報４のうち、照度センサ１０５や色度センサ１０６等により取得した外光情報に基づいて好適な明るさレベルを算出し（Ｓ０３）、光源調整部２５により光源３１の発光量を制御して、算出した明るさレベルとなるように設定する（Ｓ０４）。例えば、外光が明るい場合には明るさレベルを高くし、暗い場合には明るさレベルを低く設定する。
<Processing content>
FIG. 6 is a flowchart showing an outline of an example of the initial operation of the head-up display device of the present embodiment. When the power of the AR-
その後、ＥＣＵ２１により、虚像として表示する映像（例えば、初期画像）を決定、生成し（Ｓ０５）、生成した映像に対して歪み補正部２６により歪みを補正する処理を実施した後（Ｓ０６）、表示素子駆動部２７により表示素子３３を駆動・制御して、投射する映像を形成させる（Ｓ０７）。これにより、映像がウィンドシールド３に投射され、運転者５は虚像を視認することができるようになる。その後、ＥＣＵ２１もしくは表示距離調整部２８により虚像の表示距離を算出・決定し（Ｓ０８）、表示距離調整部２８により表示距離調整機構４０を駆動して、映像表示装置３０から投射される映像の表示距離を制御する（Ｓ０９）。
After that, the
ＡＲ−ＨＵＤ１全体で、上述した一連の初期動作も含む各部の起動・始動が完了すると、ＨＵＤ−ＯＮ信号が出力されるが、制御部２０ではこの信号を受けたか否かを判定する（Ｓ１１）。受けていなければ、さらにＨＵＤ−ＯＮ信号を一定時間待ち受け（Ｓ１２）、ステップＳ１１でＨＵＤ−ＯＮ信号を受けたと判定されるまで、ＨＵＤ−ＯＮ信号の待ち受け処理（Ｓ１２）を繰り返す。ステップＳ１１でＨＵＤ−ＯＮ信号を受けたと判定された場合は、後述するＡＲ−ＨＵＤ１の通常動作を開始し（Ｓ１３）、一連の初期動作を終了する。
When the start and start of each part including the above-described series of initial operations are completed in the entire AR-
図７は、本実施の形態のヘッドアップディスプレイ装置の通常動作の例について概要を示したフローチャートである。通常動作においても、基本的な処理の流れは上述の図６に示した初期動作と概ね同様である。まず、ＡＲ−ＨＵＤ１は、制御部２０からの指示に基づいて、車両情報取得部１０により車両情報を取得する（Ｓ２１）。そして、制御部２０は、車両情報４のうち、照度センサ１０５や色度センサ１０６等により取得した外光情報に基づいて明るさレベル調整処理を行う（Ｓ２２）。
FIG. 7 is a flowchart showing an outline of an example of the normal operation of the head-up display device of the present embodiment. Also in the normal operation, the basic process flow is substantially the same as the initial operation shown in FIG. 6 described above. First, the AR-
図８は、本実施の形態のヘッドアップディスプレイ装置の明るさレベル調整処理の例について概要を示したフローチャートである。明るさレベル調整処理を開始すると、まず、取得した外光情報に基づいて好適な明るさレベルを算出する（Ｓ２２１）。そして、現状設定されている明るさレベルと比較することにより、明るさレベルの変更の要否を判定する（Ｓ２２２）。変更が不要である場合にはそのまま明るさレベル調整処理を終了する。一方、変更が必要である場合には、光源調整部２５により光源３１の発光量を制御して、変更後の明るさレベルとなるように設定し（Ｓ２２３）、明るさレベル調整処理を終了する。なお、ステップＳ２２２において、ステップＳ２２１で算出した好適な明るさレベルと、現状設定されている明るさレベルとの間に差分がある場合でも、差分が所定の閾値以上である場合にのみ明るさレベルの変更が必要であると判定するようにしてもよい。
FIG. 8 is a flowchart showing an outline of an example of the brightness level adjustment process of the head-up display device of the present embodiment. When the brightness level adjustment process is started, first, a suitable brightness level is calculated based on the acquired external light information (S221). Then, the necessity of the change of the brightness level is determined by comparing the brightness level currently set (S222). If the change is not necessary, the brightness level adjustment process is ended as it is. On the other hand, when the change is necessary, the light emission amount of the
図７に戻り、その後、ＥＣＵ２１により、ステップＳ２１で取得した最新の車両情報４に基づいて、虚像として表示する映像を現状のものから必要に応じて変更し、変更後の映像を決定、生成する（Ｓ２３）。なお、車両情報４に基づいて表示内容を変更するパターンは、取得した車両情報４の内容やそれらの組み合わせ等に応じて多数のものがあり得る。例えば、速度情報が変化したことにより、常時表示されている速度表示の数値を変更する場合や、ナビゲーション情報に基づいて案内の矢印図形を表示／消去したり、矢印の形状や表示位置等を変更したりする場合等、様々なパターンがあり得る。
Referring back to FIG. 7, after that, based on the latest vehicle information 4 acquired in step S21, the
その後、本実施の形態では、車両２の走行状況に応じて視認性や表示内容の適切性等を維持するための調整・補正処理を行う。まず、虚像の表示領域自体の位置を調整する必要がある場合に、ミラー駆動部５０を介してミラー５２の角度を変更し、虚像の表示領域を上下に移動させるミラー調整処理を行う（Ｓ２４）。その後さらに、車両２の振動に対して表示領域内における映像の表示位置を補正する振動補正処理を行う（Ｓ２５）。ステップＳ２４およびＳ２５の調整・補正処理の詳細な内容については後述する。
Thereafter, in the present embodiment, adjustment / correction processing is performed to maintain visibility and appropriateness of the display content according to the traveling condition of the
その後、調整・補正した映像に対して歪み補正部２６により歪みを補正する処理を実施した後（Ｓ２６）、表示素子駆動部２７により表示素子３３を駆動・制御して投射する映像を形成させる（Ｓ２７）。そして、ＥＣＵ２１もしくは表示距離調整部２８により虚像の表示距離を算出・決定し（Ｓ２８）、表示距離調整部２８により表示距離調整機構４０を駆動して、映像表示装置３０から投射される映像の表示距離を制御する（Ｓ２９）。
Thereafter, a process of correcting distortion by the
上述した一連の通常動作を実行している際に、車両２の停止等に伴って電源ＯＦＦ等がなされると、ＡＲ−ＨＵＤ１に対してＨＵＤ−ＯＦＦ信号が出力されるが、制御部２０ではこの信号を受けたか否かを判定する（Ｓ３０）。ＨＵＤ−ＯＦＦ信号を受けていなければ、ステップＳ２１に戻って、ＨＵＤ−ＯＦＦ信号を受けるまで一連の通常動作を繰り返す。ＨＵＤ−ＯＦＦ信号を受けたと判定された場合は、一連の通常動作を終了する。
While the series of normal operations described above are being performed, when the power is turned off with the stop of the
＜ミラー調整処理＞
図９は、本実施の形態のヘッドアップディスプレイ装置における虚像の表示領域の位置を上下に調整する例について概要を示した図である。例えば、左、中央、右の各図において、上段には車両２が走行中の道路の勾配の状況と、運転者５の視野の状況を側面から見た状態を模式的に示している。また、下段には、それぞれの状態において、運転者５が見る車外の前方の風景と、これに重畳して表示される虚像の表示領域６（破線枠の矩形）の位置の状況を模式的に示している。
<Mirror adjustment processing>
FIG. 9 is a diagram schematically showing an example of vertically adjusting the position of the display area of the virtual image in the head-up display device of the present embodiment. For example, in the left, center, and right views, the upper part schematically shows the state of the slope of the road on which the
左側の図では、上段の図に示すように、車両２の現在地の道路の勾配（上り方向）と前方の道路の勾配（上り方向）とが略同一である場合、すなわち概ね平坦な道路を走行している場合を示している。この場合は、下段の図に示すように、車外の前方の風景（図９の例では道路上を走行する前方の車両）にＡＲ機能により虚像（図９の例では感嘆符のマークもしくは画像）を重畳させて表示するには、虚像の表示領域６の上下方向の位置は通常のままでよい。すなわち、左側の下段の図に示す表示領域６の位置が、表示領域６の上下方向での基本の表示位置となる。
In the left figure, as shown in the upper figure, when the slope of the road at the current location of the vehicle 2 (upward direction) and the slope of the road ahead (upward direction) are substantially the same, that is, travel on a substantially flat road The case is shown. In this case, as shown in the lower diagram, a virtual image (an exclamation mark or an image in the example of FIG. 9) by an AR function on a landscape in front of the vehicle (a vehicle ahead traveling on the road in the example of FIG. The vertical position of the
一方、中央の図では、車両２の現在地の道路の勾配（上り方向）が、前方の道路の勾配（上り方向）より大きい場合、すなわち前方が下り坂の道路を走行している場合を示している。この場合は、上段の図に示すように、車両２の位置における勾配に基づく運転者５の視野の高さ（図中の実線枠）に対して、前方の道路上を視野に入れるには視野を下方向に移動させる（図中の点線枠）必要がある。そして、この場合、下段の図に示すように、虚像の表示領域６の表示位置が基本の表示位置（点線枠の矩形）のままでは、車外の前方の風景にＡＲ機能により虚像を重畳させることができないため、重畳させて表示するには表示領域６自体を下方向に移動させる必要がある。
On the other hand, the middle figure shows the case where the slope of the road at the current location of the vehicle 2 (upward direction) is larger than the slope of the road ahead (upward direction); There is. In this case, as shown in the upper diagram, with respect to the height of the field of view of the
同様に、右側の図では、車両２の現在地の道路の勾配（上り方向）が、前方の道路の勾配（上り方向）より小さい場合、すなわち前方が上り坂の道路を走行している場合を示している。この場合は、上段の図に示すように、車両２の位置における勾配に基づく運転者５の視野の高さ（図中の実線枠）に対して、前方の道路上を視野に入れるには視野を上方向に移動させる（図中の点線枠）必要がある。そして、この場合も、下段の図に示すように、虚像の表示領域６の表示位置が基本の表示位置（点線枠の矩形）のままでは、車外の前方の風景にＡＲ機能により虚像を重畳させることができないため、重畳させて表示するには表示領域６自体を上方向に移動させる必要がある。
Similarly, the figure on the right shows the case where the road slope at the current location of the vehicle 2 (upward direction) is smaller than the road slope ahead (upward direction), that is, the case where the front is traveling uphill ing. In this case, as shown in the upper diagram, with respect to the height of the field of view of the
このように、走行状況に応じて虚像の表示領域６の上下方向の位置を移動させることが必要となる状況は、図９の例に示したような現在位置の勾配と前方の道路の勾配との間に一定量以上の差分があるような場合に限られない。例えば、高速道路等において車両２の速度が大きくなった場合、運転者５の視線は通常時に比べて一般に遠くを見るようになり、視野の高さが上方向に移動することになる。したがって、例えば、通常時に比べてさらに前方に存在する他の車両等を含む車外の風景に対して虚像を重畳させるには、表示領域６を上方向に移動させる必要が生じ得る。車両２の走行中に運転者５の姿勢や体勢が変化する等により、運転者５の眼の高さ位置自体が変化し、これにより視野の高さが上下方向に移動する場合等も同様である。
Thus, the situation where it is necessary to move the vertical position of the
本実施の形態では、上述した図７のステップＳ２４のミラー調整処理において、車両２の走行状況に応じてミラー駆動部５０によりミラー５２の角度を制御して、虚像の表示領域の上下方向の位置を図９の例に示したように調整する。
In the present embodiment, in the mirror adjustment process of step S24 in FIG. 7 described above, the angle of the
図１０は、図７のステップＳ２４のミラー調整処理の例について概要を示したフローチャートである。ミラー調整処理を開始すると、まず、現在のミラー５２の角度を取得し（Ｓ２４１）、さらに、車両情報４に基づいて、ミラー５２の角度の調整（すなわち虚像の表示領域の表示位置の調整）に関連するパラメータの現在値を取得する（Ｓ２４２）。
FIG. 10 is a flowchart showing an outline of an example of the mirror adjustment process of step S24 of FIG. When the mirror adjustment process is started, first, the current angle of the
必要となるパラメータの種類は、どのような条件で表示領域の表示位置を調整するかにより異なり得る。例えば、図９に示した例では、関連するパラメータ値として、車両２の現在位置の勾配と、前方の道路の勾配との差分（相対的な勾配）を示す値を取得する。例えば、加速度ジャイロ情報により得られる車両２の傾きの情報から現在位置の勾配を把握することができる。また、車外のカメラ映像情報を解析することで前方の道路の勾配を把握することも可能である。また、ナビゲーション情報から得られる３次元の道路・地形情報等に基づいて現在位置および前方の道路の勾配を得ることも可能である。
The type of parameter required may differ depending on under what conditions the display position of the display area is adjusted. For example, in the example shown in FIG. 9, a value indicating the difference (relative gradient) between the gradient of the current position of the
次に、ステップＳ２４２で取得したパラメータ値に基づいて、予め定められた基準・条件等に基づいてミラー５２の目標角度を算出する（Ｓ２４３）。どのパラメータに基づいてどのようなロジックで目標角度を算出するかは、どのような条件で表示領域の表示位置を調整するかにより異なり得る。例えば、図９に示した例では、現在地と前方の道路との相対的な勾配の絶対値が所定の閾値以上である場合に、相対的な勾配の符号に応じてミラー５２の目標角度を決定する。上記の所定の閾値としては、例えば、虚像の表示領域の上下方向のＦＯＶ（Field Of View：視野角）の１／ｘ（ｘは所定の値）等とすることができる。
Next, based on the parameter value acquired in step S242, the target angle of the
なお、本実施の形態では、ステップＳ２４２で取得した現在のパラメータ値に基づいてミラー５２の目標角度を算出するものとしているが、現在のパラメータ値や過去の値の履歴の情報に基づいて近い将来の状況を予測し、予測結果に基づいて目標角度を算出するようにしてもよい。例えば、パラメータ値の過去の履歴に基づいて値の遷移の傾向を分析し、当該傾向に基づいて近い将来のパラメータ値を予測するようにしてもよい。また、車外の前方のカメラ映像情報を解析することで近い将来における車両２の周辺状況を予測したり、ナビゲーション情報に基づいて車両２の前方の道路状況を把握したりすることも可能である。
In the present embodiment, the target angle of the
次に、ステップＳ２４１で取得した現在のミラー５２の角度と、ステップＳ２４３で取得した目標のミラー５２の角度との差分の有無を判定する（Ｓ２４４）。判定に際しては、例えば、差分が所定の閾値以上である場合に差分ありと判定し、閾値以下の場合には差分なしと判定するようにしてもよい。また、差分ありの状態が一定時間以上継続した場合に限り差分ありと判定するようにしてもよい。これにより、例えば、車両２が縁石等の段差に乗り上げた場合等一時的・瞬間的に車両２の傾きが変化したような事象について、ミラー５２の調整対象から除外することができる。
Next, it is determined whether there is a difference between the current angle of the
ステップＳ２４４で角度の差分がないと判定された場合は、そのままミラー調整処理を終了する。すなわち、ミラー５２の角度の調整は行わず、現状の角度のままとする。一方、角度の差分があると判定された場合は、目標角度となるように指定方向にミラー５２を回転させる（Ｓ２４５）。具体的には、ミラー駆動部５０に対してミラー５２を回転させる旨のミラー調整信号を出力する。そして、ミラー５２が目標角度に達したか否かを判定し（Ｓ２４６）、達していない場合にはステップＳ２４５に戻ってミラー５２の回転を継続する。すなわち、ミラー駆動部５０に対するミラー調整信号の出力を継続する。一方、ミラー５２が目標角度に達した場合は、ミラー５２の回転を停止する（Ｓ２４７）。すなわち、ミラー駆動部５０に対するミラー調整信号の出力を停止する。そして、一連のミラー調整処理を終了する。
If it is determined in step S244 that there is no difference in angle, the mirror adjustment processing is ended as it is. That is, the adjustment of the angle of the
＜振動補正処理＞
図１１は、図７のステップＳ２５の振動補正処理の例について概要を示したフローチャートである。振動補正処理を開始すると、まず、車両情報４に基づいて車両２の振動量の情報を取得する（Ｓ２５１）。例えば、加速度ジャイロ情報や車外のカメラ映像情報等に基づいて振動量（車両２における短周期の上下動の量）を把握することができる。なお、本実施の形態では、現在の車両情報４に基づいて振動情報を取得するものとしているが、例えば、車外の前方のカメラ映像情報を解析することで近い将来における車両２の周辺の路面状況を予測し、これに基づいて近い将来における車両２の振動量を予測するようにしてもよい。
<Vibration correction processing>
FIG. 11 is a flowchart showing an outline of an example of the vibration correction process of step S25 of FIG. When the vibration correction process is started, first, information on the amount of vibration of the
その後、ステップＳ２５１で取得した振動量が所定の閾値以上であるか否かを判定する（Ｓ２５２）。閾値未満である場合は、振動が微小であるとしてそのまま振動補正処理を終了する。すなわち、振動に伴う表示映像の補正は行わない。一方、振動量が閾値以上である場合は、表示領域における映像の表示ズレ量を算出する（Ｓ２５３）。例えば、車両２の実際の高さと虚像の表示領域の高さとの比に基づいて、車両２の振動量から表示領域における映像の表示ズレ量を算出する。そして、算出した表示ズレ量に基づいて、表示領域内での映像の表示位置を上下にオフセットし（Ｓ２５４）、一連の振動補正処理を終了する。
Thereafter, it is determined whether the amount of vibration acquired in step S251 is equal to or greater than a predetermined threshold (S252). If it is less than the threshold value, the vibration correction processing is terminated as it is because the vibration is minute. That is, the correction of the display image accompanying the vibration is not performed. On the other hand, when the vibration amount is equal to or more than the threshold, the display displacement amount of the video in the display area is calculated (S253). For example, based on the ratio between the actual height of the
＜虚像の表示距離調整＞
制御部２０の表示距離調整部２８は、虚像の表示距離を調整する必要がある場合に、表示距離調整機構４０を駆動して、映像表示装置３０から投射される映像の表示距離を調整する。以下では、図５に示した表示距離調整部２８および表示距離調整機構４０の各部による、虚像の表示距離の調整手法について説明する。
<Display distance adjustment of virtual image>
When it is necessary to adjust the display distance of the virtual image, the display
［機能性液晶フィルム］
図１２は、本実施の形態のヘッドアップディスプレイ装置における機能性液晶フィルム４０１を用いた表示距離調整の例について概要を示した図である。図１２の例では、複数枚の機能性液晶フィルム４０１を拡散板（ディフューザ）４１ａとして使用する。そして、図１２（ａ）および（ｂ）に示すように、各機能性液晶フィルム４０１のエリア毎に白色状態にする箇所を変化させることで、エリア毎に焦点距離を変えて、虚像の表示距離（運転者５の眼の位置と虚像の表示位置との距離）を変化させる。
[Functional liquid crystal film]
FIG. 12 is a diagram schematically showing an example of display distance adjustment using the functional
図１３は、機能性液晶フィルム４０１による拡散板４１ａの構成例について概要を示した図である。機能性液晶フィルム４０１は、電気により透過状態と白色状態とを制御することができるフィルムである。機能性液晶フィルム４０１の白色状態の部分が拡散板としての機能を果たし、プロジェクタ３０ａにより投射された映像は、この白色状態の部分で結像する。本実施の形態では、複数枚の機能性液晶フィルム４０１について、それぞれ複数のエリア毎に個別に白色状態とするよう制御するものとする。
FIG. 13 is a view showing an outline of a configuration example of a
図１２に戻り、図示するような構成において、プロジェクタ３０ａから投射された映像に基づく虚像の表示位置は、各機能性液晶フィルム４０１の白色状態の部分と、レンズ４２ａとの距離に応じて決定される。よって、レンズ４２ａとの距離がそれぞれ異なるように機能性液晶フィルム４０１を複数枚配置し、プロジェクタ３０ａから投射される映像について、図５に示した機能性液晶フィルムＯＮ／ＯＦＦ制御部２８１によりエリア毎に機能性液晶フィルム４０１のいずれか１つを白色状態とすることで、エリア毎に虚像の表示距離を変化させることができる。
Referring back to FIG. 12, in the configuration as illustrated, the display position of the virtual image based on the image projected from the
具体的には、例えば、図１２（ａ）に示すように、対象のエリア（例えば最上部）について、レンズ４２ａに最も近い位置に配置された機能性液晶フィルム４０１のみを白色状態とし、他を透過状態とすることで、対応する虚像の表示距離を最も近くすることができる。逆に、図１２（ｂ）に示すように、対象のエリア（例えば最上部）について、レンズ４２ａから最も遠い位置に配置された機能性液晶フィルム４０１のみを白色状態とし、他を透過状態とすることで、対応する虚像の表示距離を最も遠くすることができる。
Specifically, for example, as shown in FIG. 12 (a), only the functional
なお、図１２、図１３の例では、表示する映像について、上下方向に３つのエリアを設ける場合を例としているが、以下に説明する例も含めて、エリアの数はこれに限定されず、また、上下方向に限らず左右方向にエリアを分けることも当然可能である。また、機能性液晶フィルム４０１の枚数も図示するような３枚に限定されず、エリアの数に応じて適宜構成することができる。
In the examples shown in FIGS. 12 and 13, the case of providing three areas in the vertical direction is exemplified for the image to be displayed, but the number of areas is not limited to this, including the example described below. Moreover, it is naturally possible to divide the area not only in the vertical direction but also in the horizontal direction. Further, the number of the functional
［ミラーの複数枚配置］
図１４は、本実施の形態のヘッドアップディスプレイ装置における複数枚のミラーを用いた表示距離調整の例について概要を示した図である。図１４の例では、ＬＣＤ３０ｂとレンズ４２ａとの間にミラー５１ａを図示するように複数配置し、ＬＣＤ３０ｂからの映像をエリア毎に異なるミラー５１ａにより反射してレンズ４２ａに入射させている。これにより、ＬＣＤ３０ｂからレンズ４２ａまでの距離をエリア毎に異なるものとし、これに応じて虚像の表示距離を変えることができる。
[Multiple arrangement of mirrors]
FIG. 14 is a diagram schematically showing an example of display distance adjustment using a plurality of mirrors in the head-up display device of the present embodiment. In the example of FIG. 14, a plurality of
具体的には、例えば、図１４に示すように、ＬＣＤ３０ｂから最も遠い位置に配置されたミラー５１ａ（レンズ４２ａからも最も遠い）により反射されるエリアにおいてＬＣＤ３０ｂに映像を表示することで、対応する虚像の表示距離を最も遠くすることができる。逆に、ＬＣＤ３０ｂから最も近い位置に配置されたミラー５１ａ（レンズ４２ａからも最も近い）により反射されるエリアにおいてＬＣＤ３０ｂに映像を表示することで、対応する虚像の表示距離を最も近くすることができる。
Specifically, for example, as shown in FIG. 14, the image is displayed on the
なお、図１４の例においても、ミラー５１ａの数は図示するような３枚に限定されず、エリアの数に応じて適宜構成することができる。
Also in the example of FIG. 14, the number of
［可動式レンズ］
図１５は、本実施の形態のヘッドアップディスプレイ装置における可動式レンズを用いた表示距離調整の例について概要を示した図である。図１５の例では、プロジェクタ３０ａから投射された映像は、拡散板（ディフューザ）４１ｂで結像した後、複数のエリアに分けて設けられた可動式レンズ４２ｂを介してミラー５２に入射される。
[Movable lens]
FIG. 15 is a diagram schematically showing an example of display distance adjustment using a movable lens in the head-up display device of the present embodiment. In the example of FIG. 15, the image projected from the
ここで、各可動式レンズ４２ｂは、図５に示したレンズ可動部２８２およびレンズ可動機構４０２によって、それぞれ個別に光軸方向に沿って移動させることができる。プロジェクタ３０ａから投射された映像に基づく虚像の表示位置は、拡散板４１ｂと各可動式レンズ４２ｂとの距離に応じて決定される。よって、可動式レンズ４２ｂを移動させることで、エリア毎に焦点距離を変えて、虚像の表示距離を変化させることができる。
Here, each
具体的には、例えば、図１５に示すように、最上部のエリアのように可動式レンズ４２ｂを拡散板４１ｂに近い位置に移動させることで、対応する虚像の表示距離を近くすることができる。逆に、最下部のエリアのように可動式レンズ４２ｂを拡散板４１ｂから遠い位置に移動させることで、対応する虚像の表示距離を遠くすることができる。
Specifically, for example, as shown in FIG. 15, the display distance of the corresponding virtual image can be reduced by moving the
なお、図１５の例においても、可動式レンズ４２ｂの数は図示するような３つに限定されず、エリアの数に応じて適宜構成することができる。
Also in the example of FIG. 15, the number of
［調光ミラー］
図１６は、本実施の形態のヘッドアップディスプレイ装置における調光ミラー５１ｂを用いた表示距離調整の例について概要を示した図である。図１６の例では、ＬＣＤ３０ｂとレンズ４２ａとの間に複数の調光ミラー４０３を図示するように断面方向から見て行列状となるように配置することで調光ミラー５１ｂを構成する。そして、図１６（ａ）および（ｂ）に示すように、鏡状態とする調光ミラー４０３の箇所を変化させることで、ＬＣＤ３０ｂからレンズ４２ａまでの距離をエリア毎に異なるものとし、これに応じて虚像の表示距離を変えることができる。
[Dimming mirror]
FIG. 16 is a diagram schematically showing an example of display distance adjustment using the
図１７は、調光ミラー４０３の構成例について概要を示した図である。調光ミラー４０３は、電気により透過状態と鏡状態とを制御することができるフィルムやシート、ガラス等の部材である。透過状態となっている調光ミラー４０３は、ＬＣＤ３０ｂからの映像を透過し、鏡状態となっている調光ミラー４０３のみが、映像をレンズ４２ａの方向に反射させる。本実施の形態では、断面方向から見て行列状に配置された複数の調光ミラー４０３について、各行、各列（各エリア）につき１つの調光ミラー４０３のみが鏡状態となるよう、調光ミラーＯＮ／ＯＦＦ制御部２８３により制御するものとする。
FIG. 17 is a diagram showing an outline of a configuration example of the
具体的には、例えば、図１６（ａ）に示すように、レンズ４２ａから最も近い調光ミラー４０３の列に対応するエリアについて、最下段の行の調光ミラー４０３のみを鏡状態とし、他を透過状態とすることで、ＬＣＤ３０ｂからレンズ４２ａまでの光路長を最も短くすることができ、対応する虚像の表示距離を最も近くすることができる。逆に、レンズ４２ａから最も遠い調光ミラー４０３の列に対応するエリアについて、最上段の行の調光ミラー４０３のみを鏡状態とし、他を透過状態とすることで、ＬＣＤ３０ｂからレンズ４２ａまでの光路長を最も長くすることができ、対応する虚像の表示距離を最も遠くすることができる。
Specifically, for example, as shown in FIG. 16A, for the area corresponding to the column of the light control mirrors 403 closest to the
また、例えば、図１６（ｂ）に示すように、レンズ４２ａから最も近い調光ミラー４０３の列に対応するエリアについて、最上段の行の調光ミラー４０３のみを鏡状態とし、また、レンズ４２ａから次に近い調光ミラー４０３の列に対応するエリアについて、最下段の行の調光ミラー４０３のみを鏡状態とし、他を透過状態とする。これにより、これらのエリアのＬＣＤ３０ｂからレンズ４２ａまでの光路長を比較的短くすることができ、対応する虚像の表示距離を近くすることができる。逆に、レンズ４２ａから最も遠い調光ミラー４０３の列に対応するエリアについて、中段の行の調光ミラー４０３のみを鏡状態とし、他を透過状態とすることで、ＬＣＤ３０ｂからレンズ４２ａまでの光路長を他のエリアより比較的長くすることができ、対応する虚像の表示距離を遠くすることができる。
Also, for example, as shown in FIG. 16B, for the area corresponding to the column of the light control mirrors 403 closest to the
なお、図１６、図１７の例においても、調光ミラー４０３の数は図示するような３行３列に限定されず、エリアの数に応じて適宜構成することができる。 Also in the examples of FIGS. 16 and 17, the number of light adjustment mirrors 403 is not limited to 3 rows and 3 columns as illustrated, and can be appropriately configured according to the number of areas.
［可動式拡散板］
図１８は、本実施の形態のヘッドアップディスプレイ装置における可動式拡散板を用いた表示距離調整の例について概要を示した図である。図１８の例では、プロジェクタ３０ａから投射された映像は、可動式拡散板（可動式ディフューザ）４１ｃで結像した後、レンズ４２ａを介してミラー５２に入射される。
[Movable Diffuser]
FIG. 18 is a diagram schematically showing an example of display distance adjustment using a movable diffusion plate in the head-up display device of the present embodiment. In the example of FIG. 18, the image projected from the
ここで、可動式拡散板４１ｃは、図５に示した拡散板可動部２８４および拡散板可動機構４０４によって、光軸方向に沿って移動および／または回転させることができる。プロジェクタ３０ａから投射された映像に基づく虚像の表示位置は、可動式拡散板４１ｃとレンズ４２ａとの距離および／または傾きに応じて決定される。よって、可動式拡散板４１ｃを移動および／または回転させることで、焦点距離を変えて虚像の表示距離を変化させることができる。
Here, the
具体的には、可動式拡散板４１ｃをレンズ４２ａに近い位置に移動および／または回転させることで、虚像の表示距離を近くすることができる。逆に、可動式拡散板４１ｃをレンズ４２ａから遠い位置に移動および／または回転させることで、虚像の表示距離を遠くすることができる。
Specifically, the display distance of the virtual image can be reduced by moving and / or rotating the
［可動式光学フィルタ］
図１９は、本実施の形態のヘッドアップディスプレイ装置における可動式光学フィルタを用いた表示距離調整の例について概要を示した図である。図１９の例では、レンズ４２ａと拡散板（ディフューザ）４１ｂとの間に可動式光学フィルタ４３ａを設置し、図１９（ａ）および（ｂ）に示すように、可動式光学フィルタ４３ａを光路に対して挿抜することで、エリア毎に焦点距離を変えて、虚像の表示距離を変化させる。
Movable optical filter
FIG. 19 is a diagram schematically showing an example of display distance adjustment using a movable optical filter in the head-up display device of the present embodiment. In the example of FIG. 19, the movable
光学フィルタは、レンズ等の光学部品単体もしくは組み合わせにより焦点距離を変える特性を有する部材である。本実施の形態では、それぞれ異なる屈折率を有する複数の光学フィルタを組み合わせて、領域毎に異なる屈折率を有する１つの光学フィルタを形成するとともに、光路に対して挿抜できるような可動式光学フィルタ４３ａとして構成する。領域毎に光学フィルタの焦点距離が異なることから、図５に示した光学フィルタ可動部２８５および光学フィルタ可動機構４０５によって、可動式光学フィルタ４３ａを光路に対して挿抜することで、エリア毎に虚像の表示距離を変化させることができる。
The optical filter is a member having a characteristic of changing the focal length depending on one or a combination of optical components such as a lens. In the present embodiment, a plurality of optical filters having different refractive indexes are combined to form one optical filter having a different refractive index in each region, and a movable
具体的には、例えば、図１９（ａ）に示すように、可動式光学フィルタ４３ａ全体を光路に対して挿入することで、最下段のエリアに対応する光学フィルタの焦点距離を最も短くし、虚像の表示距離を遠くするとともに、最上段のエリアに対応する光学フィルタの焦点距離を最も長くし、虚像の表示距離を近くすることができる。また、例えば、図１９（ｂ）に示すように、可動式光学フィルタ４３ａを一部抜出して最下段のエリアが光学フィルタを通らないようにすることで、このエリアについては拡散板４１ｂとレンズ４２ａとの距離で虚像の表示距離が決まるようにし、光学フィルタを通る他のエリアよりも虚像の表示距離を遠くすることができる。
Specifically, for example, as shown in FIG. 19A, by inserting the entire movable
なお、図１９の例においても、可動式光学フィルタ４３ａにおける焦点距離が異なる領域の数は図示するような３つに限定されず、エリアの数に応じて適宜構成することができる。
Also in the example of FIG. 19, the number of areas having different focal lengths in the movable
［くし状光学フィルタ］
図２０は、本実施の形態のヘッドアップディスプレイ装置におけるくし状光学フィルタを用いた表示距離調整の例について概要を示した図である。図２０の例では、プロジェクタ３０ａから投射された映像は、拡散板（ディフューザ）４１ｂで結像した後、くし状光学フィルタ４３ｂおよびレンズ４２ａを介してミラー５２に入射される。
[Comb-like optical filter]
FIG. 20 is a diagram schematically showing an example of display distance adjustment using a comb-like optical filter in the head-up display device of the present embodiment. In the example of FIG. 20, the image projected from the
くし状光学フィルタ４３ｂは、レンズと同様の機能を有して焦点距離に応じて虚像の表示距離を変えることができる光学フィルタ部分がくし状に設けられた部材である。図２０に示すように、例えば、プロジェクタ３０ａから投射された映像のライン単位（１ライン毎に限らず、任意のライン毎とすることができる）で光学フィルタ部分と光学フィルタがない部分とを対応させることで、ライン単位で虚像の表示距離を変えることができる。
The comb-like
具体的には、光学フィルタ部分に対応するラインの映像に基づく虚像の表示距離を近くし、光学フィルタがない部分に対応するラインの映像に基づく虚像の表示距離を遠くすることができる。 Specifically, the display distance of the virtual image based on the image of the line corresponding to the optical filter portion can be reduced, and the display distance of the virtual image based on the image of the line corresponding to the portion without the optical filter can be increased.
以上に説明したように、本発明の実施の形態１であるヘッドアップディスプレイ装置によれば、車両２の走行状況によって、車両２の前方の風景に虚像を重畳させることができなくなるような場合でも、虚像の表示領域自体の表示位置を上下方向に動的に調整することで、虚像を前方の風景に適切に重畳させてＡＲ機能を実現することが可能となる。さらに、走行状況等に応じて虚像の表示距離を適切に調整することも可能となる。
As described above, according to the head-up display device of the first embodiment of the present invention, the virtual image can not be superimposed on the scenery in front of the
（実施の形態２）
本発明の実施の形態２であるヘッドアップディスプレイ装置は、実施の形態１における虚像の表示領域の調整や表示距離の調整に加えて、さらに、車両２における前方の風景等の状況に応じて、表示する虚像自体の表示内容や表示方法を調整するものである。これにより、前方の風景に対してより適切な虚像をより適切な位置や態様にて重畳させることを可能とする。なお、ＡＲ−ＨＵＤ１の装置構成や基本的な動作内容については、上述の実施の形態１と同様であるため、説明は省略する。
Second Embodiment
In addition to the adjustment of the display area of the virtual image and the adjustment of the display distance in the first embodiment, the head-up display device according to the second embodiment of the present invention further corresponds to the situation such as the front scenery in the
［対象物の回避］
図２１、図２２は、前方の風景等における対象物に虚像が重複することを回避する例について概要を示した図である。ここでは、車両２の運転者５が、運転席からウィンドシールド３を介して視認している前方の風景およびウィンドシールド３に投射された表示領域６内の虚像（コンテンツ）の状態の例を模式的に示している。
[Avoid object]
FIG. 21 and FIG. 22 are diagrams showing an outline of an example of avoiding an overlap of a virtual image with an object in a landscape or the like in front. Here, the
図２１では、表示領域６に進行方向等を指示・ナビゲートする矢印図形（図中では「≪」の図形）と、車速等を表示する計器類のアイコン（図中では「２５ｋｍ／ｈ」の文字、以下では「車速表示」と記載する場合がある）が虚像として表示されている状態を示している。そして図２１の上段の図では、矢印図形により前方の風景におけるカーブミラーが隠れてしまっているため、カーブミラーの内容を運転者５が視認しにくい状態であることを示している。
In FIG. 21, an arrow figure (figure of "<<" in the figure) for instructing / navigating the traveling direction etc. in the
これに対し、本実施の形態のＡＲ−ＨＵＤ１では、図２１の下段の図に示すように、矢印図形の表示位置をカーブミラーを避ける位置に移動させる。これにより、カーブミラー等の運転者が注意を払うべき対象物の視認性を向上させる。なお、図２１の例では、矢印図形が左折を指示するものであることから、カーブミラーと重ならない状態となるまで左側に矢印図形の表示位置を移動させているが、移動させる位置の決定方法は特にこれに限定されない。移動量についても、ピクセル単位での移動に限らず、例えば、表示領域６を所定の数のブロックに区切り、矢印図形が属するブロックから別のブロック（例えば、隣のブロック）にブロック単位で移動させるようにしてもよい。カーブミラー等の対象物と虚像が重なっているか否かは、例えば、車両情報４における車外のカメラ映像情報に対する画像処理により判定することができる。
On the other hand, in the AR-
また、矢印図形の移動に代えて、もしくはこれに加えてさらに、図２２に示すように、カーブミラーに写っている内容を拡大して虚像として表示するようにしてもよい。カーブミラーに写っている内容は、車両情報４における車外のカメラ映像情報から画像処理により取得することができ、さらにこれを画像処理により拡大することができる。このとき、カーブミラーの内容を拡大した虚像は矢印図形と重ならない位置に表示する。または、カーブミラーの内容を拡大した虚像を表示するときには矢印図形を消す、あるいは矢印を小さくするなどしてもよい。カーブミラーの内容を拡大した虚像の表示位置は、図２２で示すように運転者の視界を妨げない位置に表示するほか、逆に運転者の視界範囲や視点の方向に表示して余計な視点移動をすることなくカーブミラーの内容を拡大した虚像を見ることができるようにしてもよい。 Further, instead of or in addition to the movement of the arrow figure, as shown in FIG. 22, the content shown on the curve mirror may be enlarged and displayed as a virtual image. The content reflected on the curve mirror can be acquired by image processing from camera image information outside the vehicle in the vehicle information 4 and can be further enlarged by image processing. At this time, a virtual image obtained by enlarging the content of the curve mirror is displayed at a position not overlapping the arrow figure. Alternatively, when displaying a virtual image obtained by enlarging the contents of the curve mirror, the arrow shape may be erased or the arrow may be reduced. The display position of the virtual image obtained by enlarging the content of the curve mirror is displayed at a position that does not obstruct the driver's field of vision as shown in FIG. 22, and conversely displayed in the direction of the driver's field of vision or viewpoint It may be possible to view a virtual image obtained by enlarging the contents of the curve mirror without moving.
同様に、図２３は、前方の風景等における対象物に虚像が重複することを回避する他の例について概要を示した図である。図２３では、矢印図形と車速表示に加えて、道路標識等の対象物について注意を促すアラート表示（図中では▲のマークと感嘆符記号からなる図形）が虚像として表示されている状態を示している。そして図２３の上段の図では、アラート表示により前方の風景における道路標識が隠れてしまっている。したがって、道路標識の内容を運転者５が視認しにくい状態であることを示している。
Similarly, FIG. 23 is a diagram showing an outline of another example for avoiding overlapping of a virtual image with an object in a scene in front or the like. FIG. 23 shows a state in which, in addition to the arrow shape and the vehicle speed display, an alert display (a graphic consisting of a mark 感嘆 and an exclamation mark in the drawing) as a virtual image is displayed. ing. And in the upper figure of FIG. 23, the road sign in front scenery has hidden by the alert display. Therefore, it is shown that the
これに対し、本実施の形態のＡＲ−ＨＵＤ１では、図２３の下段の図に示すように、アラート表示の表示位置を道路標識を避ける位置に移動させている。これにより、道路標識等の運転者が注意を払う必要がある対象物の視認性を向上させる。なお、図２３の例では、表示領域６の右上に表示されていたアラート表示を、最も遠い対角の左下に移動させているが、この場合も、移動させる位置の決定方法は特に限定されない。図２１の例と同様に、道路標識と重ならない周辺の位置まで最低限の移動を行うようなものであってもよい。
On the other hand, in the AR-
なお、ここでいう表示位置の移動とは、一旦道路標識を隠す位置にアラート表示した後に道路標識を避ける位置に表示を移動させるのではなく、最初に表示しようとした位置（デフォルト位置）に道路標識など運転者が注意を払う必要がある対象物があったときに、そのまま表示を行って対象物を隠してしまわないように、対象物を隠さないように表示位置の調整を行ってから表示することを意味する。 In this case, the movement of the display position mentioned here does not move the display to a position avoiding the road sign after displaying the alert once at the position hiding the road sign, but moves the road to the position (default position) at which it was first intended to be displayed. When there is a target object such as a sign that the driver needs to pay attention to, the display position is adjusted so as not to hide the target object so that the display is not performed and the target object is hidden. It means to do.
図２４は、虚像の表示内容や表示方法を調整する処理の流れの例について概要を示したフローチャートである。ＡＲ−ＨＵＤ１における虚像の表示内容（コンテンツ）の生成・表示は、上述の実施の形態１における図６の初期動作時のステップＳ０５や、図７の通常動作時のステップＳ２３によって行う。ここでは、図７の通常動作時におけるステップＳ２３での表示映像変更・決定処理を例として、その処理内容を示す。
FIG. 24 is a flowchart outlining an example of the flow of processing for adjusting the display content and display method of the virtual image. The generation and display of the display content (content) of the virtual image in the AR-
まず、ＥＣＵ２１により、標準コンテンツ生成処理（Ｓ２３１）およびイベントコンテンツ生成処理（Ｓ２３２）を行う。標準コンテンツとは、基本的に車両２の走行中は表示領域６に常に表示されている車速表示等のコンテンツを指す。また、イベントコンテンツとは、車両２の走行状況（前方の風景の状況も含む）に基づいて必要に応じて表示されるアラート表示等のコンテンツを指す。いずれについても、複数のコンテンツが生成される場合がある。
First, the
その後、ＥＣＵ２１により、カメラ映像情報により把握される前方の風景との関係で、生成した各コンテンツの表示位置や表示色等を調整する表示位置等調整処理（Ｓ２３３）および表示色等調整処理（Ｓ２３４）を行う。そして、調整後の各コンテンツに係る表示用の映像データを生成し（Ｓ２３５）、処理を終了する。なお、ここで生成された映像データは、実施の形態１の図７におけるその後のステップＳ２７で、表示素子駆動部２７により投射される。
Thereafter, the display position adjustment process (S233) and the display color adjustment process (S234) in which the display position and display color of the generated content are adjusted by the
図２５は、図２４の表示映像決定・変更処理における標準コンテンツ生成処理（ステップＳ２３１）の流れの例について概要を示したフローチャートである。ここではまず、必要な標準コンテンツを生成する（Ｓ１１００）。そして、生成した各標準コンテンツにつき、それぞれデフォルトの表示位置を設定する（Ｓ１２００）。例えば、図２１〜図２３に示すように、車速表示を生成し、表示位置を表示領域６の右下に設定する。そして、各標準コンテンツにつき、表示色として初期値を設定する表示色設定処理（Ｓ１３００）を行い、処理を終了する。なお、表示色の設定・調整に係る処理ついては後述する。
FIG. 25 is a flowchart showing an outline of an example of the flow of standard content generation processing (step S231) in the display image determination / change processing of FIG. Here, first, necessary standard content is generated (S1100). Then, a default display position is set for each of the generated standard contents (S1200). For example, as shown in FIG. 21 to FIG. 23, a vehicle speed display is generated, and the display position is set to the lower right of the
図２６は、図２４の表示映像決定・変更処理におけるイベントコンテンツ生成処理（ステップＳ２３２）の流れの例について概要を示したフローチャートである。ここではまず、実施の形態１の図７におけるステップＳ２１で取得した車両情報４を解析し（Ｓ２１００）、イベントコンテンツの表示が必要となるイベントが発生中であるか否かを解析する（Ｓ２２００）。例えば、図２１〜図２３の例に示すような、矢印図形の表示が必要となる曲がり角やカーブが近付いていること、注意を促すためにアラート表示をする必要がある道路標識等が前方に存在すること等が上記のイベントに該当する。この他にも、例えば、歩行者の存在や前方車の接近等、後述するような各種のイベントも対象となる。 FIG. 26 is a flowchart showing an outline of an example of a flow of event content generation processing (step S232) in the display video determination / change processing of FIG. Here, first, the vehicle information 4 acquired in step S21 in FIG. 7 of the first embodiment is analyzed (S2100), and whether or not an event requiring display of the event content is occurring is analyzed (S2200) . For example, as shown in the example of FIGS. 21 to 23, there is a road sign or the like in front of which a corner or a curve requiring display of an arrow figure is approaching, or an alert display needs to be displayed to call attention. To do corresponds to the above-mentioned event. Besides this, for example, various events as described later such as the presence of a pedestrian and the approach of a car ahead are also targeted.
ステップＳ２２００でイベントが発生中であると判定された場合は、必要なイベントコンテンツを生成する（Ｓ２３００）。そして、生成した各イベントコンテンツにつき、それぞれデフォルトの表示位置を設定する（Ｓ２４００）。例えば、図２１の上段の図に示すように、矢印図形を生成し、表示位置を表示領域６の中央に設定する。また、図２３の上段の図に示すように、アラート表示を生成し、表示位置を表示領域６の右上の道路標識上に設定する。そして、各イベントコンテンツにつき、表示色に初期値を設定する表示色設定処理（Ｓ２５００）を行い、処理を終了する。なお、表示色の設定・調整に係る処理ついては後述する。
If it is determined in step S2200 that an event is occurring, necessary event content is generated (S2300). Then, a default display position is set for each of the generated event contents (S2400). For example, as shown in the upper diagram of FIG. 21, an arrow graphic is generated, and the display position is set at the center of the
一方、ステップＳ２２００でイベントが発生していないと判定された場合は、現在イベントコンテンツを表示中であるか否かを判定する（Ｓ２６００）。イベントコンテンツを表示中ではない場合は、何もせずに処理を終了する。表示中である場合は、当該イベントコンテンツは不要になったものとしてこれを消去し（Ｓ２７００）、処理を終了する。 On the other hand, if it is determined in step S2200 that no event has occurred, it is determined whether or not the event content is currently being displayed (S2600). If the event content is not being displayed, the process ends without doing anything. If the event content is being displayed, the event content is deleted as it becomes unnecessary (S2700), and the process is ended.
図２７は、図２４の表示映像決定・変更処理における表示位置等調整処理（ステップＳ２３３）の流れの例について概要を示したフローチャートである。ここではまず、実施の形態１の図７におけるステップＳ２１で取得した車両情報４における車外のカメラ映像情報を解析し、前方の風景等に、表示が隠されるのを回避すべき対象物があるか否かを把握する（Ｓ３１００）。例えば、図２１〜図２３の例に示すようなカーブミラーや道路標識等の他に、信号機や、歩行者、二輪車、前方車等が該当し得る。 FIG. 27 is a flowchart showing an outline of an example of the flow of display position adjustment processing (step S233) in the display video determination / change processing of FIG. Here, first, the camera image information outside the vehicle in the vehicle information 4 acquired in step S21 in FIG. 7 of the first embodiment is analyzed, and there is an object to avoid the display being hidden in the scenery etc. ahead. Whether or not it is grasped (S3100). For example, in addition to a curved mirror, a road sign, etc. as shown in the example of FIGS. 21-23, a traffic light, a pedestrian, a two-wheeled vehicle, a forward car etc. may correspond.
その後、図２４の処理フローのステップＳ２３１、Ｓ２３２で生成した各標準コンテンツおよび各イベントコンテンツの現在の表示位置と、各対象物の座標とを照合する（Ｓ３２００）。そして、各コンテンツの表示位置を調整する必要があるか否か、すなわち、各コンテンツの表示が対象物の障害となるか否かを判定する（Ｓ３３００）。図２１〜図２３の例では、矢印図形やアラート表示の表示位置と、カーブミラーや道路標識の位置とを画像処理等により比較して、カーブミラーや道路標識が隠される状態となるか否かを判定する。 After that, the current display position of each standard content and each event content generated in steps S231 and S232 of the processing flow of FIG. 24 is collated with the coordinates of each object (S3200). Then, it is determined whether it is necessary to adjust the display position of each content, that is, whether or not the display of each content causes an obstacle to the object (S3300). In the example of FIGS. 21 to 23, whether the display position of the arrow graphic or the alert display and the position of the curve mirror or the road sign are compared by image processing or the like to see if the curve mirror or the road sign is hidden Determine
ステップＳ３３００で、表示位置の調整が不要であると判定された場合は、処理を終了する。表示位置の調整が必要であると判定された場合は、対象のコンテンツにつき、表示位置を調整・移動させて、新たな表示位置を設定する（Ｓ３４００）。上述したように、コンテンツを移動させる位置の決定方法は特に限定されない。コンテンツの位置の調整に代えて、もしくはこれに加えて、コンテンツの表示サイズを小さくすることで、対象物を隠さないよう調整するようにしてもよい（Ｓ３５００）。 If it is determined in step S3300 that the adjustment of the display position is unnecessary, the process ends. If it is determined that the display position needs to be adjusted, the display position is adjusted and moved for the target content, and a new display position is set (S3400). As described above, the method of determining the position to move the content is not particularly limited. Instead of or in addition to the adjustment of the position of the content, the display size of the content may be reduced so as not to hide the object (S3500).
これらの調整を行った後、再度ステップＳ３２００に戻って、各コンテンツの表示位置を調整する必要がなくなるまで上記の一連の処理を繰り返す。コンテンツを移動させた先に別の対象物が存在する可能性もあるため、適切な表示位置となるまで調整を行う必要がある。なお、この調整に時間がかかり過ぎると運転者にとって好適なタイミングで表示を行えなくなってしまう。したがって、例えば、交差点に差しかかる前の早い段階からカーブミラーや道路標識の位置を認識して表示位置の調整を行うなどするとよい。 After these adjustments are made, the process returns to step S3200 again to repeat the above series of processes until it is not necessary to adjust the display position of each content. Since there is a possibility that another object may exist before the content is moved, it is necessary to make adjustments until it reaches an appropriate display position. Note that if this adjustment takes too much time, the display can not be performed at a timing suitable for the driver. Therefore, for example, the display position may be adjusted by recognizing the positions of the curve mirror and the road sign at an early stage before reaching an intersection.
以上の一連の処理により、対象物を回避した状態で虚像のコンテンツを表示することができ、対象物の視認性を向上させることができる。 By the above-described series of processing, the content of the virtual image can be displayed in a state in which the object is avoided, and the visibility of the object can be improved.
［夜間や悪天候時の補助］
図２８は、天候等による路面の標識情報に対する視認性の相違の例について概要を示した図である。ここでも図２１等と同様に、車両２の運転者５が、運転席からウィンドシールド３を介して視認している前方の風景およびウィンドシールド３に投射された虚像（コンテンツ）の状態の例を模式的に示している。
[Night and bad weather assistance]
FIG. 28 is a diagram showing an outline of an example of the difference in the visibility to the road sign information according to the weather or the like. Here also, as in FIG. 21 etc., an example of the state of the front view that the
図２８の上段の図では、前方の風景等として、晴天の昼間の走行路の状況を示しており、下段の図では、夜間および／または悪天候時の走行路の状況を示している。ここでは、例えば、晴天の昼間では明瞭に認識できる道路標識が、悪天候時には路肩に積もった雪により隠される場合がある状況を示している。また、晴天の昼間では明瞭に認識できる路面標識や横断歩道が、夜間や悪天候時には見づらくなる状況を示している。 The upper diagram in FIG. 28 shows the condition of the daytime traveling route in fine weather as the front scenery etc., and the lower diagram shows the condition of the traveling route at night and / or bad weather. Here, for example, a road sign that can be clearly recognized in clear daytime may be concealed by snow piled up on the road in bad weather. In addition, road signs and pedestrian crossings that can be clearly recognized in clear daytime indicate situations that are difficult to see at night or in bad weather.
そこで、本実施の形態では、運転者の目視はもちろん、車外のカメラ映像情報でも視界が悪いために認識しづらいこれらの標識情報等を、他の手段で検知し、運転者５を補助する情報としてこれを虚像により表示する。
Therefore, in the present embodiment, information that assists the
図２９は、映像情報では認識しづらい標識情報を検知して運転者５を補助する構成の例について概要を示した図である。図２９の上段の図では、車両２の前方の路面状況が、夜間や悪天候等による視界不良で認識しづらい状況を示している。また、下段の左側の図では、その結果、路面の標識情報を認識できていない状況を示している。
FIG. 29 is a diagram showing an outline of an example of a configuration for assisting the
ここで本実施の形態のＡＲ−ＨＵＤ１では、中央の図に示すように、車両２が車両情報４として取得している地図情報（ＧＰＳ情報やナビゲーション情報から得ることができる）や、走行中に記録・蓄積している走行ログの内容を解析する。これにより、下段の右側の図に示すように、前方の道路情報として道路標識や横断歩道等が存在することを把握する。そして、このように映像情報から認識できる路面の標識情報と、地図情報や走行ログ等のデータから把握することができる道路情報とを比較し、不一致がある場合に、後者に基づいて運転者５を補助するための虚像を表示する。すなわち、不一致を検知したことをイベントとして、上述の図２６に示したイベントコンテンツ生成処理（図２４の処理フローにおけるステップＳ２３２）により、運転者５を補助するための虚像をイベントコンテンツとして生成し、表示する。
Here, in the AR-
図３０は、夜間や悪天候時の前方の風景等に虚像を表示する際の補助例について概要を示した図である。図２９に示したように、映像情報では認識できない道路標識や路面標識等の標識情報について、地図情報や走行ログ等のデータからその存在を検知・把握した場合、本実施の形態では、図３０（ａ）の例に示すように、これらの標識情報を虚像として表示する。図３０（ａ）の例では、前方の横断歩道等の路面標識自体を、地図情報や走行ログ等からそれらが存在するとして把握された位置・座標に虚像として表示している。また、隠されている道路標識についても、アイコンとしてその虚像を適当な位置に表示している。虚像を表示するだけでなく、スピーカ６０を介して車内に音声での通知（例えば、「前方に横断歩道があります。注意してください。」等）を行うようにしてもよい。
FIG. 30 is a diagram showing an outline of an auxiliary example when displaying a virtual image in a landscape or the like in front at night or in bad weather. As shown in FIG. 29, in the case of detecting and grasping the presence of sign information such as a road sign and a road sign that can not be recognized by video information from data such as map information and a traveling log, in the present embodiment, FIG. As shown in the example of (a), these marker information is displayed as a virtual image. In the example of FIG. 30 (a), road surface markers such as a pedestrian crossing in front are displayed as virtual images at positions and coordinates which are grasped from the map information, the traveling log and the like as they exist. In addition, the virtual image of the hidden road sign is displayed as an icon at an appropriate position. In addition to displaying a virtual image, sound notification (for example, "There is a pedestrian crossing ahead. Please be careful." Or the like) may be performed in the vehicle via the
また、図３０（ｂ）の例では、図３０（ａ）の例で示した路面標識の虚像を、さらに光らせたり点滅させたりなどの装飾を施して強調表示している。強調表示の手段はこれらに限られず、例えば、表示色を順次変化させたりするなど、他の種々の手段を適宜採用することができる。また、図示するように歩行者が存在する場合には、横断歩道の虚像表示の強調の程度をさらに強くしたり、歩行者が存在しない場合より虚像の表示時間を長くしたりするなど、歩行者の有無、すなわち危険度の大小で強調表示の内容に差異を設けるようにしてもよい。 Further, in the example of FIG. 30 (b), the virtual image of the road sign shown in the example of FIG. 30 (a) is further highlighted by being decorated such as flashing or blinking. The means for highlighting is not limited to these, and other various means such as, for example, changing the display color sequentially can be adopted as appropriate. In addition, as shown in the figure, when a pedestrian is present, the pedestrian is further enhanced such that the degree of enhancement of the virtual image display of the pedestrian crossing is made stronger or the display time of the virtual image is longer than when the pedestrian is not present The content of highlighting may be different depending on the presence or absence of, that is, the magnitude of the degree of risk.
また、路面標識が見えづらく認識できない場合でも、道路標識を認識できているときには、路面標識の認識結果と道路標識の認識結果の不一致を検知して（道路標識に基づけば横断歩道があるはずだが路面標識としては認識できない）、認識した道路標識の情報に基づいて運転者５を補助するための虚像を生成し、表示してもよい。これにより、地図情報や走行ログの情報を用いずに虚像を生成し、表示することができる。もちろん、道路標識の認識結果と、地図情報や走行ログの情報を組み合わせてもよく、これによりさらに確度の高い情報を得ることができる。
In addition, even when the road sign can not be recognized and can not be recognized, when the road sign can be recognized, a mismatch between the road sign recognition result and the road sign recognition result is detected (based on the road sign there should be a pedestrian crossing A virtual image for assisting the
運転者５の補助のために表示した虚像は、虚像表示による補助が不要となった場合、具体的には、虚像表示が必要な路面標識や道路標識が存在する場所を車両２が通過してしまった場合には消去する。すなわち、上述の図２６に示したイベントコンテンツ生成処理において、イベントの発生がなくなったものとして、イベントコンテンツである虚像を消去する。
The virtual image displayed for the assistance of the
なお、上述した手法は、夜間や悪天候時に限らず、例えば、路面標識が薄くなって見えづらい道路を走行する場合にも適用することが可能であり、上述した効果と同様の効果を得ることができる。 In addition, the method mentioned above can be applied not only at nighttime or bad weather but also when traveling on a road which is hard to see because the road sign becomes thin, for example, and the same effect as the above effect can be obtained. it can.
［視点に対する表示位置調整］
図３１は、運転者の視点範囲に対するコンテンツの表示位置の調整の例について概要を示した図である。ここでも、図２１等の例と同様に、車両２の運転者５が、運転席からウィンドシールド３を介して視認している前方の風景およびウィンドシールド３に投射された表示領域６内の虚像（コンテンツ）の状態の例を模式的に示している。
[Display position adjustment to the viewpoint]
FIG. 31 is a diagram schematically showing an example of adjustment of the display position of the content with respect to the viewpoint range of the driver. Here too, as in the example of FIG. 21 etc., the front view seen by the
図３１では、交差点での右折時におけるコンテンツの表示例を示しており、図２１等の例と同様に、車速表示と、右折を指示する矢印図形が表示されていることを示している。図３１の例では、これらに加え、車両２の周辺状況（歩行者の存在等）を通知するアラート表示としてのアイコンが表示領域６の左下部分に表示されている。また、前方の風景等や虚像のコンテンツを示すものではないが、説明の便宜のため、運転者５の視点範囲の概略を点線の円により示している。
FIG. 31 shows a display example of the content at the time of a right turn at an intersection, and shows that a vehicle speed display and an arrow figure instructing a right turn are displayed as in the example of FIG. In the example of FIG. 31, in addition to these, an icon as an alert display for notifying of the peripheral situation (presence of a pedestrian or the like) of the
図示するように、運転者５の視点範囲は、右折時には右側に寄りつつ、カーブミラーや道路標識、歩行者等の対象物を中心に見る傾向があるものと考えられる。ここで、図３１の上段の図では、運転者５の視点範囲に対して、周辺状況を通知するアラート表示が離れた位置に表示されている。したがって、運転者５にとって見落とされやすい、または通常の運転時には必要のない視点移動をしなければ見ることができない状態であることを示している。
As illustrated, it is considered that the viewpoint range of the
これに対し、本実施の形態のＡＲ−ＨＵＤ１では、図３１の下段の図に示すように、周辺状況を通知するアラート表示の表示位置を、運転者５の視点範囲内に移動させる。これにより、交差点等においてもアラート表示の視認性を向上させて見落とされにくくし、かつ、運転者５の視点移動を少なくする。なお、アラート表示を移動させる位置は、運転者５の視点範囲との関係で見落とされにくい位置であれば、視点範囲内に移動させるものに限られない。例えば、視点範囲の近くに移動させるものであってもよい。
On the other hand, in the AR-
なお、上記の例では、一旦図３１の上段の位置に表示したアラート表示を、位置調整によって図３１の下段の位置に移動させるのではなく、その時々の運転者の視点に応じた適切なアラート表示位置（例えば、右折時は図３１の下段の位置）を決定した上で、これを表示するものである。 In the above example, the alert display once displayed at the upper position in FIG. 31 is not moved to the lower position in FIG. 31 by position adjustment, but an appropriate alert according to the driver's viewpoint at each time After the display position (for example, the position in the lower part of FIG. 31 when turning right) is determined, this is displayed.
上述したアラート表示の表示位置の制御の処理は、例えば、上述の図２４の表示映像決定・変更処理における表示位置等調整処理（ステップＳ２３３）により行われる。図３２は、アラート表示の表示位置を制御する表示位置等調整処理の流れの他の例について概要を示したフローチャートである。ここでは、上述の図２７に示した表示位置等調整処理のフローの例に対して、ステップＳ３１００の前にステップＳ３０１０〜Ｓ３０４０が追加されている。 The process of controlling the display position of the alert display described above is performed, for example, by the display position adjustment process (step S233) in the display image determination / change process of FIG. 24 described above. FIG. 32 is a flowchart schematically showing another example of the flow of the display position adjustment process for controlling the display position of the alert display. Here, steps S3010 to S3040 are added before step S3100 with respect to the example of the flow of the display position adjustment process shown in FIG. 27 described above.
まず、車両情報４における車内のカメラ映像情報を解析し、公知の技術により運転者５の視点の情報を取得する（Ｓ３０１０）。上述したように、運転状況によって運転者５がどこを中心的に見ているかは様々に異なり得る。カメラ映像情報のみに限らず、例えば、ハンドルの操舵状況等の他の情報に基づいて視点の位置を推測するようにしてもよい。
First, in-vehicle camera image information in the vehicle information 4 is analyzed, and information on the viewpoint of the
その後、対象のコンテンツのデフォルトの表示位置と、ステップＳ３０１０で取得した視点位置とを照合し（Ｓ３０２０）、コンテンツの表示位置が視点位置から所定の距離以上離れているか否かを判定する（Ｓ３０３０）。そして、所定の距離以上離れていると判定された場合は、対象のコンテンツにつき、視点位置に近い位置（例えば、視点位置から一定の距離以内）に移動させて、新たな表示位置を仮設定する（Ｓ３０４０）。 After that, the default display position of the target content and the viewpoint position acquired in step S3010 are collated (S3020), and it is determined whether the display position of the content is away from the viewpoint position by a predetermined distance or more (S3030) . Then, if it is determined that the target content is separated by a predetermined distance or more, the target content is moved to a position close to the viewpoint position (for example, within a certain distance from the viewpoint position), and a new display position is temporarily set. (S3040).
その後は、図２７に示した表示位置等調整処理のフローの例におけるステップＳ３１００以降と同様の処理を行い、全体の処理を終了する。これにより、ステップＳ３０４０で視点位置に近い位置にコンテンツを移動させた結果、当該コンテンツが道路標識等の対象物を隠してしまうような状況となった場合でも、適切に表示位置を再調整することができる。 Thereafter, the same processing as step S3100 onward in the example of the flow of the display position etc. adjustment processing shown in FIG. 27 is performed, and the entire processing is ended. As a result, as a result of moving the content to a position close to the viewpoint position in step S3040, the display position is appropriately readjusted even when the content hides an object such as a road sign. Can.
交差点等における安全確認を補助するという点では、例えば、交差点等の状況を虚像として表示することも有効である。図３３は、交差点の状況をコンテンツとして表示する例について概要を示した図である。ここでは、車両２の前方にある交差点の状況を俯瞰図として表現した虚像を表示する例を示している。俯瞰図には、例えば、自車、他車、歩行者等の位置や移動状況をリアルタイムに近い状態で表示する。これらの情報は、例えば、交差点に設置されたカメラ画像のデータを車両２が路車間通信により取得したり、他車の位置等の情報を車車間通信により取得したり等により得ることができる。俯瞰図を表示することによって、上述の図３１の例のように歩行者の接近をアラート表示するときに比べて、自車と歩行者、または他車との位置関係や距離をより的確かつ効率的に把握することができる。
In terms of assisting safety confirmation at an intersection or the like, for example, it is also effective to display a situation such as an intersection as a virtual image. FIG. 33 is a diagram showing an outline of an example of displaying the situation of an intersection as content. Here, the example which displays the virtual image which expressed the condition of the intersection ahead of the
［危険度に応じた表示色の調整］
表示領域６に虚像のコンテンツを表示するにあたり、例えば、対象物に対するアラート表示を行う場合、本実施の形態のＡＲ−ＨＵＤ１では、対象物の危険度に応じて表示色を変更することで、より適切に注意を促すことを可能とする。
[Adjust the display color according to the degree of danger]
In displaying the content of the virtual image in the
図３４は、前方車との車間距離に応じてコンテンツの表示色を変化させる例について概要を示した図である。ここでは、下段の図に示すように、例えば、車外のカメラ映像情報等に基づいて前方車の存在を認識した場合に、前方車に重畳させて虚像によりマーク（図３４の例ではリング状の図形）を表示する場合の例を示している。 FIG. 34 is a diagram schematically showing an example in which the display color of the content is changed according to the inter-vehicle distance to the preceding vehicle. Here, as shown in the lower diagram, for example, when the presence of a car ahead is recognized on the basis of camera image information outside the car, a mark is formed by a virtual image by superimposing on the car ahead (in the example of FIG. An example of displaying a figure) is shown.
左側、中央、右側の各図では、それぞれ、車間距離がＸ、Ｙ、Ｚ（Ｘ＞Ｙ＞Ｚ）である場合を示している。ここでは、例えば、車間距離を危険度に応じて３つの範囲（例えば、安全、やや危険、危険）に区分する。そして、車間距離が大きく安全な区分に属するＸである場合は、マークを表示色Ａ（例えば青色）で表示する。また、車間距離がやや小さい区分に属するＹである場合は、マークを表示色Ｂ（例えば黄色）で表示する。また、車間距離が小さく危険な区分に属するＺである場合は、マークを表示色Ｃ（例えば赤色）で表示する。そして、前方車との車間距離が変わるのに応じて、表示色を切り替える。 The left, center, and right views respectively show cases where the inter-vehicle distance is X, Y, Z (X> Y> Z). Here, for example, the inter-vehicle distance is divided into three ranges (e.g., safe, somewhat dangerous, dangerous) according to the degree of danger. Then, when the inter-vehicle distance is large X belonging to a safe classification, the mark is displayed in a display color A (for example, blue). When the inter-vehicle distance belongs to a segment Y that is a little smaller, the mark is displayed in a display color B (for example, yellow). Further, when the inter-vehicle distance is a small Z belonging to a dangerous classification, the mark is displayed in a display color C (for example, red). Then, the display color is switched according to the change in the inter-vehicle distance to the preceding vehicle.
同様に、図３５は、カーブへの進入速度に応じてコンテンツの表示色を変化させる例について概要を示した図である。ここでは、下段の図に示すように、例えば、カーブや曲がり角に進入する際に、曲がる方向を指示する矢印図形を虚像により表示する場合の例を示している。 Similarly, FIG. 35 is a diagram showing an outline of an example in which the display color of the content is changed according to the entering speed to the curve. Here, as shown in the lower diagram, for example, when entering a curve or a corner, an example in the case of displaying an arrow figure indicating a bending direction as a virtual image is shown.
左側、中央、右側の各図では、それぞれ、カーブへの進入速度がＰ、Ｑ、Ｒ（Ｐ＜Ｑ＜Ｒ）である場合を示している。そして、進入速度が小さく安全な区分に属するＰである場合は、矢印図形を表示色Ａ（例えば青色）で表示する。また、進入速度がやや大きい区分に属するＱである場合は、矢印図形を表示色Ｂ（例えば黄色）で表示する。また、進入速度が大きく危険な区分に属するＲである場合は、矢印図形を表示色Ｃ（例えば赤色）で表示する。そして、進入速度が変わる（通常は減速する）のに応じて、表示色を切り替える。 The left, center, and right views respectively show cases where the entry speed to the curve is P, Q, R (P <Q <R). Then, if the entry speed is P, which is low and belongs to a safe division, the arrow figure is displayed in the display color A (for example, blue). Also, in the case of Q belonging to a section where the entry speed is a little large, the arrow figure is displayed in the display color B (for example, yellow). When the entry speed is R which belongs to a large and dangerous category, the arrow figure is displayed in the display color C (for example, red). Then, the display color is switched according to the change in the entry speed (usually decelerating).
図３６は、危険度に応じてコンテンツの表示色を変化させる他の例について概要を示した図である。危険度に関連する指標は、上記の車間距離やカーブへの進入速度に限られず、例えば、車両２の速度や、歩行者等の対象物との距離など各種のものが想定される。図３６の左側の図では、車両２の速度に応じて、車速表示における文字の表示色を変化させる例を示している。車速の絶対値に応じて３つの区分を設定してもよいし、走行中の道路の制限速度との関係に応じて３つの区分を設定してもよい。後者の場合、例えば、車速が制限速度以下の場合は安全に属し、制限速度の超過が一定値もしくは一定割合の範囲内の場合はやや危険、これを超過する場合は危険に属するものと判断する。また、天候が悪い場合や、前方車両の運転者が初心者や高齢者の場合には、通常より車間距離を大きくとるように促すなど、外的要因に応じて危険度の指標を変化させてもよい。
FIG. 36 is a diagram schematically showing another example in which the display color of the content is changed according to the degree of risk. The index related to the degree of risk is not limited to the above-described inter-vehicle distance or the entering speed to the curve, and various types of indicators such as the speed of the
図３６の右側の図では、車外のカメラ映像情報により歩行者の存在を認識した場合に、歩行者に重畳させて虚像によりマーク（図３６の例では歩行者を囲む枠の図形）をアラート表示する場合の例を示している。ここでは、歩行者との距離に応じて、アラート表示の表示色を変化させる。 In the diagram on the right side of FIG. 36, when the presence of a pedestrian is recognized by camera image information outside the vehicle, the virtual image is superimposed on the pedestrian and a mark (a figure of a frame surrounding the pedestrian in the example of FIG. An example of the case is shown. Here, the display color of the alert display is changed according to the distance to the pedestrian.
上記の例では、コンテンツの色を表示させるものとしているが、これに加えて他の手法を適宜組み合わせて用いてもよい。例えば、指標が危険な区分に属する場合に、表示色を表示色Ｃ（例えば赤色）にするのに加えて、図２３の例に示したような警告マークを追加表示するようにしてもよい。また、図３４の例に示したようなリング状のマークを二重のリングにするなど、表示の形態を変更して強調するようにしてもよい。さらに、音声による警告（例えば、「車間距離が近すぎます。注意してください。」等）を行うようにしてもよい。また、上記の例では、危険度の区分を３つとする例について説明したが、区分の数はこれに限定されない。 In the above example, the color of the content is displayed, but in addition to this, other methods may be appropriately combined and used. For example, when the index belongs to a dangerous category, a warning mark as shown in the example of FIG. 23 may be additionally displayed in addition to setting the display color to the display color C (for example, red). In addition, the form of display may be changed and emphasized such as making a ring-shaped mark as shown in the example of FIG. 34 a double ring. Furthermore, an audio warning (for example, "the distance between the vehicles is too close. Please be careful." Or the like) may be performed. Moreover, although the above-mentioned example demonstrated the example which makes classification of risk degree three, the number of divisions is not limited to this.
上述したアラート表示の表示色の変更は、例えば、上述の図２５の標準コンテンツ生成処理における表示色設定処理（ステップＳ１３００）や、図２６のイベントコンテンツ生成処理における表示色設定処理（ステップＳ２５００）により行われる。図３７は、表示色設定処理の流れの例について概要を示したフローチャートである。 The display color of the alert display described above is changed, for example, by the display color setting process (step S1300) in the standard content generation process of FIG. 25 described above or the display color setting process (step S2500) in the event content generation process of FIG. To be done. FIG. 37 is a flowchart schematically showing an example of the flow of display color setting processing.
まず、車両情報４における危険度に関連する指標（車間距離やカーブへの進入速度等）を解析し（Ｓ２５１１）、指標が危険度のいずれの区分に属するかを判定する（Ｓ２５１２）。そして、判定された区分に対して、過去の所定の判定回数（Ｎ回）で、指標の値が一定量以上変化したか否かを判定し（Ｓ２５１３）、一定量以上変化していないと判定された場合は、表示色の変更を行わずに処理を終了する。この制御は、指標の値が区分間の境界値付近で細かく変動した場合に、表示色の切り替えが頻繁に繰り返されることを防止するために行うものである。 First, an index (such as inter-vehicle distance and curve entry speed) related to the degree of danger in the vehicle information 4 is analyzed (S2511), and it is determined to which category of the degree of danger the index belongs (S2512). Then, it is determined whether or not the value of the index has changed by a predetermined amount or more in the past for the determined number of times (N times) for the determined division (S2513), and it is determined that the amount has not changed by a predetermined amount or more If it is, the process ends without changing the display color. This control is performed to prevent the switching of the display color from being repeated frequently when the value of the index changes finely in the vicinity of the boundary value between the sections.
ステップＳ２５１３で一定量以上変化したと判定された場合は、変化後の区分を判定し（Ｓ２５１４）、その値に応じて上述の図３４〜図３６の例に示したようにコンテンツの表示色を変更して設定する（Ｓ２５１５ａ〜ｃ）。 If it is determined in step S 2513 that the content has changed by a predetermined amount or more, the segment after the change is determined (S 2514), and the display color of the content is displayed as shown in the example of FIGS. It changes and sets (S2515 ac).
上述の例では、危険度を３つに区分し、それぞれに対して表示色Ａ〜Ｃを割り当てて、これを切り替えるものとしている。しかし、例えば、指標の値が危険を示す区分に達した場合に、コンテンツの表示色を急に表示色Ｃ（例えば赤色）に切り替えた場合、運転者５が驚いてしまうことも考えられる。そこで、例えば、表示色の切り替えをより細かく行うようにしてもよい。
In the above-mentioned example, the hazard level is divided into three, and the display colors A to C are assigned to each of them, and this is switched. However, for example, when the display color of the content is suddenly switched to the display color C (for example, red) when the index value reaches the classification indicating danger, the
図３８は、危険度に応じて切り替えるコンテンツの表示色の例について概要を示した図である。上段の帯では、上記の例と同様に、危険度を３つに区分し、安全な方からそれぞれ、表示色Ａ（例えば青色）、表示色Ｂ（例えば黄色）、および表示色Ｃ（例えば赤色）を割り当てていることを示している。 FIG. 38 is a diagram schematically showing an example of display colors of content switched according to the degree of risk. In the upper band, as in the above example, the risk level is divided into three, and from the safe side, display color A (for example, blue), display color B (for example, yellow), and display color C (for example, red) ) Indicates that it is assigned.
これに対し、中段の帯に示すように、さらに危険度の区分を細かくし、表示色Ａと表示色Ｂ、および表示色Ｂと表示色Ｃの中間色をそれぞれ割り当てるようにしてもよい。これにより、表示色の切り替わり（特に表示色Ｂから表示色Ｃへの切り替わり）の際の変化率を緩やかにしてよりスムーズに注意を促すことができる。さらに、下段の帯に示すように、表示色Ａから表示色Ｂを経由して表示色Ｃに至るまでのグラデーションとすることも可能である。この場合は、危険度に関連する指標について区分に分類する必要はなく、指標の値に基づいて表示色を直接設定することができる。 On the other hand, as shown in the middle part of the figure, the degree of danger may be further divided and the display color A and the display color B, and the display color B and the intermediate color of the display color C may be allocated. Thereby, the change rate at the time of switching of the display color (in particular, switching from the display color B to the display color C) can be made to be gentle, and attention can be drawn more smoothly. Furthermore, as shown in the lower band, it is possible to have a gradation from display color A to display color C via display color B. In this case, it is not necessary to classify the indicators related to the degree of risk into categories, and the display color can be set directly based on the values of the indicators.
［前方車に対する表示色の調整］
図３９は、前方車にアラート表示を重畳させる際に視認性を向上させる例について概要を示した図である。ここでも図２１と同様に、車両２の運転者５が、運転席からウィンドシールド３を介して視認している前方の風景およびウィンドシールド３に投射された虚像（コンテンツ）の状態の例を模式的に示している。
[Adjust the display color for the car ahead]
FIG. 39 is a diagram showing an outline of an example in which the visibility is improved when the alert display is superimposed on the preceding vehicle. Here, as in FIG. 21, the
図３９では、車外のカメラ映像情報等に基づいて前方車の存在を認識した場合に、前方車に重畳させて虚像によりマーク（リング状の図形）を表示するとともに、さらに図２３の例に示したような警告マークを追加表示した状態を示している。そして、図３９の上段の図では、前方車の車体の色と、警告マークの色とが同系色となっており見づらい状態であることを示している。 In FIG. 39, when the presence of a car ahead is recognized based on camera image information etc. outside the car, the mark (ring-shaped figure) is displayed by a virtual image while being superimposed on the car ahead and further shown in the example of FIG. It shows a state where an additional warning mark is displayed. And in the figure of the upper stage of FIG. 39, the color of the vehicle body of a preceding vehicle and the color of a warning mark are similar colors, and it has shown that it is a hard-to-see state.
これに対し、本実施の形態のＡＲ−ＨＵＤ１では、図３９の下段の図に示すように、警告マーク等のアラート表示の表示色を前方車の車体の色とは異なる系統の色に変更する。これにより、アラート表示の視認性を向上させ、見落とされることを防止する。
On the other hand, in the AR-
このような、前方の風景等の状況に応じたアラート表示等の表示色の変更は、例えば、上述の図２４の処理フローにおける表示色等調整処理（ステップＳ２３４）により行われる。図４０は、表示色等調整処理の流れの例について概要を示したフローチャートである。まず、対象のコンテンツの現在の表示色の情報を取得する（Ｓ４１００）。そして、車外のカメラ映像情報に基づいて、前方の風景等における、当該コンテンツの表示位置に対応する領域の色情報を取得する（Ｓ２４００）。図３９の例では、対象の領域は前方車であるが、必ずしも前方車だけに限るものではなく、アラート表示を重畳させる領域一般に適用することができる。色情報は、例えば、対象領域内の各ピクセルの輝度の平均値等により求める。 Such a change in display color such as alert display according to the situation in front scenery etc. is performed, for example, by the display color adjustment process (step S234) in the process flow of FIG. 24 described above. FIG. 40 is a flowchart schematically showing an example of the flow of adjustment processing of display color and the like. First, information on the current display color of the target content is acquired (S4100). Then, based on camera image information outside the vehicle, color information of the area corresponding to the display position of the content in the front scenery etc. is acquired (S2400). In the example of FIG. 39, although the target area is a forward vehicle, it is not necessarily limited to only the front vehicle, and can be generally applied to an area in which an alert display is superimposed. The color information is determined, for example, by the average value of the luminance of each pixel in the target area.
その後、ステップＳ４１００で取得したコンテンツの現在の表示色と、対象領域の色情報とを比較し（Ｓ４３００）、コンテンツの表示色の変更が必要か否かを判定する（Ｓ４４００）。ここでは、例えば、公知の判断手法や基準に基づいて、色彩として同系統か否かを判定し、同系統である場合に表示色の変更が必要と判定する。この場合は、公知の手法や基準に基づいて、コンテンツの表示色として異なる系統の色を設定し（Ｓ４５００）、処理を終了する。表示色の変更が不要と判定された場合は、そのまま処理を終了する。 After that, the current display color of the content acquired in step S4100 is compared with the color information of the target area (S4300), and it is determined whether the display color of the content needs to be changed (S4400). Here, for example, based on a known determination method or reference, it is determined whether or not the color is the same system, and in the case of the same system, it is determined that the display color needs to be changed. In this case, colors of different systems are set as the display color of the content based on a known method or reference (S4500), and the process is ended. If it is determined that the change of the display color is unnecessary, the processing is ended as it is.
なお、ここではコンテンツの表示色を異なる系統に変更することで、重畳させる前方車等の風景に対して視認性を向上させているが、このような手法に限られない。例えば、上述の図２１に示したような手法を用いて、コンテンツの表示位置を前方車等の対象物と重ならない位置までずらすことで視認性を向上させるようにしてもよい。 In addition, although visibility is improved with respect to landscapes, such as a front car made to superimpose, by changing the display color of content into a different system here, it is not restricted to such a method. For example, the visibility may be improved by shifting the display position of the content to a position not overlapping the target object such as a front car using the method shown in FIG. 21 described above.
［アラート表示の優先制御］
図４１は、通常の表示コンテンツに対してアラート表示を優先させる例について概要を示した図である。ここでも図２１と同様に、車両２の運転者５が、運転席からウィンドシールド３を介して視認している前方の風景およびウィンドシールド３に投射された虚像（コンテンツ）の状態の例を模式的に示している。
[Priority control of alert display]
FIG. 41 is a diagram showing an outline of an example in which alert display is prioritized over normal display content. Here, as in FIG. 21, the
図４１では、通常時に表示するコンテンツとして、車速表示と、曲がり角が近付いてきたことをその距離とともに指示する矢印図形を表示していることを示している。さらに、車外のカメラ映像情報等に基づいて歩行者の存在を認識した場合に、当該歩行者に対して虚像によりマーク（歩行者を囲う枠および警告マークからなる図形）をアラート表示した状態を示している。そして、図４１の上段の図では、歩行者に対するアラート表示が、通常時に表示する車速表示や矢印図形等のコンテンツに紛れてしまい、見づらい状態であることを示している。 FIG. 41 shows that a vehicle speed display and an arrow figure that indicates that the corner is approaching with the distance are displayed as contents to be displayed at the normal time. Furthermore, when the presence of a pedestrian is recognized based on camera image information outside the vehicle, etc., a state where an alert mark (a figure consisting of a frame surrounding the pedestrian and a warning mark) is displayed as an alert on the pedestrian is shown. ing. Then, in the upper diagram of FIG. 41, the alert display for the pedestrian is mixed in contents such as a vehicle speed display and an arrow graphic displayed at the normal time, which indicates that it is difficult to see.
これに対し、本実施の形態のＡＲ−ＨＵＤ１では、図４１の下段の図に示すように、例えば、矢印図形の表示を薄くする。もしくは、車速表示を小さくする。これらにより、歩行者等のアラート表示について、運転者５に対する表示のインパクトや訴求力という点での優先度を、他のコンテンツに対して相対的に上げる。これにより、アラート表示の視認性を向上させて、見落とされることを防止する。
On the other hand, in the AR-
図４２は、通常の表示コンテンツに対してアラート表示を優先させる他の例について概要を示した図である。アラート表示の視認性を向上させる手法は上記のものに限られず、他にも各種の手法をとることができる。例えば、図４２（ａ）に示すように、矢印図形について、形状をシンプルにするとともに、曲がり角までの距離表示も消去することで、表示を簡略化するようにしてもよい。もしくは、車速表示の表示位置を、歩行者等の対象物から離れた位置に移動させる。また、図４２（ｂ）に示すように、車速表示を小さくする。これらの各手法は、必要に応じて適宜組み合わせて用いることも可能である。 FIG. 42 is a diagram showing an outline of another example in which alert display is prioritized over normal display content. The method of improving the visibility of the alert display is not limited to the above, and various other methods can be taken. For example, as shown in FIG. 42 (a), the display may be simplified by simplifying the shape of the arrow figure and erasing the distance display up to the corner. Alternatively, the display position of the vehicle speed display is moved to a position away from the object such as a pedestrian. Further, as shown in FIG. 42 (b), the vehicle speed display is reduced. Each of these methods can be used in combination as appropriate.
上述したアラート表示の優先制御は、例えば、上述の図２４の表示映像決定・変更処理におけるイベントコンテンツ生成処理（ステップＳ２３２）により行われる。図４３は、アラート表示の優先制御を行うイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。まず、車両情報４に基づいて、アラート表示が必要な障害物の有無を解析し（Ｓ２１１０）、対象の障害物があるか否か（アラート表示が必要か否か）を判定する（Ｓ２２１０）。 The priority control of the alert display described above is performed, for example, by an event content generation process (step S232) in the display image determination / change process of FIG. 24 described above. FIG. 43 is a flowchart showing an outline of an example of a flow of event content generation processing for performing priority control of alert display. First, based on the vehicle information 4, the presence or absence of an obstacle requiring alert display is analyzed (S2110), and it is determined whether or not the target obstacle is present (whether the alert display is necessary) (S2210).
ステップＳ２２１０で、対象の障害物がある（アラート表示が必要）と判定された場合は、当該障害物付近に表示される他のコンテンツの状況を取得する（Ｓ２３１０）。そして、これら他のコンテンツの表示の優先度を下げる（アラート表示の優先度を相対的に上げる）必要があるか否かを判定する（Ｓ２３１１）。他のコンテンツの表示の優先度を下げる必要がある場合は、例えば、図４１、図４２に示したような手法を用いて、これら他のコンテンツの表示の優先度を下げる（Ｓ２３１２）。 If it is determined in step S2210 that there is an obstacle of interest (alert display is required), the status of the other content displayed near the obstacle is acquired (S2310). Then, it is determined whether or not it is necessary to lower the display priority of these other contents (increase the priority of the alert display relatively) (S2311). If it is necessary to lower the priority of display of other contents, the priority of display of these other contents is lowered, for example, using the method shown in FIGS. 41 and 42 (S2312).
その後、対象の障害物に係るアラート表示のためのイベントコンテンツを生成する（Ｓ２３１３）。そして、生成した各アラート表示のコンテンツにつき、それぞれデフォルトの表示位置を設定し（Ｓ２４１０）、表示色として初期値を設定する表示色設定処理（Ｓ２５１０）を行い、処理を終了する。 After that, event content for alert display concerning the target obstacle is generated (S2313). Then, a default display position is set for each content of the generated alert display (S2410), display color setting processing (S2510) is performed to set an initial value as a display color, and the processing is ended.
一方、ステップＳ２２１０で対象の障害物がない（アラート表示が不要）と判定された場合は、対応するアラート表示を現在表示中であるか否かを判定する（Ｓ２６１０）。アラート表示がされていない場合は、何もせずに処理を終了する。表示中である場合は、当該アラート表示の優先度が上げられた状態であるか（他のコンテンツの表示の優先度が下げられた状態であるか）否かを判定する（Ｓ２７１０）。アラート表示の優先度が上げられた状態である場合は、他のコンテンツの表示の優先度を復元してアラート表示の優先度を下げる（Ｓ２７１１）。その後、アラート表示のコンテンツを消去し（Ｓ２７１２）、処理を終了する。 On the other hand, when it is determined in step S2210 that there is no target obstacle (alert display is not necessary), it is determined whether the corresponding alert display is currently displayed (S2610). If the alert is not displayed, the process ends without doing anything. If the display is in progress, it is determined whether the priority of the alert display is increased (the display priority of the other content is reduced) (S 2710). If the alert display priority is raised, the display priority of the other content is restored to lower the alert display priority (S2711). Thereafter, the content of the alert display is erased (S2712), and the process is ended.
以上の一連の処理により、アラート表示の優先度を、通常時に表示される他のコンテンツに対して相対的に上げることができ、アラート表示の視認性を向上させることができる。 By the above-described series of processes, the priority of alert display can be increased relative to other contents normally displayed, and the visibility of alert display can be improved.
［歩行者等の属性に応じたアラート表示の切り替え］
図４４は、歩行者等の属性に応じてアラート表示の内容を切り替える例について概要を示した図である。ここでも図２１と同様に、車両２の運転者５が、運転席からウィンドシールド３を介して視認している前方の風景およびウィンドシールド３に投射された虚像（コンテンツ）の状態の例を模式的に示している。
[Switching of alert display according to pedestrian attributes etc.]
FIG. 44 is a diagram showing an outline of an example in which the content of the alert display is switched according to the attribute of the pedestrian or the like. Here, as in FIG. 21, the
図４４では、通常時に表示するコンテンツとして、車速表示を表示した状態を示している。さらに、車外のカメラ映像情報等に基づいて歩行者の存在を認識した場合に、当該歩行者に対して虚像によりマーク（歩行者を囲う枠および警告マークからなる図形）をアラート表示した状態を示している。そして、図４４の上段の図では、歩行者に子供が含まれる場合でも、アラート表示の内容が大人の歩行者に対するものと同じであるため、より注意が必要な子供の存在を認識しにくい状態であることを示している。 FIG. 44 shows a state in which the vehicle speed display is displayed as the content to be displayed at the normal time. Furthermore, when the presence of a pedestrian is recognized based on camera image information outside the vehicle, etc., a state where an alert mark (a figure consisting of a frame surrounding the pedestrian and a warning mark) is displayed as an alert on the pedestrian is shown. ing. And in the figure of the upper stage of FIG. 44, even when a pedestrian includes a child, since the content of the alert display is the same as that for an adult pedestrian, it is difficult to recognize the presence of a child requiring more attention. It shows that it is.
これに対し、本実施の形態のＡＲ−ＨＵＤ１では、図４４の下段の図に示すように、子供の歩行者に対するアラート表示を、大人の歩行者に対するものと区別する。さらに、子供だけではなく、高齢者の歩行者についても、アラート表示を区別する。これにより、大人の歩行者に比して、より注意が必要な子供や高齢者の歩行者の存在を容易に認識できるようにする。
On the other hand, in the AR-
図４４の下段の図では、アラート表示の区別の手法として、例えば、大人と子供、高齢者について、それぞれ、アラート表示における枠の色や形、線種等を異なるものとして区別しているが、このような手法に限られない。例えば、枠の色や形を変えるのに合わせて警告マークの色や形（例えば、▲を●にする等）も変えるようにしてもよい。図示するように、色や形、線種等による区別の手法を適宜組み合わせるようにしてもよい。 In the lower part of FIG. 44, as a method of distinguishing alert display, for example, for an adult, a child, and an elderly person, the color, the shape, the line type, etc. of the frame in the alert display are distinguished as different ones. It is not limited to such a method. For example, the color or the shape of the warning mark (for example, ▲ for ● or the like) may be changed in accordance with the color or the shape of the frame. As shown in the drawing, the methods of distinction by color, shape, line type and the like may be combined as appropriate.
上述した歩行者の属性に応じたアラート表示の切り替えは、例えば、上述の図２４の表示映像決定・変更処理におけるイベントコンテンツ生成処理（ステップＳ２３２）により行われる。図４５は、歩行者の属性に応じたアラート表示の切り替えを行うイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。まず、車両情報４における車外のカメラ映像情報に基づいて、アラート表示が必要な歩行者の有無を解析し（Ｓ２１２０）、対象の歩行者が存在するか否か（アラート表示が必要か否か）を判定する（Ｓ２２２０）。このとき、併せて、公知の画像認識技術等により対象の歩行者の年齢層についても解析しておく。 The switching of the alert display according to the attribute of the pedestrian described above is performed, for example, by the event content generation process (step S232) in the display image determination / change process of FIG. 24 described above. FIG. 45 is a flowchart showing an outline of an example of the flow of an event content generation process of switching alert display according to the attribute of a pedestrian. First, based on camera image information outside the vehicle in the vehicle information 4, the presence or absence of a pedestrian requiring alert display is analyzed (S2120), and whether or not the target pedestrian exists (whether alert display is necessary) Is determined (S2220). At this time, the age group of the target pedestrian is also analyzed by known image recognition technology or the like.
ステップＳ２２２０で、対象の歩行者が存在する（アラート表示が必要）と判定された場合は、対象の歩行者の年齢層を判定し（Ｓ２３２０）、その内容に応じて上述の例に示したようにアラート表示の内容を設定し、コンテンツを生成する（Ｓ２３２１ａ〜ｃ）。上記の例では、歩行者を年齢層により子供、大人、高齢者の３種類に区分しているが、他の区分方法を用いてもよい。他に注意を要する歩行者として、例えば、飼い犬を連れている人、ヘッドホンやイヤホンを装着している人、携帯端末機器を操作している人、酒酔いしている人、ベビーカーを使用している人などを区分してもよい。さらには、自転車に乗っている人、車椅子を使用している人などを区分してもよい。 If it is determined in step S 2220 that the target pedestrian is present (the alert display is required), the age group of the target pedestrian is determined (S 2320), and as shown in the above example according to the contents thereof The content of the alert display is set to, and the content is generated (S2321a to c). In the above example, pedestrians are classified into three types of children, adults and elderly people according to age groups, but other classification methods may be used. As other pedestrians who need to be careful, for example, people with domestic dogs, people wearing headphones or earphones, people operating mobile devices, people who are drunk, people using strollers People who are present may be separated. Furthermore, the person who is riding a bicycle, the person who is using a wheelchair, etc. may be classified.
その後、生成したアラート表示のコンテンツにつき、それぞれデフォルトの表示位置を設定し（Ｓ２４２０）、処理を終了する。 Thereafter, default display positions are set for the contents of the generated alert display (S2420), and the process is ended.
一方、ステップＳ２２２０で対象の歩行者が存在しない（アラート表示が不要）と判定された場合は、対応するアラート表示を現在表示中であるか否かを判定する（Ｓ２６２０）。アラート表示がされていない場合は、何もせずに処理を終了する。表示中である場合は、対象のアラート表示のコンテンツを消去し（Ｓ２７２０）、処理を終了する。 On the other hand, when it is determined in step S 2220 that the target pedestrian does not exist (the alert display is unnecessary), it is determined whether the corresponding alert display is currently displayed (S 2620). If the alert is not displayed, the process ends without doing anything. If the display is in progress, the content of the target alert display is erased (S2720), and the process ends.
以上の一連の処理により、認識した歩行者等の属性に応じてアラート表示の内容を切り替えて区別することができ、注意が必要な歩行者をより確実に認識させることができる。 According to the above series of processing, the content of the alert display can be switched and distinguished according to the attribute of the recognized pedestrian or the like, and the pedestrian requiring attention can be recognized more reliably.
［前方車に対する車速表示等の調整］
図４６は、車速表示を表示する際に視認性を向上させる例について概要を示した図である。ここでも図２１と同様に、車両２の運転者５が、運転席からウィンドシールド３を介して視認している前方の風景およびウィンドシールド３に投射された虚像（コンテンツ）の状態の例を模式的に示している。図４６では、車速表示が常時表示されている状態を示している。そして、図４６の上段の図では、車速表示が前方車と重複してしまい、見づらい状態であることを示している。一般的に、車速表示など常時表示される情報は、前方車と重複しづらい位置に表示されるが、例えば、渋滞時などには通常走行時に比べて前方車との車間距離が小さくなるため、コンテンツが前方車と重複してしまい、見づらくなることが起こり得る。
[Adjustment of vehicle speed display etc. for forward car]
FIG. 46 is a diagram showing an outline of an example in which the visibility is improved when displaying the vehicle speed display. Here, as in FIG. 21, the
これに対し、本実施の形態のＡＲ−ＨＵＤ１では、図４６の下段の図に示すように、車速表示を前方車と重複しない位置で、かつ前方の風景等における情報量が比較的少ない位置（図中の例では右下）に移動させている。これにより、渋滞時など車間距離が小さくなって車速表示などのコンテンツが前方車と重複するようなときでも、コンテンツの視認性が損なわれないようにすることができる。なお、これに併せて上述の図２１等に示したような手法をとることにより、移動させた先が信号や道路標識等の対象物に重ならないように制御するのが望ましい。
On the other hand, in the AR-
図４７は、車速表示を表示する際に視認性を向上させる他の例について概要を示した図である。車速表示の視認性を向上させる手法は上記のものに限られず、他にも各種の手法をとることができる。例えば、図４７（ａ）に示すように、車速表示の表示位置は変えずに、表示サイズを小さくして、前方車と重複しないようにしてもよい。また、図４７（ｂ）に示すように、車速表示が前方車と重複している状況でも、前方車の車体の色と異なる系統の文字色により表示することで視認性を向上させるようにしてもよい。車速表示に限らず、常時表示される他の計器類等のアイコンに対して同様の制御を行ってもよい。 FIG. 47 is a diagram schematically showing another example for improving the visibility when displaying the vehicle speed display. The method of improving the visibility of the vehicle speed display is not limited to the above, and various other methods can be taken. For example, as shown in FIG. 47 (a), the display size may be reduced without changing the display position of the vehicle speed display so as not to overlap with the preceding vehicle. Further, as shown in FIG. 47 (b), even in the situation where the vehicle speed display overlaps with the vehicle ahead, the visibility is improved by displaying the character color of the system different from the color of the vehicle body of the vehicle ahead It is also good. The same control may be performed not only on the vehicle speed display but also on icons such as other instruments that are always displayed.
上述した車速表示等の調整の処理は、例えば、上述の図２４の表示映像決定・変更処理における表示位置等調整処理（ステップＳ２３３）により行われる。図４８は、前方車に対して車速表示等の表示位置を調整する表示位置等調整処理の流れの例について概要を示したフローチャートである。まず、車両情報４における車外のカメラ映像情報を解析して、前方車の位置（表示領域における座標）の情報を取得する（Ｓ３１１０）。図示しないが、前方車が存在しない場合は、そのまま処理を終了する。 The process of adjusting the vehicle speed display and the like described above is performed, for example, by the display position adjustment process (step S233) in the display image determination / change process of FIG. 24 described above. FIG. 48 is a flowchart schematically showing an example of the flow of adjustment processing of display position etc. for adjusting the display position of the vehicle speed display etc. with respect to the vehicle ahead. First, camera image information outside the vehicle in the vehicle information 4 is analyzed, and information on the position (coordinates in the display area) of the preceding vehicle is acquired (S3110). Although not shown, when there is no forward vehicle, the process is terminated.
次に、車速表示等の常時表示するコンテンツにつき、現在の表示位置がデフォルトの表示位置であるか否かを判定する（Ｓ３２１０）。デフォルトの表示位置であると判定された場合は、表示中のコンテンツの現在の表示位置（すなわちデフォルトの表示位置）と前方車の位置とを比較し（Ｓ３２１１）、表示中のコンテンツが前方車と重複するか否かを判定する（Ｓ３３１１）。重複しないと判定された場合はそのまま処理を終了する。 Next, it is determined whether or not the current display position is the default display position for content that is constantly displayed, such as vehicle speed display (S3210). If it is determined that the display position is the default, the current display position of the content being displayed (ie, the default display position) is compared with the position of the car ahead (S3211), and the content being displayed is the car ahead It is judged whether it overlaps (S3311). If it is determined that they do not overlap, the process ends.
一方、ステップＳ３３１１で表示中のコンテンツが前方車と重複すると判定された場合は、所定の基準に基づいてコンテンツの移動先を設定する（Ｓ３４１０）。そして、移動先に信号や道路標識等がないかを判定し（Ｓ３４１１）、道路標識等がある場合は、ステップＳ３４１０に戻って、道路標識等がない状態となるまでコンテンツの移動先の設定を繰り返す。 On the other hand, when it is determined in step S3311 that the content being displayed overlaps with the preceding vehicle, the destination of the content is set based on a predetermined criterion (S3410). Then, it is determined whether there is a signal or a road sign at the destination (S3411). If there is a road sign, the process returns to step S3410 to set the destination of the content until there is no road sign etc. repeat.
ステップＳ３４１１で、移動先に道路標識等がない状態であると判定された場合は、対象のコンテンツを表示してから、もしくは前回表示位置を変更してから一定時間以上経過しているか否かを判定する（Ｓ３４１２）。一定時間以上経過していない場合は、そのまま処理を終了する。そして、一定時間以上経過している場合にのみ、ステップＳ３４１０で設定された移動先に対象のコンテンツを移動させる（Ｓ３４１３）。上述したように、必要に応じてコンテンツの表示サイズを変更することで重複を回避するようにしてもよい（Ｓ３５１１）。 If it is determined in step S3411 that there is no road sign or the like at the move destination, whether or not a predetermined time or more has elapsed since the target content was displayed or the display position was changed last time It is determined (S3412). If the predetermined time or more has not elapsed, the processing is ended as it is. Then, only when the predetermined time or more has elapsed, the target content is moved to the movement destination set in step S3410 (S3413). As described above, duplication may be avoided by changing the display size of the content as necessary (S 3511).
このように、コンテンツの表示位置の移動に際して一定時間の経過を条件とすることにより、車両２および前方車が走行するのに伴って車両２に対する前方車の相対的な位置が移動する毎に、コンテンツの表示位置が頻繁に切り替わって煩雑となる状況を回避する。
Thus, each time the relative position of the
ステップＳ３２１０に戻り、コンテンツの現在の表示位置がデフォルトの表示位置ではないと判定された場合は、表示中のコンテンツのデフォルトの表示位置と前方車の位置を比較し（Ｓ３２１２）、デフォルトの表示位置にコンテンツを表示した場合に前方車と重複するか否かを判定する（Ｓ３３１２）。重複すると判定された場合はそのまま処理を終了する。 Returning to step S3210, if it is determined that the current display position of the content is not the default display position, the default display position of the content being displayed is compared with the position of the vehicle ahead (S3212), and the default display position When the content is displayed on the display, it is determined whether or not it overlaps with the preceding vehicle (S3312). If it is determined that they overlap, the process ends.
一方、ステップＳ３３１２でデフォルトの表示位置にコンテンツを表示した場合に前方車と重複しないと判定された場合は、上記のステップＳ３４１２の場合と同様に、対象のコンテンツを表示してから、もしくは前回表示位置を変更してから一定時間以上経過しているか否かを判定する（Ｓ３４１４）。一定時間以上経過していない場合は、そのまま処理を終了する。そして、一定時間以上経過している場合にのみ、対象のコンテンツの表示位置をデフォルトの表示位置に戻す（Ｓ３４１５）。必要に応じてコンテンツの表示サイズを変更することで重複を回避するようにしてもよい（Ｓ３５１１）。 On the other hand, when the content is displayed at the default display position in step S3312, if it is determined not to overlap with the vehicle ahead, the target content is displayed or displayed last time as in the case of step S3412 above. After changing the position, it is determined whether a predetermined time or more has elapsed (S3414). If the predetermined time or more has not elapsed, the processing is ended as it is. Then, only when the predetermined time or more has elapsed, the display position of the target content is returned to the default display position (S3415). The duplication may be avoided by changing the display size of the content as needed (S 3511).
なお、上記の処理フローは、前方車の状況に応じて車速表示等の表示位置や表示サイズを変更する例を示しているが、図４７（ｂ）に示すように車速表示等の表示色を変更する場合は、例えば、上述の図４０に示した処理フローの例と同様の処理を行うことで実現することができる。 Note that although the above processing flow shows an example of changing the display position and display size of the vehicle speed display etc. according to the situation of the vehicle ahead, as shown in FIG. 47 (b), the display color such as vehicle speed display etc. The change can be realized, for example, by performing the same process as the example of the process flow shown in FIG. 40 described above.
以上の一連の処理により、前方車に対して車速表示等のコンテンツの表示位置等を切り替えることができ、車速表示等のコンテンツの視認性を向上させることができる。 By the above-described series of processing, the display position and the like of the content such as the vehicle speed display can be switched with respect to the vehicle ahead, and the visibility of the content such as the vehicle speed display can be improved.
［緊急車両の接近通知］
図４９は、緊急車両の接近を通知する例について概要を示した図である。ここでも図２１と同様に、車両２の運転者５が、運転席からウィンドシールド３を介して視認している前方の風景およびウィンドシールド３に投射された虚像（コンテンツ）の状態の例を模式的に示している。
[Emergency vehicle approach notification]
FIG. 49 is a diagram schematically showing an example in which the approach of the emergency vehicle is notified. Here, as in FIG. 21, the
本実施の形態のＡＲ−ＨＵＤ１は、車両情報４に基づいて、消防車や救急車、警察車両等の緊急車両の接近を認識し、これを運転者５に通知することで、適切な退避行動や待機行動等をとることを促す。図４９では、車速表示を表示するとともに、アラート表示として緊急車両の接近を通知するアイコンを虚像により表示した状態を示している。
The AR-
図４９（ａ）では、文字と警告マークにより緊急車両の接近を通知する例を示している。図示するように単に「緊急車両接近中」として緊急車両の接近を通知するだけでなく、検知が可能な場合には、例えば「後方から緊急車両接近中」として、接近方向を通知するようにしてもよい。また、緊急車両との距離や速度が検知できる場合には、例えば「前方１５０ｍ すれ違い予測１０秒後」などとしてさらに詳細な予測情報を通知するようにしてもよい。また、このような情報を文字情報ではなく、図４９（ｂ）に示すように、例えば、道路状況の俯瞰イメージで表示するようにしてもよい。また、音声や、表示と音声の組み合わせにより通知するようにしてもよい。
FIG. 49 (a) shows an example in which the approach of the emergency vehicle is notified by the characters and the warning mark. As shown in the drawing, not only the approach of the emergency vehicle is notified as “emergency vehicle approaching” but also when the detection is possible, the approach direction is notified as “for example, the emergency vehicle approaching from behind”. It is also good. Further, when the distance to the emergency vehicle and the speed can be detected, more detailed prediction information may be notified, for example, as “after 150 m
緊急車両の接近状況の把握については、各種の手法を適宜組み合わせて用いることが可能である。例えば、緊急車両が発しているサイレン音を、車両２に搭載した図示しないマイク等により検知し、サイレン音の種類により緊急車両の種類を判別したり、音量や周波数の変化の状況により緊急車両の接近方向や距離を判別したりすることが考えられる。また、路車間通信や車車間通信により詳細な情報を把握することも可能である。車外のカメラ映像情報を用いることも考えられる。
For grasping the approach situation of the emergency vehicle, it is possible to use various methods in combination as appropriate. For example, the siren sound emitted by the emergency vehicle is detected by a microphone (not shown) mounted on the
図５０は、緊急車両の接近を通知する他の例について概要を示した図である。図５０（ａ）では、緊急車両の接近に備えて路肩等に退避するルートをナビゲーションする例を示している。ここでは、退避を指示する文字情報を表示するアイコンに加えて、左側に退避ルートを指示する矢印図形と、車両の目標停止位置を示す図形を虚像により表示している。 FIG. 50 is a diagram schematically showing another example of notifying the approach of the emergency vehicle. FIG. 50 (a) shows an example in which a route to be evacuated to a road shoulder or the like is prepared in preparation for the approach of the emergency vehicle. Here, in addition to the icon for displaying the character information for instructing retraction, an arrow figure for instructing the evacuation route on the left side and a figure for indicating the target stop position of the vehicle are displayed as virtual images.
また、図５０（ｂ）では、緊急車両が接近するのに従って、接近通知の表示を強調して注意をより促す例を示している。図中の例では、文字を反転させ、さらに警告マークの数を増やして強調しているが、強調の手法はこれらに限られない。例えば、他の手法として、文字色やアイコンの色を変更したり、表示の輝度を高くしたりしてもよい。また、アイコンや警告マークの形を変更したり、文字のフォントを変更したりしてもよい。また、アイコンや文字を点滅させてもよい。これらの手法を適宜組み合わせて用いてもよい。 Further, FIG. 50 (b) shows an example in which the display of the approach notification is emphasized to draw more attention as the emergency vehicle approaches. In the example in the figure, the characters are inverted and the number of warning marks is further increased to emphasize them, but the emphasizing method is not limited to these. For example, as another method, the character color or the color of the icon may be changed, or the display brightness may be increased. Also, the shapes of icons and warning marks may be changed, and the font of characters may be changed. Also, icons and characters may be blinked. You may use combining these methods suitably.
図５１は、緊急車両の走行状態に応じて接近通知の表示を制御する例について概要を示した図である。本実施の形態では、走行中の緊急車両の全てを接近通知の対象とするものではなく、出動中、すなわちサイレン音を発している状態にある緊急車両のみを、接近通知の対象とする。すなわち、図５１（ａ）の上段の図に示すように、緊急車両が接近していても、サイレン音を発していない場合（例えば、帰還中や単なる移動中の消防車等）には、下段の図に示すように、接近通知を行わない。一方、図５１（ｂ）の上段の図に示すように、緊急車両が接近していて、かつサイレン音を発している場合は、下段の図に示すように、接近通知のアイコンを表示する。上述したように、サイレン音は、車両２に搭載した図示しないマイク等により検知することができる。
FIG. 51 is a diagram schematically showing an example of controlling the display of the approach notification according to the traveling state of the emergency vehicle. In the present embodiment, not all of the traveling emergency vehicles are targeted for the approach notification, but only the emergency vehicles in the state of emitting, that is, emitting a siren sound, are targeted for the approach notification. That is, as shown in the upper part of FIG. 51 (a), even if the emergency vehicle is approaching, if the siren sound is not emitted (for example, a fire truck or the like in return or simply moving), the lower part As shown in the figure, no notification of approach is given. On the other hand, as shown in the upper part of FIG. 51 (b), when the emergency vehicle is approaching and emitting a siren sound, the approach notification icon is displayed as shown in the lower part of the drawing. As described above, the siren sound can be detected by a not-shown microphone or the like mounted on the
上述した緊急車両の接近通知を行う処理は、例えば、上述の図２４の表示映像決定・変更処理におけるイベントコンテンツ生成処理（ステップＳ２３２）により行われる。図５２は、緊急車両の接近通知を生成するイベントコンテンツ生成処理の流れの例について概要を示したフローチャートである。まず、車両情報４におけるマイクで検知したサイレン音の情報や、路車間通信情報、車車間通信情報などに基づいて、緊急車両の接近情報を取得し（Ｓ２１３０）、接近している緊急車両の有無を判定する（Ｓ２２３０）。接近している緊急車両が検知できた場合は、退避行動や待機行動の要否を判断し（Ｓ２２３１）、退避行動等が必要か否かを判定する（Ｓ２２３２）。退避行動等の要否は、例えば、後述するような手法により緊急車両の進路を予測し、これと自車の進路との関係を判断する等により行う。 The above-described process of notifying the approach of the emergency vehicle is performed, for example, by the event content generation process (step S232) in the display image determination / change process of FIG. 24 described above. FIG. 52 is a flowchart outlining an example of the flow of an event content generation process for generating an approaching notification of an emergency vehicle. First, based on the information of the siren sound detected by the microphone in the vehicle information 4, the road-vehicle communication information, the inter-vehicle communication information, etc., the approaching information of the emergency vehicle is acquired (S2130), and the presence or absence of the approaching emergency vehicle Is determined (S2230). When the approaching emergency vehicle can be detected, it is determined whether the evacuation action or the standby action is necessary (S2231), and it is determined whether the evacuation action or the like is necessary (S2232). Whether the evacuation action or the like is necessary or not is performed, for example, by predicting the route of the emergency vehicle by a method to be described later, and determining the relationship between this and the route of the vehicle.
ステップＳ２２３２で退避行動等が必要であると判定された場合は、上述の例に示したような緊急車両の接近通知のコンテンツを生成する緊急車両接近通知生成処理を行う（Ｓ２３３０）。その後、緊急車両の接近に備えるための退避ルートを検討する（Ｓ２３３１）。退避ルートの検討は、例えば、後述するような手法により緊急車両の進路を予測し、これと自車の位置、道路状況等の情報を判断して行うことができる。そして、検討結果の退避ルートについて、図５０（ａ）の例に示したような現在位置から目標停止位置までのナビゲーションを行うコンテンツを生成する（Ｓ２３３２）。 If it is determined in step S 2232 that evacuation behavior or the like is necessary, emergency vehicle approach notification generation processing for generating the content of the emergency vehicle approach notification as shown in the above example is performed (S 2330). Thereafter, the evacuation route for preparing for the approach of the emergency vehicle is examined (S2331). The examination of the evacuation route can be performed, for example, by predicting the route of the emergency vehicle by a method to be described later, and determining information such as the position of the vehicle, the road condition, and the like. Then, for the evacuation route of the examination result, the content for performing navigation from the current position to the target stop position as shown in the example of FIG. 50A is generated (S2332).
その後、現時点で運転者５による退避行動等が既に完了しているか否かを判定する（Ｓ２３３３）。完了していると判定された場合は、ステップＳ２３３２で生成した退避ルートのナビゲーション表示を終了する（Ｓ２３３４）。完了していないと判定された場合は、ステップＳ２３３０で生成した緊急車両の接近通知のコンテンツについて、図５０（ｂ）の例に示したような表示の強調を行う（Ｓ２３３５）。このとき、ステップＳ２３３２で生成した退避ルートのナビゲーション表示の終了は、ステップＳ２３３５で緊急車両の接近を強調して表示した後、または強調表示した後に改めて運転者５による退避行動が完了したことを確認した後に行うとよい。
After that, it is determined whether the evacuation action or the like by the
その後、生成した緊急車両の接近通知のコンテンツやナビゲーション表示につき、それぞれデフォルトの表示位置を設定し（Ｓ２４３０）、表示色に初期値を設定する表示色設定処理（Ｓ２５３０）を行い、処理を終了する。 After that, a default display position is set for each of the generated contents of notification of approach of emergency vehicle and navigation display (S2430), display color setting processing (S2530) for setting an initial value to display color is performed, and the processing is ended. .
ステップＳ２２３０に戻り、接近している緊急車両が検知できなかった場合、およびステップＳ２２３２で退避行動等が不要であると判定された場合は、緊急車両の接近通知を現在表示中であるか否かを判定する（Ｓ２６３０）。接近通知を表示中でないと判定された場合は、そのまま処理を終了する。接近通知を表示中であると判定された場合は、対象の接近通知のコンテンツを消去し（Ｓ２７３０）、処理を終了する。 Returning to step S2230, if the approaching emergency vehicle can not be detected, and if it is determined in step S2232 that the evacuation action or the like is unnecessary, whether the emergency vehicle approach notification is currently being displayed or not (S2630). If it is determined that the approach notification is not being displayed, the process ends. If it is determined that the approach notification is being displayed, the content of the approach notification of interest is erased (S2730), and the process is ended.
図５３は、接近中の緊急車両の把握とその進路を予測する手法の例について概要を示した図である。本実施の形態のＡＲ−ＨＵＤ１では、上段の図に示すように、例えば、車両２が車両情報４として取得している路車間通信や車車間通信等により得られる緊急車両出動情報や、マイクにより取得したサイレン音等に基づいて緊急車両を把握する。緊急車両出動情報には、図中の表に示すように、例えば、稼働中の緊急車両毎に、状況（「帰還中」、「待機中」、「出動準備中」）および行き先の情報等を保持している。そして、これらの情報と、車両情報４として取得している地図情報や、車両２が走行中に記録・蓄積している走行ログの内容等を併せて解析する。これにより、車両２の現在位置の最寄りの緊急車両の出動状況を把握するとともに、下段の図に示すように接近中の緊急車両の進路を予測する。
FIG. 53 is a diagram showing an outline of an example of a method for grasping an approaching emergency vehicle and predicting its route. In the AR-
左下の図では、消防署から出動する緊急車両（消防車や救急車等）の進路を予測する例を示している。サイレン音が次第に大きくなる等により緊急車両が接近中であることを検知した場合、例えば、車両２が消防署を通過前である場合は、前方の消防署から出動した緊急車両が前方から接近中であると予測する。逆に車両２が消防署を通過後である場合は、後方の消防署から出動した緊急車両が後方から接近中であると予測する。
The lower left figure shows an example of predicting the course of an emergency vehicle (a fire engine, an ambulance, etc.) dispatched from a fire department. When it is detected that the emergency vehicle is approaching due to the siren sound becoming louder gradually, for example, when the
同様に、右下の図では、病院へ急行する緊急車両（救急車等）の進路を予測する例を示している。緊急車両が接近中であることを検知した場合、例えば、車両２が病院を通過前である場合は、前方の病院へ急行する緊急車両が後方から接近中であると予測する。この場合、前方の病院へ急行する緊急車両が病院よりさらに前方から接近中であることも考えられる。しかし、この場合は原則として退避行動をとる必要がないため考慮が不要となる。また、逆に車両２が病院を通過後である場合は、後方の病院へ急行する緊急車両が前方から接近中であると予測する。この場合も、後方の病院へ急行する緊急車両が病院よりさらに後方から接近中であることも考えられる。しかし、この場合も原則として退避行動をとる必要がないため考慮が不要となる。
Similarly, the lower right figure shows an example of predicting the route of an emergency vehicle (ambulance etc.) rushing to a hospital. If it is detected that the emergency vehicle is approaching, for example, before the
図５４は、接近中の緊急車両の進路の予測に基づいて接近通知のコンテンツを生成する緊急車両接近通知生成処理の流れの例について概要を示したフローチャートである。緊急車両接近通知生成処理は、上述の図５２の例に示した緊急車両通知処理におけるステップＳ２３３０の処理であり、既に接近中の緊急車両の存在自体は検知されている状態である。 FIG. 54 is a flowchart schematically showing an example of the flow of an emergency vehicle approach notification generation process for generating the content of the approach notification based on the prediction of the course of the approaching emergency vehicle. The emergency vehicle approach notification generation process is the process of step S2330 in the emergency vehicle notification process shown in the example of FIG. 52 described above, and the presence itself of the emergency vehicle approaching is detected.
まず、車両情報４の地図情報や走行ログ等に基づいて、車両２の現在位置を取得する（Ｓ２３３０＿１）。さらに、車両情報４の緊急車両出動情報等に基づいて、最寄りの緊急車両の出動情報を取得する（Ｓ２３３０＿２）。そして、上述の図５３の例に示したような手法により、緊急車両の進路を予測し（Ｓ２３３０＿３）、予測結果を判定する（Ｓ２３３０＿４）。前方もしくは後方から接近中であると判定された場合は、それぞれ、前方もしくは後方からの接近を通知するアラート表示のコンテンツを生成し（Ｓ２３３０＿５ａ、Ｓ２３３０＿５ｂ）、処理を終了する。いずれとも判定できなかった場合は、緊急車両の走行ルート外にいるものとして、接近通知のコンテンツは生成せずに処理を終了する。
First, the current position of the
以上の一連の処理により、緊急車両の接近通知を適切に表示して、退避行動等を適切に行えるよう補助することができる。 By the above-described series of processing, it is possible to appropriately display the notification of the approach of the emergency vehicle and to assist the user to appropriately perform the evacuation action and the like.
図５５は、接近中の緊急車両と周辺の車両２が車車間通信を行う例について概要を示した図である。図５５の左側の図では、緊急車両が通過する旨を車車間通信により通知した状態を示している。ここで、周辺を走行中の車両Ｄ（２ｄ）〜Ｆ（２ｆ）のうち、緊急車両との間で車車間通信を行うことが可能な車両Ｄ（２ｄ）および車両Ｆ（２ｆ）が当該通知を受信しており、車車間通信を行うことができない（車車間通信機能を備えていない、もしくは緊急車両との通信に非対応等）車両Ｅ（２ｅ）は当該通知を受信していない状態であることを示している。この場合、車両Ｄ（２ｄ）および車両Ｆ（２ｆ）は、通知を受信して緊急車両の接近を認識し、その旨をＡＲ−ＨＵＤ１によりアラート表示することができる。
FIG. 55 is a diagram schematically showing an example in which the emergency vehicle approaching and the surrounding
図５５の右側の図では、緊急車両からの通知を受信した車両Ｄ（２ｄ）および車両Ｆ（２ｆ）が、通知に対する応答を送信した状態を示している。この場合、緊急車両は、車両Ｄ（２ｄ）および車両Ｆ（２ｆ）からの応答を受信し、車両Ｅ（２ｅ）からは応答を受信できない。緊急車両は、この受信結果を自車に搭載されたＡＲ−ＨＵＤ１によって虚像のコンテンツとして表示することができる。
The right side of FIG. 55 shows a state in which the vehicle D (2 d) and the vehicle F (2 f) that have received the notification from the emergency vehicle have transmitted a response to the notification. In this case, the emergency vehicle receives responses from the vehicle D (2d) and the vehicle F (2f) and can not receive a response from the vehicle E (2e). The emergency vehicle can display the reception result as a virtual image content by the AR-
図５６は、緊急車両に搭載されたＡＲ−ＨＵＤ１による周辺の車両２の表示方法の例について概要を示した図である。図５６（ａ）では、緊急車両から見た前方車である車両２が、上述の図５５の例における車両Ｄ（２ｄ）や車両Ｆ（２ｆ）のように緊急車両の接近を認識している場合を示している。この場合、下段の図に示すように、例えば、車外のカメラ映像情報等に基づいて前方車の存在を認識し、これに重畳させて虚像によりマーク（図５６の例ではリング状の図形）を表示する場合、上述の図３８の例に示した表示色Ａ（例えば青色）により表示する。
FIG. 56 is a diagram schematically showing an example of a display method of the surrounding
一方、図５６（ｂ）では、緊急車両から見た前方車である車両２が、上述の図５５の例における車両Ｅ（２ｅ）のように緊急車両の接近を認識していない場合を示している。この場合、下段の図に示すように、例えば、前方車に重畳させて虚像によりマークを表示する場合、上述の図３８の例に示した表示色Ｃ（例えば赤色）により表示する。このとき、例えば、上述の図２２に示したような警告マーク等を組み合わせて表示し、緊急車両の運転者に注意を促すようにしてもよい。
On the other hand, FIG. 56 (b) shows a case where the
これにより、緊急車両は、周辺の車両２のうち自車を認識していないものを運転者５に容易に把握させることができ、通過の際の注意を促すことができる。なお、上記のような、自車を認識しているか否かによりコンテンツの表示内容を変化させる手法は、本実施の形態のＡＲ−ＨＵＤ１が緊急車両に搭載されている場合に限られない。一般の自家用車等も含む他の種類の車両２に搭載されている場合に適用してもよい。
As a result, the emergency vehicle can easily cause the
以上に説明したように、本発明の実施の形態２であるヘッドアップディスプレイ装置によれば、実施の形態１における虚像の表示領域の調整や表示距離の調整に加えて、さらに、車両２における前方の風景等の状況に応じて、表示する虚像自体の表示内容や表示方法を調整することができる。これにより、前方の風景に対してより適切な虚像をより適切な位置や態様にて重畳させることが可能となる。 As described above, according to the head-up display device of the second embodiment of the present invention, in addition to the adjustment of the display area of the virtual image and the adjustment of the display distance in the first embodiment, The display content and display method of the virtual image itself to be displayed can be adjusted according to the situation such as the landscape. This makes it possible to superimpose a more appropriate virtual image at a more appropriate position or mode with respect to the forward landscape.
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 As mentioned above, although the invention made by the present inventor was concretely explained based on an embodiment, the present invention is not limited to the above-mentioned embodiment, and can be variously changed in the range which does not deviate from the summary. It goes without saying. For example, the above embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations. Also, part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. . In addition, with respect to a part of the configuration of each embodiment, it is possible to add, delete, and replace other configurations.
本発明は、ＡＲを利用したヘッドアップディスプレイ装置に利用可能である。 The present invention is applicable to a head-up display device using AR.
１…ＡＲ−ＨＵＤ、２…車両、２ｄ〜２ｆ…車両Ｄ〜車両Ｆ、３…ウィンドシールド、４…車両情報、５…運転者、６…表示領域、
１０…車両情報取得部、
２０…制御部、２１…ＥＣＵ、２２…音声出力部、２３…不揮発性メモリ、２４…メモリ、２５…光源調整部、２６…歪み補正部、２７…表示素子駆動部、２８…表示距離調整部、２９…ミラー調整部、
３０…映像表示装置、３０ａ…プロジェクタ、３０ｂ…ＬＣＤ、３１…光源、３２…照明光学系、３３…表示素子、
４０…表示距離調整機構、４１ａ…拡散板、４１ｂ…拡散板、４１ｃ…可動式拡散板、４２ａ…レンズ、４２ｂ…可動式レンズ、４３ａ…可動式光学フィルタ、４３ｂ…くし状光学フィルタ、
５０…ミラー駆動部、５１…ミラー、５１ａ…ミラー、５１ｂ…調光ミラー、５２…ミラー、
６０…スピーカ、
１０１…車速センサ、１０２…シフトポジションセンサ、１０３…ハンドル操舵角センサ、１０４…ヘッドライトセンサ、１０５…照度センサ、１０６…色度センサ、１０７…測距センサ、１０８…赤外線センサ、１０９…エンジン始動センサ、１１０…加速度センサ、１１１…ジャイロセンサ、１１２…温度センサ、１１３…路車間通信用無線受信機、１１４…車車間通信用無線受信機、１１５…カメラ（車内）、１１６…カメラ（車外）、１１７…ＧＰＳ受信機、１１８…ＶＩＣＳ受信機、
２８１…機能性液晶フィルムＯＮ／ＯＦＦ制御部、２８２…レンズ可動部、２８３…調光ミラーＯＮ／ＯＦＦ制御部、２８４…拡散板可動部、２８５…光学フィルタ可動部、
４０１…機能性液晶フィルム、４０２…レンズ可動機構、４０３…調光ミラー、４０４…拡散板可動機構、４０５…光学フィルタ可動機構
DESCRIPTION OF
10: Vehicle information acquisition unit,
DESCRIPTION OF
40 display
50: mirror drive unit, 51: mirror, 51a: mirror, 51b: light control mirror, 52: mirror,
60 ... speaker,
101 ... vehicle speed sensor, 102 ... shift position sensor, 103 ... steering wheel steering angle sensor, 104 ... headlight sensor, 105 ... illuminance sensor, 106 ... chromaticity sensor, 107 ... distance measuring sensor, 108 ... infrared sensor, 109 ... engine start
281 ... functional liquid crystal film ON / OFF control unit, 282 ... lens movable unit, 283 ... dimming mirror ON / OFF control unit, 284 ... diffusion plate movable unit, 285 ... optical filter movable unit,
401 ... functional liquid crystal film, 402 ... lens movable mechanism, 403 ... dimming mirror, 404 ... diffusion plate movable mechanism, 405 ... optical filter movable mechanism
Claims (17)
前記車両が検知することができる各種の車両情報を取得する車両情報取得部と、
前記車両情報取得部が取得した前記車両情報に基づいて、前記映像に係る情報を生成し、表示を制御する制御部と、
前記制御部からの指示に基づいて前記映像を形成する映像表示装置と、
前記映像表示装置が形成した前記映像を反射して前記ウィンドシールドに投射するミラーと、
前記制御部からの指示に基づいて前記ミラーの角度を変化させるミラー駆動部と、
前記運転者に対する前記虚像の表示距離を調整する表示距離調整機構と、を有し、
前記制御部は、
前記車両情報に基づいて、前記運転者に対して前記風景に前記虚像を重畳させて表示することが可能となるよう、前記ミラー駆動部を介して前記ミラーの角度を調整し、
また、前記虚像が前記風景における所定の対象物に重なる場合に、前記虚像の表示位置を変更する、ヘッドアップディスプレイ装置。 A head-up display device for displaying a virtual image by causing an image to be projected on a windshield of a vehicle to be superimposed on a landscape in front of the vehicle for the driver,
A vehicle information acquisition unit that acquires various types of vehicle information that can be detected by the vehicle;
A control unit that generates information related to the video based on the vehicle information acquired by the vehicle information acquisition unit, and controls display;
A video display device that forms the video based on an instruction from the control unit;
A mirror that reflects the image formed by the image display device and projects the image onto the windshield;
A mirror drive unit that changes the angle of the mirror based on an instruction from the control unit;
And a display distance adjustment mechanism for adjusting a display distance of the virtual image with respect to the driver.
The control unit
The angle of the mirror is adjusted via the mirror drive unit so that the virtual image can be superimposed and displayed on the landscape for the driver based on the vehicle information.
Moreover, the head-up display apparatus which changes the display position of the said virtual image, when the said virtual image overlaps with the predetermined | prescribed target object in the said landscape.
前記制御部は、前記車両情報に基づいて、前記風景における視認が困難な標識情報を検知し、前記標識情報に係る前記虚像を、前記風景における前記標識情報の所在位置に重畳させて表示する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The control unit detects sign information which is difficult to visually recognize in the landscape based on the vehicle information, and superimposes and displays the virtual image relating to the sign information on the position of the sign information in the landscape. Head-up display device.
前記制御部は、前記車両情報に基づいて、前記風景において前記標識情報の付近に歩行者が存在することを検知した場合、前記標識情報の所在位置に重畳させて表示する前記虚像を強調表示する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 2,
When the control unit detects that a pedestrian is present in the vicinity of the sign information in the scenery based on the vehicle information, the control unit highlights the virtual image to be displayed by being superimposed on the position of the sign information. , Head-up display device.
前記制御部は、前記車両情報に基づいて前記運転者の視点の情報を取得し、前記虚像が前記視点から所定の範囲内に表示されるよう表示位置を変更する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The head-up display device, wherein the control unit acquires information of a viewpoint of the driver based on the vehicle information, and changes a display position so that the virtual image is displayed within a predetermined range from the viewpoint.
前記制御部は、前記車両情報に基づいて、前記車両が交差点付近に所在する場合に、前記虚像として前記交差点の状況の俯瞰画像を表示する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The said control part is a head-up display apparatus which displays the bird's-eye view image of the condition of the said intersection as said virtual image, when the said vehicle is located in the vicinity of an intersection based on the said vehicle information.
前記制御部は、前記車両もしくは前記風景における対象物の危険度に応じて、対応する前記虚像の表示色を変更する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The head-up display device, wherein the control unit changes the display color of the corresponding virtual image in accordance with the degree of danger of an object in the vehicle or the landscape.
前記制御部は、前記風景における前記虚像が重なる領域の色と、前記虚像の表示色とが同系統である場合に、前記虚像の表示色を変更する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The head-up display device, wherein the control unit changes the display color of the virtual image when the color of the region where the virtual images overlap in the landscape and the display color of the virtual image are in the same system.
前記制御部は、前記風景における前記虚像が重なる領域の色と、前記虚像の表示色とが同系統である場合に、前記虚像の表示位置を変更する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The head-up display device, wherein the control unit changes the display position of the virtual image when the color of the region where the virtual images overlap in the landscape and the display color of the virtual image are the same system.
前記制御部は、前記風景における前記虚像が重なる領域の色と、前記虚像の表示色とが同系統である場合に、前記虚像の表示サイズを小さくする、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The head-up display device, wherein the control unit reduces the display size of the virtual image when the color of the region where the virtual images overlap in the landscape and the display color of the virtual image are the same system.
前記制御部は、アラート表示を行う前記虚像の付近に他の通常の虚像が１つ以上表示されている場合に、前記通常の虚像について表示の優先度を下げて表示する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The control unit is configured to lower the display priority of the normal virtual image and display the normal virtual image when one or more other normal virtual images are displayed near the virtual image for alert display.
前記制御部は、前記車両情報に基づいて、前記風景において歩行者が存在することを検知した場合、検知した前記歩行者の属性に応じて、前記歩行者を示すための前記虚像の表示方法を変更する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
When the control unit detects the presence of a pedestrian in the landscape based on the vehicle information, the control unit displays the virtual image for showing the pedestrian according to the detected attribute of the pedestrian. Head-up display device to change.
前記制御部は、前記車両情報に基づいて緊急車両の接近を検知した場合に、前記虚像として前記緊急車両の接近を通知する画面を表示する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The said control part displays a screen which notifies approach of the said emergency vehicle as said virtual image, when approach of an emergency vehicle is detected based on the said vehicle information.
前記制御部は、前記車両情報に基づいて前記緊急車両の接近状況を予測し、前記虚像として前記緊急車両の接近を通知する画面を表示する際に、前記接近状況に係る情報についても併せて表示する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 12,
The control unit predicts the approach situation of the emergency vehicle based on the vehicle information, and when displaying a screen notifying the approach of the emergency vehicle as the virtual image, the information concerning the approach situation is also displayed. A head-up display device.
前記制御部は、前記車両情報に基づいて前記緊急車両が出動もしくは帰還する施設の情報を取得し、前記車両と前記施設との位置関係に基づいて前記緊急車両の接近状況を予測する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 13,
The control unit acquires information of a facility to which the emergency vehicle is dispatched or returns based on the vehicle information, and predicts an approaching situation of the emergency vehicle based on a positional relationship between the vehicle and the facility. Display device.
前記制御部は、前記車両情報に基づいて、前記車両が前記緊急車両を退避するためのルートを取得し、前記虚像として前記ルートをナビゲーションする画面を表示する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 12,
The head-up display device, wherein the control unit acquires a route for the vehicle to withdraw the emergency vehicle based on the vehicle information, and displays a screen for navigating the route as the virtual image.
前記制御部は、前記緊急車両のサイレン音を検知している場合にのみ、前記虚像として前記緊急車両の接近を通知する画面を表示する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 12,
The head-up display device, wherein the control unit displays a screen notifying the approach of the emergency vehicle as the virtual image only when the siren sound of the emergency vehicle is detected.
前記制御部は、前記車両情報における周辺の他の車両との車車間通信の情報に基づいて、前記虚像として、前記他の車両が前記車両の存在を認識しているか否かを示す画像を表示する、ヘッドアップディスプレイ装置。 In the head-up display device according to claim 1,
The control unit displays an image indicating whether the other vehicle recognizes the presence of the vehicle as the virtual image based on the information of the inter-vehicle communication with the other vehicle in the vicinity in the vehicle information. A head-up display device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016061245A JP2019059247A (en) | 2016-03-25 | 2016-03-25 | Head-up display device |
| PCT/JP2016/080181 WO2017134861A1 (en) | 2016-02-05 | 2016-10-12 | Head-up display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016061245A JP2019059247A (en) | 2016-03-25 | 2016-03-25 | Head-up display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019059247A true JP2019059247A (en) | 2019-04-18 |
Family
ID=66176088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016061245A Pending JP2019059247A (en) | 2016-02-05 | 2016-03-25 | Head-up display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019059247A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111907416A (en) * | 2019-05-07 | 2020-11-10 | 现代自动车株式会社 | Vehicle-mounted information display device and control method thereof |
| WO2020235160A1 (en) * | 2019-05-22 | 2020-11-26 | パナソニックＩｐマネジメント株式会社 | Display system |
| CN114296239A (en) * | 2021-12-31 | 2022-04-08 | 合众新能源汽车有限公司 | Image display method and device for vehicle window |
| CN114816292A (en) * | 2021-01-27 | 2022-07-29 | 本田技研工业株式会社 | Head-up display control system and head-up display method |
| WO2023240918A1 (en) * | 2022-06-17 | 2023-12-21 | 江苏泽景汽车电子股份有限公司 | Display picture compensation method and apparatus, and electronic device and storage medium |
| EP4227895A4 (en) * | 2020-10-07 | 2024-03-13 | JVCKenwood Corporation | Image recognition device, image recognition method, and program |
-
2016
- 2016-03-25 JP JP2016061245A patent/JP2019059247A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111907416A (en) * | 2019-05-07 | 2020-11-10 | 现代自动车株式会社 | Vehicle-mounted information display device and control method thereof |
| WO2020235160A1 (en) * | 2019-05-22 | 2020-11-26 | パナソニックＩｐマネジメント株式会社 | Display system |
| US11875760B2 (en) | 2019-05-22 | 2024-01-16 | Panasonic Intellectual Property Management Co., Ltd. | Display system |
| EP4227895A4 (en) * | 2020-10-07 | 2024-03-13 | JVCKenwood Corporation | Image recognition device, image recognition method, and program |
| CN114816292A (en) * | 2021-01-27 | 2022-07-29 | 本田技研工业株式会社 | Head-up display control system and head-up display method |
| CN114816292B (en) * | 2021-01-27 | 2024-06-04 | 本田技研工业株式会社 | Head-up display control system and display method of head-up display |
| CN114296239A (en) * | 2021-12-31 | 2022-04-08 | 合众新能源汽车有限公司 | Image display method and device for vehicle window |
| WO2023240918A1 (en) * | 2022-06-17 | 2023-12-21 | 江苏泽景汽车电子股份有限公司 | Display picture compensation method and apparatus, and electronic device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019059248A (en) | Head-up display device | |
| WO2017134861A1 (en) | Head-up display device | |
| JP6717856B2 (en) | Head up display device | |
| JP6629889B2 (en) | Head-up display device | |
| WO2018070193A1 (en) | Head-up display device | |
| JP2019059247A (en) | Head-up display device | |
| CN111993992B (en) | Projection display device | |
| US20170161009A1 (en) | Vehicular display device | |
| JP2016055691A (en) | Vehicular display system | |
| JP2010143520A (en) | On-board display system and display method | |
| JP2015011212A (en) | Head-up display device | |
| JP2017094882A (en) | Virtual image generation system, virtual image generation method and computer program | |
| CN113126295A (en) | Head-up display device based on environment display | |
| JP2015074391A (en) | Head-up display device | |
| US20210197863A1 (en) | Vehicle control device, method, and program | |
| JP6801508B2 (en) | Head-up display device | |
| US11345364B2 (en) | Attention calling device and attention calling method | |
| CN110816269B (en) | Display device, display control method, and storage medium | |
| JPWO2019130860A1 (en) | Head-up display device and control program | |
| JP7002612B2 (en) | Vehicle display system | |
| JP7429875B2 (en) | Display control device, display device, display control method, and program | |
| WO2014013641A1 (en) | Vehicle-mounted display device and vehicle-mounted video projection device | |
| JP2023083117A (en) | head-up display device | |
| JP2019202641A (en) | Display device |