JP6804805B2 - Head-up display device - Google Patents
Head-up display device Download PDFInfo
- Publication number
- JP6804805B2 JP6804805B2 JP2017140547A JP2017140547A JP6804805B2 JP 6804805 B2 JP6804805 B2 JP 6804805B2 JP 2017140547 A JP2017140547 A JP 2017140547A JP 2017140547 A JP2017140547 A JP 2017140547A JP 6804805 B2 JP6804805 B2 JP 6804805B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- eye point
- projected image
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 230000007547 defect Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 131
- 210000003128 head Anatomy 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、ヘッドアップディスプレイを用いた拡張現実(AR:Augmented Reality)等の投射画像を表示可能なヘッドアップディスプレイ装置に関する。 The present invention relates to a head-up display device capable of displaying a projected image such as Augmented Reality (AR) using a head-up display.
運転者の視線移動を減らす表示システムとして、運転者の視線方向に映像を映し出すヘッドアップディスプレイ(以下、HUDという)が実用化されている。代表的なHUDは、車内に設置された画像投射装置(プロジェクター)により画像をフロントウィンドに投射し、運転者がスクリーン越しの現実空間上に投射画像の虚像を見ることを可能にする。 As a display system that reduces the movement of the driver's line of sight, a head-up display (hereinafter referred to as HUD) that displays an image in the direction of the driver's line of sight has been put into practical use. A typical HUD projects an image on the front window by an image projection device (projector) installed in the vehicle, and enables the driver to see a virtual image of the projected image in the real space through the screen.
HUDは、運転者の顔の位置や姿勢、視線方向等によって見え方が異なるため、適切な画像を視認するためには、運転者自身が最適な位置にいる必要がある。例えば、特許文献1は、運転席シートの状態およびヘッドレストに取り付けられたセンサにより運転者の顔の位置を検出し、当該検出結果に基づき運転者の顔の位置の調整量や誘導量を算出し、これを運転者に通知するシステムを開示している。
Since the appearance of the HUD differs depending on the position and posture of the driver's face, the direction of the line of sight, and the like, the driver must be in the optimum position in order to visually recognize an appropriate image. For example, in
図9に、従来のHUDの概略構成を示す。同図に示すように、HUD10から投射された画像が車両のウィンドシールド12に投影され、運転者Uは、その視線方向に投射された画像の虚像14を見ることができる。HUD10の特性上、運転者Uのアイポイント(目の位置)が適切な範囲になければ、運転者Uは虚像14を見ることができない。ここで、ある2次元空間において、運転者Uが虚像14を見ることができる可視範囲をアイボックス20として定義する。
FIG. 9 shows a schematic configuration of a conventional HUD. As shown in the figure, the image projected from the
図9(B)に示すように、運転者UのアイポイントEがアイボックス20内であれば、運転者Uは、HUD10により投射された交差点案内の虚像30を完全に見ることができる。アイポイントEは、例えば、運転者Uの両眼の中心である。また、図9(C)に示すように、運転者UのアイポイントEがアイボックス20の境界付近あるいはアイボックス20から外れると、運転者Uは、交差点案内の虚像30を完全に見ることができず、その一部が欠けて見えてしまう。さらに運転者UのアイポイントEがアイボックス20から大きく外れれば、運転者Uは、交差点案内の虚像30を完全に見ることができなくなる。
As shown in FIG. 9B, if the eye point E of the driver U is inside the
運転中は、運転者は、しばしば周囲を確認するために頭を動かすことがあり、そうするとアイポイントがアイボックスから外れて、投射画像の虚像を見ることができなくなる。しかし、運転者には、アイポイントがアイボックスから外れたか否かを直感的に認識することができない。また、運転者自身には、投射画像の虚像がちょうどよく見える頭の位置(ファインポジション)への調整が難しい。 While driving, the driver often moves his head to see the surroundings, which causes the eye point to move out of the eye box and prevent the virtual image of the projected image from being seen. However, the driver cannot intuitively recognize whether or not the eye point is out of the eye box. In addition, it is difficult for the driver himself to adjust to the position of the head (fine position) where the virtual image of the projected image can be seen exactly.
本発明は、このような従来の課題を解決するものであり、投射画像を適切に見ることができる表示システムを提供することを目的とする。 The present invention solves such a conventional problem, and an object of the present invention is to provide a display system capable of appropriately viewing a projected image.
本発明に係る表示システムは、画像を投射する投射手段と、ユーザーのアイポイントを検出する検出手段と、少なくとも前記投射手段の光学系に基づき定義される投射画像を見ることができる可視範囲と前記検出手段により検出されたアイポイントとを比較する比較手段と、前記比較手段に基づき前記投射画像を制御する画像制御手段とを有し、前記画像制御手段は、前記アイポイントが前記可視範囲内の最適範囲を逸脱するとき、前記投射画像に、当該投射画像の表示が欠損することを知らせる強調表示を含ませる。 The display system according to the present invention includes a projection means for projecting an image, a detection means for detecting a user's eye point, and a visible range in which a projected image defined based on at least the optical system of the projection means can be viewed. It has a comparison means for comparing an eye point detected by the detection means and an image control means for controlling the projected image based on the comparison means, and the image control means has the eye point within the visible range. When the projection image deviates from the optimum range, the projection image includes a highlighting indicating that the display of the projection image is lost.
好ましくは前記画像制御手段は、前記投射画像に、前記投射画像の表示が欠損する方向に対応する位置に前記強調表示を含ませる。好ましくは前記画像制御手段は、前記投射画像に、前記アイポイントが前記最適範囲となる方向を案内する案内表示を含ませる。好ましくは前記画像制御手段は、前記アイポイントが前記可視範囲を逸脱するとき、前記投射画像から、前記投射画像の表示が欠損する領域の画像を削除する。好ましくは前記画像制御手段は、前記アイポイントが前記可視範囲を逸脱するとき、前記投射画像の表示が欠損する領域の画像が表示されるように、前記投射画像の表示が欠損する領域の画像を移動させる。好ましくは前記画像制御手段は、前記アイポイントが前記可視範囲を逸脱するとき、前記投射画像の表示が欠損する領域の画像が表示されるように、前記投射画像を縮小する。好ましくは前記画像制御手段は、前記アイポイントが前記可視範囲を逸脱するとき、前記投射画像の全体が非表示となるように前記投射画像を制御する。 Preferably, the image control means includes the highlighting in the projected image at a position corresponding to the direction in which the display of the projected image is lost. Preferably, the image control means includes the projected image with a guidance display for guiding the direction in which the eye point is in the optimum range. Preferably, when the eye point deviates from the visible range, the image control means deletes an image of a region where the display of the projected image is lost from the projected image. Preferably, the image control means displays an image of a region in which the display of the projected image is missing so that an image of the region in which the display of the projected image is missing is displayed when the eye point deviates from the visible range. Move it. Preferably, the image control means reduces the projected image so that when the eye point deviates from the visible range, an image of a region where the display of the projected image is lacking is displayed. Preferably, the image control means controls the projected image so that when the eye point deviates from the visible range, the entire projected image is hidden.
本発明によれば、可視範囲の最適範囲からユーザーのアイポイントが逸脱されたとき、投射画像の表示が欠損することを知らせるようにしたので、ユーザーは、アイポイントを最適範囲へ戻すことを知ることができ、その結果、ユーザーは、アイポイントを最適範囲にして投射画像を見ることができる。また、アイポイントが可視範囲から逸脱した場合には、投射画像の欠損した部分を非表示にしたり、あるいは投射画像の欠損した部分を他の位置で表示させたり、あるいは投射画像を縮小して全体を表示させることで、ユーザーが不完全な情報に基づき誤解または誤認識することが防止される。 According to the present invention, when the user's eye point deviates from the optimum range of the visible range, the display of the projected image is lost, so that the user knows that the eye point is returned to the optimum range. As a result, the user can see the projected image with the eye point in the optimum range. When the eye point deviates from the visible range, the missing part of the projected image is hidden, the missing part of the projected image is displayed at another position, or the projected image is reduced to the whole. Is displayed to prevent the user from misunderstanding or misrecognizing based on incomplete information.
次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る表示システムは、ヘッドアップディスプレイ(HUD)に代表される画像投射装置を含み、HUDにより車両のフロントガラスに画像を投射または投影し、この画像を実空間に重畳させ、運転者に投射画像(または投影画像)の虚像を視認させる。 Next, an embodiment of the present invention will be described in detail with reference to the drawings. The display system according to the present invention includes an image projection device typified by a head-up display (HUD), projects or projects an image on the windshield of a vehicle by the HUD, superimposes this image on the real space, and causes the driver. Visualize the virtual image of the projected image (or projected image).
図1は、本発明の実施例に係る表示システムの構成を示すブロック図である。本実施例に係る表示システム100は、座席に関する座席情報を取得する座席情報取得部110、運転者の顔を撮像する撮像カメラ120、AR表示を行うHUD130、種々のデータを記憶可能な記憶部140、音声出力を行う音声出力部150、ナビゲーション装置等の画像ソースとの接続を行うインターフェース(I/F)部160、および各部を制御する制御部170を含んで構成される。
FIG. 1 is a block diagram showing a configuration of a display system according to an embodiment of the present invention. The
撮像カメラは、例えば、ステアリング近傍、あるいはインスツルメンツパネル内に設けられ、運転者の顔を正面方向から撮像する。撮像カメラによって撮像された撮像データは、制御部170へ出力され、制御部170は、撮像データに基づき運転者のアイポイント(眼の位置)を検出する。座席情報取得部120は、例えば、運転者の座席(シート)の前後位置、背もたれの角度、ヘッドレストの高さ方向の位置に関する座席情報を取得する。この座席情報は、座席に着座した運転者のアイポイント等を補正するために利用することができる。
The imaging camera is provided, for example, in the vicinity of the steering wheel or in the instruments panel, and captures the driver's face from the front direction. The image pickup data captured by the image pickup camera is output to the
HUD130は、車両のフロントウィンドウにAR表示用の画像を投射し、運転者は、視線方向に投射された画像の虚像を見ることができる。図2は、HUDの構成の一例を示す図である。HUD130は、光源131、光源131からの光を集光する光学系132、光学系132から入射された光を画像データに基づき変調する光変調手段133、光変調手段133により変調された画像を投射する投射光学系134、投射光学系134の光学系(例えば、光軸や焦点距離など)を調整するためのアクチュエータ135を含む。
The HUD 130 projects an image for AR display on the front window of the vehicle, and the driver can see a virtual image of the projected image in the line-of-sight direction. FIG. 2 is a diagram showing an example of the configuration of the HUD. The
光変調手段133は、例えば、液晶デバイス、あるいは複数の可変ミラーが2次元的に配置されたディジタルミラーデバイス(DMD)などから構成される。光変調手段133は、例えば、I/F部160を介してナビゲーション装置から提供された画像データに基づき入射光を変調し、投射画像を生成する。
The optical modulation means 133 is composed of, for example, a liquid crystal device or a digital mirror device (DMD) in which a plurality of variable mirrors are two-dimensionally arranged. The light modulation means 133 modulates the incident light based on the image data provided from the navigation device via the I /
投射光学系134は、例えば、レンズやミラー等の光学部材を含み、アクチュエータ135は、例えば、投射光学系134のレンズの位置やミラーの角度等を調整する。投射光学系134の焦点距離を可変することで、運転者が見る虚像の位置を変化させることができる。1つの例では、制御部170は、HUDの初期設定時、座席情報取得部120によって取得された座席情報に基づきアクチュエータ135を介して投射光学系134の初期調整を行う。なお、表示システム100は、複数のHUD130を搭載し、それぞれ拡張現実用の画像を表示するものであってもよい。
The projection
記憶部140は、表示システム100にとって必要な情報などを格納する。例えば、AR表示用の画像データを格納したり、その他、表示システム100が表示するための画像データや音声出力用の音声データ等を格納することができる。音声出力部150は、必要に応じて記憶部140に記憶された音声データを音声出力する。I/F部160は、ナビゲーション装置、車内バス、その他の装置との接続を可能にし、制御部170は、I/F部に接続された装置と表示システム100との動作を連携させる。例えば、ナビゲーション装置が接続されている場合には、表示システム100は、ナビゲーション装置から提供された情報に基づき交差点案内の画像や速度情報等を表示する。
The
制御部170は、表示システム100の各部を制御し、好ましい態様では、制御部170は、ROM、RAMなどを含むマイクロコントローラ等を含み、表示システム100の動作を制御するための表示制御プログラムを実行する。
The
図3に、表示制御プログラム200の機能的な構成を示す図である。表示制御プログラム200は、撮像データ取得部210、アイポイント検出部220、アイポイント逸脱判定部230、および投射画像制御部240を含む。
FIG. 3 is a diagram showing a functional configuration of the display control program 200. The display control program 200 includes an imaging
撮像データ取得部210は、撮像カメラ110から出力された運転者の撮像データを取得する。アイポイント検出部220は、撮像データ取得部210によって取得された撮像データを画像処理し、顔画像の中から眼球を抽出し、運転者のアイポイントを検出する。図4(A)は、アイポイントの検出例である。アイポイント検出部220は、運転者Uの顔画像から右目PRと左目PLを抽出する。次に、アイポイント検出部220は、左右の目PR、PLの中点を運転者UのアイポイントPとして検出する。好ましい例では、アイポイントPは、2次元空間におけるXY座標を有するものであり、アイポイント検出部220は、撮像カメラ110の取り付け位置、座席情報に基づく座席位置に着座したときの運転者の頭の推定位置等に基づきある2次元空間におけるアイポイントPを検出する。なお、上記の例では、運転者の右目と左目の中点をアイポイントとして検出しているが、これに限定されず、例えば、運転者の右目または左目の位置のいずれか一方をアイポイントとして検出するようにしても良い。
The imaging
アイポイント逸脱判定部230は、アイポイント検出部220によって検出された運転者のアイポイントがアイボックスから逸脱しているか否かを判定する。アイボックスとは、上記したように、ある2次元空間において運転者Uが投射画像(AR画像)の虚像を見ることができる可視範囲であり、アイボックスは、HUD130の光学的特性から決定される。つまり、運転者が投射画像の虚像を見るためには、運転者の視線方向のフロントウィンドウに画像が投射されなければならないが、そのフロントウィンドウへの画像の投射位置および投射角度は、投射光学系134により概ね決定される。従って、投射光学系134の光学系により、運転者が投射画像の虚像を見ることができる範囲が決定される。
The eye point deviation determination unit 230 determines whether or not the driver's eye point detected by the eye
アイポイント逸脱判定部230の判定動作例を図5に示す。同図において、EBは、運転席側からフロントウィンドウを見たときのアイボックスを模式的に示している。アイボックスEBは、好ましくは、アイポイント検出部220により検出されるアイポイントと同じ2次元空間上の座標によって特定される。ここでは、一例としてアイボックスEBが矩形状を有しているが、その理由の1つは、アイポイントがアイボックスEB内に位置しているか否かの判定を容易にするためである。従って、アイボックスEBの平面形状は、必ずしも矩形状に限られるものではなく、投射光学系134の光学的特性により決定される可視範囲に概ね一致するような形状であってもよい。
FIG. 5 shows an example of the determination operation of the eye point deviation determination unit 230. In the figure, EB schematically shows an eye box when the front window is viewed from the driver's seat side. The eyebox EB is preferably specified by the same two-dimensional space coordinates as the eyepoint detected by the
アイポイント逸脱判定部230は、検出されたアイポイントとアイボックスEBとを比較し、アイポイントがアイボックスEB内にあるか否かを判定する。本実施例では、アイポイントがアイボックスEB内にあるか否かを複数レベルで判定する。すなわち、図5に示すように、アイポイントPがアイボックスEBよりさらに狭い最適範囲T1内にあるか否か、アイポイントPが最適範囲T1より外れるがアイボックスEBより内側の準最適範囲T2にあるか否か、アイポイントPがアイボックスEBの外側の逸脱範囲T3にあるか否かを判定する。 The eye point deviation determination unit 230 compares the detected eye point with the eye box EB, and determines whether or not the eye point is inside the eye box EB. In this embodiment, it is determined at a plurality of levels whether or not the eye point is in the eye box EB. That is, as shown in FIG. 5, whether or not the eye point P is within the optimum range T1 narrower than the eye box EB, or whether the eye point P is outside the optimum range T1 but within the quasi-optimal range T2 inside the eye box EB. It is determined whether or not the eye point P is within the deviation range T3 outside the eye box EB.
最適範囲T1は、アイボックスEBの境界からさらに内側の境界を規定し、例えば、アイボックスEBを一定の割合で縮小した矩形状の範囲である。最適範囲T1は、この範囲内にアイポイントPがあるとき、運転者Uが投射画像の虚像を完全に見ることができることを保証する。 The optimum range T1 defines a boundary further inside from the boundary of the eyebox EB, and is, for example, a rectangular range obtained by reducing the eyebox EB at a constant rate. The optimum range T1 guarantees that the driver U can completely see the virtual image of the projected image when the eye point P is within this range.
準最適範囲T1は、最適範囲T1の境界とアイボックスEBの境界との間の範囲であり、準最適範囲T1内にアイポイントPがあるとき、運転者Uは、投射画像の虚像を完全に見ることができるが、その虚像の一部が欠ける前段階、あるいは、虚像が最適位置からずれて見える状態、あるいは、投射画像の虚像の一部が欠けて見える状態である。つまり、視線領域Pが準最適領域T2にあるとき、投射画像の虚像を視認することはできるが、同時に、アイボックスEBを逸脱する可能性を備えている。 The quasi-optimal range T1 is the range between the boundary of the optimum range T1 and the boundary of the eyebox EB, and when the eye point P is within the quasi-optimal range T1, the driver U completely views the virtual image of the projected image. It can be seen, but it is in the pre-stage where a part of the virtual image is missing, the state where the virtual image appears to deviate from the optimum position, or the state where a part of the virtual image of the projected image appears to be missing. That is, when the line-of-sight region P is in the semi-optimal region T2, the virtual image of the projected image can be visually recognized, but at the same time, it has the possibility of deviating from the eyebox EB.
逸脱範囲T3は、アイボックスEBの境界の外側であり、アイポイントPが逸脱範囲T3にあるとき、運転者Uは、投射画像の虚像を見ることができないか、あるいは大部分が欠けた虚像を見ることになり、投射画像の内容を認識することができない状態である。 The deviation range T3 is outside the boundary of the eyebox EB, and when the eye point P is in the deviation range T3, the driver U cannot see the virtual image of the projected image or has a virtual image that is largely missing. You will see it, and you will not be able to recognize the contents of the projected image.
アイポイント逸脱判定部230は、一定の周期であるいは常時、アイポイントがアイボックスEBの最適範囲T1、準最適範囲T2、あるいは逸脱範囲T3にあるか否かを判定し、その判定結果を投射画像制御部240へ提供する。投射画像制御部240は、アイポイント逸脱判定部230の判定結果に基づき投射画像の制御を行う。好ましい態様では、投射画像制御部240は、アイポイントが最適範囲T1内にあると判定された場合には、別段、特別な制御を行わず、つまり、通常通りの投射画像を表示させる。
The eye point deviation determination unit 230 determines whether or not the eye point is in the optimum range T1, the semi-optimal range T2, or the deviation range T3 of the eye box EB at regular intervals or at all times, and the determination result is projected as a projection image. It is provided to the
アイポイントが準最適範囲T2内にあると判定された場合には、運転者は、投射画像を認識できる状態にある。しかし、アイポイントが逸脱範囲T3に接近しており、さらにアイポイントが移動すれば、逸脱範囲T3に進入し、投射画像の全体を見ることができなくなる状況にあることを運転者に知らせる必要がある。このため、投射画像制御部240は、アイポイントが準最適範囲T2のどの方向に位置するかを識別し、その識別結果に基づき運転者の顔がどの方向に移動すれば、投射画像を見ることができなくなるのかを知らせる表示を行う。例えば、投射画像制御部240は、アイポイントが準最適範囲T2の4辺(上側、下側、左側、右側)のいずれかに該当するかを識別し、そのアイポイントが存在する側に強調表示が生成されるように画像データの加工を行う。
When it is determined that the eye point is within the quasi-optimal range T2, the driver is in a state where the projected image can be recognized. However, it is necessary to inform the driver that the eye point is approaching the deviation range T3, and if the eye point moves further, the eye point enters the deviation range T3 and the entire projected image cannot be seen. is there. Therefore, the projected
アイポイントが逸脱範囲T3にあると判定された場合には、運転者は、投射画像の全体またはその大部分を見ることができず、運転者は、投射画像の内容を理解することができない。このため、投射画像制御部240は、例えば、欠損した投射画像に含まれる機能を非提供にしたり、欠損した投射画像を別のエリアに移動させたり、HUDによる表示をオフにするように画像データの加工を行う。
When it is determined that the eye point is in the deviation range T3, the driver cannot see the whole or most of the projected image, and the driver cannot understand the contents of the projected image. Therefore, the projection
次に、本実施例の表示システムの動作を図6に示すフローチャートを参照して説明する。表示システム100の動作が開始されると、撮像カメラ110により運転者の顔が撮像され、その撮像データが撮像データ取得部210によって取得される(S100)。アイポイント検出部220は、撮像データ取得部210により取得された撮像データを解析し、運転者のアイポイントを検出する(S102)。次に、アイポイント逸脱判定部230は、図5に示したようにアイポイントとアイボックスとを比較し、アイポイントが最適範囲T1、準最適範囲T2あるいは逸脱範囲T3にあるのかを判定し(S104)、その判定結果が投射画像制御部240へ提供される。
Next, the operation of the display system of this embodiment will be described with reference to the flowchart shown in FIG. When the operation of the
投射画像制御部240は、判定結果に基づき、投射画像の制御を行う。アイポイントが最適範囲T1内にあるとき(S106)、HUD130の光変調手段133は、提供される画像データに基づき光学的変調を行い、通常通りの画像を表示させる(S108)。例えば、表示システム100がナビゲーション装置と連携し、表示システム100が、図7(A)に示すような交差点案内画像300を表示させる場合を想定する。交差点案内画像300には、右折矢印と交差点までの距離(200m)との情報が含まれる。アイポイントPが最適範囲T1内であれば、運転者は、交差点案内画像300を完全に見ることができ、その情報を認識することができる。
The projection
アイポイントPが準最適範囲T2にあるとき(S110)、投射画像制御部240は、画像データの一部を加工し、アイポイントがさらに移動すれば、表示が欠損するであろう方向を識別し、そのことを知らせるための強調表示を行う。さらに、これに加えて、アイポイントが最適範囲になる方向を知らせるためのヒント表示を行う(S112)。図7(B)に示すように、例えば、アイポイントPがアイボックスEBの準最適範囲T2の左辺側にあるとき、アイポイントPがさらに左方向に移動すれば、交差点案内画像300が欠損する。このため、投射画像制御部240は、交差点案内画像300の右辺側に強調表示310が生成されるように画像データを加工する(なお、アイボックスEBの左右方向と、投射画像の左右方向とは反転する関係にある)。同様に、アイポイントPがアイボックスEBの準最適位置T2の右辺側にあれば、投射画像制御部240は、交差点案内画像300の左辺側に強調表示が生成されるように画像データを加工する。また、アイポイントPがアイボックスEBの準最適位置T2の上辺側にあれば、画像制御部240は、交差点案内画像300の上辺側に強調表示が生成されるように画像データを加工し、アイポイントPがアイボックスEBの準最適位置T2の下辺側にあれば、画像制御部240は、交差点案内画像300の下辺側に強調表示が生成されるように画像データを加工する。
When the eye point P is in the quasi-optimal range T2 (S110), the projection
強調表示310の態様は、特に限定されないが、交差点案内画像300の辺全体の表示に限らず、辺の一部に表示されるようにしてもよい。また、強調表示310の形状も任意である。さらに強調表示310は、例えば、黄色のような注意を喚起するような色、背景色と異なる色、あるいは点滅表示であることができる。さらに、強調表示310は、テキストを含むようにしてもよく、例えば、「これ以上、頭を移動させると、HUDの表示を見ることができなくなります」等の警告であってもよい。さらに制御部170は、音声出力部150から上記の警告の音声出力をさせるようにしてもよい。
The mode of the highlighting 310 is not particularly limited, but is not limited to the display of the entire side of the
また、投射画像制御部240は、運転者が頭をどの方向にむければ最適範囲T1になるのかを知らせるようなヒント表示(案内表示)を行うことができる。例えば、図7(C)に示すように、強調表示310と併せて、投射画像が欠損しないようにするための頭(アイポイント)の移動方向を示すヒント表示320が生成されるように画像データデータを加工する。すなわち、ファインポジションになるための方向を示すヒント表示320が、例えば、矢印の下方に表示させる。図7(C)のヒント表示320は、運転者に頭を右側へ移動させるための誘導矢印を含んでいる。
In addition, the projected
また、図7(D)に示すように、表示システム100が2つのHUD130を搭載している場合には、一方のHUDに交差点案内画像300と強調表示310を生成させ、他方のHUDにヒント表示320を生成させるように画像データを加工するようにしても良い。2つのHUDを搭載する場合、交差点案内画像300と異なる焦点距離でヒント表示320を生じさせるようにすることができる。また、制御部170は、ヒント表示320の内容を音声出力部150から音声出力させるようにしてもよい。
Further, as shown in FIG. 7D, when the
再び図6のフローに戻り、投射画像制御部240は、アイポイントがアイボックスEBの外側にあるとき(S110)、投射画像の表示態様が切替わるように画像データを加工する(S114)。具体的な表示態様の切替例について説明する。図8(A)は、アイポイントPが最適範囲T1内にあるときの交差点案内画像400の例であり、交差点案内画像400は、左側の領域410に右折矢印と交差点までの距離(200m)を表示し、右側の領域420に、自車位置周辺の道路地図を表示している。いわゆる2つの機能が2画面で表示される態様である。アイポイントPが最適範囲T1内であれば、運転者は、2つの画面を完全に見ることができる。
Returning to the flow of FIG. 6 again, the projected
アイポイントPが逸脱範囲T3になると、例えば、図8(B)に示すように交差点案内画像400の左側の領域420の一部の画像が欠損して見ることができなくなる。画像が欠損されてしまうと、運転者は、それが何を意味するのかを認識することができない。このような場合には、欠損された画像を残すことは好ましくないので、欠損した画像を含む機能が非提供となるように画像データを加工する。投射画像制御部240は、アイボックスとアイポイントとの相対的な関係から、投射画像のどの領域がどの程度欠損するかを判定し、欠損する領域の画像が非表示となるように画像データを加工する。その結果、図8(C)に示すように、交差点案内画像400の左側の領域の矢印画像が非表示にされ、右側の領域420の画像のみが表示される。
When the eye point P reaches the deviation range T3, for example, as shown in FIG. 8B, a part of the image of the
他の表示態様の切り換えでは、投射画像制御部240は、図8(D)に示すように、交差点案内画像400を縮小して全体が表示されるように画像データを加工する。さらに他の表示態様として、欠損すると推測される画像の表示位置を変更するようにしても良い。例えば、図8(E)に示すように、交差点案内画像400の左側の領域410の画像が、欠損されない右側の領域420に表にされるように画像データを加工する。さらには、表示システム100が2つのHUDを搭載する場合には、一方のHUDに道理地図画像を表示させ、他方のHUDに右折矢印Y等を表示させるようにしてもよい。さらに、他の表示態様として、アイポイントPが逸脱範囲T3にある場合には、投射画像制御部240は、光変調手段133への画像データの提供を停止させ、HUDによる画像投射をOFFにするようにしてもよい。この場合、HUDによるAR画像は完全に表示されない。
In the switching of other display modes, the projection
以上説明したように本実施例によれば、運転者のアイポイントが最適範囲、準最適範囲、または逸脱範囲であるか否かに基づき投射画像の表示態様を制御し、運転者の頭部の位置に関する注意喚起および適正位置への誘導を行うようにしたので、運転者は、アイボックス(最適範囲)の位置がわからなくとも、投射画像を見ることで適正位置へ頭部を容易に戻すことが可能になる。 As described above, according to the present embodiment, the display mode of the projected image is controlled based on whether or not the driver's eye point is in the optimum range, semi-optimal range, or deviation range, and the driver's head is controlled. Since the driver is alerted to the position and guided to the proper position, the driver can easily return the head to the proper position by looking at the projected image even if the position of the eye box (optimal range) is unknown. Becomes possible.
さらには、アイポイントがアイボックスから完全に逸脱した場合には、不完全な表示を非提示にすることで、運転者に誤った情報を与えたり、あるいは誤解が生じるのを防止することができる。さらに、不完全となり得る画像の表示位置をシフトさせることで、投射画像の一部が欠損されることことなく全体を表示させることができる。これにより、全体としては、HUDによる投射画像を見ることへの煩わしさが軽減され、運転による疲労を軽減することができる。 Furthermore, if the eyepoint deviates completely from the eyebox, the incomplete display can be hidden to prevent the driver from being misleading or misunderstood. .. Further, by shifting the display position of the image that may be incomplete, the entire projected image can be displayed without being lost. As a result, as a whole, the troublesomeness of viewing the projected image by the HUD can be reduced, and the fatigue caused by driving can be reduced.
上記実施例では、運転者のアイポイントの逸脱を判定する範囲として、T1、T2、T3の3段階を定義したが、これに限らず、例えば、4段階または5段階の範囲を定義し、それぞれの範囲に応じて、投射画像の表示態様を制御するようにしてもよい。 In the above embodiment, three stages of T1, T2, and T3 are defined as a range for determining the deviation of the driver's eye point, but the present invention is not limited to this, and for example, a range of four stages or five stages is defined and each is defined. The display mode of the projected image may be controlled according to the range of.
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various modifications and modifications are made within the scope of the gist of the invention described in the claims. It can be changed.
100:表示システム 110:撮像カメラ
120:座席情報取得部 130:HUD
140:記憶部 150:音声出力部
160:インターフェース部 170:制御部
300、4000:交差点案内画像 310:強調表示
320:ヒント表示
P:アイポイント
EB:アイボックス
T1:最適範囲
T2:準最適範囲
T3:逸脱範囲
U:運転者
100: Display system 110: Imaging camera 120: Seat information acquisition unit 130: HUD
140: Storage unit 150: Audio output unit 160: Interface unit 170:
Claims (7)
ユーザーのアイポイントを検出する検出手段と、
少なくとも前記投射手段の光学系に基づき定義される投射画像を見ることができる可視範囲と前記検出手段により検出されたアイポイントとを比較する比較手段と、
前記比較手段に基づき前記投射画像を制御する画像制御手段とを有し、
前記画像制御手段は、前記アイポイントが前記可視範囲内の最適範囲を逸脱するとき、前記投射画像に、当該投射画像の表示が欠損することを知らせる強調表示を含ませる、表示システム。 Projection means for projecting images and
A detection method that detects the user's eye point,
A comparison means for comparing at least a visible range in which a projected image defined based on the optical system of the projection means can be seen and an eye point detected by the detection means.
It has an image control means that controls the projected image based on the comparison means.
Wherein the image control means when the eye point is outside the optimum range within the visible range, the the projection image, display of the projected image to include highlighting indicating that the defect display system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017140547A JP6804805B2 (en) | 2017-07-20 | 2017-07-20 | Head-up display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017140547A JP6804805B2 (en) | 2017-07-20 | 2017-07-20 | Head-up display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019018770A JP2019018770A (en) | 2019-02-07 |
JP6804805B2 true JP6804805B2 (en) | 2020-12-23 |
Family
ID=65352615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017140547A Active JP6804805B2 (en) | 2017-07-20 | 2017-07-20 | Head-up display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6804805B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7477470B2 (en) * | 2019-12-02 | 2024-05-01 | トヨタ自動車株式会社 | Vehicle display control device, vehicle display device, vehicle display control method and program |
JP6825683B1 (en) | 2019-12-02 | 2021-02-03 | トヨタ自動車株式会社 | Vehicle display control device, vehicle display device, vehicle display control method and program |
WO2021200914A1 (en) * | 2020-03-31 | 2021-10-07 | 日本精機株式会社 | Display control device, head-up display device, and method |
CN113674717A (en) * | 2020-05-15 | 2021-11-19 | 华为技术有限公司 | Display adjustment method, device, system and storage medium |
JP2022132089A (en) * | 2021-02-26 | 2022-09-07 | ダイハツ工業株式会社 | head-up display device |
CN114035324B (en) * | 2021-10-31 | 2023-09-22 | 东风商用车有限公司 | HUD light path projection system and HUD light path projection method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008296701A (en) * | 2007-05-30 | 2008-12-11 | Calsonic Kansei Corp | Vehicular display |
JP2010208631A (en) * | 2010-03-30 | 2010-09-24 | Nippon Seiki Co Ltd | Vehicular display device |
JP6221942B2 (en) * | 2014-05-26 | 2017-11-01 | 株式会社デンソー | Head-up display device |
JP2016147532A (en) * | 2015-02-10 | 2016-08-18 | 日本精機株式会社 | Image generation device, and head-up display |
JP6482975B2 (en) * | 2015-07-15 | 2019-03-13 | アルパイン株式会社 | Image generating apparatus and image generating method |
-
2017
- 2017-07-20 JP JP2017140547A patent/JP6804805B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019018770A (en) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6804805B2 (en) | Head-up display device | |
US10551619B2 (en) | Information processing system and information display apparatus | |
US10768416B2 (en) | Projection type display device, projection display method, and projection display program | |
JP6806097B2 (en) | Image display device and image display method | |
JP4686586B2 (en) | In-vehicle display device and display method | |
WO2010109941A1 (en) | Vehicluar display system, method of displaying and vehicle | |
JP4970379B2 (en) | Vehicle display device | |
JP6865006B2 (en) | Vehicle display device | |
US10502962B2 (en) | Projection type display device and projection control method | |
JP2017211366A (en) | Mobile body system and information display device | |
JPWO2017138527A1 (en) | Information provision device | |
CN110816408B (en) | Display device, display control method, and storage medium | |
JP6558770B2 (en) | Projection display device, projection display method, and projection display program | |
JP6512475B2 (en) | INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD, AND INFORMATION PROVIDING CONTROL PROGRAM | |
JP6972549B2 (en) | HUD device, vehicle device and display method | |
JP2017215816A (en) | Information display device, information display system, information display method, and program | |
US11176749B2 (en) | In-vehicle display device three-dimensional image generation | |
JP7005115B2 (en) | Display device for vehicles | |
JP6482975B2 (en) | Image generating apparatus and image generating method | |
JP7027992B2 (en) | Image display device, moving object, image display method and program | |
JP2005313772A (en) | Vehicular head-up display device | |
US20230022485A1 (en) | Vehicle display control device, vehicle display device, vehicle display control method, and non-transitory storage medium | |
CN110816407A (en) | Display device, display control method, and storage medium | |
JP2020024561A (en) | Display device, display control method, and program | |
JP6813437B2 (en) | Display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6804805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |