JP6804805B2 - Head-up display device - Google Patents
Head-up display device Download PDFInfo
- Publication number
- JP6804805B2 JP6804805B2 JP2017140547A JP2017140547A JP6804805B2 JP 6804805 B2 JP6804805 B2 JP 6804805B2 JP 2017140547 A JP2017140547 A JP 2017140547A JP 2017140547 A JP2017140547 A JP 2017140547A JP 6804805 B2 JP6804805 B2 JP 6804805B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- eye point
- projected image
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 230000007547 defect Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 131
- 210000003128 head Anatomy 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、ヘッドアップディスプレイを用いた拡張現実（ＡＲ：Augmented Reality）等の投射画像を表示可能なヘッドアップディスプレイ装置に関する。 The present invention relates to a head-up display device capable of displaying a projected image such as Augmented Reality (AR) using a head-up display.
運転者の視線移動を減らす表示システムとして、運転者の視線方向に映像を映し出すヘッドアップディスプレイ（以下、ＨＵＤという）が実用化されている。代表的なＨＵＤは、車内に設置された画像投射装置（プロジェクター）により画像をフロントウィンドに投射し、運転者がスクリーン越しの現実空間上に投射画像の虚像を見ることを可能にする。 As a display system that reduces the movement of the driver's line of sight, a head-up display (hereinafter referred to as HUD) that displays an image in the direction of the driver's line of sight has been put into practical use. A typical HUD projects an image on the front window by an image projection device (projector) installed in the vehicle, and enables the driver to see a virtual image of the projected image in the real space through the screen.
ＨＵＤは、運転者の顔の位置や姿勢、視線方向等によって見え方が異なるため、適切な画像を視認するためには、運転者自身が最適な位置にいる必要がある。例えば、特許文献１は、運転席シートの状態およびヘッドレストに取り付けられたセンサにより運転者の顔の位置を検出し、当該検出結果に基づき運転者の顔の位置の調整量や誘導量を算出し、これを運転者に通知するシステムを開示している。
Since the appearance of the HUD differs depending on the position and posture of the driver's face, the direction of the line of sight, and the like, the driver must be in the optimum position in order to visually recognize an appropriate image. For example, in
図９に、従来のＨＵＤの概略構成を示す。同図に示すように、ＨＵＤ１０から投射された画像が車両のウィンドシールド１２に投影され、運転者Ｕは、その視線方向に投射された画像の虚像１４を見ることができる。ＨＵＤ１０の特性上、運転者Ｕのアイポイント（目の位置）が適切な範囲になければ、運転者Ｕは虚像１４を見ることができない。ここで、ある２次元空間において、運転者Ｕが虚像１４を見ることができる可視範囲をアイボックス２０として定義する。
FIG. 9 shows a schematic configuration of a conventional HUD. As shown in the figure, the image projected from the
図９（Ｂ）に示すように、運転者ＵのアイポイントＥがアイボックス２０内であれば、運転者Ｕは、ＨＵＤ１０により投射された交差点案内の虚像３０を完全に見ることができる。アイポイントＥは、例えば、運転者Ｕの両眼の中心である。また、図９（Ｃ）に示すように、運転者ＵのアイポイントＥがアイボックス２０の境界付近あるいはアイボックス２０から外れると、運転者Ｕは、交差点案内の虚像３０を完全に見ることができず、その一部が欠けて見えてしまう。さらに運転者ＵのアイポイントＥがアイボックス２０から大きく外れれば、運転者Ｕは、交差点案内の虚像３０を完全に見ることができなくなる。
As shown in FIG. 9B, if the eye point E of the driver U is inside the
運転中は、運転者は、しばしば周囲を確認するために頭を動かすことがあり、そうするとアイポイントがアイボックスから外れて、投射画像の虚像を見ることができなくなる。しかし、運転者には、アイポイントがアイボックスから外れたか否かを直感的に認識することができない。また、運転者自身には、投射画像の虚像がちょうどよく見える頭の位置（ファインポジション）への調整が難しい。 While driving, the driver often moves his head to see the surroundings, which causes the eye point to move out of the eye box and prevent the virtual image of the projected image from being seen. However, the driver cannot intuitively recognize whether or not the eye point is out of the eye box. In addition, it is difficult for the driver himself to adjust to the position of the head (fine position) where the virtual image of the projected image can be seen exactly.
本発明は、このような従来の課題を解決するものであり、投射画像を適切に見ることができる表示システムを提供することを目的とする。 The present invention solves such a conventional problem, and an object of the present invention is to provide a display system capable of appropriately viewing a projected image.
本発明に係る表示システムは、画像を投射する投射手段と、ユーザーのアイポイントを検出する検出手段と、少なくとも前記投射手段の光学系に基づき定義される投射画像を見ることができる可視範囲と前記検出手段により検出されたアイポイントとを比較する比較手段と、前記比較手段に基づき前記投射画像を制御する画像制御手段とを有し、前記画像制御手段は、前記アイポイントが前記可視範囲内の最適範囲を逸脱するとき、前記投射画像に、当該投射画像の表示が欠損することを知らせる強調表示を含ませる。 The display system according to the present invention includes a projection means for projecting an image, a detection means for detecting a user's eye point, and a visible range in which a projected image defined based on at least the optical system of the projection means can be viewed. It has a comparison means for comparing an eye point detected by the detection means and an image control means for controlling the projected image based on the comparison means, and the image control means has the eye point within the visible range. When the projection image deviates from the optimum range, the projection image includes a highlighting indicating that the display of the projection image is lost.
好ましくは前記画像制御手段は、前記投射画像に、前記投射画像の表示が欠損する方向に対応する位置に前記強調表示を含ませる。好ましくは前記画像制御手段は、前記投射画像に、前記アイポイントが前記最適範囲となる方向を案内する案内表示を含ませる。好ましくは前記画像制御手段は、前記アイポイントが前記可視範囲を逸脱するとき、前記投射画像から、前記投射画像の表示が欠損する領域の画像を削除する。好ましくは前記画像制御手段は、前記アイポイントが前記可視範囲を逸脱するとき、前記投射画像の表示が欠損する領域の画像が表示されるように、前記投射画像の表示が欠損する領域の画像を移動させる。好ましくは前記画像制御手段は、前記アイポイントが前記可視範囲を逸脱するとき、前記投射画像の表示が欠損する領域の画像が表示されるように、前記投射画像を縮小する。好ましくは前記画像制御手段は、前記アイポイントが前記可視範囲を逸脱するとき、前記投射画像の全体が非表示となるように前記投射画像を制御する。 Preferably, the image control means includes the highlighting in the projected image at a position corresponding to the direction in which the display of the projected image is lost. Preferably, the image control means includes the projected image with a guidance display for guiding the direction in which the eye point is in the optimum range. Preferably, when the eye point deviates from the visible range, the image control means deletes an image of a region where the display of the projected image is lost from the projected image. Preferably, the image control means displays an image of a region in which the display of the projected image is missing so that an image of the region in which the display of the projected image is missing is displayed when the eye point deviates from the visible range. Move it. Preferably, the image control means reduces the projected image so that when the eye point deviates from the visible range, an image of a region where the display of the projected image is lacking is displayed. Preferably, the image control means controls the projected image so that when the eye point deviates from the visible range, the entire projected image is hidden.
本発明によれば、可視範囲の最適範囲からユーザーのアイポイントが逸脱されたとき、投射画像の表示が欠損することを知らせるようにしたので、ユーザーは、アイポイントを最適範囲へ戻すことを知ることができ、その結果、ユーザーは、アイポイントを最適範囲にして投射画像を見ることができる。また、アイポイントが可視範囲から逸脱した場合には、投射画像の欠損した部分を非表示にしたり、あるいは投射画像の欠損した部分を他の位置で表示させたり、あるいは投射画像を縮小して全体を表示させることで、ユーザーが不完全な情報に基づき誤解または誤認識することが防止される。 According to the present invention, when the user's eye point deviates from the optimum range of the visible range, the display of the projected image is lost, so that the user knows that the eye point is returned to the optimum range. As a result, the user can see the projected image with the eye point in the optimum range. When the eye point deviates from the visible range, the missing part of the projected image is hidden, the missing part of the projected image is displayed at another position, or the projected image is reduced to the whole. Is displayed to prevent the user from misunderstanding or misrecognizing based on incomplete information.
次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る表示システムは、ヘッドアップディスプレイ（ＨＵＤ）に代表される画像投射装置を含み、ＨＵＤにより車両のフロントガラスに画像を投射または投影し、この画像を実空間に重畳させ、運転者に投射画像（または投影画像）の虚像を視認させる。 Next, an embodiment of the present invention will be described in detail with reference to the drawings. The display system according to the present invention includes an image projection device typified by a head-up display (HUD), projects or projects an image on the windshield of a vehicle by the HUD, superimposes this image on the real space, and causes the driver. Visualize the virtual image of the projected image (or projected image).
図１は、本発明の実施例に係る表示システムの構成を示すブロック図である。本実施例に係る表示システム１００は、座席に関する座席情報を取得する座席情報取得部１１０、運転者の顔を撮像する撮像カメラ１２０、ＡＲ表示を行うＨＵＤ１３０、種々のデータを記憶可能な記憶部１４０、音声出力を行う音声出力部１５０、ナビゲーション装置等の画像ソースとの接続を行うインターフェース（Ｉ／Ｆ）部１６０、および各部を制御する制御部１７０を含んで構成される。
FIG. 1 is a block diagram showing a configuration of a display system according to an embodiment of the present invention. The
撮像カメラは、例えば、ステアリング近傍、あるいはインスツルメンツパネル内に設けられ、運転者の顔を正面方向から撮像する。撮像カメラによって撮像された撮像データは、制御部１７０へ出力され、制御部１７０は、撮像データに基づき運転者のアイポイント（眼の位置）を検出する。座席情報取得部１２０は、例えば、運転者の座席（シート）の前後位置、背もたれの角度、ヘッドレストの高さ方向の位置に関する座席情報を取得する。この座席情報は、座席に着座した運転者のアイポイント等を補正するために利用することができる。
The imaging camera is provided, for example, in the vicinity of the steering wheel or in the instruments panel, and captures the driver's face from the front direction. The image pickup data captured by the image pickup camera is output to the
ＨＵＤ１３０は、車両のフロントウィンドウにＡＲ表示用の画像を投射し、運転者は、視線方向に投射された画像の虚像を見ることができる。図２は、ＨＵＤの構成の一例を示す図である。ＨＵＤ１３０は、光源１３１、光源１３１からの光を集光する光学系１３２、光学系１３２から入射された光を画像データに基づき変調する光変調手段１３３、光変調手段１３３により変調された画像を投射する投射光学系１３４、投射光学系１３４の光学系（例えば、光軸や焦点距離など）を調整するためのアクチュエータ１３５を含む。
The HUD 130 projects an image for AR display on the front window of the vehicle, and the driver can see a virtual image of the projected image in the line-of-sight direction. FIG. 2 is a diagram showing an example of the configuration of the HUD. The
光変調手段１３３は、例えば、液晶デバイス、あるいは複数の可変ミラーが２次元的に配置されたディジタルミラーデバイス（ＤＭＤ）などから構成される。光変調手段１３３は、例えば、Ｉ／Ｆ部１６０を介してナビゲーション装置から提供された画像データに基づき入射光を変調し、投射画像を生成する。
The optical modulation means 133 is composed of, for example, a liquid crystal device or a digital mirror device (DMD) in which a plurality of variable mirrors are two-dimensionally arranged. The light modulation means 133 modulates the incident light based on the image data provided from the navigation device via the I /
投射光学系１３４は、例えば、レンズやミラー等の光学部材を含み、アクチュエータ１３５は、例えば、投射光学系１３４のレンズの位置やミラーの角度等を調整する。投射光学系１３４の焦点距離を可変することで、運転者が見る虚像の位置を変化させることができる。１つの例では、制御部１７０は、ＨＵＤの初期設定時、座席情報取得部１２０によって取得された座席情報に基づきアクチュエータ１３５を介して投射光学系１３４の初期調整を行う。なお、表示システム１００は、複数のＨＵＤ１３０を搭載し、それぞれ拡張現実用の画像を表示するものであってもよい。
The projection
記憶部１４０は、表示システム１００にとって必要な情報などを格納する。例えば、ＡＲ表示用の画像データを格納したり、その他、表示システム１００が表示するための画像データや音声出力用の音声データ等を格納することができる。音声出力部１５０は、必要に応じて記憶部１４０に記憶された音声データを音声出力する。Ｉ／Ｆ部１６０は、ナビゲーション装置、車内バス、その他の装置との接続を可能にし、制御部１７０は、Ｉ／Ｆ部に接続された装置と表示システム１００との動作を連携させる。例えば、ナビゲーション装置が接続されている場合には、表示システム１００は、ナビゲーション装置から提供された情報に基づき交差点案内の画像や速度情報等を表示する。
The
制御部１７０は、表示システム１００の各部を制御し、好ましい態様では、制御部１７０は、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラ等を含み、表示システム１００の動作を制御するための表示制御プログラムを実行する。
The
図３に、表示制御プログラム２００の機能的な構成を示す図である。表示制御プログラム２００は、撮像データ取得部２１０、アイポイント検出部２２０、アイポイント逸脱判定部２３０、および投射画像制御部２４０を含む。
FIG. 3 is a diagram showing a functional configuration of the display control program 200. The display control program 200 includes an imaging
撮像データ取得部２１０は、撮像カメラ１１０から出力された運転者の撮像データを取得する。アイポイント検出部２２０は、撮像データ取得部２１０によって取得された撮像データを画像処理し、顔画像の中から眼球を抽出し、運転者のアイポイントを検出する。図４（Ａ）は、アイポイントの検出例である。アイポイント検出部２２０は、運転者Ｕの顔画像から右目ＰＲと左目ＰＬを抽出する。次に、アイポイント検出部２２０は、左右の目ＰＲ、ＰＬの中点を運転者ＵのアイポイントＰとして検出する。好ましい例では、アイポイントＰは、２次元空間におけるＸＹ座標を有するものであり、アイポイント検出部２２０は、撮像カメラ１１０の取り付け位置、座席情報に基づく座席位置に着座したときの運転者の頭の推定位置等に基づきある２次元空間におけるアイポイントＰを検出する。なお、上記の例では、運転者の右目と左目の中点をアイポイントとして検出しているが、これに限定されず、例えば、運転者の右目または左目の位置のいずれか一方をアイポイントとして検出するようにしても良い。
The imaging
アイポイント逸脱判定部２３０は、アイポイント検出部２２０によって検出された運転者のアイポイントがアイボックスから逸脱しているか否かを判定する。アイボックスとは、上記したように、ある２次元空間において運転者Ｕが投射画像（ＡＲ画像）の虚像を見ることができる可視範囲であり、アイボックスは、ＨＵＤ１３０の光学的特性から決定される。つまり、運転者が投射画像の虚像を見るためには、運転者の視線方向のフロントウィンドウに画像が投射されなければならないが、そのフロントウィンドウへの画像の投射位置および投射角度は、投射光学系１３４により概ね決定される。従って、投射光学系１３４の光学系により、運転者が投射画像の虚像を見ることができる範囲が決定される。
The eye point deviation determination unit 230 determines whether or not the driver's eye point detected by the eye
アイポイント逸脱判定部２３０の判定動作例を図５に示す。同図において、ＥＢは、運転席側からフロントウィンドウを見たときのアイボックスを模式的に示している。アイボックスＥＢは、好ましくは、アイポイント検出部２２０により検出されるアイポイントと同じ２次元空間上の座標によって特定される。ここでは、一例としてアイボックスＥＢが矩形状を有しているが、その理由の１つは、アイポイントがアイボックスＥＢ内に位置しているか否かの判定を容易にするためである。従って、アイボックスＥＢの平面形状は、必ずしも矩形状に限られるものではなく、投射光学系１３４の光学的特性により決定される可視範囲に概ね一致するような形状であってもよい。
FIG. 5 shows an example of the determination operation of the eye point deviation determination unit 230. In the figure, EB schematically shows an eye box when the front window is viewed from the driver's seat side. The eyebox EB is preferably specified by the same two-dimensional space coordinates as the eyepoint detected by the
アイポイント逸脱判定部２３０は、検出されたアイポイントとアイボックスＥＢとを比較し、アイポイントがアイボックスＥＢ内にあるか否かを判定する。本実施例では、アイポイントがアイボックスＥＢ内にあるか否かを複数レベルで判定する。すなわち、図５に示すように、アイポイントＰがアイボックスＥＢよりさらに狭い最適範囲Ｔ１内にあるか否か、アイポイントＰが最適範囲Ｔ１より外れるがアイボックスＥＢより内側の準最適範囲Ｔ２にあるか否か、アイポイントＰがアイボックスＥＢの外側の逸脱範囲Ｔ３にあるか否かを判定する。 The eye point deviation determination unit 230 compares the detected eye point with the eye box EB, and determines whether or not the eye point is inside the eye box EB. In this embodiment, it is determined at a plurality of levels whether or not the eye point is in the eye box EB. That is, as shown in FIG. 5, whether or not the eye point P is within the optimum range T1 narrower than the eye box EB, or whether the eye point P is outside the optimum range T1 but within the quasi-optimal range T2 inside the eye box EB. It is determined whether or not the eye point P is within the deviation range T3 outside the eye box EB.
最適範囲Ｔ１は、アイボックスＥＢの境界からさらに内側の境界を規定し、例えば、アイボックスＥＢを一定の割合で縮小した矩形状の範囲である。最適範囲Ｔ１は、この範囲内にアイポイントＰがあるとき、運転者Ｕが投射画像の虚像を完全に見ることができることを保証する。 The optimum range T1 defines a boundary further inside from the boundary of the eyebox EB, and is, for example, a rectangular range obtained by reducing the eyebox EB at a constant rate. The optimum range T1 guarantees that the driver U can completely see the virtual image of the projected image when the eye point P is within this range.
準最適範囲Ｔ１は、最適範囲Ｔ１の境界とアイボックスＥＢの境界との間の範囲であり、準最適範囲Ｔ１内にアイポイントＰがあるとき、運転者Ｕは、投射画像の虚像を完全に見ることができるが、その虚像の一部が欠ける前段階、あるいは、虚像が最適位置からずれて見える状態、あるいは、投射画像の虚像の一部が欠けて見える状態である。つまり、視線領域Ｐが準最適領域Ｔ２にあるとき、投射画像の虚像を視認することはできるが、同時に、アイボックスＥＢを逸脱する可能性を備えている。 The quasi-optimal range T1 is the range between the boundary of the optimum range T1 and the boundary of the eyebox EB, and when the eye point P is within the quasi-optimal range T1, the driver U completely views the virtual image of the projected image. It can be seen, but it is in the pre-stage where a part of the virtual image is missing, the state where the virtual image appears to deviate from the optimum position, or the state where a part of the virtual image of the projected image appears to be missing. That is, when the line-of-sight region P is in the semi-optimal region T2, the virtual image of the projected image can be visually recognized, but at the same time, it has the possibility of deviating from the eyebox EB.
逸脱範囲Ｔ３は、アイボックスＥＢの境界の外側であり、アイポイントＰが逸脱範囲Ｔ３にあるとき、運転者Ｕは、投射画像の虚像を見ることができないか、あるいは大部分が欠けた虚像を見ることになり、投射画像の内容を認識することができない状態である。 The deviation range T3 is outside the boundary of the eyebox EB, and when the eye point P is in the deviation range T3, the driver U cannot see the virtual image of the projected image or has a virtual image that is largely missing. You will see it, and you will not be able to recognize the contents of the projected image.
アイポイント逸脱判定部２３０は、一定の周期であるいは常時、アイポイントがアイボックスＥＢの最適範囲Ｔ１、準最適範囲Ｔ２、あるいは逸脱範囲Ｔ３にあるか否かを判定し、その判定結果を投射画像制御部２４０へ提供する。投射画像制御部２４０は、アイポイント逸脱判定部２３０の判定結果に基づき投射画像の制御を行う。好ましい態様では、投射画像制御部２４０は、アイポイントが最適範囲Ｔ１内にあると判定された場合には、別段、特別な制御を行わず、つまり、通常通りの投射画像を表示させる。
The eye point deviation determination unit 230 determines whether or not the eye point is in the optimum range T1, the semi-optimal range T2, or the deviation range T3 of the eye box EB at regular intervals or at all times, and the determination result is projected as a projection image. It is provided to the
アイポイントが準最適範囲Ｔ２内にあると判定された場合には、運転者は、投射画像を認識できる状態にある。しかし、アイポイントが逸脱範囲Ｔ３に接近しており、さらにアイポイントが移動すれば、逸脱範囲Ｔ３に進入し、投射画像の全体を見ることができなくなる状況にあることを運転者に知らせる必要がある。このため、投射画像制御部２４０は、アイポイントが準最適範囲Ｔ２のどの方向に位置するかを識別し、その識別結果に基づき運転者の顔がどの方向に移動すれば、投射画像を見ることができなくなるのかを知らせる表示を行う。例えば、投射画像制御部２４０は、アイポイントが準最適範囲Ｔ２の４辺（上側、下側、左側、右側）のいずれかに該当するかを識別し、そのアイポイントが存在する側に強調表示が生成されるように画像データの加工を行う。
When it is determined that the eye point is within the quasi-optimal range T2, the driver is in a state where the projected image can be recognized. However, it is necessary to inform the driver that the eye point is approaching the deviation range T3, and if the eye point moves further, the eye point enters the deviation range T3 and the entire projected image cannot be seen. is there. Therefore, the projected
アイポイントが逸脱範囲Ｔ３にあると判定された場合には、運転者は、投射画像の全体またはその大部分を見ることができず、運転者は、投射画像の内容を理解することができない。このため、投射画像制御部２４０は、例えば、欠損した投射画像に含まれる機能を非提供にしたり、欠損した投射画像を別のエリアに移動させたり、ＨＵＤによる表示をオフにするように画像データの加工を行う。
When it is determined that the eye point is in the deviation range T3, the driver cannot see the whole or most of the projected image, and the driver cannot understand the contents of the projected image. Therefore, the projection
次に、本実施例の表示システムの動作を図６に示すフローチャートを参照して説明する。表示システム１００の動作が開始されると、撮像カメラ１１０により運転者の顔が撮像され、その撮像データが撮像データ取得部２１０によって取得される（Ｓ１００）。アイポイント検出部２２０は、撮像データ取得部２１０により取得された撮像データを解析し、運転者のアイポイントを検出する（Ｓ１０２）。次に、アイポイント逸脱判定部２３０は、図５に示したようにアイポイントとアイボックスとを比較し、アイポイントが最適範囲Ｔ１、準最適範囲Ｔ２あるいは逸脱範囲Ｔ３にあるのかを判定し（Ｓ１０４）、その判定結果が投射画像制御部２４０へ提供される。
Next, the operation of the display system of this embodiment will be described with reference to the flowchart shown in FIG. When the operation of the
投射画像制御部２４０は、判定結果に基づき、投射画像の制御を行う。アイポイントが最適範囲Ｔ１内にあるとき（Ｓ１０６）、ＨＵＤ１３０の光変調手段１３３は、提供される画像データに基づき光学的変調を行い、通常通りの画像を表示させる（Ｓ１０８）。例えば、表示システム１００がナビゲーション装置と連携し、表示システム１００が、図７（Ａ）に示すような交差点案内画像３００を表示させる場合を想定する。交差点案内画像３００には、右折矢印と交差点までの距離（２００ｍ）との情報が含まれる。アイポイントＰが最適範囲Ｔ１内であれば、運転者は、交差点案内画像３００を完全に見ることができ、その情報を認識することができる。
The projection
アイポイントＰが準最適範囲Ｔ２にあるとき（Ｓ１１０）、投射画像制御部２４０は、画像データの一部を加工し、アイポイントがさらに移動すれば、表示が欠損するであろう方向を識別し、そのことを知らせるための強調表示を行う。さらに、これに加えて、アイポイントが最適範囲になる方向を知らせるためのヒント表示を行う（Ｓ１１２）。図７（Ｂ）に示すように、例えば、アイポイントＰがアイボックスＥＢの準最適範囲Ｔ２の左辺側にあるとき、アイポイントＰがさらに左方向に移動すれば、交差点案内画像３００が欠損する。このため、投射画像制御部２４０は、交差点案内画像３００の右辺側に強調表示３１０が生成されるように画像データを加工する（なお、アイボックスＥＢの左右方向と、投射画像の左右方向とは反転する関係にある）。同様に、アイポイントＰがアイボックスＥＢの準最適位置Ｔ２の右辺側にあれば、投射画像制御部２４０は、交差点案内画像３００の左辺側に強調表示が生成されるように画像データを加工する。また、アイポイントＰがアイボックスＥＢの準最適位置Ｔ２の上辺側にあれば、画像制御部２４０は、交差点案内画像３００の上辺側に強調表示が生成されるように画像データを加工し、アイポイントＰがアイボックスＥＢの準最適位置Ｔ２の下辺側にあれば、画像制御部２４０は、交差点案内画像３００の下辺側に強調表示が生成されるように画像データを加工する。
When the eye point P is in the quasi-optimal range T2 (S110), the projection
強調表示３１０の態様は、特に限定されないが、交差点案内画像３００の辺全体の表示に限らず、辺の一部に表示されるようにしてもよい。また、強調表示３１０の形状も任意である。さらに強調表示３１０は、例えば、黄色のような注意を喚起するような色、背景色と異なる色、あるいは点滅表示であることができる。さらに、強調表示３１０は、テキストを含むようにしてもよく、例えば、「これ以上、頭を移動させると、ＨＵＤの表示を見ることができなくなります」等の警告であってもよい。さらに制御部１７０は、音声出力部１５０から上記の警告の音声出力をさせるようにしてもよい。
The mode of the highlighting 310 is not particularly limited, but is not limited to the display of the entire side of the
また、投射画像制御部２４０は、運転者が頭をどの方向にむければ最適範囲Ｔ１になるのかを知らせるようなヒント表示（案内表示）を行うことができる。例えば、図７（Ｃ）に示すように、強調表示３１０と併せて、投射画像が欠損しないようにするための頭（アイポイント）の移動方向を示すヒント表示３２０が生成されるように画像データデータを加工する。すなわち、ファインポジションになるための方向を示すヒント表示３２０が、例えば、矢印の下方に表示させる。図７（Ｃ）のヒント表示３２０は、運転者に頭を右側へ移動させるための誘導矢印を含んでいる。
In addition, the projected
また、図７（Ｄ）に示すように、表示システム１００が２つのＨＵＤ１３０を搭載している場合には、一方のＨＵＤに交差点案内画像３００と強調表示３１０を生成させ、他方のＨＵＤにヒント表示３２０を生成させるように画像データを加工するようにしても良い。２つのＨＵＤを搭載する場合、交差点案内画像３００と異なる焦点距離でヒント表示３２０を生じさせるようにすることができる。また、制御部１７０は、ヒント表示３２０の内容を音声出力部１５０から音声出力させるようにしてもよい。
Further, as shown in FIG. 7D, when the
再び図６のフローに戻り、投射画像制御部２４０は、アイポイントがアイボックスＥＢの外側にあるとき（Ｓ１１０）、投射画像の表示態様が切替わるように画像データを加工する（Ｓ１１４）。具体的な表示態様の切替例について説明する。図８（Ａ）は、アイポイントＰが最適範囲Ｔ１内にあるときの交差点案内画像４００の例であり、交差点案内画像４００は、左側の領域４１０に右折矢印と交差点までの距離（２００ｍ）を表示し、右側の領域４２０に、自車位置周辺の道路地図を表示している。いわゆる２つの機能が２画面で表示される態様である。アイポイントＰが最適範囲Ｔ１内であれば、運転者は、２つの画面を完全に見ることができる。
Returning to the flow of FIG. 6 again, the projected
アイポイントＰが逸脱範囲Ｔ３になると、例えば、図８（Ｂ）に示すように交差点案内画像４００の左側の領域４２０の一部の画像が欠損して見ることができなくなる。画像が欠損されてしまうと、運転者は、それが何を意味するのかを認識することができない。このような場合には、欠損された画像を残すことは好ましくないので、欠損した画像を含む機能が非提供となるように画像データを加工する。投射画像制御部２４０は、アイボックスとアイポイントとの相対的な関係から、投射画像のどの領域がどの程度欠損するかを判定し、欠損する領域の画像が非表示となるように画像データを加工する。その結果、図８（Ｃ）に示すように、交差点案内画像４００の左側の領域の矢印画像が非表示にされ、右側の領域４２０の画像のみが表示される。
When the eye point P reaches the deviation range T3, for example, as shown in FIG. 8B, a part of the image of the
他の表示態様の切り換えでは、投射画像制御部２４０は、図８（Ｄ）に示すように、交差点案内画像４００を縮小して全体が表示されるように画像データを加工する。さらに他の表示態様として、欠損すると推測される画像の表示位置を変更するようにしても良い。例えば、図８（Ｅ）に示すように、交差点案内画像４００の左側の領域４１０の画像が、欠損されない右側の領域４２０に表にされるように画像データを加工する。さらには、表示システム１００が２つのＨＵＤを搭載する場合には、一方のＨＵＤに道理地図画像を表示させ、他方のＨＵＤに右折矢印Ｙ等を表示させるようにしてもよい。さらに、他の表示態様として、アイポイントＰが逸脱範囲Ｔ３にある場合には、投射画像制御部２４０は、光変調手段１３３への画像データの提供を停止させ、ＨＵＤによる画像投射をＯＦＦにするようにしてもよい。この場合、ＨＵＤによるＡＲ画像は完全に表示されない。
In the switching of other display modes, the projection
以上説明したように本実施例によれば、運転者のアイポイントが最適範囲、準最適範囲、または逸脱範囲であるか否かに基づき投射画像の表示態様を制御し、運転者の頭部の位置に関する注意喚起および適正位置への誘導を行うようにしたので、運転者は、アイボックス（最適範囲）の位置がわからなくとも、投射画像を見ることで適正位置へ頭部を容易に戻すことが可能になる。 As described above, according to the present embodiment, the display mode of the projected image is controlled based on whether or not the driver's eye point is in the optimum range, semi-optimal range, or deviation range, and the driver's head is controlled. Since the driver is alerted to the position and guided to the proper position, the driver can easily return the head to the proper position by looking at the projected image even if the position of the eye box (optimal range) is unknown. Becomes possible.
さらには、アイポイントがアイボックスから完全に逸脱した場合には、不完全な表示を非提示にすることで、運転者に誤った情報を与えたり、あるいは誤解が生じるのを防止することができる。さらに、不完全となり得る画像の表示位置をシフトさせることで、投射画像の一部が欠損されることことなく全体を表示させることができる。これにより、全体としては、ＨＵＤによる投射画像を見ることへの煩わしさが軽減され、運転による疲労を軽減することができる。 Furthermore, if the eyepoint deviates completely from the eyebox, the incomplete display can be hidden to prevent the driver from being misleading or misunderstood. .. Further, by shifting the display position of the image that may be incomplete, the entire projected image can be displayed without being lost. As a result, as a whole, the troublesomeness of viewing the projected image by the HUD can be reduced, and the fatigue caused by driving can be reduced.
上記実施例では、運転者のアイポイントの逸脱を判定する範囲として、Ｔ１、Ｔ２、Ｔ３の３段階を定義したが、これに限らず、例えば、４段階または５段階の範囲を定義し、それぞれの範囲に応じて、投射画像の表示態様を制御するようにしてもよい。 In the above embodiment, three stages of T1, T2, and T3 are defined as a range for determining the deviation of the driver's eye point, but the present invention is not limited to this, and for example, a range of four stages or five stages is defined and each is defined. The display mode of the projected image may be controlled according to the range of.
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various modifications and modifications are made within the scope of the gist of the invention described in the claims. It can be changed.
１００：表示システム １１０：撮像カメラ
１２０：座席情報取得部 １３０：ＨＵＤ
１４０：記憶部 １５０：音声出力部
１６０：インターフェース部 １７０：制御部
３００、４０００：交差点案内画像 ３１０：強調表示
３２０：ヒント表示
Ｐ：アイポイント
ＥＢ：アイボックス
Ｔ１：最適範囲
Ｔ２：準最適範囲
Ｔ３：逸脱範囲
Ｕ：運転者
100: Display system 110: Imaging camera 120: Seat information acquisition unit 130: HUD
140: Storage unit 150: Audio output unit 160: Interface unit 170:
Claims (7)
ユーザーのアイポイントを検出する検出手段と、
少なくとも前記投射手段の光学系に基づき定義される投射画像を見ることができる可視範囲と前記検出手段により検出されたアイポイントとを比較する比較手段と、
前記比較手段に基づき前記投射画像を制御する画像制御手段とを有し、
前記画像制御手段は、前記アイポイントが前記可視範囲内の最適範囲を逸脱するとき、前記投射画像に、当該投射画像の表示が欠損することを知らせる強調表示を含ませる、表示システム。 Projection means for projecting images and
A detection method that detects the user's eye point,
A comparison means for comparing at least a visible range in which a projected image defined based on the optical system of the projection means can be seen and an eye point detected by the detection means.
It has an image control means that controls the projected image based on the comparison means.
Wherein the image control means when the eye point is outside the optimum range within the visible range, the the projection image, display of the projected image to include highlighting indicating that the defect display system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017140547A JP6804805B2 (en) | 2017-07-20 | 2017-07-20 | Head-up display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017140547A JP6804805B2 (en) | 2017-07-20 | 2017-07-20 | Head-up display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019018770A JP2019018770A (en) | 2019-02-07 |
| JP6804805B2 true JP6804805B2 (en) | 2020-12-23 |
Family
ID=65352615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017140547A Active JP6804805B2 (en) | 2017-07-20 | 2017-07-20 | Head-up display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6804805B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7477470B2 (en) * | 2019-12-02 | 2024-05-01 | トヨタ自動車株式会社 | Vehicle display control device, vehicle display device, vehicle display control method and program |
| JP6825683B1 (en) | 2019-12-02 | 2021-02-03 | トヨタ自動車株式会社 | Vehicle display control device, vehicle display device, vehicle display control method and program |
| WO2021200914A1 (en) * | 2020-03-31 | 2021-10-07 | 日本精機株式会社 | Display control device, head-up display device, and method |
| CN113674717A (en) * | 2020-05-15 | 2021-11-19 | 华为技术有限公司 | Display adjustment method, device, system and storage medium |
| JP2022132089A (en) * | 2021-02-26 | 2022-09-07 | ダイハツ工業株式会社 | head-up display device |
| CN114035324B (en) * | 2021-10-31 | 2023-09-22 | 东风商用车有限公司 | HUD light path projection system and HUD light path projection method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008296701A (en) * | 2007-05-30 | 2008-12-11 | Calsonic Kansei Corp | Vehicular display |
| JP2010208631A (en) * | 2010-03-30 | 2010-09-24 | Nippon Seiki Co Ltd | Vehicular display device |
| JP6221942B2 (en) * | 2014-05-26 | 2017-11-01 | 株式会社デンソー | Head-up display device |
| JP2016147532A (en) * | 2015-02-10 | 2016-08-18 | 日本精機株式会社 | Image generation device, and head-up display |
| JP6482975B2 (en) * | 2015-07-15 | 2019-03-13 | アルパイン株式会社 | Image generating apparatus and image generating method |
-
2017
- 2017-07-20 JP JP2017140547A patent/JP6804805B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019018770A (en) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6804805B2 (en) | Head-up display device | |
| US10551619B2 (en) | Information processing system and information display apparatus | |
| US10768416B2 (en) | Projection type display device, projection display method, and projection display program | |
| JP6806097B2 (en) | Image display device and image display method | |
| JP4686586B2 (en) | In-vehicle display device and display method | |
| WO2010109941A1 (en) | Vehicluar display system, method of displaying and vehicle | |
| JP4970379B2 (en) | Vehicle display device | |
| JP6865006B2 (en) | Vehicle display device | |
| US10502962B2 (en) | Projection type display device and projection control method | |
| JP2017211366A (en) | Mobile body system and information display device | |
| JPWO2017138527A1 (en) | Information provision device | |
| CN110816408B (en) | Display device, display control method, and storage medium | |
| JP6558770B2 (en) | Projection display device, projection display method, and projection display program | |
| JP6512475B2 (en) | INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD, AND INFORMATION PROVIDING CONTROL PROGRAM | |
| JP6972549B2 (en) | HUD device, vehicle device and display method | |
| JP2017215816A (en) | Information display device, information display system, information display method, and program | |
| US11176749B2 (en) | In-vehicle display device three-dimensional image generation | |
| JP7005115B2 (en) | Display device for vehicles | |
| JP6482975B2 (en) | Image generating apparatus and image generating method | |
| JP7027992B2 (en) | Image display device, moving object, image display method and program | |
| JP2005313772A (en) | Vehicular head-up display device | |
| US20230022485A1 (en) | Vehicle display control device, vehicle display device, vehicle display control method, and non-transitory storage medium | |
| CN110816407A (en) | Display device, display control method, and storage medium | |
| JP2020024561A (en) | Display device, display control method, and program | |
| JP6813437B2 (en) | Display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200306 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6804805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |