JP6813437B2 - Display system - Google Patents

Display system Download PDF

Info

Publication number
JP6813437B2
JP6813437B2 JP2017120957A JP2017120957A JP6813437B2 JP 6813437 B2 JP6813437 B2 JP 6813437B2 JP 2017120957 A JP2017120957 A JP 2017120957A JP 2017120957 A JP2017120957 A JP 2017120957A JP 6813437 B2 JP6813437 B2 JP 6813437B2
Authority
JP
Japan
Prior art keywords
display
image
line
driver
sight position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017120957A
Other languages
Japanese (ja)
Other versions
JP2019006165A (en
Inventor
吉越　鉄太郎
鉄太郎 吉越
坂本　務
務 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2017120957A priority Critical patent/JP6813437B2/en
Publication of JP2019006165A publication Critical patent/JP2019006165A/en
Application granted granted Critical
Publication of JP6813437B2 publication Critical patent/JP6813437B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、ヘッドアップディスプレイ（ＨＵＤ）を用いた拡張現実（ＡＲ：Augmented Reality）を表示可能な表示システムに関する。 The present invention relates to a display system capable of displaying Augmented Reality (AR) using a head-up display (HUD).

運転者の視線移動を減らす表示システムとして、運転者の視線方向に映像を映し出すヘッドアップディスプレイ（以下、ＨＵＤという）が実用化されている。代表的なＨＵＤは、車内に設置された画像投射装置（プロジェクター）により画像をフロントウィンドに投射し、運転者がスクリーン越しの現実空間上にＡＲ表示（虚像）を見ることを可能にする。さらに近年では、撮像カメラなどで撮像された現実空間の画像データにＡＲ画像を重畳するような表示も行われている。 As a display system that reduces the movement of the driver's line of sight, a head-up display (hereinafter referred to as HUD) that displays an image in the direction of the driver's line of sight has been put into practical use. A typical HUD projects an image on the front window by an image projection device (projector) installed in the vehicle, and enables the driver to see an AR display (virtual image) in a real space through a screen. Further, in recent years, there has been a display in which an AR image is superimposed on image data in a real space captured by an imaging camera or the like.

ＨＵＤによるＡＲ表示は、例えば、特許文献１に記載されている。特許文献１は、ＡＲ表示が見える視線位置とカメラにより認識される視線位置とのズレを検出し、運転者の視線が最適位置となるようにシートの位置を自動的に調整している。 The AR display by the HUD is described in, for example, Patent Document 1. Patent Document 1 detects a deviation between the line-of-sight position where the AR display can be seen and the line-of-sight position recognized by the camera, and automatically adjusts the seat position so that the driver's line of sight becomes the optimum position.

特許第５９９２１３０号公報Japanese Patent No. 5992130

ＨＵＤによるＡＲ表示機能を搭載した車両では、運転者は、自身にとって快適と思われるシート位置に座って、その状態からＡＲ表示の位置を調整することが一般的である。しかし、ＡＲ表示は、運転者の視線方向でしか見ることができないため、もし、運転者がＡＲ表示を見ることができなければ、ＡＲ表示機能が車両に搭載されていることすら運転者は分からない。また、運転者がＡＲ表示の位置を自分で調整しても、そのＡＲ表示の位置が本当に正しいのか否かを判定することができない。 In a vehicle equipped with an AR display function by the HUD, it is common for the driver to sit in a seat position that is comfortable for him / her and adjust the AR display position from that state. However, since the AR display can only be seen in the direction of the driver's line of sight, if the driver cannot see the AR display, the driver will not even know that the AR display function is installed in the vehicle. Absent. Further, even if the driver adjusts the position of the AR display by himself / herself, it cannot be determined whether or not the position of the AR display is really correct.

図７は、従来のＡＲ表示システムの課題を説明する図である。車両の前方に２つの対象物Ｐ、Ｑがあり、対象物Ｐに関してＡＲ表示１０が行われたとする。しかし、本来、ＡＲ表示１０が対象物Ｑに対するものだとしても、運転者にとっては、ＡＲ表示１０が誤りであることを判断することはできない。 FIG. 7 is a diagram illustrating a problem of a conventional AR display system. It is assumed that there are two objects P and Q in front of the vehicle, and AR display 10 is performed on the object P. However, even if the AR display 10 is originally for the object Q, the driver cannot determine that the AR display 10 is incorrect.

さらに、運転者が代わると、運転者の個体差（身長、座高、目の位置等）によって座席位置も変更されるので、代わった運転者は、ＡＲ表示１０を見ることができない可能性がある。このような場合、運転者は、ＡＲ表示機能の存在に気が付かずに運転を行うことになる。 Furthermore, when the driver changes, the seat position also changes depending on the individual difference of the driver (height, sitting height, eye position, etc.), so that the changed driver may not be able to see the AR display 10. .. In such a case, the driver will drive without noticing the existence of the AR display function.

特許文献１は、ＡＲ表示が見える視線位置とカメラにより認識される視線位置とのズレを検出し、シートの位置を自動的に調整するものであるが、仮にシート位置の自動調整を行ったとしても、調整後の視界にあるＡＲ表示の位置が本当に正しいものなのか否かを運転者は判断する術がない。 Patent Document 1 detects a deviation between the line-of-sight position where the AR display can be seen and the line-of-sight position recognized by the camera, and automatically adjusts the seat position. However, it is assumed that the seat position is automatically adjusted. However, the driver has no way of judging whether or not the position of the AR display in the adjusted field of view is really correct.

本発明は、このような従来の課題を解決するものであり、ユーザーにとって拡張現実が正しく表示されているか否かを判定することができる、表示システムを提供することを目的とする。 An object of the present invention is to solve such a conventional problem, and to provide a display system capable of determining whether or not augmented reality is correctly displayed for a user.

本発明に係る表示システムは、拡張現実を画像投射により表示可能な画像投射手段と、車両の座席に関する座席情報を取得する取得手段と、前記座席情報に基づき当該座席の搭乗者の視線位置を推定する推定手段と、前記画像投射手段の投射光学系に基づき前記拡張現実を見ることができる基準範囲を算出する算出手段と、前記視線位置が前記基準範囲から逸脱しているか否かを判定する判定手段と、前記視線位置が前記基準範囲から逸脱していると判定された場合に、前記拡張現実が正しく見えるべき画像をディスプレイに表示する表示手段と、を含む。 The display system according to the present invention estimates an image projection means capable of displaying augmented reality by image projection, an acquisition means for acquiring seat information regarding a vehicle seat, and a line-of-sight position of a occupant of the seat based on the seat information. The estimation means for calculating the augmented reality based on the projection optical system of the image projection means, the calculation means for calculating the reference range, and the determination for determining whether or not the line-of-sight position deviates from the reference range. The means includes means and display means for displaying an image on the display in which the augmented reality should look correct when it is determined that the line-of-sight position deviates from the reference range.

好ましくは表示システムはさらに、前記視線位置が前記基準範囲から逸脱していると判定された場合に、前記画像投射手段の投射光学系の調整を促す案内手段を含む。好ましくは表示システムはさらに、好ましくはユーザー入力に基づき前記画像投射手段の投射光学系の調整を行う調整手段を含む。好ましくは前記画像投射手段は、前記拡張現実のための画像をフロントガラスに投射するミラーを含み、前記調整手段は、前記ミラーの光軸方向を調整する。好ましくは前記視線位置が前記基準範囲から逸脱していないと判定された場合であっても前記調整手段が実施される場合には、前記表示手段は、前記拡張現実が正しく見えるべき画像をディスプレイに表示する。好ましくは前記表示手段により表示される画像は、車両の前方を撮像した画像に前記拡張現実のための画像を重畳したものである。好ましくは前記画像投射手段は、ヘッドアップディスプレイ（ＨＵＤ）を含み、前記算出手段は、前記推定手段により推定された視線位置の面上における基準範囲を算出する。 Preferably, the display system further includes a guiding means that facilitates adjustment of the projection optical system of the image projection means when it is determined that the line-of-sight position deviates from the reference range. Preferably, the display system further includes adjusting means for adjusting the projection optics of the image projection means, preferably based on user input. Preferably, the image projection means includes a mirror that projects an image for augmented reality onto the windshield, and the adjusting means adjusts the optical axis direction of the mirror. Preferably, even if it is determined that the line-of-sight position does not deviate from the reference range, if the adjusting means is implemented, the display means displays an image on the display on which the augmented reality should look correct. indicate. Preferably, the image displayed by the display means is an image of the front of the vehicle superimposed on the image for augmented reality. Preferably, the image projection means includes a head-up display (HUD), and the calculation means calculates a reference range on the plane of the line-of-sight position estimated by the estimation means.

本発明によれば、視線位置が基準範囲から逸脱していると判定された場合には、拡張現実が正しく見えるべき画像をディスプレイに表示するようにしたので、ユーザーは、ディスプレイの画像を基準に、拡張現実が正しく表示されているか否かを判定することができる。さらに、ユーザーが画像投射手段の投射光学系の調整を行う場合にも、拡張現実が正しく見えるべき画像をディスプレイに表示するようにしたので、その調整を容易に行うことができる。 According to the present invention, when it is determined that the line-of-sight position deviates from the reference range, an image that the augmented reality should look correct is displayed on the display, so that the user can refer to the image on the display. , It is possible to determine whether augmented reality is displayed correctly. Further, when the user adjusts the projection optical system of the image projection means, the image that the augmented reality should look correct is displayed on the display, so that the adjustment can be easily performed.

本発明の実施例に係るＡＲ表示システムの構成を示すブロック図である。It is a block diagram which shows the structure of the AR display system which concerns on embodiment of this invention. 本発明の実施例に係るＨＵＤの構成例を示す図である。It is a figure which shows the structural example of the HUD which concerns on embodiment of this invention. 本発明の実施例に係るＡＲ表示システムの調整プログラムの機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of the adjustment program of the AR display system which concerns on embodiment of this invention. 運転席、座席、ＨＵＤを側方から模式的に表した図である。It is the figure which represented the driver's seat, a seat, and HUD from the side. 図５（Ａ）は、運転席から見たＡＲ表示を示し、図５（Ｂ）は、ＡＲ表示が正しく見えるべき画像を示す図である。FIG. 5A is a diagram showing an AR display seen from the driver's seat, and FIG. 5B is a diagram showing an image in which the AR display should look correct. 本発明の実施例に係るＡＲ表示システムのＨＵＤの調整動作を説明するフローである。It is a flow explaining the HUD adjustment operation of the AR display system which concerns on embodiment of this invention. 本発明の実施例に係るＡＲ表示システムのＨＵＤの他の調整動作を説明するフローである。It is a flow explaining another adjustment operation of HUD of the AR display system which concerns on embodiment of this invention. 従来のＡＲ表示システムの課題を説明する図である。It is a figure explaining the problem of the conventional AR display system.

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る表示システムは、ヘッドアップディスプレイ（ＨＵＤ）に代表される画像投射装置を含み、ＨＵＤにより車両のフロントガラスに画像を投射し、この画像を実空間に重畳させ、ＡＲ表示を行う。ＡＲ表示は、実空間上に虚像を表示することである。 Next, an embodiment of the present invention will be described in detail with reference to the drawings. The display system according to the present invention includes an image projection device typified by a head-up display (HUD), projects an image on the windshield of a vehicle by the HUD, superimposes this image on the real space, and performs AR display. AR display is to display a virtual image in real space.

図１は、本発明の実施例に係るＡＲ表示システムの構成を示すブロック図である。本実施例のＡＲ表示システム１００は、ユーザーからの指示を受け取る入力部１１０、座席に関する座席情報を取得する座席情報取得部１２０、車両周辺の画像を撮像する撮像部１３０、記憶部１４０、ＡＲ表示を行うＨＵＤ１５０、ＨＵＤ１５０の光学調整を行う調整部１６０、ディスプレイに種々の情報を表示する表示部１７０、音声出力部１８０および制御部１９０を含む。 FIG. 1 is a block diagram showing a configuration of an AR display system according to an embodiment of the present invention. The AR display system 100 of this embodiment includes an input unit 110 that receives an instruction from a user, a seat information acquisition unit 120 that acquires seat information related to a seat, an imaging unit 130 that captures an image of the surroundings of a vehicle, a storage unit 140, and an AR display. HUD 150, an adjustment unit 160 for performing optical adjustment of the HUD 150, a display unit 170 for displaying various information on a display, an audio output unit 180, and a control unit 190.

座席情報取得部１２０は、運転者の座席（シート）の前後位置、背もたれの角度、ヘッドレストの高さ方向の位置に関する座席情報を取得する。この座席情報は、座席に着座した運転者の視線位置を推定するために用いられる。また、座席に着座センサが搭載されている場合には、座席情報取得部１２０は、当該着座センサの検出結果も併せて取得するようにしてもよい。 The seat information acquisition unit 120 acquires seat information regarding the front-rear position of the driver's seat (seat), the angle of the backrest, and the position in the height direction of the headrest. This seat information is used to estimate the line-of-sight position of the driver seated in the seat. Further, when the seating sensor is mounted on the seat, the seat information acquisition unit 120 may also acquire the detection result of the seating sensor.

撮像部１３０は、少なくとも車両の前方を撮像する撮像カメラを含み、撮像された画像データは制御部１９０へ提供される。制御部１９０は、画像データを画像処理し、その結果を表示部１７０に表示させることが可能である。また、撮像部１３０は、車内の運転者を撮像する車内カメラを含むことができる。車内カメラは、例えば、インスツルメンツパネル内やハンドル近傍に設置され、運転者の顔を撮像する。制御部１９０は、運転者の顔を撮像した画像データを画像処理し、運転者の視線位置を検出することが可能である。記憶部１４０は、ＡＲ表示システム１００にとって必要な情報などを格納する。例えば、ＡＲ表示用の画像データを格納する。 The imaging unit 130 includes at least an imaging camera that images the front of the vehicle, and the captured image data is provided to the control unit 190. The control unit 190 can perform image processing on the image data and display the result on the display unit 170. In addition, the image pickup unit 130 can include an in-vehicle camera that images the driver in the vehicle. The in-vehicle camera is installed in the instrument panel or near the steering wheel, for example, and captures the driver's face. The control unit 190 can perform image processing on the image data obtained by capturing the driver's face and detect the position of the driver's line of sight. The storage unit 140 stores information and the like necessary for the AR display system 100. For example, image data for AR display is stored.

ＨＵＤ１５０は、車両のフロントガラス等にＡＲ表示用の画像を投射し、運転者は、視線方向にＡＲ表示を見ることができる。図２は、ＨＵＤ１５０の構成の一例である。ＨＵＤ１５０は、光源１５１、光源１５１からの光を集光する光学系１５２、光学系１５２からの光を画像データに基づき変調する光変調手段１５３、光変調手段１５３により変調された光を投射する投射光学系１５４、投射光学系１５４の光学系（例えば、光軸や焦点距離など）を調整するためのアクチュエータ１５５を含む。 The HUD 150 projects an image for AR display on the windshield of the vehicle or the like, and the driver can see the AR display in the line-of-sight direction. FIG. 2 is an example of the configuration of the HUD 150. The HUD 150 is a projection that projects light modulated by a light source 151, an optical system 152 that collects light from the light source 151, an optical modulation means 153 that modulates the light from the optical system 152 based on image data, and an optical modulation means 153. The optical system 154 includes an actuator 155 for adjusting an optical system (for example, an optical axis, a focal distance, etc.) of the projection optical system 154.

調整部１６０は、アクチュエータ１５５を介して投射光学系１５４の調整を行う。１つの態様では、入力部１１０からのユーザー入力に応答してＨＵＤ１５０の調整を行う。例えば、運転者は、ＡＲ表示の初期設定を行うとき、入力部１１０を介して調整部１５０に指示を与える。また、他の態様では、制御部１９０からの指示に応答して調整部１５０は、ＨＵＤ１５０の調整を行う。 The adjusting unit 160 adjusts the projection optical system 154 via the actuator 155. In one embodiment, the HUD 150 is adjusted in response to user input from the input unit 110. For example, the driver gives an instruction to the adjusting unit 150 via the input unit 110 when performing the initial setting of the AR display. In another aspect, the adjusting unit 150 adjusts the HUD 150 in response to an instruction from the control unit 190.

表示部１７０は、ＨＵＤ１５０とは異なる表示媒体であり、インスツルメンツパネル内あるいはその近傍に配置された液晶ディスプレイまたは有機ＥＬディスプレイを含む。表示部１７０は、後述するようにＡＲ表示の設定が必要なときに、ＡＲ表示が正しく見えるべき画像を表示する。表示部１７０は、これ以外にも、ＡＲ表示システム１００がナビゲーション機能やビデオ機能と結合される場合には、それらによって再生された画像を表示することも可能である。音声出力部１８０は、ＡＲ表示システム１００においてＡＲ表示の調整が必要であるとき等の案内を音声出力する。 The display unit 170 is a display medium different from the HUD 150, and includes a liquid crystal display or an organic EL display arranged in or near the instruments panel. The display unit 170 displays an image in which the AR display should look correct when it is necessary to set the AR display as described later. In addition to this, the display unit 170 can display the image reproduced by the AR display system 100 when it is combined with the navigation function and the video function. The voice output unit 180 voice-outputs guidance such as when the AR display needs to be adjusted in the AR display system 100.

制御部１９０は、ＡＲ表示システム１００の各部を制御する。好ましい態様では、制御部１９０は、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラ等を含み、ＨＵＤを調整するための調整プログラム２００を実行する。 The control unit 190 controls each unit of the AR display system 100. In a preferred embodiment, the control unit 190 includes a microcontroller including a ROM, RAM, etc., and executes an adjustment program 200 for adjusting the HUD.

図４に、本実施例の調整プログラムの機能的な構成を示す。本実施例の調整プログラム２００は、運転者の視線位置を推定する視線位置推定部２１０、ＨＵＤの光学情報を取得するＨＵＤ情報取得部２２０、ＡＲ表示を正しく見るための視線位置の基準範囲を算出する基準範囲算出部２３０、運転者の視線位置が基準範囲から逸脱しているか否かを判定する逸脱判定部２４０、運転者にＨＵＤを正しく調整するための判定用画像を提示する判定用画像提示部２５０を含む。 FIG. 4 shows the functional configuration of the adjustment program of this embodiment. The adjustment program 200 of this embodiment calculates the line-of-sight position estimation unit 210 for estimating the line-of-sight position of the driver, the HUD information acquisition unit 220 for acquiring the optical information of the HUD, and the reference range of the line-of-sight position for correctly viewing the AR display. Reference range calculation unit 230, deviation determination unit 240 for determining whether the driver's line-of-sight position deviates from the reference range, and determination image presentation for presenting a determination image for correctly adjusting the HUD to the driver. Including part 250.

視線位置推定部２１０は、座席情報取得部１２０によって取得された座席情報に基づき、運転者の視線位置を推定する。座席センサが搭載されている場合には、座席への着座があったときに座席情報が取得されるようにしてもよい。座席情報は、運転席の前後位置、運転席の背もたれの角度、ヘッドレストの位置を含み、視線位置推定部２１０は、これらの座席情報に基づき運転者の視線位置を推定する。 The line-of-sight position estimation unit 210 estimates the driver's line-of-sight position based on the seat information acquired by the seat information acquisition unit 120. If a seat sensor is installed, the seat information may be acquired when the seat is seated. The seat information includes the front-rear position of the driver's seat, the angle of the backrest of the driver's seat, and the position of the headrest, and the line-of-sight position estimation unit 210 estimates the line-of-sight position of the driver based on these seat information.

図４は、運転者と座席の模式的な側面図である。座席３００は、前後方向Ｘに移動可能であり、背もたれが軸３１０を介して角度θで回転可能であり、ヘッドレスト３２０は、高さ方向Ｚに移動可能である。座席情報は、座席３００のＸ方向の位置、角度θ、ヘッドレスト３２０のＺ方向の高さを含む。視線位置推定部２１０は、運転者が座席３００に着座したときの運転者の視線位置を推定する。視線位置は、好ましくは、ＸＺ平面における２次元座標であるが、これに限定されず３次元座標であってもよい。また、視線位置推定部２１０は、座席情報に加えて、標準的な身体情報を用いて視線位置を推定するようにしてもよい。 FIG. 4 is a schematic side view of the driver and the seat. The seat 300 is movable in the front-rear direction X, the backrest is rotatable at an angle θ via the shaft 310, and the headrest 320 is movable in the height direction Z. The seat information includes the position of the seat 300 in the X direction, the angle θ, and the height of the headrest 320 in the Z direction. The line-of-sight position estimation unit 210 estimates the line-of-sight position of the driver when the driver is seated in the seat 300. The line-of-sight position is preferably two-dimensional coordinates in the XZ plane, but is not limited to this, and may be three-dimensional coordinates. Further, the line-of-sight position estimation unit 210 may estimate the line-of-sight position using standard physical information in addition to the seat information.

図４の例では、運転者Ａが着座するとき、座席３００のＸ方向の位置が幾分前方であり、かつヘッドレスト３２０の高さは幾分低い。視線位置推定部２１０は、ＸＺ座標空間において運転者Ａの視線位置ＥＡ（ＸＡ、ＺＡ）を算出する。また、運転者Ｂが着座したとき、座席３００のＸ方向の位置が幾分後方である、かつヘッドレスト３２０の高さが幾分高い。視線位置推定部２１０は、ＸＺ座標空間において運転者Ｂの視線位置ＥＢ（ＸＢ、ＸＢ）を算出する。なお、上記の推定は、座席情報を利用するものであるが、これに代えて、あるいはこれとともに車内カメラにより撮像された運転者の顔画像から視点位置を検出するようにしてもよい。 In the example of FIG. 4, when the driver A is seated, the position of the seat 300 in the X direction is somewhat forward, and the height of the headrest 320 is somewhat low. Gaze position estimation unit 210, line-of-sight position of the driver A in the XZ coordinate space EA (X A, Z A) is calculated. Also, when the driver B is seated, the position of the seat 300 in the X direction is somewhat rearward, and the height of the headrest 320 is somewhat higher. The line-of-sight position estimation unit 210 calculates the line-of-sight position EB (X B , X B ) of the driver B in the XZ coordinate space. The above estimation uses seat information, but instead of or together with this, the viewpoint position may be detected from the driver's face image captured by the in-vehicle camera.

ＨＵＤ情報取得部２２０は、ＨＵＤ１５０の投射光学系の情報を取得する。例えば、ＨＵＤ１５０の投射光学系が、図４に示すように、画像をフロントガラス３４０に投射するためのメインミラー３３０を含むとき、メインミラー３３０の光軸Ｏの角度または方向を表す光軸情報が取得される。メインミラー３３０の光軸Ｏは、フロントガラス３４０上の画像の投射位置および投射角度を決定する。光軸Ｏが変更されれば、運転者にとってのＡＲ表示を正しく見ることができる視線位置も変更される。 The HUD information acquisition unit 220 acquires information on the projection optical system of the HUD 150. For example, when the projection optical system of the HUD 150 includes a main mirror 330 for projecting an image onto the windshield 340 as shown in FIG. 4, the optical axis information representing the angle or direction of the optical axis O of the main mirror 330 is To be acquired. The optical axis O of the main mirror 330 determines the projection position and projection angle of the image on the windshield 340. If the optical axis O is changed, the line-of-sight position at which the driver can correctly see the AR display is also changed.

基準範囲算出部２３０は、ＨＵＤ情報取得部２２により取得された光学情報および座席情報に基づき、ＡＲ表示を正しく見ることができる運転者の視線位置の基準範囲を算出する。つまり、基準範囲とは、その座席位置に着座したならば、ＡＲ表示を正しく見ることができる視線範囲である。ＨＵＤ１５０により画像がフロントガラス３４０に投射されるとき、投射された画像は、入射角と等しい反射角で反射され、この反射光が運転者の視線位置に向かえば、運転者は、その視線方向にＡＲ表示を正しく見ることできるが、この反射光が運転者の視線位置からズレていれば、運転者は、その視線方向にＡＲ表示を正しくみることができない。従って、基準範囲算出部２３０は、投射光学系（メインミラー３３０）の光軸Ｏとフロントガラス３４０との成す入射角を算出し、その入射角と等しい反射角で進行する反射光が、推定された視線位置のＸ平面と交差するＺ座標を基準点として算出する。例えば、図４に示すように、運転者Ａの視線位置ＥＡ（ＸＡ、ＺＡ）が推定された場合、視線位置ＥＡのＸＡ面と反射光との交点が基準点Ｃ（ＸＡ、ＺＣ）として算出される。そして、基準点Ｃを中心に一定のＺ方向のマージンαを加えて基準範囲（ＸＡ、ＺＣ−α）〜（ＸＡ、ＺＣ＋α）を算出する。マージンαは、ＡＲ表示を正しく見ることができる範囲である。 The reference range calculation unit 230 calculates the reference range of the driver's line-of-sight position where the AR display can be correctly viewed based on the optical information and the seat information acquired by the HUD information acquisition unit 22. That is, the reference range is a line-of-sight range in which the AR display can be viewed correctly when seated at the seat position. When the image is projected onto the windshield 340 by the HUD 150, the projected image is reflected at a reflection angle equal to the incident angle, and if this reflected light is directed to the driver's line-of-sight position, the driver is directed to that line-of-sight direction. The AR display can be viewed correctly, but if the reflected light deviates from the driver's line-of-sight position, the driver cannot correctly view the AR display in the line-of-sight direction. Therefore, the reference range calculation unit 230 calculates the incident angle formed by the optical axis O of the projection optical system (main mirror 330) and the front glass 340, and the reflected light traveling at a reflection angle equal to the incident angle is estimated. The Z coordinate that intersects the X plane of the line-of-sight position is calculated as a reference point. For example, as shown in FIG. 4, the line-of-sight position of the driver A EA (X A, Z A) If is estimated line-of-sight position of EA X A surface and the intersection of the reflected light is the reference point C (X A, It is calculated as Z C ). Then, a reference range (X A , Z C − α) to (X A , Z C + α) is calculated by adding a constant margin α in the Z direction centered on the reference point C. The margin α is a range in which the AR display can be viewed correctly.

逸脱判定部２４０は、視線位置推定部２１０によって推定された視線位置と基準範囲算出部２３０によって算出された基準範囲とを比較し、視線位置が基準範囲から逸脱するか否かを判定する。視線位置が基準範囲を逸脱するということは、運転者にとって、ＡＲ表示を正しく見ることができないことを意味し、視線位置が基準範囲内にあれば、運転者にとって、ＡＲ表示を正しく見ることができることを意味する。例えば、図４に示すように、運転者Ａの視線位置ＥＡが基準範囲内にあれば、運転者Ａは、その視線方向に虚像Ａを正しい位置で見ることができる。 The deviation determination unit 240 compares the line-of-sight position estimated by the line-of-sight position estimation unit 210 with the reference range calculated by the reference range calculation unit 230, and determines whether or not the line-of-sight position deviates from the reference range. The fact that the line-of-sight position deviates from the reference range means that the driver cannot see the AR display correctly, and if the line-of-sight position is within the reference range, the driver can see the AR display correctly. It means that you can do it. For example, as shown in FIG. 4, if the line-of-sight position EA of the driver A is within the reference range, the driver A can see the virtual image A at the correct position in the line-of-sight direction.

逸脱判定部２４０の判定結果は、判定用画像提示部２５０へ提供される。そして、判定用画像提示部２５０は、推定された視線位置が基準範囲を逸脱している場合には、表示部１７０に、運転者が本来見えるべき正しいＡＲ表示の画像を表示させ、かつ運転者にＨＵＤの調整の必要性があることを案内する。この場合、判定用画像提示部２５０は、音声出力部１８０を介して音声により調整を促すようにしてもよい。 The determination result of the deviation determination unit 240 is provided to the determination image presentation unit 250. Then, when the estimated line-of-sight position deviates from the reference range, the determination image presentation unit 250 causes the display unit 170 to display an image of the correct AR display that the driver should originally see, and the driver. Inform you that there is a need to adjust the HUD. In this case, the determination image presentation unit 250 may prompt the adjustment by voice via the voice output unit 180.

好ましい態様では、判定用画像提示部２５０は、撮像部１３０から車両前方の画像データ（運転者が見ることができる前方画像）を取得し、取得した画像データを画像処理し、そこに含まれる対象物を抽出し、抽出した対象物を認識し、認識された対象物に関連するＡＲ画像を、例えば記憶部１４０から読出し、対象物に関連するようにＡＲ画像データを取得した画像データに合成し、合成した画像を表示部１７０に表示する。認識された対象物にどのようなＡＲ画像を関連付けるかは予め決定される。このＡＲ画像が合成された車両前方の画像は、ＨＵＤの調整が適切に行われたときのＡＲ表示が正しく見えるべき画像である。 In a preferred embodiment, the determination image presenting unit 250 acquires image data (front image that can be seen by the driver) in front of the vehicle from the imaging unit 130, performs image processing on the acquired image data, and includes an object included therein. An object is extracted, the extracted object is recognized, and an AR image related to the recognized object is read out from, for example, a storage unit 140, and the AR image data is combined with the acquired image data so as to be related to the object. , The combined image is displayed on the display unit 170. What kind of AR image is associated with the recognized object is determined in advance. The image in front of the vehicle in which the AR image is combined is an image in which the AR display should look correct when the HUD is properly adjusted.

図５（Ａ）は、運転者の視線位置が基準範囲から逸脱しているときの運転席から見たＡＲ表示であり、フロントガラス越しの左右の白線Ｌ１、Ｌ２からＡＲ表示ＡＲ１、ＡＲ２、ＡＲ３が幾分ずれている。図５（Ｂ）は、判定用画像提示部２５０により生成された、ＡＲ表示が正しく見えるときの画像である。図５（Ａ）に示すように、運転者の視線位置が基準範囲から逸脱している場合には、ＡＲ表示ＡＲ１、ＡＲ２、ＡＲ３が本来表示されるべき位置からずれている。一方、図５（Ｂ）に示すように、判定用画像提示部２５０は、車両前方を撮像した画像データから白線Ｌ１、Ｌ２を認識し、白線Ｌ１、Ｌ２に関連するＡＲ画像ＡＲ１、ＡＲ２を重畳し、さらに白線Ｌ１、Ｌ２の中心を示し、かつその進行方向を示すＡＲ画像ＡＲ３を重畳する判定用画像を生成し、これをセンターのディスプレイ１７０に表示する。運転者は、表示部１７０に表示された判定用画像を基準に、図５（Ａ）に示すＡＲ表示が正確でないことを認識し、ＨＵＤ１５０を調整する。 FIG. 5A is an AR display seen from the driver's seat when the driver's line of sight position deviates from the reference range, and AR displays AR1, AR2, AR3 from the left and right white lines L1, L2 through the windshield. Is slightly off. FIG. 5B is an image generated by the determination image presenting unit 250 when the AR display looks correct. As shown in FIG. 5A, when the line-of-sight position of the driver deviates from the reference range, the AR displays AR1, AR2, and AR3 deviate from the positions that should be originally displayed. On the other hand, as shown in FIG. 5B, the determination image presenting unit 250 recognizes the white lines L1 and L2 from the image data captured in front of the vehicle, and superimposes the AR images AR1 and AR2 related to the white lines L1 and L2. Further, a determination image is generated in which the AR image AR3 indicating the center of the white lines L1 and L2 and the traveling direction thereof is superimposed, and this is displayed on the display 170 of the center. The driver recognizes that the AR display shown in FIG. 5A is not accurate based on the determination image displayed on the display unit 170, and adjusts the HUD 150.

次に、本実施例のＡＲ表示システムにおけるＨＵＤの調整動作について図６のフローを参照して説明する。着座センサが搭載されている場合には、その検出結果が座席情報取得部１２０により取得され（Ｓ１００）、運転者の着座が検出されると、座席情報が取得され（Ｓ１０２）、この座席情報が視線位置推定部２１０へ提供される。視線位置推定部２１０は、座席情報に基づき運転者の視線位置を推定し（Ｓ１０４）、次に、ＨＵＤ情報取得部２２０がＨＵＤの光学情報を取得し（Ｓ１０６）、基準範囲算出部２３０は、ＨＵＤの光学情報に基づき基準範囲を算出する（Ｓ１０８）。次に、逸脱判定部２４０は、推定された視線位置が基準範囲を逸脱するか否かを判定し（Ｓ１１０）、逸脱していると判定された場合には、判定用画像提示部２５０が判定用画像を生成し、生成した判定用画像を表示部１７０に表示し、さらにＨＵＤの調整を促す案内を行う（Ｓ１１２）。 Next, the HUD adjustment operation in the AR display system of this embodiment will be described with reference to the flow of FIG. When the seating sensor is mounted, the detection result is acquired by the seat information acquisition unit 120 (S100), and when the driver's seating is detected, the seat information is acquired (S102), and this seat information is obtained. It is provided to the line-of-sight position estimation unit 210. The line-of-sight position estimation unit 210 estimates the driver's line-of-sight position based on the seat information (S104), then the HUD information acquisition unit 220 acquires the optical information of the HUD (S106), and the reference range calculation unit 230 determines. The reference range is calculated based on the optical information of the HUD (S108). Next, the deviation determination unit 240 determines whether or not the estimated line-of-sight position deviates from the reference range (S110), and if it is determined to deviate, the determination image presentation unit 250 determines. An image for HUD is generated, the generated image for determination is displayed on the display unit 170, and guidance for prompting adjustment of the HUD is performed (S112).

運転者は、ＨＵＤ１５０の調整が必要であることの案内を報知されると、入力部１１０を介して調整の指示を与え、調整部１５０は、この指示に従いアクチュエータ１５５を介して投射光学系１５４の光軸方向を変更する。このとき、運転者は、表示部１７０に表示された判定用画像を基準に、ＨＵＤ１５０の最適な調整を行うことができる。 When the driver is notified of the guidance that the HUD 150 needs to be adjusted, the driver gives an adjustment instruction via the input unit 110, and the adjustment unit 150 follows the instruction to the projection optical system 154 via the actuator 155. Change the optical axis direction. At this time, the driver can make the optimum adjustment of the HUD 150 with reference to the determination image displayed on the display unit 170.

図６Ａに、本実施例の変形例を示す。ステップＳ１００〜Ｓ１１２は、図６の場合と同様である。本変形例では、推定された視線位置が基準範囲を逸脱すると判定された場合であっても、運転者がＨＵＤ１５０の調整を行った場合には（Ｓ１２０）、判定用画像提示部２５０は、判定用画像を表示部１７０に表示させる（Ｓ１１２）。運転者は、表示部１７０に表示された画像を基準に、ＨＵＤ１５０の正確な調整を行うことができる。 FIG. 6A shows a modified example of this embodiment. Steps S100 to S112 are the same as in FIG. In this modification, even if it is determined that the estimated line-of-sight position deviates from the reference range, if the driver adjusts the HUD 150 (S120), the determination image presenting unit 250 determines. The image for display is displayed on the display unit 170 (S112). The driver can accurately adjust the HUD 150 with reference to the image displayed on the display unit 170.

このように本実施例によれば、運転者の視線位置が基準範囲から逸脱している場合には、表示部１７０に、ＨＵＤ１５０の調整が最適であるときに運転者が見えるべき本来のＡＲ表示の画像を表示するようにしたので、運転者は、どのようなＡＲ表示が正しいものであるかを判定することができ、ＨＵＤの調整を容易に行うことができる。また、運転者は、調整を促す案内を受けることで、自動的に、ＨＵＤの設定が適切でないことを知ることができる。 As described above, according to the present embodiment, when the line-of-sight position of the driver deviates from the reference range, the display unit 170 displays the original AR that the driver should see when the adjustment of the HUD 150 is optimal. Since the image of the above is displayed, the driver can determine what kind of AR display is correct, and can easily adjust the HUD. In addition, the driver can automatically know that the HUD setting is not appropriate by receiving the guidance prompting the adjustment.

ＡＲ表示は、虚像と実際の現実世界が一致して表示されていなければ意味がないので、ユーザーである運転者が初期調整を行う必要がある。しかし、ＨＵＤの表示は、虚像かつ運転者自身しか見られない映像であり、どこに何を合わせればいいのか分からない可能性が高い。本実施例で示した表示システム１００は、このような課題に対しても、効果を発揮できる。 Since the AR display is meaningless unless the virtual image and the actual real world are displayed in agreement, the driver who is the user needs to make initial adjustments. However, the HUD display is a virtual image and an image that can only be seen by the driver himself, and there is a high possibility that he does not know where and what to match. The display system 100 shown in this embodiment can be effective even for such a problem.

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various modifications and modifications are made within the scope of the gist of the invention described in the claims. It can be changed.

１００：ＡＲ表示システム １１０：入力部
１２０：座席情報取得部 １３０：撮像部
１４０：記憶部 １５０：ＨＵＤ部
１５１：光源 １５２：光学系
１５３：光変調手段 １５４：投射光学系
１５５：アクチュエータ １６０：調整部
１７０：表示部 １８０：音声出力部
１９０：制御部 ２００：調整プログラム
３００：座席 ３１０：軸
３２０：ヘッドレスト ３３０：メインミラー
３４０：フロントガラス
100: AR display system 110: Input unit 120: Seat information acquisition unit 130: Imaging unit 140: Storage unit 150: HUD unit 151: Light source 152: Optical system 153: Optical modulation means 154: Projection optical system 155: Actuator 160: Adjustment Unit 170: Display unit 180: Audio output unit 190: Control unit 200: Adjustment program 300: Seat 310: Axis 320: Headrest 330: Main mirror 340: Front glass

Claims (7)

拡張現実を画像投射により表示可能な画像投射手段と、
車両の座席に関する座席情報を取得する取得手段と、
前記座席情報に基づき当該座席の搭乗者の視線位置を推定する推定手段と、
前記画像投射手段の投射光学系に基づき前記拡張現実を見ることができる基準範囲を算出する算出手段と、
前記視線位置が前記基準範囲から逸脱しているか否かを判定する判定手段と、
前記視線位置が前記基準範囲から逸脱していると判定された場合に、前記拡張現実が正しく見えるべき画像をディスプレイに表示する表示手段と、
を含む表示システム。 An image projection means that can display augmented reality by image projection,
How to get seat information about vehicle seats and
An estimation means for estimating the line-of-sight position of a passenger in the seat based on the seat information, and
A calculation means for calculating a reference range in which the augmented reality can be seen based on the projection optical system of the image projection means, and
A determination means for determining whether or not the line-of-sight position deviates from the reference range, and
When it is determined that the line-of-sight position deviates from the reference range, a display means for displaying an image on which the augmented reality should look correctly is displayed.
Display system including. 表示システムはさらに、
前記視線位置が前記基準範囲から逸脱していると判定された場合に、前記画像投射手段の投射光学系の調整を促す案内手段を含む、請求項１に記載の表示システム。 The display system is also
The display system according to claim 1, further comprising a guiding means for prompting adjustment of the projection optical system of the image projection means when it is determined that the line-of-sight position deviates from the reference range. 表示システムはさらに、
ユーザー入力に基づき前記画像投射手段の投射光学系の調整を行う調整手段を含む、請求項１に記載の表示システム。 The display system is also
The display system according to claim 1, further comprising an adjustment means for adjusting the projection optical system of the image projection means based on user input. 前記画像投射手段は、前記拡張現実のための画像をフロントガラスに投射するミラーを含み、前記調整手段は、前記ミラーの光軸方向を調整する、請求項３に記載の表示システム。 The display system according to claim 3, wherein the image projection means includes a mirror that projects an image for augmented reality onto a windshield, and the adjustment means adjusts the optical axis direction of the mirror. 前記視線位置が前記基準範囲から逸脱していないと判定された場合であっても前記調整手段が実施される場合には、前記表示手段は、前記拡張現実が正しく見えるべき画像をディスプレイに表示する、請求項３または４に記載の表示システム。 When the adjusting means is implemented even when it is determined that the line-of-sight position does not deviate from the reference range, the display means displays an image on the display in which the augmented reality should look correct. , The display system according to claim 3 or 4 . 前記表示手段により表示される画像は、車両の前方を撮像した画像に前記拡張現実のための画像を重畳したものである、請求項１に記載の表示システム。 The display system according to claim 1, wherein the image displayed by the display means is an image obtained by capturing the front of the vehicle and superimposing an image for augmented reality. 前記画像投射手段は、ヘッドアップディスプレイ（ＨＵＤ）を含み、前記算出手段は、前記推定手段により推定された視線位置を含む面上において前記基準範囲を算出する、請求項１に記載の表示システム。 The image projection means includes a head-up display (HUD), the calculating means calculates a Oite the reference range on the plane including the line-of-sight position estimated by said estimating means, display of claim 1 system.
JP2017120957A 2017-06-21 2017-06-21 Display system Active JP6813437B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017120957A JP6813437B2 (en) 2017-06-21 2017-06-21 Display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017120957A JP6813437B2 (en) 2017-06-21 2017-06-21 Display system

Publications (2)

Publication Number Publication Date
JP2019006165A JP2019006165A (en) 2019-01-17
JP6813437B2 true JP6813437B2 (en) 2021-01-13

Family

ID=65027450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017120957A Active JP6813437B2 (en) 2017-06-21 2017-06-21 Display system

Country Status (1)

Country Link
JP (1) JP6813437B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113552905A (en) * 2021-06-22 2021-10-26 歌尔光学科技有限公司 Position adjusting method and system for vehicle-mounted HUD

Also Published As

Publication number Publication date
JP2019006165A (en) 2019-01-17

Similar Documents

Publication Publication Date Title
US10510276B1 (en) Apparatus and method for controlling a display of a vehicle
US11241960B2 (en) Head up display apparatus and display control method thereof
JP6244500B2 (en) Projection display device, projection display method, and projection display program
JP5341789B2 (en) Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program
CN111433067A (en) Head-up display device and display control method thereof
EP1878618A2 (en) Driving support method and apparatus
US20060262140A1 (en) Method and apparatus to facilitate visual augmentation of perceived reality
JP2010070066A (en) Head-up display
JP2007045169A (en) Information processor for vehicle
US10274726B2 (en) Dynamic eyebox correction for automotive head-up display
JP5092776B2 (en) Gaze direction detection device and gaze direction detection method
JP6804805B2 (en) Head-up display device
JP2013216286A (en) Monitoring device for confirming vehicle surroundings
KR20180022374A (en) Lane markings hud for driver and assistant and same method thereof
JP5813243B2 (en) Display device
JP2015095161A (en) Line-of-sight direction detection device
JP2017196911A (en) Image display device
JP6813437B2 (en) Display system
JP2017171146A (en) Head-up display device
JP2007047735A (en) Visual information display device and visual information display method
JP2019026198A (en) Head-up display device, and driver viewpoint detection method therefor
WO2021065698A1 (en) Head-up display device, method, and computer program
JP2018084767A (en) Display control device, control method, program, and storage medium
TW201339542A (en) Navigation system installed in vehicle, has virtual camera whose perspective projection is aligned in perspective view of viewer of display
JPWO2020090187A1 (en) Virtual image display device and head-up display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201217

R150 Certificate of patent or registration of utility model

Ref document number: 6813437

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150