JP2022128906A

JP2022128906A - Display control unit, display unit, and image display control method

Info

Publication number: JP2022128906A
Application number: JP2021027376A
Authority: JP
Inventors: 貴生人川手; Takao Kawate
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2021-02-24
Filing date: 2021-02-24
Publication date: 2022-09-05

Abstract

To improve the situation in which, in execution of image correction for preventing a variation in display position of an image in association with pitching and rolling of a vehicle, an effect of preventing the variation in display position is reduced depending on the difference in a viewpoint (eye) height position of a viewer of an image (driver or occupant).SOLUTION: A display control unit 36 has a vehicle posture information acquisition unit 40, a viewpoint position information acquisition unit 41 that acquires a viewer's viewpoint height position estimation information, and a control unit 38 that controls image correction including at least one of pitching correction and rolling correction. When the viewpoint height position is estimated to be higher than a standard position, the control unit 38 executes control of increasing the amount of correction in the image correction compared with the amount of correction at the standard position, and when the viewpoint height position is estimated to be lower than the standard position, executes control of reducing the amount of correction in the image correction compared with the amount of correction at the standard position.SELECTED DRAWING: Figure 3

Description

本発明は、表示制御装置、表示装置、及び画像表示制御方法等に関する。 The present invention relates to a display control device, a display device, an image display control method, and the like.

車両のピッチングやローリングに起因する画像の位置変動を補正する画像補正（ピッチング補正、ローリング補正）については、例えば、特許文献１に記載されている。 Image correction (pitching correction, rolling correction) for correcting positional fluctuation of an image caused by pitching or rolling of a vehicle is described in Patent Document 1, for example.

なお、車両のピッチングは、車両の左右軸（車両の中心（例えば重心）を通って、車両の左右方向に延びる軸）を中心として車両が前後に回転する、いわゆる縦揺れが生じた状態であり、車両の姿勢は、前傾姿勢あるいは後傾姿勢となる。 Vehicle pitching is a state in which the vehicle rotates back and forth about the vehicle's left-right axis (an axis extending in the left-right direction of the vehicle that passes through the center of the vehicle (for example, the center of gravity)). , the posture of the vehicle becomes a forward leaning posture or a rearward leaning posture.

また、車両のローリングは、前後軸（車両の中心（例えば重心）を通って、車両の前後方向に延びる軸）を中心として車両が左右に回転する、いわゆる横揺れが生じた状態であり、車両の姿勢は、左傾姿勢又は右傾姿勢となる。 Rolling of a vehicle is a state in which the vehicle rotates left and right about a front-rear axis (an axis that passes through the center of the vehicle (for example, the center of gravity) and extends in the front-rear direction of the vehicle). The posture of is a left leaning posture or a right leaning posture.

特許第５１６１７６０号公報（図３～図７等）Japanese Patent No. 5161760 (Figs. 3 to 7, etc.)

本発明者の検討によって、以下の課題が明らかとなった。
（１）ピッチングやローリングが生じると、車両（車体）の浮き上がりや沈み込みが生じて、表示中の画像の位置の変動が生じる。
（２）ここで、視認者（運転者等）の視点（目）位置が高い場合と、低い場合とでは、その画像の位置変動の程度に差が生じる。言い換えれば、ピッチングやローリングの中心軸から視点（目）までの距離が異なるとき、その距離が大きいほど、車両の揺れ（姿勢変動）の影響が大きくなり、表示されている画像の、車両の高さ方向における変化が大きくなり、画像の表示位置の変動が増大する。
（３）よって、上記の視点の高さ位置のばらつきを考慮せずに、一律の補正量にてピッチング補正やローリング補正を実施しても、画像の表示位置の変動の抑制効果には限界がある。抑制効果が低い場合は、視認者の違和感が増大する。
（４）また、画像の表示位置の変動の抑制効果が低いと、例えば、ヘッドアップディスプレイ（ＨＵＤ）装置が表示する、先方対象物（例えば前方車両）に重畳される画像（先方対象物重畳画像：例えば注意喚起マーク等）の、先方対象物に対する重畳精度が低下する場合もあり得る。 The inventor's studies have revealed the following problems.
(1) When pitching or rolling occurs, the vehicle (body) rises or sinks, and the position of the image being displayed fluctuates.
(2) Here, there is a difference in the degree of positional variation of the image between when the viewpoint (eyes) position of the viewer (driver or the like) is high and when it is low. In other words, when the distance from the central axis of pitching or rolling to the viewpoint (eyes) is different, the greater the distance, the greater the influence of vehicle shaking (posture fluctuation). The change in the vertical direction increases, and the variation in the display position of the image increases.
(3) Therefore, even if pitching correction and rolling correction are performed with a uniform correction amount without considering the above-mentioned variation in the height position of the viewpoint, there is a limit to the effect of suppressing the fluctuation of the display position of the image. be. If the suppressing effect is low, the discomfort of the viewer increases.
(4) In addition, if the effect of suppressing fluctuations in the display position of the image is low, for example, an image superimposed on a forward object (for example, a forward vehicle) displayed by a head-up display (HUD) device (a forward object superimposed image : for example, a warning mark, etc.) may be reduced in superimposition accuracy with respect to the destination object.

このような課題が、本発明者の検討により明らかとされた。このような課題については、上記の特許文献１には記載がなく、また、その対策についても言及されていない。 Such problems have been clarified by the studies of the present inventors. Japanese Patent Laid-Open No. 2002-200001 does not mention such a problem, nor does it refer to any countermeasures against the problem.

本発明の目的の１つは、車両のピッチングやローリングに伴う画像の表示位置の変動を抑制する画像補正の実施に際して、画像の視認者（運転者や搭乗者）の視点（目）高さ位置の違いによって、表示位置の変動の抑制効果が低下することを改善することである。 One of the objects of the present invention is to improve the viewpoint (eye) height position of the viewer (driver or passenger) of the image when performing image correction that suppresses fluctuations in the display position of the image due to pitching or rolling of the vehicle. It is to improve the fact that the effect of suppressing the fluctuation of the display position is lowered due to the difference in the display position.

本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。 Other objects of the present invention will become apparent to those skilled in the art by referring to the following exemplary aspects and best mode, as well as the accompanying drawings.

以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。 In order to facilitate an understanding of the general outline of the invention, the following illustrates embodiments in accordance with the invention.

第１の態様において、表示制御装置は、
車両に搭載され、画像を、前記車両に搭乗する視認者に視認させる表示装置の画像表示を制御する表示制御装置であって、
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施する。 In a first aspect, the display control device comprises:
A display control device that controls image display of a display device that is mounted on a vehicle and causes an image to be viewed by a viewer on board the vehicle,
a vehicle posture information acquisition unit that acquires posture information of the vehicle;
a viewpoint position information acquisition unit that acquires viewpoint height position estimation information that enables estimation of the viewpoint height position of the viewer;
Pitching correction for correcting the image so as to suppress variation in the display position of the image due to pitching of the vehicle, and rolling for correcting the image so as to suppress variation in the display position of the image due to rolling of the vehicle. Having a control unit that controls image correction including at least one of the corrections,
The control unit
As a result of estimation based on the viewpoint height position estimation information acquired by the viewpoint position information acquisition unit, when the viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is The correction amount is made larger than the correction amount at the standard position, and if it is estimated to be low, the correction amount is made smaller than the correction amount at the standard position.

第１の態様では、視認者の視点高さ位置を推定可能な視点高さ位置推定情報に基づいて、視認者の視点高さ位置を推定する。推定された視点高さ位置が、標準位置よりも高いと推定される場合は、画像補正の補正量をより大きくし、低いと推定される場合は、画像補正の補正量をより小さくする。 In the first aspect, the viewpoint height position of the viewer is estimated based on the viewpoint height position estimation information that enables estimation of the viewpoint height position of the viewer. If the estimated viewpoint height position is estimated to be higher than the standard position, the amount of image correction is increased, and if it is estimated to be lower, the amount of image correction is decreased.

視点高さ位置が高いということは、ピッチングやローリングの中心軸から視点（目）までの距離が大きいということである。この場合は、車両の揺れ（姿勢変動）の影響が大きくなり、表示されている画像の、車両の高さ方向における変化が大きくなり、画像の表示位置の変動が増大する傾向が生じる。よって、その大きな位置変動を効果的に抑制するべく、画像補正の補正量を増大させる。 A high viewpoint height position means that the distance from the central axis of pitching or rolling to the viewpoint (eyes) is large. In this case, the influence of vehicle shaking (posture variation) increases, and the displayed image tends to vary greatly in the height direction of the vehicle, increasing the variation in the display position of the image. Therefore, the correction amount of image correction is increased in order to effectively suppress the large positional fluctuation.

一方、視点高さ位置が低くなると、車両の揺れ（姿勢変動）の影響は小さくなるため、上記の大きな補正量を維持していては、オーバー補正となる可能性がある。よって、視点高さ位置の低下に応じて、画像補正の補正量も減少させるものである。 On the other hand, when the height position of the viewpoint is lowered, the influence of the shaking of the vehicle (posture fluctuation) becomes smaller, so if the above-mentioned large correction amount is maintained, there is a possibility of over-correction. Therefore, the correction amount of the image correction is also decreased according to the decrease in the viewpoint height position.

このような、視点高さ位置を考慮した画像補正を実施することで、視認者の違和感を抑制でき、また、先方対象物に対する画像の重畳性の低下を抑制することができる。 By performing such image correction in consideration of the viewpoint height position, it is possible to suppress the viewer's sense of discomfort, and to suppress deterioration in the ability of the image to be superimposed on the forward object.

第１の態様に従属する第２の態様において、
前記視点高さ位置推定情報は、
前記表示装置が、画像を被投影部材に投影する回転可能な曲面ミラーを含む光学系を備える場合における、前記曲面ミラーの位置情報であってもよく、
又は、
前記表示装置が、画像表示面を備える表示部と、前記表示装置に含まれる、画像を被投影部材に投影する回転不可の曲面ミラーを含む光学系と、を備える場合における、前記表示部における前記画像表示面上の画像表示位置情報であってもよい。 In a second aspect dependent on the first aspect,
The viewpoint height position estimation information is
Position information of the curved mirror in the case where the display device includes an optical system including a rotatable curved mirror that projects an image onto a projection target member,
or
When the display device includes a display unit having an image display surface, and an optical system including a non-rotatable curved mirror that projects an image onto a projection target member, the display unit includes: It may be image display position information on the image display surface.

第２の態様では、前記視点高さ位置推定情報として、回転可能な曲面ミラー（凹面鏡等）の位置情報、あるいは、曲面ミラー（凹面鏡等）が回転不可の場合における、表示部における画像表示位置情報を使用することができる。 In the second aspect, as the viewpoint height position estimation information, position information of a rotatable curved mirror (concave mirror, etc.), or image display position information on the display unit when the curved mirror (concave mirror, etc.) is not rotatable. can be used.

回転可能な曲面ミラー（凹面鏡等）の回転によって、アイボックスの高さ位置が変更されるため、曲面ミラーの位置情報（例えば、回転機構の構成要素であるアクチュエータの回転数、あるいは曲面ミラーの回転角等は、視認者の視点の高さ位置を推定する客観的なデータとして使用することができる。 Since the height position of the eyebox is changed by the rotation of a rotatable curved mirror (concave mirror, etc.), the position information of the curved mirror (for example, the number of rotations of the actuator, which is a component of the rotation mechanism, or the rotation of the curved mirror) Angles and the like can be used as objective data for estimating the height position of the viewer's viewpoint.

また、曲面ミラー（凹面鏡等）が回転不能な場合には、その曲面ミラーの光を反射する反射面への、画像の表示光の入射位置を調整することで、その反射面からの光の反射方向を制御し、アイボックスの高さ位置を変更することができる。そして、反射面への表示光の入射位置の変更は、結果的に、画像を表示する表示部における、画像表示面上での画像表示位置の調整によって実現される。よって、画像表示位置情報は、視認者の視点の高さ位置を推定する客観的なデータとして使用することができる。 In addition, when the curved mirror (concave mirror, etc.) cannot be rotated, by adjusting the incident position of the display light of the image on the reflecting surface that reflects the light of the curved mirror, the reflection of the light from the reflecting surface can be adjusted. You can control the direction and change the height position of the eyebox. The change in the incident position of the display light onto the reflecting surface is eventually realized by adjusting the image display position on the image display surface in the display section that displays the image. Therefore, the image display position information can be used as objective data for estimating the height position of the viewpoint of the viewer.

視点高さ位置推定情報を活用することで、視点位置をカメラで撮像して画像解析によって視点高さ位置を検出する場合に比べて、視点高さ位置の特定を、より容易化でき、また、より迅速化することができる。 By utilizing the viewpoint height position estimation information, the viewpoint height position can be specified more easily than when the viewpoint position is captured by a camera and the viewpoint height position is detected by image analysis. can be faster.

第１又は第２の態様に従属する第３の態様において、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、
推定された視点高さ位置が前記標準位置よりも高い場合は、視点高さ位置がより高くなると前記画像補正の補正量を増大させ、
推定された視点高さ位置が前記標準位置よりも低い場合は、視点高さ位置がより低くなると前記画像補正の補正量を減少させてもよい。 In a third aspect depending on the first or second aspect,
The control unit
Varying the correction amount of the image correction according to the degree of the estimated viewpoint height position,
when the estimated viewpoint height position is higher than the standard position, increasing the correction amount of the image correction as the viewpoint height position becomes higher,
When the estimated viewpoint height position is lower than the standard position, the correction amount of the image correction may be decreased when the viewpoint height position becomes lower.

第３の態様では、推定された視点高さ位置の程度に対応させて、画像補正の補正量を、適応的に可変制御する。これにより、車両の姿勢変動に対応したより適切な画像補正（ピッチング補正やローリング補正）が可能となる。 In the third aspect, the amount of image correction is adaptively variably controlled in correspondence with the degree of the estimated viewpoint height position. As a result, more appropriate image correction (pitching correction and rolling correction) corresponding to changes in the attitude of the vehicle becomes possible.

第３の態様に従属する第４の態様において、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合において、
推定された視点高さ位置が前記標準位置よりも高い範囲における、前記視点高さ位置推定情報の変動量に対する前記画像補正の補正量の変化率を第１の変化率とし、
推定された視点高さ位置が前記標準位置よりも低い範囲における、前記視点高さ位置推定情報の変動量に対する前記画像補正の補正量の変化率を第２の変化率とするとき、
前記第１の変化率を、前記第２の変化率よりも大きく設定してもよい。 In a fourth aspect depending on the third aspect,
The control unit
When varying the correction amount of the image correction according to the degree of the estimated viewpoint height position,
A change rate of the correction amount of the image correction with respect to the change amount of the viewpoint height position estimation information in a range in which the estimated viewpoint height position is higher than the standard position is defined as a first change rate;
When the change rate of the correction amount of the image correction with respect to the change amount of the viewpoint height position estimation information in the range where the estimated viewpoint height position is lower than the standard position is defined as a second rate of change,
The first rate of change may be set larger than the second rate of change.

第４の態様では、視点高さ位置に応じて画像補正の補正量を可変に制御する際、車両姿勢変動の影響を受けやすい範囲（標準位置よりも視点が高い範囲）では、視点高さ位置推定情報（回転数や回転角等：より広義には視点高さ位置）の変動量に対する補正量の変化率を大きく設定し、大きな画像位置の変動に迅速に追従可能とし、これによって画像の表示位置が大きく変化することを効果的に防止する。 In the fourth aspect, when variably controlling the correction amount of image correction according to the viewpoint height position, in a range susceptible to changes in vehicle posture (range where the viewpoint is higher than the standard position), the viewpoint height position The rate of change in the amount of correction for the amount of change in estimated information (rotation speed, angle of rotation, etc.: viewpoint height position in a broader sense) is set to be large, enabling rapid follow-up of large changes in image position, thereby enabling image display. To effectively prevent a position from greatly changing.

一方、標準位置よりも視点が低い場合は、画像の位置変動が小さくなるため、補正量をより小さくしてオーバー補正が生じないようにしつつ、小さな画像変動を、確実に抑制する。 On the other hand, when the viewpoint is lower than the standard position, the positional fluctuation of the image is small. Therefore, the correction amount is made smaller to prevent overcorrection, and small image fluctuations are reliably suppressed.

これによって、視認者の違和感を低減すると共に、先方対象物に対する画像の重畳性の低下も十分に抑制することが可能となる。 As a result, it is possible to reduce the discomfort of the viewer and to sufficiently suppress the deterioration of the superimposition of the image on the forward object.

第３又は第４の態様に従属する第５の態様において、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合、前記視点高さ位置が所定の高さ範囲外となる場合には、前記画像補正を停止する。 In a fifth aspect depending on the third or fourth aspect,
The control unit
When the correction amount of the image correction is varied according to the degree of the estimated viewpoint height position, the image correction is stopped when the viewpoint height position is out of a predetermined height range.

第５の態様では、画像補正は、視点高さ位置が所定高さ範囲内にある場合に実施し、所定高さ範囲外になると、画像補正を停止する（言い換えれば、画像補正量を零とする）。 In the fifth aspect, the image correction is performed when the viewpoint height position is within the predetermined height range, and when it is outside the predetermined height range, the image correction is stopped (in other words, the image correction amount is set to zero). do).

視点高さ位置が高すぎる場合は、車両の姿勢変動の影響を大きく受けて画像の表示位置の変動が増大していることから、画像補正を行ったとしても、画像の位置変動の抑制効果が不十分となり、画像が不自然に変動するおそれがある。また、無理に画像補正を実施したとき、その画像補正に伴う画像の不自然な変動が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととした。 If the viewpoint height position is too high, the change in the image display position is greatly affected by the change in the vehicle posture, so even if the image is corrected, the effect of suppressing the image position change is not sufficient. insufficient, and the image may fluctuate unnaturally. In addition, when image correction is performed forcibly, the unnatural variation of the image accompanying the image correction may rather give a sense of discomfort to the viewer. Considering these points, we decided not to perform image correction.

また、視点高さ位置が低すぎる場合は、車両の姿勢変動の影響も小さいことから、画像補正を停止しても影響は少ないと考えられる。また、小さい画像の位置変動に対応させて無理に画像補正を実施すると、その画像補正に伴う画像の細かな位置の変化が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととした。 Also, if the height of the viewpoint is too low, the effect of the change in the posture of the vehicle is small, so even if the image correction is stopped, the effect is considered to be small. Further, if image correction is forcibly performed in response to a small positional change of the image, the minute positional change of the image accompanying the image correction may rather make the viewer feel uncomfortable. Considering these points, we decided not to perform image correction.

第１又は第２の態様に従属する第６の態様において、
前記制御部は、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより低くなると前記画像補正の補正量を減少させてもよい。 In a sixth aspect depending on the first or second aspect,
The control unit
when the estimated viewpoint height position is in a range higher than the standard position, setting a correction amount of a predetermined fixed value as the correction amount of the image correction,
When the estimated viewpoint height position is in a range lower than the standard position, the correction amount of the image correction is varied according to the degree of the viewpoint height position, and when the viewpoint height position becomes lower, A correction amount of the image correction may be decreased.

第６の態様では、先に説明した第３の態様（推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する態様）の変形例の一例について記載している。言い換えれば、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも低い範囲にて実施し、標準位置よりも高い範囲では、補正量を所定の固定値とする（例えば、固定値は零を含む整数である）。 The sixth aspect describes an example of a modification of the third aspect described above (a mode in which the correction amount of the image correction is varied according to the degree of the estimated viewpoint height position). In other words, variable control of the correction amount of image correction is performed in a range where the viewpoint height position is lower than the standard position, and in a range higher than the standard position, the correction amount is set to a predetermined fixed value (for example, a fixed value). The value is an integer including zero).

視点高さ位置が標準位置よりも高い範囲で固定値の補正量を使用することで、補正量を大きく切り替える必要がなくなり、制御部の負担（例えば、補正量を算出したり、取得したりする処理負担）を軽減することが可能である。 By using a fixed value correction amount in the range where the viewpoint height position is higher than the standard position, there is no need to switch the correction amount greatly, and the burden on the control unit (for example, calculating and obtaining the correction amount processing load) can be reduced.

第１又は第２の態様に従属する第７の態様において、
前記制御部は、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより高くなると前記画像補正の補正量を増大させてもよい。 In a seventh aspect depending on the first or second aspect,
The control unit
when the estimated viewpoint height position is in a range lower than the standard position, setting a correction amount of a predetermined fixed value as the correction amount of the image correction,
When the estimated viewpoint height position is in a range higher than the standard position, the correction amount of the image correction is varied according to the degree of the viewpoint height position, and when the viewpoint height position is higher, A correction amount of the image correction may be increased.

第７の態様では、先に説明した第３の態様（推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する態様）の変形例の他の例について記載している。言い換えれば、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも高い範囲にて実施し、標準位置よりも低い範囲では、補正量を所定の固定値とする（例えば、固定値は零を含む整数である）。 In the seventh aspect, another example of a modified example of the third aspect described above (an aspect in which the correction amount of the image correction is varied according to the degree of the estimated viewpoint height position) is described. there is In other words, variable control of the correction amount of image correction is performed in a range where the viewpoint height position is higher than the standard position, and in a range lower than the standard position, the correction amount is set to a predetermined fixed value (for example, a fixed value). The value is an integer including zero).

視点高さ位置が標準位置よりも低い範囲で固定値の補正量を使用することで、細かな補正量の可変を頻繁に行う手間が省けることから、制御部の負担（例えば、補正量を算出したり、取得したりする処理負担）を軽減することが可能である。 By using a fixed correction amount in the range where the viewpoint height position is lower than the standard position, it is possible to save the trouble of frequently changing the fine correction amount, thus reducing the burden on the control unit (for example, calculating the correction amount). It is possible to reduce the processing load of processing and acquiring.

第１乃至第７の何れか１つの態様に従属する第８の態様において、
前記視点位置情報取得部は、
前記視認者の視点高さ位置を推定可能な前記視点高さ位置推定情報に加えて、
カメラによる前記視認者の撮像画像に基づいて検出され、かつ、前記視点高さ位置推定情報よりも視点高さ位置の分解能が高い視点高さ位置検出情報も取得し、
前記制御部は、
前記視点高さ位置推定情報により推定される視点高さ位置を、前記視点高さ位置検出情報を用いて微調整してもよい。 In an eighth aspect depending on any one of the first to seventh aspects,
The viewpoint position information acquisition unit
In addition to the viewpoint height position estimation information capable of estimating the viewpoint height position of the viewer,
Acquiring viewpoint height position detection information that is detected based on an image of the viewer captured by a camera and has a higher resolution of the viewpoint height position than the viewpoint height position estimation information,
The control unit
The viewpoint height position estimated by the viewpoint height position estimation information may be finely adjusted using the viewpoint height position detection information.

第８の態様では、視点高さ位置推定情報と、視点高さ位置の分解能がより高い、視点高さ位置検出情報とを併用する。例えば、視点高さ位置推定情報に基づいてアイボックスの高さ位置を推定し、視点高さ位置検出情報を用いて、アイボックス内での視点高さ位置を判定（例えば、アイボックス内における視点高さ位置を、「高」、「中」、「低」に区分して判定）することができる。これによって、より細かく視点高さ位置を判定（特定）でき、視点高さ位置の検出精度を向上させることができる。よって、より適切な画像補正を実施することができる。 In the eighth aspect, viewpoint height position estimation information and viewpoint height position detection information with higher resolution of the viewpoint height position are used together. For example, the height position of the eyebox is estimated based on the viewpoint height position estimation information, and the viewpoint height position within the eyebox is determined using the viewpoint height position detection information (for example, the viewpoint height position within the eyebox The height position can be classified into "high", "medium", and "low". As a result, the viewpoint height position can be determined (specified) more precisely, and the detection accuracy of the viewpoint height position can be improved. Therefore, more appropriate image correction can be performed.

第８の態様に従属する第９の態様において、
前記制御部は、
アイボックス内の区分された複数の領域の各々を単位として、視点追従ワーピングを実施すると共に、その実施の際に得られた、前記視認者の視点が前記複数の領域の内のどの領域に位置するかを示す視点位置情報を、前記視点高さ位置検出情報としても使用してもよい。 In a ninth aspect depending on the eighth aspect,
The control unit
eye-tracking warping is performed using each of a plurality of divided regions within an eyebox as a unit, and in which region of the plurality of regions the viewer's viewpoint obtained during the execution is positioned; The viewpoint position information indicating whether to detect the position may be used as the viewpoint height position detection information.

第９の態様では、カメラによる撮像により得られた視点位置情報を、視点追従ワーピング、及び視点高さ位置を考慮したピッチング補正／ローリング補正、に共通に使用する。これによって、ピッチング補正やローリング補正のために、単独で、視点高さ位置検出情報を取得する必要がなく、制御部等の負担軽減が図れる。 In the ninth aspect, viewpoint position information obtained by imaging with a camera is commonly used for viewpoint following warping and pitching correction/rolling correction considering the viewpoint height position. As a result, it is not necessary to acquire viewpoint height position detection information independently for pitching correction or rolling correction, and the burden on the control unit and the like can be reduced.

第１乃至第９の何れか１つの態様に従属する第１０の態様において、
前記制御部は、
前記画像補正の補正量の設定に際し、
前記ピッチング補正と前記ローリング補正とを区別して取り扱い、各補正に適した補正量を設定してもよい。 In a tenth aspect depending on any one of the first to ninth aspects,
The control unit
When setting the correction amount of the image correction,
The pitching correction and the rolling correction may be handled separately, and a correction amount suitable for each correction may be set.

第１０の態様によれば、ピッチング、ローリングの各々に対して、適切な画像補正を実施することが可能となる。 According to the tenth aspect, it is possible to perform appropriate image correction for each of pitching and rolling.

第１１の態様において、表示装置は、
第１乃至第１０の何れか１つの態様に記載の表示制御装置と、
前記ピッチング補正、及び前記ローリング補正の少なくとも一方を含む画像補正を実施する補正部と、
補正後の画像を表示する表示部と、
を有する。 In an eleventh aspect, the display device comprises
a display control device according to any one of the first to tenth aspects;
a correction unit that performs image correction including at least one of the pitching correction and the rolling correction;
a display for displaying the image after correction;
have

第１１の態様によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示可能な、高性能な表示装置を実現することができる。表示装置は広義に解釈され、例えば、ヘッドアップディスプレイ（ＨＵＤ）装置や、フラットパネルディスプレイ等を含むことができる。 According to the eleventh aspect, it is possible to realize a high-performance display device capable of displaying an image with little positional variation even when the vehicle pitches or rolls. Display devices are interpreted broadly and can include, for example, head-up display (HUD) devices, flat panel displays, and the like.

第１１の態様に従属する第１２の態様において、
前記表示装置は、
前記表示部に表示される画像の表示光を、前記車両に設けられる被投影部材に投影する光学系をさらに有し、前記運転者及び前記乗員の少なくとも一方に虚像を視認させる機能をもつヘッドアップディスプレイ装置であってもよい。 In a twelfth aspect depending on the eleventh aspect,
The display device
The head-up device further includes an optical system for projecting display light of an image displayed on the display unit onto a projection target member provided in the vehicle, and has a function of allowing at least one of the driver and the passenger to visually recognize a virtual image. It may be a display device.

第１２の態様によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示可能な、高性能なヘッドアップディスプレイ（ＨＵＤ）装置を実現することができる。 According to the twelfth aspect, it is possible to realize a high-performance head-up display (HUD) device capable of displaying an image with little positional variation even when the vehicle pitches or rolls.

第１３の態様において、画像表示制御方法は、
車両に搭載される表示装置における画像表示制御方法であって、
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の位置変動を補正する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
を含む。 In a thirteenth aspect, the image display control method includes:
An image display control method for a display device mounted on a vehicle, comprising:
obtaining attitude information including at least one of pitching and rolling of the vehicle;
obtaining viewpoint height position estimation information that enables estimation of a viewpoint height position of a viewer of an image displayed by the display device;
With respect to image correction for correcting positional fluctuations of the image displayed by the display device due to changes in the attitude of the vehicle, if the viewer's viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is is made larger than the correction amount at the standard position, and if the viewpoint height position is estimated to be lower than the standard position, the correction amount of the image correction is made smaller than the correction amount at the standard position. , a step of variably controlling the amount of image correction;
correcting an image displayed by the display device according to the variably controlled correction amount;
including.

第１３の態様によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示することができ、視認者の違和感を軽減することができ、また、先方対象物に重畳される画像（重畳画像）の重畳性の低下を抑制することができる。よって、位置変動の少ない画像を表示可能な、高性能な表示装置を実現することができる。 According to the thirteenth aspect, even if the vehicle pitches or rolls, it is possible to display an image with little positional variation, reduce the viewer's sense of incongruity, and allow the image to be superimposed on the forward object. It is possible to suppress the deterioration of the superimposition property of the image (superimposed image). Therefore, it is possible to realize a high-performance display device capable of displaying an image with little positional variation.

当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。 Those skilled in the art will readily appreciate that the illustrated embodiments in accordance with the present invention may be further modified without departing from the spirit of the invention.

図１（Ａ）は、ピッチング及びピッチング補正を説明するための図、図１（Ｂ）は、ローリング及びローリング補正を説明するための図である。FIG. 1A is a diagram for explaining pitching and pitching correction, and FIG. 1B is a diagram for explaining rolling and rolling correction. 図２は、表示制御装置の構成例、及び、表示制御装置を用いた表示システムの要部構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of a display control device and a main configuration example of a display system using the display control device. 図３は、表示制御装置を備えるヘッドアップディスプレイ（ＨＵＤ）装置の構成例、及び、ＨＵＤ装置を含む表示システムの構成例を示す図である。FIG. 3 is a diagram showing a configuration example of a head-up display (HUD) device provided with a display control device and a configuration example of a display system including the HUD device. 図４（Ａ）は、補正テーブルの一例を示す図、図４（Ｂ）は、視点高さ位置推定情報の変動に対する画像補正量の変化率の設定例を示す図である。FIG. 4A is a diagram showing an example of a correction table, and FIG. 4B is a diagram showing a setting example of a change rate of an image correction amount with respect to a change in viewpoint height position estimation information. 図５（Ａ）、（Ｂ）は、補正テーブルの他の例を示す図である。FIGS. 5A and 5B are diagrams showing other examples of correction tables. 図６（Ａ）、（Ｂ）は、補正テーブルのさらに他の例を示す図、図６（Ｃ）は、ルックアップテーブルの一例を示す図である。6A and 6B are diagrams showing still another example of the correction table, and FIG. 6C is a diagram showing an example of the lookup table. 図７（Ａ）は、視点高さ位置推定情報を用いてアイボックスの高さ位置を推定し、視点位置検出情報を用いてアイボックス内の視点高さ位置を判定（特定）する表示システムの要部構成例を示す図、図７（Ｂ）は、補正テーブルの内部構成例を示す図、図７（Ｃ）は、図７（Ｂ）の構成を採用したルックアップテーブルの例を示す図である。FIG. 7A shows a display system that estimates the height position of an eyebox using viewpoint height position estimation information and determines (specifies) the viewpoint height position in the eyebox using viewpoint position detection information. FIG. 7B is a diagram showing an example of the configuration of a main part, FIG. 7B is a diagram showing an example of the internal configuration of a correction table, and FIG. 7C is a diagram showing an example of a lookup table adopting the configuration of FIG. is. 図８は、ＨＵＤ装置の他の例（曲面ミラーが回転不可である例）を示す図である。FIG. 8 is a diagram showing another example of the HUD device (an example in which the curved mirror is non-rotatable). 図９は、画像補正処理の手順例を示すフローチャートである。FIG. 9 is a flowchart illustrating an example of the procedure of image correction processing.

以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。 The best mode described below is used for easy understanding of the invention. Accordingly, those skilled in the art should note that the present invention is not unduly limited by the embodiments described below.

（第１の実施形態）
図１を参照する。図１（Ａ）は、ピッチング及びピッチング補正を説明するための図、図１（Ｂ）は、ローリング及びローリング補正を説明するための図である。 (First embodiment)
Please refer to FIG. FIG. 1A is a diagram for explaining pitching and pitching correction, and FIG. 1B is a diagram for explaining rolling and rolling correction.

図１において、Ｘ方向は車両１の左右方向、Ｙ方向は車両１の高さ方向（路面の垂線に沿う方向）、Ｚ方向は車両１の前方（前後方向）を示す。ＸＹＺ直交座標系は、路面を基準とする実空間の座標系である。 In FIG. 1, the X direction indicates the left-right direction of the vehicle 1, the Y direction indicates the height direction of the vehicle 1 (direction along the perpendicular to the road surface), and the Z direction indicates the front of the vehicle 1 (front-rear direction). The XYZ orthogonal coordinate system is a coordinate system in real space with the road surface as a reference.

車両１のピッチングは、車両１の左右軸（車両の中心（例えば重心）を通って、車両１の左右方向に延びる軸）を中心として車両が前後に回転する、いわゆる縦揺れが生じた状態であり、車両１の姿勢は、後傾姿勢（図１（Ａ）参照）あるいは前傾姿勢（図１（Ｂ）参照）となる。 The pitching of the vehicle 1 occurs when the vehicle rotates back and forth about the left-right axis of the vehicle 1 (the axis extending in the left-right direction of the vehicle 1 through the center of the vehicle (for example, the center of gravity)). The posture of the vehicle 1 is tilted backward (see FIG. 1(A)) or tilted forward (see FIG. 1(B)).

車両１は、平坦な路面４を走行しているが、図１（Ａ）では例えば急加速したため、車両１の車体の前端部が路面４から浮き上がり、車両１の車体は後傾の姿勢となっている。ピッチング角はθａである。 Although the vehicle 1 is traveling on a flat road surface 4, in FIG. 1A, for example, the vehicle body is suddenly accelerated, so that the front end of the vehicle body of the vehicle 1 is lifted from the road surface 4, and the vehicle body of the vehicle 1 is tilted backward. ing. The pitching angle is θa.

図１（Ｂ）では、例えば急ブレーキをかけたため、車両１の車体の後端部が路面４から浮き上がり、車両１の車体は前傾姿勢となっている。ピッチング角はθｂである。 In FIG. 1B, for example, the rear end of the vehicle body of the vehicle 1 is lifted from the road surface 4 due to sudden braking, and the vehicle body of the vehicle 1 is tilted forward. The pitching angle is θb.

ピッチングが生じると、路面４を基準とする実空間に設定されるＸＹＺ直交座標系（第１の座標系）と、車両１の車体の姿勢に依存して変動する局所的なＸ１Ｙ１Ｚ１直交座標系（第２の座標系）との間にズレ（不一致）が生じる。このズレによって、画像の表示位置の変動が生じる。ピッチング補正は、この変動を抑制する画像補正（基本的には、第２の座標系を第１の座標系に変換する座標変換補正）である。 When pitching occurs, an XYZ orthogonal coordinate system (first coordinate system) set in real space with the road surface 4 as a reference and a local X1Y1Z1 orthogonal coordinate system ( second coordinate system). This shift causes a change in the display position of the image. Pitching correction is image correction that suppresses this variation (basically, coordinate conversion correction that converts the second coordinate system into the first coordinate system).

なお、ＨＵＤ装置において、ピッチング等に起因して、例えば画像の表示光がウインドシールド（被投影部材）に投影される位置が変化するなどして、表示画像の形状が変動する場合もあり得るが、この場合は、ワーピング補正（光学系に起因する歪みとは逆の歪みを、画像に事前に与える補正）により対応可能である。 In the HUD device, due to pitching or the like, for example, the position where the display light of the image is projected onto the windshield (projection target member) changes, and the shape of the displayed image may change. , in this case, warping correction (correction that preliminarily gives the image a distortion opposite to the distortion caused by the optical system) can be used.

図１（Ａ）、（Ｂ）の上側において実線で示されるように、ピッチングが生じる前は、注意喚起マーク（虚像）７０が、先方対象物（例えば前方車両）６０に重畳されて表示されているが、ピッチングが生じると、破線で示されるように、注意喚起マーク（虚像）の位置が上下方向（ＸＹＺ直交座標系における車両１の高さ方向（Ｙ方向））に移動する。図１（Ａ）では、変位量をΔＤ１と表記している。図１（Ｂ）では、変位量をΔＤ２と表記している。また、図中、位置の移動が生じた後の注意喚起マーク（虚像）には、７０’の符号を付している。 As indicated by the solid lines on the upper side of FIGS. 1A and 1B, before pitching occurs, a warning mark (virtual image) 70 is superimposed on a forward object (for example, a forward vehicle) 60 and displayed. However, when pitching occurs, the position of the caution mark (virtual image) moves in the vertical direction (height direction (Y direction) of the vehicle 1 in the XYZ orthogonal coordinate system) as indicated by the dashed line. In FIG. 1A, the amount of displacement is indicated as ΔD1. In FIG. 1B, the amount of displacement is indicated as ΔD2. In addition, in the drawing, the attention-calling mark (virtual image) after the positional movement has occurred is denoted by 70'.

表示中の画像の位置が瞬時的に変化することで、運転者や、その他の搭乗者に違和感が生じる場合があり、また、図１（Ａ）、（Ｂ）の例のように、先方対象物６０に対する注意喚起マーク７０の重畳性が低下する場合もあり、この点も違和感の原因となり得る。 An instantaneous change in the position of the displayed image may cause discomfort to the driver and other passengers. In some cases, the superimposition of the attention-calling mark 70 on the object 60 may deteriorate, which may also cause discomfort.

また、車両１のローリングは、前後軸（車両の中心（例えば重心）を通って、車両１の前後方向に延びる軸）を中心として車両１が左右に回転する、いわゆる横揺れが生じた状態であり、車両１の姿勢は、右傾姿勢（図１（Ｃ）参照）又は左傾姿勢（図１（Ｄ）参照）となる。 Rolling of the vehicle 1 occurs when the vehicle 1 rotates left and right about a front-rear axis (an axis extending in the front-rear direction of the vehicle 1 through the center of the vehicle (for example, the center of gravity)). There, the posture of the vehicle 1 is a right leaning posture (see FIG. 1(C)) or a left leaning posture (see FIG. 1(D)).

ローリングが生じると、路面４を基準とする実空間に設定されるＸＹＺ直交座標系（第１の座標系）と、車両１の車体の姿勢に依存して変動する局所的なＸ１Ｙ１Ｚ１直交座標系（第２の座標系）との間にズレ（不一致）が生じる。このズレによって、画像の表示位置の変動が生じる。ローリング補正は、この変動を抑制する画像補正（基本的には、第２の座標系を第１の座標系に変換する座標変換補正）である。 When rolling occurs, an XYZ orthogonal coordinate system (first coordinate system) set in real space with the road surface 4 as a reference and a local X1Y1Z1 orthogonal coordinate system (first coordinate system) that varies depending on the attitude of the vehicle body of the vehicle 1 ( second coordinate system). This shift causes a change in the display position of the image. Rolling correction is image correction that suppresses this variation (basically, coordinate conversion correction that converts the second coordinate system into the first coordinate system).

図１（Ｃ）では、例えば、右側にハンドルを切ったことから、車両１の車体の左端部が路面４から浮き上がり、車両１の車体は右傾姿勢となっている。ローリング角はθｃである。 In FIG. 1C, for example, since the steering wheel is turned to the right, the left end of the vehicle body of the vehicle 1 is lifted from the road surface 4, and the vehicle body of the vehicle 1 is tilted to the right. The rolling angle is θc.

図１（Ｄ）では、例えば、左側にハンドルを切ったことから、車両１の車体の右端部が路面４から浮き上がり、車両１の車体は左傾姿勢となっている。ローリング角はθｄである。 In FIG. 1(D), for example, since the steering wheel is turned to the left, the right end of the vehicle body of the vehicle 1 is lifted from the road surface 4, and the vehicle body of the vehicle 1 is tilted to the left. The rolling angle is θd.

図１（Ｃ）、（Ｄ）の上側において実線で示されるように、ローリングが生じる前は、注意喚起マーク（虚像）７０が、先方対象物（例えば前方車両）６０に重畳されて表示されているが、ローリングが生じると、破線で示されるように、注意喚起マーク（虚像）の位置が左右方向（ＸＹＺ直交座標系における車両１の幅方向（Ｘ方向））、及び、上下方向（ＸＹＺ直交座標系における車両１の高さ方向（Ｙ方向））に移動する。 As indicated by solid lines on the upper side of FIGS. 1(C) and 1(D), before rolling occurs, a warning mark (virtual image) 70 is superimposed on a forward object (for example, a forward vehicle) 60 and displayed. However, when rolling occurs, as indicated by the dashed lines, the position of the caution mark (virtual image) changes in the horizontal direction (the width direction (X direction) of the vehicle 1 in the XYZ orthogonal coordinate system) and the vertical direction (the XYZ orthogonal coordinate system). It moves in the height direction (Y direction) of the vehicle 1 in the coordinate system.

図１（Ｃ）では、左右方向の変位量（ヨーイング成分）をΔＬ１と表記し、上下方向の変位量をΔＤ３と表記している。図１（Ｄ）では、左右方向の変位量（ヨーイング成分）をΔＬ２と表記し、上下方向の変位量をΔＤ４と表記している。また、位置の移動が生じた後の注意喚起マーク（虚像）には、７０’の符号を付している。 In FIG. 1C, the amount of displacement (yawing component) in the horizontal direction is denoted as ΔL1, and the amount of displacement in the vertical direction is denoted as ΔD3. In FIG. 1D, the amount of displacement (yawing component) in the horizontal direction is denoted by ΔL2, and the amount of displacement in the vertical direction is denoted by ΔD4. Further, the caution mark (virtual image) after the movement of the position is attached with the reference numeral 70'.

図１（Ｃ）、（Ｄ）における、左右方向の変位量（ヨーイング成分）ΔＬ１、ΔＬ２に関しては、車両１に搭乗する運転者（あるいは、その他の搭乗者）の視点（目）の高さ位置（ＸＹＺ直交座標系における車両１の高さ方向（Ｙ方向）に沿う位置）が異なることによる変動ばらつきはない。 1(C) and (D), the displacement amounts (yawing components) .DELTA.L1 and .DELTA.L2 in the left-right direction are the height position of the viewpoint (eyes) of the driver (or other occupant) riding in the vehicle 1. There is no variation due to different positions (positions along the height direction (Y direction) of the vehicle 1 in the XYZ orthogonal coordinate system).

但し、図１（Ａ）～（Ｄ）における上下方向の変位量ΔＤ１～ΔＤ４に関しては、視点高さ位置が異なると、変位量も変動することになり、よって、一律の補正量による画像補正では、位置補正の精度に限界がある。したがって、視認者の視点（目）の高さ位置を考慮して、補正量を可変に制御することが重要となる。 However, with respect to the displacement amounts ΔD1 to ΔD4 in the vertical direction in FIGS. , the accuracy of the position correction is limited. Therefore, it is important to variably control the correction amount in consideration of the height position of the viewpoint (eyes) of the viewer.

図２を参照する。図２は、表示制御装置の構成例、及び、表示制御装置を用いた表示システムの要部構成例を示す図である。 Please refer to FIG. FIG. 2 is a diagram illustrating a configuration example of a display control device and a main configuration example of a display system using the display control device.

図２の表示システム（ここでは表示装置としてＨＵＤ装置を用いることを想定する）では、アイボックスＥＢの高さの位置（Ｙ方向における位置）を、視認者（運転者等）の視点（目）の高さ位置に合わせて調整することができる。 In the display system of FIG. 2 (here, it is assumed that a HUD device is used as the display device), the height position (position in the Y direction) of the eyebox EB is set to the viewpoint (eyes) of the viewer (driver or the like). can be adjusted according to the height of the

図２では、標準位置のアイボックスＥＢを実線で示し、標準位置よりも高い位置（図中、「高」と表記）にあるアイボックスＥＢ’の一部を破線で示し、標準位置よりも低い位置（図中「低」と表記）にあるアイボックスＥＢ’’を一点鎖線で示している。なお、アイボックスＥＢは、立体的な形状を有するが、図２では、説明の便宜上、平面的に示している。 In FIG. 2 , the eyebox EB at the standard position is indicated by a solid line, and a part of the eyebox EB′ at a position higher than the standard position (indicated as “high” in the figure) is indicated by a broken line and is lower than the standard position. The eyebox EB'' at the position (denoted as "low" in the figure) is indicated by a dashed line. Although the eye box EB has a three-dimensional shape, it is shown planarly in FIG. 2 for convenience of explanation.

図２では、アイボックスＥＢは、複数の領域（Ｚ１～Ｚ９）に区分されており、視点（目）の位置は、その区分された各領域を単位として検出可能である。この構成によれば、視点（目）が位置する領域にのみスポットライティング（局所的画像投影）を実施することで光源の消費電力を削減できる。また、光学系（被投影部材としてのウインドシールド等を含む）による画像の歪みとは逆の歪みを画像に事前に与えるワーピングを、上記の区分された領域単位で実施する視点追従ワーピングを採用することで、電力消費を抑えつつ画像の歪みを抑制することができる。 In FIG. 2, the eye box EB is divided into a plurality of areas (Z1 to Z9), and the position of the viewpoint (eye) can be detected in units of each divided area. According to this configuration, power consumption of the light source can be reduced by performing spot lighting (local image projection) only in the region where the viewpoint (eye) is located. In addition, viewpoint-following warping is adopted, in which warping is performed in advance for each of the above-mentioned divided areas, which is the opposite of the distortion of the image due to the optical system (including the windshield as a projection target). This makes it possible to suppress image distortion while suppressing power consumption.

視点（目）位置の検出は、例えば、カメラ１５で、視認者の目（顔等であってもよい）を撮像して、視点位置検出部３４にて画像処理等を実施することで判定（特定）することができる。図２の表示システムでは、視点（目）位置検出情報Ｇ２は、プロセッサ（表示制御装置）３６に供給される。 The viewpoint (eye) position is detected by, for example, capturing an image of the viewer's eyes (which may be a face or the like) with the camera 15 and performing image processing or the like in the viewpoint position detection unit 34 ( specified). In the display system of FIG. 2, the viewpoint (eye) position detection information G2 is supplied to the processor (display control device) 36 .

一方、アイボックスＥＢ（ＥＢ’、ＥＢ’’）の高さ位置は、曲面ミラー回転制御部３１が制御する曲面ミラー（図２では不図示、図３の符号２８）の位置情報（言い換えれば、回転情報：具体的には回転数や回転角）に基づいて特定することができる。ここで、アイボックスＥＢの高さ位置は、例えば、視点（目）６が、アイボックスＥＢ内の領域Ｚ５（アイボックス内の９個の区分された領域のうちの中央に位置する領域）に位置するように事前に調整される。よって、アイボックスＥＢの高さ位置は、視点（目）６の高さを反映している。このため、曲面ミラー回転制御部３１から得られる曲面ミラーの位置情報（回転情報：回転数や回転角）を参照することで、視点（目）の高さ位置を推定することができる。図２の表示システムでは、その曲面ミラーの位置情報は、視点（目）位置推定情報Ｇ１として、プロセッサ（表示制御装置）３６に供給される。 On the other hand, the height position of the eyebox EB (EB', EB'') is positional information (in other words, Rotation information: Specifically, it can be specified based on the number of rotations and rotation angle). Here, the height position of the eyebox EB is such that, for example, the viewpoint (eye) 6 is located in the area Z5 in the eyebox EB (the area located in the center of the nine divided areas in the eyebox). Pre-adjusted to position. Therefore, the height position of the eyebox EB reflects the height of the viewpoint (eye) 6 . Therefore, the height position of the viewpoint (eyes) can be estimated by referring to the curved mirror position information (rotation information: rotation speed and rotation angle) obtained from the curved mirror rotation control unit 31 . In the display system of FIG. 2, the position information of the curved mirror is supplied to the processor (display control device) 36 as viewpoint (eye) position estimation information G1.

プロセッサ（表示制御装置）３６は、画像表示を制御する制御部３８を有する。制御部３８は、車両姿勢情報取得部４０と、視点位置情報取得部４１と、画像補正を統括的に制御する補正制御部（画像補正制御部）４３を有する。 A processor (display control device) 36 has a control unit 38 that controls image display. The control unit 38 has a vehicle attitude information acquisition unit 40, a viewpoint position information acquisition unit 41, and a correction control unit (image correction control unit) 43 that controls image correction in an integrated manner.

補正制御部（画像補正制御部）４３は、ピッチング・ローリング補正制御部４２と、ワーピング制御部４４と、を有する。なお、ピッチング・ローリング補正制御部４２は、１つの補正制御部が、ピッチング補正及びローリング補正を共通に制御してもよく、ピッチング補正用の補正制御部とローリング補正用の補正制御部とを別々にもつ構成であってもよい。 The correction control section (image correction control section) 43 has a pitching/rolling correction control section 42 and a warping control section 44 . In the pitching/rolling correction control section 42, one correction control section may commonly control pitching correction and rolling correction, and the correction control section for pitching correction and the correction control section for rolling correction may be separately controlled. It may be a configuration having

ピッチング・ローリング補正制御部４２は、視点（目）位置推定情報Ｇ１を参照しつつ、あるいは、さらに視点（目）位置検出情報Ｇ２も参照しつつ、視点高さ位置に応じた補正量を取得して、画像補正を実施する（詳細は後述する）。 The pitching/rolling correction control unit 42 acquires a correction amount corresponding to the viewpoint height position while referring to the viewpoint (eye) position estimation information G1 or further referring to the viewpoint (eye) position detection information G2. image correction is performed (details will be described later).

次に、図３を参照する。図３は、表示制御装置を備えるヘッドアップディスプレイ（ＨＵＤ）装置の構成例、及び、ＨＵＤ装置を含む表示システムの構成例を示す図である。図３において、図２と共通する部分には同じ符号を付している。 Next, refer to FIG. FIG. 3 is a diagram showing a configuration example of a head-up display (HUD) device provided with a display control device and a configuration example of a display system including the HUD device. In FIG. 3, parts common to those in FIG. 2 are given the same reference numerals.

図３において、ヘッドアップディスプレイ（ＨＵＤ）装置１００は、例えば、車両１のダッシュボード７の内部に収納されている。ＨＵＤ装置１００は、光源部２４（フラットパネルディスプレイ等を有する表示部２２を含む）と、光学系としての平面ミラー２６及び曲面ミラー（凹面鏡等）２８と、曲面ミラー（凹面鏡等）２８を回転駆動する回転機構（アクチュエータを含む）３０と、曲面ミラーの回転を制御する曲面ミラー回転制御部３１と、入力インタフェース（入力Ｉ／Ｆ）３２と、視点位置制御部３４と、プロセッサ（表示制御装置）３６と、メモリ（記憶装置あるいは記憶部）５０と、描画メモリ６５と、画像処理部８０と、を有する。 In FIG. 3, a head-up display (HUD) device 100 is housed inside the dashboard 7 of the vehicle 1, for example. The HUD device 100 rotates a light source unit 24 (including a display unit 22 having a flat panel display, etc.), a plane mirror 26 and a curved mirror (concave mirror, etc.) 28 as an optical system, and a curved mirror (concave mirror, etc.) 28. a rotating mechanism (including an actuator) 30, a curved mirror rotation control unit 31 that controls the rotation of the curved mirror, an input interface (input I/F) 32, a viewpoint position control unit 34, and a processor (display control device) 36 , a memory (storage device or storage unit) 50 , a drawing memory 65 and an image processing unit 80 .

プロセッサ（表示制御装置）３６は、先に図２で説明したとおり、画像表示を制御する制御部３８を有し、この制御部３８は、車両姿勢情報取得部４０と、視点位置情報取得部４１と、画像補正を統括的に制御する補正制御部（画像補正制御部）４３と、を有する。補正制御部（画像補正制御部）４３は、ピッチング・ローリング補正制御部４２と、ワーピング制御部４４と、を有する。 The processor (display control device) 36 has a control section 38 for controlling image display, as described above with reference to FIG. and a correction control unit (image correction control unit) 43 that controls image correction in an integrated manner. The correction control section (image correction control section) 43 has a pitching/rolling correction control section 42 and a warping control section 44 .

メモリ５０は、補正テーブル５２を有する。補正テーブル５２は、ピッチング補正テーブル５４と、ローリング補正テーブル５６と、ワーピング補正テーブル５８とを備える。なお、画像の補正の補正量を、補正テーブルを用いずに演算にて算出する場合には、メモリ５０には、補正演算データ５９が記憶される。 Memory 50 has a correction table 52 . The correction table 52 includes a pitching correction table 54 , a rolling correction table 56 and a warping correction table 58 . When the correction amount for image correction is calculated by calculation without using the correction table, the memory 50 stores correction calculation data 59 .

画像処理部８０は、バス８２と、画像生成部８４と、プロセッサ（表示制御装置）３６から供給される補正量の情報を用いて、画像データを補正する補正部（補正処理部）８６と、補正後の画像データを光源部２４に供給する出力バッファ８８と、を有する。 The image processing unit 80 includes a bus 82, an image generation unit 84, a correction unit (correction processing unit) 86 that corrects image data using correction amount information supplied from the processor (display control device) 36, and an output buffer 88 that supplies corrected image data to the light source unit 24 .

また、図３の例では、視認者５（５’、５’’）の視点（目）や顔を撮像するカメラ１５は、ＨＵＤ装置１００と共に、ダッシュボード７の内部に配置されている。 In addition, in the example of FIG. 3 , the camera 15 for capturing the viewpoint (eyes) and face of the viewer 5 (5′, 5″) is arranged inside the dashboard 7 together with the HUD device 100 .

また、車両１の姿勢情報（ロール角、ピッチ角）を取得するために、ロール角センサ９及びピッチ角センサ１１（これらは、例えば加速度センサにより構成される）が設けられる。これらのセンサによって検出されたロール角、ピッチ角の情報は、車両ＥＣＵ１３を経由して、車両姿勢情報Ｇ０として、ＨＵＤ装置１００の入力インタフェース（入力Ｉ／Ｆ）３２に供給される。 In addition, a roll angle sensor 9 and a pitch angle sensor 11 (which are configured by, for example, acceleration sensors) are provided to acquire posture information (roll angle, pitch angle) of the vehicle 1 . Information on the roll angle and pitch angle detected by these sensors is supplied to the input interface (input I/F) 32 of the HUD device 100 as vehicle attitude information G0 via the vehicle ECU 13 .

また、曲面ミラー回転制御部３１から、図２にて説明した回転情報（視点高さ位置推定情報）Ｇ１が入力Ｉ／Ｆ３２に供給される。また、視点位置検出部３４から、視点高さ位置検出情報Ｇ２が入力Ｉ／Ｆ３２に供給される。車両姿勢情報Ｇ０は、プロセッサ（表示制御装置）３６の車両姿勢情報取得部４０により取得され、回転情報（視点高さ位置推定情報）Ｇ１、及び、視点高さ位置検出情報Ｇ２は、プロセッサ（表示制御装置）３６の視点位置情報取得部４１によって取得され、取得された情報は、ピッチング補正やローリング補正の際の補正量の決定のために使用される。 Further, from the curved mirror rotation control unit 31, the rotation information (viewpoint height position estimation information) G1 described in FIG. Also, viewpoint height position detection information G2 is supplied from the viewpoint position detection unit 34 to the input I/F 32 . The vehicle attitude information G0 is acquired by the vehicle attitude information acquisition unit 40 of the processor (display control device) 36, and the rotation information (viewpoint height position estimation information) G1 and viewpoint height position detection information G2 are acquired by the processor (display control device). The acquired information is acquired by the viewpoint position information acquiring section 41 of the control device) 36 and is used for determining the amount of correction for pitching correction and rolling correction.

ピッチング・ローリング補正制御部４２は、補正量を決定するために、適宜、メモリ５０内の補正テーブル５２を参照可能である。補正テーブル５２は、例えば、ルックアップテーブル（ＬＵＴ）形式としてもよい。 The pitching/rolling correction control section 42 can appropriately refer to the correction table 52 in the memory 50 in order to determine the correction amount. The correction table 52 may be, for example, in lookup table (LUT) format.

また、図３の上側に示されるように、視認者（運転者や他の搭乗者）５の視点（目）６の高さ位置（Ｙ方向の位置）は、視認者の身長や姿勢に応じて変動する。図３では、標準位置の視認者には符号５を付し、そのときの視点（目）には符号６を付している。標準位置よりも高い視点（目）には符号６’を付し、そのときの視認者には符号５’を付している。標準位置よりも低い視点（目）には符号６’’を付し、そのときの視認者には符号５’’を付している。 Further, as shown in the upper part of FIG. 3, the height position (position in the Y direction) of the visual point (eyes) 6 of the viewer (driver or other passenger) 5 varies depending on the height and posture of the viewer. fluctuate. In FIG. 3, reference numeral 5 is attached to the viewer in the standard position, and reference numeral 6 is attached to the viewpoint (eye) at that time. A viewpoint (eye) higher than the standard position is denoted by 6', and the viewer at that time is denoted by 5'. A viewpoint (eye) that is lower than the standard position is denoted by 6'', and the viewer at that time is denoted by 5''.

また、標準位置の視点（目）６に対応して、虚像表示面ＰＳ上に虚像Ｖが表示される。また、視点（目）６’に対応して、虚像表示面ＰＳ’上に虚像Ｖ’が表示される。また、視点（目）６’’に対応して、虚像表示面ＰＳ’’上に虚像Ｖ’’が表示される。言い換えれば、視点（目）位置が標準位置よりも高くなると、表示される虚像（画像）位置は低くなり、標準位置よりも低くなると、表示される虚像（画像）位置は高くなる。 Also, a virtual image V is displayed on the virtual image display surface PS corresponding to the viewpoint (eye) 6 at the standard position. Also, a virtual image V' is displayed on the virtual image display surface PS' corresponding to the viewpoint (eye) 6'. A virtual image V'' is displayed on the virtual image display surface PS'' corresponding to the viewpoint (eye) 6''. In other words, when the viewpoint (eye) position is higher than the standard position, the displayed virtual image (image) position is lower, and when it is lower than the standard position, the displayed virtual image (image) position is higher.

視点（目）６（６’、６’’）の高さ位置の変化に対応して、曲面ミラー（凹面鏡等）２８が回転機構３１によって回転され、これによって曲面ミラー２８の位置が適宜、変化する。 A curved mirror (concave mirror, etc.) 28 is rotated by a rotating mechanism 31 in response to changes in the height position of the viewpoint (eye) 6 (6′, 6″), thereby appropriately changing the position of the curved mirror 28. do.

曲面ミラー２８の位置の変化に対応して、アイボックスＥＢの高さ位置（Ｙ方向の位置）が変化する。図３において、標準位置のアイボックスにはＥＢの符号を付し、標準位置よりも高いアイボックスにはＥＢ’の符号を付し、標準位置よりも低いアイボックスにはＥＢ’’の符号を付している。 As the position of the curved mirror 28 changes, the height position (position in the Y direction) of the eyebox EB changes. In FIG. 3, an eyebox at the standard position is labeled EB, an eyebox higher than the standard position is labeled EB', and an eyebox lower than the standard position is labeled EB''. attached.

このように、曲面ミラー２８の位置情報（回転情報：回転数や回転角の情報）は、アイボックスの高さ位置に対応し、アイボックスの高さ位置は、視認者の視点（目）の高さ位置に対応している。よって、曲面ミラー２８の位置情報（回転情報：回転数や回転角の情報）は、視認者の視点（目）の高さ位置を推定可能な客観的な情報として活用することができる（但し、これに限定されるものではない。他の情報を利用して視点（目）の高さ位置を推定する例については後述する）。 In this way, the positional information (rotational information: rotation speed and rotation angle information) of the curved mirror 28 corresponds to the height position of the eyebox, and the height position of the eyebox corresponds to the viewpoint (eyes) of the viewer. It corresponds to the height position. Therefore, the position information (rotational information: information on the number of rotations and the angle of rotation) of the curved mirror 28 can be utilized as objective information that can estimate the height position of the viewpoint (eyes) of the viewer (however, The present invention is not limited to this, and an example of estimating the height position of the viewpoint (eyes) using other information will be described later).

次に、図４を参照する。図４（Ａ）は、補正テーブルの一例を示す図、図４（Ｂ）は、視点高さ位置推定情報の変動に対する画像補正量の変化率の設定例を示す図である。 Reference is now made to FIG. FIG. 4A is a diagram showing an example of a correction table, and FIG. 4B is a diagram showing a setting example of a change rate of an image correction amount with respect to a change in viewpoint height position estimation information.

補正テーブルは、例えば、ルックアップテーブル（ＬＵＴ）形式で構築することができる。図４（Ａ）の補正テーブル（ＬＵＴ）は、車両姿勢情報（ピッチ角θｐ又はロール角θｒ）と、視点高さ位置推定情報（曲面ミラーの回転数又は回転角）と、をアドレス変数としてアクセスされ、それらの入力に対応する１つの補正量（補正量Ａ～Ｗの何れか）が出力される。補正量Ａ～Ｗの値に関しては、Ａ＞Ｂ＞Ｃ・・・・＞Ｗが成立する。 The correction table can be constructed, for example, in lookup table (LUT) format. The correction table (LUT) in FIG. 4A is accessed using vehicle attitude information (pitch angle θp or roll angle θr) and viewpoint height position estimation information (rotation number or rotation angle of curved mirror) as address variables. and one correction amount (one of the correction amounts A to W) corresponding to those inputs is output. Regarding the values of the correction amounts A to W, A>B>C . . . >W is established.

図４（Ａ）では、視点（目）位置が標準位置であるときは、補正量Ｃが選択される。このときの回転数は「ｃ」、曲面ミラーの回転角は「ｃ’」であり、この「ｃ」、「ｃ’」が設計中心であり、言い換えれば、この「ｃ」、「ｃ’」が、視点高さが、標準位置よりも高いか低いかを判定する基準閾値Ｓｔｈ１となる。 In FIG. 4A, the correction amount C is selected when the viewpoint (eye) position is the standard position. At this time, the number of rotations is "c", and the rotation angle of the curved mirror is "c'". These "c" and "c'" are the design centers. is the reference threshold value Sth1 for determining whether the viewpoint height is higher or lower than the standard position.

ここで、例えば、回転数の数値に関して、ａ＜ｂ＜ｃ＜・・・・＜ｗが成立する。回転数がａ、ｂ（＜ｃ）のときは、アイボックスＥＢは標準位置よりも高く設定され、よって、視点（目）位置は標準位置よりも高いと推定され、表示される虚像は、標準位置よりも低い位置（ダウン位置）に表示される（図３参照）。 Here, for example, a<b<c< . When the number of revolutions is a, b (<c), the eyebox EB is set higher than the standard position. It is displayed at a position lower than the position (down position) (see FIG. 3).

一方、回転数がｃ・・・ｗ（＞ｃ）のときは、アイボックスＥＢは標準位置よりも低く設定され、よって、視点（目）位置は標準位置よりも低いと推定され、表示される虚像は、標準位置よりも高い位置（アップ位置）に表示される（図３参照）。 On the other hand, when the number of revolutions is c...w (>c), the eyebox EB is set lower than the standard position, so the viewpoint (eyes) position is estimated to be lower than the standard position and displayed. The virtual image is displayed at a position (up position) higher than the standard position (see FIG. 3).

このように、視認者の視点高さ位置を推定可能な視点高さ位置推定情報（回転数や回転角）に基づいて、視認者の視点高さ位置を推定し、推定された視点高さ位置が、標準位置よりも高いと推定される場合は、画像補正の補正量をより大きくし、低いと推定される場合は、画像補正の補正量をより小さくする。 In this way, the viewpoint height position of the viewer is estimated based on the viewpoint height position estimation information (the number of rotations and the angle of rotation) that enables estimation of the viewpoint height position of the viewer, and the estimated viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is increased, and when it is estimated to be low, the correction amount of the image correction is decreased.

視点高さ位置が高いということは、ピッチングやローリングの中心軸から視点（目）までの距離が大きいということである。この場合は、車両の揺れ（姿勢変動）の影響が大きくなり、表示されている画像の、車両１の高さ方向における変化が大きくなり、画像の表示位置の変動が増大する傾向が生じる。よって、その大きな位置変動を効果的に抑制するべく、画像補正の補正量を増大させる。 A high viewpoint height position means that the distance from the central axis of pitching or rolling to the viewpoint (eyes) is large. In this case, the influence of vehicle shaking (change in attitude) becomes greater, the displayed image tends to change more in the height direction of the vehicle 1, and the image display position tends to fluctuate more. Therefore, the correction amount of image correction is increased in order to effectively suppress the large positional fluctuation.

一方、視点高さ位置が低くなると、車両１の揺れ（姿勢変動）の影響は小さくなるため、上記の大きな補正量を維持していては、オーバー補正となる可能性がある。よって、視点高さ位置の低下に応じて、画像補正の補正量も減少させるものである。 On the other hand, when the height position of the viewpoint is lowered, the influence of the shaking (orientation fluctuation) of the vehicle 1 becomes smaller, so if the above-mentioned large correction amount is maintained, there is a possibility of overcorrection. Therefore, the correction amount of the image correction is also decreased according to the decrease in the viewpoint height position.

また、視点高さ位置推定情報を活用することで、視点位置をカメラで撮像して画像解析によって視点高さ位置を検出する場合に比べて、視点高さ位置の特定を、より容易化でき、また、より迅速化することができる。 In addition, by utilizing the viewpoint height position estimation information, it is possible to more easily specify the viewpoint height position compared to the case where the viewpoint position is captured by a camera and the viewpoint height position is detected by image analysis. Moreover, it can speed up more.

また、図４（Ａ）の例では、推定された視点高さ位置の程度に応じて、画像補正の補正量を可変すると共に、推定された視点高さ位置が標準位置よりも高い場合は、視点高さ位置がより高くなると画像補正の補正量を増大させ、推定された視点高さ位置が標準位置よりも低い場合は、視点高さ位置がより低くなると画像補正の補正量を減少させるようにしている。 Further, in the example of FIG. 4A, the amount of image correction is varied according to the degree of the estimated viewpoint height position, and when the estimated viewpoint height position is higher than the standard position, If the viewpoint height position is higher, the correction amount of image correction is increased, and if the viewpoint height position is lower than the standard position, the correction amount of image correction is decreased when the viewpoint height position is lower. I have to.

推定された視点高さ位置の程度に対応させて、画像補正の補正量を、適応的に可変制御することで、車両１の姿勢変動に対応したより適切な画像補正（ピッチング補正やローリング補正）が可能となる。 By adaptively and variably controlling the correction amount of the image correction corresponding to the estimated degree of the viewpoint height position, more appropriate image correction (pitching correction and rolling correction) corresponding to the attitude change of the vehicle 1 can be performed. becomes possible.

次に、図４（Ｂ）を参照する。図４（Ｂ）では、横軸が曲面ミラーの回転数（図４（Ａ）のａ～ｗ）であり、縦軸が、画像補正の補正量（図４（Ａ）のＡ～Ｗ）である。 Next, FIG. 4B will be referred to. In FIG. 4B, the horizontal axis represents the number of rotations of the curved mirror (a to w in FIG. 4A), and the vertical axis represents the amount of image correction (A to W in FIG. 4A). be.

図示されるように、回転数がａ～ｃの範囲では、補正量の、視点高さ位置推定情報（ここでは回転数）の変動量に対する変化率を示す特性線Ｑ１の傾きは急峻であり、変化率が大きい。一方、回転数がｃ～ｗの範囲では、補正量の、視点高さ位置推定情報（回転数）の変動量に対する変化率を示す特性線Ｑ２の傾きは緩やかであり、変化率が小さい。 As shown in the figure, in the rotation speed range of a to c, the slope of the characteristic line Q1 indicating the rate of change of the correction amount with respect to the variation amount of the viewpoint height position estimation information (here, the rotation speed) is steep. high rate of change. On the other hand, in the rotation speed range of c to w, the slope of the characteristic line Q2 indicating the rate of change of the correction amount with respect to the amount of change in the viewpoint height position estimation information (rotation speed) is gentle and the rate of change is small.

言い換えれば、推定された視点高さ位置の程度に応じて、画像補正の補正量を可変する場合において、推定された視点高さ位置が標準位置よりも高い範囲における、視点高さ位置推定情報（回転数や回転角等：より広義には視点高さ位置）の変動量に対する画像補正の補正量の変化率を第１の変化率（特性線Ｑ１で示される変化率）とし、推定された視点高さ位置が標準位置よりも低い範囲における、視点高さ位置推定情報（回転数や回転角等：より広義には視点高さ位置）の変動量に対する画像補正の補正量の変化率を第２の変化率（特性線Ｑ２で示される変化率）とするとき、第１の変化率（特性線Ｑ１で示される変化率）が、第２の変化率（特性線Ｑ２で示される変化率）よりも大きく設定されている。 In other words, when the amount of image correction is varied according to the degree of the estimated viewpoint height position, the viewpoint height position estimation information ( The rate of change in the amount of correction for image correction with respect to the amount of change in the number of rotations, the angle of rotation, etc. (in a broader sense, the height position of the viewpoint) is defined as the first rate of change (the rate of change indicated by the characteristic line Q1), and the estimated viewpoint Second, the change rate of the correction amount of the image correction with respect to the variation amount of the viewpoint height position estimation information (rotation number, rotation angle, etc.: viewpoint height position in a broader sense) in the range where the height position is lower than the standard position (the rate of change indicated by the characteristic line Q2), the first rate of change (the rate of change indicated by the characteristic line Q1) is lower than the second rate of change (the rate of change indicated by the characteristic line Q2) is also set large.

このように、視点高さ位置に応じて画像補正の補正量を可変に制御する際、車両姿勢変動の影響を受けやすい範囲（標準位置よりも視点が高い範囲）では、視点高さ位置推定情報の変動量に対する補正量の変化率を大きく設定し、大きな画像位置の変動に迅速に追従可能とし、これによって画像の表示位置が大きく変化することが効果的に防止される。 In this way, when the correction amount of the image correction is variably controlled according to the viewpoint height position, the viewpoint height position estimation information By setting the rate of change of the correction amount to be large with respect to the amount of change in , it is possible to rapidly follow a large change in the image position, thereby effectively preventing a large change in the display position of the image.

一方、標準位置よりも視点が低い場合は、画像の位置変動が小さくなるため、補正量をより小さくしてオーバー補正が生じないようにしつつ、小さな画像変動を、確実に抑制することができる。 On the other hand, when the viewpoint is lower than the standard position, the positional fluctuation of the image is small, so that the correction amount is made smaller to prevent overcorrection, and small image fluctuations can be reliably suppressed.

次に、図５を参照する。図５（Ａ）、（Ｂ）は、補正テーブルの他の例を示す図である。図５の補正テーブルは、基本的には図４（Ａ）の補正テーブルと同様である。 Reference is now made to FIG. FIGS. 5A and 5B are diagrams showing other examples of correction tables. The correction table of FIG. 5 is basically the same as the correction table of FIG. 4(A).

但し、図５では、視点高さ位置が所定の高さ範囲外となる場合には、画像補正を停止する（補正量を零とする）という内容が追加されており、この点で図４（Ａ）とは異なる。 However, in FIG. 5, when the viewpoint height position is out of the predetermined height range, the content is added that the image correction is stopped (the correction amount is set to zero). A) is different.

図５（Ａ）の補正テーブルでは、図４（Ａ）の補正テーブルの内容に、回転数ｘ、ｙ、ｚ（曲面ミラーの回転角ｘ’、ｙ’、ｚ’）の場合（言い換えれば、視点（目）位置が標準位置を基準として低すぎる場合）の補正量のデータが追加されている。この場合の補正量は零である。言い換えれば、図５（Ａ）では、回転数ｘ（回転角ｘ’）を、補正停止しきい値Ｓｔｈ２とし、回転数や回転角が、この補正停止しきい値Ｓｔｈ２以上である場合には、補正量を零とする。 In the case of the correction table of FIG. 5A, the contents of the correction table of FIG. When the viewpoint (eye) position is too low with respect to the standard position), data on the amount of correction is added. The correction amount in this case is zero. In other words, in FIG. 5A, the rotation speed x (rotation angle x′) is set to the correction stop threshold value Sth2, and when the rotation speed and the rotation angle are equal to or higher than the correction stop threshold value Sth2, Let the correction amount be zero.

視点（目）高さ位置が低すぎる場合は、車両１の姿勢変動の影響も小さいことから、画像補正を停止しても影響は少ないと考えられる。また、小さい画像の位置変動に対応させて無理に画像補正を実施すると、その画像補正に伴う画像の細かな位置の変化が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととしたものである。 If the viewpoint (eye) height position is too low, the influence of the attitude change of the vehicle 1 is also small, so it is considered that even if the image correction is stopped, the influence is small. Further, if image correction is forcibly performed in response to a small positional change of the image, the minute positional change of the image accompanying the image correction may rather make the viewer feel uncomfortable. Taking these points into consideration, it was decided not to perform image correction.

図５（Ｂ）の補正テーブルでは、さらに、回転数γ、δ（曲面ミラーの回転角γ’、δ’）の場合（言い換えれば、視点（目）位置が標準位置を基準として高すぎる場合）の補正量のデータが追加されている。この場合の補正量も零である。言い換えれば、図５（Ｂ）では、回転数δ（回転角δ’）を、補正停止しきい値Ｓｔｈ３とし、回転数や回転角が、この補正停止しきい値Ｓｔｈ３以下である場合には、補正量を零とする。 In the correction table of FIG. 5(B), the number of revolutions γ and δ (rotation angles γ' and δ' of the curved mirror) (in other words, when the viewpoint (eye) position is too high with respect to the standard position) The data of the correction amount of is added. The correction amount in this case is also zero. In other words, in FIG. 5B, the rotation speed δ (rotation angle δ′) is set to the correction stop threshold value Sth3, and when the rotation speed and the rotation angle are equal to or less than the correction stop threshold value Sth3, Let the correction amount be zero.

視点（目）高さ位置が高すぎる場合は、車両１の姿勢変動の影響を大きく受けて画像の表示位置の変動が増大していることから、画像補正を行ったとしても、画像の位置変動の抑制効果が不十分となり、画像が不自然に変動するおそれがある。また、無理に画像補正を実施したとき、その画像補正に伴う画像の位置の不自然な変動が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととしたものである。 If the viewpoint (eye) height position is too high, the change in the display position of the image is greatly affected by the change in the attitude of the vehicle 1, and the change in the display position of the image increases. , the effect of suppressing noise may become insufficient, and the image may fluctuate unnaturally. Further, when the image is corrected forcibly, the unnatural change in the position of the image caused by the image correction may give the viewer a sense of discomfort. Taking these points into consideration, it was decided not to perform image correction.

次に、図６を参照する。図６（Ａ）、（Ｂ）は、画像補正テーブルのさらに他の例を示す図、図６（Ｃ）は、ルックアップテーブルの一例を示す図である。 Next, refer to FIG. 6A and 6B are diagrams showing still another example of the image correction table, and FIG. 6C is a diagram showing an example of the lookup table.

図６（Ａ）は、先に説明した図５（Ａ）の変形例である。図６（Ａ）では、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも低い範囲（回転数ｄ～ｗ）にて実施し、標準位置（回転数ｃ）よりも高い範囲では、補正量を所定の固定値とする（例えば、固定値は零を含む整数である）。 FIG. 6A is a modification of FIG. 5A described above. In FIG. 6A, the variable control of the correction amount of the image correction is performed in a range where the viewpoint height position is lower than the standard position (number of rotations d to w), and is higher than the standard position (number of rotations c). In range, the correction amount is a predetermined fixed value (eg, the fixed value is an integer including zero).

図６（Ａ）の右上に示されるように、回転数ａ、ｂに対応する補正量は、α（αは、零を含む整数の固定値）に設定されている。 As shown in the upper right of FIG. 6A, the correction amounts corresponding to the rotational speeds a and b are set to α (α is a fixed integer value including zero).

視点高さ位置が標準位置よりも高い範囲で固定値の補正量αを使用することで、補正量を大きく切り替える必要がなくなり、制御部（図２の符号３８）の負担（例えば、補正量を算出したり、取得したりする処理負担）を軽減することが可能である。 By using the fixed value correction amount α in the range where the viewpoint height position is higher than the standard position, there is no need to switch the correction amount greatly, and the burden on the control unit (reference numeral 38 in FIG. 2) (for example, the correction amount It is possible to reduce the processing load of calculating and acquiring.

図６（Ｂ）では、図６（Ａ）とは逆に、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも高い範囲にて実施し、標準位置よりも低い範囲では、補正量を所定の固定値とする（例えば、固定値は零を含む整数である）。 In FIG. 6(B), contrary to FIG. 6(A), the variable control of the correction amount of the image correction is performed in the range where the viewpoint height position is higher than the standard position, and in the range lower than the standard position. , the correction amount is set to a predetermined fixed value (for example, the fixed value is an integer including zero).

図６（Ｂ）に示されるように、回転数ｄ～ｗに対応する補正量は、β（βは、零を含む整数の固定値）に設定されている。 As shown in FIG. 6B, the correction amounts corresponding to the rotation speeds d to w are set to β (β is a fixed integer value including zero).

視点高さ位置が標準位置よりも低い範囲で固定値の補正量を使用することで、細かな補正量の可変を頻繁に行う手間が省けることから、制御部３８の負担（例えば、補正量を算出したり、取得したりする処理負担）を軽減することが可能である。 By using a fixed value correction amount in a range where the viewpoint height position is lower than the standard position, it is possible to save the trouble of frequently changing the fine correction amount. It is possible to reduce the processing load of calculating and acquiring.

図６（Ａ）、（Ｂ）の補正テーブルをルックアップテーブル（ＬＵＴ）として利用する場合には、図６（Ｃ）に示すようにピッチ角／ロール角の情報と、視点高さ位置推定情報（例えば回転数情報）とをアドレス変数としてルックアップテーブル２０１に入力し、その入力に対応する補正量を、ルックアップ手Ｐブル２０１から出力させる。ＬＵＴを用いることで、補正量を容易に、かつ迅速に取得することができる。 When using the correction tables of FIGS. 6A and 6B as a lookup table (LUT), as shown in FIG. (for example, rotational speed information) is input to the lookup table 201 as an address variable, and the correction amount corresponding to the input is output from the lookup table 201 . By using the LUT, the correction amount can be obtained easily and quickly.

（第２の実施形態）
次に、図７を参照する。図７（Ａ）は、視点高さ位置推定情報を用いてアイボックスの高さ位置を推定し、視点位置検出情報を用いてアイボックス内の視点高さ位置を判定（特定）する表示システムの要部構成例を示す図、図７（Ｂ）は、補正テーブルの内部構成例を示す図、図７（Ｃ）は、図７（Ｂ）の構成を採用したルックアップテーブルの例を示す図である。図７において、図３と共通する部分には同じ符号を付している。 (Second embodiment)
Next, refer to FIG. FIG. 7A shows a display system that estimates the height position of an eyebox using viewpoint height position estimation information and determines (specifies) the viewpoint height position in the eyebox using viewpoint position detection information. FIG. 7B is a diagram showing an example of the configuration of a main part, FIG. 7B is a diagram showing an example of the internal configuration of a correction table, and FIG. 7C is a diagram showing an example of a lookup table adopting the configuration of FIG. is. In FIG. 7, parts common to those in FIG. 3 are given the same reference numerals.

図７の例では、視点高さ位置推定情報と、視点高さ位置の分解能がより高い、視点高さ位置検出情報（カメラ１５による実測情報）とを併用する。なお、カメラ１５により視認者の視点（目）を撮像し、撮像された視点（目）の、撮像領域における座標等を検出することで、視点高さを詳細に検出することができる。 In the example of FIG. 7, viewpoint height position estimation information and viewpoint height position detection information (actual measurement information by the camera 15) with higher resolution of the viewpoint height position are used together. Note that the viewpoint height can be detected in detail by capturing an image of the viewer's viewpoint (eyes) with the camera 15 and detecting the coordinates of the captured viewpoint (eyes) in the imaging area.

例えば、視点高さ位置推定情報（曲面ミラーの回転数や回転角の情報）に基づいてアイボックスの高さ位置を推定し、視点高さ位置検出情報（カメラの撮像画像を用いた画像処理によって得られる情報）を用いて、アイボックス内での視点高さ位置を判定（例えば、アイボックス内における視点高さ位置を、「高」、「中」、「低」に区分して判定）することができる。 For example, the height position of the eye box is estimated based on viewpoint height position estimation information (information on the rotation speed and rotation angle of the curved mirror), and the viewpoint height position detection information (by image processing using the image captured by the camera). obtained information) is used to determine the viewpoint height position within the eyebox (for example, the viewpoint height position within the eyebox is classified into "high", "medium", and "low"). be able to.

例えば、先に説明した図２のアイボックスＥＢでは、アイボックスＥＢの内部が９個の領域Ｚ１～Ｚ９に区分されている。ここで、視点（目）６が、領域Ｚ１～Ｚ３（上段の領域）に位置していれば「高」、領域Ｚ４～Ｚ６（中段の領域）に位置していれば「中」、領域Ｚ７～Ｚ９（下段の領域）に位置していれば「低」と区別することができる。 For example, in the previously described eyebox EB of FIG. 2, the interior of the eyebox EB is divided into nine regions Z1 to Z9. Here, if the viewpoint (eyes) 6 is located in the areas Z1 to Z3 (upper area), it is "high"; ∼ Z9 (lower region) can be distinguished from "low".

言い換えれば、視点高さ位置推定情報により推定される視点高さ位置を、視点高さ位置検出情報を用いて微調整することができる。これによって、より細かく視点高さ位置を判定（特定）でき、視点高さ位置の検出精度を向上させることができる。よって、より適切な画像補正を実施することができる。 In other words, the viewpoint height position estimated by the viewpoint height position estimation information can be finely adjusted using the viewpoint height position detection information. As a result, the viewpoint height position can be determined (specified) more precisely, and the detection accuracy of the viewpoint height position can be improved. Therefore, more appropriate image correction can be performed.

図７（Ａ）において、アイボックスＥＢ（ＥＢ’、ＥＢ’’）の各々に、Ｕ（高）、Ｍ（中）、Ｄ（低）の表記がなされているが、これは、アイボックスＥＢ（ＥＢ’、ＥＢ’’）の各々において、より詳細に、視点（目）の高さ位置を判定することができることを示している。 In FIG. 7A, the eyeboxes EB (EB', EB'') are labeled U (high), M (middle), and D (low), respectively. Each of (EB′, EB″) indicates that the height position of the viewpoint (eyes) can be determined in more detail.

図７（Ｂ）に、補正テーブルの構成例（一部抜粋）が示されている。前掲の実施形態では、回転数ｃ（曲面ミラーの回転角ｃ’）のときは、一律に補正量Ｃが決定されていたが、図７（Ｂ）では、さらに、アイボックスＥＢ内での視点高さ位置（Ｕ（高）、Ｍ（中）、Ｄ（低））に応じて、補正量ＣＵ、ＣＭ、ＣＤ（ＣＵ＞ＣＭ＞ＣＤ）が決定される。 FIG. 7B shows a configuration example (partial excerpt) of the correction table. In the above-described embodiment, the correction amount C was uniformly determined when the rotation speed c (the rotation angle c′ of the curved mirror) was determined. The correction amounts CU, CM, and CD (CU>CM>CD) are determined according to the height position (U (high), M (middle), D (low)).

図７（Ｃ）のルックアップテーブル（ＬＵＴ）２０３では、先に説明した図６（Ｃ）における２つの入力に加えて、アイボックス内の視点高さ位置情報（視点高さ位置検出情報）が追加されている。これら３つの入力をアドレス変数とし補正テーブルにアクセスし、補正量を出力させる。 In the lookup table (LUT) 203 in FIG. 7C, in addition to the two inputs in FIG. Added. Using these three inputs as address variables, the correction table is accessed and the correction amount is output.

（第３の実施形態）
本実施形態では、ＨＵＤ装置１００のプロセッサ（表示制御装置）３６が、視点追従スポットライティングを実施し、また、制御部３８におけるワーピング補正制御部（図３の符号４４）が、視点追従ワーピングを実施する。 (Third embodiment)
In this embodiment, the processor (display control device) 36 of the HUD device 100 implements viewpoint-following spot lighting, and the warping correction control unit (reference numeral 44 in FIG. 3) in the control unit 38 implements viewpoint-following warping. do.

先に図２を用いて説明したように、アイボックスＥＢ内を、例えば、複数個の領域Ｚ１～Ｚ９に区分し、カメラ１５によって視点（目）を撮像して画像処理を実施することで、視点（目）が、現在、どの領域にあるかを検出することができる。 As described above with reference to FIG. 2, the inside of the eye box EB is divided into, for example, a plurality of regions Z1 to Z9, and the viewpoint (eyes) are captured by the camera 15 and image processing is performed to obtain the It is possible to detect in which region the viewpoint (eyes) is currently located.

その視点位置検出の結果に基づいて、視点（目）が位置する領域（その周辺を含めてもよい）に、局所的に画像の表示光を投光して光源部２４の消費電力を抑え（視点追従スポットライティング）、また、各領域Ｚ１～Ｚ９を単位として、ワーピングパラメータ（光学系による歪みとは逆特性の歪みを事前に与える場合の歪み量（補正量）を決定するパラメータ）を切り替え（視点追従ワーピング）、視点位置に対応した適切なワーピングを実現する。 Based on the result of the viewpoint position detection, the power consumption of the light source unit 24 is reduced by locally projecting the display light of the image to the region where the viewpoint (eye) is located (may include the surrounding area). point-of-view tracking spotlighting), and switching warping parameters (parameters for determining the amount of distortion (correction amount) when giving in advance a distortion with characteristics opposite to the distortion due to the optical system) for each region Z1 to Z9 ( eye-tracking warping), and appropriate warping corresponding to the eye-point position.

また、このときに得られた視点位置検出情報（複数の領域Ｚ１～Ｚ９の内の、どの領域に視点（目）が位置するかという情報）は、先の第２の実施形態における、視点高さ位置検出情報としても活用する。言い換えれば、カメラ１５による撮像により得られた視点位置情報を、視点追従ライティング、視点追従ワーピング、視点高さ位置を考慮したピッチング補正／ローリング補正、に共通に使用する。 Also, the viewpoint position detection information obtained at this time (information indicating in which region of the plurality of regions Z1 to Z9 the viewpoint (eye) is located) is the same as the viewpoint height in the second embodiment. It is also used as position detection information. In other words, viewpoint position information obtained by imaging with the camera 15 is commonly used for viewpoint following lighting, viewpoint following warping, and pitching correction/rolling correction considering the viewpoint height position.

これによって、先の第２の実施形態において、ピッチング補正やローリング補正のために、単独で、視点高さ位置検出情報を取得する必要がなく、制御部３８等の負担軽減が図れる。 Accordingly, in the second embodiment, it is not necessary to acquire viewpoint height position detection information independently for pitching correction and rolling correction, and the burden on the control unit 38 and the like can be reduced.

（第４の実施形態）
次に、図８を参照する。図８は、ＨＵＤ装置の他の例（曲面ミラーが回転不可である例）を示す図である。図８において、図３と共通する部分には同じ参照符号を付している（但し、曲面ミラーに関しては、図８と図３とでは機能が異なるため、別の符号を付している）。 (Fourth embodiment)
Reference is now made to FIG. FIG. 8 is a diagram showing another example of the HUD device (an example in which the curved mirror is non-rotatable). In FIG. 8, parts common to those in FIG. 3 are denoted by the same reference numerals (however, the curved mirrors in FIG. 8 and FIG. 3 are denoted by different numerals because their functions are different).

図８の例では、ＨＵＤ装置１００は、画像表示面を備える表示部２２と、画像を被投影部材であるウインドシールド２に投影する回転不可の曲面ミラー２９を含む光学系３３と、を備えており、表示部２２における画像表示面上の画像表示位置情報（Ｐ１、Ｐ２等）を、視点高さ位置推定情報として使用する。 In the example of FIG. 8, the HUD device 100 includes a display unit 22 having an image display surface, and an optical system 33 including a non-rotatable curved mirror 29 that projects an image onto the windshield 2, which is a projection target member. The image display position information (P1, P2, etc.) on the image display surface of the display unit 22 is used as viewpoint height position estimation information.

前掲の実施形態では、曲面ミラー（凹面鏡等）の位置情報（回転情報）を、視点高さ位置推定情報として使用していたが、曲面ミラーが回転不可の場合は、曲面ミラーの位置情報（回転情報）は使用できない。 In the above-described embodiment, the position information (rotation information) of the curved mirror (concave mirror, etc.) was used as the viewpoint height position estimation information. information) cannot be used.

そこで、図８の例では、表示部２２における画像表示面上の画像表示位置情報（Ｐ１、Ｐ２等）を、視点高さ位置推定情報として利用する（ただし、一例であり、これに限定されるものではない。補助鏡等の他のミラーの回転角等の情報を使用してもよい）。 Therefore, in the example of FIG. 8, the image display position information (P1, P2, etc.) on the image display surface of the display unit 22 is used as the viewpoint height position estimation information (however, this is an example and is limited to this). information such as the rotation angle of other mirrors such as an auxiliary mirror may be used).

曲面ミラーが回転不可の場合においては、その曲面ミラーの光を反射する反射面への、画像の表示光の入射位置を調整することで、その反射面からの光の反射方向を制御し、アイボックスの高さ位置を変更することができる。 In the case where the curved mirror cannot rotate, by adjusting the incident position of the display light of the image on the reflecting surface of the curved mirror, the reflection direction of the light from the reflecting surface can be controlled. You can change the height position of the box.

そして、反射面への表示光の入射位置の変更は、結果的に、画像を表示する表示部２２における、画像表示面上での画像表示位置の調整によって実現される。 The change in the incident position of the display light onto the reflective surface is eventually realized by adjusting the image display position on the image display surface in the display section 22 that displays the image.

図８において、視点（目）の高さ位置として、アップ位置（ＵＰ）とダウン位置（ＤＮ）が示されている。画像の表示位置をＰ１は、ダウン位置（ＤＮ）に対応しており、Ｐ２は、アップ位置（ＵＰ）に対応している。したがって、画像表示位置情報（例えば、表示されている画像の座標情報Ｐ１、Ｐ２等）は、視認者の視点の高さ位置を推定する客観的なデータとして使用可能である。図８の例では、画像標示位置情報が、視点高さ推定情報Ｇ１として、入力Ｉ／Ｆ３２に供給される。 In FIG. 8, an up position (UP) and a down position (DN) are shown as height positions of the viewpoint (eyes). The image display position P1 corresponds to the down position (DN), and P2 corresponds to the up position (UP). Therefore, the image display position information (for example, coordinate information P1, P2, etc. of the displayed image) can be used as objective data for estimating the height position of the viewpoint of the viewer. In the example of FIG. 8, the image indicating position information is supplied to the input I/F 32 as the viewpoint height estimation information G1.

このように、曲面ミラーの位置が固定であるときも、視点高さ位置推定情報を取得することが可能である。この情報を活用することで、視点位置をカメラで撮像して画像解析によって視点高さ位置を検出する場合に比べて、視点高さ位置の特定を、より容易化でき、また、より迅速化することができる。 Thus, even when the position of the curved mirror is fixed, it is possible to acquire viewpoint height position estimation information. By utilizing this information, it is easier and faster to specify the height position of the viewpoint than when the position of the viewpoint is captured by a camera and the height position of the viewpoint is detected by image analysis. be able to.

（第５の実施形態）
本実施形態では、制御部（図２、図３の符号３６）は、画像補正の補正量の設定に際し、ピッチング補正とローリング補正とを区別して取り扱い、各補正に適した補正量を設定する。 (Fifth embodiment)
In this embodiment, the control unit (reference numeral 36 in FIGS. 2 and 3) distinguishes between pitching correction and rolling correction when setting the correction amount for image correction, and sets a correction amount suitable for each correction.

例えば、先に示したような補正テーブル（ＬＵＴ等）を、ピッチング補正用、ローリング補正用に、個別に用意してもよい。これによって、ピッチング、ローリングの各々に対して、適切な画像補正を実施することが可能となる。 For example, correction tables (LUTs, etc.) as described above may be separately prepared for pitching correction and rolling correction. This makes it possible to perform appropriate image correction for each of pitching and rolling.

（第６の実施形態）
次に、図９を参照する。図９は、画像補正処理の手順例を示すフローチャートである。 (Sixth embodiment)
Reference is now made to FIG. FIG. 9 is a flowchart illustrating an example of the procedure of image correction processing.

ステップＳ１では、車両の挙動情報（姿勢情報）を取得する。ステップＳ２では、車両の姿勢角（ピッチ角θｐ、ロール角θｒ等）の情報を取得する。ステップＳ３では、曲面ミラー（凹面鏡等）の位置（回転位置）を検出する。 In step S1, vehicle behavior information (orientation information) is acquired. In step S2, information on the posture angle of the vehicle (pitch angle θp, roll angle θr, etc.) is obtained. In step S3, the position (rotational position) of the curved mirror (concave mirror, etc.) is detected.

ステップＳ４では、曲面ミラーの、例えば回転角が補正停止範囲外であるかが検出される。Ｙのときは、必要に応じてステップＳ５にて、アイボックス内における視点高さ位置を検出し、続いて、ステップＳ６にて、画像補正における補正量を取得する。このとき、ルックアップテーブルを参照してもよく、また、補正演算によって算出してもよい。 In step S4, it is detected whether, for example, the rotation angle of the curved mirror is outside the correction stopping range. In the case of Y, the viewpoint height position in the eyebox is detected in step S5 as necessary, and then in step S6, the correction amount in the image correction is acquired. At this time, a lookup table may be referred to, or a correction calculation may be performed.

また、ステップＳ６において、視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、標準位置における補正量よりも大きくし、視点高さ位置が標準位置よりも低いと推定された場合は、画像補正の補正量を、標準位置における補正量よりも小さくして、画像の補正量を可変に制御する。 Further, in step S6, if the viewer's viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is made larger than the correction amount at the standard position, and the viewpoint height position is set at the standard position. If it is estimated to be lower than , the correction amount of the image correction is made smaller than the correction amount at the standard position, and the image correction amount is variably controlled.

ステップＳ７では、取得された補正量を用いて画像補正を実施する。ステップＳ８では、画像補正後の画像データ（画像コンテンツ）に基づく画像描画処理を実施する。 In step S7, image correction is performed using the acquired correction amount. In step S8, an image rendering process is performed based on the image data (image content) after image correction.

ステップＳ４で、Ｎのときは、ステップＳ９に移行して補正量を零とし（言い換えれば、ピッチング補正及びローリング補正を実施しないこととし）、続いて、ステップＳ８に移行する。 If N in step S4, the process proceeds to step S9 to set the correction amount to zero (in other words, the pitching correction and rolling correction are not performed), and then the process proceeds to step S8.

なお、上記のステップＳ２にて、視点が標準位置にあると仮定して標準位置における補正量を仮設定しておき、ステップＳ６において、仮設定した補正量をそのまま使用できるか否かを判定して、不可の場合は、補正量を再取得（再設定）してもよい。このような変形は、適宜、なし得る。 In step S2 above, the amount of correction for the standard position is provisionally set on the assumption that the viewpoint is at the standard position, and in step S6, it is determined whether or not the provisionally set amount of correction can be used as it is. If it is not possible, the correction amount may be reacquired (reset). Such modifications can be made as appropriate.

以上説明したように、本発明によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示可能な、高性能な表示装置を実現することができる。表示装置は広義に解釈され、例えば、ヘッドアップディスプレイ（ＨＵＤ）装置や、その他の表示器装置にも適用可能である。表示器装置としては、液晶表示装置やマイクロＬＥＤ装置、その他の種々のディスプレイ装置を使用することができる。 As described above, according to the present invention, it is possible to realize a high-performance display device capable of displaying an image with little positional variation even when the vehicle pitches or rolls. A display device is interpreted broadly and is applicable to, for example, a head-up display (HUD) device and other display devices. A liquid crystal display device, a micro LED device, and other various display devices can be used as the display device.

また、表示制御装置として、ＨＵＤ装置に搭載される表示制御ＥＣＵを用いることができるが、これに限定されるものではなく、車両ＥＣＵなど、ＨＵＤ装置以外に搭載されているＥＣＵを利用することも可能である。 A display control ECU mounted on the HUD device can be used as the display control device, but the present invention is not limited to this, and an ECU mounted on a vehicle other than the HUD device, such as a vehicle ECU, can also be used. It is possible.

また、本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語（例えば標識等）についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、ＨＵＤ装置には、シミュレータ（例えば、航空機のシミュレータやゲーム装置としてのシミュレータ等）として使用されるものも含まれるものとする。 Moreover, in this specification, the term vehicle can be broadly interpreted as a vehicle. Also, terms related to navigation (such as signs) should be interpreted in a broad sense, taking into consideration the viewpoint of broad-sense navigation information that is useful for driving a vehicle, for example. HUD devices also include those used as simulators (for example, aircraft simulators, game device simulators, etc.).

本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。 The invention is not limited to the exemplary embodiments described above, and the person skilled in the art will easily be able to modify the exemplary embodiments described above to the extent that they fall within the scope of the claims. .

１・・・車両（自車両）、２・・・被投影部材（反射透光部材、ウインドシールド等）、６・・・視認者の視点（目）、１５・・・カメラ、２８・・・曲面ミラー（凹面鏡等）、３０・・・曲面ミラーの回転機構、３１・・・曲面ミラー回転制御部、
３２・・・入力インタフェース（Ｉ／Ｆ）、３４・・・視点位置検出部、３６・・・プロセッサ（表示制御装置）、３８・・・表示部、４０・・・車両姿勢情報取得部、４１・・・視点位置情報取得部、４２・・・ピッチング・ローリング補正制御部、４３・・・補正制御部、４４・・・ワーピング補正制御部、５０・・・メモリ（記憶装置、記憶部）、５２・・・補正テーブル、５４・・・ピッチング補正テーブル、５６・・・ローリング補正テーブル、５８・・・ワーピング補正テーブル、８０・・・画像処理部、８６・・・補正部（補正処理部） Reference Signs List 1 Vehicle (self-vehicle) 2 Projected member (reflecting translucent member, windshield, etc.) 6 Viewer's point of view (eye) 15 Camera 28 curved mirror (concave mirror, etc.), 30 curved mirror rotation mechanism, 31 curved mirror rotation controller,
32... Input interface (I/F), 34... Viewpoint position detection unit, 36... Processor (display control device), 38... Display unit, 40... Vehicle posture information acquisition unit, 41 ... viewpoint position information acquisition unit, 42 ... pitching/rolling correction control unit, 43 ... correction control unit, 44 ... warping correction control unit, 50 ... memory (storage device, storage unit), 52... Correction table 54... Pitching correction table 56... Rolling correction table 58... Warping correction table 80... Image processing unit 86... Correction unit (correction processing unit)

Claims

車両に搭載され、画像を、前記車両に搭乗する視認者に視認させる表示装置の画像表示を制御する表示制御装置であって、
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施する、
表示制御装置。 A display control device that controls image display of a display device that is mounted on a vehicle and causes an image to be viewed by a viewer on board the vehicle,
a vehicle posture information acquisition unit that acquires posture information of the vehicle;
a viewpoint position information acquisition unit that acquires viewpoint height position estimation information that enables estimation of the viewpoint height position of the viewer;
Pitching correction for correcting the image so as to suppress variation in the display position of the image due to pitching of the vehicle, and rolling for correcting the image so as to suppress variation in the display position of the image due to rolling of the vehicle. Having a control unit that controls image correction including at least one of the corrections,
The control unit
As a result of estimation based on the viewpoint height position estimation information acquired by the viewpoint position information acquisition unit, when the viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is Make the correction amount larger than the standard position, and if it is estimated to be low, perform control to make it smaller than the correction amount at the standard position.
Display controller.

前記視点高さ位置推定情報は、
前記表示装置が、画像を被投影部材に投影する回転可能な曲面ミラーを含む光学系を備える場合における、前記曲面ミラーの位置情報である、
又は、
前記表示装置が、画像表示面を備える表示部と、前記表示装置に含まれる、画像を被投影部材に投影する回転不可の曲面ミラーを含む光学系と、を備える場合における、前記表示部における前記画像表示面上の画像表示位置情報である、
請求項１に記載の表示制御装置。 The viewpoint height position estimation information is
positional information of the curved mirror when the display device includes an optical system including a rotatable curved mirror that projects an image onto a projection target member;
or
When the display device includes a display unit having an image display surface, and an optical system including a non-rotatable curved mirror that projects an image onto a projection target member, the display unit includes: image display position information on the image display surface,
The display control device according to claim 1.

前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、
推定された視点高さ位置が前記標準位置よりも高い場合は、視点高さ位置がより高くなると前記画像補正の補正量を増大させ、
推定された視点高さ位置が前記標準位置よりも低い場合は、視点高さ位置がより低くなると前記画像補正の補正量を減少させる、
請求項１又は２に記載の表示制御装置。 The control unit
Varying the correction amount of the image correction according to the degree of the estimated viewpoint height position,
when the estimated viewpoint height position is higher than the standard position, increasing the correction amount of the image correction as the viewpoint height position becomes higher,
if the estimated viewpoint height position is lower than the standard position, the correction amount of the image correction is decreased as the viewpoint height position becomes lower;
The display control device according to claim 1 or 2.

前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合において、
推定された視点高さ位置が前記標準位置よりも高い範囲における、前記視点高さ位置推定情報の変動量に対する前記画像補正の補正量の変化率を第１の変化率とし、
推定された視点高さ位置が前記標準位置よりも低い範囲における、前記視点高さ位置推定情報の変動量に対する前記画像補正の補正量の変化率を第２の変化率とするとき、
前記第１の変化率を、前記第２の変化率よりも大きく設定する、
請求項３に記載の表示制御装置。 The control unit
When varying the correction amount of the image correction according to the degree of the estimated viewpoint height position,
A change rate of the correction amount of the image correction with respect to the change amount of the viewpoint height position estimation information in a range in which the estimated viewpoint height position is higher than the standard position is defined as a first change rate;
When the change rate of the correction amount of the image correction with respect to the change amount of the viewpoint height position estimation information in the range where the estimated viewpoint height position is lower than the standard position is defined as a second rate of change,
setting the first rate of change to be greater than the second rate of change;
The display control device according to claim 3.

前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合、前記視点高さ位置が所定の高さ範囲外となる場合には、前記画像補正を停止する、
請求項３又は４に記載の表示制御装置。 The control unit
When varying the correction amount of the image correction according to the degree of the estimated viewpoint height position, stopping the image correction when the viewpoint height position is outside a predetermined height range;
The display control device according to claim 3 or 4.

前記制御部は、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより低くなると前記画像補正の補正量を減少させる、
請求項１又は２に記載の表示制御装置。 The control unit
when the estimated viewpoint height position is in a range higher than the standard position, setting a correction amount of a predetermined fixed value as the correction amount of the image correction,
When the estimated viewpoint height position is in a range lower than the standard position, the correction amount of the image correction is varied according to the degree of the viewpoint height position, and when the viewpoint height position becomes lower, reducing the correction amount of the image correction;
The display control device according to claim 1 or 2.

前記制御部は、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより高くなると前記画像補正の補正量を増大させる、
請求項１又は２に記載の表示制御装置。 The control unit
when the estimated viewpoint height position is in a range lower than the standard position, setting a correction amount of a predetermined fixed value as the correction amount of the image correction,
When the estimated viewpoint height position is in a range higher than the standard position, the correction amount of the image correction is varied according to the degree of the viewpoint height position, and when the viewpoint height position is higher, increasing the correction amount of the image correction;
The display control device according to claim 1 or 2.

前記視点位置情報取得部は、
前記視認者の視点高さ位置を推定可能な前記視点高さ位置推定情報に加えて、
カメラによる前記視認者の撮像画像に基づいて検出され、かつ、前記視点高さ位置推定情報よりも視点高さ位置の分解能が高い視点高さ位置検出情報も取得し、
前記制御部は、
前記視点高さ位置推定情報により推定される視点高さ位置を、前記視点高さ位置検出情報を用いて微調整する、
請求項１乃至７の何れか１項に記載の表示制御装置。 The viewpoint position information acquisition unit
In addition to the viewpoint height position estimation information capable of estimating the viewpoint height position of the viewer,
Acquiring viewpoint height position detection information that is detected based on an image of the viewer captured by a camera and has a higher resolution of the viewpoint height position than the viewpoint height position estimation information,
The control unit
finely adjusting the viewpoint height position estimated by the viewpoint height position estimation information using the viewpoint height position detection information;
The display control device according to any one of claims 1 to 7.

前記制御部は、
アイボックス内の区分された複数の領域の各々を単位として、視点追従ワーピングを実施すると共に、その実施の際に得られた、前記視認者の視点が前記複数の領域の内のどの領域に位置するかを示す視点位置情報を、前記視点高さ位置検出情報としても使用する、
請求項８に記載の表示制御装置。 The control unit
eye-tracking warping is performed using each of a plurality of divided regions within an eyebox as a unit, and in which region of the plurality of regions the viewer's viewpoint obtained during the execution is positioned; Using the viewpoint position information indicating whether to also use the viewpoint height position detection information as the viewpoint height position detection information,
The display control device according to claim 8.

前記制御部は、
前記画像補正の補正量の設定に際し、
前記ピッチング補正と前記ローリング補正とを区別して取り扱い、各補正に適した補正量を設定する、
請求項１乃至９の何れか１項に記載の表示制御装置。 The control unit
When setting the correction amount of the image correction,
Handling the pitching correction and the rolling correction separately, and setting a correction amount suitable for each correction;
The display control device according to any one of claims 1 to 9.

請求項１乃至１０の何れか１項に記載の表示制御装置と、
前記ピッチング補正、及び前記ローリング補正の少なくとも一方を含む画像補正を実施する補正部と、
補正後の画像を表示する表示部と、
を有する表示装置。 A display control device according to any one of claims 1 to 10;
a correction unit that performs image correction including at least one of the pitching correction and the rolling correction;
a display for displaying the image after correction;
display device.

前記表示装置は、
前記表示部に表示される画像の表示光を、前記車両に設けられる被投影部材に投影する光学系をさらに有し、前記運転者及び前記乗員の少なくとも一方に虚像を視認させる機能をもつヘッドアップディスプレイ装置である、
請求項１１に記載の表示装置。 The display device
The head-up device further includes an optical system for projecting display light of an image displayed on the display unit onto a projection target member provided in the vehicle, and has a function of allowing at least one of the driver and the passenger to visually recognize a virtual image. is a display device;
The display device according to claim 11.

車両に搭載される表示装置における画像表示制御方法であって、
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の表示位置の変動を抑制する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
を含む、画像表示制御方法。 An image display control method for a display device mounted on a vehicle, comprising:
obtaining attitude information including at least one of pitching and rolling of the vehicle;
obtaining viewpoint height position estimation information that enables estimation of a viewpoint height position of a viewer of an image displayed by the display device;
With respect to image correction that suppresses fluctuations in the display position of the image displayed by the display device due to fluctuations in the attitude of the vehicle, if the height position of the viewpoint of the viewer is estimated to be higher than the standard position, image correction is performed. making the correction amount larger than the correction amount at the standard position, and making the correction amount of the image correction smaller than the correction amount at the standard position when the viewpoint height position is estimated to be lower than the standard position; and variably controlling the amount of image correction;
correcting an image displayed by the display device according to the variably controlled correction amount;
An image display control method, comprising: