JP2022128906A - Display control unit, display unit, and image display control method - Google Patents
Display control unit, display unit, and image display control method Download PDFInfo
- Publication number
- JP2022128906A JP2022128906A JP2021027376A JP2021027376A JP2022128906A JP 2022128906 A JP2022128906 A JP 2022128906A JP 2021027376 A JP2021027376 A JP 2021027376A JP 2021027376 A JP2021027376 A JP 2021027376A JP 2022128906 A JP2022128906 A JP 2022128906A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- height position
- viewpoint
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 11
- 238000012937 correction Methods 0.000 claims abstract description 254
- 238000003702 image correction Methods 0.000 claims abstract description 122
- 238000005096 rolling process Methods 0.000 claims abstract description 54
- 230000008859 change Effects 0.000 claims description 64
- 238000001514 detection method Methods 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 15
- 239000011295 pitch Substances 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 101100096895 Mus musculus Sult2a2 gene Proteins 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、表示制御装置、表示装置、及び画像表示制御方法等に関する。 The present invention relates to a display control device, a display device, an image display control method, and the like.
車両のピッチングやローリングに起因する画像の位置変動を補正する画像補正(ピッチング補正、ローリング補正)については、例えば、特許文献1に記載されている。
Image correction (pitching correction, rolling correction) for correcting positional fluctuation of an image caused by pitching or rolling of a vehicle is described in
なお、車両のピッチングは、車両の左右軸(車両の中心(例えば重心)を通って、車両の左右方向に延びる軸)を中心として車両が前後に回転する、いわゆる縦揺れが生じた状態であり、車両の姿勢は、前傾姿勢あるいは後傾姿勢となる。 Vehicle pitching is a state in which the vehicle rotates back and forth about the vehicle's left-right axis (an axis extending in the left-right direction of the vehicle that passes through the center of the vehicle (for example, the center of gravity)). , the posture of the vehicle becomes a forward leaning posture or a rearward leaning posture.
また、車両のローリングは、前後軸(車両の中心(例えば重心)を通って、車両の前後方向に延びる軸)を中心として車両が左右に回転する、いわゆる横揺れが生じた状態であり、車両の姿勢は、左傾姿勢又は右傾姿勢となる。 Rolling of a vehicle is a state in which the vehicle rotates left and right about a front-rear axis (an axis that passes through the center of the vehicle (for example, the center of gravity) and extends in the front-rear direction of the vehicle). The posture of is a left leaning posture or a right leaning posture.
本発明者の検討によって、以下の課題が明らかとなった。
(1)ピッチングやローリングが生じると、車両(車体)の浮き上がりや沈み込みが生じて、表示中の画像の位置の変動が生じる。
(2)ここで、視認者(運転者等)の視点(目)位置が高い場合と、低い場合とでは、その画像の位置変動の程度に差が生じる。言い換えれば、ピッチングやローリングの中心軸から視点(目)までの距離が異なるとき、その距離が大きいほど、車両の揺れ(姿勢変動)の影響が大きくなり、表示されている画像の、車両の高さ方向における変化が大きくなり、画像の表示位置の変動が増大する。
(3)よって、上記の視点の高さ位置のばらつきを考慮せずに、一律の補正量にてピッチング補正やローリング補正を実施しても、画像の表示位置の変動の抑制効果には限界がある。抑制効果が低い場合は、視認者の違和感が増大する。
(4)また、画像の表示位置の変動の抑制効果が低いと、例えば、ヘッドアップディスプレイ(HUD)装置が表示する、先方対象物(例えば前方車両)に重畳される画像(先方対象物重畳画像:例えば注意喚起マーク等)の、先方対象物に対する重畳精度が低下する場合もあり得る。
The inventor's studies have revealed the following problems.
(1) When pitching or rolling occurs, the vehicle (body) rises or sinks, and the position of the image being displayed fluctuates.
(2) Here, there is a difference in the degree of positional variation of the image between when the viewpoint (eyes) position of the viewer (driver or the like) is high and when it is low. In other words, when the distance from the central axis of pitching or rolling to the viewpoint (eyes) is different, the greater the distance, the greater the influence of vehicle shaking (posture fluctuation). The change in the vertical direction increases, and the variation in the display position of the image increases.
(3) Therefore, even if pitching correction and rolling correction are performed with a uniform correction amount without considering the above-mentioned variation in the height position of the viewpoint, there is a limit to the effect of suppressing the fluctuation of the display position of the image. be. If the suppressing effect is low, the discomfort of the viewer increases.
(4) In addition, if the effect of suppressing fluctuations in the display position of the image is low, for example, an image superimposed on a forward object (for example, a forward vehicle) displayed by a head-up display (HUD) device (a forward object superimposed image : for example, a warning mark, etc.) may be reduced in superimposition accuracy with respect to the destination object.
このような課題が、本発明者の検討により明らかとされた。このような課題については、上記の特許文献1には記載がなく、また、その対策についても言及されていない。 Such problems have been clarified by the studies of the present inventors. Japanese Patent Laid-Open No. 2002-200001 does not mention such a problem, nor does it refer to any countermeasures against the problem.
本発明の目的の1つは、車両のピッチングやローリングに伴う画像の表示位置の変動を抑制する画像補正の実施に際して、画像の視認者(運転者や搭乗者)の視点(目)高さ位置の違いによって、表示位置の変動の抑制効果が低下することを改善することである。 One of the objects of the present invention is to improve the viewpoint (eye) height position of the viewer (driver or passenger) of the image when performing image correction that suppresses fluctuations in the display position of the image due to pitching or rolling of the vehicle. It is to improve the fact that the effect of suppressing the fluctuation of the display position is lowered due to the difference in the display position.
本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。 Other objects of the present invention will become apparent to those skilled in the art by referring to the following exemplary aspects and best mode, as well as the accompanying drawings.
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。 In order to facilitate an understanding of the general outline of the invention, the following illustrates embodiments in accordance with the invention.
第1の態様において、表示制御装置は、
車両に搭載され、画像を、前記車両に搭乗する視認者に視認させる表示装置の画像表示を制御する表示制御装置であって、
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施する。
In a first aspect, the display control device comprises:
A display control device that controls image display of a display device that is mounted on a vehicle and causes an image to be viewed by a viewer on board the vehicle,
a vehicle posture information acquisition unit that acquires posture information of the vehicle;
a viewpoint position information acquisition unit that acquires viewpoint height position estimation information that enables estimation of the viewpoint height position of the viewer;
Pitching correction for correcting the image so as to suppress variation in the display position of the image due to pitching of the vehicle, and rolling for correcting the image so as to suppress variation in the display position of the image due to rolling of the vehicle. Having a control unit that controls image correction including at least one of the corrections,
The control unit
As a result of estimation based on the viewpoint height position estimation information acquired by the viewpoint position information acquisition unit, when the viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is The correction amount is made larger than the correction amount at the standard position, and if it is estimated to be low, the correction amount is made smaller than the correction amount at the standard position.
第1の態様では、視認者の視点高さ位置を推定可能な視点高さ位置推定情報に基づいて、視認者の視点高さ位置を推定する。推定された視点高さ位置が、標準位置よりも高いと推定される場合は、画像補正の補正量をより大きくし、低いと推定される場合は、画像補正の補正量をより小さくする。 In the first aspect, the viewpoint height position of the viewer is estimated based on the viewpoint height position estimation information that enables estimation of the viewpoint height position of the viewer. If the estimated viewpoint height position is estimated to be higher than the standard position, the amount of image correction is increased, and if it is estimated to be lower, the amount of image correction is decreased.
視点高さ位置が高いということは、ピッチングやローリングの中心軸から視点(目)までの距離が大きいということである。この場合は、車両の揺れ(姿勢変動)の影響が大きくなり、表示されている画像の、車両の高さ方向における変化が大きくなり、画像の表示位置の変動が増大する傾向が生じる。よって、その大きな位置変動を効果的に抑制するべく、画像補正の補正量を増大させる。 A high viewpoint height position means that the distance from the central axis of pitching or rolling to the viewpoint (eyes) is large. In this case, the influence of vehicle shaking (posture variation) increases, and the displayed image tends to vary greatly in the height direction of the vehicle, increasing the variation in the display position of the image. Therefore, the correction amount of image correction is increased in order to effectively suppress the large positional fluctuation.
一方、視点高さ位置が低くなると、車両の揺れ(姿勢変動)の影響は小さくなるため、上記の大きな補正量を維持していては、オーバー補正となる可能性がある。よって、視点高さ位置の低下に応じて、画像補正の補正量も減少させるものである。 On the other hand, when the height position of the viewpoint is lowered, the influence of the shaking of the vehicle (posture fluctuation) becomes smaller, so if the above-mentioned large correction amount is maintained, there is a possibility of over-correction. Therefore, the correction amount of the image correction is also decreased according to the decrease in the viewpoint height position.
このような、視点高さ位置を考慮した画像補正を実施することで、視認者の違和感を抑制でき、また、先方対象物に対する画像の重畳性の低下を抑制することができる。 By performing such image correction in consideration of the viewpoint height position, it is possible to suppress the viewer's sense of discomfort, and to suppress deterioration in the ability of the image to be superimposed on the forward object.
第1の態様に従属する第2の態様において、
前記視点高さ位置推定情報は、
前記表示装置が、画像を被投影部材に投影する回転可能な曲面ミラーを含む光学系を備える場合における、前記曲面ミラーの位置情報であってもよく、
又は、
前記表示装置が、画像表示面を備える表示部と、前記表示装置に含まれる、画像を被投影部材に投影する回転不可の曲面ミラーを含む光学系と、を備える場合における、前記表示部における前記画像表示面上の画像表示位置情報であってもよい。
In a second aspect dependent on the first aspect,
The viewpoint height position estimation information is
Position information of the curved mirror in the case where the display device includes an optical system including a rotatable curved mirror that projects an image onto a projection target member,
or
When the display device includes a display unit having an image display surface, and an optical system including a non-rotatable curved mirror that projects an image onto a projection target member, the display unit includes: It may be image display position information on the image display surface.
第2の態様では、前記視点高さ位置推定情報として、回転可能な曲面ミラー(凹面鏡等)の位置情報、あるいは、曲面ミラー(凹面鏡等)が回転不可の場合における、表示部における画像表示位置情報を使用することができる。 In the second aspect, as the viewpoint height position estimation information, position information of a rotatable curved mirror (concave mirror, etc.), or image display position information on the display unit when the curved mirror (concave mirror, etc.) is not rotatable. can be used.
回転可能な曲面ミラー(凹面鏡等)の回転によって、アイボックスの高さ位置が変更されるため、曲面ミラーの位置情報(例えば、回転機構の構成要素であるアクチュエータの回転数、あるいは曲面ミラーの回転角等は、視認者の視点の高さ位置を推定する客観的なデータとして使用することができる。 Since the height position of the eyebox is changed by the rotation of a rotatable curved mirror (concave mirror, etc.), the position information of the curved mirror (for example, the number of rotations of the actuator, which is a component of the rotation mechanism, or the rotation of the curved mirror) Angles and the like can be used as objective data for estimating the height position of the viewer's viewpoint.
また、曲面ミラー(凹面鏡等)が回転不能な場合には、その曲面ミラーの光を反射する反射面への、画像の表示光の入射位置を調整することで、その反射面からの光の反射方向を制御し、アイボックスの高さ位置を変更することができる。そして、反射面への表示光の入射位置の変更は、結果的に、画像を表示する表示部における、画像表示面上での画像表示位置の調整によって実現される。よって、画像表示位置情報は、視認者の視点の高さ位置を推定する客観的なデータとして使用することができる。 In addition, when the curved mirror (concave mirror, etc.) cannot be rotated, by adjusting the incident position of the display light of the image on the reflecting surface that reflects the light of the curved mirror, the reflection of the light from the reflecting surface can be adjusted. You can control the direction and change the height position of the eyebox. The change in the incident position of the display light onto the reflecting surface is eventually realized by adjusting the image display position on the image display surface in the display section that displays the image. Therefore, the image display position information can be used as objective data for estimating the height position of the viewpoint of the viewer.
視点高さ位置推定情報を活用することで、視点位置をカメラで撮像して画像解析によって視点高さ位置を検出する場合に比べて、視点高さ位置の特定を、より容易化でき、また、より迅速化することができる。 By utilizing the viewpoint height position estimation information, the viewpoint height position can be specified more easily than when the viewpoint position is captured by a camera and the viewpoint height position is detected by image analysis. can be faster.
第1又は第2の態様に従属する第3の態様において、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、
推定された視点高さ位置が前記標準位置よりも高い場合は、視点高さ位置がより高くなると前記画像補正の補正量を増大させ、
推定された視点高さ位置が前記標準位置よりも低い場合は、視点高さ位置がより低くなると前記画像補正の補正量を減少させてもよい。
In a third aspect depending on the first or second aspect,
The control unit
Varying the correction amount of the image correction according to the degree of the estimated viewpoint height position,
when the estimated viewpoint height position is higher than the standard position, increasing the correction amount of the image correction as the viewpoint height position becomes higher,
When the estimated viewpoint height position is lower than the standard position, the correction amount of the image correction may be decreased when the viewpoint height position becomes lower.
第3の態様では、推定された視点高さ位置の程度に対応させて、画像補正の補正量を、適応的に可変制御する。これにより、車両の姿勢変動に対応したより適切な画像補正(ピッチング補正やローリング補正)が可能となる。 In the third aspect, the amount of image correction is adaptively variably controlled in correspondence with the degree of the estimated viewpoint height position. As a result, more appropriate image correction (pitching correction and rolling correction) corresponding to changes in the attitude of the vehicle becomes possible.
第3の態様に従属する第4の態様において、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合において、
推定された視点高さ位置が前記標準位置よりも高い範囲における、前記視点高さ位置推定情報の変動量に対する前記画像補正の補正量の変化率を第1の変化率とし、
推定された視点高さ位置が前記標準位置よりも低い範囲における、前記視点高さ位置推定情報の変動量に対する前記画像補正の補正量の変化率を第2の変化率とするとき、
前記第1の変化率を、前記第2の変化率よりも大きく設定してもよい。
In a fourth aspect depending on the third aspect,
The control unit
When varying the correction amount of the image correction according to the degree of the estimated viewpoint height position,
A change rate of the correction amount of the image correction with respect to the change amount of the viewpoint height position estimation information in a range in which the estimated viewpoint height position is higher than the standard position is defined as a first change rate;
When the change rate of the correction amount of the image correction with respect to the change amount of the viewpoint height position estimation information in the range where the estimated viewpoint height position is lower than the standard position is defined as a second rate of change,
The first rate of change may be set larger than the second rate of change.
第4の態様では、視点高さ位置に応じて画像補正の補正量を可変に制御する際、車両姿勢変動の影響を受けやすい範囲(標準位置よりも視点が高い範囲)では、視点高さ位置推定情報(回転数や回転角等:より広義には視点高さ位置)の変動量に対する補正量の変化率を大きく設定し、大きな画像位置の変動に迅速に追従可能とし、これによって画像の表示位置が大きく変化することを効果的に防止する。 In the fourth aspect, when variably controlling the correction amount of image correction according to the viewpoint height position, in a range susceptible to changes in vehicle posture (range where the viewpoint is higher than the standard position), the viewpoint height position The rate of change in the amount of correction for the amount of change in estimated information (rotation speed, angle of rotation, etc.: viewpoint height position in a broader sense) is set to be large, enabling rapid follow-up of large changes in image position, thereby enabling image display. To effectively prevent a position from greatly changing.
一方、標準位置よりも視点が低い場合は、画像の位置変動が小さくなるため、補正量をより小さくしてオーバー補正が生じないようにしつつ、小さな画像変動を、確実に抑制する。 On the other hand, when the viewpoint is lower than the standard position, the positional fluctuation of the image is small. Therefore, the correction amount is made smaller to prevent overcorrection, and small image fluctuations are reliably suppressed.
これによって、視認者の違和感を低減すると共に、先方対象物に対する画像の重畳性の低下も十分に抑制することが可能となる。 As a result, it is possible to reduce the discomfort of the viewer and to sufficiently suppress the deterioration of the superimposition of the image on the forward object.
第3又は第4の態様に従属する第5の態様において、
前記制御部は、
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合、前記視点高さ位置が所定の高さ範囲外となる場合には、前記画像補正を停止する。
In a fifth aspect depending on the third or fourth aspect,
The control unit
When the correction amount of the image correction is varied according to the degree of the estimated viewpoint height position, the image correction is stopped when the viewpoint height position is out of a predetermined height range.
第5の態様では、画像補正は、視点高さ位置が所定高さ範囲内にある場合に実施し、所定高さ範囲外になると、画像補正を停止する(言い換えれば、画像補正量を零とする)。 In the fifth aspect, the image correction is performed when the viewpoint height position is within the predetermined height range, and when it is outside the predetermined height range, the image correction is stopped (in other words, the image correction amount is set to zero). do).
視点高さ位置が高すぎる場合は、車両の姿勢変動の影響を大きく受けて画像の表示位置の変動が増大していることから、画像補正を行ったとしても、画像の位置変動の抑制効果が不十分となり、画像が不自然に変動するおそれがある。また、無理に画像補正を実施したとき、その画像補正に伴う画像の不自然な変動が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととした。 If the viewpoint height position is too high, the change in the image display position is greatly affected by the change in the vehicle posture, so even if the image is corrected, the effect of suppressing the image position change is not sufficient. insufficient, and the image may fluctuate unnaturally. In addition, when image correction is performed forcibly, the unnatural variation of the image accompanying the image correction may rather give a sense of discomfort to the viewer. Considering these points, we decided not to perform image correction.
また、視点高さ位置が低すぎる場合は、車両の姿勢変動の影響も小さいことから、画像補正を停止しても影響は少ないと考えられる。また、小さい画像の位置変動に対応させて無理に画像補正を実施すると、その画像補正に伴う画像の細かな位置の変化が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととした。 Also, if the height of the viewpoint is too low, the effect of the change in the posture of the vehicle is small, so even if the image correction is stopped, the effect is considered to be small. Further, if image correction is forcibly performed in response to a small positional change of the image, the minute positional change of the image accompanying the image correction may rather make the viewer feel uncomfortable. Considering these points, we decided not to perform image correction.
第1又は第2の態様に従属する第6の態様において、
前記制御部は、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより低くなると前記画像補正の補正量を減少させてもよい。
In a sixth aspect depending on the first or second aspect,
The control unit
when the estimated viewpoint height position is in a range higher than the standard position, setting a correction amount of a predetermined fixed value as the correction amount of the image correction,
When the estimated viewpoint height position is in a range lower than the standard position, the correction amount of the image correction is varied according to the degree of the viewpoint height position, and when the viewpoint height position becomes lower, A correction amount of the image correction may be decreased.
第6の態様では、先に説明した第3の態様(推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する態様)の変形例の一例について記載している。言い換えれば、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも低い範囲にて実施し、標準位置よりも高い範囲では、補正量を所定の固定値とする(例えば、固定値は零を含む整数である)。 The sixth aspect describes an example of a modification of the third aspect described above (a mode in which the correction amount of the image correction is varied according to the degree of the estimated viewpoint height position). In other words, variable control of the correction amount of image correction is performed in a range where the viewpoint height position is lower than the standard position, and in a range higher than the standard position, the correction amount is set to a predetermined fixed value (for example, a fixed value). The value is an integer including zero).
視点高さ位置が標準位置よりも高い範囲で固定値の補正量を使用することで、補正量を大きく切り替える必要がなくなり、制御部の負担(例えば、補正量を算出したり、取得したりする処理負担)を軽減することが可能である。 By using a fixed value correction amount in the range where the viewpoint height position is higher than the standard position, there is no need to switch the correction amount greatly, and the burden on the control unit (for example, calculating and obtaining the correction amount processing load) can be reduced.
第1又は第2の態様に従属する第7の態様において、
前記制御部は、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより高くなると前記画像補正の補正量を増大させてもよい。
In a seventh aspect depending on the first or second aspect,
The control unit
when the estimated viewpoint height position is in a range lower than the standard position, setting a correction amount of a predetermined fixed value as the correction amount of the image correction,
When the estimated viewpoint height position is in a range higher than the standard position, the correction amount of the image correction is varied according to the degree of the viewpoint height position, and when the viewpoint height position is higher, A correction amount of the image correction may be increased.
第7の態様では、先に説明した第3の態様(推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する態様)の変形例の他の例について記載している。言い換えれば、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも高い範囲にて実施し、標準位置よりも低い範囲では、補正量を所定の固定値とする(例えば、固定値は零を含む整数である)。 In the seventh aspect, another example of a modified example of the third aspect described above (an aspect in which the correction amount of the image correction is varied according to the degree of the estimated viewpoint height position) is described. there is In other words, variable control of the correction amount of image correction is performed in a range where the viewpoint height position is higher than the standard position, and in a range lower than the standard position, the correction amount is set to a predetermined fixed value (for example, a fixed value). The value is an integer including zero).
視点高さ位置が標準位置よりも低い範囲で固定値の補正量を使用することで、細かな補正量の可変を頻繁に行う手間が省けることから、制御部の負担(例えば、補正量を算出したり、取得したりする処理負担)を軽減することが可能である。 By using a fixed correction amount in the range where the viewpoint height position is lower than the standard position, it is possible to save the trouble of frequently changing the fine correction amount, thus reducing the burden on the control unit (for example, calculating the correction amount). It is possible to reduce the processing load of processing and acquiring.
第1乃至第7の何れか1つの態様に従属する第8の態様において、
前記視点位置情報取得部は、
前記視認者の視点高さ位置を推定可能な前記視点高さ位置推定情報に加えて、
カメラによる前記視認者の撮像画像に基づいて検出され、かつ、前記視点高さ位置推定情報よりも視点高さ位置の分解能が高い視点高さ位置検出情報も取得し、
前記制御部は、
前記視点高さ位置推定情報により推定される視点高さ位置を、前記視点高さ位置検出情報を用いて微調整してもよい。
In an eighth aspect depending on any one of the first to seventh aspects,
The viewpoint position information acquisition unit
In addition to the viewpoint height position estimation information capable of estimating the viewpoint height position of the viewer,
Acquiring viewpoint height position detection information that is detected based on an image of the viewer captured by a camera and has a higher resolution of the viewpoint height position than the viewpoint height position estimation information,
The control unit
The viewpoint height position estimated by the viewpoint height position estimation information may be finely adjusted using the viewpoint height position detection information.
第8の態様では、視点高さ位置推定情報と、視点高さ位置の分解能がより高い、視点高さ位置検出情報とを併用する。例えば、視点高さ位置推定情報に基づいてアイボックスの高さ位置を推定し、視点高さ位置検出情報を用いて、アイボックス内での視点高さ位置を判定(例えば、アイボックス内における視点高さ位置を、「高」、「中」、「低」に区分して判定)することができる。これによって、より細かく視点高さ位置を判定(特定)でき、視点高さ位置の検出精度を向上させることができる。よって、より適切な画像補正を実施することができる。 In the eighth aspect, viewpoint height position estimation information and viewpoint height position detection information with higher resolution of the viewpoint height position are used together. For example, the height position of the eyebox is estimated based on the viewpoint height position estimation information, and the viewpoint height position within the eyebox is determined using the viewpoint height position detection information (for example, the viewpoint height position within the eyebox The height position can be classified into "high", "medium", and "low". As a result, the viewpoint height position can be determined (specified) more precisely, and the detection accuracy of the viewpoint height position can be improved. Therefore, more appropriate image correction can be performed.
第8の態様に従属する第9の態様において、
前記制御部は、
アイボックス内の区分された複数の領域の各々を単位として、視点追従ワーピングを実施すると共に、その実施の際に得られた、前記視認者の視点が前記複数の領域の内のどの領域に位置するかを示す視点位置情報を、前記視点高さ位置検出情報としても使用してもよい。
In a ninth aspect depending on the eighth aspect,
The control unit
eye-tracking warping is performed using each of a plurality of divided regions within an eyebox as a unit, and in which region of the plurality of regions the viewer's viewpoint obtained during the execution is positioned; The viewpoint position information indicating whether to detect the position may be used as the viewpoint height position detection information.
第9の態様では、カメラによる撮像により得られた視点位置情報を、視点追従ワーピング、及び視点高さ位置を考慮したピッチング補正/ローリング補正、に共通に使用する。これによって、ピッチング補正やローリング補正のために、単独で、視点高さ位置検出情報を取得する必要がなく、制御部等の負担軽減が図れる。 In the ninth aspect, viewpoint position information obtained by imaging with a camera is commonly used for viewpoint following warping and pitching correction/rolling correction considering the viewpoint height position. As a result, it is not necessary to acquire viewpoint height position detection information independently for pitching correction or rolling correction, and the burden on the control unit and the like can be reduced.
第1乃至第9の何れか1つの態様に従属する第10の態様において、
前記制御部は、
前記画像補正の補正量の設定に際し、
前記ピッチング補正と前記ローリング補正とを区別して取り扱い、各補正に適した補正量を設定してもよい。
In a tenth aspect depending on any one of the first to ninth aspects,
The control unit
When setting the correction amount of the image correction,
The pitching correction and the rolling correction may be handled separately, and a correction amount suitable for each correction may be set.
第10の態様によれば、ピッチング、ローリングの各々に対して、適切な画像補正を実施することが可能となる。 According to the tenth aspect, it is possible to perform appropriate image correction for each of pitching and rolling.
第11の態様において、表示装置は、
第1乃至第10の何れか1つの態様に記載の表示制御装置と、
前記ピッチング補正、及び前記ローリング補正の少なくとも一方を含む画像補正を実施する補正部と、
補正後の画像を表示する表示部と、
を有する。
In an eleventh aspect, the display device comprises
a display control device according to any one of the first to tenth aspects;
a correction unit that performs image correction including at least one of the pitching correction and the rolling correction;
a display for displaying the image after correction;
have
第11の態様によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示可能な、高性能な表示装置を実現することができる。表示装置は広義に解釈され、例えば、ヘッドアップディスプレイ(HUD)装置や、フラットパネルディスプレイ等を含むことができる。 According to the eleventh aspect, it is possible to realize a high-performance display device capable of displaying an image with little positional variation even when the vehicle pitches or rolls. Display devices are interpreted broadly and can include, for example, head-up display (HUD) devices, flat panel displays, and the like.
第11の態様に従属する第12の態様において、
前記表示装置は、
前記表示部に表示される画像の表示光を、前記車両に設けられる被投影部材に投影する光学系をさらに有し、前記運転者及び前記乗員の少なくとも一方に虚像を視認させる機能をもつヘッドアップディスプレイ装置であってもよい。
In a twelfth aspect depending on the eleventh aspect,
The display device
The head-up device further includes an optical system for projecting display light of an image displayed on the display unit onto a projection target member provided in the vehicle, and has a function of allowing at least one of the driver and the passenger to visually recognize a virtual image. It may be a display device.
第12の態様によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示可能な、高性能なヘッドアップディスプレイ(HUD)装置を実現することができる。 According to the twelfth aspect, it is possible to realize a high-performance head-up display (HUD) device capable of displaying an image with little positional variation even when the vehicle pitches or rolls.
第13の態様において、画像表示制御方法は、
車両に搭載される表示装置における画像表示制御方法であって、
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の位置変動を補正する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
を含む。
In a thirteenth aspect, the image display control method includes:
An image display control method for a display device mounted on a vehicle, comprising:
obtaining attitude information including at least one of pitching and rolling of the vehicle;
obtaining viewpoint height position estimation information that enables estimation of a viewpoint height position of a viewer of an image displayed by the display device;
With respect to image correction for correcting positional fluctuations of the image displayed by the display device due to changes in the attitude of the vehicle, if the viewer's viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is is made larger than the correction amount at the standard position, and if the viewpoint height position is estimated to be lower than the standard position, the correction amount of the image correction is made smaller than the correction amount at the standard position. , a step of variably controlling the amount of image correction;
correcting an image displayed by the display device according to the variably controlled correction amount;
including.
第13の態様によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示することができ、視認者の違和感を軽減することができ、また、先方対象物に重畳される画像(重畳画像)の重畳性の低下を抑制することができる。よって、位置変動の少ない画像を表示可能な、高性能な表示装置を実現することができる。 According to the thirteenth aspect, even if the vehicle pitches or rolls, it is possible to display an image with little positional variation, reduce the viewer's sense of incongruity, and allow the image to be superimposed on the forward object. It is possible to suppress the deterioration of the superimposition property of the image (superimposed image). Therefore, it is possible to realize a high-performance display device capable of displaying an image with little positional variation.
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。 Those skilled in the art will readily appreciate that the illustrated embodiments in accordance with the present invention may be further modified without departing from the spirit of the invention.
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。 The best mode described below is used for easy understanding of the invention. Accordingly, those skilled in the art should note that the present invention is not unduly limited by the embodiments described below.
(第1の実施形態)
図1を参照する。図1(A)は、ピッチング及びピッチング補正を説明するための図、図1(B)は、ローリング及びローリング補正を説明するための図である。
(First embodiment)
Please refer to FIG. FIG. 1A is a diagram for explaining pitching and pitching correction, and FIG. 1B is a diagram for explaining rolling and rolling correction.
図1において、X方向は車両1の左右方向、Y方向は車両1の高さ方向(路面の垂線に沿う方向)、Z方向は車両1の前方(前後方向)を示す。XYZ直交座標系は、路面を基準とする実空間の座標系である。
In FIG. 1, the X direction indicates the left-right direction of the
車両1のピッチングは、車両1の左右軸(車両の中心(例えば重心)を通って、車両1の左右方向に延びる軸)を中心として車両が前後に回転する、いわゆる縦揺れが生じた状態であり、車両1の姿勢は、後傾姿勢(図1(A)参照)あるいは前傾姿勢(図1(B)参照)となる。
The pitching of the
車両1は、平坦な路面4を走行しているが、図1(A)では例えば急加速したため、車両1の車体の前端部が路面4から浮き上がり、車両1の車体は後傾の姿勢となっている。ピッチング角はθaである。
Although the
図1(B)では、例えば急ブレーキをかけたため、車両1の車体の後端部が路面4から浮き上がり、車両1の車体は前傾姿勢となっている。ピッチング角はθbである。
In FIG. 1B, for example, the rear end of the vehicle body of the
ピッチングが生じると、路面4を基準とする実空間に設定されるXYZ直交座標系(第1の座標系)と、車両1の車体の姿勢に依存して変動する局所的なX1Y1Z1直交座標系(第2の座標系)との間にズレ(不一致)が生じる。このズレによって、画像の表示位置の変動が生じる。ピッチング補正は、この変動を抑制する画像補正(基本的には、第2の座標系を第1の座標系に変換する座標変換補正)である。
When pitching occurs, an XYZ orthogonal coordinate system (first coordinate system) set in real space with the
なお、HUD装置において、ピッチング等に起因して、例えば画像の表示光がウインドシールド(被投影部材)に投影される位置が変化するなどして、表示画像の形状が変動する場合もあり得るが、この場合は、ワーピング補正(光学系に起因する歪みとは逆の歪みを、画像に事前に与える補正)により対応可能である。 In the HUD device, due to pitching or the like, for example, the position where the display light of the image is projected onto the windshield (projection target member) changes, and the shape of the displayed image may change. , in this case, warping correction (correction that preliminarily gives the image a distortion opposite to the distortion caused by the optical system) can be used.
図1(A)、(B)の上側において実線で示されるように、ピッチングが生じる前は、注意喚起マーク(虚像)70が、先方対象物(例えば前方車両)60に重畳されて表示されているが、ピッチングが生じると、破線で示されるように、注意喚起マーク(虚像)の位置が上下方向(XYZ直交座標系における車両1の高さ方向(Y方向))に移動する。図1(A)では、変位量をΔD1と表記している。図1(B)では、変位量をΔD2と表記している。また、図中、位置の移動が生じた後の注意喚起マーク(虚像)には、70’の符号を付している。
As indicated by the solid lines on the upper side of FIGS. 1A and 1B, before pitching occurs, a warning mark (virtual image) 70 is superimposed on a forward object (for example, a forward vehicle) 60 and displayed. However, when pitching occurs, the position of the caution mark (virtual image) moves in the vertical direction (height direction (Y direction) of the
表示中の画像の位置が瞬時的に変化することで、運転者や、その他の搭乗者に違和感が生じる場合があり、また、図1(A)、(B)の例のように、先方対象物60に対する注意喚起マーク70の重畳性が低下する場合もあり、この点も違和感の原因となり得る。
An instantaneous change in the position of the displayed image may cause discomfort to the driver and other passengers. In some cases, the superimposition of the attention-calling
また、車両1のローリングは、前後軸(車両の中心(例えば重心)を通って、車両1の前後方向に延びる軸)を中心として車両1が左右に回転する、いわゆる横揺れが生じた状態であり、車両1の姿勢は、右傾姿勢(図1(C)参照)又は左傾姿勢(図1(D)参照)となる。
Rolling of the
ローリングが生じると、路面4を基準とする実空間に設定されるXYZ直交座標系(第1の座標系)と、車両1の車体の姿勢に依存して変動する局所的なX1Y1Z1直交座標系(第2の座標系)との間にズレ(不一致)が生じる。このズレによって、画像の表示位置の変動が生じる。ローリング補正は、この変動を抑制する画像補正(基本的には、第2の座標系を第1の座標系に変換する座標変換補正)である。
When rolling occurs, an XYZ orthogonal coordinate system (first coordinate system) set in real space with the
図1(C)では、例えば、右側にハンドルを切ったことから、車両1の車体の左端部が路面4から浮き上がり、車両1の車体は右傾姿勢となっている。ローリング角はθcである。
In FIG. 1C, for example, since the steering wheel is turned to the right, the left end of the vehicle body of the
図1(D)では、例えば、左側にハンドルを切ったことから、車両1の車体の右端部が路面4から浮き上がり、車両1の車体は左傾姿勢となっている。ローリング角はθdである。
In FIG. 1(D), for example, since the steering wheel is turned to the left, the right end of the vehicle body of the
図1(C)、(D)の上側において実線で示されるように、ローリングが生じる前は、注意喚起マーク(虚像)70が、先方対象物(例えば前方車両)60に重畳されて表示されているが、ローリングが生じると、破線で示されるように、注意喚起マーク(虚像)の位置が左右方向(XYZ直交座標系における車両1の幅方向(X方向))、及び、上下方向(XYZ直交座標系における車両1の高さ方向(Y方向))に移動する。
As indicated by solid lines on the upper side of FIGS. 1(C) and 1(D), before rolling occurs, a warning mark (virtual image) 70 is superimposed on a forward object (for example, a forward vehicle) 60 and displayed. However, when rolling occurs, as indicated by the dashed lines, the position of the caution mark (virtual image) changes in the horizontal direction (the width direction (X direction) of the
図1(C)では、左右方向の変位量(ヨーイング成分)をΔL1と表記し、上下方向の変位量をΔD3と表記している。図1(D)では、左右方向の変位量(ヨーイング成分)をΔL2と表記し、上下方向の変位量をΔD4と表記している。また、位置の移動が生じた後の注意喚起マーク(虚像)には、70’の符号を付している。 In FIG. 1C, the amount of displacement (yawing component) in the horizontal direction is denoted as ΔL1, and the amount of displacement in the vertical direction is denoted as ΔD3. In FIG. 1D, the amount of displacement (yawing component) in the horizontal direction is denoted by ΔL2, and the amount of displacement in the vertical direction is denoted by ΔD4. Further, the caution mark (virtual image) after the movement of the position is attached with the reference numeral 70'.
図1(C)、(D)における、左右方向の変位量(ヨーイング成分)ΔL1、ΔL2に関しては、車両1に搭乗する運転者(あるいは、その他の搭乗者)の視点(目)の高さ位置(XYZ直交座標系における車両1の高さ方向(Y方向)に沿う位置)が異なることによる変動ばらつきはない。
1(C) and (D), the displacement amounts (yawing components) .DELTA.L1 and .DELTA.L2 in the left-right direction are the height position of the viewpoint (eyes) of the driver (or other occupant) riding in the
但し、図1(A)~(D)における上下方向の変位量ΔD1~ΔD4に関しては、視点高さ位置が異なると、変位量も変動することになり、よって、一律の補正量による画像補正では、位置補正の精度に限界がある。したがって、視認者の視点(目)の高さ位置を考慮して、補正量を可変に制御することが重要となる。 However, with respect to the displacement amounts ΔD1 to ΔD4 in the vertical direction in FIGS. , the accuracy of the position correction is limited. Therefore, it is important to variably control the correction amount in consideration of the height position of the viewpoint (eyes) of the viewer.
図2を参照する。図2は、表示制御装置の構成例、及び、表示制御装置を用いた表示システムの要部構成例を示す図である。 Please refer to FIG. FIG. 2 is a diagram illustrating a configuration example of a display control device and a main configuration example of a display system using the display control device.
図2の表示システム(ここでは表示装置としてHUD装置を用いることを想定する)では、アイボックスEBの高さの位置(Y方向における位置)を、視認者(運転者等)の視点(目)の高さ位置に合わせて調整することができる。 In the display system of FIG. 2 (here, it is assumed that a HUD device is used as the display device), the height position (position in the Y direction) of the eyebox EB is set to the viewpoint (eyes) of the viewer (driver or the like). can be adjusted according to the height of the
図2では、標準位置のアイボックスEBを実線で示し、標準位置よりも高い位置(図中、「高」と表記)にあるアイボックスEB’の一部を破線で示し、標準位置よりも低い位置(図中「低」と表記)にあるアイボックスEB’’を一点鎖線で示している。なお、アイボックスEBは、立体的な形状を有するが、図2では、説明の便宜上、平面的に示している。 In FIG. 2 , the eyebox EB at the standard position is indicated by a solid line, and a part of the eyebox EB′ at a position higher than the standard position (indicated as “high” in the figure) is indicated by a broken line and is lower than the standard position. The eyebox EB'' at the position (denoted as "low" in the figure) is indicated by a dashed line. Although the eye box EB has a three-dimensional shape, it is shown planarly in FIG. 2 for convenience of explanation.
図2では、アイボックスEBは、複数の領域(Z1~Z9)に区分されており、視点(目)の位置は、その区分された各領域を単位として検出可能である。この構成によれば、視点(目)が位置する領域にのみスポットライティング(局所的画像投影)を実施することで光源の消費電力を削減できる。また、光学系(被投影部材としてのウインドシールド等を含む)による画像の歪みとは逆の歪みを画像に事前に与えるワーピングを、上記の区分された領域単位で実施する視点追従ワーピングを採用することで、電力消費を抑えつつ画像の歪みを抑制することができる。 In FIG. 2, the eye box EB is divided into a plurality of areas (Z1 to Z9), and the position of the viewpoint (eye) can be detected in units of each divided area. According to this configuration, power consumption of the light source can be reduced by performing spot lighting (local image projection) only in the region where the viewpoint (eye) is located. In addition, viewpoint-following warping is adopted, in which warping is performed in advance for each of the above-mentioned divided areas, which is the opposite of the distortion of the image due to the optical system (including the windshield as a projection target). This makes it possible to suppress image distortion while suppressing power consumption.
視点(目)位置の検出は、例えば、カメラ15で、視認者の目(顔等であってもよい)を撮像して、視点位置検出部34にて画像処理等を実施することで判定(特定)することができる。図2の表示システムでは、視点(目)位置検出情報G2は、プロセッサ(表示制御装置)36に供給される。
The viewpoint (eye) position is detected by, for example, capturing an image of the viewer's eyes (which may be a face or the like) with the
一方、アイボックスEB(EB’、EB’’)の高さ位置は、曲面ミラー回転制御部31が制御する曲面ミラー(図2では不図示、図3の符号28)の位置情報(言い換えれば、回転情報:具体的には回転数や回転角)に基づいて特定することができる。ここで、アイボックスEBの高さ位置は、例えば、視点(目)6が、アイボックスEB内の領域Z5(アイボックス内の9個の区分された領域のうちの中央に位置する領域)に位置するように事前に調整される。よって、アイボックスEBの高さ位置は、視点(目)6の高さを反映している。このため、曲面ミラー回転制御部31から得られる曲面ミラーの位置情報(回転情報:回転数や回転角)を参照することで、視点(目)の高さ位置を推定することができる。図2の表示システムでは、その曲面ミラーの位置情報は、視点(目)位置推定情報G1として、プロセッサ(表示制御装置)36に供給される。
On the other hand, the height position of the eyebox EB (EB', EB'') is positional information (in other words, Rotation information: Specifically, it can be specified based on the number of rotations and rotation angle). Here, the height position of the eyebox EB is such that, for example, the viewpoint (eye) 6 is located in the area Z5 in the eyebox EB (the area located in the center of the nine divided areas in the eyebox). Pre-adjusted to position. Therefore, the height position of the eyebox EB reflects the height of the viewpoint (eye) 6 . Therefore, the height position of the viewpoint (eyes) can be estimated by referring to the curved mirror position information (rotation information: rotation speed and rotation angle) obtained from the curved mirror
プロセッサ(表示制御装置)36は、画像表示を制御する制御部38を有する。制御部38は、車両姿勢情報取得部40と、視点位置情報取得部41と、画像補正を統括的に制御する補正制御部(画像補正制御部)43を有する。
A processor (display control device) 36 has a
補正制御部(画像補正制御部)43は、ピッチング・ローリング補正制御部42と、ワーピング制御部44と、を有する。なお、ピッチング・ローリング補正制御部42は、1つの補正制御部が、ピッチング補正及びローリング補正を共通に制御してもよく、ピッチング補正用の補正制御部とローリング補正用の補正制御部とを別々にもつ構成であってもよい。
The correction control section (image correction control section) 43 has a pitching/rolling
ピッチング・ローリング補正制御部42は、視点(目)位置推定情報G1を参照しつつ、あるいは、さらに視点(目)位置検出情報G2も参照しつつ、視点高さ位置に応じた補正量を取得して、画像補正を実施する(詳細は後述する)。
The pitching/rolling
次に、図3を参照する。図3は、表示制御装置を備えるヘッドアップディスプレイ(HUD)装置の構成例、及び、HUD装置を含む表示システムの構成例を示す図である。図3において、図2と共通する部分には同じ符号を付している。 Next, refer to FIG. FIG. 3 is a diagram showing a configuration example of a head-up display (HUD) device provided with a display control device and a configuration example of a display system including the HUD device. In FIG. 3, parts common to those in FIG. 2 are given the same reference numerals.
図3において、ヘッドアップディスプレイ(HUD)装置100は、例えば、車両1のダッシュボード7の内部に収納されている。HUD装置100は、光源部24(フラットパネルディスプレイ等を有する表示部22を含む)と、光学系としての平面ミラー26及び曲面ミラー(凹面鏡等)28と、曲面ミラー(凹面鏡等)28を回転駆動する回転機構(アクチュエータを含む)30と、曲面ミラーの回転を制御する曲面ミラー回転制御部31と、入力インタフェース(入力I/F)32と、視点位置制御部34と、プロセッサ(表示制御装置)36と、メモリ(記憶装置あるいは記憶部)50と、描画メモリ65と、画像処理部80と、を有する。
In FIG. 3, a head-up display (HUD)
プロセッサ(表示制御装置)36は、先に図2で説明したとおり、画像表示を制御する制御部38を有し、この制御部38は、車両姿勢情報取得部40と、視点位置情報取得部41と、画像補正を統括的に制御する補正制御部(画像補正制御部)43と、を有する。補正制御部(画像補正制御部)43は、ピッチング・ローリング補正制御部42と、ワーピング制御部44と、を有する。
The processor (display control device) 36 has a
メモリ50は、補正テーブル52を有する。補正テーブル52は、ピッチング補正テーブル54と、ローリング補正テーブル56と、ワーピング補正テーブル58とを備える。なお、画像の補正の補正量を、補正テーブルを用いずに演算にて算出する場合には、メモリ50には、補正演算データ59が記憶される。
画像処理部80は、バス82と、画像生成部84と、プロセッサ(表示制御装置)36から供給される補正量の情報を用いて、画像データを補正する補正部(補正処理部)86と、補正後の画像データを光源部24に供給する出力バッファ88と、を有する。
The
また、図3の例では、視認者5(5’、5’’)の視点(目)や顔を撮像するカメラ15は、HUD装置100と共に、ダッシュボード7の内部に配置されている。
In addition, in the example of FIG. 3 , the
また、車両1の姿勢情報(ロール角、ピッチ角)を取得するために、ロール角センサ9及びピッチ角センサ11(これらは、例えば加速度センサにより構成される)が設けられる。これらのセンサによって検出されたロール角、ピッチ角の情報は、車両ECU13を経由して、車両姿勢情報G0として、HUD装置100の入力インタフェース(入力I/F)32に供給される。
In addition, a
また、曲面ミラー回転制御部31から、図2にて説明した回転情報(視点高さ位置推定情報)G1が入力I/F32に供給される。また、視点位置検出部34から、視点高さ位置検出情報G2が入力I/F32に供給される。車両姿勢情報G0は、プロセッサ(表示制御装置)36の車両姿勢情報取得部40により取得され、回転情報(視点高さ位置推定情報)G1、及び、視点高さ位置検出情報G2は、プロセッサ(表示制御装置)36の視点位置情報取得部41によって取得され、取得された情報は、ピッチング補正やローリング補正の際の補正量の決定のために使用される。
Further, from the curved mirror
ピッチング・ローリング補正制御部42は、補正量を決定するために、適宜、メモリ50内の補正テーブル52を参照可能である。補正テーブル52は、例えば、ルックアップテーブル(LUT)形式としてもよい。
The pitching/rolling
また、図3の上側に示されるように、視認者(運転者や他の搭乗者)5の視点(目)6の高さ位置(Y方向の位置)は、視認者の身長や姿勢に応じて変動する。図3では、標準位置の視認者には符号5を付し、そのときの視点(目)には符号6を付している。標準位置よりも高い視点(目)には符号6’を付し、そのときの視認者には符号5’を付している。標準位置よりも低い視点(目)には符号6’’を付し、そのときの視認者には符号5’’を付している。
Further, as shown in the upper part of FIG. 3, the height position (position in the Y direction) of the visual point (eyes) 6 of the viewer (driver or other passenger) 5 varies depending on the height and posture of the viewer. fluctuate. In FIG. 3,
また、標準位置の視点(目)6に対応して、虚像表示面PS上に虚像Vが表示される。また、視点(目)6’に対応して、虚像表示面PS’上に虚像V’が表示される。また、視点(目)6’’に対応して、虚像表示面PS’’上に虚像V’’が表示される。言い換えれば、視点(目)位置が標準位置よりも高くなると、表示される虚像(画像)位置は低くなり、標準位置よりも低くなると、表示される虚像(画像)位置は高くなる。 Also, a virtual image V is displayed on the virtual image display surface PS corresponding to the viewpoint (eye) 6 at the standard position. Also, a virtual image V' is displayed on the virtual image display surface PS' corresponding to the viewpoint (eye) 6'. A virtual image V'' is displayed on the virtual image display surface PS'' corresponding to the viewpoint (eye) 6''. In other words, when the viewpoint (eye) position is higher than the standard position, the displayed virtual image (image) position is lower, and when it is lower than the standard position, the displayed virtual image (image) position is higher.
視点(目)6(6’、6’’)の高さ位置の変化に対応して、曲面ミラー(凹面鏡等)28が回転機構31によって回転され、これによって曲面ミラー28の位置が適宜、変化する。
A curved mirror (concave mirror, etc.) 28 is rotated by a
曲面ミラー28の位置の変化に対応して、アイボックスEBの高さ位置(Y方向の位置)が変化する。図3において、標準位置のアイボックスにはEBの符号を付し、標準位置よりも高いアイボックスにはEB’の符号を付し、標準位置よりも低いアイボックスにはEB’’の符号を付している。
As the position of the
このように、曲面ミラー28の位置情報(回転情報:回転数や回転角の情報)は、アイボックスの高さ位置に対応し、アイボックスの高さ位置は、視認者の視点(目)の高さ位置に対応している。よって、曲面ミラー28の位置情報(回転情報:回転数や回転角の情報)は、視認者の視点(目)の高さ位置を推定可能な客観的な情報として活用することができる(但し、これに限定されるものではない。他の情報を利用して視点(目)の高さ位置を推定する例については後述する)。
In this way, the positional information (rotational information: rotation speed and rotation angle information) of the
次に、図4を参照する。図4(A)は、補正テーブルの一例を示す図、図4(B)は、視点高さ位置推定情報の変動に対する画像補正量の変化率の設定例を示す図である。 Reference is now made to FIG. FIG. 4A is a diagram showing an example of a correction table, and FIG. 4B is a diagram showing a setting example of a change rate of an image correction amount with respect to a change in viewpoint height position estimation information.
補正テーブルは、例えば、ルックアップテーブル(LUT)形式で構築することができる。図4(A)の補正テーブル(LUT)は、車両姿勢情報(ピッチ角θp又はロール角θr)と、視点高さ位置推定情報(曲面ミラーの回転数又は回転角)と、をアドレス変数としてアクセスされ、それらの入力に対応する1つの補正量(補正量A~Wの何れか)が出力される。補正量A~Wの値に関しては、A>B>C・・・・>Wが成立する。 The correction table can be constructed, for example, in lookup table (LUT) format. The correction table (LUT) in FIG. 4A is accessed using vehicle attitude information (pitch angle θp or roll angle θr) and viewpoint height position estimation information (rotation number or rotation angle of curved mirror) as address variables. and one correction amount (one of the correction amounts A to W) corresponding to those inputs is output. Regarding the values of the correction amounts A to W, A>B>C . . . >W is established.
図4(A)では、視点(目)位置が標準位置であるときは、補正量Cが選択される。このときの回転数は「c」、曲面ミラーの回転角は「c’」であり、この「c」、「c’」が設計中心であり、言い換えれば、この「c」、「c’」が、視点高さが、標準位置よりも高いか低いかを判定する基準閾値Sth1となる。 In FIG. 4A, the correction amount C is selected when the viewpoint (eye) position is the standard position. At this time, the number of rotations is "c", and the rotation angle of the curved mirror is "c'". These "c" and "c'" are the design centers. is the reference threshold value Sth1 for determining whether the viewpoint height is higher or lower than the standard position.
ここで、例えば、回転数の数値に関して、a<b<c<・・・・<wが成立する。回転数がa、b(<c)のときは、アイボックスEBは標準位置よりも高く設定され、よって、視点(目)位置は標準位置よりも高いと推定され、表示される虚像は、標準位置よりも低い位置(ダウン位置)に表示される(図3参照)。 Here, for example, a<b<c< . When the number of revolutions is a, b (<c), the eyebox EB is set higher than the standard position. It is displayed at a position lower than the position (down position) (see FIG. 3).
一方、回転数がc・・・w(>c)のときは、アイボックスEBは標準位置よりも低く設定され、よって、視点(目)位置は標準位置よりも低いと推定され、表示される虚像は、標準位置よりも高い位置(アップ位置)に表示される(図3参照)。 On the other hand, when the number of revolutions is c...w (>c), the eyebox EB is set lower than the standard position, so the viewpoint (eyes) position is estimated to be lower than the standard position and displayed. The virtual image is displayed at a position (up position) higher than the standard position (see FIG. 3).
このように、視認者の視点高さ位置を推定可能な視点高さ位置推定情報(回転数や回転角)に基づいて、視認者の視点高さ位置を推定し、推定された視点高さ位置が、標準位置よりも高いと推定される場合は、画像補正の補正量をより大きくし、低いと推定される場合は、画像補正の補正量をより小さくする。 In this way, the viewpoint height position of the viewer is estimated based on the viewpoint height position estimation information (the number of rotations and the angle of rotation) that enables estimation of the viewpoint height position of the viewer, and the estimated viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is increased, and when it is estimated to be low, the correction amount of the image correction is decreased.
視点高さ位置が高いということは、ピッチングやローリングの中心軸から視点(目)までの距離が大きいということである。この場合は、車両の揺れ(姿勢変動)の影響が大きくなり、表示されている画像の、車両1の高さ方向における変化が大きくなり、画像の表示位置の変動が増大する傾向が生じる。よって、その大きな位置変動を効果的に抑制するべく、画像補正の補正量を増大させる。
A high viewpoint height position means that the distance from the central axis of pitching or rolling to the viewpoint (eyes) is large. In this case, the influence of vehicle shaking (change in attitude) becomes greater, the displayed image tends to change more in the height direction of the
一方、視点高さ位置が低くなると、車両1の揺れ(姿勢変動)の影響は小さくなるため、上記の大きな補正量を維持していては、オーバー補正となる可能性がある。よって、視点高さ位置の低下に応じて、画像補正の補正量も減少させるものである。
On the other hand, when the height position of the viewpoint is lowered, the influence of the shaking (orientation fluctuation) of the
また、視点高さ位置推定情報を活用することで、視点位置をカメラで撮像して画像解析によって視点高さ位置を検出する場合に比べて、視点高さ位置の特定を、より容易化でき、また、より迅速化することができる。 In addition, by utilizing the viewpoint height position estimation information, it is possible to more easily specify the viewpoint height position compared to the case where the viewpoint position is captured by a camera and the viewpoint height position is detected by image analysis. Moreover, it can speed up more.
このような、視点高さ位置を考慮した画像補正を実施することで、視認者の違和感を抑制でき、また、先方対象物に対する画像の重畳性の低下を抑制することができる。 By performing such image correction in consideration of the viewpoint height position, it is possible to suppress the viewer's sense of discomfort, and to suppress deterioration in the ability of the image to be superimposed on the forward object.
また、図4(A)の例では、推定された視点高さ位置の程度に応じて、画像補正の補正量を可変すると共に、推定された視点高さ位置が標準位置よりも高い場合は、視点高さ位置がより高くなると画像補正の補正量を増大させ、推定された視点高さ位置が標準位置よりも低い場合は、視点高さ位置がより低くなると画像補正の補正量を減少させるようにしている。 Further, in the example of FIG. 4A, the amount of image correction is varied according to the degree of the estimated viewpoint height position, and when the estimated viewpoint height position is higher than the standard position, If the viewpoint height position is higher, the correction amount of image correction is increased, and if the viewpoint height position is lower than the standard position, the correction amount of image correction is decreased when the viewpoint height position is lower. I have to.
推定された視点高さ位置の程度に対応させて、画像補正の補正量を、適応的に可変制御することで、車両1の姿勢変動に対応したより適切な画像補正(ピッチング補正やローリング補正)が可能となる。
By adaptively and variably controlling the correction amount of the image correction corresponding to the estimated degree of the viewpoint height position, more appropriate image correction (pitching correction and rolling correction) corresponding to the attitude change of the
次に、図4(B)を参照する。図4(B)では、横軸が曲面ミラーの回転数(図4(A)のa~w)であり、縦軸が、画像補正の補正量(図4(A)のA~W)である。 Next, FIG. 4B will be referred to. In FIG. 4B, the horizontal axis represents the number of rotations of the curved mirror (a to w in FIG. 4A), and the vertical axis represents the amount of image correction (A to W in FIG. 4A). be.
図示されるように、回転数がa~cの範囲では、補正量の、視点高さ位置推定情報(ここでは回転数)の変動量に対する変化率を示す特性線Q1の傾きは急峻であり、変化率が大きい。一方、回転数がc~wの範囲では、補正量の、視点高さ位置推定情報(回転数)の変動量に対する変化率を示す特性線Q2の傾きは緩やかであり、変化率が小さい。 As shown in the figure, in the rotation speed range of a to c, the slope of the characteristic line Q1 indicating the rate of change of the correction amount with respect to the variation amount of the viewpoint height position estimation information (here, the rotation speed) is steep. high rate of change. On the other hand, in the rotation speed range of c to w, the slope of the characteristic line Q2 indicating the rate of change of the correction amount with respect to the amount of change in the viewpoint height position estimation information (rotation speed) is gentle and the rate of change is small.
言い換えれば、推定された視点高さ位置の程度に応じて、画像補正の補正量を可変する場合において、推定された視点高さ位置が標準位置よりも高い範囲における、視点高さ位置推定情報(回転数や回転角等:より広義には視点高さ位置)の変動量に対する画像補正の補正量の変化率を第1の変化率(特性線Q1で示される変化率)とし、推定された視点高さ位置が標準位置よりも低い範囲における、視点高さ位置推定情報(回転数や回転角等:より広義には視点高さ位置)の変動量に対する画像補正の補正量の変化率を第2の変化率(特性線Q2で示される変化率)とするとき、第1の変化率(特性線Q1で示される変化率)が、第2の変化率(特性線Q2で示される変化率)よりも大きく設定されている。 In other words, when the amount of image correction is varied according to the degree of the estimated viewpoint height position, the viewpoint height position estimation information ( The rate of change in the amount of correction for image correction with respect to the amount of change in the number of rotations, the angle of rotation, etc. (in a broader sense, the height position of the viewpoint) is defined as the first rate of change (the rate of change indicated by the characteristic line Q1), and the estimated viewpoint Second, the change rate of the correction amount of the image correction with respect to the variation amount of the viewpoint height position estimation information (rotation number, rotation angle, etc.: viewpoint height position in a broader sense) in the range where the height position is lower than the standard position (the rate of change indicated by the characteristic line Q2), the first rate of change (the rate of change indicated by the characteristic line Q1) is lower than the second rate of change (the rate of change indicated by the characteristic line Q2) is also set large.
このように、視点高さ位置に応じて画像補正の補正量を可変に制御する際、車両姿勢変動の影響を受けやすい範囲(標準位置よりも視点が高い範囲)では、視点高さ位置推定情報の変動量に対する補正量の変化率を大きく設定し、大きな画像位置の変動に迅速に追従可能とし、これによって画像の表示位置が大きく変化することが効果的に防止される。 In this way, when the correction amount of the image correction is variably controlled according to the viewpoint height position, the viewpoint height position estimation information By setting the rate of change of the correction amount to be large with respect to the amount of change in , it is possible to rapidly follow a large change in the image position, thereby effectively preventing a large change in the display position of the image.
一方、標準位置よりも視点が低い場合は、画像の位置変動が小さくなるため、補正量をより小さくしてオーバー補正が生じないようにしつつ、小さな画像変動を、確実に抑制することができる。 On the other hand, when the viewpoint is lower than the standard position, the positional fluctuation of the image is small, so that the correction amount is made smaller to prevent overcorrection, and small image fluctuations can be reliably suppressed.
次に、図5を参照する。図5(A)、(B)は、補正テーブルの他の例を示す図である。図5の補正テーブルは、基本的には図4(A)の補正テーブルと同様である。 Reference is now made to FIG. FIGS. 5A and 5B are diagrams showing other examples of correction tables. The correction table of FIG. 5 is basically the same as the correction table of FIG. 4(A).
但し、図5では、視点高さ位置が所定の高さ範囲外となる場合には、画像補正を停止する(補正量を零とする)という内容が追加されており、この点で図4(A)とは異なる。 However, in FIG. 5, when the viewpoint height position is out of the predetermined height range, the content is added that the image correction is stopped (the correction amount is set to zero). A) is different.
図5(A)の補正テーブルでは、図4(A)の補正テーブルの内容に、回転数x、y、z(曲面ミラーの回転角x’、y’、z’)の場合(言い換えれば、視点(目)位置が標準位置を基準として低すぎる場合)の補正量のデータが追加されている。この場合の補正量は零である。言い換えれば、図5(A)では、回転数x(回転角x’)を、補正停止しきい値Sth2とし、回転数や回転角が、この補正停止しきい値Sth2以上である場合には、補正量を零とする。 In the case of the correction table of FIG. 5A, the contents of the correction table of FIG. When the viewpoint (eye) position is too low with respect to the standard position), data on the amount of correction is added. The correction amount in this case is zero. In other words, in FIG. 5A, the rotation speed x (rotation angle x′) is set to the correction stop threshold value Sth2, and when the rotation speed and the rotation angle are equal to or higher than the correction stop threshold value Sth2, Let the correction amount be zero.
視点(目)高さ位置が低すぎる場合は、車両1の姿勢変動の影響も小さいことから、画像補正を停止しても影響は少ないと考えられる。また、小さい画像の位置変動に対応させて無理に画像補正を実施すると、その画像補正に伴う画像の細かな位置の変化が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととしたものである。
If the viewpoint (eye) height position is too low, the influence of the attitude change of the
図5(B)の補正テーブルでは、さらに、回転数γ、δ(曲面ミラーの回転角γ’、δ’)の場合(言い換えれば、視点(目)位置が標準位置を基準として高すぎる場合)の補正量のデータが追加されている。この場合の補正量も零である。言い換えれば、図5(B)では、回転数δ(回転角δ’)を、補正停止しきい値Sth3とし、回転数や回転角が、この補正停止しきい値Sth3以下である場合には、補正量を零とする。 In the correction table of FIG. 5(B), the number of revolutions γ and δ (rotation angles γ' and δ' of the curved mirror) (in other words, when the viewpoint (eye) position is too high with respect to the standard position) The data of the correction amount of is added. The correction amount in this case is also zero. In other words, in FIG. 5B, the rotation speed δ (rotation angle δ′) is set to the correction stop threshold value Sth3, and when the rotation speed and the rotation angle are equal to or less than the correction stop threshold value Sth3, Let the correction amount be zero.
視点(目)高さ位置が高すぎる場合は、車両1の姿勢変動の影響を大きく受けて画像の表示位置の変動が増大していることから、画像補正を行ったとしても、画像の位置変動の抑制効果が不十分となり、画像が不自然に変動するおそれがある。また、無理に画像補正を実施したとき、その画像補正に伴う画像の位置の不自然な変動が、かえって視認者に違和感を与えることもあり得る。これらの点を考慮して、画像補正は実施しないこととしたものである。
If the viewpoint (eye) height position is too high, the change in the display position of the image is greatly affected by the change in the attitude of the
次に、図6を参照する。図6(A)、(B)は、画像補正テーブルのさらに他の例を示す図、図6(C)は、ルックアップテーブルの一例を示す図である。 Next, refer to FIG. 6A and 6B are diagrams showing still another example of the image correction table, and FIG. 6C is a diagram showing an example of the lookup table.
図6(A)は、先に説明した図5(A)の変形例である。図6(A)では、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも低い範囲(回転数d~w)にて実施し、標準位置(回転数c)よりも高い範囲では、補正量を所定の固定値とする(例えば、固定値は零を含む整数である)。 FIG. 6A is a modification of FIG. 5A described above. In FIG. 6A, the variable control of the correction amount of the image correction is performed in a range where the viewpoint height position is lower than the standard position (number of rotations d to w), and is higher than the standard position (number of rotations c). In range, the correction amount is a predetermined fixed value (eg, the fixed value is an integer including zero).
図6(A)の右上に示されるように、回転数a、bに対応する補正量は、α(αは、零を含む整数の固定値)に設定されている。 As shown in the upper right of FIG. 6A, the correction amounts corresponding to the rotational speeds a and b are set to α (α is a fixed integer value including zero).
視点高さ位置が標準位置よりも高い範囲で固定値の補正量αを使用することで、補正量を大きく切り替える必要がなくなり、制御部(図2の符号38)の負担(例えば、補正量を算出したり、取得したりする処理負担)を軽減することが可能である。
By using the fixed value correction amount α in the range where the viewpoint height position is higher than the standard position, there is no need to switch the correction amount greatly, and the burden on the control unit (
図6(B)では、図6(A)とは逆に、画像補正の補正量の可変制御は、視点高さ位置が標準位置よりも高い範囲にて実施し、標準位置よりも低い範囲では、補正量を所定の固定値とする(例えば、固定値は零を含む整数である)。 In FIG. 6(B), contrary to FIG. 6(A), the variable control of the correction amount of the image correction is performed in the range where the viewpoint height position is higher than the standard position, and in the range lower than the standard position. , the correction amount is set to a predetermined fixed value (for example, the fixed value is an integer including zero).
図6(B)に示されるように、回転数d~wに対応する補正量は、β(βは、零を含む整数の固定値)に設定されている。 As shown in FIG. 6B, the correction amounts corresponding to the rotation speeds d to w are set to β (β is a fixed integer value including zero).
視点高さ位置が標準位置よりも低い範囲で固定値の補正量を使用することで、細かな補正量の可変を頻繁に行う手間が省けることから、制御部38の負担(例えば、補正量を算出したり、取得したりする処理負担)を軽減することが可能である。 By using a fixed value correction amount in a range where the viewpoint height position is lower than the standard position, it is possible to save the trouble of frequently changing the fine correction amount. It is possible to reduce the processing load of calculating and acquiring.
図6(A)、(B)の補正テーブルをルックアップテーブル(LUT)として利用する場合には、図6(C)に示すようにピッチ角/ロール角の情報と、視点高さ位置推定情報(例えば回転数情報)とをアドレス変数としてルックアップテーブル201に入力し、その入力に対応する補正量を、ルックアップ手Pブル201から出力させる。LUTを用いることで、補正量を容易に、かつ迅速に取得することができる。 When using the correction tables of FIGS. 6A and 6B as a lookup table (LUT), as shown in FIG. (for example, rotational speed information) is input to the lookup table 201 as an address variable, and the correction amount corresponding to the input is output from the lookup table 201 . By using the LUT, the correction amount can be obtained easily and quickly.
(第2の実施形態)
次に、図7を参照する。図7(A)は、視点高さ位置推定情報を用いてアイボックスの高さ位置を推定し、視点位置検出情報を用いてアイボックス内の視点高さ位置を判定(特定)する表示システムの要部構成例を示す図、図7(B)は、補正テーブルの内部構成例を示す図、図7(C)は、図7(B)の構成を採用したルックアップテーブルの例を示す図である。図7において、図3と共通する部分には同じ符号を付している。
(Second embodiment)
Next, refer to FIG. FIG. 7A shows a display system that estimates the height position of an eyebox using viewpoint height position estimation information and determines (specifies) the viewpoint height position in the eyebox using viewpoint position detection information. FIG. 7B is a diagram showing an example of the configuration of a main part, FIG. 7B is a diagram showing an example of the internal configuration of a correction table, and FIG. 7C is a diagram showing an example of a lookup table adopting the configuration of FIG. is. In FIG. 7, parts common to those in FIG. 3 are given the same reference numerals.
図7の例では、視点高さ位置推定情報と、視点高さ位置の分解能がより高い、視点高さ位置検出情報(カメラ15による実測情報)とを併用する。なお、カメラ15により視認者の視点(目)を撮像し、撮像された視点(目)の、撮像領域における座標等を検出することで、視点高さを詳細に検出することができる。
In the example of FIG. 7, viewpoint height position estimation information and viewpoint height position detection information (actual measurement information by the camera 15) with higher resolution of the viewpoint height position are used together. Note that the viewpoint height can be detected in detail by capturing an image of the viewer's viewpoint (eyes) with the
例えば、視点高さ位置推定情報(曲面ミラーの回転数や回転角の情報)に基づいてアイボックスの高さ位置を推定し、視点高さ位置検出情報(カメラの撮像画像を用いた画像処理によって得られる情報)を用いて、アイボックス内での視点高さ位置を判定(例えば、アイボックス内における視点高さ位置を、「高」、「中」、「低」に区分して判定)することができる。 For example, the height position of the eye box is estimated based on viewpoint height position estimation information (information on the rotation speed and rotation angle of the curved mirror), and the viewpoint height position detection information (by image processing using the image captured by the camera). obtained information) is used to determine the viewpoint height position within the eyebox (for example, the viewpoint height position within the eyebox is classified into "high", "medium", and "low"). be able to.
例えば、先に説明した図2のアイボックスEBでは、アイボックスEBの内部が9個の領域Z1~Z9に区分されている。ここで、視点(目)6が、領域Z1~Z3(上段の領域)に位置していれば「高」、領域Z4~Z6(中段の領域)に位置していれば「中」、領域Z7~Z9(下段の領域)に位置していれば「低」と区別することができる。 For example, in the previously described eyebox EB of FIG. 2, the interior of the eyebox EB is divided into nine regions Z1 to Z9. Here, if the viewpoint (eyes) 6 is located in the areas Z1 to Z3 (upper area), it is "high"; ∼ Z9 (lower region) can be distinguished from "low".
言い換えれば、視点高さ位置推定情報により推定される視点高さ位置を、視点高さ位置検出情報を用いて微調整することができる。これによって、より細かく視点高さ位置を判定(特定)でき、視点高さ位置の検出精度を向上させることができる。よって、より適切な画像補正を実施することができる。 In other words, the viewpoint height position estimated by the viewpoint height position estimation information can be finely adjusted using the viewpoint height position detection information. As a result, the viewpoint height position can be determined (specified) more precisely, and the detection accuracy of the viewpoint height position can be improved. Therefore, more appropriate image correction can be performed.
図7(A)において、アイボックスEB(EB’、EB’’)の各々に、U(高)、M(中)、D(低)の表記がなされているが、これは、アイボックスEB(EB’、EB’’)の各々において、より詳細に、視点(目)の高さ位置を判定することができることを示している。 In FIG. 7A, the eyeboxes EB (EB', EB'') are labeled U (high), M (middle), and D (low), respectively. Each of (EB′, EB″) indicates that the height position of the viewpoint (eyes) can be determined in more detail.
図7(B)に、補正テーブルの構成例(一部抜粋)が示されている。前掲の実施形態では、回転数c(曲面ミラーの回転角c’)のときは、一律に補正量Cが決定されていたが、図7(B)では、さらに、アイボックスEB内での視点高さ位置(U(高)、M(中)、D(低))に応じて、補正量CU、CM、CD(CU>CM>CD)が決定される。 FIG. 7B shows a configuration example (partial excerpt) of the correction table. In the above-described embodiment, the correction amount C was uniformly determined when the rotation speed c (the rotation angle c′ of the curved mirror) was determined. The correction amounts CU, CM, and CD (CU>CM>CD) are determined according to the height position (U (high), M (middle), D (low)).
図7(C)のルックアップテーブル(LUT)203では、先に説明した図6(C)における2つの入力に加えて、アイボックス内の視点高さ位置情報(視点高さ位置検出情報)が追加されている。これら3つの入力をアドレス変数とし補正テーブルにアクセスし、補正量を出力させる。 In the lookup table (LUT) 203 in FIG. 7C, in addition to the two inputs in FIG. Added. Using these three inputs as address variables, the correction table is accessed and the correction amount is output.
(第3の実施形態)
本実施形態では、HUD装置100のプロセッサ(表示制御装置)36が、視点追従スポットライティングを実施し、また、制御部38におけるワーピング補正制御部(図3の符号44)が、視点追従ワーピングを実施する。
(Third embodiment)
In this embodiment, the processor (display control device) 36 of the
先に図2を用いて説明したように、アイボックスEB内を、例えば、複数個の領域Z1~Z9に区分し、カメラ15によって視点(目)を撮像して画像処理を実施することで、視点(目)が、現在、どの領域にあるかを検出することができる。
As described above with reference to FIG. 2, the inside of the eye box EB is divided into, for example, a plurality of regions Z1 to Z9, and the viewpoint (eyes) are captured by the
その視点位置検出の結果に基づいて、視点(目)が位置する領域(その周辺を含めてもよい)に、局所的に画像の表示光を投光して光源部24の消費電力を抑え(視点追従スポットライティング)、また、各領域Z1~Z9を単位として、ワーピングパラメータ(光学系による歪みとは逆特性の歪みを事前に与える場合の歪み量(補正量)を決定するパラメータ)を切り替え(視点追従ワーピング)、視点位置に対応した適切なワーピングを実現する。
Based on the result of the viewpoint position detection, the power consumption of the
また、このときに得られた視点位置検出情報(複数の領域Z1~Z9の内の、どの領域に視点(目)が位置するかという情報)は、先の第2の実施形態における、視点高さ位置検出情報としても活用する。言い換えれば、カメラ15による撮像により得られた視点位置情報を、視点追従ライティング、視点追従ワーピング、視点高さ位置を考慮したピッチング補正/ローリング補正、に共通に使用する。
Also, the viewpoint position detection information obtained at this time (information indicating in which region of the plurality of regions Z1 to Z9 the viewpoint (eye) is located) is the same as the viewpoint height in the second embodiment. It is also used as position detection information. In other words, viewpoint position information obtained by imaging with the
これによって、先の第2の実施形態において、ピッチング補正やローリング補正のために、単独で、視点高さ位置検出情報を取得する必要がなく、制御部38等の負担軽減が図れる。
Accordingly, in the second embodiment, it is not necessary to acquire viewpoint height position detection information independently for pitching correction and rolling correction, and the burden on the
(第4の実施形態)
次に、図8を参照する。図8は、HUD装置の他の例(曲面ミラーが回転不可である例)を示す図である。図8において、図3と共通する部分には同じ参照符号を付している(但し、曲面ミラーに関しては、図8と図3とでは機能が異なるため、別の符号を付している)。
(Fourth embodiment)
Reference is now made to FIG. FIG. 8 is a diagram showing another example of the HUD device (an example in which the curved mirror is non-rotatable). In FIG. 8, parts common to those in FIG. 3 are denoted by the same reference numerals (however, the curved mirrors in FIG. 8 and FIG. 3 are denoted by different numerals because their functions are different).
図8の例では、HUD装置100は、画像表示面を備える表示部22と、画像を被投影部材であるウインドシールド2に投影する回転不可の曲面ミラー29を含む光学系33と、を備えており、表示部22における画像表示面上の画像表示位置情報(P1、P2等)を、視点高さ位置推定情報として使用する。
In the example of FIG. 8, the
前掲の実施形態では、曲面ミラー(凹面鏡等)の位置情報(回転情報)を、視点高さ位置推定情報として使用していたが、曲面ミラーが回転不可の場合は、曲面ミラーの位置情報(回転情報)は使用できない。 In the above-described embodiment, the position information (rotation information) of the curved mirror (concave mirror, etc.) was used as the viewpoint height position estimation information. information) cannot be used.
そこで、図8の例では、表示部22における画像表示面上の画像表示位置情報(P1、P2等)を、視点高さ位置推定情報として利用する(ただし、一例であり、これに限定されるものではない。補助鏡等の他のミラーの回転角等の情報を使用してもよい)。
Therefore, in the example of FIG. 8, the image display position information (P1, P2, etc.) on the image display surface of the
曲面ミラーが回転不可の場合においては、その曲面ミラーの光を反射する反射面への、画像の表示光の入射位置を調整することで、その反射面からの光の反射方向を制御し、アイボックスの高さ位置を変更することができる。 In the case where the curved mirror cannot rotate, by adjusting the incident position of the display light of the image on the reflecting surface of the curved mirror, the reflection direction of the light from the reflecting surface can be controlled. You can change the height position of the box.
そして、反射面への表示光の入射位置の変更は、結果的に、画像を表示する表示部22における、画像表示面上での画像表示位置の調整によって実現される。
The change in the incident position of the display light onto the reflective surface is eventually realized by adjusting the image display position on the image display surface in the
図8において、視点(目)の高さ位置として、アップ位置(UP)とダウン位置(DN)が示されている。画像の表示位置をP1は、ダウン位置(DN)に対応しており、P2は、アップ位置(UP)に対応している。したがって、画像表示位置情報(例えば、表示されている画像の座標情報P1、P2等)は、視認者の視点の高さ位置を推定する客観的なデータとして使用可能である。図8の例では、画像標示位置情報が、視点高さ推定情報G1として、入力I/F32に供給される。
In FIG. 8, an up position (UP) and a down position (DN) are shown as height positions of the viewpoint (eyes). The image display position P1 corresponds to the down position (DN), and P2 corresponds to the up position (UP). Therefore, the image display position information (for example, coordinate information P1, P2, etc. of the displayed image) can be used as objective data for estimating the height position of the viewpoint of the viewer. In the example of FIG. 8, the image indicating position information is supplied to the input I/
このように、曲面ミラーの位置が固定であるときも、視点高さ位置推定情報を取得することが可能である。この情報を活用することで、視点位置をカメラで撮像して画像解析によって視点高さ位置を検出する場合に比べて、視点高さ位置の特定を、より容易化でき、また、より迅速化することができる。 Thus, even when the position of the curved mirror is fixed, it is possible to acquire viewpoint height position estimation information. By utilizing this information, it is easier and faster to specify the height position of the viewpoint than when the position of the viewpoint is captured by a camera and the height position of the viewpoint is detected by image analysis. be able to.
(第5の実施形態)
本実施形態では、制御部(図2、図3の符号36)は、画像補正の補正量の設定に際し、ピッチング補正とローリング補正とを区別して取り扱い、各補正に適した補正量を設定する。
(Fifth embodiment)
In this embodiment, the control unit (
例えば、先に示したような補正テーブル(LUT等)を、ピッチング補正用、ローリング補正用に、個別に用意してもよい。これによって、ピッチング、ローリングの各々に対して、適切な画像補正を実施することが可能となる。 For example, correction tables (LUTs, etc.) as described above may be separately prepared for pitching correction and rolling correction. This makes it possible to perform appropriate image correction for each of pitching and rolling.
(第6の実施形態)
次に、図9を参照する。図9は、画像補正処理の手順例を示すフローチャートである。
(Sixth embodiment)
Reference is now made to FIG. FIG. 9 is a flowchart illustrating an example of the procedure of image correction processing.
ステップS1では、車両の挙動情報(姿勢情報)を取得する。ステップS2では、車両の姿勢角(ピッチ角θp、ロール角θr等)の情報を取得する。ステップS3では、曲面ミラー(凹面鏡等)の位置(回転位置)を検出する。 In step S1, vehicle behavior information (orientation information) is acquired. In step S2, information on the posture angle of the vehicle (pitch angle θp, roll angle θr, etc.) is obtained. In step S3, the position (rotational position) of the curved mirror (concave mirror, etc.) is detected.
ステップS4では、曲面ミラーの、例えば回転角が補正停止範囲外であるかが検出される。Yのときは、必要に応じてステップS5にて、アイボックス内における視点高さ位置を検出し、続いて、ステップS6にて、画像補正における補正量を取得する。このとき、ルックアップテーブルを参照してもよく、また、補正演算によって算出してもよい。 In step S4, it is detected whether, for example, the rotation angle of the curved mirror is outside the correction stopping range. In the case of Y, the viewpoint height position in the eyebox is detected in step S5 as necessary, and then in step S6, the correction amount in the image correction is acquired. At this time, a lookup table may be referred to, or a correction calculation may be performed.
また、ステップS6において、視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、標準位置における補正量よりも大きくし、視点高さ位置が標準位置よりも低いと推定された場合は、画像補正の補正量を、標準位置における補正量よりも小さくして、画像の補正量を可変に制御する。 Further, in step S6, if the viewer's viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is made larger than the correction amount at the standard position, and the viewpoint height position is set at the standard position. If it is estimated to be lower than , the correction amount of the image correction is made smaller than the correction amount at the standard position, and the image correction amount is variably controlled.
ステップS7では、取得された補正量を用いて画像補正を実施する。ステップS8では、画像補正後の画像データ(画像コンテンツ)に基づく画像描画処理を実施する。 In step S7, image correction is performed using the acquired correction amount. In step S8, an image rendering process is performed based on the image data (image content) after image correction.
ステップS4で、Nのときは、ステップS9に移行して補正量を零とし(言い換えれば、ピッチング補正及びローリング補正を実施しないこととし)、続いて、ステップS8に移行する。 If N in step S4, the process proceeds to step S9 to set the correction amount to zero (in other words, the pitching correction and rolling correction are not performed), and then the process proceeds to step S8.
なお、上記のステップS2にて、視点が標準位置にあると仮定して標準位置における補正量を仮設定しておき、ステップS6において、仮設定した補正量をそのまま使用できるか否かを判定して、不可の場合は、補正量を再取得(再設定)してもよい。このような変形は、適宜、なし得る。 In step S2 above, the amount of correction for the standard position is provisionally set on the assumption that the viewpoint is at the standard position, and in step S6, it is determined whether or not the provisionally set amount of correction can be used as it is. If it is not possible, the correction amount may be reacquired (reset). Such modifications can be made as appropriate.
以上説明したように、本発明によれば、車両のピッチングやローリングが生じた場合でも、位置変動の少ない画像を表示可能な、高性能な表示装置を実現することができる。表示装置は広義に解釈され、例えば、ヘッドアップディスプレイ(HUD)装置や、その他の表示器装置にも適用可能である。表示器装置としては、液晶表示装置やマイクロLED装置、その他の種々のディスプレイ装置を使用することができる。 As described above, according to the present invention, it is possible to realize a high-performance display device capable of displaying an image with little positional variation even when the vehicle pitches or rolls. A display device is interpreted broadly and is applicable to, for example, a head-up display (HUD) device and other display devices. A liquid crystal display device, a micro LED device, and other various display devices can be used as the display device.
また、表示制御装置として、HUD装置に搭載される表示制御ECUを用いることができるが、これに限定されるものではなく、車両ECUなど、HUD装置以外に搭載されているECUを利用することも可能である。 A display control ECU mounted on the HUD device can be used as the display control device, but the present invention is not limited to this, and an ECU mounted on a vehicle other than the HUD device, such as a vehicle ECU, can also be used. It is possible.
また、本明細書において、車両という用語は、広義に、乗り物としても解釈し得るものである。また、ナビゲーションに関する用語(例えば標識等)についても、例えば、車両の運行に役立つ広義のナビゲーション情報という観点等も考慮し、広義に解釈するものとする。また、HUD装置には、シミュレータ(例えば、航空機のシミュレータやゲーム装置としてのシミュレータ等)として使用されるものも含まれるものとする。 Moreover, in this specification, the term vehicle can be broadly interpreted as a vehicle. Also, terms related to navigation (such as signs) should be interpreted in a broad sense, taking into consideration the viewpoint of broad-sense navigation information that is useful for driving a vehicle, for example. HUD devices also include those used as simulators (for example, aircraft simulators, game device simulators, etc.).
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。 The invention is not limited to the exemplary embodiments described above, and the person skilled in the art will easily be able to modify the exemplary embodiments described above to the extent that they fall within the scope of the claims. .
1・・・車両(自車両)、2・・・被投影部材(反射透光部材、ウインドシールド等)、6・・・視認者の視点(目)、15・・・カメラ、28・・・曲面ミラー(凹面鏡等)、30・・・曲面ミラーの回転機構、31・・・曲面ミラー回転制御部、
32・・・入力インタフェース(I/F)、34・・・視点位置検出部、36・・・プロセッサ(表示制御装置)、38・・・表示部、40・・・車両姿勢情報取得部、41・・・視点位置情報取得部、42・・・ピッチング・ローリング補正制御部、43・・・補正制御部、44・・・ワーピング補正制御部、50・・・メモリ(記憶装置、記憶部)、52・・・補正テーブル、54・・・ピッチング補正テーブル、56・・・ローリング補正テーブル、58・・・ワーピング補正テーブル、80・・・画像処理部、86・・・補正部(補正処理部)
32... Input interface (I/F), 34... Viewpoint position detection unit, 36... Processor (display control device), 38... Display unit, 40... Vehicle posture information acquisition unit, 41 ... viewpoint position information acquisition unit, 42 ... pitching/rolling correction control unit, 43 ... correction control unit, 44 ... warping correction control unit, 50 ... memory (storage device, storage unit), 52... Correction table 54... Pitching correction table 56... Rolling correction table 58... Warping correction table 80...
Claims (13)
前記車両の姿勢情報を取得する車両姿勢情報取得部と、
前記視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得する視点位置情報取得部と、
前記車両のピッチングによる前記画像の表示位置の変動を抑制するように前記画像を補正するピッチング補正、及び、前記車両のローリングによる前記画像の表示位置の変動を抑制するように前記画像を補正するローリング補正の少なくとも一方を含む画像補正を制御する制御部を有し、
前記制御部は、
前記視点位置情報取得部により取得された前記視点高さ位置推定情報に基づく推定の結果として、視点高さ位置が標準位置よりも高いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも大きくし、低いと推定された場合は、前記標準位置における補正量よりも小さくする制御を実施する、
表示制御装置。 A display control device that controls image display of a display device that is mounted on a vehicle and causes an image to be viewed by a viewer on board the vehicle,
a vehicle posture information acquisition unit that acquires posture information of the vehicle;
a viewpoint position information acquisition unit that acquires viewpoint height position estimation information that enables estimation of the viewpoint height position of the viewer;
Pitching correction for correcting the image so as to suppress variation in the display position of the image due to pitching of the vehicle, and rolling for correcting the image so as to suppress variation in the display position of the image due to rolling of the vehicle. Having a control unit that controls image correction including at least one of the corrections,
The control unit
As a result of estimation based on the viewpoint height position estimation information acquired by the viewpoint position information acquisition unit, when the viewpoint height position is estimated to be higher than the standard position, the correction amount of the image correction is Make the correction amount larger than the standard position, and if it is estimated to be low, perform control to make it smaller than the correction amount at the standard position.
Display controller.
前記表示装置が、画像を被投影部材に投影する回転可能な曲面ミラーを含む光学系を備える場合における、前記曲面ミラーの位置情報である、
又は、
前記表示装置が、画像表示面を備える表示部と、前記表示装置に含まれる、画像を被投影部材に投影する回転不可の曲面ミラーを含む光学系と、を備える場合における、前記表示部における前記画像表示面上の画像表示位置情報である、
請求項1に記載の表示制御装置。 The viewpoint height position estimation information is
positional information of the curved mirror when the display device includes an optical system including a rotatable curved mirror that projects an image onto a projection target member;
or
When the display device includes a display unit having an image display surface, and an optical system including a non-rotatable curved mirror that projects an image onto a projection target member, the display unit includes: image display position information on the image display surface,
The display control device according to claim 1.
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、
推定された視点高さ位置が前記標準位置よりも高い場合は、視点高さ位置がより高くなると前記画像補正の補正量を増大させ、
推定された視点高さ位置が前記標準位置よりも低い場合は、視点高さ位置がより低くなると前記画像補正の補正量を減少させる、
請求項1又は2に記載の表示制御装置。 The control unit
Varying the correction amount of the image correction according to the degree of the estimated viewpoint height position,
when the estimated viewpoint height position is higher than the standard position, increasing the correction amount of the image correction as the viewpoint height position becomes higher,
if the estimated viewpoint height position is lower than the standard position, the correction amount of the image correction is decreased as the viewpoint height position becomes lower;
The display control device according to claim 1 or 2.
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合において、
推定された視点高さ位置が前記標準位置よりも高い範囲における、前記視点高さ位置推定情報の変動量に対する前記画像補正の補正量の変化率を第1の変化率とし、
推定された視点高さ位置が前記標準位置よりも低い範囲における、前記視点高さ位置推定情報の変動量に対する前記画像補正の補正量の変化率を第2の変化率とするとき、
前記第1の変化率を、前記第2の変化率よりも大きく設定する、
請求項3に記載の表示制御装置。 The control unit
When varying the correction amount of the image correction according to the degree of the estimated viewpoint height position,
A change rate of the correction amount of the image correction with respect to the change amount of the viewpoint height position estimation information in a range in which the estimated viewpoint height position is higher than the standard position is defined as a first change rate;
When the change rate of the correction amount of the image correction with respect to the change amount of the viewpoint height position estimation information in the range where the estimated viewpoint height position is lower than the standard position is defined as a second rate of change,
setting the first rate of change to be greater than the second rate of change;
The display control device according to claim 3.
推定された視点高さ位置の程度に応じて、前記画像補正の補正量を可変する場合、前記視点高さ位置が所定の高さ範囲外となる場合には、前記画像補正を停止する、
請求項3又は4に記載の表示制御装置。 The control unit
When varying the correction amount of the image correction according to the degree of the estimated viewpoint height position, stopping the image correction when the viewpoint height position is outside a predetermined height range;
The display control device according to claim 3 or 4.
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより低くなると前記画像補正の補正量を減少させる、
請求項1又は2に記載の表示制御装置。 The control unit
when the estimated viewpoint height position is in a range higher than the standard position, setting a correction amount of a predetermined fixed value as the correction amount of the image correction,
When the estimated viewpoint height position is in a range lower than the standard position, the correction amount of the image correction is varied according to the degree of the viewpoint height position, and when the viewpoint height position becomes lower, reducing the correction amount of the image correction;
The display control device according to claim 1 or 2.
推定された視点高さ位置が前記標準位置よりも低い範囲である場合には、前記画像補正の補正量として、所定の固定値の補正量を設定し、
推定された視点高さ位置が前記標準位置よりも高い範囲である場合には、視点高さ位置の程度に応じて、前記画像補正の補正量を可変すると共に、視点高さ位置がより高くなると前記画像補正の補正量を増大させる、
請求項1又は2に記載の表示制御装置。 The control unit
when the estimated viewpoint height position is in a range lower than the standard position, setting a correction amount of a predetermined fixed value as the correction amount of the image correction,
When the estimated viewpoint height position is in a range higher than the standard position, the correction amount of the image correction is varied according to the degree of the viewpoint height position, and when the viewpoint height position is higher, increasing the correction amount of the image correction;
The display control device according to claim 1 or 2.
前記視認者の視点高さ位置を推定可能な前記視点高さ位置推定情報に加えて、
カメラによる前記視認者の撮像画像に基づいて検出され、かつ、前記視点高さ位置推定情報よりも視点高さ位置の分解能が高い視点高さ位置検出情報も取得し、
前記制御部は、
前記視点高さ位置推定情報により推定される視点高さ位置を、前記視点高さ位置検出情報を用いて微調整する、
請求項1乃至7の何れか1項に記載の表示制御装置。 The viewpoint position information acquisition unit
In addition to the viewpoint height position estimation information capable of estimating the viewpoint height position of the viewer,
Acquiring viewpoint height position detection information that is detected based on an image of the viewer captured by a camera and has a higher resolution of the viewpoint height position than the viewpoint height position estimation information,
The control unit
finely adjusting the viewpoint height position estimated by the viewpoint height position estimation information using the viewpoint height position detection information;
The display control device according to any one of claims 1 to 7.
アイボックス内の区分された複数の領域の各々を単位として、視点追従ワーピングを実施すると共に、その実施の際に得られた、前記視認者の視点が前記複数の領域の内のどの領域に位置するかを示す視点位置情報を、前記視点高さ位置検出情報としても使用する、
請求項8に記載の表示制御装置。 The control unit
eye-tracking warping is performed using each of a plurality of divided regions within an eyebox as a unit, and in which region of the plurality of regions the viewer's viewpoint obtained during the execution is positioned; Using the viewpoint position information indicating whether to also use the viewpoint height position detection information as the viewpoint height position detection information,
The display control device according to claim 8.
前記画像補正の補正量の設定に際し、
前記ピッチング補正と前記ローリング補正とを区別して取り扱い、各補正に適した補正量を設定する、
請求項1乃至9の何れか1項に記載の表示制御装置。 The control unit
When setting the correction amount of the image correction,
Handling the pitching correction and the rolling correction separately, and setting a correction amount suitable for each correction;
The display control device according to any one of claims 1 to 9.
前記ピッチング補正、及び前記ローリング補正の少なくとも一方を含む画像補正を実施する補正部と、
補正後の画像を表示する表示部と、
を有する表示装置。 A display control device according to any one of claims 1 to 10;
a correction unit that performs image correction including at least one of the pitching correction and the rolling correction;
a display for displaying the image after correction;
display device.
前記表示部に表示される画像の表示光を、前記車両に設けられる被投影部材に投影する光学系をさらに有し、前記運転者及び前記乗員の少なくとも一方に虚像を視認させる機能をもつヘッドアップディスプレイ装置である、
請求項11に記載の表示装置。 The display device
The head-up device further includes an optical system for projecting display light of an image displayed on the display unit onto a projection target member provided in the vehicle, and has a function of allowing at least one of the driver and the passenger to visually recognize a virtual image. is a display device;
The display device according to claim 11.
前記車両の、ピッチング及びローリングの少なくとも一方を含む姿勢情報を取得するステップと、
前記表示装置が表示する画像の視認者の視点高さ位置を推定可能な視点高さ位置推定情報を取得するステップと、
前記車両の姿勢の変動による前記表示装置が表示する画像の表示位置の変動を抑制する画像補正に関して、前記視認者の視点高さ位置が標準位置よりも高いと推定される場合は、画像補正の補正量を、前記標準位置における補正量よりも大きくし、視点高さ位置が前記標準位置よりも低いと推定された場合は、前記画像補正の補正量を、前記標準位置における補正量よりも小さくして、画像の補正量を可変に制御するステップと、
前記表示装置が表示する画像を、前記可変に制御された補正量に従って補正するステップと、
を含む、画像表示制御方法。 An image display control method for a display device mounted on a vehicle, comprising:
obtaining attitude information including at least one of pitching and rolling of the vehicle;
obtaining viewpoint height position estimation information that enables estimation of a viewpoint height position of a viewer of an image displayed by the display device;
With respect to image correction that suppresses fluctuations in the display position of the image displayed by the display device due to fluctuations in the attitude of the vehicle, if the height position of the viewpoint of the viewer is estimated to be higher than the standard position, image correction is performed. making the correction amount larger than the correction amount at the standard position, and making the correction amount of the image correction smaller than the correction amount at the standard position when the viewpoint height position is estimated to be lower than the standard position; and variably controlling the amount of image correction;
correcting an image displayed by the display device according to the variably controlled correction amount;
An image display control method, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021027376A JP2022128906A (en) | 2021-02-24 | 2021-02-24 | Display control unit, display unit, and image display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021027376A JP2022128906A (en) | 2021-02-24 | 2021-02-24 | Display control unit, display unit, and image display control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022128906A true JP2022128906A (en) | 2022-09-05 |
Family
ID=83150536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021027376A Pending JP2022128906A (en) | 2021-02-24 | 2021-02-24 | Display control unit, display unit, and image display control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022128906A (en) |
-
2021
- 2021-02-24 JP JP2021027376A patent/JP2022128906A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10269161B2 (en) | Vehicular display device and vehicular display method | |
JP6360850B2 (en) | Image display device | |
US20160297362A1 (en) | Vehicle exterior side-camera systems and methods | |
JP7478919B2 (en) | DISPLAY CONTROL DEVICE, IMAGE DISPLAY SYSTEM, MOBILE BODY, DISPLAY CONTROL METHOD, AND PROGRAM | |
JP6911868B2 (en) | Head-up display device | |
JP6744374B2 (en) | Display device, display control method, and program | |
US11034242B2 (en) | Motor vehicle with a display arrangement and method for operating a display arrangement of a motor vehicle | |
CN110967833B (en) | Display device, display control method, and storage medium | |
JP7225609B2 (en) | head-up display device | |
JP7310817B2 (en) | head-up display device | |
JP2007047735A (en) | Visual information display device and visual information display method | |
JP2022128906A (en) | Display control unit, display unit, and image display control method | |
JP2022128905A (en) | Display control unit, display unit, and image display control method | |
GB2536882A (en) | Head up display adjustment | |
JP7375753B2 (en) | heads up display device | |
US11009702B2 (en) | Display device, display control method, storage medium | |
JP6953987B2 (en) | Vehicle display device | |
JP6925947B2 (en) | In-vehicle system and display control method | |
WO2023243455A1 (en) | Virtual image display device | |
JP2023184402A (en) | virtual image display device | |
JP7253719B2 (en) | Vehicle equipped with a display device | |
JP7272252B2 (en) | Display control device, display control program and virtual image display system | |
JP7059987B2 (en) | Windshield display device | |
JP6936907B2 (en) | Display devices, display control methods, and programs | |
WO2019221025A1 (en) | Head-up display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240716 |