WO2023048213A1 - 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 - Google Patents
表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 Download PDFInfo
- Publication number
- WO2023048213A1 WO2023048213A1 PCT/JP2022/035335 JP2022035335W WO2023048213A1 WO 2023048213 A1 WO2023048213 A1 WO 2023048213A1 JP 2022035335 W JP2022035335 W JP 2022035335W WO 2023048213 A1 WO2023048213 A1 WO 2023048213A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- depth value
- eye position
- face
- eye
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 107
- 238000001514 detection method Methods 0.000 claims abstract description 114
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000008859 change Effects 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 62
- 230000015654 memory Effects 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000007423 decrease Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 12
- 230000007704 transition Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/346—Image reproducers using prisms or semi-transparent mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Definitions
- the present disclosure relates to a display control device, a head-up display device, and a head-up display device that are used in a mobile object such as a vehicle and superimpose an image on the foreground of the mobile object (actual view in the forward direction of the mobile object seen from the vehicle occupant). It relates to a display control method and the like.
- Patent Document 1 display light projected onto a projection target such as a front windshield of a vehicle is reflected toward an occupant (observer) of the vehicle inside the vehicle, thereby presenting a virtual image to the observer.
- a visual head-up display device (an example of a virtual image display device) is described.
- the head-up display device described in Patent Literature 1 describes a head-up display device that recognizes the vehicle speed situation by changing the perceived distance of the virtual image (the distance to the virtual image perceived by the observer). ing.
- the image can attract the visual attention of the observer by moving to the near side or the far side from the observer's point of view, or can add distance information to the displayed image. It can be added.
- a head-up display device that changes the perceived distance in this way has a stereoscopic display device inside.
- a stereoscopic display device uses a method using a lens array (lenticular method, see Patent Document 2, for example), a method using a parallax barrier (parallax barrier method, see Patent Document 3, for example), or a method using parallax images.
- lenticular method see Patent Document 2
- parallax barrier method see Patent Document 3
- time-division display method see Patent Documents 4, 5, and 6, for example.
- the left-viewpoint image and the right-viewpoint image with parallax are visually recognized and merged. change the perceived distance of the virtual image.
- Crosstalk occurs in the stereoscopic display device as described above.
- Crosstalk is the simultaneous observation of a viewpoint image that should be observed from one viewpoint and a viewpoint image that is different from this (typically, a viewpoint image that should be observed from an adjacent viewpoint). It is a phenomenon in which a multiple image is observed in which a plurality of viewpoint images are superimposed.
- the outline of the present disclosure relates to making crosstalk less visible. More specifically, the present invention relates to providing a display control device, a head-up display device, a display control method, and the like that display an image in which crosstalk is difficult to visually recognize and the viewer is unlikely to feel uncomfortable.
- the display control device, head-up display device, display control method, etc. described in this specification employ the following means in order to solve the above problems.
- This embodiment quickly converts the 3D image (FU10) into the 2D image (FU30) based on the operation of detecting eye position-related information or eye position-related information including at least one of the user's eye position, face position, and face orientation. ).
- the display control device projects a display for displaying an image and the light of the image displayed by the display onto a projection target portion, thereby displaying a virtual image of the image to the user of the vehicle in the foreground.
- a display control device for performing display control in a head-up display device that superimposes on a head-up display device comprising: one or more processors; a memory; and one or more computer programs configured to display the 2D image and the stereoscopically viewable 3D image on the head-up display device, and to display at least one of the user's eye position or face position.
- a 2D switching process for switching a 3D image to a 2D image is executed.
- a first embodiment of the present invention estimates or predicts a situation in which crosstalk may occur based on eye position-related information including at least one of a user's eye position or face position, and transforms a 3D image into a 2D image.
- the switching has the advantage of making crosstalk less visible. Alternatively, even when crosstalk is visually recognized, an advantage is assumed in that a multiple image with a small deviation can be obtained.
- the processor displays a 2D image and a stereoscopic 3D image on the head-up display device, acquires eye position-related information including the user's face orientation, Based on the eye-position-related information, it is determined whether the eye-position-related information or the detection operation of the eye-position-related information satisfies a predetermined 2D condition, and if it is determined that the 2D condition is satisfied, 2D switching for switching a 3D image to a 2D image. It is designed to execute processing.
- a first embodiment of the present invention estimates or predicts a situation in which crosstalk may occur based on eye position-related information including the user's face orientation, and switches a 3D image to a 2D image to visually recognize crosstalk. It has the advantage of making it difficult to Alternatively, even when crosstalk is visually recognized, an advantage is assumed in that a multiple image with a small deviation can be obtained.
- the processor displays a 2D image and a stereoscopically viewable 3D image on the head-up display device, and displays at least one of the user's eye position, face position, and face orientation.
- 2D switching processing for acquiring eye position-related information including two, determining whether the detection operation of the eye position-related information satisfies a predetermined 2D condition, and switching a 3D image to a 2D image if it is determined that the 2D condition is satisfied. It is supposed to run A first embodiment of the present invention estimates or predicts a situation in which crosstalk may occur based on eye position-related information including at least one of a user's eye position or face position, and transforms a 3D image into a 2D image. The switching has the advantage of making crosstalk less visible. Alternatively, even when crosstalk is visually recognized, an advantage is assumed in that a multiple image with a small deviation can be obtained.
- the 2D conditions include a change speed condition of at least one of eye position, face position, and face orientation, eye position, face position, and face orientation. and at least one of the condition of at least one of the coordinates of and the condition of movement time of at least one of eye position, face position, and face orientation.
- the 2D conditions are that at least one of the eye position, the face position, and the face orientation must change quickly, the eye position, the face position, and the face At least one of the coordinates of at least one of the orientation is within a predetermined range, and at least one of the eye position, the face position, and the face orientation continuously changes. It has become.
- at least one of the eye position, face position, and face orientation changes quickly, there is an advantage that switching to a 2D image that is less likely to cause a shift between the right-viewpoint image and the left-viewpoint image is possible.
- the right-viewpoint image and the left-viewpoint image are switched to a 2D image in which deviation is less likely to occur.
- switching to a 2D image in which deviation between the right viewpoint image and the left viewpoint image is less likely to occur.
- it is a predetermined range in which eye position detection error is likely to increase (detection accuracy is reduced) or false detection is likely to occur the image is switched to a 2D image.
- switching to a 2D image can be performed on condition that a continuous change in at least one of the eye position, face position, and face direction is detected. For example, if it is detected that the eye position continuously changes in one direction, it switches to a 2D image.
- the condition for the operation of detecting eye position-related information is that at least one of the eye position, face position, and face orientation cannot be detected, and that eye position-related information cannot be detected. , detection of deterioration in detection accuracy of at least one of face position and face orientation.
- switching to a 2D image can be performed on the condition that a decrease in the detection accuracy of at least one of the eye position, face position, and face direction is detected.
- the processor converts a 3D image having depth values to a
- the depth value is gradually increased stepwise or continuously over time from the 2D image to the 3D image with the original depth value. It is designed to further execute the switching process.
- the multiple images or the multiple images with a large shift
- the viewer's discomfort due to a sudden change in the depth of the image can be reduced.
- the processor when determining that the 2D condition is satisfied, in the 2D switching process selects a first 3D image having a first depth value , and a second 3D image with a second depth value deeper than the first depth value, to a 2D image with no depth value, from the 2D image to the first 3D image with the original first depth value
- a first 3D switching process that gradually deepens the depth value at a first rate of change stepwise or continuously over time, and a second 3D image from the 2D image to the original second depth value further executing a second 3D switching process in which the depth value is gradually deepened at a second change speed stepwise or continuously over time until the second change speed is faster than the first change speed , is supposed to be If the depth value is changed at the same rate of change, the time to reach the original depth value linearly increases with the depth of the depth value.
- the sixth embodiment there is an advantage that it is possible to shorten the time to reach the original depth value in a 3D image with a deep original depth value.
- An advantage is also assumed in that the difference between the time to reach a 3D image with a deep depth value and the time to reach a 3D image with a shallow depth value can be reduced. Also, in this case, when it is determined that the predetermined 3D condition is satisfied, the first 3D switching process and the second 3D switching process may be started at the same time.
- the processor when determining that the 2D condition is satisfied, converts the first 3D image having the first depth value in the 2D switching process. , and a second 3D image with a second depth value deeper than the first depth value, to a 2D image with no depth value, from the 2D image to the first 3D image with the original first depth value
- a first 3D switching process that gradually deepens the depth value stepwise or continuously over time, and from the 2D image to the second 3D image with the original second depth value, over time
- a second 3D switching process that gradually deepens the depth value in a stepwise or continuous manner is further executed, and if it is determined that the predetermined 3D condition is satisfied, the second 3D switching process is started, and then the first 3D switching process is performed. It is designed to start the switching process. In this case, compared with the case where the first 3D switching process and the second 3D switching process are started at the same time, an advantage is also assumed in that it becomes easier
- the processor has a first depth value shallower than a predetermined threshold in the 2D switching process when determining that the 2D condition is satisfied. Switching the first 3D image and a second 3D image having a second depth value deeper than a predetermined threshold to a 2D image having no depth value, and the first depth value of the original first depth value from the 2D image. a third 3D switching process for instantaneously switching to the 3D image of , and gradually increasing the depth value stepwise or continuously over time from the 2D image to the second 3D image with the original second depth value A fourth 3D switching process is further executed.
- an image with a shallow depth value (a small depth difference from the 2D image) is difficult to notice the change in depth value, and it is difficult to give a sense of discomfort.
- An image with a deep depth (a large depth difference from the 2D image) is easy to notice changes in the depth value and is likely to give a sense of discomfort. It has the advantage of being able to provide a highly convenient system.
- the processor has a first depth value shallower than a predetermined threshold in the 2D switching process when determining that the 2D condition is satisfied.
- the first 3D image is not switched to a 2D image without depth values, and the second 3D image with a second depth value deeper than a predetermined threshold is switched to a 2D image without depth values. It has become.
- the 2D switching process and the 3D switching process can be effectively executed for a 3D image with a large depth value and a large image shift amount of multiple images due to crosstalk.
- the display control device according to any one of the first to ninth embodiments, a display for emitting display light, and display light from the display and a relay optical system for directing the to-be-projected portion.
- a display for displaying an image, and a head-up that allows the user of the vehicle to visually recognize the virtual image of the image superimposed on the foreground by projecting the light of the image displayed by the display onto the projection target part.
- a display control method for a display device comprising: displaying a 2D image and a stereoscopically viewable 3D image on a head-up display device; obtaining; determining whether the eye position-related information or the detection operation of the eye position-related information satisfies a predetermined 2D condition based on the eye position-related information; to a 2D image, a 2D switching process is executed.
- FIG. 1 is a diagram showing an application example of a vehicle virtual image display system to a vehicle.
- FIG. 2 is a diagram showing the configuration of the head-up display device.
- FIG. 3 is a diagram showing an example of a foreground visually recognized by an observer and a virtual image superimposed on the foreground while the host vehicle is running.
- FIG. 4 shows, in an embodiment in which the HUD device is a 3D-HUD device, a left-viewpoint virtual image and a right-viewpoint virtual image displayed on a virtual image plane, and a perceptual image perceived by an observer based on these left-viewpoint virtual images and right-viewpoint virtual images. (3D image) and is a diagram conceptually showing the positional relationship.
- FIG. 3D image 3D image
- FIG. 5 shows, in an embodiment in which the HUD device is a 3D-HUD device, a left-viewpoint virtual image and a right-viewpoint virtual image displayed on a virtual image plane, and a perceptual image perceived by an observer based on these left-viewpoint virtual images and right-viewpoint virtual images.
- FIG. 6 is a block diagram of a virtual image display system for vehicles according to some embodiments.
- FIG. 7A is a flow diagram showing a 2D switching process for switching to a 3D image or a 2D image, and a method for executing the 3D switching process, based on the detection result of the observer's eye position, face position, or face orientation.
- FIG. 7B is a flow diagram following FIG. 7A.
- FIG. 8 is a transition graph of depth values in 2D switching processing and 3D switching processing in some embodiments.
- FIG. 9 is a transition graph of depth values in 2D switching processing and 3D switching processing in some embodiments.
- FIG. 10 is a transition graph of depth values in 2D switching processing and 3D switching processing in some embodiments.
- FIG. 11 is a transition graph of depth values in 2D switching processing and 3D switching processing in some embodiments.
- FIG. 12 is a transition graph of depth values in 2D switching processing and 3D switching processing in some embodiments.
- FIG. 13 is a transition graph of depth values in 2D switching processing and 3D switching processing in some embodiments.
- FIG. 14 is a transition graph of depth values in 2D switching processing and 3D switching processing in some embodiments.
- FIG. 15 is a transition graph of depth values in 2D switching processing and 3D switching processing in some embodiments.
- FIG. 1 is a diagram showing an example of the configuration of a vehicle virtual image display system including a parallax 3D-HUD device.
- the left-right direction of a vehicle (an example of a moving body) 1 (in other words, the width direction of the vehicle 1) is the X axis (the positive direction of the X axis is the left direction when the vehicle 1 faces forward).
- the vertical direction (in other words, the height direction of the vehicle 1) along a line segment that is perpendicular to the left-right direction and is perpendicular to the ground or a surface corresponding to the ground (here, the road surface 6) is the Y-axis (Y-axis is the upward direction), and the front-rear direction along a line segment perpendicular to each of the left-right direction and the up-down direction is the Z-axis (the positive direction of the Z-axis is the straight-ahead direction of the vehicle 1).
- the Y-axis is the upward direction
- the front-rear direction along a line segment perpendicular to each of the left-right direction and the up-down direction is the Z-axis (the positive direction of the Z-axis is the straight-ahead direction of the vehicle 1).
- the vehicle display system 10 provided in a vehicle (an example of a moving body) 1 displays the positions of the left eye 700L and the right eye 700R of an observer (typically, a driver sitting in the driver's seat of the vehicle 1) and the line of sight.
- a face detection unit 409 for detecting a pupil (or face) for detecting a direction an exterior sensor 411 configured by a camera (for example, a stereo camera) for imaging the front of the vehicle 1 (surroundings in a broad sense), etc., a head-up display device ( 20, a display control device 30 that controls the HUD device 20, and the like.
- FIG. 2 is a diagram showing one aspect of the configuration of the head-up display device.
- the HUD device 20 is installed, for example, in a dashboard (reference numeral 5 in FIG. 1).
- the HUD device 20 accommodates a stereoscopic display device (an example of a display device) 40, a relay optical system 80, and the display device 40 and the relay optical system 80, and transmits display light K from the display device 40 from the inside to the outside. It has a housing 22 having a light exit window 21 that can be emitted toward.
- the display device 40 is a parallax 3D display device here.
- This display device (parallax-type 3D display device) 40 is a naked-eye stereoscopic display device using a multi-viewpoint image display method that can control depth representation by visually recognizing a left-viewpoint image and a right-viewpoint image. and a light source unit 60 functioning as a backlight.
- the display 50 has a spatial light modulation element 51 that modulates the illumination light from the light source unit 60 to generate an image, and, for example, a lenticular lens or a parallax barrier (parallax barrier).
- the light emitted from 51 is divided into left eye display light such as left eye light rays K11, K12 and K13 (reference symbol K10 in FIG. 1) and right eye display light such as right eye light rays K21, K22 and K23 ( 1) and an optical layer (an example of a light beam separating section) 52.
- Optical layer 52 includes optical filters such as lenticular lenses, parallax barriers, lens arrays, and microlens arrays. However, this is an example and is not limited.
- Embodiments of the optical layer 52 are not limited to the above-described optical filters, and the display light for the left eye (K10 in FIG. 1) and the display light for the right eye (K10 in FIG. 1) from the light emitted from the spatial light modulation element 51 K20) includes all forms of optical layers placed on the front or back surface of the spatial light modulator 51.
- FIG. Some embodiments of the optical layer 52 are electrically controlled so that left-eye display light (K10 in FIG. 1) and right-eye display light (K10 in FIG. 1) are separated from light emitted from the spatial light modulator 51.
- symbol K20 such as a liquid crystal lens. That is, embodiments of optical layer 52 may include those that are electrically controlled and those that are not.
- the display device 40 is configured by configuring the light source unit 60 with a directional backlight unit (an example of the light beam separating portion) instead of or in addition to the optical layer (an example of the light beam separating portion) 52.
- left-eye display light such as left-eye light rays K11, K12, and K13 (reference symbol K10 in FIG. 1)
- right-eye display light such as right-eye light rays K21, K22, and K23, etc. (reference symbol K20 in FIG. 1); may be emitted.
- the display control device 30, which will be described later, causes the spatial light modulation element 51 to display a left viewpoint image when the directional backlight unit emits illumination light directed toward the left eye 700L.
- Left-eye display light K10 such as light rays K11, K12, and K13 is directed toward the viewer's left eye 700L
- the directional backlight unit emits illumination light toward the right eye 700R.
- right-eye display light K20 such as right-eye light rays K21, K22, and K23 is directed to the viewer's left eye 700R.
- the embodiment of the directional backlight unit described above is an example, and is not limited.
- the display control device 30 which will be described later, performs, for example, image rendering processing (graphic processing), display device driving processing, and the like, so that the display light K10 for the left eye of the left viewpoint image V10 and the display light K10 for the right eye 700R of the observer's left eye 700L are displayed.
- image rendering processing graphics processing
- display device driving processing and the like
- the aspect of the perception image FU displayed by the HUD device 20 is controlled. be able to.
- the display control device 30, controls the display (display device 50) so as to generate a light field that (approximately) reproduces light rays output in various directions from a point in a certain space.
- the relay optical system 80 has curved mirrors (concave mirrors, etc.) 81 and 82 that reflect the light from the display device 40 and project the image display light K10 and K20 onto the windshield (projection target) 2 .
- it may further include other optical members (including refractive optical members such as lenses, diffractive optical members such as holograms, reflective optical members, or any combination thereof).
- the display device 40 of the HUD device 20 displays an image (parallax image) with parallax for each of the left and right eyes.
- Each parallax image is displayed as V10 and V20 formed on a virtual image display surface (virtual image formation surface) VS, as shown in FIG.
- the focus of each eye of the observer (person) is adjusted so as to match the position of the virtual image display area VS.
- the position of the virtual image display area VS is referred to as an "adjustment position (or imaging position)", and a predetermined reference position (for example, the center 205 of the eyebox 200 of the HUD device 20, the observer's viewpoint position, or , a specific position of the vehicle 1, etc.) to the virtual image display area VS (see symbol D10 in FIG. 4) is referred to as an “adjustment distance (imaging distance)".
- the human brain fuses each image (virtual image), the human is at a position farther back than the adjustment position (for example, due to the convergence angle between the left viewpoint image V10 and the right viewpoint image V20). It is a fixed position, and the position perceived as being farther away from the observer as the angle of convergence decreases) is recognized as a perceptual image (here, an arrowhead figure for navigation) FU is displayed. do.
- the perceptual image FU may be referred to as a "stereoscopic virtual image", and may also be referred to as a "stereoscopic image” when the "image" is taken in a broad sense to include virtual images.
- the HUD device 20 is not limited to one in which the perceived image FU is perceived on the far side of the adjustment position, as shown in FIG. Left-viewpoint image V10 and right-viewpoint image V20 may be displayed to be viewed.
- FIG. 3 is a diagram showing an example of a foreground visually recognized by an observer and a perceptual image superimposed on the foreground and displayed while the vehicle 1 is running.
- FIG. 4 conceptually illustrates the positional relationship between a left-viewpoint virtual image and a right-viewpoint virtual image displayed on a virtual image plane, and a perceptual image (3D image) stereoscopically viewed by an observer from the left-viewpoint virtual image and the right-viewpoint virtual image. is a diagram shown in FIG.
- FIG. 3 the vehicle 1 is traveling on a straight road (road surface) 6.
- the HUD device 20 is installed inside the dashboard 5 .
- Display light K (K10, K20) is projected from the light exit window 21 of the HUD device 20 onto the projected portion (front windshield of the vehicle 1) 2.
- FIG. 3 a first content image FU1 that is superimposed on the road surface 6 and indicates the route of the vehicle 1 (here, indicates straight ahead), and also indicates the route of the vehicle 1 (here, indicates straight travel). and a second content image FU2 perceived farther than the first content image FU1 is displayed.
- the HUD device 20 (1) directs the projection target 2 to the left eye 700L detected by the face detection unit 409 at such a position and angle as to be reflected by the projection target 2.
- Left-eye display light K10 is emitted to form a first left-viewpoint content image V11 at a predetermined position in the virtual image display area VS seen from the left eye 700L, and (2) reflected by the projection target unit 2 to the right eye 700R.
- Right-eye display light K20 is emitted to the projection target unit 2 at a position and angle such that .
- the first content image (3D image) FU11 perceived by the first left-viewpoint content image V11 and the first right-viewpoint content image V21 having parallax is behind the virtual image display area VS by a distance D21. It is visually recognized at a position (a position separated by a distance D31 from the above reference position).
- the HUD device 20 (1) detects the left eye 700L detected by the face detection unit 409 at a position and angle that are reflected by the projection target unit 2.
- the left-eye display light K10 is emitted to the portion 2 to form a second left-viewpoint content image V12 at a predetermined position in the virtual image display area VS seen from the left eye 700L, and (2) the projected portion 2 to the right eye 700R.
- Right-eye display light K20 is emitted to the projection target 2 at a position and an angle such that it is reflected by the second right-viewpoint content image V22 at a predetermined position in the virtual image display area VS seen from the right eye 700R. form an image.
- the second content image (3D image) FU12 perceived by the second left-viewpoint content image V12 having parallax and the second right-viewpoint content image V22 is behind the virtual image display area VS by a distance D22. It is visually recognized at a position (a position separated by a distance D32 from the above reference position).
- the distance (imaging distance D10) from the reference position to the virtual image display area VS is set to, for example, "4 m", and the first distance shown in the left diagram of FIG.
- the distance to the content image FU1 (first perceptual distance D31) is set, for example, to a distance of "7 m”, and the distance from the reference position to the second content image FU2 shown in the right diagram of FIG. (Second perceptual distance D32) is set to, for example, a distance of "10 m”.
- this is an example and is not limited.
- FIG. 5 conceptually illustrates the positional relationship between a left-viewpoint virtual image and a right-viewpoint virtual image displayed on a virtual image plane, and a perceptual image (2D image) visually recognized by an observer from the left-viewpoint virtual image and the right-viewpoint virtual image. It is a diagram showing. When the viewer perceives the 2D image, the left-viewpoint content image V10 and the right-viewpoint content image V20 are the same image, unlike the case of perceiving the 3D image. There is no parallax between the left-viewpoint content image V10 and the right-viewpoint content image V20 for making a 3D image perceived).
- the HUD device 20 (1) displays the image for the left eye on the projection target 2 at such a position and angle as to be reflected by the projection target 2 to the left eye 700L detected by the face detection unit 409.
- the light K10 is emitted to form a third left-viewpoint content image V13 at a predetermined position in the virtual image display area VS as viewed from the left eye 700L, and (2) the image is reflected by the projection target section 2 to the right eye 700R.
- the right-eye display light K20 is emitted to the projection target portion 2 at the position and angle, and the third right-viewpoint content image V13 is projected at substantially the same position as the third left-viewpoint content image V13 in the virtual image display area VS viewed from the right eye 700R.
- An image V23 is formed.
- FIG. 6 is a block diagram of a vehicle virtual image display system according to some embodiments.
- the display controller 30 comprises one or more I/O interfaces 31 , one or more processors 33 , one or more image processing circuits 35 and one or more memories 37 .
- Various functional blocks depicted in FIG. 6 may be implemented in hardware, software, or a combination of both.
- FIG. 6 is just one embodiment and the components shown may be combined into fewer components or there may be additional components.
- image processing circuitry 35 eg, a graphics processing unit
- processors 33 may be included in one or more processors 33 .
- processor 33 and image processing circuitry 35 are operatively coupled with memory 37 . More specifically, the processor 33 and the image processing circuit 35 execute a computer program stored in the memory 37 to generate and/or transmit image data, for example, to the vehicle display system 10 ( A display device 40) can be controlled.
- Processor 33 and/or image processing circuitry 35 may include at least one general purpose microprocessor (e.g., central processing unit (CPU)), at least one application specific integrated circuit (ASIC), at least one field programmable gate array (FPGA). , or any combination thereof.
- Memory 37 includes any type of magnetic media such as hard disks, any type of optical media such as CDs and DVDs, any type of semiconductor memory such as volatile memory, and non-volatile memory. Volatile memory may include DRAM and SRAM, and non-volatile memory may include ROM and NVRAM.
- processor 33 is operatively coupled with I/O interface 31 .
- the I / O interface 31 communicates (CAN communication).
- the communication standard adopted by the I/O interface 31 is not limited to CAN. : MOST is a registered trademark), a wired communication interface such as UART or USB, or a personal area network (PAN) such as a Bluetooth network, a local network such as an 802.11x Wi-Fi network. It includes an in-vehicle communication (internal communication) interface, which is a short-range wireless communication interface within several tens of meters such as an area network (LAN).
- LAN area network
- the I / O interface 31 is a wireless wide area network (WWAN0, IEEE802.16-2004 (WiMAX: Worldwide Interoperability for Microwave Access)), IEEE802.16e base (Mobile WiMAX), 4G, 4G-LTE, LTE Advanced,
- An external communication (external communication) interface such as a wide area communication network (for example, Internet communication network) may be included according to a cellular communication standard such as 5G.
- the processor 33 is interoperably coupled with the I/O interface 31 to communicate with various other electronic devices and the like connected to the vehicle display system 10 (I/O interface 31). can be given and received.
- the I/O interface 31 includes, for example, a vehicle ECU 401, a road information database 403, a vehicle position detection unit 405, an operation detection unit 407, a face detection unit 409, an external sensor 411, a brightness detection unit 413, an IMU 415, a mobile information terminal 417, and an external communication device 419, etc. are operatively coupled.
- the I/O interface 31 may include a function of processing (converting, calculating, and analyzing) information received from other electronic devices or the like connected to the vehicle display system 10 .
- the display device 40 is operatively connected to the processor 33 and the image processing circuitry 35 . Accordingly, the image displayed by spatial light modulating element 51 may be based on image data received from processor 33 and/or image processing circuitry 35 .
- the processor 33 and image processing circuit 35 control the image displayed by the spatial light modulator 51 based on the information obtained from the I/O interface 31 .
- the face detection unit 409 includes a camera such as an infrared camera that detects the eye position 700 (see FIG. 1) of the observer sitting in the driver's seat of the vehicle 1, and may output the captured image to the processor 33. .
- the processor 33 acquires a captured image (an example of information from which the eye positions 700 can be estimated) from the face detection unit 409, and analyzes the captured image by a method such as pattern matching to determine the eye positions 700 of the observer. may be detected and a signal indicating the detected coordinates of the eye position 700 may be output to the processor 33 .
- the face detection unit 409 obtains an analysis result obtained by analyzing the captured image of the camera (for example, it indicates where the observer's eye position 700 belongs in a spatial region corresponding to a plurality of preset display parameters). signal.) may be output to the processor 33 .
- the method of acquiring the eye position 700 of the observer of the vehicle 1 or the information that can estimate the eye position 700 of the observer is not limited to these, and a known eye position detection (estimation) technique is used. may be obtained by
- the face detection unit 409 detects the speed of change and/or the direction of movement of the observer's eye position 700, and sends a signal indicating the speed of change and/or the direction of movement of the observer's eye position 700 to the processor 33. may be output.
- the face detection unit 409 also determines (11) that the newly detected eye position 700 is greater than or equal to the eye position movement distance threshold previously stored in the memory 37 with respect to the previously detected eye position 700 (predetermined (12) a signal indicating that the change speed of the eye position is equal to or greater than the eye position change speed threshold stored in advance in the memory 37; (13) When a signal indicating that the observer's eye position 700 cannot be detected after the movement of the observer's eye position 700 is detected, it is determined that the predetermined 2D condition is satisfied, and the state is indicated. The signal may be output to processor 33 .
- the face detection unit 409 may have a function as a line-of-sight direction detection unit.
- the line-of-sight direction detection unit may include an infrared camera or a visible light camera that captures the face of an observer sitting in the driver's seat of the vehicle 1 , and may output the captured image to the processor 33 .
- the processor 33 acquires a captured image (an example of information that allows the line-of-sight direction to be estimated) from the line-of-sight direction detection unit, and identifies the line-of-sight direction (and/or the gaze position) of the observer by analyzing the captured image. can do.
- the line-of-sight direction detection unit may analyze the captured image from the camera and output to the processor 33 a signal indicating the line-of-sight direction (and/or the gaze position) of the observer, which is the analysis result.
- the method of acquiring information that can estimate the line-of-sight direction of the observer of the vehicle 1 is not limited to these, and includes an EOG (Electro-oculogram) method, a corneal reflection method, a scleral reflection method, and Purkinje image detection. may be obtained using other known gaze direction detection (estimation) techniques such as method, search coil method, infrared fundus camera method.
- the vehicle exterior sensor 411 detects real objects existing around the vehicle 1 (front, side, and rear).
- Real objects detected by the sensor 411 outside the vehicle include, for example, obstacles (pedestrians, bicycles, motorcycles, other vehicles, etc.), road surfaces of driving lanes, lane markings, roadside objects, and/or features (buildings, etc.), which will be described later. and so on.
- Exterior sensors include, for example, radar sensors such as millimeter-wave radar, ultrasonic radar, and laser radar, cameras, or a detection unit composed of any combination thereof, and the detection data from the one or more detection units is processed. and a processing device that performs data fusion. A conventional well-known method is applied to object detection by these radar sensors and camera sensors.
- the position of the real object (relative distance from the vehicle 1, the traveling direction of the vehicle 1 in the front-back direction) horizontal position, vertical position, etc.), size (horizontal direction (horizontal direction), height direction (vertical direction), etc.), movement direction (horizontal direction (horizontal direction), depth direction (front-back direction)), change speed (horizontal direction (left-right direction), depth direction (front-back direction)), and/or the type of the real object may be detected.
- One or a plurality of vehicle exterior sensors 411 detect a real object in front of the vehicle 1 in each detection cycle of each sensor, and detect real object information (presence or absence of a real object, existence of a real object), which is an example of real object information. If so, information such as the position, size and/or type of each real object) can be output to the processor 33 .
- the real object information may be transmitted to the processor 33 via another device (for example, the vehicle ECU 401).
- a camera an infrared camera or a near-infrared camera is desirable so that a real object can be detected even when the surroundings are dark, such as at night.
- a stereo camera that can acquire distance and the like by parallax is desirable.
- the software components stored in memory 37 include an eye position detection module 502, an eye position estimation module 504, an eye position prediction module 506, a face detection module 508, a determination module 510, a vehicle state determination module 512, and an image depth control module 514. , an eye-tracking image processing module 516, a graphics module 518, a light source driving module 520, an actuator driving module 522, and so on.
- FIGS. 7A and 7B are flow diagrams showing a method S100 for executing 2D switching processing based on detection results of the observer's eye position, face position, or face orientation.
- the method S100 is performed in a HUD device 20 including a spatial light modulation element and a display control device 30 controlling this HUD device 20.
- FIG. Some of the acts of method S100 described below are optionally combined, some of the steps of the acts are optionally varied, and some of the acts are optionally omitted.
- the display control device 30 acquires information indicating the observer's eye position 700, face position (not shown), or face orientation (not shown) (step S110).
- step S110 in some embodiments, the display control device 30 (processor 33) executes the eye position detection module 502 of FIG. (obtain eye position-related information indicating the eye position 700).
- the eye position detection module 502 detects the coordinates indicating the observer's eye position 700 (the position in the X and Y axis directions, which is an example of eye position-related information), and determines the height of the observer's eyes. Detecting the coordinates (position in the Y-axis direction, which is an example of eye position-related information) indicating the height of the observer's eyes and the position in the depth direction (positions in the Y- and Z-axis directions). and/or coordinates indicating the observer's eye position 700 (positions in the X-, Y-, and Z-axis directions, which is an example of eye-position-related information). .) includes various software components for performing various operations related to detecting.
- the eye position 700 detected by the eye position detection module 502 includes positions 700R and 700L of the right and left eyes, one of the predetermined positions of the right eye position 700R and the left eye position 700L, the right eye position 700R and the left eye position 700L. Detectable (easily detectable) position, or a position calculated from the right eye position 700R and the left eye position 700L (for example, the midpoint between the right eye position and the left eye position), etc. good. For example, the eye position detection module 502 determines the eye position 700 based on the observation position acquired from the face detection unit 409 immediately before the timing of updating the display settings.
- the face detection unit 409 detects the movement direction and/or change speed of the observer's eye position 700 based on a plurality of observation positions obtained from the face detection unit 409 at predetermined detection timings, and A signal indicating the direction of movement and/or the rate of change of eye position 700 may be output to processor 33 .
- the display control device 30 may acquire information (an example of eye position-related information) that enables estimation of eye positions by executing the eye position estimation module 504.
- Information from which eye positions can be estimated is, for example, a captured image acquired from the face detection unit 409, the position of the driver's seat of the vehicle 1, the position of the observer's face, the observer's face position, For example, the height of the sitting height, or the observation position of the eyes of a plurality of observers.
- the eye position estimation module 504 estimates the eye positions 700 of the observer of the vehicle 1 from one or more eye position estimable information.
- the eye position estimation module 504 uses the captured image acquired from the face detection unit 409, the position of the driver's seat of the vehicle 1, the position of the observer's face, the observer's face position, the height of the sitting height, or the eyes of a plurality of observers. includes various software components for performing various operations related to estimating the observer's eye position 700, such as estimating the observer's eye position 700, such as from the observation position of the . That is, the eye position estimation module 504 can include table data, arithmetic expressions, and the like for estimating the eye position 700 of the observer from information that can estimate the eye position.
- the display control device 30 may acquire information that can predict the eye positions 700 of the observer by executing the eye position prediction module 506 .
- Information that can predict the observer's eye position 700 is, for example, the latest observation position obtained from the face detection unit 409, or one or more observation positions obtained in the past.
- Eye position prediction module 506 includes various software components for performing various operations related to predicting eye positions 700 based on information capable of predicting eye positions 700 of an observer. Specifically, for example, the eye position prediction module 506 predicts the eye position 700 of the observer at the timing when the observer visually recognizes the image to which the new display settings are applied.
- the eye position prediction module 506 uses one or more past observed positions, for example, using a least squares method, a prediction algorithm such as a Kalman filter, an ⁇ - ⁇ filter, or a particle filter to calculate the next value. You can make a prediction.
- the display control device 30 may acquire face position information indicating the face position and face orientation information indicating the face orientation by executing the face detection module 508.
- the face detection module 508 acquires face area detection data (an example of face position information, an example of face orientation information) from the face detection unit 409, and detects facial feature points from the acquired face area detection data. Then, from the arrangement pattern of the detected feature points, face position information indicating the face position of the observer and face direction information indicating the face orientation are detected.
- the face detection module 508 acquires detection data (an example of face position information, an example of face direction information) of the feature points of the face detected by the feature point detection unit 126, and extracts the acquired detection data of the feature points of the face. may be used to detect face position information and face direction information. Also, the face detection module 508 may simply acquire the face position information and face direction information detected by the face detection unit 409 . Face direction detection processing is based on a method of calculating a face direction angle based on the positional relationship of a plurality of face parts (for example, eyes, nose, mouth, etc.), for example. Alternatively, for example, the face direction detection process is based on a method using the results of machine learning (however, the face direction detection process is not limited to these).
- the face position and face direction are coordinates on the X-axis along the left-right direction, a pitch angle indicating the direction of rotation about the X-axis, coordinates on the Y-axis along the up-down direction, and the Y-axis.
- the yaw angle indicating the direction of rotation about the axis the coordinate on the Z-axis along the depth direction, and the roll angle indicating the direction of rotation about the Z-axis, the position in the three-axis direction and the angle around each axis Calculated.
- Step S120 the display control device 30 (processor 33) determines whether a predetermined 2D condition is satisfied by executing the determination module 510 (step S120).
- Step S130 In step S120 in some embodiments, the display control device 30 (processor 33) executes the determination module 510 of FIG. , it is determined whether the eye position 700, face position, or face orientation satisfies a predetermined condition.
- processing using the eye position 700 and face position will be mainly described. The only difference is that the eye position 700 and face position are in a positional coordinate system, and the face orientation is in an angular coordinate system. , and the processing using the change amount and change speed of the face direction, and the description of the processing using the face direction is omitted.
- step S131 the display control device 30 (processor 33) executes the determination module 510 of FIG. is fast, it is determined that the predetermined 2D condition is satisfied.
- the determination module 510 determines the change speed Vx (Vy) of the eye position 700 or face position (or face orientation) and a predetermined first can be compared with a threshold (not shown) of, and if the change speed Vx (Vy) of the eye position 700 or the face position (or face orientation) is faster than the predetermined first threshold, the predetermined 2D condition is satisfied. may be determined (however, the method of determining the rate of change is not limited to this).
- step S132 the display control device 30 (processor 33) executes the determination module 510 of FIG. If it is within the first range (not shown), it is determined that the predetermined 2D condition is satisfied.
- the determination module 510 compares the eye position 700 or face position (or face orientation) Px (Py) with a predetermined first range (not shown) pre-stored in the memory 37 to determine whether the eye position 700 or face position If the position (or face orientation) Px (Py) is within the first range, it may be determined that a predetermined 2D condition is satisfied (however, eye position 700 or face position (or face orientation) position coordinates or The method for determining angular coordinates is not limited to this).
- the first range can be set to a range separated from a predetermined reference position (not shown) by predetermined coordinates. That is, the first range is a first left range deviated from the center 205 of the eyebox 200 (an example of the predetermined reference position) by a predetermined X coordinate in the left direction (X-axis negative direction), and a right direction ( A first right range shifted by a predetermined X coordinate in the positive direction of the X axis, a first upper range shifted by a predetermined Y coordinate in the upward direction (positive direction of the Y axis), and a downward direction (negative direction of the Y axis). It is set to either a first lower range offset by a predetermined Y coordinate, and any combination thereof.
- the first range can be set to the outer edge away from the center 205 of the eyebox 200 or the outside of the eyebox 200 .
- determination module 510 calculates the difference between eye position 700 or face position (or face orientation) Px (Py) and a predetermined reference position (not shown) stored in memory 37 in advance. , the difference between the eye position 700 or the face position (or face orientation) Px (Py) and the predetermined reference position is longer than a predetermined second threshold stored in advance in the memory 37, the eye position 700 or the face position It may be determined that the predetermined 2D condition is satisfied when (or face orientation) Px (Py) is within a first range separated from the predetermined reference position by the second threshold or more.
- the reference position can be set at the center 205 of the eyebox 200 .
- the determination module 510 determines that the predetermined 2D condition is satisfied if the eye position 700 or face position (or face orientation) Px (Py) is away from the center 205 of the eyebox 200 .
- the first range can be changed as the eyebox 200 moves.
- the display control device 30 controls the first actuator 28 (and/or the second actuator 29), for example, to move the eyebox 200 by controlling the first actuator 28 (and/or the second actuator 29).
- the first range may be changed based on the control value of .
- Step S133 the display control device 30 (processor 33) executes the determination module 510 of FIG. If the eye position 700 or the face position (or face orientation) is detected in a second range (not shown), it may be determined that the predetermined 2D condition is satisfied.
- step S133 the eye position estimation module 504 in FIG. 6 sequentially updates the second range based on the fact that the eye position 700 or the face position (or face orientation) Px (Py) is in a stable state. good.
- the second range can be set to a range separated by a predetermined coordinate from the reference position changed according to the eye position 700 or the face position (or face orientation). For example, when the eye position 700 or the face position (or face orientation) Px (Py) remains roughly the same for one second or more, the eye position estimation module 504 determines that the current eye position 700 is in a stable state.
- the face position (or face orientation) Px (Py) is registered in the memory 37 as the reference position, and a range apart from the reference position by predetermined coordinates (not shown) pre-stored in the memory 37 is the second position. Can be set to range.
- the eye position estimation module 504 determines that the stable state is established when the eye position 700 or the face position (or face orientation) Px (Py) remains substantially the same for one second or more.
- an average value of a plurality of eye positions 700 or face positions (or face orientations) Px (Py) acquired in the past may be registered in the memory 37 as the reference position.
- the eye position estimation module 504 calculates the eye position 700 or face position If 60 samples in 1 second of (or face orientation) Px (Py) are at approximately the same position, it is determined to be in a stable state, and the eye positions of the latest 5 samples out of 30 samples acquired in the past 0.5 sec 700 or the average value of the face position (or face orientation) Px (Py) may be registered in the memory 37 as the reference position.
- the determination module 510 calculates the difference between the eye position 700 or face position (or face orientation) Px (Py) and the predetermined reference position sequentially updated and stored in the memory 37, If the difference between the face position (or face orientation) Px (Py) and the predetermined reference position is longer than a predetermined third threshold stored in advance in the memory 37, it is determined that the predetermined 2D condition is satisfied. good.
- Step S134 the display control device 30 (processor 33) executes the determination module 510 of FIG. If changed, it may be determined that a predetermined 2D condition is satisfied. For example, the determination module 510 determines that the amount of change ⁇ Px in the left-right eye position 700 or face position (or face orientation) shown in FIG. , it may be determined that the predetermined 2D condition is satisfied when it is detected that a predetermined number of times (for example, two times) or more has been continuously changed in one direction (here, the right direction).
- a predetermined number of times for example, two times
- Step S141 the determination module 510 of FIG. 6 determines whether the observer's eye position 700 (or face position) is in an unstable state, and determines if the observer's eye position 700 (or face position) is If it is determined that the state is unstable, it may be determined that the predetermined 2D condition is satisfied.
- the determination module 510 determines whether the stability of the observer's eye position is low (unstable).
- Step S141 includes various software components for performing various operations related to. That is, the determination module 510 uses threshold values, table data, arithmetic expressions, and so on.
- the eye position detection module 502 calculates the variance of position data of each of a plurality of observation positions acquired from the face detection unit 409 within a predetermined measurement time, and the determination module 510 calculates the variance of the position data calculated by the eye position detection module 502.
- the variance is larger than a predetermined threshold value stored in advance in the memory 37 (or set by the operation detection unit 407), it is determined that the observer's eye position is less stable (unstable). There may be.
- the eye position detection module 502 calculates the deviation of position data of each of the plurality of observation positions acquired from the face detection unit 409 within a predetermined measurement time, and the determination module 510 calculates the deviation of the position data calculated by the eye position detection module 502. If the deviation obtained is greater than a predetermined threshold stored in advance in the memory 37 (or set by the operation detection unit 407), it is determined that the observer's eye position is less stable (unstable) ( non-unstable) form.
- the eye position detection module 502 divides the eye box 200 into a plurality of partial viewing zones (for example, 25 regions divided vertically into 5 and horizontally into 5). Identifiable, the stability of the observer's eye position is low (unstable) when the number of partial viewing zones to which the eye position 700 has moved per predetermined unit time exceeds a predetermined threshold. (not in an unstable state).
- the eye position detection module 502 detects that the total moving distance of the eye position 700 (the sum of the distances between a plurality of observation positions obtained multiple times per unit time) per predetermined unit time exceeds a predetermined threshold value. It may be determined (not in an unstable state) that the stability of the observer's eye position is low (unstable) when it becomes longer.
- Step S142 the determination module 510 of FIG. 6 determines whether the operation of detecting the eye position 700 of the observer is in an unstable state, and if it is determined to be in an unstable state, the predetermined It is determined that the 2D condition is satisfied.
- the determination module 510 determines whether or not the eye position 700 of the observer can be detected, and if the eye position 700 cannot be detected, determines that the state is unstable (an example of step S142), ( 20) Determining whether it can be estimated that the detection accuracy of the eye position 700 of the observer has decreased, and determining that the state is unstable if it can be estimated that the detection accuracy of the eye position 700 has decreased (step An example of S142.), (30) Determining whether or not the observer's eye position 700 is outside the eye box 200, and if it is outside the eye box 200, determining that the state is unstable (step S142). (40) Determine whether the observer's eye position 700 can be estimated to be outside the eye box 200.
- step S142 determines whether or not the observer's eye position 700 is predicted to be outside the eyebox 200, and if it is predicted to be outside the eyebox 200, it is determined to be in an unstable state.
- step S142 including various software components for performing various operations related to. That is, the determination module 510 determines whether or not the detection operation of the observer's eye position 700 is in an unstable state from the detection information, estimation information, or prediction information of the eye position 700. , arithmetic expressions, and the like.
- a method for determining whether or not the eye position 700 of the observer can be detected is (1) obtaining a signal from the face detection unit 409 indicating that the eye position 700 cannot be detected; (3) the eye position detection module 502 cannot detect all or part of the observation positions of the observer's eyes acquired within the period (for example, more than a predetermined number of times); Determining that the observer's eye position 700 cannot be detected (detection of the observer's eye position 700 is in an unstable state) due to the inability to detect the eye position 700 or any combination thereof.
- the determination method is not limited to these.).
- a method for determining that the detection accuracy of the eye position 700 of the observer is degraded includes: (1) obtaining a signal indicating that the detection accuracy of the eye position 700 is estimated to be degraded from the face detection unit 409; (2) some or all of the observation positions of the observer's eyes acquired from the face detection unit 409 within a predetermined period (for example, more than a predetermined number of times) cannot be detected; and (3) an eye position detection module.
- the eye position estimation module 504 cannot estimate the observer's eye position 700 in normal operation;
- the prediction module 506 cannot predict the observer's eye position 700 in normal operation, (6) detects a decrease in the contrast of the image of the observer captured by external light such as sunlight, and (7) the hat. and accessories (including eyeglasses) are detected, (8) a part of the observer's face is not detected due to a hat or accessory (including eyeglasses), or any combination of these determining that the detection accuracy of the position 700 is degraded (the determination method is not limited to these).
- the method for determining whether or not the observer's eye position 700 is outside the eyebox 200 includes (1) a part of the observer's eye observation position acquired from the face detection unit 409 within a predetermined period (for example, (2) eye position detection module 502 detects eye position 700 of the observer outside eye box 200, or any combination thereof. , determining that the observer's eye position 700 is outside the eye box 200 (the observer's eye position 700 is in an unstable state) (the above-described determination method is not limited to these).
- the method for determining whether the observer's eye position 700 is outside the eyebox 200 is determined by: (1) After the face detection unit 409 detects the movement of the observer's eye position 700, the observer's eye position 700 is (2) the eye position detection module 502 detects the observer's eye position 700 near the boundary of the eye box 200; (3) the eye position detection module 502 detects the observer's right eye position 700R and left eye position 700L, or any combination thereof, it can be estimated that the observer's eye position 700 is outside the eyebox 200 (observer's eye position 700L). is in an unstable state) (Note that the determination method is not limited to these.).
- the method for determining whether or not the observer's eye position 700 is predicted to be outside the eyebox 200 is as follows. (2) that the eye position 700 newly detected by the eye position detection module 502 is greater than or equal to the eye position movement distance threshold previously stored in the memory 37 with respect to the previously detected eye position 700 ( The change speed of the eye position 700 is equal to or greater than the eye position change speed threshold value stored in advance in the memory 37), or any combination thereof, the observer's eye position 700 is predicted to be outside the eyebox 200. (Note that the determination method is not limited to these.).
- Step S150 Reference is now made to FIG. 7B.
- the display control device 30 (processor 33 ) updates the image displayed on the display device 40 .
- the display control device 30 executes the image depth control module 514 to perform 2D switching processing for switching the 3D image FU10 to the 2D image FU30.
- Step S170 is executed.
- the display control device 30 determines whether a predetermined 3D condition is satisfied when executing the 2D switching process (step S170), and determines that the 3D condition is satisfied. If so, 3D switching processing (step S180) for switching the 2D image FU30 to the 3D image FU10 is executed.
- the predetermined 3D condition includes that a predetermined time (for example, 20 seconds) has passed since the transition to the 2D switching process (step S170).
- the image depth control module 514 executes timing after shifting to the 2D switching process (step S170), and the predetermined time stored in advance in the memory 37 (or set by the operation detection unit 407) has passed. In this case, it may be determined that the 3D condition is satisfied.
- the predetermined 3D condition may include that the predetermined 2D condition is no longer satisfied in step S120. That is, the predetermined 3D condition indicates that at least one of steps S131 to S134 and steps S141 to S143 has transitioned from a state in which the predetermined 2D condition is satisfied to a state in which the predetermined 2D condition is no longer satisfied. detecting. Further, the predetermined 3D condition may include that a predetermined time (for example, 20 seconds) has passed since the predetermined 2D condition was not satisfied in step S120.
- a predetermined time for example, 20 seconds
- Step S220 When it is determined in step S210 that the 3D condition is satisfied, the display control device 30 (processor 33) executes 3D switching processing (step S180).
- 9 to 14 are transition graphs of depth values in 2D switching processing and 3D switching processing in some embodiments.
- the display control device 30 projects a display 50 that displays an image and the light of the image displayed by the display 50 onto the projection target unit 2, thereby superimposing the virtual images V10 and V20 of the images on the foreground for the user of the vehicle 1.
- a display control device 30 that performs display control in a head-up display device 20 to be viewed, and includes one or more processors 33, a memory 37, and The processor 33 displays the 2D image FU30 and the stereoscopically viewable 3D image FU10 on the head-up display device 20, and the user's eye position, face Eye position-related information including at least one of position and face direction is acquired, and based on the eye position-related information, it is determined whether the eye position-related information or the detection operation of the eye position-related information satisfies a predetermined 2D condition.
- the 2D switching process (step S170) for switching the 3D image FU10 to the 2D image FU30 is executed when it is determined that the 2D condition is satisfied.
- a first embodiment estimates or predicts a situation in which crosstalk may occur based on eye position-related information including at least one of a user's eye position, face position, and face orientation, and transforms a 3D image into a 2D image.
- the switching has the advantage of making crosstalk less visible. Alternatively, even when crosstalk is visually recognized, an advantage is assumed in that a multiple image with a small deviation can be obtained.
- the 2D conditions are conditions of change speed of at least one of eye position, face position, and face orientation, and at least one of eye position, face position, and face orientation. It includes at least one of a condition of coordinates and a condition of movement time of at least one of eye position, face position, and face orientation. In this case, estimating a situation in which an image that does not match the eye position can be viewed according to the change speed of at least one of the eye position, the face position, and the face direction, the coordinate condition, or the movement time condition, You can switch to a 2D image.
- the 2D conditions are that at least one of the eye position, the face position, and the face orientation should change quickly, and that at least one of the eye position, the face position, and the face orientation Any coordinate is within a predetermined range, and at least one of eye position, face position, and face orientation is continuously changing.
- the condition that at least one of the eye position, face position, and face orientation changes quickly there is an advantage that switching to a 2D image that is less likely to cause a shift between the right-viewpoint image and the left-viewpoint image is possible. .
- the right-viewpoint image and the left-viewpoint image are switched to a 2D image in which deviation is less likely to occur.
- switching to a 2D image in which deviation between the right viewpoint image and the left viewpoint image is less likely to occur.
- it is a predetermined range in which eye position detection error is likely to increase (detection accuracy is reduced) or false detection is likely to occur the image is switched to a 2D image.
- switching to a 2D image can be performed on condition that a continuous change in at least one of the eye position, face position, and face direction is detected. For example, if it is detected that the eye position continuously changes in one direction, it switches to a 2D image.
- the conditions for detecting the eye position-related information are that at least one of the eye position, the face position, and the face direction cannot be detected, and that the eye position and the face position cannot be detected. , and detection of a decrease in detection accuracy of at least one of face orientation.
- switching to a 2D image can be performed on the condition that a decrease in the detection accuracy of at least one of the eye position, face position, and face direction is detected.
- step S170 when the processor 33 determines that the 2D condition is satisfied, the 3D image FU10 having the depth value DP is changed to the depth value DP in the 2D switching process (step S170). , and if it is determined that the predetermined 3D condition is satisfied, the depth value is changed stepwise or continuously over time from the 2D image FU30 to the 3D image FU10 with the original depth value DP. 3D switching processing (step S180) to gradually deepen the depth is further executed. In the example shown in FIG.
- the processor 33 executes the 2D switching process to replace the 3D image FU10 with the depth value DP20 with the 2D image FU30 without the depth value DP. instantly switch to Next, when the processor 33 determines that the 3D condition is satisfied at time t21, the processor 33 executes 3D switching processing to switch from the 2D image FU30 without the depth value DP to the 3D image FU10 with the original depth value DP20 with the passage of time.
- the depth value DP is gradually increased stepwise (solid line in FIG. 9) or continuously (dotted line in FIG. 9).
- the depth value DP stepwise or continuously over time at the second change speed from the 2D image FU30 to the second 3D image FU12 with the original second depth value DP20. If it is determined that the second 3D switching process for deepening is further executed, the second change speed is faster than the first change speed, and the predetermined 3D condition is satisfied at time t21, the first 3D switch process and the first 3D change process are performed. 2 3D switching processing is started at the same time.
- the first change speed and the second change speed are instantaneous speeds, and when the second change speed is faster than the first change speed, the depth value (DP) is faster than the first change speed (instantaneous speed).
- the first change speed also includes an average speed indicated by (DP20)/(t31-t21), during which the depth value DP changes stepwise from zero to the original depth value DP20.
- the second rate of change also includes an average rate indicated by (DP10)/(t31-t22), during which the depth value DP changes from zero to Up to the original depth value DP20, the change may be stepwise, continuous, or instantaneous. That is, when the second change speed is faster than the first change speed, for example, as shown in FIG. 9, FIG. 11, or FIG. It can also include that the second rate of change (average rate) is faster than the first rate of change (average rate).
- the time to reach the original depth value linearly increases with the depth of the depth value.
- the time required to reach the original depth value can be shortened in the 3D image FU10 having a deep original depth value.
- An advantage is also assumed in that the difference between the time to reach the 3D image FU10 with a deep depth value and the time to reach the 3D image FU10 with a shallow depth value can be reduced.
- a second 3D switching process is further executed to gradually deepen the depth value DP stepwise or continuously over time, and a predetermined 3D
- the second 3D switching process is started at time t21, and then the first 3D switching process is started at time t22.
- a first 3D image FU11 having DP10 and a second 3D image FU12 having a second depth value DP20 deeper than a predetermined threshold are switched to a 2D image FU30 having no depth value DP, and from the 2D image FU30 the original a third 3D switching process that instantaneously switches to the first 3D image FU11 at the first depth value DP10 of , and from the 2D image FU30 to the second 3D image FU12 at the original second depth value DP20, the time lapse
- a fourth 3D switching process is further executed to gradually deepen the depth value DP in a stepwise or continuous manner.
- an image with a shallow depth value (a small depth difference from the 2D image FU30) is difficult to notice the change in the depth value, and it is difficult to give a sense of discomfort.
- An image with a deep value (a large depth difference from the 2D image FU30) is easy to notice the change in the depth value and is likely to give a sense of discomfort. It has the advantage of being able to provide a flexible and highly convenient system.
- the display control device 30 according to any one of the first to ninth embodiments, the display device 50 that emits display light, and the light from the display device 50 and a relay optical system 80 that directs the display light K toward the projection target portion 2 .
- a display control method in a head-up display device 20 for visually superimposing V20 on the foreground comprising: displaying a 2D image FU30 and a stereoscopically viewable 3D image FU10 on the head-up display device 20; Acquiring information about at least one change rate of position and face orientation, and determining whether the eye position-related information or the detection operation of the eye position-related information satisfies a predetermined 2D condition based on the eye position-related information. That is, when it is determined that the 2D condition is satisfied, 2D switching processing for switching the 3D image FU10 to the 2D image FU30 is executed.
- Graphics module 518 of FIG. 6 includes various known software components for performing image processing, such as rendering, to generate image data, and to drive display device 40 .
- the graphic module 518 also controls the type (moving image, still image, shape), arrangement (positional coordinates, angle), size, display distance (in the case of 3D), visual effect (for example, luminance, (transparency, saturation, contrast, or other visual properties) may be included.
- the graphic module 518 stores the type of image (one example of display parameters), the positional coordinates of the image (one example of display parameters), the angle of the image (the pitching angle with the X direction as the axis, and the Y direction as the axis).
- yaw rate angle around the axis, rolling angle around the Z direction, etc. which are examples of display parameters
- image size one example of display parameters
- image color one example of display parameters set by brightness, etc.
- intensity of perspective expression of an image one of display parameters set by the position of a vanishing point, etc.
- the light source driving module 520 includes various known software components for performing driving the light source unit 24 .
- the light source driving module 520 can drive the light source unit 24 based on the set display parameters.
- Actuator drive module 522 includes various known software components for performing driving first actuator 28 and/or second actuator 29. One actuator 28 and a second actuator 29 can be driven.
- vehicle display system 10 is optionally implemented in hardware, software, or a combination of hardware and software to carry out the principles of the various described embodiments. 6 may optionally be combined or separated into two or more sub-blocks to implement the principles of the described embodiments; will be understood by those skilled in the art. Accordingly, the description herein optionally supports any possible combination or division of the functional blocks described herein.
- Reference Signs List 1 vehicle 2: projected part 5: dashboard 10: vehicle display system 20: head-up display device (HUD device) 21 : Light exit window 22 : Housing 24 : Light source unit 28 : First actuator 29 : Second actuator 30 : Display control device 31 : I/O interface 33 : Processor 35 : Image processing circuit 37 : Memory 40 : Display device 50 : Display 51 : Spatial light modulator 52 : Optical layer 60 : Light source unit 80 : Relay optical system 126 : Feature point detector 200 : Eye box 205 : Center 401 : Vehicle ECU 403 : Road information database 405 : Vehicle position detection unit 407 : Operation detection unit 409 : Face detection unit 411 : Exterior sensor 413 : Brightness detection unit 417 : Portable information terminal 419 : External communication device 502 : Eye position detection module 504 : Eye position estimation module 506 : Eye position prediction module 508 : Face detection module 510 : Judgment module 512 : Vehicle state judgment module 514
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
観察者に違和感を与えにくくする。 プロセッサは、ユーザーの目位置、顔位置、及び顔向きの少なくとも1つを含む目位置関連情報を取得し、AR虚像V60を表示し、AR虚像V60の表示位置を調整するために、目位置関連情報に少なくとも基づいて表示装置40に表示する画像の位置を補正する目追従性画像補正処理を実行し、目位置関連情報又は目位置関連情報の検出動作が、所定の2D条件を充足すると判定した場合、3D画像を2D画像に切り替える。
Description
本開示は、車両等の移動体で使用され、移動体の前景(車両の乗員から見た移動体の前進方向の実景)に画像を重畳して視認させる表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等に関する。
特許文献1には、車両のフロントウインドシールド等の被投影部に投射される表示光が、車両の内側にいる車両の乗員(観察者)に向けて反射されることで、観察者に虚像を視認させるヘッドアップディスプレイ装置(虚像表示装置の一例)が記載されている。特に、特許文献1に記載のヘッドアップディスプレイ装置は、虚像の知覚距離(観察者が知覚する虚像までの距離)を変化させることで、車両の速度の状況を認識させるヘッドアップディスプレイ装置が記載されている。画像(虚像)は、観察者から見て近傍側に移動したり、遠方側に移動したりすることで、観察者の視覚的注意をひくことができたり、表示する画像に距離的な情報を付加することができたりする。このように知覚距離を変化させるヘッドアップディスプレイ装置は、内部に、立体表示装置を設けている。
立体表示装置は、例えば、レンズアレイなどを用いる方法(レンチキュラ方式、例えば特許文献2参照。)、パララックスバリアを用いる方法(パララックスバリア方式、例えば特許文献3を参照。)、又は、視差画像時分割表示方式(例えば、特許文献4,5、及び6を参照。)などがある。
これらは、左目が存在する位置に左視点画像の表示光を向け、右目が存在する位置に右視点画像の表示光を向けることで、視差のある左視点画像及び右視点画像を視認させ、融像させることにより虚像の知覚距離を変更する。
ところで、上記のような立体表示装置では、クロストークが発生することが知られている。クロストークは、1つの視点から観察したときに本来観察されるべき視点画像と、これとは異なる視点画像(典型的には、隣接した視点で観察されるべき視点画像)とが同時に観察される現象であり、複数の視点画像が重なった多重像が観察される。
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
本開示の概要は、クロストークを視認しにくくすることに関する。より、具体的には、クロストークを視認しにくく、かつ観察者に違和感を与えにくい画像を表示する表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等を提供することに関する。
したがって、本明細書に記載される表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法等は、前記課題を解決するため、以下の手段を採用した。本実施形態は、ユーザーの目位置、顔位置、及び顔向きの少なくとも1つを含む目位置関連情報又は目位置関連情報の検出動作に基づき、迅速に3D画像(FU10)を前記2D画像(FU30)に切り替える、ことをその要旨とする。
したがって、本発明の第1の実施態様の表示制御装置は、画像を表示する表示器、表示器が表示する画像の光を被投影部に投影することで、車両のユーザーに画像の虚像を前景に重ねて視認させるヘッドアップディスプレイ装置における表示制御を実行する表示制御装置であって、1つ又は複数のプロセッサと、メモリと、メモリに格納され、1つ又は複数のプロセッサによって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、プロセッサは、ヘッドアップディスプレイ装置に2D画像及び立体視可能な3D画像を表示し、ユーザーの目位置、又は顔位置の少なくとも1つを含む目位置関連情報を取得し、目位置関連情報に基づき、目位置関連情報又は目位置関連情報の検出動作が、所定の2D条件を充足するか判定し、2D条件を充足すると判定した場合、3D画像を2D画像に切り替える2D切り替え処理を実行する、ようになっている。本発明の第1の実施態様は、クロストークが発生し得る状況を、ユーザーの目位置、又は顔位置の少なくとも1つを含む目位置関連情報に基づき推定又は予測し、3D画像を2D画像に切り替えることで、クロストークを視認しにくくするという利点を有している。又はクロストークが視認された場合でもズレが小さい多重像とすることができるという利点も想定される。
また、他の第1の実施態様の表示制御装置は、プロセッサは、ヘッドアップディスプレイ装置に2D画像及び立体視可能な3D画像を表示し、ユーザーの顔向きを含む目位置関連情報を取得し、目位置関連情報に基づき、目位置関連情報又は目位置関連情報の検出動作が、所定の2D条件を充足するか判定し、2D条件を充足すると判定した場合、3D画像を2D画像に切り替える2D切り替え処理を実行する、ようになっている。本発明の第1の実施態様は、クロストークが発生し得る状況を、ユーザーの顔向きを含む目位置関連情報に基づき推定又は予測し、3D画像を2D画像に切り替えることで、クロストークを視認しにくくするという利点を有している。又はクロストークが視認された場合でもズレが小さい多重像とすることができるという利点も想定される。
また、他の第1の実施態様の表示制御装置は、プロセッサは、ヘッドアップディスプレイ装置に2D画像及び立体視可能な3D画像を表示し、ユーザーの目位置、顔位置、及び顔向きの少なくとも1つを含む目位置関連情報を取得し、目位置関連情報の検出動作が、所定の2D条件を充足するか判定し、2D条件を充足すると判定した場合、3D画像を2D画像に切り替える2D切り替え処理を実行する、ようになっている。本発明の第1の実施態様は、クロストークが発生し得る状況を、ユーザーの目位置、又は顔位置の少なくとも1つを含む目位置関連情報に基づき推定又は予測し、3D画像を2D画像に切り替えることで、クロストークを視認しにくくするという利点を有している。又はクロストークが視認された場合でもズレが小さい多重像とすることができるという利点も想定される。
第1の実施形態に従属し得る第2の実施態様によれば、2D条件は、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度の条件、目位置、顔位置、及び顔向きの少なくともいずれかの座標の条件、並びに目位置、顔位置、及び顔向きの少なくともいずれかの移動時間の条件、の少なくともいずれか1つを含む、ようになっている。この場合、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度を条件、座標の条件、又は移動時間の条件に応じて、目位置にアンマッチした画像が視認され得る状況を推定し、2D画像に切り替えることができる。
第1の実施形態に従属し得る第3の実施態様によれば、2D条件は、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度が速いこと、目位置、顔位置、及び顔向きの少なくともいずれかの座標が所定の範囲内であること、並びに、目位置、顔位置、及び顔向きの少なくともいずれかの連続的な変化であること、の少なくともいずれか1つを含む、ようになっている。この場合、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度が速いことを条件に、右視点画像と左視点画像とでズレが生じにくい2D画像に切り替えることができるという利点を有する。例えば、変化速度が所定の閾値より速ければ、右視点画像と左視点画像とでズレが生じにくい2D画像に切り替える。また、この場合、目位置、顔位置、及び顔向きの少なくともいずれかの座標が所定の範囲内であることを条件に、右視点画像と左視点画像とでズレが生じにくい2D画像に切り替えることができるという利点を有する。例えば、目位置の検出誤差の拡大(検出精度の低下)や誤検出が生じやすい所定の範囲であれば、2D画像に切り替える。また、この場合、目位置、顔位置、及び顔向きの少なくともいずれかの連続的な変化が検出されたことを条件に、2D画像に切り替えることができるという利点を有する。例えば、目位置が一方向に連続的に変化したことが検出された場合、2D画像に切り替える。
第3の実施形態に従属し得る第4の実施態様によれば、目位置関連情報の検出動作の条件は、目位置、顔位置、及び顔向きの少なくともいずれかが検出できないこと、並びに目位置、顔位置、及び顔向きの少なくともいずれかの検出精度の低下を検出したこと、の少なくともいずれか1つを含む、ようになっている。この場合、目位置、顔位置、及び顔向きの少なくともいずれかが検出できないことを条件に、2D画像に切り替えることができるという利点を有する。また、この場合、目位置、顔位置、及び顔向きの少なくともいずれかの検出精度の低下を検出したことを条件に、2D画像に切り替えることができるという利点を有する。
第1ないし第4の実施形態に従属し得る第5の実施態様によれば、プロセッサは、2D条件を充足すると判定した場合、2D切り替え処理において、深度値を有する3D画像を、深度値を有さない2D画像に瞬時に切り替え、所定の3D条件を充足すると判定した場合、2D画像から元の深度値の3D画像まで、時間経過に伴い段階的又は連続的に深度値を徐々に深くする3D切り替え処理をさらに実行する、ようになっている。この場合、クロストークが生じ得ると推定される2D条件が充足した場合、2D画像に速く切り替えることで、多重像(又はズレが大きな多重像)が観察者に視認されることを早期に防止しつつ、3D画像に戻す際は、画像の深度が急激に変化することによる観察者に与える違和感を軽減することができるという利点を有する。
第1ないし第4の実施形態に従属し得る第6の実施態様によれば、プロセッサは、2D条件を充足すると判定した場合、2D切り替え処理において、第1の深度値を有する第1の3D画像、及び第1の深度値より深い第2の深度値を有する第2の3D画像を、深度値を有さない2D画像に切り替え、2D画像から元の第1の深度値の第1の3D画像まで、時間経過に伴い段階的又は連続的に深度値を第1の変化速度で徐々に深くする第1の3D切り替え処理、及び、2D画像から元の第2の深度値の第2の3D画像まで、時間経過に伴い段階的又は連続的に深度値を第2の変化速度で徐々に深くする第2の3D切り替え処理をさらに実行し、第2の変化速度は、第1の変化速度より速い、ようになっている。同じ変化速度で深度値を変えた場合、元の深度値まで到達する時間が、深度値の深さによって線形的に長くなってしまう。第6の実施形態によれば、元の深度値が深い3D画像において、元の深度値まで到達する時間を短縮することができるという利点を有する。また、深度値が深い3D画像に到達するまでの時間と、深度値が浅い3D画像に到達するまでの時間と、の差を縮めることができるという利点も想定される。また、この場合、所定の3D条件を充足すると判定した場合、第1の3D切り替え処理及び第2の3D切り替え処理は、同時に開始されてもよい。
第1ないし第4の実施形態に従属し得る第7の実施態様によれば、プロセッサは、2D条件を充足すると判定した場合、2D切り替え処理において、第1の深度値を有する第1の3D画像、及び第1の深度値より深い第2の深度値を有する第2の3D画像を、深度値を有さない2D画像に切り替え、2D画像から元の第1の深度値の第1の3D画像まで、時間経過に伴い段階的又は連続的に深度値を徐々に深くする第1の3D切り替え処理、及び、2D画像から元の第2の深度値の第2の3D画像まで、時間経過に伴い段階的又は連続的に深度値を徐々に深くする第2の3D切り替え処理をさらに実行し、所定の3D条件を充足すると判定した場合、第2の3D切り替え処理を開始した後、第1の3D切り替え処理を開始する、ようになっている。この場合、第1の3D切り替え処理と、第2の3D切り替え処理とが同時に開始される場合と比較して、各画像に視覚的注意を向けやすくなるという利点も想定される。
第1ないし第4の実施形態に従属し得る第8の実施態様によれば、プロセッサは、2D条件を充足すると判定した場合、2D切り替え処理において、所定の閾値より浅い第1の深度値を有する第1の3D画像、及び所定の閾値より深い第2の深度値を有する第2の3D画像を、深度値を有さない2D画像に切り替え、2D画像から元の第1の深度値の第1の3D画像まで瞬時に切り替える第3の3D切り替え処理、及び、2D画像から元の第2の深度値の第2の3D画像まで、時間経過に伴い段階的又は連続的に深度値を徐々に深くする第4の3D切り替え処理をさらに実行する、ようになっている。この場合、深度値が浅い(2D画像との深度差が小さい)画像は、深度値の変更に気づきにくく、違和感を与えにくいため、所定の深度値まで即座に変更することを優先し、深度値が深い(2D画像との深度差が大きい)画像は、深度値の変更に気づきやすく、違和感を与えやすいため、観察者に与える違和感を軽減することを考慮して表示することができ、柔軟で利便性の高いシステムを提供することができるという利点を有する。
第1ないし第4の実施形態に従属し得る第9の実施態様によれば、プロセッサは、2D条件を充足すると判定した場合、2D切り替え処理において、所定の閾値より浅い第1の深度値を有する第1の3D画像を、深度値を有さない2D画像に切り替えず、所定の閾値より深い第2の深度値を有する第2の3D画像を、深度値を有さない2D画像に切り替える、ようになっている。この場合、クロストークによる多重像の画像ズレ量が大きい深度値が深い3D画像に対し、2D切り替え処理、及び3D切り替え処理を効果的に実行することができるという利点を有する。
第10の実施態様のヘッドアップディスプレイ装置によれば、第1ないし第9の実施形態のいずれか1項に記載の表示制御装置と、表示光を出射する表示器と、表示器からの表示光を被投影部にむけるリレー光学系と、を備える。これによって、前記利点が得られる。その他の利点および好適な特徴は、特に前記実施形態および前記説明に記載されている。
第11の実施態様によれば、画像を表示する表示器、表示器が表示する画像の光を被投影部に投影することで、車両のユーザーに画像の虚像を前景に重ねて視認させるヘッドアップディスプレイ装置における表示制御方法であって、ヘッドアップディスプレイ装置に2D画像及び立体視可能な3D画像を表示させることと、ユーザーの目位置、顔位置、及び顔向きの少なくとも1つの変化速度に関する情報を取得することと、目位置関連情報に基づき、目位置関連情報又は目位置関連情報の検出動作が、所定の2D条件を充足するか判定することと、2D条件を充足すると判定した場合、3D画像を2D画像に切り替える2D切り替え処理を実行する、ようになっている。これによって、前記利点が得られる。その他の利点および好適な特徴は、特に前記実施形態および前記説明に記載されている。
以下、図1ないし図15では、例示的な車両用表示システムの構成、及び動作の説明を提供する。なお、本発明は以下の実施形態(図面の内容も含む)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
図1を参照する。図1は、視差式3D-HUD装置を含む車両用虚像表示システムの構成の一例を示す図である。なお、図1において、車両(移動体の一例。)1の左右方向(換言すると、車両1の幅方向)をX軸(X軸の正方向は、車両1の前方を向いた際の左方向。)とし、左右方向に直交すると共に、地面又は地面に相当する面(ここでは路面6)に直交する線分に沿う上下方向(換言すると、車両1の高さ方向)をY軸(Y軸の正方向は、上方向。)とし、左右方向及び上下方向の各々に直交する線分に沿う前後方向をZ軸(Z軸の正方向は、車両1の直進方向。)とする。この点は、他の図面においても同様である。
図示するように、車両(移動体の一例)1に備わる車両用表示システム10は、観察者(典型的には車両1の運転席に着座する運転者)の左目700Lと右目700Rの位置や視線方向を検出する瞳(あるいは顔)検出用の顔検出部409、車両1の前方(広義には周囲)を撮像するカメラ(例えばステレオカメラ)などで構成される車外センサ411、ヘッドアップディスプレイ装置(以下では、HUD装置とも呼ぶ)20、及びHUD装置20を制御する表示制御装置30、などで構成される。
図2は、ヘッドアップディスプレイ装置の構成の一態様を示す図である。HUD装置20は、例えばダッシュボード(図1の符号5)内に設置される。このHUD装置20は、立体表示装置(表示器の一例。)40、リレー光学系80、及びこれら表示装置40とリレー光学系80を収納し、表示装置40からの表示光Kを内部から外部に向けて出射可能な光出射窓21を有する筐体22、を有する。
表示装置40は、ここでは視差式3D表示装置とする。この表示装置(視差式3D表示装置)40は、左視点画像と右視点画像とを視認させることで奥行き表現を制御可能な多視点画像表示方式を用いた裸眼立体表示装置である表示器50、及びバックライトとして機能する光源ユニット60、により構成される。
表示器50は、光源ユニット60からの照明光を光変調して画像を生成する空間光変調素子51、及び、例えば、レンチキュラレンズやパララックスバリア(視差バリア)等を有し、空間光変調素子51から出射される光を、左目用の光線K11、K12、及びK13等の左目用表示光(図1の符号K10)と、右目用の光線K21、K22、及びK23等の右目用表示光(図1の符号K20)とに分離する光学レイヤ(光線分離部の一例。)52、を有する。光学レイヤ52は、レンチキュラレンズ、パララックスバリア、レンズアレイ、及びマイクロレンズアレイなどの光学フィルタを含む。但し、これは一例であり、限定されるものではない。光学レイヤ52の実施形態は、前述した光学フィルタに限定されることなく、空間光変調素子51から出射される光から左目用表示光(図1の符号K10)及び右目用表示光(図1の符号K20)を生成するものであれば、空間光変調素子51の前面又は後面に配置される全ての形態の光学レイヤを含む。光学レイヤ52のいくつかの実施形態は、電気的に制御されることで、空間光変調素子51から出射される光から左目用表示光(図1の符号K10)及び右目用表示光(図1の符号K20)を生成するものであってもよく、例えば、液晶レンズなどが挙げられる。すなわち、光学レイヤ52の実施形態は、電気的制御されるものと、電気的制御されないものと、を含み得る。
また、表示装置40は、光学レイヤ(光線分離部の一例。)52の代わりに又は、それに加えて、光源ユニット60を指向性バックライトユニット(光線分離部の一例。)で構成することで、左目用の光線K11、K12、及びK13等の左目用表示光(図1の符号K10)と、右目用の光線K21、K22、及びK23等の右目用表示光(図1の符号K20)と、を出射させてもよい。具体的に、例えば、後述する表示制御装置30は、指向性バックライトユニットが左目700Lに向かう照明光を照射した際に、空間光変調素子51に左視点画像を表示させることで、左目用の光線K11、K12、及びK13等の左目用表示光K10を、観察者の左目700Lに向け、指向性バックライトユニットが右目700Rに向かう照明光を照射した際に、空間光変調素子51に右視点画像を表示させることで、右目用の光線K21、K22、及びK23等の右目用表示光K20を、観察者の左目700Rに向ける。但し、上記の指向性バックライトユニットの実施形態は一例であり、限定されるものではない。
後述する表示制御装置30は、例えば、画像レンダリング処理(グラフィック処理)、表示器駆動処理などを実行することで、観察者の左目700Lへ左視点画像V10の左目用表示光K10、及び右目700Rへ右視点画像V20の右目用表示光K20、を向け、左視点画像V10及び右視点画像V20を調整することで、HUD装置20が表示する(観察者が知覚する)知覚画像FUの態様を制御することができる。なお、後述する表示制御装置30は、一定空間に存在する点などから様々な方向に出力される光線をそのまま(概ね)再現するライトフィールドを生成するように、ディスプレイ(表示器50)を制御してもよい。
リレー光学系80は、表示装置40からの光を反射し、画像の表示光K10、K20を、ウインドシールド(被投影部)2に投影する曲面ミラー(凹面鏡等)81、82を有する。但し、その他の光学部材(レンズなどの屈折光学部材、ホログラムなどの回折光学部材、反射光学部材又は、これらの任意の組み合わせを含む。)を、さらに有してもよい。
図1では、HUD装置20の表示装置40は、左右の目のそれぞれに視差のある画像(視差画像)が表示する。各視差画像は、図1に示されるように、虚像表示面(虚像結像面)VSに結像したV10、V20として表示される。観察者(人)の各目のピントは、虚像表示領域VSの位置に合うように調節される。なお、虚像表示領域VSの位置を、「調節位置(又は結像位置)」と称し、また、所定の基準位置(例えば、HUD装置20のアイボックス200の中心205、観察者の視点位置、又は、車両1の特定位置など)から虚像表示領域VSまでの距離(図4の符号D10を参照)を「調節距離(結像距離)」と称する。
但し、実際は、人の脳が、各画像(虚像)を融像するため、人は、調節位置よりもさらに奥側である位置(例えば、左視点画像V10と右視点画像V20との輻輳角によって定まる位置であり、輻輳角が小さくなるほど、観察者から離れた位置にあるように知覚される位置)に、知覚画像(ここでは、ナビゲーション用の矢先の図形)FUが表示されているように認識する。なお、知覚画像FUは、「立体虚像」と称される場合があり、また、「画像」を広義に捉えて虚像も含まれるとする場合には、「立体画像」と称することもできる。また、「立体像」、「3D表示」等と称される場合がある。なお、HUD装置20は、図1に示されるように、調節位置よりも奥側で知覚画像FUが知覚されるものに限定されず、調節位置よりも手前側である位置に、知覚画像FUが視認されるように、左視点画像V10及び右視点画像V20を表示し得る。
次に、図3、及び図4を参照する。図3は、車両1の走行中において、観察者が視認する前景と、前記前景に重畳して表示される知覚画像の例を示す図である。図4は、虚像結像面に表示される左視点虚像と右視点虚像と、これら左視点虚像と右視点虚像により観察者が立体視する知覚画像(3D画像)と、の位置関係を概念的に示した図である。
図3において、車両1は、直線状の道路(路面)6を走行している。HUD装置20は、ダッシュボード5内に設置されている。HUD装置20の光出射窓21から表示光K(K10,K20)を被投影部(車両1のフロントウインドシールド)2に投影する。図3の例では、路面6に重畳し、車両1の経路(ここでは直進を示す。)を指示する第1のコンテンツ画像FU1、及び同じく車両1の経路(ここでは直進を示す。)を指示し、第1のコンテンツ画像FU1より遠方に知覚される第2のコンテンツ画像FU2、を表示する。
図4の左図に示すように、HUD装置20は、(1)顔検出部409で検出された左目700Lへ被投影部2によって反射されるような位置、及び角度で、被投影部2に左目用表示光K10を出射し、左目700Lから見た虚像表示領域VSの所定の位置に、第1の左視点コンテンツ画像V11を結像し、(2)右目700Rへ被投影部2によって反射されるような位置、及び角度で、被投影部2に右目用表示光K20を出射し、右目700Rから見た虚像表示領域VSの所定の位置に、第1の右視点コンテンツ画像V21を結像する。視差を有する第1の左視点コンテンツ画像V11、及び第1の右視点コンテンツ画像V21により知覚される第1のコンテンツ画像(3D画像)FU11は、虚像表示領域VSよりも距離D21だけ奥側である位置(上記の基準位置から距離D31だけ離れた位置)において視認される。
同様に、図4の右図に示すように、HUD装置20は、(1)顔検出部409で検出された左目700Lへ被投影部2によって反射されるような位置、及び角度で、被投影部2に左目用表示光K10を出射し、左目700Lから見た虚像表示領域VSの所定の位置に、第2の左視点コンテンツ画像V12を結像し、(2)右目700Rへ被投影部2によって反射されるような位置、及び角度で、被投影部2に右目用表示光K20を出射し、右目700Rから見た虚像表示領域VSの所定の位置に、第2の右視点コンテンツ画像V22を結像する。視差を有する第2の左視点コンテンツ画像V12、及び第2の右視点コンテンツ画像V22により知覚される第2のコンテンツ画像(3D画像)FU12は、虚像表示領域VSよりも距離D22だけ奥側である位置(上記の基準位置から距離D32だけ離れた位置)において視認される。
具体的には、上記の基準位置から虚像表示領域VSまでの距離(結像距離D10)は、例えば「4m」の距離に設定され、上記の基準位置から図4の左図に示される第1のコンテンツ画像FU1及までの距離(第1の知覚距離D31)は、例えば「7m」の距離に設定され、上記の基準位置から図4の右図に示される第2のコンテンツ画像FU2までの距離(第2の知覚距離D32)は、例えば「10m」の距離に設定される。但し、これは一例であり、限定されるものではない。
図5は、虚像結像面に表示される左視点虚像と右視点虚像と、これら左視点虚像と右視点虚像により観察者が視認する知覚画像(2D画像)と、の位置関係を概念的に示した図である。2D画像を観察者に知覚させる際、左視点コンテンツ画像V10と右視点コンテンツ画像V20は、3D画像を知覚させる場合と異なり、同じ映像となる(換言すると、2D画像を観察者に知覚させるための左視点コンテンツ画像V10と右視点コンテンツ画像V20との間には、3D画像を知覚させるための視差を有さない)。
図5に示すように、HUD装置20は、(1)顔検出部409で検出された左目700Lへ被投影部2によって反射されるような位置、及び角度で、被投影部2に左目用表示光K10を出射し、左目700Lから見た虚像表示領域VSの所定の位置に、第3の左視点コンテンツ画像V13を結像し、(2)右目700Rへ被投影部2によって反射されるような位置、及び角度で、被投影部2に右目用表示光K20を出射し、右目700Rから見た虚像表示領域VSの第3の左視点コンテンツ画像V13と概ね同じ位置に、第3の右視点コンテンツ画像V23を結像する。視差を有さない同じ画像である第3の左視点コンテンツ画像V13、及び第3の右視点コンテンツ画像V23により知覚される第3のコンテンツ画像(2D画像)FU30は、虚像表示領域VSと同じ位置(上記の基準位置から距離D33(=D10)だけ離れた位置)において視認される。
図6は、いくつかの実施形態に係る、車両用虚像表示システムのブロック図である。表示制御装置30は、1つ又は複数のI/Oインタフェース31、1つ又は複数のプロセッサ33、1つ又は複数の画像処理回路35、及び1つ又は複数のメモリ37を備える。図6に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図6は、1つの実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路35(例えば、グラフィック処理ユニット)が、1つ又は複数のプロセッサ33に含まれてもよい。
図示するように、プロセッサ33及び画像処理回路35は、メモリ37と動作可能に連結される。より具体的には、プロセッサ33及び画像処理回路35は、メモリ37に記憶されているコンピュータ・プログラムを実行することで、例えば画像データを生成、及び/又は送信するなど、車両用表示システム10(表示装置40)の制御を行うことができる。プロセッサ33及び/又は画像処理回路35は、少なくとも1つの汎用マイクロプロセッサ(例えば、中央処理装置(CPU))、少なくとも1つの特定用途向け集積回路(ASIC)、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。メモリ37は、ハードディスクのような任意のタイプの磁気媒体、CD及びDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、DRAM及びSRAMを含み、不揮発性メモリは、ROM及びNVRAMを含んでもよい。
図示するように、プロセッサ33は、I/Oインタフェース31と動作可能に連結されている。I/Oインタフェース31は、例えば、車両に設けられた後述の車両ECU401、及び/又は他の電子機器(後述する符号403~419)と、CAN(Controller Area Network)の規格に応じて通信(CAN通信とも称する)を行う。なお、I/Oインタフェース31が採用する通信規格は、CANに限定されず、例えば、CANFD(CAN with Flexible Data Rate)、LIN(Local Interconnect Network)、Ethernet(登録商標)、MOST(Media Oriented Systems Transport:MOSTは登録商標)、UART、もしくはUSBなどの有線通信インタフェース、又は、例えば、Bluetooth(登録商標)ネットワークなどのパーソナルエリアネットワーク(PAN)、802.11x Wi-Fi(登録商標)ネットワークなどのローカルエリアネットワーク(LAN)等の数十メートル内の近距離無線通信インタフェースである車内通信(内部通信)インタフェースを含む。また、I/Oインタフェース31は、無線ワイドエリアネットワーク(WWAN0、IEEE802.16-2004(WiMAX:Worldwide Interoperability for Microwave Access))、IEEE802.16eベース(Mobile WiMAX)、4G、4G-LTE、LTE Advanced、5Gなどのセルラー通信規格により広域通信網(例えば、インターネット通信網)などの車外通信(外部通信)インタフェースを含んでいてもよい。
図示するように、プロセッサ33は、I/Oインタフェース31と相互動作可能に連結されることで、車両用表示システム10(I/Oインタフェース31)に接続される種々の他の電子機器等と情報を授受可能となる。I/Oインタフェース31には、例えば、車両ECU401、道路情報データベース403、自車位置検出部405、操作検出部407、顔検出部409、車外センサ411、明るさ検出部413、IMU415、携帯情報端末417、及び外部通信機器419などが動作可能に連結される。なお、I/Oインタフェース31は、車両用表示システム10に接続される他の電子機器等から受信する情報を加工(変換、演算、解析)する機能を含んでいてもよい。
表示装置40は、プロセッサ33及び画像処理回路35に動作可能に連結される。したがって、空間光変調素子51によって表示される画像は、プロセッサ33及び/又は画像処理回路35から受信された画像データに基づいてもよい。プロセッサ33及び画像処理回路35は、I/Oインタフェース31から取得される情報に基づき、空間光変調素子51が表示する画像を制御する。
顔検出部409は、車両1の運転席に着座する観察者の目位置700(図1参照。)を検出する赤外線カメラなどのカメラを含み、撮像した画像を、プロセッサ33に出力してもよい。プロセッサ33は、顔検出部409から撮像画像(目位置700を推定可能な情報の一例。)を取得し、この撮像画像を、パターンマッチングなどの手法で解析することで、観察者の目位置700の座標を検出し、検出した目位置700の座標を示す信号を、プロセッサ33へ出力してもよい。
また、顔検出部409は、カメラの撮像画像を解析した解析結果(例えば、観察者の目位置700が、予め設定された複数の表示パラメータが対応する空間的な領域のどこに属しているかを示す信号。)を、プロセッサ33に出力してもよい。なお、車両1の観察者の目位置700、又は観察者の目位置700を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出(推定)技術を用いて取得されてもよい。
また、顔検出部409は、観察者の目位置700の変化速度、及び/又は移動方向を検出し、観察者の目位置700の変化速度、及び/又は移動方向を示す信号を、プロセッサ33に出力してもよい。
また、顔検出部409は、(11)新たに検出した目位置700が、過去に検出した目位置700に対して、メモリ37に予め記憶された目位置移動距離閾値以上であること(所定の単位時間内における目位置の移動が規定範囲より大きいこと。)を示す信号、(12)目位置の変化速度が、メモリ37に予め記憶された目位置変化速度閾値以上であることを示す信号、(13)観察者の目位置700の移動が検出された後、観察者の目位置700が検出できないことを示す信号、を検出した場合、所定の2D条件を満たしたと判定し、当該状態を示す信号を、プロセッサ33に出力してもよい。
また、顔検出部409は、視線方向検出部としての機能を有していても良い。視線方向検出部は、車両1の運転席に着座する観察者の顔を撮像する赤外線カメラ、又は可視光カメラを含み、撮像した画像を、プロセッサ33に出力してもよい。プロセッサ33は、視線方向検出部から撮像画像(視線方向を推定可能な情報の一例。)を取得し、この撮像画像を解析することで観察者の視線方向(及び/又は前記注視位置)を特定することができる。なお、視線方向検出部は、カメラからの撮像画像を解析し、解析結果である観察者の視線方向(及び/又は前記注視位置)を示す信号をプロセッサ33に出力してもよい。なお、車両1の観察者の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、EOG(Electro-oculogram)法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線目底カメラ法などの他の既知の視線方向検出(推定)技術を用いて取得されてもよい。
車外センサ411は、車両1の周辺(前方、側方、及び後方)に存在する実オブジェクトを検出する。車外センサ411が検知する実オブジェクトは、例えば、障害物(歩行者、自転車、自動二輪車、他車両など)、後述する走行レーンの路面、区画線、路側物、及び/又は地物(建物など)などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラ、又はこれらの任意の組み合わせからなる検出ユニットと、当該1つ又は複数の検出ユニットからの検出データを処理する(データフュージョンする)処理装置と、から構成される。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置(車両1からの相対的な距離、車両1の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等)、大きさ(横方向(左右方向)、高さ方向(上下方向)等の大きさ)、移動方向(横方向(左右方向)、奥行き方向(前後方向))、変化速度(横方向(左右方向)、奥行き方向(前後方向))、及び/又は実オブジェクトの種類等を検出してもよい。1つ又は複数の車外センサ411は、各センサの検知周期毎に、車両1の前方の実オブジェクトを検知して、実オブジェクト情報の一例である実オブジェクト情報(実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、及び/又は種類等の情報)をプロセッサ33に出力することができる。なお、これら実オブジェクト情報は、他の機器(例えば、車両ECU401)を経由してプロセッサ33に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
メモリ37に記憶されたソフトウェア構成要素は、目位置検出モジュール502、目位置推定モジュール504、目位置予測モジュール506、顔検出モジュール508、判定モジュール510、車両状態判定モジュール512、画像深さ制御モジュール514、目追従性画像処理モジュール516、グラフィックモジュール518、光源駆動モジュール520、及びアクチュエータ駆動モジュール522、などを含む。
図7A、及び図7Bは、観察者の目位置、顔位置、又は顔向きの検出結果に基づき、2D切り替え処理を実行する方法S100を示すフロー図である。方法S100は、空間光変調素子を含むHUD装置20と、このHUD装置20を制御する表示制御装置30と、において実行される。以下に示す方法S100のいくつかの動作は任意選択的に組み合わされ、いくつかの動作の手順は任意選択的に変更され、いくつかの動作は任意選択的に省略される。
まず、表示制御装置30(プロセッサ33)は、観察者の目位置700、顔位置(不図示)、又は顔向き(不図示)を示す情報を取得する(ステップS110)。
(ステップS110の一例)
いくつかの実施形態におけるステップS110において、表示制御装置30(プロセッサ33)は、図6の目位置検出モジュール502を実行することで、顔検出部409を介して、観察者の目位置700を検出する(目位置700を示す目位置関連情報を取得する)。目位置検出モジュール502は、観察者の目位置700を示す座標(X,Y軸方向の位置であり、目位置関連情報の一例である。)を検出すること、観察者の目の高さを示す座標(Y軸方向の位置であり、目位置関連情報の一例である。)を検出すること、観察者の目の高さ及び奥行方向の位置を示す座標(Y及びZ軸方向の位置であり、目位置関連情報の一例である。)を検出すること、及び/又は観察者の目位置700を示す座標(X,Y,Z軸方向の位置であり、目位置関連情報の一例である。)を検出すること、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。
いくつかの実施形態におけるステップS110において、表示制御装置30(プロセッサ33)は、図6の目位置検出モジュール502を実行することで、顔検出部409を介して、観察者の目位置700を検出する(目位置700を示す目位置関連情報を取得する)。目位置検出モジュール502は、観察者の目位置700を示す座標(X,Y軸方向の位置であり、目位置関連情報の一例である。)を検出すること、観察者の目の高さを示す座標(Y軸方向の位置であり、目位置関連情報の一例である。)を検出すること、観察者の目の高さ及び奥行方向の位置を示す座標(Y及びZ軸方向の位置であり、目位置関連情報の一例である。)を検出すること、及び/又は観察者の目位置700を示す座標(X,Y,Z軸方向の位置であり、目位置関連情報の一例である。)を検出すること、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。
なお、目位置検出モジュール502が検出する目位置700は、右目と左目のそれぞれの位置700R,700L、右目位置700R及び左目位置700Lのうち予め定められた一方の位置、右目位置700R及び左目位置700Lのうち検出可能な(検出しやすい)いずれか一方の位置、又は右目位置700Rと左目位置700Lとから算出される位置(例えば、右目位置と左目位置との中点)、などを含んでいてもよい。例えば、目位置検出モジュール502は、目位置700を、表示設定を更新するタイミングの直前に顔検出部409から取得した観測位置に基づき決定する。
また、顔検出部409は、顔検出部409から所定の検出タイミング毎に取得される複数の観測位置に基づき、観察者の目位置700の移動方向、及び/又は変化速度を検出し、観察者の目位置700の移動方向、及び/又は変化速度を示す信号を、プロセッサ33に出力してもよい。
(ステップS110の一例)
また、いくつかの実施形態の表示制御装置30(プロセッサ33)は、目位置推定モジュール504を実行することで、目位置を推定可能な情報(目位置関連情報の一例)を取得してもよい。目位置を推定可能な情報(目位置関連情報の一例)は、例えば、顔検出部409から取得した撮像画像、車両1の運転席の位置、観察者の顔の位置、観察者の顔位置、座高の高さ、又は複数の観察者の目の観測位置などである。目位置推定モジュール504は、1つ又は複数の目位置を推定可能な情報から、車両1の観察者の目位置700を推定する。目位置推定モジュール504は、顔検出部409から取得した撮像画像、車両1の運転席の位置、観察者の顔の位置、観察者の顔位置、座高の高さ、又は複数の観察者の目の観測位置などから、観察者の目位置700を推定すること、など観察者の目位置700を推定することに関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。すなわち、目位置推定モジュール504は、目の位置を推定可能な情報から観察者の目位置700を推定するためのテーブルデータ、演算式、などを含み得る。
また、いくつかの実施形態の表示制御装置30(プロセッサ33)は、目位置推定モジュール504を実行することで、目位置を推定可能な情報(目位置関連情報の一例)を取得してもよい。目位置を推定可能な情報(目位置関連情報の一例)は、例えば、顔検出部409から取得した撮像画像、車両1の運転席の位置、観察者の顔の位置、観察者の顔位置、座高の高さ、又は複数の観察者の目の観測位置などである。目位置推定モジュール504は、1つ又は複数の目位置を推定可能な情報から、車両1の観察者の目位置700を推定する。目位置推定モジュール504は、顔検出部409から取得した撮像画像、車両1の運転席の位置、観察者の顔の位置、観察者の顔位置、座高の高さ、又は複数の観察者の目の観測位置などから、観察者の目位置700を推定すること、など観察者の目位置700を推定することに関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。すなわち、目位置推定モジュール504は、目の位置を推定可能な情報から観察者の目位置700を推定するためのテーブルデータ、演算式、などを含み得る。
(ステップS110の一例)
また、いくつかの実施形態の表示制御装置30(プロセッサ33)は、目位置予測モジュール506を実行することで、観察者の目位置700を予測可能な情報を取得してもよい。観察者の目位置700を予測可能な情報は、例えば、顔検出部409から取得した最新の観測位置、又は1つ又はそれ以上の過去に取得した観測位置などである。目位置予測モジュール506は、観察者の目位置700を予測可能な情報に基づいて、目位置700を予測することに関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。具体的に、例えば、目位置予測モジュール506は、新たな表示設定が適用された画像が観察者に視認されるタイミングの、観察者の目位置700を予測する。目位置予測モジュール506は、例えば、最小二乗法や、カルマンフィルタ、α-βフィルタ、又はパーティクルフィルタなどの予測アルゴリズムを用いて、過去の1つ又はそれ以上の観測位置を用いて、次回の値を予測するようにしてもよい。
また、いくつかの実施形態の表示制御装置30(プロセッサ33)は、目位置予測モジュール506を実行することで、観察者の目位置700を予測可能な情報を取得してもよい。観察者の目位置700を予測可能な情報は、例えば、顔検出部409から取得した最新の観測位置、又は1つ又はそれ以上の過去に取得した観測位置などである。目位置予測モジュール506は、観察者の目位置700を予測可能な情報に基づいて、目位置700を予測することに関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。具体的に、例えば、目位置予測モジュール506は、新たな表示設定が適用された画像が観察者に視認されるタイミングの、観察者の目位置700を予測する。目位置予測モジュール506は、例えば、最小二乗法や、カルマンフィルタ、α-βフィルタ、又はパーティクルフィルタなどの予測アルゴリズムを用いて、過去の1つ又はそれ以上の観測位置を用いて、次回の値を予測するようにしてもよい。
(ステップS110の一例)
また、いくつかの実施形態の表示制御装置30(プロセッサ33)は、顔検出モジュール508を実行することで、顔位置を示す顔位置情報、及び顔向きを示す顔向き情報を取得してもよい。顔検出モジュール508は、顔検出部409から取得した顔領域の検出データ(顔位置情報の一例、顔向き情報の一例。)を取得し、取得した顔領域の検出データから顔の特徴点を検出し、検出した特徴点の配置パターンから観察者の顔位置を示す顔位置情報、及び顔向きを示す顔向き情報を検出する。なお、顔検出モジュール508は、特徴点検出部126が検出した顔の特徴点の検出データ(顔位置情報の一例、顔向き情報の一例。)を取得し、取得した顔の特徴点の検出データを利用して顔位置情報、顔向き情報を検出してもよい。また、顔検出モジュール508は、単に顔検出部409が検出した顔位置情報、顔向き情報を取得するだけでもよい。顔向き検出処理は、例えば、複数個の顔パーツ(例えば目、鼻及び口など)の位置関係に基づき顔向き角度を算出する方法によるものである。または、例えば、顔向き検出処理は、機械学習の結果を用いる方法によるものである(但し、顔向き検出処理はこれらに限定されない)。具体的に、例えば、顔位置及び顔向きは、左右方向に沿ったX軸上の座標及びX軸を中心とした回転方向を示すピッチ角、上下方向に沿ったY軸上の座標及びY軸を中心とした回転方向を示すヨー角、奥行方向に沿ったZ軸上の座標及びZ軸を中心とした回転方向を示すロール角などで示される3軸方向の位置及び各軸回りの角度として算出される。
また、いくつかの実施形態の表示制御装置30(プロセッサ33)は、顔検出モジュール508を実行することで、顔位置を示す顔位置情報、及び顔向きを示す顔向き情報を取得してもよい。顔検出モジュール508は、顔検出部409から取得した顔領域の検出データ(顔位置情報の一例、顔向き情報の一例。)を取得し、取得した顔領域の検出データから顔の特徴点を検出し、検出した特徴点の配置パターンから観察者の顔位置を示す顔位置情報、及び顔向きを示す顔向き情報を検出する。なお、顔検出モジュール508は、特徴点検出部126が検出した顔の特徴点の検出データ(顔位置情報の一例、顔向き情報の一例。)を取得し、取得した顔の特徴点の検出データを利用して顔位置情報、顔向き情報を検出してもよい。また、顔検出モジュール508は、単に顔検出部409が検出した顔位置情報、顔向き情報を取得するだけでもよい。顔向き検出処理は、例えば、複数個の顔パーツ(例えば目、鼻及び口など)の位置関係に基づき顔向き角度を算出する方法によるものである。または、例えば、顔向き検出処理は、機械学習の結果を用いる方法によるものである(但し、顔向き検出処理はこれらに限定されない)。具体的に、例えば、顔位置及び顔向きは、左右方向に沿ったX軸上の座標及びX軸を中心とした回転方向を示すピッチ角、上下方向に沿ったY軸上の座標及びY軸を中心とした回転方向を示すヨー角、奥行方向に沿ったZ軸上の座標及びZ軸を中心とした回転方向を示すロール角などで示される3軸方向の位置及び各軸回りの角度として算出される。
(ステップS120)
次に、表示制御装置30(プロセッサ33)は、判定モジュール510を実行することで、所定の2D条件が充足するかを判定する(ステップS120)。
次に、表示制御装置30(プロセッサ33)は、判定モジュール510を実行することで、所定の2D条件が充足するかを判定する(ステップS120)。
(ステップS130)
いくつかの実施形態におけるステップS120において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、ステップS110で取得した目位置関連情報、顔位置情報、又は顔向き情報に基づき、目位置700、顔位置、又は顔向きが、所定の条件を充足するか判定する。なお、以下の説明では、主に、目位置700、顔位置を用いた処理について説明する。目位置700及び顔位置は、位置座標系であり、顔向きは、角度座標系という違いだけであり、以下に説明する目位置700(又は顔位置)の変化量及び変化速度を用いた処理は、顔向きの変化量及び変化速度を用いた処理にも適用可能であり、顔向きを用いた処理についての説明を省略する。
いくつかの実施形態におけるステップS120において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、ステップS110で取得した目位置関連情報、顔位置情報、又は顔向き情報に基づき、目位置700、顔位置、又は顔向きが、所定の条件を充足するか判定する。なお、以下の説明では、主に、目位置700、顔位置を用いた処理について説明する。目位置700及び顔位置は、位置座標系であり、顔向きは、角度座標系という違いだけであり、以下に説明する目位置700(又は顔位置)の変化量及び変化速度を用いた処理は、顔向きの変化量及び変化速度を用いた処理にも適用可能であり、顔向きを用いた処理についての説明を省略する。
図8は、所定の周期時間t(t1,t2,t3・・・t10)毎に検出される、(11)上下方向の目位置700又は顔位置(又は顔向き)Py(Y1,Y2,Y3・・・Y10)、(12)上下方向の目位置700又は顔位置(又は顔向き)の変化量ΔPy(Py1(=Y2-Y1),Py2(=Y3-Y2),Py3(=Y4-Y3),・・・Py9(=Y10-Y9))、(13)上下方向の目位置700又は顔位置(又は顔向き)の変化速度Vy(Vy1(=Py1/Δt),Vy2(=Py2/Δt),Vy3(=Py3/Δt),・・・Vy9(=Py9/Δt))、(21)左右方向の目位置700又は顔位置(又は顔向き)Px(X1,X2,X3・・・X10)、(22)左右方向の目位置700又は顔位置(又は顔向き)の変化量ΔPx(Px1(=X2-X1),Px2(=X3-X2),Px3(=X4-X3),・・・Px9(=X10-X9))、及び(23)左右方向の目位置700又は顔位置(又は顔向き)の変化速度Vx(Vx1(=Px1/Δt),Vx2(=Px2/Δt),Vx3(=Px3/Δt),・・・Vx9(=Px9/Δt))を示す表である。
(ステップS131)
いくつかの実施形態におけるステップS130において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、目位置700又は顔位置(又は顔向き)の変化速度Vx(Vy)が速い場合、所定の2D条件を充足すると判定する。例えば、判定モジュール510は、目位置700又は顔位置(又は顔向き)の変化速度Vx(Vy)と予めメモリ37に記憶された(又は操作検出部407でユーザーにより設定された)所定の第1の閾値(不図示)とを比較可能であり、目位置700又は顔位置(又は顔向き)の変化速度Vx(Vy)が前記所定の第1の閾値より速い場合、所定の2D条件を充足すると判定してもよい(但し、変化速度の判定方法はこれに限定されない)。
いくつかの実施形態におけるステップS130において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、目位置700又は顔位置(又は顔向き)の変化速度Vx(Vy)が速い場合、所定の2D条件を充足すると判定する。例えば、判定モジュール510は、目位置700又は顔位置(又は顔向き)の変化速度Vx(Vy)と予めメモリ37に記憶された(又は操作検出部407でユーザーにより設定された)所定の第1の閾値(不図示)とを比較可能であり、目位置700又は顔位置(又は顔向き)の変化速度Vx(Vy)が前記所定の第1の閾値より速い場合、所定の2D条件を充足すると判定してもよい(但し、変化速度の判定方法はこれに限定されない)。
(ステップS132)
また、いくつかの実施形態におけるステップS130において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、目位置700又は顔位置(又は顔向き)が予め設定された第1の範囲(不図示)である場合、所定の2D条件を充足すると判定する。例えば、判定モジュール510は、目位置700又は顔位置(又は顔向き)Px(Py)と予めメモリ37に記憶された所定の第1の範囲(不図示)とを比較し、目位置700又は顔位置(又は顔向き)Px(Py)が前記第1の範囲内である場合、所定の2D条件を充足すると判定してもよい(但し、目位置700又は顔位置(又は顔向き)位置座標又は角度座標の判定方法はこれに限定されない)。前記第1の範囲は、所定の基準位置(不図示)から所定の座標だけ離れた範囲に設定され得る。すなわち、前記第1の範囲は、アイボックス200(前記所定の基準位置の一例)の中心205から左方向(X軸負方向)に所定のX座標だけずれた第1の左範囲、右方向(X軸正方向)に所定のX座標だけずれた第1の右範囲、上方向(Y軸正方向)に所定のY座標だけずれた第1の上範囲、下方向(Y軸負方向)に所定のY座標だけずれた第1の下範囲、及びこれらの任意の組み合わせのいずれかに設定される。これによれば、前記第1の範囲は、アイボックス200の中心205から離れた外縁、又はアイボックス200の外側に設定され得る。また、別の実施形態では、判定モジュール510は、目位置700又は顔位置(又は顔向き)Px(Py)と予めメモリ37に記憶された所定の基準位置(不図示)との差を算出し、目位置700又は顔位置(又は顔向き)Px(Py)と前記所定の基準位置との差が、メモリ37に予め記憶された所定の第2の閾値より長い場合、目位置700又は顔位置(又は顔向き)Px(Py)が前記所定の基準位置から前記第2の閾値以上離れた第1の範囲内であるとして、所定の2D条件を充足すると判定してもよい。ここで、前記基準位置は、アイボックス200の中心205に設定され得る。この場合、判定モジュール510は、目位置700又は顔位置(又は顔向き)Px(Py)が、アイボックス200の中心205から離れていれば、所定の2D条件を充足すると判定する。なお、前記第1の範囲は、アイボックス200の移動に伴い、変更され得る。表示制御装置30(プロセッサ33)は、例えば、第1アクチュエータ28及び/又は第2アクチュエータ29を制御することで、アイボックス200を移動させる際、第1アクチュエータ28(及び/又は第2アクチュエータ29)の制御値に基づき、前記第1の範囲を変更してもよい。
また、いくつかの実施形態におけるステップS130において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、目位置700又は顔位置(又は顔向き)が予め設定された第1の範囲(不図示)である場合、所定の2D条件を充足すると判定する。例えば、判定モジュール510は、目位置700又は顔位置(又は顔向き)Px(Py)と予めメモリ37に記憶された所定の第1の範囲(不図示)とを比較し、目位置700又は顔位置(又は顔向き)Px(Py)が前記第1の範囲内である場合、所定の2D条件を充足すると判定してもよい(但し、目位置700又は顔位置(又は顔向き)位置座標又は角度座標の判定方法はこれに限定されない)。前記第1の範囲は、所定の基準位置(不図示)から所定の座標だけ離れた範囲に設定され得る。すなわち、前記第1の範囲は、アイボックス200(前記所定の基準位置の一例)の中心205から左方向(X軸負方向)に所定のX座標だけずれた第1の左範囲、右方向(X軸正方向)に所定のX座標だけずれた第1の右範囲、上方向(Y軸正方向)に所定のY座標だけずれた第1の上範囲、下方向(Y軸負方向)に所定のY座標だけずれた第1の下範囲、及びこれらの任意の組み合わせのいずれかに設定される。これによれば、前記第1の範囲は、アイボックス200の中心205から離れた外縁、又はアイボックス200の外側に設定され得る。また、別の実施形態では、判定モジュール510は、目位置700又は顔位置(又は顔向き)Px(Py)と予めメモリ37に記憶された所定の基準位置(不図示)との差を算出し、目位置700又は顔位置(又は顔向き)Px(Py)と前記所定の基準位置との差が、メモリ37に予め記憶された所定の第2の閾値より長い場合、目位置700又は顔位置(又は顔向き)Px(Py)が前記所定の基準位置から前記第2の閾値以上離れた第1の範囲内であるとして、所定の2D条件を充足すると判定してもよい。ここで、前記基準位置は、アイボックス200の中心205に設定され得る。この場合、判定モジュール510は、目位置700又は顔位置(又は顔向き)Px(Py)が、アイボックス200の中心205から離れていれば、所定の2D条件を充足すると判定する。なお、前記第1の範囲は、アイボックス200の移動に伴い、変更され得る。表示制御装置30(プロセッサ33)は、例えば、第1アクチュエータ28及び/又は第2アクチュエータ29を制御することで、アイボックス200を移動させる際、第1アクチュエータ28(及び/又は第2アクチュエータ29)の制御値に基づき、前記第1の範囲を変更してもよい。
(ステップS133)
また、いくつかの実施形態におけるステップS130において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、目位置700又は顔位置(又は顔向き)に応じて変更される第2の範囲(不図示)に目位置700又は顔位置(又は顔向き)が検出された場合、所定の2D条件を充足すると判定してもよい。
また、いくつかの実施形態におけるステップS130において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、目位置700又は顔位置(又は顔向き)に応じて変更される第2の範囲(不図示)に目位置700又は顔位置(又は顔向き)が検出された場合、所定の2D条件を充足すると判定してもよい。
ステップS133では、図6の目位置推定モジュール504は、目位置700又は顔位置(又は顔向き)Px(Py)が安定状態であることに基づいて、前記第2の範囲を順次更新してもよい。前記第2の範囲は、目位置700又は顔位置(又は顔向き)に応じて変更される前記基準位置から所定の座標だけ離れた範囲に設定され得る。例えば、目位置推定モジュール504は、目位置700又は顔位置(又は顔向き)Px(Py)が1秒以上概ね同じ位置であった場合、安定状態であると判定して、現在の目位置700又は顔位置(又は顔向き)Px(Py)を前記基準位置としてメモリ37に登録し、前記基準位置からメモリ37に予め記憶された所定の座標(不図示)だけ離れた範囲を前記第2の範囲に設定し得る。また、別の実施形態では、目位置推定モジュール504は、目位置700又は顔位置(又は顔向き)Px(Py)が1秒以上概ね同じ位置であった場合、安定状態であると判定して、過去に取得した複数の目位置700又は顔位置(又は顔向き)Px(Py)の平均値を前記基準位置としてメモリ37に登録してもよい。例えば、目位置700又は顔位置(又は顔向き)Px(Py)のサンプルレートが60samples/secであり、平均化周期が0.5secとすると、目位置推定モジュール504は、目位置700又は顔位置(又は顔向き)Px(Py)の1秒における60samplesが概ね同じ位置であった場合、安定状態であると判定して、過去0.5secの間に取得した30samplesのうち最新の5Samplesの目位置700又は顔位置(又は顔向き)Px(Py)の平均値を前記基準位置としてメモリ37に登録してもよい。例えば、判定モジュール510は、目位置700又は顔位置(又は顔向き)Px(Py)と、メモリ37に順次更新されて記憶された前記所定の基準位置との差を算出し、目位置700又は顔位置(又は顔向き)Px(Py)と前記所定の基準位置との差が、メモリ37に予め記憶された所定の第3の閾値より長い場合、所定の2D条件を充足すると判定してもよい。
(ステップS134)
いくつかの実施形態におけるステップS130において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、目位置700又は顔位置(又は顔向き)が一方向に連続的に変化した場合、所定の2D条件を充足すると判定してもよい。判定モジュール510は、例えば、図8に示す左右方向の目位置700又は顔位置(又は顔向き)の変化量ΔPxが、Px2からPx3まで右方向に移動→Px3からPx4まで右方向に移動、のように一方向(ここでは、右方向。)に所定の回数(例えば、2回)以上連続して変化したことが検出された場合、前記所定の2D条件が充足したと判定してもよい。
いくつかの実施形態におけるステップS130において、表示制御装置30(プロセッサ33)は、図6の判定モジュール510を実行することで、目位置700又は顔位置(又は顔向き)が一方向に連続的に変化した場合、所定の2D条件を充足すると判定してもよい。判定モジュール510は、例えば、図8に示す左右方向の目位置700又は顔位置(又は顔向き)の変化量ΔPxが、Px2からPx3まで右方向に移動→Px3からPx4まで右方向に移動、のように一方向(ここでは、右方向。)に所定の回数(例えば、2回)以上連続して変化したことが検出された場合、前記所定の2D条件が充足したと判定してもよい。
(ステップS141)
また、いくつかの実施形態において、図6の判定モジュール510は、観察者の目位置700(又は顔位置)が不安定状態であるか判定し、観察者の目位置700(又は顔位置)が不安定状態であると判定された場合、前記所定の2D条件を充足すると判定してもよい。判定モジュール510は、観察者の目位置の安定度が低い(不安定である)か否かを判定し、観察者の目位置の安定度が低い場合、不安定状態であると判定すること(ステップS141)、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。すなわち、判定モジュール510は、目位置700の検出情報、推定情報、又は予測情報から、観察者の目位置700が不安定状態であるか否かを判定するため、閾値、テーブルデータ、演算式、などを含み得る。
また、いくつかの実施形態において、図6の判定モジュール510は、観察者の目位置700(又は顔位置)が不安定状態であるか判定し、観察者の目位置700(又は顔位置)が不安定状態であると判定された場合、前記所定の2D条件を充足すると判定してもよい。判定モジュール510は、観察者の目位置の安定度が低い(不安定である)か否かを判定し、観察者の目位置の安定度が低い場合、不安定状態であると判定すること(ステップS141)、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。すなわち、判定モジュール510は、目位置700の検出情報、推定情報、又は予測情報から、観察者の目位置700が不安定状態であるか否かを判定するため、閾値、テーブルデータ、演算式、などを含み得る。
(ステップS141の一例)
目位置検出モジュール502は、顔検出部409から所定の測定時間内において取得された複数の観測位置の各々の位置データの分散を算出し、判定モジュール510は、目位置検出モジュール502により算出された分散がメモリ37に予め記憶された(又は操作検出部407で設定された)所定の閾値よりも大きい場合、観察者の目位置の安定度が低い(不安定である。)と判定する形態であってもよい。
目位置検出モジュール502は、顔検出部409から所定の測定時間内において取得された複数の観測位置の各々の位置データの分散を算出し、判定モジュール510は、目位置検出モジュール502により算出された分散がメモリ37に予め記憶された(又は操作検出部407で設定された)所定の閾値よりも大きい場合、観察者の目位置の安定度が低い(不安定である。)と判定する形態であってもよい。
(ステップS141の一例)
)目位置検出モジュール502は、顔検出部409から所定の測定時間内において取得された複数の観測位置の各々の位置データの偏差を算出し、判定モジュール510は、目位置検出モジュール502により算出された偏差がメモリ37に予め記憶された(又は操作検出部407で設定された)所定の閾値よりも大きい場合、観察者の目位置の安定度が低い(不安定である。)と判定する(不安定状態ではない)形態であってもよい。
)目位置検出モジュール502は、顔検出部409から所定の測定時間内において取得された複数の観測位置の各々の位置データの偏差を算出し、判定モジュール510は、目位置検出モジュール502により算出された偏差がメモリ37に予め記憶された(又は操作検出部407で設定された)所定の閾値よりも大きい場合、観察者の目位置の安定度が低い(不安定である。)と判定する(不安定状態ではない)形態であってもよい。
(ステップS141の一例)
また、ステップS141の分散や偏差を用いずに、目位置検出モジュール502は、アイボックス200を複数の部分視域(例えば、上下方向に5分割、左右方向に5分割の25個の領域)に識別可能であり、所定の単位時間当りに、目位置700が移動した前記部分視域の数が、所定の閾値より多くなったときに、観察者の目位置の安定度が低い(不安定である。)と判定する(不安定状態ではない)形態であってもよい。
また、ステップS141の分散や偏差を用いずに、目位置検出モジュール502は、アイボックス200を複数の部分視域(例えば、上下方向に5分割、左右方向に5分割の25個の領域)に識別可能であり、所定の単位時間当りに、目位置700が移動した前記部分視域の数が、所定の閾値より多くなったときに、観察者の目位置の安定度が低い(不安定である。)と判定する(不安定状態ではない)形態であってもよい。
(ステップS141の一例)
また、目位置検出モジュール502は、所定の単位時間当りに、目位置700が移動総距離(単位時間当りに複数回取得される複数の観測位置の間の距離の総和)が、所定の閾値より長くなったときに、観察者の目位置の安定度が低い(不安定である。)と判定する(不安定状態ではない)形態であってもよい。
また、目位置検出モジュール502は、所定の単位時間当りに、目位置700が移動総距離(単位時間当りに複数回取得される複数の観測位置の間の距離の総和)が、所定の閾値より長くなったときに、観察者の目位置の安定度が低い(不安定である。)と判定する(不安定状態ではない)形態であってもよい。
(ステップS142)
また、いくつかの実施形態において、図6の判定モジュール510は、観察者の目位置700の検出動作が不安定状態であるか判定し、不安定状態であると判定された場合、前記所定の2D条件を充足すると判定する。判定モジュール510は、(10)観察者の目位置700が検出できるか否かを判定し、目位置700が検出できない場合、不安定状態であると判定すること(ステップS142の一例。)、(20)観察者の目位置700の検出精度が低下していると推定できるか判定し、目位置700の検出精度が低下していると推定できる場合、不安定状態であると判定すること(ステップS142の一例。)、(30)観察者の目位置700がアイボックス200外にあるか否かを判定し、アイボックス200外にある場合、不安定状態であると判定すること(ステップS142の一例。)、(40)観察者の目位置700がアイボックス200外にあると推定できるか判定し、アイボックス200外にあると推定できる場合、不安定状態であると判定すること(ステップS142の一例。)、又は(50)観察者の目位置700がアイボックス200外になると予測されるか否かを判定し、アイボックス200外になると予測される場合、不安定状態であると判定すること(ステップS142の一例。)、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。すなわち、判定モジュール510は、目位置700の検出情報、推定情報、又は予測情報などから、観察者の目位置700の検出動作が不安定状態であるか否かを判定するため、閾値、テーブルデータ、演算式、などを含み得る。
また、いくつかの実施形態において、図6の判定モジュール510は、観察者の目位置700の検出動作が不安定状態であるか判定し、不安定状態であると判定された場合、前記所定の2D条件を充足すると判定する。判定モジュール510は、(10)観察者の目位置700が検出できるか否かを判定し、目位置700が検出できない場合、不安定状態であると判定すること(ステップS142の一例。)、(20)観察者の目位置700の検出精度が低下していると推定できるか判定し、目位置700の検出精度が低下していると推定できる場合、不安定状態であると判定すること(ステップS142の一例。)、(30)観察者の目位置700がアイボックス200外にあるか否かを判定し、アイボックス200外にある場合、不安定状態であると判定すること(ステップS142の一例。)、(40)観察者の目位置700がアイボックス200外にあると推定できるか判定し、アイボックス200外にあると推定できる場合、不安定状態であると判定すること(ステップS142の一例。)、又は(50)観察者の目位置700がアイボックス200外になると予測されるか否かを判定し、アイボックス200外になると予測される場合、不安定状態であると判定すること(ステップS142の一例。)、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。すなわち、判定モジュール510は、目位置700の検出情報、推定情報、又は予測情報などから、観察者の目位置700の検出動作が不安定状態であるか否かを判定するため、閾値、テーブルデータ、演算式、などを含み得る。
(ステップS142の一例)
観察者の目位置700が検出できるか否かの判定する方法は、(1)顔検出部409から目位置700が検出できないことを示す信号を取得すること、(2)顔検出部409から所定期間内において取得される観察者の目の観測位置の一部(例えば、所定の回数以上。)又は全部が検出できないこと、(3)目位置検出モジュール502が、通常の動作において、観察者の目位置700を検出できないこと、又はこれらの任意の組み合わせにより、観察者の目位置700が検出できない(観察者の目位置700の検出が不安定状態である)と判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
観察者の目位置700が検出できるか否かの判定する方法は、(1)顔検出部409から目位置700が検出できないことを示す信号を取得すること、(2)顔検出部409から所定期間内において取得される観察者の目の観測位置の一部(例えば、所定の回数以上。)又は全部が検出できないこと、(3)目位置検出モジュール502が、通常の動作において、観察者の目位置700を検出できないこと、又はこれらの任意の組み合わせにより、観察者の目位置700が検出できない(観察者の目位置700の検出が不安定状態である)と判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
(ステップS142の一例)
観察者の目位置700の検出精度が低下していると判定する方法は、(1)顔検出部409から目位置700の検出精度が低下していると推定されることを示す信号を取得すること、(2)顔検出部409から所定期間内において取得される観察者の目の観測位置の一部(例えば、所定の回数以上。)又は全部が検出できないこと、(3)目位置検出モジュール502が、通常の動作において、観察者の目位置700を検出できないこと、(4)目位置推定モジュール504が、通常の動作において、観察者の目位置700を推定できないこと、(5)目位置予測モジュール506が、通常の動作において、観察者の目位置700を予測できないこと、(6)太陽光等の外光による観察者を撮像する画像のコントラストの低下を検出したこと、(7)帽子やアクセサリ(眼鏡も含む)が検出されたこと、(8)帽子やアクセサリ(眼鏡も含む)などにより観察者の顔の一部が検出されないこと、又はこれらの任意の組み合わせにより、観察者の目位置700の検出精度が低下していると判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
観察者の目位置700の検出精度が低下していると判定する方法は、(1)顔検出部409から目位置700の検出精度が低下していると推定されることを示す信号を取得すること、(2)顔検出部409から所定期間内において取得される観察者の目の観測位置の一部(例えば、所定の回数以上。)又は全部が検出できないこと、(3)目位置検出モジュール502が、通常の動作において、観察者の目位置700を検出できないこと、(4)目位置推定モジュール504が、通常の動作において、観察者の目位置700を推定できないこと、(5)目位置予測モジュール506が、通常の動作において、観察者の目位置700を予測できないこと、(6)太陽光等の外光による観察者を撮像する画像のコントラストの低下を検出したこと、(7)帽子やアクセサリ(眼鏡も含む)が検出されたこと、(8)帽子やアクセサリ(眼鏡も含む)などにより観察者の顔の一部が検出されないこと、又はこれらの任意の組み合わせにより、観察者の目位置700の検出精度が低下していると判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
(ステップS142の一例)
観察者の目位置700がアイボックス200外にあるか否かの判定する方法は、(1)顔検出部409から所定期間内において取得される観察者の目の観測位置の一部(例えば、所定の回数以上。)又は全部をアイボックス200外で取得すること、(2)目位置検出モジュール502が観察者の目位置700をアイボックス200外で検出すること、又はこれらの任意の組み合わせにより、観察者の目位置700がアイボックス200外にある(観察者の目位置700が不安定状態である)と判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
観察者の目位置700がアイボックス200外にあるか否かの判定する方法は、(1)顔検出部409から所定期間内において取得される観察者の目の観測位置の一部(例えば、所定の回数以上。)又は全部をアイボックス200外で取得すること、(2)目位置検出モジュール502が観察者の目位置700をアイボックス200外で検出すること、又はこれらの任意の組み合わせにより、観察者の目位置700がアイボックス200外にある(観察者の目位置700が不安定状態である)と判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
(ステップS142の一例)
観察者の目位置700がアイボックス200外にあると推定できるか判定する方法は、(1)顔検出部409で観察者の目位置700の移動が検出された後、観察者の目位置700が検出できなくなったこと、(2)目位置検出モジュール502が観察者の目位置700をアイボックス200の境界の近傍で検出すること、(3)目位置検出モジュール502が観察者の右目位置700R及び左目位置700Lのいずれかアイボックス200の境界の近傍で検出すること、又はこれらの任意の組み合わせにより、観察者の目位置700がアイボックス200外にあると推定できる(観察者の目位置700が不安定状態である)と判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
観察者の目位置700がアイボックス200外にあると推定できるか判定する方法は、(1)顔検出部409で観察者の目位置700の移動が検出された後、観察者の目位置700が検出できなくなったこと、(2)目位置検出モジュール502が観察者の目位置700をアイボックス200の境界の近傍で検出すること、(3)目位置検出モジュール502が観察者の右目位置700R及び左目位置700Lのいずれかアイボックス200の境界の近傍で検出すること、又はこれらの任意の組み合わせにより、観察者の目位置700がアイボックス200外にあると推定できる(観察者の目位置700が不安定状態である)と判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
(ステップS142の一例)
観察者の目位置700がアイボックス200外になると予測されるか否かを判定する方法は、(1)目位置予測モジュール506が所定時間後の観察者の目位置700をアイボックス200外に予測すること、(2)目位置検出モジュール502が新たに検出した目位置700が、過去に検出した目位置700に対して、メモリ37に予め記憶された目位置移動距離閾値以上であること(目位置700の変化速度が、メモリ37に予め記憶された目位置変化速度閾値以上であること。)、又はこれらの任意の組み合わせにより、観察者の目位置700がアイボックス200外にあると予測できる(観察者の目位置700が不安定状態である)と判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
観察者の目位置700がアイボックス200外になると予測されるか否かを判定する方法は、(1)目位置予測モジュール506が所定時間後の観察者の目位置700をアイボックス200外に予測すること、(2)目位置検出モジュール502が新たに検出した目位置700が、過去に検出した目位置700に対して、メモリ37に予め記憶された目位置移動距離閾値以上であること(目位置700の変化速度が、メモリ37に予め記憶された目位置変化速度閾値以上であること。)、又はこれらの任意の組み合わせにより、観察者の目位置700がアイボックス200外にあると予測できる(観察者の目位置700が不安定状態である)と判定すること、を含む(なお前記判定方法は、これらに限定されない。)。
(ステップS150)
次に図7Bを参照する。ステップS120で前記所定の2D条件が充足するか判定された後、表示制御装置30(プロセッサ33)は、表示装置40に表示する画像を更新する。ステップS120で前記所定の2D条件が充足すると判定された場合、表示制御装置30(プロセッサ33)は、画像深さ制御モジュール514を実行することで、3D画像FU10を2D画像FU30に切り替える2D切り替え処理(ステップS170)を実行する。
次に図7Bを参照する。ステップS120で前記所定の2D条件が充足するか判定された後、表示制御装置30(プロセッサ33)は、表示装置40に表示する画像を更新する。ステップS120で前記所定の2D条件が充足すると判定された場合、表示制御装置30(プロセッサ33)は、画像深さ制御モジュール514を実行することで、3D画像FU10を2D画像FU30に切り替える2D切り替え処理(ステップS170)を実行する。
いくつかの実施形態において、表示制御装置30(プロセッサ33)は、2D切り替え処理(ステップS170)を実行している際、所定の3D条件を充足するかを判定し、前記3D条件を充足すると判定された場合、2D画像FU30を3D画像FU10に切り替える3D切り替え処理(ステップS180)を実行する。
前記所定の3D条件は、2D切り替え処理(ステップS170)に移行してから所定時間(例えば、20秒)が経過したことを含む。画像深さ制御モジュール514は、前記2D切り替え処理(ステップS170)に移行してから計時を実行し、予めメモリ37に記憶された(又は操作検出部407で設定された)前記所定時間が経過した場合、前記3D条件を充足したと判定してもよい。
また、前記所定の3D条件は、ステップS120で前記所定の2D条件を充足しなくなったこと、を含んでいてもよい。すなわち、前記所定の3D条件は、ステップS131乃至S134、及びステップS141乃至S143のうち少なくとも1つが前記所定の2D条件を充足した状態から前記所定の2D条件を充足しなくなった状態へ移行したことを検出すること、を含んでいてもよい。また、前記所定の3D条件は、ステップS120で前記所定の2D条件を充足しなくなってから所定時間(例えば、20秒)が経過したことを含んでいてもよい。
(ステップS220)
表示制御装置30(プロセッサ33)は、ステップS210で、前記3D条件が充足すると判定された場合、3D切り替え処理(ステップS180)を実行する。
表示制御装置30(プロセッサ33)は、ステップS210で、前記3D条件が充足すると判定された場合、3D切り替え処理(ステップS180)を実行する。
図9乃至図14は、いくつかの実施形態における2D切り替え処理、及び3D切り替え処理における深度値の推移グラフである。
(第1の実施形態)
表示制御装置30は、画像を表示する表示器50、表示器50が表示する画像の光を被投影部2に投影することで、車両1のユーザーに画像の虚像V10,V20を前景に重ねて視認させるヘッドアップディスプレイ装置20における表示制御を実行する表示制御装置30であって、1つ又は複数のプロセッサ33と、メモリ37と、メモリ37に格納され、1つ又は複数のプロセッサ33によって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、プロセッサ33は、ヘッドアップディスプレイ装置20に2D画像FU30及び立体視可能な3D画像FU10を表示し、ユーザーの目位置、顔位置、及び顔向きの少なくとも1つを含む目位置関連情報を取得し、目位置関連情報に基づき、目位置関連情報又は目位置関連情報の検出動作が、所定の2D条件を充足するか判定し、2D条件を充足すると判定した場合、3D画像FU10を2D画像FU30に切り替える2D切り替え処理(ステップS170)を実行する、ようになっている。第1の実施態様は、クロストークが発生し得る状況を、ユーザーの目位置、顔位置、及び顔向きの少なくとも1つを含む目位置関連情報に基づき推定又は予測し、3D画像を2D画像に切り替えることで、クロストークを視認しにくくするという利点を有している。又はクロストークが視認された場合でもズレが小さい多重像とすることができるという利点も想定される。
表示制御装置30は、画像を表示する表示器50、表示器50が表示する画像の光を被投影部2に投影することで、車両1のユーザーに画像の虚像V10,V20を前景に重ねて視認させるヘッドアップディスプレイ装置20における表示制御を実行する表示制御装置30であって、1つ又は複数のプロセッサ33と、メモリ37と、メモリ37に格納され、1つ又は複数のプロセッサ33によって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、プロセッサ33は、ヘッドアップディスプレイ装置20に2D画像FU30及び立体視可能な3D画像FU10を表示し、ユーザーの目位置、顔位置、及び顔向きの少なくとも1つを含む目位置関連情報を取得し、目位置関連情報に基づき、目位置関連情報又は目位置関連情報の検出動作が、所定の2D条件を充足するか判定し、2D条件を充足すると判定した場合、3D画像FU10を2D画像FU30に切り替える2D切り替え処理(ステップS170)を実行する、ようになっている。第1の実施態様は、クロストークが発生し得る状況を、ユーザーの目位置、顔位置、及び顔向きの少なくとも1つを含む目位置関連情報に基づき推定又は予測し、3D画像を2D画像に切り替えることで、クロストークを視認しにくくするという利点を有している。又はクロストークが視認された場合でもズレが小さい多重像とすることができるという利点も想定される。
(第2の実施形態)
特に好適ないくつかの実施形態における表示制御装置30では、2D条件は、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度の条件、目位置、顔位置、及び顔向きの少なくともいずれかの座標の条件、並びに目位置、顔位置、及び顔向きの少なくともいずれかの移動時間の条件、の少なくともいずれか1つを含む、ようになっている。この場合、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度を条件、座標の条件、又は移動時間の条件に応じて、目位置にアンマッチした画像が視認され得る状況を推定し、2D画像に切り替えることができる。
特に好適ないくつかの実施形態における表示制御装置30では、2D条件は、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度の条件、目位置、顔位置、及び顔向きの少なくともいずれかの座標の条件、並びに目位置、顔位置、及び顔向きの少なくともいずれかの移動時間の条件、の少なくともいずれか1つを含む、ようになっている。この場合、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度を条件、座標の条件、又は移動時間の条件に応じて、目位置にアンマッチした画像が視認され得る状況を推定し、2D画像に切り替えることができる。
(第3の実施形態)
特に好適ないくつかの実施形態における表示制御装置30では、2D条件は、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度が速いこと、目位置、顔位置、及び顔向きの少なくともいずれかの座標が所定の範囲内であること、並びに、目位置、顔位置、及び顔向きの少なくともいずれかの連続的な変化であること、の少なくともいずれか1つを含む、ようになっている。この場合、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度が速いことを条件に、右視点画像と左視点画像とでズレが生じにくい2D画像に切り替えることができるという利点を有する。例えば、変化速度が所定の閾値より速ければ、右視点画像と左視点画像とでズレが生じにくい2D画像に切り替える。また、この場合、目位置、顔位置、及び顔向きの少なくともいずれかの座標が所定の範囲内であることを条件に、右視点画像と左視点画像とでズレが生じにくい2D画像に切り替えることができるという利点を有する。例えば、目位置の検出誤差の拡大(検出精度の低下)や誤検出が生じやすい所定の範囲であれば、2D画像に切り替える。また、この場合、目位置、顔位置、及び顔向きの少なくともいずれかの連続的な変化が検出されたことを条件に、2D画像に切り替えることができるという利点を有する。例えば、目位置が一方向に連続的に変化したことが検出された場合、2D画像に切り替える。
特に好適ないくつかの実施形態における表示制御装置30では、2D条件は、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度が速いこと、目位置、顔位置、及び顔向きの少なくともいずれかの座標が所定の範囲内であること、並びに、目位置、顔位置、及び顔向きの少なくともいずれかの連続的な変化であること、の少なくともいずれか1つを含む、ようになっている。この場合、目位置、顔位置、及び顔向きの少なくともいずれかの変化速度が速いことを条件に、右視点画像と左視点画像とでズレが生じにくい2D画像に切り替えることができるという利点を有する。例えば、変化速度が所定の閾値より速ければ、右視点画像と左視点画像とでズレが生じにくい2D画像に切り替える。また、この場合、目位置、顔位置、及び顔向きの少なくともいずれかの座標が所定の範囲内であることを条件に、右視点画像と左視点画像とでズレが生じにくい2D画像に切り替えることができるという利点を有する。例えば、目位置の検出誤差の拡大(検出精度の低下)や誤検出が生じやすい所定の範囲であれば、2D画像に切り替える。また、この場合、目位置、顔位置、及び顔向きの少なくともいずれかの連続的な変化が検出されたことを条件に、2D画像に切り替えることができるという利点を有する。例えば、目位置が一方向に連続的に変化したことが検出された場合、2D画像に切り替える。
(第4の実施形態)
特に好適ないくつかの実施形態における表示制御装置30では、目位置関連情報の検出動作の条件は、目位置、顔位置、及び顔向きの少なくともいずれかが検出できないこと、並びに目位置、顔位置、及び顔向きの少なくともいずれかの検出精度の低下を検出したこと、の少なくともいずれか1つを含む、ようになっている。この場合、目位置、顔位置、及び顔向きの少なくともいずれかが検出できないことを条件に、2D画像に切り替えることができるという利点を有する。また、この場合、目位置、顔位置、及び顔向きの少なくともいずれかの検出精度の低下を検出したことを条件に、2D画像に切り替えることができるという利点を有する。
特に好適ないくつかの実施形態における表示制御装置30では、目位置関連情報の検出動作の条件は、目位置、顔位置、及び顔向きの少なくともいずれかが検出できないこと、並びに目位置、顔位置、及び顔向きの少なくともいずれかの検出精度の低下を検出したこと、の少なくともいずれか1つを含む、ようになっている。この場合、目位置、顔位置、及び顔向きの少なくともいずれかが検出できないことを条件に、2D画像に切り替えることができるという利点を有する。また、この場合、目位置、顔位置、及び顔向きの少なくともいずれかの検出精度の低下を検出したことを条件に、2D画像に切り替えることができるという利点を有する。
(第5の実施形態)
特に好適ないくつかの実施形態における表示制御装置30では、プロセッサ33は、2D条件を充足すると判定した場合、2D切り替え処理(ステップS170)において、深度値DPを有する3D画像FU10を、深度値DPを有さない2D画像FU30に瞬時に切り替え、所定の3D条件を充足すると判定した場合、2D画像FU30から元の深度値DPの3D画像FU10まで、時間経過に伴い段階的又は連続的に深度値を徐々に深くする3D切り替え処理(ステップS180)をさらに実行する、ようになっている。図9に示す例では、プロセッサ33は、時間t11に2D条件を充足すると判定した場合、2D切り替え処理を実行し、深度値DP20を有する3D画像FU10を、深度値DPを有さない2D画像FU30に瞬時に切り替える。次に、プロセッサ33は、時間t21に3D条件を充足すると判定した場合、3D切り替え処理を実行し、深度値DPを有さない2D画像FU30から元の深度値DP20の3D画像FU10まで、時間経過に伴い段階的(図9の実線)、又は連続的(図9の点線)に、深度値DPを徐々に深くする。この場合、クロストークが生じ得ると推定される2D条件が充足した場合、2D画像に速く切り替えることで、多重像(又はズレが大きな多重像)が観察者に視認されることを早期に防止しつつ、3D画像に戻す際は、画像の深度が急激に変化することによる観察者に与える違和感を軽減することができるという利点を有する。
特に好適ないくつかの実施形態における表示制御装置30では、プロセッサ33は、2D条件を充足すると判定した場合、2D切り替え処理(ステップS170)において、深度値DPを有する3D画像FU10を、深度値DPを有さない2D画像FU30に瞬時に切り替え、所定の3D条件を充足すると判定した場合、2D画像FU30から元の深度値DPの3D画像FU10まで、時間経過に伴い段階的又は連続的に深度値を徐々に深くする3D切り替え処理(ステップS180)をさらに実行する、ようになっている。図9に示す例では、プロセッサ33は、時間t11に2D条件を充足すると判定した場合、2D切り替え処理を実行し、深度値DP20を有する3D画像FU10を、深度値DPを有さない2D画像FU30に瞬時に切り替える。次に、プロセッサ33は、時間t21に3D条件を充足すると判定した場合、3D切り替え処理を実行し、深度値DPを有さない2D画像FU30から元の深度値DP20の3D画像FU10まで、時間経過に伴い段階的(図9の実線)、又は連続的(図9の点線)に、深度値DPを徐々に深くする。この場合、クロストークが生じ得ると推定される2D条件が充足した場合、2D画像に速く切り替えることで、多重像(又はズレが大きな多重像)が観察者に視認されることを早期に防止しつつ、3D画像に戻す際は、画像の深度が急激に変化することによる観察者に与える違和感を軽減することができるという利点を有する。
(第6の実施形態)
特に好適ないくつかの実施形態における表示制御装置30では、図9乃至図11、及び図14に示すように、プロセッサ33は、時間t11に2D条件を充足すると判定した場合、2D切り替え処理において、第1の深度値DP10を有する第1の3D画像FU11、及び第1の深度値DP10より深い第2の深度値DP20を有する第2の3D画像FU12を、深度値DPを有さない2D画像FU30に切り替え、2D画像FU30から元の第1の深度値DP10の第1の3D画像FU11まで、時間経過に伴い段階的又は連続的に深度値DPを第1の変化速度で徐々に深くする第1の3D切り替え処理、及び、2D画像FU30から元の第2の深度値DP20の第2の3D画像FU12まで、時間経過に伴い段階的又は連続的に深度値DPを第2の変化速度で徐々に深くする第2の3D切り替え処理をさらに実行し、第2の変化速度は、第1の変化速度より速く、時間t21に所定の3D条件を充足すると判定した場合、第1の3D切り替え処理及び第2の3D切り替え処理は、同時に開始される、ようになっている。第1の変化速度、及び第2の変化速度は、瞬間速度であり、第2の変化速度が第1の変化速度が速いとは、例えば、図10に示されるように、深度値(DP)を時間(t)で微分した第2の変化速度(瞬間速度)が、第1の変化速度(瞬間速度)より速いことである。また、広義では、第1の変化速度は、(DP20)/(t31-t21)で示される平均速度も含み、この間、深度値DPはゼロから元の深度値DP20まで、段階的に変化しても、連続的に変化しても、瞬時に変化してもよく、第2の変化速度は、(DP10)/(t31-t22)で示される平均速度も含み、この間、深度値DPはゼロから元の深度値DP20まで、段階的に変化しても、連続的に変化しても、瞬時に変化してもよい。すなわち、第2の変化速度が第1の変化速度が速いとは、例えば、図9、図11、又は図14に示されるように、深度値(DP)を時間(t)で平均化した第2の変化速度(平均速度)が、第1の変化速度(平均速度)より速いことも含み得る。ところで、同じ変化速度で深度値DPを変えた場合、元の深度値まで到達する時間が、深度値の深さによって線形的に長くなってしまう。第6の実施形態によれば、元の深度値が深い3D画像FU10において、元の深度値まで到達する時間を短縮することができるという利点を有する。また、深度値が深い3D画像FU10に到達するまでの時間と、深度値が浅い3D画像FU10に到達するまでの時間と、の差を縮めることができるという利点も想定される。
特に好適ないくつかの実施形態における表示制御装置30では、図9乃至図11、及び図14に示すように、プロセッサ33は、時間t11に2D条件を充足すると判定した場合、2D切り替え処理において、第1の深度値DP10を有する第1の3D画像FU11、及び第1の深度値DP10より深い第2の深度値DP20を有する第2の3D画像FU12を、深度値DPを有さない2D画像FU30に切り替え、2D画像FU30から元の第1の深度値DP10の第1の3D画像FU11まで、時間経過に伴い段階的又は連続的に深度値DPを第1の変化速度で徐々に深くする第1の3D切り替え処理、及び、2D画像FU30から元の第2の深度値DP20の第2の3D画像FU12まで、時間経過に伴い段階的又は連続的に深度値DPを第2の変化速度で徐々に深くする第2の3D切り替え処理をさらに実行し、第2の変化速度は、第1の変化速度より速く、時間t21に所定の3D条件を充足すると判定した場合、第1の3D切り替え処理及び第2の3D切り替え処理は、同時に開始される、ようになっている。第1の変化速度、及び第2の変化速度は、瞬間速度であり、第2の変化速度が第1の変化速度が速いとは、例えば、図10に示されるように、深度値(DP)を時間(t)で微分した第2の変化速度(瞬間速度)が、第1の変化速度(瞬間速度)より速いことである。また、広義では、第1の変化速度は、(DP20)/(t31-t21)で示される平均速度も含み、この間、深度値DPはゼロから元の深度値DP20まで、段階的に変化しても、連続的に変化しても、瞬時に変化してもよく、第2の変化速度は、(DP10)/(t31-t22)で示される平均速度も含み、この間、深度値DPはゼロから元の深度値DP20まで、段階的に変化しても、連続的に変化しても、瞬時に変化してもよい。すなわち、第2の変化速度が第1の変化速度が速いとは、例えば、図9、図11、又は図14に示されるように、深度値(DP)を時間(t)で平均化した第2の変化速度(平均速度)が、第1の変化速度(平均速度)より速いことも含み得る。ところで、同じ変化速度で深度値DPを変えた場合、元の深度値まで到達する時間が、深度値の深さによって線形的に長くなってしまう。第6の実施形態によれば、元の深度値が深い3D画像FU10において、元の深度値まで到達する時間を短縮することができるという利点を有する。また、深度値が深い3D画像FU10に到達するまでの時間と、深度値が浅い3D画像FU10に到達するまでの時間と、の差を縮めることができるという利点も想定される。
(第7の実施形態)
特に好適ないくつかの実施形態における表示制御装置30では、プロセッサ33は、図12、又は図13に示すように、t11に2D条件を充足すると判定した場合、2D切り替え処理において、第1の深度値DP10を有する第1の3D画像FU11、及び第1の深度値DP10より深い第2の深度値DP20を有する第2の3D画像FU12を、深度値DPを有さない2D画像FU30に切り替え、2D画像FU30から元の第1の深度値DP10の第1の3D画像FU11まで、時間経過に伴い段階的又は連続的に深度値DPを徐々に深くする第1の3D切り替え処理、及び、2D画像FU30から元の第2の深度値DP20の第2の3D画像FU12まで、時間経過に伴い段階的又は連続的に深度値DPを徐々に深くする第2の3D切り替え処理をさらに実行し、所定の3D条件を充足すると判定した場合、時間t21に第2の3D切り替え処理を開始した後、時間t22に第1の3D切り替え処理を開始する、ようになっている。この場合、第1の3D切り替え処理と、第2の3D切り替え処理とが同時に開始される場合と比較して、各画像に視覚的注意を向けやすくなるという利点も想定される。
特に好適ないくつかの実施形態における表示制御装置30では、プロセッサ33は、図12、又は図13に示すように、t11に2D条件を充足すると判定した場合、2D切り替え処理において、第1の深度値DP10を有する第1の3D画像FU11、及び第1の深度値DP10より深い第2の深度値DP20を有する第2の3D画像FU12を、深度値DPを有さない2D画像FU30に切り替え、2D画像FU30から元の第1の深度値DP10の第1の3D画像FU11まで、時間経過に伴い段階的又は連続的に深度値DPを徐々に深くする第1の3D切り替え処理、及び、2D画像FU30から元の第2の深度値DP20の第2の3D画像FU12まで、時間経過に伴い段階的又は連続的に深度値DPを徐々に深くする第2の3D切り替え処理をさらに実行し、所定の3D条件を充足すると判定した場合、時間t21に第2の3D切り替え処理を開始した後、時間t22に第1の3D切り替え処理を開始する、ようになっている。この場合、第1の3D切り替え処理と、第2の3D切り替え処理とが同時に開始される場合と比較して、各画像に視覚的注意を向けやすくなるという利点も想定される。
(第8の実施形態)
特に好適ないくつかの実施形態における表示制御装置30では、プロセッサ33は、図14に示すように、2D条件を充足すると判定した場合、2D切り替え処理において、所定の閾値より浅い第1の深度値DP10を有する第1の3D画像FU11、及び所定の閾値より深い第2の深度値DP20を有する第2の3D画像FU12を、深度値DPを有さない2D画像FU30に切り替え、2D画像FU30から元の第1の深度値DP10の第1の3D画像FU11まで瞬時に切り替える第3の3D切り替え処理、及び、2D画像FU30から元の第2の深度値DP20の第2の3D画像FU12まで、時間経過に伴い段階的又は連続的に深度値DPを徐々に深くする第4の3D切り替え処理をさらに実行する、ようになっている。この場合、深度値が浅い(2D画像FU30との深度差が小さい)画像は、深度値の変更に気づきにくく、違和感を与えにくいため、所定の深度値まで即座に変更することを優先し、深度値が深い(2D画像FU30との深度差が大きい)画像は、深度値の変更に気づきやすく、違和感を与えやすいため、観察者に与える違和感を軽減することを考慮して表示することができ、柔軟で利便性の高いシステムを提供することができるという利点を有する。
特に好適ないくつかの実施形態における表示制御装置30では、プロセッサ33は、図14に示すように、2D条件を充足すると判定した場合、2D切り替え処理において、所定の閾値より浅い第1の深度値DP10を有する第1の3D画像FU11、及び所定の閾値より深い第2の深度値DP20を有する第2の3D画像FU12を、深度値DPを有さない2D画像FU30に切り替え、2D画像FU30から元の第1の深度値DP10の第1の3D画像FU11まで瞬時に切り替える第3の3D切り替え処理、及び、2D画像FU30から元の第2の深度値DP20の第2の3D画像FU12まで、時間経過に伴い段階的又は連続的に深度値DPを徐々に深くする第4の3D切り替え処理をさらに実行する、ようになっている。この場合、深度値が浅い(2D画像FU30との深度差が小さい)画像は、深度値の変更に気づきにくく、違和感を与えにくいため、所定の深度値まで即座に変更することを優先し、深度値が深い(2D画像FU30との深度差が大きい)画像は、深度値の変更に気づきやすく、違和感を与えやすいため、観察者に与える違和感を軽減することを考慮して表示することができ、柔軟で利便性の高いシステムを提供することができるという利点を有する。
(第9の実施形態)
特に好適ないくつかの実施形態における表示制御装置30では、プロセッサ33は、図15に示すように2D条件を充足すると判定した場合、2D切り替え処理において、所定の閾値DPthより浅い第1の深度値DP10を有する第1の3D画像FU11を、深度値DPを有さない2D画像FU30に切り替えず、所定の閾値DPthより深い第2の深度値DP20を有する第2の3D画像FU12を、深度値DPを有さない2D画像FU30に切り替える、ようになっている。この場合、クロストークによる多重像の画像ズレ量が大きい深度値が深い3D画像FU10に対し、2D切り替え処理、及び3D切り替え処理を効果的に実行することができるという利点を有する。
特に好適ないくつかの実施形態における表示制御装置30では、プロセッサ33は、図15に示すように2D条件を充足すると判定した場合、2D切り替え処理において、所定の閾値DPthより浅い第1の深度値DP10を有する第1の3D画像FU11を、深度値DPを有さない2D画像FU30に切り替えず、所定の閾値DPthより深い第2の深度値DP20を有する第2の3D画像FU12を、深度値DPを有さない2D画像FU30に切り替える、ようになっている。この場合、クロストークによる多重像の画像ズレ量が大きい深度値が深い3D画像FU10に対し、2D切り替え処理、及び3D切り替え処理を効果的に実行することができるという利点を有する。
本実施態様のヘッドアップディスプレイ装置20によれば、第1乃至第9の実施形態のいずれか1項に記載の表示制御装置30と、表示光を出射する表示器50と、表示器50からの表示光Kを被投影部2にむけるリレー光学系80と、を備える。これによって、前記利点が得られる。その他の利点および好適な特徴は、特に前記実施形態および前記説明に記載されている。
本実施形態の表示制御方法によれば、画像を表示する表示器50、表示器50が表示する画像の光Kを被投影部2に投影することで、車両1のユーザーに画像の虚像V10,V20を前景に重ねて視認させるヘッドアップディスプレイ装置20における表示制御方法であって、ヘッドアップディスプレイ装置20に2D画像FU30及び立体視可能な3D画像FU10を表示させることと、ユーザーの目位置、顔位置、及び顔向きの少なくとも1つの変化速度に関する情報を取得することと、目位置関連情報に基づき、目位置関連情報又は目位置関連情報の検出動作が、所定の2D条件を充足するか判定することと、2D条件を充足すると判定した場合、3D画像FU10を2D画像FU30に切り替える2D切り替え処理を実行する、ようになっている。これによって、前記利点が得られる。その他の利点および好適な特徴は、特に前記実施形態および前記説明に記載されている。
再び、図6を参照する。図6のグラフィックモジュール518は、レンダリングなどの画像処理をして画像データを生成し、表示装置40を駆動するための様々な既知のソフトウェア構成要素を含む。また、グラフィックモジュール518は、表示される画像の、種類(動画、静止画、形状)、配置(位置座標、角度)、サイズ、表示距離(3Dの場合。)、視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)、を変更するための様々な既知のソフトウェア構成要素を含んでいてもよい。グラフィックモジュール518は、画像の種類(表示パラメータの例の1つ。)、画像の位置座標(表示パラメータの例の1つ。)、画像の角度(X方向を軸としたピッチング角、Y方向を軸としたヨーレート角、Z方向を軸としたローリング角などであり、表示パラメータの例の1つ。)、画像のサイズ(表示パラメータの例の1つ。)、画像の色(色相、彩度、明度などで設定される表示パラメータの例の1つ。)、画像の遠近表現の強度(消失点の位置などで設定される表示パラメータの1つ。)で観察者に視認されるように画像データを生成し、表示器50を駆動し得る。
光源駆動モジュール520は、光源ユニット24を駆動することを実行するための様々な既知のソフトウェア構成要素を含む。光源駆動モジュール520は、設定された表示パラメータに基づき、光源ユニット24を駆動し得る。
アクチュエータ駆動モジュール522は、第1アクチュエータ28及び/又は第2アクチュエータ29を駆動することを実行するための様々な既知のソフトウェア構成要素を含むアクチュエータ駆動モジュール522は、設定された表示パラメータに基づき、第1アクチュエータ28及び第2アクチュエータ29を駆動し得る。
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の1つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、及び/又はそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
車両用表示システム10の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図6で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は1つの機能ブロックを2以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
1 :車両
2 :被投影部
5 :ダッシュボード
10 :車両用表示システム
20 :ヘッドアップディスプレイ装置(HUD装置)
21 :光出射窓
22 :筐体
24 :光源ユニット
28 :第1アクチュエータ
29 :第2アクチュエータ
30 :表示制御装置
31 :I/Oインタフェース
33 :プロセッサ
35 :画像処理回路
37 :メモリ
40 :表示装置
50 :表示器
51 :空間光変調素子
52 :光学レイヤ
60 :光源ユニット
80 :リレー光学系
126 :特徴点検出部
200 :アイボックス
205 :中心
401 :車両ECU
403 :道路情報データベース
405 :自車位置検出部
407 :操作検出部
409 :顔検出部
411 :車外センサ
413 :明るさ検出部
417 :携帯情報端末
419 :外部通信機器
502 :目位置検出モジュール
504 :目位置推定モジュール
506 :目位置予測モジュール
508 :顔検出モジュール
510 :判定モジュール
512 :車両状態判定モジュール
514 :画像深さ制御モジュール
516 :目追従性画像処理モジュール
518 :グラフィックモジュール
520 :光源駆動モジュール
522 :アクチュエータ駆動モジュール
700 :目位置
D10 :結像距離
D21 :距離
D22 :距離
D31 :第1の知覚距離
D32 :第2の知覚距離
D33 :距離
DP :深度値
DP10 :第1の深度値(深度値)
DP20 :第2の深度値(深度値)
DPth :閾値
FU :知覚画像
FU1 :第1のコンテンツ画像
FU10 :3D画像
FU11 :第1の3D画像
FU12 :第2の3D画像
FU2 :第2のコンテンツ画像
FU30 :2D画像
K10 :左目用表示光(表示光)
K20 :右目用表示光(表示光)
V10 :左視点画像(虚像)
V11 :第1の左視点コンテンツ画像
V12 :第2の左視点コンテンツ画像
V13 :第3の左視点コンテンツ画像
V20 :右視点画像(虚像)
V21 :第1の右視点コンテンツ画像
V22 :第2の右視点コンテンツ画像
V23 :第3の右視点コンテンツ画像
VS :虚像表示領域
Vx :変化速度
Vy :変化速度
t :周期時間
ΔPx :変化量
ΔPy :変化量
2 :被投影部
5 :ダッシュボード
10 :車両用表示システム
20 :ヘッドアップディスプレイ装置(HUD装置)
21 :光出射窓
22 :筐体
24 :光源ユニット
28 :第1アクチュエータ
29 :第2アクチュエータ
30 :表示制御装置
31 :I/Oインタフェース
33 :プロセッサ
35 :画像処理回路
37 :メモリ
40 :表示装置
50 :表示器
51 :空間光変調素子
52 :光学レイヤ
60 :光源ユニット
80 :リレー光学系
126 :特徴点検出部
200 :アイボックス
205 :中心
401 :車両ECU
403 :道路情報データベース
405 :自車位置検出部
407 :操作検出部
409 :顔検出部
411 :車外センサ
413 :明るさ検出部
417 :携帯情報端末
419 :外部通信機器
502 :目位置検出モジュール
504 :目位置推定モジュール
506 :目位置予測モジュール
508 :顔検出モジュール
510 :判定モジュール
512 :車両状態判定モジュール
514 :画像深さ制御モジュール
516 :目追従性画像処理モジュール
518 :グラフィックモジュール
520 :光源駆動モジュール
522 :アクチュエータ駆動モジュール
700 :目位置
D10 :結像距離
D21 :距離
D22 :距離
D31 :第1の知覚距離
D32 :第2の知覚距離
D33 :距離
DP :深度値
DP10 :第1の深度値(深度値)
DP20 :第2の深度値(深度値)
DPth :閾値
FU :知覚画像
FU1 :第1のコンテンツ画像
FU10 :3D画像
FU11 :第1の3D画像
FU12 :第2の3D画像
FU2 :第2のコンテンツ画像
FU30 :2D画像
K10 :左目用表示光(表示光)
K20 :右目用表示光(表示光)
V10 :左視点画像(虚像)
V11 :第1の左視点コンテンツ画像
V12 :第2の左視点コンテンツ画像
V13 :第3の左視点コンテンツ画像
V20 :右視点画像(虚像)
V21 :第1の右視点コンテンツ画像
V22 :第2の右視点コンテンツ画像
V23 :第3の右視点コンテンツ画像
VS :虚像表示領域
Vx :変化速度
Vy :変化速度
t :周期時間
ΔPx :変化量
ΔPy :変化量
Claims (11)
- 画像を表示する表示器(40)、前記表示器(40)が表示する前記画像の光を被投影部に投影することで、車両のユーザーに前記画像の虚像を前景に重ねて視認させるヘッドアップディスプレイ装置(20)における表示制御を実行する表示制御装置(30)であって、
1つ又は複数のプロセッサ(33)と、
メモリ(37)と、
前記メモリ(37)に格納され、前記1つ又は複数のプロセッサ(33)によって実行されるように構成される1つ又は複数のコンピュータ・プログラムと、を備え、
前記ヘッドアップディスプレイ装置(20)は、2D画像(FU30)及び立体視可能な3D画像(FU10)を表示可能であり、
前記プロセッサ(33)は、
前記ユーザーの目位置、顔位置、及び顔向きの少なくとも1つを含む目位置関連情報を取得し、
前記目位置関連情報に基づき、前記目位置関連情報又は前記目位置関連情報の検出動作が、所定の2D条件を充足するか判定し、
前記2D条件を充足すると判定した場合、前記3D画像(FU10)を前記2D画像(FU30)に切り替える2D切り替え処理を実行する、
表示制御装置(30)。 - 前記2D条件は、
前記目位置、前記顔位置、及び前記顔向きの少なくともいずれかの変化速度の条件、
前記目位置、前記顔位置、及び前記顔向きの少なくともいずれかの座標の条件、並びに
前記目位置、前記顔位置、及び前記顔向きの少なくともいずれかの移動時間の条件、の少なくともいずれか1つを含む、
請求項1に記載の表示制御装置(30)。 - 前記2D条件は、
前記目位置、前記顔位置、及び前記顔向きの少なくともいずれかの変化速度が速いこと、
前記目位置、前記顔位置、及び前記顔向きの少なくともいずれかの座標が所定の範囲内であること、並びに、
前記目位置、前記顔位置、及び前記顔向きの少なくともいずれかの連続的な変化であること、の少なくともいずれか1つを含む、
請求項1に記載の表示制御装置(30)。 - 前記目位置関連情報の検出動作の条件は、
前記目位置、前記顔位置、及び前記顔向きの少なくともいずれかが検出できないこと、並びに
前記目位置、前記顔位置、及び前記顔向きの少なくともいずれかの検出精度の低下を検出したこと、の少なくともいずれか1つを含む、
請求項3に記載の表示制御装置(30)。 - 前記プロセッサ(33)は、
前記2D条件を充足すると判定した場合、前記2D切り替え処理において、
深度値を有する3D画像(FU10)を、深度値を有さない前記2D画像(FU30)に瞬時に切り替え、
所定の3D条件を充足すると判定した場合、
前記2D画像(FU30)から元の深度値の前記3D画像(FU10)まで、時間経過に伴い段階的又は連続的に前記深度値を徐々に深くする3D切り替え処理をさらに実行する、
請求項1に記載の表示制御装置(30)。 - 前記プロセッサ(33)は、
前記2D条件を充足すると判定した場合、前記2D切り替え処理において、
第1の深度値を有する第1の3D画像(FU10)、及び前記第1の深度値より深い第2の深度値を有する第2の3D画像(FU10)を、深度値を有さない前記2D画像(FU30)に切り替え、
前記2D画像(FU30)から元の前記第1の深度値の前記第1の3D画像(FU10)まで、前記深度値を第1の変化速度で深くする第1の3D切り替え処理、及び、
前記2D画像(FU30)から元の前記第2の深度値の前記第2の3D画像(FU10)まで、前記深度値を第2の変化速度で深くする第2の3D切り替え処理をさらに実行し、
前記第2の変化速度は、前記第1の変化速度より速い、
請求項1に記載の表示制御装置(30)。 - 前記プロセッサ(33)は、
前記2D条件を充足すると判定した場合、前記2D切り替え処理において、
第1の深度値を有する第1の3D画像(FU10)、及び前記第1の深度値より深い第2の深度値を有する第2の3D画像(FU10)を、深度値を有さない前記2D画像(FU30)に切り替え、
前記2D画像(FU30)から元の前記第1の深度値の前記第1の3D画像(FU10)まで、前記深度値を深くする第1の3D切り替え処理、及び、
前記2D画像(FU30)から元の前記第2の深度値の前記第2の3D画像(FU10)まで、前記深度値を深くする第2の3D切り替え処理をさらに実行し、
所定の3D条件を充足すると判定した場合、前記第2の3D切り替え処理を開始した後、前記第1の3D切り替え処理を開始する、
請求項1に記載の表示制御装置(30)。 - 前記プロセッサ(33)は、
前記2D条件を充足すると判定した場合、前記2D切り替え処理において、
所定の閾値より浅い第1の深度値を有する第1の3D画像(FU10)、及び前記所定の閾値より深い第2の深度値を有する第2の3D画像(FU10)を、深度値を有さない前記2D画像(FU30)に切り替え、
前記2D画像(FU30)から元の前記第1の深度値の前記第1の3D画像(FU10)まで瞬時に切り替える第3の3D切り替え処理、及び、
前記2D画像(FU30)から元の前記第2の深度値の前記第2の3D画像(FU10)まで、時間経過に伴い段階的又は連続的に前記深度値を徐々に深くする第4の3D切り替え処理をさらに実行する、
請求項1に記載の表示制御装置(30)。 - 前記プロセッサ(33)は、
前記2D条件を充足すると判定した場合、前記2D切り替え処理において、
所定の閾値より浅い第1の深度値を有する第1の3D画像(FU10)を、深度値を有さない前記2D画像(FU30)に切り替えず、前記所定の閾値より深い第2の深度値を有する第2の3D画像(FU10)を、深度値を有さない前記2D画像(FU30)に切り替える、
請求項1に記載の表示制御装置(30)。 - 請求項1乃至9のいずれか1項に記載の表示制御装置と、
表示光を出射する表示器と、
前記表示器からの前記表示光を被投影部にむけるリレー光学系と、を備える、ヘッドアップディスプレイ装置(20)。 - 画像を表示する表示器(40)、前記表示器(40)が表示する前記画像の光を被投影部に投影することで、車両のユーザーに前記画像の虚像を前景に重ねて視認させるヘッドアップディスプレイ装置(20)における表示制御方法であって、
前記ヘッドアップディスプレイ装置(20)に2D画像(FU30)及び立体視可能な3D画像(FU10)を表示させることと、
前記ユーザーの目位置、顔位置、及び顔向きの少なくとも1つの変化速度に関する情報を取得することと、
前記目位置関連情報に基づき、前記目位置関連情報又は前記目位置関連情報の検出動作が、所定の2D条件を充足するか判定することと、
前記2D条件を充足すると判定した場合、前記3D画像(FU10)を前記2D画像(FU30)に切り替える2D切り替え処理を実行することと、を含む、
表示制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202280063490.2A CN117981297A (zh) | 2021-09-23 | 2022-09-22 | 显示控制装置、平视显示装置及显示控制方法 |
JP2023549739A JPWO2023048213A1 (ja) | 2021-09-23 | 2022-09-22 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-154939 | 2021-09-23 | ||
JP2021154939 | 2021-09-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023048213A1 true WO2023048213A1 (ja) | 2023-03-30 |
Family
ID=85720793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/035335 WO2023048213A1 (ja) | 2021-09-23 | 2022-09-22 | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JPWO2023048213A1 (ja) |
CN (1) | CN117981297A (ja) |
WO (1) | WO2023048213A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230306692A1 (en) * | 2022-03-24 | 2023-09-28 | Gm Global Technlology Operations Llc | System and method for social networking using an augmented reality display |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015215505A (ja) * | 2014-05-12 | 2015-12-03 | パナソニックIpマネジメント株式会社 | 表示装置、および表示方法 |
JP2019102936A (ja) * | 2017-11-30 | 2019-06-24 | シャープ株式会社 | 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム |
JP2019102935A (ja) * | 2017-11-30 | 2019-06-24 | シャープ株式会社 | 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム |
-
2022
- 2022-09-22 JP JP2023549739A patent/JPWO2023048213A1/ja active Pending
- 2022-09-22 WO PCT/JP2022/035335 patent/WO2023048213A1/ja active Application Filing
- 2022-09-22 CN CN202280063490.2A patent/CN117981297A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015215505A (ja) * | 2014-05-12 | 2015-12-03 | パナソニックIpマネジメント株式会社 | 表示装置、および表示方法 |
JP2019102936A (ja) * | 2017-11-30 | 2019-06-24 | シャープ株式会社 | 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム |
JP2019102935A (ja) * | 2017-11-30 | 2019-06-24 | シャープ株式会社 | 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230306692A1 (en) * | 2022-03-24 | 2023-09-28 | Gm Global Technlology Operations Llc | System and method for social networking using an augmented reality display |
US11798240B2 (en) * | 2022-03-24 | 2023-10-24 | GM Global Technology Operations LLC | System and method for social networking using an augmented reality display |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023048213A1 (ja) | 2023-03-30 |
CN117981297A (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6608146B2 (ja) | ライブ映像を有する仮想透過型インストルメントクラスタ | |
JP6756228B2 (ja) | 車載表示制御装置 | |
KR20190028667A (ko) | 화상 생성 장치, 화상 생성 방법, 및 프로그램 | |
JP5600256B2 (ja) | 情報表示装置 | |
US20210300183A1 (en) | In-vehicle display apparatus, method for controlling in-vehicle display apparatus, and computer program | |
JP2016210212A (ja) | 情報提供装置、情報提供方法及び情報提供用制御プログラム | |
WO2023048213A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP7255608B2 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP7459883B2 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
JP2023077857A (ja) | ヘッドアップディスプレイ装置 | |
WO2022230995A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
US20140049540A1 (en) | Image Processing Device, Method, Computer Program Product, and Stereoscopic Image Display Device | |
JP2007047735A (ja) | 視覚情報呈示装置及び視覚情報呈示方法 | |
WO2021200914A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び方法 | |
JP2022072954A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
WO2023003045A1 (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2022104225A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2019083385A (ja) | ヘッドアップディスプレイ装置 | |
WO2020158601A1 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2023093913A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2023065856A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2022190724A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2023034899A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 | |
JP2020121607A (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
JP2022113292A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22872964 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2023549739 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202280063490.2 Country of ref document: CN |
|
NENP | Non-entry into the national phase |
Ref country code: DE |