WO2019168156A1 - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
WO2019168156A1
WO2019168156A1 PCT/JP2019/008119 JP2019008119W WO2019168156A1 WO 2019168156 A1 WO2019168156 A1 WO 2019168156A1 JP 2019008119 W JP2019008119 W JP 2019008119W WO 2019168156 A1 WO2019168156 A1 WO 2019168156A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
displayed
correction amount
correction
Prior art date
Application number
PCT/JP2019/008119
Other languages
English (en)
French (fr)
Inventor
智司 松井
範一 勝山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP19761314.4A priority Critical patent/EP3760467B1/en
Priority to CN201980016604.6A priority patent/CN111801239A/zh
Priority to JP2020503644A priority patent/JP7320736B2/ja
Publication of WO2019168156A1 publication Critical patent/WO2019168156A1/ja
Priority to US17/009,449 priority patent/US11305692B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • This disclosure relates to a display system that controls the display position of an image according to the movement of a moving object.
  • Patent Document 1 discloses a vehicle information projection system that performs augmented reality (AR) display using a head-up display (HUD) device.
  • the HUD device projects light representing a virtual image onto the windshield of the vehicle, thereby allowing a viewer who is an occupant of the vehicle to visually recognize the virtual image together with a real scene in the outside of the vehicle.
  • a virtual image representing a vehicle guidance route is displayed in association with a display target (for example, a road) in the real scene.
  • crew can confirm a guidance route, visually recognizing a real scene.
  • the vehicle information projection system of Patent Document 1 includes a vehicle speed sensor, and corrects the display position of the virtual image according to the acceleration. Thereby, it is possible to suppress the displacement of the virtual image at the time of sudden deceleration and acceleration of the vehicle.
  • the present disclosure provides a display system that accurately suppresses the positional deviation of an image.
  • a display system includes an information acquisition device that acquires information on a position of a moving body and information outside the moving body, a display processing device that controls display of an image based on information acquired by the information acquisition device, and a moving body. And a correction processing device for setting the correction amount of the image display position based on the posture variation of the moving body, and the display processing device and the correction processing device communicate bidirectionally. .
  • the display processing device that controls the display of the image and the correction processing device that sets the correction amount of the display position of the image based on the posture change of the moving body communicate bidirectionally.
  • the detection error of the posture of the moving body can be suppressed, and the posture of the moving body can be detected with high accuracy.
  • the figure for demonstrating a head up display (HUD) system 1 is a block diagram showing a configuration of a display system according to first to fourth embodiments.
  • the figure which shows an example when the vehicle is not leaning The figure which shows the example of the actual scene seen from the windshield
  • amendment Diagram for explaining the displacement of a virtual image due to sensor noise The flowchart which shows the display process in 1st Embodiment.
  • Explanatory drawing showing an example of resetting the correction amount to zero Flowchart showing display processing in the second embodiment
  • Explanatory drawing showing an example of reducing the correction amount by a certain amount Explanatory drawing showing an example of reducing the correction amount by a certain amount
  • Flowchart showing correction processing in the fourth embodiment Explanatory drawing showing an example of reducing the correction amount by a certain amount
  • Explanatory drawing showing an example of resetting the correction amount to zero The block diagram which shows the structure of the display apparatus in 5th Embodiment.
  • a gyro sensor in order to detect the vibration of the moving body due to the shape of the road surface unevenness with high accuracy.
  • the angles (roll angle, pitch angle, and yaw angle) of the three-axis direction of the moving body are obtained by integrating the angular velocities detected by the gyro sensor.
  • the gyro sensor generates a so-called drift in which the angular velocity of the output does not become zero even in a stationary state due to the characteristics of the device. Therefore, in the angular velocity integration calculation, errors due to drift are accumulated, and an error occurs in the obtained angle. In this case, if the image display position is continuously corrected based on the output of the gyro sensor, the correction error increases. Therefore, the viewer feels uncomfortable with the image display.
  • the display system of the present disclosure returns the display position of the image to the reference position when the image is not displayed. Thereby, the correction error resulting from the noise of the sensor which detects the attitude
  • the first embodiment will be described below with reference to the drawings.
  • the moving body is a vehicle such as an automobile and the display system is a head-up display (HUD) system that displays a virtual image as an image in front of the windshield of the vehicle will be described as an example.
  • HUD head-up display
  • FIG. 1 is a diagram for explaining a HUD system.
  • the roll axis of the vehicle 200 is the X axis
  • the pitch axis of the vehicle 200 is the Y axis
  • the yaw axis of the vehicle 200 is the Z axis. That is, the X-axis is an axis that is orthogonal to the Y-axis and the Z-axis and is along the line-of-sight direction of the occupant D who visually recognizes the virtual image Iv.
  • the Y axis is an axis along the left-right direction when viewed from the occupant D who visually recognizes the virtual image Iv.
  • the Z axis is an axis along the height direction of the vehicle 200.
  • the display system 100 of the present embodiment is a HUD system that performs so-called augmented reality (AR) display in which a virtual image Iv is superimposed on a real scene in front of a windshield 210 of a vehicle 200.
  • the virtual image Iv indicates predetermined information.
  • the virtual image Iv is a figure and a character indicating a route for guiding to the destination, an expected arrival time at the destination, a traveling direction, a speed, various warnings, and the like.
  • Display system 100 is installed in vehicle 200 and projects display light Lc representing virtual image Iv into display region 220 of windshield 210 of vehicle 200.
  • the display area 220 is a partial area of the windshield 210.
  • the display area 220 may be the entire area of the windshield 210.
  • the display light Lc is reflected by the windshield 210 in the direction inside the vehicle. Thereby, the occupant (viewer) D in the vehicle 200 visually recognizes the reflected display light Lc as a virtual image Iv in front of the vehicle 200.
  • the display system 100 includes a projection device 10, an information acquisition device 20, a display processing device 30, a posture detection device 40, and a correction processing device 50.
  • Projection apparatus 10 projects display light Lc representing virtual image Iv into display area 220.
  • the projection apparatus 10 includes, for example, a liquid crystal display element that displays an image of the virtual image Iv, a light source such as an LED that illuminates the liquid crystal display element, and a mirror and a lens that reflect the display light Lc of the image displayed by the liquid crystal display element to the display region 220. Etc.
  • the projection device 10 is installed in a dashboard of the vehicle 200, for example.
  • the information acquisition device 20 acquires the position of the vehicle and information outside the vehicle. Specifically, the information acquisition device 20 measures the position of the vehicle 200 and generates position information indicating the position. The information acquisition device 20 further acquires information on the outside of the vehicle indicating the object and the distance to the object.
  • the object is a person, a sign, a road, or the like.
  • the information acquisition device 20 outputs vehicle related information including position information of the vehicle 200 and information outside the vehicle.
  • the display processing device 30 controls the display of the virtual image Iv based on the vehicle-related information obtained from the information acquisition device 20 and outputs the image data of the virtual image Iv to the projection device 10.
  • the display processing device 30 may control the display of the virtual image Iv based on the display timing (display time) of the virtual image Iv or a combination of the vehicle-related information and the display timing.
  • the display timing is, for example, repeating display for 10 seconds and non-display for 1 second.
  • the attitude detection device 40 detects a change in attitude of the vehicle 200.
  • the correction processing device 50 calculates the correction amount of the display position of the virtual image Iv based on the posture variation of the vehicle 200 detected by the posture detection device 40.
  • FIG. 2 is a block diagram showing the internal configuration of the display system 100.
  • the information acquisition apparatus 20 includes a GPS (Global Positioning System) module 21 that detects a position indicating the current location of the vehicle 200 in the geographic coordinate system. Specifically, the GPS module 21 receives radio waves from GPS satellites and measures the latitude and longitude of the received point. The GPS module 21 generates position information indicating the measured latitude and longitude.
  • the information acquisition device 20 further includes a camera 22 that images the outside scene and generates imaging data. For example, the information acquisition device 20 specifies an object from the imaging data by image processing and measures the distance to the object. The information acquisition device 20 generates information indicating the object and the distance to the object as out-of-vehicle information. The information acquisition device 20 outputs vehicle-related information including position information and information outside the vehicle to the display processing device 30. Note that imaging data generated by the camera 22 may be output to the display processing device 30.
  • GPS Global Positioning System
  • the display processing device 30 includes a communication unit 31, a display control unit 32, and a storage unit 33.
  • the communication unit 31 has a predetermined communication standard (for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial area interface)). Including a circuit that communicates with an external device in conformity with the standards.
  • a predetermined communication standard for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial area interface)
  • the display control unit 32 can be realized by a semiconductor element or the like.
  • the display control unit 32 can be configured by, for example, a microcomputer, CPU, MPU, GPU, DSP, FPGA, or ASIC.
  • the function of the display control unit 32 may be configured only by hardware, or may be realized by combining hardware and software.
  • the display control unit 32 implements a predetermined function by reading out data and programs stored in the storage unit 33 and performing various arithmetic processes.
  • the storage unit 33 is a storage medium that stores programs and data necessary for realizing the functions of the display processing device 30.
  • the storage unit 33 can be realized by, for example, a hard disk (HDD), SSD, RAM, DRAM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • the storage unit 33 stores a plurality of image data 33i representing the virtual image Iv.
  • the display control unit 32 determines the virtual image Iv to be displayed based on the vehicle related information obtained from the information acquisition device 20.
  • the display control unit 32 reads out the image data 33 i of the determined virtual image Iv from the storage unit 33 and outputs it to the projection device 10. Further, the display control unit 32 sets the display position of the virtual image Iv.
  • the display control unit 32 outputs display information indicating whether the virtual image Iv is displayed or is being displayed to the correction processing device 50.
  • the posture detection device 40 includes a gyro sensor 41 that detects an angular velocity.
  • the gyro sensor 41 outputs the detected angular velocity to the correction processing device 50 as posture variation information indicating the posture variation of the vehicle 200.
  • the correction processing device 50 includes a communication unit 51 and a correction control unit 52.
  • the communication unit 51 conforms to a predetermined communication standard (for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial area peripheral interface)).
  • a predetermined communication standard for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial area peripheral interface)).
  • a predetermined communication standard for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), SPI (Serial area peripheral interface)
  • the correction control unit 52 can be realized by a semiconductor element or the like.
  • the correction control unit 52 can be composed of, for example, a microcomputer, CPU, MPU, GPU, DSP, FPGA, and ASIC.
  • the function of the display control unit 32 may be configured only by hardware, or may be realized by combining hardware and software.
  • the correction control unit 52 implements a predetermined function by reading out data and programs stored in a storage unit (not shown) in the correction processing device 50 and performing various arithmetic processes.
  • the correction control unit 52 includes a deviation amount calculation unit 52a and a correction amount calculation unit 52b as functional configurations.
  • the deviation amount calculation unit 52a calculates the attitude (angle deviation amount) of the vehicle 200 based on the attitude fluctuation information output by the attitude detection device 40. For example, the deviation amount calculation unit 52a calculates the angles (roll angle, pitch angle, and yaw angle) of the vehicle 200 in three axial directions by integrating the angular velocity detected by the gyro sensor 41. Thereby, the shift amount (angle) of the vehicle 200 in the X axis (roll axis), Y axis (pitch axis), and Z axis (yaw axis) directions shown in FIG. 1 can be calculated. In the present embodiment, all the angles in the triaxial direction are calculated, but the angles in the uniaxial or biaxial directions may be calculated. For example, only the angles in the Y-axis and Z-axis directions may be calculated.
  • the correction amount calculation unit 52b calculates the correction amount of the display position of the virtual image Iv according to the posture (angle shift amount) of the vehicle 200. Specifically, the correction amount calculation unit 52b converts the shift amount of the angle (pitch angle and yaw angle) calculated by the shift amount calculation unit 52a into the number of pixels, and the number of pixels corresponding to the shift (hereinafter, “ A correction amount is determined so as to restore the original value (also referred to as “the number of shifted pixels”). The roll angle is output as it is. For example, the deviation amount calculation unit 52a determines a correction amount that restores the roll angle deviation amount. In the present embodiment, the correction amount is indicated by the number of pixels in the Y-axis direction and the Z-axis direction. The correction amount calculation unit 52b outputs the calculated correction amount to the display processing device 30.
  • the display processing device 30 and the correction processing device 50 communicate bidirectionally through the communication units 31 and 51.
  • the display processing device 30 outputs display information to the correction processing device 50.
  • the correction processing device 50 outputs the correction amount to the display processing device 30.
  • FIG. 3A shows an example when the vehicle 200 is not tilted.
  • FIG. 3B shows an example of a real scene seen from the windshield 210 of the vehicle 200 shown in FIG. 3A.
  • FIG. 3C shows an example of the virtual image Iv that can be seen from the display area 220.
  • FIG. 3D shows an example in which the virtual image Iv shown in FIG. 3C is superimposed on the real scene shown in FIG. 3B.
  • the display system 100 superimposes the virtual image Iv shown in FIG. 3C on the real scene shown in FIG. 3B.
  • the reference position (initial position) P0 of the virtual image Iv is a position determined based on the type of the virtual image Iv, the state (position and posture) of the vehicle 200, map data, and the like.
  • the reference position P0 is an external device. Determined by. For example, when the display object 230 is a traveling lane and the virtual image Iv is an arrow indicating the traveling direction, the reference position P0 is the center of the traveling lane.
  • the reference position P0 is set by the values of the Y coordinate and the Z coordinate in the display area 220 in FIG. 3C.
  • the reference position P0 is acquired from an external device.
  • the external device can be composed of, for example, a microcomputer, a CPU, an MPU, a GPU, a DSP, an FPGA, an ASIC, and the GPS module 21.
  • the function of the external device may be configured only by hardware, or may be realized by combining hardware and software. Since the reference position P0 output from the external device may change based on changes in posture due to the number of passengers, load fluctuations, and gasoline reduction, for example, the reference position (initial position) acquired first May be different. Therefore, the display processing device 30 may change the reference position P0 acquired from the external device based on a change in posture due to the number of passengers, a change in load, a decrease in gasoline, or the like. Note that the display processing device 30 may set the reference position P0 based on vehicle-related information, map data, and the like. The display processing device 30 may set the size of the virtual image Iv based on the vehicle related information.
  • FIG. 4A shows an example of a state in which the vehicle 200 is in a forward leaning posture.
  • FIG. 4B illustrates a case where the display position of the virtual image Iv is deviated from the display object 230 in accordance with the posture change of the vehicle 200.
  • FIG. 4C shows the display position of the corrected virtual image Iv.
  • the vehicle 200 may tilt due to unevenness of the road surface, sudden acceleration or deceleration of the vehicle 200, and the like. For example, when the vehicle 200 suddenly decelerates, the vehicle 200 assumes a forward leaning posture as shown in FIG. 4A. In this case, as shown in FIG. 4B, the position of the display object 230 that can be seen from the windshield 210 varies according to the inclination of the vehicle 200. Therefore, when the virtual image Iv is displayed at the reference position P0, the virtual image Iv is deviated from the display object 230. For example, as shown in FIG. 4B, the tip of the arrow is in the oncoming lane 231.
  • the display system 100 adjusts the display position of the virtual image Iv in a direction to return the shift according to the posture of the vehicle 200. Specifically, as illustrated in FIG. 4C, the correction processing device 50 calculates the correction amount C so that the display position is not displaced due to the angle of the vehicle 200. That is, the display processing device 30 sets the display position of the virtual image Iv to “reference position P0 + correction amount C”. Thereby, the projection apparatus 10 can display the virtual image Iv at the position P ⁇ b> 1 corresponding to the display target 230.
  • the virtual image Iv is displayed at the position P1 corresponding to the display object 230 in the real scene by changing the display position of the virtual image Iv from the reference position P0 based on the correction amount C. Can be displayed.
  • FIG. 5 illustrates a case where the display position of the virtual image Iv is shifted from the display object 230 due to noise of a sensor such as the gyro sensor 41.
  • a sensor such as the gyro sensor 41.
  • the angular velocity detected by the gyro sensor 41 includes an error due to drift, if the calculation of the correction amount based on the integral calculation of the angular velocity is continued for a long time, the error included in the correction amount increases. . In this case, for example, even when the vehicle 200 is not actually tilted, it is detected that the vehicle 200 is tilted, and the correction amount C does not become zero.
  • the display position of the virtual image Iv deviates from the display object 230 as the duration of the correction process of the virtual image Iv increases.
  • the correction amount C is reset to zero when the virtual image Iv is not displayed, as will be described later. Thereby, when the virtual image Iv is not displayed, the display position of the virtual image Iv is returned to the position P2 where the display is desired.
  • FIG. 6 shows display processing performed by the display control unit 32 of the display processing device 30.
  • the display process shown in FIG. 6 is started, for example, when the engine of the vehicle 200 is started or when a button for instructing display start of the virtual image Iv is operated.
  • the display control unit 32 acquires vehicle related information from the information acquisition device 20 (S101). The display control unit 32 determines whether or not to display the virtual image Iv corresponding to the display target based on the vehicle related information (S102). The display control unit 32 outputs display information indicating whether the virtual image Iv is displayed or is being displayed to the correction processing device 50 (S103). When the display control unit 32 determines to display the virtual image Iv (Yes in S104), the display control unit 32 acquires the reference position P0 of the virtual image Iv from the external device (S105). The display control unit 32 acquires the display position correction amount C output from the correction processing device 50 (S106).
  • the display control unit 32 displays the virtual image Iv on the projection device 10 based on the reference position P0 and the correction amount C (S107). For example, the display control unit 32 reads out the image data 33i of the virtual image Iv corresponding to the display target from the storage unit 33, sets the display position of the virtual image Iv to “reference position P0 + correction amount C”, and outputs it to the projection apparatus 10 To do.
  • the display control unit 32 determines whether or not to continue the display process (S108). For example, when the engine of the vehicle 200 is stopped or when a button for instructing the end of the display of the virtual image Iv is operated, the display control unit 32 ends the display process. When continuing the display process, the process returns to step S101. If the display control unit 32 determines not to display the virtual image Iv (No in S104), the display control unit 32 hides the virtual image Iv (S109).
  • FIG. 7 shows correction processing performed by the correction control unit 52 of the correction processing device 50.
  • the correction process shown in FIG. 7 is started, for example, when the engine of the vehicle 200 is started or when a button for instructing to start displaying the virtual image Iv is operated.
  • the correction process of FIG. 7 is started together with the display process of FIG.
  • the correction process shown in FIG. 7 may be started when a button for instructing the start of the position correction of the virtual image Iv is operated.
  • the deviation amount calculation unit 52a acquires posture variation information indicating the angular velocity output from the gyro sensor 41 (S201).
  • the deviation amount calculation unit 52a calculates the deviation amount, which is the attitude of the vehicle 200, that is, an angle with respect to the triaxial direction, based on the acquired attitude variation information (S202). Specifically, the deviation amount calculation unit 52a calculates the angle of the vehicle 200 by integrating the angular velocity.
  • the correction amount calculation unit 52b calculates the correction amount C of the display position of the virtual image Iv based on the shift amount with respect to the three axis directions (S203).
  • the correction amount calculation unit 52b converts the shift amount, which is the angle of the vehicle 200, into the number of pixels for the pitch angle and the yaw angle, and sets a correction amount C that cancels the shift amount indicated by the number of pixels. decide.
  • a correction amount C that cancels the shift amount is determined with the angle kept unchanged.
  • the amount of deviation during non-display is also referred to as an offset value.
  • the offset value is set in step S208 described later.
  • the initial value of the offset value is, for example, zero.
  • the deviation amount calculation unit 52a calculates “ ⁇ current posture (angle) + offset value (angle)” in angle units, and outputs the calculated value to the correction amount calculation unit 52b.
  • the calculation unit 52b may convert the input value into the number of pixels.
  • the deviation amount calculation unit 52a outputs the current posture (angle) to the correction amount calculation unit 52b.
  • the “ ⁇ current deviation” is displayed. “Amount (number of pixels) + offset value (number of pixels)” may be calculated.
  • the correction amount calculation unit 52b acquires display information transmitted from the display processing device 30 (S204).
  • the display information indicates whether the virtual image Iv is displayed or is being displayed.
  • the correction amount calculation unit 52b outputs the calculated correction amount C to the display processing device 30 (S206). As a result, the virtual image Iv is displayed at the position indicated by “reference position P0 + correction amount C”.
  • FIG. 8 is an explanatory diagram illustrating an example of resetting the correction amount C to zero.
  • the correction amount C is immediately reset to zero at time t1. In this way, when the virtual image Iv is not displayed, the display position is returned to the reference position P0.
  • the correction control unit 52 determines whether or not to continue the correction process (S207). For example, when the engine of the vehicle 200 is stopped or when a button for instructing the end of the display of the virtual image Iv is operated, the correction control unit 52 ends the correction process. When the correction process is continued, the process returns to step S201. After returning to step S201, the offset value set in the previous step S208 is used in the calculation of the correction amount in the next S203. Even after the correction amount C is reset to zero, the correction of the display position is continued based on the shift amount.
  • the display system 100 controls the display of the virtual image Iv based on the information acquisition device 20 that acquires the position of the vehicle 200 and information outside the vehicle and the information acquired by the information acquisition device 20.
  • the display processing device 30 and the correction processing device 50 communicate bidirectionally.
  • the detection error of the vehicle posture caused by the noise of the posture detection device 40 can be suppressed, and the vehicle posture can be detected with high accuracy.
  • the display system 100 displays the virtual image Iv based on the reference position P0 and the correction amount C when the virtual image Iv is displayed, and sets the display position of the virtual image Iv to the reference position P0 when the virtual image Iv is not displayed.
  • the correction processing device 50 resets the correction amount C to zero when the virtual image Iv is not displayed.
  • the correction amount C By resetting the correction amount C to zero, it is possible to reduce the amount of display position deviation due to the accumulation of noise in the sensor used to detect the vehicle attitude. Further, since the reset is performed when the virtual image Iv is not displayed, it is possible to prevent the viewer from feeling uncomfortable due to the display position of the virtual image Iv being changed by the reset. Moreover, since the correction amount is reset every time the virtual image Iv is not displayed, the opportunity for resetting the correction amount increases. Therefore, the detection error of the vehicle posture caused by the noise of the sensor can be suppressed, and the vehicle posture can be detected with high accuracy. When the virtual image Iv is displayed, the correction amount C based on the vehicle posture is displayed. The position is corrected. Therefore, it is possible to suppress the display position shift caused by the vehicle posture.
  • the correction amount C when the virtual image Iv is displayed is the amount of deviation of the display position based on the posture change of the vehicle 200 when the virtual image Iv is displayed, and the vehicle before the virtual image is displayed. It is set based on a display position shift amount (offset value) based on 200 posture fluctuations.
  • the display processing device 30 determines whether or not to display the virtual image Iv based on the position of the vehicle 200 and information outside the vehicle. Thereby, the virtual image Iv can be displayed in association with the display target in the real scene. Therefore, it is possible for the viewer to visually recognize the information indicated by the virtual image Iv without feeling uncomfortable.
  • the display system 100 of this embodiment further includes a projection device 10 that projects light representing a virtual image.
  • the moving body is a vehicle
  • the image is a virtual image displayed in front of the windshield of the vehicle. According to the present embodiment, it is possible to accurately suppress the shift of the display position of the virtual image.
  • the method of resetting the correction amount C to zero in step S208 is arbitrary.
  • the correction amount C is reset to zero by setting the deviation amount itself to zero. Specifically, when the vehicle attitude is calculated based on the output of the gyro sensor 41, the integral amount of the angular velocity calculated by the deviation amount calculation unit 52a is reset to zero.
  • the initial value of the offset value is, for example, zero.
  • FIG. 9 shows display processing performed by the display control unit 32 of the display processing device 30.
  • Steps S301 to S305, S308, and S309 of FIG. 9 of the second embodiment are the same as steps S101 to S105, S108, and S109 of FIG. 6 of the first embodiment.
  • the display control unit 32 acquires an offset value (number of pixels) from the correction processing device 50 together with the correction amount when displaying a virtual image (S306).
  • FIG. 10 shows a correction process performed by the correction control unit 52 of the correction processing device 50.
  • Steps S401 to S405 and S407 of FIG. 10 of the second embodiment are the same as steps S201 to S205 and S207 of FIG. 7 of the first embodiment.
  • the correction control unit 52 outputs the offset value (number of pixels) together with the correction amount to the display processing device 30 (S406).
  • This offset value is set when the virtual image Iv is not displayed (S408).
  • the correction control unit 52 resets the correction amount C to zero when the virtual image Iv is not displayed. In the present embodiment, the correction control unit 52 decreases the magnitude of the correction amount C by a certain amount.
  • FIG. 11 shows a correction process in the third embodiment. Steps S501 to S507 in FIG. 11 of the third embodiment are the same as steps S201 to S207 in FIG. 7 of the first embodiment.
  • the correction amount C decreases by a fixed amount of offset value. Further, the correction amount C may be decreased stepwise as shown in FIG. 12B. For example, the magnitude of the correction amount C may be decreased by a certain offset value at time t1, and may be decreased again by the offset value at time t2. In addition, the frequency
  • the correction processing device 50 gradually decreases the correction amount C by a certain amount, so that the position of the virtual image Iv gradually returns to the reference position P0. Since the position of the virtual image Iv does not change abruptly, the occupant D can be prevented from feeling uncomfortable with the change in the display position of the virtual image Iv. That is, it is possible to suppress an uncomfortable appearance due to the shift of the display position.
  • the offset value shown in the second embodiment may be set to a value smaller by a certain amount than the amount of deviation when not displayed.
  • the correction amount C is reset to zero in the first embodiment, and the magnitude of the correction amount C is reduced by a certain amount in the third embodiment.
  • the processing for the correction amount C is changed according to the magnitude of the correction amount C. Specifically, when the correction amount C is greater than or equal to the threshold value, the correction amount C is decreased by a certain amount, and when the correction amount C is less than the threshold value, the correction amount is reset to zero.
  • FIG. 13 shows a correction process in the fourth embodiment.
  • Steps S601 to S607 of FIG. 13 of the fourth embodiment are the same as steps S201 to S207 of FIG. 7 of the first embodiment and steps S501 to S507 of FIG. 11 of the third embodiment.
  • count. As shown in FIG. 14B, if the correction amount C is smaller than the threshold value Sv, the correction amount C is reset to zero (S610). Specifically, “offset value deviation amount” is set.
  • the correction processing device 50 decreases the correction amount by a certain amount when the correction amount C is equal to or larger than the threshold value, and corrects the correction amount when the correction amount C is smaller than the threshold value. Reset to zero. As a result, the display position can be corrected according to the inclination of the vehicle 200 without a sense of discomfort.
  • the display system 100 that displays a virtual image in front of the windshield of the vehicle 200 has been described.
  • the correction of the image display position according to the present disclosure is not limited to the display system 100 including a plurality of devices, and may be realized by a single device.
  • FIG. 15 shows a configuration of a display device according to the fifth embodiment.
  • the display device 600 of the present embodiment is a device that displays an image according to the traveling of the vehicle 200, for example.
  • the display device 600 is various information processing devices such as a personal computer, a tablet terminal, and a smartphone.
  • the display device 600 corresponds to, for example, a device in which the display processing device 30 and the correction processing device 50 of the display system 100 of the first embodiment (FIG. 2) are integrally formed.
  • the display device 600 includes a communication unit 61, a control unit 62, a storage unit 63, an operation unit 64, and a display unit 65.
  • the communication unit 61 has the same function or structure as the communication unit 31 or the communication unit 51 of the first embodiment.
  • the control unit 62 has the same function or structure as the display control unit 32 and the correction control unit 52 of the first embodiment. Specifically, the control unit 62 includes a deviation amount calculation unit 521, a correction amount calculation unit 523, and a display control unit 32.
  • the deviation amount calculation unit 521, the correction amount calculation unit 523, and the display control unit 32 of the present embodiment correspond to the deviation amount calculation unit 52a, the correction amount calculation unit 52b, and the display control unit 32 of the first embodiment, respectively.
  • the display control unit 32 and the correction amount calculation unit 523 communicate bidirectionally.
  • the display control unit 32 outputs display information to the correction amount calculation unit 523.
  • the correction amount calculation unit 523 outputs the correction amount to the display control unit 32.
  • the storage unit 63 corresponds to the storage unit 33 of the first embodiment, and stores image data 330.
  • the operation unit 64 is a user interface for inputting various operations by the user.
  • the operation unit 64 is a touch panel provided on the surface of the display unit 65.
  • the operation unit 64 may be realized by a keyboard, a button, a switch, or a combination thereof in addition to the touch panel.
  • the display unit 65 is configured by, for example, a liquid crystal display or an organic EL display.
  • the display unit 65 displays the image indicated by the image data 330 at the display position indicated by “reference position P0 + correction amount C1” specified by the display control unit 32.
  • the display device 600 may be connected to the projector or may be incorporated in the projector.
  • the display unit 65 may have a function or structure corresponding to the projection device 10 of the first embodiment.
  • the case where the projection device 10, the information acquisition device 20, the display processing device 30, the posture detection device 40, and the correction processing device 50 are separate devices is illustrated.
  • a plurality of devices may be integrally formed as one device.
  • the display processing device 30 and the correction processing device 50 may be integrally formed as one device.
  • the information acquisition device 20 and the display processing device 30 may be integrally formed as one device.
  • the attitude detection device 40 and the correction processing device 50 may be integrally formed as one device.
  • the separately formed devices are communicably connected to each other by wire or wireless.
  • the projection device 10, the information acquisition device 20, the display processing device 30, the posture detection device 40, and the correction processing device 50 may all be formed as one device. In this case, the communication units 31 and 51 may be omitted.
  • the information acquisition device 20 may include a distance sensor that measures the distance and direction from the vehicle 200 to surrounding objects, and may output distance information indicating the measured distance and direction to the display processing device 30.
  • the information acquisition device 20 may include a vehicle speed sensor that detects the speed of the vehicle 200 or may include a navigation system.
  • the information acquisition device 20 may include one or more of the GPS module 21, the distance sensor, the camera 22, and the like. In this case, the GPS module 21, the distance sensor, the camera 22, and the like that function as the information acquisition device 20 may be built in one device or may be individually attached to the vehicle 200.
  • the posture detection device 40 may include an acceleration sensor that detects the acceleration of the vehicle 200 and may output the detected acceleration as posture variation information.
  • the posture detection device 40 may include a vehicle height sensor that detects a height from the road surface, and may output the detected height as posture variation information.
  • the posture detection device 40 may include other known sensors.
  • the attitude detection device 40 may include one or more of a gyro sensor 41, an acceleration sensor, a vehicle speed sensor, and the like. In this case, the gyro sensor 41, the acceleration sensor, the vehicle height sensor, and the like having a function as the posture detection device 40 may be built in one device or may be individually attached to the vehicle 200.
  • the moving body is a vehicle 200 such as an automobile.
  • the moving body is not limited to the vehicle 200.
  • the moving body may be a vehicle on which a person rides, for example, an airplane or a ship.
  • the moving body may be an unmanned aircraft that can travel in automatic operation.
  • the moving body may be one that vibrates instead of traveling.
  • the position where the image is displayed is not limited to the front.
  • the image may be displayed in the lateral direction or rearward of the moving body.
  • the display system 100 may not be a HUD system.
  • the display system 100 may include a liquid crystal display or an organic EL display instead of the projection device 10.
  • Display system 100 may include a screen and a projector.
  • a display system includes an information acquisition device that acquires information on a position of a moving body and information outside the moving body, and a display processing device that controls display of an image based on information acquired by the information acquisition device.
  • a posture detection device that detects a posture change of the moving body, and a correction processing device that sets a correction amount of an image display position based on the posture change of the moving body.
  • the display processing device and the correction processing device are bidirectional. To communicate.
  • the display system of (1) displays the image based on the reference position and the correction amount when the image is displayed, and returns the display position of the image to the reference position when the image is not displayed. .
  • the correction processing device may reset the correction amount to zero when the image is not displayed.
  • the correction processing device may decrease the correction amount by a certain amount when the image is not displayed.
  • the correction processing apparatus decreases the correction amount by a certain amount when the correction amount is equal to or larger than the threshold, and the correction amount is smaller than the threshold. May reset the correction amount to zero.
  • the correction amount when the image is displayed is the change in posture of the moving body when the image is displayed and the change in posture of the moving body before the image is displayed. And may be set based on the above.
  • the posture detection device may include at least one of a gyro sensor, an acceleration sensor, and a vehicle height sensor.
  • the correction processing device sets a correction amount based on the shift amount of the display position of the image due to the change in posture of the moving body, and when the image is not displayed, the image is displayed.
  • the reference position is set based on the posture change of the moving body when it is not, and when the image is displayed, the display position of the image is set based on the reference position and the shift amount.
  • the display system of the present disclosure may further include a projection device that projects light representing an image.
  • the moving body may be a vehicle, and the image may be a virtual image displayed in front of the windshield of the vehicle.
  • the display system and the display device described in all claims of the present disclosure are realized by cooperation with hardware resources such as a processor, a memory, and a program.
  • the present disclosure is applicable to a display system that controls the display position of an image according to the movement of a moving object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)

Abstract

表示システム（１００）は、移動体（２００）の位置および移動体の外の情報を取得する情報取得装置（２０）と、情報取得装置が取得した情報に基づいて像の表示を制御する表示処理装置（３０）と、移動体の姿勢変動を検出する姿勢検出装置（４０）と、移動体の姿勢変動に基づいて像の表示位置の補正量を設定する補正処理装置（５０）と、を備え、表示処理装置と補正処理装置が双方向に通信する。

Description

表示システム
　本開示は、像の表示位置を移動体の動きに応じて制御する表示システムに関する。
　特許文献１は、ヘッドアップディスプレイ（ＨＵＤ）装置を用いて、拡張現実（ＡＲ）表示を行う車両情報投影システムを開示している。ＨＵＤ装置は、車両のフロントガラスに虚像を表す光を投影することで、車両の乗員である視認者に、車両の外界の実景とともに虚像を視認させている。例えば、車両の案内経路を表す虚像を実景内の表示対象（例えば、道路）に対応付けて表示する。これにより、乗員は、実景を視認しながら案内経路を確認することができる。特許文献１の車両情報投影システムは、車速センサを備え、加速度に応じて虚像の表示位置を補正している。これにより、車両の急減速及び急加速時に、虚像の位置ずれが生じることを抑制している。
特開２０１５－１０１３１１号公報
　本開示は、像の位置ずれを精度良く抑制する表示システムを提供する。
　本開示の表示システムは、移動体の位置および移動体の外の情報を取得する情報取得装置と、情報取得装置が取得した情報に基づいて、像の表示を制御する表示処理装置と、移動体の姿勢変動を検出する姿勢検出装置と、移動体の姿勢変動に基づいて像の表示位置の補正量を設定する補正処理装置と、を備え、表示処理装置と補正処理装置が双方向に通信する。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示の表示システムによれば、像の表示を制御する表示処理装置と、移動体の姿勢変動に基づいて像の表示位置の補正量を設定する補正処理装置とが双方向に通信する。これにより、像の位置ずれを精度良く抑制することができる。具体的には、移動体の姿勢の検出誤差を抑制でき、精度の良い移動体の姿勢の検出が可能になる。
ヘッドアップディスプレイ（ＨＵＤ）システムを説明するための図 第１実施形態～第４実施形態における表示システムの構成を示すブロック図 車両が傾いていないときの例を示す図 フロントガラスから見える実景の例を示す図 虚像が基準位置に表示される例を示す図 拡張現実（ＡＲ）表示の一例を示す図 車両の前傾姿勢を示す図 車両が前傾姿勢のときに虚像の位置ずれが生じる例を説明するための図 補正後の虚像の表示例を示す図 センサのノイズによる虚像の位置ずれを説明するための図 第１実施形態における表示処理を示すフローチャート 第１実施形態における補正処理を示すフローチャート 補正量をゼロにリセットする一例を示す説明図 第２実施形態における表示処理を示すフローチャート 第２実施形態における補正処理を示すフローチャート 第３実施形態における補正処理を示すフローチャート 補正量を一定量小さくする一例を示す説明図 補正量を一定量小さくする一例を示す説明図 第４実施形態における補正処理を示すフローチャート 補正量を一定量小さくする一例を示す説明図 補正量をゼロにリセットする一例を示す説明図 第５実施形態における表示装置の構成を示すブロック図
（本開示の基礎となった知見）
　センサの出力に基づいて検出した移動体の状態（例えば、姿勢）に応じて像の表示位置を補正する場合、センサのノイズに起因した補正誤差が発生する。よって、常時もしくは長時間、センサの出力に基づいた補正をしていると、補正誤差が累積されて、像の表示位置が、実景内の所定の表示対象（例えば、道路）に対して大きくずれる場合がある。
　例えば、路面の凹凸などの形状による移動体の振動を高精度に検出するために、ジャイロセンサを使用することが考えられる。移動体の３軸方向の角度（ロール角、ピッチ角、及びヨー角）は、ジャイロセンサによって検出される角速度を積分演算することによって得られる。しかし、ジャイロセンサは、デバイスの特性により、静止状態でも出力の角速度がゼロにならない、所謂、ドリフトが発生する。よって、角速度の積分演算において、ドリフトによる誤差が累積され、得られる角度に誤差が生じる。この場合、ジャイロセンサの出力に基づいて、像の表示位置を補正し続けると、補正誤差が大きくなる。よって、視認者は、像の表示に対して違和感を覚える。
　本開示の表示システムは、像が表示されていないときに、像の表示位置を基準位置に戻す。これにより、移動体の姿勢変動を検出するセンサのノイズに起因した補正誤差を低減する。例えば、ジャイロセンサのドリフトに起因した補正誤差を低減する。
（第１実施形態）
　以下、第１実施形態について、図面を参照しながら説明する。第１実施形態では、移動体が自動車などの車両であり、表示システムが車両のフロントガラスの前方に像として虚像を表示するヘッドアップディスプレイ（ＨＵＤ）システムである場合を例にして説明する。
１．　表示システムの構成
　図１は、ＨＵＤシステムを説明するための図である。図１において、車両２００のロール軸をＸ軸とし、車両２００のピッチ軸をＹ軸とし、車両２００のヨー軸をＺ軸としている。すなわち、Ｘ軸は、Ｙ軸及びＺ軸と直交し、虚像Ｉｖを視認する乗員Ｄの視線方向に沿った軸である。Ｙ軸は、虚像Ｉｖを視認する乗員Ｄから見て左右方向に沿った軸である。Ｚ軸は、車両２００の高さ方向に沿った軸である。
　本実施形態の表示システム１００は、車両２００のフロントガラス２１０の前方の実景に虚像Ｉｖを重畳する、所謂、拡張現実（ＡＲ）表示を行うＨＵＤシステムである。虚像Ｉｖは、所定の情報を示す。例えば、虚像Ｉｖは、目的地へ案内するための経路、目的地への到達予想時刻、進行方向、速度、種々の警告などを示す図形及び文字である。表示システム１００は、車両２００に設置され、虚像Ｉｖを表す表示光Ｌｃを車両２００のフロントガラス２１０の表示領域２２０内に投影する。本実施形態において、表示領域２２０は、フロントガラス２１０の一部の領域である。なお、表示領域２２０は、フロントガラス２１０の全領域であってもよい。表示光Ｌｃは、フロントガラス２１０によって、車内の方向に反射される。これにより、車両２００内の乗員（視認者）Ｄは、反射された表示光Ｌｃを、車両２００の前方にある虚像Ｉｖとして視認する。
　表示システム１００は、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、及び補正処理装置５０を含む。
　投影装置１０は、虚像Ｉｖを表す表示光Ｌｃを表示領域２２０内に投影する。投影装置１０は、例えば、虚像Ｉｖの画像を表示する液晶表示素子、液晶表示素子を照明するＬＥＤなどの光源、液晶表示素子が表示する画像の表示光Ｌｃを表示領域２２０に反射するミラー及びレンズなどを含む。投影装置１０は、例えば、車両２００のダッシュボード内に設置される。
　情報取得装置２０は、車両の位置及び車外の情報を取得する。具体的には、情報取得装置２０は、車両２００の位置を測定して位置を示す位置情報を生成する。情報取得装置２０は、さらに、対象物、及び対象物までの距離などを示す車外情報を取得する。対象物は、人、標識、道路などである。情報取得装置２０は、車両２００の位置情報及び車外情報を含む車両関連情報を出力する。
　表示処理装置３０は、情報取得装置２０から得られる車両関連情報などに基づいて、虚像Ｉｖの表示を制御し、虚像Ｉｖの画像データを投影装置１０に出力する。表示処理装置３０は、虚像Ｉｖの表示タイミング（表示時間）、又は車両関連情報と表示タイミングの組合わせに基づいて、虚像Ｉｖの表示を制御してもよい。表示タイミングは、例えば、１０秒間の表示と１秒間の非表示とを繰り返すことである。
　姿勢検出装置４０は、車両２００の姿勢変動を検出する。
　補正処理装置５０は、姿勢検出装置４０によって検出された車両２００の姿勢変動に基づいて、虚像Ｉｖの表示位置の補正量を算出する。
　図２は、表示システム１００の内部構成を示すブロック図である。
　本実施形態において、情報取得装置２０は、地理座標系における車両２００の現在地を示す位置を検出するＧＰＳ（Global Positioning System）モジュール２１を含む。具体的には、ＧＰＳモジュール２１は、ＧＰＳ衛星からの電波を受信して、受信した地点の緯度及び経度を測位する。ＧＰＳモジュール２１は、測位した緯度及び経度を示す位置情報を生成する。情報取得装置２０は、さらに、外景を撮像して撮像データを生成するカメラ２２を含む。情報取得装置２０は、例えば、画像処理により撮像データから対象物を特定し、対象物までの距離を測定する。情報取得装置２０は、対象物及び対象物までの距離を示す情報を車外情報として生成する。情報取得装置２０は、位置情報及び車外情報を含む車両関連情報を表示処理装置３０に出力する。なお、カメラ２２によって生成された撮像データが表示処理装置３０に出力されてもよい。
　表示処理装置３０は、通信部３１、表示制御部３２、及び記憶部３３を含む。
　通信部３１は、所定の通信規格（例えば、ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。
　表示制御部３２は、半導体素子などで実現可能である。表示制御部３２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。表示制御部３２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。表示制御部３２は、記憶部３３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
　記憶部３３は、表示処理装置３０の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部３３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　記憶部３３には、虚像Ｉｖを表す複数の画像データ３３ｉが格納されている。表示制御部３２は、情報取得装置２０から得られる車両関連情報に基づいて、表示する虚像Ｉｖを決定する。表示制御部３２は、決定した虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出して、投影装置１０に出力する。さらに、表示制御部３２は、虚像Ｉｖの表示位置を設定する。表示制御部３２は、虚像Ｉｖを表示するか否か又は表示中か否かを示す表示情報を補正処理装置５０に出力する。
　本実施形態において、姿勢検出装置４０は、角速度を検出するジャイロセンサ４１を含む。ジャイロセンサ４１は、検出した角速度を、車両２００の姿勢変動を示す姿勢変動情報として補正処理装置５０に出力する。
　補正処理装置５０は、通信部５１と補正制御部５２とを含む。
　通信部５１は、所定の通信規格（例えばＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。
　補正制御部５２は、半導体素子などで実現可能である。補正制御部５２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。表示制御部３２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。補正制御部５２は、補正処理装置５０内の図示しない記憶部に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
　補正制御部５２は、機能的構成として、ずれ量算出部５２ａ及び補正量算出部５２ｂを含む。
　ずれ量算出部５２ａは、姿勢検出装置４０が出力する姿勢変動情報に基づいて、車両２００の姿勢（角度のずれ量）を算出する。例えば、ずれ量算出部５２ａは、ジャイロセンサ４１が検出した角速度を積分演算することによって、車両２００の３軸方向の角度（ロール角、ピッチ角、及びヨー角）を算出する。これにより、図１に示すＸ軸（ロール軸）、Ｙ軸（ピッチ軸）、及びＺ軸（ヨー軸）方向における車両２００のずれ量（角度）を算出することができる。なお、本実施形態では、３軸方向の全ての角度を算出するが、１軸又は２軸方向の角度を算出してもよい。例えば、Ｙ軸及びＺ軸方向の角度のみを算出してもよい。
　補正量算出部５２ｂは、車両２００の姿勢（角度のずれ量）に応じて、虚像Ｉｖの表示位置の補正量を算出する。具体的には、補正量算出部５２ｂは、ずれ量算出部５２ａが算出した角度（ピッチ角及びヨー角）のずれ量を画素数に換算して、ずれている分の画素数（以下、「ずれ画素数」ともいう）を元に戻すような補正量を決定する。ロール角については、角度のまま出力される。例えば、ずれ量算出部５２ａは、ロール角のずれ量を元に戻すような補正量を決定する。本実施形態では、補正量は、Ｙ軸方向及びＺ軸方向における画素数によって示される。補正量算出部５２ｂは、算出した補正量を表示処理装置３０に出力する。
　表示処理装置３０と補正処理装置５０は、通信部３１，５１により、双方向に通信する。表示処理装置３０は、補正処理装置５０に表示情報を出力する。補正処理装置５０は、表示処理装置３０に補正量を出力する。
　図３Ａ～図３Ｄを参照して、ＡＲ表示について説明する。図３Ａは、車両２００が傾いていないときの例を示している。図３Ｂは、図３Ａに示す車両２００のフロントガラス２１０から見える実景の例を示している。図３Ｃは、表示領域２２０から見える虚像Ｉｖの一例を示している。図３Ｄは、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖが重なって表示される例を示している。表示システム１００は、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖを重畳させる。虚像Ｉｖの基準位置（初期位置）Ｐ０は、虚像Ｉｖの種類、車両２００の状態（位置及び姿勢）、及び地図データなどに基づいて、決定された位置であり、当該基準位置Ｐ０は、外部装置により決定される。例えば、表示対象２３０が走行車線であって、虚像Ｉｖが進行方向を示す矢印の場合、基準位置Ｐ０は走行車線の中央である。基準位置Ｐ０は、例えば、図３Ｃにおいて、表示領域２２０内におけるＹ座標とＺ座標の値で設定される。基準位置Ｐ０は、外部装置から取得される。外部装置は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、または、ＡＳＩＣと、ＧＰＳモジュール２１とで構成することができる。外部装置の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。外部装置から出力される基準位置Ｐ０は、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変化する場合があるため、例えば、最初に取得した基準位置（初期位置）と異なる場合がある。それ故、表示処理装置３０は、外部装置から取得される基準位置Ｐ０を、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変更してもよい。なお、表示処理装置３０が、車両関連情報及び地図データなどに基づいて、基準位置Ｐ０を設定してもよい。表示処理装置３０は、車両関連情報に基づいて、虚像Ｉｖの大きさを設定してもよい。
　図４Ａは、車両２００が前傾姿勢になった状態の例を示している。図４Ｂは、車両２００の姿勢変動に応じて、虚像Ｉｖの表示位置が表示対象２３０からずれた場合を例示している。図４Ｃは、補正後の虚像Ｉｖの表示位置を示している。
　路面の凸凹、車両２００の急加速又は急減速などにより、車両２００が傾く場合がある。例えば、車両２００が急減速すると、図４Ａに示すように車両２００は前傾姿勢になる。この場合、図４Ｂに示すように、フロントガラス２１０から見える表示対象２３０の位置が車両２００の傾きに応じて変動する。そのため、虚像Ｉｖを基準位置Ｐ０に表示した場合、虚像Ｉｖが表示対象２３０からずれる。例えば、図４Ｂに示すように矢印の先が対向車線２３１内になる。よって、表示システム１００は、車両２００の姿勢に応じたずれを戻す方向に虚像Ｉｖの表示位置を調整する。具体的には、図４Ｃに示すように、補正処理装置５０が、車両２００の角度に起因した表示位置のずれがない位置Ｐ１となるように補正量Ｃを算出する。すなわち、表示処理装置３０は、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ」に設定する。これにより、投影装置１０は、虚像Ｉｖを表示対象２３０に対応する位置Ｐ１に表示することができる。このように、車両２００が傾いた場合であっても、虚像Ｉｖの表示位置を補正量Ｃに基づいて基準位置Ｐ０から変更することで、実景内の表示対象２３０に対応する位置Ｐ１に虚像Ｉｖを表示することができる。
　図５は、ジャイロセンサ４１などのセンサのノイズによって、虚像Ｉｖの表示位置が表示対象２３０からずれた場合を例示している。上述したように、例えば、ジャイロセンサ４１が検出する角速度にはドリフトによる誤差が含まれるため、角速度の積分演算に基づく補正量の算出を長期間継続すると、その補正量に含まれる誤差が大きくなる。この場合、例えば、車両２００が実際には傾いていないときであっても、車両２００が傾いていることが検出され、補正量Ｃがゼロにならなくなる。そのため、虚像Ｉｖの補正処理の継続時間が長くなるほど、虚像Ｉｖの表示位置（＝基準位置Ｐ０＋補正量Ｃ）が表示対象２３０より大きくずれてくる。例えば、実際に表示される位置Ｐ１（＝基準位置Ｐ０＋補正量Ｃ）が、表示対象２３０に対して表示させたい位置Ｐ２とならない。本実施形態は、このセンサのノイズに起因した位置ずれＥを低減するために、後述するように、虚像Ｉｖが非表示のときに、補正量Ｃをゼロにリセットする。これにより、虚像Ｉｖが非表示のときに、虚像Ｉｖの表示位置を表示させたい位置Ｐ２に戻す。
２．　表示処理装置の動作
　図６は、表示処理装置３０の表示制御部３２が行う表示処理を示している。図６に示す表示処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。
　表示制御部３２は、情報取得装置２０から車両関連情報を取得する（Ｓ１０１）。表示制御部３２は、車両関連情報に基づいて、表示対象に対応する虚像Ｉｖを表示するか否かを決定する（Ｓ１０２）。表示制御部３２は、虚像Ｉｖを表示するか否か又は表示中か否かを示す表示情報を補正処理装置５０に出力する（Ｓ１０３）。表示制御部３２は、虚像Ｉｖを表示することを決定した場合（Ｓ１０４でＹｅｓ）、虚像Ｉｖの基準位置Ｐ０を外部装置から取得する（Ｓ１０５）。表示制御部３２は、補正処理装置５０から出力される表示位置の補正量Ｃを取得する（Ｓ１０６）。
　表示制御部３２は、基準位置Ｐ０と補正量Ｃとに基づいて、投影装置１０に虚像Ｉｖを表示させる（Ｓ１０７）。例えば、表示制御部３２は、表示対象に対応する虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出し、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ」に設定して、投影装置１０に出力する。
　表示制御部３２は、表示処理を継続するか否かを判断する（Ｓ１０８）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、表示制御部３２は表示処理を終了する。表示処理を継続する場合は、ステップＳ１０１に戻る。表示制御部３２は、虚像Ｉｖを表示しないことを決定した場合は（Ｓ１０４でＮｏ）、虚像Ｉｖを非表示にする（Ｓ１０９）。
３．　補正処理装置の動作
　図７は、補正処理装置５０の補正制御部５２が行う補正処理を示している。図７に示す補正処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。図７の補正処理は、例えば、図６の表示処理と共に開始される。なお、図７に示す補正処理は、虚像Ｉｖの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。
　ずれ量算出部５２ａは、ジャイロセンサ４１から出力される角速度を示す姿勢変動情報を取得する（Ｓ２０１）。ずれ量算出部５２ａは、取得した姿勢変動情報に基づいて、車両２００の姿勢、すなわち、３軸方向に対する角度であるずれ量を算出する（Ｓ２０２）。具体的には、ずれ量算出部５２ａは、角速度を積分演算することによって、車両２００の角度を算出する。補正量算出部５２ｂは、３軸方向に対するずれ量に基づいて、虚像Ｉｖの表示位置の補正量Ｃを算出する（Ｓ２０３）。具体的には、補正量算出部５２ｂは、ピッチ角及びヨー角について車両２００の角度であるずれ量を画素数に換算して、画素数で示されるずれ量を相殺するような補正量Ｃを決定する。ロール角については、角度のまま、ずれ量を相殺する補正量Ｃを決定する。
　本実施形態では、補正量Ｃを「補正量Ｃ＝－（現時点のずれ量）＋（非表示中のずれ量）」として定義する。以下、非表示中のずれ量をオフセット値とも称する。オフセット値は、後述するステップＳ２０８において設定される。オフセット値の初期値は、例えばゼロである。ステップＳ２０３の補正量の算出において、ずれ量算出部５２ａが、角度単位で、「－現時点の姿勢（角度）＋オフセット値（角度）」を算出して補正量算出部５２ｂに出力し、補正量算出部５２ｂは入力した値を画素数に換算してもよい。また、ずれ量算出部５２ａは、現時点の姿勢（角度）を補正量算出部５２ｂに出力し、補正量算出部５２ｂが、姿勢（角度）を画素数に換算した後で、「－現時点のずれ量（画素数）＋オフセット値（画素数）」を算出してもよい。
　補正量算出部５２ｂは、表示処理装置３０から送信される表示情報を取得する（Ｓ２０４）。表示情報は、虚像Ｉｖを表示するか否か又は表示中か否かを示す。
　虚像が表示される場合又は既に表示中であれば（Ｓ２０５でＹｅｓ）、補正量算出部５２ｂは、算出した補正量Ｃを表示処理装置３０に出力する（Ｓ２０６）。これにより、虚像Ｉｖが「基準位置Ｐ０＋補正量Ｃ」で示される位置に表示される。
　虚像が表示されない場合は（Ｓ２０５でＮｏ）、補正制御部５２は、補正量Ｃをゼロにリセットする（Ｓ２０８）。具体的には、例えば、ずれ量算出部５２ａが、オフセット値（角度）を「オフセット値（角度）＝姿勢（角度）」に設定する。これにより、ずれ量算出部５２ａから補正量算出部５２ｂに、「－姿勢（角度）＋オフセット値（角度）」で示される角度、すなわち０度が出力される。又は、補正量算出部５２ｂは、ずれ量算出部５２ａが算出した姿勢（角度）を画素数（ずれ画素数）に換算し、オフセット値（画素数）を「オフセット値（画素数）＝ずれ画素数」に設定する。これにより、「－ずれ量（画素数）＋オフセット値（画素数）」で算出される補正量Ｃがゼロになる。図８は、補正量Ｃをゼロにリセットする一例を説明する説明図である。例えば、時刻ｔ１で補正量Ｃが即時にゼロにリセットされる。このようにして、虚像Ｉｖが非表示のときに、表示位置が基準位置Ｐ０に戻される。
　補正制御部５２は、補正処理を継続するか否かを判断する（Ｓ２０７）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、補正制御部５２は補正処理を終了する。補正処理を継続する場合は、ステップＳ２０１に戻る。ステップＳ２０１に戻った後は、次のＳ２０３の補正量の算出において、前のステップＳ２０８で設定したオフセット値が使用される。補正量Ｃがゼロにリセットされた後も、ずれ量に基づいて表示位置の補正が継続される。
　以上のように、本実施形態では、虚像Ｉｖが表示されていないときに、「オフセット値＝ずれ量」に設定することで、補正量Ｃをゼロにする。換言すると、虚像Ｉｖが非表示のときに、表示位置が基準位置Ｐ０にリセットされる。「補正量Ｃ＝－ずれ量＋オフセット値」であるため、次に虚像Ｉｖを表示するとき（図６のステップＳ１０７）の表示位置である「基準位置Ｐ０＋補正量Ｃ」は、「基準位置Ｐ０＋オフセット値－ずれ量」に相当する。このオフセット値が、虚像Ｉｖが非表示のときのずれ量に設定されることで、補正処理装置５０から表示処理装置３０に出力される、センサのノイズに起因した補正誤差がリセットされる。
４．　効果及び補足等
　本開示の表示システム１００は、車両２００の位置および車外の情報を取得する情報取得装置２０と、情報取得装置２０が取得した情報とに基づいて虚像Ｉｖの表示を制御する表示処理装置３０と、車両２００の姿勢変動を検出する姿勢検出装置４０と、車両２００の姿勢変動に基づいて虚像Ｉｖの表示位置の補正量Ｃを設定する補正処理装置５０と、を備える。表示処理装置３０と補正処理装置５０は、双方向に通信する。
　これにより、姿勢検出装置４０のノイズに起因した車両姿勢の検出誤差を抑制でき、精度の良い車両姿勢の検出が可能になる。
　表示システム１００は、虚像Ｉｖが表示されているときは、基準位置Ｐ０と補正量Ｃに基づいて虚像Ｉｖを表示し、虚像Ｉｖが表示されていないときに、虚像Ｉｖの表示位置を基準位置Ｐ０に戻す。具体的には、補正処理装置５０は、虚像Ｉｖが表示されていないときに、補正量Ｃをゼロにリセットする。
　補正量Ｃをゼロにリセットすることによって、車両姿勢を検出するために用いられるセンサのノイズの累積に起因した表示位置のずれ量を低減することができる。また、虚像Ｉｖが表示されていないときにリセットを行うため、虚像Ｉｖの表示位置がリセットにより変動することによって視認者が違和感を覚えることを抑制することができる。また、虚像Ｉｖが非表示になる度に補正量がリセットされるため、補正量のリセットの機会が増加する。よって、センサのノイズに起因した車両姿勢の検出誤差を抑制でき、精度の良い車両姿勢の検出が可能になるまた、虚像Ｉｖが表示されているときは、車両姿勢に基づいた補正量Ｃで表示位置が補正される。よって、車両姿勢に起因した表示位置のずれを抑制することができる。
　本実施形態では、虚像Ｉｖが表示されているときの補正量Ｃは、虚像Ｉｖが表示されているときの車両２００の姿勢変動に基づく表示位置のずれ量と、虚像が表示される前の車両２００の姿勢変動に基づく表示位置のずれ量（オフセット値）とに基づいて設定される。
　表示処理装置３０は、車両２００の位置及び車外の情報などに基づいて、虚像Ｉｖを表示するか否かを決定する。これにより、実景の中の表示対象に対応付けて虚像Ｉｖを表示させることができる。よって、視認者に違和感なく、虚像Ｉｖで示される情報を視認させることができる。
　本実施形態の表示システム１００は、虚像を表す光を投影する投影装置１０をさらに含む。本実施形態において、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像である。本実施形態によれば、虚像の表示位置のずれを精度良く抑制することができる。
　なお、ステップＳ２０８において、補正量Ｃをゼロにリセットする方法は任意である。本実施形態では、「補正量Ｃ＝－ずれ量＋オフセット値」としたが、補正量Ｃを「補正量Ｃ＝－ずれ量」としてもよい。この場合、ずれ量自体をゼロにすることで、補正量Ｃをゼロにリセットする。具体的には、ジャイロセンサ４１の出力に基づいて車両姿勢を算出する場合に、ずれ量算出部５２ａにおいて算出される角速度の積分量をゼロにリセットする。
（第２実施形態）
　第１実施形態では、オフセット値によって補正量Ｃを変更した。具体的には、虚像Ｉｖを表示するときは表示位置を「基準位置Ｐ０＋補正量Ｃ」に設定し、このときの補正量Ｃを「補正量Ｃ＝－ずれ量＋オフセット値（非表示中のずれ量）」に設定した。本実施形態では、「補正量Ｃ＝－ずれ量」とし、「基準位置Ｐ０’＝基準位置Ｐ０＋オフセット値（非表示中のずれ量）」として、基準位置をオフセット値によって変更する。オフセット値の初期値は、例えば、ゼロである。
　図９は、表示処理装置３０の表示制御部３２が行う表示処理を示している。第２実施形態の図９のステップＳ３０１～Ｓ３０５，Ｓ３０８，Ｓ３０９は、第１実施形態の図６のステップＳ１０１～Ｓ１０５，Ｓ１０８，Ｓ１０９と同一である。本実施形態では、表示制御部３２は、虚像を表示させるときに、補正量と共にオフセット値（画素数）を補正処理装置５０から取得する（Ｓ３０６）。表示制御部３２は、虚像Ｉｖの表示位置を「基準位置Ｐ０’（＝基準位置Ｐ０＋オフセット値）＋補正量Ｃ（＝－ずれ量）」に設定して、投影装置１０に虚像Ｉｖを表示させる（Ｓ３０７）。
　図１０は、補正処理装置５０の補正制御部５２が行う補正処理を示している。第２実施形態の図１０のステップＳ４０１～Ｓ４０５，Ｓ４０７は、第１実施形態の図７のステップＳ２０１～Ｓ２０５，Ｓ２０７と同一である。本実施形態では、補正制御部５２は、虚像Ｉｖが表示されるときに、補正量と共にオフセット値（画素数）を表示処理装置３０に出力する（Ｓ４０６）。このオフセット値は、虚像Ｉｖが非表示のときに設定される（Ｓ４０８）。具体的には、オフセット値を「オフセット値＝非表示のときのずれ量」に設定する。これにより、図９のステップＳ３０７において、「基準位置Ｐ０’（＝基準位置Ｐ０＋オフセット値）」で示される虚像Ｉｖの基準位置Ｐ０’がオフセット値によって基準位置Ｐ０からシフトされる。
（第３実施形態）
　第１実施形態では、補正制御部５２は、虚像Ｉｖを表示していないときに補正量Ｃをゼロにリセットした。本実施形態では、補正制御部５２は、補正量Ｃの大きさを一定量ずつ小さくする。
　図１１は、第３実施形態における補正処理を示している。第３実施形態の図１１のステップＳ５０１～Ｓ５０７は、第１実施形態の図７のステップＳ２０１～Ｓ２０７と同一である。
　本実施形態では、虚像Ｉｖが表示されない場合（Ｓ５０５でＮｏ）、補正量算出部５２ｂは、ステップＳ５０３で算出した補正量Ｃがゼロか否かを判断する（Ｓ５０８）。補正量Ｃがゼロでなければ、補正量Ｃの大きさを一定量小さくする（Ｓ５０９）。具体的には、例えば、補正量算出部５２ｂは、「補正量Ｃ＝－（ずれ量－オフセット値）」において、「オフセット値＝一定量」に設定する。一定量は、虚像Ｉｖの表示領域２２０内の表示位置に応じて、設定されてもよい。図１２Ａおよび図１２Ｂは、補正量Ｃの大きさを一定量小さくする説明図である。図１２Ａに示すように、例えば、時刻ｔ１において、補正量Ｃの大きさが、一定量のオフセット値だけ小さくなる。また、図１２Ｂに示すように補正量Ｃを段階的に小さくしてもよい。例えば、時刻ｔ１で補正量Ｃの大きさを一定のオフセット値だけ小さくし、時刻ｔ２でもう一度オフセット値だけ小さくしてもよい。なお、小さくする回数は３回以上でもよいし、回数によって、オフセット値を変えてもよい。補正量Ｃがゼロであれば、ステップＳ５０７に進む。
　このように、補正処理装置５０は、虚像Ｉｖが表示されていないときに、補正量Ｃを一定量ずつ小さくするため、虚像Ｉｖの位置は徐々に基準位置Ｐ０に戻る。虚像Ｉｖの位置が急に大きく変わらないため、乗員Ｄが、虚像Ｉｖの表示位置の変化に対して違和感を覚えることを抑制することができる。すなわち、表示位置のシフトによる見た目の違和感を抑制することができる。
　なお、補正量Ｃを一定量小さくすることに代えて、第２実施形態で示すオフセット値を、非表示の時のずれ量より一定量小さな値に設定してもよい。
（第４実施形態）
　虚像を表示していないときに、第１実施形態では補正量Ｃをゼロにリセットし、第３実施形態では補正量Ｃの大きさを一定量小さくした。本実施形態では、補正量Ｃの大きさに応じて補正量Ｃに対する処理を変更する。具体的には、補正量Ｃが閾値以上の場合は補正量Ｃを一定量小さくし、補正量Ｃが閾値未満のときは、補正量をゼロにリセットする。
　図１３は、第４実施形態における補正処理を示している。第４実施形態の図１３のステップＳ６０１～Ｓ６０７は、第１実施形態の図７のステップＳ２０１～Ｓ２０７及び第３実施形態の図１１のステップＳ５０１～Ｓ５０７と同一である。
　本実施形態では、虚像が表示されない場合（Ｓ６０５でＮｏ）、補正量算出部５２ｂは、ステップＳ６０３で算出した補正量Ｃが閾値Ｓｖ以上か否かを判断する（Ｓ６０８）。図１４Ａに示すように、補正量Ｃが閾値Ｓｖ以上であれば、補正量Ｃを一定量小さくする（Ｓ６０９）。具体的には、例えば、補正量算出部５２ｂは、「補正量Ｃ＝－（ずれ量－オフセット値）」において、「オフセット値＝一定量」に設定する。なお、小さくする回数は３回以上でもよいし、回数によって、オフセット値を変えてもよい。また、図１４Ｂに示すように、補正量Ｃが閾値Ｓｖより小さければ、補正量Ｃをゼロにリセットする（Ｓ６１０）。具体的には、「オフセット値＝ずれ量」に設定する。
　このように、補正処理装置５０は、虚像Ｉｖが表示されていないときに、補正量Ｃが閾値以上の場合は補正量を一定量ずつ小さくし、補正量Ｃが閾値よりも小さい場合は補正量をゼロにリセットする。これにより、表示位置の補正を車両２００の傾きに応じて、見た目に違和感なく行うことができる。
（第５実施形態）
　第１実施形態～第４実施形態は、車両２００のフロントガラスの前方に虚像を表示する表示システム１００について説明した。しかし、本開示による像の表示位置の補正は、複数の装置を備えた表示システム１００に限らず、単体の装置によって実現してもよい。
　図１５は、第５実施形態における表示装置の構成を示している。本実施形態の表示装置６００は、例えば、車両２００の走行に応じて画像を表示する装置である。表示装置６００は、例えば、パソコン、タブレット端末、及びスマートフォン等の種々の情報処理装置である。表示装置６００は、例えば、第１実施形態の（図２）の表示システム１００の表示処理装置３０と補正処理装置５０とが一体的に形成された機器に相当する。
　表示装置６００は、通信部６１、制御部６２、記憶部６３、操作部６４、及び表示部６５を備える。
　通信部６１は、第１実施形態の通信部３１又は通信部５１と同等の機能又は構造を有する。
　制御部６２は、第１実施形態の表示制御部３２及び補正制御部５２と同等の機能又は構造を有する。具体的には、制御部６２は、ずれ量算出部５２１、補正量算出部５２３、及び表示制御部３２を備える。本実施形態のずれ量算出部５２１、補正量算出部５２３、及び表示制御部３２は、第１実施形態のずれ量算出部５２ａ、補正量算出部５２ｂ、及び表示制御部３２にそれぞれ対応する。表示制御部３２と補正量算出部５２３は、双方向に通信する。表示制御部３２は、補正量算出部５２３に表示情報を出力する。補正量算出部５２３は、表示制御部３２に補正量を出力する。
　記憶部６３は、第１実施形態の記憶部３３に対応し、画像データ３３０を格納する。
　操作部６４は、ユーザによる種々の操作を入力するユーザインタフェースである。例えば、操作部６４は、表示部６５の表面に設けられたタッチパネルである。操作部６４は、タッチパネル以外に、キーボード、ボタン、スイッチ、又はこれらの組み合わせによって実現してもよい。
　表示部６５は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイで構成される。表示部６５は、例えば、表示制御部３２が指定した「基準位置Ｐ０＋補正量Ｃ１」で示される表示位置に、画像データ３３０が示す画像を表示する。
　表示装置６００はプロジェクタに接続されてもよいし、プロジェクタに組み込まれても良い。表示部６５は、第１実施形態の投影装置１０に相当する機能又は構造を備えてもよい。
　本実施形態によれば、第１実施形態～第４実施形態と同等の効果が得られる。
（他の実施形態）
　以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。
　上記実施形態では、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、及び補正処理装置５０がそれぞれ別個の装置である場合を例示した。しかし、複数の装置が一つの装置として一体的に形成されてもよい。例えば、表示処理装置３０と補正処理装置５０が一つの装置として一体的に形成されてもよい。情報取得装置２０と表示処理装置３０とが一つの装置として一体的に形成されてもよい。姿勢検出装置４０と補正処理装置５０が一つの装置として一体的に形成されてもよい。別個に形成された装置は、有線又は無線により互いに通信可能に接続される。なお、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、及び補正処理装置５０の全てが一つの装置として形成されてもよい。この場合、通信部３１，５１はなくてもよい。
　上記実施形態では、情報取得装置２０がＧＰＳモジュール２１とカメラ２２を含む例について説明した。しかし、情報取得装置２０は、車両２００から周囲の対象物までの距離と方向を計測する距離センサを含んでもよく、計測した距離と方向を示す距離情報を表示処理装置３０に出力してもよい。情報取得装置２０は、車両２００の速度を検出する車速センサを含んでもよいし、ナビゲーションシステムを含んでもよい。情報取得装置２０は、ＧＰＳモジュール２１、距離センサ、及びカメラ２２などのうち、１つ以上を含んでもよい。この場合、情報取得装置２０としての機能を有するＧＰＳモジュール２１、距離センサ、及びカメラ２２などは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。
　上記実施形態では、姿勢検出装置４０がジャイロセンサ４１を含む例について説明した。しかし、姿勢検出装置４０は、車両２００の加速度を検出する加速度センサを含んでもよく、検出した加速度を姿勢変動情報として出力してもよい。姿勢検出装置４０は、路面からの高さを検出する車高センサを含んでもよく、検出した高さを姿勢変動情報として出力してもよい。姿勢検出装置４０は、他の公知のセンサを含んでもよい。姿勢検出装置４０は、ジャイロセンサ４１、加速度センサ、及び車速センサなどのうちの１つ以上を含んでもよい。この場合、姿勢検出装置４０としての機能を有するジャイロセンサ４１、加速度センサ、及び車高センサなどは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。
　上記実施形態では、移動体が、自動車などの車両２００である場合について説明した。しかし、移動体は車両２００に限らない。移動体は、人が乗る乗り物であってもよく、例えば、飛行機又は船であってもよい。移動体は、自動運転で走行することができる無人機であってもよい。移動体は、走行するようなものではなく、振動するものであってもよい。
　上記実施形態では、移動体の前方に像を表示する場合について説明した。しかし、像を表示する位置は、前方に限らない。例えば、像は、移動体の側面方向や後方に表示されてもよい。
　第１実施形態～第５実施形態では、表示システム１００がＨＵＤシステムである例について説明した。しかし、表示システム１００はＨＵＤシステムでなくてもよい。表示システム１００は、投影装置１０に代えて、液晶ディスプレイ又は有機ＥＬディスプレイを備えてもよい。表示システム１００は、スクリーン及びプロジェクタを含んでもよい。
（実施形態の概要）
　（１）本開示の表示システムは、移動体の位置および移動体の外の情報を取得する情報取得装置と、情報取得装置が取得した情報に基づいて、像の表示を制御する表示処理装置と、移動体の姿勢変動を検出する姿勢検出装置と、移動体の姿勢変動に基づいて像の表示位置の補正量を設定する補正処理装置と、を備え、表示処理装置と補正処理装置が双方向に通信する。
　これにより、像の位置ずれを精度良く抑制することができる。
　（２）（１）の表示システムは、像が表示されているときは、基準位置と補正量に基づいて像を表示し、像が表示されていないときに像の表示位置を基準位置に戻す。
　これにより、姿勢検出装置のノイズに起因した移動体姿勢の検出誤差を抑制でき、精度の良い移動体姿勢の検出が可能になる。
　（３）（２）の表示システムにおいて、補正処理装置は、像が表示されていないときに、補正量をゼロにリセットしてもよい。
　（４）（２）の表示システムにおいて、補正処理装置は、像が表示されていないときに、補正量を一定量ずつ小さくしてもよい。
　（５）（２）の表示システムにおいて、補正処理装置は、像が表示されていないときに、補正量が閾値以上の場合は補正量を一定量ずつ小さくし、補正量が閾値よりも小さい場合は補正量をゼロにリセットしてもよい。
　（６）（２）の表示システムにおいて、像が表示されているときの補正量は、像が表示されているときの移動体の姿勢変動と、像が表示される前の移動体の姿勢変動とに基づいて設定されてもよい。
　（７）（１）の表示システムにおいて、姿勢検出装置は、ジャイロセンサ、加速度センサ、及び車高センサのうちの少なくとも一つを含んでもよい。
　（８）（１）の表示システムにおいて、補正処理装置は、移動体の姿勢変動による像の表示位置のずれ量に基づいて補正量を設定し、像が表示されていないときは、像が表示されていないときの移動体の姿勢変動に基づいて基準位置を設定し、像が表示されているときは、基準位置とずれ量とに基づいて像の表示位置を設定する。
　（９）本開示の表示システムは、像を表す光を投影する投影装置をさらに含んでもよい。
　（１０）本開示の表示システムにおいて、移動体は、車両であってもよく、像は、車両のフロントガラスの前方に表示される虚像であってもよい。
　本開示の全請求項に記載の表示システム及び表示装置は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
　本開示は、像の表示位置を移動体の動きに応じて制御する表示システムに適用可能である。
　　１０　　　投影装置
　　２０　　　情報取得装置
　　２１　　　ＧＰＳモジュール
　　２２　　　カメラ
　　３０　　　表示処理装置
　　３１　　　通信部
　　３２　　　表示制御部
　　３３　　　記憶部
　　４０　　　姿勢検出装置
　　４１　　　ジャイロセンサ
　　５０　　　補正処理装置
　　５１　　　通信部
　　５２　　　補正制御部
　　５２ａ　　ずれ量算出部
　　５２ｂ　　補正量算出部
　　１００　　表示システム

Claims (10)

  1. 　移動体の位置および前記移動体の外の情報を取得する情報取得装置と、
    　前記情報取得装置が取得した情報に基づいて、像の表示を制御する表示処理装置と、
    　前記移動体の姿勢変動を検出する姿勢検出装置と、
    　前記移動体の姿勢変動に基づいて前記像の表示位置の補正量を設定する補正処理装置と、
    　を備え、
    　前記表示処理装置と前記補正処理装置が双方向に通信する、
    　表示システム。
  2. 　前記像が表示されているときは、基準位置と前記補正量とに基づいて前記像を表示し、
    　前記像が表示されていないときに、前記像の表示位置を前記基準位置に戻す、
    　請求項１に記載の表示システム。
  3. 　前記補正処理装置は、前記像が表示されていないときに、前記補正量をゼロにリセットする、
    　請求項２に記載の表示システム。
  4. 　前記補正処理装置は、前記像が表示されていないときに、前記補正量を一定量ずつ小さくする、
    　請求項２に記載の表示システム。
  5. 　前記補正処理装置は、前記像が表示されていないときに、前記補正量が閾値以上の場合は前記補正量を一定量ずつ小さくし、前記補正量が前記閾値よりも小さい場合は前記補正量をゼロにリセットする、
    　請求項２に記載の表示システム。
  6. 　前記像が表示されているときの前記補正量は、前記像が表示されているときの前記移動体の姿勢変動と、前記像が表示される前の前記移動体の姿勢変動とに基づいて設定される、
    　請求項２に記載の表示システム。
  7. 　前記姿勢検出装置は、ジャイロセンサ、加速度センサ、及び車高センサのうちの少なくとも一つを含む、
    　請求項１に記載の表示システム。
  8. 　前記補正処理装置は、
    　　前記移動体の姿勢変動による前記像の表示位置のずれ量に基づいて前記補正量を設定し、
    　　前記像が表示されていないときは、前記像が表示されていないときの前記移動体の姿勢変動に基づいて基準位置を設定し、
    　　前記像が表示されているときは、前記基準位置と前記ずれ量とに基づいて前記像の表示位置を設定する、
    　請求項１に記載の表示システム。
  9. 　前記像を表す光を投影する投影装置をさらに含む、
    　請求項１から８のいずれかに記載の表示システム。
  10. 　前記移動体は、車両であり、
    　前記像は、車両のフロントガラスの前方に表示される虚像である、
    　請求項１から９のいずれかに記載の表示システム。
PCT/JP2019/008119 2018-03-02 2019-03-01 表示システム WO2019168156A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19761314.4A EP3760467B1 (en) 2018-03-02 2019-03-01 Display system
CN201980016604.6A CN111801239A (zh) 2018-03-02 2019-03-01 显示***
JP2020503644A JP7320736B2 (ja) 2018-03-02 2019-03-01 表示システム
US17/009,449 US11305692B2 (en) 2018-03-02 2020-09-01 Display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-037913 2018-03-02
JP2018037913 2018-03-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/009,449 Continuation US11305692B2 (en) 2018-03-02 2020-09-01 Display system

Publications (1)

Publication Number Publication Date
WO2019168156A1 true WO2019168156A1 (ja) 2019-09-06

Family

ID=67808912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008119 WO2019168156A1 (ja) 2018-03-02 2019-03-01 表示システム

Country Status (5)

Country Link
US (1) US11305692B2 (ja)
EP (1) EP3760467B1 (ja)
JP (1) JP7320736B2 (ja)
CN (1) CN111801239A (ja)
WO (1) WO2019168156A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251115A1 (ja) * 2020-06-08 2021-12-16 パナソニックＩｐマネジメント株式会社 表示システム
WO2023054307A1 (ja) * 2021-09-30 2023-04-06 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3978290A4 (en) * 2019-05-31 2022-08-03 Panasonic Intellectual Property Management Co., Ltd. DISPLAY SYSTEM

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285621A (ja) * 1995-04-14 1996-11-01 Omron Corp ナビゲーション装置
JPH10170290A (ja) * 1996-12-06 1998-06-26 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2014099078A (ja) * 2012-11-15 2014-05-29 Toyota Motor Corp 運転支援装置及び運転支援方法
JP2015080988A (ja) * 2013-10-22 2015-04-27 日本精機株式会社 車両情報投影システム及び投影装置
JP2015101311A (ja) 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2016175618A (ja) * 2015-03-23 2016-10-06 日本精機株式会社 ヘッドアップディスプレイ
JP2016222061A (ja) * 2015-05-28 2016-12-28 日本精機株式会社 車両用表示システム
JP2017094882A (ja) * 2015-11-23 2017-06-01 アイシン・エィ・ダブリュ株式会社 虚像生成システム、虚像生成方法及びコンピュータプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4355134B2 (ja) * 2002-10-09 2009-10-28 矢崎総業株式会社 車両用表示装置
JP2006007867A (ja) * 2004-06-23 2006-01-12 Matsushita Electric Ind Co Ltd 車載用映像表示装置
JP2010070066A (ja) * 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
JP5161760B2 (ja) * 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法
JP5155915B2 (ja) * 2009-03-23 2013-03-06 株式会社東芝 車載用表示システム、表示方法及び車両
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP5964332B2 (ja) * 2012-02-03 2016-08-03 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP2014211431A (ja) * 2013-04-02 2014-11-13 株式会社Ｊｖｃケンウッド ナビゲーション装置、及び、表示制御方法
DE102013110864A1 (de) * 2013-10-01 2015-04-02 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
EP3061642B1 (en) * 2013-10-22 2019-10-02 Nippon Seiki Co., Ltd. Vehicle information projection system, and projection device
JP6582644B2 (ja) * 2014-08-11 2019-10-02 セイコーエプソン株式会社 撮像装置、撮像表示装置、及び、車両
JP6458998B2 (ja) * 2015-05-13 2019-01-30 日本精機株式会社 ヘッドアップディスプレイ
WO2017134865A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285621A (ja) * 1995-04-14 1996-11-01 Omron Corp ナビゲーション装置
JPH10170290A (ja) * 1996-12-06 1998-06-26 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2014099078A (ja) * 2012-11-15 2014-05-29 Toyota Motor Corp 運転支援装置及び運転支援方法
JP2015080988A (ja) * 2013-10-22 2015-04-27 日本精機株式会社 車両情報投影システム及び投影装置
JP2015101311A (ja) 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2016175618A (ja) * 2015-03-23 2016-10-06 日本精機株式会社 ヘッドアップディスプレイ
JP2016222061A (ja) * 2015-05-28 2016-12-28 日本精機株式会社 車両用表示システム
JP2017094882A (ja) * 2015-11-23 2017-06-01 アイシン・エィ・ダブリュ株式会社 虚像生成システム、虚像生成方法及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3760467A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251115A1 (ja) * 2020-06-08 2021-12-16 パナソニックＩｐマネジメント株式会社 表示システム
WO2023054307A1 (ja) * 2021-09-30 2023-04-06 日本精機株式会社 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Also Published As

Publication number Publication date
EP3760467B1 (en) 2022-06-22
US20200398752A1 (en) 2020-12-24
EP3760467A4 (en) 2021-04-07
JP7320736B2 (ja) 2023-08-04
US11305692B2 (en) 2022-04-19
JPWO2019168156A1 (ja) 2021-05-13
CN111801239A (zh) 2020-10-20
EP3760467A1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
US11305692B2 (en) Display system
US20210109357A1 (en) Display system, display device and display control method
US11945309B2 (en) Display system
US20220028307A1 (en) Gradient change detection system, display system using same, and storage medium that stores program for moving body
WO2019168157A1 (ja) 表示システム
US20210407466A1 (en) Display system
US20210109358A1 (en) Display system
US11482195B2 (en) Display system, display device and display control method for controlling a display position of an image based on a moving body
WO2020208883A1 (ja) 表示システム
US11945310B2 (en) Display system
JP2021072455A (ja) 投影システム
JP7507439B2 (ja) 勾配変化検出システム、それを用いた表示システム及び移動体用プログラム
WO2021251117A1 (ja) 表示システム、及び、振動検出システム
US11982817B2 (en) Display system
JP2020179745A (ja) 表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19761314

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020503644

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019761314

Country of ref document: EP