WO2016203793A1 - 虚像提示システム、画像投射装置および虚像提示方法 - Google Patents

虚像提示システム、画像投射装置および虚像提示方法 Download PDF

Info

Publication number
WO2016203793A1
WO2016203793A1 PCT/JP2016/056942 JP2016056942W WO2016203793A1 WO 2016203793 A1 WO2016203793 A1 WO 2016203793A1 JP 2016056942 W JP2016056942 W JP 2016056942W WO 2016203793 A1 WO2016203793 A1 WO 2016203793A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual image
vehicle
specifying
unit
presentation
Prior art date
Application number
PCT/JP2016/056942
Other languages
English (en)
French (fr)
Inventor
彰浩 福元
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP16811268.8A priority Critical patent/EP3312658B1/en
Publication of WO2016203793A1 publication Critical patent/WO2016203793A1/ja
Priority to US15/599,858 priority patent/US20170254659A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a virtual image presentation technique, and more particularly to a virtual image presentation system, an image projection apparatus, and a virtual image presentation method for presenting an image based on image display light to a user as a virtual image.
  • head-up displays have been used as vehicle display devices.
  • the head-up display projects image display light toward the windshield of the vehicle and displays a virtual image based on the image display light superimposed on the scenery outside the vehicle. Since the driver's line of sight may differ vertically when driving on an expressway or when driving on an urban area, the height of the virtual image display position may vary depending on the type of road being driven. By switching, the visibility of the virtual image is improved (see, for example, Patent Document 1).
  • the driver When the vehicle is traveling at a constant speed, the driver often fixes his / her line of sight toward the far center of the lane in which the vehicle travels. At this time, when the traveling position of the vehicle moves to the left and right with respect to the lane, an object that appears on the near side of the scenery outside the vehicle appears to move greatly to the left and right.
  • the display position of the virtual image displayed during traveling is a position fixed to the vehicle. As a result, the virtual image is superimposed on a fixed position with respect to the landscape that appears to move left and right due to the movement of the vehicle, and the appearance of the virtual image may become unnatural.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for improving the visibility of a virtual image displayed superimposed on a scenery outside the vehicle.
  • a virtual image presentation system includes a projection unit that projects image display light toward a virtual image presentation surface provided in a vehicle and presents a virtual image to a driver, and an exterior of the vehicle.
  • An acquisition unit that acquires information for specifying the position of the target object, a specification unit that generates information for specifying the positional relationship between the target object and the vehicle based on the information acquired by the acquisition unit, and a specification unit
  • a virtual image position adjustment unit that adjusts the presentation position of the virtual image viewed from the driver based on the information generated by the driver.
  • Another aspect of the present invention is an image projection apparatus.
  • This device projects image display light toward a virtual image presentation surface provided in a vehicle, and presents a projection unit that presents a virtual image to the driver, and information input for specifying the position of an object outside the vehicle.
  • a specifying unit that generates information for specifying the positional relationship between the object and the vehicle, and a virtual image position adjusting unit that adjusts the presentation position of the virtual image viewed from the driver based on the information generated by the specifying unit.
  • Still another aspect of the present invention is a virtual image presentation method.
  • a step of generating information for specifying a positional relationship between an object and a vehicle based on information for specifying a position of an object outside the vehicle, and a position relationship to be generated are specified.
  • the step of adjusting the presentation position of the virtual image presented on the virtual image presentation surface provided on the vehicle based on the information of the image, and projecting the image display light toward the virtual image presentation surface so that the virtual image is presented at the adjusted presentation position And a step of.
  • FIGS. 7A and 7B are diagrams schematically illustrating a method of specifying the vehicle position from the image in front of the vehicle.
  • 8A and 8B are diagrams schematically illustrating an operation example of the image display element.
  • FIGS. 13A and 13B are diagrams schematically showing how the virtual image presentation position is adjusted.
  • the embodiment of the present invention is a virtual image presentation system.
  • the virtual image presenting system projects image display light toward a virtual image presenting surface provided on the vehicle and presents a virtual image to the driver.
  • the virtual image system further includes an acquisition unit that acquires information for specifying a position of an object outside the vehicle, and a positional relationship between the object and the vehicle based on information acquired by the acquisition unit.
  • a specifying unit that generates information; and a virtual image position adjusting unit that adjusts the presentation position of the virtual image viewed from the driver based on information generated by the specifying unit.
  • the object outside the vehicle is, for example, a lane marking to divide a road lane, such as a white line composed of a solid line or a broken line.
  • a lane marking to divide a road lane, such as a white line composed of a solid line or a broken line.
  • the virtual image presentation position is adjusted according to the traveling position of the vehicle. For example, when the vehicle is traveling to the right in the traveling lane, the virtual image presentation position is shifted to the left side on the opposite side. Thereby, the presentation position of the virtual image is positioned near the center of the traveling lane, thereby improving the visibility of the virtual image.
  • FIG. 1 is a diagram schematically showing how the virtual image 70 presented by the virtual image presentation system 100 according to the embodiment is seen.
  • the virtual image presentation system 100 projects image display light toward a combiner 28 that is a virtual image presentation surface mounted on the vehicle 50, and presents a virtual image 70 to the driver via the combiner 28.
  • the combiner 28 is provided, for example, at a position in front of the driver, and more specifically, is arranged on a straight line connecting the instrument panel 54 or the steering wheel 56 of the vehicle 50 and the driver.
  • the combiner 28 is configured to transmit light from outside the vehicle, and the driver can view the scenery outside the vehicle and the virtual image 70 through the combiner 28 at the same time.
  • an image for displaying the traveling speed of the vehicle and the like shown on the instrument panel 54 and an image for showing information on route guidance to the destination by the navigation device 62 are used. It is done. Such an image is presented so as to be seen at a position of about 1.7 m to 2.0 m in front of the vehicle, and the driver visually recognizes a virtual image superimposed on the scenery outside the vehicle.
  • a rectangular coordinate system defined by the x-axis, y-axis, and z-axis as shown in FIG. 1 is used.
  • the x-axis extends in the vehicle width direction
  • the y-axis extends in the vehicle height direction
  • the z-axis extends in the vehicle length direction.
  • the positive directions of the x-axis, y-axis, and z-axis are each defined in the direction of the arrow in FIG. 1, and the negative direction is defined in the direction opposite to the arrow.
  • the front / rear, left / right, upper / lower direction may be used to indicate the direction.
  • the front and rear are the front direction and the rear direction of the vehicle 50, that is, the traveling direction of the vehicle. That is, the front corresponds to the positive direction of the z axis, and the rear corresponds to the negative direction of the z axis.
  • the left side and the right side are the left side direction and the right side direction of the vehicle 50. That is, the left side corresponds to the positive direction of the x axis, and the right side corresponds to the negative direction of the x axis.
  • Up and down are directions perpendicular to the road surface on which the vehicle 50 travels, and mean a vehicle-side direction and the opposite direction with respect to the road surface. That is, the upper part corresponds to the positive direction of the y axis, and the lower part corresponds to the negative direction of the y axis.
  • FIG. 1 shows a state in which the vehicle 50 is traveling near the center of the travel lane 80 that extends linearly. From the windshield 52, a traveling lane 80 extending toward the horizon 86 can be seen, and each of the left lane line 82 and the right lane line 84 extends along the traveling lane 80 toward the horizon 86. The vehicle 50 is traveling near the center between the left lane line 82 and the right lane line 84.
  • the driver often fixes his / her line of sight in a direction toward the far center of the travel lane 80.
  • the driver fixes his / her line of sight in the direction toward the center, it appears to the driver that the virtual image 70 is placed at a position just between the left lane line 82 and the right lane line 84.
  • FIG. 2 is a diagram schematically showing how the virtual image 170 presented by the virtual image presentation system 200 according to the comparative example is seen.
  • the virtual image presentation system 200 presents the virtual image 170 at a fixed position with respect to the vehicle 50 regardless of the travel position of the vehicle 50.
  • the virtual image presentation system 200 is configured to present a virtual image 170 fixed at the same position as the virtual image 70 shown in FIG. 1, and presents the virtual image 170 at a position approximately 1.7 m to 2.0 m ahead of the vehicle. To do.
  • FIG. 2 shows a state where the vehicle 50 is traveling on the right side of the traveling lane 80. Since the traveling position of the vehicle 50 is to the right, the right lane marking 84 appears to be shifted by ⁇ x to the left of the right lane marking in FIG. 1 (shown by a broken line in FIG. 2). Similarly, the left lane marking 82 also appears to be shifted to the left from the left lane marking in FIG. 1 (shown as a thin solid line in FIG. 2). Thus, when the traveling position of the vehicle 50 moves to the left and right with respect to the traveling lane 80, the scenery outside the vehicle appears to be shifted to the left and right.
  • the position of the virtual image 170 viewed from the driver does not shift from side to side.
  • the scenery outside the vehicle at a position approximately 2 m ahead of the vehicle where the virtual image 170 is presented shifts to the left and right, whereas only the virtual image 170 does not shift to the left and right.
  • the position of the virtual image 170 is shifted to the left and right with respect to the scenery outside the vehicle, and a view as if the presentation position of the virtual image 170 is shifted to the right side of the traveling lane 80 may occur. Therefore, fixing the presentation position of the virtual image 170 may cause the virtual image 170 to appear unnatural.
  • FIG. 3 is a diagram illustrating a configuration of the virtual image presentation system 100 according to the embodiment.
  • the virtual image presentation system 100 includes an image projection device 10, an in-vehicle camera 42, an in-vehicle sensor 44, and an external device 60.
  • the image projection device 10 is a so-called head-up display device, and presents the virtual image 70 to the driver E by projecting image display light onto the combiner 28 that is a virtual image presentation surface.
  • the driver E can see the virtual image 70 superimposed on the scenery outside the vehicle through the combiner 28 and the windshield 52. Therefore, the driver E can obtain the information shown in the virtual image 70 without moving the line of sight while driving the vehicle.
  • the image projection apparatus 10 includes a projection unit 12, a projection mirror 20, a projection mirror driving unit 24, a combiner 28, and a control unit 30.
  • the projection unit 12 generates image display light for presenting the virtual image 70 and projects the generated image display light onto the projection mirror 20.
  • the projection mirror 20 is a concave mirror, and magnifies and reflects the image display light from the projection unit 12 toward the combiner 28.
  • the projection mirror drive unit 24 adjusts the reflection angle of the projection mirror 20 to adjust the presentation position of the virtual image 70.
  • the control unit 30 controls the operations of the projection unit 12 and the projection mirror driving unit 24.
  • the in-vehicle camera 42 is an imaging device for capturing an image in front of the vehicle.
  • the in-vehicle camera 42 is disposed at a position where an object outside the vehicle such as a lane marking on the road can be photographed, and is disposed, for example, in the vicinity of the rear view mirror 58 as shown in FIG.
  • the in-vehicle camera 42 is directly or indirectly connected to the control unit 30 and transmits captured video data to the control unit 30.
  • the on-vehicle sensor 44 is a device for specifying the position and orientation of the vehicle 50.
  • the in-vehicle sensor 44 includes, for example, a vehicle speed sensor, a steering angle sensor, an acceleration sensor, an angular acceleration sensor, a GPS receiver, and the like.
  • the in-vehicle sensor 44 is connected directly or indirectly to the control unit 30 and transmits measured data to the control unit 30.
  • the external device 60 is a device that generates original data of an image displayed as the virtual image 70.
  • the external device 60 includes, for example, a navigation device, a mobile device such as a mobile phone, a smartphone, and a tablet.
  • the external device 60 may be an electronic control unit (ECU; Electronic Control Unit) for displaying information related to vehicle travel on the instrument panel 54.
  • the external device 60 is connected to the control unit 30 and transmits image data and the like necessary for displaying the virtual image 70 to the control unit 30.
  • FIG. 4 is a top view schematically showing the internal configuration of the image projection apparatus 10.
  • the projection unit 12 includes a light source 14, an image display element 16, and a projection lens 18.
  • the projection unit 12 may include various optical elements such as an optical lens, a filter, and a mirror (not shown).
  • the projection unit 12 generates image display light by illuminating the image display element 16 with light from the light source 14 and projects the generated image display light toward the projection mirror 20 through the projection lens 18.
  • the image display element 16 operates to receive image data transmitted from the control unit 30 and generate image display light corresponding to the image data.
  • the image display element 16 for example, LCOS (Liquid Crystal On Silicon) which is a reflective liquid crystal display element, LCD (Liquid Crystal Display) which is a transmissive liquid crystal display element, or the like is used.
  • LCOS Liquid Crystal On Silicon
  • LCD Liquid Crystal Display
  • an organic EL Electro Luminescence
  • the projection mirror drive unit 24 includes a projection mirror drive shaft 21, a projection mirror gear 22, a motor 25, a motor gear 26, and an intermediate gear 27.
  • the projection mirror drive shaft 21 is attached to the back surface of the projection mirror 20 and the like, and changes the direction of the projection mirror 20 by its rotation.
  • the projection mirror drive shaft 21 is provided with a coaxial projection mirror gear 22.
  • a motor gear 26 is provided on the rotation shaft of the motor 25, and the rotational force of the motor 25 is transmitted to the projection mirror gear 22 via the intermediate gear 27.
  • the projection mirror drive unit 24 drives the motor 25 to rotate the projection mirror drive shaft 21 as indicated by an arrow, and adjusts the reflection angle of the image display light projected on the projection mirror 20.
  • the projection mirror drive unit 24 adjusts the presentation position of the virtual image 70 presented via the combiner 28 by adjusting the reflection angle of the image display light.
  • the projection mirror drive part 24 is comprised so that the presentation position of the virtual image 70 can move to the left-right direction.
  • FIG. 5 is a diagram schematically illustrating an operation example of the projection mirror driving unit 24, and illustrates a state in which the projection mirror 20 is rotated counterclockwise as indicated by an arrow.
  • the projection position of the image display light reflected by the projection mirror 20 and projected onto the combiner 28 is shifted to the left.
  • the presentation position of the virtual image 70 presented via the combiner 28 can be shifted to the left side.
  • FIG. 6 is a block diagram showing a functional configuration of the virtual image presentation system 100.
  • the virtual image presentation system 100 includes an image projection device 10, an acquisition unit 40, and an external device 60.
  • the acquisition unit 40 includes an in-vehicle camera 42, an in-vehicle sensor 44, and the like, acquires information for specifying the position of an object outside the vehicle 50, and transmits the information to the image projection apparatus 10.
  • the external device 60 includes a navigation device 62, a mobile device 64, an electronic control unit 66, and the like, and transmits image data used for displaying the virtual image 70 to the image projection device 10.
  • the control unit 30 includes an image processing unit 32, a specifying unit 34, and a virtual image position adjusting unit 36.
  • the image processing unit 32 generates an image signal for displaying the virtual image 70 using the image data received from the external device 60, and drives the projection unit 12 based on the generated image signal.
  • the specifying unit 34 generates information for specifying the positional relationship between the vehicle 50 and the object based on the information from the acquisition unit 40.
  • the identifying unit 34 recognizes an image of the position of a lane marking that is a target object from an image in front of the vehicle captured by the in-vehicle camera 42, and the vehicle is determined based on the arrangement of the left lane marking 82 and the right lane marking 84 positioned on the left and right of the traveling lane 80 The positional relationship between 50 and the lane marking is specified.
  • FIGS. 7A and 7B are diagrams schematically showing a method of specifying the vehicle position from the image in front of the vehicle.
  • FIG. 7A is an image taken when the vehicle 50 is traveling near the center of the traveling lane 80, and corresponds to the traveling state shown in FIG.
  • the image in front of the vehicle captured by the in-vehicle camera 42 includes a traveling lane 80, a left lane line 82, a right lane line 84, a horizon line 86, and the like.
  • FIG. 7B is an image taken when the vehicle 50 is traveling on the right side of the traveling lane 80, and corresponds to the traveling state shown in FIG.
  • the identifying unit 34 sets a center reference line 90 and a horizontal reference line 92 for the video to be captured.
  • the center reference line 90 is a reference line that is set so as to extend in the traveling direction (z direction) or the height direction (y direction) of the vehicle 50, and the center position of the vehicle 50 or the lateral direction (x direction) of the driver's seat. Indicates the position.
  • the horizontal reference line 92 is a reference line set so as to extend in the horizontal direction (x direction), and indicates a position where the virtual image 70 is presented.
  • the height h of the horizontal reference line 92 is set as a position about 1.7 m to 2.0 m ahead where the virtual image 70 is presented.
  • the positions of the center reference line 90 and the horizontal reference line 92 are stored in the control unit 30 in advance.
  • an appropriate value is set in advance according to the installation position of the combiner 28 and the in-vehicle camera 42, or the like.
  • the positions of the center reference line 90 and the horizontal reference line 92 may be set by a user operation.
  • the position of the central reference line 90 may be determined from the video from the in-vehicle camera 42.
  • the position of the center reference line 90 can be obtained from the position of the intersection of the left lane line 82 and the right lane line 84 (or their extension lines).
  • the specifying unit 34 uses the set center reference line 90 and horizontal reference line 92 to set the length a along the horizontal reference line 92 from the center reference line 90 to the left partition line 82 and the right from the center reference line 90 to the right.
  • the length b along the horizontal reference line 92 up to the lane marking 84 is measured.
  • c 1.
  • the specifying unit 34 calculates a ratio c indicating how much the travel position of the vehicle 50 is shifted to the left and right, and identifies the travel position of the vehicle 50 with respect to the travel lane 80.
  • the specifying unit 34 notifies the virtual image position adjusting unit 36 of information related to the specified travel position of the vehicle 50.
  • the specifying unit 34 specifies the traveling direction of the vehicle 50 based on the information from the in-vehicle sensor 44, in other words, whether the vehicle 50 is going straight or turning left and right. Further, the specifying unit 34 specifies the vibration state of the vehicle 50 based on information from the in-vehicle sensor 44. The specifying unit 34 specifies the traveling direction and the vibration state of the vehicle 50 based on information such as a steering angle sensor, an acceleration sensor, and an angular acceleration sensor. The specifying unit 34 notifies the virtual image position adjusting unit 36 of information related to the specified traveling direction and vibration state of the vehicle 50.
  • the virtual image position adjustment unit 36 adjusts the presentation position of the virtual image 70 by controlling the operations of the projection unit 12 and the projection mirror driving unit 24 based on the information from the specifying unit 34.
  • the virtual image position adjustment unit 36 includes an image position adjustment unit 37 and a projection position adjustment unit 38.
  • the projection position adjusting unit 38 adjusts the projection position of the image display light by controlling the operation of the projection mirror driving unit 24 as shown in FIG.
  • the image position adjustment unit 37 adjusts the position of the image included in the image display light generated by the projection unit 12 by controlling the operation of the image display element 16.
  • FIGS. 8A and 8B are diagrams schematically illustrating an operation example of the image display element 16, and schematically illustrate an example of control of the image display element 16 by the image position adjustment unit 37.
  • FIG. 8A shows a state in which the image display region 16b is assigned to the center of the effective display region 16a of the image display element 16. In this case, the presentation position of the virtual image 70 is near the center of the projected image display light. It becomes.
  • FIG. 8B shows a state in which the image display area 16b is allocated to the upper left position in the effective display area 16a. In this case, the presentation position of the virtual image 70 is the upper left side of the projected image display light.
  • the image position adjustment unit 37 adjusts the presentation position of the virtual image 70 by adjusting the position of the image display region 16b as described above.
  • the virtual image position adjustment unit 36 determines the adjustment amount and adjustment direction of the presentation position of the virtual image 70 based on the information from the specifying unit 34.
  • the traveling position of the vehicle 50 is specified to be rightward, that is, when the ratio c> 0 calculated by the specifying unit 34, the presentation position is adjusted so that the presentation position of the virtual image 70 is shifted to the left side.
  • the travel of the vehicle 50 is specified to be leftward, that is, when the ratio c ⁇ 0 calculated by the specifying unit 34, the presentation position of the virtual image 70 is shifted to the right side.
  • the virtual image position adjusting unit 36 sets the amount of deviation calculated by the specifying unit 34, that is, the amount of deviation of the presentation position of the virtual image 70 in accordance with the absolute value of the ratio c.
  • the virtual image position adjustment unit 36 determines the adjustment amount of the presentation position of the virtual image 70 by, for example, multiplying the size of the ratio c by a predetermined proportional constant.
  • the virtual image position adjustment unit 36 may determine the adjustment amount of the presentation position of the virtual image 70 by referring to a table in which the adjustment amount of the presentation position of the virtual image 70 is associated with each range of the size of the ratio c. .
  • the table value may be set so that the adjustment amount of the presentation position of the virtual image 70 is constant within a certain range of the size of the ratio c set in the table.
  • the table value may be set so that the presentation position of the virtual image 70 is in the center.
  • FIG. 9 is a diagram schematically illustrating how the virtual image 70 whose presentation position is adjusted by the virtual image presentation system 100 is viewed.
  • FIG. 9 shows a case where the vehicle 50 is traveling on the right side of the travel lane 80, and corresponds to the case where the image in front of the vehicle shown in FIG.
  • the virtual image position adjusting unit 36 adjusts the presentation position so that the virtual image 70 is presented on the left side.
  • the virtual image 70 is presented at a position shifted to the left from the center position of the steering wheel 56 as shown in the figure, for example, near the center of the traveling lane 80.
  • the positional relationship between the virtual image 70 viewed from the driver and the left lane marking 82 and the right lane marking 84 is maintained at a predetermined positional relationship while the vehicle 50 is traveling. You can make it.
  • the virtual image position adjusting unit 36 may adjust the presentation position of the virtual image 70 according to the traveling direction of the vehicle 50 specified by the specifying unit 34. For example, when it is specified that the vehicle 50 is traveling along a road that curves to the right, the virtual image position adjustment unit 36 may adjust the presentation position so that the virtual image 70 is presented shifted to the right side. . As a result, the virtual image 70 can be presented in the direction of the driver's line of sight toward the tip of the right curve. Conversely, when it is specified that the vehicle 50 is traveling along a road that curves to the left, the presentation position may be adjusted so that the virtual image 70 is presented shifted to the left.
  • the virtual image position adjustment unit 36 may adjust the presentation position so that the virtual image 70 is presented while being shifted downward. Conversely, when it is specified that the vehicle 50 is traveling downhill, the presentation position may be adjusted so that the virtual image 70 is presented shifted upward.
  • the virtual image position adjusting unit 36 may adjust the presentation position of the virtual image 70 according to the vibration state of the vehicle 50 specified by the specifying unit 34. Specifically, the presentation position may be adjusted so that the virtual image 70 is presented in a direction opposite to the vibration direction of the vehicle 50. Thereby, the influence that the virtual image 70 appears blurred due to the vibration of the vehicle 50 can be reduced.
  • the virtual image position adjusting unit 36 may adjust the presentation position of the virtual image 70 by using the image position adjusting unit 37 and the projection position adjusting unit 38 according to the type of information specified by the specifying unit 34. For example, when adjusting the presentation position according to the travel position of the vehicle 50 specified by the specifying unit 34, the projection position adjusting unit 38 may adjust the presentation position of the virtual image 70. When adjusting the presentation position according to the vibration state of the vehicle 50 specified by the specifying unit 34, the image position adjusting unit 37 may adjust the presentation position of the virtual image 70. It should be noted that the presentation position may be adjusted using only one of the image position adjustment unit 37 and the projection position adjustment unit 38, or the presentation position may be adjusted by combining both adjustment functions.
  • FIG. 10 is a flowchart showing an operation flow of the virtual image presentation system 100.
  • Information for specifying the position of an object outside the vehicle is acquired (S10), and information for specifying the positional relationship between the object and the vehicle is generated (S12).
  • the virtual image presentation position is adjusted based on the information for specifying the generated positional relationship (S14), and image display light is projected so that the virtual image is presented at the adjusted presentation position (S16).
  • the positional relationship between an object outside the vehicle and the vehicle 50 can be specified, and the presentation position of the virtual image 70 can be adjusted based on the positional relationship.
  • the presentation position of the virtual image 70 can be adjusted so as to be aligned with the movement of the scenery outside the vehicle that is visible about 2 m ahead of the vehicle where the virtual image 70 is presented.
  • the unnatural appearance that the virtual image 70 looks as if it is moving with respect to the scenery outside the vehicle can be alleviated.
  • the visibility of the virtual image 70 to be presented can be improved.
  • FIG. 11 is a diagram schematically illustrating a configuration of a virtual image presentation system 100 according to a modification.
  • This modified example is different from the above-described embodiment in that the in-vehicle camera 42 is provided at substantially the same position as the viewpoint of the driver E, and the in-vehicle camera 42 can photograph the scenery outside the vehicle and the virtual image 70 at the same time.
  • this modification will be described focusing on differences from the above-described embodiment.
  • FIG. 12 is a diagram schematically showing an image captured by the in-vehicle camera 42 according to the modification.
  • the image captured by the in-vehicle camera 42 according to the present modification includes a virtual image 70 together with the scenery outside the vehicle including the traveling lane 80, the left lane marking 82, the right lane marking 84, and the horizon 86.
  • the video imaged by the in-vehicle camera 42 is transmitted to the control unit 30.
  • the identifying unit 34 sets a horizontal reference line 94 for the captured video. Unlike the above-described embodiment, the height h of the horizontal reference line 94 is set farther than the height position at which the virtual image 70 is presented. The position h of the horizontal reference line 94 is set, for example, to a position about 10 to 20 meters ahead of the vehicle. Further, the specifying unit 34 sets an intersection point of the horizontal reference line 94 and the left partition line 82 as a reference point 83 by image recognition.
  • the specifying unit 34 further sets a virtual image horizontal position detection line 96 and a virtual image height position detection line 98.
  • the virtual image horizontal position detection line 96 is a detection line indicating the horizontal position of the virtual image 70
  • the virtual image height position detection line 98 is a detection line indicating the height position of the virtual image 70.
  • the identification unit 34 sets the upper left position of the virtual image 70 as a detection point 99 by image recognition, and detects the detection lines extending in the horizontal direction and the vertical direction passing through the detection point 99 as the virtual image horizontal position detection line 96 and the virtual image height position detection, respectively. Set as line 98.
  • the specifying unit 34 measures the distance u from the reference point 83 to the virtual image horizontal position detection line 96 and the distance v from the reference point 83 to the virtual image height position detection line 98, and the positions of the reference point 83 and the detection point 99. Identify relationships.
  • the specifying unit 34 transmits information indicating the positional relationship between the specified reference point 83 and the detection point 99 to the virtual image position adjusting unit 36.
  • the specifying unit 34 holds, for example, reference distances u 0 and v 0 for defining a reference position where the virtual image 70 should be presented, and a difference u ⁇ u 0 and v ⁇ v between the measured distance and the reference distance. A value of 0 is transmitted to the virtual image position adjustment unit 36.
  • the virtual image position adjustment unit 36 performs feedback control for adjusting the presentation position of the virtual image 70 so that the positional relationship between the reference point 83 and the detection point 99 is a predetermined positional relationship.
  • the virtual image position adjustment unit 36 determines the adjustment direction and adjustment amount of the presentation position based on the differences u ⁇ u 0 and v ⁇ v 0 between the measurement distance and the reference distance transmitted from the specifying unit 34.
  • the distance between the detection point 99 of the virtual image 70 and the reference point 83 is adjusted to be maintained at the reference distances u 0 and v 0 .
  • FIGS. 13A and 13B are diagrams schematically illustrating how the presentation position of the virtual image 70 is adjusted.
  • FIG. 13A shows the position of the virtual image 70 before adjustment
  • FIG. 13B shows the position of the virtual image 70 after adjustment.
  • distances u and v indicating the positional relationship between the reference point 83 and the detection point 99 are measured using an image from the in-vehicle camera 42.
  • the presentation position of the virtual image 70 is adjusted.
  • the virtual image 70 can be presented while maintaining the position of the left partition line 82 as the object and the virtual image 70 in a predetermined positional relationship.
  • the position of the virtual image 70 is adjusted with reference to a horizontal reference line 94 provided at a position of about 10 m to 20 m in front of the vehicle.
  • the position of the reference point 83 that is the intersection of the left partition line 82 and the horizontal reference line 94 can change according to the travel position of the vehicle 50.
  • the horizontal reference line 94 is provided at a position farther in front of the vehicle than the virtual image 70, the horizontal position shift of the reference point 83 due to the difference in the travel position is smaller than the horizontal position shift of the virtual image 70. Therefore, even if the reference point 83 is used as a reference, the position of the virtual image 70 can be adjusted by detecting a significant shift in the left-right position of the virtual image 70.
  • the position of about 10 m to 20 m ahead of the vehicle where the horizontal reference line 94 is set is an area where there is usually no vehicle or the like that runs forward if the vehicle 50 is traveling at a constant speed. Therefore, it can be said that there is little possibility that the reference point 83 cannot be detected because the left lane marking 82 is blocked by the vehicle ahead while the vehicle 50 is traveling.
  • the reference point 83 can be appropriately detected. Thereby, the presentation position of the virtual image 70 can be adjusted suitably.
  • the configuration in which the virtual image position adjustment unit 36 includes both the image position adjustment unit 37 and the projection position adjustment unit 38 has been described.
  • the virtual image position adjustment unit 36 may include only one of the image position adjustment unit 37 and the projection position adjustment unit 38.
  • the virtual image presentation position may be adjusted only by one of the image display element 16 and the projection mirror driving unit 24.
  • the direction of the projection mirror 20 may be adjustable in the vertical direction, or may be adjustable in both the horizontal direction and the vertical direction.
  • the presentation position of the virtual image 70 may be adjusted in the vertical direction by using the projection mirror 20 whose direction can be adjusted in the vertical direction.
  • the presentation position of the virtual image 70 is adjusted using the image display element 16 and the projection mirror driving unit 24 has been described.
  • the presentation position of the virtual image 70 may be adjusted using the projection lens 18 included in the projection unit 12.
  • the presentation position of the virtual image 70 may be adjusted by changing the projection direction of the image display light by displacing the position of the projection lens 18 with respect to the optical axis of the image display light.
  • the specifying unit 34 generates information used for adjusting the presentation position of the virtual image 70 based on information from both the in-vehicle camera 42 and the in-vehicle sensor 44.
  • information used for adjusting the presentation position of the virtual image 70 may be generated based on only one of the information of the in-vehicle camera 42 and the in-vehicle sensor 44. For example, when only the information of the in-vehicle camera 42 is used, the presentation position of the virtual image 70 may be adjusted only for the purpose of relaxing the positional relationship with the object outside the vehicle.
  • the presentation position of the virtual image 70 may be adjusted for the purpose of reducing the blurring of the virtual image 70 due to the vibration of the vehicle 50.
  • the vibration of the vehicle 50 may be detected using information from the in-vehicle camera 42, or the traveling position of the vehicle 50 may be detected using information from the in-vehicle sensor 44.
  • a lane marking for dividing a road lane is used as an object.
  • different objects that are visible around the vehicle and visible to the driver may be used as the target.
  • the position of the vehicle traveling in front of the host vehicle may be the target, and the traveling position of the host vehicle may be specified using the position of the preceding vehicle.
  • the case where the combiner 28 is used as the virtual image presentation surface is shown.
  • the windshield 52 of the vehicle 50 may be used as a virtual image presentation surface.
  • the virtual image presentation surface may not be provided at a position in front of the driver, and may be provided at a position in the center of the vehicle slightly shifted from the front of the driver.
  • the presentation position of the virtual image 70 is about 1.7 m to 2.0 m in front of the vehicle is shown.
  • the virtual image presentation position may be a farther position in front of the vehicle.
  • the image projection apparatus 10 may be configured so that the virtual image presentation position is about 5 m to 10 m in front of the vehicle.
  • the position of the horizontal reference line 92 used for detecting the traveling position is set to be about 5 m to 10 m in front of the same vehicle as the virtual image presentation position.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

虚像提示システム１００は、車両５０に設けられる虚像提示面に向けて画像表示光を投射し、運転者Ｅに虚像７０を提示する投射部１２と、車両５０の外部にある対象物の位置を特定するための情報を取得する取得部と、取得部が取得する情報に基づいて対象物と車両５０の位置関係を特定するための情報を生成する特定部と、特定部が生成する情報に基づいて運転者Ｅから見た虚像７０の提示位置を調整する虚像位置調整部と、を備える。

Description

虚像提示システム、画像投射装置および虚像提示方法
　本発明は、虚像提示技術に関し、特に画像表示光に基づく画像を虚像としてユーザに提示するための虚像提示システム、画像投射装置および虚像提示方法に関する。
　近年、車両用表示装置としてヘッドアップディスプレイが用いられている。ヘッドアップディスプレイは、画像表示光を車両のウィンドシールドなどに向けて投射し、画像表示光に基づく虚像を車外の風景に重畳して表示する。高速道路などを走行している場合と市街地を走行している場合とでは運転者の視線が上下方向に異なることがあるため、走行中の道路の種類に応じて虚像の表示位置の高さを切り替えることで虚像の視認性が高められる（例えば、特許文献１参照）。
特開２００９－１１３７１０号公報
　車両を一定速度で走行させているような場合、運転者は車両が走行する車線の中央遠方に向かう方向に視線を固定していることが多い。このとき、車両の走行位置が車線に対して左右に動くと、車外の風景のうち車両の近くに位置する手前側に見える物ほど左右に大きく動くように見える。一方で、ヘッドアップディスプレイ装置は車両に固定されていることから、走行中に表示される虚像の表示位置は車両に対して固定された位置となる。そうすると、車両の動きによって左右に動いて見える風景に対して固定された位置に虚像が重畳されることとなり、虚像の見え方が不自然になることがあった。
　本発明はこうした状況に鑑みてなされたものであり、その目的は、車外の風景と重畳して表示される虚像の視認性を高める技術を提供することである。
　上記課題を解決するために、本発明のある態様の虚像提示システムは、車両に設けられる虚像提示面に向けて画像表示光を投射し、運転者に虚像を提示する投射部と、車両の外部にある対象物の位置を特定するための情報を取得する取得部と、取得部が取得する情報に基づいて対象物と車両の位置関係を特定するための情報を生成する特定部と、特定部が生成する情報に基づいて運転者から見た虚像の提示位置を調整する虚像位置調整部と、を備える。
　本発明の別の態様は、画像投射装置である。この装置は、車両に設けられる虚像提示面に向けて画像表示光を投射し、運転者に虚像を提示する投射部と、車両の外部にある対象物の位置を特定するための情報の入力を受けて対象物と車両の位置関係を特定するための情報を生成する特定部と、特定部が生成する情報に基づいて運転者から見た虚像の提示位置を調整する虚像位置調整部と、を備える。
　本発明のさらに別の態様は、虚像提示方法である。この方法は、車両の外部にある対象物の位置を特定するための情報に基づいて対象物と車両の位置関係を特定するための情報を生成するステップと、生成される位置関係を特定するための情報に基づいて車両に設けられる虚像提示面に提示される虚像の提示位置を調整するステップと、調整される提示位置に虚像が提示されるように虚像提示面に向けて画像表示光を投射するステップと、を備える。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、車外の風景と重畳して表示される虚像の視認性を高めることができる。
実施の形態に係る虚像提示システムにより提示される虚像の見え方を模式的に示す図である。 比較例に係る虚像提示システムにより提示される虚像の見え方を模式的に示す図である。 実施の形態に係る虚像提示システムの構成を示す図である。 画像投射装置の内部構成を模式的に示す上面図である。 投射鏡駆動部の動作例を模式的に示す図である。 虚像提示システムの機能構成を示すブロック図である。 図７（ａ）及び（ｂ）は、車両前方の映像から車両位置を特定する方法を模式的に示す図である。 図８（ａ）及び（ｂ）は、画像表示素子の動作例を模式的に示す図である。 虚像提示システムにより提示位置が調整された虚像の見え方を模式的に示す図である。 虚像提示システムの動作の流れを示すフローチャートである。 変形例に係る虚像提示システムの構成を示す図である。 変形例に係る車載カメラにより撮影される映像を模式的に示す図である。 図１３（ａ）及び（ｂ）は、虚像の提示位置を調整する様子を模式的に示す図である。
　以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。また、以下に述べる構成は例示であり、本発明の範囲を何ら限定するものではない。
　本発明を具体的に説明する前に、概要を述べる。本発明の実施の形態は、虚像提示システムである。虚像提示システムは、車両に設けられる虚像提示面に向けて画像表示光を投射して運転者に虚像を提示する。虚像システムは、さらに、車両の外部にある対象物の位置を特定するための情報を取得する取得部と、取得部が取得する情報に基づいて対象物と車両との位置関係を特定するための情報を生成する特定部と、特定部が生成する情報に基づいて運転者から見た虚像の提示位置を調整する虚像位置調整部と、を備える。
　ここで、車両の外部にある対象物とは、例えば、道路の走行車線を区画するため区画線であり、例えば、実線や破線で構成される白線などである。本実施の形態では、車両と区画線との位置関係を特定することによって、車両が走行車線の中央付近を走行しているのか、または、走行車線において右寄りまたは左寄りに走行しているのかを把握する。さらに車両の走行位置に応じて虚像の提示位置を調整し、例えば、車両が走行車線を右寄りに走行している場合には、虚像の提示位置を反対側の左側にずらす。これにより、虚像の提示位置が走行車線の中央付近に位置するようにし、虚像の視認性を高めることとする。
　図１は、実施の形態に係る虚像提示システム１００により提示される虚像７０の見え方を模式的に示す図である。虚像提示システム１００は、車両５０に搭載される虚像提示面であるコンバイナ２８に向けて画像表示光を投射し、コンバイナ２８を介して虚像７０を運転者に提示する。コンバイナ２８は、例えば、運転者の正面の位置に設けられ、より具体的には、車両５０のインスツルメントパネル５４やステアリングホイール５６と運転者を結ぶ直線上に配置される。コンバイナ２８は、車外からの光を透過するように構成されており、運転者は、コンバイナ２８を介して車外の風景と虚像７０とを同時に見ることができる。
　運転者に提示される虚像７０として、インスツルメントパネル５４に示される車両の走行速度などを表示するための画像や、ナビゲーション装置６２による目的地までのルート案内に関する情報を示すための画像が用いられる。このような画像は、車両前方の約１．７ｍ～２．０ｍ程度の位置に見えるように提示され、運転者は、車外の風景に重畳された虚像を視認する。
　なお、本明細書における説明において、図１に示すようなｘ軸、ｙ軸、ｚ軸で規定される直角座標系を用いる。ｘ軸は、車両の幅方向に延び、ｙ軸は、車両の高さ方向に延び、ｚ軸は、車両の長さ方向に延びる。また、ｘ軸、ｙ軸、ｚ軸のそれぞれの正の方向は、図１の矢印方向に規定され、負の方向は、矢印と逆向きの方向に規定される。
　また、このような直角座標系に加えて、方向を示すために、前方・後方、左方・右方、上方・下方を使用することもある。前方・後方は、車両５０の前方向および後方向、つまり、車両の進行方向とする。つまり、前方は、ｚ軸の正方向に相当し、後方は、ｚ軸の負方向に相当する。左方・右方は、車両５０の左側方向および右側方向とする。つまり、左方は、ｘ軸の正方向に相当し、右方は、ｘ軸の負方向に相当する。上方・下方は、車両５０が走行する路面に垂直な方向であり、その路面に対し車両側の方向およびその反対方向を意味する。つまり、上方は、ｙ軸の正方向に相当し、下方は、ｙ軸の負方向に相当する。
　図１では、直線的に延びる走行車線８０の中央付近を車両５０が走行しているときの様子を示している。ウインドシールド５２からは、地平線８６に向かって延びる走行車線８０が見えており、左区画線８２および右区画線８４のそれぞれが地平線８６に向かって走行車線８０に沿って延びている。車両５０は、左区画線８２と右区画線８４の間の中央付近を走行している。このような道路にて車両５０を一定速度で走行させる場合、運転者は、走行車線８０の中央遠方に向かう方向に視線を固定していることが多い。運転者が中央遠方に向かう方向に視線を固定しているとき、運転者からは左区画線８２と右区画線８４のちょうど間の位置に虚像７０が配置されるように見える。
　図２は、比較例に係る虚像提示システム２００により提示される虚像１７０の見え方を模式的に示す図である。虚像提示システム２００は、実施の形態と異なり、車両５０の走行位置に拘わらず車両５０に対して固定された位置に虚像１７０を提示する。虚像提示システム２００は、図１に示す虚像７０と同じ位置に固定して虚像１７０を提示するように構成されており、車両前方の約１．７ｍ～２．０ｍ先の位置に虚像１７０を提示する。
　図２では、走行車線８０の右寄りを車両５０が走行しているときの様子を示している。車両５０の走行位置が右寄りであるため、右区画線８４は、図１の右区画線（図２にて破線で図示）よりも左側にΔｘだけずれて見える。同様に、左区画線８２も、図１の左区画線（図２にて細実線で図示）よりも左側にずれて見える。このように、車両５０の走行位置が走行車線８０に対して左右に動くと車外の風景が左右にずれて見える。また、車外の風景のうち、車両の近くに位置する手前側に見える物ほど左右に大きくずれるように見える。このため、虚像１７０が提示される車両前方の約２ｍの位置における左右のずれは、運転者が位置のずれを有意に認識できる程度に大きいと言える。
　一方、虚像１７０は車両５０に対して固定されているため、運転者から見た虚像１７０の位置は左右にずれない。その結果、虚像１７０が提示される車両前方の約２ｍの位置における車外の風景は左右にずれるのに対し、虚像１７０だけが左右にずれないという見え方が生じる。逆の見方をすれば、車外の風景に対して虚像１７０の位置だけが左右にずれ、あたかも虚像１７０の提示位置が走行車線８０の右側にずれたかのような見方が生じうる。そのため、虚像１７０の提示位置を固定することによって、虚像１７０が不自然に見えるおそれが生じる。
　そこで、本実施の形態では、車両の走行位置に応じて虚像７０の提示位置を調整することにより、虚像７０が車外の風景と一体となっているかのような自然な見え方を提供する。以下、実施の形態に係る虚像提示システム１００の構成について詳述する。
　図３は、実施の形態に係る虚像提示システム１００の構成を示す図である。虚像提示システム１００は、画像投射装置１０と、車載カメラ４２と、車載センサ４４と、外部装置６０と、を備える。
　画像投射装置１０は、いわゆるヘッドアップディスプレイ装置であり、虚像提示面であるコンバイナ２８に画像表示光を投射することで虚像７０を運転者Ｅに提示する。運転者Ｅは、コンバイナ２８およびウインドシールド５２を介して、車外の風景に重畳される虚像７０を見ることができる。そのため、運転者Ｅは、車両の運転中に視線をほとんど動かすことなく虚像７０に示される情報を得ることができる。
　画像投射装置１０は、投射部１２と、投射鏡２０と、投射鏡駆動部２４と、コンバイナ２８と、制御部３０とを有する。投射部１２は、虚像７０を提示するための画像表示光を生成し、生成した画像表示光を投射鏡２０に投射する。投射鏡２０は、凹面鏡であり、投射部１２からの画像表示光を拡大してコンバイナ２８に向けて反射させる。投射鏡駆動部２４は、投射鏡２０の反射角度を調整して虚像７０の提示位置を調整する。制御部３０は、投射部１２および投射鏡駆動部２４の動作を制御する。
　車載カメラ４２は、車両前方の映像を撮影するための撮像装置である。車載カメラ４２は、道路上の区画線といった車両外部の対象物が撮影可能な位置に配置され、例えば、図１に示すようにリアビューミラー５８の近傍に配置される。車載カメラ４２は、制御部３０に直接または間接的に接続されており、撮影した映像のデータを制御部３０に送信する。
　車載センサ４４は、車両５０の位置や向きなどを特定するための装置である。車載センサ４４は、例えば、車速センサ、舵角センサ、加速度センサ、角加速度センサ、ＧＰＳ受信器などを含む。車載センサ４４は、制御部３０に直接または間接的に接続されており、測定したデータを制御部３０に送信する。
　外部装置６０は、虚像７０として表示される画像の元データを生成する装置である。外部装置６０は、例えば、ナビゲーション装置や、携帯電話やスマートフォン、タブレットといったモバイル装置などを含む。外部装置６０は、車両の走行に関する情報をインスツルメントパネル５４に表示するための電子制御ユニット（ＥＣＵ；Electronic Control Unit）であってもよい。外部装置６０は、制御部３０に接続されており、虚像７０の表示に必要な画像データ等を制御部３０に送信する。
　図４は、画像投射装置１０の内部構成を模式的に示す上面図である。
　投射部１２は、光源１４、画像表示素子１６、投射レンズ１８を含む。投射部１２は、その他、図示しない光学レンズやフィルタ、鏡などの各種光学素子を含んでもよい。投射部１２は、画像表示素子１６に光源１４からの光を照明することにより画像表示光を生成し、生成した画像表示光を投射レンズ１８を通じて投射鏡２０に向けて投射する。
　画像表示素子１６は、制御部３０から送信される画像データを受け、画像データに対応する画像表示光を生成するように動作する。画像表示素子１６として、例えば、反射型液晶表示素子であるＬＣＯＳ（Liquid Crystal On Silicon）や、透過型液晶表示素子であるＬＣＤ（Liquid Crystal Display）などが用いられる。なお、光源１４および画像表示素子１６の代わりに、自発光型の画像表示素子である有機ＥＬ（Electro Luminescence）素子が用いられてもよい。
　投射鏡駆動部２４は、投射鏡駆動軸２１、投射鏡ギア２２、モータ２５、モータギア２６、中間ギア２７を有する。投射鏡駆動軸２１は、投射鏡２０の裏面などに取り付けられ、その回転により投射鏡２０の向きを変化させる。投射鏡駆動軸２１には、同軸の投射鏡ギア２２が設けられる。モータ２５の回転軸にはモータギア２６が設けられ、中間ギア２７を介してモータ２５の回転力が投射鏡ギア２２に伝達される。
　投射鏡駆動部２４は、モータ２５を駆動することにより、投射鏡駆動軸２１を矢印で示すように回転させ、投射鏡２０に投射される画像表示光の反射角を調整する。投射鏡駆動部２４は、画像表示光の反射角を調整することにより、コンバイナ２８を介して提示される虚像７０の提示位置を調整する。本実施の形態において、投射鏡駆動部２４は、虚像７０の提示位置が左右方向に移動可能となるように構成される。
　図５は、投射鏡駆動部２４の動作例を模式的に示す図であり、投射鏡２０を矢印で示すように反時計回りに回転させた様子を示している。投射鏡２０の向きを変化させることにより、投射鏡２０により反射されてコンバイナ２８に投射される画像表示光の投射位置が左側にずれる。これにより、コンバイナ２８を介して提示される虚像７０の提示位置が左側にずらすことができる。
　図６は、虚像提示システム１００の機能構成を示すブロック図である。虚像提示システム１００は、画像投射装置１０と、取得部４０と、外部装置６０と、を備える。
　本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者に理解されるところである。
　取得部４０は、車載カメラ４２や車載センサ４４などを含み、車両５０の外部にある対象物の位置を特定するための情報を取得して画像投射装置１０に送信する。外部装置６０は、ナビゲーション装置６２、モバイル装置６４、電子制御ユニット６６などを含み、虚像７０の表示に用いる画像データを画像投射装置１０に送信する。
　制御部３０は、画像処理部３２と、特定部３４と、虚像位置調整部３６とを含む。画像処理部３２は、外部装置６０から受信する画像データを用いて虚像７０を表示するための画像信号を生成し、生成した画像信号に基づいて投射部１２を駆動させる。
　特定部３４は、取得部４０からの情報に基づいて車両５０と対象物との位置関係を特定する情報を生成する。特定部３４は、車載カメラ４２が撮影する車両前方の映像から対象物となる区画線の位置を画像認識し、走行車線８０の左右に位置する左区画線８２および右区画線８４の配置から車両５０と区画線の位置関係を特定する。
　図７（ａ）及び（ｂ）は、車両前方の映像から車両位置を特定する方法を模式的に示す図である。図７（ａ）は、車両５０が走行車線８０の中央付近を走行している場合に撮影される映像であり、上述の図１に示す走行状況に対応する。車載カメラ４２により撮影される車両前方の映像には、走行車線８０、左区画線８２、右区画線８４、地平線８６などが含まれる。一方、図７（ｂ）は、車両５０が走行車線８０の右側を走行している場合に撮影される映像であり、上述の図２に示す走行状況に対応する。
　特定部３４は、撮影される映像に対して中央基準線９０と水平基準線９２を設定する。中央基準線９０は、車両５０の進行方向（ｚ方向）または高さ方向（ｙ方向）に延びるように設定される基準線であり、車両５０の中央位置または運転席の横方向（ｘ方向）の位置を示す。水平基準線９２は、横方向（ｘ方向）に延びるように設定される基準線であり、虚像７０が提示される位置を示す。水平基準線９２の高さｈは、虚像７０が提示される約１．７ｍ～２．０ｍ先の位置として設定される。
　中央基準線９０および水平基準線９２の位置は、制御部３０に予め記憶される。例えば、虚像提示システム１００が車両５０の専用品として搭載されるような場合には、コンバイナ２８や車載カメラ４２の設置位置等に応じて適切な値が予め設定される。なお、虚像提示システム１００が車両５０に後から搭載されるような汎用品である場合には、ユーザの操作によって中央基準線９０および水平基準線９２の位置が設定されてもよい。また、中央基準線９０の位置は、車載カメラ４２からの映像から割り出すこととしてもよい。例えば、左区画線８２および右区画線８４（または、これらの延長線）の交点の位置から中央基準線９０の位置を求めることができる。
　特定部３４は、設定される中央基準線９０および水平基準線９２を用いて、中央基準線９０から左区画線８２までの水平基準線９２に沿った長さａと、中央基準線９０から右区画線８４までの水平基準線９２に沿った長さｂを計測する。特定部３４は、計測した長さａ、ｂを用いて、車両５０の走行位置の左右ずれの割合ｃ＝（ａ－ｂ）／（ａ＋ｂ）を求める。例えば、図７（ａ）に示すように車両５０の走行位置が中央であり、それぞれの長さａ，ｂが等しい場合、割合ｃ＝０となる。一方、車両５０の走行位置が左区画線８２の真上である場合には、ｃ＝－１となり、車両５０の走行位置が右区画線８４の真上である場合には、ｃ＝１となる。図７（ｂ）に示すように、それぞれの長さの比ａ：ｂ＝２：１の場合には、ｃ＝１／３となる。特定部３４は、このようにして車両５０の走行位置がどの程度左右にずれているかを示す割合ｃを算出し、走行車線８０に対する車両５０の走行位置を特定する。特定部３４は、特定した車両５０の走行位置に関する情報を虚像位置調整部３６に通知する。
　また、特定部３４は、車載センサ４４からの情報に基づいて車両５０の進行方向、言いかえれば、車両５０が直進しているか、左右に曲がって進んでいるを特定する。さらに、特定部３４は、車載センサ４４からの情報に基づいて車両５０の振動の状況を特定する。特定部３４は、例えば、舵角センサ、加速度センサ、角加速度センサなどの情報に基づいて車両５０の進行方向や振動の状態を特定する。特定部３４は、特定した車両５０の進行方向および振動状態に関する情報を虚像位置調整部３６に通知する。
　虚像位置調整部３６は、特定部３４からの情報に基づいて投射部１２および投射鏡駆動部２４の動作を制御して虚像７０の提示位置を調整する。虚像位置調整部３６は、画像位置調整部３７と、投射位置調整部３８とを有する。投射位置調整部３８は、図５に示すように投射鏡駆動部２４の動作を制御することにより、画像表示光の投射位置を調整する。一方、画像位置調整部３７は、画像表示素子１６の動作を制御することにより、投射部１２により生成される画像表示光に含まれる画像の位置を調整する。
　図８（ａ）及び（ｂ）は、画像表示素子１６の動作例を模式的に示す図であり、画像位置調整部３７による画像表示素子１６の制御例を模式的に示している。図８（ａ）は、画像表示素子１６の有効表示領域１６ａの中央に画像表示領域１６ｂが割り当てられる様子を示しており、この場合、虚像７０の提示位置は投射される画像表示光の中央付近となる。一方、図８（ｂ）は、有効表示領域１６ａのうち左上の位置に画像表示領域１６ｂが割り当てられる様子を示している。この場合、虚像７０の提示位置は投射される画像表示光の左上の方となる。画像位置調整部３７は、このように画像表示領域１６ｂの位置を調整することで虚像７０の提示位置を調整する。
　虚像位置調整部３６は、特定部３４からの情報に基づいて虚像７０の提示位置の調整量および調整方向を決定する。車両５０の走行位置が右寄りであると特定される場合、つまり、特定部３４が算出した割合ｃ＞０の場合、虚像７０の提示位置が左側へずれるように提示位置を調整する。逆に、車両５０の走行が左寄りであると特定される場合、つまり、特定部３４が算出した割合ｃ＜０の場合、虚像７０の提示位置が右側にずれるようにする。
　虚像位置調整部３６は、特定部３４が算出したずれの量、つまり、割合ｃの絶対値の大きさに応じて虚像７０の提示位置のずれ量を設定する。虚像位置調整部３６は、例えば、割合ｃの大きさに所定の比例定数を乗算することにより虚像７０の提示位置の調整量を決定する。虚像位置調整部３６は、割合ｃの大きさの範囲ごとに虚像７０の提示位置の調整量が対応づけられたテーブルを参照することにより、虚像７０の提示位置の調整量を決定してもよい。後者の場合、テーブルに設定された割合ｃの大きさの一定範囲内においては、虚像７０の提示位置の調整量が一定となるようにテーブルの値が設定されてもよい。例えば、割合ｃの値が－０．０５≦ｃ≦０．０５の範囲となる場合に、虚像７０の提示位置が中央となるようにテーブルの値が設定されてもよい。
　図９は、虚像提示システム１００により提示位置が調整された虚像７０の見え方を模式的に示す図である。図９は、車両５０が走行車線８０の右側を走行している場合を示しており、図７（ｂ）に示す車両前方の映像が撮影される場合に対応する。この場合、特定部３４にて算出される割合ｃ＝１／３であるから、虚像位置調整部３６は、虚像７０が左側にずれて提示されるように提示位置を調整する。その結果、虚像７０は、図示されるように、ステアリングホイール５６の中央位置から左側にずれた位置に提示され、例えば、走行車線８０の中央付近に提示される。このようにして虚像７０の提示位置を調整することにより、運転者から見た虚像７０と左区画線８２および右区画線８４との位置関係が車両５０の走行中において所定の位置関係に維持されるようにすることができる。
　虚像位置調整部３６は、特定部３４が特定する車両５０の進行方向に応じて虚像７０の提示位置を調整してもよい。例えば、車両５０が右にカーブする道路に沿って走行していると特定される場合、虚像位置調整部３６は、虚像７０が右側にずれて提示されるように提示位置を調整してもよい。これにより、右カーブの先に向けられる運転者の視線方向に虚像７０を提示することができる。逆に、車両５０が左にカーブする道路に沿って走行していると特定される場合には、虚像７０が左側にずれて提示されるように提示位置を調整してもよい。また、車両５０が上り坂を走行していると特定される場合、虚像位置調整部３６は、虚像７０が下側にずれて提示されるように提示位置を調整してもよい。逆に、車両５０が下り坂を走行していると特定される場合、虚像７０が上側にずれて提示されるように提示位置を調整してもよい。
　虚像位置調整部３６は、特定部３４が特定する車両５０の振動状態に応じて虚像７０の提示位置を調整してもよい。具体的には、車両５０の振動方向と逆向きに虚像７０がずれて提示されるように提示位置を調整してもよい。これにより、車両５０の振動によって虚像７０がぶれて見えてしまう影響を緩和できる。
　虚像位置調整部３６は、特定部３４が特定する情報の種類に応じて、画像位置調整部３７および投射位置調整部３８を使い分けて虚像７０の提示位置を調整してもよい。例えば、特定部３４が特定する車両５０の走行位置に応じて提示位置を調整する場合には、投射位置調整部３８が虚像７０の提示位置を調整してもよい。また、特定部３４が特定する車両５０の振動状態に応じて提示位置を調整する場合には、画像位置調整部３７が虚像７０の提示位置を調整してもよい。なお、画像位置調整部３７および投射位置調整部３８のいずれか一方のみを用いて提示位置の調整をしてもよいし、双方による調整機能を組み合わせて提示位置を調整してもよい。
　以上の構成による虚像提示システム１００の動作を説明する。図１０は、虚像提示システム１００の動作の流れを示すフローチャートである。車両の外部にある対象物の位置を特定するための情報を取得し（Ｓ１０）、対象物と車両の位置関係を特定するための情報を生成する（Ｓ１２）。生成される位置関係を特定するための情報に基づいて虚像提示位置を調整し（Ｓ１４）、調整された提示位置に虚像が提示されるように画像表示光を投射する（Ｓ１６）。
　本実施の形態に係る虚像提示システム１００によれば、車両外部の対象物と車両５０との位置関係を特定し、その位置関係に基づいて虚像７０の提示位置を調整することができる。特に、虚像７０が提示される車両前方の約２ｍ先の位置に見える車外の風景の動きと揃うように虚像７０の提示位置を調整することができる。その結果、車外の風景に対して虚像７０があたかも動いているかのように見えるという不自然な見え方を緩和させることができる。これにより、提示する虚像７０の視認性を高めることができる。
　つづいて、変形例について説明する。図１１は、変形例に係る虚像提示システム１００の構成を模式的に示す図である。本変形例は、車載カメラ４２が運転者Ｅの視点とほぼ同じ位置に設けられており、車載カメラ４２が車外の風景と虚像７０とを同時に撮影できる点で上述の実施の形態と相違する。以下、本変形例について、上述の実施の形態との相違点を中心に説明する。
　図１２は、変形例に係る車載カメラ４２により撮影される映像を模式的に示す図である。図示されるように、本変形例に係る車載カメラ４２により撮影される映像には、走行車線８０、左区画線８２、右区画線８４および地平線８６を含む車外の風景とともに虚像７０が含まれる。車載カメラ４２により撮影された映像は、制御部３０に送信される。
　特定部３４は、撮影された映像に対して水平基準線９４を設定する。水平基準線９４の高さｈは、上述の実施の形態と異なり、虚像７０が提示される高さ位置よりも遠方に設定される。水平基準線９４の位置ｈは、例えば、車両前方の１０ｍ～２０ｍ程度先の位置に設定される。また特定部３４は、画像認識により水平基準線９４と左区画線８２の交点を基準点８３として設定する。
　特定部３４は、さらに、虚像水平位置検出線９６および虚像高さ位置検出線９８を設定する。虚像水平位置検出線９６は、虚像７０の水平位置を示す検出線であり、虚像高さ位置検出線９８は、虚像７０の高さ位置を示す検出線である。特定部３４は、画像認識により虚像７０の左上の位置を検出点９９として設定し、検出点９９を通る水平方向および上下方向に延びる検出線をそれぞれ虚像水平位置検出線９６および虚像高さ位置検出線９８として設定する。
　特定部３４は、基準点８３から虚像水平位置検出線９６までの距離ｕと、基準点８３から虚像高さ位置検出線９８までの距離ｖとを計測し、基準点８３と検出点９９の位置関係を特定する。特定部３４は、特定した基準点８３と検出点９９の位置関係を示す情報を虚像位置調整部３６に送信する。特定部３４は、例えば、虚像７０を提示すべき基準となる位置を規定するための基準距離ｕ０，ｖ０を保持し、計測した距離と基準距離との差ｕ－ｕ０，ｖ－ｖ０の値を虚像位置調整部３６に送信する。
　虚像位置調整部３６は、基準点８３と検出点９９の位置関係が所定の位置関係となるように、虚像７０の提示位置を調整するフィードバック制御を行う。虚像位置調整部３６は、特定部３４から送信される計測距離と基準距離との差ｕ－ｕ０，ｖ－ｖ０に基づいて提示位置の調整方向および調整量を決定する。これにより、虚像７０の検出点９９と基準点８３との距離が基準距離ｕ０，ｖ０に維持されるように調整する。
　図１３（ａ）及び（ｂ）は、虚像７０の提示位置を調整する様子を模式的に示す図である。図１３（ａ）は、調整前の虚像７０の位置を示し、図１３（ｂ）は調整後の虚像７０の位置を示している。図１３（ａ）に示されるように、車載カメラ４２からの映像を用いて基準点８３と検出点９９の位置関係を示す距離ｕ，ｖが計測される。計測した距離ｕ，ｖに基づいて虚像７０の提示位置を調整することにより、図１３（ｂ）に示すように基準点８３から検出点９９までの距離が基準距離ｕ０，ｖ０にとなるように虚像７０の提示位置が調整される。これにより、対象物である左区画線８２と虚像７０の位置が所定の位置関係となるように維持しながら虚像７０を提示することができる。
　本変形例では、車両前方の約１０ｍ～２０ｍの位置に設けられる水平基準線９４を基準にして虚像７０の位置が調整される。左区画線８２と水平基準線９４の交点である基準点８３の位置は、上述の実施の形態に係る中央基準線９０の位置とは異なり、車両５０の走行位置に応じて変化しうる。しかしながら、水平基準線９４は虚像７０よりも車両前方の遠い位置に設けられるため、走行位置の違いによる基準点８３の左右位置のずれは、虚像７０の左右位置のずれよりも小さい。したがって、基準点８３を基準としても虚像７０の左右位置のずれを有意に検出して虚像７０の提示位置を調整することができる。
　水平基準線９４が設定される車両前方の約１０ｍ～２０ｍの位置は、車両５０が一定速度で走行しているような状況であれば、前方を走る車両などが通常存在しない領域である。したがって、車両５０の走行中において前方車両等によって左区画線８２が遮られてしまい、基準点８３が検出できない状況となる可能性が少ないと言える。本変形例において水平基準線９４をこのような位置に設定することで、基準点８３が適切に検出されるようにすることができる。これにより、虚像７０の提示位置を好適に調節することができる。
　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上述の実施の形態では、虚像位置調整部３６が画像位置調整部３７と投射位置調整部３８の双方を含む構成を示した。さらなる変形例においては、虚像位置調整部３６が画像位置調整部３７および投射位置調整部３８のいずれか一方のみを含んでもよい。この場合、画像表示素子１６および投射鏡駆動部２４のいずれか一方によってのみ虚像提示位置が調整されてもよい。
　上述の実施の形態では、投射鏡２０の向きが投射鏡駆動部２４により左右方向に調整可能である構成を示した。さらなる変形例においては、投射鏡２０の向きが上下方向に調整可能であってもよいし、左右方向および上下方向の双方に調整可能であってもよい。上下方向に向きが調整可能な投射鏡２０を用いることで、虚像７０の提示位置を上下方向に調整してもよい。
　上述の実施の形態では、画像表示素子１６および投射鏡駆動部２４を用いて虚像７０の提示位置を調整する場合を示した。さらなる変形例においては、これらとは別の構成要素を用いて虚像７０の提示位置を調整することとしてもよい。例えば、投射部１２に含まれる投射レンズ１８を用いて虚像７０の提示位置を調整してもよい。例えば、投射レンズ１８の位置を画像表示光の光軸に対して変位させることにより、画像表示光の投射方向を変化させて虚像７０の提示位置を調整してもよい。
　上述の実施の形態では、特定部３４が車載カメラ４２および車載センサ４４の双方からの情報に基づいて虚像７０の提示位置の調整に用いられる情報を生成することとした。さらなる変形例においては、車載カメラ４２および車載センサ４４のいずれか一方の情報のみに基づいて虚像７０の提示位置の調整に用いられる情報を生成してもよい。例えば、車載カメラ４２の情報のみを用いる場合は、車外の対象物との位置関係のずれを緩和させる目的のためにのみ虚像７０の提示位置を調整してもよい。一方、車載センサ４４からの情報のみを用いる場合は、例えば、車両５０の振動による虚像７０のぶれを緩和させる目的のために虚像７０の提示位置を調整してもよい。さらなる変形例においては、車載カメラ４２の情報を用いて車両５０の振動を検出してもよいし、車載センサ４４の情報を用いて車両５０の走行位置を検出してもよい。
　上述の実施の形態では、対象物として道路の車線を区画するための区画線を用いる場合を示した。さらなる変形例においては、車両の周辺にあって運転者が視認可能な異なる物体を目標物として用いてもよい。例えば、自車の前方を走行する車両の位置を対象物とし、前方車両の位置を用いて自車の走行位置を特定してもよい。
　上述の実施の形態では、虚像提示面としてコンバイナ２８を用いる場合を示した。さらなる変形例においては、車両５０のウインドシールド５２を虚像提示面として用いてもよい。また、虚像提示面は、運転者の正面の位置に設けられなくてもよく、運転者の正面から少しずれた車両中央の位置に設けられてもよい。
　上述の実施の形態では、虚像７０の提示位置が車両前方の約１．７ｍ～２．０ｍである場合を示した。さらなる変形例においては、虚像の提示位置が車両前方のさらに遠い位置であってもよい。例えば、虚像の提示位置が車両前方の約５ｍ～１０ｍ程度となるように画像投射装置１０が構成されてもよい。この場合、走行位置の検出に用いる水平基準線９２の位置は、虚像の提示位置と同じ車両前方の５ｍ～１０ｍ程度の位置となるように設定されることが望ましい。
　Ｅ…運転者、１０…画像投射装置、１２…投射部、２０…投射鏡、２４…投射鏡駆動部、２８…コンバイナ、３０…制御部、３４…特定部、３６…虚像位置調整部、４０…取得部、４２…車載カメラ、４４…車載センサ、５０…車両、５２…ウインドシールド、６０…外部装置、７０…虚像、８０…走行車線、８２…左区画線、８４…右区画線、１００…虚像提示システム。
　本発明によれば、車外の風景と重畳して表示される虚像の視認性を高めることができる。

Claims (7)

  1. 　車両に設けられる虚像提示面に向けて画像表示光を投射し、運転者に虚像を提示する投射部と、
    　前記車両の外部にある対象物の位置を特定するための情報を取得する取得部と、
    　前記取得部が取得する情報に基づいて前記対象物と前記車両の位置関係を特定するための情報を生成する特定部と、
    　前記特定部が生成する情報に基づいて運転者から見た虚像の提示位置を調整する虚像位置調整部と、を備えることを特徴とする虚像提示システム。
  2. 　前記虚像位置調整部は、運転者から見た前記対象物と前記虚像の位置関係が所定の位置関係に維持されるよう前記虚像の提示位置を調整することを特徴とする請求項１に記載の虚像提示システム。
  3. 　前記取得部は、前記車両が走行する車線に沿って延びる区画線を含む車両前方の映像を撮影する撮像装置を含み、
    　前記特定部は、前記撮像装置が撮影する映像から前記車両と前記区画線の位置関係を特定するための情報を生成することを特徴とする請求項１または２に記載の虚像提示システム。
  4. 　前記特定部は、前記車両が走行する車線の左右それぞれに延びる二つの区画線と前記車両の位置関係を特定するための情報を生成することを特徴とする請求項３に記載の虚像提示システム。
  5. 　前記撮像装置は、前記虚像提示面に提示される虚像と前記区画線の双方が含まれる映像が撮影可能な位置に設けられ、
    　前記特定部は、前記撮像装置が撮影する映像から前記虚像と前記区画線の位置関係を特定するための情報を生成し、
    　前記虚像位置調整部は、前記特定部が生成する前記虚像と前記区画線の位置関係を特定するための情報に基づいて前記虚像の提示位置を調整することを特徴とする請求項３または４に記載の虚像提示システム。
  6. 　車両に設けられる虚像提示面に向けて画像表示光を投射し、運転者に虚像を提示する投射部と、
    　前記車両の外部にある対象物の位置を特定するための情報の入力を受けて前記対象物と前記車両の位置関係を特定するための情報を生成する特定部と、
    　前記特定部が生成する情報に基づいて運転者から見た虚像の提示位置を調整する虚像位置調整部と、を備えることを特徴とする画像投射装置。
  7. 　車両の外部にある対象物の位置を特定するための情報に基づいて前記対象物と前記車両の位置関係を特定するための情報を生成するステップと、
    　前記生成される位置関係を特定するための情報に基づいて前記車両に設けられる虚像提示面に提示される虚像の提示位置を調整するステップと、
    　前記調整される提示位置に虚像が提示されるように前記虚像提示面に向けて画像表示光を投射するステップと、を備えることを特徴とする虚像提示方法。
PCT/JP2016/056942 2015-06-16 2016-03-07 虚像提示システム、画像投射装置および虚像提示方法 WO2016203793A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16811268.8A EP3312658B1 (en) 2015-06-16 2016-03-07 Virtual image presentation system and virtual image presentation method
US15/599,858 US20170254659A1 (en) 2015-06-16 2017-05-19 Virtual image presentation system, image projection device, and virtual image presentation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-121125 2015-06-16
JP2015121125A JP6443236B2 (ja) 2015-06-16 2015-06-16 虚像提示システム、画像投射装置および虚像提示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/599,858 Continuation US20170254659A1 (en) 2015-06-16 2017-05-19 Virtual image presentation system, image projection device, and virtual image presentation method

Publications (1)

Publication Number Publication Date
WO2016203793A1 true WO2016203793A1 (ja) 2016-12-22

Family

ID=57546684

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056942 WO2016203793A1 (ja) 2015-06-16 2016-03-07 虚像提示システム、画像投射装置および虚像提示方法

Country Status (4)

Country Link
US (1) US20170254659A1 (ja)
EP (1) EP3312658B1 (ja)
JP (1) JP6443236B2 (ja)
WO (1) WO2016203793A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022063276A (ja) * 2017-06-30 2022-04-21 パナソニックＩｐマネジメント株式会社 表示システム、及び表示システムの制御方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170055091A (ko) * 2015-11-10 2017-05-19 현대오트론 주식회사 헤드업 디스플레이 제어 장치 및 방법
CN107462989A (zh) * 2016-06-06 2017-12-12 华硕电脑股份有限公司 影像稳定方法与电子装置
US20180031849A1 (en) * 2016-07-29 2018-02-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Augmented reality head-up display road correction
FR3060138B1 (fr) * 2016-12-08 2019-07-05 Alstom Transport Technologies Vehicule ferroviaire comprenant un afficheur tete haute
DE112017006159B4 (de) * 2017-01-31 2020-12-31 Mitsubishi Electric Corporation Anzeigesteuervorrichtung
JP6601441B2 (ja) * 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
JP6731644B2 (ja) * 2017-03-31 2020-07-29 パナソニックＩｐマネジメント株式会社 表示位置補正装置、表示位置補正装置を備える表示装置、及び表示装置を備える移動体
JP7065383B2 (ja) * 2017-06-30 2022-05-12 パナソニックＩｐマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
KR101979277B1 (ko) * 2017-07-25 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
JP6839806B2 (ja) * 2017-09-21 2021-03-10 パナソニックＩｐマネジメント株式会社 ヘッドアップディスプレイ装置、及び車両
DE102017217592A1 (de) * 2017-10-04 2019-04-04 Audi Ag Kinetosefreies Betrachten eines digitalen Inhalts in einem Fahrzeug
CN108647638B (zh) * 2018-05-09 2021-10-12 东软睿驰汽车技术（上海）有限公司 一种车辆位置检测方法及装置
WO2020022240A1 (ja) * 2018-07-25 2020-01-30 日本精機株式会社 車両用表示装置、車両用表示装置の制御方法、車両用表示装置の制御プログラム
JP6984624B2 (ja) * 2019-02-05 2021-12-22 株式会社デンソー 表示制御装置および表示制御プログラム
EP3848781B1 (en) * 2019-12-31 2023-05-10 Seiko Epson Corporation Circuit device, electronic apparatus, and mobile body
CN113129224B (zh) 2019-12-31 2023-11-28 精工爱普生株式会社 显示***、电子设备、移动体和显示方法
JPWO2021234993A1 (ja) * 2020-05-21 2021-11-25
CN114338956B (zh) * 2020-09-30 2024-07-23 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
US11920944B2 (en) * 2021-10-19 2024-03-05 Capital One Services, Llc Dynamically generating scenery for a virtual reality driving session based on route information
DE102021213332A1 (de) 2021-11-26 2023-06-01 Continental Automotive Technologies GmbH Verfahren, Computerprogramm und Vorrichtung zum Steuern einer Augmented-Reality-Anzeigevorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010070117A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 画像照射システムおよび画像照射方法
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP2011123126A (ja) * 2009-12-08 2011-06-23 Denso Corp ヘッドアップディスプレイ装置及びヘッドアップディスプレイ装置におけるステッピングモータの駆動方法の決定方法
JP2015080988A (ja) * 2013-10-22 2015-04-27 日本精機株式会社 車両情報投影システム及び投影装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4475308B2 (ja) * 2007-09-18 2010-06-09 株式会社デンソー 表示装置
EP2793193B1 (en) * 2011-12-15 2019-03-27 Pioneer Corporation Display device and display method
JPWO2014174575A1 (ja) * 2013-04-22 2017-02-23 トヨタ自動車株式会社 車両用ヘッドアップディスプレイ装置
CN105682973B (zh) * 2013-10-22 2018-06-19 日本精机株式会社 车辆信息投影***和投影装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010070117A (ja) * 2008-09-19 2010-04-02 Toshiba Corp 画像照射システムおよび画像照射方法
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP2011123126A (ja) * 2009-12-08 2011-06-23 Denso Corp ヘッドアップディスプレイ装置及びヘッドアップディスプレイ装置におけるステッピングモータの駆動方法の決定方法
JP2015080988A (ja) * 2013-10-22 2015-04-27 日本精機株式会社 車両情報投影システム及び投影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022063276A (ja) * 2017-06-30 2022-04-21 パナソニックＩｐマネジメント株式会社 表示システム、及び表示システムの制御方法
JP7266257B2 (ja) 2017-06-30 2023-04-28 パナソニックＩｐマネジメント株式会社 表示システム、及び表示システムの制御方法

Also Published As

Publication number Publication date
JP2017003946A (ja) 2017-01-05
EP3312658A4 (en) 2018-06-27
EP3312658B1 (en) 2019-07-24
US20170254659A1 (en) 2017-09-07
EP3312658A1 (en) 2018-04-25
JP6443236B2 (ja) 2018-12-26

Similar Documents

Publication Publication Date Title
JP6443236B2 (ja) 虚像提示システム、画像投射装置および虚像提示方法
CN110573369B (zh) 平视显示器装置及其显示控制方法
US11181743B2 (en) Head up display apparatus and display control method thereof
US10302940B2 (en) Head-up display
JP6528139B2 (ja) 表示制御装置及び表示制御プログラム
US8536995B2 (en) Information display apparatus and information display method
WO2015060193A1 (ja) 車両情報投影システム及び投影装置
JP5723106B2 (ja) 車両用ディスプレイ装置及び車両用ディスプレイ方法
JP2023029340A (ja) 映像表示システム、映像表示方法、及び、プログラム
US11215819B2 (en) Head-up display
CN109968977B (zh) 显示***
JP6911868B2 (ja) ヘッドアップディスプレイ装置
JP7221161B2 (ja) ヘッドアップディスプレイ及びそのキャリブレーション方法
JP2018077400A (ja) ヘッドアップディスプレイ
JP2004322680A (ja) ヘッドアップディスプレイ装置
JP6186905B2 (ja) 車載表示装置およびプログラム
CN113677553A (zh) 显示控制装置以及显示控制方法
CN110816409A (zh) 显示装置、显示控制方法及存储介质
JP7062038B2 (ja) 虚像表示装置
WO2020089332A1 (en) Augmented reality head-up display and vehicle
KR101519350B1 (ko) 헤드업 디스플레이 영상의 출력 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811268

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016811268

Country of ref document: EP