WO2020110206A1 - 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム - Google Patents

支援画像表示装置、支援画像表示方法及び支援画像表示プログラム Download PDF

Info

Publication number
WO2020110206A1
WO2020110206A1 PCT/JP2018/043627 JP2018043627W WO2020110206A1 WO 2020110206 A1 WO2020110206 A1 WO 2020110206A1 JP 2018043627 W JP2018043627 W JP 2018043627W WO 2020110206 A1 WO2020110206 A1 WO 2020110206A1
Authority
WO
WIPO (PCT)
Prior art keywords
angle
vehicle
display device
image display
support image
Prior art date
Application number
PCT/JP2018/043627
Other languages
English (en)
French (fr)
Inventor
長谷川　雄史
塚原　整
雅浩 虻川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019509570A priority Critical patent/JP6522270B1/ja
Priority to PCT/JP2018/043627 priority patent/WO2020110206A1/ja
Publication of WO2020110206A1 publication Critical patent/WO2020110206A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements

Definitions

  • the present invention relates to a technique for displaying a support image on a display device so as to be superimposed on a landscape observed from the viewpoint position of a vehicle.
  • the HUD Head-Up Display
  • CG Computer Graphics
  • AR Augmented Reality
  • the AR system has a problem that the AR display position of the road guide arrow is displaced due to the vehicle shaking during traveling. In order to solve this problem, a function for correcting the AR display position shift is required.
  • the deviation of AR display position mainly depends on the vehicle shake in the pitching direction (the vehicle tilt in the up-down direction about the left and right axes).
  • the vehicle inclination in the pitching direction can be measured by an IMU (Inertial Measurement Unit) sensor, and there is a technology that uses the measurement data to correct the deviation of the AR display position (see Patent Document 1).
  • IMU Inertial Measurement Unit
  • An object of the present invention is to make it possible to display an assistance image at an appropriate display position even when a delay time occurs in display processing.
  • the support image display device is A support image display device for displaying a support image on a display device so as to be superimposed on a landscape observed from the viewpoint position of the vehicle, A vehicle measurement unit that measures a real angle that is the current inclination angle of the vehicle, Based on the actual angle measured by the vehicle measurement unit and the vibration state indicating the time change of the tilt angle of the vehicle, an angle prediction unit that calculates a predicted angle that is the tilt angle of the vehicle after a reference time, Based on the predicted angle predicted by the angle prediction unit, a position specifying unit that specifies a display position for displaying the support image on the display device, An image display unit that displays the support image at the display position on the display device specified by the position specifying unit.
  • the predicted angle that is the vehicle tilt angle after the reference time is calculated based on the actual angle and the vibration state, and the display position for displaying the support image is specified based on the predicted angle. Therefore, even if a delay time occurs in the display process, the support image can be displayed at an appropriate display position.
  • FIG. 1 is a configuration diagram of a support image display device 10 according to the first embodiment.
  • FIG. 3 is an explanatory diagram of a prediction principle of a tilt angle change direction according to the first embodiment.
  • 3 is a flowchart of the overall operation of the support image display device 10 according to the first embodiment.
  • 3 is a flowchart of angle prediction processing according to the first embodiment.
  • 3A and 3B are explanatory diagrams of display positions for displaying a support image according to the first embodiment.
  • FIG. 4 is an explanatory diagram of a relationship between a tilt angle and a display position according to the first embodiment. Explanatory drawing of the prediction principle of the change direction of the inclination angle which concerns on the modification 2.
  • FIG. The block diagram of the support image display apparatus 10 which concerns on the modification 3.
  • FIG. 6 is a configuration diagram of a support image display device 10 according to the second embodiment.
  • FIG. 9 is a flowchart of the overall operation of the support image display device 10 according to the second embodiment. 9 is a flowchart of angle prediction processing according to the second embodiment.
  • FIG. 6 is an explanatory diagram of a prediction principle of a tilt angle change direction according to the second embodiment.
  • FIG. 6 is a configuration diagram of a support image display device 10 according to a third embodiment. 9 is a flowchart of the overall operation of the support image display device 10 according to the third embodiment.
  • FIG. 10 is an explanatory diagram of unevenness specifying processing according to the third embodiment.
  • Embodiment 1 ***Description of structure*** The configuration of the support image display device 10 according to the first embodiment will be described with reference to FIG.
  • the support image display device 10 is a computer mounted on the vehicle 100. It should be noted that the support image display device 10 may be mounted in an integrated form or an inseparable form with the vehicle 100 or other illustrated components, or may be mounted in a detachable form or a separable form. May be done.
  • the support image display device 10 includes a processor 11, a storage device 12, a communication interface 13, and a display interface 14.
  • the processor 11 is connected to other hardware via a signal line and controls these other hardware.
  • the processor 11 is an IC (Integrated Circuit) that performs processing.
  • the processor 11 is a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • the storage device 12 includes a memory 121 and a storage 122.
  • the memory 121 is a RAM (Random Access Memory) as a specific example.
  • the storage 122 is, as a specific example, an HDD (Hard Disk Drive).
  • the storage 122 is a portable storage medium such as an SD (Secure Digital) memory card, a CF (CompactFlash), a NAND flash, a flexible disk, an optical disc, a compact disc, a Blu-ray (registered trademark) disc, and a DVD (Digital Versatile Disc). You may.
  • the communication interface 13 is a device that connects devices such as a sensor 31 mounted on the vehicle 100 and a navigation system 32.
  • the communication interface 13 is, as a specific example, a USB (Universal Serial Bus) or IEEE 1394 connection terminal.
  • the sensor 31 is an IMU.
  • the display interface 14 is a device for connecting the display device 33 mounted on the vehicle 100.
  • the display interface 14 is, as a specific example, a USB or HDMI (registered trademark, High-Definition Multimedia Interface) connection terminal.
  • the display device 33 is a device that superimposes and displays information on a landscape around the vehicle 100 observed from a viewpoint position of the vehicle 100, such as in front of the vehicle 100.
  • the scenery referred to here is either an actual object viewed through a HUD or the like, an image captured by a camera, or a three-dimensional map created by computer graphics.
  • the viewpoint position is the position of the viewpoint of the driver of vehicle 100.
  • the viewpoint position may be the viewpoint position of a passenger other than the driver, or may be the viewpoint position of the camera when the landscape is displayed as an image acquired by the camera.
  • the display device 33 is a HUD that superimposes and displays information on the landscape in front of the vehicle 100.
  • the support image display device 10 includes a vehicle measurement unit 21, an angle prediction unit 22, a position identification unit 23, an image display unit 24, and a road type acquisition unit 25 as functional components.
  • the functions of the functional components of the support image display device 10 are realized by software.
  • the storage 122 of the storage device 12 stores a program that realizes the functions of each unit of the support image display device 10. This program is read into the memory 121 by the processor 11 and executed by the processor 11. As a result, the function of each unit of the support image display device 10 is realized.
  • the storage 122 realizes the function of the vibration state storage unit 123.
  • the function of the vibration state storage unit 123 may be realized by a storage device external to the support image display device 10.
  • Information, data, signal values, and variable values indicating the processing results of the functions of the respective units realized by the processor 11 are stored in the memory 121, or a register or cache memory in the processor 11.
  • the information, data, signal value, and variable value indicating the result of the processing of the function of each unit realized by the processor 11 are stored in the memory 121.
  • the programs that realize the functions realized by the processor 11 are stored in the storage device 12.
  • this program may be stored in a portable storage medium such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, or a DVD.
  • the support image display device 10 may include a plurality of processors that replace the processor 11.
  • the plurality of processors share the execution of programs that realize the functions of the respective units of the support image display device 10.
  • Each processor like the processor 11, is an IC that performs processing.
  • the operation of the support image display device 10 according to the first embodiment will be described with reference to FIGS. 2 to 6.
  • the operation of the support image display device 10 according to the first embodiment corresponds to the support image display method according to the first embodiment. Further, the operation of the support image display device 10 according to the first embodiment corresponds to the processing of the support image display program according to the first embodiment.
  • the vibration state storage unit 123 is associated with road types such as highways, urban roads, and mountain roads, and travels on roads of that road type in the past. It is assumed that the vibration state generated at the time of doing and the threshold value for the road type are stored.
  • the vibration state indicates the change over time of the inclination angle of the vehicle 100.
  • the inclination angle is the inclination angle of vehicle 100 in the up-down direction about the left and right sides of vehicle 100. That is, the inclination angle means the inclination of the vehicle in the pitching direction.
  • the vehicle measurement unit 21 measures the tilt angle by the IMU that is the sensor 31.
  • the road type acquisition unit 25 acquires the road type of the traveled road from the navigation system 32.
  • the vehicle measurement unit 21 and the road type acquisition unit 25 write the acquired road type and the vibration state indicating the time change of the measured inclination angle in the vibration state storage unit 123 in association with each other.
  • the angle prediction unit 22 determines a threshold value for the road type according to the vibration state associated with the road type, and writes the threshold value determined in association with the road type into the vibration state storage unit 123. ..
  • the data in the vibration state storage unit 123 is updated, and a more appropriate vibration state and threshold value are stored. That is, every time the vehicle 100 travels, an appropriate vibration state and threshold value for each road type are learned. As shown in FIG.
  • the change range of the inclination angle varies depending on the road type.
  • the inclination angle is 0 when the vehicle body of the vehicle 100 is parallel to the road surface, and the inclination angle becomes larger in the positive direction as the front side of the vehicle body faces upward with respect to the road surface. It is assumed that the angle of inclination becomes larger in the negative direction as the angle goes downward with respect to the road surface.
  • the angle predicting unit 22 sets an upper limit threshold value U to an angle in the positive direction that is smaller than the average value of the maximum values of the tilt angle in the vibration state by the upper limit threshold value U, and decreases the average value of the minimum values of the tilt angle in the vibration state by the reference value.
  • the angle in the direction of is determined as the lower limit threshold L.
  • the reference value is an angle defined according to the change width.
  • the vibration state measured when another vehicle different from the vehicle 100 actually travels may be stored in the vibration state storage unit 123 in association with the road type. Then, the vibration state storage unit 123 may store a threshold value determined according to the vibration state. However, since the vibration state varies depending on the vehicle weight and the like, the vibration state stored in the vibration state storage unit 123 is preferably the vibration state measured when a vehicle of the same vehicle type as the vehicle 100 travels.
  • the process shown in FIG. 3 is repeatedly executed while the vehicle 100 is traveling.
  • Step S11 of FIG. 3 road type acquisition processing
  • the road type acquisition unit 25 acquires the road type of the road on which the vehicle 100 is traveling. Specifically, the road type acquisition unit 25 acquires the road type of the traveling road from the navigation system 32 via the communication interface 13. The road type acquisition unit 25 writes the acquired road type in the memory 121.
  • Step S12 of FIG. 3 threshold acquisition processing
  • the road type acquisition unit 25 acquires a threshold value corresponding to the road type acquired in step S11. Specifically, the road type acquisition unit 25 reads the road type from the memory 121. The road type acquisition unit 25 reads the threshold value stored in association with the read road type from the vibration state storage unit 123. As the threshold value, the upper limit threshold value U and the lower limit threshold value L are read. The road type acquisition unit 25 writes the upper threshold value U and the lower threshold value L in the memory 121.
  • Step S13 of FIG. 3 tilt angle measurement processing
  • the vehicle measurement unit 21 measures the inclination angle of the vehicle 100 with the sensor 31. Specifically, the vehicle measurement unit 21 measures the actual angle that is the current tilt angle of the vehicle 100 by the IMU that is the sensor 31. The vehicle measurement unit 21 writes the measured real angle in the memory 121.
  • Step S14 of FIG. 3 angle prediction processing
  • the angle predicting unit 22 determines the tilt angle of the vehicle 100 after the reference time based on the actual angle measured in step S13, the threshold value acquired in step S12, and the vibration state indicating the change over time of the tilt angle of the vehicle 100. To calculate the predicted angle.
  • the vibration state is specified by referring to the time change of the actual angle measured in step S13.
  • the reference time is a time determined according to the performance of the support image display device 10 and the like, and is a time corresponding to a delay time in the display process.
  • the reference time is a few milliseconds.
  • the angle prediction processing according to the first embodiment will be described with reference to FIG. (Step S141 of FIG. 4: direction prediction process)
  • the angle prediction unit 22 predicts the changing direction of the tilt angle of the vehicle 100 after the reference time based on the actual angle and the threshold value. Specifically, the angle predicting unit 22 determines that the tilt angle after the reference time does not change from the actual angle when the actual angle is larger than the threshold value.
  • the real angle is an angle larger than the upper limit threshold U if the real angle is an angle in the positive direction, and the real angle is an angle in the negative direction. Is an angle larger than the lower limit threshold U.
  • the angle prediction unit 22 determines that the tilt angle after the reference time changes from the actual angle in the same direction as the latest change indicated by the vibration state.
  • the case where the real angle is equal to or smaller than the threshold means that the real angle is an angle equal to or smaller than the upper limit threshold U if the real angle is an angle in the positive direction, and the real angle is a lower limit if the real angle is an angle in the negative direction. This is the case where the angle is less than or equal to the threshold value U.
  • the angle prediction unit 22 determines that the tilt angle after the reference time does not change from the real angle when the real angle is larger than the threshold value, and when the real angle is less than or equal to the threshold value, the tilt angle is the latest. It is determined to change in the same direction as the change in.
  • Step S142 of FIG. 4 direction determination processing
  • the angle prediction unit 22 advances the process to step S143.
  • the angle prediction unit 22 advances the process to step S145.
  • Step S143 of FIG. 4 change amount prediction process
  • the angle prediction unit 22 predicts the amount of change in the tilt angle until after the reference time, based on the actual angle and the threshold value. Specifically, the angle predicting unit 22 predicts a smaller amount of change as the actual angle is closer to the threshold value, and predicts a larger amount of change as the actual angle is closer to 0. ..
  • the value where the real angle is close to the threshold value means that the real angle is close to the upper limit threshold value U if the real angle is in the positive direction, and the real angle is at the lower limit if the real angle is in the negative direction. The angle is close to the threshold U.
  • Step S144 of FIG. 4 first angle calculation process
  • the angle prediction unit 22 calculates, as the predicted angle, the angle changed from the actual angle in the direction predicted in step S141 by the variation predicted in step S143.
  • the angle prediction unit 22 writes the calculated predicted angle in the memory 121.
  • Step S145 of FIG. 4 second angle calculation process
  • the angle prediction unit 22 sets the actual angle as the predicted angle.
  • the angle prediction unit 22 writes the set prediction angle in the memory 121.
  • Step S15 of FIG. 3 position identification processing
  • the position specifying unit 23 specifies the display position on the display device 33 where the support image is displayed, based on the predicted angle calculated in step S14.
  • the support image is image data such as a guide arrow.
  • the position specifying unit 23 determines the relative position of the viewpoint position 41, the superimposition position 42 on which the support image is superimposed, and the projection plane position 43 of the HUD that is the display device 33. From the relationship, the display position for displaying the support image is specified.
  • the viewpoint position 41 can be specified from the position of the vehicle 100 and the positional relationship between the vehicle 100 and the viewpoint position 41.
  • the position of the vehicle 100 can be acquired from a positioning sensor such as a GPS (Global Positioning System) sensor.
  • GPS Global Positioning System
  • the positional relationship between the vehicle 100 and the viewpoint position 41 can be specified from camera information such as a DMS (Driver Monitoring System) installed inside the vehicle 100.
  • the overlapping position 42 can be acquired from the navigation system 32 in the case of a specific position such as an intersection on the road.
  • the superposition position 42 can be specified by detecting the moving object by a camera mounted on the vehicle 100, a sensor such as LiDAR (Laser Imaging Detection and Ranging), and a millimeter wave radar.
  • LiDAR Laser Imaging Detection and Ranging
  • a millimeter wave radar When the superimposed position 42 becomes a moving object, a camera, a LiDAR, a millimeter wave radar, and the like are connected to the support image display device 10 as the sensor 31 in order to detect the moving object.
  • the projection plane position 43 can be specified from the position of the vehicle 100 and the positional relationship between the vehicle 100 and the projection plane position 43.
  • the position of the vehicle 100 is as described above.
  • the positional relationship between the vehicle 100 and the projection plane position 43 can be specified by measuring in advance because the HUD that is the display device 33 is fixed to the vehicle 100.
  • the position specifying unit 23 reads the predicted angle calculated in step S14 from the memory 121. Then, the position specifying unit 23 considers the predicted angle in addition to the viewpoint position 41, the superimposing position 42, and the projection surface position 43, and the relative positional relationship between the viewpoint position 41, the superposing position 42, and the projection surface position 43. Specify. Then, the position specifying unit 23 specifies the display position at which the support image is displayed, from the relative positional relationship among the viewpoint position 41, the overlapping position 42, and the projection plane position 43. The position specifying unit 23 writes the specified display position in the memory 121.
  • the display position for displaying the support image shifts downward by ⁇ degrees.
  • the display position for displaying the support image shifts upward by ⁇ degrees.
  • Step S16 of FIG. 3 image display processing
  • the image display unit 24 displays the support image at the display position on the display device 33 specified in step S15. Specifically, the image display unit 24 reads the display position from the memory 121. Then, the image display unit 24 causes the display device 33 to display the support image by transmitting the image data indicating the support image at the display position to the display device 33.
  • the support image is generated by shooting an AR display object, which is the source of the support image, with a virtual camera for generating the support image in a virtual three-dimensional space. At this time, the shooting direction of the virtual camera is determined from the relative positional relationship between the viewpoint position 41 and the projection plane position 43.
  • the support image display device 10 calculates the predicted angle, which is the tilt angle of the vehicle after the reference time, based on the actual angle and the vibration state, and displays the support image based on the predicted angle. Specify the display position to be used. This makes it possible to specify an appropriate display position even when a delay time occurs in the display process.
  • the vibration state storage unit 123 stores the vibration state and the threshold value in association with the road type.
  • the vibration state storage unit 123 may store not only the road type but also the vibration state and the threshold value in association with other information such as weather and vehicle speed.
  • the road type acquisition unit 25 acquires not only the road type but also other information
  • the road type acquisition unit 25 determines the road type and other information.
  • the threshold corresponding to the information of is acquired. This makes it possible to predict the tilt angle using the threshold value calculated based on the vibration state closer to the running state.
  • the vibration state storage unit 123 may store the vibration state and the threshold value in association with a specific road. For example, for the road on which the vehicle 100 has traveled, the vibration state and the threshold value may be stored in association with the road.
  • the road type acquisition unit 25 acquires the road type and identification information of the road on which the vehicle is traveling, and in step S12 of FIG. 3, the road type acquisition unit 25 is traveling.
  • the vibration state and the threshold value associated with the road are stored in the vibration state storage unit 123, the threshold value associated with the traveling road is acquired. This makes it possible to predict the tilt angle by using the threshold value calculated based on the vibration state when the vehicle traveled on the road in the past.
  • step S141 of FIG. 4 the angle predicting unit 22 predicts the changing direction of the tilt angle of the vehicle 100 after the reference time based on the actual angle and the threshold value.
  • the angle prediction unit 22 may use the angular velocity of the vehicle 100 instead of the actual angle.
  • the angular velocity is measured by the IMU which is the sensor 31.
  • the vehicle measurement unit 21 measures the angular velocity of the vehicle 100 using the IMU that is the sensor 31.
  • the angle predicting unit 22 determines that the tilt angle after the reference time does not change from the actual angle when the angular velocity is smaller than the threshold value.
  • the angle prediction unit 22 determines that the tilt angle after the reference time changes from the actual angle in the same direction as the latest change indicated by the vibration state.
  • the threshold value compared with the actual angle in the first embodiment is different from the threshold value compared with the angular velocity in the modified example 2. That is, when the change direction is predicted using the angular velocity, the vibration state storage unit 123 stores the threshold value when the angular velocity is used.
  • each functional component is realized by software.
  • each functional component may be realized by hardware. Differences between the third embodiment and the first embodiment will be described.
  • the support image display device 10 includes an electronic circuit 15 instead of the processor 11 and the storage device 12.
  • the electronic circuit 15 is a dedicated circuit that realizes each functional component and the function of the storage device 12.
  • the electronic circuit 15 includes a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field-Programmable Gate Array). is assumed.
  • Each functional constituent element may be realized by one electronic circuit 15, or each functional constituent element may be dispersed in a plurality of electronic circuits 15 and realized.
  • Modification 4> As a modified example 4, some of the functional components may be realized by hardware, and the other functional components may be realized by software.
  • the processor 11, the storage device 12, and the electronic circuit 15 are called a processing circuit. That is, the function of each functional component is realized by the processing circuit.
  • Embodiment 2 differs from the first embodiment in that the changing direction of the inclination angle of vehicle 100 after the reference time is predicted depending on the state of the spring of the suspension mounted on vehicle 100. In the second embodiment, these different points will be described, and description of the same points will be omitted.
  • the configuration of the support image display device 10 according to the second embodiment will be described with reference to FIG. 9.
  • the support image display device 10 is different from the support image display device 10 according to the first embodiment in that the road type acquisition unit 25 is not provided.
  • the support image display apparatus 10 differs from the support image display apparatus 10 according to the first embodiment in that the storage 122 does not realize the function of the vibration state storage unit 123.
  • the sensor 31 is an IMU and an ECS (electronically controlled suspension).
  • the operation of the support image display device 10 according to the second embodiment will be described with reference to FIGS. 10 to 12.
  • the operation of the support image display device 10 according to the second embodiment corresponds to the support image display method according to the second embodiment.
  • the operation of the support image display device 10 according to the second embodiment corresponds to the processing of the support image display program according to the second embodiment.
  • the overall operation of the support image display device 10 according to the second embodiment will be described with reference to FIG. 10.
  • the process shown in FIG. 10 is repeatedly executed while the vehicle 100 is traveling.
  • the process of step S22 is the same as the process of step S13 of FIG.
  • the processing of steps S24 and S25 is the same as the processing of steps S15 and S16 of FIG.
  • Step S21 of FIG. 10 suspension state measurement process
  • the vehicle measurement unit 21 measures the state of the suspension of the vehicle 100 with the sensor 31. Specifically, the vehicle measurement unit 21 measures the spring state of the suspension of the vehicle 100 by the ECS that is the sensor 31. More precisely, the vehicle measurement unit 21 measures the degree of extension of the spring of the suspension of the vehicle 100.
  • ECS electrospray suspension
  • active suspension controls the vibration by using an actuator to generate a force opposite to the vibration from the tire.
  • the semi-active suspension controls the vibration by changing the damping force of the damper that absorbs the shock. These suspensions detect the vibration of the vehicle by a sensor and change the damping force of an actuator or a damper in accordance with the vibration to control the vibration. Therefore, by referring to the ECS control value, the degree of extension of the spring of the suspension can be measured.
  • Step S23 of FIG. 10 angle prediction process
  • the angle predicting unit 22 determines, after the reference time, based on the degree of extension of the spring of the suspension measured in step S21, the actual angle measured in step S22, and the vibration state indicating the time change of the inclination angle of the vehicle 100. A predicted angle that is the tilt angle of the vehicle 100 is calculated.
  • step S232 is the same as the process of step S142 of FIG. Further, the processing of steps S234 and S235 is the same as the processing of steps S144 and S145 of FIG.
  • Step S231 of FIG. 11 direction prediction process
  • the angle predicting unit 22 predicts the changing direction of the inclination angle of the vehicle 100 after the reference time based on the degree of extension of the spring of the suspension. Specifically, the angle predicting unit 22 does not change the tilt angle after the reference time from the actual angle when the spring extends beyond the upper limit and when the spring contracts below the lower limit. To determine. In addition, when the spring is less than or equal to the upper limit value and less than or equal to the lower limit value, the angle prediction unit 22 determines that the tilt angle after the reference time is the same as the latest change indicated by the vibration state from the actual angle. It is determined that the direction will change.
  • the upper limit value and the lower limit value are predetermined values depending on the spring of the suspension.
  • the angle predicting unit 22 determines that the tilt angle after the reference time does not change from the actual angle when the spring extends beyond the upper limit and when the spring contracts below the lower limit. If the spring is less than or equal to the upper limit and less than or equal to the lower limit, it is determined that the tilt angle changes in the same direction as the most recent change.
  • Step S233 of FIG. 4 change amount prediction process
  • the angle prediction unit 22 predicts the amount of change in the tilt angle until after the reference time, based on the degree of extension of the spring of the suspension. Specifically, the angle predicting unit 22 predicts the change amount to be a smaller value as the spring extension is closer to the upper limit value or the lower limit value, and the spring extension value is far from the upper limit value and the lower limit value. The larger the value, the greater the change amount is predicted.
  • the degree of expansion of the spring is a value close to the upper limit value or the lower limit value, it is highly possible that the direction in which the inclination angle changes has just changed to the opposite direction or is just before the opposite direction. Therefore, the amount of change in the tilt angle after the reference time is small.
  • the degree of expansion of the spring is far from the upper limit value and the lower limit value, there is a high possibility that the inclination angle is changing in the same direction. Therefore, the amount of change in the tilt angle after the reference time becomes large.
  • the support image display device 10 according to the second embodiment predicts the changing direction of the tilt angle of the vehicle 100 after the reference time based on the degree of extension of the spring of the suspension. As a result, like the first embodiment, it is possible to specify an appropriate display position even when a delay time occurs in the display process.
  • the method described in the first embodiment and the method described in the second embodiment may be combined to calculate the predicted angle that is the tilt angle after the reference time.
  • the change direction of the tilt angle of the vehicle 100 after the reference time is predicted by the method described in the first embodiment
  • the change of the tilt angle after the reference time is calculated by the method described in the second embodiment.
  • the amount may be predicted. That is, the angle predicting unit 22 predicts the changing direction of the tilt angle of the vehicle 100 after the reference time based on the actual angle and the threshold value, and changes the tilt angle until after the reference time based on the extension of the spring of the suspension.
  • the amount may be predicted.
  • Embodiment 3 differs from the first embodiment in that the changing direction of the inclination angle of the vehicle 100 after the reference time is predicted due to the unevenness of the road surface.
  • these different points will be described, and description of the same points will be omitted.
  • the assistance image display device 10 differs from the assistance image display device 10 according to the first embodiment in that the unevenness specifying unit 26 is provided instead of the road type acquisition unit 25.
  • the sensor 31 is IMU and LiDAR.
  • the LiDAR is used to specify the shape and size of the road surface unevenness. Therefore, the sensor 31 may be a camera or the like instead of the LiDAR as long as the shape and size of the unevenness of the road surface can be specified.
  • the operation of the support image display device 10 according to the third embodiment will be described with reference to FIGS. 14 and 15.
  • the operation of the support image display device 10 according to the third embodiment corresponds to the support image display method according to the third embodiment.
  • the operation of the support image display device 10 according to the third embodiment corresponds to the processing of the support image display program according to the third embodiment.
  • the vibration state storage unit 123 is associated with the unevenness information indicating the shape and size of the unevenness and passes through the unevenness indicated by the unevenness information. It is assumed that the generated vibration state is stored. Each time the vehicle 100 travels, the data in the vibration state storage unit 123 is updated to store a more appropriate vibration state. That is, every time the vehicle 100 travels, an appropriate vibration state is learned for each unevenness information.
  • the vibration state measured when another vehicle different from vehicle 100 actually passes through the unevenness may be stored in vibration state storage unit 123 in association with the unevenness information.
  • the vibration state stored in the vibration state storage unit 123 is preferably the vibration state measured when a vehicle of the same vehicle type as the vehicle 100 travels.
  • step S33 is the same as the process of step S13 of FIG.
  • steps S35 and S36 is the same as the processing of steps S15 and S16 of FIG.
  • the unevenness specifying unit 26 specifies unevenness information indicating the shape and size of the unevenness on the road surface at the position where the vehicle 100 passes after the reference time. Specifically, as shown in FIG. 15, the unevenness specifying unit 26 uses unevenness information indicating the shape and size of the unevenness of the road surface at the position where the vehicle 100 passes after the reference time by the LiDAR installed in front of the vehicle 100. Specify. The unevenness specifying unit 26 writes the unevenness information in the memory 121.
  • Step S32 of FIG. 14 vibration state acquisition processing
  • the unevenness identifying unit 26 acquires the vibration state corresponding to the unevenness information identified in step S31. Specifically, the unevenness specifying unit 26 reads the unevenness information from the memory 121. The unevenness identifying unit 26 reads out the vibration state stored in association with the read unevenness information from the vibration state storage unit 123. The unevenness specifying unit 26 writes the read vibration state in the memory 121.
  • Step S34 of FIG. 14 angle prediction process
  • the angle prediction unit 22 calculates a predicted angle that is the tilt angle of the vehicle 100 after the reference time based on the vibration state read in step S32 and the actual angle measured in step S33. Specifically, the angle prediction unit 22 calculates the predicted angle on the assumption that the inclination angle indicated by the vibration state read in step S32 changes with time. For example, it is assumed that the vibration state shows a change in the tilt angle for 10 ms after the reference time. Then, the angle predicting unit 22 predicts that the tilt angle changes with the time change of the tilt angle indicated by the vibration state with reference to the real angle for 10 ms after the reference time.
  • the angle predicting unit 22 calculates that the predicted angle after the reference time is an angle that is 0.5 degrees higher than the actual angle. Further, the angle prediction unit 22 calculates that the predicted angle 1 ms after the reference time is an angle that is one degree higher than the actual angle.
  • the assistance image display device 10 predicts the changing direction of the inclination angle of the vehicle 100 after the reference time based on the unevenness of the road surface. As a result, like the first embodiment, it is possible to specify an appropriate display position even when a delay time occurs in the display process.
  • the method described in the first embodiment and the method described in the third embodiment may be combined to calculate the predicted angle that is the tilt angle after the reference time.
  • the change direction of the tilt angle of the vehicle 100 after the reference time is predicted by the method described in the third embodiment, and the change in the tilt angle until after the reference time is calculated by the method described in the first embodiment.
  • the amount may be predicted. That is, the angle prediction unit 22 predicts the change direction of the inclination angle of the vehicle 100 after the reference time based on the unevenness of the road surface, and predicts the change amount of the inclination angle after the reference time based on the actual angle and the threshold value. You may.
  • the method described in the second embodiment and the method described in the third embodiment may be combined to calculate the predicted angle that is the tilt angle after the reference time. Further, the methods described in the first to third embodiments may be combined to calculate the predicted angle that is the tilt angle after the reference time.
  • 10 support image display device, 11 processor, 12 storage device, 13 communication interface, 14 display interface, 15 electronic circuit, 21 vehicle measurement unit, 22 angle prediction unit, 23 position specifying unit, 24 image display unit, 25 road type acquisition unit , 26 concave-convex specifying unit, 31 sensor, 32 navigation system, 33 display device, 100 vehicle, 121 memory, 122 storage, 123 vibration state storage unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)

Abstract

支援画像表示装置（１０）は、車両（１００）の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する。角度予測部（２２）は、車両（１００）の現在の傾斜角度である実角度と、車両（１００）の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両（１００）の傾斜角度である予測角度を計算する。位置特定部（２３）は、予測角度に基づき、表示装置（３３）における支援画像を表示する表示位置を特定する。画像表示部（２４）は、表示装置（３３）における表示位置に支援画像を表示する。

Description

支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
　この発明は、車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する技術に関する。
　ＨＵＤ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）は、運転手の視点位置から観察される風景に任意のＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）画像を重畳表示可能であり、運転時の安全性向上のために車両への搭載が進んでいる。ＨＵＤのアプリケーションとして、路面上に道案内矢印のＣＧ画像を重畳表示するＡＲ（オーグメンテッドリアリティ）システムがある。
　ＡＲシステムは、走行時の車両揺れによって道案内矢印のＡＲ表示位置にズレが発生するという課題がある。この課題を解決するためにＡＲ表示位置のズレを補正する機能が必要となる。
　ＡＲ表示位置のズレは主にピッチング方向の車両揺れ（左右を軸とする上下方向の車両傾斜）に依存する。ピッチング方向の車両傾斜はＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）センサで計測可能であり、その計測データを使用してＡＲ表示位置のズレを補正する技術がある（特許文献１参照）。
国際公開第２０１８－０７０２５２号
　表示処理には遅延時間が発生する。そのため、ＩＭＵセンサで検出した傾斜角度をそのまま使用して表示位置のズレを補正すると、検出した傾斜角度と表示時の傾斜角度とが異なる場合があり、表示位置のズレの補正精度が低下してしまう。
　この発明は、表示処理には遅延時間が発生する場合にも、適切な表示位置に支援画像を表示可能にすることを目的とする。
　この発明に係る支援画像表示装置は、
　車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
　前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
　前記車両計測部によって計測された前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
　前記角度予測部によって予測された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
　前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
を備える。
　この発明では、実角度と振動状態とに基づき基準時間後の車両の傾斜角度である予測角度が計算され、予測角度に基づき支援画像を表示する表示位置が特定される。そのため、表示処理には遅延時間が発生する場合にも、適切な表示位置に支援画像を表示可能である。
実施の形態１に係る支援画像表示装置１０の構成図。 実施の形態１に係る傾斜角度の変化方向の予測原理の説明図。 実施の形態１に係る支援画像表示装置１０の全体的な動作のフローチャート。 実施の形態１に係る角度予測処理のフローチャート。 実施の形態１に係る支援画像を表示する表示位置の説明図。 実施の形態１に係る傾斜角度と表示位置との関係の説明図。 変形例２に係る傾斜角度の変化方向の予測原理の説明図。 変形例３に係る支援画像表示装置１０の構成図。 実施の形態２に係る支援画像表示装置１０の構成図。 実施の形態２に係る支援画像表示装置１０の全体的な動作のフローチャート。 実施の形態２に係る角度予測処理のフローチャート。 実施の形態２に係る傾斜角度の変化方向の予測原理の説明図。 実施の形態３に係る支援画像表示装置１０の構成図。 実施の形態３に係る支援画像表示装置１０の全体的な動作のフローチャート。 実施の形態３に係る凹凸特定処理の説明図。
　実施の形態１．
　＊＊＊構成の説明＊＊＊
　図１を参照して、実施の形態１に係る支援画像表示装置１０の構成を説明する。
　支援画像表示装置１０は、車両１００に搭載されるコンピュータである。
　なお、支援画像表示装置１０は、車両１００又は図示された他の構成要素と、一体化した形態又は分離不可能な形態で実装されても、あるいは、取り外し可能な形態又は分離可能な形態で実装されてもよい。
　支援画像表示装置１０は、プロセッサ１１と、記憶装置１２と、通信インタフェース１３と、ディスプレイインタフェース１４とを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
　プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。
　記憶装置１２は、メモリ１２１と、ストレージ１２２とを備える。メモリ１２１は、具体例としては、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。ストレージ１２２は、具体例としては、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）である。また、ストレージ１２２は、ＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）といった可搬記憶媒体であってもよい。
　通信インタフェース１３は、車両１００に搭載されたセンサ３１とナビゲーションシステム３２といった装置を接続する装置である。通信インタフェース１３は、具体例としては、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＩＥＥＥ１３９４の接続端子である。実施の形態１では、センサ３１は、ＩＭＵである。
　ディスプレイインタフェース１４は、車両１００に搭載された表示装置３３を接続する装置である。ディスプレイインタフェース１４は、具体例としては、ＵＳＢ、ＨＤＭＩ（登録商標、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）の接続端子である。
　表示装置３３は、車両１００の前方といった車両１００の視点位置から観察される車両１００の周囲の風景に、情報を重畳して表示する装置である。ここでいう風景は、ＨＵＤ等を介して見える実物と、カメラによって取得された映像と、コンピュータグラフィックによって作成された３次元地図とのいずれかである。視点位置とは、実施の形態１では、車両１００の運転手の視点の位置である。なお、視点位置は、運転手以外の搭乗者の視点位置であってもよいし、風景をカメラによって取得した映像で表示する場合には、カメラの視点位置でもよい。実施の形態１では、表示装置３３は、車両１００の前方風景に、情報を重畳して表示するＨＵＤとする。
　支援画像表示装置１０は、機能構成要素として、車両計測部２１と、角度予測部２２と、位置特定部２３と、画像表示部２４と、道路種別取得部２５とを備える。支援画像表示装置１０の機能構成要素の機能はソフトウェアにより実現される。
　記憶装置１２のストレージ１２２には、支援画像表示装置１０の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ１１によりメモリ１２１に読み込まれ、プロセッサ１１によって実行される。これにより、支援画像表示装置１０の各部の機能が実現される。
　ストレージ１２２は、振動状態記憶部１２３の機能を実現する。なお、振動状態記憶部１２３の機能は、支援画像表示装置１０の外部の記憶装置によって実現されてもよい。
　プロセッサ１１によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ１２１、又は、プロセッサ１１内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ１１によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ１２１に記憶されるものとして説明する。
　プロセッサ１１によって実現される各機能を実現するプログラムは、記憶装置１２に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体に記憶されてもよい。
　図１では、プロセッサ１１は、１つだけ示されている。しかし、支援画像表示装置１０は、プロセッサ１１を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、支援画像表示装置１０の各部の機能を実現するプログラムの実行を分担する。それぞれのプロセッサは、プロセッサ１１と同じように、プロセッシングを行うＩＣである。
　＊＊＊動作の説明＊＊＊
　図２から図６を参照して、実施の形態１に係る支援画像表示装置１０の動作を説明する。
　実施の形態１に係る支援画像表示装置１０の動作は、実施の形態１に係る支援画像表示方法に相当する。また、実施の形態１に係る支援画像表示装置１０の動作は、実施の形態１に係る支援画像表示プログラムの処理に相当する。
　実施の形態１に係る支援画像表示装置１０の動作の前提として、振動状態記憶部１２３には、高速道路と市街地の道路と山道といった道路種別と対応付けて、その道路種別の道路を過去に走行した際に発生した振動状態と、その道路種別についての閾値とが記憶されているものとする。振動状態は、車両１００の傾斜角度の時間変化を示す。実施の形態１では、傾斜角度は、車両１００の左右を軸とする上下方向の車両１００の傾斜角度とする。つまり、傾斜角度は、ピッチング方向の車両の傾きを意味する。
　具体的には、車両１００が実際に走行した際に、車両計測部２１は、センサ３１であるＩＭＵによって傾斜角度を計測する。道路種別取得部２５は、走行した道路の道路種別をナビゲーションシステム３２から取得する。車両計測部２１と道路種別取得部２５とは、取得された道路種別と、計測された傾斜角度の時間変化を示す振動状態とを対応付けて振動状態記憶部１２３に書き込む。また、角度予測部２２は、道路種別に対応付けられた振動状態に応じて、その道路種別についての閾値を決定して、道路種別に対応付けて決定された閾値を振動状態記憶部１２３に書き込む。車両１００が走行する度に、振動状態記憶部１２３のデータが更新され、より適切な振動状態及び閾値が記憶される。つまり、車両１００が走行する度に、道路種別毎の適切な振動状態及び閾値が学習される。
　図２に示すように、道路種別によって傾斜角度の変化幅が異なる。図２では、車両１００の車体が路面と平行な状態が傾斜角度が０の状態とし、車体の前方が路面に対して上を向くほど傾斜角度が正の方向に大きな角度になり、車体の前方が路面に対して下を向くほど傾斜角度が負の方向に大きな角度になるものとする。角度予測部２２は、振動状態における傾斜角度の極大値の平均値から基準値だけ小さい正の方向の角度を上限閾値Ｕとし、振動状態における傾斜角度の極小値の平均値から基準値だけ小さい負の方向の角度を下限閾値Ｌとして決定する。例えば、基準値は、変化幅に応じて定められる角度である。
　なお、車両１００とは異なる他の車両が実際に走行した際に計測された振動状態が、道路種別と対応付けて振動状態記憶部１２３に記憶されていてもよい。そして、振動状態記憶部１２３には、この振動状態に応じて決定された閾値が記憶されていてもよい。
　但し、振動状態は車重等によって異なるため、振動状態記憶部１２３に記憶される振動状態は、車両１００と同じ車種の車両が走行した際に計測された振動状態であることが望ましい。
　図３を参照して、実施の形態１に係る支援画像表示装置１０の全体的な動作を説明する。
　車両１００が走行中に図３に示す処理が繰り返し実行される。
　（図３のステップＳ１１：道路種別取得処理）
　道路種別取得部２５は、車両１００が走行中の道路の道路種別を取得する。
　具体的には、道路種別取得部２５は、通信インタフェース１３を介してナビゲーションシステム３２から走行中の道路の道路種別を取得する。道路種別取得部２５は、取得された道路種別をメモリ１２１に書き込む。
　（図３のステップＳ１２：閾値取得処理）
　道路種別取得部２５は、ステップＳ１１で取得された道路種別に対応する閾値を取得する。
　具体的には、道路種別取得部２５は、メモリ１２１から道路種別を読み出す。道路種別取得部２５は、読み出された道路種別に対応付けて記憶された閾値を振動状態記憶部１２３から読み出す。閾値としては、上限閾値Ｕと下限閾値Ｌとが読み出される。道路種別取得部２５は、上限閾値Ｕと下限閾値Ｌとの閾値をメモリ１２１に書き込む。
　（図３のステップＳ１３：傾斜角度計測処理）
　車両計測部２１は、センサ３１によって車両１００の傾斜角度を計測する。
　具体的には、車両計測部２１は、センサ３１であるＩＭＵによって車両１００の現在の傾斜角度である実角度を計測する。車両計測部２１は、計測された実角度をメモリ１２１に書き込む。
　（図３のステップＳ１４：角度予測処理）
　角度予測部２２は、ステップＳ１３で計測された実角度と、ステップＳ１２で取得された閾値と、車両１００の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両１００の傾斜角度である予測角度を計算する。振動状態は、ステップＳ１３で計測された実角度の時間変化を参照することにより特定される。
　基準時間は、支援画像表示装置１０の性能等に応じて決定される時間であり、表示処理における遅延時間に相当する時間である。基準時間は、数ミリ秒である。
　図４を参照して、実施の形態１に係る角度予測処理を説明する。
　（図４のステップＳ１４１：方向予測処理）
　角度予測部２２は、実角度と閾値とに基づき、基準時間後の車両１００の傾斜角度の変化方向を予測する。
　具体的には、角度予測部２２は、実角度が閾値よりも大きい場合には、基準時間後の傾斜角度は実角度から変化しないと判定する。実角度が閾値よりも大きい場合とは、実角度が正の方向の角度であれば、実角度が上限閾値Ｕよりも大きい角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Ｕよりも大きい角度である場合である。
　また、角度予測部２２は、実角度が閾値以下の場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。実角度が閾値以下の場合とは、実角度が正の方向の角度であれば、実角度が上限閾値Ｕ以下の角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Ｕ以下の角度である場合である。
　図２を参照して、この判定の原理を説明する。
　過去に同じ道路種別を走行した際の振動状態から、実角度が閾値よりも大きい場合には、点Ｐ１及び点Ｐ２のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、過去に同じ道路種別を走行した際の振動状態から、実角度が閾値以下の場合には、点Ｐ３及び点Ｐ４のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
　そのため、角度予測部２２は、実角度が閾値よりも大きい場合には、基準時間後の傾斜角度は前記実角度から変化しないと判定し、実角度が閾値以下の場合には、傾斜角度が直近の変化と同じ方向に変化すると判定する。
　（図４のステップＳ１４２：方向判定処理）
　角度予測部２２は、ステップＳ１４２で基準時間後の傾斜角度が直近の変化と同じ方向に変化すると判定された場合には、処理をステップＳ１４３に進める。一方、角度予測部２２は、ステップＳ１４２で基準時間後の傾斜角度は実角度から変化しないと判定された場合には、処理をステップＳ１４５に進める。
　（図４のステップＳ１４３：変化量予測処理）
　角度予測部２２は、実角度と閾値とに基づき、基準時間後までの傾斜角度の変化量を予測する。
　具体的には、角度予測部２２は、実角度が閾値に近い値であるほど、変化量を小さい値と予測し、実角度が０に近い値であるほど、変化量を大きい値と予測する。実角度が閾値に近い値とは、実角度が正の方向の角度であれば、実角度が上限閾値Ｕに近い角度であり、実角度が負の方向の角度であれば、実角度が下限閾値Ｕに近い角度である。
　実角度が閾値に近い値である場合には、傾斜角度の変化する方向が逆方向になったばかり、又は、逆方向になる直前である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は小さくなる。一方、実角度が０に近い値である場合には、傾斜角度が同じ方向に変化している最中である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は大きくなる。
　（図４のステップＳ１４４：第１角度計算処理）
　角度予測部２２は、ステップＳ１４１で予測された方向に、ステップＳ１４３で予測された変化量だけ、実角度から変化させた角度を予測角度として計算する。角度予測部２２は、計算された予測角度をメモリ１２１に書き込む。
　（図４のステップＳ１４５：第２角度計算処理）
　角度予測部２２は、実角度を予測角度として設定する。角度予測部２２は、設定された予測角度をメモリ１２１に書き込む。
　（図３のステップＳ１５：位置特定処理）
　位置特定部２３は、ステップＳ１４で計算された予測角度に基づき、表示装置３３における支援画像を表示する表示位置を特定する。支援画像は、道案内矢印といった画像データである。
　具体的には、図５に示すように、位置特定部２３は、視点位置４１と、支援画像を重畳させる重畳位置４２と、表示装置３３であるＨＵＤの投影面位置４３との相対的な位置関係から、支援画像を表示する表示位置を特定する。
　視点位置４１は、車両１００の位置と、車両１００と視点位置４１との位置関係とから特定可能である。車両１００の位置は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサといった測位センサから取得可能である。ここでは、基準時間後の車両１００の位置が必要になるが、基準時間後の車両１００の位置は、車両１００の現在位置と、車両１００の車速とから推定可能である。車両１００と視点位置４１との位置関係は、車両１００の内部に設置されたＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）等のカメラ情報から特定可能である。
　重畳位置４２は、道路上の交差点といった特定の位置の場合には、ナビゲーションシステム３２から取得可能である。重畳位置４２は、歩行者といった移動物体の場合には、車両１００に搭載されたカメラとＬｉＤＡＲ（Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）とミリ波レーダといったセンサによって移動物体を検知することにより特定可能である。なお、重畳位置４２が移動物体になる場合には、移動物体を検知するために、カメラとＬｉＤＡＲとミリ波レーダと等がセンサ３１として支援画像表示装置１０に接続されているものとする。
　投影面位置４３は、車両１００の位置と、車両１００と投影面位置４３との位置関係とから特定可能である。車両１００の位置については、上述した通りである。車両１００と投影面位置４３との位置関係は、表示装置３３であるＨＵＤは車両１００に固定されており、事前に測定しておくことにより特定可能である。
　このとき、車両１００の傾斜角度によって、視点位置４１と重畳位置４２と投影面位置４３との相対的な位置関係が変化する。そこで、位置特定部２３は、ステップＳ１４で計算された予測角度をメモリ１２１から読み出す。そして、位置特定部２３は、視点位置４１と重畳位置４２と投影面位置４３とに加え、予測角度を考慮して、視点位置４１と重畳位置４２と投影面位置４３との相対的な位置関係を特定する。そして、位置特定部２３は、視点位置４１と重畳位置４２と投影面位置４３との相対的な位置関係から、支援画像を表示する表示位置を特定する。位置特定部２３は、特定された表示位置をメモリ１２１に書き込む。
　例えば、図６に示すように、車両１００の車体の前方が路面に対してα度だけ上を向くと、支援画像を表示する表示位置は、α度だけ下にずれる。逆に、車両１００の車体の前方が路面に対してα度だけ下を向くと、支援画像を表示する表示位置は、α度だけ上にずれる。
　（図３のステップＳ１６：画像表示処理）
　画像表示部２４は、ステップＳ１５で特定された表示装置３３における表示位置に、支援画像を表示する。
　具体的には、画像表示部２４は、表示位置をメモリ１２１から読み出す。そして、画像表示部２４は、表示位置に支援画像を示した画像データを表示装置３３に送信することにより、表示装置３３に支援画像を表示させる。
　支援画像は、仮想的な３次元空間において、支援画像生成用の仮想カメラで支援画像の元となるＡＲ表示物を撮影することにより、生成される。この際、視点位置４１と投影面位置４３との相対的な位置関係から、仮想カメラの撮影方向が決定される。
　＊＊＊実施の形態１の効果＊＊＊
　以上のように、実施の形態１に係る支援画像表示装置１０は、実角度と振動状態とに基づき基準時間後の車両の傾斜角度である予測角度を計算し、予測角度に基づき支援画像を表示する表示位置を特定する。これにより、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。
　＊＊＊他の構成＊＊＊
　＜変形例１＞
　実施の形態１では、振動状態記憶部１２３には、道路種別と対応付けて振動状態及び閾値が記憶された。振動状態記憶部１２３には、道路種別だけでなく、天候及び車速といった他の情報と対応付けて振動状態及び閾値が記憶されてもよい。この場合には、図３のステップＳ１１では、道路種別取得部２５は、道路種別だけでなく、他の情報を取得し、図３のステップＳ１２では、道路種別取得部２５は、道路種別及び他の情報に対応する閾値を取得する。
　これにより、走行状態により近い振動状態に基づき計算された閾値を用いて、傾斜角度を予測することが可能になる。
　また、振動状態記憶部１２３には、具体的な道路と対応付けて振動状態及び閾値が記憶されてもよい。例えば、車両１００が走行した道路については、その道路と
対応付けて振動状態及び閾値が記憶されてもよい。この場合には、図３のステップＳ１１では、道路種別取得部２５は、道路種別とともに、走行中の道路の識別情報を取得し、図３のステップＳ１２では、道路種別取得部２５は、走行中の道路に対応付られた振動状態及び閾値が振動状態記憶部１２３に記憶されている場合には、走行中の道路に対応付られた閾値を取得する。
　これにより、過去にその道路を走行した際の振動状態に基づき計算された閾値を用いて、傾斜角度を予測することが可能になる。
　＜変形例２＞
　実施の形態１では、図４のステップＳ１４１で角度予測部２２は、実角度と閾値とに基づき、基準時間後の車両１００の傾斜角度の変化方向を予測する。角度予測部２２は、実角度に代えて、車両１００の角速度を用いてもよい。角速度は、センサ３１であるＩＭＵによって計測される。
　具体的には、図３のステップＳ１３で車両計測部２１は、センサ３１であるＩＭＵによって車両１００の角速度を計測する。図４のステップＳ１４１で角度予測部２２は、角速度が閾値よりも小さい場合には、基準時間後の傾斜角度は実角度から変化しないと判定する。また、角度予測部２２は、角速度が閾値以上の場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。
　実施の形態１で実角度と比較される閾値と、変形例２で角速度と比較される閾値とは異なる。つまり、角速度を用いて変化方向を予測する場合には、振動状態記憶部１２３には角速度を用いる場合の閾値が記憶されている。
　図７を参照して、この判定の原理を説明する。
　過去に同じ道路種別を走行した際の振動状態から、角速度が閾値よりも小さい場合には、点Ｐ１及び点Ｐ２のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、過去に同じ道路種別を走行した際の振動状態から、角速度が閾値以上の場合には、点Ｐ３及び点Ｐ４のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
　＜変形例３＞
　実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。
　図８を参照して、変形例３に係る支援画像表示装置１０の構成を説明する。
　各機能構成要素がハードウェアで実現される場合には、支援画像表示装置１０は、プロセッサ１１と記憶装置１２とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、記憶装置１２との機能とを実現する専用の回路である。
　電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）が想定される。
　各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
　＜変形例４＞
　変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
　プロセッサ１１と記憶装置１２と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
　実施の形態２．
　実施の形態２は、車両１００に搭載されたサスペンションのバネの状態によって基準時間後の車両１００の傾斜角度の変化方向を予測する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。
　＊＊＊構成の説明＊＊＊
　図９を参照して、実施の形態２に係る支援画像表示装置１０の構成を説明する。
　支援画像表示装置１０は、道路種別取得部２５を備えていない点が実施の形態１に係る支援画像表示装置１０と異なる。また、支援画像表示装置１０は、ストレージ１２２が振動状態記憶部１２３の機能を実現していない点が実施の形態１に係る支援画像表示装置１０と異なる。
　実施の形態２では、センサ３１は、ＩＭＵと、ＥＣＳ（電子制御サスペンション）とである。
　＊＊＊動作の説明＊＊＊
　図１０から図１２を参照して、実施の形態２に係る支援画像表示装置１０の動作を説明する。
　実施の形態２に係る支援画像表示装置１０の動作は、実施の形態２に係る支援画像表示方法に相当する。また、実施の形態２に係る支援画像表示装置１０の動作は、実施の形態２に係る支援画像表示プログラムの処理に相当する。
　図１０を参照して、実施の形態２に係る支援画像表示装置１０の全体的な動作を説明する。
　車両１００が走行中に図１０に示す処理が繰り返し実行される。
　ステップＳ２２の処理は、図３のステップＳ１３の処理と同じである。また、ステップＳ２４及びステップＳ２５の処理は、図３のステップＳ１５及びステップＳ１６の処理と同じである。
　（図１０のステップＳ２１：サスペンション状態計測処理）
　車両計測部２１は、センサ３１によって車両１００のサスペンションの状態を計測する。
　具体的には、車両計測部２１は、センサ３１であるＥＣＳによって車両１００のサスペンションのバネの状態を計測する。より正確には、車両計測部２１は、車両１００のサスペンションのバネの伸び具合を計測する。
　ＥＣＳには、アクティブサスペンションとセミアクティブサスペンションといった種類がある。アクティブサスペンションはアクチュエータでタイヤからの振動とは逆の力を発生させて振動を制御する。セミアクティブサスペンションは衝撃を吸収するダンパーの減衰力を変化させて振動を制御する。これらのサスペンションは、センサで車両の振動を検出し、それに合わせて、アクチュエータやダンパーの減衰力を変化させて振動を制御している。このため、ＥＣＳの制御値を参照することで、サスペンションのバネの伸び具合を計測することができる。
　（図１０のステップＳ２３：角度予測処理）
　角度予測部２２は、ステップＳ２１で計測されたサスペンションのバネの伸び具合と、ステップＳ２２で計測された実角度と、車両１００の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の車両１００の傾斜角度である予測角度を計算する。
　図１１を参照して、実施の形態２に係る角度予測処理を説明する。
　ステップＳ２３２の処理は、図４のステップＳ１４２の処理と同じである。また、ステップＳ２３４及びステップＳ２３５の処理は、図４のステップＳ１４４及びステップＳ１４５の処理と同じである。
　（図１１のステップＳ２３１：方向予測処理）
　角度予測部２２は、サスペンションのバネの伸び具合に基づき、基準時間後の車両１００の傾斜角度の変化方向を予測する。
　具体的には、角度予測部２２は、バネが上限値よりも伸びている場合と、バネが下限値よりも縮んでいる場合とには、基準時間後の傾斜角度は前記実角度から変化しないと判定する。また、角度予測部２２は、バネが上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、基準時間後の傾斜角度は実角度から振動状態が示す直近の変化と同じ方向に変化すると判定する。
　上限値及び下限値は、サスペンションのバネに応じて事前に定められた値である。
　図１２を参照して、この判定の原理を説明する。
　サスペンションのバネが伸びきった状態になると、点Ｐ１のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。同様に、サスペンションのバネが縮みきった状態になると、点Ｐ２のように、傾斜角度が直近の変化と逆方向に変化するために、一旦傾斜角度がほとんど変化しない状態になる。一方、サスペンションのバネが伸びきっても縮みきってもいない状態の場合には、点Ｐ３及び点Ｐ４のように、しばらくの間は、傾斜角度が直近の変化と同じ方向に変化する状態になる。
　そのため、角度予測部２２は、バネが上限値よりも伸びている場合と、バネが下限値よりも縮んでいる場合とには、基準時間後の傾斜角度は前記実角度から変化しないと判定し、バネが上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、傾斜角度が直近の変化と同じ方向に変化すると判定する。
　（図４のステップＳ２３３：変化量予測処理）
　角度予測部２２は、サスペンションのバネの伸び具合に基づき、基準時間後までの傾斜角度の変化量を予測する。
　具体的には、角度予測部２２は、バネの伸び具合が上限値又は下限値に近い値であるほど、変化量を小さい値と予測し、バネの伸び具合が上限値及び下限値から遠い値であるほど、変化量を大きい値と予測する。
　バネの伸び具合が上限値又は下限値に近い値である場合には、傾斜角度の変化する方向が逆方向になったばかり、又は、逆方向になる直前である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は小さくなる。一方、バネの伸び具合が上限値及び下限値から遠い値である場合には、傾斜角度が同じ方向に変化している最中である可能性が高い。そのため、基準時間後までの傾斜角度の変化量は大きくなる。
　＊＊＊実施の形態２の効果＊＊＊
　以上のように、実施の形態２に係る支援画像表示装置１０は、サスペンションのバネの伸び具合に基づき、基準時間後の車両１００の傾斜角度の変化方向を予測する。これにより、実施の形態１と同様に、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。
　＊＊＊他の構成＊＊＊
　＜変形例５＞
　実施の形態１で説明した方法と、実施の形態２で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
　具体例としては、実施の形態１で説明した方法により、基準時間後の車両１００の傾斜角度の変化方向を予測し、実施の形態２で説明した方法により、基準時間後までの傾斜角度の変化量を予測してもよい。つまり、角度予測部２２は、実角度と閾値とに基づき、基準時間後の車両１００の傾斜角度の変化方向を予測し、サスペンションのバネの伸び具合に基づき、基準時間後までの傾斜角度の変化量を予測してもよい。
　実施の形態３．
　実施の形態３は、路面の凹凸によって基準時間後の車両１００の傾斜角度の変化方向を予測する点が実施の形態１と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
　＊＊＊構成の説明＊＊＊
　図１３を参照して、実施の形態３に係る支援画像表示装置１０の構成を説明する。
　支援画像表示装置１０は、道路種別取得部２５に代えて、凹凸特定部２６を備える点が実施の形態１に係る支援画像表示装置１０と異なる。
　実施の形態３では、センサ３１は、ＩＭＵと、ＬｉＤＡＲとである。なお、ＬｉＤＡＲは路面の凹凸の形状及び大きさを特定するために使用される。そのため、路面の凹凸の形状及び大きさを特定することが可能であれば、センサ３１は、ＬｉＤＡＲではなくカメラ等であってもよい。
　＊＊＊動作の説明＊＊＊
　図１４及び図１５を参照して、実施の形態３に係る支援画像表示装置１０の動作を説明する。
　実施の形態３に係る支援画像表示装置１０の動作は、実施の形態３に係る支援画像表示方法に相当する。また、実施の形態３に係る支援画像表示装置１０の動作は、実施の形態３に係る支援画像表示プログラムの処理に相当する。
　実施の形態１に係る支援画像表示装置１０の動作の前提として、振動状態記憶部１２３には、凹凸の形状及び大きさを示す凹凸情報と対応付けて、凹凸情報が示す凹凸を通過した際に発生した振動状態が記憶されているものとする。車両１００が走行する度に、振動状態記憶部１２３のデータが更新され、より適切な振動状態が記憶される。つまり、車両１００が走行する度に、凹凸情報毎の適切な振動状態が学習される。
　なお、車両１００とは異なる他の車両が実際に凹凸を通過した際に計測された振動状態が、凹凸情報と対応付けて振動状態記憶部１２３に記憶されていてもよい。
　但し、振動状態は車重等によって異なるため、振動状態記憶部１２３に記憶される振動状態は、車両１００と同じ車種の車両が走行した際に計測された振動状態であることが望ましい。
　図１４を参照して、実施の形態３に係る支援画像表示装置１０の全体的な動作を説明する。
　車両１００が走行中に図１４に示す処理が繰り返し実行される。
　ステップＳ３３の処理は、図３のステップＳ１３の処理と同じである。また、ステップＳ３５及びステップＳ３６の処理は、図３のステップＳ１５及びステップＳ１６の処理と同じである。
　（図１４のステップＳ３１：凹凸特定処理）
　凹凸特定部２６は、基準時間後に車両１００が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する。
　具体的には、図１５に示すように、凹凸特定部２６は、車両１００の前方に設置されたＬｉＤＡＲによって基準時間後に車両１００が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する。凹凸特定部２６は、凹凸情報をメモリ１２１に書き込む。
　（図１４のステップＳ３２：振動状態取得処理）
　凹凸特定部２６は、ステップＳ３１で特定された凹凸情報に対応する振動状態を取得する。
　具体的には、凹凸特定部２６は、メモリ１２１から凹凸情報を読み出す。凹凸特定部２６は、読み出された凹凸情報に対応付けて記憶された振動状態を振動状態記憶部１２３から読み出す。凹凸特定部２６は、読み出された振動状態をメモリ１２１に書き込む。
　（図１４のステップＳ３４：角度予測処理）
　角度予測部２２は、ステップＳ３２で読み出された振動状態と、ステップＳ３３で計測された実角度とに基づき、基準時間後の車両１００の傾斜角度である予測角度を計算する。
　具体的には、角度予測部２２は、ステップＳ３２で読み出された振動状態が示す傾斜角度の時間変化と同じ変化をするとして、予測角度を計算する。例えば、振動状態が基準時間後から１０ｍｓ間の傾斜角度の変化を示しているとする。すると、角度予測部２２は、基準時間後から１０ｍｓ間、実角度を基準として、振動状態が示す傾斜角度の時間変化に従って傾斜角度が変化すると予測する。例えば、基準時間後に０．５度前上がりに傾き、その１ｍｓ後にさらに０．５度前上がりに傾くとする。この場合には、角度予測部２２は、基準時間後の予測角度を、実角度よりも０．５度前上がりの角度であると計算する。また、角度予測部２２は、基準時間後の１ｍｓ後の予測角度を、実角度よりも１度前上がりの角度であると計算する。
　＊＊＊実施の形態３の効果＊＊＊
　以上のように、実施の形態３に係る支援画像表示装置１０は、路面の凹凸によって基準時間後の車両１００の傾斜角度の変化方向を予測する。これにより、実施の形態１と同様に、表示処理には遅延時間が発生する場合にも、適切な表示位置を特定可能である。
　＜変形例６＞
　実施の形態１で説明した方法と、実施の形態３で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
　具体例としては、実施の形態３で説明した方法により、基準時間後の車両１００の傾斜角度の変化方向を予測し、実施の形態１で説明した方法により、基準時間後までの傾斜角度の変化量を予測してもよい。つまり、角度予測部２２は、路面の凹凸に基づき、基準時間後の車両１００の傾斜角度の変化方向を予測し、実角度と閾値とに基づき、基準時間後までの傾斜角度の変化量を予測してもよい。
　同様に、実施の形態２で説明した方法と、実施の形態３で説明した方法とを組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。また、実施の形態１～３で説明した方法を組み合わせて、基準時間後の傾斜角度である予測角度を計算してもよい。
　以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
　１０　支援画像表示装置、１１　プロセッサ、１２　記憶装置、１３　通信インタフェース、１４　ディスプレイインタフェース、１５　電子回路、２１　車両計測部、２２　角度予測部、２３　位置特定部、２４　画像表示部、２５　道路種別取得部、２６　凹凸特定部、３１　センサ、３２　ナビゲーションシステム、３３　表示装置、１００　車両、１２１　メモリ、１２２　ストレージ、１２３　振動状態記憶部。

Claims (9)

  1. 　車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示装置であり、
    　前記車両の現在の傾斜角度である実角度を計測する車両計測部と、
    　前記車両計測部によって計測された前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測部と、
    　前記角度予測部によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定部と、
    　前記位置特定部によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示部と
    を備える支援画像表示装置。
  2. 　前記角度予測部は、前記実角度が閾値よりも大きい場合には、前記基準時間後の傾斜角度は前記実角度から変化せず、前記実角度が前記閾値以下の場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
    請求項１に記載の支援画像表示装置。
  3. 　前記車両計測部は、前記車両の角速度を計測し、
    　前記角度予測部は、前記角速度が閾値よりも小さい場合には、前記基準時間後の傾斜角度は前記実角度から変化せず、前記角速度が前記閾値以上の場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
    請求項１に記載の支援画像表示装置。
  4. 　前記閾値は、前記車両が走行中の道路と同じ道路種別の道路における過去の前記振動状態に応じて決定される
    請求項２又は３に記載の支援画像表示装置。
  5. 　前記車両計測部は、前記車両に搭載されたサスペンションのバネの状態を計測し、
    　前記角度予測部は、前記バネが上限値よりも伸びている場合と、前記バネが下限値よりも縮んでいる場合とには、前記基準時間後の傾斜角度は前記実角度から変化せず、前記バネが前記上限値以下の伸びであり、かつ、下限値以下の縮みである場合には、前記基準時間後の傾斜角度は前記実角度から前記振動状態が示す直近の変化と同じ方向に変化するとして、前記予測角度を計算する
    請求項１に記載の支援画像表示装置。
  6. 　前記支援画像表示装置は、さらに、
    　前記基準時間後に前記車両が通過する位置における路面の凹凸の形状及び大きさを示す凹凸情報を特定する凹凸特定部
    を備え、
    　前記角度予測部は、路面の凹凸の形状及び大きさに対応付けて前記凹凸を通過した際に発生する前記振動状態を記憶した振動状態記憶部から、前記凹凸特定部によって特定された前記凹凸情報が示す凹凸の形状及び大きさに対応する前記振動状態を読み出して、読み出された前記振動状態と前記実角度とに基づき、前記予測角度を計算する
    請求項１に記載の支援画像表示装置。
  7. 　前記角度予測部は、読み出された前記振動状態が示す傾斜角度の時間変化と同じ変化をするとして、前記予測角度を計算する
    請求項６に記載の支援画像表示装置。
  8. 　車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示方法であり、
    　車両計測部が、前記車両の現在の傾斜角度である実角度を計測し、
    　角度予測部が、前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算し、
    　位置特定部が、前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定し、
    　画像表示部が、前記表示装置における前記表示位置に前記支援画像を表示する支援画像表示方法。
  9. 　車両の視点位置から観察される風景に重畳するように表示装置に支援画像を表示する支援画像表示プログラムであり、
    　車両計測部が、前記車両の現在の傾斜角度である実角度を計測する車両計測処理と、
    　角度予測部が、前記車両計測処理によって計測された前記実角度と、前記車両の傾斜角度の時間変化を示す振動状態とに基づき、基準時間後の前記車両の傾斜角度である予測角度を計算する角度予測処理と、
    　位置特定部が、前記角度予測処理によって計算された前記予測角度に基づき、前記表示装置における前記支援画像を表示する表示位置を特定する位置特定処理と、
    　画像表示部が、前記位置特定処理によって特定された前記表示装置における前記表示位置に前記支援画像を表示する画像表示処理と
    を行う支援画像表示装置としてコンピュータを機能させる支援画像表示プログラム。
PCT/JP2018/043627 2018-11-27 2018-11-27 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム WO2020110206A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019509570A JP6522270B1 (ja) 2018-11-27 2018-11-27 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
PCT/JP2018/043627 WO2020110206A1 (ja) 2018-11-27 2018-11-27 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/043627 WO2020110206A1 (ja) 2018-11-27 2018-11-27 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

Publications (1)

Publication Number Publication Date
WO2020110206A1 true WO2020110206A1 (ja) 2020-06-04

Family

ID=66655718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043627 WO2020110206A1 (ja) 2018-11-27 2018-11-27 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

Country Status (2)

Country Link
JP (1) JP6522270B1 (ja)
WO (1) WO2020110206A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7272252B2 (ja) * 2019-12-05 2023-05-12 株式会社デンソー 表示制御装置、表示制御プログラム及び虚像表示システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06294652A (ja) * 1993-04-09 1994-10-21 Clarion Co Ltd ジャイロのドリフト補正装置
JPH10160506A (ja) * 1996-11-28 1998-06-19 Murata Mfg Co Ltd 角度計測装置
JP2004306792A (ja) * 2003-04-07 2004-11-04 Calsonic Kansei Corp ヘッドアップディスプレイ
JP2014067299A (ja) * 2012-09-26 2014-04-17 Aisin Seiki Co Ltd 車両運転支援装置
WO2017134866A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
WO2018159119A1 (ja) * 2017-02-28 2018-09-07 株式会社デンソー 表示制御装置及び表示制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06294652A (ja) * 1993-04-09 1994-10-21 Clarion Co Ltd ジャイロのドリフト補正装置
JPH10160506A (ja) * 1996-11-28 1998-06-19 Murata Mfg Co Ltd 角度計測装置
JP2004306792A (ja) * 2003-04-07 2004-11-04 Calsonic Kansei Corp ヘッドアップディスプレイ
JP2014067299A (ja) * 2012-09-26 2014-04-17 Aisin Seiki Co Ltd 車両運転支援装置
WO2017134866A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
WO2018159119A1 (ja) * 2017-02-28 2018-09-07 株式会社デンソー 表示制御装置及び表示制御方法

Also Published As

Publication number Publication date
JP6522270B1 (ja) 2019-05-29
JPWO2020110206A1 (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
US11143513B2 (en) Labeling scheme for labeling and generating high-definition map based on trajectories driven by vehicles
EP3598411A1 (en) Method and system to predict object movement for autonomous driving vehicles
EP3620959B1 (en) Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
JP6517897B2 (ja) 自律走行車用のバネシステムに基づく車線変更方法
US10990101B2 (en) Method for drifting correction for planning a path for autonomous driving vehicles
KR102042946B1 (ko) 자율 주행 차량을 위한 감속 연석 기반 방향 검출 및 차선 유지 시스템
US11183059B2 (en) Parking management architecture for parking autonomous driving vehicles
WO2018207566A1 (ja) 表示装置及び表示制御方法
US20190143993A1 (en) Distracted driving determination apparatus, distracted driving determination method, and program
KR102438114B1 (ko) 차량의 주행 경로를 결정하기 위한 방법 및 장치
WO2019200563A1 (en) Map-less and localization-less lane following method for autonomous driving of autonomous driving vehicles on highway
US20210278849A1 (en) A tunnel-based planning system for autonomous driving vehicles
EP3524494A1 (en) Lane self-localization system using multiple cameras for autonomous driving vehicles
JP5742558B2 (ja) 位置判定装置およびナビゲーション装置並びに位置判定方法，プログラム
JP2016206776A (ja) 路面検出装置
US11340613B2 (en) Communications protocols between planning and control of autonomous driving vehicle
JP7412598B2 (ja) 逆走判定装置および逆走判定方法
WO2020110206A1 (ja) 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
EP4001844A1 (en) Method and apparatus with localization
JP7507439B2 (ja) 勾配変化検出システム、それを用いた表示システム及び移動体用プログラム
US11400955B2 (en) Multi-point enforced based stitch method to connect two smoothed reference lines
US11392140B2 (en) Two inertial measurement units and GPS based localization system for an autonomous driving truck
WO2021095590A1 (ja) 表示制御装置
JP6611315B2 (ja) 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
JP2023506533A (ja) モバイルデバイス用のカメラシステム、１つのカメラを位置決めするための方法、および、複数のカメラを位置決めするための方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019509570

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941180

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941180

Country of ref document: EP

Kind code of ref document: A1