KR101713740B1 - Method and device for displaying augmented reality HUD for vehicle - Google Patents

Method and device for displaying augmented reality HUD for vehicle Download PDF

Info

Publication number
KR101713740B1
KR101713740B1 KR1020150065842A KR20150065842A KR101713740B1 KR 101713740 B1 KR101713740 B1 KR 101713740B1 KR 1020150065842 A KR1020150065842 A KR 1020150065842A KR 20150065842 A KR20150065842 A KR 20150065842A KR 101713740 B1 KR101713740 B1 KR 101713740B1
Authority
KR
South Korea
Prior art keywords
augmented reality
reality hud
hud display
vehicle
error
Prior art date
Application number
KR1020150065842A
Other languages
Korean (ko)
Other versions
KR20160069451A (en
Inventor
김성운
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to US14/846,781 priority Critical patent/US9690104B2/en
Priority to DE102015218162.6A priority patent/DE102015218162B4/en
Priority to CN201510665017.3A priority patent/CN105676452B/en
Publication of KR20160069451A publication Critical patent/KR20160069451A/en
Application granted granted Critical
Publication of KR101713740B1 publication Critical patent/KR101713740B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/22—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Instrument Panels (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Graphics (AREA)

Abstract

차량의 증강현실 HUD 표시 방법은, 차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 단계와, 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 차량 운전자의 눈 위치를 검출하는 단계와, 상기 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 단계와, 운전자의 눈과 외부 물체 사이의 거리 정보에 따라 가변되는 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 단계와, 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 외부 물체 정보에 관한 증강현실 HUD 그래픽을 윈드쉴드(windshield)에 표시하는 단계를 포함한다.A method of displaying an augmented reality HUD of a vehicle includes the steps of detecting a position of an object outside the vehicle viewed by a driver of the vehicle and detecting an eye position of the vehicle driver viewing external object information displayed on a windshield of the vehicle Extracting an augmented reality HUD display coordinate of the detected external object and an augmented reality HUD display coordinate of the detected eye position; An error relating to an augmented reality HUD display coordinate of an external object and an error relating to an augmented reality HUD display coordinate of an eye position are corrected using an error correction parameter for the HUD display coordinate and an error correction parameter for the augmented reality HUD display coordinate of the eye position A step of receiving the augmented reality HUD display coordinates of the corrected external object and the augmented reality HUD display coordinates of the corrected eye position And displaying the augmented reality HUD graphic relating to the external object information on the windshield.

Description

차량의 증강현실 HUD 표시 방법 및 그 표시 장치{Method and device for displaying augmented reality HUD for vehicle}Technical Field [0001] The present invention relates to a method for displaying augmented reality HUD,

본 발명은 차량의 증강현실 HUD 관련 기술에 관한 것으로서, 보다 상세하게는, HUD(headup display, 헤드업 디스플레이)에서 증강현실 HUD 그래픽(graphic)의 체감 오차를 최소화할 수 있는 차량의 증강현실 HUD 표시 방법 및 그 표시 장치에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique of augmented reality HUD of a vehicle and, more particularly, to a technique of augmented reality HUD of a vehicle which can minimize a sense error of an augmented reality HUD graphic in a head- And a display device therefor.

일반적으로, 자동차(차량)는 첨단 기술이 적용되어 그 기동성과 유용성이 향상됨으로써 현대사회에서 필수적인 제품이 되고 있다. 그리고, 최근에는, 운전자의 눈에 정보를 투영하기 위해 헤드업 디스플레이(HUD, HeadUp Display)가 사용되고 있다.Generally, automobiles (vehicles) are becoming essential products in the modern society because advanced technology is applied and their mobility and usefulness are improved. In recent years, a head-up display (HUD) has been used to project information to the driver's eyes.

헤드업 디스플레이(Head Up Displays)는 차량의 운행 정보가 차량의 전면 유리에 표시되도록 설계된 전방 표시 장치이다. 즉, 헤드업 디스플레이 유닛(unit)은 자동차의 클러스터(cluster)에 표시되던 속도, 연료량, 온도 및 경고방향과 같은 다양한 종류의 정보를 운전자가 윈드쉴드 글라스(windshield glass)에서 인식할 수 있도록 가상 이미지(virtual image)를 형성하여 표시하는 것이다.Head Up Displays is a front display device designed to display vehicle driving information on the front glass of a vehicle. That is, the head-up display unit displays various types of information such as speed, fuel amount, temperature, and warning direction displayed on a cluster of the automobile in the form of a virtual image a virtual image is formed and displayed.

헤드 업 디스플레이는 처음에는 비행기에서 조종사의 전방 시야를 확보하기 위하여 도입되었으나, 최근에는 차량에서도 주행 정보 제공이나 운전자가 운전 중 고개를 숙임으로써 발생하는 사고 감소 등의 목적을 위하여 도입되고 있다. 또한 헤드업 디스플레이 유닛을 사용함으로써 운전자는 전방에 대한 집중력이 높아져 사고발생위험이 감소하는 장점을 갖는다. 또한 상기 헤드업 디스플레이 유닛은 클러스터의 정보뿐만 아니라 야간에 전방의 물체를 식별할 수 있도록 하는 나이트비젼 기능을 제공하기도 한다.The head-up display was first introduced to secure the pilot's front view from an airplane, but recently it has been introduced for the purpose of providing driving information in the vehicle and reducing accidents caused by driver's head crouching while driving. Also, by using the head-up display unit, the driver has an advantage that the risk of accidents is reduced because the concentration on the front is increased. In addition, the head-up display unit not only provides information on clusters, but also provides a night vision function for identifying an object ahead in the night.

부연하여 설명하면, 헤드 업 디스플레이는 차량의 내부 동작 정보 및 주행 정보의 영상을 전방의 윈도우 쉴드(Window Shield)에 삽입된 스크린 필름을 통하여 디스플레이하여 운전자의 시선 이동을 최소화함으로써, 운전 중에 전방 주의를 분산시키지 않도록 정보를 제공하는 장치일 수 있다.To be more specific, the head-up display displays the internal operation information of the vehicle and the image of the driving information through the screen film inserted in the window shield at the front to minimize the driver's gaze movement, It may be a device that provides information so as not to disperse.

이러한 헤드 업 디스플레이는 영상을 생성하는 LCD(Liquid Crystal Display)와 같은 영상 소스(Image Source)와, 영상 소스로부터 생성되어 투사되는 영상이 윈도우 쉴드의 적정 거리 및 유효 촛점거리에 상을 맺도록 하는 광학계와 운전자의 조절을 위한 인터페이스로 구성될 수 있다.Such a head-up display includes an image source such as an LCD (Liquid Crystal Display) for generating an image, an optical system for forming an image on an appropriate distance and effective focal distance of the window shield, And an interface for controlling the driver.

차량용 헤드업 디스플레이는 전방 윈도우 쉴드에 차속, 주행거리, RPM(revolutions per minute) 등과 같은 클러스터의 계기판 정보를 디스플레이하여 운전자가 운전 중에도 쉽게 주행 정보를 파악할 수 있도록 하고 있으며, 차량이 일시 정차하거나 주차 상태에서 출발하는 시기에 차량의 각종 내부 시스템에 대한 정보를 영상으로 형상화하여 윈도우 쉴드 상에 가상의 이미지로 디스플레이할 수 있도록 되어 있다.The head-up display of the vehicle displays information on the instrument cluster of the cluster such as vehicle speed, mileage, revolutions per minute (RPM), etc. on the front window shield so that the driver can easily grasp the driving information while driving. The information about various internal systems of the vehicle can be shaped into an image and displayed as a virtual image on the window shield.

이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
The matters described in the background section are intended to enhance the understanding of the background of the invention and may include matters not previously known to those skilled in the art.

본 발명이 해결하려는 기술적 과제(목적)는, 증강현실 HUD(headup display)에서 증강현실 HUD 그래픽(graphic)의 차량의 운전자 또는 사용자에 의한 체감 오차를 최소화할 수 있는 차량의 증강현실 HUD 표시 방법 및 그 장치를 제공하는 것이다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a method of displaying an augmented reality HUD of a vehicle capable of minimizing a sense error caused by a driver or a user of a vehicle in an augmented reality HUD graphic in augmented reality HUD And to provide such a device.

상기 과제를 해결(달성)하기 위하여, 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 방법은, 차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 단계; 상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치를 검출하는 단계; 상기 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 단계; 상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 단계; 및 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시하는 단계를 포함할 수 있다.In order to solve the above problems, a method of displaying an augmented reality HUD of a vehicle according to an embodiment of the present invention includes: detecting a position of an object outside the vehicle viewed by a driver of the vehicle; Detecting an eye position of the vehicle driver to view external object information displayed on a windshield of the vehicle; Extracting an augmented reality HUD display coordinate of the detected external object and an augmented reality HUD display coordinate of the detected eye position; An error correction parameter relating to an augmented reality HUD display coordinate of the external object varying according to distance information between the driver's eye and the external object and an error correction parameter relating to an augmented reality HUD display coordinate of the eye position, Correcting an error relating to an augmented reality HUD display coordinate of an object and an error related to an augmented reality HUD display coordinate of the eye position; And displaying the augmented reality HUD display coordinate of the corrected external object on the windshield by receiving the augmented reality HUD display coordinate of the corrected eye position and the augmented reality HUD display coordinate of the external object information can do.

상기 오차를 보정하는 단계는 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게 보정하는 값인 제2 보정 파라미터로 설정하는 단계를 포함할 수 있다.Wherein the step of correcting the error includes the steps of: displaying an augmented reality HUD display coordinate of a first object at a first distance from the eyes of the driver and an error correction parameter of an augmented reality HUD display coordinate of an eye position of the first object, The augmented reality HUD display coordinates of a second object at a second distance shorter than the first distance from the eyes of the driver among the external objects and the augmented reality HUD And setting an error correction parameter of the display coordinate to a second correction parameter that is a value for correcting the error less than the first correction parameter.

상기 외부 물체의 위치를 검출하는 센서는 레이더(radar) 또는 라이다(lidar)를 포함할 수 있다. 상기 눈 위치를 검출하는 센서는 카메라를 포함할 수 있다.The sensor for detecting the position of the external object may include a radar or a lidar. The sensor for detecting the eye position may include a camera.

상기 오차를 보정하는 단계는 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 로우 패스 필터링(low pass filtering)하는 단계를 포함하고, 상기 로우 패스 필터링(low pass filtering)하기 위한 제1 보정 파라미터에 포함된 차단 주파수는 상기 로우 패스 필터링(low pass filtering)하기 위한 제2 보정 파라미터에 포함된 차단 주파수보다 낮은 값을 가질 수 있다.The step of correcting the error includes a step of performing low pass filtering on an error relating to an augmented reality HUD display coordinate of an external object and an error related to an augmented reality HUD display coordinate of the eye position, the cutoff frequency included in the first correction parameter for low pass filtering may have a value lower than the cutoff frequency included in the second correction parameter for low pass filtering.

상기 외부 물체 정보에 대응하는 HUD 표시 정보는 상기 외부 물체의 속도 정보 또는 상기 외부 물체에 관한 내비게이션 정보를 포함할 수 있다. 상기 내비게이션 정보는 TBT(turnbyturn) 정보를 포함할 수 있다.The HUD display information corresponding to the external object information may include speed information of the external object or navigation information on the external object. The navigation information may include TBT (turnby turn) information.

상기 과제를 해결하기 위하여, 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 장치는, 차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 물체 검출 센서; 상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치를 검출하는 눈 위치 검출부; 상기 물체 검출 센서에 의해 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 눈 위치 검출부에 의해 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 증강현실 표시좌표 추출부; 상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 오차보정 모듈; 및 상기 오차보정 모듈으로부터 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시하는 그래픽 표시부;를 포함하며, 상기 거리 정보는 상기 물체 검출 센서로부터 상기 오차보정 모듈에 전달될 수 있다.According to an aspect of the present invention, there is provided an augmented reality HUD display device for a vehicle, comprising: an object detection sensor for detecting a position of an object outside a vehicle viewed by a driver of the vehicle; An eye position detection unit for detecting an eye position of the vehicle driver to view external object information displayed on a windshield of the vehicle; An augmented reality display coordinate extraction unit for extracting an augmented reality HUD display coordinate of an external object detected by the object detection sensor and an augmented reality HUD display coordinate of an eye position detected by the eye position detection unit; An error correction parameter relating to an augmented reality HUD display coordinate of the external object varying according to distance information between the driver's eye and the external object and an error correction parameter relating to an augmented reality HUD display coordinate of the eye position, An error correction module for correcting an error related to an augmented reality HUD display coordinate of an object and an error relating to an augmented reality HUD display coordinate of the eye position; And receiving the augmented reality HUD display coordinates of the corrected external object and the augmented reality HUD display coordinates of the corrected eye position from the error correction module and outputting the augmented reality HUD graphic related to the external object information to the windshield And the distance information may be transmitted from the object detection sensor to the error correction module.

상기 오차보정 모듈은 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게 보정하는 값인 제2 보정 파라미터로 설정할 수 있다.Wherein the error correction module corrects an error correction parameter of an augmented reality HUD display coordinate of a first object at a first distance from the driver's eye and an error correction parameter of an augmented reality HUD display coordinate of an eye position at which the first object is viewed, And the augmented reality HUD display coordinates of the second object at a second distance shorter than the first distance from the eyes of the driver among the external objects and the augmented reality HUD display coordinates of the eye position at which the second object is viewed Can be set to a second correction parameter which is a value for correcting the error less than the first correction parameter.

상기 물체 검출 센서는 레이더(radar) 또는 라이다(lidar)를 포함할 수 있다. 상기 눈 위치 검출부는 카메라를 포함할 수 있다.The object detection sensor may include a radar or a lidar. The eye position detecting unit may include a camera.

상기 오차보정 모듈은 저역 통과 필터(low pass filter)를 포함하고, 상기 저역 통과 필터의 제1 보정 파라미터인 차단 주파수는 상기 저역 통과 필터의 제2 보정 파라미터인 차단 주파수보다 낮은 값을 가질 수 있다.The error correction module may include a low pass filter, and the cutoff frequency, which is the first correction parameter of the low pass filter, may have a value lower than the cutoff frequency, which is the second correction parameter of the low pass filter.

상기 외부 물체 정보에 대응하는 HUD 표시 정보는 상기 외부 물체의 속도 정보 또는 상기 외부 물체에 관한 내비게이션 정보를 포함할 수 있다. 상기 내비게이션 정보는 TBT(turnbyturn) 정보를 포함할 수 있다.
The HUD display information corresponding to the external object information may include speed information of the external object or navigation information on the external object. The navigation information may include TBT (turnby turn) information.

전술한 본 발명의 실시예에 따르면, 차량의 증강현실 HUD 표시 방법 및 그 장치는, 차량의 증강현실 HUD 시스템(증강현실 HUD 장치)에서 차량의 운전자가 체감하는 그래픽 오차를 운전자가 쳐다보는(바라보는) 물체와의 거리에 따라 다르게 제공하는 것에 의해 운전자가 실제 주행 환경을 직관적으로 인지하도록 할 수 있다.According to the embodiment of the present invention described above, a method for displaying an augmented reality HUD of a vehicle and an apparatus thereof are provided for augmenting reality HUD system (augmented reality HUD apparatus) It is possible to intuitively recognize the actual driving environment by providing the vehicle differently according to the distance from the object.

또한 본 발명은 센서의 기술이 획기적으로 개선되더라도 센서비용측면에서 센서 성능과 균형(tradeoff) 관계를 형성하도록 하여 차량의 증강현실 HUD 표시방법을 구현하기 위한 비용이 거의 소요되지 않는 알고리즘(algorithm)일 수 있고, 운전자가 느끼는 증강현실 HUD 그래픽의 체감 오차를 감소시킬 수 있다.
The present invention also provides an algorithm that requires little cost to implement a method of displaying augmented reality HUD in a vehicle by forming a tradeoff relationship with the sensor performance in terms of sensor cost even if the technology of the sensor is remarkably improved. And it is possible to reduce the sense error of the augmented reality HUD graphics the driver feels.

본 발명의 상세한 설명에서 사용되는 도면을 보다 충분히 이해하기 위하여, 각 도면의 간단한 설명이 제공된다.
도 1 및 도 2는 증강현실 HUD 표시 방법의 예를 각각 나타내는 도면이다.
도 3은 증강현실 HUD의 기술구성의 예를 나타내는 도면이다.
도 4는 증강현실 HUD에서 차량의 운전자의 시선 인식 오차 및 시야각을 설명하는 도면이다.
도 5는 차량 센서를 이용하여 물체 거리를 측정할 때의 오차를 설명하는 도면이다.
도 6은 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 장치를 설명하는 블락 다이어그램(block diagram)이다.
도 7은 도 6에 도시된 오차 보정 모듈의 실시예를 설명하는 그래프(graph)이다.
도 8은 도 6에 도시된 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 실시예를 설명하는 도면이다.
도 9는 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다.
도 10은 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다.
도 11은 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS For a more complete understanding of the drawings used in the detailed description of the present invention, a brief description of each drawing is provided.
1 and 2 are views each showing an example of a method of displaying an augmented reality HUD.
3 is a diagram showing an example of the technical structure of the augmented reality HUD.
4 is a diagram for explaining a visual perception error and a viewing angle of a driver of a vehicle in the augmented reality HUD.
5 is a view for explaining an error when measuring the object distance using the vehicle sensor.
6 is a block diagram illustrating an augmented reality HUD display device of a vehicle according to an embodiment of the present invention.
7 is a graph illustrating an embodiment of the error correction module shown in FIG.
8 is a view for explaining an embodiment of an augmented reality HUD graphic displayed by the augmented reality HUD display device of the vehicle shown in Fig.
9 is a view for explaining another embodiment of the augmented reality HUD graphic displayed by the augmented reality HUD display device of the vehicle of Fig.
10 is a view for explaining another embodiment of the augmented reality HUD graphic displayed by the augmented reality HUD display device of the vehicle of Fig.
11 is a view for explaining another embodiment of the augmented reality HUD graphic displayed by the augmented reality HUD display device of the vehicle of Fig.

본 발명, 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는, 본 발명의 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용이 참조되어야 한다.BRIEF DESCRIPTION OF THE DRAWINGS For a better understanding of the present invention, and the objects attained by the practice of the invention, reference should be made to the accompanying drawings, which illustrate embodiments of the invention, and to the description in the accompanying drawings.

이하, 첨부한 도면을 참조하여 본 발명의 실시예를 설명하는 것에 의해, 본 발명을 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 각 도면에 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낼 수 있다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to embodiments of the present invention with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Like reference numerals in the drawings denote like elements.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having", etc., are used to specify that a feature, a number, a step, an operation, an element, a component, or a combination thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(통상의 기술자)에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and, unless expressly defined herein, are to be construed as either ideal or overly formal Do not.

도 1 및 도 2에 도시된 증강현실 HUD을 구현하기 위해, 차량 운전자의 눈 위치와 보고자 하는 목표물의 좌표를 파악해야 한다. 도 1 및 도 2는 증강현실 HUD 표시 방법의 예를 각각 나타내는 도면이다.In order to implement the augmented reality HUD shown in Figs. 1 and 2, the eye position of the vehicle driver and the coordinates of the target to be viewed must be grasped. 1 and 2 are views each showing an example of a method of displaying an augmented reality HUD.

눈 위치 파악을 위한 카메라 센서와 차량 밖 물체를 인식하기 위한 라이다(lidar, light detection and ranging) 또는 레이다(radar) 등의 센서(sensor) 데이터에서 각 데이터는 센서 및 눈의 자체 떨림에 의해 일정 각도 오차가 발생한다.In sensor data such as lidar, light detection and ranging, or radar for recognizing a camera position for eye position and an object outside the vehicle, each data is constantly Angle error occurs.

이러한 오차는 증강현실 HUD에서 표현하고자 하는 목표물 영상에 대해 거리(목표물 영상의 거리)에 따라 다른 체감 오차를 나타내어 차량의 운전자 또는 사용자에게는 혼란을 불러 일으킬 수 있고 특히 거리에 상관없는 체감 오차 감소 알고리즘 적용으로 증강현실 HUD 그래픽은 일관적(일정한) 성능을 나타내기 어려울 수 있다.This error may cause a different sensation error depending on the distance (distance of the target image) with respect to the target image to be expressed in the augmented reality HUD, which may cause confusion to the driver or user of the vehicle. In particular, The augmented reality HUD graphics may be difficult to exhibit consistent performance.

차량에서 도 3에 도시된 증강현실 HUD를 구현하기 위해서, 윈드실드 글래스(windshield glass)에 영상을 투사하고 사용자는 이 투사된 영상을 허상으로 윈드실드(windshield) 후면의 실제 현실과 겹쳐서 볼 수 있다. 도 3은 증강현실 HUD의 기술구성의 예를 나타내는 도면이다.In order to realize the augmented reality HUD shown in Fig. 3 on a vehicle, an image is projected on a windshield glass, and the user can see the projected image as a virtual image superimposed on the actual reality behind the windshield . 3 is a diagram showing an example of the technical structure of the augmented reality HUD.

차량의 전방 장애물 또는 표식(표지)을 정확히 매칭(matching)시키기 위해, 차량 탑승자인 운전자의 눈 위치가 필요하고 일반적으로 눈 위치는 차량 내 배치된 카메라로 인식하게 된다. 카메라의 해상도 또는 눈의 생체적 떨림 등으로 눈 추적 좌표는 일정한 노이즈(noise)를 가지고, 외부 물체를 센싱(sensing)하는 센서 역시 해상도의 문제로 일정한 좌표 오차를 가지게 된다.In order to precisely match the front obstacle or mark (mark) of the vehicle, the driver's eye position, which is the vehicle occupant, is required, and the eye position is generally recognized as a camera disposed in the vehicle. The eye tracking coordinates have a certain noise due to the resolution of the camera or the biological tremor of the eye, and the sensor for sensing an external object also has a certain coordinate error due to the resolution problem.

도 4는 증강현실 HUD에서 차량의 운전자의 시선 인식 오차 및 시야각을 설명하는 도면이다. 부연하여 설명하면, 도 4는 운전자 시선 노이즈(noise)에 따른 차량 외부의 물체와 같은 응시 물체에 대한 표시 오차를 설명한다.4 is a diagram for explaining a visual perception error and a viewing angle of a driver of a vehicle in the augmented reality HUD. More specifically, FIG. 4 illustrates a display error of a gazing object such as an object outside the vehicle due to the driver's gaze noise.

도 4를 참조하면, 증강현실 HUD의 기술 구성요소는, 운전자의 시선 인식을 위한 눈 위치 인식 카메라(120), 외부 물체의 위치를 인식(측정)하기 위한 도 5에 도시된 레이다(radar, Radio Detecting And Ranging)(205) 또는 라이다(lidar, light detection and ranging)를 포함할 수 있다.Referring to FIG. 4, the technical components of the augmented reality HUD include an eye position recognition camera 120 for recognizing the driver's gaze, a radar (Radio) Detecting And Ranging 205 or lidar, light detection and ranging.

시선 벡터는 운전자 눈(125)의 안구 중심점과 동공 중심점을 연결하는 선으로 나타낼 수 있으므로, 시선(눈 위치 인식 시스템 시야각)은 도 4에 도시된 바와 같이 안구 중심점을 기준으로 방사형태의 벡터 형태를 가진다. 그러므로 시선 노이즈(눈 위치 인식 오차)도 방사 형태(일정 각 형태)를 띠므로, 도 4에 도시된 바와 같이, 안구와 거리가 멀어질수록 횡방향의 직교좌표 오차는 크게 된다.Since the line of sight vector can be represented by a line connecting the center of eye of the driver's eye 125 and the center of the pupil, the line of sight (eye position recognition system viewing angle) can be expressed as a vector form of the radiation pattern based on the center of eye as shown in FIG. I have. Therefore, as shown in FIG. 4, as the distance from the eyeball increases, the orthogonal coordinate error in the lateral direction becomes larger because the visual line noise (eye position recognition error) also has a radiation pattern (constant shape).

도 4에 도시된 바와 같이, 시선 오차는 같은 물체 크기에도 거리(운전자 시선과 시선이 닿는 물체와의 거리)에 따라 직교오차 값(직교좌표 오차)은 달라지므로, 증강현실 HUD 그래픽으로 표시할 때 차량의 윈드쉴드 글래스(115) 상의 가까운 거리에 있는 물체(110)의 표시 보다 먼 거리에 있는 물체(105)의 표시는 훨씬 더 큰 오차로 반영되어 먼 거리에 있는 물체에 관한 체감 노이즈(체감 오차)는 더 클 수 있다.As shown in FIG. 4, since the eye error varies in the same object size, the orthogonal error value (orthogonal coordinate error) changes according to the distance (distance between the driver's gaze and the object with the line of sight) The display of the object 105 at a distance that is farther than the display of the object 110 at a close distance on the windshield glass 115 of the vehicle is reflected by a much larger error and a bounced noise ) May be larger.

도 5는 차량 센서를 이용하여 물체 거리를 측정할 때의 오차를 설명하는 도면이다.5 is a view for explaining an error when measuring the object distance using the vehicle sensor.

도 5를 참조하면, 차량(220)의 전방에 설치된 레이다(215) 또는 라이다(215)와 같은 차량(220)과 물체 사이의 거리를 측정하는 센서(sensor)에서도 도 4에서 설명하는 원리와 같은 원리가 적용될 수 있다. 센서(215)의 전파 또는 광(light)(또는 레이저 광)은 차량(220)의 한 점에서 출발하여 차량의 전방을 스캔(scan)하게 되는데 결과적으로 방사형태를 띠게 된다. 따라서 센싱 노이즈(sensing noise)도 전술한 시선 노이즈와 마찬가지로 방사형태로 나타나며 일정 각(거리 측정 센서 오차각)으로 나타난다. 5, a sensor 220 for measuring a distance between an object and a vehicle 220, such as a radar 215 or a Lidar 215 installed in front of the vehicle 220, The same principle can be applied. The radio wave or light (or laser light) of the sensor 215 starts from a point on the vehicle 220 and scans the front of the vehicle, resulting in a radiation pattern. Therefore, the sensing noise also appears as a radial shape as the above-mentioned sight line noise, and is represented by a constant angle (distance measurement sensor error angle).

그러므로 도 5에 도시된 바와 같이, 차량 외부의 물체(먼거리에 있는 물체(205) 또는 가까운 거리에 있는 물체(210))와 차량(220) 사이의 거리에 따라 센싱되는 노이즈 값은 다르게 나타난다. 상기 거리에 따라 변경되는 센싱 노이즈 값을 그대로 반영하여 증강현실 HUD 그래픽으로 표현하면, 차량(220)으로부터 가까운 거리에 있는 물체(210)의 크기와 같은 크기를 가지는 먼거리에 있는 물체(205)가 다른 그래픽 노이즈로 표시되어, 먼거리에 있는 물체(205) 및 가까운 거리에 있는 물체(210)에 대한 운전자의 체감 노이즈가 다르게 된다.Therefore, as shown in Fig. 5, noise values sensed according to the distance between an object outside the vehicle (the object 205 at a long distance or the object 210 at a close distance) and the vehicle 220 appear differently. When the object 205 at a distance that is the same size as the size of the object 210 at a distance from the vehicle 220 is different from the size of the object 210 at a distance from the vehicle 220, It is displayed as graphic noise, so that the driver's perceptional noise is different for the object 205 at a long distance and the object 210 at a close distance.

도 6은 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 장치를 설명하는 블락 다이어그램(block diagram)이다.6 is a block diagram illustrating an augmented reality HUD display device of a vehicle according to an embodiment of the present invention.

도 6을 참조하면, 차량의 증강현실 HUD 표시 장치(300)는, 물체 검출 센서(305), 눈 위치 검출부(310), 증강현실 표시 좌표 추출부(315), 오차 보정 모듈(module)(320), 및 그래픽(graphic) 표시부(325)를 포함할 수 있다.6, the vehicle augmented reality HUD display device 300 includes an object detection sensor 305, an eye position detection unit 310, an augmented reality display coordinate extraction unit 315, an error correction module 320 And a graphic display unit 325. The graphic display unit 325 may be a display unit,

상기 증강현실(augmented reality)는 실제 환경에 가상 사물이나 정보를 합성하여 원래 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기술을 의미할 수 있다. 즉, 증강 현실은 사용자가 눈으로 보는 현실세계에 가상 정보를 합쳐 하나의 영상으로 보여주는 가상현실 기술을 말할 수 있다. 증강현실 기술은 공지기술인 바 본 명세서에서 자세한 설명은 생략될 수 있다.The augmented reality may refer to a computer graphics technology that synthesizes a virtual object or information in a real environment to make it appear as an object in the original environment. That is, the augmented reality can refer to a virtual reality technique in which the virtual information is combined with the real world viewed by the user and displayed as a single image. The augmented reality technology is a known technology and a detailed description thereof can be omitted in this specification.

차량의 증강현실 HUD 표시 장치(300)와 같은 HUD(헤드업 디스플레이) 장치는 윈드실드(프런트(front) 윈드쉴드) 또는 컴바이너(combiner, 투명판) 등에 이미지(image)를 반사시켜 차량 운전자에게, 차속, 주행거리 또는 RPM(revolution per minute)과 같은 차량정보, 또는 경로정보(navigation 정보) 등을 제공하는 장치일 수 있다. 증강현실 HUD(증강현실 HUD 장치)일 경우 눈의 위치에 따라서(눈의 위치와) 실제 외부 사물과 매칭(matching)이 되어야 하기 때문에 운전자의 눈의 위치와 HUD 화면(HUD 영역)의 매칭(matching)이 필요할 수 있다. HUD 영역(HUD 표시영역 또는 HUD 화면영역)은 차량의 주행정보와 같은 차량 정보를 차량의 윈드 쉴드(wind shield)(프런트(front) 윈드쉴드)에 형성되도록 하는 것에 의해 차량 운전자의 눈에 전달(제공)되는 차량 정보 이미지 영역을 지시(indication)할 수 있다. HUD 영역은 HUD 이미지(image)가 표시되는 가상의 영역을 나타낼 수 있다. HUD 영역은 디스플레이 화면 내에 위치하며 디스플레이 화면은 운전자의 시선 위치로서 정면을 응시할 경우 상(image)이 보이는 영역을 의미할 수 있다.A head-up display (HUD) device, such as a vehicle augmented reality HUD display device 300, reflects an image on a windshield (front windshield) or a combiner (transparent plate) Vehicle information such as vehicle speed, mileage, or RPM (revolution per minute), or route information (navigation information). In case of an augmented reality HUD (augmented reality HUD device), it is necessary to match with an actual external object according to the position of the eye (eye position), so that the position of the driver's eye and the HUD screen (HUD area) ) May be required. The HUD area (HUD display area or HUD screen area) is used to transmit vehicle information such as driving information of the vehicle to a windshield (front windshield) (E.g., provided). The HUD area may represent a virtual area in which the HUD image is displayed. The HUD area is located within the display screen, and the display screen may be an area where an image is seen when gazing at the front as the sight line position of the driver.

차량의 증강현실 HUD 표시장치(300)는 증강현실 그래픽 좌표(증강현실 HUD 그래픽 좌표)를 보정하는 프로세스(process)를 수행할 수 있고, 증강현실 HUD 그래픽 의 인터페이스(interface) 설계에서, 차량 운전자 또는 사용자의 시선 연동에 의한 그래픽 오차(시선 이동에 따른 그래픽 오차)를 최소화하는 방법을 수행할 수 있다. 부연하여 설명하면, 차량의 증강현실 HUD 표시장치(300)는 차량에 가까이 있는 물체에 대해서는 정확도보다 응답속도를 우선시 하고, 건물 정보 등 먼 거리에 있는 물체는 응답속도보다는 정확도를 우선시하는 알고리즘을 실행할 수 있다.The augmented reality HUD display device 300 of the vehicle can perform a process of correcting the augmented reality graphical coordinates (augmented reality HUD graph coordinates), and in the interface design of the augmented reality HUD graphic, It is possible to perform a method of minimizing a graphical error (graphical error due to eye movement) due to the user's visual interaction. To be more specific, the augmented reality HUD display device 300 of the vehicle prioritizes the response speed over the accuracy of the object near the vehicle, and executes an algorithm that prioritizes the accuracy of the object, such as building information, .

또한 차량의 증강현실 HUD 표시장치(300)는 운전자에게 일관적인(일정한) 체감오차를 제공하기 위해, 증강현실HUD로 표시하고자 하는 물체에 대해 운전자와의 거리(운전자 시선과 시선이 닿는 물체와의 거리)에 따라 가변적인 오차 보정 파라미터를 적용할 수 있다.The augmented reality HUD display device 300 of the vehicle is provided with an augmented reality HUD for displaying an object to be displayed by the augmented reality HUD (distance from the driver's eyes to an object that is in direct line of sight with the driver's eyes) Distance) of the error correction parameter.

기본적으로 모든 센서 데이터는 오차를 줄이는 것이 좋으나 오차를 줄이기 위해서는 다른 특성들이 불리해 질 수 있다. 예를 들면, 오차를 줄이는 대표적인 방법인 로우 패스 필터링(Low pass filtering)은 노이즈를 획기적으로 줄일 수 있으나 응답속도가 느린 단점이 있을 수 있다.Basically, it is good to reduce the error of all sensor data, but other characteristics may be deteriorated in order to reduce the error. For example, low-pass filtering, which is a typical method of reducing errors, may significantly reduce noise but may have a slow response time.

따라서 본 발명에서는 체감 오차를 물체의 거리(운전자와 물체 사이의 거리)와 상관없이 동일하게 가져가기 위해, 도 4 또는 도 5에 도시된 먼 물체에 대해서는 오차를 현저히 줄이는 파라미터 설정을 하고 가까운 물체에 대해서는 상대적으로 오차를 크게 줄이지 않는다. 멀리 있는 물체는 큰 이동이 운전자에게 나타나지 않기 때문에 응답속도가 느려도 증강현실 HUD 표시장치(300)의 성능(표시의 정확도)에 문제가 없으며, 가까운 물체는 물체 크기에 비해 상대 노이즈가 작고 응답속도 특성이 더 중요하기 때문이다.Therefore, in the present invention, in order to take the sensation error equally regardless of the distance of the object (the distance between the driver and the object), the distant object shown in FIG. 4 or 5 is set to a parameter for significantly reducing the error, The relative error is not greatly reduced. The performance of the augmented reality HUD display device 300 (accuracy of display) is not problematic even if the response speed is low because a large moving object does not appear to the driver at a distant object. The relative object noise of the near object is smaller than the object size, Is more important.

물체 검출 센서(305)는 차량의 운전자가 보는 차량 외부의 물체의 위치를 검출할 수 있다. 물체 검출 센서(305)는 차량으로부터 상기 외부 물체까지의 거리를 측정할 수 있다. 또한 물체 검출 센서(305)는 센서데이터 오차 보정 파라미터를 적용하는 오차 보정 모듈(320)에 거리정보를 전달하여 오차 보정 모듈(320)의 오차보정 시에 참고할 수 있도록 할 수 있다.The object detection sensor 305 can detect the position of an object outside the vehicle viewed by the driver of the vehicle. The object detection sensor 305 can measure the distance from the vehicle to the external object. In addition, the object detection sensor 305 may transmit the distance information to the error correction module 320 applying the sensor data error correction parameter so that the object information can be referred to when the error correction module 320 corrects the error.

물체 검출 센서(305)는 레이더(RADAR) 또는 라이다(Light Detection And Ranging, LIDAR)를 포함할 수 있다. 상기 라이다는 레이저 레이더로서, 레이저 펄스를 쏘고 반사되어 돌아오는 시간을 측정하여 반사체의 위치좌표를 측정하는 레이더 시스템일 수 있다.The object detection sensor 305 may include a RADAR or Light Detection And Ranging (LIDAR). The ladder is a laser radar, which may be a radar system for measuring the position coordinates of a reflector by measuring the time of returning the reflected laser pulse.

눈 위치 검출부(310)는 상기 차량의 윈드쉴드(windshield)(프런트(front) 윈드쉴드)에 표시되는 외부 물체 정보 또는 외부 물체 정보에 대응하는 증강현실 HUD 표시 정보를 보는 상기 차량 운전자의 눈 위치를 검출할 수 있다. 눈 위치 검출부(310)는 카메라(camera)를 포함할 수 있다.The eye position detection unit 310 detects the eye position of the vehicle driver to see the external object information displayed on the windshield Can be detected. The eye position detection unit 310 may include a camera.

증강현실 표시좌표 추출부(증강현실 HUD 표시좌표 추출부)(315)는 물체 검출 센서(305)에 의해 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 눈 위치 검출부(310)에 의해 검출된 눈 위치의 증강현실 HUD 표시 좌표(또는 눈 추적 좌표)를 추출할 수 있다.The augmented reality display coordinate extraction unit (augmented reality HUD display coordinate extraction unit) 315 extracts the augmented reality HUD display coordinate of the external object detected by the object detection sensor 305 and the eye position detected by the eye position detection unit 310 (Or eye tracking coordinates) of the augmented reality HUD can be extracted.

오차보정 모듈(320)은 상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변(변경)되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정할 수 있다. 거리 정보는 물체 검출 센서(305)로부터 오차보정 모듈(320)에 전달(제공)될 수 있다.The error correction module 320 corrects the error correction parameters related to the augmented reality HUD display coordinates of the external object that are changed (changed) according to the distance information between the eyes of the driver and the external object and the augmented reality HUD display coordinates An error relating to the augmented reality HUD display coordinate of the external object and an error related to the augmented reality HUD display coordinate of the eye position can be corrected. The distance information may be transmitted (provided) from the object detection sensor 305 to the error correction module 320.

오차보정 모듈(320)은 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 차량 운전자 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터(parameter)를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게(낮게) 보정하는 값인 제2 보정 파라미터로 설정할 수 있다. 차량의 증강현실 HUD 표시 장치(300)는 상기 외부 물체 정보 또는 HUD 표시 정보(가상의 영상 정보)와 정합(matching)되는 차량의 전방 영상을 획득하는 카메라를 더 포함할 수 있다. 상기 전방 영상은 운전자가 차량 전면 유리(windshield)를 통해 보는 전경일 수 있다.The error correction module 320 corrects an error in the augmented reality HUD display coordinates of the first object at a first distance from the eyes of the driver and the error correction coordinates of the augmented reality HUD display coordinates of the vehicle driver's eye position in which the first object is viewed, Wherein the parameter is set as a first correction parameter and an augmented reality HUD display coordinate of a second object at a second distance shorter than the first distance from the eyes of the driver, The error correction parameter of the augmented reality HUD display coordinate of the position can be set to a second correction parameter which is a value for correcting the error less (lower) than the first correction parameter. The augmented reality HUD display device 300 of the vehicle may further include a camera for acquiring a forward image of the vehicle matching the external object information or the HUD display information (virtual image information). The forward image may be a foreground viewed by a driver through a windshield.

본 발명의 다른 실시예에 있어서, 오차보정 모듈(320)은 저역 통과 필터(low pass filter, LPF)를 포함할 수 있다. 상기 저역 통과 필터의 제1 보정 파라미터인 차단 주파수(cutoff frequency)는 상기 저역 통과 필터의 제2 보정 파라미터인 차단 주파수보다 낮은 값을 가질 수 있다.In another embodiment of the present invention, the error correction module 320 may comprise a low pass filter (LPF). The cutoff frequency, which is the first correction parameter of the low pass filter, may have a value lower than the cutoff frequency, which is the second correction parameter of the low pass filter.

그래픽 표시부(325)는 오차보정 모듈(320)으로부터 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시(display)할 수 있다. 상기 외부 물체 정보에 대응하는 HUD 표시 정보는 도 10에 도시된 상기 외부 물체의 속도 정보, 또는 외부 물체와 관련된 내비게이션 정보를 포함할 수 있다. 상기 내비게이션 정보는 도 11에 도시된 TBT(turnbyturn) 정보를 포함할 수 있다. 상기 TBT 정보는 방향 전환 아이콘(icon)을 포함할 수 있다.The graphic display unit 325 receives the augmented reality HUD display coordinates of the corrected external object and the augmented reality HUD display coordinates of the corrected eye position from the error correction module 320 and displays the augmented reality HUD graphic related to the external object information And can be displayed on the windshield. The HUD display information corresponding to the external object information may include speed information of the external object shown in FIG. 10, or navigation information related to an external object. The navigation information may include TBT (turnbyturn) information shown in FIG. The TBT information may include a redirection icon.

다른 실시예에 있어서, 차량의 증강현실 HUD 표시 장치(300)는 제어기(미도시)를 더 포함할 수도 있다. 상기 제어기는 CPU(central processing unit)(또는 processor)의 기능을 수행하고, 물체 검출 센서(305), 눈 위치 검출부(310), 증강현실 표시 좌표 추출부(315), 오차 보정 모듈(module)(320), 및 그래픽 표시부(325)의 전체적인 동작을 제어할 수 있다. 제어기는 후술하는 본 발명의 차량의 증강현실 HUD 표시 방법을 수행하기 위한 일련의 명령을 포함하는 프로그램(program)을 포함할 수 있다.In another embodiment, the augmented reality HUD display 300 of the vehicle may further include a controller (not shown). The controller performs functions of a central processing unit (CPU) (or a processor) and includes an object detection sensor 305, an eye position detection unit 310, an augmented reality display coordinate extraction unit 315, an error correction module 320, and the graphic display unit 325. [0050] FIG. The controller may include a program including a series of instructions for performing the augmented reality HUD display method of the vehicle of the present invention described below.

도 6을 참조하여 본 발명의 실시예에 따른 차량의 증강현실 HUD 표시 방법이 다음과 같이 설명될 수 있다. 상기 차량의 증강현실 HUD 표시 방법은 도 6에 도시된 차량의 증강현실 HUD 표시 장치(300)에 적용될 수 있고. 차량의 증강현실 HUD의 가변 오차 표시 방법으로도 언급될 수 있다.Referring to FIG. 6, a method of displaying an augmented reality HUD of a vehicle according to an embodiment of the present invention can be described as follows. The method for displaying the augmented reality HUD of the vehicle can be applied to the augmented reality HUD display device 300 of the vehicle shown in Fig. It can also be referred to as a variable error display method of augmented reality HUD of a vehicle.

차량의 증강현실 HUD 표시 방법은, 제1 검출 단계, 제2 검출 단계, 추출 단계, 보정 단계, 및 표시 단계를 포함할 수 있다.The augmented reality HUD display method of the vehicle may include a first detection step, a second detection step, an extraction step, a correction step, and a display step.

상기 제1 검출 단계에 따르면, 차량의 운전자가 보는 차량 외부의 물체의 위치가 물체 검출 센서(305)에 의해 검출될 수 있다. 상기 외부 물체의 위치를 검출하는 센서는 레이더(radar) 또는 라이다(lidar)를 포함할 수 있다.According to the first detection step, the position of an object outside the vehicle viewed by the driver of the vehicle can be detected by the object detection sensor 305. [ The sensor for detecting the position of the external object may include a radar or a lidar.

상기 제2 검출 단계에 따르면, 상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치가 눈 위치 검출부(310)에 의해 검출될 수 있다. 상기 눈 위치를 검출하는 센서는 카메라를 포함할 수 있다. 상기 외부 물체 정보에 대응하는 HUD 표시 정보는 도 10에 도시된 상기 외부 물체의 속도 정보, 또는 외부 물체와 관련된 내비게이션 정보를 포함할 수 있다. 상기 내비게이션 정보는 도 11에 도시된 TBT(turnbyturn) 정보를 포함할 수 있다.According to the second detecting step, the eye position of the vehicle driver can be detected by the eye position detecting unit 310 to see the external object information displayed on the windshield of the vehicle. The sensor for detecting the eye position may include a camera. The HUD display information corresponding to the external object information may include speed information of the external object shown in FIG. 10, or navigation information related to an external object. The navigation information may include TBT (turnbyturn) information shown in FIG.

상기 추출 단계에 따르면, 상기 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 검출된 눈의 증강현실 HUD 표시 좌표가 증강현실 표시 좌표 추출부(315)에 의해 추출될 수 있다.According to the extraction step, the augmented reality HUD display coordinates of the detected external object and the augmented reality HUD display coordinates of the detected eye can be extracted by the augmented reality display coordinate extraction unit 315. [

상기 보정 단계에 따르면, 상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보(시선 거리 정보)에 따라 가변(변경)되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차가 오차 보정 모듈(320)에 의해 보정될 수 있다.According to the correction step, an error correction parameter relating to an augmented reality HUD display coordinate of the external object that is changed (changed) according to distance information (sight distance information) between the driver's eye and the external object, An error relating to the augmented reality HUD display coordinate of the external object and an error related to the augmented reality HUD display coordinate of the eye position can be corrected by the error correction module 320 using the error correction parameter regarding the real HUD display coordinates .

상기 보정 단계에서, 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터는 제1 보정 파라미터로 설정되고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈의 증강현실 HUD 표시 좌표의 오차 보정 파라미터는 상기 제1 보정 파라미터 보다 상기 오차를 적게(낮게) 보정하는 값인 제2 보정 파라미터로 오차 보정 모듈(320)에 의해 설정될 수 있다.In the correction step, the error correction parameters of the augmented reality HUD display coordinate of the first object and the eye position of the augmented reality HUD display coordinate of the first object at the first distance from the eyes of the driver, Wherein the augmented reality HUD display coordinates of the second object and the augmented reality HUD display coordinates of the eye viewing the second object, which are set as correction parameters and are at a second distance shorter than the first distance from the eyes of the driver, The error correction parameter may be set by the error correction module 320 as a second correction parameter that is a value for correcting the error less (lower) than the first correction parameter.

상기 보정 단계의 다른 실시예에 있어서, 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차가 로우 패스 필터링(low pass filtering)될 수 있다. 상기 로우 패스 필터링(low pass filtering)하기 위한 제1 보정 파라미터에 포함된 차단 주파수는 상기 로우 패스 필터링(low pass filtering)하기 위한 제2 보정 파라미터에 포함된 차단 주파수보다 낮은 값을 가질 수 있다.In another embodiment of the correction step, an error relating to the display coordinate of the augmented reality HUD of the external object and an error related to the augmented reality HUD display coordinate of the eye position may be low pass filtered. The cutoff frequency included in the first correction parameter for low pass filtering may have a value lower than the cutoff frequency included in the second correction parameter for low pass filtering.

상기 표시 단계에 따르면, 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽이 그래픽 표시부(325)에 의해 상기 윈드쉴드(windshield)에 표시될 수 있다.According to the display step, the augmented reality HUD display coordinates of the corrected external object and the augmented reality HUD display coordinates of the corrected eye position are received, and the augmented reality HUD graphic related to the external object information is displayed by the graphic display unit 325 And can be displayed on the windshield.

도 7은 도 6에 도시된 오차 보정 모듈의 실시예를 설명하는 그래프(graph)이다.7 is a graph illustrating an embodiment of the error correction module shown in FIG.

도 7을 참조하면, 도 6의 오차보정 모듈(320)에 LPF(저역 통과 필터)를 적용할 때 보정 파라미터는 차단 주파수(Cutoff frequency)가 될 수 있다. 이 실시예에 있어서, 물체가 운전자(또는 차량)으로부터 멀리 있을 때에는 LPF 의 컷오프 주파수(Cutoff frequency)가 낮아지고, 가까이 있을 때는 LPF 의 컷오프 주파수가 높아질 수 있다. 상기 컷오프 주파수 조절에 의해 센서 데이터의 정확도와 응답속도가 조절될 수 있다.Referring to FIG. 7, when a low pass filter (LPF) is applied to the error correction module 320 of FIG. 6, the correction parameter may be a cutoff frequency. In this embodiment, when the object is far from the driver (or the vehicle), the cutoff frequency of the LPF is low, and when it is close, the cutoff frequency of the LPF can be high. The accuracy and response speed of the sensor data can be adjusted by adjusting the cutoff frequency.

부연하여 설명하면, 도 7에 도시된 바와 같이, 증강현실 표시 좌표 추출부(도 6의 315)에 의해 추출된 눈 위치 좌표 대역 및 물체 거리 검출 좌표 대역(또는 물체 위치 좌표 대역)(미도시)을 로우 패스 필터링(LPF)하는 것에 의해, 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈의 증강현실 HUD 표시 좌표에 관한 오차가 보정될 수 있다.7, the eye position coordinate band and the object distance detection coordinate band (or the object position coordinate band) (not shown) extracted by the augmented reality display coordinate extraction unit (315 in Fig. 6) Pass filter (LPF), the error relating to the augmented reality HUD display coordinates of the external object and the error related to the augmented reality HUD display coordinates of the eye can be corrected.

전술한 바와 같이, 본 발명의 실시예는 오차보정 파라미터로 LPF의 차단 주파수(cutoff frequency)를 사용하고 운전자(또는 차량)과 외부 물체 사이의 거리의 원근(遠近)에 따라 차단 주파수 값이 조정될 수 있다. 그 결과, 본 발명은 HUD(headup display) 장치에서의 운전자에 의한 증강현실 HUD그래픽의 체감 오차를 최소화시킬 수 있다.As described above, in the embodiment of the present invention, the cutoff frequency of the LPF is used as the error correction parameter and the cutoff frequency value can be adjusted according to the perspective of the distance between the driver (or vehicle) and the external object have. As a result, the present invention can minimize a sense error of an augmented reality HUD graphic by a driver in a head-up display (HUD) device.

도 8은 도 6에 도시된 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 실시예를 설명하는 도면이다. 도 8은 실제 운전자의 시각에서 보는 거리에 따른 물체 체감 오차 그래픽을 나타낼 수 있다.8 is a view for explaining an embodiment of an augmented reality HUD graphic displayed by the augmented reality HUD display device of the vehicle shown in Fig. FIG. 8 is a graph showing an object declination error graph according to the distance seen from the time of the actual driver.

도 8을 참조하면, 차량 운전자(405)는 윈드쉴드(420) 상에서 그래픽 좌표 오차를 보정하여 가변 오차가 적용(반영)된 먼 거리에 있는 제1 HUD 표시 정보인 제1 물체(415)와 그래픽 좌표 오차를 보정하여 가변 오차가 적용된 가까운 거리에 있는 제2 HUD 표시 정보인 제2 물체(410)를 볼 수 있다. 제1 물체(415)는 도 8에 도시된 좌우 화살표와 같이 상대적으로 큰 오차 보정이 수행되고, 제2 물체(410)은 도 8에 도시된 좌우 화살표와 같이 상대적으로 작은 오차 보정이 수행될 수 있다. 그 결과, 운전자(또는 차량)과 물체 사이의 거리와 무관하게 그래픽 체감 오차가 동일해지는 것에 의해, 거리에 따른 표시 물체(410 또는 415)의 커서(cursor) 떨림이 최소화될 수 있다.8, the vehicle operator 405 corrects the graphical coordinate error on the windshield 420 and displays the first object 415, which is the first HUD display information at a long distance where the variable error is applied (reflected) The second object 410, which is the second HUD display information at a close distance to which the variable error is applied, can be seen by correcting the coordinate error. A relatively large error correction is performed on the first object 415 as shown by the left and right arrows shown in Fig. 8, and a relatively small error correction can be performed on the second object 410 as shown by the left and right arrows shown in Fig. have. As a result, cursor blurring of the display object 410 or 415 along the distance can be minimized by making the graphical visual sense error equal regardless of the distance between the driver (or vehicle) and the object.

도 9는 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다. 즉, 도 9는 증강현실HUD에서 앞에 가는 차량과의 거리를 표시하는 본 발명의 응용을 나타낼 수 있다.9 is a view for explaining another embodiment of the augmented reality HUD graphic displayed by the augmented reality HUD display device of the vehicle of Fig. That is, FIG. 9 shows an application of the present invention for displaying the distance to a preceding vehicle in the augmented reality HUD.

도 9를 참조하면, 제2 물체인 가까운 거리 차량(510)의 표시 그래픽은 표시 오차 파라미터를 정확도보다는 응답속도에 맞추어 표시하고, 제1 물체인 먼 거리 차량(515)의 표시 그래픽은 표시 오차 파라미터를 응답속도보다는 정확도에 맞추어 표시할 수 있다. 따라서, 차량 운전자(505)는 운전자(또는 차량)과 물체 사이의 거리와 무관하게 그래픽 체감 오차가 서로 동일한, 가까운 거리 차량(510)의 표시 그래픽과 먼 거리 차량(515)의 표시 그래픽을 윈드쉴드(520)에서 볼 수 있다.9, the display graphic of the near distance vehicle 510, which is the second object, displays the display error parameter in accordance with the response speed rather than the accuracy, and the display graphic of the long distance vehicle 515, which is the first object, Can be displayed according to the accuracy rather than the response speed. Accordingly, the vehicle driver 505 can display the display graphics of the near distance vehicle 510 and the display graphics of the long distance vehicle 515, which have the same graphical visual sense errors, regardless of the distance between the driver (or vehicle) (520).

도 10은 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다. 즉, 도 10은 증강현실HUD에서 앞에 가는 차량의 속도를 표시하는 본 발명의 응용예를 나타낼 수 있다.10 is a view for explaining another embodiment of the augmented reality HUD graphic displayed by the augmented reality HUD display device of the vehicle of Fig. That is, FIG. 10 shows an application example of the present invention for displaying the speed of a vehicle ahead in the augmented reality HUD.

도 10을 참조하면, 제2 물체인 가까운 거리에 있는 차량(610)의 표시 그래픽은 표시 오차 파라미터를 정확도보다는 응답속도에 맞추어 표시하고, 제1 물체인 먼 거리 차량(615)의 표시 그래픽은 표시 오차 파라미터를 응답속도보다는 정확도에 맞추어 표시할 수 있다. 따라서, 차량 운전자(605)는 운전자(또는 차량)과 물체 사이의 거리와 무관하게 그래픽 체감 오차가 서로 동일한, 가까운 거리 차량(510)의 표시 그래픽과 먼 거리 차량(515)의 표시 그래픽을 윈드쉴드(620)에서 볼 수 있다.Referring to FIG. 10, the display graphic of the vehicle 610 at a close distance, which is the second object, displays the display error parameter in accordance with the response speed rather than the accuracy, and the display graphic of the long distance vehicle 615, which is the first object, The error parameters can be displayed in accordance with the accuracy rather than the response speed. Therefore, the vehicle driver 605 can display the display graphic of the near distance vehicle 510 and the display graphic of the long distance vehicle 515, which have the same graphical visual acuity, irrespective of the distance between the driver (or vehicle) (620).

도 11은 도 6의 차량의 증강현실 HUD 표시 장치에 의해 표시되는 증강현실 HUD 그래픽의 다른 실시예를 설명하는 도면이다. 즉, 도 11은 증강현실HUD에서 내비게이션의 TBT(turnbyturn) 정보를 표시하는 본 발명의 응용예를 나타낼 수 있다.11 is a view for explaining another embodiment of the augmented reality HUD graphic displayed by the augmented reality HUD display device of the vehicle of Fig. That is, FIG. 11 shows an application example of the present invention for displaying the turn-by-turn information of the navigation in the augmented reality HUD.

도 11을 참조하면, 가까운 거리의 TBT정보(50m)는 먼 거리의 TBT정보(150m)보다 좌표오차에 있어서 정확도보다는 응답속도에 맞추어 표시할 수 있고, 먼 거리의 TBT정보(150m)는 좌표오차에 있어서 응답속도보다는 정확도에 맞추어 표시할 수 있다.Referring to FIG. 11, the TBT information 50m at a close distance can be displayed at a response speed rather than the accuracy at a coordinate error than the TBT information 150m at a long distance, and the TBT information 150m at a long distance can be displayed with a coordinate error It can be displayed in accordance with the accuracy rather than the response speed.

본 실시예에서 사용되는 구성요소 또는 “~부(unit)” 또는 블록 또는 모듈은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(fieldprogrammable gate array)나 ASIC(applicationspecific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소 또는 '~부' 등은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.The components or " units " or blocks or modules used in the present embodiment may be implemented in software such as a task, a class, a subroutine, a process, an object, an execution thread, , A field programmable gate array (FPGA), an application specific integrated circuit (ASIC), or a combination of the above software and hardware. The components or parts may be included in a computer-readable storage medium, or a part of the components may be dispersed in a plurality of computers.

이상에서와 같이, 도면과 명세서에서 실시예가 개시되었다. 여기서, 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이며 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 이 기술분야의 통상의 지식을 가진 자는 본 발명으로부터 다양한 변형 및 균등한 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 이 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
As described above, the embodiments have been disclosed in the drawings and specification. Although specific terms are used herein, they are used for the purpose of describing the present invention only and are not used to limit the scope of the present invention described in the claims or the claims. It is therefore to be understood by those skilled in the art that various modifications and equivalent embodiments may be made without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

305: 물체 검출 센서
310: 눈 위치 검출부
315: 증강현실 표시 좌표 추출부
320: 오차 보정 모듈
325: 그래픽 표시부305: Object detection sensor
310: eye position detection unit
315: augmented reality display coordinate extraction unit
320: error correction module
325: Graphic display

Claims (14)

차량의 증강현실 HUD 표시 방법에 있어서,
차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 단계;
상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치를 검출하는 단계;
상기 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 단계;
상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 단계; 및
상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시하는 단계
를 포함하며,
상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차보정 파라미터와 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터는 상기 거리 정보에 따라 서로 달라지는 차량의 증강현실 HUD 표시 방법.
A method of displaying an augmented reality HUD in a vehicle,
Detecting a position of an object outside the vehicle viewed by a driver of the vehicle;
Detecting an eye position of the vehicle driver to view external object information displayed on a windshield of the vehicle;
Extracting an augmented reality HUD display coordinate of the detected external object and an augmented reality HUD display coordinate of the detected eye position;
An error correction parameter relating to an augmented reality HUD display coordinate of the external object varying according to distance information between the driver's eye and the external object and an error correction parameter relating to an augmented reality HUD display coordinate of the eye position, Correcting an error relating to an augmented reality HUD display coordinate of an object and an error related to an augmented reality HUD display coordinate of the eye position; And
Displaying the augmented reality HUD display coordinates of the corrected external object and the augmented reality HUD display coordinates of the corrected eye position on the windshield;
/ RTI >
Wherein the error correction parameters related to the augmented reality HUD display coordinates of the external object and the error correction parameters related to the augmented reality HUD display coordinates of the eye position are different according to the distance information.
제1항에 있어서,
상기 오차를 보정하는 단계는 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게 보정하는 값인 제2 보정 파라미터로 설정하는 단계를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
The method according to claim 1,
Wherein the step of correcting the error includes the steps of: displaying an augmented reality HUD display coordinate of a first object at a first distance from the eyes of the driver and an error correction parameter of an augmented reality HUD display coordinate of an eye position of the first object, The augmented reality HUD display coordinates of a second object at a second distance shorter than the first distance from the eyes of the driver among the external objects and the augmented reality HUD And setting an error correction parameter of the display coordinates to a second correction parameter that is a value for correcting the error less than the first correction parameter.
제1항에 있어서,
상기 외부 물체의 위치를 검출하는 센서는 레이더(radar) 또는 라이다(lidar)를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
The method according to claim 1,
Wherein the sensor for detecting the position of the external object includes a radar or a lidar.
제1항에 있어서,
상기 눈 위치를 검출하는 센서는 카메라를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
The method according to claim 1,
A method of displaying an augmented reality HUD of a vehicle, wherein the sensor for detecting the eye position includes a camera.
제2항에 있어서,
상기 오차를 보정하는 단계는
상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 로우 패스 필터링(low pass filtering)하는 단계를 포함하고,
상기 로우 패스 필터링(low pass filtering)하기 위한 제1 보정 파라미터에 포함된 차단 주파수는 상기 로우 패스 필터링(low pass filtering)하기 위한 제2 보정 파라미터에 포함된 차단 주파수보다 낮은 값을 가지는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
3. The method of claim 2,
The step of correcting the error
Pass filtering low-pass filtering of an error relating to the display coordinate of the augmented reality HUD of the external object and an error related to the augmented reality HUD display coordinate of the eye position,
Wherein the cutoff frequency included in the first correction parameter for low pass filtering is lower than the cutoff frequency included in the second correction parameter for low pass filtering. A method of displaying augmented reality HUD of a vehicle.
제1항에 있어서,
상기 외부 물체 정보에 대응하는 HUD 표시 정보는 상기 외부 물체의 속도 정보 또는 상기 외부 물체에 관한 내비게이션 정보를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
The method according to claim 1,
Wherein the HUD display information corresponding to the external object information includes speed information of the external object or navigation information on the external object.
제6항에 있어서,
상기 내비게이션 정보는 TBT(turnbyturn) 정보를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 방법.
The method according to claim 6,
Wherein the navigation information includes TBT (turnby turn) information.
차량의 증강현실 HUD 표시 장치에 있어서,
차량의 운전자가 보는 차량 외부의 물체의 위치를 검출하는 물체 검출 센서;
상기 차량의 윈드쉴드(windshield)에 표시되는 외부 물체 정보를 보는 상기 차량 운전자의 눈 위치를 검출하는 눈 위치 검출부;
상기 물체 검출 센서에 의해 검출된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 눈 위치 검출부에 의해 검출된 눈 위치의 증강현실 HUD 표시 좌표를 추출하는 증강현실 표시좌표 추출부;
상기 운전자의 눈과 상기 외부 물체 사이의 거리 정보에 따라 가변되는 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터를 이용하여 상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 및 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차를 보정하는 오차보정 모듈; 및
상기 오차보정 모듈으로부터 상기 보정된 외부 물체의 증강현실 HUD 표시 좌표 및 상기 보정된 눈 위치의 증강현실 HUD 표시 좌표를 수신하여 상기 외부 물체 정보에 관한 증강현실 HUD 그래픽을 상기 윈드쉴드(windshield)에 표시하는 그래픽 표시부;
를 포함하며,
상기 거리 정보는 상기 물체 검출 센서로부터 상기 오차보정 모듈에 전달되고,
상기 외부 물체의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터와 상기 눈 위치의 증강현실 HUD 표시 좌표에 관한 오차 보정 파라미터는 상기 거리 정보에 따라 서로 달라지는 차량의 증강현실 HUD 표시 장치.
In an augmented reality HUD display of a vehicle,
An object detecting sensor for detecting a position of an object outside the vehicle viewed by a driver of the vehicle;
An eye position detection unit for detecting an eye position of the vehicle driver to view external object information displayed on a windshield of the vehicle;
An augmented reality display coordinate extraction unit for extracting an augmented reality HUD display coordinate of an external object detected by the object detection sensor and an augmented reality HUD display coordinate of an eye position detected by the eye position detection unit;
An error correction parameter relating to an augmented reality HUD display coordinate of the external object varying according to distance information between the driver's eye and the external object, An error correction module for correcting an error relating to an augmented reality HUD display coordinate of an object and an error relating to an augmented reality HUD display coordinate of the eye position; And
Receiving the augmented reality HUD display coordinate of the corrected external object and the augmented reality HUD display coordinate of the corrected eye position from the error correction module and displaying the augmented reality HUD graphic related to the external object information on the windshield A graphic display unit;
/ RTI >
The distance information is transmitted from the object detection sensor to the error correction module,
Wherein the error correction parameters for the augmented reality HUD display coordinates of the external object and the error correction parameters for the augmented reality HUD display coordinates of the eye position are different according to the distance information.
제8항에 있어서,
상기 오차보정 모듈은 상기 외부 물체 중 상기 운전자의 눈으로부터 제1 거리에 있는 제1 물체의 증강현실 HUD 표시 좌표 및 상기 제1 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 제1 보정 파라미터로 설정하고, 상기 외부 물체 중 상기 운전자의 눈으로부터 상기 제1 거리보다 짧은 제2 거리에 있는 제2 물체의 증강현실 HUD 표시 좌표 및 상기 제2 물체를 보는 눈 위치의 증강현실 HUD 표시 좌표의 오차 보정 파라미터를 상기 제1 보정 파라미터 보다 상기 오차를 적게 보정하는 값인 제2 보정 파라미터로 설정하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
9. The method of claim 8,
Wherein the error correction module corrects an error correction parameter of an augmented reality HUD display coordinate of a first object at a first distance from the driver's eye and an error correction parameter of an augmented reality HUD display coordinate of an eye position at which the first object is viewed, And the augmented reality HUD display coordinates of the second object at a second distance shorter than the first distance from the eyes of the driver among the external objects and the augmented reality HUD display coordinates of the eye position at which the second object is viewed Wherein the first correction parameter is set to a second correction parameter that is a value for correcting the error less than the first correction parameter.
제8항에 있어서,
상기 물체 검출 센서는 레이더(radar) 또는 라이다(lidar)를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
9. The method of claim 8,
Wherein the object detection sensor includes a radar or a lidar.
제8항에 있어서,
상기 눈 위치 검출부는 카메라를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
9. The method of claim 8,
Wherein the eye position detection unit includes a camera.
제9항에 있어서,
상기 오차보정 모듈은 저역 통과 필터(low pass filter)를 포함하고,
상기 저역 통과 필터의 제1 보정 파라미터인 차단 주파수는 상기 저역 통과 필터의 제2 보정 파라미터인 차단 주파수보다 낮은 값을 가지는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
10. The method of claim 9,
Wherein the error correction module comprises a low pass filter,
Wherein the cutoff frequency, which is a first correction parameter of the low pass filter, is lower than a cutoff frequency, which is a second correction parameter of the low pass filter.
제8항에 있어서,
상기 외부 물체 정보에 대응하는 HUD 표시 정보는 상기 외부 물체의 속도 정보 또는 상기 외부 물체에 관한 내비게이션 정보를 포함하는 것을 특징으로 하는 차량의 증강현실 HUD 표시 장치.
9. The method of claim 8,
Wherein the HUD display information corresponding to the external object information includes speed information of the external object or navigation information on the external object.
제13항에 있어서,
상기 내비게이션 정보는 TBT(turnbyturn) 정보를 포함하는 차량의 증강현실 HUD 표시 장치.14. The method of claim 13,
Wherein the navigation information includes TBT (turnby turn) information.
KR1020150065842A 2014-12-08 2015-05-12 Method and device for displaying augmented reality HUD for vehicle KR101713740B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/846,781 US9690104B2 (en) 2014-12-08 2015-09-06 Augmented reality HUD display method and device for vehicle
DE102015218162.6A DE102015218162B4 (en) 2014-12-08 2015-09-22 Augmented reality head-up display display method and apparatus for vehicle
CN201510665017.3A CN105676452B (en) 2014-12-08 2015-10-15 Augmented reality HUD display methods and device for vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140175097 2014-12-08
KR1020140175097 2014-12-08

Publications (2)

Publication Number Publication Date
KR20160069451A KR20160069451A (en) 2016-06-16
KR101713740B1 true KR101713740B1 (en) 2017-03-08

Family

ID=56354933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150065842A KR101713740B1 (en) 2014-12-08 2015-05-12 Method and device for displaying augmented reality HUD for vehicle

Country Status (2)

Country Link
KR (1) KR101713740B1 (en)
CN (1) CN105676452B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102181589B1 (en) 2020-02-05 2020-12-08 에이치에이치홀딩스 주식회사 method and system of providing augmented reality using automobile front view camera
KR102199765B1 (en) 2019-07-25 2021-01-07 주식회사 디젠 Apparatus and method for displaying head up display unit using driver data

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131541A (en) * 2016-08-26 2016-11-16 广州巧瞳科技有限公司 Intelligent display device based on augmented reality and method
KR20180031539A (en) * 2016-09-20 2018-03-28 주식회사 크레모텍 Display method and device for automobile hud
KR101976106B1 (en) 2017-08-11 2019-05-07 주식회사 에이디테크 Integrated head-up display device for vehicles for providing information
KR102347876B1 (en) * 2017-09-19 2022-01-06 현대모비스 주식회사 Apparatus for controlling display position of augmented reality head-up display
JP7067005B2 (en) 2017-09-26 2022-05-16 スズキ株式会社 Vehicle front structure
JP6870109B2 (en) * 2017-11-14 2021-05-12 マクセル株式会社 Head-up display device and its display control method
CN108055476B (en) * 2017-11-23 2020-03-27 中国航空工业集团公司洛阳电光设备研究所 Method for eliminating vision errors of front-view infrared equipment and head-up display
KR102463712B1 (en) * 2017-11-24 2022-11-08 현대자동차주식회사 Virtual touch recognition apparatus and method for correcting recognition error thereof
KR102437606B1 (en) * 2017-11-30 2022-08-29 재단법인대구경북과학기술원 Augmentation Information Simulator for Providing Enhanced UI/UX of Realistic HUD
KR102436730B1 (en) 2017-12-06 2022-08-26 삼성전자주식회사 Method and apparatus for estimating parameter of virtual screen
CN108153502B (en) * 2017-12-22 2021-11-12 长江勘测规划设计研究有限责任公司 Handheld augmented reality display method and device based on transparent screen
CN108225734B (en) * 2018-01-05 2021-07-02 宁波均胜科技有限公司 Error calibration system based on HUD system and error calibration method thereof
US10510276B1 (en) * 2018-10-11 2019-12-17 Hyundai Motor Company Apparatus and method for controlling a display of a vehicle
KR102069094B1 (en) * 2018-10-24 2020-01-22 주식회사 인포웍스 Method for detecting space in smokes using lidar sensor
CN110099273B (en) * 2019-04-23 2021-07-30 百度在线网络技术（北京）有限公司 Augmented reality content display method and device
CN110304057A (en) * 2019-06-28 2019-10-08 威马智慧出行科技（上海）有限公司 Car crass early warning, air navigation aid, electronic equipment, system and automobile
KR20210009529A (en) * 2019-07-17 2021-01-27 네이버랩스 주식회사 Method and system for guiding tbt information using hd map and hud
CN111405263A (en) * 2019-12-26 2020-07-10 的卢技术有限公司 Method and system for enhancing head-up display by combining two cameras
KR102641118B1 (en) * 2019-12-30 2024-02-27 삼성전자주식회사 Method and apparatus for providing ar object to user
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
CN112164377B (en) * 2020-08-27 2022-04-01 江苏泽景汽车电子股份有限公司 Self-adaption method for HUD image correction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010040694A1 (en) * 2010-09-14 2012-03-15 Robert Bosch Gmbh Head-Up Display
KR20120066472A (en) * 2010-12-14 2012-06-22 한국전자통신연구원 Apparatus and method for displaying augmented reality contents using a front object
KR101544524B1 (en) * 2010-12-16 2015-08-17 한국전자통신연구원 Display system for augmented reality in vehicle, and method for the same
US20130169679A1 (en) * 2011-12-30 2013-07-04 Automotive Research & Test Center Vehicle image display system and correction method thereof
US20140070934A1 (en) * 2012-09-07 2014-03-13 GM Global Technology Operations LLC Methods and systems for monitoring driver object detection
TWI531495B (en) * 2012-12-11 2016-05-01 Automatic Calibration Method and System for Vehicle Display System

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102199765B1 (en) 2019-07-25 2021-01-07 주식회사 디젠 Apparatus and method for displaying head up display unit using driver data
KR102181589B1 (en) 2020-02-05 2020-12-08 에이치에이치홀딩스 주식회사 method and system of providing augmented reality using automobile front view camera

Also Published As

Publication number Publication date
KR20160069451A (en) 2016-06-16
CN105676452B (en) 2019-11-26
CN105676452A (en) 2016-06-15

Similar Documents

Publication Publication Date Title
KR101713740B1 (en) Method and device for displaying augmented reality HUD for vehicle
US9690104B2 (en) Augmented reality HUD display method and device for vehicle
US10510276B1 (en) Apparatus and method for controlling a display of a vehicle
EP2891953B1 (en) Eye vergence detection on a display
US11194154B2 (en) Onboard display control apparatus
EP2133728B1 (en) Method and system for operating a display device
US8963742B1 (en) Head-up display/synthetic vision system predicted flight path depiction
US8907887B2 (en) Methods and systems for operating avionic systems based on user gestures
WO2017163292A1 (en) Headup display device and vehicle
EP2133729B1 (en) Method and system for operating a near-to-eye display
US9463743B2 (en) Vehicle information display device and vehicle information display method
US20170269684A1 (en) Vehicle display device
Langner et al. Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display
US10209857B2 (en) Display control apparatus and display system
KR20130089139A (en) Augmented reality head-up display apparatus and method for vehicles
US10885819B1 (en) In-vehicle augmented reality system
CN110891841B (en) Method and device for ascertaining the probability that an object is in the field of view of a vehicle driver
CN108734729B (en) Method for detecting binocular parallax in head-up display system
Kang et al. Do you see what I see: towards a gaze-based surroundings query processing system
KR20220032448A (en) Method and apparatus of correcting crosstalk
GB2536882A (en) Head up display adjustment
KR102673292B1 (en) Apparatus and method for controlling display of vehicle
JP2022108714A (en) Photographed image data correction system and head-up display device
JP2017204177A (en) Driver state determination device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 4