KR101637298B1 - Head-up display apparatus for vehicle using aumented reality - Google Patents

Head-up display apparatus for vehicle using aumented reality Download PDF

Info

Publication number
KR101637298B1
KR101637298B1 KR1020140174315A KR20140174315A KR101637298B1 KR 101637298 B1 KR101637298 B1 KR 101637298B1 KR 1020140174315 A KR1020140174315 A KR 1020140174315A KR 20140174315 A KR20140174315 A KR 20140174315A KR 101637298 B1 KR101637298 B1 KR 101637298B1
Authority
KR
South Korea
Prior art keywords
vehicle
road
information
image
road surface
Prior art date
Application number
KR1020140174315A
Other languages
Korean (ko)
Other versions
KR20160068488A (en
Inventor
이종복
Original Assignee
현대자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사 filed Critical 현대자동차 주식회사
Priority to KR1020140174315A priority Critical patent/KR101637298B1/en
Publication of KR20160068488A publication Critical patent/KR20160068488A/en
Application granted granted Critical
Publication of KR101637298B1 publication Critical patent/KR101637298B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00Dashboards
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/80Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84Data processing systems or methods, management, administration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치는 차량 내 전방 카메라로 촬영한 전방 도로 노면의 영상을 수신하고, 수신된 전방 도로 노면의 영상으로부터 전방 도로 노면의 표시 정보를 인식하는 인식부, 본인 차량의 위치 및 주행하는 도로의 정보를 주행 정보로 출력하는 네비게이션, 그리고 상기 인식된 전방 도로 노면의 표시 정보와 상기 네비게이션의 주행 정보를 이용해서 현재의 실제 주행 차선을 예측하는 영상 제어부를 포함한다.A head-up display device for a vehicle using an augmented reality according to the present invention includes a recognition unit for receiving an image of a road surface ahead of a road taken by an in-vehicle front camera, recognizing display information of the road surface ahead of the received image of the road surface, Navigation for outputting information on the location of the own vehicle and the road on which the vehicle is traveling as navigation information, and an image control unit for predicting the current actual driving lane using the recognized display information of the road surface on the front road and the navigation information of the navigation .

Description

증강 현실을 이용한 차량용 헤드 업 디스플레이 장치{HEAD-UP DISPLAY APPARATUS FOR VEHICLE USING AUMENTED REALITY}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a head-up display device for a vehicle using an augmented reality (HEAD-UP DISPLAY APPARATUS FOR VEHICLE USING AUMENTED REALITY)

본 발명은 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치에 관한 것이다.The present invention relates to a head-up display device for a vehicle using an augmented reality.

증강 현실은 사용자가 눈으로 보는 현실 세계와 부가정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주는 가상 현실의 하나이다. 즉, 증강 현실은 컴퓨터 그래픽을 통해 사용자가 보고 있는 실사 영상에 3차원 가상 영상을 겹침(overlap)으로써 현실 환경과 가상 화면과의 구분이 모호해지도록 하는 것이다. 이러한 증강 현실은 실제 환경과 가상 환경이 혼합되어 사용자가 실제 환경을 볼 수 있도록 함으로써 보다 나은 현실감을 제공한다.The augmented reality is one of the virtual reality that combines the real world that the user sees with the virtual world with the additional information and displays it as one image. That is, the augmented reality overlaps the 3D virtual image with the real image that the user is viewing through the computer graphic so that the distinction between the real environment and the virtual screen becomes blurred. Such augmented reality provides a better sense of reality by allowing the user to see the actual environment by mixing the real environment and the virtual environment.

최근 증강 현실을 이용하여 차량의 현재 속도, 연료 잔량, 네비게이션의 길안내 정보 등을 운전자 전방의 윈드실드(windshield) 글라스 부분에 그래픽 이미지로 투영시키는 헤드 업 디스플레이(HUD; Head-Up Display)가 개발되고 있다. 특히, 헤드 업 디스플레이를 통해 윈드실드 글라스 전방의 실제 공간 상의 사물, 예컨대 자연 풍경, 도로나 건축 구조물, 차량, 보행자 등의 위치 및 거리를 표시하는 기능이 개발되고 있다.Recently, a head-up display (HUD) has been developed which uses augmented reality to project the current speed of the vehicle, the remaining amount of fuel, navigation guidance information, etc. as graphic images on the windshield glass portion in front of the driver . In particular, functions for displaying the actual space objects in front of the windshield glass through the head-up display, for example, a function of displaying the positions and distances of natural scenery, roads, architectural structures, vehicles, pedestrians, and the like are being developed.

실제 공간 상의 사물과 차량 간의 거리는 레이더(RADAR)나 라이더(LIDAR)를 통해 전파나 초음파를 발신하여 차량으로부터 반사되어 되돌아오는 시간이나 주기를 측정하여 파악할 수 있다.The distance between the object and the vehicle in real space can be measured by measuring the time or the period of returning from the vehicle by emitting radio waves or ultrasonic waves through a RADAR or a rider (LIDAR).

일반적으로 전방에 위치한 차량이 곡선 도로를 주행할 경우 해당 차량에 비해 횡 방향으로 일정 거리만큼 평행 이동하여 주행하는 것으로 보여진다. 따라서, 실제 전방 차량의 위치와 눈으로 보여지는 위치 간의 거리 오차를 보정할 필요가 있다. 그런데, 레이더의 경우 횡 방향의 거리 오차가 약 1m만큼 존재하므로, 증강 현실을 통해 전방 차량의 위치를 그래픽 이미지로 생성할 때 실제 전방 차량의 위치와 그래픽 이미지 간의 오차가 크게 발생한다.Generally, when a vehicle located on the front side is traveling on a curved road, it is seen that the vehicle travels in a parallel direction by a certain distance in the lateral direction. Therefore, it is necessary to correct the distance error between the position of the actual front vehicle and the position seen by the eyes. However, in the case of the radar, since the distance error in the lateral direction is about 1 m, when the position of the front vehicle is generated as a graphic image through the augmented reality, an error between the position of the actual front vehicle and the graphic image largely occurs.

본 발명은 증강 현실을 통해 곡선 도로를 주행하는 차량의 전방에 위치한 차량의 그래픽 이미지를 생성할 때 전방 차량의 실제 위치와 그래픽 이미지 상의 위치 간의 횡 방향 오차를 보정할 수 있는 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치를 제안하고자 한다.The present invention relates to a vehicle head using an augmented reality capable of correcting a lateral error between an actual position of a preceding vehicle and a position on a graphic image when generating a graphic image of a vehicle located ahead of the vehicle running on a curved road through an augmented reality Up display device.

본 발명의 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치는 차량 내 전방 카메라로 촬영한 전방 도로 노면의 영상을 수신하고, 수신된 전방 도로 노면의 영상으로부터 전방 도로 노면의 표시 정보를 인식하는 인식부, 차량의 위치 및 주행하는 도로의 정보를 주행 정보로 출력하는 네비게이션, 그리고 상기 인식된 전방 도로 노면의 표시 정보와 상기 네비게이션의 주행 정보를 이용해서 차량의 실제 주행 차선을 예측하는 영상 제어부를 포함한다.A head-up display device for a vehicle using an augmented reality vehicle according to the present invention includes a recognition unit for receiving an image of a road surface on the front road taken by an in-vehicle front camera, recognizing display information of the road surface ahead of the image of the received front road surface, And an image control unit for predicting the actual driving lane of the vehicle by using the recognized information of the road surface on the road ahead and the navigation information of the navigation.

상기 영상 제어부는, 상기 인식된 전방 도로 노면의 표시 정보와 상기 네비게이션의 주행 정보를 비교하고, 상기 전방 도로 노면의 표시 정보와 상기 네비게이션의 현재 주행 차선의 도로 노면 표시를 일치시켜 차선을 예측할 수 있다.The image control unit may compare the display information of the recognized road surface on the road and the driving information of the navigation and predict the lane by matching the display information of the road surface on the front road with the road surface display of the current driving lane of the navigation .

상기 인식부는, 본인 차량과 전방 차량 간의 거리를 감지하여 거리 정보를 감지하고, 상기 영상 제어부가, 상기 거리 정보 및 상기 주행 정보에 따라 상기 본인 차량과 상기 전방 차량의 곡선 도로 진입 여부를 판단하고, 상기 전방 차량의 횡 방향 위치를 연산하고, 상기 연산된 횡 방향 위치를 이용하여 이미지 정보를 생성 할 수 있다.Wherein the recognition unit senses the distance between the driver's vehicle and the driver's vehicle and senses distance information and the image controller determines whether the driver's vehicle and the driver's vehicle enter a curve on the basis of the distance information and the driving information, Calculate the lateral position of the front vehicle, and generate the image information using the calculated lateral position.

상기 영상 제어부는, 전방 분기점까지의 거리와 곡선 도로에서 현재 주행 차선의 곡률 반경을 수학식1

Figure 112014118807958-pat00001
에 적용하여 전방 차량의 횡 방향 위치(x)를 보정할 수 있다. 여기서, d는 상기 전방 차량까지의 거리, Rnew은 곡선 도로에서 현재 주행 차선의 곡률 반경이다.The image control unit calculates the distance to the forward branch point and the radius of curvature of the current driving lane on the curved road by Equation 1
Figure 112014118807958-pat00001
To correct the lateral position (x) of the front vehicle. Here, d is the distance, R new to the preceding vehicle is the radius of curvature of the current driving lane in a curved road.

상기 현재 주행 차선의 곡률 반경은, 곡선 도로의 곡률 반경과, 곡선 도로의 일측면으로부터 현재 주행 차선의 중앙까지의 거리 값을 포함할 수 있다.The radius of curvature of the current driving lane may include a radius of curvature of the curved road and a distance value from one side of the curved road to the center of the current driving lane.

상기 이미지 정보에 따라 가상 이미지를 생성하여 상기 본인 차량의 윈드 실드 상에 조사하는 영상 조사부를 더 포함할 수 있다.And an image inspection unit for generating a virtual image according to the image information and irradiating the virtual image onto the windshield of the vehicle.

본 발명에 따르면, 증강 현실을 통해 곡선 도로를 주행하는 차량의 전방에 위치한 차량의 그래픽 이미지를 생성할 때 전방 주행 차로의 도로 노면 정보를 인식해 전방 차량의 횡 방향 위치를 보정함으로써 전방 차량의 실제 위치와 그래픽 이미지 상의 위치 간의 횡 방향 오차를 감소시킬 수 있는 환경을 제공한다.According to the present invention, when generating a graphic image of a vehicle located in front of a vehicle running on a curved road through an augmented reality, the road surface information of the oncoming driving lane is recognized to correct the lateral position of the front vehicle, Thereby providing an environment capable of reducing the lateral error between the position and the position on the graphic image.

도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치를 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 증강 현실을 이용한 차량용 헤드 업 디스플레이의 구동 과정을 간략히 도시한 흐름도이다.
도 3은 곡선 도로를 주행하는 본인 차량과 전방 차량을 도시한 도면이다.
도 4는 편도 5차선 도로에서 주행 차선의 오차를 줄이는 예를 도시한 도면이다.
1 is a view illustrating a head-up display device for a vehicle using an augmented reality according to an embodiment of the present invention.
2 is a flowchart briefly illustrating a driving process of a head-up display for a vehicle using an augmented reality according to an embodiment of the present invention.
Fig. 3 is a view showing a vehicle and a forward vehicle traveling on a curved road; Fig.
4 is a diagram showing an example of reducing an error of a driving lane in one-way five-lane roads.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

또한, 명세서에 기재된 "…부", "…모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, the terms of " part ", "... module" in the description mean units for processing at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.

이제 도 1 내지 도 4를 참고하여 본 발명의 한 실시예에 따른 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치에 대하여 상세하게 설명한다.A head-up display device for a vehicle using an augmented reality according to an embodiment of the present invention will now be described in detail with reference to Figs. 1 to 4. Fig.

도 1은 본 발명의 실시 예에 따른 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치를 도시한 도면이다. 이때, 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치는 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.1 is a view illustrating a head-up display device for a vehicle using an augmented reality according to an embodiment of the present invention. At this time, the head-up display device for a vehicle using the augmented reality only shows a schematic configuration necessary for the explanation according to the embodiment of the present invention, and is not limited to this configuration.

도 1을 참조하면, 본 발명의 한 실시예에 따른 차량용 헤드 업 디스플레이 장치(100)는 인식부(110), 네비게이션(120), 영상 제어부(130) 및 영상 조사부(140)를 포함한다. Referring to FIG. 1, a head-up display apparatus 100 for a vehicle according to an exemplary embodiment of the present invention includes a recognition unit 110, a navigation unit 120, an image control unit 130, and an image irradiation unit 140.

인식부(110)는 차량 내 전방 카메라로 촬영한 전방 도로 노면의 영상을 수신하고, 수신된 전방 도로 노면의 영상으로부터 전방 도로 노면의 표시 정보를 인식한다. 그리고, 인식부(110)는 차량과 전방의 사물 간의 거리를 감지하여 거리 정보를 출력한다. The recognition unit 110 receives the image of the road surface on the front road taken by the in-vehicle front camera, and recognizes the road surface information on the road ahead from the image of the received road surface on the front road. The recognition unit 110 senses the distance between the vehicle and the object ahead, and outputs the distance information.

그리고, 네비게이션(120)은 GPS(Global Positioning System)를 이용하여 차량의 현재 위치를 미리 저장된 지도 상에 맵핑하고, 맵핑 결과에 따라 본인 차량이 주행하는 주행 정보로 생성한다. Then, the navigation unit 120 maps the current position of the vehicle on a previously stored map by using a GPS (Global Positioning System), and generates driving information to be driven by the own vehicle according to the mapping result.

여기서, 주행 정보는 주행 차선의 도로 노면 정보를 포함하며, 도로의 차선 수, 도로의 폭, 곡선 도로의 곡률 반경, 주행 방향, 본인 차량의 현재 위치, 본인 차량의 현재 위치로부터 곡선 도로 및 직선 도로 간의 전방 분기점까지의 거리 등을 포함한다. Here, the running information includes road surface information of the driving lane, and includes the number of lanes of the road, the width of the road, the curvature radius of the curved road, the running direction, the current position of the driver, And the distance to the front fork of the intersection.

영상 제어부(130)는 인식부(110)에서 인식된 전방 도로 노면의 표시 정보와 네비게이션(120)의 주행 정보를 이용해서 현재의 실제 주행 차선을 예측한다.The image control unit 130 predicts the current actual driving lane using the display information of the road surface on the front road recognized by the recognition unit 110 and the driving information of the navigation 120. [

이때, 영상 제어부(130)는 인식부(110)에서 인식된 전방 도로 노면의 표시 정보와 네비게이션(120)의 주행 정보를 비교한다. 그리고, 영상 제어부(130)는 인식부(110)에서 전방 도로 노면의 표시 정보와 상기 네비게이션(120)의 현재 주행 차선의 도로 노면 표시를 일치시켜 차선을 예측한다.At this time, the image controller 130 compares the display information of the road surface on the front road recognized by the recognition unit 110 and the running information of the navigation 120. Then, the image control unit 130 predicts the lane by matching the display information of the road surface on the road ahead of the recognition unit 110 with the road surface display of the current driving lane of the navigation system 120.

또한, 영상 제어부(130)는 인식부(110)로부터 전방 도로 노면의 표시 정보를 수신하고, 네비게이션(20)으로부터 주행 정보를 수신한다. 영상 제어부(130)는 거리 정보 및 주행 정보에 따라 본인 차량과 전방 차량의 곡선 도로 진입 여부를 판단하고, 판단된 곡선 도로 진입 여부에 따라 전방 차량의 횡 방향 위치를 연산한다.In addition, the image control unit 130 receives the display information of the road surface ahead of the recognition unit 110, and receives the travel information from the navigation unit 20. The image control unit 130 determines whether or not the curved road of the own vehicle and the preceding vehicle enter the curved road according to the distance information and the traveling information, and calculates the lateral position of the preceding vehicle according to whether the curved road is entered or not.

그리고, 영상 제어부(130)는 보정된 횡 방향 위치를 이용하여 전방 차량의 위치를 연산하고, 증강 현실을 통해 연산된 전방 차량의 위치와 운전자의 시선을 정합하여 이미지 정보를 생성한다. 여기서, 영상 제어부(130)는 속도, 연료, 주행 거리, 길안내 표시 등의 부가 정보를 이미지 정보에 포함시킬 수 있다. Then, the image controller 130 calculates the position of the front vehicle using the corrected lateral position, and generates the image information by matching the position of the front vehicle calculated through the augmented reality with the line of sight of the driver. Here, the image control unit 130 may include additional information such as speed, fuel, mileage, and guidance information in the image information.

구체적으로, 영상 제어부(30)는 본인 차량 및 전방 차량이 곡선 또는 직선 도로에 모두 진입한 경우 아래의 [수학식 1]에 따라 전방 차량의 횡 방향 위치(x)를 연산한다.More specifically, the image control unit 30 calculates the lateral position (x) of the front vehicle in accordance with Equation (1) below when the vehicle and the front vehicle enter the curved or straight road.

Figure 112014118807958-pat00002
Figure 112014118807958-pat00002

여기서, d는 상기 전방 차량까지의 거리, Rnew은 곡선 도로에서 현재 주행 차선의 곡률 반경이다. 그리고, 상기 현재 주행 차선의 곡률 반경은 곡선 도로의 곡률 반경과, 곡선 도로의 내측면(도 4의 A)으로부터 현재 주행 차선의 중앙까지의 거리 값의 합을 포함한다.Here, d is the distance, R new to the preceding vehicle is the radius of curvature of the current driving lane in a curved road. The curvature radius of the present driving lane includes the curvature radius of the curved road and the sum of the distance values from the inner side of the curved road (A in Fig. 4) to the center of the present driving lane.

그리고, 영상 조사부(140)는 이미지 정보에 따라 가상 이미지를 생성하여 차량의 윈드 실드 상에 조사한다. 운전자는 윈드실드 상의 홀로그래픽 거울을 통해 가상 이미지를 확인할 수 있다. Then, the image inspection unit 140 generates a virtual image according to the image information, and irradiates the virtual image onto the windshield of the vehicle. The driver can see the virtual image through the holographic mirror on the windshield.

도 2는 본 발명의 실시 예에 따른 증강 현실을 이용한 차량용 헤드 업 디스플레이의 구동 과정을 간략히 도시한 흐름도이다. 이하의 흐름도는 도 1의 구성과 연계하여 동일한 도면부호를 사용하여 설명한다. 2 is a flowchart briefly illustrating a driving process of a head-up display for a vehicle using an augmented reality according to an embodiment of the present invention. The following flowchart will be described using the same reference numerals in conjunction with the configuration of Fig.

그리고, 도 3은 곡선 도로를 주행하는 본인 차량과 전방 차량을 도시한 도면이고, 도 4는 편도 5차선 도로에서 주행 차선의 오차를 줄이는 예를 도시한 도면이다.Fig. 3 is a view showing a vehicle and a front vehicle traveling on a curved road, and Fig. 4 is a diagram showing an example of reducing an error of a driving lane on one-way five lane roads.

도 2 내지 도 4를 참조하면, 차량의 전방 카메라가 차량 전방의 주행 도로 노면을 촬영한다(S102). 그리고, 인식부(110)가 촬영된 영상을 수신하고, 수신된 영상으로부터 전방 주행 도로 노면의 표시 정보(P)를 인식한다(S104).Referring to FIGS. 2 to 4, a front camera of the vehicle photographs the road surface of the road ahead of the vehicle (S102). Then, the recognition unit 110 receives the photographed image, and recognizes the display information P of the road surface of the forward driving road from the received image (S104).

그리고, 네비게이션(120)은 본인 차량(10)이 주행 중인 도로의 주행 정보를 인식한다(S106).Then, the navigation unit 120 recognizes the traveling information of the road on which the own vehicle 10 is traveling (S106).

영상 제어부(130)는 전방 주행 차로의 노면 정보와 네비게이션의 주행 차선 노면 정보 일치시키고, 현재 주행 차선을 예측한다(S108, S110). 여기서, 영상 제어부(130)는 [수학식 1]에 따라 전방 차량(20)의 횡 방향 위치(x)를 연산하고, 차량의 정확한 주행 차선을 예측한다. The image controller 130 matches the road surface information of the forward driving lane with the driving lane road surface information of the navigation and predicts the current driving lane (S108, S110). Here, the image control unit 130 calculates the lateral position (x) of the front vehicle 20 according to the equation (1) and predicts the correct driving lane of the vehicle.

도 3 및 도 4를 참조하면, Rnew의 값은 현재 주행 차선의 값을 카메라로 읽은 도로 노면의 정보와 정밀지도 내비게이션의 도로 노면 정보를 이용하여 R`보다 정확하게 주행 차선의 값을 사용할 수 있다. 여기서, R`는 곡선 도로의 원점(S)에서 전체 차선의 중앙까지의 곡률 반경이고, Rnew는 곡선 도로의 원점(S)에서 전방 차량(20)이 현재 주행 중인 차선의 중앙까지의 곡률 반경이다.Referring to FIGS. 3 and 4, the value of R new can be more accurately used as the value of the driving lane than R 'using the road surface information obtained by reading the value of the current driving lane by the camera and the road surface information of the precise map navigation . Here, R` is the curvature radius of the curve in the road reference point (S) to the whole lane center, R new is the preceding vehicle 20, the radius of curvature of the center to the lane is currently traveling on the curved road reference point (S) to be.

예를 들어, 편도 5차선 도로에서 현재 2차로 주행 상황 시에, R` = R + 8.75m 이나 Rnew = R + 5.25m로 3.5m의 오차를 줄일 수 있다. 여기서, 도로의 폭 3.5m로 가정한다.For example, an error of 3.5 m can be reduced to R '= R + 8.75 m or R new = R + 5.25 m in a current secondary driving situation on a one-way five-lane road. Here, it is assumed that the road width is 3.5 m.

따라서, 차량용 헤드 업 디스플레이는 본 발명의 한 실시예에 따라 연산된 전방 차량(20)의 횡 방향 위치(x)를 이용하여 전방 차량의 현재 주행 차선을 예측한다. 따라서, 본 발명의 한 실시예에 따른 차량용 헤드 업 디스플레이는 보다 정확하게 주행 차선 예측이 가능하여 횡방향 오차를 개선할 수 있다.Thus, the head-up display for the vehicle predicts the current driving lane of the preceding vehicle using the lateral position x of the front vehicle 20 calculated according to an embodiment of the present invention. Therefore, the head-up display for a vehicle according to an embodiment of the present invention can more accurately predict the driving lane, thereby improving the lateral error.

그리고, 영상 제어부(30)는 증강 현실을 통해 연산된 전방 차량의 위치와 운전자의 시선을 정합하여 이미지 정보를 생성한다(S112).Then, the image control unit 30 generates image information by matching the position of the front vehicle calculated through the augmented reality with the line of sight of the driver (S112).

이와 같이, 본 발명의 한 실시예에 따른 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치는 증강 현실을 통해 곡선 도로를 주행하는 차량의 전방에 위치한 차량의 그래픽 이미지를 생성할 때 전방 주행 차로의 도로 노면 정보를 인식해 전방 차량의 횡 방향 위치를 보정함으로써 전방 차량의 실제 위치와 그래픽 이미지 상의 위치 간의 횡 방향 오차를 감소시킬 수 있는 환경을 제공한다.As described above, in the head-up display device for a vehicle using the augmented reality according to the embodiment of the present invention, when generating the graphic image of the vehicle located in front of the vehicle running on the curved road through the augmented reality, Thereby correcting the lateral position of the front vehicle so as to reduce the lateral error between the actual position of the front vehicle and the position on the graphic image.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 이러한 기록 매체는 서버뿐만 아니라 사용자 단말에서도 실행될 수 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded. Such a recording medium can be executed not only on a server but also on a user terminal.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (6)

차량 내 전방 카메라로 촬영한 전방 도로 노면의 영상을 수신하고, 수신된 전방 도로 노면의 영상으로부터 전방 도로 노면의 표시 정보를 인식하는 인식부,
차량의 위치 및 주행하는 도로의 정보를 주행 정보로 출력하는 네비게이션, 그리고
상기 인식된 전방 도로 노면의 표시 정보와 상기 네비게이션의 주행 정보를 이용해서 차량의 실제 주행 차선을 예측하는 영상 제어부
를 포함하며,
상기 영상 제어부는,
본인 차량과 전방 차량 간의 거리 정보 및 상기 주행 정보에 따라 상기 본인 차량과 상기 전방 차량의 곡선 도로 진입 여부를 판단하고,
상기 본인 차량과 상기 전방 차량이 곡선 도로에 진입한 경우, 상기 전방 차량의 횡 방향 위치를 연산하고, 상기 연산된 횡 방향 위치를 이용하여 이미지 정보를 생성하되, 상기 전방 차량의 현재 주행 차선의 곡률 반경을 이용해서 상기 연산된 횡 방향 위치를 보정하며,
상기 현재 주행 차선의 곡률 반경은,
곡선 도로의 곡률 반경과, 곡선 도로의 일측면으로부터 현재 주행 차선의 중앙까지의 거리 값을 포함하는 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치.
A recognition unit for receiving an image of a road surface of a front road taken by a forward camera in the vehicle and recognizing display information of the road surface ahead of the image of the received front road surface,
Navigation for outputting the information of the position of the vehicle and the road on which it is traveling as traveling information, and
And an image control unit for predicting an actual driving lane of the vehicle based on the recognized display information of the road surface on the road and the navigation information of the navigation,
/ RTI >
The image control unit includes:
Determines whether or not the curved road of the first vehicle and the preceding vehicle enter the road according to the distance information between the first vehicle and the preceding vehicle and the traveling information,
Calculating a lateral position of the front vehicle when the vehicle and the front vehicle enter a curved road, and generating image information using the calculated lateral position, wherein the curvature of the curvature of the current driving lane of the preceding vehicle Correcting the calculated lateral position using a radius,
Wherein the radius of curvature of the current driving lane,
A curvature radius of the curved road, and a distance value from one side of the curved road to the center of the current driving lane.
제1항에서,
상기 영상 제어부는,
상기 인식된 전방 도로 노면의 표시 정보와 상기 네비게이션의 주행 정보를 비교하고, 상기 전방 도로 노면의 표시 정보와 상기 네비게이션의 현재 주행 차선의 도로 노면 표시를 일치시켜 차선을 예측하는 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치.
The method of claim 1,
The image control unit includes:
A vehicle head using the augmented reality which compares display information of the road surface on the recognized front road with running information of the navigation and predicts a lane by matching the display information of the road surface on the front road with the road surface display of the navigation driving lane, Up display device.
삭제delete 제2항에서,
상기 영상 제어부는,
전방 분기점까지의 거리와 곡선 도로에서 상기 현재 주행 차선의 곡률 반경을 아래의 [수학식 1]에 적용하여 전방 차량의 횡 방향 위치(x)를 보정하는 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치.
[수학식 1]
Figure 112016021904760-pat00003

(여기서, d는 상기 전방 차량까지의 거리, Rnew은 곡선 도로에서 현재 주행 차선의 곡률 반경)
3. The method of claim 2,
The image control unit includes:
Wherein the lateral position (x) of the front vehicle is corrected by applying the radius of curvature of the present driving lane to the following formula (1) on the curved road and the distance to the front fork.
[Equation 1]
Figure 112016021904760-pat00003

(Wherein, d is the distance, R new is the radius of curvature of the current driving lane from the curve road to the front of the vehicle)
삭제delete 제4항에 있어서,
상기 이미지 정보에 따라 가상 이미지를 생성하여 상기 본인 차량의 윈드 실드 상에 조사하는 영상 조사부를 더 포함하는 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치.
5. The method of claim 4,
Further comprising: an imaging unit for generating a virtual image according to the image information and irradiating the virtual image onto a windshield of the vehicle.
KR1020140174315A 2014-12-05 2014-12-05 Head-up display apparatus for vehicle using aumented reality KR101637298B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140174315A KR101637298B1 (en) 2014-12-05 2014-12-05 Head-up display apparatus for vehicle using aumented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140174315A KR101637298B1 (en) 2014-12-05 2014-12-05 Head-up display apparatus for vehicle using aumented reality

Publications (2)

Publication Number Publication Date
KR20160068488A KR20160068488A (en) 2016-06-15
KR101637298B1 true KR101637298B1 (en) 2016-07-07

Family

ID=56135161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140174315A KR101637298B1 (en) 2014-12-05 2014-12-05 Head-up display apparatus for vehicle using aumented reality

Country Status (1)

Country Link
KR (1) KR101637298B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102304851B1 (en) * 2017-03-28 2021-09-27 현대자동차주식회사 Ecu, autonomous vehicle including the ecu, and method of recognizing near vehicle for the same
KR20200072641A (en) 2018-12-12 2020-06-23 삼성전자주식회사 Head up display device providing three dimensional augmented reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005067369A (en) 2003-08-22 2005-03-17 Nissan Motor Co Ltd Vehicular display device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120133309A (en) * 2011-05-31 2012-12-10 현대자동차주식회사 Drive Assist System Using Image Recognition Technology

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005067369A (en) 2003-08-22 2005-03-17 Nissan Motor Co Ltd Vehicular display device

Also Published As

Publication number Publication date
KR20160068488A (en) 2016-06-15

Similar Documents

Publication Publication Date Title
KR101558353B1 (en) Head-up display apparatus for vehicle using aumented reality
JP6775188B2 (en) Head-up display device and display control method
US11535155B2 (en) Superimposed-image display device and computer program
KR102547823B1 (en) Method and device to visualize content
JP6201690B2 (en) Vehicle information projection system
JP6695049B2 (en) Display device and display control method
KR20180088149A (en) Method and apparatus for guiding vehicle route
JP7052786B2 (en) Display control device and display control program
US11525694B2 (en) Superimposed-image display device and computer program
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
WO2019224922A1 (en) Head-up display control device, head-up display system, and head-up display control method
CN109968977B (en) Display system
JP7028228B2 (en) Display system, display control device and display control program
US20190241070A1 (en) Display control device and display control method
JP2015102449A (en) Vehicle self position estimation apparatus and vehicle self position estimation method
CN110546026A (en) Adjusting device, display system and adjusting method
JP6186905B2 (en) In-vehicle display device and program
JPWO2020105685A1 (en) Display controls, methods, and computer programs
KR101637298B1 (en) Head-up display apparatus for vehicle using aumented reality
JPWO2017013792A1 (en) Display control device and navigation device
JP6448806B2 (en) Display control device, display device, and display control method
JP7416114B2 (en) Display control device and display control program
JP2020158014A (en) Head-up display device, display control device, and display control program
JP7088152B2 (en) Display control device and display control program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 4