KR101921969B1 - 차량용 증강현실 헤드업 디스플레이 장치 및 방법 - Google Patents

차량용 증강현실 헤드업 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR101921969B1
KR101921969B1 KR1020120101339A KR20120101339A KR101921969B1 KR 101921969 B1 KR101921969 B1 KR 101921969B1 KR 1020120101339 A KR1020120101339 A KR 1020120101339A KR 20120101339 A KR20120101339 A KR 20120101339A KR 101921969 B1 KR101921969 B1 KR 101921969B1
Authority
KR
South Korea
Prior art keywords
driver
matching
unit
display unit
information
Prior art date
Application number
KR1020120101339A
Other languages
English (en)
Other versions
KR20130089139A (ko
Inventor
김경호
박혜선
윤대섭
최종우
황윤숙
박종현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/753,590 priority Critical patent/US8994558B2/en
Publication of KR20130089139A publication Critical patent/KR20130089139A/ko
Application granted granted Critical
Publication of KR101921969B1 publication Critical patent/KR101921969B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)

Abstract

운전자의 시야를 중심으로 적응적으로 위치 및 방향 변이를 가능하게 하여 가상 객체 정보와 실세계 정보의 위치 맞춤의 오차를 줄일 수 있도록 하는 차량용 증강현실 헤드업 디스플레이 장치 및 방법을 제시한다. 제시된 장치는 운전자의 얼굴 영상을 근거로 검출된 얼굴 방향 및 눈동자 중심위치를 기반으로 해당 운전자의 시선 방향을 추정하고 시야각을 계산하는 시야각 계산부, 시야각 계산부로부터의 시선 방향 및 시야각을 기반으로 운전석 전방의 실세계 정보의 위치와 상기 운전석 전방에 대응된 가상 객체 정보의 위치를 정합하는 정합부, 및 정합부에서 정합된 결과를 디스플레이시키되 회전 및 위치 변이가 가능한 표시부를 포함한다.

Description

차량용 증강현실 헤드업 디스플레이 장치 및 방법{augmented reality head-up display apparatus and method for vehicles}
본 발명은 차량용 증강현실 헤드업 디스플레이 장치 및 방법에 관한 것으로, 보다 상세하게는 주·야간운전, 안개, 폭우 등 다양한 운전 환경에서 차량에 탑승한 운전자에게 각종의 편의 정보와 안전운행 정보 등을 운전자가 바라보는 실세계 정보들과 위치를 맞추어 증강현실로 제공해 주는 차량용 증강현실 헤드업 디스플레이 장치 및 방법에 관한 것이다.
종래 개발된 차량 정보 제공 장치는 크게 3가지로 대별된다.
첫번째로, 주로 운전자석 오른쪽 하단 중앙에 장착되어 운전자에게 다양한 정보를 제공하는 '차량용 단말기'가 있다. 이는 평소에 운전자가 전방을 주시하면서 주행하다가 차량 단말기로부터 정보가 제공되면, 운전자는 제공된 정보를 보기 위해 단말기가 있는 곳으로 고개를 돌리거나 시선을 옮긴다. 이때, 운전자의 주의가 분산되어 사고 발생의 위험이 있다.
두번째로, 고급 차량에 주로 장착된 'HUD(Head-Up Display) 장치'이다. 이 HUD 장치는 경로 변경을 안내하는 화살표 정보, 속도를 나타내는 텍스트 정보 등의 단순한 차량 정보들을 대쉬보드 상단에 표출한다. 따라서, 운전자는 제공 정보를 보기 위해 시선이나 고개의 방향을 바꾸지 않고 전방을 주시하면서 운전자 전방 위치에서 제공되는 정보를 볼 수 있기 때문에, 주의 분산에 따른 위험율을 줄일 수 있다. 그러나, 제공되는 정보들의 위치는 전방 실세계 정보(예컨대, 도로, 건물, 차량, 표지판 등)들의 위치와 일치하지 않은 채 운전자에게 제공되기 때문에, 운전자는 제공받은 정보를 인지하는데 부하가 발생되어 오히려 운전안전성과 편의성을 저하시킬 수 있다. 또, 이러한 실세계와의 위치 매칭이 없는 경우, 다양한 정보(예컨대, 차선, 보행자나 전방 차량과 같은 장애물 등)를 HUD를 통해 제공하기 어렵다.
세번째로, 현재 차량에 접목하기 위해 연구 및 개발중인 '증강현실 HUD 장치'가 있다. 이 증강현실 HUD 장치는 운전자 시야를 중심으로 운전자의 전방 실세계 정보와 HUD에 표현되는 정보의 위치를 맞추어 운전자에게 안전운행 정보를 제공한다. 이 증강현실 HUD 장치는 실세계 정보의 위치에 맞게 안전운행 정보를 제공하기 때문에, 운전자가 제공 정보를 좀더 인지하기 쉽다. 그러나, 증강현실 정보를 실세계 정보의 위치에 정확하게 맞추어 제공하기는 쉽지 않다. 왜냐하면, 이를 위해서는 차량 위치와 자세를 정밀하게 검출하고 인식하여야 하며, 또한 운전자 머리와 시선의 위치 및 자세를 정밀하게 검출하고 인식해야 한다. 그런데, 기술적 한계로 인해 위치 및 자세 정확도에 오차가 발생하고, 이러한 오차는 실세계 정보와 안전운행 정보의 위치 일치 정확률을 떨어뜨린다.
이와 같은 증강현실 HUD 장치의 일 예가 대한민국 공개특허공보 10-2009-0076242호(차량용 헤드 업 디스플레이 장치 및 그 동작 제어 방법)에 제시되었다. 대한민국 공개특허공보 10-2009-0076242호에 제시된 차량용 헤드 업 디스플레이 장치는 운전자의 안구 움직임에 상응하게 HUD 유닛의 위치를 상하/좌우로 조절하여 HUD 유닛의 화상 정보 투사각을 조절한다. 대한민국 공개특허공보 10-2009-0076242호에 제시된 차량용 헤드 업 디스플레이 장치는 운전자의 안구 움직임에 따라 HUD 유닛의 투사각을 조정하여 가상의 안전운행 정보의 표출 위치 변이만 가능할 뿐, 방향 또는 각도의 변이는 전혀 할 수 없다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 운전자의 시야를 중심으로 적응적으로 위치 및 방향 변이를 가능하게 하여 가상 객체 정보와 실세계 정보의 위치 맞춤의 오차를 줄일 수 있도록 하는 차량용 증강현실 헤드업 디스플레이 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 차량용 증강현실 헤드업 디스플레이 장치는, 운전자의 얼굴 영상을 근거로 검출된 얼굴 방향 및 눈동자 중심위치를 기반으로 해당 운전자의 시선 방향을 추정하고 시야각을 계산하는 시야각 계산부; 시야각 계산부로부터의 시선 방향 및 시야각을 기반으로 운전석 전방의 실세계 정보의 위치와 상기 운전석 전방에 대응된 가상 객체 정보의 위치를 정합하는 정합부; 및 정합부에서 정합된 결과를 디스플레이시키되, 회전 및 위치 변이가 가능한 표시부;를 포함한다.
표시부의 회전은 피치(pitch), 롤(roll), 요(yaw) 방향으로의 이동을 포함하고, 표시부의 위치 변이는 좌, 우, 상, 하, 앞, 뒤로의 이동을 포함한다.
표시부는 상기 운전자의 수조작 또는 자동 조정에 의해 회전되거나 위치 변이된다.
바람직하게, 정합부에서의 정합오차를 계산하는 정합오차 계산부; 및 정합오차 계산부에서 계산된 정합오차에 근거하여 표시부를 회전시키거나 위치 변이시키는 조정부;를 추가로 포함하여도 된다. 이 경우, 정합부는 조정부에서의 조정에 따라 실세계 정보의 위치와 가상 객체 정보의 위치를 재정합한다. 그리고, 조정부는 계산된 정합오차가 오차 범위보다 작을 때까지 표시부를 회전시키거나 위치 변이시킨다.
한편, 표시부는 초기 위치에서 스크롤 타입 또는 폴더 타입으로 동작하여 디스플레이가능한 상태로 된다. 이 경우, 표시부는 운전자의 수조작에 의해 초기 위치에서 상방향 또는 하방향으로 스크롤되거나 접힌 상태가 펴지게 된다. 이와 다르게, 표시부는 운전자의 명령에 의해 자동으로 초기 위치에서 상방향 또는 하방향으로 스크롤되거나 접힌 상태가 펴지게 된다.
가상 객체 정보는 맵정보를 통한 운전석 전방의 정적 객체 및 영상 인식에 의한 운전석 전방의 이동 객체중에서 하나 이상을 포함한다.
본 발명의 바람직한 실시양태에 따른 차량용 증강현실 헤드업 디스플레이 방법은, 시야각 계산부가, 운전자의 얼굴 영상을 근거로 검출된 얼굴 방향 및 눈동자 중심위치를 기반으로 해당 운전자의 시선 방향을 추정하고 시야각을 계산하는 단계; 정합부가, 시선 방향을 추정하고 시야각을 계산하는 단계에서의 시선 방향 및 시야각을 기반으로 운전석 전방의 실세계 정보의 위치와 운전석 전방에 대응된 가상 객체 정보의 위치를 정합하는 단계; 표시부가, 정합하는 단계에서 정합된 결과를 디스플레이시키는 단계; 및 조정부가, 정합하는 단계에서 정합된 결과에 따라 표시부에 대해 회전 및 위치 변이중에서 하나 이상을 행하는 단계;를 포함한다.
회전 및 위치 변이중에서 하나 이상을 행하는 단계에서 회전은 피치(pitch), 롤(roll), 요(yaw) 방향으로의 이동을 포함하고, 회전 및 위치 변이중에서 하나 이상을 행하는 단계에서 위치 변이는 좌, 우, 상, 하, 앞, 뒤로의 이동을 포함한다.
바람직하게, 회전 및 위치 변이중에서 하나 이상을 행하는 단계는, 정합하는 단계에 의한 정합오차를 계산하는 단계; 및 계산된 정합오차에 근거하여 표시부를 회전시키거나 위치 변이시키는 단계;를 추가로 포함하여도 된다. 이 경우, 정합하는 단계는 회전 및 위치 변이중에서 하나 이상을 행하는 단계에서의 조정에 따라 실세계 정보의 위치와 가상 객체 정보의 위치를 재정합한다.
회전 및 위치 변이중에서 하나 이상을 행하는 단계는 계산된 정합오차가 오차 범위보다 작을 때까지 표시부를 회전시키거나 위치 변이시킨다.
디스플레이시키는 단계는, 표시부가 초기 위치에서 스크롤 타입 또는 폴더 타입으로 동작되어 디스플레이가능한 상태로 된 이후에 행해진다.
이러한 구성의 본 발명에 따르면, 운전자의 안전 및 편의에 대한 안내 정보 제공의 필요성에 따라 운전자가 원할 때, 증강현실 디스플레이를 사용할 수 있게 하여, 운전자 중심의 정보 제공을 한다.
또한, 필요한 안내 정보를 운전자의 시야에 맞추어 보다 정확하게 매칭하여 제공하기 위해, 운전자가 직접 디스플레이의 각도나 위치를 조절할 수 있다. 따라서, 본 발명은 각 축 별로 회전 및 수평·수직·앞뒤의 위치 변이에 대해서 조절이 가능하다.
이러한 적응적 위치·방향 변이가 가능한 본 발명은, 운전자에게 헤드업 디스플레이에서 제공되는 가상 객체 정보와 실세계 정보와의 위치 오차를 줄일 수 있다. 그에 따라, 제공된 정보에 대한 운전자 인지 부하를 감소시키고, 판단 착오로 인한 사고 위험성을 줄일 수 있게 된다.
본 발명은 시야 확보가 어려운 야간, 악천후를 포함하여 모든 운전 환경에서 운전자의 편의와 안전을 도모할 수 있다.
도 1은 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치에 채용된 표시부의 사용 예를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치에 채용된 표시부의 장착 예를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치에 채용된 표시부의 방향 조절 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치에 채용된 표시부의 위치 조절 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치의 블럭도이다.
도 6은 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 방법을 설명하기 위한 플로우차트이다.
도 7 내지 도 9는 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 방법 설명에 채용되는 도면들이다.
상술한 종래의 증강현실 HUD 장치에서의 문제점을 해결하기 위해서는 실세계 정보와 안전운행 정보의 위치에 대한 일치 오차를 줄이는 방법이 필요하다. 이러한 오차가 발생하는 원인 중 하나는 증강현실 헤드업 디스플레이 장치의 표시패널이 고정형이기 때문이다. 이러한 고정형 증강현실 HUD 장치는 위에서 언급한 문제들로 인해, 실세계 정보와 HUD에서 제공되는 안전운행 정보의 위치를 맞추는 과정에서 오차가 발생한다.
따라서, 운전자가 자신의 자세나 위치에 맞게 HUD의 방향이나 위치를 조정한다면, 운전자 시야에 맞게 실세계 정보와 안전운행 정보를 보다 정확하게 매칭하여 제공받을 수 있을 것이다.
이에, 본 발명은 디스플레이의 각도나 위치를 운전자 시야에 맞추어 적응적으로 바꿈으로써, 실세계 정보와의 위치 매칭에서 발생하는 오차를 줄이고 좀더 운전자 시야에 맞게 정보를 제공해 줄 수 있도록 구현하였다.
이하, 첨부된 도면을 참조하여 본 발명의 차량용 증강현실 헤드업 디스플레이 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치에 채용된 표시부의 사용 예를 나타낸 도면이다.
본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치를 통해 제공되는 편의 정보(주행경로 정보, POI(Point of Interest) 정보, 안내판 정보 등) 및 안전운행 정보(차선 정보, 차량 정보, 보행자 정보 등)를 제공받고자 할 때에는, 초기 위치에 있는 표시부(10)를 스크롤 타입(scroll type) 또는 폴더 타입(fold type)으로 동작시켜서 디스플레이가능한 위치로 이동시켜야 한다.
도 1에서, 스크롤 타입은 위에서 아래로 내려오거나 아래에서 위로 올라가는 형태를 의미하고, 폴더 타입은 통상적으로 운전석 상단부에 장착된 햇빛가리개 형태의 접힌 상태가 펴지게 되는 형태를 의미한다.
스크롤 타입 또는 폴더 타입으로의 동작은 자동 또는 수동으로 행해진다. 자동은 표시부(10)가 내부에 구비되는 모터(도시 생략) 등에 의해 디스플레이가능한 위치로 이동하는 것이다. 수동은 운전자가 직접 표시부(10)를 손으로 잡고 상방향 또는 하방향으로 스크롤시키거나 접힌 상태를 직접 손으로 펴는 것이다.
도 2는 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치에 채용된 표시부의 장착 예를 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치에 채용된 표시부의 방향 조절 예를 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치에 채용된 표시부의 위치 조절 예를 나타낸 도면이다.
본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치에 채용된 표시부(10)는 운전석 전방의 대쉬보드 또는 윈드쉴드 등에 설치될 수 있다. 표시부(10)는 투명한 재질로 구성됨이 바람직하다. 도 2에서는 표시부(10)를 운전석 전방의 햇빛가리개 근처 또는 윈드쉴드(12)에 장착시킨 것으로 가정하였다.
표시부(10)는 회전 및 위치 변이가 모두 가능하다. 도 3을 참조하면, 표시부(10)는 피치(pitch; x축), 롤(roll; y축), 요(yaw; z축) 방향으로의 회전이 가능하다. 도 4를 참조하면, 표시부(10)는 좌, 우, 상, 하, 앞, 뒤로의 위치 이동이 가능하다. 여기서, 좌 또는 우로의 위치 이동은 팬(pan) 이동이라고 하고, 상 또는 하로의 위치 이동은 틸트(tilt) 이동이라고 하고, 앞 또는 뒤로의 위치 이동은 달리(dolly) 이동이라고 한다.
이와 같이 표시부(10)는 운전자의 시선에 맞게 상, 하, 좌, 우, 앞, 뒤로의 위치 변이 및/또는 x, y, z축 방향으로 회전 조절이 이루어진다. 표시부(10)의 위치 및 방향이 운전자의 시야에 맞게 조절됨으로써, 가상 객체 정보의 위치를 실세계 정보의 위치와 정밀하게 맞출 수 있다. 그에 따라, 보다 정확한 증강현실 정보를 제공해 줄 수 있으므로 운전자는 더 정확하고 알기 쉽게 안전운행 정보 등을 제공받을 수 있다.
전술한 바와 같이, 표시부(10)의 위치 및 방향은 운전자가 수동으로 조절할 수도 있고, 운전자 시선에 맞게 자동으로 조절할 수도 있다.
도 5는 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치의 블럭도이다.
본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 장치는 표시부(10), 촬영부(20), 얼굴 방향 검출부(22), 눈동자 중심위치 검출부(24), 시야각 계산부(26), 가상 객체 생성부(28), 항법부(30), 정합부(32), 정합오차 계산부(34), 및 조정부(36)를 포함한다.
촬영부(20)는 운전자를 향하도록 운전석 전방의 대쉬보드에 설치된다. 촬영부(20)는 적어도 하나 이상의 카메라를 포함한다. 촬영부(20)는 운전자의 얼굴 영상을 촬영하고, 여러 장의 캡처한 얼굴 영상을 출력한다. 예를 들어, 촬영부(20)는 먼저 운전자의 정면 얼굴 영상을 캡처한 후, 주행 중 원드쉴드상에서 차량 밖을 보기 위해 움직일 수 있는 얼굴 방향 및 시선 방향을 고려한 위·아래, 좌·우의 얼굴 방향 영상들과 여러 각도의 시선 방향의 영상들을 캡처한다. 이때 위·아래, 좌·우의 얼굴 방향값과 시선 방향의 여러 각도값은 다양한 실험자를 대상으로 주행 실험을 하여 얻어진 실험 임계치 값을 사용한다.
얼굴 방향 검출부(22)는 촬영부(20)로부터의 여러 장의 캡처한 얼굴 영상으로부터 해당 운전자의 얼굴 방향을 검출한다. 예를 들어, 얼굴 방향 검출부(22)는 입력받은 캡처한 여러 장의 얼굴 영상으로부터 각각 눈썹, 눈, 코, 입 등의 얼굴 부위 특징점을 정하고 이러한 특징점들을 통해 운전자의 얼굴을 모델링한다. 얼굴 방향 검출부(22)는 생성된 얼굴 모델을 사용하여 해당 운전자의 얼굴 3차원 방향(위치 및 자세)을 검출한다.
눈동자 중심위치 검출부(24)는 얼굴 방향 검출부(22)에 의해 얼굴 방향이 정해지면 눈의 특징점과 얼굴 방향에 따른 추정 눈 위치값을 사용하여 운전자의 눈동자 중심 위치를 검출한다. 다시 말해서, 눈동자 중심위치 검출부(24)는 얼굴 방향 검출부(22)에서 얼굴 방향을 정하게 되면 얼굴 방향 검출부(22)로부터의 각종의 정보를 근거로 눈동자 중심위치 검출 동작을 수행한다. 물론, 필요에 따라서는 얼굴 방향 검출부(22)가 얼굴 방향 검출 동작을 시작할 때 눈동자 중심위치 검출부(24)가 촬영부(20)로부터의 정보를 근거로 눈동자 중심위치 검출 동작을 수행하는 것으로 하여도 무방하다.
그에 따라, 도 5에서는 얼굴 방향 검출부(22)와 눈동자 중심위치 검출부(24)를 각각 별개의 구성요소로 도시하였으나, 얼굴 방향 검출부(22)와 눈동자 중심위치 검출부(24)를 하나의 블럭으로 통칭하여 얼굴 방향 및 눈동자 중심위치를 검출하도록 하여도 무방하다.
시야각 계산부(26)는 얼굴 방향 검출부(22)에 의한 얼굴 방향과 눈동자 중심위치 검출부(24)에 의한 눈동자 중심위치를 기반으로 해당 운전자의 시선 방향을 추정한 후에 시야각을 계산한다. 바람직하게, 시야각 계산부(26)는 입력받은 얼굴 방향과 눈동자 중심위치로부터 인간의 얼굴 형상학 및 구조를 기반으로 머리 중심 좌표와 안구의 중심 좌표를 추정한다. 그리고, 시야각 계산부(26)는 추정된 좌표값(즉, 머리 중심 좌표값과 안구의 중심 좌표값)과 눈의 중심위치를 사용하여 시선 방향을 추정(검출)한다. 그리고, 시야각 계산부(26)는 운전자의 얼굴 방향과 시선 방향을 고려하여 운전자의 시야각을 계산한다.
가상 객체 생성부(28)는 카메라 센서를 이용한 영상 인식 또는 3차원 맵정보를 이용한 안내판 정보 인식 등을 통하여 가상 객체를 생성한다. 보다 상세하게는, 가상 객체 생성부(28)는 카메라 센서를 이용하여 운전석 전방의 보행자, 선행 차량 등의 이동 객체를 인식하고, 3차원의 맵정보를 이용하여 안내판, 도로 표지판, 건물 등의 정적 객체를 인식할 수 있다. 따라서, 가상 객체 생성부(28)는 3차원의 맵정보를 통한 운전석 전방의 정적 객체 및 영상 인식에 의한 운전석 전방의 이동 객체를 포함하는 가상 객체에 대한 정보를 생성한다. 가상 객체에 대한 정보는 각각의 가상 객체에 대한 위치 좌표값을 포함한다.
항법부(30)는 실시간으로 차량의 위치값을 계산하여 출력한다.
정합부(32)는 시야각 계산부(26)로부터의 시선 방향 및 시야각을 기반으로 운전석 전방의 실세계 정보의 위치와 가상 객체 생성부(28)로부터의 운전석 전방에 대응된 가상 객체 정보의 위치를 정합한다. 즉, 정합부(32)는 가상 객체 생성부(28)로부터 가상 객체 정보를 입력받고, 시야각 계산부(26)로부터의 시선 방향 및 시야각에 따라 실세계 정보의 좌표값과 가상 객체 정보의 좌표값을 정합한다. 여기서, 실세계 정보는 운전석 전방의 윈드쉴드를 통해 실제로 보여지는 것을 의미한다.
보다 상세하게는, 정합부(32)는 항법부(30)로부터의 차량 위치값을 기준으로 차량과 운전자의 상대 위치 관계를 고려하여 운전자 머리 방향 및 시선 위치값을 실세계 좌표값으로 매핑하여 계산한다. 또한, 정합부(32)는 표시부(10)의 방향과 위치의 초기값도 차량 위치값을 기준으로 실세계 좌표값으로 자동 매핑하여 계산할 수 있다. 한편, 정합부(32)는 카메라 캘리브레이션 및 레지스트레이션 방법을 통해 운전자 시야각 범위 및 앞서 자동 계산된 실세계 매핑 위치 좌표값들에 맞게 가상 객체 정보 좌표값을 매핑하여 정합한다.
정합오차 계산부(34)는 정합부(32)에서의 정합과정에서 발생되는 정합오차를 계산한다.
조정부(36)는 정합오차 계산부(34)에서 계산된 정합오차에 근거하여 표시부(10)를 회전시키거나 위치 변이시킨다. 조정부(36)는 정합오차 계산부(34)에서 계산된 정합오차가 기설정된 오차 범위보다 작을 때까지 표시부(10)를 회전시키거나 위치 변이시킨다. 그에 따라, 정합부(32)는 조정부(36)에서의 조정이 있게 되면 실세계 정보의 위치와 가상 객체 정보의 위치를 재정합한다. 이와 같이 하여, 가상 객체의 좌표값을 실세계 정보의 좌표값에 정밀하게 재정합하게 된다.
이번에는, 도 6의 플로우차트를 참조하여 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 방법에 대해 설명한다. 도 7 내지 도 9는 본 발명의 실시예에 따른 차량용 증강현실 헤드업 디스플레이 방법 설명에 채용되는 도면들이다.
먼저, 촬영부(20)가 운전자의 얼굴 영상을 촬영하고 여러 장의 캡처한 얼굴 영상을 출력한다.
이어, 얼굴 방향 검출부(22)는 촬영부(20)로부터의 여러 장의 캡처한 얼굴 영상을 근거로 해당 운전자의 얼굴 방향을 검출한다(S10).
그리고, 눈동자 중심위치 검출부(24)는 촬영부(20)로부터의 여러 장의 캡처한 얼굴 영상 또는 얼굴 방향 검출부(22)로부터의 정보에 근거하여 눈의 특징점과 얼굴 방향에 따른 추정 눈 위치값을 사용하여 운전자의 눈동자 중심위치를 검출한다(S20).
이와 같이 검출된 얼굴 방향과 눈동자 중심위치에 상응하는 정보는 시야각 계산부(26)에게로 전송된다.
그에 따라, 시야각 계산부(26)는 검출된 얼굴 방향과 눈동자 중심위치를 기반으로 해당 운전자의 시선 방향을 추정한 후에 시야각을 계산한다(S30).
그 후, 가상 객체 생성부(28)는 카메라 센서를 이용한 영상 인식 또는 3차원 맵정보를 이용한 안내판 정보 인식 등을 통하여 가상 객체를 생성한다(S40).
이어서, 정합부(32)는 시야각 계산부(26)로부터의 시선 방향 및 시야각을 기반으로 운전석 전방의 실세계 정보의 위치와 가상 객체 생성부(28)로부터의 운전석 전방에 대응된 가상 객체 정보의 위치를 정합한다(S50).
이와 같이 정합부(32)의 정합이 완료되면, 정합오차 계산부(34)는 정합부(32)에서의 정합오차를 계산해 내고, 조정부(36)는 계산된 정합오차값에 따라 표시부(10)에 대한 회전 및 위치 변이 여부를 결정하여 그에 상응하는 동작을 수행한다.
즉, 계산된 정합오차값이 기설정된 오차 범위보다 작으면(S60에서 "Yes") 조정부(36)는 표시부(10)에 대한 회전 및 위치 변이가 필요없는 것으로 판단한다. 그에 따라, 표시부(10)에는 도 7에 예시된 바와 같은 화면(14)이 디스플레이된다(S70). 여기서, 도 7의 화면(14)은 운전자 시야 범위에 실세계 정보의 위치와 가상 객체 정보의 위치가 제대로 정합되어 표출됨을 나타낸다.
반대로, 계산된 정합오차값이 기설정된 오차 범위를 벗어났을 경우(S60에서 "No")에는 도 8에 예시한 바와 같이 실세계 정보의 위치와 가상 객체 정보의 위치와의 정합이 제대로 되지 않게 된다. 그에 따라, 조정부(36)는 정합오차값이 기설정된 오차 범위보다 작을 때까지 도 9에 예시한 바와 같이 표시부(10)를 회전시키거나 위치 변이시키고, 정합부(32)는 조정부(36)에서의 조정에 따라 실세계 정보의 위치와 가상 객체 정보의 위치를 재정합한다(S80).
여기서, 표시부(10)의 방향 및 위치를 조정하는 방법에 대해 다시 한번 기술하면 다음과 같다.
먼저, 수동으로 조정하는 방법에 대해 설명한다. 첫번째의 수동 조정 방법은 표시부(10)의 방향과 위치를 운전자가 운전자 시야각과 시선에 맞게 직접 손으로 조정한다. 두번째의 수동 조정 방법은 각 x,y,z의 방향과 위치를 일정하게 정해진 간격만큼 이동할 수 있는 모터(도시 생략)와 버튼(도시 생략)을 통해 운전자가 표시부(10)의 방향과 위치를 조정한다. 도시 생략한 모터 및 버튼은 표시부(10)에 설치되는 것으로 할 수 있고, 별도로 도시하지 않더라도 동종업계에 종사하는 자라면 주지의 기술로 충분히 이해할 수 있다.
이번에는, 자동으로 조정하는 방법에 대해 설명한다. 자동 조정 방법은 운전자의 개입없이 운전자의 눈의 위치와 얼굴 모델을 기반으로 한 얼굴 방향을 통해 운전자의 시야각과 시선 방향을 자동으로 추출하여 추출한 값에 맞게 표시부(10)의 위치와 방향이 자동적으로 조정된다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.
10 : 표시부 20 : 촬영부
22 : 얼굴 방향 검출부 24 : 눈동자 중심위치 검출부
26 : 시야각 계산부 28 : 가상 객체 생성부
30 : 항법부 32 : 정합부
34 : 정합오차 계산부 36 : 조정부

Claims (20)

  1. 운전자의 얼굴 영상을 근거로 검출된 얼굴 방향 및 눈동자 중심위치를 기반으로 해당 운전자의 시선 방향을 추정하고 시야각을 계산하는 시야각 계산부;
    상기 시야각 계산부로부터의 시선 방향 및 시야각을 기반으로 운전석 전방의 실세계 정보의 위치와 상기 운전석 전방에 대응된 가상 객체 정보의 위치를 정합하는 정합부;
    상기 정합부에서 정합된 결과를 디스플레이시키되, 회전 및 위치 변이가 가능한 표시부;
    상기 정합부에서의 정합오차를 계산하는 정합오차 계산부; 및
    상기 정합오차 계산부에서 계산된 정합오차에 근거하여 상기 표시부를 회전시키거나 위치 변이시키는 조정부;를 포함하고,
    상기 정합부는 상기 조정부에서의 조정에 따라 상기 실세계 정보의 위치와 상기 가상 객체 정보의 위치를 재정합하는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  2. 청구항 1에 있어서,
    상기 표시부의 회전은 피치(pitch), 롤(roll), 요(yaw) 방향으로의 이동을 포함하는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  3. 청구항 1에 있어서,
    상기 표시부의 위치 변이는 좌, 우, 상, 하, 앞, 뒤로의 이동을 포함하는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  4. 청구항 1에 있어서,
    상기 표시부는 상기 운전자의 수조작에 의해 회전되거나 위치 변이되는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  5. 청구항 1에 있어서,
    상기 표시부는 자동 조정에 의해 회전되거나 위치 변이되는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  6. 삭제
  7. 청구항 1에 있어서,
    상기 조정부는 상기 계산된 정합오차가 오차 범위보다 작을 때까지 상기 표시부를 회전시키거나 위치 변이시키는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  8. 청구항 1에 있어서,
    상기 표시부는 초기 위치에서 스크롤 타입 또는 폴더 타입으로 동작하여 디스플레이가능한 상태로 되는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  9. 청구항 8에 있어서,
    상기 표시부는 상기 운전자의 수조작에 의해 상기 초기 위치에서 상방향 또는 하방향으로 스크롤되거나 접힌 상태가 펴지게 되는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  10. 청구항 8에 있어서,
    상기 표시부는 상기 운전자의 명령에 의해 자동으로 상기 초기 위치에서 상방향 또는 하방향으로 스크롤되거나 접힌 상태가 펴지게 되는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  11. 청구항 1에 있어서,
    상기 가상 객체 정보는 맵정보를 통한 운전석 전방의 정적 객체 및 영상 인식에 의한 운전석 전방의 이동 객체중에서 하나 이상을 포함하는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 장치.
  12. 시야각 계산부가, 운전자의 얼굴 영상을 근거로 검출된 얼굴 방향 및 눈동자 중심위치를 기반으로 해당 운전자의 시선 방향을 추정하고 시야각을 계산하는 단계;
    정합부가, 상기 시선 방향을 추정하고 시야각을 계산하는 단계에서의 시선 방향 및 시야각을 기반으로 운전석 전방의 실세계 정보의 위치와 상기 운전석 전방에 대응된 가상 객체 정보의 위치를 정합하는 단계;
    표시부가, 상기 정합하는 단계에서 정합된 결과를 디스플레이시키는 단계; 및
    조정부가, 상기 정합하는 단계에서 정합된 결과에 따라 상기 표시부에 대해 회전 및 위치 변이중에서 하나 이상을 행하는 단계;를 포함하고,
    상기 회전 및 위치 변이중에서 하나 이상을 행하는 단계는,
    상기 정합하는 단계에 의한 정합오차를 계산하는 단계; 및
    상기 계산된 정합오차에 근거하여 상기 표시부를 회전시키거나 위치 변이시키는 단계;를 추가로 포함하고,
    상기 정합하는 단계는 상기 회전 및 위치 변이중에서 하나 이상을 행하는 단계에서의 조정에 따라 상기 실세계 정보의 위치와 상기 가상 객체 정보의 위치를 재정합하는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 방법.
  13. 청구항 12에 있어서,
    상기 회전 및 위치 변이중에서 하나 이상을 행하는 단계에서 상기 회전은 피치(pitch), 롤(roll), 요(yaw) 방향으로의 이동을 포함하는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 방법.
  14. 청구항 12에 있어서,
    상기 회전 및 위치 변이중에서 하나 이상을 행하는 단계에서 상기 위치 변이는 좌, 우, 상, 하, 앞, 뒤로의 이동을 포함하는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 방법.
  15. 삭제
  16. 청구항 12에 있어서,
    상기 회전 및 위치 변이중에서 하나 이상을 행하는 단계는 상기 계산된 정합오차가 오차 범위보다 작을 때까지 상기 표시부를 회전시키거나 위치 변이시키는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 방법.
  17. 청구항 12에 있어서,
    상기 디스플레이시키는 단계는, 상기 표시부가 초기 위치에서 스크롤 타입 또는 폴더 타입으로 동작되어 디스플레이가능한 상태로 된 이후에 행해지는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 방법.
  18. 청구항 17에 있어서,
    상기 표시부는 상기 운전자의 수조작에 의해 상기 초기 위치에서 상방향 또는 하방향으로 스크롤되거나 접힌 상태가 펴지게 되는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 방법.
  19. 청구항 17에 있어서,
    상기 표시부는 상기 운전자의 명령에 의해 자동으로 상기 초기 위치에서 상방향 또는 하방향으로 스크롤되거나 접힌 상태가 펴지게 되는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 방법.
  20. 청구항 12에 있어서,
    상기 가상 객체 정보는 맵정보를 통한 운전석 전방의 정적 객체 및 영상 인식에 의한 운전석 전방의 이동 객체중에서 하나 이상을 포함하는 것을 특징으로 하는 차량용 증강현실 헤드업 디스플레이 방법.
KR1020120101339A 2012-02-01 2012-09-13 차량용 증강현실 헤드업 디스플레이 장치 및 방법 KR101921969B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/753,590 US8994558B2 (en) 2012-02-01 2013-01-30 Automotive augmented reality head-up display apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120010238 2012-02-01
KR20120010238 2012-02-01

Publications (2)

Publication Number Publication Date
KR20130089139A KR20130089139A (ko) 2013-08-09
KR101921969B1 true KR101921969B1 (ko) 2018-11-28

Family

ID=49215203

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120101339A KR101921969B1 (ko) 2012-02-01 2012-09-13 차량용 증강현실 헤드업 디스플레이 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101921969B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869162B2 (en) 2020-08-18 2024-01-09 Samsung Electronics Co., Ltd. Apparatus and method with virtual content adjustment

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519353B1 (ko) * 2013-11-12 2015-05-13 현대오트론 주식회사 헤드업 디스플레이를 이용한 정속 주행상태의 화면 표시방법 및 장치
KR101583950B1 (ko) 2014-06-30 2016-01-08 현대자동차주식회사 차량정보 표시장치 및 그 표시방법
US9690104B2 (en) 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
DE102016225639A1 (de) 2016-12-20 2018-07-05 Volkswagen Aktiengesellschaft Head-up-Display-Vorrichtung für ein Kraftfahrzeug, Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Head-up-Display-Vorrichtung
DE102017202225A1 (de) * 2017-02-13 2018-08-16 Volkswagen Aktiengesellschaft Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung
KR101900475B1 (ko) * 2017-06-29 2018-11-08 주식회사 맥스트 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이
WO2019074114A1 (en) * 2017-10-13 2019-04-18 Ricoh Company, Ltd. DISPLAY DEVICE, PROGRAM, IMAGE PROCESSING METHOD, DISPLAY SYSTEM, AND MOBILE BODY
JP2019073272A (ja) * 2017-10-13 2019-05-16 株式会社リコー 表示装置、プログラム、映像処理方法、表示システム、移動体
KR102486421B1 (ko) * 2017-10-16 2023-01-10 삼성디스플레이 주식회사 헤드 마운트 디스플레이 장치 및 이의 동작 방법
CN110365952B (zh) * 2018-04-11 2022-05-31 京东方科技集团股份有限公司 一种用于投射显示装置的视角测试方法和测试***
CN109883414B (zh) * 2019-03-20 2021-08-27 百度在线网络技术（北京）有限公司 一种车辆导航方法、装置、电子设备及存储介质
CN111144356B (zh) * 2019-12-30 2021-01-05 华中师范大学 一种远程教学的教师视线跟随方法及装置
US11938817B2 (en) 2020-08-24 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for controlling head-up display based on eye tracking status
KR20230142183A (ko) 2022-04-01 2023-10-11 (주) 브라이튼코퍼레이션 홀로그래픽 영상생성유닛 및 이를 구비하는 차량용 헤드업 디스플레이 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002052953A (ja) * 2000-08-10 2002-02-19 Yazaki Corp 車両用表示装置及びその表示位置調整方法
US20070124071A1 (en) 2005-11-30 2007-05-31 In-Hak Joo System for providing 3-dimensional vehicle information with predetermined viewpoint, and method thereof
US20100253542A1 (en) 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Point of interest location marking on full windshield head-up display
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002052953A (ja) * 2000-08-10 2002-02-19 Yazaki Corp 車両用表示装置及びその表示位置調整方法
US20070124071A1 (en) 2005-11-30 2007-05-31 In-Hak Joo System for providing 3-dimensional vehicle information with predetermined viewpoint, and method thereof
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
US20100253542A1 (en) 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Point of interest location marking on full windshield head-up display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869162B2 (en) 2020-08-18 2024-01-09 Samsung Electronics Co., Ltd. Apparatus and method with virtual content adjustment

Also Published As

Publication number Publication date
KR20130089139A (ko) 2013-08-09

Similar Documents

Publication Publication Date Title
KR101921969B1 (ko) 차량용 증강현실 헤드업 디스플레이 장치 및 방법
US8994558B2 (en) Automotive augmented reality head-up display apparatus and method
WO2021197189A1 (zh) 基于增强现实的信息显示方法、***、装置及投影设备
US8558758B2 (en) Information display apparatus
JP4366716B2 (ja) 車両用情報表示装置
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
US20120224060A1 (en) Reducing Driver Distraction Using a Heads-Up Display
JP6695049B2 (ja) 表示装置及び表示制御方法
EP3596588B1 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
KR20120067854A (ko) 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
WO2006035755A1 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
WO2021197190A1 (zh) 基于增强现实的信息显示方法、***、装置及投影设备
CN111094898B (zh) 控制机动车辆增强现实抬头显示设备的显示的方法和设备
CN109788243B (zh) 识别和可视化地呈现显示增强图像内容时的***不可靠性
CN102200445B (zh) 实时扩增实境装置及其实时扩增实境方法
JP2016074410A (ja) ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
JP6186905B2 (ja) 車載表示装置およびプログラム
WO2004048895A1 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
WO2016056199A1 (ja) ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
US20210331588A1 (en) User interface generating apparatus and method for vehicle
JP6328366B2 (ja) ヘッドアップディスプレイの表示制御装置および表示制御方法
JP5182499B2 (ja) 車両用情報呈示装置
CN114127614B (zh) 平视显示装置
JP6972789B2 (ja) ヘッドアップディスプレイ装置
JP2005201635A (ja) 車両用ナビゲーションシステム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant