KR20140145332A - 차량용 hmd 시스템 및 그 작동 방법 - Google Patents

차량용 hmd 시스템 및 그 작동 방법 Download PDF

Info

Publication number
KR20140145332A
KR20140145332A KR1020130067600A KR20130067600A KR20140145332A KR 20140145332 A KR20140145332 A KR 20140145332A KR 1020130067600 A KR1020130067600 A KR 1020130067600A KR 20130067600 A KR20130067600 A KR 20130067600A KR 20140145332 A KR20140145332 A KR 20140145332A
Authority
KR
South Korea
Prior art keywords
information
vehicle
hmd
navigation
driving
Prior art date
Application number
KR1020130067600A
Other languages
English (en)
Inventor
김태진
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130067600A priority Critical patent/KR20140145332A/ko
Publication of KR20140145332A publication Critical patent/KR20140145332A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에서는 차량의 운행 정보와 네비게이션 정보를 제공하는 AVN에 연동되는 안경형 투사 HMD를 포함하는 차량용 HMD 시스템 및 그 작동 방법을 제안한다. 제안된 시스템은 차량 전방에 대한 영상 정보와 차량에 장착된 센서들로부터 얻은 센싱 정보들을 수집하여 차량의 운행과 관련된 운행 정보 및 네비게이션 정보를 생성하는 AVN; 및 일측에 디스플레이 창과 카메라를 구비하는 안경 형태의 것으로서 카메라를 통해 얻은 영상 정보를 AVN으로 입력하며, 디스플레이 창을 통해 운행 정보 및 네비게이션 정보를 디스플레이하는 안경형 투사 HMD를 포함한다.

Description

차량용 HMD 시스템 및 그 작동 방법 {HMD system of vehicle and method for operating of the said system}
본 발명은 차량용 HMD(Head Mount Display) 시스템 및 그 작동 방법에 관한 것이다. 보다 상세하게는, 안경형 투사 HMD를 포함하는 차량용 HMD 시스템 및 그 작동 방법에 관한 것이다.
HUD(Head Up Display) 시스템은 전방 상향 시현기라고 하며 사람의 시야에 직접 정보를 비추는 형태의 Display로써, 군용 항공 기술로 처음 개발되었으나, 민간 분야에 폭넓게 적용되고 있다. 시계 비행을 하면서, 계기를 봐야하는 부담을 줄이기 위해서, 조종사의 시야에 계기의 정보를 투사시켜 참조하면서 시계 비행을 용이하도록 설계되었다.
항공용 HUD는 CRT를 이용한 방식에서 현재는 홀로그램 방식의 HUD를 사용하고 있다. 항공용 HUD의 경우 시스템이 복잡하며, 정밀도가 요구되며 고가인 단점이 있다.
최근 들어 항공용 HUD 원리를 이용하여, 차량에 적용시킨 차량용 HUD 시스템이 폭넓게 적용중에 있다. 항공기와 마찬가지로 고속도로에서 빠른 속도로 주행하는 경우 속도/기름 혹은 네비게이션 정보를 보기 위해 계기판으로 눈을 돌린 사이에는 앞차의 상황이나 도로 위의 상황을 빨리 파악하기 힘들다. 또한 시야를 이동하는 사이에 사고가 발생할 수 있으므로 이러한 위험을 제거하기 위해서 HUD 시스템을 차량에 도입하고 있다.
차량용 HUD는 앞 유리창의 운전자의 주 시야선에 속력, 주행 거리, RPM 등 계기판의 정보와 네비게이션의 주행 방향 정보 등을 표시하여 운전자가 도로에서 눈을 떼지 않고도 중요한 주행 정보를 인지함으로써 안전을 높일 수 있다.
그런데 종래 차량용 HUD의 경우에는 운전자의 시선을 HUD가 위치한 전방에 운전자의 시선을 고정함으로써 정보 표시의 영역을 제한할 수 있으나, 디스플레이의 크기 제한에 의하여 표시되는 정보가 제한되며, 차량의 전면에 홀로그램 형태로 표시되어야 하기 때문에 차량 전면에 틴팅을 할 경우 상이 왜곡될 수 있다.
또한 운전자가 주행중에 상황에 따라 좌우 측방이나 후방을 주시할 경우에는 HUD에 표시되는 정보가 무의미해진다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 차량의 운행 정보와 네비게이션 정보를 제공하는 AVN에 연동되는 안경형 투사 HMD를 포함하는 차량용 HMD 시스템 및 그 작동 방법을 제안함을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 차량 전방에 대한 영상 정보와 차량에 장착된 센서들로부터 얻은 센싱 정보들을 수집하여 차량의 운행과 관련된 운행 정보 및 네비게이션 정보를 생성하는 AVN; 및 일측에 디스플레이 창과 카메라를 구비하는 안경 형태의 것으로서 상기 카메라를 통해 얻은 상기 영상 정보를 상기 AVN으로 입력하며, 상기 디스플레이 창을 통해 상기 운행 정보 및 상기 네비게이션 정보를 디스플레이하는 안경형 투사 HMD를 포함하는 것을 특징으로 하는 차량용 HMD 시스템을 제안한다.
바람직하게는, 상기 차량용 HMD 시스템은 상기 차량 내의 CAN 네트워크를 외부 네트워크와 연결시켜 상기 AVN에 저장된 상기 운행 정보 및 상기 네비게이션 정보를 운전자 외 다른 사람들과 공유시키는 운전자 단말을 더 포함한다.
바람직하게는, 상기 안경형 투사 HMD는 일측에 상기 디스플레이 창, 상기 카메라, 마이크 및 스피커가 일체형으로 장착된다.
바람직하게는, 상기 안경형 투사 HMD는 상기 차량 내 LKAS(Lane Keeping Assistance System)와 측후방 감지 경보 장치(Blind Spot Warning)에 의해 획득된 정보를 상기 디스플레이 창으로 디스플레이하며 상기 스피커를 이용하여 상기 정보를 음성, 음향 및 진동 중 어느 하나의 방법으로 출력한다.
바람직하게는, 상기 AVN은 상기 안경형 투사 HMD로부터 입력된 운전자의 음성을 분석하여 상기 네비게이션 정보를 다시 생성하며, 상기 안경형 투사 HMD는 다시 생성된 네비게이션 정보를 상기 디스플레이 창으로 디스플레이한다.
또한 본 발명은 안경형 투사 HMD에 장착된 카메라를 이용하여 차량 전방에 대한 영상 정보를 획득하는 영상 정보 획득 단계; 상기 차량에 장착된 센서들을 이용하여 센싱 정보들을 획득하는 센싱 정보 획득 단계; 상기 영상 정보와 상기 센싱 정보들을 수집하여 상기 차량의 운행과 관련된 운행 정보 및 네비게이션 정보를 생성하는 운행 및 네비게이션 정보 생성 단계; 및 상기 안경형 투사 HMD의 일측에 장착된 디스플레이 창을 통해 상기 운행 정보 및 상기 네비게이션 정보를 디스플레이하는 운행 및 네비게이션 정보 디스플레이 단계를 포함하는 것을 특징으로 하는 차량용 HMD 시스템의 작동 방법을 제안한다.
바람직하게는, 상기 운행 및 네비게이션 정보 디스플레이 단계 이후에, 상기 차량 내의 CAN 네트워크를 외부 네트워크와 연결시켜 상기 운행 정보 및 상기 네비게이션 정보를 운전자 외 다른 사람들과 공유시키는 운행 및 네비게이션 정보 공유 단계를 포함한다.
바람직하게는, 상기 영상 정보 획득 단계와 상기 운행 및 네비게이션 정보 디스플레이 단계는 상기 안경형 투사 HMD로 일측에 상기 디스플레이 창, 상기 카메라, 마이크 및 스피커가 일체형으로 장착된 HMD를 이용한다.
바람직하게는, 상기 운행 및 네비게이션 정보 디스플레이 단계는 상기 차량 내 LKAS(Lane Keeping Assistance System)와 측후방 감지 경보 장치(Blind Spot Warning)에 의해 획득된 정보를 상기 디스플레이 창으로 디스플레이하며 상기 스피커를 이용하여 상기 정보를 음성, 음향 및 진동 중 어느 하나의 방법으로 출력한다.
바람직하게는, 상기 운행 및 네비게이션 정보 생성 단계는 상기 안경형 투사 HMD로부터 입력된 운전자의 음성을 분석하여 상기 네비게이션 정보를 다시 생성하며, 상기 운행 및 네비게이션 정보 디스플레이 단계는 다시 생성된 네비게이션 정보를 상기 디스플레이 창으로 디스플레이한다.
본 발명은 차량의 운행 정보와 네비게이션 정보를 제공하는 AVN에 연동되는 안경형 투사 HMD를 포함하는 차량용 HMD 시스템을 통해 운전자의 전방 시향을 향상시킬 수 있으며, 스마트폰을 통해 다양한 정보를 운전자에게 제공하면서도 안전한 운전을 추구할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 차량용 HMD 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명에 적용되는 안경형 투사 HMD의 사시도이다.
도 3은 차량 내에 구비되는 각종 시스템과 차량용 HMD 시스템의 연동을 보여주는 개념도이다.
도 4는 도 3의 일례로서 LKAS 시스템과 HMD 시스템의 연동을 설명하기 위한 흐름도이다.
도 5는 도 3의 일례로서 BSW 시스템과 HMD 시스템의 연동을 설명하기 위한 흐름도이다.
도 6은 도 5의 연동을 보충 설명하기 위한 참고도이다.
도 7은 HMD 시스템의 네비게이션 기능을 설명하기 위한 흐름도이다.
도 8은 도 7의 기능을 보충 설명하기 위한 참고도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
HMD 시스템은 두부 장착 시현기라고 하며 헬멧 형태로 머리에 쓰거나, 안경과 같이 장착하여 Display되는 장치이다. 멀티미디어 분야에 주로 적용되고 있으며, 눈 앞에 디스플레이가 위치하여 작은 디스플레이 소자를 이용하여 대형 화면을 구현하는 시스템이다. 휴대하면서 영상물을 대형 화면으로 즐기거나, 수술이나 진단에 사용하고, 가상 현실 등에 적용할 수 있는 차세대 영상 표시 장치이다.
본 발명에서는 안경형 투사 HMD를 구비하는 차량용 HMD 시스템을 제안한다. 기존 HMD와는 다르게 차량용 HMD는 운전자가 운전 능력에 영향을 주지 않으며, 각종 계기 정보 및 주행 정보를 제공받을 수 있도록 한다. 또한 운전시 핸드폰을 사용하는 것이 안전에 큰 영향을 주므로, 차량용 HMD에 정보를 표시하고 운전자가 운전 중에 쉽게 제어할 수 있도록 하는 유저 인터페이스를 구현한다. HMD와 네비게이션(AVN)과 핸드폰의 연동을 통해 추가적인 기능을 구현한다.
도 1은 본 발명의 바람직한 실시예에 따른 차량용 HMD 시스템을 개략적으로 도시한 개념도이다.
도 1에 따르면, 차량용 HMD 시스템(100)은 안경형 투사 HMD(110), AVN(120) 및 운전자 단말(130)을 포함한다.
AVN(120)은 차량 전방에 대한 영상 정보와 차량에 장착된 센서들로부터 얻은 센싱 정보들을 수집하여 차량의 운행과 관련된 운행 정보 및 네비게이션 정보를 생성하는 기능을 수행한다.
본 실시예에서 AVN(120)은 네비게이션 기능, 음성 인식을 통한 인터넷 정보 검색 기능, 핸즈프리 기능, 운전자 단말(130)로부터 수신된 멀티미디어 데이터와 운전자 단말(130)의 전화, 문자, App Data 등의 송수신 기능, CAN 네트워크를 통한 차량 정보 수집 기능, 운전자 단말(130)을 이용한 네트워크 공유 기능(차량 네트워크를 외부 인터넷과 연결시킴), 블랙박스 영상 저장 기능 등을 수행할 수 있다.
안경형 투사 HMD(110)는 일측에 디스플레이 창과 카메라를 구비하는 안경 형태의 것으로서 카메라를 통해 얻은 영상 정보를 AVN으로 입력하며, 디스플레이 창을 통해 운행 정보 및 네비게이션 정보를 디스플레이하는 기능을 수행한다.
본 실시예에서 안경형 투사 HMD(110)는 음성 인식을 통한 정보 검색 및 결과 화면 표시 기능, 차량 운행 정보 표시 기능, HMD 카메라 영상 정보 전달 기능 등을 수행할 수 있다.
안경형 투사 HMD(110)는 외눈형 투사 Display, 외부 촬영용 카메라, 차량 내부 통신용 Wifi, 음성 인식 및 핸즈프리 기능을 위한 마이크, 음성 정보 제공을 위한 스피커 등으로 구성될 수 있다. 안경형 투사 HMD(110)에 대한 보다 자세한 설명은 도 2를 참조하여 후술한다.
운전자 단말(130)은 차량 내의 CAN 네트워크를 외부 네트워크와 연결시켜 AVN(120)에 저장된 운행 정보 및 네비게이션 정보를 운전자 외 다른 사람들과 공유시키는 기능을 수행한다.
본 실시예에서 운전자 단말(130)은 3G/LTE 네트워크 공유 기능(차량 네트워크를 외부 네트워크와 연결시킴), 전화, 문자, App Data 등을 AVN(120)로 전송하는 기능, 내부 저장 Data 및 스트리밍 Data 등 각종 멀티미디어 Data를 AVN(120)으로 전송하는 기능 등을 수행할 수 있다.
이상 도 1에서 설명한 차량용 HMD 시스템(100)은 AVN(120)에 무선 네트워크 제공을 위한 통신 모듈이 탑재되어 차량이 직접 외부 네트워크와 연결되는 시스템이다. 그러나 이와 같은 경우 개별 차량별로 지속적인 통신비가 발생하므로, 운전자 단말(130)의 LTE 및 3G 네트워크를 공유해서 사용하는 방식이 비용 절감에 효과적이며, 각 개별 운전자에 따라 더 높은 자유도를 가질 수도 있다.
한편 안경형 투사 HMD(110)는 일측에 디스플레이 창, 카메라, 마이크 및 스피커가 일체형으로 장착되는 것을 특징으로 한다. 이하 이에 대해 설명한다. 도 2는 본 발명에 적용되는 안경형 투사 HMD의 사시도이다.
안경형 투사 HMD(110)는 AVN(120)에서 처리 및 연산된 데이터를 디스플레이하는 것이다.
투사형 디스플레이 창(112)은 운전자의 시야를 방해하지 않는 위치 및 사이즈를 가진다. 또한 필요 정보를 표시하기 위한 최소한의 밝기값을 가지는데, 특히 외부 밝기에 따라 자동 조절된다. 또한 한쪽 눈에만 적용된다.
외부 촬영용 카메라(111)는 운전자의 시선과 일치하는 카메라 방향을 가진다. 또한 운전자의 시야와 동일한 정보를 인식하며, 증강현실 정보를 출력하기 위한 기초 정보가 저장된다. 또한 블랙박스 영상 등 실시간 차량 운행 정보를 저장한다.
차량 내부 통신용 Wifi는 AVN(120)에 연결된다.
마이크(113)는 음성 명령을 통한 Display 및 HMD 시스템 제어 기능을 가지며 핸즈프리 기능도 제공한다.
스피커(114)는 네비게이션 및 차량 정보를 음성으로 제공하며, 핸즈프리 기능을 제공한다.
이상 설명한 안경형 투사 HMD(110)는 안경 형태를 하는 HMD이지만 상황에 따라 안경알이 없고 HMD 부분만 있는 형태로도 설계 가능하며, 운전자의 시력에 따라 안경 도수를 변경 가능하게 설계한다.
다소 착용하기 불편할 수 있는 안경형이지만, 기존 HUD에 비해 큰 장점을 가지고 있다.
우선 운전자의 시야의 방향과 일치하기 때문에 외부 촬영 카메라(111)를 이용하여 촬영되는 영상 데이터를 다양하게 활용할 수 있으며, 운전자의 시야 바로 앞에 항상 정보가 표시될 수 있다.
외부 촬영 카메라(111)로 수집되는 영상 정보는 기본적으로 블랙박스 영상처럼 운전자의 시야에서 일어나는 모든 일을 기록함으로써 사고 발생시 근거 자료로 활용될 수 있다.
기존의 고정된 영상보다는 운전자의 의지에 따라 영상이 저장되므로 보다 효과적인 저장이 가능하다.
그리고 촬영된 영상을 인식하여 전방 차량 번호, 표지판 등을 인지하여 다양한 정보를 겹쳐 표시하는 증강현실 기반 정보 출력이 가능하다.
AVN(120)으로부터 네비게이션 정보 및 차량 정보를 입력받아 전방에 표시함으로써 운전자 전방 시야를 전방에 고정시키며, 차량의 차선 변경 경보 장치, 블라인드 스팟 워닝 등과 같은 시스템과 연동하여 관련 정보 또한 화면에 표시한다.
또한 운전자 단말(130)로부터 전달되는 전화, 문자 등과 같은 정보를 간략히 표시하며, 운전자만 인지할 수 있도록 스피커(114)를 통해 핸즈프리 및 문자 정보를 음성으로 출력해준다.
HMD 디스플레이 정보 및 AVN(120) 제어를 위한 인터페이스를 음성 인식을 통해 제어하며, 가능한 AVN(120) 스위치 조작을 줄임으로써 차량 운전에 집중할 수 있도록 한다.
한편 안경형 투사 HMD(110)는 차량 내 LKAS(Lane Keeping Assistance System)와 측후방 감지 경보 장치(Blind Spot Warning)에 의해 획득된 정보를 디스플레이 창으로 디스플레이하며 스피커를 이용하여 상기 정보를 음성, 음향 및 진동 중 어느 하나의 방법으로 출력할 수 있다. 이하 이에 대해 설명한다. 도 3은 차량 내에 구비되는 각종 시스템과 차량용 HMD 시스템의 연동을 보여주는 개념도이다.
중앙 처리 AVN(120)이 수행하는 기능에 대해 기술하면 다음과 같다.
1. 차량 및 운행 정보 수집
- CAN 네트워크를 이용 속도 / RPM / 차량 상태 정보 수집
- GPS 기반 네비게이션 정보를 통해 교통 상황 / 진행 방향 수집
- LKAS, BSW 등 타 운전 지원 시스템 정보 수집
2. 운전자 단말(130)과 네트워크 공유 및 DATA 송수신
- LTE/3G 테더링 기능을 통해 무선 네트워크와 차량 네트워크를 연결
- 전화 및 문자 송수신 정보를 전달
- 카카오톡 / SNS / 검색 정보 등 Application Data를 전달
- 스마트폰 멀티미디어 데이터를 차량 내 네트워크를 통해 스트리밍 제공
- 멜론 / Youtube 등과 같이 무선 네트워크를 통해 운전자 단말(130)로 제공된 스트리밍 멀티미디어 정보 미러링
3. HMD 외부 카메라 촬영 영상 처리
- 수신 영상 저장 (블랙박스 기능)
- 수신 영상 인식 처리 : 차량 번호, 사물, 사람, 표지판, 차선 등
4. HMD 음성 인식 및 음성 명령 처리, 음성 정보 제공
- HMD 마이크로 입력된 음성 명령을 인식하여 인터페이스 제어 및 시스템 제어 수행
- 멀티미디어 및 시스템 관련 정보는 AVN 스피커를 통해 재생
- 운전자 프라이버시 정보 및 핸즈프리 정보는 HMD에 전송하여 HMD 스피커/이어폰을 통해 제공
5. HMD 디스플레이 정보 제공
- 수집된 차량 및 운행 정보, 경보 Display
- 외부 카메라 영상 인식을 통해 생성된 증강현실 데이터 Display
- 전화 상대방 및 문자 메시지 정보 화면 Display
차량 시스템과 HMD 시스템의 연동은 다양한 방법으로 가능하다. 기본적으로 AVN(120) 자체가 차량의 CAN 네트워크와 연결됨에 따라, 차량 CAN을 사용하는 여러 시스템(200, 300) 등과의 데이터 공유가 가능하다.
도 3은 차선 유지 지원 시스템(Lane Keeping Assistance System; 200)과 측후방 감지 경보 장치(Blind Spot Warning;; 300) 및 HMD 시스템(100)의 연동을 나타내고 있다. 기존의 클러스터 및 사이드 미러에 경고 및 정보를 표시하는 방식을 대신하여, 운전자 눈앞에 바로 표시되는 HMD 화면에 경보 신호를 표시하고, 음성 경보를 한다. 이로써 차량 안전에 중요한 정보를 사용자가 인식하기 쉽게 직접적으로 전달함으로써 차량 주행의 안전성을 더할 수 있다.
LKAS 시스템(200) 및 BSW 시스템(300)과 HMD 시스템(100)의 연동에 따른 동작 흐름을 도 4에서 확인할 수 있다.
한편 도 3에서 도면부호 210, 220, 310, 320은 각각 카메라와 ECU가 결합된 조립체, MDPS(Motor Driven Power Steering), 제1 측후방 레이더, 제2 측후방 레이더를 의미한다.
도 4는 도 3의 일례로서 LKAS 시스템과 HMD 시스템의 연동을 설명하기 위한 흐름도이다.
LKAS 카메라에서 차선 촬영을 통해 차량의 차선 이탈을 감지하고 있다(S405). 차량의 차선 이탈이 감지되면(S410), MDPS를 제어하는 적극적 조향 개입 이전에 운전자에게 이탈 상황을 경고하게 된다(S415 ~ S425).
기존의 LKAS의 경우 차량의 클러스터에 경고 신호를 표시한다. 그래서 운전자가 클러스터 확인을 위해 시야를 변경해야 하며, 쉽게 인식하기에 어려움이 있었다.
본 발명과 같이 HMD 시스템은 CAN 통신을 통해 LKAS의 차선 이탈 정보를 AVN에서 수신하게 된다(S415). AVN은 수신된 정보를 차량 내 무선 네트워크를 통해 HMD로 차선 이탈 경보 정보를 송신하며(S420), HMD는 투사형 화면에 경고 신호를 표시하고, 진동 및 음성을 통해 운전자에게 차선 이탈을 경고한다(S425).
운전자가 조향 조작을 통해 차량이 정상으로 돌아오면 기존 운행을 진행하면서(S430), LKAS를 통한 차선 촬영을 지속한다(S405).
그러나 경고 후에도 운전자의 차량 제어가 없이 차량의 차선 이탈이 지속되면(S410), MDPS에서 차선 이탈 정보를 수신하고(S435), 이에 따라서 MDPS의 조향 모터 제어를 통해 차량 운행에 적극적으로 개입하여 차량을 제어하여(S440) 차량 운행 방향을 유지시키는 동작을 수행한다(S445).
도 5는 도 3의 일례로서 BSW 시스템과 HMD 시스템의 연동을 설명하기 위한 흐름도이고, 도 6은 도 5의 연동을 보충 설명하기 위한 참고도이다.
기존의 BSW는 Blid Spot에 차량이 있을 경우, 좌우측 사이드 미러에 표시를 해주는 형태로 되어 있다. 본 발명에서는 이를 HMD의 화면에 경고 표시함으로써 운전자가 전방을 주시하는 상황에서도 좌우측 상황을 확인할 수 있도록 도와준다.
도 5에는 음성 명령을 통해 BSW 표시를 제어하는 부분을 포함되어 있다. 도 6의 (a)에 도시된 바와 같이 운전자가 음성으로 "BSW 표시 켜줘"와 같이 명령하면(S510), HMD의 마이크를 통해 음성이 기록되고, 무선 네트워크를 통해 AVN으로 내용이 전달된다.
AVN에서 음성을 인식하여(S520), BSW 경고 표시를 HMD에 표시하라는 명령임을 인지한다. 그리고 BSW 시스템으로부터 CAN 통신을 통해 BSW 정보를 수신하고 이를 HMD에 표시하기 위해 준비한다(S530).
사용자가 차선 변경을 위해, 깜박이를 동작하면(S540), 좌우측 BSW 레이더에서 Blind Spot에 차량이 존재하는지 유무를 탐색한다(S550).
차량이 존재할 경우 BSW 경고 정보를 CAN 통신을 통해 AVN으로 송신하며(S560), AVN은 수신된 정보를 차량 무선 네트워크를 통해 HMD로 송신한다(S570).
HMD는 경보를 수신하여, 투사형 HMD 화면의 좌우측에 경고 표시를 나타내며, 도 6의 (b)에 도시된 바와 같이 진동 및 소리를 통해 운전자에게 경고한다(S580).
한편 AVN(120)은 안경형 투사 HMD(110)로부터 입력된 운전자의 음성을 분석하여 네비게이션 정보를 다시 생성하며, 안경형 투사 HMD(110)는 다시 생성된 네비게이션 정보를 디스플레이 창으로 디스플레이할 수 있다. 이하 이에 대해 설명한다.
도 7은 HMD 시스템의 네비게이션 기능을 설명하기 위한 흐름도이고, 도 8은 도 7의 기능을 보충 설명하기 위한 참고도이다.
도 7은 투사 HMD(110), AVN(120) 및 운전자 단말(130)의 결합으로 동작하는 네비게이션 시스템 동작에 대한 흐름을 나타낸다.
운전자가 음성을 통해 원하는 목적지를 HMD 마이크를 통해 도 8의 (a)에 도시된 바와 같이 "광화문 빠른 길 알려줘"와 같이 명령한다(S710).
HMD 마이크에 기록된 음성은 무선 네트워크를 통해 AVN으로 전달되고, AVN에서는 음성 명령을 인식하여(S720) 사용자에게 광화문까지 가는 빠른 길을 검색하는 연산을 수행한다(S730).
외부 네트워크를 통해 교통 정보 서버에 연결하여 실시간 교통 정보 및 목적지까지 가는 최적화된 경로를 수신한다(S740).
수신된 내용을 바탕으로 AVN에서 최적 경로 리스트를 작성하여, 도 8의 (b)에 도시된 바와 같이 HMD 화면에 최적 경로 리스트를 표시한다(S750).
운전자는 표시된 리스트 중에서 원하는 경로를 도 8의 (c)에 도시된 바와 같이 음성 명령으로 선택하며(S760), 음성 명령은 다시 AVN에서 인식하게 된다.
선택된 경로를 AVN에 내장된 지도에 표시하고, 경로 안내를 시작하여 기존의 네비게이션과 동일하게 AVN에서 안내를 한다(S770).
추가적으로 HMD 화면에도 도 8의 (d)에 도시된 바와 같이 운전자가 인식하기 좋도록 간략화된 경로 안내를 표시하며, 음성으로 운전자에게 정보를 전달한다(S780).
본 발명에서 제안하는 HMD 시스템은 단순한 HMD 디스플레이만을 제안하는 것이 아니라, 차량에 적합하게 설계된 HDM 시스템으로써 AVN 및 운전자 단말을 통한 외부 네트워크 연결을 기본으로 한다.
HMD는 영상 표시 및 음성 관련 기능을 메인으로 수행하며 전체적인 시스템의 연산 및 제어는 AVN에서 수행하게 된다.
운전자 단말은 무선 네트워크를 통해 외부 네트워크와 차량의 내부 네트워크를 연동하는 역할을 수행한다.
영상을 인식하는 신호 처리 및 멀티미디어 처리와 같은 부분은 많은 연산 능력이 필요한 부분이기 때문에, AVN은 고성능 프로세서를 사용한 시스템으로 구성된다. CAN 통신을 통해 차량의 여러 시스템과 정보를 주고 받을 수 있으므로, 이러한 정보를 활용하여 여러 시스템과 융합하여 다양한 기능을 제공할 수 있다.
본 발명은 운전자가 운전에 더욱 집중할 수 있게 하면서도 운전을 위한 다양한 정보를 인지하기 쉽게 제공할 수가 있다.
다음으로 차량용 HMD 시스템의 작동 방법에 대하여 설명한다.
먼저 안경형 투사 HMD에 장착된 카메라를 이용하여 차량 전방에 대한 영상 정보를 획득한다(영상 정보 획득 단계).
이후 차량에 장착된 센서들을 이용하여 센싱 정보들을 획득한다(센싱 정보 획득 단계).
이후 AVN이 영상 정보와 센싱 정보들을 수집하여 차량의 운행과 관련된 운행 정보 및 네비게이션 정보를 생성한다(운행 및 네비게이션 정보 생성 단계).
이후 안경형 투사 HMD의 일측에 장착된 디스플레이 창을 통해 운행 정보 및 네비게이션 정보를 디스플레이한다(운행 및 네비게이션 정보 디스플레이 단계).
한편 운행 및 네비게이션 정보 디스플레이 단계 이후에, 운전자 단말이 차량 내의 CAN 네트워크를 외부 네트워크와 연결시켜 운행 정보 및 네비게이션 정보를 운전자 외 다른 사람들과 공유시킨다(운행 및 네비게이션 정보 공유 단계).
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 차량 전방에 대한 영상 정보와 차량에 장착된 센서들로부터 얻은 센싱 정보들을 수집하여 차량의 운행과 관련된 운행 정보 및 네비게이션 정보를 생성하는 AVN; 및
    일측에 디스플레이 창과 카메라를 구비하는 안경 형태의 것으로서 상기 카메라를 통해 얻은 상기 영상 정보를 상기 AVN으로 입력하며, 상기 디스플레이 창을 통해 상기 운행 정보 및 상기 네비게이션 정보를 디스플레이하는 안경형 투사 HMD
    를 포함하는 것을 특징으로 하는 차량용 HMD 시스템.
  2. 제 1 항에 있어서,
    상기 차량 내의 CAN 네트워크를 외부 네트워크와 연결시켜 상기 AVN에 저장된 상기 운행 정보 및 상기 네비게이션 정보를 운전자 외 다른 사람들과 공유시키는 운전자 단말
    을 더 포함하는 것을 특징으로 하는 차량용 HMD 시스템.
  3. 제 1 항에 있어서,
    상기 안경형 투사 HMD는 일측에 상기 디스플레이 창, 상기 카메라, 마이크 및 스피커가 일체형으로 장착되는 것을 특징으로 하는 차량용 HMD 시스템.
  4. 제 3 항에 있어서,
    상기 안경형 투사 HMD는 상기 차량 내 LKAS(Lane Keeping Assistance System)와 측후방 감지 경보 장치(Blind Spot Warning)에 의해 획득된 정보를 상기 디스플레이 창으로 디스플레이하며 상기 스피커를 이용하여 상기 정보를 음성, 음향 및 진동 중 어느 하나의 방법으로 출력하는 것을 특징으로 하는 차량용 HMD 시스템.
  5. 제 1 항에 있어서,
    상기 AVN은 상기 안경형 투사 HMD로부터 입력된 운전자의 음성을 분석하여 상기 네비게이션 정보를 다시 생성하며,
    상기 안경형 투사 HMD는 다시 생성된 네비게이션 정보를 상기 디스플레이 창으로 디스플레이하는 것을 특징으로 하는 차량용 HMD 시스템.
  6. 안경형 투사 HMD에 장착된 카메라를 이용하여 차량 전방에 대한 영상 정보를 획득하는 영상 정보 획득 단계;
    상기 차량에 장착된 센서들을 이용하여 센싱 정보들을 획득하는 센싱 정보 획득 단계;
    상기 영상 정보와 상기 센싱 정보들을 수집하여 상기 차량의 운행과 관련된 운행 정보 및 네비게이션 정보를 생성하는 운행 및 네비게이션 정보 생성 단계; 및
    상기 안경형 투사 HMD의 일측에 장착된 디스플레이 창을 통해 상기 운행 정보 및 상기 네비게이션 정보를 디스플레이하는 운행 및 네비게이션 정보 디스플레이 단계
    를 포함하는 것을 특징으로 하는 차량용 HMD 시스템의 작동 방법.
  7. 제 6 항에 있어서,
    상기 차량 내의 CAN 네트워크를 외부 네트워크와 연결시켜 상기 운행 정보 및 상기 네비게이션 정보를 운전자 외 다른 사람들과 공유시키는 운행 및 네비게이션 정보 공유 단계
    를 더 포함하는 것을 특징으로 하는 차량용 HMD 시스템의 작동 방법.
  8. 제 6 항에 있어서,
    상기 영상 정보 획득 단계와 상기 운행 및 네비게이션 정보 디스플레이 단계는 상기 안경형 투사 HMD로 일측에 상기 디스플레이 창, 상기 카메라, 마이크 및 스피커가 일체형으로 장착된 HMD를 이용하는 것을 특징으로 하는 차량용 HMD 시스템의 작동 방법.
  9. 제 8 항에 있어서,
    상기 운행 및 네비게이션 정보 디스플레이 단계는 상기 차량 내 LKAS(Lane Keeping Assistance System)와 측후방 감지 경보 장치(Blind Spot Warning)에 의해 획득된 정보를 상기 디스플레이 창으로 디스플레이하며 상기 스피커를 이용하여 상기 정보를 음성, 음향 및 진동 중 어느 하나의 방법으로 출력하는 것을 특징으로 하는 차량용 HMD 시스템의 작동 방법.
  10. 제 6 항에 있어서,
    상기 운행 및 네비게이션 정보 생성 단계는 상기 안경형 투사 HMD로부터 입력된 운전자의 음성을 분석하여 상기 네비게이션 정보를 다시 생성하며,
    상기 운행 및 네비게이션 정보 디스플레이 단계는 다시 생성된 네비게이션 정보를 상기 디스플레이 창으로 디스플레이하는 것을 특징으로 하는 차량용 HMD 시스템의 작동 방법.
KR1020130067600A 2013-06-13 2013-06-13 차량용 hmd 시스템 및 그 작동 방법 KR20140145332A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130067600A KR20140145332A (ko) 2013-06-13 2013-06-13 차량용 hmd 시스템 및 그 작동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130067600A KR20140145332A (ko) 2013-06-13 2013-06-13 차량용 hmd 시스템 및 그 작동 방법

Publications (1)

Publication Number Publication Date
KR20140145332A true KR20140145332A (ko) 2014-12-23

Family

ID=52675146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130067600A KR20140145332A (ko) 2013-06-13 2013-06-13 차량용 hmd 시스템 및 그 작동 방법

Country Status (1)

Country Link
KR (1) KR20140145332A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160088733A (ko) * 2015-01-16 2016-07-26 현대자동차주식회사 웨어러블 기기를 이용한 길 안내 제공 방법 및 이를 수행하는 차량
KR20180064894A (ko) 2016-12-06 2018-06-15 주식회사 다산네트웍스 차량용 hmd 장치 및 시스템
US10360452B2 (en) 2016-04-26 2019-07-23 Hyundai Motor Company Wearable device and vehicle diagnosis apparatus including the same
KR20200119931A (ko) 2019-04-01 2020-10-21 현대자동차주식회사 차량을 이용한 4차원 효과 제공 장치 및 방법
KR102236348B1 (ko) * 2019-11-06 2021-04-02 동서대학교 산학협력단 라이브맵 서비스 시스템 및 라이브맵 서비스 방법
KR20210079604A (ko) * 2019-12-20 2021-06-30 박정현 운전자의 집중력 향상 기능이 있는 안경유닛
CN113483774A (zh) * 2021-06-29 2021-10-08 阿波罗智联(北京)科技有限公司 导航方法、装置、电子设备及可读存储介质
CN114312306A (zh) * 2022-01-04 2022-04-12 一汽解放汽车有限公司 驾驶眼镜的控制方法、驾驶眼镜、计算机设备和存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160088733A (ko) * 2015-01-16 2016-07-26 현대자동차주식회사 웨어러블 기기를 이용한 길 안내 제공 방법 및 이를 수행하는 차량
US9683859B2 (en) 2015-01-16 2017-06-20 Hyundai Motor Company Method for providing navigation using wearable device and vehicle for carrying out the same
US10360452B2 (en) 2016-04-26 2019-07-23 Hyundai Motor Company Wearable device and vehicle diagnosis apparatus including the same
KR20180064894A (ko) 2016-12-06 2018-06-15 주식회사 다산네트웍스 차량용 hmd 장치 및 시스템
KR20200119931A (ko) 2019-04-01 2020-10-21 현대자동차주식회사 차량을 이용한 4차원 효과 제공 장치 및 방법
KR102236348B1 (ko) * 2019-11-06 2021-04-02 동서대학교 산학협력단 라이브맵 서비스 시스템 및 라이브맵 서비스 방법
KR20210079604A (ko) * 2019-12-20 2021-06-30 박정현 운전자의 집중력 향상 기능이 있는 안경유닛
CN113483774A (zh) * 2021-06-29 2021-10-08 阿波罗智联(北京)科技有限公司 导航方法、装置、电子设备及可读存储介质
CN113483774B (zh) * 2021-06-29 2023-11-03 阿波罗智联(北京)科技有限公司 导航方法、装置、电子设备及可读存储介质
CN114312306A (zh) * 2022-01-04 2022-04-12 一汽解放汽车有限公司 驾驶眼镜的控制方法、驾驶眼镜、计算机设备和存储介质
CN114312306B (zh) * 2022-01-04 2024-03-19 一汽解放汽车有限公司 驾驶眼镜的控制方法、驾驶眼镜、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
KR20140145332A (ko) 차량용 hmd 시스템 및 그 작동 방법
EP3100913B1 (en) Vehicle display apparatus and vehicle including the same
US11127373B2 (en) Augmented reality wearable system for vehicle occupants
US8605009B2 (en) In-vehicle display management system
US20230106673A1 (en) Vehicle and mobile device interface for vehicle occupant assistance
US9852506B1 (en) Zoom and image capture based on features of interest
JP6456610B2 (ja) 運転者の眼球注視を追跡することにより、広告への運転者の関心を検出するための装置および方法
JP6280134B2 (ja) ヘルメットベースのナビゲーション通知方法、装置およびコンピュータプログラム
US11562550B1 (en) Vehicle and mobile device interface for vehicle occupant assistance
US20140098008A1 (en) Method and apparatus for vehicle enabled visual augmentation
US20160110615A1 (en) Methods and Apparatus for Integrated Forward Display of Rear-View Image and Navigation Information to Provide Enhanced Situational Awareness
US20230249618A1 (en) Display system and display method
US20160334623A1 (en) Display device, display method, and non-transitory computer readable medium storing display program
KR20160071070A (ko) 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
WO2015094371A1 (en) Systems and methods for augmented reality in a head-up display
US11180082B2 (en) Warning output device, warning output method, and warning output system
KR101976106B1 (ko) 정보제공을 위한 차량용 통합 헤드업디스플레이장치
US8893247B1 (en) Dynamic transmission of user information to trusted contacts
US20160070101A1 (en) Head mounted display device, control method for head mounted display device, information system, and computer program
JP2021165864A (ja) 情報処理装置、情報処理方法、及びプログラム
CN113178089A (zh) 显示控制装置、显示控制方法以及计算机可读存储介质
KR20220054370A (ko) 자동차에 확장된 기능을 제공하는 장치 및 그 방법
KR20230034448A (ko) 차량 및 그 제어 방법
KR101859043B1 (ko) 이동단말기, 차량과 이동 단말기의 연동 시스템
KR20170033699A (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid