KR20180022374A

KR20180022374A - 운전석과 보조석의 차선표시 hud와 그 방법

Info

Publication number: KR20180022374A
Application number: KR1020160107735A
Authority: KR
Inventors: 김동일
Original assignee: 주식회사 티노스
Priority date: 2016-08-24
Filing date: 2016-08-24
Publication date: 2018-03-06
Also published as: CN107776490A

Abstract

본 발명의 일실시예에 따른 운전석과 보조석의 차선표시 HUD는, 증강현실(Augmented Reality)기술을 이용하여 도로 환경에 실제차선과 가상차선 정보를 합성한 컴퓨터 그래픽으로 미러부에 자동차의 주행정보를 표시하는 HUD에 있어서, 적어도 하나의 촬영장치를 구비하여 도로의 차선을 촬영하여 제어부로 출력하는 카메라부; GPS 신호에 기초하여 상기 차량의 위치를 확인하고 상기 GPS에서 확인된 차량의 위치를 보정하여 상기 차량의 위치를 측정하는 GNSS 관성항법부; HUD의 전반적인 동작을 제어하기 위한 제어프로그램과 상기 제어프로그램 수행 중에 발생되는 데이터를 저장하는 메모리부; 제어부로부터 입력되는 차선 영상을 전면유리창에 표시하는 HUD; 및 촬영된 영상을 분석하여 차선의 위치 및 차량의 위치를 판단하고, 차선 내에서의 차량의 편중 정도를 판단하고, 상기 편중 정도에 대응하는 상기 미러부의 위치에 차선 영상이 표시되도록 HUD를 제어하는 제어부를 포함한다.
본 발명은 증강현실기술로 운전석과는 별도로 보조석에도 HUD를 이용하여 차량의 주행 상태를 표시함으로써, 운전자가 이를 인지하지 못하는 경우에도, 보조석에 탑승한 동행자가 이를 인지할 수 있어 차량의 차선 이탈로 인한 사고를 미연에 방지할 수 있는 효과를 제공한다.
또한, 본 발명은 운전석과 보조석에 관찰자가 보는 각도에 따라 운전석과 보조석에 보이는 영상을 다르게 하는 효과를 제공한다.

Description

운전석과 보조석의 차선표시 HUD와 그 방법{LANE MARKINGS HUD FOR DRIVER AND ASSISTANT AND SAME METHOD THEREOF}

본 발명은 HUD(Head Up Display)에 관한 것으로, 보다 상세하게는 운전석과 보조석에 별도로 차선 표시 HUD를 제공하여 운전자와 동시에 동승자도 차량의 주행 상태를 인지할 수 있는 차선표시 HUD와 그 방법에 대한 것이다.

현재 자동차 기술과 전자 기술의 발달로 자동차에는 탑승자의 안전을 위한 다양한 차량 안전시스템들이 개발되어 적용되고 있다. 이러한 차량 안전 시스템들 중 하나인 차선 이탈 경보 시스템(Line Definition Warning System)은 차량에 부착된 카메라로부터 전방도로 영상을 감지하여 현재 달리고 있는 차선을 인식하고, 운전자의 졸음 및 부주의 등으로 차량이 차선을 벗어나려고 하면 시트 진동, 경보음 등을 통해 경보를 발생하여 운전자에게 경고하여 주는 안전장치이다.

차선 이탈 경보 시스템은 트럭 운전자와 장거리 출퇴근자 등과 같이 장시간 운전을 해야 하는 운전자들이 장시간 운전에 따른 피로, 부주의 졸음운전으로 인한 차선 이탈 사고의 위험에 노출된 상황에서 그 필요성이 부각되고 있다.

차선 이탈 경보 시스템은 헤드업디스플레이(Head Up Display: HUD)를 이용하여 주행 경로에 따라 차량이 차선 주심으로부터 벗어나는 정도에 대한 정보를 운전자에게 시각적으로 제공하는 기술로 발전하고 있다.

차선 이탈 경보 시스템의 HUD는 증강현실(Augmented Reality) 기술이 이용될 수 있다. 증강현실은 현실세계와 가상세계를 컴퓨터그래픽을 이용하여 하나의 영상으로 보여주는 기술이다. 증강현실은 실제 환경에 가상 사물이나 정보를 합성해 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이며, 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이라고 할 수 있다. 가상현실(Virtual Reality)이 현실 세계와 유사한 영상을 컴퓨터로 대체하는 것이라면, 증강현실은 부가적인 가상 정보를 현실 정보와 접목시켜 하나의 영상으로 보여주는 것이므로, 가상현실의 또 다른 유형이라고 할 수 있으나 증강현실은 모든 정보가 가상인 가상현실과 달리 현실세계 정보를 바탕으로 하고 있다는 점에서 차이가 있다.

증강현실은 현실세계의 정보에 추가적인 정보를 더하고 제공하기 때문에 다양한 분야에 적용할 수 있는데, 예를 들면 환자의 몸에 MRI나 CT 영상을 합하여 보여주거나, 산업에서 비행기나 자동차와 같은 복잡한 구조물의 설계, 제작시 도면 등의 필요 정보를 줄 수도 있다. 또한, 책 속의 콘텐츠를 입체화된 움직이는 영상으로 구현하는 등 교육에서도 활용이 가능하며, 현실 정보를 접목한 게임이나 내비게이션 등으로 활용도 가능하며, 카메라와 각종 센서, 영상 표시 장치가 모두 구비된 스마트 기기 및 웨어러블 기기 등의 보급이 늘어남에 따라 이용이 증가하고 있다.

일반적으로 차선 이탈 경보 시스템은 차량의 전방 도로를 촬영하는 영상장치, 차량의 횡방향 속도를 감지하는 센서부 및 촬영된 영상으로부터 차선 및 차량의 위치를 파악하고 상기 센서부에서 센싱된 횡방향 속도에 의한 주행 경로를 판단하여 차량이 차선 중심으로부터 주행차량의 이동량 및 위치편차에 대한 정보를 헤드업디스플레이(Head Up Display: HUD)를 이용하여 표시하는 제어부를 포함한다.

이러한 종래의 HUD를 통한 차선 표시는 운전자를 중심으로 제공되기 때문에, 운전자의 부주의로 인해 이를 인지하지 못하는 경우가 발생할 수 있다. 따라서, 보조석에 탑승한 동승자에게도 차량의 차선 표시 정보를 제공할 필요가 있다.

본 발명의 목적은 운전석과 보조석에 별도로 차선 표시 HUD를 제공하여 운전자와 동시에 동승자도 차량의 주행 상태를 인지할 수 있는 차선표시 HUD를 제공하는 것이다.

본 발명의 일실시예에 따른 운전석과 보조석의 차선표시 HUD는, 증강현실(Augmented Reality)기술을 이용하여 도로 환경에 실제차선과 가상차선 정보를 합성한 컴퓨터 그래픽으로 미러부에 자동차의 주행정보를 표시하는 HUD에 있어서, 적어도 하나의 촬영장치를 구비하여 도로의 차선을 촬영하여 제어부로 출력하는 카메라부; GPS 신호에 기초하여 상기 차량의 위치를 확인하고 상기 GPS에서 확인된 차량의 위치를 보정하여 상기 차량의 위치를 측정하는 GNSS 관성항법부; HUD의 전반적인 동작을 제어하기 위한 제어프로그램과 상기 제어프로그램 수행 중에 발생되는 데이터를 저장하는 메모리부; 제어부로부터 입력되는 차선 영상을 전면유리창에 표시하는 HUD; 및 촬영된 영상을 분석하여 차선의 위치 및 차량의 위치를 판단하고, 차선 내에서의 차량의 편중 정도를 판단하고, 상기 편중 정도에 대응하는 상기 미러부의 위치에 차선 영상이 표시되도록 HUD를 제어하는 제어부를 포함한다.

바람직하게는, 상기 제어부는, 상기 카메라부로부터 입력되는 영상을 분석하여 차선을 인식하는 차선 감지부; 상기 인식된 차선이 있을 경우 상기 영상으로부터 차량의 위치를 판단하고 상기 인식된 차선이 없을 경우 GPS 신호에 기초하여 GNSS 관성항법부에서 상기 차량의 위치를 판단하고 위치를 보정하여 상기 차량의 위치를 측정하는 차선 연산부; 상기 차선 위치 및 차량 위치에 의해 차선 영상을 표시할 미러부의 표시 위치를 결정하는 차선 표시 위치 결정부; 및 상기 결정된 위치에 표시할 차선을 포함하는 차선 영상을 생성하여 상기 HUD로 출력하는 영상부를 포함한다.

바람직하게는, 상기 영상부는 증강현실을 이용하여 관찰자가 보는 각도에 따라 상기 적어도 하나의 프로젝터에 다른 영상을 제공하고 상기 미러부에 다른 영상을 출력한다.

바람직하게는, 상기 제어부는 적어도 하나의 프로젝터 중 차선의 위치에 대응하는 프로젝터를 선택하고, 상기 미러부의 위치에 차선 영상이 표시되도록 선택된 프로젝터의 조사각도를 조절하고, 조사 각도에 따라 차선 영상을 보정하여 상기 미러부의 해당 위치에 표시한다.

바람직하게는, 상기 HUD는 적어도 하나의 프로젝터, 미러부, 및 프로젝터 콘트롤러를 포함한다.

바람직하게는, 상기 적어도 하나의 미러부는 적어도 한 명의 관찰자가 보는 각도에 따라 실제차선과 가상차선이 일치되는 하나의 가상차선 영상만 관찰자에게 보이도록 각각의 미러부의 반사각이 다른 표면을 구비한다.

바람직하게는, 상기 적어도 하나의 미러부는 차량의 전면 유리창에 구비되거나 운전자나 동승자의 웨어러블 안경, 헬멧에 구비되어 무선통신으로 영상이 전송된다.

바람직하게는, 상기 적어도 하나의 미러부는 도로의 지평선 위치, 교차로의 상황 정보, 앞차의 위치정보와 같은 차량의 전방 정보를 분석하여 HUD 정보가 가장 잘 인식될 수 있는 위치에 HUD 정보를 표시한다.

본 발명의 다른 실시예에 따른 운전석과 보조석의 차선표시 방법은, 제어부가 카메라부를 제어하여 영상을 촬영하는 단계; 도로를 촬영한 영상이 카메라부로부터 입력되기 시작하면 제어부는 차선 감지부를 통해 영상에 포함된 차선을 인식하는 동작을 수행하는 단계; 제어부가 상기 차선 인식 동작에 의해 촬영된 영상에 차선이 있는지 없는지를 판단하는 단계; 차선이 있으면 상기 차선감지부로부터 인식된 차선정보와 영상정보를 입력받아 차선 연산부를 통해 차선 사이에서의 차량의 위치를 계산하는 단계; 차선이 없으면 GNSS 관성항법부에서 신호를 받아서 차선 연산부에서 차량의 위치를 계산하는 단계; 차량의 위치가 계산되면 제어부가 차량의 위치편차를 판단하는 단계; 운전석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 운전자에게 알람을 보내는 단계; 및 보조석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 동승자에게 알람을 보내는 단계;를 포함한다.

바람직하게는, 상기 운전석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 운전자에게 알람을 보내는 단계는, HUD의 프로젝터에서 증강현실기술을 이용하여 도로 환경에 실제차선과 가상차선이 일치되도록 유도신호가 점등되어 표기되는 단계를 더 포함한다.

바람직하게는, 상기 보조석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 동승자에게 알람을 보내는 단계는, HUD의 프로젝터에서 증강현실기술을 이용하여 도로 환경에 실제차선과 가상차선이 일치되도록 유도신호가 점등되어 표기되는 단계를 더 포함한다.

본 발명은 운전석과는 별도로 보조석에도 HUD를 이용하여 차량의 주행 상태를 표시함으로써, 운전자가 이를 인지하지 못하는 경우에도, 보조석에 탑승한 동행자가 이를 인지할 수 있어 차량의 차선 이탈로 인한 사고를 미연에 방지할 수 있는 효과를 제공한다.

또한, 본 발명은 증강현실을 이용하여 운전석과 보조석에 관찰자가 보는 각도에 따라 운전석과 보조석에 보이는 영상을 다르게 하는 효과를 제공한다.

도 1은 본 발명의 일실시예로 운전석과 보조석의 차선표시 HUD의 차선 표시 예시를 나타낸 개략도이다.
도 2는 본 발명의 일실시예로 운전석과 보조석의 차선표시 HUD를 설명하기 위한 개략도이다.
도 3은 본 발명의 일실시예로 운전석과 보조석의 차선표시 HUD를 설명하기 위한 개략도이다.
도 4는 본 발명의 일실시예로 운전석과 보조석의 차선표시 HUD의 구성을 도시한 블럭도이다.
도 5는 본 발명의 일실시예로 따른 운전석과 보조석의 차선표시 HUD의 방법을 나타낸 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서 사용되는 ‘모듈’이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 직접 회로, 직접 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.

이하, 실시예를 나타낸 도면들을 함께 참조하여 각 구성요소의 동작에 대해 상세히 설명한다.

도 1 내지 도 3을 참조하면, 본 발명의 운전석과 보조석의 차선표시 HUD(140)를 이용하는 경우에 카메라부(130)를 통해서 차량의 전방 정보를 생성한다. 여기서 차량의 전방 정보는 운전 중 전면 시야에 보여지는 정보를 의미한다. 예를 들어, 전방 도로의 지평선, 교차로 및 전방의 차량에 대한 정보를 포함한다.

이렇게 획득한 차량의 전방 정보를 통해서 차량의 전방에 위치하고 있는 각종 물체들의 위치를 알 수 있다. 즉, 도로의 지평선 위치, 교차로의 상황 정보, 앞차의 위치 등을 알 수 있다.

도 2에서, A 영역은 네비게이션 정보를 표시하는 영역이고, B 영역은 카메라부(130)를 통해 획득한 차량의 차선 위치편차 정보가 표시되는 영역이다.

A 영역에 표기되는 네비게이션이나 기존의 HUD는 가상현실(Virtual Reality)이 현실 세계와 유사한 영상을 컴퓨터로 대체하는 것이라면, 본 발명의 일실시예의 증강현실을 이용한 운전석과 보조석의 차선표시 HUD(140)는 부가적인 가상 정보를 현실 정보와 접목시켜 하나의 영상으로 보여주는 것이므로, 가상현실의 또 다른 유형이라고 할 수 있으나 증강현실은 모든 정보가 가상인 가상현실과 달리 현실세계 정보를 바탕으로 하고 있다는 점에서 차이가 있다.

B 영역에 표기되는 차량의 차선 영상은 촬영된 영상을 분석하여 차선의 위치 및 차량의 위치를 판단하고, 차선 내에서의 차량의 편중 정도를 판단하고, 상기 편중 정도에 대응하는 차선 영상이 미러부(142a,142b)에 표시되도록 HUD(140)를 제어한다.

B 영역에 표기되는 차량의 차선 영상은 운전석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 운전자에게 알람을 보내는 경우에, HUD의 프로젝터에서 증강현실기술을 이용하여 도로 환경에 실제차선과 가상차선이 일치되도록 유도신호가 점등되어 표기된다.

B 영역에 표기되는 차량의 차선 영상은 보조석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 동승자에게 알람을 보내는 경우에, HUD의 프로젝터에서 증강현실기술을 이용하여 도로 환경에 실제차선과 가상차선이 일치되도록 유도신호가 점등되어 표기된다.

본 발명에서는 A 영역과 B 영역이 고정되어 있지 않고, 전방의 운전 시야의 상태에 따라 운전자가 전방을 주시하면서 운전에 필요한 모든 정보를 최적의 상태로 인식할 수 있는 위치에 표시가 되어진다. 예를 들어 도로의 지평선의 높이 상태에 따라 HUD 정보가 표시되는 상기 A 영역과 B 영역의 위치가 상하로 변경될 수 있다. 주위 밝기 상태에 따라 HUD(140)가 최적으로 인식될 수 있도록 HUD(140)의 표시 밝기도 변경 가능하다.

HUD(140)를 이용하여 차량 정보를 차량의 전면 유리창에 표시하는 경우에 상술한 도로의 지평선 위치, 교차로의 상황 정보, 앞차의 위치등에 의해서 HUD(140) 정보가 제대로 인식이 되지 않는 경우가 발생한다. 이러한 경우에 차량의 전방 정보를 분석하여 HUD(140) 정보가 가장 잘 인식될 수 있는 위치에 HUD(140) 정보를 표시하도록 할 수 있다. 운전자는 운전자의 눈동자 위치(1)에서 전방의 운전 시야와 HUD(140) 정보를 가장 잘 인식할 수 있어 전방만을 주시하여 운전에 필요한 모든 정보를 알 수 있어, 운전 중 전방 주시 태만으로 인한 위험성을 낮출 수 있다.

본 발명에서는 HUD(140)를 통한 차선 표시(11a,11b)는 운전자를 중심으로 제공되고 차선 표시(12a,12b)는 동승자에게 제공된다. HUD(140)에 표시되는 디스플레이 정보가 차량의 전면 유리창(10)에 표시되므로 HUD(140)의 위치 또는 HUD(140)에 표시되는 디스플레이 정보의 표시 위치를 변경하여 전면 유리창(10)의 최적의 위치에 HUD(140) 정보가 표시될 수 있다.

도 4를 참조하면, 본 발명의 운전석과 보조석의 차선표시 HUD(140)는, 증강현실(Augmented Reality)기술을 이용하여 도로 환경에 실제차선과 가상차선 정보를 합성해 컴퓨터 그래픽을 이용하여 미러부(142a,142b)에 자동차의 주행정보를 표시하는 HUD(140)에 있어서, 적어도 하나의 촬영장치를 구비하여 도로의 차선을 촬영하여 제어부(110)로 출력하는 카메라부(130); GPS 신호에 기초하여 상기 차량의 위치를 확인하고 상기 GPS에서 확인된 차량의 위치를 보정하여 상기 차량의 위치를 측정하는 GNSS 관성항법부(135); HUD(140)의 전반적인 동작을 제어하기 위한 제어프로그램과 상기 제어프로그램 수행 중에 발생되는 데이터를 저장하는 메모리부(120); 제어부(110)로부터 입력되는 차선 영상을 전면유리창(10)에 표시하는 HUD(140); 및 촬영된 영상을 분석하여 차선의 위치 및 차량의 위치를 판단하고, 차선 내에서의 차량의 편중 정도를 판단하고, 상기 편중 정도에 대응하는 상기 미러부(142a,142b)의 위치에 차선 영상이 표시되도록 HUD(140)를 제어하는 제어부를 포함한다.

제어부(110)는 촬영된 영상을 분석하여 차선의 위치 및 차량의 위치를 판단하고, 차선 내에서의 차량의 편중 정도를 판단하고, 상기 편중 정도에 대응하는 상기 미러부(142)의 위치에 차선 영상이 표시되도록 HUD(140)를 제어한다.

제어부(110)는 2개의 프로젝터(141a,141b) 중 차선의 위치에 대응하는 프로젝터(141a,141b)를 선택하고, 미러부(142a,142b))의 위치에 차선 영상이 표시되도록 선택된 프로젝터(141a,141b)의 조사각도를 조절하고, 조사 각도에 따라 차선 영상의 일그러짐을 보상하여 미러부(142a,142b)의 해당 위치에 표시한다.

메모리부(120)는 HUD(140)의 전반적인 동작을 제어하기 위한 제어프로그램과 상기 제어프로그램 수행 중에 발생되는 데이터를 저장한다.

카메라부(130)는 자동차의 전방, 후방 또는 측면에 적어도 하나의 카메라를 구비하여 도로의 차선을 촬영하여 제어부(110)로 출력한다.

HUD(140)는 제어부(110)로부터 입력되는 차선 영상을 전면유리창에 표시하는 것으로, 적어도 하나의 프로젝터(141a,141b), 미러부(142a,142b), 및 프로젝터 콘트롤러(143a,143b)를 포함한다.

HUD(140)의 미러부(142a,142b)는 자동차의 전면유리창의 내측 하단부의 길이방향 전체 길이에 대응되도록 구성되어 전면유리창 하단에 형성된다.

미러부(142a,142b)는 반사판 형태 및 전면 창과 일체로 전면유리창의 내측 또는 외측에 구성될 수 있을 것이다. 만일 미러부(142a,142b)가 복수개인 경우에 각각의 미러부(142a,142b)는 관찰자가 보는 각도에 따라 실제차선과 가상차선이 일치되는 하나의 가상차선 영상만 관찰자에게 보이도록 각각의 미러부의 반사각이 다른 표면을 구비할 수 있다. 또한, 증강현실을 이용하여 관찰자가 보는 각도에 따라 미러부(142a,142b)에 다른 영상을 제공할 수도 있다. 이러한 방법으로 운전자와 보조석에서 관찰자가 보는 각도에 따라 서로 다른 영상을 볼 수 있다.

프로젝터(141a,141b)는 제어부(110)로부터 입력되는 차선 영상을 제어부(110)의 제어에 따라 대응되는 위치에 표시한다.

프로젝터(141a)가 하나로 구성되는 경우, 상기 차선 영상은 미러부(142a) 전체에 걸쳐서 영상을 표시하여야 하므로 프로젝터(141a)에서 영상을 조사하는 부분이 미러부(142a)에 대응되도록 형성된다. HUD(140)에 둘 이상의 프로젝터(141a,141b)를 포함하도록 구성하고, 하나가 좌측 차선을 표시하고 나머지 하나가 우측 차선을 표시하도록 구성될 수도 있다.

프로젝터(141a,141b)는 운전석(210)의 중앙 및 보조석(220)의 중앙부분에 대응하는 대시보드 내측에 구성될 수 있다. 프로젝터(141a,141b)를 작게 구성하여 길게 형성된 미러부(142a,142b)에 차선 영상을 표시하도록 구성하고자 하는 경우, 프로젝터(141a,141b)의 영상 조사 방향을 일정 각도 내(일예: 120도)에서 조절할 수 있는 프로젝터 콘트롤러(143a,143b)를 더 구비할 수도 있다.

제어부(110)는 HUD(140)의 전반적인 동작을 제어한다.

제어부(110)는 카메라부(130)로부터 입력되는 영상을 분석하여 차선을 인식하는 차선 감지부(111), 인식된 차선의 위치와 영상 분석 정보에 의해 차량의 위치를 판단하는 차선 연산부(112), 상기 차선 및 차량의 위치에 의해 차선을 표시할 미러부(142a,142b)에서의 위치를 결정하는 차선 산출부(113); 및 상기 결정된 차선 표시 위치에 따라 차선 영상을 생성하여 프로젝터(141a,141b)로 출력하는 영상부(114)를 포함한다.

영상부(114)는 증강현실을 이용하여 관찰자가 보는 각도에 따라 미러부(142a,142b)에 다른 영상을 제공하고 복수개의 프로젝터(141a,141b)에서 서로 다른 영상을 출력할 수 있다. 이러한 방법으로 운전자와 동승자에서 관찰자가 보는 각도에 따라 서로 다른 영상을 제공할 수 있다.

프로젝터(141a,141b)가 둘 이상으로 구성되는 경우, 제어부(110)는 상기 차선 표시 위치에 대응하는 프로젝터(141a,141b)를 선택하고, 선택된 프로젝터(141a,141b)로 생성된 차선 영상을 출력한다.

제어부(110)의 영상부(114)는 두 개의 차선 영상을 생성하고 하나의 차선 영상을 제1 프로젝터(141a)로 출력하고 나머지 하나의 차선 영상을 제2 프로젝터(141b)로 출력한다.

영상부(114)는 좌측 차선을 표시하기 위한 하나의 차선 영상을 생성하여 제1 프로젝터(141a)로 출력한다.

영상부(114)는 우측 차선을 표시하기 위한 하나의 차선 영상을 생성하여 제2 프로젝터(141b)로 출력한다.

또한, HUD(140)가 프로젝터 콘트롤러(143a,143b)를 포함하는 경우, 제어부(110)는 차선 산출부(113)에서 결정된 위치 정보에 따라 해당 프로젝터 콘트롤러(143)를 제어하여 프로젝터(141a,141b)의 영상 조사 방향을 조절시킨 후 영상부(114)를 통해 프로젝터(141a,141b)로 차선 영상을 출력한다.

프로젝터 콘트롤러(143a,143b)를 조작하여 프로젝터(141a,141b)의 영상 출사 방향을 조절하는 경우, 제어부(110)는 상기 영상 출사 방향에 따라 차선 영상의 차선을 보정한 후 프로젝터(141a,141b)로 제공하도록 구성될 수 있다.

도 5를 참조하면, 운전석과 보조석의 차선표시 방법은, 제어부(110)가 카메라부(130)를 제어하여 영상을 촬영하는 단계(S310); 도로를 촬영한 영상이 카메라부(130)로부터 입력되기 시작하면 제어부(110)는 차선 감지부(111)를 통해 영상에 포함된 차선을 인식하는 동작을 수행하는 단계(S320); 제어부(110)가 상기 차선 인식 동작에 의해 촬영된 영상에 차선이 있는지 없는지를 판단하는 단계(S330); 차선이 있으면 상기 차선감지부(111)로부터 인식된 차선정보와 영상정보를 입력받아 차선 연산부(112)를 통해 차선 사이에서의 차량의 위치를 계산하는 단계(S340); 차선이 없으면 GNSS 관성항법부(135)에서 신호를 받아서 차선 연산부(112)에서 차량의 위치를 계산하는 단계(S345); 차량의 위치가 계산되면 제어부(110)가 차량의 위치편차를 판단하는 단계(S350); 운전석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 운전자에게 알람을 보내는 단계(S360); 및 보조석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 동승자에게 알람을 보내는 단계(S370);를 포함한다.

310 단계에서 차량에 전원이 공급되거나 시동이 걸려 전원이 공급되면, 제어부(110)는 카메라부(130)를 제어하여 영상을 촬영하기 시작한다.

320 단계에서 도로를 촬영한 영상이 카메라부(130)로부터 입력되기 시작하면 제어부(110)는 차선 감지부(111)를 통해 영상에 포함된 차선을 인식 동작을 수행한다.

330 단계에서 제어부(110)는 상기 차선 인식 동작에 의해 촬영된 영상에 차선이 있는지 없는지를 판단한다.

340 단계에서 차선이 있으면 상기 차선 감지부(111)를 통해 인식된 차선을 근거로 차선 연산부(112)에서 차선 사이에서의 차량의 위치를 계산한다.

345 단계에서 차선이 없으면 GPS(135)에서 신호를 받아서 차선 연산부(112)에서 차량의 위치를 계산한다.

350 단계에서 차량의 위치가 계산되면 제어부(110)는 차량의 위치편차를 판단한다.

360 단계에서 증강현실기술을 이용하여 도로 환경에 실제차선과 가상차선 정보를 합성해 원래의 환경에 존재하는 차선처럼 보이도록 컴퓨터 그래픽을 이용하여 HUD(140)의 프로젝터(141a,141b)가 운전석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 운전자에게 알람을 보낸다.

370 단계에서 증강현실기술을 이용하여 도로 환경에 실제차선과 가상차선 정보를 합성해 원래의 환경에 존재하는 차선처럼 보이도록 컴퓨터 그래픽을 이용하여 HUD(140)의 프로젝터(141a,141b)가 보조석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 동승자에게 알람을 보낸다.

본 발명의 일실시예로 370 단계와 380 단계에서 운전석과 보조석의 차선표시 HUD(140)는 증강현실 기술이 이용될 수 있다. 370 단계와 380 단계에서 증강현실기술을 이용한 HUD(140)는 도로 환경에 실제차선과 가상차선 정보를 합성해 원래의 환경에 존재하는 차선처럼 보이도록 컴퓨터 그래픽을 이용하여 나타낼 수 있다. 즉, 사용자가 눈으로 보는 실제차선에 가상차선을 겹쳐서 보여준다.

만일 미러부(142a,142b)가 복수개인 경우에 각각의 미러부(142a,142b)는 관찰자가 보는 각도에 따라 실제차선과 가상차선이 일치되는 하나의 가상차선 영상만 관찰자에게 보이도록 각각의 미러부의 반사각이 다른 표면을 구비할 수 있다. 미러부(142a,142b)는 차량의 전면 유리창(10)에 구비될 수도 있고, 운전자나 동승자가 웨어러블 형태의 안경이나 헬멧에 구비되어 무선통신으로 영상이 전송될 수도 있다.

만일 복수개의 프로젝터(141a,141b)에서 서로 다른 영상을 송출하게 되면 운전석과 보조석의 관찰자는 보는 각도에 따라 서로 다른 영상을 볼 수 있게 된다. 미러부(142a,142b)의 구조에 의하여 운전석에서는 주행을 위한 도로환경을 보고, 보조석에서는 TV 영상이나, 영화시청, 스마트폰의 미러링 화면 등을 볼 수 있게 된다. 이러한 방법으로 운전자와 보조석에서 관찰자가 보는 각도에 따라 서로 다른 영상을 볼 수 있다.

한편, 본 발명의 운전석과 보조석의 차선표시 HUD 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 상기 프로세서는 중앙처리 장치(central processing unit : CPU)이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

상기 메모리 및 상기 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리는 ROM 및 RAM을 포함할 수 있다.

한편, 상술한 본 발명의 실시예에 따른 운전석과 보조석의 차선표시 HUD 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 전면유리창
11a,11b,12a,12b: 차선
110: 제어부
111: 차선 감지부
112: 차선 연산부
113: 차선 산출부
114: 영상부
120: 메모리부
130: 카메라부
135: GNSS 관성항법부
140: HUD
141a,141b: 프로젝터
142a,142b: 미러부
143a,143b: 프로젝터 콘트롤러

Claims

증강현실(Augmented Reality)기술을 이용하여 도로 환경에 실제차선과 가상차선 정보를 합성한 컴퓨터 그래픽으로 미러부에 자동차의 주행정보를 표시하는 HUD에 있어서,
적어도 하나의 촬영장치를 구비하여 도로의 차선을 촬영하여 제어부로 출력하는 카메라부;
GPS 신호에 기초하여 상기 차량의 위치를 확인하고, 상기 GPS에서 확인된 차량의 위치를 보정하여 상기 차량의 위치를 측정하는 GNSS 관성항법부;
HUD의 전반적인 동작을 제어하기 위한 제어프로그램과 상기 제어프로그램 수행 중에 발생되는 데이터를 저장하는 메모리부;
제어부로부터 입력되는 차선 영상을 미러부에 표시하는 HUD; 및
촬영된 영상을 분석하여 차선의 위치 및 차량의 위치를 판단하고, 차선 내에서의 차량의 편중 정도를 판단하고, 상기 편중 정도에 대응하는 상기 미러부의 위치에 차선 영상이 표시되도록 HUD를 제어하는 제어부를 포함하는 운전석과 보조석의 차선표시 HUD.
제1항에 있어서,
상기 제어부는,
상기 카메라부로부터 입력되는 영상을 분석하여 차선을 인식하는 차선 감지부;
상기 인식된 차선이 있을 경우 상기 영상으로부터 차량의 위치를 판단하고 상기 인식된 차선이 없을 경우 GPS 신호에 기초하여 GNSS 관성항법부에서 상기 차량의 위치를 판단하고 위치를 보정하여 상기 차량의 위치를 측정하는 차선 연산부;
상기 차선 위치 및 차량 위치에 의해 차선 영상을 표시할 미러부의 표시 위치를 결정하는 차선 표시 위치 결정부; 및
상기 결정된 위치에 표시할 차선을 포함하는 차선 영상을 생성하여 상기 HUD로 출력하는 영상부를 포함하는 것을 특징으로 하는 운전석과 보조석의 차선표시 HUD.
제2항에 있어서,
상기 영상부는 증강현실을 이용하여 관찰자가 보는 각도에 따라 상기 적어도 하나의 프로젝터에 다른 영상을 제공하고 상기 미러부에 다른 영상을 출력하는 것을 특징으로 하는 운전석과 보조석의 차선표시 HUD.
제1항에 있어서,
상기 제어부는 적어도 하나의 프로젝터 중 차선의 위치에 대응하는 프로젝터를 선택하고, 상기 미러부의 위치에 차선 영상이 표시되도록 선택된 프로젝터의 조사각도를 조절하고, 조사 각도에 따라 차선 영상을 보정하여 상기 미러부의 해당 위치에 표시하는 것을 특징으로 하는 운전석과 보조석의 차선표시 HUD.
제1항에 있어서,
상기 HUD는 적어도 하나의 프로젝터, 미러부, 및 프로젝터 콘트롤러를 포함하는 것을 특징으로 하는 운전석과 보조석의 차선표시 HUD.
제5항에 있어서,
상기 적어도 하나의 미러부는 적어도 한 명의 관찰자가 보는 각도에 따라 실제차선과 가상차선이 일치되는 하나의 가상차선 영상만 관찰자에게 보이도록 각각의 미러부의 반사각이 다른 표면을 구비한 것을 특징으로 하는 운전석과 보조석의 차선표시 HUD.
제5항에 있어서,
상기 적어도 하나의 미러부는 차량의 전면 유리창, 운전자나 동승자의 웨어러블 안경, 헬멧에 구비되어 무선통신으로 영상이 전송되는 것을 특징으로 하는 운전석과 보조석의 차선표시 HUD.
제5항 내지 제7항의 어느 한 항에 있어서,
상기 적어도 하나의 미러부는 도로의 지평선 위치, 교차로의 상황 정보, 앞차의 위치정보와 같은 차량의 전방 정보를 분석하여 HUD 정보가 가장 잘 인식될 수 있는 위치에 HUD 정보를 표시하는 것을 특징으로 하는 운전석과 보조석의 차선표시 HUD.
제어부가 카메라부를 제어하여 영상을 촬영하는 단계;
도로를 촬영한 영상이 카메라부로부터 입력되기 시작하면 제어부는 차선 감지부를 통해 영상에 포함된 차선을 인식하는 동작을 수행하는 단계;
제어부가 상기 차선 인식 동작에 의해 촬영된 영상에 차선이 있는지 없는지를 판단하는 단계;
차선이 있으면 상기 차선감지부로부터 인식된 차선정보와 영상정보를 입력받아 차선 연산부를 통해 차선 사이에서의 차량의 위치를 계산하는 단계;
차선이 없으면 GNSS 관성항법부에서 신호를 받아서 차선 연산부에서 차량의 위치를 계산하는 단계;
차량의 위치가 계산되면 제어부가 차량의 위치편차를 판단하는 단계;
운전석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 운전자에게 알람을 보내는 단계; 및
보조석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 동승자에게 알람을 보내는 단계;를 포함하는 운전석과 보조석의 차선표시 방법.
제9항에 있어서,
상기 운전석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 운전자에게 알람을 보내는 단계는, HUD의 프로젝터에서 증강현실기술을 이용하여 도로 환경에 실제차선과 가상차선이 일치되도록 유도신호가 점등되어 표기되는 단계를 더 포함하는 운전석과 보조석의 차선표시 방법.
제9항에 있어서,
상기 보조석에 좌측 차선 및 우측 차선을 표시하고 차량이 편중되었을시에 동승자에게 알람을 보내는 단계는, HUD의 프로젝터에서 증강현실기술을 이용하여 도로 환경에 실제차선과 가상차선이 일치되도록 유도신호가 점등되어 표기되는 단계를 더 포함하는 운전석과 보조석의 차선표시 방법.