KR102007009B1 - 증강현실 헤드 업 디스플레이 내비게이션 - Google Patents

Abstract

본 발명은 증강현실 헤드 업 디스플레이 내비게이션에 관한 것으로 더욱 상세하게는 차량의 주행차선을 파악하여 주행차도에 경로정보를 원근법으로 표시하는 장치에 관한 것이다.
증강 현실 헤드업 디스플레이 내비게이션은 윈드실드를 넘어 보여지는 도로에 원근법으로 경로정보가 표시되고 차량의 주행차선을 고려하여 만약 U턴을 해야 하는 상황일 때 1차로주행중인 경우 U턴표시를 하고 그 외 다른 차선인 경우 1차로로 차선을 변경하도록 경로정보를 표시한 후에 1차로에 차량이 주행하면 U턴표시를 하므로 실제 도로상황과 경로정보가 정확히 매칭될 수 있는 장점이 있다.

Description

증강현실 헤드 업 디스플레이 내비게이션{Augmented Reality Head Up Display Navigation}

본 발명은 증강현실 헤드 업 디스플레이 내비게이션에 관한 것으로 더욱 상세하게는 차량의 주행차선을 파악하여 주행차도에 경로정보를 원근법으로 표시하는 장치에 관한 것이다.

최근 내비게이션 장치의 보급으로 운전자의 시야가 내비게이션을 응시하게 되면서 사고의 발생이 높아지고 있다.

때문에 일부 완성차 업체에서는 헤드 업 디스플레이를 통해 내비게이션을 경로정보를 제공하고 있다.

도 1은 종래의 헤드 업 디스플레이 내비게이션의 경로정보를 도시한 도면으로, 종래의 헤드 업 디스플레이 내비게이션은 도 1에 도시된 바와 같이 현재의 주행차선과 차선 변경여부 등에 관계 없이 단순한 경로정보만 디스플레이 되고 있다.

때문에 실제 도로와 경로정보가 매칭되지 않고 차량의 주행차선을 고려 하지 않는 경로안내 때문에 길을 잘못 들어가거나 U턴 또는 좌회전을 위해 갑작스러운 차선 변경 등으로 사고가 자주 발생되는 등의 문제가 있다.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.

본 발명은 상기의 문제를 해결하기 위해 제안된 것으로 정밀한 GPS시스템을 통해 주행차선을 파악하고 주행차선을 고려하여 증강현실로 경로정보를 제공하고 경로정보를 차도에 원근법으로 경로정보를 매칭하여 운전자가 쉽게 경로를 따라 주행하도록 하는 증강현실 헤드 업 디스플레이 내비게이션을 제공함에 그 목적이 있다.

상기한 바의 목적을 달성하기 위한 본 발명에 따른 증강 현실 내비게이션은 먼저, 차량의 위치정보를 수신한다.

수신된 차량의 위치정보를 통해 차량의 현재위치를 차선 별 도로 데이터 정보와 비교하여 상기 차량의 주행차선을 파악한다.

그리고, 주행차선이 파악되면 현재 주행 시점에서의 경로 안내 정보를 수신한다.

수신된 경로안내 정보를 통해 윈드실드에 경로안내 정보를 표시하되, 차량의 주행차선을 고려하여, 경로안내 정보를 표시한다.

경로안내 정보를 표시할 때는 윈드실드에 증강현실로 표시하고, 윈드실드를 통해 보여지는 주행차선에 경로 안내 정보가 원근법으로 표시되도록 할 수 있다.

또한, 경로안내 정보를 표시를 할 때는 U턴 이 필요한 경우, 차량이 1차선 주행으로 판단되면, 경로안내정보를 U턴으로 표시하고, 차량이 2차선 내지 n차선 주행으로 판단되면, 차량이 1차선으로 변경하도록 경로안내정보를 1차선으로 변경 표시를 한 후 경로안내정보를 U턴으로 표시하도록 하여 차량이 윈드실드를 넘어 보이는 도로와 경로안내 정보가 매칭되도록 하는 것이 가능해진다.

또 다른 실시 예로 경로안내 정보를 표시할 때 좌회전이 필요한 경우, 차량이 1차선 주행으로 판단되면, 경로안내정보를 죄회전으로 표시하고, 차량이 2차선 내지 n차선 주행으로 판단되면, 차량이 상기 1차선으로 변경하도록 경로 안내정보를 1차선으로 변경 표시를 한 후 좌회전으로 표시하여 상기의 U턴 상황과 동일하게 윈드실드를 넘어 보이는 도로와 경로정보가 매칭되도록 할 수 있다.

그리고, 본 발명의 일 실시 예에 따른 증강현실 내비게이션 시스템은 메모리, 위치확인부, 주행차선 확인부, 주변 상황 정보 획득부, 경로안내부, 헤드 업 디스플레이를 포함한다.

메모리는 각 차선별 도로정보를 가지고 있는 맵데이터를 저장하고 있다. 맵데이터는 차선별 도로 정보를 가지고 있고, 차선별 도로 정보는 후술하는 차선 포인트를 포함한다.

위치확인부는 차량 위치를 수신하며, 차량의 현재 위치 수신은 GPS가 바람직하다.

위치확인부는 실시 예에 따라 오차범위 10cm이내인 고정밀 GPS일 수 있고, 기준국으로부터 오차 보정 값을 DMB주파수로 받아 오차가 보정된 GPS일 수 있다.

주행차선 확인부는 차량 위치와 맵데이터 정보를 비교하여 현재 주행중인 차선을 파악한다.

경로안내부는 사용자의 입력에 의해 결정된 목표 지점까지의 경로안내 정보를 포함하고, 목표지점까지의 경로를 사용자에게 표시한다.

헤드업 디스플레이는 경로안내부로부터 수신한 경로안내 정보를 윈드실드에 디스플레이 하되, 결정된 주행 차선 정보에 따라 경로 안내 정보를 디스플레이 한다.

헤드 업 디스플레이는 경로 안내부로부터 전송된 경로안내 정보를 상기 윈드실드에 증강현실로 표시하며, 헤드업 디스플레이는 윈드실드를 통해 보여지는 주행차선에 경로안내 정보를 원근법으로 표시할 수 있다.

경로정보를 원근법으로 표시 함으로써, 윈드실드를 통해 보여지는 도로와 경로정보가 매칭되어 사용자가 경로를 보다 쉽게 파악 할 수 있다.

경로안내부는 U턴 이 필요한 경우에 차량이 1차선 주행으로 판단되면, U턴경로를 헤드 업 디스플레이로 전송하고, 차량이 2차선 내지 n차선 주행으로 판단되면, 차량이 1차선으로 변경하도록 1차선 변경경로를 먼저 전송하고 U턴경로를 헤드 업 디스플레이로 전송한다.

경로안내부는 좌회전이 필요한 경우에 차량이 1차선 주행으로 판단되면, 좌회전경로를 헤드 업 디스플레이로 전송하고, 차량이 2차선 내지 n차선 주행으로 판단되면, 차량이 1차선으로 변경하도록 1차선 변경경로를 먼저 전송하고 좌회전경로를 헤드 업 디스플레이로 전송 한다.

주변 상황 정보 획득부는 차량의 주행 중 주변 상황 정보를 획득하여, 경로 안내부는 주변 상황 정보를 고려하여 주변 차량과의 충돌 가능성이 있는 경우, 경로 안내 정보를 변경 표시하도록 변경 경로를 헤드 업 디스플레이로 전송한다.

맵데이터는 도로 정보를 포함하고, 도로정보는 위도와 경도정보와 차선 정보를 가지는 도로 포인트를 포함한다.

상술한 바와 같은 구조로 이루어진 증강현실 내비게이션에 따르면, 윈드실드를 넘어 보여지는 도로에 원근법으로 경로정보가 표시되고 차량의 주행차선을 고려하여 만약 U턴을 해야 하는 상황일 때 1차로주행중인 경우 U턴표시를 하고 그 외 다른 차선인 경우 1차로로 차선을 변경하도록 경로정보를 표시한 후에 1차로에 차량이 주행하면 U턴표시를 하므로 실제 도로상황과 경로정보가 정확히 매칭될 수 있는 장점이 있다.

또한, 차량의 현재위치를 고정밀 GPS와 차선별 도로 포인트를 통해 파악하기 때문에 카메라를 이용한 증강현실 헤드 업 디스플레이보다 구조가 간단해지고 오차발생이 줄어드는 장점이 있다.

또한, 전방 교통 상황 정보에 따라 경로 안내 정보의 색상을 가변시켜 표시함으로써, 운전자는 목적지로 향하는 경로 안내 정보뿐 아니라 전방 교통 상황을 인지하여 예컨대 정체 구간에 이르기 전 이에 대한 대비(서행)을 하는 것이 가능한 효과가 있다.

또한, 주변 상황 정보를 고려하여 주변 차량과의 충돌 가능성이 있는 경우 헤드 업 디스플레이를 통해 실제 도로상황과 매칭되는 경로 정보를 변경하여 표시함으로써, 사고 위험을 미리 방지하고 주행 상황에 맞게 경로 안내 정보를 표시하여 신뢰성을 높이는 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래의 헤드 업 디스플레이 내비게이션을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 주행차선을 파악하는 방법을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 증강현실 헤드업 디스플레이가 장착된 차량을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 경로안내 정보가 차량의 윈드실드를 통해 보여지는 도로에 원근법으로 고가도로진입 안내 정보가 표시되는 모습을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 경로안내 정보가 차량의 윈드실드를 통해 보여지는 도로에 원근법으로 U턴 안내 정보가 표시되는 모습을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 경로안내 정보가 차량의 윈드실드를 통해 보여지는 도로에 원근법으로 좌회전 직전에 1차선으로 변경하도록 사전 안내 정보가 표시되는 모습을 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 증강현실 헤드 업 디스플레이 방법을 나타내는 순서도이다.
도 8은 본 발명의 실시예에 따른 경로 안내 정보의 색상 가변 표시를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 경로 안내 정보의 변경 표시를 나타내는 도면이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 따른 증강현실 헤드 업 디스플레이 내비게이션에 대하여 살펴본다.

도 2는 본 발명의 실시예에 따른 주행차선을 파악하는 방법을 도시한 도면이다.

증강 현실 내비게이션은 차량(100)의 위치정보를 수신하여 차량(100)의 위도, 경도를 산출한다.

그리고, 차량(100)의 위도, 경도 값을 도로 포인트(31,32,41,42)에 포함된 위도, 경도 정보와 비교하여 차량(100)의 주행차선을 파악하며, 도로의 주행차선을 파악하는 방법은 후술한다.

도로 포인트(31,32,41,42) 정보는 차선정보를 추가로 포함하고, 실시 예에 따라 도로 포인트(31,32,41,42)가 도로를 따라 10cm ~ 1m간격으로 형성될 수 있다.

차량(100)은 현재 주행 시점에서의 경로 안내 정보를 수신한다.

사용자가 목적지를 입력하면 출발지는 현재 차량(100)의 위치정보이고 도착지는 사용자가 임의로 지정한 위치정보이다.

출발지와 목적지를 가장 빠르게 갈 수 있는 최적의 경로가 산출되며, 경로를 산출하는 방법은 종래의 내비게이션과 유사하므로 상세한 설명은 생략한다.

차량(100)은 경로 안내 정보를 수신하여 윈드실드에 경로안내 정보를 표시하되, 차량(100)의 주행차선을 고려하여, 경로안내 정보를 표시한다.

경로안내 정보를 표시할 때는 윈드실드에 증강현실로 표시하고, 윈드실드를 통해 보여지는 도로에 경로 안내 정보가 원근법으로 표시될 수 있다.

경로안내 정보를 표시할 때 U턴 이 필요한 경우, 차량(100)이 1차선 주행으로 판단되면, 경로안내정보를 U턴으로 표시하고, 차량(100)이 2차선 내지 n차선 주행으로 판단되면, 차량(100)이 1차선으로 변경하도록 경로안내정보를 1차선으로 변경 표시를 한 후 경로안내정보를 U턴으로 표시한다.

만약 좌회전이 필요한 경우에는 차량(100)이 1차선 주행으로 판단되면, 경로안내정보를 좌회전으로 표시하고, 차량(100)이 2차선 내지 n차선 주행으로 판단되면, 차량(100)이 1차선으로 변경하도록 경로안내정보를 1차선으로 변경 표시를 한 후 좌회전으로 표시한다.

차량(100)이 주행차선을 확인할 때는 다음과 같은 방법으로 파악한다.

먼저 차량(100)의 위도, 경도 정보를 수신하는데, 도로(200)는 각각의 도로 포인트(31,32,41,42)를 가지고 있다.

도로 포인트(31,32,41,42)는 위도, 경도 정보를 포함하며, 각각의 차선 정보를 포함한다.

도 2를 참조하면 차량(100)이 도로(200)를 주행하고 있고, 차량(100) 주변에 도로 포인트(31,32,41,42)가 있다.

도 2에서는 차량(100)과 가장 가까운 도로 포인트(32)가 3차선 정보를 가지고 있다고 가정하면 차량(100)은 현재 3차선 도로(200)를 주행 중인 것이 된다.

도로 포인트(31,32,41,42)는 차량(100)의 주행방향으로 일정간격으로 맵데이터에 형성되어 있다.

다음은 도 3을 참조하여 증강현실 내비게이션의 구성을 설명한다.

증강현실 내비게이션은 메모리(300), 위치확인부(400), 주행차선 확인부(500), 주변 상황 정보 획득부(600), 경로안내부(700), 헤드 업 디스플레이(800)를 포함한다.

메모리(300)는 맵데이터를 저장하고 있으며, 맵데이터는 지도정보와 지도에 개시된 지형지물, 도로정보를 포함한다.

각각의 지형지물과 도로에는 위도, 경도를 포함하고, 도로의 경우에는 차량(100) 진행방향으로 일정간격으로 이격되어 형성된 도로포인트를 포함한다.

위치확인부(400)는 차량(100) 위치를 수신하고 확인하며 위치확인부(400)는 고정밀 GPS 또는 기준국으로부터 보정된 오차 보정 값을 DMB주파수로 수신하는 GPS가 사용될 수 있다.

고정밀 GPS는 오차범위 10cm이내인 것이 사용될 수 있다.

주행차선 확인부(500)는 상기에 언급한 방법으로 차량(100) 위치와 상기 맵데이터 정보를 비교하여 현재 주행중인 차선을 파악한다.

경로안내부(700)는 사용자의 입력에 의해 결정된 목표 지점까지의 경로안내 정보를 포함하고, 경로안내시 차량(100)의 주행차선을 고려하여 경로 안내 정보를 산출한다.

헤드 업 디스플레이(800)는 차량(100)의 대시보드에 설치되고 차량(100) 전방의 윈드실드에 경로안내부(700)로부터 수신한 경로안내 정보를 디스플레이 하되, 경로안내부(700)로부터 수신된 주행 차선 정보를 고려하여 상기 경로 안내 정보를 디스플레이 한다.

헤드 업 디스플레이(800)는 상기 경로 안내부로부터 전송된 경로안내 정보를 상기 윈드실드에 증강현실로 표시하며, 헤드업 디스플레이는 윈드실드를 통해 보여지는 주행도로에 경로안내 정보를 도4 내지 도6에 도시된 바와 같이 원근법으로 표시할 수 있다.

본 발명의 실시예에 따른 주변 상황 정보 획득부(600)는 차량에 배치된 측후방 감지 센서인 것이 바람직하다.

주변 상황 정보 획득부(600)는 주행 차량의 양 옆차선의 측후방에서 접근하는 타 차량의 존재 여부를 감지하여, 타 차량이 기설정된 거리 이내로 접근하는 경우, 위험 인식 정보를 경로 안내부(700)로 전송한다.

헤드 업 디스플레이(800)는 경로 안내부(700)로부터 전송된 경로 안내 정보를 윈드실드에 증강현실로 표시하게 되는데, 위험 인식 정보를 수신한 경로 안내부(700)는 해당 경로 안내 정보의 색상을 가변시키거나, 경로 안내 정보의 지시선을 변경한다.

도 8은 본 발명의 실시예에 따른 경로 안내 정보 색상의 가변을 나타내는 도면이다.

도 8의 (a)에 도시된 바와 같이, 헤드 업 디스플레이부(800)는 경로 안내부(700)로부터 전송된 경로 안내 정보를 윈드실드에 증강현실로 표시하며, "현재 주행 차선을 기준으로 왼쪽 차선으로 차선 변경하여 전방 400미터에서 고가도로로 진입할 것"을 안내한다.

이 때, 주변 상황 획득부(600)가 모니터링하는 주변 상황 정보에 있어서 현재 주행 차선을 기준으로 왼족 차선에서 접근하는 측후방 차량이 존재하는 경우, 종전 안내되는 경로 안내 정보(예: 파란색)의 색상을 가변하여 변경 후 색상(예: 붉은색)으로 경로 안내 정보를 변경하여 헤드 업 디스플레이부(800)로 전송한다.

도 8의 (b)에 도시한 바와 같이, 운전자는 경로 안내(왼쪽 차선으로 차선 변경하여 전방 350미터에서 고가도로 진입)의 지시선은 그대로 인지하면서도, 해당 경로 안내 정보의 색상이 붉은색으로 가변되었음을 인지하도록 하여, 측후방 차량과의 충돌을 방지하도록 한다.

이 때, 경로 안내부(700)의 경로 안내 색상 변경과 더불어, 스피커 등을 통하여 알람을 제공하거나, 도 8의 (b)에 도시한 바와 같이 헤드 업 디스플레이(800)를 통해 충돌 위험을 알리는 문자 정보(WARNING)를 제공하는 것이 바람직하다.

이러한 경로 안내 정보의 색상 변경은 전술한 충돌 위험성이 있는 경우 이외에도, 외부 서버로부터 수신한 전방 교통 상황 정보에 따라 가변되는 것 역시 가능하다.

이 경우, 기설정된 상황별 색상(예: 원활인 경우 파란색, 정체인 경우 주황색, 지체인 경우 붉은색)으로 경로 안내 정보를 표시함으로써, 운전자로 하여금 전방의 교통 상황에 대비하여 운전할 수 있도록 지원한다.

또한, 본 발명에 따르면 운전자 상태 정보 획득부를 더 포함하여, 경로 안내 정보의 색상 변경을 수행하는 것 역시 가능하다.

본 발명의 운전자 상태 정보 획득부는 카메라, 센서 등을 포함하여 구성되며, 운전자의 현재 운전 상태가 정상 상태인지 또는 비정상 상태인지 여부를 판별한다.

예컨대 운전자의 동공 상태를 감지하여 피곤한 징후가 보여지는지 여부를 확인하거나, 시선 방향을 측정하거나, 운전자 고개의 끄덕거림 등의 각도를 인식하여, 졸음운전 또는 스마트폰 사용 등으로 인하여 운전 상태가 비정상 상태인지 여부를 판별한다.

운전 상태가 비정상 상태인 것으로 확인되는 경우, 경로 안내부(700)는 이를 고려하여 헤드 업 디스플레이(800)를 통해 표시되는 경로 안내 정보의 색상을 변경시킨다(예: 정상 상태인 경우 파란색이던 경로 안내 정보의 색상을 비정상 상태인 경우에는 붉은색으로 변경 표시).

또한, 운전 상태가 비정상 상태인 경우, 경로 안내 정보의 색상을 가변시킴과 더불어 경고 메시지를 함께 표출하거나, 경고음을 발생시킴으로써 운전자에게 자신의 상태를 자각하게 하는 수단으로 활용한다.

본 발명에 따른 경로 안내 정보 색상 변경은 이러한 운전자 상태 정보를 고려함에 국한되는 것이 아니며, 운전자 부하(Driver Workload)를 종합적으로 고려한 결과에 따라 수행됨이 바람직하다.

전술한 바와 같이 운전자가 졸음 운전을 하거나 주행 중 스마트폰을 사용하는 등 운전자 상태(driver state)가 비정상 상태인 경우 외에도, 운전 상황(driving situation), 운전자 조작(driver input), 주행 성능 및 반응(vehicle performance and response) 등을 고려하게 된다.

즉 본 발명의 실시예에 따르면, 도로너비, 곡률, 제한속도, 회전경로 등의 운전 상황 정보와, 차량의 종/횡방향 제어 등의 운전자 조작 정보와, 차량 속도, 차로 위치, 가속 정보 등의 주행 성능 및 반응 정보와, 운전자의 주의 분산 등의 운전자 상태에 기반하여, 운전자 부하가 기설정 수준 이상으로 증가하는 경우 헤드 업 디스플레이부(800)에 표시되는 경로 정보의 색상을 변경시켜 운전자가 스스로 안전 운행을 위한 상황별 경고 알림을 확인할 수 있도록 한다.

도 9는 본 발명의 실시예에 따른 경로 안내 정보의 변경 표시를 나타내는 도면이다.

도 9의 (a)에 도시된 바와 같이, 헤드 업 디스플레이부(800)는 경로 안내부(700)로부터 전송된 경로 안내 정보를 윈드실드에 증강현실로 표시하며, "현재 주행 차선을 기준으로 왼쪽 차선으로 차선 변경하여 전방 400미터에서 고가도로로 진입할 것"을 안내한다.

주변 상황 획득부(600)가 모니터링하는 주변 상황 정보에 있어서 현재 주행 차선을 기준으로 왼족 차선에서 접근하는 측후방 차량이 존재하는 경우, 경로 안내부(700)는 종전 안내되는 경로 안내 정보인 도 9(a)의 "왼쪽 차선으로 차선 변경"을 도 9(b)의 "직진"으로 변경한다.

이 때, 측후방 차량과의 충돌을 방지하기 위하여 경로 안내 정보가 변경되는 경우에도, 하단의 내비게이션 정보(63km/h, 350미터 전방에 왼쪽 고가도로 진입)는 그대로 유지될 수 있다.

운전자가 헤드 업 디스플레이(800)에 표출되는 경로 안내 정보만을 신뢰하여 주행하는 경우, 미처 변경하고자 하는 목적 차선에서 접근하는 타 차량과의 충돌을 미연에 확인 및 방지하지 못할 수도 있으므로, 주변 상황 정보를 고려하여 경로 안내를 변경하여 증강현실을 통해 제공함으로써, 운전자가 직관적으로 충돌 위험을 회피하도록 한다.

이 때, 경로 안내부(700)의 경로 안내 변경과 더불어, 스피커 등을 통하여 알람을 제공하거나, 헤드 업 디스플레이(800)를 통해 충돌 위험을 알리는 문자 정보를 제공하는 것이 바람직하다.

주변 상황 정보 획득부(600)의 인식 결과 충돌 위험이 사라진 이후에는, 경로 안내부(700)는 도 9의 (c)에 도시한 바와 같이 종전의 경로 안내 정보와 같이 "왼쪽 차선으로 차선 변경하여 전방 200미터에서 고가도로로 진입"으로 표출되도록 경로 안내 정보를 변경하여 헤드 업 디스플레이(800)로 전송한다.

본 발명의 실시예에 따르면 운전자의 제스처 및 음성 중 적어도 어느 하나를 인식하는 인식부를 더 포함한다.

인식부는 스티어링 휠 파지/조작 상태, 사이드 미러를 향하는 운전자의 시선 방향, 음성 중 적어도 어느 하나를 인식하여 운전자의 주행 의도를 파악한다.

즉, 도 8 (a)및 도 9(a)에 도시된 경로 안내 정보를 신뢰한 운전자가 왼쪽 차선으로 변경하려고 하는 경우이거나, 현재 주행 차선의 전방 차량을 추월하고자 하는 주행 의도를 보이는 경우 등, 주행 의도가 차선 변경 또는 추월에 해당하는 경우에 해당되는지 여부를 인식하게 된다.

경로 안내부(700)는 인식부의 인식 결과 차선 변경에 해당하는 주행 의도가 있는 경우, 주변 상황 정보 획득부(600)가 획득한 정보에 따른 충돌 가능성을 고려하여, 경로 안내 정보를 변경하여 헤드 업 디스플레이(800)로 전송한다.

도 7은 본 발명의 실시예에 따른 증강현실 헤드 업 디스플레이 방법을 나타내는 순서도이다.

본 발명의 실시예에 따른 증강현실 헤드 업 디스플레이 방법은 차량의 위치정보를 수신하는 단계(S100)와, 차량의 현재 위치를 맵데이터의 도로 포인트 정보와 비교하여 상기 차량의 주행차선을 파악하고, 주변 상황 정보를 파악하는 단계(S200) 및 현재 주행 시점에서의 경로 안내 정보를 수신하여 윈드실드에 경로안내 정보를 표시하되, 차량의 주행차선을 고려하여 상기 경로안내 정보를 표시하는 단계(S300)을 포함한다.

S100 단계는 고정밀 GPS 또는 기준국으로부터 보정된 오차 보정 값을 DMB주파수로 수신하는 GPS를 사용하여 차량의 위치 정보를 수신한다.

S200 단계는 차량의 위도, 경도 값을 도로 포인트에 포함된 위도, 경도 정보와 비교하여 차량의 주행차선을 파악하며, 측후방 감지 센서를 통해 주변 상황 정보를 파악한다.

S300 단계는 현재 주행 차선을 고려하여 경로 안내 정보를 헤드 업 디스플레이를 통해 증강 현실로 표시한다.

즉, S300 단계는 U턴이 필요한 경우 차량이 1차선 주행인 것으로 판단되면, 경로 안내 정보를 U턴으로 표시하고, 차량이 1차선 주행이 아닌 것으로 판단되면, 차량을 먼저 1차선으로 변경하도록 경로 안내 정보를 표시하고, 그 후 경로 안내 정보를 U턴으로 표시함으로써, 운전자로 하여금 직관적인 경로 안내 인지가 가능하도록 한다.

이 때, 운전자가 제공되는 경로 안내 정보만을 신뢰하여 사이드 미러를 확인하지 않고 차선 변경을 하는 경우, 측후방으로부터 접근하는 타 차량과 충돌이 발생할 위험이 있다.

따라서, S300 단계는 S200 단계에서 획득된 주변 상황 정보에 기초하여, 주변 차량과의 충돌 가능성이 예견되는 경우 경로 안내 정보의 색상을 가변시키거나, 경로 안내 정보의 지시선을 가변하여 표시한다.

전술한 바와 같이, 도 8은 본 발명의 실시예에 따른 경로 안내 정보 색상의 가변을 나타내는 도면이고, 도 9는 본 발명의 실시예에 따른 경로 안내 정보의 변경 표시를 나타내는 도면이다.

또한, S300 단계는 외부 서버로부터 수신한 전방 교통 상황 정보에 따라 경로 안내 정보의 색상을 가변 표시한다.

운전자는 전방 교통 상황 정보에 따라 가변되는 경로 안내 정보의 색상(예: 원활인 경우 파란색, 정체인 경우 주황색, 지체인 경우 붉은색)을 인지하여, 전방 교통 흐름에 따라 미리 안전 운행에 대비한 조작(예: 서행)을 수행할 수 있다.

본 발명의 실시예에 따르면 S200 단계에서 운전자의 주행 의도를 추가적으로 파악하고, S300 단계는 전술한 주변 상황 정보에 기초하여 충돌 가능성을 고려하여 경로 안내 정보의 방향 또는 색상을 가변 표시한다.

이 때, S200 단계에서는 스티어링 휠 조작 상태, 운전자의 제스처(예: 사이드 미러 응시), 음성 단어 발화 등 적어도 어느 하나를 인식하여, 차선을 변경하고자 하는 운전자의 주행 의도를 파악한다.

운전자의 주행 의도 및 주변 상황 정보에 기초하여 S300 단계는 경로 안내 정보의 색상 또는 방향을 가변 표시함으로써, 운전자는 증강 현실로 보여지는 경로 안내 정보를 신뢰하여 사고의 위험이 방지된 주행을 수행하는 것이 가능한 효과가 있다.

본 발명의 실시예에 따르면, S200 단계는 운전자의 상태 정보를 추가적으로 파악하며, 운전자 부하 정보를 획득하는 것이 가능하다.

S300 단계는 전술한 운전자의 상태 정보(졸음운전, 스마트폰 사용 등으로 인한 시선 분산)를 통해 졸음운전 중이거나, 전방 시선 주의 의무가 제대로 이행되지 않는 것으로 확인되는 경우 경로안내 정보의 색상을 가변시켜 표시한다.

이 때, S300 단계는 운전자의 상태 정보 외에 운전 부하를 종합적으로 고려하여, 운전 부하가 기설정된 수준 이상으로 증가하는 경우 경로안내 정보의 색상을 가변시키게 되며, HUD를 통해 표출되는 경로안내 정보의 색상 가변 외에 경고 알림 문구를 디스플레이 하거나 경고음을 발생시키는 것 역시 가능하다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 차량 200: 도로
300: 메모리 400: 위치확인부
500: 주행차선 확인부 600: 주변 상황 정보 획득부
700: 경로 안내부 800: 헤드 업 디스플레이
31, 32, 41, 42: 도로 포인트

Claims (20)

1. (a) 차량의 위치정보를 수신하는 단계;
   (b) 상기 차량의 현재 위치를 맵데이터의 도로 포인트 정보와 비교하여 상기 차량의 주행차선을 파악하고, 주변 상황 정보를 파악하며, 스티어링 휠 조작 상태, 운전자의 제스처, 음성 중 적어도 어느 하나를 고려하여 운전자의 주행 의도를 파악하는 단계; 및
   (c) 현재 주행 시점에서의 경로 안내 정보를 수신하여 윈드실드에 경로안내 정보를 표시하되, 상기 차량의 주행차선을 고려하여 상기 경로안내 정보를 표시하는 단계를 포함하고,
   상기 (c) 단계는 외부 서버로부터 수신한 전방 교통 상황 정보에 따라 상기 경로 안내 정보의 색상을 가변 표시하고, 상기 운전자의 주행 의도가 차선 변경 또는 추월에 해당하는 경우, 상기 (c) 단계는 상기 주변 상황 정보에 기초하여 충돌 가능성을 고려하여 상기 경로 안내 정보의 방향 및 색상을 가변 표시하는 것
   인 증강현실 내비게이션 헤드 업 디스플레이 방법.
   
2. 제1항에 있어서,
   상기 (c) 단계는 상기 윈드실드에 증강현실로 표시하고, 상기 윈드실드를 통해 보여지는 상기 주행차선에 상기 경로 안내 정보가 원근법으로 표시되는 것을 특징으로 하는 증강현실 내비게이션 헤드 업 디스플레이 방법.
   
3. 제1항에 있어서,
   상기 (c) 단계는 U턴이 필요한 경우, 상기 차량이 1차선 주행으로 판단되면, 상기 경로안내정보를 U턴으로 표시하고, 상기 차량이 2차선 내지 n차선 주행으로 판단되면, 상기 차량이 상기 1차선으로 변경하도록 상기 경로안내정보를 상기 1차선으로 변경 표시를 한 후 상기 경로안내정보를 U턴으로 표시하는 것을 특징으로 증강현실 내비게이션 헤드 업 디스플레이 방법.
   
4. 제1항에 있어서,
   상기 (c) 단계는 좌회전이 필요한 경우, 상기 차량이 1차선 주행으로 판단되면, 상기 경로안내정보를 좌회전으로 표시하고,
   상기 차량이 2차선 내지 n차선 주행으로 판단되면, 상기 차량이 상기 1차선으로 변경하도록 상기 경로안내정보를 상기 1차선으로 변경 표시를 한 후 상기 좌회전으로 표시하는 것을 특징으로 하는 증강현실 내비게이션 헤드 업 디스플레이 방법.
   
5. 제1항에 있어서,
   상기 도로 포인트 정보는 위도와 경도 정보와 차선정보를 포함하는 것을 특징으로 하는 증강현실 내비게이션 헤드 업 디스플레이 방법.
   
6. 제5항에 있어서,
   상기 차량의 위치정보는 위도와 경도정보를 포함하는 것을 특징으로 하는 증강현실 내비게이션 헤드 업 디스플레이 방법.
   
7. 제6항에 있어서,
   상기 (b) 단계는 상기 차량의 위치정보와 상기 차량과 가장 가까운 상기 도로 포인트의 위도 및 경도 값을 매칭하되, 상기 도로포인트가 몇 차선의 도로 포인트인지 파악하여 상기 차량의 주행차선을 파악하는 것을 특징으로 하는 증강현실 내비게이션 헤드 업 디스플레이 방법.
   
8. 삭제
9. 삭제
10. 삭제
11. 제1항에 있어서,
    상기 (b) 단계는 사이드 미러를 향하는 운전자의 시선 방향 또는 운전자의 얼굴 움직임을 감지하여 상기 운전자의 주행 의도를 파악하는 것
    인 증강현실 내비게이션 헤드 업 디스플레이 방법.
    
12. 제1항에 있어서,
    상기 (b) 단계는 운전자 상태 정보를 포함하는 운전 부하 정보를 추가적으로 획득하고, 상기 (c) 단계는 상기 운전 부하 정보에 기초하여 상기 경로 안내 정보의 색상을 가변시키는 것
    인 증강현실 내비게이션 헤드 업 디스플레이 방법.
    
13. 맵데이터를 저장하고 있는 메모리;
    차량 위치를 수신하는 위치확인부;
    상기 차량 위치와 상기 맵데이터 정보를 비교하여 현재 주행중인 차선을 파악하는 주행차선 확인부;
    상기 차량의 주행 중 주변 상황 정보를 획득하는 주변 상황 정보 획득부;
    사용자의 입력에 의해 결정된 목표 지점까지의 경로안내 정보를 포함하는 경로안내부;
    상기 경로안내부로부터 수신한 경로안내 정보를 윈드실드에 디스플레이하되, 상기 경로안내부로부터 수신된 주행 차선 정보를 고려하여 상기 경로 안내정보를 디스플레이 하는 헤드 업 디스플레이; 및
    스티어링 휠 조작 상태, 사이드 미러를 향하는 운전자의 시선 방향, 음성 중 적어도 어느 하나에 기초하여 상기 운전자의 주행 의도를 파악하는 인식부를 포함하고,
    상기 경로 안내부는 외부 서버로부터 수신한 전방 교통 상황 정보에 따라 상기 경로 안내 정보의 색상을 가변시키고, 상기 주행 의도가 차선 변경 또는 추월에 해당하는 경우 상기 주변 상황 정보에 따른 충돌 가능성을 고려하여 상기 경로 안내 정보의 방향 및 색상을 변경하여 상기 헤드 업 디스플레이로 전송하는 것
    을 특징으로 하는 증강현실 헤드 업 디스플레이 내비게이션.
    
14. 제13항에 있어서,
    상기 헤드 업 디스플레이는 상기 경로 안내부로부터 전송된 상기 경로안내정보를 상기 윈드실드에 증강현실로 표시하며, 상기 헤드업 디스 플레이는 상기 윈드실드를 통해 보여지는 상기 주행차선에 상기 경로안내 정보를 원근법으로 표시하는 것을 특징으로 하는 증강현실 헤드 업 디스플레이 내비게이션.
    
15. 제13항에 있어서,
    상기 맵데이터는 도로 정보를 포함하고, 상기 도로정보는 위도와 경도정보와 차선 정보를 가지는 도로 포인트를 포함하는 것을 특징으로 하는 증강현실 헤드 업 디스플레이 내비게이션.
    
16. 제13항에 있어서,
    상기 위치확인부는 오차범위 10cm이내인 고정밀 GPS인 것을 특징으로 하는 증강현실 헤드 업 디스플레이 내비게이션.
    
17. 삭제
18. 삭제
19. 삭제
20. 제13항에 있어서,
    운전자의 동공, 시선 방향 및 고개 각도 중 적어도 어느 하나를 인식하는 운전자 상태 정보 획득부를 더 포함하고, 상기 경로 안내부는 상기 운전자의 상태가 비정상상태인 것으로 확인된 경우 상기 경로 안내 정보의 색상을 변경하여 표출시키는 것
    인 증강현실 헤드 업 디스플레이 내비게이션.

Images