KR20150087619A

KR20150087619A - 증강 현실 기반의 차로 변경 안내 장치 및 방법

Info

Publication number: KR20150087619A
Application number: KR1020140007795A
Authority: KR
Inventors: 윤창락; 김경호; 박혜선
Original assignee: 한국전자통신연구원
Priority date: 2014-01-22
Filing date: 2014-01-22
Publication date: 2015-07-30
Also published as: US20150204687A1

Abstract

증강 현실 기반의 차로 변경 안내 방법이 개시된다. 이 방법은 운전자가 목적지까지 자동차를 주행하는 과정에서, 차로 변경이 필요한 때에 운전자 시점에 맞추어 차로 변경 정보를 증강현실로 표현함으로써, 차로 진행 방향을 확인하기 위한 불편함과 주의 분산을 경감하여 운전 안전성 및 편의성을 증대시킬 수 있다.

Description

증강 현실 기반의 차로 변경 안내 장치 및 방법{APPARATUS AND METHOD FOR GUIDING LANE CHANGE BASED ON AUGMENTED REALITY}

본 발명은 증강 현실 기반의 차로 변경 안내 장치 및 방법에 관한 것으로, 구체적으로는 주행 차로의 변경이 필요한 상황에서 운전자 시점에 맞추어 증강 현실 기반의 차로 변경 정보를 제공하는 차로 변경 안내 장치 및 방법에 관한 것이다.

내비게이션은 지도를 보이거나 지름길을 찾아 주어 자동차 운전을 도와주는 장치나 프로그램이다. 내비게이션은 그 활용도가 점차 증가하고 있으나 운전자가 내비게이션에서 제공하는 지도나 안내정보를 시각적으로 확인하기 위해서는 내비게이션이 장착된 곳으로 시선을 이동해야 하는 불편함과 이로 인한 주의 분산을 발생할 수 있다.

또한, 내비게이션은 목적지까지의 경로를 안내하는 데 있어서 운전자가 주행중인 자동차의 차로를 기준으로 차로 변경 안내 정보를 제공하지 못하고 주행 도로의 전체 차로의 진행 방향 정보만을 제공함에 따라 운전자가 목적지까지 자동차를 주행하는 중 차로 변경이 필요한 때에 차로 진행 방향 정보 확인이 용이하지 않고 이로 인한 주의 분산을 발생할 수 있다.

전술한 문제점을 해결하기 위한, 본 발명의 목적은 운전자가 목적지까지 자동차를 운전하는 데 있어서 차로 변경이 필요한 시점에 증강 현실 기반으로 차로 변경 정보를 제공하는 차로 변경 안내 장치 및 그 안내 방법을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 증강 현실 기반의 차로 변경 안내 방법은 주행중인 차량의 전방을 촬영한 전방 영상으로부터 상기 차량이 현재 주행 중인 차로가 몇 차로인지를 나타내는 주행 차선 정보를 검출하는 과정과, 수신된 GPS 신호에 포함된 차로 진행 방향 정보와 상기 검출된 주행 차선 정보를 매핑한 주행 도로 모델 정보를 생성하는 과정과, 상기 GPS 신호에 포함된 경로 안내 정보와 상기 주행 도로 모델 정보를 결합하여 차로 변경 정보를 생성하는 과정 및 상기 차로 변경 정보를 그래픽 정보로 변환하고, 변환된 그래픽 정보를 차량 내의 증강 현실 기반의 표시 화면을 통해 표시하는 과정을 포함한다.

본 발명의 다른 일면에 따른 증강 현실 기반의 차로 변경 안내 장치는 차선 검출 알고리즘을 이용하여, 주행중인 차량의 전방을 촬영한 전방 영상으로부터 상기 차량이 현재 주행 중인 차로가 몇 차로인지를 나타내는 주행 차선 정보를 검출하는 차선 검출부와, GPS 수신기를 통해 수신된 GPS 신호에서 검출한 차로 진행 방향 정보와 상기 검출된 주행 차선 정보를 매핑한 주행 도로 모델 정보를 생성하는 주행 도로 모델 정보 생성부와, 상기 GPS 신호에 포함된 경로 안내 정보와 상기 주행 도로 모델 정보를 결합하여 차로 변경 정보를 생성하고, 상기 생성된 차로 변경 정보를 2차원 영상의 좌표계로 표현되는 그래픽 정보로 모델링하는 차로 변경 모델 생성부와, 눈 위치 검출 알고리즘에 따라 검출된 운전자의 눈 위치 정보와 상기 그래픽 정보를 입력받고, 2차원 영상의 좌표계를 증강 현실 기반의 3차원 영상 좌표계로 변환하여 상기 그래픽 정보를 증강 현실 기반의 그래픽 정보를 변환하고, 변환된 상기 증강 현실 기반의 그래픽 정보에 포함된 차로 변경 정보의 위치 정보와 상기 눈 위치 정보를 정합하는 정합부와, 상기 정합된 증강 현실 기반의 그래픽 정보를 렌더링하여 차량 내의 운전석 전방에 설치된 투명 표시 장치로 출력하는 그래픽 처리부를 포함한다.

본 발명의 또 다른 일면에 따른 증강 현실 기반의 차로 변경 안내 방법은 주행중인 차량의 전방을 촬영한 전방 영상으로부터 상기 차량이 현재 주행 중인 차로가 몇 차로인지를 나타내는 주행 차선 정보를 검출하는 과정과, 수신된 GPS 신호에 포함된 차로 진행 방향 정보와 상기 검출된 주행 차선 정보를 매핑한 주행 도로 모델 정보를 생성하는 과정과, 상기 GPS 신호에 포함된 경로 안내 정보와 상기 주행 도로 모델 정보를 결합하여 차로 변경 정보를 생성하는 과정과, 생성된 상기 차로 변경 정보를 사용자가 선택한 그래픽 개체로 변환하는 과정과, 차선 검출 알고리즘을 통해 상기 전방 영상으로부터 배경이 제거된 차선 영상에서 상기 그래픽 개체가 표시되는 표시 영역을 추출하는 과정과, 상기 추출된 표시 영역에 상기 그래픽 개체를 매핑하여, 상기 차로 변경 정보를 차로 변경 그래픽으로 모델링 하는 과정 및 상기 모델링된 차로 변경 그래픽을 차량 내의 증강 현실 기반의 표시 화면에 표시하는 과정을 포함한다.

본 발명에 의하면, 운전자가 목적지까지 자동차를 주행하는 데 있어서 차로 변경이 필요한 때에 운전자 시점에 맞추어 차로 변경 안내 정보를 증강현실로 표현할 수 있다. 따라서, 차로 진행 방향을 확인하기 위한 불편함과 주의 분산을 경감하여 운전 안전성 및 편의성을 증대시킬 수 있다.

도 1은 본 발명의 일 실시 예에 따른 증강 현실 기반의 차로 변경 안내 정보를 보여주는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 차로 변경 안내 장치의 구성을 보여주는 블록도이다.
도 3은 도 2에 도시된 차선 검출부의 구성을 보여주는 기능 블록도이다.
도 4는 도 2에 도시된 경로 탐색부의 구성을 보여주는 기능 블록도이다.
도 5는 도 2에 도시된 눈동자 위치 검출부의 구성을 보여주는 기능 블록도이다.
도 6은 도 2에 도시된 주행 도로 모델 생성부의 구성을 보여주는 기능 블록도이다.
도 7은 도 2에 도시된 주행 도로 모델 생성부에서의 주행 도로 모델 생성 방법을 개념적으로 설명하기 위한 도면이다.
도 8은 도 1에 도시된 차로 변경 모델 생성부의 구성을 보여주는 기능 블록도이다.
도 9는 도 1에 도시된 차로 변경 생성부에서 수행되는 차로 변경 정보의 생성 과정을 설명하기 위한 도면이다.
도 10은 도 9에 도시된 그래픽 정보 생성부에서 수행되는 차로 변경 그래픽 정보의 생성 과정을 설명하기 위한 도면이다.
도 11A 내지 도 11E는 도 10에 도시된 5개의 표시 영역을 보여주는 도면들이다.
도 12는 도 2에 도시된 증강 현실 정합부의 구성을 보여주는 블록도이다.
도 13은 본 발명의 일 실시 예에 따른 증강 현실 기반의 차로 변경 안내 방법을 보여주는 순서도이다.

본 발명에서는 주행 차로의 변경이 필요한 상황을 판단하고, 운전자 시점에 맞추어 차로 변경 정보를 제공함으로써 운전자 주의 분산을 경감하고 차로 변경을 용이하게 수행할 수 있도록 하는 증강현실 차로 변경 안내 장치 및 방법에 관한 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 대해 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 증강 현실 기반의 차로 변경 안내 정보를 보여주는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 증강 현실 기반의 차로 변경 안내 정보는 운전자의 전방에 위치한 투명 표시 화면(19)를 통해 실제 주행 도로와 오버랩 된(매핑 된) 형태로 제공될 수 있다. 이러한 증강 현실 기반의 차로 변경 안내 정보는 문자, 숫자 또는 특정 형상의 다양한 증강 이미지로 표시될 수 있다. 예컨대, 증강 이미지는 도 1에 도시된 바와 같이, 현재 주행 속도를 알리는 속도계 형상의 이미지(12), 문자, 숫자, 기호 또는 이들을 조합한 텍스트 형상의 이미지(14, 16, 18) 및 차선 변경을 알리는 화살표 머리 형상의 이미지(20)를 포함할 수 있다. 여기서, 참조 번호 14, 16, 18은 현재 주행 위치로부터 차선 변경 위치까지의 거리, 현재 시각, 차량 외기 온도를 각각 나타낸다. 이와 같이, 본 발명의 일 실시 예에 따른 증강 현실 기반의 차로 변경 안내 정보는 운전자 전방에 위치한 투명 표시 장치를 통해 실제 주행 도로와 오버랩 된(매핑 된) 형태로 제공됨으로써, 운전 중 주의 분산을 방지할 수 있고, 차로 변경 정보의 인지성을 향상시켜 운전 안전성 및 편의성을 증대시킬 수 있다.

이하, 도 1에 도시된 바와 같은 증강 현실 기반의 차로 변경 안내 정보를 제공하기 위한, 본 발명의 일 실시 예에 따른 차로 변경 안내 장치에 대해 상세히 설명한다.

도 2는 본 발명의 일 실시 예에 따른 차로 변경 안내 장치의 구성을 보여주는 블록도이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 차로 변경 안내 장치(100)는 주변 장치(200)로부터 차선 영상 정보(21), 차량의 위치 정보(22), 운전자의 눈동자 영상 정보(23) 및 사용자 입력 정보(24)를 수신하여, 도 1에 도시된 바와 같은 증강 현실 기반의 차로 변경 안내 정보를 제공한다.

먼저, 주변 장치(200)에 대해 간략히 설명한 후에, 본 발명의 일 실시 예에 따른 차로 변경 안내 장치(100)를 설명하기로 한다.

주변 장치(200)는 차선 영상 정보(21), 차량의 위치 정보(22), 운전자의 눈동자 영상 정보(23) 및 사용자 입력 정보(24)를 상기 차로 변경 안내 장치(100)로 제공하기 위해, 차선 영상 획득부(210), GPS(Global Positioning System) 수신부(220), 운전자 영상 획득부(230) 및 입력부(240)를 포함한다. 차선 영상 획득부(210)는 상기 차선 변경 안내 장치(100)에서 주행 도로의 차선을 인식하기 위해, 차량의 전방에 나타나는 차선을 촬영한 차선 영상 정보(21)를 획득하며, 차량 전방을 촬영하기 위해 차량의 내부 또는 외부의 특정 위치에 설치된 카메라일 수 있다. GPS 수신부(220)는 GPS 수신 안테나(222)를 통해 GSP 위성으로부터 GPS 정보를 수신하며, 이 GPS 정보는 현재 차량의 지도상의 위치 정보(22)로서 위도 및 경도 데이터를 포함한다. 운전자 영상 획득부(230)는 상기 차선 변경 안내 장치(100)에서 운전자의 눈동자 위치를 인식하기 위해, 운전자를 촬영한 운전자 영상 정보(23)를 획득하며, 운전자를 촬영하도록 차량 내부의 특정 위치에 설치된 카메라일 수 있다. 입력부(240)는 사용자의 입력에 따라 상기 차선 변경 안내 장치(100)의 작동을 제어하기 위한 사용자 입력 정보를 획득하며, 운전자와 상기 차선 변경 안내 장치(100)를 연결하는 다양한 인터페이스로 구현될 수 있다. 도 2에서는 주변 장치(200)와 차로 변경 안내 장치(100)가 분리된 형태를 예시하고 있으나, 차로 변경 안내 장치(100)의 내부에 구비될 수 있다.

차로 변경 안내 장치(100)는 상기 주변 장치(200)로부터의 정보들(21, 22, 23, 24)을 수신하여 도 1에 도시된 바와 같은 증강 현실 기반의 차로 변경 안내 정보를 제공하기 위해, 차선 검출부(110), 경로 탐색부(120), 눈 위치 검출부(130), 제어부(140), 주행 도로 모델 생성부(150), 차로 변경 모델 생성부(160), 증강 현실 정합부(170), 그래픽 처리부(180) 및 증강 현실 표시부(190)를 포함한다.

차선 검출부(110)는 차선 영상 획득부(210)로부터의 차선 영상 정보를 입력받고, 입력받은 차선 영상 정보(21)를 이용하여 주행 도로의 차선 정보(11)를 검출한다.

경로 탐색부(120)는 GPS 수신부(222)로부터의 GPS 정보(22)를 입력받고, 입력받은 GPS 정보 (22)를 이용하여 목적지까지의 경로를 탐색하고, 탐색 결과에 따라 주행중인 차량의 현재 위치에서의 차로 진행 방향 정보(12-1)와 경로 안내 정보(12-2)를 검출한다.

눈 위치 검출부(130)는 운전자 영상 획득부(230)로부터의 운전자 영상 정보(23)를 이용하여 운전자의 눈 위치 정보(13)를 검출한다.

제어부(140)는 차로 변경 안내 장치(100) 내의 각 구성들(110 ~ 130 및 150 ~ 190)의 전반적인 동작을 제어하며, 입력부(240)로부터의 사용자 입력 정보(24)를 입력받고, 입력받은 사용자 입력 정보에 따라 그래픽 처리부(180)의 동작을 제어한다.

주행 도로 모델 생성부(150)는 차선 검출부(110)로부터의 차선 정보(11)와 경로 탐색부(120)로부터의 차로 진행 방향 정보(12)를 입력받고, 입력받은 차선 정보(11)와 차로 진행 방향 정보(12)를 이용하여 차량이 주행하는 도로의 도로 모델 정보를 생성한다.

차로 변경 모델 생성부(160)는 주행 도로 모델 생성부(150)로부터의 주행 도로 모델 정보(15)와 경로 탐색부(120)로부터의 경로 안내 정보(12-2)를 이용하여 차로 변경 여부를 판단하고, 이에 기초하여 차로 변경을 모델링 한 차로 변경 그래픽 정보(16)를 생성한다.

증강 현실 정합부(170)는 차로 변경 모델 생성부(160)로부터의 차로 변경 그래픽 정보(16)와 눈 위치 검출부(130)로부터의 눈 위치 정보(13)를 입력받고, 차로 변경 그래픽 정보를 운전자의 눈동자 위치에 정합한 증강 현실 기반의 차로 변경 그래픽 정보(17)를 생성한다.

증강 현실 그래픽 처리부(180)는 증강 현실 정합부(170)로부터의 증강 현실 기반의 차로 변경 그래픽 정보(17)를 입력받고, 입력된 증강 현실 기반의 차로 변경 그래픽 정보(17)를 렌더링 한다.

증강 현실 표시부(180)는 증강 현실 그래픽 처리부(180)로부터의 렌더링된 증강 현실 기반의 차로 변경 그래픽 정보(18)를 입력받고, 입력된 렌더링된 증강 현실 기반의 차로 변경 그래픽 정보(18)를 도 1에 도시된 바와 같은 투명 표시 화면(19)을 통해 표시한다.

이하, 도면을 참조하여, 도 2에 도시된 차로 변경 안내 장치(100) 내의 각 구성에 대해 상세히 설명한다.

도 3은 도 2에 도시된 차선 검출부의 구성을 보여주는 기능 블록도이다.

도 3을 참조하면, 차선 검출부(110)는 차선 영상 획득부(210)로부터 획득된 차선 영상 정보(21)를 영상 처리하여, 차선의 개수, 차선 패턴, 중앙 차선 인덱스 및 주행 차선 인덱스 중 적어도 하나의 정보를 검출한다. 이를 위해, 차선 검출부(110)는 RGB 변환부(110-1), 이진화부(110-3), 잡음 제거부(110-5), 차선 후보 성분 추출부(110-7), 차선 추출부(110-9), 차선 연결부(110-11), 중앙 차선 검출부(110-13) 및 주행 차선 검출부(110-15)를 포함한다. RGB(Red Green Blue) 변환부(110-1)는 차선 영상 획득부(210)로부터 차선 영상 정보(21)를 입력받고, 차선 영상 정보에 포함된 각 픽셀의 RGB 값을 밝기 성분을 포함하는 HSV(Hue Saturation Value) 또는 YCbCr 값과 같은 밝기 값으로 변환한다. 이진화부(110-3)는 RGB 변환부(110-1)로부터의 밝기값을 입력받고, 이를 디지털 형태의 이진값으로 변환한다. 잡음 제거부(110-5)는 변환된 이진값을 입력받고, 입력받은 이진값에 포함된 잡음 성분을 제거한다. 차선 후보 성분 추출부(110-7)는 잡음이 제거된 이진값 형태의 픽셀들 중에서 차선 후보 성분을 포함하는 픽셀들을 추출한다. 차선 추출부(110-9)는 추출된 픽셀들 중에서 소실점(vanishing point) 및 직선/곡선 모델을 기반으로 차선에 해당하는 픽셀들을 추출하여, 차선을 추출한다. 차선 연결부(110-11)은 차선 추출부(110-9)에 의해 추출된 차선에 대해 세선화(thinning) 과정을 수행하고, 분리된 차선들을 연결한다. 중앙 차선 검출부(110-13)는 차선 연결부(110-11)에 의해 하나의 직선으로 연결된 차선들 중 색상값에 기초하여 중앙 차선을 검출한다. 주행 차선 검출부(110-15)는 차선 연결부(110-11)에 의해 하나의 직선으로 연결된 차선들 중 차선의 위치 및 기울기에 기반하여 주행 차선을 검출한다. 즉, 주행 차선 검출부(110-15)는 각 차선 영상의 중앙을 수직하게 가로지르는 가상의 중앙선을 기준으로 하나의 직선으로 연결된 차선들을 좌/우로 구분하고, 이 차선들 중 상기 가상의 중앙선에 가장 인접하고, 동시에 기울기의 상이한 2개의 차선을 주행 차선으로 검출할 수 있다. 경우에 따라 2개의 차선 중 좌측 차선만을 주행 차선으로 검출할 수도 있다.

한편, 차선 검출부(110)에 의한 차선 검출 방법에 외에, 다양한 차선 검출 알고리즘이 이용될 수 있다. 예컨대, 차선 검출 알고리즘에는 라인을 검출하는 방법에 따라 허프 변환(hough transform), 변형 템플릿 모델(deformable template model), 훈련 기반, 동적 계획법(dynamic programing)을 이용하는 방법 등이 사용될 수 있다. 변형 템플릿 모델을 이용하는 방법의 경우, 경계선 정보를 추출한 후, 정의된 도로 모델을 만족하는 차선을 검출하기 위해 우도 함수(likelihood function)가 정의된다. 우도 함수를 만족하는 차선을 찾기 위해, metropolis algorithm, simulated annealing등의 알고리즘이 이용된다. 훈련 기반 방법의 경우, SVM(Support Vector Machine), neural network등의 알고리즘이 이용되며, 미리 훈련된 분류기를 통해 차선이 검출될 수 있다. 동적 계획법을 이용한 방법의 경우, 먼저 영역을 분할한 후, 각 영역들 사이에서 차선은 연속성을 띠고, 일정 각도를 넘지 않는다는 등의 제한을 이용하여 차선검출을 위한 함수를 정의한다. 정의된 함수를 가장 잘 만족하는 영역들의 집합이 차선으로 검출된다. 마지막으로 허프 변환을 이용한 방법의 경우, 영상의 경계선을 추출하고, 허프 변환을 이용하여 라인을 검출할 수 있다.

도 4는 도 2에 도시된 경로 탐색부의 구성을 보여주는 기능 블록도이다.

도 4를 참조하면, 경로 탐색부(120)는 GPS 수신부(220)로부터의 GPS 정보를 이용하여 차로 진행 방향 정보(12-1)와 경로 안내 정보(12-2)를 추출하기 위해, 목적지 설정부(120-1), 차량 위치 정보 추출부(120-3), 디지털 맵 저장부(120-5), 경로 정보 추출부(120-7), 차로 주행 방향 정보 추출부(120-9) 및 경로 안내 정보 추출부(120-11)를 포함한다. 목적지 설정부(120-1)는 입력부(240)로부터 사용자 입력 정보(24)를 입력 받아서, 목적지를 설정한다. 차량 위치 정보 추출부(120-3)는 GPS 수신부(220)로부터 GPS 정보를 입력받고, 입력받은 GPS 정보에 포함된 차량의 위치 정보를 추출한다. 디지털 맵 저장부(120-5)는 저장된 맵 데이터를 경로 정보 추출부(120-7), 차로 주행 방향 정보 추출부(120-9) 및 경로 안내 정보 추출부(120-11)로 출력한다. 경로 정보 추출부(120-7)는 차량 위치 정보 추출부(120-3)로부터의 차량 위치 정보에 포함된 차량의 현재 위치 좌표와 목적지 좌표를 맵 데이터에 맵핑하고, 그 결과를 경로 정보로서 추출한다. 차로 주행 방향 정보 추출부(120-9)는 경로 정보 추출부(120-7)에 의해 추출된 경로 정보와 맵 데이터를 이용하여 차로 주행 방향 정보(12-1)를 추출한다. 경로 안내 정보 추출부(120-11)는 차로 주행 방향 정보 추출부(120-9)에 의해 추출된 차로 주행 방향 정보(12-1)와 맵 데이터를 이용하여 경로 안내 정보(12-2)를 추출한다.

도 5는 도 2에 도시된 눈동자 위치 검출부의 구성을 보여주는 기능 블록도이다.

도 5을 참조하면, 눈 위치 검출부(130)는 운전자의 눈동자 위치를 검출하기 위해, 얼굴 영상 검출부(132), 눈동자 학습부(130), 유사도 계산부(136) 및 눈동자 위치 계산부(138)를 포함한다.

얼굴 영역 검출부(132)는 아다부스트 분류기(adaboost classifier)와 같은 다양한 얼굴 검출 알고리즘을 이용하여 운전자 영상 획득부(230)로부터의 운전자 영상 정보(23)로부터 운전자의 얼굴 영역을 검출한다. 눈동자 학습부(130)는 복수의 얼굴 영상 또는 복수의 사용자의 눈 위치에 대한 영상을 미리 입력받아 미리 지정된 사용자의 눈동자 위치의 픽셀들에 대한 학습을 통해 눈동자를 학습한다. 즉, 눈동자 학습부(130)는 다양한 사용자의 눈동자를 추출하여 평균적인 눈동자 특성을 획득함으로써, 일반적인 눈동자 위치에 대한 눈동자를 학습한다. 유사도 계산부(136)는 얼굴영역 검출부(132)에서 검출된 얼굴 영상과 눈동자 학습부(140)에서 학습된 눈동자 영상과의 비교를 통해 얼굴 영상의 각 픽셀에 대한 눈동자 유사도를 계산한다. 이후, 유사도 계산부(136)는 유사도를 계산한 결과 중에서 눈동자 위치를 계산한다. 여기서, 눈동자 위치는 미리 설정된 눈동자에 대응되는 임계값을 초과하는 픽셀이 포함된 지점이다. 눈 위치 계산부(138)는 유사도 계산부(120)에서 계산된 눈동자 위치에 해당하는 픽셀이 포함된 지점을 이용하여 사용자의 눈이 실제로 위치한 지점의 기하학적인 눈 위치를 계산한다. 즉, 눈 위치 계산부(138)는 카메라로부터 양쪽 눈 방향의 각도와 양쪽 눈 사이의 거리 등을 이용하여 기하학적인 눈 위치를 계산한다.

도 6은 도 2에 도시된 주행 도로 모델 생성부의 구성을 보여주는 기능 블록도이다.

도 6을 참조하면, 주행 도로 모델 생성부(150)는 차선 검출부(110)로부터의 차선 정보(11)와 경로 탐색부(120)로부터의 차로 진행 방향 정보(12-1)를 이용하여 주행 도로 모델을 생성한다. 이를 위해, 주행 도로 모델 생성부(150)는 차로 인덱스 구성부(152) 및 매핑부(154)를 포함한다. 차로 인덱스 구성부(152)는 차선 검출부(110)에 의해 검출된 차로 정보(11)를 이용하여 차량이 현재 주행하고 있는 주행 차로를 지시하는 차로 인덱스 정보(52)를 구성한다. 매핑부(154)는 경로 탐색부(120)에 의해 제공되는 차로 진행 방향 정보(12-1)와 차로 인덱스 구성부(152)에 의해 구성된 차로 인덱스 정보(52)를 매핑하여 주행 도로 모델 정보(15)를 생성한다. 이하, 도 7을 참조하여 주행 도로 모델 생성부에서 수행되는 주행 도로 모델 생성 방법에 대해 설명한다.

도 7은 도 2에 도시된 주행 도로 모델 생성부에서의 주행 도로 모델 생성 방법을 개념적으로 설명하기 위한 도면이다.

도 7에 도시된 바와 같이, 차로 진행 방향 정보(12-1)에는 좌회전, 우회전, 직진 또는 유턴을 지시하는 차로 진행 방향(12-1A)과 현재 도로의 차로 개수(12-1B: 본 발명의 실시 예에서는 4개의 차로가 예시됨)가 포함되고, 차선 정보(11)에는 중앙 차선(52A)에 의해 정의되는 중앙 차로를 기준으로 차량이 현재 주행하고 있는 주행 차선(52B)에 의해 정의되는 주행 차로가 포함된다.

주행 도로의 모든 차로들의 진행 방향 정보는 경로 탐색부(120)로부터 수신되는 차로 진행 방향 정보(12-1)를 통해 획득할 수 있으나, 이러한 정보만으로는 차량이 현재 몇 차로를 주행 중인지는 확인할 수 없다. 반면, 현재 차량이 몇 차로를 주행 중인지는 차선 추출부(110)로부터 수신되는 차선 정보(11)를 통해 확인할 수 있으나, 주행 도로의 모든 차로들의 차로 진행 방향(12-1A)는 획득할 수 없다. 이에, 주행 도로 모델 생성부(150)에서는 경로 탐색부(120)로부터 수신되는 차로 진행 방향 정보(12-1)와 차선 추출부(110)로부터 수신되는 차선 정보(11)를 결합하여 차량의 차로 진행 방향에 현재 주행 중인 차량의 주행 차로를 매핑함으로써, 주행 도로 모델을 생성할 수 있다. 예컨대, 차선 정보(11)를 통해 차량의 현재 주행 차로가 2차로이고, 차로 진행 방향 정보(12-1)를 통해 차량 주행 진행 방향이 직진 방향인 것으로 확인되면, 2차로와 직진 방향을 매핑한 주행 도로 모델 정보가 도 7의 참조 번호 15와 같이 모델링 될 수 있다.

도 8은 도 1에 도시된 차로 변경 모델 생성부의 구성을 보여주는 기능 블록도이고, 도 9는 도 1에 도시된 차로 변경 생성부에서 수행되는 차로 변경 정보의 생성 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 차로 변경 모델 생성부(160)는 주행 도로 모델 생성(150)로부터의 주행 도로 모델 정보(15), 경로 탐색부(120)로부터 경로 안내 정보(12-2) 및 차선 검출부(110)로부터의 차선 정보(11)를 이용하여 차로 변경 그래픽 정보(16)를 생성한다. 이를 위해, 차로 변경 모델 생성부(160)는 테이블 저장부(161), 차로 변경 정보 생성부(163), 그래픽 정보 생성부(165), 그래픽 개체 저장부(167) 및 표시 영역 추출부(169)를 포함한다.

테이블 저장부(161)에는 차로 변경 정보(63)를 생성하기 위한 차로 변경 매핑 테이블(61)이 저장된다. 차로 변경 매핑 테이블(61)은 차로 진행 방향 정보(12-1)와 경로 안내 정보(12-2) 간의 매핑 관계를 정의한 테이블이다. 즉, 차로 변경 매핑 테이블은 차량이 주행 중인 차로 진행 방향 정보(12-1)와 전방 교차로, 갈림길, 진/출입로 등에서의 경로 안내 정보(12-2)가 주어졌을 때를 가정하여 차로의 유지 및 변경을 미리 계산한 테이블이다. 도 9의 참조 번호 61은 차로 변경 매핑 테이블의 일 예로서, 도로 교통법상 우측 통행을 원칙으로 하는 국가에서 적용되는 테이블이다. 따라서, 영국과 같이 우측 통행을 원칙으로 하는 국가에서는 도 9의 차로 변경 매핑 테이블 내의 모든 화살표들의 방향이 반대 방향으로 구성될 수 있다.

도 9에 도시된 바와 같이, 차로 진행 방향 정보가 직진이고 경로 안내 정보가 좌회전인 경우, 즉, 자동차가 직진 차로에서 주행 중이고 전방 교차로에서 좌회전을 해야 하는 경우, 차로 변경 매핑 테이블(61)에는 좌측 차로로의 변경을 나타내는 차로 변경 정보(61-1)가 저장된다. 이는 차량이 직진 차로에서 주행 중이면 전방 교차로에서 좌회전을 해야 하는 경우 현재 차로에서 좌측 차로의 변경을 의미한다. 차로 진행 방향 정보가 직진이고 경로 안내 정보가 직진인 경우, 즉, 차량이 직진 차로에서 주행 중이고 전방 교차로에서 직진을 해야 하는 경우, 차로 변경 매핑 테이블(61)에는 직진을 나타내는 차로 변경 정보(61-2)가 저장된다. 이는 차량이 직진 차로에서 주행 중이고, 전방 교차로에서 직진을 해야 하는 경우, 현재 차로를 유지해야 함을 의미한다. 차로 진행 방향 정보가 직진이고 경로 안내 정보가 우회전인 경우, 즉, 차량이 직진 차로에서 주행 중이고 전방 교차로에서 우회전을 해야 하는 경우, 차로 변경 매핑 테이블(61)로부터 우측 차로로의 변경을 나타내는 차로 변경 정보(61-3)가 저장된다. 이는 차량이 직진 차로에서 주행 중이고, 전방 교차로에서 우회전을 해야 하는 경우, 현재 차로의 우측 차로로 차로를 변경해야 함을 의미한다.

차로 변경 정보 생성부(163)는 테이블 저장부(161)로부터의 차량 변경 매핑 테이블(61)과, 주행 도로 모델 생성부(150)와 경로 탐색부(120)로부터 각각 주행 도로 모델 정보(15)와 경로 안내 정보(12-2)를 입력 받는다. 차량 변경 정보 생성부(163)는 차량 변경 매핑 테이블(61)을 참조하여 주행 도로 모델 생성부(150)와 경로 안내 정보(12-2)에 맵핑되는 차량 변경 정보(63)를 생성한다. 도 9에 도시된 차량 변경 정보 생성과정은 차량 변경 매핑 테이블(61)에 저장된 차로 변경 정보(61-1)가 생성되는 과정으로서, 차로 변경 정보 생성부(163)가 주행차로가 2차로이고, 차로 진행 방향이 직진으로 모델링 된 주행 도로 모델 정보(15)와 전방의 교차로에서 좌회전을 안내하는 경로 안내 정보(12-2)를 입력받은 경우, 차량 변경 매핑 테이블(61) 내에서 이들 정보들(15, 12-2)에 각각 매핑되는 차로 변경 정보(61-1)가 생성되는 예를 도시한 것이다.

그래픽 정보 생성부(165)는 차로 변경 정보 생성부(163)로부터의 차로 변경 정보(63), 그래픽 개체 저장부(167)로부터의 그래픽 개체 정보(67) 및 표시 영역 추출부(167)로부터의 표시 영역 정보(69)를 입력받고, 그래픽 개체 정보(65) 및 표시 영역 정보(69)를 이용하여 차로 변경 정보(63)를 그래픽 형태로 변환한 차로 변경 그래픽 정보(16)를 생성한다. 차로 변경 그래픽 정보를 생성하는 과정에 대해서는 아래의 도 10을 참조하여 상세히 설명하기로 한다.

그래픽 개체 저장부(167)에는 차로 변경 정보(63)에 포함된 차로 변경 방향을 시각적으로 나타내는 다양한 그래픽 개체들이 저장된다.

표시 영역 추출부(169)는 표시 화면 내에서 차로 변경 방향에 대응하는 그래픽 개체들이 표시될 표시 영역을 추출한다. 이 표시 영역은 차선 검출부(110)로부터의 차선 정보(11)에 포함된 차선들과, 이 차선들을 교차하는 2개의 가상선에 의해 형성되는 영역으로 정의될 수 있다.

이하, 도 10을 참조하여 차로 변경 그래픽 정보를 생성하는 과정에 대해 설명한다.

도 10은 도 9에 도시된 그래픽 정보 생성부에서 수행되는 차로 변경 그래픽 정보의 생성 과정을 설명하기 위한 도면이고, 도 11A 내지 도 11E는 도 10에 도시된 5개의 표시 영역을 보여주는 도면들이다.

도 10을 참조하면, 먼저, 표시 영역 검출부(169)가 차선 검출부(110)에 의해 검출된 차선 정보를 입력 받으면, 입력받은 차선 정보를 이용하여 차로 변경 정보를 표시하기 위한 표시 화면 내의 표시 영역을 추출하는 과정을 수행된다. 표시 영역은 설계자에 따라 다양한 형태의 표시 영역이 정의될 수 있다. 특별히 한정하는 것은 아니지만, 본 발명의 일 실시 예에서는 주행 차로 영역(R1), 좌측 차로 영역(R2), 우측 차로 영역(R3), 좌측 중앙 영역(R4) 및 우측 중앙 영역(R5)을 포함하는 5개의 표시 영역들이 정의된다. 이하, 도 11A 내지 도 11E를 참조하여 5개의 표시 영역들에 대해 상세히 설명한다. 먼저, 차선 검출부(110)에 의해 하나의 중앙 차선(CL1: Center Lane 1)과 4개의 차선들(L1~L4)이 검출된 경우를 가정한다. 따라서, 주행 차로는 L2와 L3에 의해 정의되고, 좌측 차로는 L1과 L2에 의해 정의되고, 우측 차로는 L3와 L4에 의해 정의된다. 5개의 표시 영역들을 추출하기 위해, 표시 화면을 정면에서 바라볼 때, 상기 차선들(CL1, L1~L4)을 수평방향으로 가로지르고, 서로 평행하게 연장되는 2개의 가상 선들(IL1, IL2: Imaginary Line)이 정의된다. 주행 차로 표시 영역(R1)은 도 11A에 도시된 바와 같이, 주행 차로를 정의하는 차선들(L2, L3)과 상기 차선들(L2, L3)을 가로지르는 2개의 가상 선들(IL1, IL2)에 의해 형성되는 영역으로 정의된다. 좌측 차로 표시 영역(R2)은 도 11B에 도시된 바와 같이, 좌측 차로를 정의하는 차선들(L1, L2)과 상기 차선들(L1, L2)을 수평방향으로 가로지르는 2개의 가상 선들(IL1, IL2)에 의해 형성되는 영역으로 정의된다. 우측 차로 표시 영역(R3)은 도 11C에 도시된 바와 같이, 우측 차로를 정의하는 차선들(L3, L4)과 상기 차선들(L3, L4)을 수평방향으로 가로지르는 2개의 가상 선들(IL1, IL2)에 의해 형성되는 영역으로 정의된다. 좌측 중앙 표시 영역(R4)은 도 11D에 도시된 바와 같이, 가상선(IL1)과 차선들(L1, L2)이 만나는 2개의 점들(P1, P2)을 연결하는 선분을 이등분하는 점(Pa)과, 가상선(IL2)과 차선들(L1, L2)이 만나는 2개의 점들(P3, P4)을 연결하는 선분을 이등분하는 점(Pb)과, 가상선(IL1)과 차선들(L2, L3)이 만나는 2개의 점들(P2, P5)을 연결하는 선분을 이등분하는 점(Pc) 및 가상선(IL2)과 차선들(L2, L3)이 만나는 2개의 점들(P4, P7)을 연결하는 선분을 이등분하는 점(Pd)을 직선으로 연결하여 형성되는 영역으로 정의된다. 우측 중앙 표시 영역(R5)은 도 11E에 도시된 바와 같이, 가상선(IL1)과 차선들(L3, L4)이 만나는 2개의 점들(P5, P6)을 연결하는 선분을 이등분하는 점(Pe)과, 가상선(IL2)과 차선들(L3, L4)이 만나는 2개의 점들(P7, P8)을 연결하는 선분을 이등분하는 점(Pf)과, 상기 점(Pc) 및 상기 점(Pd)을 직성으로 연결하여 형성되는 영역으로 정의된다.

다시 도 10을 참조하면, 그래픽 정보 생성부(165)는 차로 변경 정보 생성부(163)로부터 입력되는 차로 변경 정보(63)에 따라 표시 영역 추출부(169)로부터 제공되는 차로 변경 표시 영역들(R1, R2, R3, R4, R5) 중 어느 하나의 표시 영역을 선택한다. 예컨대, 그래픽 정보 생성부(165)가 좌측 차로로의 변경을 지시하는 차로 변경 정보(63)을 입력 받는 경우, 주행 차로 표시 영역(R1), 좌측 차로 표시 영역(R2), 좌측 중앙 표시 영역(R4) 중 어느 하나의 표시 영역을 선택하며, 우측 차로로의 변경의 지시하는 차로 변경 정보(63)을 입력 받는 경우, 주행 차로 표시 영역(R1), 우측 차로 표시 영역(R3), 우측 중앙 표시 영역(R5) 중 어느 하나의 표시 영역을 선택한다.

표시 영역이 선택되면, 그래픽 정보 생성부(165)는 그래픽 개체 저장부(167)에서 저장된 그래픽 개체 정보 중에서 차로 변경 정보(63)에 대응하는 그래픽 개체 정보(65)를 입력 받고, 입력 받은 그래픽 개체 정보(65)를 선택된 표시 영역에 매핑한 차로 변경 그래픽 정보(16)를 생성한다. 예컨대, 도 10에 도시된 바와 같이, 그래픽 정보 생성부(165)가 좌측 차로로의 변경을 지시하는 차로 변경 정보(63)를 입력 받는 경우, 좌측 차로로의 변경을 시각적으로 나타내는 좌측 차로 그래픽 개체(65A)를 포함하는 그래픽 개체 정보(65)와 사용자에 의해 선택된 좌측 중앙 표시 영역(R4)을 포함하는 표시 영역 정보(69)입력 받아서, 좌측 상기 차로 그래픽 개체(65A)를 좌측 중앙 표시 영역(R4)에 매핑한 차로 변경 그래픽 정보(16)를 생성한다.

도 12는 도 2에 도시된 증강 현실 정합부의 구성을 보여주는 블록도이다.

도 12를 참조하면, 증강 현실 정합부(170)는 차로 변경 모델 생성부로부터의 차로 변경 그래픽 정보(16)와 눈 위치 검출부(130)로부터의 운전자의 눈 위치 정보(13)를 이용하여, 운전자의 시점에 정합된 위치에 표시되는 증강 현실 기반의 차로 변경 그래픽 정보를 생성한다. 이를 위해, 증강 현실 정합부(170)는 좌표계 저장부(171), 좌표계 변환부(173) 및 정합부(175)를 포함한다. 좌표계 저장부(171)에는 차량 기반의 좌표계가 저장되어, 이를 좌표계 변환부(173)로 입력한다.

좌표계 변환부(173)는 차로 변경 모델 생성부(160)로부터의 차로 변경 그래픽 정보를 입력받고, 상기 차로 변경 그래픽 정보(16)를 표현하기 위해 사용된 영상 기반의 좌표계를 차량 기반의 공통 좌표계로 변환한다. 여기서, 차량 기반의 공통 좌표계란 운전자의 눈 위치 정보에 포함된 시선 방향 및 시야각을 기반으로 운전석 전방의 실세계 정보를 표현하기 위해, 사전에 학습된 좌표계를 의미한다. 차로 변경 모델 생성부(160)로부터 입력된 차로 변경 그래픽 정보는 차량에 설치된 차선 영상 획득부(210)의 설치 위치에 따른 좌표계로 표현된다. 여기서, 실세계 정보는 운전석 전방의 윈드 쉴드를 통해 실제로 보여지는 정보를 의미한다. 따라서, 증강 현실 표시부(190)가 차선 영상 획득부(210)의 설치 위치에 따른 좌표계를 기반으로 차로 변경 그래픽 정보(16)를 표시하면, 운전자의 눈 위치에 따른 시점과 다른 시점에서 차로 변경 그래픽 정보가 표시된다. 따라서, 차로 변경 그래픽 정보(16)를 표현하는 차선 영상 획득부(210)의 설치 위치에 따른 좌표계는 운전자의 시점에 정합될 수 있는 차량 기반의 공통 좌표계로 변환되어야 한다.

정합부(173)는 눈 위치 검출부(130)로부터 입력된 운전자의 눈 위치 정보(130)에 포함된 시선 방향 및 시야각을 기반으로 운전석 전방의 실세계 정보의 위치에 차량 기반의 공통 좌표계로 표현되도록 변환된 차로 변경 그래픽 정보(16)를 정합한다. 즉, 정합부(173)는 운전자의 눈 위치 정보(130)를 기반으로 차량 기반의 공통 좌표계에 차량 기반의 공통 좌표계로 표현되도록 변환된 차로 변경 그래픽 정보(16)를 3차원 투영한 증강 현실 기반의 차로 변경 그래픽 정보(17)를 생성한다. 그러면, 생성된 증강 현실 기반의 차로 변경 그래픽 정보(17)는 증강 현실 그래픽 처리부(180)로 입력되고, 증강 현실 그래픽 처리부(180)는 입력받은 증강 현실 기반의 차로 변경 그래픽 정보(17)를 렌더링하여, 이를 증강 현실 표시부(190)로 입력한다. 증강 현실 표시부(190)는 운전서 전방의 윈드 쉴드에 설치된 투명 표시 장치를 구비하여, 투명 표시장치를 통해 레더링된 증강 현실 기반의 차로 변경 그래픽 정보(18)를 운전자 시점에 정합된 위치에 표시하게 된다.

한편, 도 2에 도시된 제어부(140)는 차로 변경 안내 장치에 포함된 각 구성들(110, 120, 130, 150, 160, 170, 180, 190)의 동작을 제어하도록 입력부(240)를 통해 입력되는 사용자 입력(24)을 해석하고, 해석된 사용자 입력을 기반으로 증강 현실 기반의 차로 변경 안내의 표시 방법 및 표시 시기 등을 결정한다. 여기서, 표시 방법의 제어는 색상, 크기, 그래픽 개체, 애니메이션 지원 등의 정보 표현 방법 제어를 의미한다. 표시 시기의 제어는 차로 변경 안내 시작, 유지, 중지 등의 거리 및 시간의 제어 방법을 의미한다. 예컨대, 차로 변경 안내 시작의 제어는 전방 교차로 이전 400m 또는 10초 전에 증강 현실 기반의 차로 변경 안내의 시작할 수 있다. 차로 변경 안내의 유지는 차로 변경 안내를 10m 당 1회 또는 1초당 1회 깜박임 등으로 그 표시 주기를 제어할 수 있다. 차로 변경 안내의 중지는 교차로를 통과한 이후, 교차로로부터 10m 거리에 도달한 지점에서 차로 변경 안내를 중지하거나 교차로를 통과한 이후, 1초 이후에 차로 변경 안내를 중지할 수 있다.

도 13은 본 발명의 일 실시 예에 따른 증강 현실 기반의 차로 변경 안내 방법을 보여주는 순서도이다.

도 13을 참조하면, 먼저, S1310에서, 주행 차선 정보를 검출하는 과정이 수행된다. 구체적으로 차량에 설치된 카메라를 통해 주행중인 차량의 전방을 촬영하는 과정이 수행되고, 차선 검출 알고리즘을 이용해 촬영된 전방 영상으로부터 차선 영상을 검출하는 과정이 수행된다. 이때, 검출 차선 영상은 색상값 기반으로 검출된 중앙 차선과 이 중앙 차선을 기준으로 검출된 다수의 차선들로 이루어진 객체를 포함한다.

이어, S1320에서, 주행 도로 모델 정보를 생성하는 과정이 수행된다. 주행 도로 모델은 현재 주행 도로에서의 차량의 진행 방향을 모델링 한 정보로서, 수신된 GPS 신호에 포함된 차로 진행 방향 정보와 상기 검출된 주행 차선 정보를 매핑하여 생성된다.

이어, S1330에서, 차로 변경 정보를 생성하는 과정이 수행된다. 차로 변경 정보는 상기 GPS 신호에 포함된 경로 안내 정보와 상기 주행 도로 모델 정보를 결합하여 생성되는 정보로서, 구체적으로, 사전에 계산된 차로 변경 매핑 테이블을 참조하여, 상기 경로 안내 정보와 상기 주행 도로 모델 정보에 의해 매핑되는 상기 차로 변경 정보를 상기 차로 변경 매핑 테이블로부터 추출하여 생성될 수 있다.

이어, S1340에서, 생성된 차로 변경 정보를 그래픽 개체로 변환하는 과정이 수행된다. 그래픽 개체는 차로 변경을 시각적으로 나타낼 수 있는 다양한 형태로 표현될 수 있다. 예컨대, 화살표 머리와 같은 형태와 같은 그래픽 이미지일 수 있다.

이어, S1350에서, 상기 차선 영상에서 상기 그래픽 개체가 표시되는 영역을 추출하는 과정이 수행된다. 상기 표시 영역은 상기 차선 영상에 나타나는 다수의 차선들과, 상기 다수의 차선들과 수평방향으로 교차하는 2개의 가상 선들에 의해 정의되는 복수의 영역들 중 어느 하나일 수 있다. 여기서, 상기 2개의 가상 선들은 상기 차선들이 소실되는 소실점(vanishing point)을 지나도록 연장되는 상측 가상선(IL1)과 상기 상측 가상선(IL1)에 평행하게 연장되는 하측 가상선(IL2)으로 이루어진다. 구체적으로, 상기 표시 영역은 주행 차로 표시 영역(R1), 좌측 차로 표시 영역(R2), 우측 차로 표시 영역(R3), 좌측 중앙 표시 영역(R4) 및 우측 중앙 표시 영역(R5) 중 어느 하나일 수 있다. 일례로, 도 11A 내지 도 11E에 도시된 바와 같이, 좌측 차로 표시 영역(R2)은 상기 상측 가상선(IL1), 상기 하측 가상선(IL2), 상기 제1 및 제2 차선(L1, L2)에 의해 형성되고, 우측 차로 표시 영역(R3)은 상기 상측 가상선(IL1), 상기 하측 가상선(IL2), 상기 제3 차선 및 제4 차선(L3, L4)에 의해 형성되고, 주행 차로 표시 영역(R1)은 상기 상측 가상선(IL1), 상기 하측 가상선(IL2), 상기 제2 차선 및 제3 차선(L2, L3)에 의해 형성된다. 그리고, 좌측 중앙 표시 영역(R4)은 상기 상측 가상선(IL1)과 상기 제1 및 제2 차선이 만나는 2개의 점들(P1, P2)을 연결하는 선분을 이등분하는 점과, 상기 하측 가상선(IL2)과 상기 제1 및 제2 차선(L1, L2)이 만나는 2개의 점들(P3, P4)을 연결하는 선분을 이등분하는 점(Pb)과, 상기 상측 가상선(IL1)과 상기 제2 및 제3 차선(L2, L3)이 만나는 2개의 점들(P2, P5)을 연결하는 선분을 이등분하는 점(Pc) 및 상기 하측 가상선(IL2)과 상기 제2 및 제3 차선들(L2, L3)이 만나는 2개의 점들(P4, P7)을 연결하는 선분을 이등분하는 점(Pd)을 직선으로 연결하여 형성될 수 다. 우측 중앙 표시 영역(R5)은 상기 상측 가상선(IL1)과 제3 및 제4 차선(L3, L4)이 만나는 2개의 점들(P5, P6)을 연결하는 선분을 이등분하는 점(Pe)과, 상기 하측 가상선(IL2)과 상기 제3 및 제4 차선들(L3, L4)이 만나는 2개의 점들(P7, P8)을 연결하는 선분을 이등분하는 점(Pf)과, 상기 점(Pc) 및 상기 점(Pd)을 직선으로 연결하여 형성될 수 있다.

이어, S1360에서, 표시 영역이 추출되면, 상기 차로 변경 정보를 차로 변경 그래픽으로 모델링 하는 과정이 수행된다. 이러한 모델링 과정은 상기 추출된 표시 영역에 상기 그래픽 개체를 매핑하여 이루어질 수 있다.

이어, S1370에서, 상기 차로 변경 정보가 차로 변경 그래픽으로 모델링되면, 모델링된 차로 변경 그래픽을 증강 현실 기반의 표시 화면에 표시하는 과정이 수행된다. 이때, 모델링된 차로 변경 그래픽은 2차원 영상의 좌표계로 표현되는 정보이므로, 이를 증강 현실 기반의 표시 화면에 표시하기 위해, 증강 현실 기반의 3차원 영상 좌표계로 변환하여 상기 차로 변경 그래픽을 증강 현실 기반의 그래픽으로 변환한다. 이후, 증강 현실 기반으로 변환된 상기 차로 변경 그래픽을 표현하는 위치 정보(좌표 정보)와 눈 위치 검출부(130)에 의해 검출된 운전자의 눈 위치 정보가 정합되고, 운전자의 눈 위치 정보에 정합된 상기 차로 변경 그래픽이 상기 증강 현실 기반의 표시 화면에 표시된다. 이와 같이, 운전자가 목적지까지 자동차를 주행하는 과정에서, 차로 변경이 필요한 때에 운전자 시점에 맞추어 차로 변경 정보를 증강현실로 표현함으로써, 차로 진행 방향을 확인하기 위한 불편함과 주의 분산을 경감하여 운전 안전성 및 편의성을 증대시킬 수 있다.

전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시 예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

증강 현실 기반의 차로 변경 안내 방법에 있어서,
주행중인 차량의 전방을 촬영한 전방 영상으로부터 상기 차량이 현재 주행 중인 차로가 몇 차로인지를 나타내는 주행 차선 정보를 검출하는 단계;
수신된 GPS 신호에 포함된 차로 진행 방향 정보와 상기 검출된 주행 차선 정보를 매핑한 주행 도로 모델 정보를 생성하는 단계;
상기 GPS 신호에 포함된 경로 안내 정보와 상기 주행 도로 모델 정보를 결합하여 차로 변경 정보를 생성하는 단계; 및
상기 차로 변경 정보를 그래픽 정보로 변환하고, 변환된 그래픽 정보를 차량 내의 증강 현실 기반의 표시 화면을 통해 표시하는 단계
을 포함하는 증강 현실 기반의 차로 변경 안내 방법.
제1항에 있어서, 상기 주행 도로 모델 정보는,
현재 주행 도로에서의 차량의 진행 방향을 나타내는 정보인 것인 차로 변경 안내 방법.
제1항에 있어서, 상기 차로 변경 정보를 생성하는 단계는,
사전에 계산된 차로 변경 매핑 테이블을 저장하는 단계; 및
저장된 상기 차로 변경 매핑 테이블을 참조하여, 상기 경로 안내 정보와 상기 주행 도로 모델 정보에 매핑되는 상기 차로 변경 정보를 생성하는 단계
를 포함하고,
상기 차로 변경 매핑 테이블은
상기 경로 안내 정보와 상기 차로 진행 방향 정보 간의 매핑 관계를 저장한 것인 차로 변경 안내 방법.
제1항에 있어서, 상기 표시하는 단계는,
차로 변경을 시각적으로 표현하는 다수의 그래픽 개체를 저장한 저장부에서 사용자가 선택한 그래픽 개체를 추출하는 단계; 및
상기 차로 변경 정보를 상기 사용자가 선택한 그래픽 개체로 변환하는 과정;
상기 변환된 그래픽 개체를 상기 그래픽 정보로서 상기 차량 내의 표시 화면을 통해 표시하는 단계
를 포함하는 것인 차로 변경 안내 방법.
제1항에 있어서, 상기 주행 차선 정보를 검출하는 단계는,
차선 검출 알고리즘을 이용하여 상기 전방 영상에 포함된 다수의 차선들을 검출하는 단계;
검출된 상기 다수의 차선들을 구성하는 픽셀들의 색상값을 이용하여 중앙 차선을 나타내는 중앙 차선 정보를 검출하는 단계; 및
검출된 상기 중앙 차선 정보에 포함된 중앙 차선의 위치 정보를 기준으로 상기 차량이 현재 주행 중인 주행 차선을 나타내는 상기 주행 차선 정보를 검출하는 단계를 포함하는 차로 변경 안내 방법.
증강 현실 기반의 차로 변경 안내 장치에 있어서,
차선 검출 알고리즘을 이용하여, 주행중인 차량의 전방을 촬영한 전방 영상으로부터 상기 차량이 현재 주행 중인 차로가 몇 차로인지를 나타내는 주행 차선 정보를 검출하는 차선 검출부;
GPS 수신기를 통해 수신된 GPS 신호에서 검출한 차로 진행 방향 정보와 상기 검출된 주행 차선 정보를 매핑한 주행 도로 모델 정보를 생성하는 주행 도로 모델 정보 생성부;
상기 GPS 신호에 포함된 경로 안내 정보와 상기 주행 도로 모델 정보를 결합하여 차로 변경 정보를 생성하고, 상기 생성된 차로 변경 정보를 2차원 영상의 좌표계로 표현되는 그래픽 정보로 모델링하는 차로 변경 모델 생성부;
눈 위치 검출 알고리즘에 따라 검출된 운전자의 눈 위치 정보와 상기 그래픽 정보를 입력받고, 2차원 영상의 좌표계를 증강 현실 기반의 3차원 영상 좌표계로 변환하여 상기 그래픽 정보를 증강 현실 기반의 그래픽 정보를 변환하고, 변환된 상기 증강 현실 기반의 그래픽 정보에 포함된 차로 변경 정보의 위치 정보와 상기 눈 위치 정보를 정합하는 정합부; 및
상기 정합된 증강 현실 기반의 그래픽 정보를 렌더링하여 차량 내의 운전석 전방에 설치된 투명 표시 장치로 출력하는 그래픽 처리부
를 포함하는 차로 변경 안내 장치.
제6항에 있어서, 상기 주행 도로 모델 정보는,
현재 주행 도로에서의 차량의 진행 방향을 나타내는 정보인 것인 증강 현실 기반의 차로 변경 안내 장치.
제6항에 있어서, 상기 차로 변경 모델 생성부는,
상기 경로 안내 정보와 상기 차로 진행 방향 정보 간의 매핑 관계를 나타내는 차로 변경 매핑 테이블을 저장한 저장부; 및
상기 차로 변경 매핑 테이블을 참조하여, 상기 경로 안내 정보와 상기 주행 도로 모델 정보에 매핑되는 상기 차로 변경 정보를 생성하는 차로 변경 정보 생성부
를 포함하는 증강 현실 기반의 차로 변경 안내 장치.
제8항에 있어서, 상기 차로 변경 모델 생성부는,
차로 변경을 시각적으로 표현하는 다수의 그래픽 개체를 저장한 저장부; 및
상기 저장부에 저장된 상기 다수의 그래픽 개체 중에서 사용자가 선택한 그래픽 개체로 상기 차로 변경 정보를 모델링 하여 상기 그래픽 정보를 생성하는 그래픽 정보 생성부
를 포함하는 증강 현실 기반의 차로 변경 안내 장치.
증강 현실 기반의 차로 변경 안내 방법에 있어서,
주행중인 차량의 전방을 촬영한 전방 영상으로부터 상기 차량이 현재 주행 중인 차로가 몇 차로인지를 나타내는 주행 차선 정보를 검출하는 단계;
수신된 GPS 신호에 포함된 차로 진행 방향 정보와 상기 검출된 주행 차선 정보를 매핑한 주행 도로 모델 정보를 생성하는 단계;
상기 GPS 신호에 포함된 경로 안내 정보와 상기 주행 도로 모델 정보를 결합하여 차로 변경 정보를 생성하는 단계;
생성된 상기 차로 변경 정보를 사용자가 선택한 그래픽 개체로 변환하는 단계;
차선 검출 알고리즘을 통해 상기 전방 영상으로부터 배경이 제거된 차선 영상에서 상기 그래픽 개체가 표시되는 표시 영역을 추출하는 단계;
상기 추출된 표시 영역에 상기 그래픽 개체를 매핑하여, 상기 차로 변경 정보를 차로 변경 그래픽으로 모델링 하는 단계; 및
상기 모델링된 차로 변경 그래픽을 차량 내의 증강 현실 기반의 표시 화면에 표시하는 단계
를 포함하는 증강 현실 기반의 차로 변경 안내 방법.
제10항에 있어서, 상기 표시 영역은,
상기 차선 영상에 나타나는 다수의 차선들과, 상기 다수의 차선들과 수평방향으로 교차하는 2개의 가상 선들에 의해 정의되는 복수의 영역들 중 어느 하나인 것인 증강 현실 기반의 차로 변경 안내 방법.
제11항에 있어서, 상기 2개의 가상 선들은 상기 차선들이 소실되는 소실점(vanishing point)을 지나도록 연장되는 상측 가상선과 상기 상측 가상선에 평행하게 연장되는 하측 가상선으로 이루어지는 것인 증강 현실 기반의 차로 변경 안내 방법.
제12항에 있어서, 상기 다수의 차선들은 제1 내지 제4 차선을 포함하고, 상기 제1 및 제2 차선에 의해 좌측 차로가 정의되고, 제2 및 제3 차선에 의해 주행 차로가 정의되고, 상기 제3 및 제4 차선에 의해 우측 차로가 정의될 때,
상기 표시 영역은,
상기 상측 가상선, 상기 하측 가상선, 상기 제1 및 제2 차선에 의해 형성되는 좌측 차로 표시 영역,
상기 상측 가상선, 상기 하측 가상선, 상기 제3 차선 및 제4 차선에 의해 형성되는 우측 차로 표시 영역, 및
상기 상측 가상선, 상기 하측 가상선, 상기 제2 차선 및 제3 차선에 의해 형성되는 주행 차로 표시 영역
중에서 어느 하나인 것인 증강 현실 기반의 차로 변경 안내 방법.
제12항에 있어서, 상기 다수의 차선들은 제1 내지 제4 차선을 포함하고, 상기 제1 및 제2 차선에 의해 좌측 차로가 정의되고, 제2 및 제3 차선에 의해 주행 차로가 정의되고, 상기 제3 및 제4 차선에 의해 우측 차로가 정의될 때,
상기 표시 영역은,
상기 상측 가상선과 상기 제1 및 제2 차선이 만나는 2개의 점들을 연결하는 선분을 이등분하는 점과, 상기 하측 가상선과 상기 제1 및 제2 차선이 만나는 2개의 점들을 연결하는 선분을 이등분하는 점과, 상기 상측 가상선과 상기 제2 및 제3 차선이 만나는 2개의 점들을 연결하는 선분을 이등분하는 점 및 상기 하측 가상선과 상기 제2 및 제3 차선들이 만나는 2개의 점들을 연결하는 선분을 이등분하는 점을 직선으로 연결하여 형성되는 좌측 중앙 표시 영역; 및
상기 상측 가상선과 제3 및 제4 차선이 만나는 2개의 점들을 연결하는 선분을 이등분하는 점과, 상기 하측 가상선과 상기 제3 및 제4 차선들이 만나는 2개의 점들을 연결하는 선분을 이등분하는 점과, 상기 점 및 상기 점을 직선으로 연결하여 형성되는 우측 중앙 표시 영역
중에서 어느 하나인 것인 증강 현실 기반의 차로 변경 안내 방법.
제10항에 있어서, 상기 주행 도로 모델 정보는,
현재 주행 도로에서의 차량의 진행 방향을 나타내는 정보인 것인 차로 변경 안내 방법.
제10항에 있어서, 상기 차로 변경 정보를 생성하는 단계는,
사전에 계산된 차로 변경 매핑 테이블을 저장하는 단계; 및
저장된 상기 차로 변경 매핑 테이블을 참조하여, 상기 경로 안내 정보와 상기 주행 도로 모델 정보에 매핑되는 상기 차로 변경 정보를 생성하는 단계
을 포함하고,
상기 차로 변경 매핑 테이블은
상기 경로 안내 정보와 상기 차로 진행 방향 정보 간의 매핑 관계를 저장한 것인 차로 변경 안내 방법.