KR100887721B1

KR100887721B1 - 영상 차량 항법 장치 및 방법

Info

Publication number: KR100887721B1
Application number: KR1020070120833A
Authority: KR
Inventors: 이승용; 주인학; 조성익
Original assignee: 한국전자통신연구원
Priority date: 2007-11-26
Filing date: 2007-11-26
Publication date: 2009-03-12
Also published as: JP4700080B2; JP2009128356A

Abstract

본 발명은, 차량에 장착된 카메라로부터 취득한 화면에 관심 지점(Point-Of-Interest)을 중첩하여 출력하기 위한 영상 차량 항법 장치 및 방법에 관한 것이다. 본 발명의 영상 차량 항법 장치는, 카메라로부터 인식된 신호등의 지도 상의 좌표에 대한 관심 지점의 지도상의 상대적인 좌표를 이용하여, 관심 지점을 화면 상에 표시한다. 또한, 신호등을 기준으로 화면을 다수의 기준 영역으로 분할하고, 관심 지점의 지도 상의 위치가 신호등의 좌우 어디에 있는지에 따라, 그리고 관심 지점의 지도 상의 위치가 신호등의 지도 상의 위치에 대해 차량보다 가깝게 있는지 혹은 멀리 있는지에 따라, 관심 지점을 어느 하나의 기준 영역에 대응시킨다. 관심 지점의 지도 상의 위치로부터 직접 계산된 2차원 영상 좌표가 해당 기준 영역에서 벗어난 경우에는 2차원 영상 좌표 대신에 해당 기준 영역에 대응되어 있는 관심 지점 좌표가 화면에 출력된다. 또한, 관심 지점의 좌표는, 그 관심 지점을 대표적으로 나타내는 좌표와, 그 관심 지점의 출입구 등을 나타내는 추가의 좌표를 포함한다.

Description

영상 차량 항법 장치 및 방법{IMAGE CAR NAVIGATION SYSTEM AND METHOD}

본 발명은 차량 항법 장치 및 방법에 관한 것으로서, 특히 차량에 장착된 카메라에 의하여 실시간으로 수집되는 영상에 관심 지점(Point of Interest, POI)을 표시하는 차량 항법 장치 및 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-114-03, 과제명: 텔레매틱스용 실감컨텐츠 구축/관리 기술 개발].

2차원의 지도 형태로 차량의 진행을 안내하는 지도 기반 차량 항법 시스템에서는, 아이콘이나 텍스트의 형태로 지도 화면에 관심 지점(Point of Interest, POI)을 표시한다. POI는 건물, 공원, 시설물 등의 객체를 말하며, POI 정보는 지도 좌표계 상의 점 또는 면 형태의 좌표와 텍스트 정보로 구성된 데이터를 포함한다.

또한, 차량에 장착된 카메라에 의하여 실시간으로 수집된 영상에 의해 차량의 주행을 안내하는 영상 차량 항법 장치에서는, 차량의 전방 영상 위에 중첩하여 POI를 표시한다. 그런데 POI를 영상에 출력하기 위해서는 정확한 카메라의 위치와 자세가 필요하다. 2차원 지도 기반 차량 항법 시스템에서는 차량의 대략적인 위치만 확인되면 경로 안내나 지도 출력 등의 기능을 수행하는 데 큰 문제가 없지만, 영상 차량 항법 시스템에서는 카메라 위치와 자세의 조그만 오차도 차량 항법 기능에 큰 영향을 미친다. 예를 들어, 넓은 도로의 1차선으로 주행하는 경우와 4차선으로 주행하는 경우는 보통의 GPS 수신기와 2차원 차량 항법 시스템의 기능으로는 구분하기 어렵고 구분할 필요도 없지만, POI 정보의 영상 출력에는 큰 차이를 가져오게 된다.

종래에는 정확한 카메라 정보를 얻기 위해, 자이로스코프와 같은 관성 센서를 이용하여 카메라의 위치 및 자세 정보를 보정하는 기술이 알려져 있다. 또한, 자이로스코프와 같은 관성 센서와 경사계를 이용하여 카메라의 방위각 및 경사각을 검출하는 기술도 종래 알려져 있다.

2차원 지도 기반 차량 항법 시스템에서는 고려되지 않지만 영상 차량 항법 시스템에서 고려해야 할 또 하나의 사항은, 도로변의 입구에서 건물이 멀리 떨어져 있거나 건물 영역이 매우 큰 경우, 건물의 실제 위치와 POI의 영상 출력 위치에 차이가 발생할 수 있다는 점이다. 예를 들어, 건물의 중심점만이 POI 좌표로 저장되어 있는 경우에, 건물로 진입하기 위한 입구는 실제로 도로변에 있어 시야에 보이지만, 건물 자체가 POI로서 화면에 출력되지 않는 경우가 발생할 수 있다.

종래의 영상 차량 항법 장치는 정확한 카메라 정보를 얻기 위해 고가의 관성 센서를 사용하기 때문에 제작 단가가 상승하는 문제점이 있다. 또한, 종래의 영상 차량 항법 장치는 POI에 대한 단일 좌표만을 제공하기 때문에, 시야에는 대형 건물이 들어오지만 해당 건물이 POI로서 영상에 출력되지 않는 경우가 있어서, 운전자에게 정확한 길 안내를 할 수 없는 문제점이 있다.

따라서 본 발명의 목적은, 저가이면서 정확한 카메라 정보를 취득할 수 있는 영상 차량 항법 장치 및 방법을 제공하는 것이다.

본 발명의 다른 목적은, 고가의 관성 센서 없이도 GPS 수신기와 카메라만을 사용하고, 카메라에서 취득된 영상으로부터 인식한 결과를 활용하여 POI 정보를 실시간 영상에 중첩하여 출력할 수 있는 영상 차량 항법 장치 및 방법을 제공하는 것이다.

본 발명의 또 다른 목적은, 종래의 POI 데이터 구성 방식과는 달리 POI 좌표(점 또는 면)와 연관된 추가적인 점 데이터를 사용함으로써 건물이 화면에 나타나지 않는 경우에도 주행중에 도로변에서 실제 필요한 출입구의 위치를 화면상에 출력하여 운전자의 길찾기를 도와줄 수 있는 영상 차량 항법 장치 및 방법을 제공하는 것이다.

상기와 같이 목적을 달성하기 위한 본 발명의 영상 차량 항법 장치는, 관심 지점을 화면에 표시하기 위한 영상 차량 항법 장치로서, 차량에 장착된 카메라로부 터 상기 화면을 취득하는 데이터 입력부와, 상기 화면으로부터 기준 객체를 인식하는 영상 인식부와, 상기 관심 지점 및 기준 객체의 지도 상의 위치에 관한 정보를 제공하는 전자 지도부와, 상기 기준 객체의 지도 상의 위치와 상기 관심 지점의 지도 상의 위치 사이의 상대적인 위치 관계를 이용하여 상기 기준 객체를 기준으로 한 상기 관심 지점의 상기 화면 상의 관심 지점 위치를 결정하는 연산부와, 상기 화면 상의 상기 관심 지점 위치에 상기 관심 지점을 표시하는 출력부를 포함한다.

또한, 상기와 같은 목적을 달성하기 위해 본 발명의 영상 차량 항법 방법은, 관심 지점을 화면에 표시하기 위한 영상 차량 항법 방법으로서, (a) 차량에 장착된 카메라로부터 상기 화면을 데이터 입력부에 의해 취득하는 단계와, (b) 영상 인식부에 의해, 상기 화면으로부터 기준 객체를 인식하는 단계와, (c) 전자 지도부에 의해 제공되는 상기 기준 객체의 지도 상의 위치와 상기 관심 지점의 지도 상의 위치 사이의 상대적인 위치 관계를 이용하여 상기 기준 객체를 기준으로 한 상기 관심 지점의 상기 화면 상의 관심 지점 위치를 연산부에 의해 결정하는 단계와, (d) 출력부에 의해, 상기 화면 상의 상기 관심 지점 위치에 상기 관심 지점을 표시하는 단계를 포함한다.

이때 기준 객체는 신호등이 될 수 있다.

따라서 본 발명에 따르면, 기존의 고가의 관성 센서 없이도 기준 객체에 대한 관심 지점의 상대적인 지도 상의 위치만으로, 관심 지점을 특정할 수 있다.

또한, 본 발명의 영상 차량 항법 장치 및 방법에서, 상기 연산부는, 상기 기 준 객체를 기준으로 상기 화면을 복수의 화면 기준 영역으로 분할하는 화면 기준 영역 설정부를 포함하고, 상기 화면 기준 영역 설정부는, 상기 관심 지점을 상기 복수의 화면 기준 영역 중 하나의 화면 기준 영역에 대응시킴으로써 상기 관심 지점 위치를 결정한다. 이때, 화면 기준 영역에 대한 관심 지점의 대응 관계는, 차량과 기준객체와 관심 지점 사이의 위치 관계에 의해 결정된다.

또한, 본 발명의 영상 차량 항법 장치 및 방법에서, 상기 출력부는, 상기 관심 지점의 지도 상의 위치로부터 2차원 영상 좌표를 계산하고, 상기 관심 지점 위치가 대응되어 있는 화면 기준 영역에서 상기 2차원 영상 좌표가 벗어나 있는 경우에는, 상기 2차원 영상 좌표에 상기 관심 지점을 표시하는 대신에 상기 관심 지점 위치에 상기 관심 지점을 표시한다.

따라서, 3차원 지도 좌표로부터 계산된 관심 지점의 2차원 영상 좌표에 에러가 있는 경우에, 그 2차원 영상 좌표 대신에, 기준 영역 설정 과정에서 특정된 관심 지점 위치에 해당 관심 지점을 표시할 수 있기 때문에, 화면 상에 보다 정확한 위치에 관심 지점을 표시할 수 있다.

또한, 본 발명의 영상 차량 항법 장치 및 방법에서, 상기 영상 인식부는 상기 화면으로부터 상기 차량 전방의 차선을 인식하는 차선 인식부를 포함하고, 상기 연산부는 상기 차선 인식부에 의해 인식된 차선에 관한 정보로부터 상기 차량의 차량 방위각을 연산하는 방위각 연산부를 포함할 수 있다.

이때, 상기 출력부는, 상기 관심 지점의 지도 상의 위치로부터 2차원 영상 좌표를 계산하는 데 이용하는 차량 방위각으로서, 상기 연산부에 의해 연산된 차량 방위각과 GPS 수신기로부터 제공받은 차량 방위각 중 어느 하나의 차량 방위각을 선택할 수 있다.

따라서, GPS 데이터에 대한 신뢰도가 높은 차속 구간(예컨대 20km/h)에서는 GPS 수신기로부터의 차량 방위각을 이용하고, 그렇지 않은 경우에는 인식된 차선으로부터 연산된 차량 방위각을 이용할 수 있기 때문에, 지도 상의 관심 지점 위치로부터 2차원 영상 좌표를 계산하는 데 이용될 차량 방위각을 보다 정확하게 특정할 수 있다.

또한, 본 발명의 영상 차량 항법 장치 및 방법에서, 상기 영상 인식부는 상기 화면으로부터 인식한 차선에 관한 정보로부터 상기 차량의 주행 차로를 인식하는 주행 차로 인식부를 포함하고, 상기 연산부는, 상기 차선 인식부에 의해 인식된 주행 차로에 관한 정보로부터 상기 차량의 위치를 연산하는 위치 연산부를 포함할 수 있다.

이때, 상기 데이터 입력부는 GPS 수신기로부터 상기 차량의 위치 정보를 수신하고, 상기 위치 연산부는, 상기 GPS 수신기로부터 수신한 차량의 위치 정보를, 상기 주행 차로 인식부에 의해 인식된 주행 차로에 관한 정보에 의해 보정함으로써 상기 차량의 위치를 연산한다.

따라서, GPS 수신기로부터의 정보에 의해 도로의 중심선으로 특정된 차량의 위치에 대해 도로 중심선으로부터 직각인 방향의 거리 오차를 없앨 수 있다.

또한, 본 발명의 영상 차량 항법 장치 및 방법에서, 상기 관심 지점은 지도 상의 복수의 관심 지점 좌표에 연관되어 있으며, 상기 연산부는 상기 상대적인 위치 관계를 결정하기 위해, 상기 복수의 관심 지점 좌표 중 어느 하나의 관심 지점 좌표를 상기 관심 지점의 상기 지도 상의 위치로 특정할 수 있다.

따라서 관심 지점을 대표하는 좌표와 그 좌표와 링크되어 해당 관심 지점의 출입구 등을 나타내는 좌표를 포함하는 복수의 좌표에 의해 필요에 따라 관심 지점의 위치를 화면 상에 나타낼 수 있기 때문에, 관심 지점을 보다 정확하게 특정할 수 있다.

본 발명에 따르면, 기존의 고가의 관성 센서 없이도 기준 객체에 대한 관심 지점의 상대적인 지도 상의 위치만으로 관심 지점을 특정할 수 있는 효과가 있다.

또한, 본 발명에 따르면, 3차원 지도 좌표로부터 계산된 관심 지점의 2차원 영상 좌표에 에러가 있는 경우에, 그 2차원 영상 좌표 대신에, 기준 영역 설정 과정에서 특정된 관심 지점 위치에 해당 관심 지점을 표시할 수 있기 때문에, 화면 상에 보다 정확한 위치에 관심 지점을 표시할 수 있는 효과가 있다.

또한, 본 발명에 따르면, GPS 데이터에 대한 신뢰도가 높은 차속 구간(예컨대 20km/h)에서는 GPS 수신기로부터의 차량 방위각을 이용하고, 그렇지 않은 경우에는 인식된 차선으로부터 연산된 차량 방위각을 이용할 수 있기 때문에, 지도 상 의 관심 지점 위치로부터 2차원 영상 좌표를 계산하는 데 이용될 차량 방위각을 보다 정확하게 특정할 수 있다.

또한, 본 발명에 따르면, GPS 수신기로부터의 정보에 의해 도로의 중심선으로 특정된 차량의 위치에 대해 도로 중심선으로부터 직각인 방향의 거리 오차를 없앨 수 있는 효과가 있다.

또한, 본 발명에 따르면, 관심 지점을 대표하는 좌표와 그 좌표와 링크되어 해당 관심 지점의 출입구 등을 나타내는 좌표를 포함하는 복수의 좌표에 의해 필요에 따라 관심 지점의 위치를 화면 상에 나타낼 수 있기 때문에, 관심 지점을 보다 정확하게 특정할 수 있는 효과가 있다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.

도 1은 본 발명의 실시예에 따른 영상 차량 항법 장치의 구성도이고, 도 2는 도 2의 세부 구성도이다. 영상 차량 항법 장치(100)는 데이터 입력부(10), 전자 지도부(20), 영상 인식부(30), 연산부(40), 및 출력부(50)를 포함한다.

데이터 입력부(10)는, 도시되지 않은 GPS 수신기와 카메라로부터 차량의 현재 위치와 차량 전방의 영상을 취득한다. 전자 지도부(20)는, POI의 위치 좌표값 및 해당 POI를 설명하는 텍스트(예를 들어 'ABC 빌딩'과 같은 건물 명칭)를 포함하는 POI 데이터, 신호등의 위치 좌표값을 포함하는 신호등 데이터, 및 전자도로 지 도를 포함하며, 차량의 현재 위치와 연관된 POI 데이터 및 신호등 데이터를 검색하여 전자도로 지도에 맵매칭한다. 영상 인식부(30)는 카메라로부터 취득되는 도로 영상에서 차선과 신호등을 인식하고 차량의 현재 주행차로 위치를 계산한다. 연산부(40)는 GPS 신호로부터 차량 방위각을 산출하고 영상 인식부(30)로부터 전송받은 차선 및 신호등의 영상 좌표와 차량의 현재 주행차로 위치에 의하여 차량 방위각과 현재 차량 위치를 계산한다. 출력부(50)는 차량 위치와 차량 방위각을 사용하여 POI 좌표를 영상 좌표로 변환하여 영상에 중첩하여 출력한다.

본 명세서에서는, 도로에서 차량이 주행하는 넓이를 가지는 영역을 '차로'라고 하고, 이를 구분하는 선(중앙선과 도로 경계선 포함)을 '차선'이라고 한다. 또한, '주행차로 위치'는 도로의 중앙선부터 순서대로 부여한 차로의 번호를 말하며, 예컨대 편도 4차로 도로에서 차량이 중앙에서 두 번째 차로를 주행중이라면, 주행차로 위치=2가 된다. '차량 방위각'은 지도 좌표계의 N축에 대하여 차량의 진행 방향(카메라의 광학 축이 향하는 방향과 동일)이 이루는 각도를 말한다.

또한, 본 실시예에서는 POI의 영상 표시를 위한 기준 객체로서 신호등을 이용하였지만, 다른 객체들과의 식별력이 높고 배치 밀도가 높은 객체라면 신호등 이외의 다른 객체를 기준 객체로서 이용할 수 있다.

도 2에는 도 1의 영상 차량 항법 장치(100)의 세부 구성도가 도시되어 있다. 데이터 입력부(10)는 차량 전방의 실시간 영상을 취득하기 위한 카메라(11)와 차량 위치, 차량 방위각, 및 차량 속도를 포함하는 GPS 데이터를 얻기 위한 GPS 수신 기(12)로 구성된다. 카메라의 방향은 차량의 진행 방향과 평행하다고 가정하고 차량의 진행 방향과 카메라의 방향은 동일한 의미로 한다. 또한, 카메라(11)와 GPS 수신기(12)는 그들 사이의 거리가 무시될 수 있을 정도로 가깝게 위치한다.

전자 지도부(20)는 전자도로 지도부(21), 맵매칭 처리부(22), POI 데이터부(23), POI 검색부(24), 신호등 데이터부(25), 신호등 검색부(26)를 포함한다. 전자도로 지도부(21)는 도로의 좌표를 가지고 있다.

맵매칭 처리부(22)는 GPS 수신기(12)로부터 GPS 좌표를 수신하고 맵매칭 과정을 수행한다. 맵매칭 방법은 유일한 것은 아니며, 예컨대 현재 GPS 좌표를 전자도로 지도부(21)의 도로 좌표와 비교 연산하여 현재 GPS 좌표와 가장 가까운 도로 상의 위치를 계산한다. 즉 맵매칭 처리부(22)는, GPS 좌표값에 존재하는 오차를 최소화시키기 위해, 해당 GPS 좌표값과 가장 가까운 도로상의 위치로서 도로의 중앙선으로 차량의 위치를 맵매칭한다. 따라서 도로의 중심선과 직각인 방향의 GPS 오차가 제거된다. 상기와 같은 맵매칭 과정을 통해 얻어진 좌표값은 연산부(40)로 전송된다.

POI 데이터부(23)는 다양한 객체들(건물, 공원, 시설물 등)에 대한 각각의 POI 좌표값과 텍스트 속성값을 가지고 있다. 건물의 경우, POI 좌표는 건물 자체의 위치를 대표적으로 나타내는 객체 좌표값에, 해당 건물의 도로변 출입구 위치를 나타내는 추가 좌표값이 링크되어 구성된다. 이러한 데이터 구성 방법에 대해 도 3을 참조하여 더 자세히 설명한다.

도 3의 (b)는 객체 자체(즉 시청 자체)의 좌표값을 포함하는 객체 좌표값 테 이블이다. 객체 좌표값들은 '시청'과 같은 텍스트 속성값에 의해 서로 구분된다. 도 3의 (c)는 건물의 도로변 출입구 위치를 추가적으로 나타내는 좌표값들을 포함하는 추가 좌표값 테이블이다. 추가 좌표값들은 '정문', '동문'과 같은 텍스트 속성값에 의해 서로 구분된다. 객체 좌표값 테이블과 추가 좌표값 테이블은 '명칭'에 의해 링크되어 있다. '시청'의 경우 '동문'과 '서문'의 추가 좌표값이 시청 자체의 객체 좌표값에 링크되어 있다.

POI 검색부(24)는 텍스트 속성값과 좌표값 등의 조건에 따라 POI 데이터부(23)의 POI 정보를 검색한다. 도 3의 (a)에서, 시청을 목적지로 하여 A방향으로 차량이 주행하는 경우에, POI 검색부(24)는 시청 자체의 객체 좌표값이 아닌 '정문'의 추가 좌표값을 검색한다. 이때 시청 자체의 객체 좌표값이나 '동문' 추가 좌표값을 사용하게 되면, 화면 상에 그러한 좌표값이 나타나지 않는다. 마찬가지로 시청을 목적지로 하여 B방향으로 차량이 주행하는 경우, POI 검색부(24)는 '동문' 추가 좌표값을 검색한다.

신호등 데이터부(25)는 도로 상의 신호등의 좌표값을 포함하는 신호등 정보를 가지고 있으며, 신호등 검색부(26)는 연산부(40)에서 필요로 하는 신호등 정보를 신호등 데이터부(25)로부터 검색하여 연산부(40)에 전송한다.

연상 인식부(30)는 차선 인식부(31), 주행차로 인식부(32) 및 신호등 인식부(33)를 포함한다.

차선 인식부(31)는 카메라에서 취득된 영상으로부터 차선을 인식한다. 예를 들어, 차선 인식부(31)는 차량 전방의 영상을 화상 처리하여 차량 좌우측의 차선 데이터를 추출한 다음에 이 차선 데이터를 미리 저장되어 있는 차로 인식 패턴 데이터와 비교하는 공지의 방법에 의해 차선을 인식할 수 있다. 차선 인식부(31)는 그와 같이 인식된 값을 영상 좌표 상에서 파라미터로 표현된 직선의 형태로 주행 차로 인식부(32) 및 연산부(40)에 전송한다.

주행차로 인식부(32)는 카메라에서 취득된 영상으로부터 인식된 차선을 이용하여 현재 주행차로 위치를 계산하여 그 결과를 연산부(40)에 전송한다. 예를 들어, 각 차로가 다른 차로와 특징적으로 구분되도록 도로 상에 차선들이 그려져 있는 경우, 즉 중앙선은 직선 모양, 1차선의 우측 차선은 파선 모양, 2차선의 우측 차선은 일점쇄선 모양 등으로 구분되어 있는 경우, 서로 구분되는 차로에 대한 인식 패턴 데이터를 미리 저장해 두었다가, 차선 인식부(31)가 인식한 차선 인식 패턴과 일치하는 차선 인식 패턴을 그 저장된 인식 패턴 데이터로부터 검색함으로써, 차량이 현재 어느 주행차로로 주행 중인지를 판단하는 공지의 방법을 이용하여 현재 주행차로 위치를 계산할 수 있다.

신호등 인식부(33)가 신호등을 인식하는 과정은 차선 인식부(31)가 차선을 인식하는 과정과 비슷하다. 즉 신호등 인식부(33)는, 카메라가 취득한 차량 전방 영상을 처리하고, 이와 같은 처리에 의해 얻어진 영상 데이터로부터, 미리 저장되어 있는 신호등 인식 패턴 데이터와 일치하는 영상 데이터를 신호등으로서 인식하고 인식된 신호등의 영상 좌표값을 연산부(40)에 전송된다. 영상 좌표값은 영상 차량 항법 장치의 화면에 표시되는 영상에서의 좌표값을 말한다.

연산부(40)는 맵매칭 처리부(22)에서 전송되어온 좌표값과 영상 인식부(30)로부터 전송되어온 영상 인식 결과로부터 차량 위치와 차량 방위각을 계산한다.

위치 연산부(41)는, 맵매칭 처리부(22)에서 전송되어온 맵매칭 데이터로부터 인식된 현재의 차량 위치를 주행차로 인식부(31)에서 전송되어온 주행차로 위치 정보에 의해 보정한다. 전술한 바와 같이, 맵매칭 처리부(22)는 차량의 위치를 도로의 중앙선으로 맵매칭하기 때문에, 차량의 정확한 위치를 파악하기 위해서는 차량 위치에 대한 보정이 필요하다. 위치 연산부(41)는 주행차로 인식부(32)로부터 전송받은 주행차로 위치에 의해 차량의 주행차로 위치를 알고 있기 때문에, 위치 연산부(41)는 주행차로 위치와 차로의 폭으로부터 차량이 도로 중심선으로부터 직각인 방향으로 떨어져 있는 거리를 계산함으로써, 도로의 중앙선에 맵매칭되어 있는 차량의 위치를 실제의 차량 위치로 보정할 수 있다. 이때 차로의 폭은, 각 차로의 폭을 나타내는 정밀 데이터가 있을 경우에는 그것을 사용하고, 그렇지 않은 경우에는 지역에 따라 규격화되어 있는 값(예컨대 도시지역 도로의 경우 3.5 m)을 사용한다.

방위각 연산부(42)는 차선 인식부(32)로부터 전송되어온 차선 정보를 이용하여 차량 방위각을 산출한다. 차선은 거의 대부분의 경우 도로 중앙선과 평행하므로 차량이 도로와 이루는 각도는 차량이 차선과 이루는 각도와 같다고 할 수 있다. 그러나 실제 차량 주행 중에는 차선과 차량이 평행하지 않고 각도를 형성할 때가 있으며, 이 경우에는 도로가 지도의 N축과 이루는 각도와 차량이 그 도로의 차선과 이루는 각도를 더하여 차량 방위각을 계산한다.

방위각 연산부(42)가 차량과 차선이 이루는 각도를 계산하는 방법은, 예를 들어, 다음과 같다. 차선 인식부(32)가 인식한 화면 상의 차량 좌우 차선으로부터 양 차선의 중앙을 향해 각각 가상의 법선을 그리고, 그 두 법선이 만나는 화면 상의 점을 지나는 가상의 수평축을 그었을 때, 좌측 차선으로부터의 법선과 수평축이 이루는 제1각도와 우측 차선으로부터의 법선과 수평축이 이루는 제2각도가 같으면, 차량과 차선이 이루는 각도는 0도라고 할 수 있을 것이다. 따라서 제1각도와 제2각도의 차이로부터 차량과 차선이 이루는 각도를 계산할 수 있다. 제1각도와 제2각도의 차이가 커질수록 차량과 차선이 이루는 각도는 비례적으로 증가할 것이다. 이와 같이 계산된 차량 방위각은, GPS 수신기(12)가 제공하는 차량 방위각과 함께 출력부(50)에 의해 선택적으로 이용된다.

화면 기준영역 설정부(43)는, 신호등 인식부(33)로부터 전송받은 신호등의 영상 좌표값을 기준 좌표값으로서 이용하여 영상 차량 항법 장치의 화면을 다수의 기준 영역으로 분할하고, POI가 화면 상에 표현될 위치를 근사하기 위하여, POI 검색부(24)로부터 전송받은 POI의 위치 정보(좌표값)를, 신호등 검색부(26)로부터 전송받은 신호등의 위치 정보(좌표값)와 비교하여 POI를 화면 상에 분할된 화면 기준 영역에 대응시킨다. 즉 신호등의 위치를 원점으로 한 POI의 상대적인 위치에 따라 각 POI가 화면 상에 적절히 표시된다.

도 4를 참조하여 화면 기준영역 설정부(43)가 POI를 화면 상에 분할된 기준 영역에 대응시키는 방법을 설명한다. 도 4의 (a)의 지도 상에서 신호등의 좌표와 차량 위치를 연결한 점선(HL) 및 현재 진행 도로에 직각이면서 신호등 좌표를 지나 는 점선(VL)에 의하여 지도 영역을 4 영역으로 구분한다. 지도 상의 A, B, C, D, 및 E는 POI를 나타낸다.

도 4의 (b)는 영상 차량 항법 장치의 화면을 나타낸다. 화면 기준영역 설정부(43)는 먼저, 신호등 인식부(33)로부터 전송되어온 신호등의 영상 좌표값에 의해 화면 상에 신호등을 표시하고, 신호등을 기준으로 4개의 화면 기준 영역 S1, S2, S3, 및 S4로 화면을 구분한다.

이어서 화면 기준영역 설정부(43)는, 차량에서 볼 때 지도 상에서 신호등보다 왼쪽에 나타나는 A, C, E의 POI는 화면에서 신호등보다 왼쪽의 화면 기준 영역(S1, S3)에 대응시키고, B, D의 POI는 화면에서 신호등보다 오른쪽의 화면 기준 영역(S2, S4)에 대응시킨다. 또한, 화면 기준 영역 설정부(43)는, 차량에서 볼 때 신호등보다 가까이 있는 A, B의 POI는 화면에서 신호등보다 위쪽의 화면 기준 영역(S1, S2)에 대응시키고, C, D, E의 POI는 화면에서 신호등보다 아래쪽의 화면 기준 영역(S3, S4)에 대응시킨다. 결과적으로, A, B, C, D, 및 E의 각 POI는 화면 상의 4개의 화면 기준 영역 중 하나에 대응된다. 도 4의 예의 경우, E의 POI는 S3의 화면 기준 영역에 배치될 것이고, B의 POI는 S2의 화면 기준 영역에 대응될 것이다.

한편, 화면 기준영역 설정부(43)는, 신호등의 좌표값과 각 POI의 좌표값을 알고 있기 때문에, 신호등의 좌표값을 원점으로 한 각 POI의 상대적인 좌표값에 의해 화면 상에 어느 정도 정확한 POI 표시 위치를 결정할 수 있다. 따라서 화면 기준영역 설정부(43)는, 화면 기준 영역을 구분하지 않고서도, 신호등의 좌표값에 대 한 각 POI의 상대적인 좌표값으로부터 해당 POI의 화면상의 표시 위치를 결정할 수 있지만, 본 실시예에서 기준 영역을 분할하는 이유는, 후술하는 출력부(50)에서 3차원 지도 좌표를 2차원 영상 좌표로 투영하여 계산한 POI의 영상 좌표가 화면 기준영역 설정부(43)에 의해 대응된 기준 영역에 대응하지 않게 되면, 해당 영상 좌표가 정확하게 계산된 것이 아니라는 것을 확인할 수 있기 때문이다.

출력부(50)는 차량 위치, 차량 방위각, 미리 알려진 카메라 파라미터, POI 데이터, 화면 기준 영역을 입력으로 하여 출력 대상 POI의 3차원 지도 좌표를 2차원 영상 좌표로 투영하여 계산한 POI의 영상 좌표를 출력한다. 이때, 출력부(50)는, GPS 수신기(12)로부터 제공받은 차량 속도에 따라, GPS 수신기(12)로부터 제공받은 차량 방위각과 방위각 연산부(42)에 의해 계산된 차량 방위각 중 어느 하나의 차량 방위각을 이용하여 POI의 영상 좌표를 계산한다.

구체적으로는, GPS 정보를 신뢰할 수 있다고 알려져 있는 20km/h 이상의 차량 속도에 대해서는, GPS 수신기(12)로부터 제공받은 차량 방위각이 사용되고, 20km/h 미만에서는 방위각 연산부(42)에 의해 계산된 차량 방위각이 사용된다. 또한, 차량 전방의 혼잡 등으로 인하여 차선이 제대로 인식되지 못하는 경우에는, 차량의 속도와 관계없이 GPS 수신기(12)로부터 제공받은 차량 방위각이 사용된다.

또한, 출력부(50)는, 상기 계산된 POI의 영상 좌표의 화면 내 영역이 화면 기준 영역 설정부(43)에 의해 대응된 화면 기준 영역과 일치하는 지를 검사하여, 일치하지 않는 경우에는, 상기 계산된 POI의 영상 좌표가 아닌 화면 기준 영역 설 정부(43)에 의해 대응된 화면 기준 영역 상의 영상 좌표를 해당 POI의 영상 좌표로서 화면에 출력한다.

또한, 출력부(50)는, 화면의 왼쪽에 위치하는 객체(건물 등)에 대해서는 해당 객체의 왼쪽에 꼬리가 붙은 3차원 간판의 형태로 POI 데이터의 텍스트 속성값(예: 건물 명칭 등)을 영상에 출력하며, 화면의 오른쪽에 위치하는 객체에 대해서는 해당 객체의 오른쪽에 꼬리가 붙은 3차원 간판의 형태로 POI 데이터의 텍스트 속성값을 영상에 출력한다. 또한, 영상에 출력되는 간판은, 화면 상의 다른 정보를 가리자 않도록, 어느 정도 투명하게 구성한다.

도 5에는 본 실시예의 영상 차량 항법 장치에 의한 동작의 흐름도가 도시되어 있다. 시스템이 시작되면(S61), 데이터 입력부(10)의 카메라(11)는 일정 프레임 레이트로 차량 전방의 영상을 취득하고 GPS 수신기는 일정 시간 간격으로 현재의 위치 좌표값, 차량 방위각, 및 차량 속도를 검출한다(S62).

데이터 입력부(10)는 영상을 영상 인식부(30) 및 출력부(50)로 전송하고, 위치 좌표값을 전자 지도부(20)의 맵매칭 처리부(22)로 전송한다. 맵매칭 처리부(22)는 상기 위치 좌표값을 전자도로 지도부(21)에 있는 도로 상의 가장 가까운 지점(즉 중앙선)으로 근사시키는 맵매칭을 수행하여(S63) 맵매칭된 위치 좌표값을 연산부(40)로 전송한다.

영상 인식부(30)의 차선 인식부(32)는 수신된 영상에서 차선을 인식하고 그 결과를 주행차로 인식부(31)로 전송하고, 주행 차로 인식부(31)는 수신된 영상에서 차선 인식 결과를 이용하여 주행차로 위치를 계산한다(S64). 영상 인식부(30)의 신호등 인식부(33)는 수신된 영상에서 신호등을 인식한다(S65). 차선은 영상 좌표의 형태로, 신호등 인식 결과는 영상에 위치하는 신호등의 영상 좌표의 형태로, 그리고 주행차로 위치는 숫자(즉 2차선인 경우 '2')의 형태로 연산부(40)에 전송된다.

연산부(40)는, 전술한 바와 같은 방식으로, 차선의 영상 좌표로부터 차량 방위각을 산출하고, 주행차로 위치로부터 차량 위치를 보정하여 정확한 차량 위치를 산출한다(S66).

다음으로 POI 검색부(24)는 POI 데이터로부터 출력 대상 POI를 검색한다(S68). 검색 방법은 도 3을 참조하여 상기에서 설명한 바와 같다. POI 검색부(24)는 검색한 POI 데이터(좌표값 및 텍스트 속성값)를 연산부(40)의 화면 기준 영역 설정부(43)로 전송한다. 그리고 화면 기준 영역 설정부(43)는 POI 데이터 중 좌표값과 차량 위치를 비교 연산하여 POI 좌표의 출력 영역을 화면 기준 영역 중 하나로 대응시킨다.

마지막으로 출력부(50)는 차량 위치, 차량 방위각, 미리 알려진 카메라 파라미터, POI 데이터, 화면 기준 영역을 입력으로 하여 출력 대상 POI의 3차원 지도 좌표를 2차원 영상 좌표로 투영하여 계산한 POI의 영상 좌표를 출력한다. 이때, 출력부(50)는, GPS 수신기(12)로부터 제공받은 차량 속도에 따라(예컨대 20km/h 기준), GPS 수신기(12)로부터 제공받은 차량 방위각과 방위각 연산부(42)에 의해 계산된 차량 방위각 중 어느 하나의 차량 방위각을 이용하여 POI의 영상 좌표를 계산한다. 또한, 출력부(50)는, 상기 계산된 POI의 영상 좌표의 화면 내 영역이 화면 기준 영역 설정부(43)에 의해 대응된 화면 기준 영역과 일치하는 지를 검사하여, 일치하지 않는 경우에는, 상기 계산된 POI의 영상 좌표가 아닌 화면 기준 영역 설정부(43)에 의해 대응된 화면 기준 영역 상의 영상 좌표를 해당 POI의 영상 좌표로 출력한다(S69).

이때, 출력부(50)는, 화면의 왼쪽에 위치하는 객체(건물 등)에 대해서는 해당 객체의 왼쪽에 꼬리가 붙은 3차원 간판의 형태로 POI 데이터의 텍스트 속성값(예: 건물 명칭 등)을 영상에 출력하며, 화면의 오른쪽에 위치하는 객체에 대해서는 해당 객체의 오른쪽에 꼬리가 붙은 3차원 간판의 형태로 POI 데이터의 텍스트 속성값을 영상에 출력한다. 또한, 영상에 출력되는 간판은, 화면 상의 다른 정보를 가리자 않도록, 어느 정도 투명하게 구성한다.

상기 과정은 실시간으로 매 프레임에 대하여 반복 수행되며, 시스템이 종료 명령을 받거나 영상 입력이 중단되면 종료한다(S70).

한편, 본 발명은, 상기 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해 구현될 수도 있다. 또한, 앞서 설명한 본 발명의 실시예는 구체적인 구성과 도면에 의해 특정되었지만, 그러한 구체적인 실시예가 본 발명의 범위를 제한하는 것이 아니라는 점을 명확히 하고자 한다. 따라서, 본 발명은, 본 발명의 본질을 벗어나지 않는 다양한 변형예와 그 균등물들을 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 실시예에 따른 영상 차량 항법 장치의 구성도.

도 2는 도 1의 영상 차량 항법 장치의 세부 구성도.

도 3은 POI 데이터의 구성 및 검색을 설명하기 위한 개념도.

도 4는 화면 기준 영역의 설정을 설명하기 위한 개념도.

도 5는 본 발명의 실시예에 따른 영상 차량 항법 동작의 흐름도.

Claims

관심 지점을 화면에 표시하기 위한 영상 차량 항법 장치로서,

차량에 장착된 카메라로부터 상기 화면을 취득하는 데이터 입력부와,

상기 화면으로부터 기준 객체를 인식하는 영상 인식부와,

상기 관심 지점 및 기준 객체의 지도 상의 위치에 관한 정보를 제공하는 전자 지도부와,

상기 기준 객체의 지도 상의 위치와 상기 관심 지점의 지도 상의 위치 사이의 상대적인 위치 관계를 이용하여 상기 기준 객체를 기준으로 한 상기 관심 지점의 상기 화면 상의 관심 지점 위치를 결정하는 연산부와,

상기 화면 상의 상기 관심 지점 위치에 상기 관심 지점을 표시하는 출력부를 포함하는 영상 차량 항법 장치.
청구항 1에 있어서, 상기 연산부는, 상기 기준 객체를 기준으로 상기 화면을 복수의 화면 기준 영역으로 분할하는 화면 기준 영역 설정부를 포함하고, 상기 화면 기준 영역 설정부는, 상기 관심 지점을 상기 복수의 화면 기준 영역 중 하나의 화면 기준 영역에 대응시킴으로써 상기 관심 지점 위치를 결정하는, 영상 차량 항법 장치.
청구항 2에 있어서, 상기 출력부는, 상기 관심 지점의 지도 상의 위치로부터 2차원 영상 좌표를 계산하고, 상기 관심 지점 위치가 대응되어 있는 화면 기준 영역에서 상기 2차원 영상 좌표가 벗어나 있는 경우에는, 상기 2차원 영상 좌표에 상기 관심 지점을 표시하는 대신에 상기 관심 지점 위치에 상기 관심 지점을 표시하는, 영상 차량 항법 장치.
청구항 1에 있어서, 상기 영상 인식부는 상기 화면으로부터 상기 차량 전방의 차선을 인식하는 차선 인식부를 포함하고, 상기 연산부는 상기 차선 인식부에 의해 인식된 차선에 관한 정보로부터 상기 차량의 차량 방위각을 연산하는 방위각 연산부를 포함하는, 영상 차량 항법 장치.
청구항 1에 있어서, 상기 영상 인식부는 상기 화면으로부터 인식한 차선에 관한 정보로부터 상기 차량의 주행 차로를 인식하는 주행 차로 인식부를 포함하고, 상기 연산부는, 상기 차선 인식부에 의해 인식된 주행 차로에 관한 정보로부터 상기 차량의 위치를 연산하는 위치 연산부를 포함하는, 영상 차량 항법 장치.
청구항 5에 있어서, 상기 데이터 입력부는 GPS 수신기로부터 상기 차량의 위치 정보를 수신하고, 상기 위치 연산부는, 상기 GPS 수신기로부터 수신한 차량의 위치 정보를, 상기 주행 차로 인식부에 의해 인식된 주행 차로에 관한 정보에 의해 보정함으로써 상기 차량의 위치를 연산하는, 영상 차량 항법 장치.
청구항 1에 있어서, 상기 관심 지점은 지도 상의 복수의 관심 지점 좌표에 연관되어 있으며, 상기 연산부는 상기 상대적인 위치 관계를 결정하기 위해, 상기 복수의 관심 지점 좌표 중 어느 하나의 관심 지점 좌표를 상기 관심 지점의 상기 지도 상의 위치로 특정하는, 영상 차량 항법 장치.
청구항 7에 있어서, 상기 연산부는, 상기 복수의 관심 지점 좌표 중에서 상기 차량의 현재 위치와 가장 가까운 관심 지점 좌표를 상기 관심 지점의 상기 지도 상의 위치로 특정하는, 영상 차량 항법 장치.
청구항 7에 있어서, 상기 복수의 관심 지점 좌표는 상기 관심 지점의 출입구의 좌표를 포함하는, 영상 차량 항법 장치.
청구항 1에 있어서, 상기 기준 객체는 신호등인, 영상 차량 항법 장치.
관심 지점을 화면에 표시하기 위한 영상 차량 항법 방법으로서,

(a) 차량에 장착된 카메라로부터 상기 화면을 데이터 입력부에 의해 취득하는 단계와,

(b) 영상 인식부에 의해, 상기 화면으로부터 기준 객체를 인식하는 단계와,

(c) 전자 지도부에 의해 제공되는 상기 기준 객체의 지도 상의 위치와 상기 관심 지점의 지도 상의 위치 사이의 상대적인 위치 관계를 이용하여 상기 기준 객 체를 기준으로 한 상기 관심 지점의 상기 화면 상의 관심 지점 위치를 연산부에 의해 결정하는 단계와,

(d) 출력부에 의해, 상기 화면 상의 상기 관심 지점 위치에 상기 관심 지점을 표시하는 단계를 포함하는 영상 차량 항법 방법.
청구항 11에 있어서, 상기 단계 (c)는, 상기 기준 객체를 기준으로 상기 화면을 복수의 화면 기준 영역으로 분할하는 단계와, 상기 관심 지점을 상기 복수의 화면 기준 영역 중 하나의 화면 기준 영역에 대응시킴으로써 상기 관심 지점 위치를 결정하는 단계를 포함하며, 상기 단계 (d)는, 상기 관심 지점의 지도 상의 위치로부터 2차원 영상 좌표를 계산하는 단계와, 상기 관심 지점 위치가 대응되어 있는 화면 기준 영역에서 상기 2차원 영상 좌표가 벗어나 있는 경우에는 상기 2차원 영상 좌표에 상기 관심 지점을 표시하는 대신에 상기 관심 지점 위치에 상기 관심 지점을 표시하는 단계를 포함하는, 영상 차량 항법 방법.
청구항 11 있어서, 상기 단계 (b)는, 상기 화면으로부터 상기 차량 전방의 차선을 인식하는 단계를 포함하고, 상기 단계 (c)는, 상기 인식된 차선에 관한 정보로부터 상기 차량의 차량 방위각을 연산하는 단계를 포함하며, 상기 단계 (d)는, 상기 관심 지점의 지도 상의 위치로부터 2차원 영상 좌표를 계산하는 데 이용하는 차량 방위각으로서, 상기 단계 (c)에서 연산된 차량 방위각과 GPS 수신기로부터 제공받은 차량 방위각 중 어느 하나의 차량 방위각을 상기 차량의 현재 속도를 기준 으로 선택하는, 영상 차량 항법 방법.
청구항 11에 있어서, 상기 단계 (b)는, 상기 화면으로부터 인식한 차선에 관한 정보로부터 상기 차량의 주행 차로를 인식하는 단계를 포함하며, 상기 단계 (c)는 상기 인식된 주행 차로에 관한 정보로부터 상기 차량의 위치를 연산하는 단계를 포함하는, 영상 차량 항법 방법.
청구항 11 있어서, 상기 관심 지점은 지도 상의 복수의 관심 지점 좌표에 연관되어 있으며, 상기 단계 (c)는, 상기 상대적인 위치 관계를 결정하기 위해, 상기 복수의 관심 지점 좌표 중 어느 하나의 관심 지점 좌표를 상기 관심 지점의 상기 지도 상의 위치로 특정하는, 영상 차량 항법 방법.
청구항 11에 있어서, 상기 단계 (b)는, 상기 기준 객체로서 신호등을 상기 화면으로부터 인식하는, 영상 차량 항법 방법.