KR101700681B1

KR101700681B1 - 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치

Info

Publication number: KR101700681B1
Application number: KR1020150052121A
Authority: KR
Inventors: 백승렬; 김원한
Original assignee: 백승렬; 김원한
Priority date: 2015-04-14
Filing date: 2015-04-14
Publication date: 2017-02-13
Also published as: KR20160122368A

Abstract

본 발명은 영상촬영수단으로부터 입력되는 주행방향 영상을 네비게이션에 저장된 도로 위치정보 및 공간정보(국가 공간정보)에 정합시켜 GPS 수신이 어렵거나 불량한 지역에서도 차량의 현재 위치가 정확히 제공되도록 함으로써 안전운전에 크게 기여토록 한 공간정보를 이용한 차량 네비게이션의 위치 정확도 향상을 위한 영상정보 제공방법 및 그 제공장치에 관한 것으로, a. 차량에 설치되는 영상촬영수단을 이용하여 차량 전방의 마커 영상을 획득하는 단계, b. 마커 영상이 인식되면 거리 및 픽셀크기를 계산하는 단계, c. 마커의 이미지 모델을 생성하고 랜더링 연산을 하는 단계, d. 랜더링된 이미지와 메모리에 저장된 이미지를 비교하여 동일하거나 유사한 오브젝터를 선택하는 단계, e. 선택된 오브젝터의 프레임 크기와 프레임 속도를 조절하는 단계, f. 오브젝터를 지도 데이터에 맵핑시켜 증강 현실 그래픽을 구현하는 단계, g. 화면 출력하고 음향 경보하는 단계로 된다.

Description

공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치{Method and Apparatus for image information of car navigation to Improve the accuracy of the location using space information}

본 발명은 공간정보를 이용한 차량 네비게이션의 위치 정확도 향상을 위한 영상정보 제공방법 및 그 제공장치에 관한 것으로, 영상촬영수단으로부터 입력되는 주행방향 영상을 네비게이션에 저장된 공간상의 위치정보 및 속성정보(국가 공간정보)에 정합시켜 GPS 수신이 어렵거나 불량한 지역에서도 차량의 현재 위치가 정확히 제공되도록 함으로써 안전운전에 크게 기여토록 한 것이다.

일반적으로 내비게이션(Navigation Device)은 자동차에 사용하도록 고안된 차량자동항법장치의 일종으로 GPS모듈(GPS 수신기)를 이용하여 차량의 현재 위치를 파악함으로써 사용자가 입력한 목적지로의 경로를 안내하는 것을 주목적으로 함과 더불어 신호위반 단속 구간, 과속 단속 구간, 주변 주유소 안내, 실시간 교통상황 안내 등 다양한 부가 기능과 편의성을 제공함으로써 차량운행에서 필수적인 장치로 인식되고 있다.

그러나 네비게이션(NAVI)은 GPS 위성에서 송출되는 GPS 신호를 이용하고 있어서 하늘이 가려진 곳에서는 정상적인 수신이 이루어지지 않는다. 예컨대, 실내 또는 지하 주차장, 숲이 우거진 곳 등에서 수신을 시도하는 경우 현 위치 인식이 되지 않아 위성 수신이 양호한 실외로 이동하여 재 수신을 시도하여야 한다.

GPS 위성으로부터 송출되는 GPS 신호는 실내, 고가도로, 지하차도, 터널 안, 고층 건물이 즐비한 지역(아파트 단지 내, 고층 건물 밀집지역)에서는 정상적인 수신이 되지 않을 수 있으며, 아파트 지하 주차장이나 실내 주차장 등 하늘이 보이지 않는 곳(음영지역)에 장시간 주차한 경우 음영지역에서 현위치를 계산하다가 수신이 양호한 지역으로 들어서면 비로소 GPS 신호가 수신되면서 현위치가 인식된다.

즉, GPS 신호에 의한 위치인식 구동방식은 넓은 지하공간 또는 출입구가 다른 대형 실내 주차장의 경우 GPS 신호를 마지막으로 수신한 주차장 입구를 NVAI가 저장함으로서 출입구가 다르게 설치된 실내 주차장에서 목적지 설정시, NAVI가 마지막으로 수신한 출입구를 출구로 인식함으로서 건물 실내 주차장 지역을 일정 구간 벗어난 상태에서 수신이 잘되는 지역으로 얼마간 이동 후 GPS 수신을 받아주어야 하는 불편함이 있으며, 위치 인식에 일정 시간 소요될 뿐 아니라, 수신이 양호한 지역으로의 이동이 수반되어야 하며, 차량내에서 GPS 수신에 방해를 주는 장비가 장착되어 있는 경우 차량내에서의 GPS 수신율이 낮아지거나 불가능할 수도 있다.

일반적인 차량에 설치되는 블랙박스(Black Box Device)는 카메라와 저장매체(메모리 카드 등)를 이용하여 운행 중에 발생할 수 있는 차량 충격 등의 이벤트를 녹화함으로써 차량 사고 당시의 상황을 정확하게 재생할 수 있기 때문에 가해자 및 피해자의 구별이나 과실 판단에 결정적인 역할을 제공한다. 또한 블랙박스는 주행 뿐 아니라 차량이 주차하거나 정차해 있을 때도 영상을 기록하는 기능도 제공하고 있어서 영업용 차량이나 대형차량에는 블랙박스 장착이 의무화될 정도로 보편화되고 있다.

차량 실내에 설치되는 네비게이션(Navigation Device)은 목적지를 알려 주는 데이터만 가용되고 표준화 된 시뮬레이션만 구현하고 있어서 운전자가 전방주시를 태만이 하는 경우 대형 교통사고로 이어지는 문제점이 있으며, 블랙박스의 경우 차량의 전방 영상이나 주변 영상을 녹화하여 차량 사고 당시의 상황을 재생하거나, 주/정차시의 영상을 재생하는 용도로 제한 이용되고 있어서 활용도가 낮은 단점이 있었다.

도 1은 일반적으로 볼 수 있는 표준화된 교통표지판을 도시한 것으로, 긴급공사 표지판, 낙석주의 표지판, 빙판길 표지판, 아이들 주의 표지판, 어린이 보호지역 표지판 등을 예로 들 수 있으며, 운전 중 전방 주시를 태만이 하는 경우 교통사고로 이어질 수 있다.

도 2는 전방주시를 태만히 하는 운전 형태를 예시한 것으로, 운전에 집중력이 떨어지는 생각을 하면서 운전하는 경우, 휴대전화기로 통화 및 화장(化粧)을 하면서 운전하는 경우, 휴대전화기를 조작하면서 운전하는 경우, 휴대전화기로 통화하면서 운전하는 경우, 졸음 운전하는 경우, 동승자와 심도깊은 대화를 나누면서 운전하는 등의 경우에는 전방주시 태만과 집중력이 떨어져 교통사고로 이어질 수 있으며, 일반 운전자의 경우, 스쿨(school) 버스 승하차, 도로공사, 안전사고, 교통상황 등을 판단함에 있어 운전경험, 나이, 차량운전자의 상황 등에 따라 교통사고로 이어질 수 있는 상관관계가 있다.

또한, 갑작스런 기후 변화로 도로가 결빙되어 도 3과 같이 결빙도로 안내 표지판이나 긴급상황에 의한 임시도로 안내판이 있음에도 전방주시를 태만하여 미처 인식하지 못한 경우 결빙구간에서 차량이 미끄러지거나, 긴급상황이 발생된 도로를 주행하면서 교통사고로 이어질 수 있다.

기존 네비게이션(NAVI)의 경로 및 도로 정보제공방법은, 차량에 장착 또는 네비게이션에 장착된 GPS 수신장치로 현재 위치정보를 파악하여 네비게이션 맵상에 구현하게 된다. 현재 네비게이션은 GPS 수신만으로 위치파악이 가능하므로 차량이 GPS 신호 수신이 불량한 지역에 있을 경우 GPS 수신이 원활하지 못하여 차량의 현재 위치파악이 어렵게 된다. 그리고 도 4와 같이 지하차도, 고가도로와 이웃하여 설치된 일반 도로상에서도 GPS 수신 오차로 인하여 차량이 진행되는 도로상의 차량 현재 위치 표현이 어렵게 된다. 따라서, 사용자가 경로 및 도로 정보에 대응하는 실제 도로나 건물을 용이하게 인식할 수 있도록 하는 방법이 요구되고 있으며, 기존 네비게이션의 경우, 도 5와 같이 지하차도와 이웃한 직선 도로상의 차량 현재 위치를 구현하는데 문제점이 발생한다. 이것은 네비게이션의 위치정확도 한계에 의한 것으로 차량이 지하차도를 진행하는지, 옆 도로를 진행하는지 구분할 수 없는 등의 기술적 한계점이 있었다.

대한민국 등록특허공보 제10-1348778호(발명의 명칭: 블랙박스 제어 장치 및 방법, 그리고 블랙박스 제어 장치를 포함하는 시스템, 2014. 01. 08. 특허공고) 대한민국 공개특허공보 제10-2009-0022038호(발명의 명칭: 영상 블랙박스를 구비한 자동차 네비게이션 시스템, 2009. 03. 04. 특허공개) 대한민국 등록특허공보 제10-0883889호(발명의 명칭: 차량의 윤곽 이미지를 이용한 차종 인식장치 및 방법, 2009. 02. 17. 특허공고)

도로관리통합시스템은, 종이로 작성·보관되던 도로대장을 전산화함으로써 도면과 조서의 훼손 및 분실을 방지할 뿐 아니라, 데이터 기반의 도로정책 의사결정을 신속하게 지원하고, 현장의 도로관리자 또는 도로시설물 조사 및 분석자들이 보다 정확하고 빠르게 업무를 처리할 수 있도록 하며, 도로 관련 정보의 통합적인 관리를 통해 국민의 알권리를 충족시키는 대국민 도로정보 공개 서비스를 제공하는 것을 목적으로 하고 있으며, 지속적인 유지·보수가 이루어지고 있다.

이를 위해 전자지도서비스를 기반으로 도로 유지관리를 위한 시설물 정보를 통합적으로 관리 및 표출하고 있으며, 동절기 도로 성능 저하 방지를 위한 제설 작업의 실시간 상황 보고, 신속한 제설 대처 지원, 제설 자원 현황 및 사용 이력 관리 등을 지원하는 도로제설관리체계를 운영 중이다. 또한, 도로이용불편 사항을 하나의 스마트폰 앱을 통해 간편하게 신고하고 신속하게 처리하는 도로불편신고체계를 운영하고 있으며, 도로 준공 정보를 관리하는 도로대장의 대국민 공개를 시행하고 있다.

한편 2013년에 서비스를 시작한 브이월드2의 오픈 API서비스를 이용하여 배경지도, 위성영상지도, 하이브리드지도 서비스를 연계함으로써 빠르고 정확한 지도서비스를 제공하고 있으며, 주요 포털의 오픈API 서비스를 통해 도로 영상정보를 제공하며, 국가교통정보센터와의 정보 연계를 통해 실시간 CCTV서비스, 공사정보, 사고정보를 제공하고 있다.

또한 도로포장, 교량, 도로비탈면, 점용, 도로표지, 교통량 등의 도로유지관리시스템과의 자동 정보 연계를 통해 도로시설물의 상태 및 성능 정보를 전자지도 기반으로 관리 및 표출하고 있으며, 자동차 전용도로, 거리표 설치 위치, 일반국도 위임구간, 점용, 표지, 교량, 도로구역, 지적, 도로비탈면 등의 주제도(theme map) 서비스 제공을 통해 직관적이고 종합적인 정보 조회가 가능하며 이러한 공간정보(기 구축된 도로관리통합시스템상의 도로대장 DB 및 각종 도로시설물 관련 공간 DB)와 네비게이션 DB를 연동시켜 네비게이션의 최신 정보구현이 가능하도록 함을 목적으로 한다.

본 발명은 GPS 신호 수신이 불량한 실,내외에 설치된 각종 도로상의 각종 위치정보 시설물의 공간, 속성 데이터 등의 정보가 NAVI에 탑재된 DB(데이터베이스)로 구축되며, 또한 표지판, 안내판 등 공간정보 X,Y,Z 위치값, 시설물 속성값 등이 위치확인 참조 보조 공간 DB로 구축되어 실세계 좌표로 구축됨으로서 GPS 신호 수신 불능 지역의 거리오차를 보완할 수 있어 네이비게이션 위치정보값에 대한 정확도를 향상시켜 도심지, 지하도, 건물내부 위치값 보완 및 정확도 향상에 도움이 되도록 함에 특징이 있다.

일반적으로 GPS 위치 측정의 정확성을 떨어뜨리는 요소들은 크게 3부분으로 나눌 수 있다. 첫째 구조적 요인으로 생기는 오차로는 인공위성 시간 오차, 인공위성 위치 오차, 전리층과 대류층의 굴절, 잡음(Noise), 다중 경로(Multipath)등이 있으며, 두 번째, 위성의 배치상황에 따른 기하학적 오차가 있으며, 세 번째, 가장 큰 오차 원인인 SA(Selective Availability)가 있다. 이 요소들이 모두 잠재적으로 합쳐져서 매우 큰 오차 결과를 낳는데 이것을 UERE(User Equivalent Range Error)라고 하며, 각 오차들은 시간과 장소에 따라서 매우 크게 변한다. 아래 [표 1]은 각종 요인에 의한 GPS 오차를 나타낸 것이다.

GPS 오차 요인	오차
인공위성 시간 오차	0-1.5m
인공위성 위치 오차	1- 5m
전리층의 굴절 오차	0-30m
대류층의 굴절 오차	0-30m
수신기 잡음에 의한 오차	0-10m
다중 경로(Multipath)에 의한 오차	0-1m
SA(Selective Availability)에 의한 오차	0-70m
수평 오차(SA가 작동하는 경우)	100m

또한 지상의 GPS 수신기에 도달하는 GPS 신호는 상대적으로 약하기 때문에 다른 발생원으로부터 생기는 전자파 때문에 감도가 더욱 약해질 수 있으며, 이렇게 되는 경우 GPS 신호를 얻고 추적하는 것이 매우 어렵거나 불가능해진다.

즉, 수신에 방해되는 장애물(고층건물, 나무, 전신주, 실내 등)이 곳곳에 산재한 도심지에서는 수신자의 위치값 획득에 다소 어려움과 정확도에 대한 신뢰도가 떨어지는 것이 사실이다(GPS는 삼각측량 방식에 의한 위치값의 구현 방식으로서 도심지 및 실내에서는 현재 위치값을 구하기 어렵게 되어 있다).

몇몇 나라에서는 실내 또는 신호가 약한 곳에서 GPS 신호를 수신할 수 있도록 GPS 중계기 사용을 허가하고 있으나 유럽 연합과 영국 등은 GPS 위성과 GPS 중계기로부터 동시에 신호를 수신하는 경우 교란이 발생할 수 있는 이유를 들어 GPS 중계기 사용을 금지하고 있다.

그러므로 이미 구축된 도로대장 및 도로 안내, 표지판 등의 국가 도로관련 시설물 공간정보의 각종 위치값 및 속성정보와 연동한 NAVI 장치는 기존 기술적 한계 및 위치정확도 문제점을 해결할 수 있는 하나의 대안 기술이 될 수 있다.

따라서 본 발명에서는 GPS 수신이 불량한 지역, 예컨대 도심지 고층빌딩 밀집지역, 지하공간)에서는 고해상도 카메라 장치(구글 글래스, 블랙박스, 휴대폰)로 현 사용자 주변 위치상에 존재하는 공간정보, 예컨대 지상/지하 시설물정보(위치정보)를 인식하거나, 또는 네비게이션 DB와 블루투스 연동방식으로 공간, 속성 DB를 이용하여 정보를 인식하거나, 또는 차량 이동시 차량에 부착된 블랙박스 고해상 카메라(Long(원거리), Short(근거리) Lens 2개의 카메라)로 지속적인 위치 감지로 도로정보를 안내하거나, 또는 야간 차량 주행시 적외선 카메라로 안내표지판을 식별하거나, 또는 모바일(휴대폰, 구글 글래스), 블랙박스, 네비게이션 3개 연동방식으로 GPS 수신이 불가능한 지역에서 충분한 기능을 발휘하여 네비게이션의 위치 정확도가 크게 향상되는 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치를 제공함에 목적이 있다.

본 발명의 다른 목적은 운전자의 시선방향에 따라 도로 주변의 시설물을 확인할 수 있도록 하는 보조장치로 모바일 장치, 구글 글래스 등을 이용할 수 있으며, 차량의 지속적인 진행시 차량에 부착된 블랙박스 카메라로 도로 주변의 시설물 위치값 파악을 위하여 네비게이션에 탑재된 공간정보 DB와 연동되는 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치를 제공함에 특징이 있다.

본 발명의 또 다른 목적은 기존 탑재된 네비게이션의 영상정보(도로 표지판, 지역 안내판, 긴급 표지판 등)를 기초로 영상촬영수단(블랙박스 카메라 등)이 촬영한 주행방향 영상을 네비게이션에 저장된 도로 위치정보(도로 표지판, 지역 안내판, 긴급 표지판 등) 및/또는 공간정보(국가공간정보)에 정합시켜 현재 차량의 위치를 증강현실 구현방식으로 제공하여 안전운전에 기여토록 함에 특징이 있다.

본 발명의 또 다른 목적은 사용이 점차 증가하고 있는 구글 글래스(*** glass) 및 차량용 HUD(head up display) 기능과 연동된 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치를 제공함에 특징이 있다.

본 발명 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법은, 영상촬영수단으로 촬영한 주행방향 영상 중 도로 표지판, 안내판 등의 도로시설물을 마커로 추출한 다음 NAVI에 탑재된 지도 DB 및 공간정보 DB의 마커에 정합시켜 차량의 현재 위치를 증강현실방식으로 네비게이션 화면에 출력 함을 특징으로 할 수 있다.

본 발명 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법은, a. 영상촬영수단을 이용하여 차량 전방의 마커 영상을 획득하는 단계, b. 마커 영상이 인식되면 거리 및 픽셀크기를 계산하는 단계, c. 마커의 이미지 모델을 생성하고 랜더링 연산을 하는 단계, d. 랜더링된 이미지와 메모리에 저장된 이미지를 비교하여 동일하거나 유사한 오브젝터를 선택하는 단계, e. 선택된 오브젝터의 프레임 크기와 프레임 속도를 조절하는 단계, f. 오브젝터를 지도 데이터에 맵핑시켜 증강 현실 그래픽을 처리하는 단계, g. 화면 출력하고 음향 정보를 전달하는 단계로 될 수 있다.

상기 마커는, 영상을 8비트(8 bit)의 이진수 이미지와 검은색 마커의 프레임을 인식한 다음, 마커의 3차원 위치와 방향을 영상촬영수단과의 상대적 값으로 계산하는 방법으로 마커 정보를 트래킹하고, 트래킹된 마커 정보는 네비게이션(NAVI)의 메모리부에 저장된 가상객체를 검색하여 동일하거나 유사한 이미지를 찾아 매칭되면 차량 위치정보를 생성한 다음, 상기 가상객체를 실세계 마커와 일치되도록 랜더링시켜 화면 출력되도록 할 수 있다.

본 발명 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공장치는, 차량 전방의 영상을 촬영하는 영상촬영수단과, 영상촬영수단으로 촬영된 영상이 입력되는 영상입력부와, 입력되는 영상을 인식하여 영상처리한 다음 네비게이션의 도로 위치정보에 정합시켜 차량 위치를 영상으로 구현하는 영상재현부 및 네비게이션 제어모듈과, 제어모듈의 입출력에 접속되는 GPS모듈과, 제어모듈의 입출력에 접속되는 화상출력부와, 제어모듈의 입출력에 접속되고 지도 데이터를 이용하여 2D 또는 3D 지도 영상 데이터를 제공하는 지도 DB 및 공간정보 DB와, 영상입력부에 의해 입력된 영상을 지도 DB 및 공간정보 DB의 데이터와 맵핑시켜 증강 현실 그래픽을 구현하는 영상재현부와, 제어모듈의 입출력에 접속되는 메모리부와, 제어모듈의 입출력에 접속되는 사용자입력부와, 제어모듈의 출력에 접속되고 경고 음향을 출력하는 오디오부를 포함할 수 있다.

상기 영상재현부는, 영상촬영수단이 촬영한 영상을 기초로 좌표를 계산하는 좌표계산부, 상기 입력 영상에 포함된 마커와 데이터베이스부의 마커를 독출 및 비교하여 마커를 인식하는 마커인식부, 상기 인식된 2D 마커를 랜더링시키는 랜더링부를 포함할 수 있다.

상기 랜더링부는 증강현실부를 포함하되, 상기 증강현실부는 입력 영상을 기초로 도로상 운전자의 현재 공간을 생성하는 공간생성부와, 상기 영상에 포함된 도로 위치 정보를 기초로 2D 평면을 결정하는 평면결정부와, 상기 2D 평면을 상기 가상 3D 공간에 맵핑하는 맵핑부와, 맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 증강 현실을 제공하는 증강 현실제공부를 더 포함할 수 있다.

상기 영상촬영수단은, 비디오카메라, 블랙박스 카메라, 구글 글래스(*** glass), 스마트폰, 시계(스마트 기어) 중 적어도 어느 하나일 수 있다.

본 발명은 영상촬영수단으로부터 입력되는 주행방향 영상을 네비게이션에 저장된 도로 위치정보 및 공간정보(국가 공간정보)에 정합시켜 GPS 수신이 어렵거나 불량한 지역에서도 차량의 현재 위치가 정확히 제공되도록 함으로써 신속한 길찾기 및 운전자의 안전운전에 크게 기여되는 효과가 있다.

또한, 본 발명은 유치원 차량 및 학교 버스(school bus), 사회적 약자 차량, 장애인 1인승 차량 등에 인식용 마커를 부착시켜 교통상황별(도로 주변 상황별 상황, 예컨대 재난, 재해, 스쿨(school) 버스 승하차, 도로공사, 안전사고 등의) 표준 AR 마커를 운전자에게 전달함으로서 차량 운전자가 신속히 전방의 각종 교통 상황에 신속히 대처할 수 있어서 교통사고 2차 피해가 예방되는 효과가 있다.

본 발명은 기존 탑재된 네비게이션의 영상정보(도로 표지판, 지역 안내판, 긴급 표지판 등)를 기초로 블랙박스 카메라가 촬영한 주행 방향 영상을 네비게이션에 저장된 도로 위치정보(도로 표지판, 지역 안내판, 긴급 표지판 등)에 정합시켜 현재 차량의 위치를 증강현실 구현방식으로 운전자에게 제공함으로써 안전운전에 크게 기여하는 효과가 있다.

본 발명은 사물이나 시설물 도형(안내판), QR 마커, NFC 칩(Tag) 정보를 수집하여 차량 이동 중 GPS 수신 위치의 DATA값과 연동 구현하고 국가공간정보 데이터와 부분 연동하여 정확한 위치를 구현하게 되므로 GPS 수신 불능지역 이동시, 기 구축 각 시설물, 예컨대 지상/지하 공간상의 사물이나 시설물(안내판, 교통표지 등)을 검색 및 연동하여 정확한 위치를 구현하는 효과가 있다.

본 발명은 GPS 수신이 불가능하거나 불량한 지역의 건물에 차량이 입고되면 차량은 영상촬영수단(2)을 통하여 수집한 영상을 이용하여 차량의 현재 위치값을 추출하여 표시할 수 있을 뿐 아니라, 상기 위치값은 메모리부에 저장한 다음 향후, 네비게이션 재 구동시 최종 위치값 또는 시작 값으로 사용할 수 있어 차량의 정확한 위치를 파악할 수 있어 목적지 설정에 따른 신속한 길찾기(길안내) 서비스가 가능한 효과가 있다.

본 발명은 영상촬영수단(2)이 구동되지 않은 경우, 운전자가 구글 글래스(*** glass), 스마트폰, 시계(스마트 기어) 등을 이용하여 건물의 실내 공간정보값(속성, 위치 정보값)을 취득하되, 차량 네비게이션 장치부에 실내 공간 데이터를 전달하여 현재 위치를 쉽고 정확하게 인식 및 확인할 수 있는 효과가 있다.

본 발명은 영상촬영수단(2)으로 고해상의 원거리 카메라와 근거리 카메라를 병용함으로써 지속적인 위치 감지로 도로정보를 안내하거나, 또는 야간 차량 주행시 적외선 카메라로 안내표지판을 식별하거나, 또는 모바일(휴대폰, 구글 글래스), 블랙박스, 네비게이션 3개 연동방식으로 GPS 수신이 불가능한 지역에서 충분한 기능을 발휘할 수 있어서 네비게이션의 위치 정확도에 기여하는 효과가 있다.

종래 차량 실내에 설치되는 네비게이션(Navigation Device)은 목적지를 알려주는 데이터만 가용되고 표준화 된 시뮬레이션만 구현되는 반면, 본 발명은 교통 상황별 표준 마커와, 사회적 약자의 차량에 부착된 표준마커를 검출할 수 있는 영상촬영수단을 제공함으로써 혹시, 운전자가 전방 주시를 태만히 할 때 전방 상황을 감시하여 운전자에게 알려 주게 되므로, 교통사고가 미연에 방지되는 등의 효과가 있는 매우 유용한 발명이다.

도 1 : 일 예로 도시한 교통표지판.
도 2 : 일 예로 도시한 전방주시 태만의 예시도.
도 3 : 일 예로 도시한 결빙, 임시 도로 등의 긴급 안내 예시도.
도 4 : 고가도로와 이웃하여 설치된 일반 도로상에서 GPS 수신오차로 인하여 차량 진행 방향의 도로 표현이 어려움을 예시한 도면.
도 5 : 지하차도와 이웃한 직선 도로상의 차량 현재위치 구현에 어려움이 있음을 도시한 예시 도면.
도 6 : 본 발명에서 공간정보를 이용한 교통상황 인식 개요도.
도 7 : 공간정보 데이터베이스(DB) 상의 일부 도로를 화면 출력한 예시도.
도 8 : 공간정보(좌표정보)를 갖는 교통관련 각종 도로 표지판 및 안내판 예시 사진.
도 9 : 본 발명 일 예로 도시한 교통상황 인식 개요도.
도 10 : 본 발명 일 예로 도시한 영상정보 제공장치의 구성도.
도 11 : 본 발명 일 예로 도시한 영상재현부의 구성도.
도 12 : 본 발명에서 영상정보 제공 과정을 나타낸 예시도.
도 13 : 본 발명 일 예로 도시한 증강현실부의 구성도.
도 14 : 본 발명에서 도로 시설물 확인용 영상촬영수단인 블랙박스, 모바일카메라(Phone)와, 영상출력수단인 구글 글래스(Google glass), 터치스크린, HUD의 예시도.
도 15 : 본 발명 다른 예로 도시한 부가정보를 처리하는 과정도.
도 16 : 본 발명 일 예로 도시한 영상정보 제공방법 흐름도.

이하, 본 발명의 바람직한 실시 예들을 첨부한 도면에 따라 상세히 설명하고자 한다. 본 발명의 실시 예들을 설명함에 있어 도면들 중 동일한 구성 요소들은 가능한 한 동일 부호로 기재하고, 관련된 공지구성이나 기능에 대한 구체적인 설명은 본 발명의 요지가 모호해지지 않도록 생략하며, 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.

도 9는 본 발명 일 예로 도시한 교통상황 인식 개요도로, 차량으로 도로를 주행할 때 만나는 각종 영상정보(도로 표지판, 지역 안내판, 긴급 표지판, 사물 등)를 영상촬영수단, 이를테면 블랙박스 카메라, 비디오카메라 등의 영상촬영수단(2)이나 블루투스모듈(9)을 통하여 무선 통신되는 모바일카메라(8)로 촬영하여 영상처리한 다음 추출된 마커와 지도 DB(11) 및 공간정보 DB(14)의 마커(도로 표지판, 지역 안내판, 긴급 표지판 등)에 정합(상황인식)시켜 현재 차량의 위치를 증강현실방식으로 구현하고 음향으로 알림으로써 안전운전에 기여토록 구성된다.

상기 영상정보에는 예시한 바와 같이, 도로 전방에 긴급상황이 발생되어 긴급 차량 삼각대가 설치된 구간, 도로 긴급 보수공사가 진행되고 있는 구간, 야간 주행시 도로 상황을 안내하는 반사시트, 결빙구간 등이 돌발하는 경우 교통상황을 인식한 다음 음성신호로 알람 경보 및/또는 화상(화면) 출력하게 되며, 상기 영상정보는 쉽게 비교 인식할 수 있는 마커(심벌 마커) 형태의 이미지로 데이터베이스가 구축되어 지도 DB(11) 및 공간정보 DB(14)에 저장된다.

상기 공간정보 DB(14)는 도로관리통합시스템에 구축되는 (국가)공간정보 DB로 각종 도로시설물 공간, 속성 데이터 등의 공간정보가 포함되며, 도 8과 같이 표지판, 안내판 등 공간정보 X,Y,Z 위치값, 시설물 속성값, 도로포장, 자동차 전용도로, 거리표 설치 위치, 일반국도 위임구간, 점용, 도로표지, 교량, 도로구역, 지적, 도로비탈면 등의 주제도(theme map) 서비스 제공을 통해 직관적이고 종합적인 정보 조회가 가능하며 이러한 공간정보(기 구축된 도로대장 DB)와 네비게이션 DB를 연동시켜 네비게이션의 최신 정보구현이 가능하도록 구현되며, 이에 따라 실세계 좌표로 구축됨으로 GPS 거리오차가 보완되어 네이비게이션 위치정보값에 대한 정확도가 향상되며, 도심지, 지하도, 건물내부 위치값 보완 및 정확도 향상에 큰 도움이 된다.

도 6은 교통관련 각종 도로 표지판과 안내판의 예시 사진으로, 본 발명에서는 상기 교통관련 각종 도로 표지판과 안내판이 갖고 있는 좌표(좌표가 구축된 도로대장 DB)와, 네비게이션의 DB를 연동시켜 적용함으로써 GPS 수신이 어렵거나, GPS 수신이 약한 지역에서도 거리오차를 보완하여 정확도를 크게 향상시킬 수 있게된다.

상기 좌표에는 표지판이나 안내판, 사물 등의 공간정보 X,Y,Z 위치값과 시설물의 속성값과, 실세계 좌표가 전산 DB 구축되어 있어서 거리오차를 보완할 수 있으며, 네이비게이션 위치정보값 정확도가 향상되고, 도심지, 지하도, 건물내부 위치값을 보완함으로써 정확도가 크게 향상된다.

도 10은 본 발명 일 예로 도시한 영상정보 제공장치(1)의 구성도로, 차량에 설치되고 차량 전방의 영상을 촬영하는 블랙박스의 카메라 또는 비디오카메라 등의 영상촬영수단(2)과, 상기 영상촬영수단(2)으로 촬영된 영상이 입력되는 영상입력부(3)와, 입력되는 영상의 좌표를 계산하고 마커(교통상황표지판 등)를 인식하여 영상처리한 다음 네비게이션의 도로 위치정보(도로 표지판, 지역 안내판, 긴급 표지판 등)에 정합시켜 현재 차량의 위치를 증강현실로 구현하는 영상재현부(4)를 포함하고 네비게이션(NAVI)을 제어하는 제어모듈(5)과, 제어모듈(5)의 입출력에 접속되고 차량의 자동항법운행을 위한 GPS모듈(6)과, 제어모듈(5)의 입출력에 접속되고 터치방식으로 입력/선택/취소 기능을 실행하고 화면출력(화면표시)기능을 갖는 터치스크린 및 HUD 등의 화상출력부(7)와, 제어모듈(5)의 입출력에 접속되고 무선통신으로 모바일(스마트폰)카메라(8)의 영상을 입력받는 블루투스모듈(9)과, 제어모듈(5)의 입출력에 접속되고 지도 데이터를 이용하여 2D 또는 3D 지도 DB 영상을 구현할 수 있도록 정보를 제공하는 지도 DB(11) 및 공간정보 DB(14)와, 제어모듈(5)의 입출력에 접속되고 각종 데이터가 저장(저장 및 독출)되는 메모리부(10)와, 제어모듈(5)의 입출력에 접속되고 전원의 온(ON)/오프(OFF)와 데이터의 입력/선택/취소, 리셋 등을 기능을 실행할 수 있도록 복수의 키패드로 구성되는 사용자입력부(12)와, 제어모듈(5)의 출력에 접속되고 경보음이나 경고 메시지 등의 경고 음향을 출력하는 오디오부(13)를 포함한다.

본 발명에서 화상출력부(7)는 도 9와 같이 구글 글래스(Google glass), 네비게이션(NAVI)의 터치스크린, 앞유리(hud display 창)에 구현되는 HUD, 또는 전용의 디스플레이 장치일 수 있다.

본 발명에서 영상입력부(3)에 접속되는 영상촬영수단(2)은 차량에 설치되거나 탑재되는 블랙박스(Car Black Box)의 카메라 및 비디오카메라(Video Camera), 블루투스모듈(9)과 연결되는 모바일카메라(8) 등이 포함된다.

본 발명에서 영상입력부(3)에 접속되는 영상촬영수단(2)은 스마트 기기가 부착되고 블루투스 4.0 이상의 환경에서 데이터를 주고 받고 영상신호를 전송하는 스마트폰이나, 안경, 시계 등이 포함될 수 있다.

도 11은 입력 영상을 지도 DB(11)와 공간정보 DB(14)의 데이터와 맵핑시켜 증강 현실 그래픽을 구현하는 영상재현부(4)의 구성도로, 비디오카메라 또는 블랙박스의 카메라와 같은 영상촬영수단(2)이 촬영한 영상을 기초로 좌표를 계산하는 좌표계산부(4a)와, 상기 입력 영상에 포함된 마커와 데이터베이스부(4d)의 마커를 독출 및 비교하여 마커를 인식하는 마커인식부(4b)와, 상기 인식된 2D 마커를 지도(Map)에 랜더링시키는 랜더링부(4c)를 포함할 수 있다.

상기 랜더링부(4c)는 맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 가상 3D 공간에 증강 현실을 제공하는 증강현실부를 포함할 수 있다.

상기 증강현실부는 입력 영상을 기초로 도로상 운전자의 현재 공간을 생성하는 공간생성부와, 상기 영상에 포함된 도로 위치 정보를 기초로 2D 평면을 결정하는 평면결정부와, 상기 2D 평면을 상기 가상 3D 공간에 맵핑하는 맵핑부와, 맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 증강 현실을 제공하는 증강 현실제공부를 포함할 수 있다.

도 12는 본 발명에서 영상정보 제공 과정을 예시한 것으로, 차량에 설치되는 블랙박스 카메라, 또는 비디오카메라 등의 영상촬영수단(2)이나 모바일카메라(8)를 이용하여 획득한 영상을 왜곡보정 및 내부 파라미터 로딩, 노이즈를 제거하는 등의 전처리한 영상을 분할(Segmentation)하고, 윤곽선 추출 및 마커영역을 추출하여 검출 및 분석하여 마커 ID를 인식하고, 마커위치를 계산한 다음 그래픽 랜더링하여 실세계정보처리(Real World)하여 증강현실로 영상 맵핑하여 화상출력부(7)를 통하여 화상(화면) 출력하게 된다.

상기 마커를 증강현실 트래킹하는 과정을 살펴보면, 영상촬영수단으로 촬영 획득한 마커 영상의 왜곡 보정 및 내부 파라미터를 로딩한 다음 적응 문턱치(Adaptive thresholding) 알고리즘을 적용하여 영상 분할(Segmentation)하고, 분할 획득된 마커 정보 영상으로부터 마커의 외곽선을 추출(Edge Detection)하고, 추출된 외곽선들로부터 사각형 영역의 이미지를 추출(Find Quadrangles)하고, 정의된 마커의 크기와 비교하여 마커 영역 추출하고, 영상촬영수단의 내부 파라미터를 이용하여 추출된 마커 영역에 적용하여 정의된 마커의 특성과 비교하여 마커를 검출 및 판단하고(Perspective Transformation), 검출된 마커들 중 내부 영역의 이미지를 분석하여 마커 고유의 ID를 인식(Check Pattern)하고, 마커 고유 ID의 인식에 성공(Pose Estimation)하면, 해당 마커의 특징 점들로부터 마커의 위치를 계산하고, 계산된 위치 정보는 4x4 형태의 매트릭스로 그래픽스 랜더링하면 증강현실(가상현실)의 3D 화면을 얻을 수 있게 된다.

본 발명에서 마커 구현원리는, 영상을 8비트(8 bit)의 이진수 이미지와 검은색 마커(안내판) 프레임을 인식한 다음, 마커의 3차원 위치와 방향을 영상 촬영수단과의 상대적 값으로 계산하는 방법으로 마커 정보를 트래킹하고, 트래킹된 마커 정보, 예컨대 마커 심벌은 네비게이션(NAVI)의 메모리부(10)에 저장된 가상객체를 검색하여 동일하거나 유사한 이미지를 찾아 매칭되면 차량 위치정보를 생성한 다음 상기 가상객체를 실세계 마커와 일치되도록 랜더링시키면 2D 또는 3D의 증강현실 화면이 네비게이션(NAVI)의 터치스크린이나, 구글 글래스 또는 앞유리창에 HUD로 출력 및 구현되고, 오디오부(13)를 통하여 음향으로도 선택적으로 출력된다.

즉, 상기 영상은 2진화된 후 4각의 모서리를 인식하여 마커의 자세와 위치를 파악한 다음 내부의 패턴을 팸플릿 매칭에 의해 비교한 후 GPS 수신 주변의 이미지(안내판)를 선택, 운전자에게 공간정보를 네비게이션(NAVI)으로 전송하여 2D, 3D로 화면 표시하게 된다.

도 16은 본 발명 일 예로 도시한 영상정보 제공방법 흐름도로, 차량에 설치되는 블랙박스의 카메라 또는 비디오카메라 등의 영상촬영수단(2)이나 모바일카메라(8)를 이용하여 차량 전방의 마커 영상을 획득하여(S1 단계), 마커가 인식되면(S2 단계), 거리 및 픽셀크기를 계산하고(S3 단계), 이미지 모델을 생성하고(S4 단계), 랜더링 연산을 하여(S5 단계), 랜더링된 이미지와 메모리에 미리 저장된 이미지를 비교하여 동일하거나 유사한 오브젝터가 없으면(S6 단계) 이미지 모델을 재생성한 다음(S4 단계) 랜더링 연산을 하고(S5 단계), 오브젝터를 선택하게 되며(S6 단계), 선택된 오브젝터가 있으면 화상출력부(7)의 크기를 감안하여 오브젝터 프레임 크기를 적절히 조절하고(S7 단계), 또한 오브젝터의 프레임 속도를 적절히 조절한 다음(S8 단계), 상기 오브젝터를 지도 DB(11) 및 공간정보 DB(14)의 데이터에 맵핑시켜 증강 현실 그래픽(가상 현실 그래픽)을 처리하고(S9 단계), 터치스크린 HUD 등의 소정 영역으로 증강 현실 그래픽을 화면 출력하고 음향(알람)으로 경보함으로써(S10 단계) 운전자가 화상 경보 및 경보음으로 인식하여 신속히 대응할 수 있어서 안전운전을 할 수 있고 교통사고를 예방할 수 있게 된다.

도 15는 본 발명 다른 예로 도시한 부가정보를 처리하는 과정도로, 공간정보 영상을 이용하여 주차위치를 쉽게 확인할 수 있음을 도시한 것이다.

예컨대, 주차한 장소 주변의 공간정보, 이를테면 운전자가 휴대하는 구글 글래스(*** glass), 스마트폰, 시계(스마트 기어)와 같은 스마트기기를 이용하여 좌표를 갖는 안내표지판을 촬영한 다음 무선통신을 이용하여 위치정보시스템(또는 위치정보시스템의 서버)으로 전송한 다음 위치정보를 요청하면, 위치정보시스템은 상기 스마트기기가 보내온 좌표에 해당하는 위치정보, 예컨대, "지하 3층 A구역 45번 주차" 정보(데이터)를 스마트기기로 전송하게 되며, 따라서 운전자는 전송된 상기 정보를 토대로 주차위치를 확인할 수 있게 된다.

본 발명은 유치원 차량 및 학교 버스(school bus), 사회적 약자 차량, 장애인 1인승 차량 등에 인식용 마커를 부착시켜 도로의 주변 상황별 표준 인식 마커를 이용하여 도로 주변 상황별 상황, 예컨대 재난, 재해, 스쿨(school) 버스 승하차, 도로공사, 안전사고 등의 교통상황별 표준 AR 마커를 이용하여 차량 운전자가 신속히 대처할 수 있어서 각종 교통사고가 예방된다.

본 발명은 사물이나 시설물 도형(안내판), QR 마커, NFC 칩(Tag) 정보를 수집하여 차량 이동 중 GPS 수신 위치의 DATA값과 연동 구현하고 국가공간정보 데이터와 부분 연동하여 정확한 위치를 구현하게 되므로 GPS 수신 불능지역 이동시, 기 구축 각 시설물, 예컨대 지상/지하 공간상의 사물이나 시설물(안내판, 교통표지 등)을 검색 및 연동하여 정확한 위치를 구현하게 된다.

본 발명에서 국가공간정보로 구축되는 도로대장의 캐드 파일(CAD File)이 1 Chain(체인)이 20m로 나눠 구획, 구축되는 경우, 차량 네비게이션의 위치처리부와 영상입력부는 도로 노선상의 수치 연산값을 1chain ~ 2chain으로 나눠 데이터 필터링 실시하도록 하고, 위치수집 data는 GPS 수신이 양호한 지역의 1 ~ 2 chain 상의 공간 정보를 수집, 처리, 전달 또는 저장하는 방법으로 최종 위치값을 획득할 수 있다.

본 발명에서 영상수집 데이터는 GPS 수신이 불량한 지역의 지상/지하 공간 건물에 부착된 시설안내표지를 수집, 처리, 전달 또는 저장함으로써 GPS 수신 불능지역이나 GPS 수신이 불량한 지역에서도 정확한 위치 및 정보가 제공된다.

본 발명은 GPS 수신이 불가능하거나 불량한 지역의 건물에 차량이 입고되면 차량은 수신 불량시, 영상촬영수단(2)을 통하여 수집한 영상을 이용하여 차량의 현재 위치값을 추출하여 표시할 수 있게 된다.

상기 위치값은 메모리부(10)에 저장된 다음 향후, 네비게에션 재 구동시 최종 위치값 또는 시작 값으로 사용될 수 있다.

본 발명에서 영상촬영수단(2)이 구동되지 않았을 경우, 운전자가 휴대한 스마트 기기 장치, 이를테면, 구글 글래스(*** glass), 스마트폰, 시계(스마트 기어) 등을 이용하여 건물의 실내 공간정보값을 취득, 차량 네비게이션에 실내 공간 데이터를 전달하여 현재 위치를 인식하여 화면 출력할 수 있다.

본 발명에서 연동방식은 블루투스(blue tooth) 4.0 이상 방식, 또는 무선 인터넷, 일반 통신 방식 등으로 구현된다.

본 발명에서 차량은 구글 글래스(*** glass), 스마트폰, 시계(스마트 기어) 등의 휴대기기로부터 전달되는 실내 위치정보값(국가공간정보 표준위치 data값 또는 다양한 실내 위치 안내 서비스 정보)으로 차량의 현재 위치를 재 설정, 재 조정 과정을 거쳐 운전자의 원활한 차량 운행을 지원할 수 있다.

본 발명에서 사물이나 시설물 안내 장치 및 도로표지 등에 대한 이미지 처리는 AR(증강현실) 구현 방식이 바람직하며, 사물이나 시설물 중 QR, NFC Tag에 대한 정보처리는 기존 표준 data 값을 네비게이션 상에 구현 될 수 있는 GRS80 체계(세계측지 좌표체계)로 공간정보 DATA로 전달하여 구현될 수 있다.

본 발명에서 영상촬영수단(2)은 고해상의 원거리 카메라와 근거리 카메라를 병용함으로써 지속적인 위치 감지로 도로정보를 안내하거나, 또는 야간 차량 주행시 적외선 카메라로 안내표지판 식별하거나, 또는 모바일(휴대폰, 구글 글래스), 블랙박스, 네비게이션 3개 연동방식으로 GPS 수신이 불가능한 지역에서 충분한 기능을 발휘할 수 있어서 네비게이션의 위치 정확도에 일조하게 된다.

기존의 네비게이션(NAVI)은 도 5와 같이 지하차도와 이웃한 직선 도로상의 차량 현재 위치를 구현할 때 네비게이션의 위치정확도 한계에 의해 차량이 지하차도를 진행하는지, 또는 옆 도로를 진행하는지 구분할 수 없는 한계가 있었으나, 본 발명에서는 차량에 장착되는 영상촬영수단(2)이나 모바일카메라(8)을 이용하여 영상을 획득 및 추출된 마커와 지도 DB(11) 및 공간정보 DB(14)의 마커(도로 표지판, 지역 안내판, 긴급 표지판 등)에 정합(상황인식)시켜 현재 차량의 위치를 증강현실방식으로 구현하고 음향으로 알림으로써 안전운전에 기여할 뿐 아니라, 도로상의 각종 도로표지 및 안내판을 인식하여 증강현실 방식으로 실시간 화상 구현하므로 네비게이션의 정확한 위치가 안내된다.

본 발명은 도로상의 표준 도로안내판 및 지역안내판이 네비게이션(NAVI)에 기 구축된 영상정보 DB(안내판 이미지 정보)를 기초로 상기 영상이 취득한 차량 전방의 각종 도로 안내 정보를 인식하여 안내함으로서 현재 차량 위치 및 방향 등에 관한 공간정보 정확도가 크게 향상된다.

본 발명은 영상촬영수단이 촬영한 실제 공간의 표준 도로 표지판 및 각종 도로상의 위험 이벤트가 차량에 탑재된 네비게이션(NAVI)의 공간정보(각종 안내판 및 특수 이벤트)DB와 연동되어 건물정보나 도로에 관련된 정보를 표시함으로써 해당 장소에 대한 사용자의 인식율이 크게 향상된다.

본 발명은 영상촬영수단이 촬영한 실제 공간의 영상정보는 차량 네비게이션(NAVI)의 GPS 위치와 결합하여 보다 정확하고 신속한 차량 경로 안내 정보 및 주변 도로와 관련된 정보를 차량 모니터, 네비게이션 등에 표시함으로써 해당 장소에 대한 사용자의 인식율이 크게 향상된다.

본 발명은 지하차도, 고가도로 주변지역에서 카메라가 촬영한 영상을 기초로 2D의 평면을 3D 공간상에 정확하게 맵핑함으로써 네비게이션(NAVI)의 맵핑 정밀도가 크게 향상된다.

본 발명에서는 다양한 트래킹 방법 중 광학방식을 적용하여 미리 약속한 안내판(마커)을 영상촬영수단으로 검출한 해당 안내판(마커)과 기존 네비게이션(NAVI) DB상에 존재하는 안내판 정보와 매칭하게 된다. 네비게이션(NAVI)의 공간적 위치정보값은 GPS 수신 DATA로 1차 확인하고, 네비게이션(NAVI)과 GPS 반경 10M(또는 사용자가 기기에 설정한 특정거리) 이내에 존재하는 도로안내판 및 지역안내판, 긴급 안내표시 등 교통표지판 데이터를 수집하여 2차 DATA 매칭을 하게 된다. 마지막으로 영상촬영수단으로 수집된 전면, 이를테면 차량 진행방향 도로상의 오른쪽측면 상의 각종 도로안내, 지역안내, 긴급 안내표시와 3차 매칭시킴으로서 진행 또는 정차한 차량의 현재 위치한 곳의 정확한 정보를 네비게이션 화면상에 구현하고 차량 스피커로 음성안내 하도록 구현된다.

본 발명은 대형 건물의 지하 주차장, 입체 교차로, 고가도로, 고가도로 옆길 등 GPS 수신 감도가 떨어지고 방해되는 위치상에 존재하는 차량용 NAVI의 정확도를 개선함으로서 차량의 정확한 위치정보가 운전자에게 제공된다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

(1)--영상정보 제공장치 (2)--영상촬영수단
(3)--영상입력부 (4)--영상재현부
(5)--제어모듈 (6)--GPS모듈
(7)--화상출력부 (8)--모바일카메라
(9)--블루투스모듈 (10)--메모리부
(11)--지도 DB (12)--사용자입력부
(13)--오디오부 (14)--공간정보 DB
(4a)--좌표계산부 (4b)--마커인식부
(4c)--랜더링부 (4d)--데이터베이스부

Claims

영상촬영수단으로 촬영한 주행방향 영상을 마커로 추출한 다음 지도 DB 및 공간정보 DB의 마커에 정합시켜 차량의 현재 위치를 증강현실방식으로 네비게이션 화면에 출력하는 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법에 있어서,
상기 영상촬영수단으로 촬영 획득한 마커 영상의 왜곡 보정 및 내부 파라미터를 로딩한 다음 적응 문턱치 알고리즘을 적용하여 영상 분할하고, 분할 획득된 마커 정보 영상으로부터 마커의 외곽선을 추출하고, 추출된 외곽선들로부터 사각형 영역의 이미지를 추출하고, 정의된 마커의 크기와 비교하여 마커 영역 추출하고, 영상촬영수단의 내부 파라미터를 이용하여 추출된 마커 영역에 적용하여 정의된 마커의 특성과 비교하여 마커를 검출 및 판단하고, 검출된 마커들 중 내부 영역의 이미지를 분석하여 마커 고유의 ID를 인식하고, 마커 고유 ID의 인식에 성공하면 해당 마커의 특징점들로부터 마커의 위치를 계산하고, 계산된 위치 정보는 4x4 형태의 매트릭스로 그래픽스 랜더링하여 증강현실의 3D 화면을 얻을 수 있도록 함을 특징으로 하는 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법.
a. 영상촬영수단을 이용하여 차량 전방의 마커 영상을 획득하는 단계;
b. 마커 영상이 인식되면 거리 및 픽셀크기를 계산하는 단계;
c. 마커의 이미지 모델을 생성하고 랜더링 연산을 하는 단계;
d. 랜더링된 이미지와 메모리에 저장된 이미지를 비교하여 동일하거나 유사한 오브젝터를 선택하는 단계;
e. 선택된 오브젝터의 프레임 크기와 프레임 속도를 조절하는 단계;
f. 오브젝터를 지도 데이터에 맵핑시켜 증강 현실 그래픽을 처리하는 단계;
g. 화면 출력하고 음향 경보하는 단계; 를 포함하되,
상기 영상촬영수단으로 검출된 마커와 기존 네비게이션 DB상에 존재하는 안내판 정보를 매칭하되, 네비게이션의 공간적 위치정보값은 GPS 수신 DATA로 1차 확인하고, 차량 네비게이션과 GPS 반경 10M 이내에 존재하는 교통표지판의 데이터를 수집하여 2차 DATA 매칭을 하고, 영상촬영수단으로 수집된 차량 진행방향 도로상의 오른쪽 측면 상의 도로안내, 지역안내, 긴급 안내표시와 3차 매칭시킴으로서 진행 또는 정차한 차량의 현재 위치한 곳의 정확한 정보를 네비게이션 화면상에 구현하고 차량 스피커로 음성안내 하도록 함을 특징으로 하는 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법.
삭제
차량 전방의 영상을 촬영하는 영상촬영수단(2);
영상촬영수단(2)으로 촬영된 영상이 입력되는 영상입력부(3);
입력되는 영상을 인식하여 영상처리한 다음 네비게이션의 도로 위치정보에 정합시켜 차량 위치를 영상으로 구현하는 영상재현부(4) 및 네비게이션 제어모듈(5);
제어모듈(5)의 입출력에 접속되는 GPS모듈(6);
제어모듈(5)의 입출력에 접속되는 화상출력부(7);
제어모듈(5)의 입출력에 접속되고 지도 데이터를 이용하여 2D 또는 3D 지도 영상 데이터를 제공하는 지도 DB(11) 및 공간정보 DB(14);
영상입력부(3)로 입력 처리된 영상을 지도 DB(11) 및 공간정보 DB(14)의 데이터와 맵핑시켜 증강 현실 그래픽을 구현하는 영상재현부(4);
제어모듈(5)의 입출력에 접속되는 메모리부(10);
제어모듈(5)의 입출력에 접속되는 사용자입력부(12);
제어모듈(5)의 출력에 접속되고 경고 음향을 출력하는 오디오부(13); 를 포함하되,
영상촬영수단(2)은 고해상의 원거리 카메라와 근거리 카메라를 병용하도록 하고,
영상재현부(4)는,
영상촬영수단이 촬영한 영상을 기초로 좌표를 계산하는 좌표계산부(4a);
입력 영상에 포함된 마커와 데이터베이스부(4d)의 마커를 독출 및 비교하여 마커를 인식하는 마커인식부(4b);
상기 인식된 2D 마커를 랜더링시키는 랜더링부(4c); 를 포함하고,
상기 랜더링부(4c)는 증강현실부를 포함하되,
상기 증강현실부는, 입력 영상을 기초로 도로상 운전자의 현재 공간을 생성하는 공간생성부와, 입력 영상에 포함된 도로 위치 정보를 기초로 2D 평면을 결정하는 평면결정부와, 상기 2D 평면을 가상 3D 공간에 맵핑하는 맵핑부와, 맵핑된 2D 평면을 기초로 상기 영상에 정보 오브젝트를 합성하여 증강 현실을 제공하는 증강 현실제공부를 포함하는 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공장치.
삭제