KR101039186B1 - 내비게이션 시스템, 휴대 단말 장치 및 주변 화상 표시 방법 - Google Patents

Abstract

출발지로부터 목적지까지의 안내 경로를 탐색하는 경로 탐색 수단(33)을 구비한 경로 탐색 서버(30)와, 현재 위치를 측위하는 GPS 수신 수단(21)과, 촬상 수단(22)과, 촬상 수단(22)이 촬상한 주변 화상과 함께 안내 경로 또는 진행 방향 안내 화상 또는 흥미 대상 장소를 나타내는 화상을 표시하는 표시 수단(28)을 구비한 휴대 단말 장치(20)로 구성되는 내비게이션 시스템(10)에 있어서, 휴대 단말 장치(20)는 추가로, 표시 수단(28)에 표시된 주변 화상의 표시를 제어하는 표시 제어 수단(25)을 구비하고, 표시 제어 수단(25)은 촬상 수단(22)의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단(22)이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단(22)의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 하였다.

Description

내비게이션 시스템, 휴대 단말 장치 및 주변 화상 표시 방법{NAVIGATION SYSTEM, PORTABLE TERMINAL DEVICE, AND PERIPHERAL-IMAGE DISPLAY METHOD}

본 발명은 출발지로부터 목적지까지의 안내 경로를 탐색하고, 이 안내 경로를 휴대 단말 장치의 표시 수단에 표시된 화상 정보를 이용하여 안내하는 통신형의 보행자 내비게이션 시스템에 관한 것이며, 특히 교차점 등에 있어서 주변의 풍경을 휴대 단말 장치의 촬상(撮像) 수단에 의해 촬상하여 주변 화상으로서 표시 수단에 표시하고, 표시된 주변 화상 위에 경로 안내 화상이나 진행 방향 안내 화상 등을 표시할 때에, 유저가 휴대 단말 장치의 표시 화면을 관찰하는데 적합한 자세로 유지한 경우에, 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 한 보행자용의 내비게이션 시스템에 관한 것이다.

종래 낯선 지역에 있어서 목적지가 되는 장소를 방문하는 경우, 지도책 등에 의지하여 당해 지도에 그려진 교통 기관, 도로나 랜드마크 및 주소를 확인하면서 도달하고 있었다. 또, 카 내비게이션 시스템(이후 간단히, 카 내비라 함)을 탑재한 자동차에 있어서는 이 카 내비를 기동하여 목적지를 입력하는 것에 의해 내비게이션 시스템으로부터 모니터 화면에 표시되는 안내나 음성 출력되는 안내(내비게이션 정보)를 얻으면서 목적지에 도달하고 있었다.

상기 카 내비는 GPS(Global Positioning System: 전(全) 지구 측위 시스템)를 이용한 것이며, 지구 위를 주회(周回)하고 있는 복수의 GPS 위성으로부터 송신되는 GPS 신호를 GPS 안테나로 수신하여, 당해 GPS 신호에 포함되는 위성 위치나 시계 정보 등을 해석하여 위치의 특정을 행하는 것이다. 이 복수의 GPS 위성의 개수는 적어도 4개 이상 필요하다. GPS의 단독 측위 정밀도는 일반적으로 10m 남짓이지만, DGPS(Differential GPS)를 채용하는 것에 의해 5m 이하로 향상된다. 특히, 현재는 일부의 휴대 전화에밖에 탑재되고 있지 않는 GPS 수신기가, 제3 세대로 불리는 휴대 전화에서는 모든 기종에 탑재되고 있다.

이와 같은 측위 기능을 가지는 휴대 단말의 이용 기술로는 여러 가지 분야의 기술이 제안되고 있으며, 예를 들어 자동차용의 내비게이션 장치(카 내비)를 발전시켜, 휴대 전화를 단말로 하여 지도ㆍ경로 정보를 정보 전달 서버(경로 탐색 서버)로부터 전달하는 보행자용의 통신형 내비게이션 시스템이 제안되고 있다.

최근 휴대 전화, PHS 등의 휴대 통신 단말 기기의 성능은 비약적으로 향상되고, 또 다기능화가 진행되고 있다. 특히 통화 기능 외에 데이터 통신 기능이 강화되어, 유저에 대해 인터넷을 통한 여러 가지의 데이터 통신 서비스가 제공되고 있다. 내비게이션 서비스도 그 하나이며, 자동차의 운전자뿐만 아니라 휴대 전화 유저에 대해 현재 위치로부터 목적지까지의 경로 안내를 제공하는 통신 내비게이션 시스템이 실용화되고 있다.

일반적인 내비게이션 장치, 통신 내비게이션 시스템에 이용되는 경로 탐색 장치, 경로 탐색 방법은 예를 들어 하기의 특허 문헌 1(일본 특개 2001-165681호 공보)에 개시되어 있다. 이 내비게이션 시스템은 휴대 내비게이션 단말로부터 출발지와 목적지의 정보를 정보 전달 서버에 보내고, 정보 전달 서버에서 도로망이나 교통망의 데이터로부터 탐색 조건에 합치된 경로를 탐색하여 안내하도록 구성되어 있다. 탐색 조건으로는 출발지로부터 목적지까지의 이동 수단, 예를 들어 도보, 자동차, 철도와 도보의 병용 등이 있으며, 이것을 탐색 조건의 하나로 하여 경로 탐색한다.

정보 전달 서버는 지도 데이터의 도로(경로)를 그 결절점(結節点), 굴곡점의 위치를 노드로 하고, 각 노드를 잇는 경로를 링크로 하여, 모든 링크의 코스트 정보(거리나 소요 시간)를 데이터베이스로서 구비하고 있다. 그리고, 정보 전달 서버는 데이터베이스를 참조하여 출발지의 노드로부터 목적지의 노드에 이르는 링크를 순차적으로 탐색하여, 링크의 코스트 정보가 최소로 되는 노드, 링크를 찾아내어 안내 경로로 하는 것에 의해 최단의 경로를 휴대 내비게이션 단말에 안내할 수 있다. 이와 같은 경로 탐색의 수법으로는 라벨 확정법 또는 다익스트라법(Dijstra algorithm)이라 불리는 수법이 이용된다. 상기 특허 문헌 1에는 이 다익스트라법을 이용한 경로 탐색 방법도 개시되어 있다.

일반적으로 통신형의 내비게이션 시스템에 있어서, 단말 장치가 표시하는 지도 정보나 안내 경로 정보는 네트워크를 통하여 접속되는 경로 탐색 서버 등의 서버 장치로부터 다운로드한다. 경로 탐색 서버 등의 정보 전달 서버로부터 지도 정보나 안내 경로의 전달을 받은 단말 장치는 액정 표시 장치 등의 표시 수단을 구비 하고 있으며, 표시 수단에 지도 및 안내 경로를 표시함과 아울러 보행자나 자동차의 현재 위치(단말 장치의 현재 위치)를 안내 경로 상에 표시하여 보행자나 자동차를 목적지까지 안내한다.

일반적으로 표시 수단에 표시하는 지도는 평면도, 즉 2차원 도형의 표시이지만, 표시 화상에 원근감을 갖게 한 평면 조감도나 랜드마크나 건물의 모습을 육안으로 확인하기 쉽게 하기 위해 건물을 의사적(擬似的)으로 3차원적으로 표현한 조감도를 표시하는 방법이나, 도로나 건물을 Z 버퍼법(Z buffer method)에 의해 3차원 폴리곤 화상으로 하여 표시하는 방법도 제안되고 있다.

예를 들어 하기의 특허 문헌 2(일본 특개 2001-27535호 공보)에는 건물이나 도로를 입체적으로 표시하도록 한 지도 표시 장치가 개시되어 있다. 이 특허 문헌 2에 개시된 지도 표시 장치에 있어서는 3차원 지도 표시를 행할 때에, 도로의 화상에 경로 안내선의 화상을 음영을 붙여서 입체적으로 표시하도록 구성하고 있다. 또, 경로 안내선이 건물에 숨겨지는 위치 관계가 되는 경우, 그 경로 안내선의 중복 부분에 대해 중복되지 않는 부분과 색을 바꾸어 표시한다. 특히, VRAM(비디오 RAM) 상에서 경로 안내선의 표시색과 건물의 표시색을 화소 단위로 엇갈리게 설정하는 반투과의 수법으로 묘화하여, 경로 안내선과 건물의 상대적인 위치 관계를 명확히 하여 경로 안내선의 시인성(視認性)을 향상시키도록 하고 있다.

상기와 같은 표시를 하기 위해, 특허 문헌 2에 개시된 지도 표시 장치에 있어서 지도 데이터에는 건물의 형상 데이터와 높이 정보가 기억되며, 또 입체 교차 등의 도로의 형상 데이터가 기억되어 있다. 이 지도 데이터에 기초하여 건물이나 도로의 입체 교차부를 묘화부(描畵部)에 3차원적으로 묘화하여, 차량이 진행하여 경로 안내해야 할 위치에 오면 묘화부에 원하는 화상을 묘화하고, 음성 출력부에 소정의 음성을 발성시켜서 이용자를 목적지에 안내하도록 구성하고 있다.

일반적으로, 폴리곤 데이터를 이용한 지도의 3차원적인 표시는 다음과 같이 행해진다. 즉, 지도에 표시하는 각각의 건물을 구성하는 각 면을 폴리곤 데이터로 준비해 두고, 지도 데이터와 함께 건물의 폴리곤 데이터를 지도 표시 장치에 보낸다. 지도 표시 장치는 지도를 표시함과 아울러, 그 지도상에 위치하는 각 건물을 폴리곤 데이터를 이용하여 3차원적으로 표시하는 것이다. 이 때, 건물을 보다 리얼하게 표시하기 위해, 건물의 각 면에 추가로 텍스처(texture)를 붙여 표시한다. 텍스처는 건물 면의 형상을 나타내는 데이터이며, 건물 창의 형상이나 벽면의 형상 등이다.

예를 들어 하기의 특허 문헌 3(일본 특개 2000-259861호 공보)에는 폴리곤 데이터에 텍스처를 붙여 묘화하도록 한 텍스처 매핑 장치(texture mapping device)의 발명이 개시되어 있다. 이 특허 문헌 3에 개시된 발명은 폴리곤에 텍스처를 정확하고 효율적으로 첩부(貼付)하여, 그 후의 편집을 용이하게 하는 것이다. 이 텍스처 매핑 장치는 와이어 프레임 상의 M행 N열로 배열된 사각형의 폴리곤 P1 ~ P4와 그것에 첩부할 텍스처를 지정한다. 지정된 복수의 폴리곤 P1 ~ P4의 변의 길이 Lp1 ~ Lp12의 비율에 따라 첩부 대상의 텍스처를 분할한다. 분할된 텍스처를 대응되는 폴리곤에 폴리곤의 방향을 고려하여 첩부하도록 구성한 것이다.

이와 같이 폴리곤의 데이터와 텍스처의 데이터를 이용하여 건물을 3차원 표 시하는 경우, 건물의 각 면을 나타내는 폴리곤 데이터와 이 면에 붙여야 할 텍스처 데이터는 1 대 1로 대응되는 데이터이며, 폴리곤 데이터와 함께 텍스처 데이터도 미리 서버의 데이터베이스에 축적되어 소정 범위의 지도 데이터와 함께 그 지도상에 표시해야 할 건물의 폴리곤 데이터, 텍스처 데이터가 지도 표시 장치에 송신된다.

이와 같이 지도를 입체적으로 표시하는 방법에 의하면, 단말 장치의 이용자는 이동 중에 실제로 관찰하고 있는 풍경에 가까운 표시 화상을 볼 수 있으므로, 우회전이나 좌회전 장소, 그 진행 방향을 용이하게 파악할 수 있다고 하는 이점이 있다. 그렇지만 그러기 위해서는 지도를 입체적으로 표시하기 위해, 평면적인 지도 데이터와는 별도로 3차원 표시를 위한 지도 데이터가 필요하게 된다. 3차원 지도 데이터는 평면 지도 데이터에 비해 데이터량도 많으며, 지도 데이터를 기억하는 기억 장치로서 대용량의 기억 장치가 필요하게 된다. 또, 통신형의 내비게이션 시스템에 있어서는 단말 장치와 경로 탐색 서버 사이의 통신 부하가 커지며, 통신 시간도 길어진다. 이 때문에, 다수의 단말 장치에 서비스를 제공하는 경로 탐색 서버에는 충분히 높은 처리 능력이 요구되는 등 각종 문제점이 생긴다.

이와 같은 문제점을 해소하기 위해, 차재용(車載用) 내비게이션 장치에 있어서 진행 방향의 풍경을 CCD 카메라 등의 촬상 수단을 이용하여 촬영하고, 촬영한 이 주변 화상을 표시 화면에 표시하고, 이 주변 화상에 우회전이나 좌회전의 진행 방향 안내 화상을 겹쳐 표시하거나, 안내 경로를 표시하거나 하도록 구성한 내비게이션 장치가 하기의 특허 문헌 4(일본 특개 2004-257979호 공보)나 특허 문헌 5(일 본 특개 2006-162442호 공보)에 개시되어 있다.

즉, 특허 문헌 4에 개시된 내비게이션 장치는 진행 방향의 풍경을 촬상하는 촬상 수단과, 이 촬상 수단에 의해 촬상된 화상을 표시하는 표시 수단을 구비하고, 경로 검출 수단이 검출한 경로 상의 분기점과 현재 위치 검출 수단이 검출한 현재 위치가 소정 거리 이하로 되면, 촬상 수단이 촬상한 화상에 분기점에서의 진행해야 할 방향을 안내하는 화상을 중첩하여 표시 수단에 표시하도록 구성된 것이다.

또, 특허 문헌 5에 개시된 내비게이션 장치는 안내 정보 특정부는 안내 정보를 제시하는 지도상의 위치와, 제시하는 안내 정보의 종류를 특정하는 안내 정보 특정부와, 화상 인식 등에 의해, 자차(自車)의 주변에 있는 장애물(보행자나 차량 등)의 위치와 종류를 검지하는 장애물 검지부와, 안내 정보의 표시 위치로서 검지한 장애물과 겹치지 않는 위치를 구하는 표시 위치 결정부와, 차량의 앞 유리 내의 결정된 위치에, 또는 전방(前方) 화상을 표시하는 디스플레이 내의 결정된 위치에, 안내 정보를 출력하는 화상 출력부를 구비하고, 차량으로부터 보이는 실제 풍경에 경로 진행 방향을 겹쳐 표시하는 것이다.

또, 보행을 대상으로 한 내비게이션 시스템에 있어서도, 하기의 특허 문헌 6(일본 특개 2005-241385호 공보)에, 카메라에 의해 촬영한 실제의 주변 화상에 경로 방향을 겹쳐 표시하는 휴대 단말 장치 및 내비게이션 장치가 개시되어 있다. 이 휴대 단말 장치는 이용자(목적지 안내 장치)의 현재 위치를 기준으로 하여 디지털 카메라의 스크린을 획정하고, 이 스크린에 대하여 목적지에 대응하는 목적지 방향 좌표를 정하고, 소정의 기준점(스크린 하변 중심)을 기준으로 하여 스크린 상에서 카메라의 촬영 화상에 겹쳐서 목적지 방향 좌표에 대한 지시 표시를 행하도록 구성된 것이다.

휴대 단말에 마련한 CCD 카메라 등 촬상 수단에 의해 주변의 풍경을 촬상하고, 휴대 단말의 표시 화면에 이 주변 화상을 표시할 때, 촬상 수단의 광축이 수평 방향과 병행으로 되며, 또한 표시 화면이 수평 방향에 수직인 방향으로 되도록 휴대 단말의 자세를 조정하여 촬상하는 것이 필요하게 된다. 이와 같은 전자 광학식 시각 시스템에 있어서 자세 조정의 방법이, 예를 들어 하기의 특허 문헌 7(일본 특허 제3700021호 공보)에 개시되어 있다.

이 특허 문헌 7에 개시된 전자 광학식 시각 시스템은 컴퓨터 시스템에 미리 준비된 지도 화상 등의 이미지와 실제의 경치 이미지를 촬영하여, 실제 경치의 이미지로부터 원하지 않는 대조물을 제거하고, 컴퓨터 시스템에 준비된 이미지와 바꿔 놓도록 한 것이다. 이 시스템은 실제의 배경 이미지와 컴퓨터에 의해 생성된 이미지로부터의 증보(增補) 이미지를 생성하기 때문에, 증보 이미지의 상하 좌우의 방향이 경치의 상하 좌우에 직접 대응하고, 또한 상기 이미지의 평면에 수직인 방향이 이용자로부터 상기 실제 경치로의 방향을 향하도록 촬상 수단의 자세를 조정하는 것이다.

특허 문헌 1: 일본 특개 2001-165681호 공보(도 1, 도 2)

특허 문헌 2: 일본 특개 2001-27535호 공보(도 1, 도 4, 단락 [0054])

특허 문헌 3: 일본 특개 2000-259861호 공보(도 2, 도 8)

특허 문헌 4: 일본 특개 2004-257979호 공보(도 4)

특허 문헌 5: 일본 특개 2006-162442호 공보(도 4, 도 5)

특허 문헌 6: 일본 특개 2005-241385호 공보(도 9)

특허 문헌 7: 일본 특허 제3700021호 공보(도 3, 청구항 1)

그런데 카메라를 탑재한 휴대 전화 등을 내비게이션 시스템의 단말 장치로서 이용하여, 표시 수단에 카메라로 촬상한 주변 화상을 표시하고, 그 주변 화상 위에 경로나 진행 방향을 표시하는 경우, 휴대 전화의 표시 화면이 작기 때문에 촬상 방향이 어긋나면 안내해야 할 경로가 화면 내에 표시되지 않는 경우도 있다. 이와 같은 문제를 해소하기 위해, 본원의 발명자는 국제 특허 출원 PCT/JP2006/320461호(이하, 선원 1이라 함)에 「내비게이션 시스템, 휴대 단말 장치 및 경로 안내 방법」의 발명을 출원하고 있다.

즉, 이 선원 1의 발명은 출발지로부터 목적지까지의 안내 경로를 탐색하고, 이 안내 경로를 표시 수단에 표시된 화상 정보를 이용하여 안내하는 통신형의 보행자 내비게이션 시스템에 관한 것이며, 특히 교차점 등에 있어서 주변의 풍경을 촬상하여 주변 화상으로서 표시 수단에 표시하고, 표시된 주변 화상 위에 경로 안내 화상이나 진행 방향 안내 화상을 표시할 때에, 경로 화상을 주변 화상 위에 표시할 수 없는 경우에 경로 화상을 표시할 수 있는 촬상 방향을 안내하도록 한 보행자 내비게이션 시스템이다.

선원 1의 보행자용 내비게이션 시스템에 있어서는 촬상 수단을 구비한 휴대 전화를 단말 장치로 하는 것이며, 이용자가 교차점 등에서 주변의 풍경을 촬상하는 경우, 상기 특허 문헌 7에 개시된 전자 광학식 시각 시스템과 동양(同樣)으로, 카 메라의 광축을 수평 방향에 맞추어서 촬상하게 된다.

그런데 휴대 전화 등의 단말 장치에 있어서, 카메라 등의 촬상 수단의 광축을 수평 방향에 맞추어서 셔터 조작하는 경우, 카메라의 광축과 표시 화면의 수직 방향의 축은 병행이 되는 위치 관계에 있는 것이 일반적인 것이기 때문에, 휴대 전화의 표시 수단은 촬상 수단의 광축인 수평 방향과 직각인 방향, 즉 수직 방향을 향한다. 이 자세는 통상 휴대 전화의 표시 화면을 관찰하는 방향(표시 화면을 수직으로 세우지 않고, 수직 방향으로부터 30°~ 60° 기울여서 관찰함)이 아닌, 이용자에게 있어서 휴대 전화를 부자연스러운 자세로 촬상해야 하는 문제점이 있었다.

이를 회피하기 위해, 휴대 단말 장치의 표시 화면을 세우는 일 없이, 수평 방향으로 기울여서 휴대 단말 장치를 유지하면, 촬상 수단의 광축이 수평 방향보다 아랫쪽을 향하게 되어, 촬상한 주변 화상의 수평 방향이 표시 화면의 수직 방향을 향하지 않아 부자연스러운 화상 표시로 되고 마는 문제점이 생긴다.

본원의 발명자는 상기의 문제점을 해소하기 위하여 여러 가지 검토를 거듭한 결과, 촬상 수단의 광축 방향과 표시 수단의 표시 화면 연직(鉛直) 방향이 대체로 평행인 촬상 화상 표시 광학계를 가지며, 실사(實寫) 영상(촬상 수단으로 촬상한 주변 화상)을 이용하는 내비게이션 장치에 있어서, 표시 수단에 표시하는 실사 영상은 촬상 화상의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 표시 제어하여, 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 하면 상기의 문제점을 해소할 수 있음을 상도하여 본 발명을 완성하기에 이른 것이다.

즉, 본 발명은 교차점 등에 있어서 주변의 풍경을 휴대 단말 장치의 촬상 수단에 의해 촬상하여 주변 화상으로서 표시 수단에 표시하고, 표시된 주변화상 위에 경로 안내 화상을 표시할 때에, 유저가 휴대 단말 장치의 표시화면을 관찰하는데 적합한 자세로 유지한 경우에, 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 한 보행자용의 내비게이션 시스템을 제공하는 것을 목적으로 하는 것이다.

상기 과제를 해결하기 위하여, 본원의 제1 발명은 경로 탐색용의 네트워크 데이터를 참조하여 출발지로부터 목적지까지의 안내 경로를 탐색하는 경로 탐색 수단을 구비한 경로 탐색 서버와, 안내 경로 데이터를 포함하는 안내 정보를 기억하는 안내 정보 기억 수단과, 현재 위치를 측위하는 GPS 수신 수단과, 촬상 수단과, 촬상 수단이 촬상한 주변 화상과 함께 안내 경로 또는 진행 방향 안내 화상 또는 흥미 대상 장소를 나타내는 화상을 표시하는 표시 수단을 구비한 휴대 단말 장치로 구성되는 내비게이션 시스템에 있어서, 상기 휴대 단말 장치는 추가로, 표시 수단에 표시된 주변 화상의 표시를 제어하는 표시 제어 수단을 구비하고, 이 표시 제어 수단은 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 한 것을 특징으로 한다.

본원의 제1 발명에 있어서, 상기 주변 화상을 표시하는 경우, 상기 표시 제어 수단은 상기 촬상 수단을 구성하는 촬상 소자의 화소 영역을 상기 표시 수단에 지도 화상을 표시하는 통상의 화소 영역에 비교하여, 다른 화소 영역을 설정하는 것에 의해, 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 구성하는 것이 바람직하다.

또, 본원의 제1 발명에 있어서, 상기 촬상 수단은 추가로, 촬상 수단 시프트 기구를 구비하고, 상기 주변 화상을 표시하는 경우, 상기 촬상 수단 시프트 기구를 이용하여 촬상 수단을 윗쪽으로 시프트하도록 구성하는 것이 바람직하다.

또, 본원의 제2 발명은 경로 탐색용의 네트워크 데이터를 참조하여 출발지로부터 목적지까지의 안내 경로를 탐색하는 경로 탐색 수단을 구비한 경로 탐색 서버와 네트워크를 통하여 접속되는 휴대 단말 장치에 있어서, 상기 휴대 단말 장치는 안내 경로 데이터를 포함하는 안내 정보를 기억하는 안내 정보 기억 수단과, 현재 위치를 측위 하는 GPS 수신 수단과, 촬상 수단과, 촬상 수단이 촬상한 주변 화상과 함께 안내 경로 또는 진행 방향 안내 화상 또는 흥미 대상 장소를 나타내는 화상을 표시하는 표시 수단과, 상기 표시 수단에 표시된 주변 화상의 표시를 제어하는 표시 제어 수단을 구비하고, 이 표시 제어 수단은 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 한 것을 특징으로 하는 휴대 단말 장치.

본원의 제2 발명에 있어서, 상기 주변 화상을 표시하는 경우, 상기 표시 제어 수단은 상기 촬상 수단을 구성하는 촬상 소자의 화소 영역을 상기 표시 수단에 지도 화상을 표시하는 통상의 화소 영역에 비교하여, 다른 화소 영역을 설정하는 것에 의해, 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 구성하는 것이 바람직하다.

또, 본원의 제2 발명에 있어서, 상기 촬상 수단은 추가로, 촬상 수단 시프트 기구를 구비하고, 상기 주변 화상을 표시하는 경우, 상기 촬상 수단 시프트 기구를 이용하여 촬상 수단을 윗쪽으로 시프트하도록 구성하는 것이 바람직하다.

또, 본원의 제3 발명은 경로 탐색용의 네트워크 데이터를 참조하여 출발지로부터 목적지까지의 안내 경로를 탐색하는 경로 탐색 수단을 구비한 경로 탐색 서버와, 안내 경로 데이터를 포함하는 안내 정보를 기억하는 안내 정보 기억 수단과, 현재 위치를 측위하는 GPS 수신 수단과, 촬상 수단과, 촬상 수단이 촬상한 주변 화상과 함께 안내 경로 또는 진행 방향 안내 화상 또는 흥미 대상 장소를 나타내는 화상을 표시하는 표시 수단을 구비한 휴대 단말 장치로 구성되는 내비게이션 시스템을 이용한 주변 화상 표시 방법에 있어서, 상기 휴대 단말 장치는 추가로, 표시 수단에 표시된 주변 화상의 표시를 제어하는 표시 제어 수단을 구비하고, 이 표시 제어 수단은 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하는 표시 스텝을 가지는 것을 특징으로 한다.

본원의 제3 발명에 있어서, 상기 표시 스텝은 상기 주변 화상을 표시하는 경우, 상기 표시 제어 수단이, 상기 촬상 수단을 구성하는 촬상 소자의 화소 영역을 상기 표시 수단에 지도 화상을 표시하는 통상의 화소 영역에 비교하여, 다른 화소 영역을 설정하는 것에 의해, 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하는 처리를 포함하도록 구성하는 것이 바람직하다.

또, 본원의 제3 발명에 있어서, 상기 촬상 수단은 추가로, 촬상 수단 시프트 기구를 구비하고, 상기 주변 화상을 표시하는 경우, 상기 촬상 수단 시프트 기구를 이용하여 촬상 수단을 윗쪽으로 시프트하는 시프트 스텝을 추가로 갖도록 구성하는 것이 바람직하다.

본원의 제1 발명에 의하면, 교차점 등에 있어서 주변의 풍경을 휴대 단말 장치의 촬상 수단에 의해 촬상하여 주변 화상으로서 표시 수단에 표시하고, 표시된 주변 화상 위에 경로 안내 화상이나 진행 방향 안내 화상 또는 흥미 대상 장소를 나타내는 아이콘 화상 등을 표시할 때에, 유저가 휴대 단말 장치의 표시 화면을 관찰하는데 적합한 자세로 유지한 경우에, 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시할 수 있게 된다.

또, 본원의 제2 발명에 의하면, 본원의 제1 발명에 관한 내비게이션 시스템을 구성하는 휴대 단말 장치를 제공할 수 있게 된다. 또, 본원의 제3 발명에 의하면, 본원의 제1 발명에 관한 내비게이션 시스템을 이용한 주변 화상 표시 방법을 제공할 수 있게 된다.

도 1은 본 발명의 실시예에 관한 내비게이션 시스템의 구성을 나타내는 블록도이다.

도 2는 휴대 단말 장치의 자세와 촬상 수단의 광축 및 촬상 각도를 나타내는 모식도이다.

도 3은 화상 안내 모드에 있어서 촬상 수단에 의해 촬상한 주변 화상을 표시 수단에 표시한 경우 표시 화상의 일례를 나타내는 도면이다.

도 4는 촬상 수단의 광축이 수평 방향을 향하도록 휴대 단말 장치를 유지한 상태에서, 표시 수단에 표시한 주변 화상의 범위 내에 안내 경로가 존재하는 경우 표시 화상의 예를 나타내는 도면이다.

도 5는 휴대 단말 장치의 자세와 표시 장치의 표시 화면 및 촬상 수단의 광 축의 관계를 나타내는 모식도이다.

도 6은 도 5의 위치 관계에서 주변 화상을 촬상한 경우에 표시 화면에 표시되는 주변 화상의 위치를 나타내는 표시 화상의 도면이다.

도 7은 휴대 단말 장치의 표시 화면을 관찰하는 경우의 자연스러운 유지 자 세, 시선 방향을 나타내는 모식도이다.

도 8은 촬상 수단의 촬상 가능한 화각(畵角)과, 촬상 수단에 의해 촬상된 주변 화상이 표시 수단의 표시 화면에 표시되는 위치와의 관계를 나타내는 모식도이다.

도 9는 본 발명에 관한 휴대 단말 장치의 실시예에 있어서 촬상 수단의 광축을 수평 방향으로부터 아래 방향으로 기울인 경우의 촬상 수단의 화각과 촬상된 주변 화상의 표시 영역의 관계를 나타내는 모식도이다.

도 10은 도 9에 있어서 주변 화상의 표시 영역 이외의 영역을 나타내는 표시 영역의 모식도이다.

도 11은 촬상 수단의 방진(防振) 기구를 이용한 표시 화상 시프트의 개념을 설명하기 위한 모식도이다.

도 12는 경로 탐색을 위한 도로 네트워크 데이터의 개념을 설명하기 위한 모식도이다.

도 13은 교통 기관을 이용한 경로 탐색을 위한 교통 네트워크 데이터의 개념을 설명하기 위한 모식도이다.

도 14는 지도 데이터의 구성을 나타내는 도면이다.

<부호의 설명>

10ㆍㆍㆍ 내비게이션 시스템

12ㆍㆍㆍ 네트워크

20ㆍㆍㆍ 휴대 단말 장치

201ㆍㆍㆍ 제어 수단

21ㆍㆍㆍ GPS 수신 수단

22ㆍㆍㆍ 촬상 수단

23ㆍㆍㆍ 자세 검출 수단

24ㆍㆍㆍ 화상 레이아웃 수단

25ㆍㆍㆍ 표시 제어 수단

26ㆍㆍㆍ 통신 수단

27ㆍㆍㆍ 안내 정보 기억 수단

28ㆍㆍㆍ 표시 수단

29ㆍㆍㆍ 조작 입력 수단

30ㆍㆍㆍ 경로 탐색 서버

301ㆍㆍㆍ 제어 수단

31ㆍㆍㆍ 통신 수단

32ㆍㆍㆍ 안내 정보 편집 수단

33ㆍㆍㆍ 경로 탐색 수단

34ㆍㆍㆍ 지도 데이터베이스

35ㆍㆍㆍ 경로 탐색용 네트워크 데이터베이스

이하, 본 발명의 구체적인 예를 실시예 및 도면을 이용하여 상세하게 설명한다. 단, 이하에 나타내는 실시예는 본 발명의 기술 사상을 구체화하기 위한 내비게 이션 시스템을 예시하는 것으로서, 본 발명을 이 내비게이션 시스템으로 특정하는 것을 의도하는 것이 아니라, 특허 청구의 범위에 포함되는 그 외의 실시 형태의 내비게이션 시스템에도 동일하게 적용할 수 있는 것이다.

도 1은 본 발명의 실시예에 관한 내비게이션 시스템의 구성을 나타내는 블록도이다. 내비게이션 시스템(10)은, 도 1에 나타내는 바와 같이, 인터넷 등의 네트워크(12)를 통하여 접속되는 휴대 단말 장치(20)와 경로 탐색 서버(30)를 구비하여 구성되어 있다. 경로 탐색 서버(30)는 경로 탐색 수단(33), 지도 데이터를 축적한 지도 데이터베이스(34), 경로 탐색용의 도로 네트워크 데이터나 공공 교통 기관의 네트워크 데이터인 교통 네트워크 데이터를 축적한 경로 탐색용 네트워크 데이터베이스(35)를 구비하고 있다.

경로 탐색 서버(30)는 또, 제어 수단(301), 통신 수단(31), 안내 정보 편집 수단(32)을 구비하고 있다. 제어 수단(301)은 도시하고 있지는 않으나 RAM, R0M, 프로세서를 가지는 마이크로프로세서이며, R0M에 격납된 제어 프로그램에 의해 각 부의 동작을 제어한다. 통신 수단(31)은 네트워크(12)를 통하여 휴대 단말 장치(20)와 통신하기 위한 인터페이스이다.

경로 탐색 서버(30)는 휴대 단말 장치(20)로부터 현재 위치, 목적지, 이동 수단(자동차, 도보, 교통 기관 또는 도보와 교통 기관 병용 등) 등의 경로 탐색 조건을 포함하는 경로 탐색 요구가 있으면, 경로 탐색용 네트워크 데이터베이스(35)를 참조하여 경로 탐색 조건에 합치된 안내 경로를 탐색한다. 경로 탐색의 결과 얻어진 안내 경로의 데이터는 지도 데이터베이스(34)로부터 선택한 휴대 단말 장 치(20)의 현재 위치를 포함하는 소정 범위의 단위 지도 데이터(위도ㆍ경도에서 소정의 크기의 에어리어로 구분된 지도 데이터)와 함께 안내 정보 편집 수단(32)으로 휴대 단말 장치(20)에 송신하기 위한 안내 정보(데이터)로 편집된다. 편집된 안내 정보는 휴대 단말 장치(20)에 전달된다.

한편, 휴대 단말 장치(20)는 제어 수단(201), GPS 수신 수단(21), 촬상 수단(22), 자세 검출 수단(23), 화상 레이아웃 수단(24), 표시 제어 수단(25), 통신 수단(26), 안내 정보 기억 수단(27), 표시 수단(28), 조작 입력 수단(29) 등을 구비하여 구성되어 있다. 제어 수단(201)은 도시하고 있지는 않으나 RAM, R0M, 프로세서를 가지는 마이크로프로세서이며, R0M에 격납된 제어 프로그램에 의해 각 부의 동작을 제어한다. 통신 수단(26)은 네트워크(12)를 통하여 경로 탐색 서버(30)와 통신하기 위한 인터페이스이다.

조작 입력 수단(29)은 숫자 키나 알파벳 키, 그 외의 기능 키, 선택 키, 스크롤 키 등으로 이루어진 조작ㆍ입력 수단을 위한 수단이며, 출력 수단인 표시 수단(28)에 표시되는 메뉴 화면으로부터 원하는 메뉴를 선택하고, 또는 키를 조작하여 각종의 입력 조작을 행하는 것이다. 따라서, 표시 수단(28)은 조작 입력 수단(29)의 일부로서도 기능한다.

이용자가 경로 탐색 서버(30)에 경로 탐색을 의뢰하고자 하는 경우, 휴대 단말 장치(20)에 있어서 조작 입력 수단(29)을 조작하여, 표시 수단(28)에 표시되는 서비스 메뉴로부터 경로 탐색을 선택하고, 현재 위치, 목적지, 이동 수단(자동차, 도보, 교통 기관 또는 도보와 교통 기관 병용 등) 등의 경로 탐색 조건을 입력한 다. 입력된 경로 탐색 조건은 경로 탐색 서버(30)로의 전달 요구로 편집되며, 통신 수단(26)을 통하여 경로 탐색 서버(30)에 경로 탐색 요구로서 송신된다.

휴대 단말 장치(20)는 경로 탐색 서버(30)로부터 경로 탐색의 결과인 안내 정보를 수신하면, 이 안내 정보를 안내 정보 기억 수단(27)에 일시 기억한다. 통상 이 안내 정보에 기초하여 휴대 단말 장치(20)의 현재 위치를 중심으로 하여 지도 화상, 안내 경로의 화상이나 흥미 대상 장소를 나타내는 아이콘 화상 등이 표시 수단(28)에 표시된다. 이 때, 현재 위치 마크가 지도 화상 위의 당해 위치에 표시된다. 현재 위치가 안내 경로 상의 교차점 노드 등에 접근하면, 당해 교차점 노드에 있어서 우회전, 좌회전, 직진 등의 진행 방향을 지시하는 진행 방향 안내 화상이 표시된다. 또, 휴대 단말 장치(20)가 스피커 등의 출력 수단을 구비하는 경우, 교차점 노드까지의 거리나 진행 방향을 음성에 의해 안내하는 음성 안내를 제공하도록 구성할 수 있다.

상기와 같은 지도 표시는 통상의 안내 모드의 경우이다. 본 내비게이션 시스템(10)은 추가로, 촬상 수단(22)에 의해 주변 화상을 촬상하고, 그 주변 화상을 표시 수단(28)에 표시함과 아울러 안내 경로 화상이나 진행 방향 안내 화상을 표시하여 안내하는 화상 안내 모드를 구비하고 있다. 이하, 이 화상 안내 모드를 실사 모드라 하기로 한다. 실사 모드로의 전환은, 후술하는 바와 같이, 자세 검출 수단(23)이 휴대 단말 장치(20)의 자세를 검출하여, 소정 상태의 경우에 자동적으로 전환되도록 하는 것이 바람직하다. 물론 조작 입력 수단(29)에 의해 이용자가 전환할 수 있도록 해도 된다.

휴대 단말 장치(20)에 있어서, 촬상 수단(22)(예를 들어 CCD 카메라)의 초점 거리(Z00M), 표시 수단(28)의 화면 사이즈는 소정의 설정값으로 고정된다. GPS 수신 수단(21)은 소정의 시간 간격으로 휴대 단말 장치(20)의 현재 위치를 측위하기 때문에, 촬상 수단(22)이 조작되어 주변 화상을 촬상한 위치를 특정할 수 있다. GPS 수신 수단(22)에 의한 측위 간격은 휴대 전화를 휴대 단말 장치(20)로 하는 경우, 예를 들어 1초 간격 ~ 5초 간격이다.

이용자가 휴대 단말 장치(20)를 전방으로 치켜들면, 촬상 수단(22)의 광축이 수평으로부터 소정의 각도 이내가 되었을 때에, 자세 검출 수단(23)이 이것을 검출하여 자동적으로 촬상 수단(22)의 셔터가 작동하여 광축 방향의 주변 화상(정지 화상)이 촬영된다. 자세 검출 수단(23)은 방위 센서, 경사 센서로 구성되기 때문에, 광축의 방향(방위)은 방위 센서 출력으로부터 얻을 수 있고, 광축과 수평 방향이 이루는 각도는 경사 센서 출력에 의해 얻을 수 있다. 광축의 방향과 경사각은 촬상 수단(22)에 의해 촬상한 주변 화상과 함께 기억된다. 일반적으로 촬상 수단(22)의 촬영 각도는 어느 정도의 각도를 가지고 있어, 촬상된 주변 동화상은 표시 범위의 밖이 되는 부분도 충분히 광범위하게 촬영된다.

도 2는 촬상 수단(22)의 자세와 광축 및 촬상 각도를 나타내는 모식도이다. 이용자 U가 어느 지점 P에 있어서 주변 화상의 촬상을 위해 휴대 단말 장치(20)를 전방으로 치켜들면, 자세 검출 수단(23)이 촬상 수단(22)의 광축 AX와 수평 방향이 이루는 각도를 검출하고, 소정의 각도 범위 내에 있으면 자동적으로 셔터가 작동하여 전방의 화상이 촬상된다. 이 때의 광축 AX에 대한 수직 방향의 촬상 각도는

이다.

촬상 수단(22)은 소정의 초점 거리에서 주변 화상을 촬상하기 때문에, 촬상 지점 P로부터 전방의 각 지점 P1, P2, P3은 각각 광축 AX와 이루는 각도 Θ1, Θ2, Θ3으로부터 산출할 수 있으며, 표시 화상의 어느 위치가 촬상 위치로부터 몇 m 앞의 지점에 해당하는지는 상기의 각도로부터 기하학적으로 계산할 수 있다. 즉, 도 2에 있어서 지점 P1은 촬상 지점 P로부터 3m 전방이며, 광축과의 이루는 각도 Θ1이다. 지점 P2는 촬상 지점 P로부터 10m 전방이며, 광축과의 이루는 각도 Θ2이다. 또 지점 P3(도시하지 않음)은 촬상 지점 P로부터 30m 전방이며, 광축과의 이루는 각도 Θ3이다.

도 3은 이와 같이 하여 촬상 수단(22)에 의해 촬상한 주변 화상을 표시 수단(28)에 표시한 경우 표시 화상의 일례를 나타내는 도면이다. 표시 화면의 중심(도 3의 선 X, Y의 교점)이 광축 AX와 일치하고 또한 수평 방향이 되도록 주변 화상이 표시된다. 도 2에서 설명한 바와 같이 촬상 지점 P로부터 전방의 지점 P1(3m 앞)의 화상은 광축과의 이루는 각도 Θ1이며 표시 화상의 최하부에 해당한다. 지점 P2는(10m 앞)의 화상은 광축과의 이루는 각도 Θ2이며 표시 화상에 나타내는 선 L1의 위치에 해당한다. 동양으로 20m 앞의 지점은 선 L2의 위치, 30m 앞의 지점은 선 L3의 위치에 해당한다.

이와 같이 하면, 안내 경로가 촬상 지점으로부터 전방 몇 m 앞에 있는지에 따라서 표시 화상의 어느 위치에 안내 경로 화상을 표시할 것인지, 그 표시 위치를 결정할 수 있어, 항상 안정된 화상으로 경로를 안내할 수 있으며, 표시 위치 결정 의 연산 처리도 간편하게 된다. 즉, 주변 화상의 촬상, 즉 정지 화면 취득시의 위치 정보(촬상시의 현재 위치)에 기초하여 안내 경로의 위치, 방향을 구하고, 광축 AX의 방향에 대해 안내 경로를 표시 화상 위의 소정 위치에 묘화한다. 도 4는 광축 AX와 안내 경로의 진행 방향이 같고, 화면에 표시된 주변 화상의 범위 내에 안내 경로가 존재하고, 촬상 지점으로부터 30m 앞에서 우회전하는 안내 경로 화상 GRI를 주변 화상에 겹쳐 묘화한 표시 화상예를 나타내는 도면이다. 화상 레이아웃 수단(24)은 자세 검출 수단(23)의 검출 출력에 기초하여 이상의 연산을 행하여 안내 경로 화상 GRI의 표시 위치를 결정한다.

그런데 이 경우, 휴대 단말 장치(20)는 광축을 수평으로 하여 유지한 상태에서 촬상 수단(22)에 의해 진행 방향의 주변 화상을 촬상한 경우이다. 즉, 도 5의 모식도에 나타낸 바와 같이, 휴대 단말 장치(20)의 표시 수단(28)의 표시 화면의 수직선(화살표 F)이, 촬상 수단(22)의 광축 방향(화살표 E) 및 이용자의 시선 방향(화살표 G)과 일치하도록 휴대 단말 장치(20)를 유지하여 촬상하는 것이다. 즉, 휴대 단말 장치(20)의 표시 화면이 수직이 되는 것과 같은 자세(광축이 수평으로 되는 것과 같은 자세)로 이용자 눈의 위치에 촬상 수단(22)이 오도록 하여 주변 화상을 촬상한다.

이와 같이 하면, 표시 수단(28)의 표시 화면에 표시되는 주변 화상은 그 수평 방향이 시선의 방향과 일치하여, 도 6에 나타내는 바와 같이, 표시 화면(300)의 중앙에 실제로 관찰하고 있는 주변 화상(301)이 표시되어, 안내 경로의 방향을 촬상하고 있으면, 안내 경로 RT가 주변 화상(301)의 위에 겹쳐 표시된다. 이 화상의 겹침은 화상 레이아웃 수단(24)에 의해 산출된 주변 화상 위치와 안내 경로 위치에 의해 제어된다.

그러나 이와 같은 자세로 휴대 단말 장치(20)를 유지하는 것은 이용자에게 있어서 부자연스럽다. 통상 이용자가 휴대 단말 장치(20)의 화면을 관찰하는 경우, 도 7에 나타내는 바와 같이, 휴대 단말 장치(20)를 시선 방향을 (화살표 G) 수평 방향으로부터 아랫쪽으로 30°~ 60° 기울여서 표시 수단(28)의 화면을 관찰하는 것과 같은 자세로 휴대 단말 장치(20)를 유지하는 것이 자연스런 상태이다. 예를 들어 내비게이션의 안내를 받을 때에 휴대 단말 장치(20)를 수직으로 유지하는 일은 없다. 휴대 단말 장치(20)를 수직으로 들고 있으면 손도 지치고, 또 눈앞에 휴대 단말 장치(20)가 있으면, 아무리 화면에 주변의 풍경이 비치고 있다(표시되어 있다)고 해도 실제의 시야를 차단하고 있기 때문에 보행하기 어렵다고 하는 문제가 발생한다.

그런데 도 7에 나타내는 바와 같은 자세로 휴대 단말 장치(20)를 유지하면, 촬상 수단(22)의 광축(도 7, 화살표 G)이 수평 방향(화살표 H)으로 되지 않기 때문에, 표시 수단(28)의 표시 화면에 표시되는 주변 화상이 수평으로 되지 않아 부자연스러운 화상으로 표시되게 된다. 촬상 수단(22)은 본래는 카메라이기 때문에, 촬상 렌즈의 광축과, 표시 화면 연직 방향은 거의 평행하지 않으면 촬상하기 어렵다. 따라서, 주변 화상의 촬상에 카메라를 유용(流用)하는 이상, 종래 상기 특허 문헌 7에 나타낸 시스템과 같이, 렌즈 광축과 표시 화면 연직 방향은 암묵 중에 평행으 로 하는 것이 일반적이다. 이하 이 자세를 종래의 실사 내비라 하고, 본 발명에 있어서 휴대 단말 장치의 자세(휴대 단말 장치(20)를 기울여 유지한 상태)로 유지한 경우를 본 발명의 실사 내비라 하기로 한다.

본 발명에 있어서는 표시 제어 수단(25)이 촬상 수단(22)으로 촬상한 주변 화상의 표시 화면 상의 표시 위치를, 촬상한 화상의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 제어하여, 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 수단(28)의 표시 화면에는 주변 화상의 수평 방향을 표시할 수 있도록 한 것이다.

도 8은 촬상 수단(22)의 촬상 가능한 화각과, 촬상 수단(22)에 의해 촬상된 주변 화상이 표시 수단(28)의 표시 화면에 표시되는 위치와의 관계를 나타내는 모식도이다. 예를 들어 휴대 단말 장치(20)가 휴대 전화이며, 촬상 수단(22)이 휴대 전화에 내장된 카메라부로 하여, 광축과 표시 화상의 관계를 설명하면, 휴대 단말 장치(20)에는 CCD 카메라 등의 촬상 수단(22)이 있어, 그 화소 사이즈로 표시 화면의 최대 유효 화소 사이즈가 정해져 있다(예를 들어 1600 도트 × 1200 도트 등). 통상은 촬영 렌즈의 이미지 서클은 그 이상으로 크기 때문에, 유효 화소의 어느 부분에서도 영상 데이터는 얻을 수 있다. 또 일반적으로, 촬상 렌즈의 광축은 최대 유효 화소 사이즈의 중심에 위치한다.

도 8에는 우선 촬상 수단의 최대 유효 화소 사이즈를 모두 이용했을 때의 최대 화각 ΘMAX가 나타내져 있다. 휴대 전화의 카메라도 줌 기능을 가지므로, 이 최대 유효 화소 사이즈를 모두 이용했을 때가 줌에서는 광각단(廣角端)이다. 종래의 실사 내비의 경우에는 광각단에서는 지나치게 넓으므로(먼 곳의 화상이 지나치게 작음), 약간 화소를 한정한 종래 내비 화면(281)의 영역을 이용하고 있다. 당연히 촬상 수단(22)으로 촬상하는 화각도 ΘA로 표시되도록, 그 부분만 좁게 되어 표준적인 종래의 내비게이션에 있어서 화각으로 제어된다.

그에 비해 본 발명의 실사 내비에서는 종래의 실사 내비 화면(281)의 표시 영역을 피사체측에서 윗쪽으로 시프트한 화소 영역(282), 즉 본 발명의 실사 내비 화각을 ΘB로 설정하면, 화상은 표시 화면의 아랫쪽으로 시프트되어 표시된다(도 8에 나타낸 촬상 수단에서는 상(像)의 천지가 역전되어 있으므로, 도 8에서는 가장 아래측에 가까운 영역(282)이 본 발명의 실사 내비 화면이 됨). 이 때, 촬상 수단(22)의 광축은 수평보다 아랫쪽을 향하여 경사진 방향으로 되어 있다.

즉, 본 발명의 실사 내비 화면의 영역(282)을 화면에 표시하면, 도 9와 같은 기하적 구성이 성립된다. 도 9에 있어서, 화각 ΘB가 본 발명에 의해 시프트된 화각이며, 표시 제어 수단(25)은 이 화각 ΘB에 의해 촬상된 주변 화상을 표시 영역(282)의 표시 위치에 표시하면, 촬상 수단(22)의 광축을 수평 방향에 대해 아래 방향, 즉 도 7에 나타낸 바와 같이 수평 방향(화살표 H 방향)을 보는 경우에, 휴대 단말 장치(20)를 화면이 시프트된 만큼 기울여 잡을 수 있어서, 종래의 실사 내비보다도 기울여서 낮은 위치에 휴대 단말 장치(20)를 들어, 시선(도 7, 화살표 G)을 내릴 수 있게 된다.

이와 같은 표시 제어는 표시 제어 수단(25)에 의해 도 8, 도 9를 참조하여 설명한 바와 같이 행해진다. 예를 들어 상기 주변 화상을 표시하는 경우, 표시 제 어 수단(25)이, 상기 촬상 수단을 구성하는 촬상 소자의 화소 영역을, 표시 수단(28)에 지도 화상을 표시하는 통상의 화소 영역(281)에 비교하여, 다른 화소 영역, 즉 표시 화면의 아랫쪽으로 시프트한 화소 영역(282)을 설정하는 것에 의해, 상기 촬상 수단(22)의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단(22)의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시할 수 있다.

상기와 같이 표시 제어하면, 상기 특허 문헌 7의 시스템과 같이, 표시 화면의 수직선을 피사체의 방향을 향하지 않고, 표시 화면을 수직 방향에 대하여 기울여서 휴대 단말 장치를 유지해도 전방의 피사체를 촬상하여 표시할 수 있게 된다. 만약, 충분한 기울기를 확보하기 위해 시프트량을 크게 취한 경우에, 유효 화소의 영역(280)에 부족이 생기면, 도 10과 같이 화소가 없는 사선부(283)를 내비게이션을 위한 여러 가지 마크나 선택 버튼 화상의 표시에 이용하는 영역으로 할 수 있다.

또한, 본 발명에 있어서는 촬상 렌즈의 물리적인 광축을 중심으로 하지 않고, 주변을 향하여 치우친 촬상 화상을 이용하므로, 촬상한 주변 화상은 엄밀하게는 비뚤어진 화상이 되지만, 그 비뚤어짐도 화각을 기울이는 양을 미리 알고 있으므로, 표시 제어 수단(25)에 의해 주변 화상(실사 화상)에 그 방향에 있는 안내 대상물의 정보(안내 경로 정보)를 겹쳐 표시할 수 있다.

또한, 상기 실시예에 있어서는 주변 화상을 촬상하여 안내 경로와 함께 표시 하는 실사 내비 모드의 경우, 표시 제어 수단(25)이 표시 영역을 시프트하여, 통상의 내비게이션에 있어서 표시 영역과 다른 표시 영역에 주변 화상을 표시하는 것에 의해 휴대 단말 장치(20)를 기울여서, 시선 방향을 아랫쪽으로 향하게 해도 전방의 화상을 촬상할 수 있도록 한 예를 설명하였다.

그런데 카메라에 따라서는 촬상시의 단말 장치의 흔들림(손 흔들림)을 방지하기 위해 방진 광학계를 구비하는 것도 있어, 이 경우에는 방진 광학계(주로 촬상 렌즈에 방진 기구가 마련된다)를 이용하여, 본 발명의 실사 내비에 있어서 강제적으로 카메라 위치를 윗쪽 방향으로 β만큼 시프트하여 촬상 화상을 시프트하도록 해도 된다. 즉, 도 11에 나타내는 바와 같이 촬상 렌즈(111)를 윗쪽으로 시프트(라이즈(raise))하면, 촬상 소자 상에서 아랫쪽의 영역(285)과 같이 촬상 화상을 시프트한 것과 같은 효과가 있다.

단, 방진 광학계의 시프트량 β는 일반적으로 작기 때문에, 이 방법 단독으로 효과를 내는 것은 어렵고, 상술하기 앞서 설명한 실시예의 촬상 소자상의 영역 시프트(도 8 참조)와 조합하여 더욱 효과를 올릴 수 있다. 또, 방진 광학계의 움직임에 한하지 않으며, 틸팅 기구(tilting mechanism)를 구비한 광학계가 있으면 그것을 이용해도 된다.

다음으로, 경로 탐색 서버(30)에 있어서 경로 탐색에 대하여 설명한다. 경로 탐색용 네트워크 데이터베이스(35)는 도로 네트워크 데이터와 교통 네트워크 데이터를 구비하고 있다. 이들의 네트워크 데이터는 이하와 같이 구성되어 있다. 예를 들어 도로가 도 12에 나타낸 바와 같이 도로 A, B, C 로 이루어진 경우, 도로 A, B, C의 단점, 교차점, 굴곡점 등을 노드로 하고, 각 노드 사이를 잇는 도로를 유향성(有向性)의 링크로 나타내고, 노드 데이터(노드의 위도ㆍ경도), 링크 데이터(링크 번호)와 각 링크의 링크 코스트(링크의 거리 또는 링크를 주행하는데 필요한 소요 시간)를 데이터로 한 링크 코스트 데이터로 구성된다.

즉, 도 12에 있어서, Nn, Nm이 노드를 나타내고, Nm은 도로의 교차점을 나타내고 있다. 각 노드 사이를 잇는 유향성의 링크를 화살표선(실선, 점선, 2점 쇄선)으로 나타내고 있다. 링크는 도로의 오르막, 내리막 각각의 방향을 향한 링크가 존재하나, 도 12에서는 도시를 간략화하기 위해 화살표의 방향의 링크만을 도시하고 있다.

이와 같은 도로 네트워크의 데이터를 경로 탐색용의 데이터베이스로 하여 경로 탐색을 행하는 경우, 출발지의 노드로부터 목적지의 노드까지 연결된 링크를 따라가서 그 링크 코스트를 누적하고, 누적 링크 코스트의 최소로 되는 경로를 탐색하여 안내한다. 즉, 도 12에 있어서 출발지를 노드 AX, 목적지를 노드 CY로 하여 경로 탐색을 행하는 경우, 노드 AX로부터 도로 A를 주행하여 2번째 교차점에서 우회전하여 도로 C에 들어가서 노드 CY에 이르는 링크를 순차적으로 따라가서 링크 코스트를 누적하고, 링크 코스트의 누적값이 최소로 되는 경로를 탐색하여 안내한다.

도 12에서, 노드 AX로부터 노드 CY에 이르는 다른 경로는 도시되어 있지 않으나, 실제로는 그와 같은 경로가 그 밖에도 존재하기 때문에, 노드 AX로부터 노드 CY에 이르는 것이 가능한 복수의 경로를 동양으로 하여 탐색하고, 이러한 경로 중 링크 코스트가 최소로 되는 경로를 최적 경로로서 결정하는 것이다. 이 수법은 예를 들어 다익스트라법이라 불리는 주지의 수법에 의해 행해진다.

이에 비해, 교통 기관의 경로 탐색을 위한 교통 네트워크 데이터는 이하와 같이 구성되어 있다. 예를 들어 도 13에 나타낸 바와 같이 교통 노선 A, B, C로 이루어진 경우, 각 교통 노선 A, B, C에 마련된 각 역(항공기의 노선에 있어서는 각 공항)을 노드로 하고, 각 노드 사이를 잇는 구간을 유향성의 링크로 나타내고, 노드 데이터(위도ㆍ경도), 링크 데이터(링크 번호)를 네트워크 데이터로 하고 있다. 도 13에 있어서, Nn, Nm이 노드를 나타내고, Nm은 교통 노선의 환승점(환승역 등)을 나타내고, 각 노드 사이를 잇는 유향성의 링크를 화살표선(실선, 점선, 2점 쇄선)으로 나타내고 있다. 링크는 교통 노선의 오르막, 내리막 각각의 방향을 향한 링크가 존재하나, 도 13에서는 도시를 간략화하기 위해 화살표의 방향의 링크만을 도시하고 있다.

그러나 교통 네트워크는 도로 네트워크와 비교하여 링크 코스트가 기본적으로 다르다. 즉, 도로 네트워크에서 링크 코스트는 고정적, 정적(靜的)인 것이었으나, 교통 네트워크에서는 도 13에 나타낸 바와 같이 교통 노선을 운행하는 열차나 항공기(이하 개개의 열차나 항공기 등의 각 경로를 교통 수단이라 칭함)가 복수 있다. 이와 같은 교통 네트워크에서는 각 교통 수단마다 어느 노드를 출발하는 시각과 다음 노드에 도착하는 시각이 정해져 있으며(시각표 데이터, 운행 데이터로 규정된다), 또한 개개의 경로가 반드시 인접하는 노드에 링크하지 않는 경우가 있다. 예를 들어 급행과 각 역 정차의 열차와 같은 경우이다. 이와 같은 경우에는 같은 교통 노선 상에 다른 복수의 링크가 존재하게 되며, 또 노드 사이의 소요 시간이 교통 수단에 따라 다른 경우도 있다.

도 13에 예시하는 교통 네트워크에 있어서는 교통 노선 A의 같은 링크에 복수의 교통 수단(경로) Aa ~ Acㆍㆍㆍ, 교통 노선 C에 복수의 교통 수단(경로) Ca ~ Ccㆍㆍㆍ가 존재하게 된다. 따라서, 교통 기관의 운행 네트워크는 단순한 도로 네트워크와 달리, 노드, 링크, 링크 코스트의 각 데이터는 교통 수단(개개의 항공기나 열차 등의 경로)의 총 수에 비례한 데이터량이 된다. 이 때문에 교통 네트워크의 데이터는 도로 네트워크의 데이터량에 비해 방대한 데이터량이 된다. 따라서, 그에 따라 경로 탐색에 요하는 시간도 많은 시간이 필요하게 된다.

이와 같은 교통 네트워크 데이터를 이용하여, 어느 출발지로부터 어느 목적지까지의 경로를 탐색하기 위해서는 출발지로부터 목적지까지 도달할 때에 이용(승차)할 수 있는 모든 교통 수단을 탐색하여 탐색 조건에 합치되는 교통 수단을 특정할 필요가 있다.

예를 들어 도 13에 있어서, 출발지를 교통 노선 A의 노드 AX로 하여 어느 특정한 출발 시각을 지정하고, 교통 노선 C의 노드 CY를 목적지로 하는 경로 탐색을 행하는 경우, 교통 노선 A 위를 운행하는 교통 수단 Aa ~ Acㆍㆍㆍ 중 출발 시각 이후의 모든 교통 수단을 순차 출발시의 경로로서 선택한다. 그리고, 교통 노선 C로의 환승 노드에 대한 도착 시각에 기초하여, 교통 노선 C 위를 운행하는 각 교통 수단 Ca ~ Ccㆍㆍㆍ 중, 환승 노드에 있어서 승차 가능한 시각 이후의 교통 수단의 모든 편성을 탐색하여 각 경로의 소요 시간이나 환승 횟수 등을 누계하여 안내하게 된다.

이와 같은 네트워크 데이터를 참조하여 탐색된 안내 경로는 벡터 지도 데이터와 함께 휴대 단말 장치(20)에 전달된다. 지도 데이터베이스(34)에 축적되는 지도 데이터는, 도 14에 나타내는 바와 같이, 소정의 위도ㆍ경도 범위로 구분된 단위 지도 데이터로 구성되어 있다. 지도 데이터는, 도 14에 나타내는 바와 같이, 소정의 위도, 경도 단위로 지도 에어리어가 나뉘어져, 메시 형상의 단위 지도 데이터 M11 ~ M33과 같이 구성되어 있다. 휴대 단말 장치(20)에 전달되는 경우는 휴대 단말 장치(20)의 현재 위치 PP를 포함하는 단위 지도 데이터 M22를 중심으로 하여, 그 상하 방향, 좌우 방향, 경사 방향에 인접하는 단위 지도 데이터 M21, M23, M12, M32, M11, M13, M31, M33의 합계 9개의 단위 지도가 전달된다.

휴대 단말 장치(20)가 이동하여 지도 데이터가 부족한 경우는 휴대 단말 장치(20)의 이동 방향을 판별하여 경로 탐색 서버(30)는 부족분의 단위 지도 데이터를 전달한다. 휴대 단말 장치(20)가 특정한 지점이나 P0I(흥미 대상 장소: Point of Interest)의 위치를 지정하여 지도 데이터의 전달 요구를 한 경우도 동양이다. 안내 경로의 데이터는 이 벡터 지도 데이터와 함께 휴대 단말 장치(20)에 전달된다. 휴대 단말 장치(20)는 경로 탐색 서버(30)로부터 이와 같이 하여 지도 데이터 및 안내 경로의 데이터를 수신하고, 지도 및 안내 경로를 표시 수단(28)에 표시한다.

이상, 상세하게 설명한 바와 같이, 본 발명에 의하면, 교차점 등에 있어서 주변의 풍경을 휴대 단말 장치의 촬상 수단에 의해 촬상하여 주변 화상으로서 표시 수단에 표시하고, 표시된 주변 화상 위에 경로 안내 화상이나 진행 방향 안내 화상 또는 흥미 대상 장소를 나타내는 아이콘 화상 등을 표시할 때에, 유저가 휴대 단말 장치의 표시 화면을 관찰하는데 적합한 자세로 유지한 경우에, 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 한 보행자용의 내비게이션 시스템을 제공할 수 있다.

본 발명에 이용하는 휴대 단말 장치는 휴대 전화에 한하지 않고, 예를 들어 디지털 카메라의 촬영 렌즈와 표시 화면에 적용할 수도 있다. 디지털 카메라에는 대용량의 메모리 카드가 탑재되므로, 이 부분에 지도를 보존해 두고, GPS 유닛을 조합하면 내비게이션용의 휴대 단말 장치로도 될 수 있다. 여행시에는 이와 같은 단말 장치가 매우 적합하다. 그 경우에도, 휴대 단말 장치를 얼굴의 앞으로 치켜드는 일 없이, 약간 아래 방향으로 들어 표시 화면도 보기 쉬우며, 내비게이션 시스템에 있어서 경로 안내를 받을 수 있다.

Claims (9)

1. 경로 탐색용의 네트워크 데이터를 참조하여 출발지로부터 목적지까지의 안내 경로를 탐색하는 경로 탐색 수단을 구비한 경로 탐색 서버와, 안내 경로 데이터를 포함하는 안내 정보를 기억하는 안내 정보 기억 수단과, 현재 위치를 측위하는 GPS 수신 수단과, 촬상(撮像) 수단과, 촬상 수단이 촬상한 주변 화상과 함께 안내 경로 또는 진행 방향 안내 화상 또는 흥미 대상 장소를 나타내는 화상을 표시하는 표시 수단을 구비한 휴대 단말 장치로 구성되는 내비게이션 시스템에 있어서,

   상기 휴대 단말 장치는 추가로, 표시 수단에 표시된 주변 화상의 표시를 제어하는 표시 제어 수단을 구비하고, 이 표시 제어 수단은 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하도록 한 것을 특징으로 하는 내비게이션 시스템.
2. 청구항 1에 있어서,

   상기 주변 화상을 표시하는 경우, 상기 표시 제어 수단은 상기 촬상 수단을 구성하는 촬상 소자의 화소 영역을 상기 표시 수단에 지도 화상을 표시하는 통상의 화소 영역에 비교하여, 다른 화소 영역을 설정하는 것에 의해, 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하는 것을 특징으로 하는 내비게이션 시스템.
3. 청구항 1 또는 청구항 2에 있어서,

   상기 촬상 수단은 추가로, 촬상 수단 시프트 기구를 구비하고, 상기 주변 화상을 표시하는 경우, 상기 촬상 수단 시프트 기구를 이용하여 촬상 수단을 윗쪽으로 시프트하는 것을 특징으로 하는 내비게이션 시스템.
4. 경로 탐색용의 네트워크 데이터를 참조하여 출발지로부터 목적지까지의 안내 경로를 탐색하는 경로 탐색 수단을 구비한 경로 탐색 서버와 네트워크를 통하여 접속되는 휴대 단말 장치에 있어서,

   상기 휴대 단말 장치는 안내 경로 데이터를 포함하는 안내 정보를 기억하는 안내 정보 기억 수단과, 현재 위치를 측위하는 GPS 수신 수단과, 촬상 수단과, 촬상 수단이 촬상한 주변 화상과 함께 안내 경로 또는 진행 방향 안내 화상 또는 흥미 대상 장소를 나타내는 화상을 표시하는 표시 수단과, 상기 표시 수단에 표시된 주변 화상의 표시를 제어하는 표시 제어 수단을 구비하고,

   이 표시 제어 수단은 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상 의 수평 방향을 표시하도록 한 것을 특징으로 하는 휴대 단말 장치.
5. 청구항 4에 있어서,

   상기 주변 화상을 표시하는 경우, 상기 표시 제어 수단은 상기 촬상 수단을 구성하는 촬상 소자의 화소 영역을 상기 표시 수단에 지도 화상을 표시하는 통상의 화소 영역에 비교하여, 다른 화소 영역을 설정하는 것에 의해, 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하는 것을 특징으로 하는 휴대 단말 장치.
6. 청구항 4 또는 청구항 5에 있어서,

   상기 촬상 수단은 추가로, 촬상 수단 시프트 기구를 구비하고, 상기 주변 화상을 표시하는 경우, 상기 촬상 수단 시프트 기구를 이용하여 촬상 수단을 윗쪽으로 시프트하는 것을 특징으로 하는 휴대 단말 장치.
7. 경로 탐색용의 네트워크 데이터를 참조하여 출발지로부터 목적지까지의 안내 경로를 탐색하는 경로 탐색 수단을 구비한 경로 탐색 서버와, 안내 경로 데이터를 포함하는 안내 정보를 기억하는 안내 정보 기억 수단과, 현재 위치를 측위하는 GPS 수신 수단과, 촬상 수단과, 촬상 수단이 촬상한 주변 화상과 함께 안내 경로 또는 진행 방향 안내 화상 또는 흥미 대상 장소를 나타내는 화상을 표시하는 표시 수단을 구비한 휴대 단말 장치로 구성되는 내비게이션 시스템을 이용한 주변 화상 표시 방법에 있어서,

   상기 휴대 단말 장치는 추가로, 표시 수단에 표시된 주변 화상의 표시를 제어하는 표시 제어 수단을 구비하고, 이 표시 제어 수단은 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하는 표시 스텝을 가지는 것을 특징으로 하는 주변 화상 표시 방법.
8. 청구항 7에 있어서,

   상기 표시 스텝은 상기 주변 화상을 표시하는 경우, 상기 표시 제어 수단이, 상기 촬상 수단을 구성하는 촬상 소자의 화소 영역을 상기 표시 수단에 지도 화상을 표시하는 통상의 화소 영역에 비교하여, 다른 화소 영역을 설정하는 것에 의해, 상기 촬상 수단의 광축 중심이 표시 화면의 중심보다 아랫쪽에 위치하도록 상기 촬상 수단이 촬상한 주변 화상의 표시 위치를 제어하여, 상기 촬상 수단의 광축 방향이 수평보다 아랫쪽을 향해도 표시 화면에는 주변 화상의 수평 방향을 표시하는 처리를 포함하는 것을 특징으로 하는 주변 화상 표시 방법.
9. 청구항 7 또는 청구항 8에 있어서,

   상기 촬상 수단은 추가로, 촬상 수단 시프트 기구를 구비하고, 상기 주변 화상을 표시하는 경우, 상기 촬상 수단 시프트 기구를 이용하여 촬상 수단을 윗쪽으로 시프트하는 시프트 스텝을 추가로 가지는 것을 특징으로 하는 주변 화상 표시 방법.

Images