KR101260132B1

KR101260132B1 - 스테레오 매칭 처리 장치, 스테레오 매칭 처리 방법, 및 기록 매체

Info

Publication number: KR101260132B1
Application number: KR1020117011815A
Authority: KR
Inventors: 히로까즈 고이즈미; 도시유끼 가미야; 히로유끼 야그유우
Original assignee: 엔이씨 시스템 테크놀로지 가부시키가이샤
Priority date: 2008-11-25
Filing date: 2009-11-25
Publication date: 2013-05-02
Also published as: KR20110087303A; CN102239503B; WO2010061861A1; JP2010128622A; JP5229733B2; CN102239503A

Abstract

화상 데이터 입력부(10)는, 복수의 상이한 위치로부터 소정의 영역을 촬영한 복수의 화상의 화상 데이터를 취득한다. 기준 시차 설정부(12)는, 복수의 화상에 대응하여 기준의 시차를 설정한다. 탐색 범위 설정부(13)는, 기준 시차 설정부(12)에서 설정된 기준의 시차를 부여하는 화상의 점을 기준으로, 화상의 범위보다도 작은 소정의 범위를 스테레오 매칭의 탐색 범위로 설정한다. 스테레오 매칭부(11)는, 복수의 화상의 하나의 화상 내의 임의의 점에 대하여, 기준 시차 설정부(12)에서 설정된 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 탐색 범위 설정부(13)에서 설정된 탐색 범위에서, 다른 화상의 대응하는 점을 탐색한다.

Description

스테레오 매칭 처리 장치, 스테레오 매칭 처리 방법, 및 기록 매체{STEREO MATCHING PROCESS DEVICE, STEREO MATCHING PROCESS METHOD, AND RECORDING MEDIUM}

본 발명은, 스테레오 매칭 처리 장치, 스테레오 매칭 처리 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 보다 상세하게는, 스테레오 화상으로부터 3차원 데이터를 자동생성하는 방법에 관한 것이다.

스테레오 화상으로부터 3차원 데이터를 자동 생성하는 방법으로서, 인공 위성이나 항공기 등으로부터 얻어지는 화상으로 기초로, 지형을 나타내는 3차원 데이터[DSM(Digital Surface Model) 데이터]를 스테레오 매칭에 의해 생성하는 방법이 널리 행해지고 있다. 여기서, 스테레오 매칭 처리와는 상이한 시점에서 촬영한 2매의 화상, 소위 스테레오 화상에 대하여, 동일한 점을 촬상하고 있는 각 화상 중의 대응점을 구하고, 그 시차를 이용하여 삼각 측량의 원리에 의해 대상까지의 깊이나 형상을 구하는 것이다.

이 스테레오 매칭 처리에 대해서는 이미 다양한 방법이 제안되어 있다. 예를 들면, 특허 문헌 1에는, 일반적으로 널리 이용되고 있는 면적 상관법을 이용하는 방법이 개시되어 있다. 이 면적 상관법은 좌화상 중에 상관창을 설정하여 이것을 템플릿으로 하고, 우화상 중의 탐색창을 움직여서 템플릿과의 상호 상관 계수를 산출하고, 이것을 일치도로 간주하여 높은 것을 탐색함으로써 대응점을 얻는 방법이다.

상기의 방법에서는 처리량을 경감하기 위해서, 탐색창의 이동 범위를 화상 중의 에피폴라선 방향으로 한정함으로써, 좌화상 중의 각 점에 대하여, 대응하는 우화상 중의 점의 x방향의 위치 어긋남량, 즉 시차를 얻을 수 있다. 여기서, 에피폴라선이란 스테레오 화상에서 한쪽의 화상 중의 임의의 점에 대하여, 다른 쪽의 화상 중에서 그 점에 대응하는 점의 존재 범위로서 그을 수 있는 직선이다. 에피폴라선에 대해서는, 「화상 해석 핸드북」(高木幹夫ㆍ下田陽久 감수, 동경대학 출판회간, 1991년 1월, 페이지 597-599)에 기재되어 있다.

통상적으로, 에피폴라선 방향은 화상의 주사선 방향과는 상이하다. 그러나, 좌표 변화를 행함으로써, 에피폴라선 방향을 화상의 주사선 방향에 일치시켜, 재배열을 행할 수 있다. 이 좌표 변화의 방법에 대해서는 상기의 "화상 해석 핸드북"에 기재되어 있다. 상기한 바와 같은 재배열을 행한 스테레오 화상에서는, 대응점의 탐색창의 이동 범위를 주사선 상으로 한정할 수 있다. 따라서, 시차는 좌우 화상 중의 대응점끼리의 x좌표의 차로서 얻어진다.

스테레오 화상에는 각각, 물체의 그림자로 되는 부분(오클루젼 영역)이 발생한다. 이 오클루젼 영역에 스테레오 매칭의 대응을 부여하지 않음으로써, 정확한 대응을 부여하는 매칭 방식이 제안되어 있다(특허 문헌 2 참조).

또한, 특허 문헌 3에는, 위성 스테레오 화상이나 항공 스테레오 화상으로부터 오퍼레이터를 통하지 않고 자동적으로 복잡한 대상에 대하여 3차원 데이터가 얻어지는 스테레오 화상 처리 장치의 기술이 기재되어 있다. 특허 문헌 3의 기술에서는, 스테레오 처리 수단에 의해 얻어진 3차원 데이터 중의 잡음이나 결손 등의 잘못된 데이터를, 지도 데이터 축적 수단의 지도 데이터로부터 얻어지는 건조물 등의 외형 정보를 이용하여 자동적으로 보정한다. 지도 데이터 축적 수단은 DSM 데이터 자동 보정 수단에 대하여 건조물의 외형 등의 지도 데이터를 제공한다.

특허 문헌 1 : 일본 특허 출원 공개 평03-167678호 공보 특허 문헌 2 : 일본 특허 출원 공개 평04-299474호 공보 특허 문헌 3 : 일본 특허 출원 공개 제2002-157576호 공보

스테레오 매칭 처리를 행하는 1조의 화상에서, 한쪽의 화상 내의 임의의 점에 대하여, 다른 쪽의 화상의 대응하는 점을 탐색할 때에, 화상의 주사선(에피폴라선) 전체에 걸쳐 탐색하는 것에서는, 처리에 시간이 걸리고, 또한 미스 매칭의 확률이 증가한다.

본 발명은 전술한 사정을 감안하여 이루어진 것으로, 스테레오 매칭 처리의 속도와 정밀도를 향상시키는 것을 목적으로 한다.

본 발명의 제1 관점에 따른 스테레오 매칭 처리 장치는,

복수의 상이한 위치로부터 소정의 영역을 촬영한 복수의 화상의 화상 데이터를 취득하는 화상 데이터 취득부와,

상기 복수의 화상에 대응하여 기준의 시차를 설정하는 기준 시차 설정부와,

상기 기준 시차 설정부에서 설정된 기준의 시차를 부여하는 화상의 점을 기준으로, 상기 화상의 범위보다도 작은 소정의 범위를 스테레오 매칭의 탐색 범위로 설정하는 탐색 범위 설정부와,

상기 복수의 화상의 하나의 화상 내의 임의의 점에 대하여, 상기 기준 시차 설정부에서 설정된 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 상기 탐색 범위 설정부에서 설정된 탐색 범위에서 상기 다른 화상의 대응하는 점을 탐색하는 탐색부

를 구비하는 것을 특징으로 한다.

본 발명의 제2 관점에 따른 스테레오 매칭 처리 방법은,

복수의 상이한 위치로부터 소정의 영역을 촬영한 복수의 화상의 화상 데이터를 취득하는 화상 데이터 취득 스텝과,

상기 복수의 화상에 대응하여 기준의 시차를 설정하는 기준 시차 설정 스텝과,

상기 기준 시차 설정 스텝에서 설정된 기준의 시차를 부여하는 화상의 점을 기준으로, 상기 화상 데이터의 범위보다도 작은 소정의 범위를 스테레오 매칭의 탐색 범위로 설정하는 탐색 범위 설정 스텝과,

상기 복수의 화상의 하나의 화상 내의 임의의 점에 대하여, 상기 기준 시차 설정 스텝에서 설정된 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 상기 탐색 범위 설정 스텝에서 설정된 탐색 범위에서 상기 다른 화상의 대응하는 점을 탐색하는 탐색 스텝

을 구비하는 것을 특징으로 한다.

본 발명의 제3 관점에 따른 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는,

컴퓨터를,

로서 기능시키기 위한 프로그램을 기록하는 것을 특징으로 한다.

본 발명에 따르면, 스테레오 화상으로부터 3차원 데이터를 자동 생성하는 방법에서 스테레오 매칭 처리의 속도와 정밀도를 향상시킬 수 있다.

도 1은 본 발명의 실시 형태 1에 따른 스테레오 화상 처리 장치의 구성예를 도시하는 블록도.
도 2는 화상 데이터로 변환되는 항공 사진의 일례를 모식적으로 도시하는 도면.
도 3은 실세계의 지상의 상태의 일례를 도시하는 모식도.
도 4는 도 3에 도시하는 실세계의 일부를 촬영한 화상으로부터, 스테레오 매칭 처리에 의해 생성한 DSM 데이터를 도시하는 모식도.
도 5는 탐색 범위를 설명하는 탐색 평면을 도시하는 도면.
도 6은 탐색 범위의 일례를 도시하는 도면.
도 7은 실시 형태 1에 따른 높이 표정 처리의 동작의 일례를 도시하는 플로우차트.
도 8은 본 발명의 실시 형태 2에 따른 스테레오 화상 처리 장치의 구성예를 도시하는 블록도.
도 9는 분할한 영역마다 기준의 표고와 탐색 범위를 설정하는 탐색 평면의 예를 도시하는 도면.
도 10은 실시 형태 2에 따른 높이 표정 처리의 동작의 일례를 도시하는 플로우차트.
도 11은 실시 형태 3에 따른 스테레오 화상 처리 장치(1)의 구성예를 도시하는 블록도.
도 12는 실시 형태 3에 따른 높이 표정 처리의 동작의 일례를 도시하는 플로우차트.
도 13은 실시 형태 4에 따른 스테레오 화상 처리 장치(1)의 구성예를 도시하는 블록도.
도 14는 실시 형태 4에 따른 높이 표정 처리의 동작의 일례를 도시하는 플로우차트.
도 15는 실시 형태 5에 따른 스테레오 화상 처리 장치(1)의 구성예를 도시하는 블록도.
도 16은 실시 형태 5에 따른 높이 표정 처리의 동작의 일례를 도시하는 플로우차트.
도 17은 스테레오 화상 처리 장치(1)를 컴퓨터에 실장하는 경우의, 물리적인 구성의 일례를 도시하는 블록도.

이하, 본 발명의 실시 형태에 대하여 도면을 참조하면서 상세하게 설명한다. 또한, 도면 중 동일 또는 상당 부분에는 동일 부호를 붙인다.

(실시 형태 1)

도 1은 본 발명의 실시 형태 1에 따른 스테레오 화상 처리 장치의 구성예를 도시하는 블록도이다. 스테레오 화상 처리 장치(1)는, 화상 데이터 입력부(10), 스테레오 매칭부(11), 기준 시차 설정부(12) 및 탐색 범위 설정부(13)를 구비한다. 스테레오 화상 처리 장치(1)는, 높이 계산부(2)에 접속된다.

화상 데이터 입력부(10)는, 화상 데이터를 입력하는 기능을 갖고, 스테레오 매칭 처리에 사용하는 복수의 화상 데이터를 입력한다. 화상 데이터는, 예를 들면, 디지털 화상으로 변환된 항공 사진의 화상이다. 화상 데이터에는, 화상을 촬영한 위치, 촬영한 방향, 화각 등이 포함된다.

도 2는 화상 데이터로 변환되는 항공 사진의 일례를 모식적으로 도시한다. 도 2에 도시된 항공 사진은, 상공을 비행하는 항공기로부터 연속 촬영된, 항공 사진(101A)과 항공 사진(101B)으로 구성된다. 항공 사진(101A)과 항공 사진(101B)은, 항공기의 진행 방향에 대하여 60％ 오버랩하여 촬영된 것이다. 오버랩 부분은, 상이한 위치로부터 동일한 영역을 촬영한 화상이다.

본 실시예에서의 화상은, 항공 사진(101A), 항공 사진(101B)을 일례로 하는 항공 사진이 디지털 변환되어 생성된 화상이다. 본 발명에 이용하는 화상은, 항공 화상에 한정되는 것이 아니라, 디지털화된 위성 사진에 의한 화상이나, 일반적인 디지털 카메라로 촬영한 디지털 화상이나, 일반적인 아날로그 카메라로 촬영한 아날로그 사진을 스캐닝으로 디지털화한 디지털 화상 등이어도 된다.

도 1의 스테레오 매칭부(11)는, 상이한 위치로부터 동일한 영역을 촬영한 복수의 화상 데이터에 대하여, 동일한 지점을 찍는 화상 내의 위치를 검출한다. 즉, 스테레오 매칭부 복수의 화상의 동일한 지점에 대응하는 점의 조(a pair of points)를 검출한다. 동일한 지점에 대응하는 점의 조는, 통상 2개의 화상 중에서, 대응하는 부근의 소영역의 화상 상관을 취하고, 상관 계수가 최대로 되는 위치로부터 검출된다.

또한, 스테레오 매칭 처리를 행하기 위한 방법에는, 일반적인 특징량을 구하여 대응짓는 것이나, 좌우 화상의 상관을 구하는 것 등, 다양한 것이 존재하지만, 본 실시예에서의 스테레오 매칭 처리에 사용되는 방법에 제한은 없다. 예를 들면, 일본 특허 출원 공개 평08-16930에 기재된 스테레오 매칭 처리를 사용해도 된다.

높이 계산부(2)는, 스테레오 매칭 처리에 의해 얻어진 대응하는 점의 시차로부터, 삼각 측량의 원리에 의해, DSM 데이터를 생성한다. 예를 들면, 1조의 항공 사진(101A), 항공 사진(101B) 간에서는, 대응하는 지물의 위치가, 소정의 위치 어긋남(시차)이 생겨 있으므로, 스테레오 매칭 처리는, 이 위치 어긋남을 계측함으로써, 표고값을 포함하는 지물의 표층의 높이, 및 수평 방향의 좌표, 즉 3차원 데이터를 구한다.

도 3은 실세계의 지상의 상태의 일례를 도시하는 모식도이다. 도 3은 실세계의 일부의 단면을 도시한 것이며, 기복이 있는 지형 상에 지물이 존재한다.

도 4는, 도 3에 도시한 실세계의 일부를 촬영한 화상으로부터, 스테레오 매칭 처리에 의해 생성한 DSM 데이터를 도시하는 모식도이다. DSM 데이터는, 최표면의 높이 데이터를 나타내기 때문에, 지붕 등으로 가려진 지표면에 대해서는, 표고값을 포함하는 지붕의 높이를 나타낸다.

도 1의 기준 시차 설정부(12)는, 2개의 화상에서 대응하는 점을 탐색하는 기준의 시차를 부여하는 시차를 설정한다. 예를 들어, 기준 시차 설정부(12)는 실제 공간에서의 스테레오 매칭에서 탐색해야 할 범위의 기준의 높이를 제공하는 시차를 기준으로 설정한다. 탐색 범위 설정부(13)는, 기준 시차 설정부(12)에서 설정된 기준의 시차를 부여하는 화상의 점을 기준으로, 스테레오 매칭부(11)에서 대응하는 점을 탐색하는 범위를 설정한다. 통상은, 화상의 범위보다도 작은 소정의 범위를 스테레오 매칭의 탐색 범위로서 설정한다.

도 4는 기준 표고와 탐색 범위에 대응하는 높이를 개념적으로 도시한다. 예를 들면, 도 3과 같은 기복이 있는 지표에 대하여, 항공기의 고도의 원점의 높이 G로부터 소정의 높이 H의 선 SL로 나타내어지는 면을 기준의 표고로 한다. 그리고, 선 SL의 면을 기준으로 하여, 선 BL로부터 선 UL의 사이의 범위를 실제 공간에서의 탐색 범위에 상당하는 높이 SH로 한다.

도 5는 탐색 범위를 설명하는 탐색 평면을 도시한다. 도 5는 항공 사진(101A)을 변환한 화상의 주사선(에피폴라선) A와, 항공 사진(101B)을 변환한 화상의, 주사선 A에 대응하는 주사선(에피폴라선) B를 수직으로 배치한 것이다. 축 A와 B에 의해 구성되는 평면을 일반적으로 탐색 평면이라고 부른다. 축 A와 B 상의 블록의 중심 위치는, 각각 종선, 횡선으로 표현되고, 2개의 화상의 사이의 하나의 대응은, 종선과 횡선의 교점으로 나타내어진다. 스테레오 매칭부(11)는, 2개의 화상의 대응하는 점을, 주사선 A와 주사선 B 상에서 탐색한다. 탐색 평면에서 45도의 각도의 선은, 2개의 화상에서 시차가 일정, 즉 일정한 높이를 나타낸다.

도 5에서, 선 gl은 예를 들면 지면의 기준의 높이에 상당하는 시차의 선이고, 항공기의 고도의 원점을 나타내는 것으로 한다. 선 sp는, 기준 시차를 부여하는 높이이며 도 4의 선 SL에 대응한다. 폭 SP는 도 4의 높이 H에 상당한다. 도 5의 선 u는, 도 4의 선 UL에 대응하고, 선 l은 도 4의 선 BL에 대응한다. 선 u와 선 l로 둘러싸여지는 폭 R의 범위가 탐색 범위를 나타낸다.

스테레오 매칭부(11)는, 예를 들면 도 5의 선 u와 선 l의 사이에서, 선 A와 B간의 대응의 조합을 탐색한다. 주사선 A 상의 임의의 점에 대응하는 주사선 B의 점은, 주사선 A의 그 점을 통과하는 종선의 선 u와 선 l의 사이의 부분에서 탐색된다. 주사선 B의 점을 정하여, 주사선 A의 대응점을 탐색하는 경우에는, 주사선 B의 그 점을 통과하는 횡선의 선 u와 선 l의 사이의 부분에서 탐색되게 된다.

도 6은 탐색 범위의 일례를 도시한다. 지면의 기복의 고저차를 알고 있는 경우에, 그것을 포함하여 상정되는 최대 높이의 지물을 탐색하는 범위를 정할 수 있다. 도 6에서는, 기복에 대응하는 시차가 선 ls로 나타내어져 있다. 탐색 범위는, 기복의 평균 높이에 지물의 상정 평균의 높이를 더한 시차 sp를 기준으로, 기복의 고저차를 포함시킨 범위 R의 선 u와 선 l로 나타내어진다.

지표의 표고를 알고 있는 경우에, 그 고저차로 상정되는 지물의 높이를 포함하여 탐색 범위를 설정함으로써, 스테레오 매칭 처리를 빠르게 행할 수 있다. 또한, 탐색 범위를 한정하므로, 2개의 화상의 대응점을 오인식할 가능성이 감소한다.

도 7은 실시 형태 1에 따른 높이 표정(標定) 처리의 동작의 일례를 도시하는 플로우차트이다. 화상 데이터 입력부(10)가 스테레오 매칭 처리를 하는 복수의 화상을 입력한다(스텝 S11). 기준 시차 설정부(12)는, 예를 들면, 입력된 복수의 화상에 의해 나타내어지는 영역의 평균의 표고로 상정되는 지물의 높이로부터, 기준의 시차를 설정한다(스텝 S12). 탐색 범위 설정부(13)는, 그 영역의 표고차와 지물의 높이로부터, 기준의 시차에 대하여 탐색 범위를 설정한다(스텝 S13).

스테레오 매칭부(11)는, 한쪽의 화상의 점에 대하여, 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 설정된 탐색 범위에서 다른 화상의 대응하는 점을 탐색한다(스텝 S14). 높이 계산부(2)는, 복수의 화상에서 대응지어진 각 점의 화상 내의 위치로부터, 그 점에 대응하는 높이와, 그 점의 지도 상의 좌표를 계산한다(스텝 S15).

본 실시 형태 1의 스테레오 화상 처리 장치(1)에 의하면, 고저차로 상정되는 지물의 높이를 포함하여 기준의 시차 및 탐색 범위를 설정함으로써, 스테레오 매칭 처리를 빠르게 행할 수 있다. 또한, 탐색 범위를 한정하므로, 2개의 화상의 대응점을 오인식할 가능성이 감소한다.

(실시 형태 2)

도 8은 본 발명의 실시 형태 2에 따른 스테레오 화상 처리 장치(1)의 구성예를 도시하는 블록도이다. 실시 형태 2에서는, 지도 데이터의 표고 데이터에 기초하여, 기준의 시차 및 탐색 범위를 설정한다.

도 8의 스테레오 화상 처리 장치(1)는, 실시 형태 1의 구성 외에, 지도 데이터 입력부(14)와 영역 분할부(15)를 구비한다. 지도 데이터 입력부(14)는, 입력한 화상 데이터의 대상의 지역의 지도 데이터를 입력한다. 지도 데이터는, 지도의 메쉬의 각 점에서의 표고 데이터를 포함한다.

영역 분할부(15)는, 입력한 화상 데이터를 표고 데이터에 따라서 분할한다. 표고 데이터의 고저차가 작으면, 화상 전체를 분할하지 않고 1개의 영역으로 하는 경우도 있다. 화상의 범위의 지도 데이터에서 고저차가 소정의 범위를 초과하고 있으면, 화상을 복수의 영역으로 분할한다.

기준 시차 설정부(12)는, 영역 분할부(15)에서 분할된 영역마다, 표고 데이터에 기초하여 기준의 시차를 설정한다. 탐색 범위 설정부(13)는 또한, 표고 데이터의 고저차로 상정되는 지물의 높이를 고려하여, 분할된 영역마다 탐색 범위를 설정한다.

스테레오 매칭부(11)는, 분할된 영역마다 설정된 기준의 시차와 탐색 범위에 맞추어, 복수의 화상의 대응하는 점을 탐색하여, 대응점의 조를 추출한다. 높이 계산부(2)는, 스테레오 매칭 처리에 의해 얻어진 대응하는 점의 시차로부터, 삼각 측량의 원리에 의해, DSM 데이터를 생성한다.

도 9는 분할한 영역마다 기준의 시차와 탐색 범위를 설정하는 탐색 평면의 예를 도시한다. 도 9의 예에서는, 지표의 기복 ls에 맞추어 4개의 영역으로 분할되어 있다. 각 영역에서 기준의 시차를 sp1, sp2, sp3, sp4로 하고 있다. 그리고, 1번째의 영역에서는, u1, l1을 경계로 하는 폭 R1의 범위를 탐색 범위로 설정하고 있다. 이하, u2, l2를 경계로 하는 폭 R2의 범위, u3, l3을 경계로 하는 폭 R3의 범위, u4, l4를 경계로 하는 폭 R4의 범위를 각각 탐색 범위로 한다.

도 9에 도시한 바와 같이, 탐색 범위는 도 6에 비해 작게 되어 있다. 기복의 고저차가 있는 경우에, 화상의 범위를 복수의 영역으로 분할하고, 분할한 영역마다 탐색 범위를 설정함으로써, 탐색 범위를 대응점이 존재하는 범위로 작게 한정할 수 있다. 그 결과, 스테레오 매칭 처리를 빠르게 또한 정확하게 행할 수 있다.

또한, 영역 분할은, 영역 내의 고저차가 소정의 값 이하로 되도록 설정할 수 있다. 혹은, 화상 범위의 고저차에 따라서 분할수를 정해도 된다.

도 10은 실시 형태 2에 따른 높이 표정 처리의 동작의 일례를 도시하는 플로우차트이다. 화상 데이터 입력부(10)가 스테레오 매칭 처리를 하는 복수의 화상을 입력하면(스텝 S21), 지도 데이터 입력부(14)는, 그 대상의 지역의 지도 데이터를 입력한다(스텝 S22). 영역 분할부(15)는, 지도 데이터에 포함되는 표고 데이터에 기초하여, 화상을 영역으로 분할한다(스텝 S23).

기준 시차 설정부(12)는, 표고 데이터와 분할 영역에 기초하여, 분할된 영역마다 기준의 시차를 설정한다(스텝 S24). 탐색 범위 설정부(13)는, 분할된 영역의 고저차에 따라서, 영역마다 탐색 범위를 설정한다(스텝 S25).

스테레오 매칭부(11)는, 한쪽의 화상의 점에 대하여, 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 영역마다 설정된 탐색 범위에서 다른 화상의 대응하는 점을 탐색한다(스텝 S26). 높이 계산부(2)는, 복수의 화상에서 대응지어진 각 점의 화상 내의 위치로부터, 그 점에 대응하는 높이와, 그 점의 지도 상의 좌표를 계산한다(스텝 S27).

실시 형태 2의 스테레오 화상 처리 장치(1)에 의하면, 지도 데이터의 표고 데이터에 맞추어 탐색 범위를 대응점이 존재하는 범위로 작게 한정할 수 있다. 그 결과, 스테레오 화상 처리 장치(1)는 스테레오 매칭 처리를 빠르게 또한 정확하게 행할 수 있다.

(실시 형태 3)

도 11은 실시 형태 3에 따른 스테레오 화상 처리 장치(1)의 구성예를 도시하는 블록도이다. 실시 형태 3의 스테레오 화상 처리 장치(1)는, 실시 형태 1의 구성 외에, 기준점 설정부(16)를 구비한다.

기준점 설정부(16)는, 화상 데이터 입력부(10)에서 입력한 화상 중으로부터, 소정의 방법으로 기준의 시차를 설정하는 기준의 점을 선택한다. 예를 들면, 기준점 설정부(16)는 기준점으로서, 화상의 크기와 척도에 따른 수의 점을 랜덤하게 선택한다. 또는, 기준점 설정부(16)는 소정의 분포의 점을 선택하는 것이어도 된다.

기준점 설정부(16)는, 기준점 설정부(16)가 선택한 점들의 각각에 대하여, 스테레오 매칭부(11)로 하여금 복수의 화상 간에 상호 대응하는 점의 조를 추출한다. 기준점 설정부(16)는 각 선택한 점의 3차원 데이터를 계산하고, 선택한 점의 3차원 데이터를 기준 시차 설정부(12)에 보낸다.

기준 시차 설정부(12)는, 기준점 설정부(16)로부터 수취한 3차원 데이터로부터, 소정의 방법으로 기준의 시차를 설정한다. 예를 들면, 기준 시차 설정부(12)는 3차원 데이터의 높이의 평균 또는 중앙값을 기준 표고로 하여, 기준 표고에 대응하는 시차를 기준의 시차로 한다. 혹은, 기준 시차 설정부(12)는 소정의 분할 영역마다 평균하여, 각각의 영역마다 기준의 시차를 설정해도 된다.

탐색 범위 설정부(13)는, 기준의 시차에 맞추어 탐색 범위를 설정한다. 예를 들면, 탐색 범위 설정부(13)는 선택된 점의 3차원 데이터의 높이의 분산을 고려하여, 탐색 범위를 설정할 수 있다. 또한, 화상의 범위가 복수의 영역으로 분할되는 경우에는, 분할된 영역마다 탐색 범위를 설정해도 된다.

스테레오 매칭부(11)는, 설정된 기준의 시차 탐색 범위에 맞추어, 복수의 화상의 대응하는 점을 탐색하여, 대응점의 조를 추출한다. 분할된 영역마다 기준의 시차와 탐색 범위가 설정되어 있는 경우에는, 그 탐색 범위에서 대응하는 점을 탐색한다. 높이 계산부(2)는, 스테레오 매칭 처리에 의해 얻어진 대응하는 점의 시차로부터, 삼각 측량의 원리에 의해, DSM 데이터를 생성한다.

도 12는 실시 형태 3에 따른 높이 표정 처리의 동작의 일례를 도시하는 플로우차트이다. 화상 데이터 입력부(10)가 스테레오 매칭 처리를 하는 복수의 화상을 입력하면(스텝 S31), 기준점 설정부(16)는 소정의 방법으로 화상 중의 기준점을 선택한다(스텝 S32). 스테레오 매칭부(11)는, 선택된 기준점에 대하여 스테레오 매칭 처리를 행하여, 복수의 화상에서 대응하는 조를 추출한다(스텝 S33).

기준점 설정부(16)는, 선택한 점의 대응의 조로부터 기준점의 높이를 계산한다(스텝 S34). 기준 시차 설정부(12)는, 기준점의 높이에 기초하여, 기준의 시차를 설정한다(스텝 S35). 여기서, 기준 시차 설정부(12)는, 선택한 점의 대응의 조에 기초하여 기준의 시차를 설정해도 된다(즉, 기준점 설정부(16)에서 기준점의 높이를 계산하지 않아도 된다). 탐색 범위 설정부(13)는, 기준의 시차에 맞추어 탐색 범위를 설정한다(스텝 S36).

스테레오 매칭부(11)는, 한쪽의 화상의 점에 대하여, 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 영역마다 설정된 탐색 범위에서 다른 화상의 대응하는 점을 탐색한다(스텝 S37). 높이 계산부(2)는, 복수의 화상에서 대응지어진 각 점의 화상 내의 위치로부터, 그 점에 대응하는 높이와, 그 점의 지도 상의 좌표를 계산한다(스텝 S38).

실시 형태 3의 스테레오 화상 처리 장치(1)에 의하면, 지도 데이터가 없는 경우라도, 화상에 적합하도록 탐색 범위를 대응점이 존재하는 범위로 작게 한정할 수 있다. 그 결과, 스테레오 화상 처리 장치(1)는 스테레오 매칭 처리를 빠르게 또한 정확하게 행할 수 있다.

(실시 형태 4)

도 13은 실시 형태 4에 따른 스테레오 화상 처리 장치(1)의 구성예를 도시하는 블록도이다. 실시 형태 4의 스테레오 화상 처리 장치(1)는, 실시 형태 3의 기준점을 외부로부터 입력한다. 도 13의 스테레오 화상 처리 장치(1)는, 실시 형태 3의 구성 외에, 기준점 입력부(17)를 구비한다.

기준점 입력부(17)는, 기준점의 화상 내의 위치를 나타내는 데이터를 입력한다. 예를 들면, 기준점 입력부(17)는 화상 데이터를 표시 장치(도시 생략)에 표시하여, 그 화면 상에서 선택된 점을 입력해도 된다. 또한 기준점 입력부(17)는 화상 내의 좌표를 데이터로 입력해도 된다.

기준점 설정부(16), 기준 시차 설정부(12), 탐색 범위 설정부(13) 및 스테레오 매칭부(11)의 동작은, 실시 형태 3과 마찬가지이다.

실시 형태 4에서는, 입력한 화상으로부터 적절하다고 생각되는 기준점을 설정할 수 있다. 예를 들면, 고층 빌딩 등의 항공 표지등, 철탑의 특징점, 빌딩 등 인공적인 지물의 특징점 등, 기준의 표고로 적절하다고 생각되고, 스테레오 매칭 처리를 정확하게 행할 수 있는 점을 선택할 수 있다.

도 14는 실시 형태 4에 따른 높이 표정 처리의 동작의 일례를 도시하는 플로우차트이다. 화상 데이터 입력부(10)가 스테레오 매칭 처리를 하는 복수의 화상을 입력하면(스텝 S41), 기준점 입력부(17)는 그 화상 내의 기준점의 위치를 나타내는 데이터를 입력한다(스텝 S42). 선택하는 기준점은, 복수 있어도 된다.

기준점 설정부(16)는, 입력된 점의 위치를 스테레오 매칭부(11)에 보내고, 스테레오 매칭부(11)는, 선택된 기준점에 대하여 스테레오 매칭 처리를 행하여, 복수의 화상에서 대응하는 점의 조를 추출한다(스텝 S43). 기준점 설정부(16)는, 선택한 점의 대응의 조로부터 기준점의 높이를 계산한다(스텝 S44). 이후, 기준 시차 설정(스텝 S45)부터 대응 높이 계산(스텝 S48)은, 도 12의 스텝 S35∼스텝 S38과 마찬가지이다.

실시 형태 4의 스테레오 화상 처리 장치(1)에 의하면, 실시 형태 3 외에, 화상에 맞추어 적절한 기준의 시차로, 또한, 스테레오 매칭 처리를 정확하게 행할 수 있는 점을 선택할 수 있다. 그 결과, 스테레오 화상 처리 장치(1)는 스테레오 매칭 처리를 빠르게 또한 정확하게 행할 수 있다.

(실시 형태 5)

도 15는 실시 형태 5에 따른 스테레오 화상 처리 장치(1)의 구성예를 도시하는 블록도이다. 실시 형태 5의 스테레오 화상 처리 장치(1)는, 실시 형태 3의 기준점과 그것에 스테레오 매칭에 대하여 대응하는 조를 외부로부터 입력한다. 도 15의 스테레오 화상 처리 장치(1)는, 실시 형태 3의 기준점 입력부(17) 및 기준점 설정부(16) 대신에, 기준 대응점 입력부(18)를 구비한다.

기준 대응점 입력부(18)는, 기준점의 화상 내의 위치와, 그것에 스테레오 매칭 대응하는 다른 화상 내의 점의 위치를 나타내는 데이터를 입력한다. 예를 들면, 기준 대응점 입력부(18)는 2개의 화상 데이터를 표시 장치(도시 생략)에 표시하여, 그 화면 상에서 선택된 대응점의 조를 입력해도 된다. 또한 기준 대응점 입력부(18)는 2개의 화상 내의 대응점의 조의 좌표를 데이터로 입력해도 된다.

기준 시차 설정부(12), 탐색 범위 설정부(13) 및 스테레오 매칭부(11)의 동작은, 실시 형태 1과 마찬가지이다.

실시 형태 5에서는, 입력한 화상으로부터 적절하다고 생각되는 기준 대응점의 조를 설정할 수 있다. 예를 들면, 고층 빌딩 등의 항공 표지등, 철탑의 특징점, 빌딩 등 인공적인 지물의 특징점 등, 기준의 표고로 적절하다고 생각되고, 스테레오 매칭하고 있는 대응점을 선택할 수 있다.

도 16은 실시 형태 5에 따른 높이 표정 처리의 동작의 일례를 도시하는 플로우차트이다. 화상 데이터 입력부(10)가 스테레오 매칭 처리를 하는 복수의 화상을 입력하면(스텝 S51), 기준 대응점 입력부(18)는 그들 화상 중 2개의 화상에서 스테레오 매칭으로 서로 대응하는 기준 대응점의 조의 위치를 나타내는 데이터를 입력한다(스텝 S52). 선택하는 기준점은, 복수개 있어도 된다.

이후, 기준 시차 설정(스텝 S53)부터 대응 높이 계산(스텝 S56)은, 도 12의 스텝 S35∼스텝 S38과 마찬가지이다.

실시 형태 5의 스테레오 화상 처리 장치(1)에 의하면, 화상에 맞추어 적절한 기준의 시차로, 또한, 스테레오 매칭하고 있는 대응점을 선택함으로써, 기준의 시차와 탐색 범위를 설정할 수 있다. 그 결과, 스테레오 화상 처리 장치(1)는 스테레오 매칭 처리를 빠르게 또한 정확하게 행할 수 있다.

도 17은 스테레오 화상 처리 장치(1)를 컴퓨터에 실장하는 경우의, 물리적인 구성의 일례를 도시하는 블록도이다. 본 실시 형태에 따른 스테레오 화상 처리 장치(1)는, 일반적인 컴퓨터 장치와 마찬가지의 하드웨어 구성에 의해 실현할 수 있다. 스테레오 화상 처리 장치(1)는, 도 17에 도시한 바와 같이, 제어부(21), 주기억부(22), 외부 기억부(23), 조작부(24), 표시부(25) 및 입출력부(26)를 구비한다. 주기억부(22), 외부 기억부(23), 조작부(24), 표시부(25) 및 입출력부(26)는 모두 내부 버스(20)를 통하여 제어부(21)에 접속되어 있다.

제어부(21)는 CPU(Central Processing Unit) 등으로 구성되고, 외부 기억부(23)에 기억되어 있는 제어 프로그램(30)에 따라서, 스테레오 매칭 처리를 실행한다.

주기억부(22)는 RAM(Random-Access Memory) 등으로 구성되고, 외부 기억부(23)에 기억되어 있는 제어 프로그램(30)을 로드하고, 제어부(21)의 작업 영역으로서 이용된다.

외부 기억부(23)는, 플래시 메모리, 하드디스크, DVD-RAM(Digital Versatile Disc Random-Access Memory), DVD-RW(Digital Versatile Disc ReWritable) 등의 불휘발성 메모리로 구성되고, 상기의 처리를 제어부(21)에 행하게 하기 위한 제어 프로그램(30)을 미리 기억한다. 또한, 제어부(21)의 지시에 따라서, 이 제어 프로그램(30)이 기억하는 데이터를 제어부(21)에 공급하고, 제어부(21)로부터 공급된 데이터를 기억한다.

조작부(24)는 키보드 및 마우스 등의 포인팅 디바이스 등과, 키보드 및 포인팅 디바이스 등을 내부 버스(20)에 접속하는 인터페이스 장치로 구성되어 있다. 조작부(24)를 통하여, 화상 데이터의 입력, 송수신 등의 지시, 표시하는 화상의 지정, 기준의 표고를 설정하는 기준점의 화상 내의 위치 등이 입력되어, 제어부(21)에 공급된다.

표시부(25)는, CRT(Cathode Ray Tube) 또는 LCD(Liquid Crystal Display) 등으로 구성되고, 화상이나 스테레오 매칭 처리된 결과를 표시한다.

입출력부(26)는, 무선 송수신기, 무선 모뎀 또는 망 종단 장치, 및 그들과 접속하는 시리얼 인터페이스 또는 LAN(Local Area Network) 인터페이스 등으로 구성되어 있다. 입출력부(26)를 통하여, 화상 데이터를 수신하고, 또한 계산한 결과를 송신할 수 있다.

도 1, 도 8, 도 11, 도 13 또는 도 15에 도시한 스테레오 화상 처리 장치(1)의 화상 데이터 입력부(10), 스테레오 매칭부(11), 기준 시차 설정부(12), 탐색 범위 설정부(13), 지도 데이터 입력부(14), 영역 분할부(15), 기준점 설정부(16), 기준점 입력부(17) 및 기준 대응점 입력부(18)의 처리는, 제어 프로그램(30)이, 제어부(21), 주기억부(22), 외부 기억부(23), 조작부(24), 표시부(25) 및 입출력부(26) 등을 자원으로서 이용하여 처리함으로써 실행한다.

그 밖에, 본 발명의 바람직한 변형으로서, 이하의 구성이 포함된다.

본 발명의 제1 관점에 따른 스테레오 매칭 처리 장치에 대하여,

바람직하게는, 상기 기준 시차 설정부는, 상기 복수의 화상 각각을 상기 복수의 화상 외에서 분할된 2 이상의 영역에 각각 대응하는 2 이상의 영역으로 분할하여, 각각의 영역에서 상기 기준의 시차를 설정하고, 상기 탐색 범위 설정부는, 상기 각각의 영역에서 설정된 상기 기준의 시차를 부여하는 화상의 점을 기준으로, 그 화상의 범위보다도 작은 소정의 범위를 스테레오 매칭의 탐색 범위로 설정하는 것을 특징으로 한다.

바람직하게는, 스테레오 매칭 처리 장치는 상기 복수의 화상에 대응하는 지도의 표고 데이터를 취득하는 지도 데이터 취득부를 구비하고, 상기 기준 시차 설정부는, 상기 지도 데이터 취득부에서 취득한 표고 데이터에 기초하여 상기 기준의 시차를 설정한다.

또는, 상기 기준 시차 설정부는, 상기 복수의 화상으로부터 소정의 방법으로 선택한 점에 대하여, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여, 상기 기준의 시차를 설정해도 된다.

또한, 스테레오 매칭 처리 장치는 상기 복수의 화상 중, 시차를 구하는 점의 화상 중의 위치를 취득하는 기준점 입력부를 구비하고, 상기 기준 시차 설정부는, 상기 기준점 입력부에서 취득한 점에 대하여, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여, 상기 기준의 시차를 설정해도 된다.

혹은, 스테레오 매칭 처리 장치는 상기 복수의 화상으로부터, 스테레오 매칭에 대하여 대응하는 점의 조를 입력하는 대응점 입력부를 구비하고, 상기 기준 시차 설정부는, 상기 대응점 입력부에서 입력한 대응하는 점의 조에서 부여되는 시차에 기초하여, 상기 기준의 시차를 설정해도 된다.

본 발명의 제2 관점에 따른 스테레오 매칭 처리 방법에 대하여,

바람직하게는, 상기 기준 시차 설정 스텝은, 상기 스테레오 매칭 처리가 행해질 1조의 화상을 상기 화상 외에서 분할된 2 이상의 영역에 각각 대응하는 2 이상의 영역으로 나누어, 각각의 영역에서 상기 기준의 시차를 설정하고, 상기 탐색 범위 설정 스텝은, 상기 각각의 영역에서 설정된 상기 기준의 시차를 부여하는 화상의 점을 기준으로, 그 화상의 범위보다도 작은 소정의 범위를 스테레오 매칭의 탐색 범위로 설정하는 것을 특징으로 한다.

바람직하게는, 스테레오 매칭 처리 방법은 상기 복수의 화상에 대응하는 지도의 표고 데이터를 취득하는 지도 데이터 취득 스텝을 구비하고, 상기 기준 시차 설정 스텝은, 상기 지도 데이터 취득 스텝에서 취득한 표고 데이터에 기초하여 상기 기준의 시차를 설정한다.

또는, 상기 기준 시차 설정 스텝은, 상기 복수의 화상으로부터 소정의 방법으로 선택한 점에 대하여, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여, 상기 기준의 시차를 설정해도 된다.

또한, 스테레오 매칭 처리 방법 상기 복수의 화상 중, 시차를 구하는 점의 화상 중의 위치를 취득하는 기준점 입력 스텝을 구비하고, 상기 기준 시차 설정 스텝은, 상기 기준점 입력 스텝에서 취득한 점에 대하여, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여, 상기 기준의 시차를 설정해도 된다.

혹은, 스테레오 매칭 처리 방법은 상기 복수의 화상으로부터, 스테레오 매칭에 대하여 대응하는 점의 조를 입력하는 대응점 입력 스텝을 구비하고, 상기 기준 시차 설정 스텝은, 상기 대응점 입력 스텝에서 입력한 대응하는 점의 조에서 부여되는 시차에 기초하여, 상기 기준의 시차를 설정해도 된다.

그 밖에, 상기의 하드웨어 구성이나 플로우차트는 일례이고, 임의로 변경 및 수정이 가능하다.

제어부(21), 주기억부(22), 외부 기억부(23), 조작부(24), 입출력부(26) 및 내부 버스(20) 등으로 구성되는 스테레오 화상 처리 장치(1)의 처리를 행하는 중심으로 되는 부분은, 전용의 시스템에 상관없이, 통상의 컴퓨터 시스템을 이용하여 실현 가능하다. 예를 들면, 상기의 동작을 실행하기 위한 컴퓨터 프로그램을, 컴퓨터가 판독 가능한 기록 매체(플렉시블 디스크, CD-ROM, DVD-ROM 등)에 저장하여 배포하고, 그 컴퓨터 프로그램을 컴퓨터에 인스톨함으로써, 상기의 처리를 실행하는 스테레오 화상 처리 장치(1)를 구성해도 된다. 또한, 인터넷 등의 통신 네트워크 상의 서버 장치가 갖는 기억 장치에 그 컴퓨터 프로그램을 저장해 놓고, 통상의 컴퓨터 시스템이 다운로드하거나 함으로써 스테레오 화상 처리 장치(1)를 구성해도 된다.

또한, 스테레오 화상 처리 장치(1)의 기능을, OS(오퍼레이팅 시스템)와 어플리케이션 프로그램의 분담, 또는 OS와 어플리케이션 프로그램과의 협동에 의해 실현하는 경우 등에는, 어플리케이션 프로그램 부분만을 기록 매체나 기억 장치에 저장해도 된다.

또한, 반송파에 컴퓨터 프로그램을 중첩하고, 통신 네트워크를 통하여 배신하는 것도 가능하다. 예를 들면, 통신 네트워크 상의 게시판(BBS, Bulletin Board System)에 상기 컴퓨터 프로그램을 게시하고, 네트워크를 통하여 상기 컴퓨터 프로그램을 배신해도 된다. 그리고, 이 컴퓨터 프로그램을 기동하고, OS의 제어 하에서, 다른 어플리케이션 프로그램과 마찬가지로 실행함으로써, 상기의 처리를 실행할 수 있도록 구성해도 된다.

또한, 본원에 대해서는, 일본 특허 출원 2008-300221호를 기초로 하는 우선권을 주장하고, 본 명세서 중에 일본 특허 출원 2008-300221호의 명세서, 특허 청구 범위, 도면 전체를 참조로서 원용하는 것으로 한다.

1 : 스테레오 화상 처리 장치
2 : 높이 계산부
10 : 화상 데이터 입력부
11 : 스테레오 매칭부
12 : 기준 시차 설정부
13 : 탐색 범위 설정부
14 : 지도 데이터 입력부
15 : 영역 분할부
16 : 기준점 설정부
17 : 기준점 입력부
18 : 기준 대응점 입력부
21 : 제어부
22 : 주기억부
23 : 외부 기억부
24 : 조작부
25 : 표시부
26 : 입출력부
30 : 제어 프로그램

Claims

스테레오 매칭 처리 장치로서,
복수의 상이한 위치로부터 미리 정해진 영역을 촬영한 복수의 화상의 화상 데이터를 취득하는 화상 데이터 취득부와,
상기 복수의 화상을 각각 대응하는 2 이상의 영역으로 나누어, 각각의 영역에서 기준의 시차를 설정하는 기준 시차 설정부와,
상기 기준 시차 설정부에서 설정된 각각의 영역에서의 기준의 시차를 부여하는 화상의 점을 기준으로, 그 화상의 범위보다도 작은 미리 정해진 범위를 스테레오 매칭의 탐색 범위로 설정하는 탐색 범위 설정부와,
상기 복수의 화상의 하나의 화상 내의 임의의 점에 대하여, 상기 기준 시차 설정부에서 설정된 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 상기 탐색 범위 설정부에서 설정된 탐색 범위에서 상기 다른 화상의 대응하는 점을 탐색하는 탐색부와,
상기 복수의 화상에 대응하는 지도의 표고 데이터(altitude data)를 취득하는 지도 데이터 취득부
를 포함하고,
상기 기준 시차 설정부는, 상기 화상 데이터 취득부에서 취득한 화상 데이터를 상기 지도 데이터 취득부에서 취득한 표고 데이터에 따라서 복수의 영역으로 분할하고, 분할한 영역마다, 상기 표고 데이터에 기초하여 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 장치.
스테레오 매칭 처리 장치로서,
복수의 상이한 위치로부터 미리 정해진 영역을 촬영한 복수의 화상의 화상 데이터를 취득하는 화상 데이터 취득부와,
상기 복수의 화상을 각각 대응하는 2 이상의 영역으로 나누어, 각각의 영역에서 기준의 시차를 설정하는 기준 시차 설정부와,
상기 기준 시차 설정부에서 설정된 각각의 영역에서의 기준의 시차를 부여하는 화상의 점을 기준으로, 그 화상의 범위보다도 작은 미리 정해진 범위를 스테레오 매칭의 탐색 범위로 설정하는 탐색 범위 설정부와,
상기 복수의 화상의 하나의 화상 내의 임의의 점에 대하여, 상기 기준 시차 설정부에서 설정된 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 상기 탐색 범위 설정부에서 설정된 탐색 범위에서 상기 다른 화상의 대응하는 점을 탐색하는 탐색부
를 포함하고,
상기 기준 시차 설정부는, 상기 복수의 화상으로부터 미리 정해진 방법으로 선택한 점에 대해서, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 장치.
스테레오 매칭 처리 방법으로서,
복수의 상이한 위치로부터 미리 정해진 영역을 촬영한 복수의 화상의 화상 데이터를 취득하는 화상 데이터 취득 단계와,
상기 복수의 화상을 각각 대응하는 2 이상의 영역으로 나누어, 각각의 영역에서 기준의 시차를 설정하는 기준 시차 설정 단계와,
상기 기준 시차 설정 단계에서 설정된 각각의 영역에서의 기준의 시차를 부여하는 화상의 점을 기준으로, 그 화상의 범위보다도 작은 미리 정해진 범위를 스테레오 매칭의 탐색 범위로 설정하는 탐색 범위 설정 단계와,
상기 복수의 화상의 하나의 화상 내의 임의의 점에 대하여, 상기 기준 시차 설정 단계에서 설정된 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 상기 탐색 범위 설정 단계에서 설정된 탐색 범위에서 상기 다른 화상의 대응하는 점을 탐색하는 탐색 단계
를 포함하고,
상기 기준 시차 설정 단계는, 상기 복수의 화상으로부터 미리 정해진 방법으로 선택한 점에 대해서, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 방법.
컴퓨터를 제어하기 위한 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체로서, 상기 컴퓨터를,
복수의 상이한 위치로부터 미리 정해진 영역을 촬영한 복수의 화상의 화상 데이터를 취득하는 화상 데이터 취득부와,
상기 복수의 화상을 각각 대응하는 2 이상의 영역으로 나누어, 각각의 영역에서 기준의 시차를 설정하는 기준 시차 설정부와,
상기 기준 시차 설정부에서 설정된 각각의 영역에서의 기준의 시차를 부여하는 화상의 점을 기준으로, 그 화상의 범위보다도 작은 미리 정해진 범위를 스테레오 매칭의 탐색 범위로 설정하는 탐색 범위 설정부와,
상기 복수의 화상의 하나의 화상 내의 임의의 점에 대하여, 상기 기준 시차 설정부에서 설정된 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 상기 탐색 범위 설정부에서 설정된 탐색 범위에서 상기 다른 화상의 대응하는 점을 탐색하는 탐색부로서 기능시키고,
상기 기준 시차 설정부는, 상기 복수의 화상으로부터 미리 정해진 방법으로 선택한 점에 대해서, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여 상기 기준의 시차를 설정하도록 기능시키는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
제1항에 있어서,
상기 기준 시차 설정부는, 상기 복수의 화상으로부터 미리 정해진 방법으로 선택한 점에 대하여, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여, 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 장치.
제2항에 있어서,
상기 복수의 화상 중, 시차를 산출하는 점의 화상 중의 위치를 취득하는 기준점 입력부를 포함하고,
상기 기준 시차 설정부는, 상기 기준점 입력부에서 취득한 점에 대하여, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여, 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 장치.
제2항에 있어서,
상기 복수의 화상으로부터, 스테레오 매칭에 대하여 대응하는 점의 조(組)를 입력하는 대응점 입력부를 포함하고,
상기 기준 시차 설정부는, 상기 대응점 입력부에서 입력한 대응하는 점의 조에서 부여되는 시차에 기초하여, 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 장치.
스테레오 매칭 처리 방법으로서,
복수의 상이한 위치로부터 미리 정해진 영역을 촬영한 복수의 화상의 화상 데이터를 취득하는 화상 데이터 취득 단계와,
상기 복수의 화상을 각각 대응하는 2 이상의 영역으로 나누어, 각각의 영역에서 기준의 시차를 설정하는 기준 시차 설정 단계와,
상기 기준 시차 설정 단계에서 설정된 각각의 영역에서의 기준의 시차를 부여하는 화상의 점을 기준으로, 그 화상 데이터의 범위보다도 작은 미리 정해진 범위를 스테레오 매칭의 탐색 범위로 설정하는 탐색 범위 설정 단계와,
상기 복수의 화상의 하나의 화상 내의 임의의 점에 대하여, 상기 기준 시차 설정 단계에서 설정된 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 상기 탐색 범위 설정 단계에서 설정된 탐색 범위에서 상기 다른 화상의 대응하는 점을 탐색하는 탐색 단계와,
상기 복수의 화상에 대응하는 지도의 표고 데이터를 취득하는 지도 데이터 취득 단계
를 포함하고,
상기 기준 시차 설정 단계는, 상기 화상 데이터 취득 단계에서 취득한 화상 데이터를 상기 지도 데이터 취득단계에서 취득한 표고 데이터에 따라서 복수의 영역으로 분할하고, 분할한 영역마다, 상기 표고 데이터에 기초하여 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 방법.
제8항에 있어서,
상기 기준 시차 설정 단계는, 상기 복수의 화상으로부터 미리 정해진 방법으로 선택한 점에 대하여, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여, 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 방법.
제3항에 있어서,
상기 복수의 화상 중, 시차를 산출하는 점의 화상 중의 위치를 취득하는 기준점 입력 단계를 포함하고,
상기 기준 시차 설정 단계는, 상기 기준점 입력 단계에서 취득한 점에 대하여, 스테레오 매칭에 의해 시차를 산출하고, 그 산출한 시차에 기초하여, 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 방법.
제3항에 있어서,
상기 복수의 화상으로부터, 스테레오 매칭에 대하여 서로 대응하는 대응점의 조를 입력하는 대응점 입력 단계를 구비하고,
상기 기준 시차 설정 단계는, 상기 대응점 입력 단계에서 입력한 대응하는 점의 조에서 부여되는 시차에 기초하여, 상기 기준의 시차를 설정하는 것을 특징으로 하는 스테레오 매칭 처리 방법.
컴퓨터를 제어하기 위한 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체로서, 상기 컴퓨터를,
복수의 상이한 위치로부터 미리 정해진 영역을 촬영한 복수의 화상의 화상 데이터를 취득하는 화상 데이터 취득부와,
상기 복수의 화상을 각각 대응하는 2 이상의 영역으로 나누어, 각각의 영역에서 기준의 시차를 설정하는 기준 시차 설정부와,
상기 기준 시차 설정부에서 설정된 각각의 영역에서의 기준의 시차를 부여하는 화상의 점을 기준으로, 그 화상의 범위보다도 작은 미리 정해진 범위를 스테레오 매칭의 탐색 범위로 설정하는 탐색 범위 설정부와,
상기 복수의 화상의 하나의 화상 내의 임의의 점에 대하여, 상기 기준 시차 설정부에서 설정된 기준의 시차를 부여하는 다른 화상의 점을 기준으로, 상기 탐색 범위 설정부에서 설정된 탐색 범위에서 상기 다른 화상의 대응하는 점을 탐색하는 탐색부와,
상기 복수의 화상에 대응하는 지도의 표고 데이터를 취득하는 지도 데이터 취득부로서 기능시키고,
상기 기준 시차 설정부는, 상기 화상 데이터 취득부에서 취득한 화상 데이터를 상기 지도 데이터 취득부에서 취득한 표고 데이터에 따라서 복수의 영역으로 분할하고, 분할한 영역마다, 상기 표고 데이터에 기초하여 상기 기준의 시차를 설정하도록 기능 시키는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.