KR100762670B1 - 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치 - Google Patents

Abstract

본 발명의 스테레오 매칭은, 스테레오 이미지를 이루는 이미지들로부터 각각의 에지 이미지를 추출하고, 에지 이미지들 중 기준 에지 이미지의 에지 화소들 중에 기준 에지 화소를 중심으로 일정 크기의 윈도우 내에 나타날 수 있는 미리 정해진 에지 형태들에 각각 대응되게 정해진 에지 마스크들 중에 기준 에지 화소에 관한 윈도우 내의 에지 형태와 매칭되는 에지 마스크를 검색하며, 에지 이미지들 중 탐색 에지 이미지의 에지 화소들 중에 검색된 에지 마스크와 매칭되는 에지 형태를 가지는 윈도우의 중심에 있는 에지 화소를 기준 에지 화소에 대한 대응점에 해당하는 대응 에지 화소로서 탐색한다. 또한 본 발명의 디스패리티 맵 생성은, 기준 에지 이미지의 에지 화소들과 이들 각각에 대하여 상기한 스테레오 매칭에 의해 탐색된 대응 에지 화소들 간의 거리에 근거하여 에지 이미지 디스패리티 맵을 생성하고, 에지 이미지 디스패리티 맵의 에지 화소들 간의 보간에 의해 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하여 최종 디스패리티 맵을 생성한다. 이에 따라 스테레오 이미지로부터 3차원 이미지를 간단하게 얻을 수 있게 되며 그에 필요한 메모리 사용량과 처리 시간을 감소시킨다.

스테레오 이미지, 디스패리티 맵, 스테레오 매칭.

Description

스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및 장치와 그를 위한 스테레오 매칭 방법 및 장치{METHOD AND DEVICE FOR GENERATING DISPARITY MAP FROM STEREO IMAGE AND STEREO MATCHING METHOD AND DEVICE THEREFOR}

도 1은 본 발명의 실시 예에 따른 디스패리티 맵 생성 장치의 블록 구성도,

도 2는 본 발명의 실시 예에 따른 디스패리티 맵 생성 처리 흐름도,

도 3은 본 발명의 실시 예에 따른 스테레오 매칭 처리 흐름도,

도 4는 본 발명의 실시 예에 따른 에지 마스크들의 예시도,

도 5a 및 도 5b는 본 발명의 실시 예에 따른 에지 형태의 매칭 예를 설명하기 위한 예시도.

본 발명은 스테레오 이미지(stereo image)로부터 3차원 이미지를 얻는 것에 관한 기술로서, 특히 스테레오 이미지로부터 디스패리티 맵(disparity map)을 생성하는 방법 및 장치와 그를 위한 스테레오 매칭(stereo matching) 방법 및 장치에 관한 것이다.

스테레오 매칭 기술은 스테레오 이미지로부터 3차원 이미지를 얻기 위해 이용되는 기술로서, 동일 피사체에 대하여 동일선상의 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지로부터 3차원 이미지를 얻기 위해 이용된다. 스테레오 이미지는 이처럼 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지, 즉 서로 짝(pair) 관계에 있는 다수의 2차원 이미지를 의미한다.

일반적으로 2차원 이미지로부터 3차원 이미지를 생성하기 위해서는 2차원 이미지의 수직,수평의 위치 정보인 x,y 좌표에 더하여 깊이 정보인 z 좌표를 필요로 한다. z 좌표를 구하기 위해서는 스테레오 이미지의 시차 정보를 필요로 하는데, 스테레오 매칭은 이러한 시차를 얻기 위해 사용되는 기술이다. 예를 들어 스테레오 이미지가 두 대의 좌,우 카메라에 의해 촬영된 좌,우 이미지라면, 좌,우 이미지 중에 하나를 기준 이미지로, 다른 하나를 탐색 이미지로 정한다. 이러한 경우에 공간상의 동일한 한 점에 대한 기준 이미지와 탐색 이미지 간의 거리, 즉 좌표의 차이를 시차라고 하는데, 스테레오 매칭 기술을 이용하여 시차를 얻는다.

이미지의 전체 화소들에 대하여 위와 같이 얻어지는 기준 이미지와 탐색 이미지 간의 시차들을 이용하여 각 화소들에 대한 깊이 정보를 얻어 3차원 좌표들로 표현되는 디스패리티 맵을 생성한다.

통상적으로 기준 이미지와 탐색 이미지간의 시차를 구하기 위해 사용되는 스테레오 매칭 기술의 일 예를 개략적으로 설명하면 다음과 같다. 먼저 기준 이미지의 기준 화소를 중심으로 일정 크기의 윈도우(window)를 설정하며, 탐색 이미지에 대해서도 탐색 화소들을 중심으로 같은 크기의 윈도우를 설정한다. 기준 화소는 기 준 이미지의 화소들 중에 탐색 이미지에서 대응하는 점, 즉 대응점을 현재 탐색해야할 화소를 의미한다. 탐색 화소는 탐색 이미지의 화소들 중에 기준 화소에 대한 대응점인지를 현재 확인해야할 화소를 의미한다. 윈도우는 중심 화소와 그를 둘러싼 주변 화소들로 이루어지는 매트릭스 형태이다.

위와 같이 설정된 기준 화소 윈도우 내의 화소들과 각각의 탐색 화소 윈도우 내의 화소들 간의 유사도를 계산하고, 탐색 화소 윈도우들 중에 기준 화소 윈도우와 가장 유사도가 큰 값을 갖는 탐색 화소 윈도우의 탐색 화소를 대응점에 해당하는 대응 화소라고 규정한다. 그리고 기준 화소와 대응 화소 간의 거리를 시차로서 구한다.

기준 화소 윈도우 내의 화소들과 각각의 탐색 화소 윈도우 내의 화소들 간의 유사도를 계산하는 방법의 한 가지로서, 기준 화소 윈도우 내의 화소들의 평균값과 각각의 탐색 화소 윈도우 내의 화소들의 평균값을 구하여 비교하는 방법이 사용되어 왔었다.

상기한 바와 같이 기준 이미지와 탐색 이미지 간의 시차를 얻기 위해, 기준 화소 윈도우 내의 화소들의 평균값과 각각의 탐색 화소 윈도우 내의 화소들의 평균값을 구하여 비교함에 따라 메모리 사용량이 커지게 될 뿐만 아니라 오랜 처리 시간이 소요된다. 즉, 윈도우 내에 있는 모든 화소들에 대한 평균값을 구하여 비교해야 하기 때문에, 윈도우 내에 있는 모든 화소값들과 그의 평균값을 저장해야만 하 므로 메모리 사용량이 커지게 되며, 처리 시간도 많이 소요된다. 이뿐만 아니라 이미지 전체의 화소들에 각각에 관하여 모두 대응 화소를 탐색하여야 하기 때문에 메모리 사용량과 처리 시간이 비약적으로 커지게 된다.

한편 이동통신단말처럼 제품의 크기가 작은 각종 휴대용 단말에 채용되는 임베디드 시스템(embedded system)에서는 공급 전력 용량이 적고, 프로세서의 연산 속도가 낮으며, 메모리 용량이 적은 등 많은 제약 사항을 가지며, 그 성능 또한 제한적인 경우가 많다. 그러므로 엠베디드 시스템에서는 큰 메모리 사용량과 긴 처리 시간을 필요로 하는 기능은 현실적으로 채용하기 곤란하다.

그러므로 컴퓨터와 달리 임베디드 시스템에 있어서는 스테레오 이미지로부터 3차원 이미지를 얻어 활용하는 각종 기능을 채용하기 곤란하였었다.

따라서 본 발명은 스테레오 이미지로부터 3차원 이미지를 얻는데 필요한 메모리 사용량과 처리 시간을 감소시킬 수 있는 디스패리티 맵 생성 방법 및 장치와 그를 위한 스테레오 매칭 방법 및 장치를 제공한다.

또한 본 발명은 스테레오 이미지에 관한 스테레오 매칭을 간단하게 구현할 수 있는 스테레오 매칭 방법 및 장치를 제공한다.

또한 본 발명은 스테레오 이미지로부터 디스패리티 맵을 간단하게 생성할 수 있는 디스패리티 맵 생성 방법 및 장치를 제공한다.

이를 위한 본 발명의 스테레오 매칭은,

스테레오 이미지를 이루는 이미지들로부터 각각의 에지(edge) 이미지를 추출하고,

에지 이미지 중에 기준 에지 이미지의 에지 화소들 중에 기준 에지 화소를 중심으로 일정 크기의 윈도우 내에 나타날 수 있는 미리 정해진 에지 형태들에 각각 대응되게 정해진 에지 마스크들 중에 기준 에지 화소에 관한 윈도우 내의 에지 형태와 매칭되는 에지 마스크를 검색하며,

에지 이미지 중에 탐색 에지 이미지의 에지 화소들 중에 검색된 에지 마스크와 매칭되는 에지 형태를 가지는 윈도우의 중심에 있는 에지 화소를 기준 에지 화소에 대한 대응점에 해당하는 대응 에지 화소로서 탐색함을 특징으로 한다.

또한 본 발명의 디스패리티 맵 생성은,

기준 에지 이미지의 에지 화소들과 이들 각각에 대하여 상기한 스테레오 매칭에 의해 탐색된 대응 에지 화소들 간의 거리에 근거하여 에지 이미지 디스패리티 맵을 생성하고,

에지 이미지 디스패리티 맵의 에지 화소들 간의 보간에 의해 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하여 최종 디스패리티 맵을 생성함을 특징으로 한다.

상기 기준 에지 화소는 기준 에지 이미지의 에지 화소들 중에 탐색 에지 이미지에서 대응 에지 화소를 현재 탐색하여야 할 에지 화소를 의미한다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 또한 스테레오 이미지는 두 대의 좌,우 카메라에 의해 촬영된 좌,우 이미지인 예를 들어 설명한다.

도 1은 본 발명의 실시 예에 따른 디스패리티 맵 생성 장치의 블록 구성도로서, 제1,제2 에지 추출기(100,102)와, 에지 스테레오 매칭기(104)와, 에지 디스패리티 맵 생성기(106)와, 디스패리티 맵 보완기(108)를 구비한다.

상기한 디스패리티 맵 생성 장치를 그의 처리 흐름도를 보인 도 2를 참조하여 설명한다. 상기 제1,제2 에지 추출기(100)에는 스테레오 이미지가 입력된다. 스테레오 이미지는 전술한 바와 같이 동일 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 서로 짝 관계에 있는 두 개의 2차원 이미지인 좌, 우 이미지이다.

먼저 도 2의 (200)단계는 제1,제2 에지 추출기(100,102)에 의해 실행된다. 제1 에지 추출기(100)는 스테레오 이미지를 이루는 좌,우 이미지 중에 좌 이미지를 입력하여 에지를 추출한다. 제2 에지 추출기(102)는 스테레오 이미지를 이루는 좌,우 이미지 중에 우 이미지를 입력하여 에지를 추출한다. 이하의 설명에서 제1, 제2 에지 추출기(100,102)에 의해 각각 추출된 에지 이미지를 각각 좌 에지 이미지와 우 에지 이미지라 칭한다. 그러므로 좌,우 에지 이미지는 좌,우 이미지의 윤곽선을 이루는 에지 화소들만으로 이루어진다. 이처럼 추출된 좌,우 에지 이미지는 에지 스테레오 매칭기(104)에 입력된다.

그러면 에지 스테레오 매칭기(104)에 의해 도 2의 (202)단계가 실행된다. 에지 스테레오 매칭기(104)는 좌,우 에지 이미지에 대한 에지 스테레오 매칭을 하게 되는데, 에지 스테레오 매칭에 관하여 도 3의 처리 흐름도를 참조하여 설명한다. 도 3의 처리에 있어서 좌,우 에지 이미지 중에 하나를 기준 에지 이미지라 하면, 다른 하나가 탐색 에지 이미지가 된다. 또한 도 3은 기준 에지 이미지의 에지 화소들 중에 하나의 기준 에지 화소에 대하여 탐색 에지 이미지의 에지 화소들 중에 대응 에지 화소를 탐색하는 처리를 보인 것이다. 그러므로 기준 에지 이미지 전체의 에지 화소들 모두에 대한 대응 에지 화소를 탐색하기 위해서는 에지 스테레오 매칭기(104)는 도 3의 처리를 기준 에지 이미지 전체의 에지 화소들 수만큼 반복한다. 또한 기준 에지 이미지의 에지 화소들에 대하여 탐색 에지 이미지에서 대응 에지 화소를 탐색하는 순서는, 예를 들어 통상적인 경우와 마찬가지로 첫 번째 스캔 라인부터 순차적으로 이루어지며 하나의 스캔 라인에 있어서도 첫 번째 에지 화소부터 순차적으로 이루어진다.

상기 기준 에지 화소는 기준 에지 이미지의 에지 화소들 중에 탐색 에지 이미지에서 대응하는 점, 즉 대응점을 현재 탐색해야할 에지 화소를 의미한다. 탐색 에지 화소는 탐색 에지 이미지의 에지 화소들 중에 기준 에지 화소에 대한 대응점인지를 현재 확인해야할 에지 화소를 의미한다.

먼저 에지 스테레오 매칭기(104)는 도 3의 (300)단계에서 기준 에지 이미지의 에지 화소들 중에 기준 에지 화소에 대하여 일정 크기의 윈도우를 설정한다. 다음에 (302)단계에서 기준 에지 화소 윈도우에 미리 정해진 다수의 서로 다른 에지 마스크 중에 첫 번째 에지 마스크를 적용하고, (304)단계에서 기준 에지 화소 윈도우의 에지 형태와 이에 적용한 에지 마스크의 에지 형태가 매칭되는가를 검사한다. 만일 기준 에지 화소 윈도우와 에지 마스크의 에지 형태가 매칭되지 않으면, (306) 단계에서 기준 에지 화소 윈도우에 대한 에지 마스크를 다른 에지 마스크로 변경하여 적용한 후, 다시 상기 (304)단계로 되돌아가서 기준 에지 화소 윈도우의 에지 형태와 이에 적용한 에지 마스크의 에지 형태가 매칭되는가를 검사한다. 이렇게 함으로써 기준 에지 화소 윈도우와 에지 형태가 매칭되는 에지 마스크가 찾아진다.

상기 윈도우는 기준 에지 화소를 중심 화소로 하여 그를 둘러싼 주변 화소들로 이루어지는 매트릭스 형태가 된다. 에지 마스크는 이러한 윈도우 내에 나타날 수 있는 미리 정해진 에지 형태들 각각에 대응되게 미리 정해진다. 윈도우와 에지 마스크의 크기는 같은 크기로 정해지며, 가로 화소 수 × 세로 화소 수가 3×3, 7×7, 9×9 등 여러 가지 중에 어느 한 가지로 미리 정해진다. 윈도우와 에지 마스크의 크기가 클수록 대응 에지 화소를 더욱 정확히 탐색해 낼 수 있는 반면에, 그만큼 처리 화소 수가 많아지므로 처리량이 커지고 시간이 더 소요된다. 그러므로 윈도우와 에지 마스크의 크기는 본 발명이 채용되는 시스템의 성능을 감안하여 설계시에 적정하게 정하면 된다.

도 4는 상기한 바와 같은 에지 마스크들로서, 수직 에지 마스크(400), 수평 에지 마스크(402), X자 에지 마스크(404), 마름모 에지 마스크(406), 상향 에지 마스크(408), 하향 에지 마스크(410), 전체 에지 마스크(412)로 정해지는 예를 보인 것이다. 또한 에지 마스크의 크기가 3×3인 경우, 즉 1개의 중심 화소와 그를 둘러싼 8개의 주변 화소들에 대하여 지정되는 3×3 크기의 윈도우에 대응하는 크기로 정해지는 예를 보인 것이다. 각 에지 마스크에서 9개의 점들 중에 빗금으로 표시한 점은 예를 들어 논리 '1', 그렇지 않은 점은 논리 '0'을 나타낸다.

상기한 에지 마스크들 중에, 수직 에지 마스크(400)는 기준 에지 화소를 중심으로 하는 윈도우 내의 에지가 수직 형태인 경우에 대응 에지 화소를 탐색하는데 사용된다. 수평 에지 마스크(402)는 기준 에지 화소를 중심으로 하는 윈도우 내의 에지가 수평 형태인 경우에 대응 에지 화소를 탐색하는데 사용된다. X자 에지 마스크(404)는 기준 에지 화소를 중심으로 하는 윈도우 내의 에지가 'X'자 형태인 경우에 대응 에지 화소를 탐색하는데 사용된다. 마름모 에지 마스크(406)는 기준 에지 화소를 중심으로 하는 윈도우 내의 에지가 마름모 형태인 경우에 대응 에지 화소를 탐색하는데 사용된다. 상향 에지 마스크(408)는 기준 에지 화소를 중심으로 하는 윈도우 내의 에지가 수직은 아니지만 상향으로 뻗어가는 형태인 경우에 대응 에지 화소를 탐색하는데 사용된다. 하향 에지 마스크(410)는 기준 에지 화소를 중심으로 하는 윈도우 내의 에지가 수직은 아니지만 하향으로 뻗어가는 형태인 경우에 대응 에지 화소를 탐색하는데 사용된다. 전체 에지 마스크(412)는 기준 에지 화소를 중심으로 하는 윈도우 내의 화소들이 모두 에지에 해당하는 경우에 대응 에지 화소를 탐색하는데 사용된다.

그러므로 상기한 (302)∼(306)단계에서는 상기한 도 4의 예처럼 미리 정해지는 다수의 서로 다른 에지 마스크 중에 기준 에지 화소 윈도우와 매칭되는 에지 마스크가 찾아질 때까지 첫 번째 에지 마스크부터 하나씩 순차적으로 매칭 여부를 검사하는 것이다.

이처럼 기준 에지 화소 윈도우에 에지 마스크를 적용하여 매칭 여부를 검사하는 예를 설명하면 다음과 같다. 예를 들어 기준 에지 화소 윈도우의 에지 형태가 수직 형태인 경우는 도 5a의 예를 포함한 여러 가지의 경우가 있을 수 있다. 이러한 경우에 도 4의 수직 에지 마스크(400), 즉 도 5b와 같은 에지 마스크를 적용한다면, 어떤 경우든지 도 5b와 같은 결과가 된다. 도 5a, 도 5b에서 '0'은 논리 '0'을, '1'은 논리 '1'을 나타낸다. 여기서 에지 마스크를 적용한다는 것은 기준 에지 화소 윈도우 내지의 화소들과 에지 마스크를 화소별로 논리곱한다는 의미이다. 그러므로 기준 에지 화소 윈도우가 도 5a의 (a)∼(d)처럼 수직 에지 형태를 가진다면, 어떠한 경우든지 수직 에지 마스크(400)를 적용하면 그 결과는 도 5b처럼 수직 에지 마스크(400)의 값과 같게 된다. 이러한 경우가 기준 에지 화소 윈도우가 수직 에지 마스크(400)와 에지 형태가 매칭되는 경우이다. 나머지 에지 형태에 관한 에지 마스크의 적용과 매칭 여부의 검사는 상기한 예를 참조하면 용이하게 이해할 수 있을 것이므로, 더 이상의 설명은 생략한다.

상기 (302)∼(306)단계에서 상기한 예를 든 바와 같은 처리에 의해 기준 에지 화소 윈도우와 에지 형태가 매칭되는 에지 마스크가 검색되면, 매칭된 에지 마스크를 (308)단계에서 탐색 마스크로 설정한다.

그리고 (310)단계에서 탐색 에지 이미지의 에지 화소들 중에 탐색 에지 화소에 대한 윈도우를 상기 (300)단계의 기준 에지 화소에 대한 윈도우 설정과 마찬가지의 방식으로 설정한다.

다음에 (312)단계에서 탐색 에지 화소 윈도우에 탐색 마스크를 적용하고, (314)단계에서 탐색 에지 화소 윈도우의 에지 형태와 탐색 에지 마스크의 에지 형태가 매칭되는가를 검사한다. 만일 탐색 에지 화소 윈도우와 탐색 마스크의 에지 형태가 매칭되지 않으면, (316)단계에서 탐색 에지 이미지에서 다음의 에지 화소, 즉 현재의 탐색 화소가 있는 스캔 라인에서 현재의 탐색 에지 화소의 다음에 있는 에지 화소를 탐색 에지 화소로 변경 설정한 후, 상기 (310)단계부터 다시 수행한다. 여기서 탐색 에지 화소 윈도우에 탐색 마스크를 적용하여 에지 형태가 매칭되는가를 검사하는 것은 상기한 기준 에지 화소 윈도우에 에지 마스크를 적용하여 에지 형태가 매칭되는가를 검사하는 것과 마찬가지의 방식으로 이루어진다. 이렇게 함으로써 탐색 마스크와 에지 형태가 매칭되는 탐색 에지 화소가 찾아진다.

그러면 매칭된 탐색 에지 화소를 (318)단계에서 대응 에지 화소로 결정한다. 즉, 현재의 기준 에지 화소에 대한 대응점에 해당하는 대응 에지 화소가 찾아진 것이다.

상기한 바와 같은 도 3의 처리를 에지 스테레오 매칭기(104)가 기준 에지 이미지의 에지 화소들 모두에 대하여 반복함으로써 각각의 대응 에지 화소들을 모두 탐색한다. 그러면 상기한 도 2의 (204)단계에서 에지 디스패리티 맵 생성기(106)는 에지 스테레오 매칭기(104)에 의해 얻어진 기준 에지 이미지의 에지 화소들과 이들 각각에 대응하는 탐색 에지 이미지의 대응 에지 화소들을 이용하여 에지 이미지 디스패리티 맵을 생성한다. 에지 디스패리티 맵 생성기(106)가 에지 이미지 디스패리티 맵을 생성하는 것은 에지에 관한 디스패리티 맵이라는 점만 다를 뿐, 디스패리티 맵 생성 방식은 통상의 디스패리티 맵 생성 방식과 실질적으로 동일하다. 그러므로 에지 디스패리티 맵 생성기(106)는 예를 들어 에지 스테레오 매칭기(104)에 의해 얻어진 기준 에지 이미지의 에지 화소들과 이들 각각에 대응하는 탐색 에지 이미지의 대응 에지 화소들 간의 거리에 근거하여 에지 이미지 디스패리티 맵을 생성한다.

이처럼 에지 디스패리티 맵 생성기(106)에 의해 생성된 에지 이미지 디스패리티 맵은 전체 이미지에 관한 디스패리티 맵이 아니라 에지 이미지에 관한 디스패리티 맵일 뿐이므로, 비 에지 이미지 영역에 대한 디스패리티 맵이 누락되어 있는 형태이다. 이에 따라 도 2의 (206)단계에서 디스패리티 맵 보완기(108)에 의해 에지 이미지 디스패리티 맵의 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하여 최종 디스패리티 맵을 생성한다. 디스패리티 맵 보완기(108)에 의한 에지 이미지 디스패리티 맵의 비 에지 이미지 영역에 대한 디스패리티 맵 보완은 통상적인 화소간 보간법을 이용할 수 있다. 즉, 에지 이미지 디스패리티 맵에서 인접한 에지 화소들 간의 깊이 정보, 즉 z 좌표의 보간에 의해 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하면 된다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위내에서 이루어질 수 있다. 특히 본 발명의 실시 예에서는 스테레오 이미지로서 동일한 피사체에 대하여 두 대의 좌,우 카메라에 의해 촬영된 좌,우 이미지인 예를 들어 설명하였으나, 동일한 피사체에 대하여 더 많은 수의 카메라들에 의해 촬영된 다수의 2차원 이미지인 경우에도 마찬가지로 적용된다. 이러한 경우에는 하나의 이미지가 기준 이미지가 되고, 나머지 이미지들이 탐색 이미지가 되므로, 하나의 기준 이미지에 관하여 다수의 탐색 이미지 각각에 대해 에지 스테레오 매칭을 한다는 점만 다르게 된다.

또한 윈도우와 에지 마스크의 크기는 물론이고 에지 마스크의 형태, 종류도 필요에 따라 다르게 정하여 적용할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 한정되는 것이 아니며 특허청구범위와 특허청구범위의 균등한 것에 의하여 정하여져야 한다.

상술한 바와 같이 본 발명에 따른 스테레오 매칭은 탐색 이미지에서 기준 이미지의 모든 화소들 각각에 대한 대응 화소를 탐색하는 것이 아니라, 에지 화소들에 대하여만 대응 에지 화소를 탐색한다.

또한 기준 화소 윈도우 내의 화소들의 평균값과 각각의 탐색 화소 윈도우 내의 화소들의 평균값을 구하여 비교하는 것이 아니라, 기준 에지 화소 윈도우의 에지 형태, 즉 단지 1비트의 논리 '1', '0'으로만 나타내지는 에지 형태와 매칭되는 탐색 화소 윈도우를 단순 논리합에 의해 찾아 대응 에지 화소를 탐색한다. 즉, 원 이미지의 각 화소값과 달리 단지 1비트로만 나타내지는 에지 이미지의 에지 화소에 관한 에지 형태만을 비교하여 대응 에지 화소를 탐색하는 것이다.

이에 따라 메모리 사용량을 대폭적으로 감소시킬 뿐만 아니라 처리 시간도 대폭적으로 감소된다.

또한 에지 이미지만을 이용하여 대응 에지 화소를 탐색하는 것이므로, 원래 이미지의 모든 화소들에 관한 대응 화소를 탐색하는 경우에 비해, 탐색 에러를 훨씬 줄일 수 있다.

이에 따라 본 발명에 따르면 스테레오 이미지에 관한 스테레오 매칭을 간단하게 구현할 수 있으며, 그에 따라 스테레오 이미지로부터 디스패리티 맵을 간단하게 생성할 수 있다. 그러므로 본 발명은 스테레오 이미지로부터 3차원 이미지를 얻는데 필요한 메모리 사용량과 처리 시간을 감소시킬 수 있기 때문에 임베디드 시스템에 용이하게 적용 가능하다.

Claims (12)

1. 스테레오 이미지로부터 디스패리티 맵을 생성하기 위한 스테레오 매칭 방법에 있어서,

   상기 스테레오 이미지를 이루는 이미지들로부터 각각의 에지 이미지를 추출하는 단계와,

   상기 에지 이미지들 중 기준 에지 이미지의 에지 화소들 중에 기준 에지 화소를 중심으로 일정 크기의 윈도우 내에 나타날 수 있는 미리 정해진 에지 형태들에 각각 대응되게 정해진 에지 마스크들 중에 상기 기준 에지 화소에 관한 윈도우 내의 에지 형태와 매칭되는 에지 마스크를 검색하는 단계와,

   상기 에지 이미지들 중 탐색 에지 이미지의 에지 화소들 중에 상기 검색된 에지 마스크와 매칭되는 에지 형태를 가지는 윈도우의 중심에 있는 에지 화소를 상기 기준 에지 화소에 대한 대응점에 해당하는 대응 에지 화소로서 탐색하는 단계를 구비하며,

   상기 기준 에지 화소가, 상기 기준 에지 이미지의 에지 화소들 중에 상기 탐색 에지 이미지에서 상기 대응 에지 화소를 현재 탐색하여야 할 에지 화소임을 특징으로 하는 스테레오 매칭 방법.
2. 제1항에 있어서, 상기 에지 마스크들은, 수직 에지 형태에 대응하는 수직 에 지 마스크, 수평 에지 형태에 대응하는 수평 에지 마스크, 'X'자 에지 형태에 대응하는 X자 에지 마스크, 마름모 에지 형태에 대응하는 마름모 에지 마스크, 상향 에지 형태에 대응하는 상향 에지 마스크, 하향 에지 형태에 대응하는 하향 에지 마스크, 전체 에지 형태에 대응하는 전체 에지 마스크를 포함함을 특징으로 하는 스테레오 매칭 방법.
3. 제1항에 있어서, 상기 에지 마스크들과 상기 윈도우는 서로 같은 크기를 가지는 매트릭스 형태임을 특징으로 하는 스테레오 매칭 방법.
4. 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법에 있어서,

   상기 스테레오 이미지를 이루는 이미지들로부터 각각의 에지 이미지를 추출하는 단계와,

   상기 에지 이미지들 중 기준 에지 이미지의 에지 화소들 중에 기준 에지 화소를 중심으로 일정 크기의 윈도우 내에 나타날 수 있는 미리 정해진 에지 형태들에 각각 대응되게 정해진 에지 마스크들 중에 상기 기준 에지 화소에 관한 윈도우 내의 에지 형태와 매칭되는 에지 마스크를 검색하는 단계와,

   상기 에지 이미지들 중 탐색 에지 이미지의 에지 화소들 중에 상기 검색된 에지 마스크와 매칭되는 에지 형태를 가지는 윈도우의 중심에 있는 에지 화소를 상 기 기준 에지 화소에 대한 대응점에 해당하는 대응 에지 화소로서 탐색하는 단계와,

   상기 기준 에지 이미지의 에지 화소들과 이들 각각에 대응하는 상기 탐색 에지 이미지의 대응 에지 화소들 간의 거리에 근거하여 에지 이미지 디스패리티 맵을 생성하는 단계와,

   상기 에지 이미지 디스패리티 맵의 에지 화소들 간의 보간에 의해 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하여 최종 디스패리티 맵을 생성하는 단계를 구비하며,

   상기 기준 에지 화소가, 상기 기준 에지 이미지의 에지 화소들 중에 상기 탐색 에지 이미지에서 상기 대응 에지 화소를 현재 탐색하여야 할 에지 화소임을 특징으로 하는 디스패리티 맵 생성 방법.
5. 제4항에 있어서, 상기 에지 마스크들은, 수직 에지 형태에 대응하는 수직 에지 마스크, 수평 에지 형태에 대응하는 수평 에지 마스크, 'X'자 에지 형태에 대응하는 X자 에지 마스크, 마름모 에지 형태에 대응하는 마름모 에지 마스크, 상향 에지 형태에 대응하는 상향 에지 마스크, 하향 에지 형태에 대응하는 하향 에지 마스크, 전체 에지 형태에 대응하는 전체 에지 마스크를 포함함을 특징으로 하는 디스패리티 맵 생성 방법.
6. 제4항에 있어서, 상기 에지 마스크들과 상기 윈도우는 서로 같은 크기를 가지는 매트릭스 형태임을 특징으로 하는 디스패리티 맵 생성 방법.
7. 스테레오 이미지로부터 디스패리티 맵을 생성하기 위한 스테레오 매칭 장치에 있어서,

   상기 스테레오 이미지를 이루는 이미지들로부터 각각의 에지 이미지를 각각 추출하는 에지 추출기들과,

   상기 에지 이미지들 중 기준 에지 이미지의 에지 화소들 중에 기준 에지 화소를 중심으로 일정 크기의 윈도우 내에 나타날 수 있는 미리 정해진 에지 형태들에 각각 대응되게 정해진 에지 마스크들 중에 상기 기준 에지 화소에 관한 윈도우 내의 에지 형태와 매칭되는 에지 마스크를 검색하고, 상기 에지 이미지들 중 탐색 에지 이미지의 에지 화소들 중에 상기 검색된 에지 마스크와 매칭되는 에지 형태를 가지는 윈도우의 중심에 있는 에지 화소를 상기 기준 에지 화소에 대한 대응점에 해당하는 대응 에지 화소로서 탐색하는 에지 스테레오 매칭기를 구비하며,

   상기 기준 에지 화소가, 상기 기준 에지 이미지의 에지 화소들 중에 상기 탐색 에지 이미지에서 상기 대응 에지 화소를 현재 탐색하여야 할 에지 화소임을 특징으로 하는 스테레오 매칭 장치.
8. 제7항에 있어서, 상기 에지 마스크들은, 수직 에지 형태에 대응하는 수직 에지 마스크, 수평 에지 형태에 대응하는 수평 에지 마스크, 'X'자 에지 형태에 대응하는 X자 에지 마스크, 마름모 에지 형태에 대응하는 마름모 에지 마스크, 상향 에지 형태에 대응하는 상향 에지 마스크, 하향 에지 형태에 대응하는 하향 에지 마스크, 전체 에지 형태에 대응하는 전체 에지 마스크를 포함함을 특징으로 하는 스테레오 매칭 장치.
9. 제7항에 있어서, 상기 에지 마스크들과 상기 윈도우는 서로 같은 크기를 가지는 매트릭스 형태임을 특징으로 하는 스테레오 매칭 장치.
10. 스테레오 이미지로부터 디스패리티 맵을 생성하는 장치에 있어서,

    상기 스테레오 이미지를 이루는 이미지들로부터 각각의 에지 이미지를 각각 추출하는 에지 추출기들과,

    상기 에지 이미지들 중 기준 에지 이미지의 에지 화소들 중에 기준 에지 화소를 중심으로 일정 크기의 윈도우 내에 나타날 수 있는 미리 정해진 에지 형태들에 각각 대응되게 정해진 에지 마스크들 중에 상기 기준 에지 화소에 관한 윈도우 내의 에지 형태와 매칭되는 에지 마스크를 검색하고, 상기 에지 이미지들 중 탐색 에지 이미지의 에지 화소들 중에 상기 검색된 에지 마스크와 매칭되는 에지 형태를 가지는 윈도우의 중심에 있는 에지 화소를 상기 기준 에지 화소에 대한 대응점에 해당하는 대응 에지 화소로서 탐색하는 에지 스테레오 매칭기와,

    상기 기준 에지 이미지의 에지 화소들과 이들 각각에 대응하는 상기 탐색 에지 이미지의 대응 에지 화소들 간의 거리에 근거하여 에지 이미지 디스패리티 맵을 생성하는 에지 디스패리티 맵 생성기와,

    상기 에지 이미지 디스패리티 맵의 에지 화소들 간의 보간에 의해 비 에지 이미지 영역에 대한 디스패리티 맵을 보완하여 최종 디스패리티 맵을 생성하는 디스패리티 맵 보완기를 구비하며,

    상기 기준 에지 화소가, 상기 기준 에지 이미지의 에지 화소들 중에 상기 탐색 에지 이미지에서 상기 대응 에지 화소를 현재 탐색하여야 할 에지 화소임을 특징으로 하는 디스패리티 맵 생성 장치.
11. 제10항에 있어서, 상기 에지 마스크들은, 수직 에지 형태에 대응하는 수직 에지 마스크, 수평 에지 형태에 대응하는 수평 에지 마스크, 'X'자 에지 형태에 대응하는 X자 에지 마스크, 마름모 에지 형태에 대응하는 마름모 에지 마스크, 상향 에지 형태에 대응하는 상향 에지 마스크, 하향 에지 형태에 대응하는 하향 에지 마스크, 전체 에지 형태에 대응하는 전체 에지 마스크를 포함함을 특징으로 하는 디스패리티 맵 생성 장치.
12. 제10항에 있어서, 상기 에지 마스크들과 상기 윈도우는 서로 같은 크기를 가지는 매트릭스 형태임을 특징으로 하는 디스패리티 맵 생성 장치.

Images