KR101804157B1

KR101804157B1 - 개선된 sgm 기반한 시차 맵 생성 방법

Info

Publication number: KR101804157B1
Application number: KR1020160069339A
Authority: KR
Inventors: 전재욱; 이상준
Original assignee: 성균관대학교산학협력단
Priority date: 2016-06-03
Filing date: 2016-06-03
Publication date: 2017-12-04

Abstract

개선된 SGM 기반한 시차 맵 생성 방법은 영상 처리 장치가 입력 영상의 모든 픽셀에 대해 각 픽셀을 중심으로 제1 방향 그룹에 속한 4개의 방향의 선상에 위치한 픽셀들에 대해 SGM(semi global matching)에 기반한 코스트를 축적하고, 결과 중 최소값을 갖는 위치의 시차값을 이용하여 제1 시차 맵을 생성하는 단계, 상기 영상 처리 장치가 상기 모든 픽셀에 대해 각 픽셀을 중심으로 제1 방향 그룹에 속한 방향과는 다른 제2 방향 그룹에 속한 4개의 방향의 선상에 위치한 픽셀들에 대한 SGM에 기반한 코스트를 축적하고, 결과 중 최소값을 갖는 위치의 시차값을 이용하여 제2 시차 맵을 생성하는 단계 및 상기 영상 처리 장치가 모든 픽셀에 대해 동일한 위치에서 상기 제1 시차 맵과 상기 제2 시차 맵에 포함된 시차값 중 작은 값을 선택하여 최종 시차 맵을 생성하는 단계를 포함한다.

Description

개선된 SGM 기반한 시차 맵 생성 방법{DISPARITY MAP GENERATING METHOD BASED ON ENHANCED SEMI GLOBAL MATCHING}

이하 설명하는 기술은 시차 맵 생성을 위한 개선된 SGM 기법에 관한 것이다.

스테레오 매칭 기술은 크게 지역(local)기술과 전역(global)기술로 나뉜다. 지역기술은 영상의 일부분만 사용하여 거리정보를 구해내는 방법을 사용하고 전역 기술은 영상 전체 정보를 모두 이용하여 거리정보를 구한다. 지역기술과 전역기술은 각각의 장단점이 존재하는데, 지역기술은 영상의 일부분만 사용하기 때문에 속도가 빠르지만 거리정보가 그만큼 정확하지 않고, 그에 반해 전역기술은 영상의 전체를 사용하기 때문에 속도는 느리지만 거리정보를 상대적으로 정확하게 구할 수 있다.7

SGM(Semi-Global Matching)은 지역기술과 전역기술이 가지고 있는 장점을 모두 가져가는 동시에 각각의 단점을 보완하여 만들어진 알고리즘이다. SGM은 전역기술보다 빠르고 지역기술보다 정확하게 거리 정보를 구할 수 있다.

H. Hirschmuller, "Stereo processing by semiglobal matching and mutual information," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 2, pp. 328-341, 2008.

SGM 기법은 효율적인 기법이지만 정보가 불확실한 부분에서는 오류가 발생할 가능성이 있다. 이하 설명하는 기술은 8개의 방향을 2개의 그룹으로 구분하여 각 그룹별로 시차 맵을 생성하고, 생성된 2개의 시차 맵을 기준으로 최종 시차 맵을 생성하는 기법을 제공하고자 한다.

이하 설명하는 기술은 종래 SGM 기법에서 하나의 잘못된 정보가 이후 연속적으로 영향을 미치는 문제를 해결한다. 이하 설명하는 기술은 잘못된 정보가 발생하면 발생한 에러가 해당 픽셀에만 국한되게 하여 보다 품질이 좋은 시차 맵을 생성한다.

도 1은 스테레오 영상 시스템에 대한 구성을 도시한 블록도의 예이다.
도 2는 스테레오 영상에 대한 SGM 연산을 수행하는 예이다.
도 3은 SGM 기반하여 4개의 방향을 기준으로 시차 맵을 생성한 예이다.
도 4는 개선된 SGM 기법에 대한 순서도의 예이다.
도 5는 스테레오 영상에 대해 각각 종래 SGM과 개선된 SGM을 이용하여 시차 맵을 생성한 예이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

이하 설명하는 기술은 스테레오 영상을 매칭(정합)하기 위한 정보를 생성하는 것이다. 스테레오 비전 기술은 두 개의 카메라를 통해 입력되는 양안 영상에서 같은 선상에 위치하는 동일한 정보를 찾아 그 사이의 거리 정보(Disparity) 차이를 이용하여 물체와의 거리 정보를 검출하는 기술이다.

도 1은 스테레오 영상 시스템(100)에 대한 구성을 도시한 블록도의 예이다. 도 1의 스테레오 영상 시스템(100)은 2개의 카메라(110a, 110b), 영상 입력 장치(120), 영상 처리 장치(130) 및 출력 장치(140)를 구비한다.

스테레오 영상 생성을 위해서 기본적으로 제1 카메라(110a) 및 제2 카메라(110b)는 동일한 객체 내지 동일한 영역에 대한 영상을 획득한다. 영상 입력 장치(120)는 두 개의 카메라(110a, 110b)로부터 영상을 동시에 입력 받기 위한 장치이다. 영상 입력 장치(120)는 일종의 신호 인터페이스 장치에 해당한다.

영상 처리 장치(130)는 영상 입력 장치(120)에서 전달되는 두 개의 영상(양안 영상)에 대한 스테레오 연산을 처리하는 장치이다. 예컨대, 영상 처리 장치(130)는 양안 영상을 스테레오 매칭하여 깊이 맵(dense disparity map)을 생성할 수 있다. 영상 처리 장치(130)가 스테레오 매칭을 위한 센서스 패턴을 생성할 수 있다.

출력 장치(140)는 영상 처리 장치(130)가 처리한 영상 신호를 출력하는 장치이다. 예컨대, 출력 장치(140)는 컴퓨터 모니터, 스마트폰, 전용 디스플레이 장치 등일 수 있다.

영상 처리 장치(130)가 SGM 연상을 수행한다. 먼저 SGM에 대해 간략하게 설명한다.

스테레오 매칭 기술은 코스트 계산, 코스트 축적, 디스패리티 추정 및 디스패리티 보정의 4가지 순서로 이루어진다. 코스트는 좌우 영상간 유사도를 계산한 것으로 영상의 밝기가 유사하면 매칭이 될 가능성이 높다는 것을 전제로 한다. 코스트가 낮을수록 매칭이 될 가능성이 높다. 그러나 이러한 코스트 만으로는 각각의 픽셀의 거리 정보를 구할 수 없으며 주변 픽셀과의 정보를 총괄적으로 이용하여 거리 정보를 구해야 하는데 이 과정이 코스트 축적 과정이다. 즉, 주변의 코스트 또는 전체 영상의 코스트를 모두 이용하여 거리 정보를 예측하는 과정이 필요하다. SGM은 코스트 축적 과정과 관련된다.

도 2는 스테레오 영상에 대한 SGM 연산을 수행하는 예이다. 도 2(a) 및 도 2(b)는 카메라가 획득한 양안 영상을 도시한다. 도 2(c)는 양안 영상에 대해 SGM 연산을 수행하는 과정에 대한 예이다.

영상 처리 장치(130)는 카메라로부터 입력된 양안영상 11과 12에 대해 도 3(c)와 같이 한 픽셀을 기준으로 8방향의 정보를 연산하여 그 결과를 이용해서 해당 부위의 최종 시차(disparity) 값을 생성하게 된다. 종래의 SGM 방식은 코스트를 축적할 때 8선 기반의 코스트 축적을 사용한다. 해당 픽셀의 코스트를 포함한 8개의 선에 해당하는 코스트를 축적하여 시차를 추정하는데 사용한다.

아래 수학식 1은 도 2(c)와 같은 하나의 픽셀에 대한 코스트를 연산하는 예이다.

상기 수학식 1에서 x 및 y는 픽셀 좌표, E는 위치의 픽셀에 대한 코스트, d는 연산 범위, r은 코스트 연산을 위한 방향, P₁ 및 P₂는 가중치, C는 픽셀 마다의 매칭 비용이다. 연산 범위가 64라면 양안 영상 중 하나(예컨대, 도 2(a))에서 x,y에 위치하는 픽셀을 기준으로 같은 선상에 위치하는 다른 영상(예컨대, 도 2(b))의 픽셀들과 비교한 정보 64개가 여기에 순차적으로 저장되게 된다.

E는 이전 픽셀의 연살 결과로서 한쪽 끝에서부터 같은 연산을 반복해서 그 값을 이용해서 갱신되어 생성된 값을 의미한다. P₁ 및 P₂는 가중치 값으로 실험으로 통해서 얻어진 값을 사용할 수 있다. 예컨대, 종래 논문 등에서 공개된 값을 사용할 수 있다.

이하 설명하는 기술은 종래의 SGM과 달리 8개의 방향을 2개의 그룹(각각 4개의 방향)으로 구분하여 시차값을 생성한다. 이하 2개의 그룹을 각각 제1 방향 그룹 및 제2 방향 그룹이라고 명명한다. 도 3은 제1 방향 그룹에 속한 4개의 방향과 제2 그룹에 속한 4개의 방향을 기준으로 시차 맵을 생성한 예이다. 시차 맵 생성에 사용한 방향의 개수가 4개라는 점만 다르고 시차 맵을 생성하기 위한 과정은 SGM과 동일하다.

영상 처리 장치(130)는 양안 영상 중 하나를 기준으로 시차 맵을 생성한다. 도 3(a)는 제1 방향 그룹을 기준으로 시차 맵을 생성한 예이다. 제1 방향 그룹은 좌측로부터 우측으로 향하는 방향 및 위로부터 아래로 향하는 방향을 포함한다고 가정한다. 도 3(a)는 양안 영상 중 하나(예컨대, 도 2의 11)를 다른 영상(도 2의 12)과 비교하면서 좌에서 우측 방향으로 수행되는 연산(1개)과 위에서 아래 방향으로 수행되는 연산(3개)을 수행한 예이다. 영상 처리 장치(130)는 제1 방향 그룹에 속한 4개의 방향에 대해 연산을 수행한 결과 중 최소 에너지 값을 취하고, 해당 에너지의 시차값을 이용하여 시차 맵(21)을 생성한다. 도 3(a)과 같이 제1 방향 그룹에 속한 4개의 방향을 기준으로 생성한 시차 맵을 제1 시차 맵이라고 명명한다.

도 3(b)는 제2 방향 그룹을 기준으로 시차 맵을 생성한 예이다. 제2 방향 그룹은 우측으로부터 좌측으로 향하는 방향 및 아래로부터 위로 향하는 방향을 포함한다고 가정한다. 도 3(b)는 양안 영상 중 하나(예컨대, 도 2의 11)를 다른 영상(도 2의 12)과 비교하면서 우에서 좌측 방향으로 수행되는 연산(1개)과 아래에서 위 방향으로 수행되는 연산(3개)을 수행한 예이다. 영상 처리 장치(130)는 제2 방향 그룹에 속한 4개의 방향에 대해 연산을 수행한 결과 중 최소 에너지 값을 취하고, 해당 에너지의 시차값을 이용하여 시차 맵(22)을 생성한다. 도 3(b)과 같이 제2 방향 그룹에 속한 4개의 방향을 기준으로 생성한 시차 맵을 제2 시차 맵이라고 명명한다.

도 3(a)의 제1 시차 맵(21)과 도 3(b)의 제2 시차 맵(22)을 비교해보면 붉은색 박스로 표시한 부분의 결과가 다르게 나타나는 것을 알 수 있다. 해당 영역은 하늘에 해당하는 부분이다. 도 3(a)에서 박스(51) 내에 넓게 분포되어 있는 정보는 오류이다. 그러나 종래 방법으로 최소 에너지 값만을 취하는 방식을 사용하며 이 오류 부분이 낮은 에너지 값을 가지기에 최종적으로 오류 값이 그대로 반영된 결과를 생성하게 된다.

이러한 오류를 최소화하기 위해 영상 처리 장치는 제1 시차 맵(21)과 제2 시차 맵(22)에서 같은 픽셀의 정보를 비교한다. 영상 처리 장치는 특정 위치에서 제1 시차 맵(21)의 시차값과 제2 시차 맵(22)의 시차값의 차이가 일정한 기준 범위내에 있으면 두 개의 시차값 중 최소 에너지 값을 최종적인 시차값으로 선택한다. 영상 처리 장치는 최종적인 시차값을 기준으로 최종 시차 맵을 생성한다.

영상 처리 장치는 제1 시차 맵(21)의 시차값과 제2 시차 맵(22)의 시차값의 차이가 기준 범위를 벗어나는 경우 해당 위치(픽셀)에 대해서는 오류로 처리한다. 예컨대, 영상 처리 장치는 최종 시차 맵에서 해당 위치를 특정 값(검은색 등)으로 설정할 수 있다.

이와 같이 8개의 방향을 2개의 그룹으로 구분하여 2개의 시차 맵을 생성하고, 최종 시차 맵을 생성하는 기법을 개선된 SGM 기법이라고 명명한다.

한편 기준범위는 SGM 연산에서 사용되는 연산 범위(수학식 1의 d) 값의 5% 내의 값을 사용할 수 있다. 예컨대, 5라는 값을 사용한다면 기준 범위는 ±5가 된다.

도 4는 개선된 SGM 기법(200)에 대한 순서도의 예이다. 영상 처리 장치는 스테레오 영상을 획득한다(210). 이후 영상 처리 장치는 양안 영상 중 하나를 기준으로 SGM 연산을 수행한다. 영상 처리 장치는 도 3(a)와 같이 제1 방향 그룹에 속한 4개의 방향을 기준으로 SGM 연산을 수행하여 제1 시차 맵을 생성한다(220). 영상 처리 장치는 도 3(b)와 같이 제2 방향 그룹에 속한 4개의 방향을 기준으로 SGM 연산을 수행하여 제2 시차 맵을 생성한다(230).

영상 처리 장치는 동일한 위치의 픽셀에 대해 제1 시차 맵의 시차값(이하 제1 시차값)과 제2 시차 맵의 시차값(제2 시차값)의 차이를 연산한다(240).

영상 처리 장치는 제1 시차값과 제2 시차값의 차이가 기준값 이상인지 여부를 판단한다(250). 영상 처리 장치는 제1 시차 값과 제2 시차값의 차이가 기준값 이상인 경우 해당 픽셀을 에러로 처리한다(260). 영상 처리 장치는 제1 시차값과 제2 시차값의 차이가 기준값 미만인 경우 제1 시차 값과 제2 시차값 중 작은 값을 해당 픽셀에 대한 시차값으로 결정한다(270). 250 내지 270 과정은 최종 시차 맵을 생성하는 과정에 해당한다.

영상 처리 장치는 모든 픽셀에 대해 최종 시차 값을 결정했는지 여부를 판단한다(280). 영상 처리 장치는 모든 픽셀에 대한 최종 시차 값을 결정할 때까지 240 내지 280 과정을 반복한다.

도 5는 스테레오 영상에 대해 각각 종래 SGM과 개선된 SGM을 이용하여 시차 맵을 생성한 예이다.

도 5(a)는 도 2(a)의 영상(11)을 기준으로 기존 SGM 연산을 적용한 결과이다. 도 5(b)는 도 2(b)의 영상(12)을 기준으로 기존 SGM 연산을 적용한 결과이다. 도 5(a) 및 도 5(b)를 살펴보면 영상에 많은 오류 값이 나타나는 것을 볼 수 있다. 주로 중앙에 위치한 하늘 부위에 많은 오류 값이 분포 되어있는 것을 볼 수 있다.

도 5(c)는 도 2(a)의 영상(11)을 기준으로 개선된 SGM 기법을 적용한 결과이다. 도 5(d)는 도 2(b)의 영상(12)을 기준으로 개선된 SGM 기법을 적용한 결과이다. 기존 결과와 비교하여 대부분의 오류가 제거된 것을 확인할 수 있다.

본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

100 : 스테레오 영상 시스템(100)
110a : 제1 카메라
110b : 제2 카메라
120 : 영상 입력 장치
130 : 영상 처리 장치
140 : 출력 장치
11, 12 : 양안 영상
21, 22 : 시차 맵

Claims

영상 처리 장치가 동일한 하나의 입력 영상의 모든 픽셀에 대해 각 픽셀을 중심으로 제1 방향 그룹에 속한 4개의 방향의 선상에 위치한 픽셀들에 대해 SGM(semi global matching)에 기반한 코스트를 축적하고, 결과 중 최소값을 갖는 위치의 시차값을 이용하여 제1 시차 맵을 생성하는 단계;
상기 영상 처리 장치가 상기 제1 시차 맵의 생성 시점으로부터 독립적인 시점에 상기 동일한 하나의 입력 영상의 모든 픽셀에 대해 각 픽셀을 중심으로 제1 방향 그룹에 속한 방향과는 다른 제2 방향 그룹에 속한 4개의 방향의 선상에 위치한 픽셀들에 대한 SGM에 기반한 코스트를 축적하고, 결과 중 최소값을 갖는 위치의 시차값을 이용하여 제2 시차 맵을 생성하는 단계; 및
상기 영상 처리 장치가 모든 픽셀에 대해 동일한 위치에서 상기 제1 시차 맵과 상기 제2 시차 맵에 포함된 시차값 중 작은 값을 선택하여 최종 시차 맵을 생성하는 단계를 포함하는 개선된 SGM 기반한 시차 맵 생성 방법.
제1항에 있어서,
상기 영상 처리 장치가 픽셀 중 동일 위치에 대한 상기 제1 시차 맵과 상기 제2 시차 맵에 포함된 시차값의 차이가 기준값 이상인 경우 해당 픽셀에 대해서는 오류로 처리하는 개선된 SGM 기반한 시차 맵 생성 방법.
제2항에 있어서,
상기 영상 처리 장치는 상기 해당 픽셀에 대해 사전에 설정된 값을 설정하여 오류로 처리하는 개선된 SGM 기반한 시차 맵 생성 방법.
제2항에 있어서,
상기 기준값은 SGM에서 시차값 연산 범위의 5% 이내의 값을 사용하는 개선된 SGM 기반한 시차 맵 생성 방법.
제1항에 있어서,
상기 제1 방향 그룹에 속한 4개의 방향은 영상의 좌표 평면을 기준으로 왼쪽에서 오른쪽으로 향하는 한 개의 방향과 위에서 아래를 향하는 3개의 방향을 포함하고, 상기 제2 방향 그룹에 속한 4개의 방향은 상기 좌표 평면을 기준으로 오른쪽에서 왼쪽으로 향하는 한 개의 방향과 아래에서 위를 향하는 3개의 방향을 포함하는 개선된 SGM 기반한 시차 맵 생성 방법.