KR100267259B1 - 여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법및 그를 이용한 중간영상 합성방법 - Google Patents

Abstract

본 발명은 여러 위치에 있는 유한개의 카메라로부터 획득한 영상으로부터 각 화소의 깊이 정보를 조밀하게 추출하고, 그를 이용하여 무한개의 중간 영상을 효율적으로 합성하는 방법을 제공하는 것이다.

종래의 다기선 스테레오 정합법(Multiple-Baseline Stereo)은 정합의 정확도는 다른 방식에 비해 높지만 계산 시간이 스테레오 쌍의 개수에 비례하여 증가하며, 정합창의 크기를 고정시킴으로써 구한 깊이 맵(depth map)의 경계선 연장 문제 (boundary overreach)가 일어나게 되고 이로 인해 합성한 영상의 화질이 저하된다.

본 발명에 의한 다해상도 다기선 스테레오 정합방법은 다기선 스테레오 정합방법을 다해상도 방식으로 구현하여 처리 시간과 깊이 맵에서의 경계선 연장 문제를 개선하고, 다해상도 방식에 있어 이웃 후보 선택 방식을 사용하여 불연속 부분에 대한 정합의 오차를 감소시킴과 동시에, 적응적 폐색(occlusion) 영역 처리 방법을 제공하므로써 임의의 카메라 배치 상황에서도 정합의 오차가 줄어들지 않도록 하였고 폐색 영역을 검출한 뒤 처리하여 정보의 손실을 줄임으로써, 기준영상의 각 화소에 대한 깊이정보를 정밀하게 구할 수 있다.

Description

여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법 및 그를 이용한 중간영상 합성방법

본 발명은 여러 대의 카메라 입력영상을 이용하여 각 화소의 조밀한 깊이 정보(depth map)를 구하고, 그를 이용하여 우수한 중간 영상을 합성하는 방법에 관한 것이다.

본 발명에 의한 중간영상 합성방법은 3차원 TV에서 생동감과 실재감을 더하기 위하여 개발된 다시점 영상 표시를 위한 기본 기술로, 여러 위치에 있는 유한개의 카메라로부터 획득한 영상으로부터 무한개의 중간 영상을 효율적으로 합성하는 방법, 특히 조밀하면서도 보다 정확한 물체의 깊이 정보 추출과 빠른 처리 시간을 갖는 다해상도 다기선 스테레오 정합방식(Multi-Resolution Multiple - Baseline Stereo, MRMBS)에 관한 것이다.

현재 대두되고 있는 3차원 TV는 양안 시차(binocular parallax)를 이용하여 인간이 입체감을 느끼는 원리를 이용한 것이다. 양안 시차란 양안의 간격(65mm)으로 인해 우안 및 좌안에서 동일한 대상물을 보았을 때 발생하는 양안간의 시 각도차를 의미한다. 이러한 양안 시차에 의해 동일 대상물의 입체감을 느낄 수 있게 되는 것이다. 도 1에서 양안 시차의 원리를 나타내었다.

그러나 이러한 양안의 시각차를 이용하여 입체 효과를 나타내는 입체 영상 표시 방법은 관찰자의 위치가 바뀌어도 두 눈에 들어오는 영상은 변화가 없어 실제감이 떨어지게 된다. 따라서 위치가 바뀜에 따라 다른 영상을 보여주어 좀더 자연스럽고 실제로 존재하는 것과 같은 효과를 주기 위한 다시점 영상 표시 기술이 제안되었다. 이를 위해서는 모든 위치에 해당하는 영상을 갖고 있어야 하는데 이는 카메라 대수, 획득 영상의 저장 등의 시스템 구현상의 문제를 갖게 되고 따라서 유한 개의 영상으로부터 모든 위치의 영상을 합성해 내는 기술이 필요하게 되었다.

중간 영상 합성 기술로는 그 동안 많은 연구가 이루어져 왔지만 크게 컴퓨터 그래픽스 쪽에서의 연구와 스테레오 비전 쪽에서의 연구로 나누어 볼 수 있다.

먼저 컴퓨터 그래픽스 쪽으로부터 연구에 대하여 살펴보면, 대표적으로 애플(Apple)사의 퀵 타임 VR(Quick time VR)에 관련된 기술로서 모핑이론을 적용한 시점 보간 (view interpolation) 방식이 제안되어 있다. 시점 보간 방식은 대응점의 위치를 구한 뒤 모핑이론을 사용하여 중간 영상을 합성하는 방법으로서 카메라와 카메라 사이에 있는 부분으로 합성 범위가 제한된다.

반면 스테레오 비전(stereo vision)쪽에서의 연구는 스테레오 정합으로 구하여진 깊이 정보를 이용한 방식으로서, 종래에는 스테레오 비전은 공장 자동화, 로봇 비전 등 특수 산업에서 응용되는 기술이었으나 멀티미디어 시대를 맞아 영상 처리를 위한 기반 기술로 등장하였다. 그 중에서도 가장 먼저 적용된 분야가 바로 중간 영상을 생성시키는 분야이다. 스테레오 정합이란 서로 다른 두 영상간의 대응점을 찾는 것을 말하며, 이렇게 구한 대응점의 위치 좌표와 초점거리 등의 정보로부터 삼각 측량법으로 카메라로부터 물체까지의 거리 정보, 즉 깊이 정보(depth map)를 추출해 낼 수 있게 된다. 이렇게 구한 깊이 정보를 삼각 측량법에 다시 적용하여 중간 위치에 있는 영상에 대한 대응점의 위치 좌표를 계산한다. 이와 같은 방식은 카메라들의 간격이 많이 떨어져 있더라도 공통 가시 영역에 있는 부분에 대해서는 정합이 가능하고 더 나아가 중간 부분의 영상을 생성할 수 있게 된다. 이 방식들에 있어서의 취약점인 카메라 배치의 제약도 카메라 캘리브레이션(calibration)과 영상 보정 기법을 통해 해결될 수 있다.

여러 개의 영상으로부터 중간 영상을 합성하는 대표적인 방법으로는 다기선 스테레오 정합(Multiple- Baseline Stereo, MBS) 방식이 있다. 다기선 스테레오 정합은 여러 대의 카메라로부터 획득한 영상으로부터 스테레오 쌍으로 정합 에러를 구한 뒤, 이를 합산하여 전체적으로 정합 에러가 작은 점들을 대응점으로 취하여 깊이 정보를 얻는다. 이렇게 구하여진 깊이 정보로부터 삼각 측량법을 사용하여 중간 영상을 합성해 낸다. 도 2에서 다기선 스테레오 정합과정을 보여주고 있다. 즉 기준(reference) 영상이라고 부르는 왼쪽 영상으로부터 세 번째 있는 영상에 대하여 보조(supporting) 영상이라 부르는 나머지 영상들을 사용하여 기준 영상 내의 기준 화소의 깊이 정보를 구하게 된다. 기준 화소에 대하여 나머지 영상에서의 에피폴라 선(epipolar line)에 있는 점들과 정합 오차값(SSD)을 계산하여 정합 오차 곡선(SSD 곡선)을 구한다. 각 정합오차값(SSD) 곡선들의 Χ축 단위를 수학식 1을 통하여 1/z로 바꾼 뒤 합산하여 정합오차값의 합(Sum of SSD, SSSD)곡선을 구한 뒤 이로부터 가장 정합 오차가 작은 값을 선택하여 깊이 정보를 추출하게 된다.

여기서, B는 기선(Baseline)의 길이, 즉, 두 대의 카메라의 중심과 중심을 잇는 선의 길이이고, F는 카메라의 초점거리, d는 영상간 대응점의 위치 차이, z는 깊이 값을 의미한다.

이러한 다기선 스테레오 정합의 경우에는, 정합의 정확도는 다른 방식에 비해 높지만 계산 시간이 스테레오 쌍의 개수에 비례하여 증가하는 문제점을 갖고 있다. 또한, 도 3에서 볼 수 있듯이 정합창의 크기를 고정시킴으로써, 구한 깊이 맵(depth map)의 경계선 연장 문제 (boundary overreach)가 일어나게 되고 이로 인해 합성한 영상의 화질이 저하되는 결과를 보이고 있다.

중간 영상을 합성하기 위해서는 모든 화소에 대한 깊이 정보가 필요하게 되며 따라서 조밀한 깊이 맵이 필요하게 된다. 또한 영상 처리의 목표는 사람이 끊어짐을 느끼지 못하는 1초에 30프레임을 보여주는 동영상을 지향하고 있으므로 깊이 정보를 구하는 데에 있어서의 계산량 또한 매우 중요하다.

따라서, 본 발명의 목적은 다기선 스테레오 정합에서의 단점, 즉 경계선 연장문제와 처리시간 지연을 해결하여, 조밀하면서도 보다 정확한 깊이 정보의 추출과 빠른 처리 시간을 갖는 다해상도 다기선 스테레오 정합(MR-MBS)방식을 제공함으로써, 여러 위치에 있는 유한개의 카메라로부터 획득한 영상으로부터 무한개의 중간 영상을 효율적으로 합성하는 방법을 제공하는 것이다.

또한, 본 발명의 목적은 부(父)노드의 깊이정보로부터 자(子)노드의 깊이 정보를 정밀하게 정합시키는 과정에서 부(父)노드의 이웃후보에 대해서도 부분탐색함으로써 불연속부분에서 크게 발생하는 정합오차를 최소화하는 다기선 스테레오 정합방법을 제공하는 것이다.

본 발명의 또 다른 목적은 각 화소가 폐색영역에 속하는 지를 판단하고, 폐색 영역에 속하는 화소에 대해서는 기준 영상에 대한 각 보조 영상의 위치에 따라 보조 영상을 다수의 그룹으로 분류하고, 각 그룹별로 다해상도 다기선 스테레오 정합을 수행하여 폐색 영역 처리를 수행함으로써, 정보의 손실을 줄이고 임의의 카메라 배치에서도 정확한 깊이 맵을 구할 수 있는 방법을 제공하는 것이다.

도 1은 양안 시차(binocular parallax)의 원리를 나타내는 도면이다.

도 2는 다기선 스테레오(Multiple Baseline Stereo, MBS)의 정합 원리를 도시한다.

도 3은 깊이 맵의 경계선이 연장되는 원리를 도시한다.

도 4는 본 발명인 다해상도 다기선 스테레오(Multi-Resolution MBS, MR-MBS)방법의 전체 시스템 흐름도를 도시하는 도면이다.

도 5는 본 발명에 의한 다해상도 정합 알고리즘의 개념도이다.

도 6은 본 발명에 의한 다해상도 방식에서의 정합창 효과를 나타내는 도면이다.

도 7은 가우시안(Gaussian) 피라미드에서 부(父)노드의 이웃 후보에 대한 부분탐색을 나타낸다.

도 8은 본 발명을 따르는 9개의 후보 선택 방법에 의한 불연속 부분의 처리를 도시한다.

도 9는 이웃 후보를 사용한 정합에러 곡선을 도시한다.

도 10은 영상들의 위치에 따른 그룹분류에 의한 적응적 폐색 영역의 처리를 나타내는 도면이다.

전술한 바와 같이 본 발명은 조밀하면서도 보다 정확한 깊이 정보의 추출과 빠른 처리 시간을 갖는 동시에, 불연속부분에서 크게 발생하는 정합오차를 최소화하고, 정보의 손실을 줄이고 일반적인 카메라배치에서도 정확한 깊이 맵을 구할 수 있는 다해상도 다기선 스테레오 정합방법(Multi-Resolution Multiple-Baseline Stereo, MR-MBS)에 관한 것으로, 이하에서 그 구성과 효과에 대하여 상세하게 설명한다.

본 발명은 크게 두 부분으로 나눌 수 있다. 첫 번째는 다기선 스테레오 정합방법을 다해상도 방식으로 구현하여 처리 시간과 깊이 맵에서의 경계선 연장 문제를 개선하고, 다해상도 방식에 있어 이웃 후보 선택 방식을 사용하여 불연속 부분에 대한 정합의 오차를 감소시켰다.

두 번째로 적응적 폐색(occlusion) 영역 처리 방법을 제공하므로써, 종래의 변형된 다기선 스테레오 방식(Modified MBS)에서 제안되는 폐색 영역 처리 방법을 개선하여, 임의의 카메라 배치 상황에서도 정합의 오차가 줄어들지 않도록 하였고 폐색 영역을 검출한 뒤 처리하므로 정보의 손실을 줄였다.

본 발명에 의한 다해상도 다기선 스테레오 정합 시스템의 전체 구성은 도 4와 같다. 모든 영상을 가우시안 피라미드로 쌓고 각 단계 별로 다기선 스테레오 방식의 정합과 적응적 폐색 영역 처리를 하여 깊이 정보를 구하고 이를 사용하여 중간 영상을 합성하게 된다.

앞서 설명한 종래의 다기선 스테레오 정합(MBS)방법은 정합 오차값을 구할 때 일정한 크기의 정합창을 사용함으로써 깊이 맵의 경계선 연장문제가 발생한다. 이러한 문제를 보완하면서 보다 처리 속도를 증가시키는 방법으로 다해상도 방식을 적용하였다. 즉, 가우시안 커널(kernel)을 원 영상에 씌우고 데시메이션(Decimation)하는 가우시안 피라미드 다해상도 방식을 사용하였다. 정합 방식으로는 최저해상도의 단계에서는 앞서 설명한 종래의 다기선 스테레오 정합(MBS)을 그대로 사용하여 깊이 정보를 구하고, 두 번째 단계의 해상도부터는 전 단계에서 구한 깊이 정보를 사용하여 부(父)노드의 깊이 정보를 2배한 뒤 부분 탐색(limited search)을 수행함으로써 깊이정보의 정밀한 조정을 한다. 즉, 계층의 전달에 있어서 전 단계의 대응점 위치차이(disparity)를 현 단계에서는 2배를 해준 다음 1의 탐색영역을 주어 대응점을 탐색하게 된다. 부분탐색의 범위는 대응점 위치차이(disparity)가 1 변화함에 따른 깊이정보의 변화량으로 제한을 한다는 것을 의미한다.

만일 모든 카메라들이 평행 광축으로 배치되어 있는 경우, 전 단계의 깊이정보가 z₁이면 현 단계의 대응점 위치차이값 d₁은 아래의 수학식 2를 통해 구할 수 있다.

수학식 2에서 대응점 위치차이값에 ±1의 변화를 준 경우 구한 깊이 정보를 z₂, z₃라 하면 다음과 같이 쓸 수 있다.

결국 전 단계의 깊이정보가 z₁인 경우에 부분탐색의 범위는 z₂부터 z₃까지가 된다. 이렇게 단계적인 깊이 정보의 조정을 통하여 최고 해상도, 즉 원 영상의 해상도까지 깊이 정보를 구할 수 있다. 도 5는 이러한 정합 과정을 도시하고 있다.

다해상도 방식의 다기선 스테레오 정합은 영상의 해상도를 변화시켜 정합하는 방식을 말하며, 이는 도 6에 도시되어 있는 바와 같이, 영상의 해상도는 고정시키고 정합창의 크기를 변화시켜 정합 하는 효과를 나타낸다. 따라서 정합창의 크기를 고정시키는 다기선 스테레오 정합에서 발생하는 경계선 연장 문제를 해결할 수 있다.

일반적인 종래의 다해상도 방식의 문제점중 하나는 불연속부분에서 정합의 오차가 크게 발생한다는 것이다. 이는 다해상도 방식이 영상의 모든 부분의 화소값이 연속적이라는 가정을 갖고 있으므로 발생한다.

이에 대한 고려에 의하여, 본 발명에서는 전 단계에서 불연속 영역과 같이 잘못된 정합이 발생한 경우를 대비하여, 도 7에서와 같이 부노드(parent node) 주위의 8이웃을 포함한 9개의 거리정보를 후보로 하여 부분탐색을 한다. 따라서 부노드에서 나온 자노드(child node)들이 서로 다른 영역에 속해 있는 경우 각각 자신이 속해 있는 영역에 해당하는 부노드의 거리정보를 취하게 되므로 불연속성을 그대로 유지하게 된다. 즉, 한 화소에 대한 깊이정보는 보조영상의 개수만큼의 정합에러 곡선(SSD)을 구한 뒤 각각의 SSD값을 합산한 SSSD(Sum of SSD)의 값이 가장 작은 것을 선택하고, 이 때의 거리정보를 자노드의 거리정보로 한다. 도 9은 그러한 과정을 도시하는 것으로, 각 보조영상의 정합에러 곡선을 구할 때 9개의 후보 깊이 정보에 0, ±1에 해당하는 총 27개의 값만을 에러곡선으로 표시하게 된다.

이러한 이웃 후보 선택 방법은 부노드에 인접하는 8개의 이웃 노드의 깊이정보를 후보로 하여 같은 방법으로 부분 탐색을 하여 정합 수직선의 분산이 가장 작은 것을 선택함으로써, 하나의 부노드로부터 나온 자(子)노드들이 서로 다른 영역에 속해 있더라도 잘못된 깊이 정보의 조정을 할 수 있다.

적응적 폐색 영역 처리는 폐색 영역을 먼저 찾아낸 뒤 선택되어진 부분에 대해서만 폐색 영역에 대한 처리를 하는 방식을 말한다. 즉, 다해상도 다기선 스테레오 정합(MR-MBS)에서 정합 오차의 합(SSSD)곡선을 구할 때 정합 오차(SSD)의 분산을 고려하여, 임의 화소의 정합오차가 문턱 값보다 큰 경우에는 그때의 기준 화소를 폐색 영역에 속한다고 판단한다. 폐색 영역으로 검출된 영역에 대한 처리는 다음과 같다. 일반적으로 폐색 영역은 카메라의 배치에 밀접한 영향을 받게 된다. 만약 카메라가 수평으로 배치되어 있을 경우 폐색 영역은 거리가 가까운 물체의 왼쪽과 오른쪽 옆부분에 나타나게 된다. 그리고 이러한 위치 관계는 캘리브레이션(calibration)으로 구할 수 있다. 도 10에서와 같이 기준(reference)영상에 대한 각 보조(supporting)영상들의 카메라 중심 좌표를 구한 뒤, 중심점들이 이루는 각도에 따라 일정 범위 안에 있는 것끼리 한 그룹으로 분류를 하고, 각각의 그룹별로 본 발명에 의한 다해상도 다기선 스테레오 정합과정을 수행한 뒤, 정합 수직선의 분산을 비교하여 그 값이 가장 작은 그룹의 정합 수직선을 그 기준 화소의 정합점으로 선택하고 이 정합 수직선의 깊이 값을 폐색 영역에 대신 채워 넣게 된다.

본 발명은 종래의 다기선 스테레오 정합 방법에 다해상도 방법을 부가시킴으로써, 깊이 맵의 경계선 연장 문제에 대한 해결책을 제시하며, 정합창의 크기를 감소시키고 탐색 영역을 줄여 처리 시간의 개선을 가져왔다. 또한 다해상도 방법을 사용함에 있어서 일반적인 다해상도 방법이 불연속영역에 대해 잘못된 정합을 하는 문제를 가지는데 반하여, 본 발명에서는 이웃 후보 선택 방법을 이용함으로써 이러한 불연속 영역에서의 정합 오차를 감소시킬 수 있다.

또한 종래의 변형된 다기선 스테레오 정합방법에서의 폐색 영역 처리가 정보의 손실과 카메라 배치의 제약 등의 문제점을 갖고 있는 반면, 본 발명에 적용되는 적응적 폐색 영역 처리 방식에서는 폐색 영역을 먼저 찾아낸 뒤 찾은 영역에 대해서만 카메라 위치 관계를 고려하여 폐색 영역 처리를 수행함으로써, 정보의 손실을 줄이며 일반적인 카메라 배치 상황에서도 정확한 깊이 맵을 구할 수 있다.

Claims (4)

1. 하나의 물체에 대한 다수 카메라로부터의 입력 영상을 다해상도로 분해한 후,

   가장 저해상도 영상에 대하여 완전탐색에 의한 다기선 스테레오 정합(MBS) 및 폐색영역 처리를 수행하여 각 부(父)노드의 깊이 정보를 구하는 제 1 단계;

   상기 제 1 단계에서 구해진 각 부(父)노드의 깊이 정보가 다음 해상도 단계의 자(子)노드로 전달되고, 상기 전달된 깊이 정보를 기초로 하여 다기선 스테레오 정합 및 폐색영역 처리를 수행하며, 상기 다기선 스테레오 정합과정 도중에 상기 전달된 부노드의 깊이정보를 확인함으로써, 각 자노드의 깊이 정보를 구하는 제 2 단계; 및,

   상기 제 2 단계에서 구하여진 깊이 정보를 이용하여 제 2 단계에서와 같은 방식으로 최고 해상도까지 계층적으로 진행함으로써 원 해상도 기준 영상의 각 화소의 깊이 정보를 구하는 단계 등으로 이루어지는 조밀한 깊이정보 추출방법.
2. 제 1 항에 있어서, 상기 부(父)노드의 깊이 정보가 자(子)노드로 전달될 때, 부노드외에 부노드에 이웃하는 8개의 이웃노드의 깊이정보도 함께 전달되고,

   상기 이웃노드의 깊이정보까지 고려한 다기선 스테레오 정합을 수행하여 정합 수직선의 분산이 가장 작은 것의 깊이정보를 상기 자노드의 깊이정보로 선택함으로써, 하나의 부노드로부터 나온 자(子)노드들이 서로 다른 영역에 속해 있더라도 잘못된 깊이 정보의 조정을 할 수 있는 것을 특징으로 하는 조밀한 깊이정보 추출방법.
3. 제 1 항 또는 제 2 항에 있어서, 상기 폐색영역 처리는,

   임의 화소의 정합오차가 소정의 한계 값보다 큰 경우에는 그 기준 화소를 폐색 영역에 속하는 것으로 판단하고, 그 화소의 기준영상에 대한 각 보조영상들의 카메라 중심 좌표를 구하는 단계;

   상기 카메라 중심 좌표들이 이루는 각도에 따라 일정 범위 안에 있는 영상들을 하나의 그룹에 속하게 하는 방식으로 전체 보조영상들을 복수의 그룹으로 분류하고, 각각의 그룹별로 상기 다기선 스테레오 정합과정을 수행하는 단계; 및,

   각 그룹의 정합 수직선의 분산을 비교하여 그 값이 가장 작은 그룹의 정합 수직선을 그 기준 화소의 정합점으로 선택하고, 상기 정합 수직선의 깊이 값을 폐색 영역에 채워 넣는 단계;로 이루어지는 적응성 폐색영역 처리인 것을 특징으로 하는 조밀한 깊이정보 추출방법.
4. 상기 제 1 항 내지 제 3 항중 어느 하나의 항에 의하여 얻어진 원해상도 기준영상의 각 화소에 대한 깊이정보를 이용하여 중간 영상을 합성하는 것을 특징으로 하는 중간영상 합성방법.