KR100891549B1 - 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체 - Google Patents

Abstract

본 발명은 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및 장치를 개시한다. 본 발명은 스테레오 카메라 또는 다시점 카메라에서 획득된 영상에 대한 스테레오 매칭을 통해 얻어지는 초기 깊이 정보를 깊이 카메라 시스템을 통해 획득된 깊이 정보를 이용하여 보완함으로써, 3차원 정보의 정확도가 떨어지는 초기 깊이 정보의 한계를 극복하고, 스테레오 카메라 또는 다시점 카메라의 영상이 갖는 해상도와 동일한 해상도를 갖는 고화질의 깊이 정보를 얻을 수 있다.

Description

깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및 장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록 매체{Method and apparatus for generating depth information supplemented using depth-range camera, and recording medium storing program for performing the method thereof}

도 1은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치를 나타낸 블록도이다.

도 2는 도 1의 깊이 정보 생성 장치에서 깊이 카메라 시스템에 의해 획득된 깊이 정보를 이용하여 다시점 카메라 시스템에 의해 획득된 초기 깊이 정보를 보정하는 개념을 설명하기 위한 개념도이다.

도 3은 도 1의 깊이 정보 생성 장치에서 깊이 카메라 시스템을 통해 획득된 깊이 정보를 이용하여 다시점 카메라 시스템을 통해 생성된 초기 깊이 정보를 보정하는 또 다른 개념을 설명하기 위한 개념도이다.

도 4는 본 발명의 일 실시예에 따라 다시점 카메라 시스템과 깊이 카메라 시스템을 병합 배치한 예를 나타내는 참고도이다.

도 5는 본 발명의 일 실시예에 따른 깊이 정보 생성 방법을 설명하는 흐름도이다.

도 6은 도 5에서 240단계를 세부적으로 나타내는 흐름도이다.

본 발명은 깊이 카메라(depth camera)를 이용하여 보완한 깊이 정보(depth information)의 생성 방법 및 장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록 매체에 관한 것으로서, 특히 3차원 객체(object) 또는 장면(scene)의 모델링에 사용되는 고품질 및 고화질의 깊이 정보를 생성하는 방법 및 장치에 관한 것이다.

객체 또는 장면으로부터 3차원 정보를 획득하는 방법은 크게 능동적 방법과 수동적 방법으로 구분할 수 있다. 능동적 방법은 3차원 스캐너를 이용한 방법, 구조화된 광선 패턴을 이용한 방법, 깊이 카메라 등의 능동적인 방법 등이 있다. 이 경우 실시간으로 3차원 정보를 비교적 정확하게 획득할 수 있지만, 장비가 고가이고 깊이 카메라를 제외하고는 동적 객체나 장면의 모델링이 불가능하다는 문제가 있었다.

수동적인 방법으로는 양안식 스테레오 영상을 이용하는 스테레오 정합 방법(Stereo Matching)과 실루엣 기반 방법, 부피 기반 모델링 방법인 복셀 컬러링 방법(Voxel Coloring), 카메라 이동에 의해 촬영된 여러 시점의 정적 객체에 대한 3차원 정보를 계산하는 움직임 기반 모양 추정 방법(Shape from Motion), 음영 정보를 이용한 모양 추정 방법(Shape from Shading) 등이 있다. 이러한 수동적 방법은 여러 시점의 광학 카메라로부터 얻어진 영상을 이용하여 3차원 정보를 생성하는 것으로 능동적 방법에 비하여 저가의 비용으로 3차원 정보를 얻을 수 있고, 해상도가 높은 장점이 있다. 그러나, 영상의 특성 즉 조명 조건의 변화, 텍스처, 차폐 영역의 존재로 인하여 깊이 정보의 신뢰도가 능동적 방법에 비하여 낮은 단점이 있다.

특허 문헌으로서 대한민국 공개특허 제2006-63558호는 한 쌍의 스테레오 영상을 정합하여 얻어지는 기준 영상에 의한 변이 지도의 정확도를 향상시키기 위하여 깊이 카메라 등에 의해 얻어진 기준 시점에 대한 깊이 정보를 이용하여 스테레오 정합의 변이 탐색 범위 및 정합 창틀을 적응적으로 결정함으로써 변이 지도의 정확도를 향상시키고, 변이 탐색 범위를 최소화하는 방법을 개시한 바 있다.

본 발명은 상기 종래 기술의 문제를 고려하여 안출된 것으로서, 본 발명은 종래의 다시점 카메라 시스템 또는 스테레오 카메라 시스템과 스테레오 매칭을 기반으로하여 획득된 3차원 정보의 정확도가 깊이 카메라 시스템을 통해 획득된 3차원 정보의 정확도에 비하여 상대적으로 낮은 문제를 극복하고, 또한 다시점 카메라 또는 스테레오 카메라에 비하여 상대적으로 해상도가 낮은 깊이 카메라를 통해 획득된 깊이 정보가 갖는 저해상도 문제를 극복할 수 있는 깊이 정보 생성 방법 및 장치를 제공하는 것을 목적으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 깊이 정보 생성 장치는 객체 또는 장면으로부터 다시점 영상을 획득하는 제 1 영상 획득부; 상기 제 1 영 상 획득부에서 획득된 다시점 영상을 기반으로 제 1 깊이 정보를 생성하는 깊이 정보 생성부; 깊이 카메라를 구비하며 상기 객체 또는 장면으로부터의 영상과 제 2 깊이 정보를 획득하는 제 2 영상 획득부; 및 상기 제 2 깊이 정보를 이용하여 상기 제 1 깊이 정보 중 적어도 일부를 보정하는 보정부를 포함한다. 본 발명에서 제 1 영상 획득부는 스테레오 카메라 또는 다시점 카메라를 구비하고, 제 2 영상 획득부는 깊이 카메라를 구비한다. 본 발명에서 제 2 깊이 정보를 이용하여 상기 제 1 깊이 정보 중 적어도 일부를 보정하는 것은 상기 제 1 영상 획득부에서 획득된 제 1 영상 정보 중 상기 일부 영역과 대응되는 영역의 깊이 정보를 제 2 깊이 정보로 대체하는 것을 의미한다. 본 발명의 깊이 정보 생성 장치는 제 2 영상 획득부에서 획득된 영상 중의 일부를 관심 영역으로 선택하는 관심 영역 선택부, 관심 영역부에 의해 선택된 관심 영역과 소정의 유사도를 갖는 유사 영역을 제 1 영상에서 검색하는 유사 영역 검색부 및 검색된 유사 영역에 따른 깊이 정보를 제 2 깊이 정보로 대체하는 대체부를 포함하는 것이 바람직하다.

상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 깊이 정보 생성 방법은 a) 객체 또는 장면으로부터 다시점 영상을 획득하는 단계; b) 상기 a)단계에서 획득된 다시점 영상을 기반으로 상기 객체 또는 장면에 대한 제 1 깊이 정보를 생성하는 단계; c) 깊이 카메라를 이용하여 상기 객체 또는 장면으로부터 영상 및 제 2 깊이 정보를 획득하는 단계; 및 d) 상기 제 2 깊이 정보를 이용하여 상기 제 1 깊이 정보 중 적어도 일부를 보정하는 단계를 포함한다.

상기 다른 기술적 과제를 달성하기 위하여, 본 발명은 상기 깊이 정보 생성 방법이 컴퓨터 상에서 수행될 수 있는 컴퓨터에서 판독 가능한 기록 매체를 제공한다.

이하에서는 본 발명의 도면과 실시예를 참조하여 깊이 카메라를 통해 보완된 깊이 정보 생성 장치, 깊이 정보 생성 방법과 그 방법을 컴퓨터 상에서 수행하는 컴퓨터에서 판독가능한 기록 매체에 대하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 깊이 정보 생성 장치(1)를 나타낸 블록도이다. 본 실시예에 따른 깊이 정보 생성 장치(1)는 제 1 영상 획득부(10), 깊이 정보 생성부(20), 제 2 영상 획득부(30) 및 보정부(40)를 포함하여 구비된다.

제 1 영상 획득부(10)는 다시점 카메라 또는 스테레오 카메라를 구비하며, 객체 또는 장면으로부터 다시점 영상을 획득한다. 카메라와 객체가 이루는 시점(viewpoint)은 카메라의 위치에 따라 서로 다르기 때문에 본 실시예에서는 서로 다른 시점을 갖는 영상을 다시점 영상(multiview video)이라 칭한다. 본 실시예에서 제 1 영상 획득부(10)는 다시점 카메라를 구성하는 카메라1(11), 카메라2(12), 카메라3(13)를 포함하고, 동기화부(14) 및 제 1 영상 저장부(15)를 구비한다. 카메라1 내지 3(11,12,13)은 각각 객체 또는 장면과 서로 다른 각도를 이루도록 배치되며, 서로 다른 시점의 영상들을 각각 획득한다. 카메라1 내지 3의 배치에 특별한 제한이 있는 것은 아니지만, 중심 카메라를 기준으로 영상의 극상선과 서로 일치되도록 배치되는 것이 바람직하다.

본 실시예에서 제 1 영상 획득부(10)를 통해 얻어진 영상은 그 영상을 이루는 2차원상의 픽셀별 색상 정보 또는 그레이레벨의 정보를 포함하지만, 3차원 상의 깊이 정보는 포함하지 않는다. 본 실시예에서는 제 1 영상 획득부를 통해 획득된 영상과 후술하는 제 2 영상 획득부를 통해 획득된 영상을 구별하기 위하여 전자를 제 1 영상, 후자를 제 2 영상이라 부른다. 본 실시예에서 다시점 카메라는 스테레오 카메라로 대체될 수 있으며, 스테레오 카메라를 통해 다시점 영상을 획득하는 것이 가능함은 물론이다.

동기화부(14)는 연속적인 동기화 신호를 생성하여, 다시점 카메라 시스템의 카메라1 내지 3과 깊이 카메라 시스템의 카메라(31) 사이의 동기(synchronization)를 제어한다. 제 1 영상 저장부(15)는 카메라1 내지 카메라3에서 획득된 다시점 영상들을 제 1 영상으로 저장한다. 또한, 본 실시예에서 제 1 영상 획득부(10)는 제 1 영상 저장부로부터 입력 받은 다시점 영상을 이용하여 카메라 보정을 통해 초점 거리 등의 카메라 파라미터와 각 시점에 따른 상호 위치 관계를 나타내는 기반 행렬을 계산하는 카메라 보정부(미도시)를 더욱 포함할 수 있다.

깊이 정보 생성부(20)는 다시점 영상 획득부(10)에서 획득된 영상을 이용하여 제 1 깊이 정보를 생성한다.

깊이 정보 생성부(20)는 스테레오 매칭부(21)와 제 1 깊이 정보 저장부(22)를 구비한다. 상기 스테레오 매칭부(21)는 스테레오 매칭(stereo matching)을 기반으로 제 1 깊이 정보를 생성한다. 여기에서 스테레오 매칭은 다시점 카메라 또는 스테레오 카메라로부터 획득한 좌/우 영상의 상응점(correspondence point)을 찾고, 모든 픽셀 마다 변이(disparity)를 찾는 것을 의미한다. 스테레오 매칭을 통해 찾은 변이는 실제 3차원 깊이 정보로 변환하는 변환함수의 입력으로서 깊이 정보 즉 제 1 깊이 정보를 얻는데 사용된다. 깊이 정보는 관측자의 눈과 객체 또는 장면까지의 거리를 나타내는 정보로서, 일반적으로 맵 형태이므로 깊이 맵이라고도 불린다. 스테레오 매칭부(21)에서 생성된 깊이 정보 또는 깊이 맵은 2차원 카메라를 통해 획득된 2차원 영상과 함께 3차원 영상의 모델링에 사용된다.

스테레오 매칭부(21)는 색상 분할법에 기반하여 다시점 카메라를 통해 획득한 2차원 영상을 색 정보에 따라 분할하고, 분할된 영역 단위로 초기 변이를 구한다. 여기에서 초기 변위는 평탄화 제한법(smoothness constraint)과 같은 후처리 기법을 통해 정확도가 향상될 수 있다. 다시점 영상 기반 모델링 방법은 스테레오 매칭 방법의 확장으로서, 세 가지 이상의 시점을 갖는 다시점 영상으로부터 3차원 장면이나 객체를 복원하는 방법이다. 카메라1 내지 3에서 획득된 다시점 영상을 기반으로하고 스테레오 매칭을 이용하면 객체 또는 장면에 따른 깊이 정보 또는 깊이 맵을 얻을 수 있다. 본 실시예에서는 깊이 정보 생성부(20)와 후술하는 제 2 영상 획득부(30)에서 획득된 깊이 정보와의 구별을 위하여 전자의 깊이 정보를 초기 깊이 정보(또는 초기 깊이 맵)라 하고, 후자를 제 2 깊이 정보라 한다.

본 실시예에서는 스테레오 매칭에 기반하는 초기 깊이 정보의 생성에 대하여만 언급하고 있으나, 스테레오 매칭 방법 이외에도 실루엣 기반 방법(shape from Silhoutte), 부피 기반 모델링 방법인 복셀 컬러링(Vixel Coloring), 카메라 이동에 의해 촬영된 다시점 객체에 대한 3차원 정보를 계산하는 움직임 기반 모양 추적 방법(Shape from Motion)을 기반으로 깊이 정보를 생성하는 방법도 가능하다. 스테레오 매칭부(21)를 통해 생성된 제 1 깊이 정보는 깊이 맵의 형태로 제 1 깊이 정 보 저장부(22)에 저장된다.

제 2 영상 획득부(30)는 객체 또는 장면으로부터 영상과 제 2 깊이 정보를 획득한다. 본 실시예에서 제 2 영상 획득부(30)는 깊이 카메라(31), 제 2 영상 저장부(32) 및 제 2 깊이 정보 저장부(33)를 포함한다. 여기에서 깊이 카메라(31)는 레이저나 IR을 객체나 대상 영역에 비추고, 되돌아 오는 광선을 취득하여 깊이 정보를 실시간으로 얻을 수 있는 장치로서, 객체 또는 장면으로부터 색상에 대한 영상을 획득하는 색상 카메라(미도시)와, 적외선을 통해 깊이 정보를 센싱하는 깊이 센서(미도시)를 포함한다. 깊이 카메라(31)는 객체 또는 장면으로부터 실시간으로 깊이 정보와 영상을 직접적으로 얻을 수 있다. 본 실시예에서는 다시점 카메라/스테레오 카메라와의 구별을 위해 깊이 카메라에서 획득된 영상을 제 2 영상이라 칭한다. 다시점 카메라/스테레오 카메라는 깊이 카메라에 비하여 장비의 가격 측면에서 유리하지만, 다시점 카메라/스테레오 카메라는 스테레오 매칭과 같은 방법을 통해 깊이 정보를 생성해야 하기 때문에 실시간으로 깊이 정보를 획득할 수 없고, 깊이 정보의 정확도 측면에서 깊이 카메라에 비하여 불리한 단점이 있다. 깊이 카메라(31)를 통해 획득된 영상 정보는 제 2 영상 정보 저장부(32)에 저장되고, 제 2 깊이 정보는 제 2 깊이 정보 저장부(33)에 저장된다.

보정부(40)는 제 2 깊이 정보를 이용하여 제 1 깊이 정보 중 적어도 일부를 보정한다. 보정부(40)는 관심 영역 선택부(41), 유사 영역 검색부(42) 및 대체부(43)을 포함한다.

관심 영역 선택부(41)는 제 2 영상 획득부(30)에서 획득된 영상 중 일부만을 관심 영역(ROI)으로 선택한다. 깊이 카메라(31)는 레이저나 IR 등을 이용하여 깊이 정보를 획득하기 때문에 먼 거리에 있는 객체 또는 장면 등에 대한 깊이 정보는 획득할 수 없다. 그렇기 때문에 깊이 카메라(31)를 통해 획득된 깊이 정보는 깊이 정보 생성부(20)를 통해 생성된 깊이 정보와 비교할 때, 깊이 정보가 일부의 특정 영역에만 국한되어 존재하는 특징이 있다. 깊이 카메라의 경우 객체로부터 반사되어오는 빛을 통해 깊이 정보를 획득하기 때문에, 스테레오 매칭에 따른 문제, 예를 들어 조명 조건의 변화, 텍스처, 차폐 영역의 존재로 인하여 깊이 정보의 신뢰도가 능동적 방법에 비하여 낮은 문제가 없기 때문에 깊이 정보의 정확도가 높다.

본 실시예에서는 깊이 카메라(31)를 통해 깊이 정보가 획득된 영역을 관심 영역(ROI: region of interest)이라 정의한다. 보정부(40)는 깊이 카메라(31)를 통해 획득된 관심 영역의 깊이 정보를 이용하여 깊이 정보 생성부(20)를 통해 획득된 깊이 정보의 일부를 보정한다. 여기에서 제 1 깊이 정보의 일부는 제 1 영상 저장부에 저장된 영상 중 상기 관심 영역의 영상과 매치되는 일부의 영상을 의미한다.

유사 영역 검색부(42)는 상기 관심 영역 선택부(41)에 의해 선택된 관심 영역과 소정의 유사도를 갖는 유사 영역을 상기 제 1 영상 획득부(10)의 제 1 영상 저장부(15)에서 검색한다. 유사 영역 검색부(42)는 상기 관심 영역을 초기 변이(transition) 값과 초기 스캐일링(scalling) 값으로 변형하고 다시점 카메라에서 획득된 영상을 검색한다. 상기 검색 과정에서 유사 영역 검색부(42)는 상기 변형된 관심 영역의 화소값과 다시점 카메라에서 획득된 영상 중 검색 중인 영역의 화소값 간의 유사도를 계산한다. 만약 유사도가 소정의 기준값 보다 작을 경우에는 상기 유사 영역을 찾는 과정은 유사도가 소정의 기준값 보다 클 때가지 반복된다.

대체부(43)는 유사 영역 검색부(42)에서 검색된 유사 영역에 따른 깊이 정보를 상기 제 2 깊이 정보로 대체한다. 여기에서 유사 영역에 따른 깊이 정보는 유사 영역 검색부(42)에 의하여 유사한 영역으로 결정된 영역에 따른 깊이 정보(제 1 깊이 정보 중 일부에 해당함)를 의미한다. 깊이 카메라를 통해 얻을 수 있는 깊이 정보와 다시점 카메라와 소정의 연산을 통해 얻을 수 있는 깊이 정보는 서로 레벨의 차이가 있다. 즉, 같은 영역임에도 불구하고 깊이 정보는 차이가 있는데, 상대적으로 깊이 정보의 정확도가 높은 깊이 카메라의 깊이 정보를 이용하면 초기 깊이맵 즉 제 1 깊이 정보를 효율적으로 보정할 수 있다. 상기 대체부(43)를 통해 출력되는 값은 보정된 깊이 정보로서 제 1 영상 획득부를 통해서 획득된 영상 정보와 함께 3차원 모델링에 사용된다.

도 2는 도 1의 깊이 정보 생성 장치에서 깊이 카메라 시스템을 통해 획득된 깊이 정보를 이용하여 다시점 카메라 시스템을 통해 생성된 초기 깊이 정보를 보정하는 개념을 설명하기 위한 개념도이다.

영상1(111), 영상2(112) 및 영상3(113)은 다시점 카메라 시스템을 이루는 각각 카메라1(11), 카메라2(12) 및 카메라3(13)에서 획득되며, 상기 각각의 영상은 서로 다른 각도의 카메라를 통해 획득된 서로 다른 2차원 색상 영상이다. 스테레오 매칭(121)은 상기 영상1 내지 3을 기반으로 깊이 정보(도 2에 대한 설명에서는 깊이 맵이라 칭한다)를 생성하는 것으로서, 스테레오 매칭은 스테레오 매칭부(21)에서 수행된다. 깊이 카메라 시스템을 통해 획득된 깊이 맵(제 2 깊이 정보)과 구별 하기 위해 스테레오 매칭(121)을 통해 생성된 깊이 정보를 초기 깊이 맵(제 1 깊이 정보)이라 칭한다. 다시점 카메라 시스템에서 중간에 위치한 중심 카메라에서 회득한 색상 영상(112)은 이후 보정된 깊이 맵과 함께 3차원 모델링에 사용된다.

영상a(131)는 깊이 카메라 시스템을 구성하는 색상 카메라(미도시)에서 획득된 색상 영상이다. 깊이 맵(132)은 깊이 카메라 시스템을 구성하는 깊이 센서(미도시)에서 획득된 깊이 값에 대한 정보이다. ROI(Region of Interest) 매칭(141)은 깊이 카메라 시스템을 통해 획득된 깊이 맵(132)에 근거하여 초기 깊이 맵(122)를 보정하는 것을 의미하는 것으로서, ROI 매칭(141)은 보정부(40)에서 수행된다. 깊이 맵 또는 깊이 정보의 보정 방법에 대하여는 이미 설명한 바 있다. 최종 깊이맵(142)은 보정부(40)에 의하여 보정됨으로써 최종적으로 얻어지는 깊이 맵이다.

도 3은 도 1의 깊이 정보 생성 장치에서 깊이 카메라 시스템을 통해 획득된 깊이 정보를 이용하여 다시점 카메라 시스템을 통해 생성된 초기 깊이 정보를 보정하는 또 다른 개념을 설명하기 위한 참고도이다.

도 3에서 영상1(111), 영상2(112), 영상3(113), 스테레오 매칭(121), 초기 깊이 맵(122), 영상a(131), 깊이 맵(132), ROI 매칭(141), 최종 깊이 맵(142) 등과 관련하여는 도 2와 동일하므로 설명은 생략한다. 다만, 도 3은 중심 카메라 이외의 카메라에서 획득된 색상 영상에 따른 깊이 맵을 생성하는 개념을 설명하기 위한 것이다.

다시점 워핑(warping, 143)은 영상1 내지 영상3이 갖는 관찰 시점에 따라 상기 최종 깊이 맵을 변형하는 것을 의미한다. 다시점 워핑(143)을 통해 최종 깊이 맵(142)의 관심 영역을 카메라 파라미터를 이용하여 다른 시점의 카메라 위치로 이동시킨 깊이 맵(142', 142")을 생성할 수 있다. 일반적으로 워핑이란 영상을 늘리거나 크기를 조절하거나 시점을 변형함으로써 영상을 재추출하는 것을 의미한다. 본 실시예에서의 워핑은 객체 또는 장면에 대한 시점을 변형하여 새로운 영상을 재추출하기 위한 것으로서, 예를 들어 맥밀란과 비숍이 제안한 단위 픽셀당 변위를 이용하는 planar-to-planar 방식을 이용할 수 있다. 워핑을 통해 생성된 깊이 맵들을 이용하면 3차원 공간상에서 원하는 시점에 따른 3차원 영상을 얻을 수 있다.

도 4는 본 발명의 일 실시예에 따라 다시점 카메라 시스템과 깊이 카메라 시스템을 병합 배치한 예를 나타내는 참고도이다. 도 4는 본 발명의 깊이 정보 생성 장치 중 일부만을 도시한 것이며, 도 4에는 깊이 정보 생성부, 보정부 등이 도시되어 있지 않았지만 도 1의 도면을 참고하여 당업자가 깊이 정보 생성 장치의 완성된 구조를 구현하는 것은 자명할 것이다.

도 4의 배치예는 5개의 다시점 카메라, 1개의 깊이 카메라와 상기 카메라들을 지지하는 시스템 프레임을 개시하고 있다. 깊이 카메라의 위치에 특별한 제한이 있는 것은 아니지만, 5개의 다시점 카메라 중 가운데 카메라에서 획득된 영상을 기본 영상으로 할 때, 깊이 카메라는 가운데 카메라와 매치되도록 위치하는 것이 바람직하다. 동기화기(14)로부터의 동기 신호는 다시점 카메라와 깊이 카메라 모두에 전달되며, 동기 신호에 따라 상기 카메라들은 동기화된다. 5개의 다시점 카메라 출력인 객체 또는 장면에 대한 영상 정보는 제 1 영상 정보 저장부(15)에 저장된다.

도 5는 본 발명의 일 실시예에 따른 깊이 정보 생성 방법에 대한 흐름도이 다. 본 발명에 깊이 정보 생성 방법은 깊이 정보 생성 장치(1)에서 시계열적으로 처리되는 다음 단계 들을 포함한다.

210단계에서 카메라1(11), 카메라2(12) 및 카메라3(13)은 객체 또는 장면으로부터 다시점 영상을 획득한다. 카메라1 내지 3은 객체 또는 장면에 대하여 각각 다른 시점을 갖도록 배치되며, 상기 카메라들을 통해 획득된 영상들은 제 1 영상 정보 저장부(15)에 저장된다.

220단계에서 스테레오 매칭부(21)는 210단계에서 획득된 다시점 영상을 기반으로 스테레오 매칭을 수행하여 제 1 깊이 정보를 생성한다. 스테레오 매칭으로 찾은 변이(disparity)는 3차원 깊이 정보로 변환하는 변환 함수의 입력으로 사용되어 깊이 맵을 얻는데 사용된다. 특히, 본 실시예에서 초기 깊이 맵은 색상 분할법에 기반하는 스테레오 매칭을 통해 생성할 수 있다. 색상 분할과 관련된 논문으로는 C. Zitnick 외 4인의 "high-quality video view interpolation using a layered representation"이 있다.

230단계에서 깊이 카메라(31)는 객체 또는 장면으로부터 직접적으로 제 2 깊이 정보와 색상 정보를 획득한다. 깊이 카메라(31)를 통해 획득된 깊이 정보는 스테레오 매칭을 통해 획득된 깊이 정보에 비하여 정확도가 우수하지만, 깊이 카메라를 통해 획득된 깊이 정보에도 물리적 잡음과 왜곡은 존재한다. 이러한 물리적 잡음과 왜곡은 소정의 전처리를 통해 완화될 수 있다. 전처리와 관련된 논문으로는 김승만 외 3인의 "Depth video enhancement of haptic interaction using a smooth surface reconstruction"이 있다.

240단계에서 보정부(50)는 깊이 카메라(31)를 통해 획득된 깊이 정보 즉 제 2 깊이 정보를 이용하여 제 1 깊이 정보를 보정한다. 제 1 깊이 정보를 보정하는 방법에 대하여는 후술한다.

도 6은 도 5에서 240단계를 세부적으로 나타낸 흐름도이다.

241단계에서 관심 영역 선택부(41)는 깊이 카메라에서 획득된 영상 중 일부의 영역 만을 관심 영역으로 선택한다. 상기 일부의 영역은 깊이 카메라를 통해 깊이 정보가 검출된 영역을 의미한다.

242단계에서 유사 영역 검색부(42)는 241단계에서 선택된 관심 영역과 소정의 유사도를 갖는 유사 영역을 제 1 영상 저장부(15)에서 검색한다. 특히, 유사 영역 검색부(42)는 상기 관심 영역을 초기 변화값(transition value)과 초기 스캐일링값(scaling value)으로 변형한 후에 검색을 수행한다. 다시점 카메라를 통해 획득된 색상 영상 중 상기 변형된 관심 영역과 유사한 영역을 찾기 위하여, 유사 영역 검색부(42)는 유사 영역을 찾기 위한 윈도우 위치를 바꿔가며 변형된 관심 영역과 윈도우에 따라 특정되는 영역의 유사도를 계산한다. 유사 영역 검색부(42)는 상기 계산된 유사도가 소정의 기준값 보다 클 때까지 윈도우 위치를 바꿔가며 유사도를 계산하는 과정을 반복 수행한다.

243단계에서 대체부(43)는 유사 영역 검색부(42)에서 검색된 유사 영역에 따른 깊이 정보를 상기 제 2 깊이 정보로 대체한다. 예를 들어, 같은 영역임에도 불구하고 초기 깊이 맵의 정보는 0~10 사이의 픽셀 값을 갖는 반면 깊이 카메라의 깊이 맵은 20~30 사이의 픽셀 값을 가질 수 있다. 이 경우 대체부(43)는 초기 깊이 맵 정보를 기반으로 깊이 카메라의 깊이 맵을 보정하고, 보정된 깊이 카메라의 깊이 맵의 관심 영역을 초기 깊이 맵에 보정 또는 대체함으로써 최종 깊이 맵을 생성할 수 있다.

한편 본 발명의 깊이 정보 생성 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

본 발명에 따르면 스테레오 카메라 또는 다시점 카메라에서 획득된 영상에 대한 스테레오 매칭을 통해 얻어지는 초기 깊이 정보(초기 깊이 맵) 중의 일부 특히 관심 영역과 관련된 일부의 초기 깊이 정보를 깊이 카메라 시스템을 통해 획득된 깊이 맵을 이용하여 보완 또는 보정함으로써, 3차원 정보의 정확도가 떨어지는 초기 깊이 정보의 한계를 극복하고, 상대적으로 해상도가 낮은 깊이 카메라에 의존적이지 않으며, 스테레오 카메라 또는 다시점 카메라에서 획득된 영상의 해상도와 동일한 해상도를 갖는 고화질의 깊이 맵을 얻을 수 있는 효과가 있다.

Claims (12)

1. 객체 또는 장면으로부터 다시점 영상을 획득하는 제 1 영상 획득부;

   상기 제 1 영상 획득부에서 획득된 다시점 영상을 기반으로 제 1 깊이 정보를 생성하는 깊이 정보 생성부;

   깊이 카메라를 구비하며 상기 객체 또는 장면으로부터의 영상과 제 2 깊이 정보를 획득하는 제 2 영상 획득부; 및

   상기 제 2 깊이 정보를 이용하여 상기 제 1 깊이 정보 중 적어도 일부를 보정하는 보정부로서, 상기 제2 영상 획득부에 의해 획득된 영상 중 일부의 영역을 관심 영역으로 선택하는 관심 영역 선택부, 상기 관심 영역 선택부에 의해 선택된 관심 영역과 미리 결정된 기준값 이상의 유사도를 갖는 유사 영역을 상기 다시점 영상에서 검색하는 유사 영역 검색부 및 상기 제 2 깊이 정보를 이용하여 상기 유사 영역에 따른 제1 깊이 정보를 대체하는 대체부를 포함하는 보정부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
2. 삭제
3. 제 1 항에 있어서,

   상기 제 2 깊이 정보는 제 2 영상 획득부에서 획득된 제 2 영상 중 일부의 영역에 대한 깊이 정보이고, 상기 제 2 깊이 정보를 이용하여 상기 제 1 깊이 정보 중 적어도 일부를 보정하는 것은, 상기 제 1 영상 획득부에서 획득된 제 1 영상 중 상기 일부 영역과 소정의 유사도를 갖는 영역의 상기 깊이 정보를 상기 제 2 깊이 정보로 대체하는 것을 특징으로 하는 깊이 정보 생성 장치.
4. 제 1 항에 있어서,

   상기 깊이 정보 획득부는 상기 제 1 영상 획득부를 통해 획득된 다시점 영상에 대한 스테레오 매칭을 이용하여 제 1 깊이 정보를 생성하는 스테레오 매칭부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
5. 제 1 항에 있어서,

   상기 관심 영역 선택부가 상기 제 2 영상 획득부를 통해 획득된 영상 중의 일부를 관심 영역으로 선택하는 것은, 상기 제2 영상 획득부에서 획득된 영상 중 제 2 깊이 정보가 획득된 영상을 관심 영역으로 선택하는 것을 특징으로 하는 깊이 정보 생성 장치.
6. 제 1 항에 있어서,

   상기 제 1 영상 획득부는 상기 객체 또는 장면으로부터 다시점 영상을 획득하는 다시점 카메라 또는 스테레오 카메라를 구비하고, 상기 다시점 카메라 또는 스테레오 카메라를 통해 획득된 다시점 영상을 저장하는 제 1 영상 저장부를 더 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
7. 제 1 항에 있어서,

   상기 깊이 정보 생성부는 상기 제 1 영상 획득부를 통해 획득된 다시점 영상 중에서 선택된 하나의 영상을 기준으로 제 1 깊이 정보를 생성하고,

   상기 대체부를 통해 보정된 제 1 깊이 정보와 상기 스테레오 카메라 또는 상기 다시점 카메라의 카메라 파라미터를 이용하여 상기 선택된 시점 이외의 시점에 따른 깊이 정보를 생성하는 다시점 워핑부를 더욱 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
8. a) 객체 또는 장면으로부터 다시점 영상을 획득하는 단계;

   b) 상기 a)단계에서 획득된 다시점 영상을 기반으로 상기 객체 또는 장면에 대한 제 1 깊이 정보를 생성하는 단계;

   c) 깊이 카메라를 이용하여 상기 객체 또는 장면으로부터 영상과 제 2 깊이 정보를 획득하는 단계; 및

   d) 상기 제 2 깊이 정보를 이용하여 상기 제 1 깊이 정보 중 적어도 일부를 보정하는 단계로서, 상기 c)단계에서 획득된 영상 중의 일부를 관심 영역으로 선택하고, 상기 선택된 관심 영역과 미리 결정된 기준값 이상의 유사도를 갖는 유사 영역을 상기 다시점 영상에서 검색하며, 상기 제 2 깊이 정보를 이용하여 상기 유사 영역에 따른 제1 깊이 정보를 대체하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
9. 삭제
10. 제 8 항에 있어서,

    상기 c)단계에서 획득된 영상 중의 일부를 관심 영역으로 결정하는 단계를 더 포함하고, 상기 d)단계에서 상기 제 2 깊이 정보를 이용하여 상기 제1 깊이 정보 중 적어도 일부를 보정하는 것은 상기 획득된 다시점 영상 중 상기 일부 영역과 대응되는 영역에 따른 깊이 정보를 상기 제 2 깊이 정보로 대체하는 것을 특징으로 하는 깊이 정보 생성 방법.
11. 제 8 항에 있어서,

    상기 c) 단계는 상기 획득된 다시점 영상에 대한 스테레오 매칭을 통해 제 1 깊이 정보를 생성하는 스테레오 매칭 단계를 더 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
12. 제 8 항 , 제 10 항 또는 제 11 항 중 어느 한 항의 깊이 정보 생성 방법을 컴퓨터상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독가능한 기록 매체.

Images