KR101785203B1 - 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템 - Google Patents

Abstract

본 발명은 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템에 관한 것으로, 이는 기준 컬러 이미지와 깊이 이미지를 시점 일치시킨 후, 상기 깊이 이미지를 기반으로 타겟 이미지 각각에 대응되는 깊이 이미지들을 획득하고, 이들을 기반으로 시점간 대응 영역을 생성하는 시스템 셋업 단계; 및 상기 타겟 이미지 각각의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하고, 상기 시점간 대응 영역을 기반으로 시점간 컬러와 깊이 정보 차이를 반영하는 시점 간 에너지 항을 추가로 생성한 후, MRF(Markov Random Field) 에너지 최적화를 통해 상기 타겟 이미지 각각에 포함된 객체를 분리하는 객체 분리 단계를 포함하여, 시점간 일관성을 유지하여 객체 분리 동작을 수행할 수 있도록 한다.

Description

깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템{METHOD AND SYSTEM FOR MULTI-VIEW OBJECT SEGMENTATION USING DEPTH IMAGE}

본 발명은 다시점 이미지로부터 공통된 객체를 분리할 수 있도록 하는 기술에 관한 것으로, 특히 카메라 대수가 적고 시점간 거리가 먼 환경하에서 촬영된 다시점 이미지를 이용해서도 시점간 일관성을 유지하면서 객체 분리 동작을 수행할 수 있도록 하는 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템에 관한 것이다.

최근 3D TV나 자유시점 어플리케이션(Free-viewpoint application)과 같은 다시점 컨텐츠 재생을 위한 하드웨어 및 어플리케이션이 상용화되고 있다.

그에 따라, 다시점 컨텐츠 제작기술이 중요해지고 있는데, 다시점 이미지의 일관성 있게 객체를 분리하는 다시점 객체 분리(multi-view object segmentation)는 다시점 제작기술인 3D, com, matting, index 등의 기술에 기반되며, 이에 대한 연구가 활발하게 진행되고 있다.

일반적으로 다시점 객체 분리는 10대 이상의 슈퍼 멀티 카메라 시스템이나, 스테레오나 RGBD 카메라와 같은 스몰 베이스라인에서 촬영되는 밀도 깊이 다시점(Dense multi-view) 시스템을 이용하며, 이러한 시스템에서는 두 이미지 간의 컬러 유사성을 통해 분리하는 기술 중심으로 연구가 이루어지고 있다.

그러나 더 일반적인 방송환경(방송/무대영상 또는 사용자가 스마트폰 등으로 촬영하는 환경)은 카메라 대수가 적을 뿐만 아니라, 카메라 간격도 멀어져 있는 스파스 다시점(sparse multi-view) 시스템으로서, 이러한 스파스 멀티뷰 시스템에서는 지금까지 객체 분리가 어려운 문제로 남아 있다.

즉, 카메라 대수가 적고 시점간 거리가 멀어지면, 시점 간의 컬러 유사성이 급격히 낮아지게 되고, 이에 따라 이미지 간 컬러 유사성을 기반으로 객체 분리 동작을 수행하기가 어려워지는 문제가 발생하게 된다.

본 발명의 목적은 카메라 대수가 적고 시점간 거리가 먼 스파스한 다시점 환경을 통해 촬영된 다시점 이미지를 이용해서도 시점간 일관성을 유지하는 객체 분리 동작을 수행할 수 있도록 하는 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템을 제공하는 것이다.

상기한 본 발명의 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면, 기준 컬러 이미지와 깊이 이미지를 시점 일치시킨 후, 상기 깊이 이미지를 기반으로 타겟 이미지 각각에 대응되는 깊이 이미지들을 획득하고, 이들을 기반으로 시점간 대응 영역을 생성하는 시스템 셋업 단계; 및 상기 타겟 이미지 각각의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하고, 상기 시점간 대응 영역을 기반으로 시점간 컬러와 깊이 정보 차이를 반영하는 시점 간 에너지 항을 추가로 생성한 후, MRF(Markov Random Field) 에너지 최적화를 통해 상기 타겟 이미지 각각에 포함된 객체를 분리하는 객체 분리 단계를 포함하는 깊이 이미지를 이용한 다시점 객체 분리 방법을 제공한다.

상기 시스템 셋업 단계는 기준 컬러 이미지와 깊이 이미지를 시점 일치시킨 후, 상기 깊이 이미지를 타겟 이미지각각의 좌표로 변환하여 상기 타겟 이미지 각각에 대응되는 깊이 이미지를 획득 획득하는 단계; 상기 기준 컬러 이미지와 상기 타겟 이미지 각각에 대응되는 슈퍼 픽셀을 생성하고, 상기 슈퍼 픽셀을 기반으로 상기 타겟 카메라 각각에 대응되는 깊이 이미지의 해상도를 타겟 카메라 해상도로 업샘플링하는 단계; 및 상기 타겟 카메라 각각에 대응되는 깊이 이미지들을 이용하여 시점간 대응 영역을 획득하는 단계를 포함하는 것을 특징으로 한다.

상기 업샘플링하는 단계는 결합형 양방향 업샘플링 방법을 기반으로 깊이 이미지 업샘플링 동작을 수행하는 것을 특징으로 한다.

상기 객체 분리 단계는 관심 영역을 설정하는 단계; 각 타겟 이미지내 슈퍼 픽셀의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하는 단계; 타겟 이미지간 시점간 컬러와 깊이 정보 차이를 기반으로 시점간 에너지 항을 생성하는 단계; 및 상기 단일 이미지 에너지 항과 상기 시점간 에너지항으로 구성되는 MRF 에너지 함수를 생성한 후, 상기 에너지 함수를 기반한 바이너리 세그멘테이션을 수행하여 상기 타겟 이미지 각각에 포함된 객체를 분리하는 단계를 포함하는 것을 특징으로 한다.

상기 시점간 에너지 항을 생성하는 단계는 관심 영역 내 슈퍼픽셀의 전파 확률을 반영하여 투사 확률 항, 관심 영역 내 컬러 정보와 기하학적 구조를 반영하는 3차원 컬러 유사성 항, 관심 영역의 시점간 컬러 및 깊이 차이를 반영하는 지역 시점 간 항을 생성한 후, 상기 투사 확률 항은 함수 데이터항으로 활용하고 상기 3차원 컬러 유사성 항과 상기 지역 시점 간 항은 함수 평탄화 항으로 활용하는 것을 특징으로 한다.

상기 방법은 픽셀 기반 세그멘테이션을 통해 상기 객체의 경계면을 평탄화하는 정제 단계를 더 포함하는 특징으로 한다.

상기 정제 단계는 각 타겟 이미지내 슈퍼 픽셀의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하고, 분리 완료된 객체에 가우시안 블러를 적용한 거리항을 생성한 후, 상기 단일 이미지 에너지 항과 상기 거리항에 기반한 픽셀 기반 세그멘테이션을 수행하는 것을 특징으로 한다.

상기한 본 발명의 목적을 달성하기 위하여, 본 발명의 다른 측면에 따르면, n(n은 2이상의 자연수)개의 시점을 가지는 n개의 타겟 이미지를 제공하는 n개의 컬러 카메라; 기준 컬러 이미지와 깊이 이미지를 제공하는 센싱 장치; 및 상기 기준 컬러 이미지에 대응되는 깊이 이미지를 기반으로 타겟 이미지 각각에 대응되는 깊이 이미지들을 획득 및 분석하여 시점간 대응 영역을 생성하고, 상기 타겟 이미지 각각의 컬러 정보를 기반으로 단일 이미지 에너지 항과 상기 시점간 대응 영역을 기반으로 시점간 컬러와 깊이 정보 차이를 반영하는 시점 간 에너지 항을 생성한 후, MRF(Markov Random Field) 에너지 최적화를 통해 상기 타겟 이미지 각각에 포함된 객체를 분리하는 객체 분리 장치를 포함하는 깊이 이미지를 이용한 다시점 객체 분리 시스템을 제공한다.

본 발명은 컬러 이미지 이외에 깊이 이미지를 추가로 활용하여 객체 분리 동작을 수행함으로써, 객체 분리에서 컬러 카메라가 가지는 한계점을 극복하고, 카메라 대수가 적고 시점간 거리가 먼 스파스한 다시점 환경하에서도 시점간 일관성이 유지되는 객체 분리 동작을 수행할 수 있도록 해준다.

도 1은 본 발명의 일 실시예에 따른 다시점 객체 분리 시스템을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 다시점 객체 분리 방법을 개략적으로 설명하기 위한 도면이다.
도3은 본 발명의 일실시예에 따른 시스템 셋업 단계를 설명하기 위한 도면이다.
도4는 본 발명의 일실시예에 따른 깊이 이미지 획득 단계를 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 깊이 업샘플링 단계를 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 시점간 대응 영역을 획득하는 단계를 설명하기 위한 도면이다.
도7은 본 발명의 일실시예에 따른 객체 분리 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 관심 영역 생성 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 단일 이미지 에너지 항 생성 단계를 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따른 시점간 에너지 항을 생성하는 단계를 설명하기 위한 도면이다.
도11 및 도12는 본 발명의 일실시예에 따른 정제 단계를 설명하기 위한 도면이다.

이하, 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 구현예 및 실시예를 상세히 설명한다.

그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현예 및 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 또한, 본원 명세서 전체에서, "~ 하는 단계" 또는 "~의 단계"는 "~를 위한 단계"를 의미하지 않는다.

본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 "이들의 조합"의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.

본원 명세서 전체에서, "A 및/또는 B"의 기재는, "A 또는 B, 또는, A 및 B"를 의미한다.

도 1은 본 발명의 일 실시예에 따른 다시점 객체 분리 시스템을 개략적으로 설명하기 위한 도면이다.

도1을 참고하면, 본 발명의 다시점 객체 분리 시스템은 n(n은 2 이상의 자연수)개의 시점을 가지는 고해상도의 컬러 이미지를 획득하는 n개의 컬러 카메라(10) 이외에 마이크로소프트사의 키넥트(kinect)와 같이 저비용의 깊이 카메라(21)와 컬러 카메라(22)가 결합된 센싱 장치(20)를 추가로 구비하여, 촬영 대상물에 대한 다시점 이미지 이외에 깊이 이미지를 추가 획득하도록 한다.

그리고 n개의 컬러 카메라(10)와 센싱 장치(20)에 결합된 객체 분리 장치(30)는 깊이 이미지를 활용하여 시점간 대응 영역을 생성하고, 이의 컬러와 깊이 정보 차이를 통해 지역적으로 적응된 에너지를 생성함으로써, 시점별 일관성을 더 강하게 유지한다.

그 결과 본 발명의 객체 분리 장치(30)는 카메라 대수가 적고 시점간 거리가 먼 스파스한 다시점 환경을 통해 촬영된 다시점 이미지를 이용해서도, 다시점 이미지 각각으로부터 사용자가 필요로 하는 하나의 객체를 분리할 수 있게 된다.

도 2는 본 발명의 일 실시예에 따른 다시점 객체 분리 방법을 개략적으로 설명하기 위한 도면이다.

도2에 도시된 본 발명의 방법은 크게 기준 컬러 이미지와 깊이 이미지를 시점 일치시킨 후, 상기 깊이 이미지를 기반으로 타겟 이미지 각각에 대응되는 깊이 이미지들을 획득하고, 이들을 기반으로 시점간 대응 영역을 생성하는 시스템 셋업 단계(S10), 상기 타겟 이미지 각각의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하고, 상기 시점간 대응 영역을 기반으로 시점간 컬러와 깊이 정보 차이를 반영하는 시점 간 에너지 항을 추가로 생성한 후, MRF(Markov Random Field) 에너지 최적화를 수행하여 상기 타겟 이미지 각각에 포함된 객체를 분리하는 객체 분리 단계(S20), 픽셀 기반 최적화를 통해 상기 객체의 경계면을 평탄화하는 정제(refinement) 단계(S30) 등을 포함할 수 있다.

이하, 도3 내지 도11을 참고하여 본 발명의 각 단계에 대해 보다 상세히 설명하기로 한다.

도3은 본 발명의 일실시예에 따른 시스템 셋업 단계를 설명하기 위한 도면이다.

도3을 참고하면, 본 발명의 시스템 셋업 단계는 타겟 카메라 각각에 대응되는 깊이 이미지를 획득하는 단계(S11), 슈퍼픽셀을 생성하는 단계(S12), 상기 타겟 카메라 각각에 대응되는 깊이 이미지를 슈퍼픽셀 기반으로 업샘플링 하는 단계(S13), 업샘플링된 깊이 이미지들을 이용하여 시점간 대응 영역을 획득하는 단계(S14) 등을 구비한다.

깊이 이미지 획득 단계(S11)에서는, 도4에 도시된 바와 같이 기준 컬러 카메라와 깊이 카메라(예를 들면, RGBD 카메라)를 캘리브레이션하여 기준 컬러 카메라와 깊이 카메라를 통해 획득되는 기준 컬러 이미지와 깊이 이미지간 시점을 일치시키도록 한다. 키넥트(kinect)와 같이 센싱 장치는 컬러 카메라와 깊이 카메라를 함께 내장하므로, 센싱 장치에 내장된 컬러 카메라를 기준 컬러 카메라로 이용하는 것이 바람직하나, 그렇지 못한 경우에는 다수의 카메라 중 하나를 기준 컬러 카메라로 활용하도록 한다.

그리고 특징 매칭(feature matching) 및 SFM(Structure from motion)을 통해 기준 컬러 카메라와 타겟 카메라의 카메라 파라메터를 복원하여 기준 컬러 카메라와 타겟 카메라의 동차 좌표계(homogeneous coordinate)를 생성한 후, 이를 기반으로 기준 컬러 카메라에 대응되는 깊이 이미지의 좌표계를 타겟 카메라 각각의 좌표계로 변환함으로써, 타겟 카메라 각각에 대응되는 깊이 이미지를 획득하도록 한다. 이때, 깊이 이미지는 포인트 클라우드(point cloud)로서 배경 투사(back-projection)되고, 깊이 이미지내 포인트들은 타겟 카메라 이미지 좌표로 투사된다. 즉, 임의의 점 x _i=(u, v)에 대해, 깊이값 z_d를 갖는 저해상도 기준 컬러 이미지가 있다면, 수학식1과 같은 수식을 통해 타겟 카메라의 대응하는 깊이 이미지를 계산할 수 있다.

이때, P_d,RGBD는 기준 깊이 카메라의 3ㅧ4 투사 매트릭스, [R_i,sfm|t_i,sfm]은 i번째 타겟 카메라의 4ㅧ4 외부매트릭스이다. i번째 타겟 카메라의 3ㅧ3 내부 매트릭스 K_i,sfm은 2D 포인트 x _i가 3D 포인트 [x_i y_i z_i]로 투사하기 위해 활용되었다. s는 카메라들 사이의 상대 해상도를 반영하는 스케일링 항이다. 결국, 타겟 깊이갚 z_i가 i번째 타겟 이미지의 x_i, y_i 좌표의 깊이 값으로 등록된다.

더하여, 두 개 시점간 변위(disparity)가 있다면, 배경(background) 깊이 값이 또 다른 타겟 이미지 좌표의 전경(foreground) 영역에 투사될 수 있다. 이에 본 발명에서는 픽셀의 깊이 값을 타겟 이미지의 스몰 로컬 윈도우(예를 들어, 10ㅧ10 크기의 윈도우)내 로컬 최소 깊이(d_min)와 비교하고, 로컬 최소 깊이(d_min)보다 매우 큰 값을 가지는 깊이값 d_s(예를 들어, d_s-d_min > 0.2(m))는 삭제하도록 한다. 이러한 경우, 전경 영역에 의해 커버되는 배경 영역내 깊이값이 손쉽게 제거될 수 있다.

슈퍼픽셀을 생성하는 단계(S12)에서는, 이미지내 컬러 및 깊이 노이즈로 인한 컬러 모델의 오버피팅(over-fitting)을 피하기 위해, 기준 및 타겟 이미지 각각에 대응되는 슈퍼픽셀을 생성하도록 한다. 본 발명에서는 SLIC(simple linear iterative clustering) 슈퍼픽셀 알고리즘을 통해 슈퍼픽셀 동작을 수행할 수 있으며, 이러한 경우 슈퍼픽셀 p는 이하의 표1과 같이 9차원의 특징 벡터를 가지게 된다.

이와 같이 슈퍼픽셀을 생성한 후, 이를 기반으로 깊이 업샘플링과 컬러 모델 생성 동작을 수행하면, 샘플의 수가 감소되어 계산량이 최소화되는 장점을 제공할 수 있게 된다.

깊이 업샘플링 단계(S13)에서는, 도5에서와 같이 타겟 카메라 각각에 대응되는 깊이 이미지를 슈퍼픽셀 기반으로 업샘플링하도록 한다.

참고로, 타겟 이미지 각각에 대응되는 깊이 이미지를 기반으로 시점 간 대응영역을 파악하기 위해서는 컬러 이미지와 깊이 이미지가 동일한 해상도를 가져야 한다. 그러나 키넥트와 같은 센싱 장치에 적용되는 깊이 카메라는 저해상도 카메라로써, 일반 컬러 카메라에 비해 낮은 해상도를 가진다. 이에 타겟 카메라 각각에 대응되는 깊이 이미지를 업샘플링하여 컬러 이미지와 깊이 이미지의 해상도를 동일하게 맞춰주도록 한다. 만일, 이미지 좌표에서 두 슈퍼픽셀이 유사한 컬러와 위치를 갖는다면, 두 슈퍼픽셀은 동일한 깊이값을 갖는 것으로 해석된다. 따라서, 본 발명에서는 이미지 기반 깊이 업샘플링 방식의 하나인 결합형 양방향 업샘플링(Joint bilateral upsampling)을 적용하여 깊이 이미지 업샘플링 동작을 수행하도록 한다.

이때, f 는 공간 필터 커널, g 는 범위 필터 커널, p 및 q는 슈퍼픽셀들 중에서 선택된 표적 슈퍼픽셀 및 주변 슈퍼픽셀, Ω는 p의 집합, 즉 필터의 커널 크기, x_p 및 x_q는 p 및 q의 이미지내 위치, I_p 및 I_q는 p 및 q에 대응하는 밝기값, z_q는 q에 대응되는 깊이값, D_p는 p에 대응하는 업샘플링된 깊이값이다.

특히, 본 발명에서는 이미지내 모든 픽셀이 아닌 슈퍼픽셀만을 활용하여 깊이 업샘플링 동작을 수행함로써, 양방향 필터의 단점 중 하나인 계산 시간을 감소시키는 추가적인 효과를 제공한다.

시점간 대응 영역을 획득하는 단계(S14)에서는, 도6에서와 같이 타겟 이미지에 대응하는 깊이 이미지를 이용하여 관심 영역과 시점 간 에너지의 전파를 위한 시점 간 대응영역을 생성하도록 한다. 즉, i번째 타겟 이미지 내 슈퍼픽셀 p의 위치(xⁱ _p)를 j번째 타겟 이미지 내 위치(x^j _p)로 배경 투사하고, 이러한 투사 결과를 수집 및 취합함으로써, i 시점과 j 시점간 대응 영역을 획득하도록 한다.

이때, P_i,sfm와 P_j,sfm는 각각 i번째 및 j번째 타겟 카메라의 4ㅧ4 투사 매트릭스(projection matrix), zⁱ _p는 _p에 i번째 타겟 이미지 내 슈퍼픽셀 p에 대응되는 깊이값이다.

도7은 본 발명의 일실시예에 따른 객체 분리 단계를 설명하기 위한 도면이다.

도7을 참고하면, 본 발명의 객체 분리 단계는 관심 영역을 획득하는 단계(S21), 단일 이미지 에너지 항을 생성하는 단계(S22), 시점간 에너지 항을 생성하는 단계(S23), 및 단일 이미지 에너지 항과 시점간 에너지항으로 구성되는 MRF(markov random field) 에너지 함수를 생성한 후, 이를 기반한 바이너리 세그멘테이션을 수행하여 타겟 이미지 각각에 포함된 객체를 분리하는 단계(S24) 등을 포함한다.

본 발명에서는 객체 분리 동작을 바이너리 라벨링 문제로써 바이레이어(bilayer) 세그멘테이션을 수행함으로써 구현하도록 한다. 다만, 타겟 이미지 각각의 컬러에 기반하여 생성되는 단일 이미지 에너지 항 이외에 시점 간 대응 영역 사이의 에너지를 생성하고 강건한 시점 간 일관성을 위해 컬러와 깊이 차이에 의해 가중되는 시점 간 에너지항을 추가 생성함으로써, 객체 분리시 시점 간 일관성을 유지할 수 있도록 한다.

참고로, 본 발명의 이해를 돕기 위해 기본적인 MRF 에너지 함수에 대해 살펴보면 다음과 같다.

I^k, D^k는 각각 k번째 타겟 카메라의 RGB 컬러와 대응하는 깊이 이미지이고, Ω^k는 모든 슈퍼픽셀 p를 원소로 하는 집합이고, I^k _p, D^k _p는 각 슈퍼픽셀의 평균 컬러 및 깊이 값이라고 하고(이하, 설명의 편이를 위해 위첨자 k는 생략함), 본 발명에서는 다시점 객체 분할의 바이너리 라벨링 문제를 다루기 위해, 그래프컷(graph-cut)을 통한 일반화된 MRF 에너지 최적화를 따르도록 한다.

입력은 모든 타겟 이미지의 모든 슈퍼픽셀과 바이너리 라벨 X(전경 및 배경)의 집합이라고 가정한 후, 최적 라벨링 'f'(즉, Ω로부터 X로의 맵핑)를 찾음으로써, 객체 분리 동작을 수행할 수 있다. 최적 라벨링은 기본적으로 수학식4과 같이 표현되는 함수의 MRF 에너지를 최소화함으로써 얻어질 수 있다.

이때, D_p(f_p)는 각 슈퍼픽셀이 전경 또는 배경에 속할 공산을 평가하는 데이터 항, V_p,q(f_p, f_q)은 컬러와 깊이 불연속성을 보존하기 위해 슈퍼픽셀 사이의 에너지를 생성하고 효율적으로 일관된 슈퍼픽셀을 전파하는 평탄화(smoothness) 항, ξ은 슈퍼픽셀 쌍의 집합이다.

본 발명에서는 수학식4의 MRF 에너지 함수를 기반으로 수학식 5와 같이 변형한다. 즉, 타겟 이미지 i의 단일 이미지 에너지 항(Eⁱ _s(fⁱ))과 후술하는 시점 간 에너지 항(E_t(f))으로 이루어지는 MRF 에너지 함수(E(f))를 제안한다.

이때, λ₁, λ₂, λ₃ 및 λ₄는 사용자에 의해 정의되는 파라미터이다. 수학식 6과 수학식 7의 여섯 에너지 항은 수학식 4의 데이터 항 ΣD(·)와 ΣV(·)을 기반으로 생성된다.

이러한 가정하에, 본 발명에서는 관심 영역을 획득하는 단계(S21)를 우선 수행하도록 한다.

관심 영역을 획득하는 단계(S21)에서는, 전경과 배경의 컬러 모델을 생성하기 위한 관심 영역을 하도록 한다. 관심 영역은 사용자 드로잉 동작 등을 통해 설정될 수 있다. 즉, 사용자가 기준 컬러 이미지 또는 타겟 이미지 중 하나를 선택한 후, 분리 대상 객체를 포함하는 영역으로 직사각형 또는 임의의 다각형 형태로 관심 영역을 드로잉함으로써 선택될 수 있다. 이와 같이 선택된 관심 영역은 시점 간 대응영역을 이용하여 다른 영역으로 전파되며, 이러한 간단한 상호작용은 모든 시점에서 합당한 관심 영역 생성을 가능하게 한다.

도 8은 본 발명의 일실시예에 따른 관심 영역 생성 방법을 설명하기 위한 도면으로, 도 8의 기준 컬러 이미지 내 빨간 박스는 사용자에 의해 선택된 관심 영역이고, 녹색 선은 기준 및 타겟 컬러 이미지 사이의 시점 간 대응영역을 표현하기 위한 것이다. 관심 영역은 시점 차이 대문에 전경 영역의 우측에 생성된다.

단일 이미지 에너지 항 생성 단계(S22)에서는 단일 타겟 이미지 내 슈퍼픽셀의 평균 컬러에 기초하여 에너지 항을 생성한다. 즉, 관심 영역을 이용하여 GMM 컬러 모델에 의해 생성되는 바이너리 데이터 항(즉, 컬러 항(Color term))와, 바이너리 데이터 항을 이미지 에지(edge)와 컬러 유사성에 기반하여 전파하는 평탄화 항(즉, 명암 항(Contrast term) 및 컬러 유사성 항(Color similarity term))로 구성되는 단일 이미지 에너지 항을 생성한다.

이하, 각 항에 대한 정의를 보다 상세히 살펴보면 다음과 같다.

- 컬러 항(Color term)

전경 및 배경 컬러 모델은 관심 영역과 샘플로서 슈퍼픽셀의 평균 컬러에 기반하여 생성된다. 강건한 컬러 모델링을 위해, GMM(Gaussian Mixture Models)과 히스토그램을 결합한다. 이러한 하이브리드 방식은 GMM 기반 방식의 문제와 히스토그램 기반 방식의 문제를 보상한다.

RGB 컬러 공간의 H 빈(bin)을 각각 갖는 두 3차원 히스토그램은 전경과 배경에 대해 각각 생성된다. 전경 및 배경 가우시안 요소가 {μ^F ₁, Σ^F ₁, ω^F ₁}…{μ^F _H, Σ^F _H, ω^F _H} 및 {μ^B ₁, Σ^B ₁, ω^B ₁}…{μ^B _H, Σ^B _H, ω^B _H}로 각각 나타내진다. 여기서, μ는 평균 컬러, Σ는 대각행렬으로 가정되는 공분산 행렬, ω는 가우시안 요소의 가중치이다. k번째 빈에 속하는 픽셀 I_p가 주어졌을 때, 조건부 확률 P[I_p│f_p=1]는 수학식 8과 같이 계산된다.

이때, N은 3차원에서 k의 주변 빈의 인덱스 집합이다. 도 9의 (c)는 0부터 255까지 스케일링한 P[I_p│f_p=1]의 확률 맵이다. 마지막으로 수학식4에서 데이터 항 D_p의 하나로서, 컬러 항 D_c는 수학식 9와 같이 정의된다.

- 명암 항(Contrast term)

분리 경계는 고 이미지 명암의 에지에 맞추어 조정하려는 경향이 있다. 이는 만일 인접하는 슈퍼픽셀 p, q가 유사한 컬러라면, 명암 항 V_p,q는 p, q가 다른 컬러일 때 상대적으로 높은 에너지를 부여하여 다른 라벨의 할당을 막는다는 것을 의미한다. N_c가 주변 슈퍼픽셀 쌍(도 9의 (d))의 집합이고, (p, q)∈N_c에 대해, 명암 항 V_p,q는 다음과 같이 두 슈퍼픽셀 사이의 컬러 벡터 거리에 반비례한다.

이때, β는 거리 함수를 가중하는 파라미터로서, β=2〈∥I_p-I_q∥²〉이다. (〈·〉: 모든 주변 슈퍼픽셀에 대한 기댓값)

- 컬러 유사성 항(Color similarity term)

일관된 라벨과 유사한 슈퍼픽셀에서의 효율적인 전파를 위해, 유사한 컬러를 갖는 슈퍼픽셀 쌍 사이에 V_p,q의 동일한 에너지를 부여한다. N_s은 유클리드 컬러 차이에 대한 k-최근접 주변의 집합이다(도 9의 (e) 참고). 에너지 항, V_s(f_p, f_q)은 N_c 대신 주변 N_s을 사용하는 것을 제외하면 수학식10의 V_c(f_p, f_q)와 동일한 형태이다.

시점간 에너지 항을 생성하는 단계(S23)에서는, 강인한 분리 품질을 위하여, 다른 시점의 정보를 고려하는 에너지 항을 추가적으로 생성한다. 먼저, 관심 영역 내 고확률 부여에 기초하는 데이터 항(즉, 투사 확률 항(Projection probability term))을 생성한다. 그리고 컬러 정보뿐 아니라 기하학적 구조도 고려하여 유사한 컬러의 슈퍼픽셀 사이의 분리를 명확히 하는 3차원 컬러 유사성 항(3D color similarity term)과, 깊이 맵을 이용하는 스파스 와이드-베이스라인 다시점 환경에서 특히 시점 간 일관성을 강인하도록 하는 지역 시점 간 항(local inter-view term)을 추가 생성한 후, 이들을 기반으로 시점간 에너지 항을 생성한다.

이하, 각 항에 대한 정의를 보다 상세히 살펴보면 다음과 같다.

- 투사 확률 항(Projection probability term)

사용자에 의해 부여되는 관심 영역에 포함되는 슈퍼픽셀은 전경 라벨처럼 높은 확률을 가져야 한다. 그러나 도 8에 도시된 것처럼 기준 및 타겟 컬러 카메라 사이의 큰 차이가 있으면, 관심 영역은 타겟 이미지 내 부분 영역으로 전파된다. 이에 본 발명에서는 도 10의 (b)와 같이 슈퍼픽셀 q이 다름 시점의 관심 영역내이 있으면, 전경 라벨처럼 슈퍼픽셀에 높은 확률이 부여하도록 한다. T는 타겟 카메라 +1(기준 컬러 카메라)이고, Tⁱ _p는 i번째 카메라에서 슈퍼픽셀 p의 시점 간 대응영역 q이다. 시점 간 대응영역을 이용한 전경 확률은 수학식11과 같이 표현되고, 수학식4에 개시된 데이터 항 D_p의 하나로서 투사 확률 항 D_c(fⁱ _p)는 수학식 12와 같이 정의된다.

- 3차원 컬러 유사성 항(3D color similarity term)

유사한 컬러와 기하학적 정보를 갖는 슈퍼픽셀 쌍들에 대한 일관된 라벨링을 위해, 모든 슈퍼픽셀들은 3차원 동차 좌표로 투사된다. 슈퍼픽셀의 6차원 특징과 특징 차이를 위한 k-최근접 주변이 생성된다. 이에 따라, 슈퍼픽셀의 시점 간 일곤된 라벨링과, 유사한 컬러를 갖지만 기하학적 정보는 다른 슈퍼픽셀의 전경과 배경 분리의 라벨링 도 10의 (d)에 도시된 바와 같이 이루어진다. 따라서, 3차원 컬러 유사성 항은 다음과 같이 표현된다.

이때, 수학식7의 (p,q)∈N_a는 타겟 이미지의 모든 슈퍼픽셀의 집합 중 슈퍼픽셀 p의 k-최근접 이웃의 집합이며, A_p는 3차원 RGB 컬러와 다음과 같이 동차 좌표에서 정규화된 위치를 포함하는 6차원 특징으로서, 다음과 같이 표현된다.

- 지역 시점 간 항(Local inter-view term)

스파스 와이드-베이스라인 다시점 환경에서, 다른 타겟 이미지에서 보이지 않는 슈퍼픽셀 p는 3차원 컬러 유사성 항만을 이용해서는 시점 간 일관된 에너지를 생성할 수 없다. 다른 이미지로 직접 배경 투사되는 시점간 대응영역이 사용된다. 또한, 지역 시점 간 항은 다른 시점의 배경 슈퍼픽셀 q의 대응하는 전경 슈퍼픽셀 p가 컬러와 깊이 차이를 이용하는 다른 시점의 시점 간 슈퍼픽셀 쌍의 일관성을 저하시킨다. 도 10에서, 파란 선으로 표시된 대응영역은 컬러와 깊이가 유사하기 때문에 고 에너지여야 한다. 이러한 지역 가중 파라미터는 스파스 다시점 일관성을 강인하게 한다. 이웃 N_l ^i,j은 i번째 및 j번째 타겟 카메라 사이의 모든 대응영역이다. 타겟 카메라의 i번째 p 및 j번째 q 사이의 시점 간 대응영역 사이의 에너지 항은 수학식 13과 같은 형태이다. A_l ^Pi는 3차원 RGB 컬러와 1차원의 정규화된 깊이를 포함하는 4차원 특징으로서, 다음과 같이 표현된다.

도11 및 도12는 본 발명의 일실시예에 따른 정제 단계를 설명하기 위한 도면이다.

슈퍼픽셀의 평균 컬러는 흐릿한 결과를 만들고, 이는 분리 경계 근처의 품질을 저하시킨다. 또한, 미세한 캘리브레이션 에러로 인한 에지 근처에서의 시점 간 일관성을 어렵게 한다.

이에 본 발명에서는 분리 품질을 보장하기 위해 경계 근처에서 픽셀 기반 세그멘테이션을 수행하여 객체 분리 결과물을 정제하도록 한다. 즉, 도12에서와 같이 객체의 분리면의 경계에 존재하는 노이즈를 제거하여, 객체의 분리면의 경계가 매끄럽게 표현될 수 있도록 한다. 이 단계에서, 수학식 16에서와 같이 표현되는 단일 에너지 항과 추가 데이터 항이 이용될 뿐이다.

이때, E_d는 정제를 위한 추가적으로 사용된 거리 항이다. E_d는 슈퍼픽셀 기반 객체 분리 결과물을 신뢰하기 위해 분리된 경계선을 기준으로 거리에 따른 확률 분포를 수학식 17과 수학식 18과 같이 사용한다.

이때, P_r ^F는 경계선과의 거리를 의미하는 dr을 이용한 전경확률을 뜻하며, 이는 d_r = ||r-e_min|| 과 e_min=

와 같이 표기한다. ar은 슈퍼픽셀 기반 분리과정에서 추출된 결과값을 의미한다(a_r = -1, a_r = 1). d_max는 도11와 같이 정의된 경계면 주변의 픽셀값과 경계면과의 거리 중에서 추출되는 최대값을 나타낸다. k는 수학식 18의 커브를 조정하는 값으로써 k=2.0으로 정하였다.

이상 실시예를 통해 본 발명을 설명하였으나, 본 발명은 이에 제한되는 것은 아니다. 상기 실시예는 본 발명의 취지 및 범위를 벗어나지 않고 수정되거나 변경될 수 있으며, 본 기술분야의 통상의 기술자는 이러한 수정과 변경도 본 발명에 속하는 것임을 알 수 있을 것이다.

또한, 본 발명에 따른 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치, 하드 디스크, 플래시 드라이브 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

Claims (8)

1. 기준 컬러 이미지와 깊이 이미지를 시점 일치시킨 후, 상기 깊이 이미지를 기반으로 타겟 이미지 각각에 대응되는 깊이 이미지들을 획득하고, 이들을 기반으로 시점간 대응 영역을 생성하는 시스템 셋업 단계; 및
   상기 타겟 이미지 각각의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하고, 상기 시점간 대응 영역을 기반으로 시점간 컬러와 깊이 정보 차이를 반영하는 시점 간 에너지 항을 추가로 생성한 후, MRF(Markov Random Field) 에너지 최적화를 통해 상기 타겟 이미지 각각에 포함된 객체를 분리하는 객체 분리 단계를 포함하며,
   상기 객체 분리 단계는
   관심 영역을 설정하는 단계;
   각 타겟 이미지내 슈퍼 픽셀의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하는 단계;
   타겟 이미지간 시점간 컬러와 깊이 정보 차이를 기반으로 시점간 에너지 항을 생성하는 단계; 및
   상기 단일 이미지 에너지 항과 상기 시점간 에너지항으로 구성되는 MRF 에너지 함수를 생성한 후, 상기 에너지 함수를 기반한 바이너리 세그멘테이션을 수행하여 상기 타겟 이미지 각각에 포함된 객체를 분리하는 단계를 포함하며,
   상기 시점간 에너지 항을 생성하는 단계는
   관심 영역 내 슈퍼픽셀의 전파 확률을 반영하여 투사 확률 항, 관심 영역 내 컬러 정보와 기하학적 구조를 반영하는 3차원 컬러 유사성 항, 관심 영역의 시점간 컬러 및 깊이 차이를 반영하는 지역 시점 간 항을 생성한 후, 상기 투사 확률 항은 함수 데이터항으로 활용하고 상기 3차원 컬러 유사성 항과 상기 지역 시점 간 항은 함수 평탄화 항으로 활용하는 것을 특징으로 하는 깊이 이미지를 이용한 다시점 객체 분리 방법.
2. 제1항에 있어서, 상기 시스템 셋업 단계는
   기준 컬러 이미지와 깊이 이미지를 시점 일치시킨 후, 상기 깊이 이미지를 타겟 이미지각각의 좌표로 변환하여 상기 타겟 이미지 각각에 대응되는 깊이 이미지를 획득하는 단계;
   상기 기준 컬러 이미지와 상기 타겟 이미지 각각에 대응되는 슈퍼 픽셀을 생성하고, 상기 슈퍼 픽셀을 기반으로 타겟 카메라 각각에 대응되는 깊이 이미지의 해상도를 타겟 카메라 해상도로 업샘플링하는 단계; 및
   타겟 카메라 각각에 대응되는 깊이 이미지들을 이용하여 시점간 대응 영역을 획득하는 단계를 포함하는 것을 특징으로 하는 깊이 이미지를 이용한 다시점 객체 분리 방법.
3. 제2항에 있어서, 상기 업샘플링하는 단계는
   결합형 양방향 업샘플링 방법을 기반으로 깊이 이미지 업샘플링 동작을 수행하는 것을 특징으로 하는 깊이 이미지를 이용한 다시점 객체 분리 방법.
4. 삭제
5. 삭제
6. 제1항에 있어서,
   픽셀 기반 세그멘테이션을 통해 상기 객체의 경계면을 평탄화하는 정제 단계를 더 포함하는 것을 특징으로 하는 깊이 이미지를 이용한 다시점 객체 분리 방법.
7. 제6항에 있어서, 상기 정제 단계는
   각 타겟 이미지내 슈퍼 픽셀의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하고, 분리 완료된 객체에 가우시안 블러를 적용한 거리항을 생성한 후, 상기 단일 이미지 에너지 항과 상기 거리항에 기반한 픽셀 기반 세그멘테이션을 수행하는 것을 특징으로 하는 깊이 이미지를 이용한 다시점 객체 분리 방법.
8. n(n은 2이상의 자연수)개의 시점을 가지는 n개의 타겟 이미지를 제공하는 n개의 컬러 카메라;
   기준 컬러 이미지와 깊이 이미지를 제공하는 센싱 장치; 및
   상기 기준 컬러 이미지에 대응되는 깊이 이미지를 기반으로 타겟 이미지 각각에 대응되는 깊이 이미지들을 획득 및 분석하여 시점간 대응 영역을 생성하고, 상기 타겟 이미지 각각의 컬러 정보를 기반으로 단일 이미지 에너지 항과 상기 시점간 대응 영역을 기반으로 시점간 컬러와 깊이 정보 차이를 반영하는 시점 간 에너지 항을 생성한 후, MRF(Markov Random Field) 에너지 최적화를 통해 상기 타겟 이미지 각각에 포함된 객체를 분리하는 객체 분리 장치를 포함하며,
   상기 객체 분리 장치는,
   관심영역 설정 후, 각 타겟 이미지내 슈퍼 픽셀의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하고, 타겟 이미지간 시점간 컬러와 깊이 정보 차이를 기반으로 시점간 에너지 항을 생성한 후, 상기 단일 이미지 에너지 항과 상기 시점간 에너지항으로 구성되는 MRF 에너지 함수를 생성한 후, 상기 에너지 함수를 기반한 바이너리 세그멘테이션을 수행하여 상기 타겟 이미지 각각에 포함된 객체를 분리하며,
   상기 시점간 에너지 항을 생성하는 것은,
   관심 영역 내 슈퍼픽셀의 전파 확률을 반영하여 투사 확률 항, 관심 영역 내 컬러 정보와 기하학적 구조를 반영하는 3차원 컬러 유사성 항, 관심 영역의 시점간 컬러 및 깊이 차이를 반영하는 지역 시점 간 항을 생성한 후, 상기 투사 확률 항은 함수 데이터항으로 활용하고 상기 3차원 컬러 유사성 항과 상기 지역 시점 간 항은 함수 평탄화 항으로 활용하는 것을 특징으로 하는 깊이 이미지를 이용한 다시점 객체 분리 시스템.

Images