KR102659065B1 - 이미지에 대한 깊이 맵의 처리 - Google Patents

Abstract

장치는 이미지에 대한 깊이 맵을 제공하는 깊이 맵 소스(109), 및 깊이 맵의 픽셀들에 대한 신뢰도 값들을 갖는 신뢰도 맵을 제공하는 신뢰도 맵 소스(111)를 포함한다. 신뢰도 값들은 픽셀들을 신뢰 픽셀들 또는 비신뢰 픽셀들로 지정하여, 깊이 값이 신뢰성 기준을 충족시키는지의 여부를 반영한다. 깊이 수정기(113)는 깊이 맵의 픽셀들에 대한 깊이 값들을 수정하는 깊이 수정 동작을 수행한다. 제1 픽셀에 대한 수정된 깊이 값은 이것이 신뢰 픽셀로 지정되는 경우에 또는 픽셀들의 이웃 세트 내에 신뢰 픽셀들이 없는 경우에 제1 픽셀에 대한 현재 깊이 값으로서 결정되고, 그렇지 않은 경우에는 수정된 값은 현재 깊이 값, 및 신뢰 픽셀들로 지정된, 이웃 세트 내의 픽셀들의 깊이 값들의 함수로서 결정된 깊이 값 중 최대로서 결정된다.

Description

이미지에 대한 깊이 맵의 처리

본 발명은 이미지에 대한 깊이 맵을 처리하기 위한 방법 및 장치에 관한 것이며, 구체적으로는, 그러나 비-배타적으로, 추정 상위 값(estimated disparity value)들에 기초하여 깊이 맵을 결정하는 것에 관한 것이다.

삼차원(3D) 디스플레이들은 관찰되는 장면의 상이한 뷰(view)들을 관찰자의 두 눈에 제공함으로써 관찰 경험에 제3 차원을 추가한다. 이것은 표시되는 2개의 뷰를 분리하기 위한 안경을 사용자가 착용하게 함으로써 달성될 수 있다. 그러나, 이것은 사용자에게 불편한 것으로 간주될 수 있기 때문에, (렌티큘러 렌즈(lenticular lens)들 또는 배리어(barrier)들과 같은) 디스플레이에 있는 수단을 사용하여 뷰들을 분리하고, 그들이 개별적으로 사용자의 눈들에 도달할 수 있게 하는 상이한 방향들로 그들을 전송하는 무안경 입체 디스플레이(autostereoscopic display)들을 사용하는 것이 많은 시나리오에서 바람직하다. 입체 디스플레이들의 경우 2개의 뷰가 요구되는 반면, 무안경 입체 디스플레이들은 전형적으로 더 많은 뷰(이를테면 예를 들어 9개의 뷰)를 필요로 한다.

그러나, 제시되는 3차원 이미지의 품질은 수신된 이미지 데이터의 품질에 의존하고, 특히 3차원 인식은 수신된 깊이 정보의 품질에 의존한다.

3차원 이미지 정보는 종종 장면에 대한 상이한 뷰 방향들에 대응하는 복수의 이미지에 의해 제공된다. 특히, 영화 또는 텔레비전 프로그램과 같은 비디오 콘텐츠는 점점 더 소정의 3D 정보를 포함하도록 생성된다. 그러한 정보는 약간 오프셋된 카메라 위치들로부터 2개의 동시 이미지를 캡처하는 전용 3D 카메라들을 사용하여 캡처될 수 있다.

그러나, 많은 응용에서, 제공되는 이미지들은 원하는 방향들에 직접 대응하지 않을 수 있거나, 더 많은 이미지가 필요할 수 있다. 예를 들어, 무안경 입체 디스플레이들의 경우, 2개 초과의 이미지가 필요하며, 실제로 종종 9개 내지 26개의 뷰 이미지가 사용된다.

다른 뷰 방향들에 대응하는 이미지들을 생성하기 위해, 뷰 포인트 시프팅 처리가 이용될 수 있다. 이것은 전형적으로 관련 깊이 정보와 함께 단일 뷰 방향에 대한 이미지를 사용하는 뷰 시프팅 알고리즘에 의해 수행된다. 그러나, 현저한 아티팩트들 없이 새로운 뷰 이미지들을 생성하기 위해, 제공된 깊이 정보가 충분히 정확해야 한다. 특히, 무안경 입체 디스플레이들에 대해 멀티-뷰 이미지들을 렌더링할 때는 밀도가 높고 정확한 깊이 맵들이 필요하다.

불행하게도, 소스들에서 생성된 깊이 정보는 차선인 경향이 있고, 많은 응용에서 그것은 원하는 만큼 정확하지 않다.

장면을 캡처할 때 깊이 정보를 캡처하는 한 가지 방법은 상이한 뷰 레인지들을 나타내는 상이한 공간 위치들에서 다수의 카메라를 사용하는 것이다. 그러한 예들에서, 깊이 정보는 상이한 뷰 방향들에 대한 뷰 이미지들을 비교하는 것에 의해 깊이 값들을 추정하고 추출함으로써 생성된다.

많은 응용에서, 3차원 장면들은 약간 다른 위치들에서 2개의 카메라를 사용하여 입체 이미지들로서 캡처된다. 이어서, 2개의 이미지 내의 대응하는 이미지 객체들 간의 상위들을 추정함으로써 특정 깊이 값들이 생성될 수 있다. 그러나, 그러한 깊이 추출 및 추정은 문제가 있으며, 비이상적인 깊이 값들을 초래하는 경향이 있다. 이것은 다시 아티팩트들 및 저하된 3차원 이미지 품질을 초래할 수 있다.

깊이 정보를 캡처하기 위한 다른 접근법은 깊이 카메라들 또는 레인지 이미징 카메라들을 직접 사용하는 것이다. 그러한 카메라들은 방출된 (전형적으로 적외선) 신호들의 비행 시간 측정들에 기초하여 장면 내의 객체들까지의 깊이를 직접 추정할 수 있다. 그러나, 그러한 카메라들은 또한 결함들과 관련되며, 전형적으로 차선 깊이 정보를 제공한다.

실제로, 입체 카메라 셋업 및 적외선 기반 깊이 카메라로부터의 둘 모두의 상위 추정의 경우, 소정 영역들은 본질적으로 추정하기 어렵다. 예를 들어, 상위 추정의 경우, 하나의 카메라 뷰에서는 보이지만 다른 카메라 뷰에서는 보이지 않는 가림 영역(occlusion area)들이 존재하며, 이것은 그러한 영역들에서의 정확한 깊이 결정을 방해한다. 또한, 상이한 입력 이미지들에서 동일하거나 매우 유사한 시각적 특성들을 갖는 동질 영역들은 상위 추정을 위한 적합한 기초를 제공하지 않는다. 그러한 영역들에서, 매칭에 기초하는 상위 추정들은 매우 불확실할 것이다. 적외선 깊이 카메라들의 경우, 멀리 있는 객체들은 낮은 적외선 반사율, 및 이에 따라 깊이 추정들의 낮은 신호 대 잡음비를 유발할 것이다. 또한, 모발과 같은 소정 유형들의 객체들은 낮은 후방 산란 및 이에 따라 깊이 카메라로부터의 열악한 깊이 추정들을 유발하는 특정 적외선 산란 거동을 갖는다.

입체 카메라 시스템 및 깊이 센서 둘 모두의 경우, 어느 상위 또는 깊이 추정들이 신뢰성이 있고, 어느 상위 또는 깊이 추정들이 신뢰성이 없는지를 검출하는 방법들이 있다. 신뢰성 있는 깊이 추정들이 생성될 수 없는 영역들은 전형적으로 주위 깊이 값들의 가중 평균을 사용하여 채워지며, 여기서 컬러 이미지는 보간/확산에서 가이던스로서 사용된다. 그러나, 그러한 접근법은 많은 시나리오에서 차선의 깊이 추정들을 유발할 수 있으며, 이는 또한 그러한 깊이 정보를 사용하여 생성된 3차원 이미지에 대한 이미지 품질 및 깊이 인식을 저하시킬 수 있다.

따라서, 깊이 정보를 처리하기 위한 개선된 접근법이 유리할 것이며, 특히 증가된 유연성, 촉진된 구현, 감소된 복잡성, 개선된 깊이 정보, 개선된 3차원 경험 및/또는 개선된 인식 이미지 품질을 가능하게 하는 접근법이 유리할 것이다.

따라서, 본 발명은 전술한 불리한 점들 중 하나 이상을 단독으로 또는 임의의 조합으로 바람직하게 완화, 경감 또는 제거하고자 한다.

본 발명의 태양에 따르면, 깊이 맵을 처리하기 위한 장치가 제공되며, 장치는 이미지에 대한 깊이 맵을 제공하기 위한 깊이 맵 소스로서, 깊이 맵은 깊이 맵의 픽셀들에 대한 깊이 값들을 포함하는, 상기 깊이 맵 소스; 깊이 맵의 픽셀들에 대한 신뢰도 값들을 포함하는 신뢰도 맵을 제공하기 위한 신뢰도 맵 소스로서, 픽셀에 대한 신뢰도 값은 픽셀을 신뢰 픽셀 또는 비신뢰 픽셀로 지정하고, 신뢰 픽셀은 신뢰성 기준을 충족시키는 깊이 값을 갖고, 비신뢰 픽셀은 신뢰성 기준을 충족시키지 못하는 깊이 값을 갖는, 상기 신뢰도 맵 소스; 깊이 맵의 픽셀들에 대한 깊이 값들의 수정을 포함하는 깊이 수정 동작을 수행하도록 배열된 깊이 수정기로서, 깊이 수정기는 제1 픽셀이 신뢰 픽셀로 지정되는 경우에 또는 제1 픽셀에 대한 픽셀들의 이웃 세트 내에 신뢰 픽셀들이 없는 경우에 제1 픽셀에 대한 수정된 깊이 값을 제1 픽셀에 대한 현재 깊이 값으로 설정하고, 그렇지 않은 경우에는 수정된 값을 현재 깊이 값, 및 신뢰 픽셀들로 지정된, 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 함수로서 결정된 깊이 값 중 가장 큰 깊이 값으로 설정하도록 배열되는, 상기 깊이 수정기를 포함한다.

본 발명은 많은 시나리오에서 개선된 깊이 맵이 생성되도록 허용할 수 있다. 특히, 본 접근법은 많은 응용에서 전경에서 더 멀리 있어야 하는 객체들이 다른 객체들 앞에 나타나는 깊이 반전의 위험을 줄일 수 있다. 특히, 본 접근법은 원래 깊이 값들이 덜 정확하고 덜 신뢰성 있을 가능성이 있는 영역들에서 깊이 값들을 개선/생성하기 위한 유리한 접근법을 적용할 수 있다. 그러한 새로운 깊이 값들을 생성하기 위해 적용되는 특정 접근법은 많은 실시예에서 신뢰할 수 없거나 불확실한 구역들에서의 깊이 값들이 다른 더 신뢰성 있는 깊이 값들로부터 결정되도록 허용하면서, 인식 깊이 반전 또는 무질서를 방지하도록 그러한 결정을 제한할 수 있다.

본 접근법은 또한 효율적인 구현을 가능하게 할 수 있고, 깊이 이미지를 처리하기에 적합한 개선된 깊이 값들을 결정하기 위한 프로세스를 제공할 수 있다.

깊이 맵 및 신뢰도 맵은 이미지와 관련될 수 있고, 이에 따라 이미지의 콘텐츠에 대한 깊이 정보를 제공할 수 있다. 깊이 맵은 몇몇 실시예들에서 이미지보다 낮은 해상도를 가질 수 있으며, 이에 따라 몇몇 실시예들에서 이미지 픽셀들의 그룹들에 대해 깊이 값들이 제공될 수 있다. 예를 들어, 많은 실시예에서, 각각의 깊이 픽셀(즉, 깊이 맵의 픽셀)은 이미지 내의 4x4 또는 8x8 픽셀들의 픽셀 블록에 대응할 수 있다.

또한, 신뢰 픽셀은 신뢰성 있는 픽셀로, 그리고 비신뢰 픽셀은 신뢰성 없는 픽셀로 지칭될 수 있다. 신뢰성 기준은 개별 실시예의 특정 선호들 및 요구들에 의존할 수 있으며, 어떤 기준이 사용되는지는 중요하지 않다. 오히려, 프로세스의 출력은 사용되는 특정 신뢰성 기준에 의존할 수 있으며, 이에 따라 기준은 원하는 결과를 달성하도록 변경될 수 있다. 몇몇 실시예들에서, 신뢰성 기준은 신뢰도 값들이 신뢰도 맵에 저장되기 전에 적용될 수 있으며, 특히 그것은 신뢰도 맵이 처음 생성될 때 적용될 수 있다. 그러한 실시예들에서, 신뢰도 값들은 대응하는 픽셀들을 신뢰 픽셀 또는 비신뢰 픽셀로 나타내는 이진수 값들일 수 있다. 다른 실시예들에서, 신뢰성 기준은 예를 들어 주어진 픽셀의 처리 동안 평가될 수 있다. 예를 들어, 비이진수 신뢰도 값이 신뢰도 맵으로부터 검색될 수 있고, 이어서 이 값에 신뢰성 기준을 적용하여, 신뢰도 값이 신뢰 값을 나타내는지 또는 비신뢰 값을 나타내는지를 결정할 수 있다.

몇몇 실시예들에서, 신뢰도 값들은 대응하는 깊이 값의 추정된 신뢰성을 나타내는 비이진수 값들일 수 있다. 그러한 신뢰성 추정은 예를 들어 초기 깊이 값들을 생성하는 데 사용되는 깊이 결정 알고리즘의 일부로서 생성될 수 있다. 신뢰성 기준은 몇몇 실시예들에서 신뢰도 값이 임계치 위에 있는 경우에는 픽셀이 신뢰 픽셀로, 그렇지 않을 경우에는 비신뢰 픽셀로 지정되는 것을 반영할 수 있다. 임계치는 몇몇 실시예들에서 고정될 수 있거나, 예를 들어 가능하게는 다른 신뢰도 값들의 함수로서 가변적일 수 있다.

따라서, 깊이 수정 동작은 깊이 순서 제약을 포함하는 특정 기준들에 응답하여 새로운 깊이 값들을 생성할 수 있다. 깊이 수정 동작은 깊이 맵의 모든 픽셀들을 처리할 수 있고, 각각의 픽셀에 대해 수정된 깊이 값을 결정할 수 있다. 깊이 수정 동작은 특히 깊이 맵의 모든 픽셀들을 포함하는 깊이 맵의 스캐닝을 포함할 수 있다. 스캔 순서는 상이한 실시예들 사이에서 변할 수 있다. 수정된 깊이 값은 깊이 수정 동작의 수행 후의 깊이 맵의 값이다. 주어진 픽셀에 대해, 이 값은 깊이 수정 동작 전의 깊이 값과는 상이할 수 있거나, 특정 픽셀에 대한 평가에 따라 동일할 수 있음을 알 것이다. 수정된 깊이 값은 처리의 출력 깊이 값일 수 있다. 신뢰 픽셀들로 지정된, 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 함수로서 결정된 깊이 값은 변경된 깊이 값 또는 대체 값으로 간주될 수 있다. 수정된 깊이 값/출력 깊이 값은 변경 또는 대체 깊이 값으로 또는 원래 깊이 값으로 설정될 수 있다(즉, 깊이 값은 변경되지 않을 수 있다/유지될 수 있다). 이러한 선택은 픽셀들이 신뢰 픽셀들인지 또는 비신뢰 픽셀들인지의 고려에 기초하는 판정들의 결과에 의존한다.

이웃 세트는 현재 픽셀의 이웃에 있는 픽셀들을 포함할 수 있다. 이웃 세트는 제1 픽셀에 적용된 커널 내의 픽셀들에 대응할 수 있다. 이웃은 제1 픽셀을 포함하는 픽셀들의 인접 서브세트일 수 있다.

본 발명의 선택적인 특징에 따르면, 깊이 수정기는 깊이 수정 동작을 반복하도록 배열되고, 각각의 깊이 마더레이션 동작은 이전 반복으로부터의 수정된 깊이 맵에 대해 수행된다.

본 접근법은 반복적으로 사용될 때 특히 효율적인 동작을 제공할 수 있다. 실제로, 개별적인 특정 깊이 수정 동작은 반복에 매우 적합하며, 이때 각각의 반복은 예를 들어 신뢰 픽셀들과 비신뢰 픽셀들 간의 경계 영역들에서 개선된 깊이 값들을 제공한다. 각각의 깊이 수정 동작은 신뢰 픽셀들의 영역을 비신뢰 픽셀들의 영역으로 효과적으로 "성장"시킬 수 있다. 깊이 수정 동작의 반복은 이러한 "성장" 또는 확대가 비신뢰 영역으로 더 확장되면서, 이전 반복의 결과를 사용하여 추가의 깊이 값들을 생성하는 것을 가능하게 한다. 예를 들어, 개선된 깊이 값들이 현재 반복에서 생성되는 픽셀들의 깊이 값들은 다음 반복에서 신뢰 픽셀들로서 사용될 수 있으며, 이에 따라 다른 깊이 값들을 수정하는 데 사용될 수 있다.

본 접근법은 많은 실시예에서 실제로 매우 유리한 성능을 제공하면서 낮은 복잡성 및 효율적인 처리를 유지할 수 있다.

본 발명의 선택적인 특징에 따르면, 깊이 수정기(113)는, 각각의 깊이 마더레이션 동작에 대해, 신뢰도 맵의 신뢰도 값들을 수정하도록 배열되며; 각각의 깊이 마더레이션 동작은 이전 반복으로부터의 수정된 신뢰도 맵에 기초한다.

이것은 유리한 성능을 제공할 수 있고, 개선된 깊이 값들이 생성되도록 허용할 수 있다. 그것은 예를 들어 신뢰 영역들을 비신뢰 영역들로 확장시키기 위한 효율적인 접근법을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 깊이 수정기는 이웃 세트가 적어도 하나의 신뢰 픽셀을 포함한다는 검출에 응답하여 픽셀을 비신뢰 픽셀로 지정되는 것으로부터 신뢰 픽셀로 지정되는 것으로 변경하도록 배열된다.

이것은 반복들 사이에서 신뢰성 있는 깊이 값들/픽셀들을 전파하여, 가장 실질적인 시나리오들에 대한 유리한 성능을 유발하기 위한 특히 유리한 접근법을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 깊이 수정기는 미리 결정된 수의 반복을 수행하도록 배열된다.

이것은 낮은 복잡성을 유지하면서 효율적인 동작 및 고성능을 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 미리 결정된 수의 반복은 8회 이하의 반복이다.

비교적 적은 수의 반복을 사용하는 것은 복잡성을 줄이고, 계산 자원을 줄이며, 신뢰 영역들의 비신뢰 영역들로의 확장이 너무 과도한 것(예를 들어, 다른 신뢰 영역들에 속하는 깊이 값들과의 충돌을 유발함)을 방지할 수 있다. 특히, 8회 이하의 반복을 사용하는 것은 많은 실제 응용에 대한 매우 유리한 프로세스를 제공한다.

본 발명의 선택적인 특징에 따르면, 깊이 수정기는 깊이 맵의 깊이 값들로부터 결정된 깊이 특성에 응답하여 반복들의 수를 동적으로 적응시키도록 배열된다.

이것은 많은 시나리오에서 개선된 성능을 제공할 수 있으며, 현재 조건들에 대한 개선된 적응 및 최적화를 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 함수는 신뢰 픽셀들로 지정된, 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 평균화를 포함한다.

이것은 많은 실시예에서 개선된 깊이 맵을 유발할 수 있으며, 실제로 많은 전형적인 이미지에 대해 특히 유리하고 자연스러운 3차원 뷰잉 경험을 제공하도록 실현되었다.

본 발명의 선택적인 특징에 따르면, 함수는 신뢰 픽셀들로 지정된, 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들 중 최대를 선택하는 것을 포함한다.

이것은 많은 실시예에서 개선된 깊이 맵을 유발할 수 있으며, 실제로 많은 전형적인 이미지에 대해 특히 유리하고 자연스러운 3차원 뷰잉 경험을 제공하도록 실현되었다.

본 발명의 선택적인 특징에 따르면, 이웃 세트는 제1 픽셀까지의 거리가 임계치보다 작은 픽셀들만을 포함하며, 임계치는 5 픽셀을 초과하지 않는다.

이것은 많은 실제 응용 및 시나리오에서 인식 깊이 품질 및 복잡성과 자원 사용 간의 특히 유리한 절충을 제공한다. 특히, 비교적 작은 이웃 세트가 예를 들어 깊이 수정 동작의 반복에 특히 적합한 것이 실현되었다.

본 발명의 선택적 특징에 따르면, 깊이 수정기는 깊이 맵의 깊이 값들로부터 결정된 깊이 특성에 응답하여 이웃 세트의 크기를 결정하도록 배열된다.

이것은 많은 시나리오에서 개선된 성능을 제공할 수 있으며, 현재 조건들에 대한 개선된 적응 및 최적화를 제공할 수 있다.

본 발명의 선택적인 특징에 따르면, 깊이 맵은 비디오 신호의 프레임에 대한 것이고, 깊이 맵 소스는 비디오 신호의 다른 프레임들로부터의 시간 예측을 사용하여 깊이 맵의 비신뢰 픽셀들에 대한 초기 깊이 값들을 결정하도록 배열된다.

이것은 많은 시나리오에서 초기 깊이 값들을 생성하는 특정 방법과 이들을 개선하기 위한 프로세스 사이에서 특히 높은 시너지가 발견될 수 있는 시스템을 제공할 수 있다. 이러한 조합은 실제로 많은 전형적인 이미지에 대한 정확한 결과적인 깊이 맵을 제공하는 것으로 밝혀졌다.

본 발명의 선택적인 특징에 따르면, 깊이 맵 소스는 깊이 맵의 비신뢰 픽셀들에 공간 필터를 선택적으로 적용하도록 배열된다.

선택적 공간 필터링은 깊이 수정 동작들 중 하나 이상을 적용함으로써 후속 처리에 특히 적합한 깊이 맵을 제공할 수 있다.

본 발명의 태양에 따르면, 깊이 맵을 처리하는 방법이 제공되며, 방법은 이미지에 대한 깊이 맵을 제공하는 단계로서, 깊이 맵은 깊이 맵의 픽셀들에 대한 깊이 값들을 포함하는, 상기 깊이 맵 제공 단계; 깊이 맵의 픽셀들에 대한 신뢰도 값들을 포함하는 신뢰도 맵을 제공하는 단계로서, 픽셀에 대한 신뢰도 값은 픽셀을 신뢰 픽셀 또는 비신뢰 픽셀로 지정하고, 신뢰 픽셀은 신뢰도 기준을 충족시키는 깊이 값을 갖고, 비신뢰 픽셀은 신뢰도 기준을 충족시키지 못하는 깊이 값을 갖는, 상기 신뢰도 맵 제공 단계; 깊이 맵의 픽셀들에 대한 깊이 값들의 수정을 포함하는 깊이 수정 동작을 수행하는 단계로서, 깊이 수정은 제1 픽셀이 신뢰 픽셀로 지정되는 경우에 또는 제1 픽셀에 대한 픽셀들의 이웃 세트 내에 신뢰 픽셀들이 없는 경우에 제1 픽셀에 대한 수정된 깊이 값을 제1 픽셀에 대한 현재 깊이 값으로 설정하고, 그렇지 않은 경우에는 수정된 값을 현재 깊이 값, 및 신뢰 픽셀들로 지정된, 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 함수로서 결정된 깊이 값 중 가장 큰 깊이 값으로 설정하는 것을 포함하는, 상기 깊이 수정 동작 수행 단계를 포함한다.

본 발명의 이들 및 다른 태양들, 특징들 및 이점들이 이하에 설명되는 실시예(들)로부터 명백할 것이고 그것을 참조하여 설명될 것이다.

본 발명의 실시예들이 도면들을 참조하여 단지 예로서 설명될 것이다.
도 1은 본 발명의 몇몇 실시예들에 따른 장치를 포함하는 디스플레이 시스템의 예의 예시이다.
도 2는 무안경 입체 디스플레이로부터 투영되는 뷰 이미지들의 예를 예시한다.

다음의 설명은 3차원 비디오 시퀀스의 프레임인 3차원 이미지에 대한 깊이 맵에 적용 가능한 본 발명의 실시예들에 초점을 맞춘다. 그러나, 본 발명은 이러한 응용으로 제한되는 것이 아니라, 예를 들어 이미지 및 관련 깊이 맵으로 이루어진 개별 3차원 이미지들에 적용될 수 있다는 것을 알 것이다. 유사하게, 설명은 무안경 입체 디스플레이를 위한 뷰 이미지들을 생성하는 시스템에서의 응용에 초점을 맞출 것이지만, 이것은 특정 예일 뿐이고, 깊이 처리는 많은 다른 응용 및 용도에 동등하게 적용 가능할 것임을 알 것이다.

도 1은 본 발명의 몇몇 실시예들에 따른 시스템의 예를 예시한다. 특정 예에서, 무안경 입체 디스플레이(101)의 상이한 뷰들에 대응하는 이미지들이 입력 3차원 이미지로부터 생성된다. 입력 3차원 이미지는 예를 들어 관련 깊이 맵을 갖는 단일 이미지에 의해 표현될 수 있거나, 예를 들어 관련 깊이 맵이 그로부터 추출될 수 있는 입체 이미지들에 의해 표현될 수 있다.

전형적으로, 무안경 입체 디스플레이들은 뷰들의 "콘(cone)들"을 생성하며, 여기서 각각의 콘은 장면의 상이한 뷰잉 각도들에 대응하는 다수의 뷰를 포함한다. 인접한(또는 몇몇 경우에 더 변위된) 뷰들 사이의 뷰잉 각도 차이는 사용자의 우안과 좌안 사이의 뷰잉 각도 차이에 대응하도록 생성된다. 따라서, 좌안 및 우안이 2개의 적절한 뷰를 보는 뷰어는 3차원 효과를 인식할 것이다. 각각의 뷰잉 콘에서 9개의 상이한 뷰를 생성하는 무안경 입체 디스플레이의 예가 도 2에 예시되어 있다.

무안경 입체 디스플레이들은 렌티큘러 렌즈들 또는 패럴랙스 배리어들/배리어 마스크들과 같은 수단을 사용하여, 뷰들을 분리하고 이들을 상이한 방향들로 전송하여서, 그들이 사용자의 눈들에 개별적으로 도달하게 하는 경향이 있다. 입체 디스플레이들의 경우, 2개의 뷰가 필요하지만, 대부분의 무안경 입체 디스플레이들은 전형적으로 더 많은 뷰를 이용한다. 실제로, 일부 디스플레이들에서, 이미지의 상이한 부분들이 상이한 뷰잉 방향들로 투영될 수 있도록 이미지에 대해 뷰 방향들의 점진적인 전이가 수행된다. 따라서, 더 최근의 몇몇 무안경 입체 디스플레이들에서, 무안경 입체 디스플레이가 고정된 수의 완전한 뷰를 렌더링하기보다는, 뷰 방향들에 걸친 이미지 구역들의 더 점진적이고 연속적인 분포가 적용될 수 있다. 그러한 무안경 입체 디스플레이는 종종 전체 뷰들보다는 부분 뷰들을 제공하는 것으로 지칭된다. 부분 뷰들에 대한 더 많은 정보가 예를 들어 WO 2006/117707호에서 확인될 수 있다.

그러나, 대부분의 무안경 입체 디스플레이들에 공통적인 점은 그들이 비교적 많은 수의 상이한 뷰 방향에 대해 이미지 정보가 생성될 것을 요구한다는 것이다. 그러나, 전형적으로, 3차원 이미지 데이터는 입체 이미지로서 또는 깊이 맵을 갖는 이미지로서 제공된다. 요구되는 뷰 방향들을 생성하기 위해, 전형적으로 이미지 뷰 시프팅 알고리즘들이 렌더링에 적합한 픽셀 값들을 생성하도록 적용된다. 그러한 뷰 시프팅은 깊이 정보에 기초하며, 특히 픽셀들은 상이한 뷰들 사이에서 수평으로 시프팅되는 경향이 있으며, 이때 시프트의 크기는 픽셀의 깊이에 의존한다. 시프트는 디스플레이까지의 거리 또는 스크린 깊이(시프트가 없는 경우)에 따라 증가하며, 스크린 깊이 앞뒤의 객체들에 대해 반대 방향들이다.

도 1의 디스플레이 시스템은 무안경 입체 디스플레이(101)에 의해 렌더링될 장면의 3차원 이미지를 제공하도록 배열된 이미지 유닛(103)을 포함한다. 이미지 유닛(103)은 무안경 입체 디스플레이(101)를 위한 뷰 이미지들을 생성하도록 배열된 이미지 생성기(105)에 공급된다. 이미지 생성기(105)는 이미지로부터 수신된 적어도 하나의 2차원 이미지에, 그리고 이미지에 대한 깊이 정보를 제공하는 깊이 맵에 기초하는 뷰 시프팅에 의해 뷰 이미지들을 생성한다.

이미지 유닛(103)은 몇몇 실시예들에서 임의의 적합한 내부 또는 외부 소스로부터의 관련 깊이 맵을 갖는 입력 2차원 이미지로서 3차원 이미지를 간단히 수신하도록 배열될 수 있다. 예를 들어, 이미지 및 관련 깊이 맵에 의해 표현되는 3차원 이미지들을 포함하는 비디오 신호가 (인터넷과 같은) 네트워크, 방송 신호, 미디어 캐리어 등으로부터 수신될 수 있다. 그러한 이미지 및 깊이 맵 표현은 예를 들어 적외선 기반 레인징 깊이 카메라에 의해 생성될 수 있다.

다른 실시예들에서, 이미지 유닛(103)은 예를 들어 상이한 뷰 각도들에 대응하는 복수의 이미지로서, 그리고 특히 뷰어의 좌안 및 우안에 각각 대응하는 이미지를 갖는 입체 이미지로서 3차원 이미지를 수신할 수 있다. 그러한 이미지는 예를 들어 입체 카메라에 의해 생성될 수 있다. 그러한 실시예들에서, 시스템은 이미지에 대해 수행된 상위 추정에 기초하여 깊이 맵을 생성하도록 배열될 수 있다. 몇몇 실시예들에서, 수신된 3차원 이미지는 예를 들어 입체 이미지들로부터의 상위 추정에 의해 외부 소스에 의해 생성된 관련 깊이 맵을 갖는 2차원 이미지에 의해 표현될 수 있다.

이미지 생성기(105)는 2차원 이미지에 대한 깊이 맵에 기초하는 뷰 포인트 시프팅에 의해 무안경 입체 디스플레이(101)를 위한 뷰 이미지들을 생성하도록 배열된다(간결성을 위해, 이하의 설명은 (중앙) 2차원 이미지 및 깊이 맵으로부터의 시프팅에 의해 뷰 이미지들을 생성하는 이미지 생성기(105)에 초점을 맞출 것이다. 그러나, 다른 실시예들에서, 뷰 이미지 생성은 기술자에게 알려진 바와 같이 하나 초과의 2차원 이미지에 기초할 수 있음을 알 것이다).

도 1의 시스템에서, 이미지 유닛(103)에 의해 수신된 깊이 정보는 이미지 생성기(105)에 공급되기 전에 수정된다. 따라서, 이미지 유닛(103)은, 이미지 유닛(103)에 결합되고, 수정된 깊이 맵을 생성하기 위해 깊이 맵을 처리하도록 배열되는 깊이 유닛(107)의 형태인 장치에 공급된다. 이어서, 수정된 깊이 맵은 이미지 생성기(105)에 공급되며, 이곳에서 그것은 무안경 입체 디스플레이(101)를 위한 뷰 이미지들을 생성하는 데 사용된다.

따라서, 이미지 생성기(105)는 깊이 유닛(107)으로부터 수정된 깊이 맵을 그리고 이미지 유닛(103)으로부터 입력 이미지를 수신한다. 이미지 생성기(105)는 뷰 시프팅을 수행하여 무안경 입체 디스플레이(101)에 의해 생성된 상이한 뷰들과 관련된 특정 뷰 방향들에 대한 뷰 이미지들을 생성함으로써 무안경 입체 디스플레이(101)를 위한 뷰 이미지들을 생성하도록 배열된다. 이미지 생성기(105)는 입력 이미지 및 수정된 깊이 맵에 기초하는 뷰 시프팅 알고리즘에 의해 이들 이미지를 생성하도록 배열된다.

기술자는 많은 상이한 뷰 시프팅 알고리즘을 알 것이며, 임의의 적합한 알고리즘이 본 발명으로부터 벗어남이 없이 사용될 수 있다는 것을 알 것이다.

인식 이미지 품질 및 깊이 인식은 생성된 뷰 이미지들의 품질 및 정확성에 크게 의존한다. 이미지 시프팅에 의한 이들 뷰 이미지의 생성은 또한 시프트 동작이 수행되는 깊이 정보의 품질 및 정확성에 크게 의존한다. 실제로, 많은 3차원 이미지 동작은 깊이 정보의 품질에 크게 의존한다. 예를 들어, 입체 뷰들은 깊이 정보에 기초하여 생성될 수 있어서, 제시되는 이미지는 예를 들어 사용자의 머리 움직임을 따를 수 있다(예를 들어, 안경 기반 3차원 이미지의 뷰어가 그의 머리를 움직임으로써 전경 이미지들을 둘러볼 수 있게 한다).

그러나, 대부분의 실제 응용들에서, 제공되는 깊이 정보는 불완전하다. 특히, 상이한 뷰잉 각도들에서 캡처된 이미지들로부터의 상위 추정에 의해 생성된 깊이 맵들은 깊이 정보가 제공될 수 없거나 매우 불확실한 영역들을 생성하는 경향이 있다. 그러한 영역들은 예를 들어 둘 모두의 (모든) 이미지에서 보이지 않는 객체들(부분들)에 대해, 또는 다른 영역들과 유사하거나 텍스처 또는 반복 패턴들을 거의 또는 전혀 갖지 않는 영역들에 대해 발생할 수 있다. 유사하게, 깊이 카메라들에 의해 생성된 깊이 맵의 경우, 깊이 정보가 누락되거나 신뢰할 수 없는 영역들이 전형적으로 발생할 수 있다. 그러한 영역들은 예를 들어 멀리 떨어져 있거나 부적합한 적외선 반사 특성들을 갖는 객체들(예를 들어, 모발)에 대응할 수 있다.

도 1의 이미지 렌더링 시스템에서, 깊이 유닛(107)은 깊이 맵을 개선하도록 배열되고, 특히 그것은 원래의 깊이 맵 값들이 신뢰성 없는 것으로 간주되는 영역들에 대한 개선된 깊이 정보를 제공하도록 배열된다. 본 접근법은 특히 주위 영역들의 깊이 값들에 기초하여 신뢰성 없는 것으로 간주되는 영역들에서 깊이 값들을 할당하거나 결정할 수 있다. 또한, 본 접근법은 이것이 깊이 순서 제약을 조건으로 한다는 것에 기초하며, 이 깊이 순서 제약은 신뢰성 없는 영역들에서의 새로운 깊이 값들이 주어진 이웃 내에서 신뢰성 있는 것으로 간주되는 깊이 값들보다 더 뒤에 있도록 제한되도록 깊이 수정을 구체적으로 제어할 수 있다. 깊이 유닛(107)은 이하의 예시적인 실시예들에 의해 더 상세하게 설명되는 특정 접근법을 사용한다.

깊이 유닛(107)은 입력 이미지에 대한 깊이 맵을 제공하는 깊이 맵 소스(109)를 포함한다. 몇몇 실시예들에서, 깊이 맵 소스(109)는 이미지 유닛(103)으로부터 깊이 맵을 간단히 수신할 수 있다. 예를 들어, 몇몇 실시예들에서, 이미지 유닛(103)은 각각의 프레임에 대해 2차원 이미지 및 관련 깊이 맵을 포함하는 3차원 비디오 스트림을 수신할 수 있다. 깊이 맵은 깊이 맵 소스(109)에 의해 추출될 수 있다. 다른 실시예들에서, 깊이 맵 소스(109)는 자체가 깊이 맵을 생성하도록 배열될 수 있다. 예를 들어, 깊이 맵 소스(109)는 이미지 유닛(103)으로부터 입체 이미지들을 수신하고, 입체 이미지들에 기초하는 상위 추정에 의해 깊이 맵을 생성하도록 진행할 수 있다.

깊이 맵들에 포함된 깊이 값들은, 구체적으로 깊이 좌표(z) 값 또는 상이한 뷰 방향들의 이미지들 사이의 시프트들을 나타내는 상위 값과 같은 임의의 적합한 깊이 표현일 수 있다. 깊이 값이 클수록 깊이가 큰데, 즉 뷰어로부터 더 멀다. 따라서, 깊이 값의 증가는 3차원 디스플레이 앞의 (명목상) 뷰 위치로부터의 거리의 증가를 나타낸다.

또한, 깊이 유닛(107)은 깊이 맵의 픽셀들에 대한 신뢰도 값들을 포함하는 신뢰도 맵을 제공하기 위한 신뢰도 맵 소스(111)를 포함한다. 픽셀에 대한 신뢰도 값은 깊이 값 픽셀의 신뢰성을 나타내며, 픽셀이 신뢰성 있는 깊이 값을 갖는 것으로 간주되는지 또는 신뢰성 있는 깊이 값을 갖지 않는 것으로 간주되는지를 나타낸다. 따라서, 신뢰도 값은 픽셀에 대한 깊이 값의 신뢰도를 반영한다. 실제로, 실제 장면들의 이미지들에 대한 깊이 값 생성은 본질적으로 추정의 요소를 포함하므로, 생성되는 깊이 값들은 본질적으로 깊이 값 추정들이며, 소정의 불확실성을 포함할 수 있다. 불확실성의 정도는 그 픽셀에 대한 특정 특성들에 따라(예를 들어, 상위 기반 추정에 대한 시각적 특성들, 레인징 깊이 카메라에 대한 적외선 반사 특성들 등에 따라) 상이한 픽셀들에 대해 달라진다. 주어진 픽셀에 대한 신뢰도 값은 그 픽셀에 대한 깊이 값의 불확실성을 반영한다.

신뢰도 맵 소스(111)에 의해 제공된 신뢰도 맵은 이진수 값들을 포함하고, 기본적으로 픽셀들을 신뢰(신뢰성 있는) 픽셀들로서 또는 비신뢰(신뢰성 없는) 픽셀들로 지정한다. 따라서, 일부 픽셀들은 신뢰/신뢰성 있는 픽셀들로 간주되며, 변경되지 않아야 하는 깊이 값들을 갖는다. 그러나, 다른 픽셀들은 비신뢰/신뢰성 없는 픽셀들로 간주되며, 너무 불확실할 수 있고 수정하는 것이 바람직할 수 있는 깊이 값들을 갖는다.

몇몇 실시예들에서, 신뢰도 맵은 비이진수 값들에 의해 채워질 수 있다는 것을 알아야 한다. 예를 들어, 연판정 신뢰도 추정 값(soft-decision confidence estimate value)이 각각의 픽셀에 대해 저장될 수 있다. 그러나, 그러한 비이진수 신뢰도 값은 픽셀이 신뢰 픽셀로 간주되는지 또는 비신뢰 픽셀로 간주되는지를 여전히 반영할 것이다. 실제로, 프로세스는 비이진수 신뢰도 값이 임계치보다 높은 모든 픽셀을 신뢰 픽셀로, 그리고 값이 임계치보다 낮은(또는 동일한) 픽셀들을 비신뢰 픽셀들로 간주할 수 있다. 실제로, 몇몇 실시예들에서, 신뢰 또는 비신뢰 픽셀들로서의 픽셀들의 지정은 심지어 상대적인 결정일 수 있는데, 즉 그것은 다른 픽셀들의 신뢰도들에 의존할 수 있다. 예를 들어, 픽셀은 그것이 비교되는 이웃보다 높은 신뢰도 값을 갖는 경우에 신뢰 픽셀로 간주될 수 있다.

따라서, 몇몇 실시예들에서, 신뢰도 맵은 신뢰도 값을 나타낼 수 있는 신뢰도 값들을 포함할 수 있으며, 이 신뢰도 값이 신뢰 픽셀에 대응하는지 또는 비신뢰 픽셀에 대응하는지가 처리 동안 (그리고 가능하게는 다른 픽셀 신뢰도들과 비교하여) 먼저 결정될 수 있다는 것을 알 것이다. 따라서, 몇몇 실시예들에서, 픽셀이 신뢰 픽셀인지 또는 비신뢰 픽셀인지를 결정하는 신뢰성 기준은 신뢰도 맵에 값들을 저장하기 전보다는 후속 처리 동안 (가능하게는 여러 번) 적용될 수 있다.

그러나, 명료함 및 간결성을 위해, 다음의 설명은 깊이 맵이 개별 픽셀이 신뢰 픽셀로 지정되는지 또는 비신뢰 픽셀로 지정되는지를 직접 반영하는 이진수 값들을 포함하는 실시예들에 초점을 맞출 것이다. 따라서, 이들 실시예에서, 신뢰도/신뢰성 기준은 비이진수 신뢰도 값들에 적용될 수 있고, 그 결과들은 신뢰도 맵에 이진수 값들로서 저장될 수 있다.

따라서, 특정 예에서, 깊이 맵은 깊이 맵에 대한 이진수 신뢰도 값들을 포함하고, 깊이 맵 픽셀들을 신뢰/신뢰성 있는 픽셀들로서 또는 비신뢰/신뢰성 없는 픽셀들로 지정한다.

픽셀들을 신뢰/신뢰성 있는 픽셀들 또는 비신뢰/신뢰성 없는 픽셀들로 지정하기 위해 상이한 접근법들이 사용될 수 있다는 것을 알 것이다. 구체적으로, 신뢰 픽셀은 신뢰/신뢰성 기준을 충족시키는 깊이 값을 갖는 픽셀이고, 비신뢰 픽셀은 신뢰/신뢰성 기준을 충족시키지 않는 깊이 값을 갖는 픽셀이다. 본 경우에, 기준은 신뢰도 맵을 채우기 전에 적용된다. 다른 실시예들에서, 비이진수 신뢰도 값들이 깊이 맵에 저장될 수 있고, 이들 신뢰도 값이 신뢰 픽셀들을 지정하는지 또는 비신뢰 픽셀들을 지정하는지의 결정은 처리 동안 신뢰성 기준의 적용까지 결정되지 않을 수 있다.

신뢰도 기준은 상이한 실시예들에서 상이할 수 있고, 개별 실시예의 특정 요구들 및 선호들에 기초하여 선택될 것이라는 것을 알 것이다.

예를 들어, 픽셀들은 텍스처, 반복 패턴이 거의 또는 전혀 없거나 다른 이미지에서 매칭 이미지 영역이 식별될 수 없는 영역들에 속하는 픽셀들을 제외하고는 신뢰성 있는 픽셀들로 지정될 수 있다.

많은 실시예에서, 신뢰도 값들은 깊이 추정의 부산물로서 생성될 수 있다. 언급된 바와 같이, 텍스처가 거의 없는 영역들이 비신뢰 영역들일 수 있지만, 또한 잡음이 많거나 극단적인 깊이 값들을 갖는 영역들이 비신뢰 영역들로 간주될 수 있다. 따라서, 많은 실시예에서, (깊이 맵 소스(109)에 의한 처리의 일부일 수 있는) 깊이 맵 생성 프로세스는 신뢰도 맵 소스(111)에 의해 수행되는 신뢰도 계산을 위한 정보를 제공할 수 있다.

특정 예로서, 상위 추정은 우안 이미지 내의 영역을 선택하고 좌안 이미지 내의 대응하는 영역을 찾는 것에 기초할 수 있다. 대응하는 상위들은 제1 깊이 맵을 생성하는 데 사용될 수 있다. 이어서, 프로세스는 반복될 수 있지만, 좌안 이미지 내의 영역을 선택하고 우안 이미지 내의 대응하는 영역을 찾음으로써 시작될 수 있다. 2개의 접근법이 충분히 근접한 상위 추정들을 유발하는 경우, 픽셀은 신뢰/신뢰성 있는 픽셀로 지정된다. 그렇지 않은 경우에는, 그것은 비신뢰/신뢰성 있는 픽셀인 것으로 지정된다.

깊이 레인징 카메라의 경우, 신뢰/비신뢰 픽셀들로서의 픽셀들의 지정은 예를 들어 수신된 광 신호의 밝기에 임계치를 적용함으로써 달성될 수 있다. (적외선) 광원에 의해 전송된 광 또는 패턴이 너무 멀리 있거나 입사광을 센서로부터 멀어지는 쪽으로 산란시키는 객체들 상에서 반사될 때, 광이 거의(또는 전혀) 센서로 복귀되지 않으며, 거리들이 신뢰성 있게 추정될 수 없다.

상이한 접근법들 및 기준들이 상이한 실시예들에서 사용될 수 있고, 어떤 접근법이 사용되는지는 중요하지 않다는 것을 알 것이다. 실제로, 접근법은 신뢰도 맵의 가용성에 기초하지만, 이것이 어떻게 생성되는지(또는 심지어는 그것이 얼마나 정확한지)에는 기초하지 않는다.

몇몇 실시예들에서, 신뢰도 맵 소스(111)는 신뢰도 값들을 결정하는 프로세스를 자체적으로 수행하도록 배열될 수 있다. 다른 실시예들에서, 알고리즘들은 외부에서 수행될 수 있으며, 데이터는 입력 신호와 함께 제공될 수 있다. 예를 들어, 레인징 깊이 카메라는 이미지, 관련 깊이 맵, 및 생성된 깊이 값들의 신뢰도를 나타내는 관련 신뢰성 맵을 포함하는 출력을 직접 생성할 수 있다. 그러한 데이터 스트림은 이미지 유닛(103)에 직접 제공될 수 있다. 신뢰도 맵 소스(111)는 몇몇 실시예들에서 그러한 이용 가능한 맵을 간단히 추출할 수 있다. 몇몇 실시예들에서, 신뢰도 맵 소스(111)는 비이진수 신뢰성 추정들을 갖는 제공된 신뢰성 맵을 경양자화(hard quantizing)함으로써 이진수 신뢰도 맵을 생성할 수 있다.

신뢰도 맵 소스(111) 및 깊이 맵 소스(109)는 신뢰도 맵에 기초하여 깊이 맵을 처리하여 수정된 깊이 맵을 생성하도록 배열된 깊이 수정기(113)에 결합되며, 이어서 수정된 깊이 맵은 이미지 생성기(105)에 공급되고 이미지 시프트 동작들에 사용된다.

깊이 수정기(113)는 깊이 맵의 픽셀들에 대한 깊이 값들을 수정할 수 있는 깊이 수정 동작을 수행한다. 전형적으로, 신뢰 픽셀들에 대한 깊이 값들은 수정되지 않는 반면, 비신뢰 픽셀들에 대한 깊이 값들은 이웃의 신뢰 픽셀들의 존재 및 값들에 따라 수정될 수 있거나 수정되지 않을 수 있다.

따라서, 깊이 수정 동작은 깊이 맵/신뢰도 맵의 각각의 픽셀을 순차적으로 처리하여서 깊이 맵을 수정하는 것을 포함한다. 편의상, 동작이 수행되는 깊이 맵(즉, 깊이 수정 동작 전의 깊이 맵)의 상태는 입력 깊이 맵으로 지칭될 것이고, 깊이 수정 동작으로부터 생성되는 깊이 맵(즉, 깊이 수정 동작 후의 깊이 맵)의 상태는 출력 깊이 맵으로 지칭될 것이다.

현재 픽셀이 신뢰 픽셀인 경우, 깊이 수정기(113)는 깊이 값을 변경하는 것이 아니라 오히려 현재 깊이 값을 유지한다. 따라서, 이 경우, 출력 깊이 맵의 깊이 값은 입력 깊이 맵의 깊이 값과 동일하다.

그러나, 비신뢰 픽셀들의 경우, 처리는 이웃 내의 다른 픽셀들에 의존한다. 이웃은 전형적으로 비교적 작고, 설명은 이웃이 3x3 픽셀 블록인, 즉 그것이 현재 픽셀에 인접한 모든 픽셀들을 포함하는 특정 예에 초점을 맞출 것이다. 그러나, 다른 실시예들에서는 다른 크기들이 사용될 것이며, 실제로 설명되는 원리들은 임의의 크기 또는 형상의 이웃 구역에 적용될 수 있으며, 이때 구체적인 선택은 개별 실시예의 선호들 및 요구들에 의존한다. 전형적으로, 이웃의 크기 및 형상은 예를 들어 처리 효율 및 저역 통과 필터링 효과를 포함한 파라미터들 간의 절충일 수 있다.

따라서, 비신뢰 픽셀들의 경우, 깊이 수정기(113)는 특정 예에서 현재 픽셀에 인접한 모든 픽셀들을 포함하는 픽셀들의 이웃 세트를 고려한다.

깊이 수정기(113)가 이웃 세트 내에 다른 신뢰 픽셀들이 없다고 결정하는 경우, 그것은 현재 깊이 값을 계속 유지하는데, 즉 이웃 세트 내에 신뢰 픽셀들이 없는 경우, 출력 깊이 맵의 깊이 값은 입력 깊이 맵의 깊이 값과 동일하도록 설정된다.

그러나, 이웃 세트 내에 임의의 신뢰 픽셀들이 있는 경우, 깊이 수정기(113)는 이웃 세트 내의, 그러나 신뢰 픽셀들로 지정된 픽셀들만을 포함하는 픽셀들의 깊이 값들의 함수로서 깊이 값을 생성하도록 진행한다. 이러한 깊이 값은 이하에서 추정 깊이 값으로 지칭된다. 추정 깊이 값은 비신뢰 픽셀들을 무시하면서 이웃 세트 내의 모든 신뢰 픽셀들의 깊이 값들의 함수로서 생성될 수 있는데, 즉 추정 깊이 값은 비신뢰 값들의 깊이 값들에 의존하지 않는다.

추정 깊이 값을 생성하기 위한 함수는 상이한 실시예들에서 상이할 수 있거나, 심지어 특정 구현 내에서 동적으로 달라질 수 있다. 특정 예로서, 추정 깊이 값은 신뢰 픽셀들의 깊이 값들의 평균값으로서 생성될 수 있다. 이웃 세트가 충분히 작게 선택되는 경우, 추정 깊이 값은 따라서 비신뢰 픽셀에 대한 정확한 깊이 값의 양호한 추정일 수 있다.

그러나, 깊이 수정기(113)는 단순히 추정 깊이 값을 비신뢰 픽셀에 할당하도록 진행하는 것이 아니라, 오히려 그것은 추정 깊이 값을 현재 또는 원래 깊이 값(즉, 입력 깊이 맵의 깊이 값)과 비교한다. 이어서, 그것은 가장 큰 깊이 값(즉, 뷰어로부터 가장 먼 것)을 선택하고, 이것을 수정된 깊이 값으로 사용하는데, 즉 출력 깊이 맵의 깊이 값은 입력 이미지의 깊이 값 및 추정 깊이 값 중 가장 큰 깊이로 설정된다.

따라서, 본 접근법에서, 깊이 수정기(113)는 적합한 이웃 내의 신뢰 픽셀들의 깊이 값들에 기초하여 비신뢰 픽셀들에 대한 깊이 값들을 결정한다. 그러나, 또한, 그것은 새로운 깊이 값이 현재 깊이 값보다 더 뒤에 있는 경우에만 새로운 깊이 값이 픽셀에 할당되는 것을 보장하는 깊이 순서 제약을 이용한다.

그러한 깊이 순서 제약은 다른 깊이 값들에 기초하여 깊이 값들을 결정하기 위한 종래의 접근법들에서 때때로 발생할 수 있는 아티팩트들을 방지하기 위해 본 발명자들에 의해 실현되었다. 특히, 그것은 위험을 줄이거나, 몇몇 경우에 불확실한 영역들에 대응하는 객체들이 전경 객체들 앞에 있는 것으로 잘못 제시되는 것을 방지할 수 있다. 따라서, 개선된 3차원 렌더링이 달성될 수 있다.

설명되는 접근법은 깊이 맵이 신뢰도 맵에 기초하여 수정되는 시스템에 관한 것이다. 본 접근법에서, 픽셀들은 신뢰 픽셀들 또는 비신뢰 픽셀들로 분류된다. 주어진 픽셀에 대해, 수정된 깊이 값은 다음과 같이 설정될 수 있다:

픽셀이 신뢰 픽셀로 지정되거나,

이웃에 신뢰 픽셀이 없거나,

수정된 깊이 값이 원래 깊이 값 앞에 있는 경우에,

원래 깊이 값이 유지되며(즉, 수정된/출력 깊이 값이 원래 깊이 값으로 설정되며, 즉 깊이 값의 변화가 발생하지 않으며),

그렇지 않은 경우에는,

수정된 깊이 값이 대체(이웃에 의해 결정된) 깊이 값으로 설정되며,

여기서

대체(이웃에 의해 결정된) 깊이 값은 이웃 내의 신뢰 픽셀들에 대한 깊이 값들의 함수이다.

본 접근법은 깊이 값을 현재 픽셀의 이웃의 깊이 값들로부터 결정되는 깊이 값이도록 변경하는 것이 적절한 때와 원래 깊이 값이 변경되지 않고 유지되어야 할 때를 결정하기 위해 특정 판정 트리를 사용한다. 판정 트리는 신뢰 및 비신뢰 픽셀들로의 픽셀들의 분류에 기초한다. 또한, 판정 트리가 깊이 값을 변경하는 판정을 유발하는 경우, 신뢰 픽셀들만이 고려되는데, 즉 대체 깊이 값의 결정은 또한 분류들에 의존한다.

본 접근법은 이진수 지정에 기초하여 언제 원래 깊이 값을 유지할지 그리고 언제 이것을 변경할지에 대한 기준을 정의하며, 특히 픽셀 자체가 신뢰되는지뿐만 아니라 이웃에 신뢰 픽셀들이 있는지의 둘 모두를 고려한다. 깊이는 4개의 가능한 선택 사항 중 하나에서만 변경된다.

지정/분류는 또한 대체 깊이 값을 결정할 때 이웃 내의 몇몇 픽셀들을 (잠재적으로) 폐기하는 데 사용된다. 깊이 순서에 대한 특정 제약은 판정 트리의 다른 테스트들/평가들과 밀접하게 통합된다는 점에도 유의한다. 실제로, 대체 깊이 값이 원래 깊이 값 앞에 있는지의 여부에 대한 테스트는 제1 픽셀이 신뢰 픽셀이 아니라 이웃에 하나 이상의 신뢰 픽셀이 있는 특정 상황에만 관련된다는 점에 유의한다. 따라서, 그것은 특히 원래 깊이 값이 신뢰성 없는 것으로 간주되는 반면 대체 깊이 값이 신뢰성 있는 픽셀들에만 기초하므로 신뢰성 있는 것으로 간주되는 시나리오와 관련된다. 그러나, 테스트는 이러한 경우에도 원래 값이 대체 깊이 값 뒤에 있는 경우에는 선택되어야 한다는 것을 정의한다. 따라서, 그것은 신뢰성 있는 값에 비해 신뢰성 없는 값이 선택되는 특정 시나리오를 정의한다. 이것은 직관에 반하지만, 본 발명자들은 깊이 맵이, 예를 들어 렌더링될 때, 더 신뢰성 있는 값이 항상 사용되는 경우보다 품질이 더 높은 것으로 인식되는 놀라운 결과를 가져오는 것을 실현하였다.

따라서, 판정 트리의 다른 테스트들은 가장 신뢰성 있는 깊이 값들을 식별하여 이들에 기초하여 출력 수정 깊이 값이 결정될 수 있도록 시도하는 것으로 간주될 수 있지만, 깊이 제약 요구들은 상반된 접근법을 취하고, 최소 신뢰성의 선택 사항을 선택하는데, 즉 출력 깊이 값은 더 신뢰성 있는 대체 값이 이용 가능할지라도 신뢰성 없는 값으로 설정된다.

깊이 수정기(113)는 깊이 수정 동작 동안 신뢰도 맵을 더 수정할 수 있다. 특히, 신뢰 픽셀의 경우, 신뢰도 값은 신뢰 값으로서 유지된다. 따라서, 일단 픽셀이 신뢰 픽셀로 지정되면, 그것은 그렇게 유지될 것이다.

다음으로, 픽셀이 비신뢰 픽셀이지만 이웃 내의 신뢰 픽셀들의 수가 0보다 큰 경우(즉, 이웃 세트에 적어도 하나의 신뢰 픽셀이 있는 경우), 픽셀은 신뢰 픽셀로 지정되도록 변경된다. 따라서, 일단 추정 깊이 값이 비신뢰 픽셀에 대해 계산되면, 픽셀은 원래 깊이 값 또는 추정 깊이 값(가장 큰 깊이를 나타내는 것)을 할당받을 것이고, 픽셀은 이제 신뢰 픽셀로 지정될 것이다(그리고 이에 따라 후속적으로 수정되지 않을 것이다).

그러나, 이웃에 신뢰 픽셀이 없는 비신뢰 픽셀의 경우, 픽셀은 여전히 비신뢰 픽셀로 간주된다.

수정 깊이 맵 값들 및 수정 신뢰도 맵 값들은 깊이 수정 동작의 일부로서 다른 픽셀들을 처리할 때 사용되지 않는데, 즉 깊이 수정 동작은 입력 깊이 맵 및 입력 신뢰도 맵에 기초하여 수행된다.

깊이 맵의 픽셀들을 순차적으로 처리할 때, 깊이 수정기(113)는 이에 따라 신뢰 픽셀들의 영역들을 비신뢰 픽셀들의 영역들로 성장시키거나 확장시키도록 진행한다. 이러한 성장 또는 확장의 정도는 고려되는 이웃의 크기에 의해 결정된다. 이웃이 클수록 신뢰 영역은 비신뢰 영역 안으로 더 침투할 수 있다(본질적으로, 신뢰 픽셀이 가질 수 있는 효과 또는 영향은 이웃의 크기에 의해 제한된다). 따라서, 깊이 수정 동작을 수행하는 효과는 신뢰 픽셀 구역들이 이웃 크기에 의해 주어진 양만큼 비신뢰 구역들로 확장함으로써 비신뢰 픽셀들의 구역들이 감소된다는 것이다. 깊이 수정 동작의 결과로서, 경계 영역들 내의 다수의 비신뢰 픽셀이 깊이 순서 제약을 받는 새로운 값들을 할당받았고, 신뢰 픽셀들로 간주되도록 변경되었다.

몇몇 실시예들에서, 깊이 수정기(113)는 깊이 수정 동작을 반복하도록 배열될 수 있으며, 여기서 각각의 깊이 수정 동작은 (원래 깊이 맵, 및 깊이 맵 소스(109) 및 신뢰도 맵 소스(111)로부터 각각 수신된 신뢰도 맵에 기초하는 제1 반복을 제외한) 이전의 반복에서 생성된 수정된 깊이 맵에 대해 수행된다.

따라서, 이러한 접근법에서, 깊이 수정기(113)는 앞서 설명된 바와 같이 입력 깊이 맵 및 입력 신뢰도 맵으로부터 출력 깊이 맵 및 출력 신뢰도 맵을 생성하기 위해 깊이 수정 동작을 적용한다. 이어서, 그것은 이전에 생성된 출력 깊이 및 신뢰도 맵들을 입력 깊이 및 신뢰도 맵들로서 사용하여 깊이 수정 동작을 다시 수행하도록 진행한다.

이러한 방식으로, 신뢰 구역들은 비신뢰 구역들로 반복적으로 성장할 수 있으며, 이때 하나의 동작에서의 확장은 이전의 확장에 의해 생성된 값들을 이용한다. 따라서, 신뢰 구역들이 반복적으로 성장할 수 있고 비신뢰 구역들이 이에 상응하여 반복적으로 축소될 수 있다.

따라서, 특정 예에서, 깊이 수정기(113)는 깊이 수정 동작을 반복하며, 여기서 각각의 동작은 깊이 맵 및 신뢰도 맵에 기초한다. 이어서, 다음 깊이 수정 동작은 이전의 반복의 수정된 깊이 맵 및 신뢰도 맵에 기초한다. 특히, 깊이 수정기(113)는 이웃 세트가 적어도 하나의 신뢰 픽셀을 포함한다는 검출에 응답하여 픽셀을 비신뢰 픽셀로부터 신뢰 픽셀인 것으로 변경하도록 배열된다. 그러한 경우, 추정 깊이 값이 결정되고, (그것이 원래 값보다 더 뒤에 있는 경우에) 잠재적으로 픽셀에 할당될 수 있다. 따라서, 새로운 값은 신뢰성 있는 것으로 간주되며, 이에 따라 후속 동작들에서 신뢰 픽셀로서 유용한 것으로 지시된다.

이하에서, 이전의 설명에 따른 동작의 특정 예가 제공된다. 본 예는 깊이 맵 소스(109) 및 신뢰도 맵 소스(111)에 의해 각각 제공되는 상위 맵 D(x, y) 및 신뢰도 맵 C(x, y)의 형태의 깊이 맵에 기초한다.

본 예에서, 깊이 순서 제약은 다수의 반복에 대해 실행되는 재귀 필터 동작으로서 구현된다. 각각의 반복은 이전 반복들로부터의 상위 맵 및 신뢰도 맵에서 시작되며, 갱신된 상위 맵 및 갱신된 신뢰도 맵을 유발한다. D ^{( k )}(x, y)는 현재 반복 k에서의 상위 맵을 나타낸다고 하자.

이어서, 각각의 반복은 다음과 같이 상위 맵을 갱신하고:

다음과 같이 신뢰도 맵을 갱신하며(이때 C ^(k) (x, y)는 반복 k에서의 신뢰도 맵을 나타냄):

여기서,

이다.

이웃 내의 신뢰 픽셀들의 세트는 _{(x_confident, y_confident}에 의해 표시되며, N _confident는 이웃 내의 신뢰 픽셀들의 수를 나타낸다.

반복들의 수는 개별 실시예의 특정 선호들 및 요구들에 의존할 수 있다. 그러나, 많은 실시예에서, 깊이 수정기(113)는 미리 결정된 수의 반복을 수행하도록 배열될 수 있다. 따라서, 깊이 수정기(113)는 고정된 횟수만큼 깊이 수정기(113)를 반복하도록 배열될 수 있으며, 이때 각각의 반복은 잠재적으로 신뢰 구역들을 비신뢰 구역들로 더 확장한다.

미리 결정된 수의 동작의 사용은 많은 실시예에서 매우 유리한 동작을 제공하는 것으로 밝혀졌다. 특히, 그것은 대부분의 이미지들 및 디스플레이들에 대해 고품질의 3차원 인식을 여전히 유발하는 낮은 복잡성 및 강건한 동작을 유발하는 것으로 밝혀졌다. 특히, 비교적 적은 수의 동작으로 충분하다는 것이 밝혀졌다. 이것은 입력 상위 값들이 제한되고 알려진 범위 내에 있다는 사실로부터 이해될 수 있다. 단일 픽셀만을 확장하는 이웃을 사용할 때, 가능한 최대 상위 차이와 동일한 수의 반복을 최대로 성장시키는 것만이 필요하다. 이것은 여전히 클 수 있기 때문에, 많은 시나리오에서의 유리한 접근법은 실제로 객체들 사이에서 관찰되는 상위 단차와 대응하는 거리를 성장시키는 것이다. 풀 HD 비디오의 경우, 대표적인 깊이 단차는 32 픽셀일 수 있다. 그러한 거리를 선택하는 것은 대부분의 아티팩트들을 보상할 것이다.

몇몇 실시예들에서, 깊이 수정기(113)는 깊이 맵의 깊이 값들로부터 결정된 깊이 특성에 응답하여 다수의 반복을 동적으로 적응시키도록 배열될 수 있다. 예를 들어, 깊이 값들을 증가시키기 위해 반복들의 수가 증가될 수 있다. 예를 들어, 몇몇 실시예들에서, 깊이 수정기(113)는 평균 또는 최대 깊이 값을 결정하도록 배열될 수 있고, 반복들의 수는 이 값의 함수로서 결정될 수 있다. 평균 또는 최대 깊이가 클수록 반복들의 수가 많다.

다른 예로서, 깊이 값 분산이 결정될 수 있고, 반복들의 수는 분산에 기초하여 결정될 수 있다. 따라서, 구체적으로, 깊이 분산을 증가시키기 위해 반복의 수가 증가될 수 있다.

몇몇 실시예들에서, 반복들의 수는 이미지의 상이한 영역들에 대해 상이할 수 있다. 예를 들어, 이미지는 구역들로 분할될 수 있으며, 각각의 구역 내의 반복들의 수는 그 구역 내의 깊이 값들에 의존할 수 있다(예를 들어, 반복들의 수는 구역 내의 평균 또는 최대 깊이 값의 함수로서 결정될 수 있다).

그러한 적응형 접근법들은 많은 시나리오 및 실시예에서 개선된 성능을 제공할 수 있다.

앞서 언급된 바와 같이, 개별 픽셀들에 대해 고려되는 이웃의 크기는 특정 선호들 또는 요구들에 따라 상이한 실시예들에서 상이할 수 있다. 그러나, 많은 실시예에서, 이웃은 비교적 작을 수 있어서, 각각의 반복에서 신뢰 구역들의 성장의 양을 비교적 적은 양으로 제한할 수 있다.

실제로, 많은 실시예에서, 이웃 세트는 주어진 임계치보다 작은, 제1 픽셀까지의 거리를 갖는 픽셀들만을 포함하며, 여기서 임계치는 5 픽셀 이하이다. 실제로, 많은 실시예에서, 이웃 세트는 25개, 16개 또는 9개 이하의 픽셀을 포함할 수 있다. 이웃 세트의 픽셀들은 특히 현재 픽셀 주위에 대칭으로 배열될 수 있다.

따라서, 이웃 세트는 전술한 바와 같이 깊이 순서 제약을 포함하고 신뢰 픽셀들만을 고려하는 필터의 커널에 대응하는 것으로 간주될 수 있다. 커널은 많은 실시예에서 5, 4 또는 예를 들어 3 픽셀 폭을 초과하지 않는 직경을 가질 수 있다.

몇몇 실시예들에서, 깊이 수정기(113)는 깊이 맵의 깊이 값들에 응답하여 이웃 세트의 크기를 결정하도록 배열될 수 있다. 예를 들어, 비신뢰 픽셀들의 영역을 포함하는 구역 내의 깊이 값들의 분산이 결정될 수 있고, 이웃 세트의 크기가 이 값에 응답하여 적응될 수 있다. 예를 들어, 더 큰 분산들의 경우, 이웃 세트 크기가 증가될 수 있다.

이전의 예들에서, 추정 깊이 값은 이웃 세트 내의 신뢰 픽셀들의 깊이 값들의 평균화를 포함하는 함수에 의해 결정된다. 그러나, 다른 실시예들에서는 다른 함수들이 사용될 수 있다는 것을 알 것이다.

예를 들어, 몇몇 실시예들에서, 함수는 이웃 내의 신뢰 픽셀들의 깊이 값들 중 최대를 선택하는 것을 포함하거나 그것으로 이루어질 수 있다. 따라서, 그러한 실시예에서, 현재 픽셀의 깊이 값은 픽셀 자체 및 이웃 내의 신뢰 픽셀들의 가장 큰 깊이로 설정될 것이다. 이것은 많은 실시예에서 매우 효율적인 동작을 제공할 수 있고, 특히 더 강한 깊이 순서 제약을 제공할 수 있다.

이전의 설명에서, 깊이 맵이 신뢰 픽셀들을 포함하는 몇몇 영역들 및 비신뢰 픽셀들을 포함하는 다른 영역들에 대하여 제공되는 것으로 가정되었다. 특정 예에서, 이미지는 3차원 비디오 시퀀스의 일부일 수 있고, 특히 그것은 입체 이미지 비디오 시퀀스의 하나의 프레임일 수 있다. 그러한 예에서, 초기 깊이 값들은 상위 추정에 기초하여 생성될 수 있다. 그러나, 이미지들 중 하나에서만 보이는 영역들/객체들에 대해서는 상위 추정이 가능하지 않다.

(예를 들어) 그러한 시스템들에서, 깊이 맵 소스(109)는 시퀀스 내의 다른 프레임들로부터 예측을 수행함으로써, 즉 시간 예측을 수행함으로써 비신뢰 픽셀들에 대한 초기 깊이 값들을 생성하도록 배열될 수 있다.

간단한 예로서, 초기 깊이 값은 상위 추정(즉, 가림 전의 최종 결정된 깊이 값)에 기초하여 결정될 수 있는 최종 깊이 값으로서 설정될 수 있다. 다른 실시예들에서, 예를 들어 이전 프레임 및 후속 프레임 둘 모두를 사용하는 모션 추정 또는 보간을 포함한 더 복잡한 보간 및 추정이 수행될 수 있다(즉, 특히 양방향 예측이 사용될 수 있다).

그러한 접근법은 적합한 초기 깊이 맵을 제공할 수 있으며, 이어서 초기 깊이 맵은 깊이 수정기(113)의 후속 처리에 의해 수정될 수 있다.

많은 실시예에서, 깊이 맵 소스(109)는 깊이 맵의 비신뢰 픽셀들에 공간 필터를 선택적으로 적용하도록 배열될 수 있다. 공간 필터는 전형적으로 예를 들어 이웃의 크기와 유사할 수 있는 비교적 작은 커널을 가질 수 있다. 실제로, 많은 실시예에서, 공간 필터에 대한 커널은 이웃 세트와 동일할 수 있다(즉, 선택적인 공간 필터에 대한 커널은 깊이 순서 필터에 대한 커널과 동일할 수 있다).

공간 필터는 비신뢰 픽셀에 선택적으로 적용되지만, 신뢰 픽셀들에는 적용되지 않는다. 따라서, 신뢰성 있는 것으로 간주되는 깊이 값들은 수정되지 않지만, 신뢰성 없는 것으로 간주되는 깊이 값들은 잡음을 감소시키기 위해 공간적으로 필터링된다. 그러한 선택적인 필터는 많은 실시예에서 개선된 결과들을 제공하는 것으로 밝혀졌으며, 특히 다른 영역들에서 이미지 품질을 저하시킴이 없이 전이 영역들에 대한 더 나은 인식을 제공하는 것으로 밝혀졌다.

이어서, 깊이 수정 동작이 선택적으로 필터링된 깊이 맵에 적용될 수 있다.

깊이 수정 동작의 (반복된) 수행에 이어서, 깊이 수정기(113)는 많은 실시예에서 픽셀들이 신뢰성 있는 것으로 간주되는지의 여부에 관계없이, 즉 픽셀들이 신뢰 픽셀들인지 또는 비신뢰 픽셀들인지에 관계없이 모든 픽셀들에 적용될 수 있는 공간 필터링을 수행할 수 있다.

이것은 깊이 맵의 전체 잡음을 감소시킬 수 있으며, 전형적으로 3차원 경험의 개선된 인식 품질을 유발할 수 있다.

이전의 설명에서, 깊이 맵 픽셀들 및 신뢰 맵 픽셀들의 처리는 각각의 픽셀이 이미지 픽셀에 직접 대응한다는 것을 암시적으로 가정하여, 즉 깊이 맵 및 신뢰도 맵의 해상도가 이미지의 해상도와 동일하다는 것을 암시적으로 가정하여 설명되었다.

그러나, 이것은 반드시 그럴 필요는 없으며, 실제로 많은 실시예에서 해상도들이 상이할 수 있다는 것을 알 것이다. 실제로, 전형적으로, 깊이 맵 및 신뢰도 맵의 해상도는 이미지에 대한 것보다 낮을 것이다. 예를 들어, 이미지는 예를 들어 3x3 또는 8x8 픽셀들의 이미지 픽셀 블록들로 분할될 수 있고, 단일 깊이 값 및 신뢰도 값이 각각의 블록에 대해 생성될 수 있다. 따라서, 깊이 및 신뢰도 맵들의 해상도는 이미지 해상도에 대해 실질적으로 감소될 수 있다. 그러나, 전술한 깊이 맵의 처리는 그러한 감소된 해상도의 깊이 맵에 동등하게 적용된다는 것을 알 것이다.

위의 설명은 명료함을 위해 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 설명하였음을 알 것이다. 그러나, 본 발명으로부터 벗어남이 없이 상이한 기능 회로들, 유닛들 또는 프로세서들 간의 기능의 임의의 적합한 분산이 사용될 수 있음이 명백할 것이다. 예를 들어, 별개의 프로세서들 또는 제어기들에 의해 수행되도록 예시된 기능이 동일한 프로세서 또는 제어기에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들 또는 회로들에 대한 참조들은 오로지 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다는 설명된 기능을 제공하기 위한 적합한 수단에 대한 참조들로 간주되어야 한다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서 및/또는 디지털 신호 프로세서 상에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 컴포넌트들은 임의의 적합한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에서, 복수의 유닛에서, 또는 다른 기능 유닛들의 일부로서 구현될 수 있다. 그렇기 때문에, 본 발명은 단일 유닛에서 구현될 수 있거나, 상이한 유닛들, 회로들 및 프로세서들 간에 물리적으로 그리고 기능적으로 분산될 수 있다.

본 발명이 몇몇 실시예들과 관련하여 설명되었지만, 본 명세서에 기재된 특정 형태로 제한되도록 의도되지 않는다. 오히려, 본 발명의 범주는 첨부된 청구범위에 의해서만 제한된다. 또한, 소정 특징이 특정 실시예들과 관련하여 설명되는 것처럼 보일 수 있지만, 당업자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 청구범위에서, 용어 '포함하는'은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

또한, 개별적으로 열거되지만, 복수의 수단, 요소, 회로 또는 방법 단계는 예를 들어 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 아마도 유리하게 조합될 수 있으며, 상이한 청구항들에의 포함은 특징들의 조합이 실현 가능하지 않고/않거나 유리하지 않다는 것을 암시하지는 않는다. 또한, 하나의 카테고리의 청구항들에의 소정 특징의 포함은 이 카테고리로의 제한을 암시하는 것이 아니라, 오히려 그 특징이 적절한 바에 따라 다른 청구항 카테고리들에 동등하게 적용될 수 있음을 나타낸다. 또한, 청구항들에서의 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 암시하지는 않으며, 특히 방법 청구항에서의 개별 단계들의 순서는 단계들이 이 순서대로 수행되어야 함을 암시하지는 않는다. 오히려, 단계들은 임의의 적합한 순서로 수행될 수 있다. 또한, 단수형 언급은 복수를 배제하지 않는다. 따라서, "부정관사(a, an)", "제1", "제2" 등에 대한 언급은 복수를 배제하지 않는다. 청구범위에서의 참조 부호들은 단지 명료화 예로서 제공되며, 어떤 방식으로도 청구범위의 범주를 제한하는 것으로 해석되지 않아야 한다.

Claims (15)

1. 깊이 맵을 처리하기 위한 장치로서,
   이미지에 대한 깊이 맵을 제공하기 위한 깊이 맵 소스(109)로서, 상기 깊이 맵은 상기 깊이 맵의 픽셀들에 대한 깊이 값들을 포함하는, 상기 깊이 맵 소스(109);
   상기 깊이 맵의 픽셀들에 대한 신뢰도 값들을 포함하는 신뢰도 맵을 제공하기 위한 신뢰도 맵 소스(111)로서, 픽셀에 대한 상기 신뢰도 값은 상기 픽셀을 신뢰 픽셀 또는 비신뢰 픽셀로 지정하고, 신뢰 픽셀은 신뢰성 기준을 충족시키는 깊이 값을 갖고, 비신뢰 픽셀은 상기 신뢰성 기준을 충족시키지 못하는 깊이 값을 갖는, 상기 신뢰도 맵 소스(111);
   상기 깊이 맵의 픽셀들에 대한 깊이 값들의 수정을 포함하는 깊이 수정 동작을 수행하도록 배열된 깊이 수정기(113)로서, 상기 깊이 수정기는 제1 픽셀이 신뢰 픽셀로 지정되는 경우에 또는 상기 제1 픽셀에 대한 픽셀들의 이웃 세트 내에 신뢰 픽셀들이 없는 경우에 상기 제1 픽셀에 대한 수정된 깊이 값을 상기 제1 픽셀에 대한 현재 깊이 값으로 설정하고, 그렇지 않은 경우에는 상기 수정된 값을 상기 현재 깊이 값, 및 신뢰 픽셀들로 지정된, 상기 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 함수로서 결정된 깊이 값 중 가장 큰 깊이 값으로 설정하도록 배열되는, 상기 깊이 수정기(113)를 포함하고,
   상기 깊이 수정기(113)는 상기 깊이 수정 동작을 반복하도록 배열되며, 각각의 깊이 마더레이션 동작은 이전 반복으로부터의 수정된 깊이 맵에 대해 수행되고,
   상기 깊이 수정기(113)는, 각각의 깊이 마더레이션 동작에 대해, 상기 신뢰도 맵의 신뢰도 값들을 수정하도록 배열되고;
   각각의 깊이 마더레이션 동작은 이전 반복으로부터의 수정된 신뢰도 맵에 기초하고,
   상기 깊이 수정기(113)는 상기 이웃 세트가 적어도 하나의 신뢰 픽셀을 포함한다는 검출에 응답하여 픽셀을 비신뢰 픽셀로 지정되는 것으로부터 신뢰 픽셀로 지정되는 것으로 변경하도록 배열되는, 깊이 맵을 처리하기 위한 장치.
2. 깊이 맵을 처리하기 위한 장치로서,
   이미지에 대한 깊이 맵을 제공하기 위한 깊이 맵 소스(109)로서, 상기 깊이 맵은 상기 깊이 맵의 픽셀들에 대한 깊이 값들을 포함하는, 상기 깊이 맵 소스(109);
   상기 깊이 맵의 픽셀들에 대한 신뢰도 값들을 포함하는 신뢰도 맵을 제공하기 위한 신뢰도 맵 소스(111)로서, 픽셀에 대한 상기 신뢰도 값은 상기 픽셀을 신뢰 픽셀 또는 비신뢰 픽셀로 지정하고, 신뢰 픽셀은 신뢰성 기준을 충족시키는 깊이 값을 갖고, 비신뢰 픽셀은 상기 신뢰성 기준을 충족시키지 못하는 깊이 값을 갖는, 상기 신뢰도 맵 소스(111);
   상기 깊이 맵의 픽셀들에 대한 깊이 값들의 수정을 포함하는 깊이 수정 동작을 수행하도록 배열된 깊이 수정기(113)로서, 상기 깊이 수정기는 제1 픽셀이 신뢰 픽셀로 지정되는 경우에 또는 상기 제1 픽셀에 대한 픽셀들의 이웃 세트 내에 신뢰 픽셀들이 없는 경우에 상기 제1 픽셀에 대한 수정된 깊이 값을 상기 제1 픽셀에 대한 현재 깊이 값으로 설정하고, 그렇지 않은 경우에는 상기 수정된 값을 상기 현재 깊이 값, 및 신뢰 픽셀들로 지정된, 상기 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 함수로서 결정된 깊이 값 중 가장 큰 깊이 값으로 설정하도록 배열되는, 상기 깊이 수정기(113)를 포함하고,
   상기 깊이 수정기(113)는 상기 깊이 수정 동작을 반복하도록 배열되며, 각각의 깊이 마더레이션 동작은 이전 반복으로부터의 수정된 깊이 맵에 대해 수행되고,
   상기 깊이 수정기(113)는, 각각의 깊이 마더레이션 동작에 대해, 상기 신뢰도 맵의 신뢰도 값들을 수정하도록 배열되고;
   각각의 깊이 마더레이션 동작은 이전 반복으로부터의 수정된 신뢰도 맵에 기초하고,
   상기 깊이 수정기(113)는 미리 결정된 수의 반복을 수행하도록 배열되는, 깊이 맵을 처리하기 위한 장치.
3. 제2항에 있어서, 상기 미리 결정된 수의 반복은 8회 이하의 반복인, 깊이 맵을 처리하기 위한 장치.
4. 깊이 맵을 처리하기 위한 장치로서,
   이미지에 대한 깊이 맵을 제공하기 위한 깊이 맵 소스(109)로서, 상기 깊이 맵은 상기 깊이 맵의 픽셀들에 대한 깊이 값들을 포함하는, 상기 깊이 맵 소스(109);
   상기 깊이 맵의 픽셀들에 대한 신뢰도 값들을 포함하는 신뢰도 맵을 제공하기 위한 신뢰도 맵 소스(111)로서, 픽셀에 대한 상기 신뢰도 값은 상기 픽셀을 신뢰 픽셀 또는 비신뢰 픽셀로 지정하고, 신뢰 픽셀은 신뢰성 기준을 충족시키는 깊이 값을 갖고, 비신뢰 픽셀은 상기 신뢰성 기준을 충족시키지 못하는 깊이 값을 갖는, 상기 신뢰도 맵 소스(111);
   상기 깊이 맵의 픽셀들에 대한 깊이 값들의 수정을 포함하는 깊이 수정 동작을 수행하도록 배열된 깊이 수정기(113)로서, 상기 깊이 수정기는 제1 픽셀이 신뢰 픽셀로 지정되는 경우에 또는 상기 제1 픽셀에 대한 픽셀들의 이웃 세트 내에 신뢰 픽셀들이 없는 경우에 상기 제1 픽셀에 대한 수정된 깊이 값을 상기 제1 픽셀에 대한 현재 깊이 값으로 설정하고, 그렇지 않은 경우에는 상기 수정된 값을 상기 현재 깊이 값, 및 신뢰 픽셀들로 지정된, 상기 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 함수로서 결정된 깊이 값 중 가장 큰 깊이 값으로 설정하도록 배열되는, 상기 깊이 수정기(113)를 포함하고,
   상기 깊이 수정기(113)는 상기 깊이 수정 동작을 반복하도록 배열되며, 각각의 깊이 마더레이션 동작은 이전 반복으로부터의 수정된 깊이 맵에 대해 수행되고,
   상기 깊이 수정기(113)는 상기 깊이 맵의 깊이 값들로부터 결정된 깊이 특성에 응답하여 반복의 수를 동적으로 적응시키도록 배열되는, 깊이 맵을 처리하기 위한 장치.
5. 제1항 또는 제2항에 있어서, 상기 함수는 신뢰 픽셀들로 지정된 상기 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 평균화를 포함하는, 깊이 맵을 처리하기 위한 장치.
6. 깊이 맵을 처리하기 위한 장치로서,
   이미지에 대한 깊이 맵을 제공하기 위한 깊이 맵 소스(109)로서, 상기 깊이 맵은 상기 깊이 맵의 픽셀들에 대한 깊이 값들을 포함하는, 상기 깊이 맵 소스(109);
   상기 깊이 맵의 픽셀들에 대한 신뢰도 값들을 포함하는 신뢰도 맵을 제공하기 위한 신뢰도 맵 소스(111)로서, 픽셀에 대한 상기 신뢰도 값은 상기 픽셀을 신뢰 픽셀 또는 비신뢰 픽셀로 지정하고, 신뢰 픽셀은 신뢰성 기준을 충족시키는 깊이 값을 갖고, 비신뢰 픽셀은 상기 신뢰성 기준을 충족시키지 못하는 깊이 값을 갖는, 상기 신뢰도 맵 소스(111);
   상기 깊이 맵의 픽셀들에 대한 깊이 값들의 수정을 포함하는 깊이 수정 동작을 수행하도록 배열된 깊이 수정기(113)로서, 상기 깊이 수정기는 제1 픽셀이 신뢰 픽셀로 지정되는 경우에 또는 상기 제1 픽셀에 대한 픽셀들의 이웃 세트 내에 신뢰 픽셀들이 없는 경우에 상기 제1 픽셀에 대한 수정된 깊이 값을 상기 제1 픽셀에 대한 현재 깊이 값으로 설정하고, 그렇지 않은 경우에는 상기 수정된 값을 상기 현재 깊이 값, 및 신뢰 픽셀들로 지정된, 상기 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 함수로서 결정된 깊이 값 중 가장 큰 깊이 값으로 설정하도록 배열되는, 상기 깊이 수정기(113)를 포함하고,
   상기 함수는 신뢰 픽셀들로 지정된, 상기 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들 중 최대를 선택하는 것을 포함하는, 깊이 맵을 처리하기 위한 장치.
7. 제1항 또는 제2항에 있어서, 상기 이웃 세트는 상기 제1 픽셀까지의 거리가 임계치보다 작은 픽셀들만을 포함하며, 상기 임계치는 5 픽셀을 초과하지 않는, 깊이 맵을 처리하기 위한 장치.
8. 제1항 또는 제2항에 있어서, 상기 깊이 수정기(113)는 상기 깊이 맵의 깊이 값들로부터 결정된 깊이 특성에 응답하여 상기 이웃 세트의 크기를 결정하도록 배열되는, 깊이 맵을 처리하기 위한 장치.
9. 제1항 또는 제2항에 있어서, 상기 깊이 맵은 비디오 신호의 프레임에 대한 것이고, 상기 깊이 맵 소스(109)는 상기 비디오 신호의 다른 프레임들로부터의 시간 예측을 사용하여 상기 깊이 맵의 비신뢰 픽셀들에 대한 초기 깊이 값들을 결정하도록 배열되는, 깊이 맵을 처리하기 위한 장치.
10. 제1항 또는 제2항에 있어서, 상기 깊이 맵 소스(109)는 상기 깊이 맵의 비신뢰 픽셀들에 공간 필터를 선택적으로 적용하도록 배열되는, 깊이 맵을 처리하기 위한 장치.
11. 깊이 맵을 처리하는 방법으로서,
    이미지에 대한 깊이 맵을 제공하는 단계로서, 상기 깊이 맵은 상기 깊이 맵의 픽셀들에 대한 깊이 값들을 포함하는, 상기 깊이 맵 제공 단계;
    상기 깊이 맵의 픽셀들에 대한 신뢰도 값들을 포함하는 신뢰도 맵을 제공하는 단계로서, 픽셀에 대한 상기 신뢰도 값은 상기 픽셀을 신뢰 픽셀 또는 비신뢰 픽셀로 지정하고, 신뢰 픽셀은 신뢰도 기준을 충족시키는 깊이 값을 갖고, 비신뢰 픽셀은 상기 신뢰도 기준을 충족시키지 못하는 깊이 값을 갖는, 상기 신뢰도 맵 제공 단계;
    상기 깊이 맵의 픽셀들에 대한 깊이 값들의 수정을 포함하는 깊이 수정 동작을 수행하는 단계로서, 상기 깊이 수정은 제1 픽셀이 신뢰 픽셀로 지정되는 경우에 또는 상기 제1 픽셀에 대한 픽셀들의 이웃 세트 내에 신뢰 픽셀들이 없는 경우에 상기 제1 픽셀에 대한 수정된 깊이 값을 상기 제1 픽셀에 대한 현재 깊이 값으로 설정하고, 그렇지 않은 경우에는 상기 수정된 값을 상기 현재 깊이 값, 및 신뢰 픽셀들로 지정된, 상기 픽셀들의 이웃 세트 내의 픽셀들의 깊이 값들의 함수로서 결정된 깊이 값 중 가장 큰 깊이 값으로 설정하는 것을 포함하는, 상기 깊이 수정 동작 수행 단계를 포함하고,
    상기 깊이 수정은 상기 깊이 맵의 깊이 값들로부터 결정된 깊이 특성에 응답하여 상기 이웃 세트의 크기를 결정하는 것을 포함하는, 깊이 맵을 처리하는 방법.
12. 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 매체로서, 상기 컴퓨터 프로그램은 상기 프로그램이 컴퓨터 상에서 실행될 때 제11항의 단계들 모두를 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 판독가능한 매체.
13. 삭제
14. 삭제
15. 삭제

Images