KR20040093708A - 세그먼테이션용 유닛 및 방법 - Google Patents

Abstract

세그먼트에 이미지들의 시퀀스의 제1 이미지의 제1 화소를 할당하기 위한 세그먼테이션 유닛(100, 200, 300)은, 제1 이미지에 기초하여 제1 화소에 제1 동질성 값을 할당하기 위한 할당 유닛(102); 제1 동질성 값과 이미지들의 시퀀스의 제2 이미지의 제2 화소에 대해 결정되는 제2 동질성 값을 평균화함으로써 제1 화소에 대한 평균 동질성 값을 계산하기 위한 평균화 유닛(103); 및 세그먼트에 제1 화소를 할당하기 위해 임계값과 평균 동질성 값을 비교하기 위한 비교 유닛(106)을 포함하고, 제1 화소와 제2 화소는 움직임 벡터에 의해 연관된다.

Description

세그먼테이션용 유닛 및 방법{UNIT FOR AND METHOD OF SEGMENTATION}

세그먼테이션은 다수의 이미지 처리 및 패턴 인식 작업들에 있어서 필수적인 단계이다. 세그먼테이션은 이미지의 화소들에 대해, 세그먼트들의 유한 세트 중 하나에 대한 멤버쉽을 결정하는 프로세스이며, 여기서 세그먼트는 화소들의 접속된 집합이다. 멤버쉽은 색상, 휘도, 텍스처 또는 다른 속성들에 기초하여 결정될 수 있다. 화소들 사이의 대응의 척도는 동질성이라 칭한다. 일반적으로, 세그먼트의의도된 의미는 "장면 내의 오브젝트의 투영 이미지"이다.

압축, 심도(depth) 또는 움직임 추정, 오브젝트 트래킹 또는 비디오 세그먼테이션의 다른 목적들을 위해, 세그먼테이션 프로세스는 이상적으로는 이하의 2개의 요건들을 충족시켜야 한다:

- 세그먼테이션은 적어도 화소 정확성이 있어야 한다; 및

- 세그먼테이션은 시간 안정성이 있어야 한다, 즉 이들이 이미지 내에서 가시화되는 한 세그먼트들을 "트래킹"하는 것이 가능해야 한다. 실제로, 세그먼트들은 장면을 "따라 이동"해야 하고, 이들의 형상의 프로파일은 너무 많이 변경되지 않아야 한다. 노이즈로 인해, 그러나 또한 폐색(occlusion), 주밍(zooming) 및 상이한 뷰잉 앵글들(viewing angles)에 기인하는 이미지 내의 작은 변화들은 세그먼트들의 형상의 급격한 변화들을 초래하지 않아야 한다. 이는 비디오 스트림들의 처리 후에 깜박임 현상(flickering)과 같은 아티팩트들을 회피한다. 단지 하나의 요건만을 각각 만족시키는 2개의 극단들을 고려할 수 있다:

- 각각의 프레임의 개별적인 정확한 세그먼테이션. 이 세그먼테이션은 화소 정확성이 있을 수 있지만, 노이즈 또는 다른 이유들로 인해 세그먼테이션은 일반적으로 시간 안정성이지 않다, 즉 후속 이미지들 사이에 1대1 대응이 없다.

- 하나의 프레임이 세그먼트되고, 이들 세그먼트들은 예를 들면 이들의 시프팅 또는 변형에 의해 장면을 형성하는 후속 이미지들 전체에 걸쳐 유지된다. 이는 안정성은 보장하지만, 이후의 단계에 장면 내로 도입되는 새로운 오브젝트들을 취급할 수 없다.

개시 단락에 설명된 종류의 방법의 실시예는 제이. 쥐. 최(J.G. Choi) 등의 논설 "조인트 유사성 측정을 사용하는 시공간 비디오 세그먼테이션(Spatio-Temporal Video Segmentation Using a Joint Similarity Measure)", 비디오 기술을 위한 회로들 및 시스템들에 대한 IEEE 트랜잭션, vol.7, no.2, 1997년 4월로부터 공지되어 있다. 이 논설은 형태학적 시공간 세그먼테이션 알고리즘을 설명한다. 알고리즘은 휘도 및 움직임 정보를 동시에 통합하고 형태학적 필터들 및 워터쉐드(watershed) 알고리즘과 같은 형태학적 도구들을 사용한다. 완전한 세그먼테이션을 향한 절차는, 조인트 마커 추출(joint marker extraction), 경계 결정, 및 움직임 기반 영역 융합의 3개의 단계들로 구성된다. 먼저, 조인트 마커 추출은, 단순한 조인트 마커 추출 기술이 제안되는 움직임 및 휘도 모두의 동질 영역들의 존재를 식별한다. 다음으로, 시공간 경계들은 워터쉐드 알고리즘에 의해 결정된다. 이를 위해, 조인트 유사성 측정이 제안된다. 마지막으로, 리던던트 영역들의 제거가 움직임 기반 영역 융합을 사용하여 수행된다. 알고리즘의 핵심은 형태학적 시공간 세그먼테이션을 위한 조인트 유사성 측정이다. 시공간 세그먼테이션을 위한 조인트 유사성 측정은 움직임 차이와 강도 차이의 가중된 합이다. 이는 유사성으로서 정의된다.

유사성 = β(세기 차이) + (1 - β)k 움직임 차이

여기서, k는 스케일링 팩터이고, β는 가중 팩터이다. 가중 팩터는 세기 차이 또는 움직임 차이에 더 많은 중요성이 제공되게 한다. 세기 차이는 고려 중인 화소와 이미 영역에 할당되어 있는 화소들의 평균 사이의 그레이 톤(gray tone) 차이이다. 움직임 차이는 화소(x,y)에서의 추정된 움직임과 영역의 움직임 모델에 의해 화소(x,y)에서 생성된 움직임 벡터 사이의 움직임 에러이다. 공간 및 시간 정보를 동시에 통합함으로써 시각적으로 의미 있는 세그먼테이션이 얻어질 수 있다. 그러나, 이 알고리즘은 새로운 오브젝트들이 장면 내로 도입되는 경우에는 수행되지 않는다, 즉 시간 안정성이지 않다.

본 발명은 이미지들의 시퀀스의 제1 이미지의 제1 화소를 세그먼트에 할당하기 위한 세그먼테이션 유닛에 관한 것이다.

본 발명은 또한 이미지들의 시퀀스의 제1 이미지의 제1 화소를 세그먼트에 할당하는 방법에 관한 것이다.

본 발명은 또한,

- 이미지들의 시퀀스를 수신하기 위한 수신 수단;

- 이미지들의 시퀀스의 제1 이미지의 제1 화소를 세그먼트에 할당하기 위한 세그먼테이션 유닛; 및

- 세그먼테이션 유닛에 의해 제어되는 이미지 처리 유닛을 포함하는 이미지 처리 장치에 관한 것이다.

도 1은 가중된 평균 동질성 값을 계산하도록 배열된 본 발명에 따른 세그먼테이션 유닛의 실시예를 개략적으로 도시하는 도면.

도 2는 비교 유닛에 의해 제어되는 움직임 추정 유닛을 포함하는 세그먼테이션 유닛의 실시예를 개략적으로 도시하는 도면.

도 3은 움직임 추정 유닛에 의해 제어되는 평균화 유닛을 갖는 세그먼테이션 유닛의 실시예를 개략적으로 도시하는 도면.

도 4는 본 발명에 따른 이미지 처리 장치의 실시예를 개략적으로 도시하는 도면.

본 발명의 목적은 비교적 시간 안정성이 있는 화소 정확성 세그먼테이션을 형성하도록 배열된 개시 단락에 설명된 종류의 세그먼테이션 유닛을 제공하는 것이다.

본 발명의 목적은, 이미지들의 시퀀스의 제1 이미지의 제1 화소를 세그먼트에 할당하기 위한 세그먼테이션 유닛에 있어서,

- 이미지들의 시퀀스의 제1 이미지에 기초하여 제1 화소에 제1 동질성 값을 그리고 제2 이미지의 제2 화소에 제2 동질성 값을 할당하기 위한 할당 유닛으로서, 제1 화소와 제2 화소는 움직임 벡터에 의해 연관되는, 상기 할당 유닛;

- 제1 동질성 값과 제2 동질성 값을 평균화함으로써 제1 화소에 대한 평균 동질성 값을 계산하기 위한 평균화 유닛; 및

- 제1 화소를 세그먼트에 할당하기 위해 임계값과 평균 동질성 값을 비교하기 위한 비교 유닛을 포함하는, 세그먼테이션 유닛에 의해 성취된다.

본 발명의 중요한 양태는 제1 화소가 세그먼트에 속하는지의 여부의 결정이다중 이미지들의 화소들에 기초하여 계산된 평균 동질성 값에 기초한다는 것이다. 이들 다중 이미지들의 화소들 사이의 관계는 이들 다중 화소들이 속하는 이미지들에 대해 결정된 움직임 벡터에 의해 결정된다. 움직임 벡터는 움직임 벡터가 적용 가능한 이미지들을 캡처하는 사이의 시간 간격에 오브젝트의 부분의 시프트에 대응한다. 종래 기술에 따른 세그먼테이션 방법에서, 동질성 값은 하나의 이미지의 화소들에 기초하여 계산된다. 세기 차이는 고려 중인 화소와 영역에 이미 할당되어 있는 화소들의 평균 사이의 그레이 톤 차이이다. 평균 동질성 값을 사용하는 장점은 이것이 시간 안정성을 제공하면서 화소 정확성 세그먼테이션이 여전히 수행될 수 있다는 것이다. 일반적으로, 예를 들면 노이즈에 의해 발생되는 이미지들의 시퀀스에서의 하나의 이미지들로부터 다음 이미지로의 화소들의 값들의 변동들은 세그먼테이션의 불안정성들을 발생시킨다. 이는 임계화 단계, 즉 비교 단계에 의해 주로 발생된다. 평균 동질성 값을 사용함으로써, 변동들의 효과가 감소된다.

평균 동질성 값이 계산된 후에, 비교 유닛은 평균 동질성 값을 임계값과 비교한다. 동질성의 형태 및 세그먼테이션의 형태에 기초하여, 평균 동질성 값이 임계값을 초과하거나 미만이면 제1 화소가 세그먼트에 할당된다. 임계값은 미리정해진 값일 수도 있다. 바람직하게는, 임계값은 세그먼테이션될 이미지들의 특성들에 기초하여 계산된다.

제1 화소에 제1 동질성 값을 할당하기 위한 할당 유닛은 제1 화소의 이웃의 화소들의 색상값들 또는 휘도값들, 예를 들면 편차값 또는 최대 연산자 또는 다른 비선형 연산자를 비교하는 것에 기초하여 이 값을 계산하도록 설계될 수 있다. 그러나, 화소의 휘도값 또는 색상값은 동질성 값으로서 또한 적용될 수도 있다.

본 발명에 따른 세그먼테이션 유닛의 실시예는 시퀀스의 부가 이미지들의 부가 동질성 값들을 또한 고려함으로써 평균 동질성 값을 계산하도록 배열된다. 본 실시예의 장점은 노이즈의 더욱 많은 감소가 달성될 수 있다는 것이다. 바람직하게는, 세그먼테이션 유닛은 평균 동질성 값의 재귀적인(recursive) 계산을 수행하도록 배열된다. 이는 현재 이미지, 예를 들면 제1 이미지의 평균 동질성 값이 이 현재 이미지에 관련된 동질성 값에 기초하여 계산되고, 평균 동질성 값이 이미 계산된 이미지에 대해 계산된다는 것을 의미한다. 재귀적 접근을 갖는 세그먼테이션 유닛의 장점은 비교적 적은 메모리가 부가 이미지들의 부가 동질성 값들을 저장하는데 요구된다는 것이다.

본 발명에 따른 세그먼테이션 유닛의 실시예에서, 평균화 유닛은 가중 평균 동질성을 계산하도록 배열된다. 이를 위해, 평균화 유닛은 가중 팩터가 제어될 수 있는 인터페이스를 갖는다. 이 가중 팩터는 가중 평균 동질성 값의 제1 동질성 값과 다른 동질성 값 사이의 비율을 결정한다. 다른 동질성 값이라는 것은 예를 들면 제2 동질성 값 또는 부가 동질성 값들을 의미한다. 가중 평균 동질성 값을 계산하는 장점은 한편으로는, 주로 단일 이미지에 기초하는 화소 정확성 세그먼테이션과 다른 한편으로는, 다중 이미지들에 기초하는 시간 안정성 세그먼테이션 사이의 균형이 취해지는 것을 허용한다는 것이다.

본 발명에 따른 세그먼테이션 유닛의 실시예는, 세그먼테이션 유닛이 화소 기반으로 가중 팩터를 제어하도록 배열되고, 가중 팩터가 가중 평균 동질성 값의계산을 위한 가중에 영향을 주는 것을 특징으로 한다. 가중 팩터는 완전한 이미지를 위해 고정될 수 있다. 그러나, 고려 중인 이미지들 중 하나의 동질성 값의 품질에 대한 지식이 존재하는 경우, 평균화는 이에 따라 채택되는 것이 바람직하다. 품질 지시기는 또한 유효 동질성 값이 존재하지 않는다는 것을 지시하는 것이 가능하다. 이는 예를 들면, 특정 움직임 벡터의 품질이 대응 화소의 동질성 값의 품질에 대한 양호한 지시인, 장면의 오브젝트들의 폐색의 경우에 발생할 수 있다.

본 발명에 따른 세그먼테이션 유닛의 실시예는 움직임 벡터를 추정하기 위한 움직임 추정 유닛을 포함하고, 움직임 추정 유닛은 비교 유닛에 의해 제어된다. 움직임 추정 유닛은 움직임 벡터들을 제공하도록 요구된다. 원리적으로, 이는 예를 들면 블록 기반 움직임 추정 유닛과 같은 임의의 형태의 움직임 추정 유닛일 수도 있다. 그러나, 바람직하게는 움직임 추정 유닛은 세그먼트 기반 움직임 추정 유닛이다. 본 실시예에서, 비교 유닛의 출력, 즉 세그먼트들이 비교적 양호한 움직임 벡터들을 추정하기 위해 움직임 추정 유닛에 제공된다.

본 발명에 따른 세그먼테이션 유닛의 실시예는 움직임 벡터를 추정하기 위한 움직임 추정 유닛을 포함하고, 움직임 추정 유닛은 가중 팩터를 제어하도록 설계되는 것을 특징으로 한다. 상술한 바와 같이, 움직임 벡터들의 품질은 할당된 동질성 값들의 품질의 지시이다. 평균화 유닛에 움직임 벡터들의 품질에 관한 지시기들을 제공함으로써, 평균화 유닛이 가중 팩터를 제어하는 것이 가능하다.

세그먼테이션 유닛의 수정들 및 이들의 변형들은 설명된 방법 및 이미지 처리 장치의 수정들 및 이들의 변형들에 대응할 수도 있다.

본 발명에 따른 세그먼테이션 유닛, 방법, 및 이미지 처리 장치의 상기 및 다른 양태들은 첨부 도면들을 참조하여 이하에 설명되는 실시예들 및 구현들로부터 명백해지고 명료해질 것이다.

대응 도면 부호들은 도면들 모두에서 동일한 의미를 갖는다.

도 1은 본 발명에 따른 세그먼테이션 유닛(100)의 실시예를 개략적으로 도시한다. 이미지들의 시퀀스의 제1 이미지의 제1 화소를 세그먼트에 할당하기 위한 세그먼테이션 유닛(100)은,

- 이미지들의 시퀀스의 제1 이미지에 기초하여 제1 화소에 제1 동질성 값을 그리고 제2 이미지의 제2 화소에 제2 동질성 값을 할당하기 위한 할당 유닛(102);

- 이미지들의 시퀀스의 제2 이미지의 움직임 보상을 위한 움직임 보상 유닛(104);

- 제1 동질성 값과 제2 동질성 값을 평균화함으로써 제1 화소에 대한 가중된 평균 동질성 값을 계산하기 위한 평균화 유닛(103); 및

- 세그먼트에 제1 화소를 할당하기 위해 임계값과 평균 동질성 값을 비교하기 위한 비교 유닛(106)을 포함한다.

움직임 추정 유닛(108)은 움직임 보상 유닛(104)에 움직임 벡터들을 제공한다. 선택적으로 세그먼테이션 유닛(100)은 움직임 추정 유닛(108)을 포함한다.

먼저, 세그먼테이션 유닛의 동작의 수학적인 설명을 제공할 것이다. 다음으로, 개별 유닛들(102 내지 108)의 작업들이 세그먼테이션 유닛(100)에 의해 연속적으로 수행되는 단계들에 의해 간략하게 설명될 것이다.

H_t(x,y)를 화소 위치(x,y)에서 인덱스 t를 갖는 이미지에 대한 동질성 값이라 한다. 종래의 세그먼테이션 방법들과는 대조적으로, 세그먼테이션은 H_t(x,y)에 기초하지 않고, 수학식 2에 정의된 양(x,y)에 기초한다.

여기서,(x,y)는 수학식 3에 정의된다.

이는 좌표들(x,y)를 갖는 특정 화소에 대해 이전 이미지의 움직임 보상된 동질성 값 및 현재 이미지의 동질성 값이 가중 평균을 계산함으로써 조합된다는 것을 의미한다.

다음, 개별 유닛들(102 내지 108)의 작업들을 세그먼테이션 유닛(100)에 의해 연속적으로 수행되는 단계들에 의해 간략히 설명할 것이다. 이미지들 I_t-1, I_t, I_t+1, I_t+2,...는 움직임 벡터들을 계산하기 위해 입력 커넥터(116)에서 움직임 추정 유닛(108)에 제공된다. 이는 각각에 화소에 대해 움직임 벡터(△x,△y)를 제공한다. 이미지들 I_t-1, I_t, I_t+1, I_t+2,...는 세그먼테이션 유닛(100)의 입력 커넥터(110)에 또한 제공된다. 세그먼테이션 유닛(102)은 I_t의 화소들 각각에 동질성 값 H_t(x,y)를 할당한다. 다음, 평균화 유닛(103)은 미리정해진 동질성 값(x,y)와 동질성 값 H_t(x,y)를 평균화함으로써 가중된 평균 동질성 값(x,y)를 계산한다. 다음, 평균 동질성 값(x,y)는 특정 세그먼트에 좌표들(x,y)를 갖는 화소를 할당하기 위해 임계값과 평균 동질성 값을 비교하기 위한 비교 유닛(106)에 제공된다. 선택적으로, 다른 세그먼테이션 단계들이 예를 들면 성장, 침식, 확장과 같은 형태학적 연산들이 비교 유닛(106)에 의해 수행된다. 세그먼테이션 결과는 대응화소들이 속하는 세그먼트를 지시하는 값들의 행렬이다. 이 세그먼테이션 결과는 출력 커넥터(112)에 제공된다. 평균 동질성 값(x,y)는 또한 이어지는 이미지들의 세그먼테이션을 위해 사용되는(x,y)의 움직임 보상 버전인(x,y)를 계산하기 위해 움직임 보상 유닛(104)에 제공된다.

평균화 유닛(103)은, 이에 의해 가중 팩터 α의 적절한 값이 제공될 수 있는 커넥터(114)와의 제어 인터페이스를 포함한다. α의 값은 0과 1 사이이다. α=0인 경우, 다른 이미지들의 동질성 값들은 현재의 이미지의 세그먼테이션에 고려되지 않는다. α=1인 경우, 단지 다른 이미지들의 동질성 값들만이 현재의 이미지의 세그먼테이션에 고려된다. 선택적으로, 이 가중 팩터 α(x,y)는 화소 기반으로 제어된다. 도 3을 참조하라. 이는 수학식 2를 수학식 4로 고쳐쓸 수 있어야 한다는 것을 의미한다.

움직임 추정 유닛(108)은 선택적으로 움직임 벡터가 마찬가지로 제공되는 출력 커넥터(113)를 포함한다. 이는 이 출력 커넥터에 의해 움직임 보상 유닛(104) 이외의 다른 유닛들이 움직임 벡터들에 접근될 수 있다는 것을 의미한다. 도 4와 관련하여, 이는 이들 움직임 벡터들이 세그먼테이션 유닛(404)에 외부에서 인가될 수 있다는 것을 설명한다.

도 2는 비교 유닛(106)에 의해 제어되는 움직임 추정 유닛(108)을 포함하는 세그먼테이션 유닛(200)의 실시예를 개략적으로 도시한다. 본 발명에 따른 본 실시예에서, 움직임 추정 유닛(108)은 세그먼테이션 유닛(200)에 의해 규정되는 세그먼트들에 대한 움직임 벡터들을 계산하도록 배열된다. 그 역도 마찬가지로, 세그먼테이션 유닛(200)은 움직임 추정 유닛(108)에 의해 추정된 움직임 벡터들에 기초하여 새로운 세그먼트들을 계산하도록 배열된다. 이 상호 의존성에 의해, 초기 세그먼테이션은 움직임을 고려하지 않고 단일 이미지에 기초하여 수행되어야 한다. 이 초기 세그먼테이션에 의해 발견된 세그먼트들에 기초하여, 움직임 벡터들이 진행 이미지들을 처리하기 위해 추정될 수 있다. 나머지는 도 1과 관련하여 설명된 바와 같은 세그먼테이션 유닛(100)의 동작과 실질적으로 동일한 이 세그먼테이션 유닛(200)의 동작이다.

도 3은 움직임 추정 유닛(108)에 의해 제어되는 평균화 유닛(103)을 갖는 세그먼테이션 유닛(300)의 실시예를 개략적으로 도시한다. 가중은 화소 기반으로 제어된다, 즉 수학식 4가 이 세그먼테이션 유닛(300)에 적용 가능하다. 움직임 벡터들은 움직임 보상 유닛(104)과 평균화 유닛(103)에 제공된다. 게다가, 움직임 벡터들에 대한 정보가 평균화 유닛(103)에 제공된다. 정보라는 것은 예를 들면 움직임 벡터들의 정합 에러들과 같은 움직임 벡터들의 품질에 대한 지시를 의미한다. 특정 움직임 벡터의 품질이 높으면, 대응 가중 팩터 α(x,y)의 값이 높은 값으로 설정될 수 있다. 그러나, 특정 움직임 벡터의 품질이 낮으면, 대응 가중 팩터 α(x,y)의 값이 낮은 값으로 설정될 수 있다.

도 4는 본 발명에 따른 이미지 처리 장치(400)의 실시예를 개략적으로 도시한다. 이미지 처리 장치(400)는,

- 이미지들의 시퀀스를 수신하기 위한 수신 수단(402); 수신된 신호는 안테나 또는 케이블을 경유하여 수신된 방송 신호일 수도 있지만, 또한 VCR(비디오 카세트 레코더) 또는 디지털 다기능 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수도 있다. 신호는 입력 커넥터(408)에 제공된다.

- 도 1, 도 2 또는 도 3과 관련하여 설명된 바와 같은 세그먼테이션 유닛(404); 및

- 세그먼테이션 유닛(404)에 의해 제어된 이미지 처리 유닛(406)을 포함한다. 이미지 처리 유닛(406)은 예를 들면 MPEG 인코더와 같은 비디오 인코더일 수 있다. 이미지를 세그먼테이션함으로써, 다른 세그먼트들보다 더 높은 정확성을 갖는 세그먼트들의 일부를 인코딩하는 것이 가능하다. 이는 예를 들면 사람들의 얼굴들이 배경(background)과는 상이하게 코딩되는 비디오 회의 시스템에 유리하다.

유리하게는, 이미지 처리 유닛(406)은 심도 추정을 수행하도록 배열될 수도 있다. 움직임 추정 방법의 단계들이 심도 추정 방법을 얻기 위한 계산 단계로 이어질 수도 있다는 것이 공지되어 있다. 이하의 문제점들이 고려된다: 공지된 움직임을 갖는 카메라에 의해 촬영된 정지 장면의 이미지들의 시퀀스가 제공되면, 심도 정보가 회복되어야 한다. 이미지들의 시퀀스의 모든 명백한 움직임들은 시차(parallax)로부터 기인한다. 하나의 세그먼트와 다른 세그먼트 사이의 움직임의 차이들은 심도 차이를 지시한다. 실제로, 2개의 연속적인 이미지들을 분석하면,시간 t에서의 주어진 이미지 세그먼트와 t+1에서의 동일한 세그먼트 사이의 시차가 계산될 수 있다. 이 시차는 장면의 상이한 부분들의 움직임에 대응한다. 카메라의 이동의 경우에, 전경(foreground)에서의 오브젝트들은 배경의 오브젝트들보다 많이 움직인다. 기하학적 관계들을 적용함으로써, 심도 정보가 움직임으로부터 연역될 수 있다. 이 개념은 피. 윌린스키(P. Wilinski)와 씨. 반 오베르벨트(C. van Overveld)의 논설 "확신 기반 블록 정합을 사용하는 움직임으로부터의 심도(Depth from motion using confidence based block matching", 이미지의 진행들 및 다차원 신호 처리 워크샵, 페이지 159-162, 오스트리아 알프바흐, 1998에 설명되어 있다.

상술한 실시예들은 본 발명을 한정하기보다는 예시하는 것이고 당해 기술 분야의 숙련자들은 첨부된 청구범위의 범주로부터 일탈하지 않는 대안적인 실시예들을 설계할 수도 있다는 것을 주목해야 한다. 청구범위에서, 괄호들 사이에 배치된 임의의 도면 부호들은 청구항을 한정하는 것으로서 해석되어서는 안 된다. 용어 '포함하는'은 청구항에 열거되지 않은 다른 요소들 또는 단계들의 존재를 배제하는 것은 아니다. 요소들에 선행하는 "단수 관사(a, an)"는 복수의 이러한 요소들의 존재를 배제하는 것은 아니다. 본 발명은 다수의 개별 소자들을 포함하는 하드웨어에 의해 그리고 적합하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 다수의 수단들을 열거하는 유닛 청구항들에서, 이들 수단의 다수는 하드웨어의 하나 및 동일 아이템에 의해 실시될 수 있다.

Claims (10)

1. 이미지들의 시퀀스의 제1 이미지의 제1 화소를 세그먼트에 할당하기 위한 세그먼테이션 유닛(100, 200, 300)에 있어서,

   - 상기 제1 이미지에 기초하여 상기 제1 화소에 제1 동질성 값을, 그리고 상기 이미지들의 시퀀스의 제2 이미지의 제2 화소에 제2 동질성 값을 할당하기 위한 할당 유닛(102)으로서, 상기 제1 화소와 상기 제2 화소는 움직임 벡터에 의해 연관되는, 상기 할당 유닛(102);

   - 상기 제1 동질성 값과 상기 제2 동질성 값을 평균화함으로써 상기 제1 화소에 대한 평균 동질성 값을 계산하기 위한 평균화 유닛(103); 및

   - 상기 제1 화소를 상기 세그먼트에 할당하기 위해 임계값과 상기 평균 동질성 값을 비교하기 위한 비교 유닛(106)을 포함하는, 세그먼테이션 유닛(100, 200, 300).
2. 제 1 항에 있어서,

   상기 세그먼테이션 유닛(100, 200, 300)은 상기 시퀀스의 부가 이미지들의 부가 동질성 값들을 또한 고려함으로써 상기 평균 동질성 값을 계산하도록 배열되는 것을 특징으로 하는, 세그먼테이션 유닛(100, 200, 300).
3. 제 1 항에 있어서,

   상기 평균화 유닛(103)은 가중된 평균 동질성 값을 계산하도록 배열되는 것을 특징으로 하는, 세그먼테이션 유닛(100, 200, 300).
4. 제 3 항에 있어서,

   상기 세그먼테이션 유닛(200, 300)은 화소 기반으로 가중 팩터(weighting factor)를 제어하도록 배열되고, 상기 가중 팩터는 상기 가중된 평균 동질성 값의 계산을 위한 가중에 영향을 주는 것을 특징으로 하는, 세그먼테이션 유닛(200, 300).
5. 제 1 항에 있어서,

   상기 움직임 벡터를 추정하기 위한 움직임 추정 유닛(108)을 포함하고, 상기 움직임 추정 유닛(108)은 상기 비교 유닛(106)에 의해 제어되는 것을 특징으로 하는, 세그먼테이션 유닛(200, 300).
6. 제 3 항에 있어서,

   상기 움직임 벡터를 추정하기 위한 움직임 추정 유닛(108)을 포함하고, 상기 움직임 추정 유닛(108)은 상기 가중 팩터를 제어하도록 설계되는 것을 특징으로 하는, 세그먼테이션 유닛(300).
7. 이미지들의 시퀀스의 제1 이미지의 제1 화소를 세그먼트에 할당하는 방법에있어서,

   - 상기 제1 이미지에 기초하여 상기 제1 화소에 제1 동질성 값을, 그리고 상기 이미지들의 시퀀스의 제2 이미지의 제2 화소에 제2 동질성 값을 할당하는 할당 단계로서, 상기 제1 화소와 상기 제2 화소는 움직임 벡터에 의해 연관되는, 상기 할당 단계;

   - 상기 제1 동질성 값과 상기 제2 동질성 값을 평균화함으로써 상기 제1 화소에 대한 평균 동질성 값을 계산하는 평균화 단계; 및

   - 상기 제1 화소가 상기 세그먼트에 속하는지의 여부를 결정하기 위해 미리 정해진 임계값과 상기 평균 동질성 값을 비교하는 비교 단계를 포함하는, 할당 방법.
8. 이미지 처리 장치(400)에 있어서,

   - 이미지들의 시퀀스를 수신하기 위한 수신 수단(402);

   - 상기 이미지들의 시퀀스의 제1 이미지의 제1 화소를 세그먼트에 할당하기 위한 세그먼테이션 유닛(404)으로서,

   * 상기 제1 이미지에 기초하여 상기 제1 화소에 제1 동질성 값을, 그리고 상기 이미지들의 시퀀스의 제2 이미지의 제2 화소에 제2 동질성 값을 할당하기 위한 할당 유닛(102)으로서, 상기 제1 화소와 상기 제2 화소는 움직임 벡터에 의해 연관되는, 상기 할당 유닛(102);

   * 상기 제1 동질성 값과 상기 제2 동질성 값을 평균화함으로써 상기제1 화소에 대한 평균 동질성 값을 계산하기 위한 평균화 유닛(103); 및

   * 상기 제1 화소가 상기 세그먼트에 속하는지를 결정하기 위해 미리 정해진 임계값과 상기 평균 동질성 값을 비교하기 위한 비교 유닛(106)을 포함하는, 상기 세그먼테이션 유닛(404); 및

   - 상기 세그먼테이션 유닛(100, 200, 300)에 의해 제어되는 이미지 처리 유닛(406)을 포함하는, 이미지 처리 장치(400).
9. 제 8 항에 있어서,

   상기 이미지 처리 유닛(400)은 상기 이미지들을 디코딩하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치(400).
10. 제 8 항에 있어서,

    상기 이미지 처리 유닛(400)은 심도 추정(depth estimation)을 수행하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치(400).