KR20040105866A - 움직임 추정 유닛 및 움직임 벡터 추정 방법 - Google Patents

움직임 추정 유닛 및 움직임 벡터 추정 방법 Download PDF

Info

Publication number
KR20040105866A
KR20040105866A KR10-2004-7016266A KR20047016266A KR20040105866A KR 20040105866 A KR20040105866 A KR 20040105866A KR 20047016266 A KR20047016266 A KR 20047016266A KR 20040105866 A KR20040105866 A KR 20040105866A
Authority
KR
South Korea
Prior art keywords
pixels
motion vector
motion
group
block
Prior art date
Application number
KR10-2004-7016266A
Other languages
English (en)
Inventor
브라스페닝랄프에이.씨.
데한제랄드
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040105866A publication Critical patent/KR20040105866A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

일련의 이미지들 중 이미지의 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 움직임 추정 유닛은,
픽셀들의 그룹에 대한 움직임 벡터 후보들의 세트를 발생시키는 발생 수단;
세트의 각각의 움직임 벡터 후보들에 대한 매칭 오류들을 계산하는 매칭 수단;
픽셀들의 그룹에 대한 움직임 벡터로서 움직임 벡터 후보들 중 제 1 후보를 선택하는 선택 수단;
픽셀들의 그룹은 각각의 다른 움직임 벡터들이 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 것과 유사하게 추정되어야 하는 픽셀들의 하위-그룹들로 분할되어야 하는지를 테스트하는 테스트 수단으로서, 테스트는 특정 움직임 벡터에 관련된 측정에 근거하는 테스트 수단을 포함한다.

Description

움직임 추정 유닛 및 움직임 벡터 추정 방법{Motion estimation unit and method of estimating a motion vector}
2-D 움직임 추정은가 이미지에서 2-D 위치이고n은 이미지 수인 주어진 2개의 연속적인 이미지들f(,n-1) 및f(,n), 벡터 필드(,n)를발견하는 문제를 해결한다. 여기에서
2-D 움직임 추정은 하기의 문제들을 가진다:
- 해답의 존재성: 어떤 대응도 소위 언커버링 영역(uncovering area)들에 위치하는 이미지의 부분들에 대해 수립될 수 없다. 이것은 "폐쇄 문제(occlusion problem)"로 공지된다.
- 해답의 유일성: 단지 움직임은 공간 이미지 기울기에 수직으로 결정될 수 있다. 이것은 "개구 문제(aperture problem)"로 공지된다.
- 해답의 연속성: 움직임 추정은 이미지들내 노이즈의 존재에 대해 상당히 민감하다.
움직임 추정의 결함-위치 특성(ill-posed nature)때문에, 가정들은 2-D 움직임 벡터 필드의 구조에 관해 요구된다. 일반적인 접근은 움직임 벡터가 픽셀들의 블록에 대해 일정하다고 가정하는 것이다: 블록들내의 일정한 움직임의 모델. 이러한 접근은 매우 성공적이고 이를 테면 MPEG 인코딩 및 스캔-레이트 업컨버젼(scan-rate upconversion)에 사용된다. 통상적으로, 블록들의 치수들은 주어진 응용에 대해 일정한데 즉, MPEG-2에 대해 블록 사이즈는 16x16 및 스캔-레이트 업컨버젼에 대해 8x8이다. 이것은 다음의 제약을 가져온다.
여기에서B()는 위치= (x 0,x 1 )에서 픽셀들의 블록 즉,
이며,는 블록 치수들이다.
미리 결정된 블록 크기의 선택은 공간 정확성과 견고성(robustness)간 상호 보완적(trade-off)이다. 더 큰 블록 크기들에 대해, 움직임 추정은 노이즈에 대해 덜 민감하고, "개구(aperture)"는 더 크고, 따라서 "개구 문제"를 감소시킨다. 그러므로, 더 큰 블록 크기들은 3개의 문제들 중 2개의 영향을 감소시킨다. 하지만, 더 큰 블록 크기들은 공간 정확성을 감소시키는데 즉, 하나의 움직임 벡터가 블록의 모든 픽셀들에 할당된다. 공간 정확성 및 견고성간의 상호 보완성때문에 가변 블록 크기들을 사용하는 것이 제안되었다. 서두부에 기술된 종류의 움직임 추정 유닛의 일 실시예는 미국 특허 5,477,272로부터 공지된다. 상기 특허에서 톱-다운 움직임 추정 방법은 기술되는데 즉, 가장 큰 블록들로 시작하는 것이다. 움직임 벡터들은 다음 계층 등에 대해 초기 추정으로 역할을 하는 최상위 층에 대해 먼저 계산된다. 움직임 벡터들은 가장 작은 가능한 블록 크기들의 블록들을 포함하여 모든 블록들에 대해 계산된다. 따라서 방법은 계산의 관점으로부터는 상대적으로 비싸다.
본 발명은 일련의 이미지들 중 한 이미지의 픽셀들의 그룹에 대해 움직임 벡터를 추정하는 움직임 추정 유닛에 관한 것이다.
본 발명은 또한 이미지 처리 장치에 관한 것으로,
- 처리되는 일련의 이미지들을 나타내는 신호를 수신하는 수신 수단;
- 일련의 이미지들 중 이미지의 픽셀들의 그룹에 대해 움직임 벡터를 추정하는 움직임 추정 유닛; 및
- 일련의 이미지들을 처리하는 움직임 보상 이미지 처리 유닛을 구비한다.
본 발명은 또한 일련의 이미지들의 이미지의 픽셀들의 그룹에 대해 움직임 벡터를 추정하는 방법에 관한 것이다.
도 1은 본 발명의 방법에 따라 추정되는 움직임 벡터 필드의 픽셀들의 블록들을 개략적으로 도시한 도면.
도 2A는 움직임 추정 유닛의 일 실시예를 개략적으로 도시한 도면.
도 2B는 합병 유닛을 포함하는 움직임 추정 유닛의 일 실시예를 개략적으로 도시한 도면.
도 2C는 표준화 유닛을 포함하는 움직임 추정 유닛의 일 실시예를 개략적으로 도시한 도면.
도 2D는 폐쇄 검출기를 포함하는 움직임 추정 유닛의 일 실시예를 개략적으로 도시한 도면.
도 3은 이미지 처리 장치의 일 실시예를 개략적으로 도시한 도면.
본 발명의 목적은 이미지의 픽셀들의 가변 크기 그룹들에 대한 움직임 벡터 필드를 제공하고, 비교적 낮은 계산 자원 사용을 가지는 서두부에서 기술되는 종류의 움직임 추정 유닛을 제공하는 것이다.
본 발명의 목적은 일련의 이미지들 중 한 이미지의 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 움직임 추정 유닛에 있어서,
- 픽셀들의 그룹에 대한 움직임 벡터 후보들의 세트를 발생시키는 발생 수단;
- 세트의 각각의 움직임 벡터 후보들에 대한 매칭 오류들을 계산하는 매칭 수단;
- 상기 매칭 오류들에 기초하여, 움직임 벡터 후보들 중 제 1 후보를 픽셀들의 그룹에 대한 움직임 벡터로서 선택하는 선택 수단;
- 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 것과 유사하게 각각의 다른 움직임 벡터들이 추정되어야 하는 픽셀들의 하위-그룹들로 픽셀들의 그룹이 분할되어야 하는지를 테스트하는 테스트 수단으로서, 테스트는 일련의 이미지들의 특정 움직임 벡터에 관련된 측정에 근거하는, 테스트 수단을 포함하는 것으로 달성된다.
움직임 추정 유닛은 초기에 예컨대 32x32 픽셀들의 비교적 큰 픽셀들의 그룹들로, 움직임 벡터들을 추정하도록 설계된다. 움직임 벡터가 그룹에 대해 추정되어진 후, 움직임 벡터가 그룹의 모든 픽셀들을 대표하는지 검증된다. 모션 벡터가 모든 픽셀들을 대표하지 못하면, 픽셀들의 그룹은 하위-그룹들로 분할된다. 분할 후에, 움직임 벡터들은 발생 수단, 매칭 수단 및 선택 수단을 적용시킴으로써 하위-그룹들에 대해 또한 추정된다. 테스트이 긍정적인 결과를 발생시킨다면 즉, 특정 움직임 벡터가 적당하다면, 그 때 픽셀들의 그룹은 분할되지 않고 추정된 움직임 벡터는 픽셀들의 그룹내 픽셀들에 할당된다. 이 경우에서, 어떤 다른 움직임 추정 단계들도 요구되지 않고 따라서 어떤 부가의 컴퓨팅 자원 사용도 필요치 않다.
본 발명에 따른 움직임 추정 유닛의 일 실시예에서 특정 움직임 벡터는 움직임 벡터 후보들 중 제 1 후보이다. 바람직하게 테스트에 대해 사용되는 측정은 최적 매칭 움직임 벡터로서 선택된 움직임 벡터 후보에 관련된다.
본 발명에 따른 움직임 추정 유닛의 일 실시예에서 픽셀들의 그룹은 픽셀들의 블록에 대응하고, 픽셀들의 하위-그룹들은 픽셀들의 하위-블록들 각각에 대응한다. 픽셀들의 그룹들은 이미지의 임의의 형태의 부분을 형성하지만, 바람직하게는 픽셀들의 그룹은 픽셀들의 블록에 대응한다. 이것은 움직임 추정 유닛의 설계에 바람직하다.
본 발명에 따른 움직임 추정 유닛의 일 실시예에서, 테스트 수단은 픽셀들의 하위-블록들 중 제 1 하위-블록이 픽셀들의 추가의 하위-블록들로 분할되어야 하는지를 테스트하기 위해 설계되며, 상기 추가의 하위-블록들에 대해 각각의 다른 움직임 벡터들이 픽셀들의 블록에 대해 추정되는 움직임 벡터와 유사하게 추정되어야 한다. 이미지들을 블록들로 그리고 블록들을 하위-블록들 등으로 분할하는 것은 재귀적으로 반복된다. 여러 블록들 및 하위-블록들에 대해, 움직임 벡터들은 계산된다.
본 발명에 따른 움직임 추정 유닛의 일 실시예에서, 매칭 수단은 픽셀들의 블록의 픽셀들의 값들과 일련의 이미지들 중 다른 이미지의 픽셀들의 다른 픽셀들의 블록의 다른 픽셀들의 값들간의 절대 차들의 합에 대응하는 움직임 벡터의 매칭 오류를 계산하도록 배열된다. 이 매칭 오류는 비교적 견고하고 비교적 컴퓨팅 자원 사용을 하지 않고 계산될 수 있다. 매칭 오류를 계산함으로써 후보 움직임 벡터의 유효성을 계산하는 것이 통상적이다. 일반적인 기준은 SAD인데 즉,
이다. 이 매칭 오류는 블록(,n)에 대한 최적 매칭 움직임 벡터를 획득하기 위해를 변화시켜 최소화된다.(,n)은,
이다. 방정식(4)에서 알 수 있는 것처럼, 매칭 오류 계산들은 움직임 벡터에 걸쳐 쉬프트된 픽셀들의 값들의 차들에 대한 다수의 계산을 요구한다. 블록 치수들 양쪽 방향들로 2배가 된다면, 픽셀들의 값들의 차들의 수는 4배 증가한다. 하지만, 블록들의 수는 4배 감소하여, 이미지 당 계산들의 수는 동일하게 유지된다. 선택적으로 하위-샘플링들은 매칭 오류들의 계산을 위해 적용되는데 즉, 블록의 픽셀들의 부분만에 적용된다.
본 발명에 따른 움직임 추정 유닛의 일 실시예에서, 특정 움직임 벡터에 관련된 측정은 움직임 벡터와 픽셀들의 블록에 인접한 픽셀들의 인접 블록에 대해 추정되는 이웃 움직임 벡터간의 차에 근거한다. 이 실시예에서 분할은 벡터 필드 불일치VI에 근거한다. 이것은 움직임 벡터들이 미리 결정된 임계치보다 국부적으로 더 다르면, 이러한 움직임 벡터들은 캡쳐되는 즉, 일련의 이미지들에 의해 표현되는 장면에서의 하나의 동일한 객체에 속하지 않는다고 가정됨을 의미한다. 그 같은 경우에서, 블록은 객체의 에지를 발견하기 위해 분할되어야 한다. 반면에, 블록은 픽셀들의 인접 블록들이 동일하거나 거의 구별되지 않은 움직임 벡터들을 가진다면 더 이상 분할될 필요가 없다. 그와 같은 경우에서, 블록들은 동일 객체에 대응한다.
본 발명에 따른 움직임 추정 유닛의 일 실시예에서 특정 움직임 벡터에 관련된 측정은 매칭 오류 계산의 제 1 중간 결과와 매칭 오류 계산의 제 2 중간 결과간의 차에 근거하고, 제 1 중간 결과는 픽셀들의 블록의 제 1 부분에 대응하고 제 2 중간 결과는 픽셀들의 블록의 제 2 부분에 대응한다. 이러한 중간 결과들은 또한 서브-블록들에 대한 매칭 오류들로 사용된다. 따라서, 컴퓨팅 자원 사용은 최소화된다.
본 발명에 따른 움직임 추정 유닛의 일 실시예에서, 테스트 수단은 상기 픽셀들의 블록이 상기 픽셀들의 블록의 치수에 기초하여 상기 픽셀들의 하위-그룹들로 분할되어야 하는지를 테스트하도록 설계된다. 블록이 분할되어야 하는지 테스트할 다른 기준은 블록의 치수이다. 이 부가적인 기준은 자원 사용에서 융통성을 부여한다: 비교적 많은 컴퓨팅 자원 사용이 허용된다면, 분할은 미세한 그레인 블록들(fine grain blocks)이 될 때까지 계속될 것이고, 비교적 적은 컴퓨팅 자원 사용이 허용된다면, 분할은 거친 그레인 블록들이 될 때까지 계속될 것이다. 다른 기준 즉, 측정의 임계치를 적용함으로써 블록들의 세분성(granularity)은 또한 제어될 수 있다.
본 발명에 따른 움직임 추정 유닛의 실시예는, 픽셀들의 하위-블록들의 세트를 픽셀들의 합병된 블록에 합병하고, 하위-블록들의 세트 중 하위-블록에 대응하는 다른 움직임 벡터들 중 제 1 움직임 벡터를 선택함으로써, 새로운 움직임 벡터를 픽셀들의 합병된 블록에 할당하는 합병 유닛을 포함한다. 인접 블록들은 서로 동일한 움직임 벡터들을 가지거나 움직임 벡터들 간의 차가 미리 결정된 임계치 아래에 있으면 합병된다. 합병의 이점은, 움직임 벡터들의 수가 감소되므로 메모리 감소는 움직임 벡터들의 기억을 위한 메모리가 감소될 수 있다는 것이다.
본 발명에 따른 움직임 추정 유닛의 실시예는 테스트 수단을 제어하는 폐쇄 검출기(occlusion detector)를 포함한다. 폐쇄 검출기를 적용하는 이점은, 객체 경계들이 폐쇄 검출기에 의해 계산되는 폐쇄 맵으로부터 추출될 수 있다는 것이다. 따라서, 테스트 수단을 제어하기 위해 폐쇄 검출기를 적용하는 것은 이로운데, 컴퓨팅 자원 사용은 감소되기 때문이다. 선택적으로, 이미지에 대해 결정되는 폐쇄맵은 일련의 이미지 중 후속 이미지에 대해 사용된다.
본 발명에 따른 움직임 추정 유닛의 실시예는 정규화 매칭 오류들을 계산하기 위해 배열된다. 정규화된 매칭 오류들을 적용하는 이점은 움직임 추정의 견고성이다. 게다가 매칭 오류들은 픽셀들의 블록이 분할되어야 하는지를 테스트하는 것에 대한 기초이다. 정규화에 의해 이미지들의 콘텐트에 대해 덜 민감하게 된다.
본 발명의 다른 목적은 이미지의 픽셀들의 가변 크기 그룹들에 대한 움직임 벡터 필드를 제공하고 비교적 낮은 컴퓨팅 자원 사용을 가지는 서두부에 기술된 종류의 이미지 처리 장치를 제공하는 것이다.
본 발명의 이러한 목적은 이미지 처리 장치에 있어서,
- 처리되는 일련의 이미지들을 나타내는 신호를 수신하는 수신 수단;
- 일련의 이미지들 중 한 이미지의 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 움직임 추정 유닛으로서,
* 픽셀들의 그룹에 대한 움직임 벡터 후보들의 세트를 발생하는 발생 수단;
* 세트의 각각의 움직임 벡터 후보들에 대한 매칭 오류들을 계산하는 매칭 수단;
* 매칭 오류들에 기초하여, 움직임 벡터 후보들 중 제 1 후보를 픽셀들의 그룹에 대한 움직임 벡터로서 선택하는 선택 수단; 및
* 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 것과 유사하게 각각의 다른 움직임 벡터들이 추정되어야 하는 픽셀들의 하위-그룹들로 픽셀들의 그룹이 분할되어야 하는지를 테스트하는 테스트 수단으로서, 테스트는 일련의 이미지들의 특정움직임 벡터에 관련된 측정에 근거하는, 테스트 수단을 포함하는 움직임 추정 유닛; 및
- 일련의 이미지들을 처리하는 움직임 보상 이미지 처리 유닛으로, 움직임 모상 유닛에 의해 제어되는 움직임 보상 이미지 처리 유닛을 포함하는 것으로 달성된다.
이미지 처리 장치는 부가의 구성요소들 예컨대, 처리된 이미지들을 디스플레이하는 디스플레이 장치를 포함할 수 있다. 움직임 보상 이미지 처리 장치는 이미지 처리 장치의 하기의 유형들 중 하나 이상을 제공할 것이다.
- 비디오 압축, 즉 인코딩 또는 디코딩으로 예컨대 MPEG 표준
- 디인터레이스(de-interlacing): 인터레이스는 홀수 또는 짝수 이미지 라인들을 번갈아 전송하는 통상 비디오 방송 과정이다. 디인터레이스는 전 수직 해상도(full vertical resolution)를 복원하는 즉, 각 이미지들에 대해 동시에 가능한 홀수 및 짝수 라인들을 만들도록 시도한다.
- 업-컨버젼(up-conversion): 일련의 원 입력 이미지들로부터 더 큰 일련의 출력 이미지들은 계산된다. 출력 이미지들은 일시적으로 2개의 원 입력 이미지들간에 위치된다.
- 일시적인 노이즈 감소. 이것은 또한 공간 처리를 포함하는데, 공간-일시 노이즈 감소를 유발한다.
본 발명의 다른 목적은 이미지의 픽셀들의 그룹들의 가변 크기들에 대한 움직임 벡터 필드를 제공하고 비교적 낮은 컴퓨팅 자원 사용을 요구하는 서두부에 기술된 종류의 방법을 제공하는 것이다.
본 발명의 이런 목적은 일련의 이미지들 중 한 이미지의 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 방법에 있어서,
- 픽셀들의 그룹에 대한 움직임 벡터 후보들의 세트를 발생하는 단계;
- 세트의 각각의 움직임 벡터 후보들에 대한 매칭 오류들을 계산하는 단계;
- 상기 매칭 오류들에 기초하여, 움직임 벡터 후보들 중 제 1 후보를 픽셀들의 그룹에 대한 움직임 벡터로서 선택하는 단계;
- 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 것과 유사하게 각각의 다른 움직임 벡터들이 추정되어야 하는 픽셀들의 하위-그룹들로 픽셀들의 그룹이 분할되어야 하는지를 테스트하는 단계로서, 테스트는 일련의 이미지들의 특정 움직임 벡터에 관련된 측정에 근거하는, 테스트 단계를 포함하는 것으로 달성된다.
움직임 추정 유닛의 변형들 및 변화들은 기술된 이미지 처리 장치 및 방법의 변형들 및 변화들에 대응할 수 있다.
본 발명의 따른 이미지 처리 장치 및 방법, 움직임 추정 유닛의 여러 측면들은 첨부된 도면들을 참조하여 이하에서 기술된 실행들 및 실시예들에 관해 설명되고 명백해질 것이다.
대응하는 참조 번호들은 모든 도면들에서 동일한 의미를 가진다.
도 1은 본 발명의 방법에 따라 계산되는 움직임 벡터 필드(100)의 픽셀들(102 -118)의 블록들을 개략적으로 도시한다. 상기 발명에 따라 이미지들은 블록(110)에 대응하는 치수를 구비한 다수의 비교적 큰 블록들로 분할된다. 이러한 비교적 큰 블록들에 대해 움직임 벡터들은 추정된다. 더욱이 이러한 움직임 벡터들이 명백한 움직임을 기술하기에 충분히 좋은지 테스트된다. 특정한 블록에 대한 경우가 아닐 때 상기 특정 블록은 블록들(102-108 및 112)에 대응하는 치수들을 구비한, 4개의 하위 블록들로 분할된다. 도 1에서, 이러한 후자의 치수들을 구비한 대부분의 블록들에 대해 추정 움직임 벡터들은 적절한 것으로 추정된다고 보여질 수 있다. 다수의 하위 블록들이 4개로 분할되지 않는 것이 또한 가능하다는 것을 유념하라. 하위-블록들은 더 분할될 수 있는데, 예컨대 하위-블록(112)은 다시 하위 블록들(예컨대 116 및 118)로 분할되는 하위 블록들(예컨대 114)로 분할된다.
도 2A는 하기의 수단을 포함하는 움직임 추정 유닛(200)의 일 실시예를 개략적으로 도시한다.
- 픽셀들의 한 블록을 하위-블록들로 분할하는 분할 수단(202). 초기에 이미지는 예컨대 32x32 픽셀들의 치수들을 구비한 다수의 비교적 큰 블록들로 분할된다.
- 픽셀들의 특정 블록에 대한 움직임 벡터 후보들의 세트를 발생시키는 발생 수단(204). 이러한 발생 수단에 대해 픽셀들의 다른 블록들에 대해 추정되는 움직임 벡터들은 이용된다: 소위 일시적 및/또는 공간 움직임 벡터 후보들 및 임의 움직임 벡터 후보들은 이용된다. 이 원리는 예컨대,"True-Motion Estimation with 3-D Recursive Search Block matching" by G. de Haan et. al. in IEEE Transactions on circuit and systems for video technology, vol.3, no.5, October 1993, pages 368-379에 기술된다.
- 세트의 각 움직임 벡터 후보들에 대한 매칭 오류들을 계산하는 매칭 수단(208);
- 매칭 오류들을 비교하여, 픽셀들의 특정 블록에 대한 움직임 벡터로서 움직임 벡터 후보들 중 제 1 후보를 선택하는 선택 수단(206). 가장 적은 후보 움직임 벡터를 구비한 후보 움직임 벡터가 선택된다; 그리고
- 픽셀들의 특정 블록이 각각의 다른 움직임 벡터들이 픽셀들의 특정 블록에대해 추정되는 움직임 벡터와 유사하게 추정되어야만 하는 픽셀들의 하위 블록들로 분할되어야만 한다. 테스트하는 것은 선택된 움직임 벡터에 관련된 측정에 근거한다. 테스트 수단(210)은 분할 수단(220)을 제어하기 위해 설계된다.
움직임 추정 유닛(200)의 입력 접속기(connector; 212)상에 일련의 이미지들은 제공된다. 움직임 추정 유닛(200)은 출력 접속기(214)에 움직임 벡터들을 제공한다. 제어 인터페이스(216)를 통해 분할과 관련된 매개변수들, 즉 분할 기준들이 제공될 수 있다. 이러한 매개변수들은 블록들의 최소 치수들 및 선택된 움직임 벡터의 품질에 관련된 측정에 대한 임계치들을 포함한다. 그와 같은 측정의 2개의 예들은 아래에서 기술된다. 그것들은 "쿼드-SAD의 분산", var((,,n)) 및 "벡터 필드 불일치",VI로 언급될 것이다. 측정들의 조합은 바람직하다. 그러한 수단, 즉 하나의 블록을 4개의 더 작은 블록들로 분할하는 하나의 가능한 기준은
"벡터 필드 불일치"는 제 1 미리 결정된 임계치(T s )보다 더 높고 및 "쿼드-SAD의 분산"은 제 2 미리 결정된 임계치(T v )보다 더 높다.
"벡터 필드 불일치"는 인접 움직임 벡터들간의 차의 합계에 관련된다. "벡터 필드 불일치"의 일례는 수학식(7)에 의해 특정된다. 그와 같은 경우에서 특정 움직임 벡터는 4개의 인접 움직임 벡터들과 비교된다. "벡터 필드 불일치"를 계산하는대안의 접근들은 가능한 것이 분명할 것이다: 4개 이상 또는 이하의 움직임 벡터들을 구비한다.
여기에서 가장 높은 레벨에서의 블록 치수들(및) 수학식(8)에 의해 정의된 지역 벡터 평균을 구비한다.
"벡터 필드 불일치"는 수학식(10)에 의해 특정된다. 하지만 제 1 쿼드-SAD의 분산은 수학식(9)에 의해 특정된다. 소위 쿼드-SAD,(,,n)는 4개의 SAD 값들의 조합에 관련된다. 또는 바꾸어 말하면, 위치()에서의 블록은 4개의 블록들로 나눠지고 블록의 각 사분면에 대해 SAD는 계산되는데, 즉
여기에서 위치()에서의 블록은 위치들( 11,...., 22)을 구비한 4분면들즉, 4개의 동일한 크기의 작은 블록들로 분할된다. 쿼드-SAD는 어떤 부가의 계산 값없이 SAD 값들로부터 얻어질 수 있다. 그때 "쿼드-SAD의 분산"은 예컨대 수학식(10)에 의해 계산될 수 있다:
수학식(6)에 의해 특정되는 기준의 이면의 기본 개념은 가장 낮은 레벨 즉, 작은 블록 크기들은 단지 벡터 필드에서의 에지(edge)들에서 얻어진다. 벡터 필드에서 에지를 포함하는 영역은 임계치(T s )위의VI에 의해 특징 지워진다. 에지의 존재는 블록의 하나의 부분에 대한 높은 SAD 값들 및 다른 부분들에 대한 낮은 값들에 의해 특징 지워진다. 결과로 쿼드-SAD의 분산내의 SAD의 큰 분산이 나타난다.
도 2B는 병합 수단(218)을 포함하는 움직임 추정 유닛(201)의 일 실시예를 개략적으로 도시한다. 움직임 추정 유닛의 이러한 실시예는 인접 움직임 벡터들을 비교하여 설계된다. 이러한 움직임 벡터들이 같거나 인접 움직임 벡터들간의 차가 미리 결정된 임계치 아래에 존재한다면, 그 때 픽셀들의 대응하는 블록들은 필셀들의 병합된 블록으로 병합된다. 병합은 움직임 벡터 필드가 추정된 후 실행될 수 있지만, 대안으로 병합은 움직임 벡터 필드의 발생으로 동시에 실행된다.
도 2C는 표준화 유닛(220)을 포함하는 움직임 추정 유닛(203)의 일 실시예를 걔략적으로 도시한다. 매칭 오류들의 표준화에 대한 접근은 출원 번호 01202641.5(대리인 문서 번호 PHNL010478)인 유럽 특허 출원에 기술된다. 상기 특허 출원에서 분산VAR매개변수는 이미지의 픽셀들의 블록의 픽셀 값들 및 이미지의 픽셀들의 다른 블록들의 픽셀 값들간의 절대 차(absolute difference)들의 합에 의해 계산되고 있다.VAR과SAD를 비교함으로써 예상 벡터 오류(VE)는 결정된다. 이VE는 움직임 벡터의 품질에 대한 측정이다: 추정된 움직임 벡터와 실제 움직임 벡터간의 차에 대한 측정. 상기 특허 출원에서 모델은SAD및VAR값으로 주어진 예상 벡터 오류(VE)로 얻어진다.
하지만, 이 모델은 블록에 대해 적합한 단지 하나의 움직임 벡터라면 즉, 블록의 분할이 요구되지 않을 때 단지 타당하다. 따라서, 수학식(11)은 예상SAD값을 예측하기 위해 적용될 수 있다. 움직임 추정이 수렴될 때 벡터 오류(VE)는 예컨대 1/2 픽셀로 낮다고 예상된다.SAD값은 예상된SAD값보다 더 높다고 가정하면 블록은 분할된다. 따라서 분할 기준은
여기서VAR()은 예컨대 수학식(13)에 의해 주어지는데
개별적으로 x-축 및 y-축 방향으로의 단위 벡터들( x및 y)을 구비한다. 따라서SAD값 상의 수학식(12)에서 임계치는 허용된 벡터 오류가 될 것이다.
도 2D는 폐쇄 검출기(occlusion detector; 222)를 포함하는 움직임 추정 유닛(205)의 일 실시예를 개략적으로 도시하는데, 폐쇄 맵을 테스트 수단(210)에 제공한다. 폐쇄 맵에서 커버링 영역 또는 언커버링 영역(covering area or uncovering area)에 대응하는 이미지의 영역들이 정의된다. 움직임 벡터 필드에 기초하여 폐쇄 맵을 계산하기 위한 접근은 "Problem area location in an image signal"로 표제를 붙이고 번호 WO 0011863로 공표된 특허 출원으로 기술된다. 상기 특허 출원에서 폐쇄 맵은 움직임 벡터 필드의 인접 움직임 벡터들을 비교하여 결정되는 것이 기술된다. 인접 움직임 벡터들이 실질적으로 같다면 즉, 인접 움직임 벡터들간의 절대 차가 미리 결정된 임계치 아래에 있다면, 그 때 움직임 벡터에 대응하는 픽셀들의 그룹들은 비-커버링(no-covering) 영역에 위치한다. 하지만, 움직임 벡터들 중 하나가 커버링 영역 및 언커버링 영역 중 하나에 위치한다고 가정한다. 인접 움직임 벡터들의 방향은 영역의 2 형태들을 결정한다. 폐쇄 검출 중 이 방법의 이점은 견고성이다. 폐쇄 검출기를 적용하는 이점은 객체들이 폐쇄 맵으로부터 추출될 수 있다는 것이다. 블록을 하위-블록들로 분할하는 것은 커버링 영역들로적절하고, 객체의 정확한 경계는 발견되어야 한다. 언커버링 영역에 놓이는 블록의 경우에서는 불확실성때문에 블록을 하위-블록들로 분할하는 것은 별로 유용하지 않다.
도면들 2A-2D에 관련하여 기술된 움직임 추정 유닛들(200, 201, 203, 205)은 개별적으로 하기의 2가지 모드들 중 하나로 움직임 추정을 형성하도록 설계된다
- 다중-패스(multi-pass)로서, 하기와 같이 동작한다: 일단 이미지들은 블록들로 분할되고 각 블록에 대해 움직임 벡터들은 결정된다. 다음의 패스에서 여러 블록들은 다시 처리된다. 선택적으로 하위-블록들로 선택적으로 분할되고 블록들에 대해 움직임 벡터들은 추정된다. 그 다음 다른 유산한 벡터는 실행될 것이다.
- 단일 패스로서, 하기와 같이 동작한다: 블록은 블록-계층 즉, 블록-크기에서 적당한 레벨이 상기 블록에 대해 이를 때까지 반복적으로 분할된다. 그 때 인접 블록은 유사한 방법으로 처리된다. 이러한 단일 패스 계획은 바람직한데, 최적 움직임 벡터들은 블록-계층에서 가장 낮은 레벨상에서 발견되고 이러한 움직임 벡터들은 연속하는 블록에 대해 후보 움직임 벡터들로서 공급된다. 즉, 잠재적으로 더 낳은 후보 움직임 벡터들은 단일 패스 모드로 제공된다.
도 3은 이미지 처리 장치(300)의 구성 요소들을 개략적으로 도시하는데,
- 일정 처리가 실행되어진 후 디스플레이되는 이미지들을 표현하는 신호를 수신하는 수신 장치(302). 신호는 안테나 또는 케이블을 통해 수신된 방송 신호가 될 수 있지만 또한 VCR(비디오 카세트 리코더) 또는 DVD(디지털 비디오 디스크)와 같은 기억 장치로부터의 신호가 될 수 있다. 신호는 입력 접속기(310)에 제공된다.
- 도면들 2A-2D 중 어떤 것에 관련하여 기술된 움직임 추정 유닛(304);
- 움직임 보상 이미지 처리 유닛(306): 및
- 처리된 이미지들을 디스플레이하는 디스플레이 장치(308)를 포함한다. 이러한 디스플레이 장치(308)는 선택적이다.
움직임 보상 이미지 처리 유닛(306)는 이미지들 및 입력으로서 움직임 벡터들을
요구한다.
상기-언급된 실시예들은 본 발명은 제한하지 않고 예시하며 당업자들은 첨부된 청구범위들의 범위에서 벗어나지 않고 대안의 실시예들을 설계할 수 있을 것이다. 청구범위들에서 괄호사이의 위치하는 어떤 기준 기호는 청구범위를 제한하는 것으로 구성되지 않는다. 단어 '포함하는'은 청구범위에 열거되지 않은 구성 요소들 또는 단계들의 존재를 배제하지 않는다. 구성 요소의 앞의 단어 "어" 또는 "언"(a 또는 an) 복수의 그와 같은 구성 요소들의 존재를 배제하지 않는다. 본 발명은 여러 구별된 구성요소들을 포함하는 하드웨어 및 적합한 프로그램된 컴퓨터에 의해 실행된다. 여러 수단을 열거하는 장치 청구 범위들에서, 여러 이러한 수단은 하드웨어의 동일 항목 및 하나에 의해 구현될 수 있다.

Claims (17)

  1. 일련의 이미지들 중 한 이미지의 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 움직임 추정 유닛에 있어서,
    - 상기 픽셀들의 그룹에 대한 움직임 벡터 후보들의 세트를 발생하는 발생 수단;
    - 상기 세트의 상기 각각의 움직임 벡터 후보들에 대한 매칭 오류들을 계산하는 매칭 수단;
    - 상기 매칭 오류들에 기초하여, 상기 움직임 벡터 후보들 중 제 1 후보를 상기 픽셀들의 그룹에 대한 상기 움직임 벡터로서 선택하는 선택 수단;
    - 상기 픽셀들의 그룹에 대한 상기 움직임 벡터를 추정하는 것과 유사하게 각각의 다른 움직임 벡터들이 추정되어야 하는 픽셀들의 하위-그룹들로 상기 픽셀들의 그룹이 분할되어야 하는지를 테스트하는 테스트 수단으로서, 상기 테스트는 상기 일련의 이미지들의 특정 움직임 벡터에 관련된 측정에 근거하는, 상기 테스트 수단을 포함하는, 움직임 추정 유닛.
  2. 제 1 항에 있어서,
    상기 특정 움직임 벡터는 상기 움직임 벡터 후보들 중 제 1 후보인 것을 특징으로 하는, 움직임 추정 유닛.
  3. 제 1 항에 있어서,
    상기 픽셀들의 그룹은 픽셀들의 블록에 대응하고, 상기 픽셀들의 하위-그룹들은 픽셀들의 각각의 하위-블록들에 대응하는 것을 특징으로 하는, 움직임 추정 유닛.
  4. 제 3 항에 있어서,
    상기 테스트 수단은 상기 픽셀들의 하위-블록들 중 제 1 하위-블록이 상기 픽셀들의 블록에 대해 추정되는 상기 움직임 벡터와 유사하게 각각의 다른 움직임 벡터들이 추정되어야 하는 픽셀들의 다른 하위-블록들로 분할되어야 하는지를 테스트하기 위해 설계되는 것을 특징으로 하는, 움직임 추정 유닛.
  5. 제 3 항에 있어서,
    상기 매칭 수단은 상기 픽셀들의 블록의 픽셀들의 값들과 상기 일련의 이미지들 중 다른 이미지의 픽셀들의 다른 픽셀들의 블록의 각각의 다른 픽셀들의 값들간의 절대 차들의 합에 대응하는 상기 움직임 벡터의 상기 매칭 오류를 계산하도록 배열되는 것을 특징으로 하는, 움직임 추정 유닛.
  6. 제 3 항에 있어서,
    상기 특정 움직임 벡터에 관련된 상기 측정은 상기 움직임 벡터와 상기 픽셀들의 블록에 인접한 픽셀들의 인접 블록에 대해 추정되는 이웃 움직임 벡터간의 차에 근거하는 것을 특징으로 하는, 움직임 추정 유닛.
  7. 제 3 항에 있어서,
    상기 특정 움직임 벡터에 관련된 상기 측정은 상기 매칭 오류를 계산하는 제 1 중간 결과와 상기 매칭 오류를 계산하는 제 2 중간 결과간의 차에 근거하고, 상기 제 1 중간 결과는 상기 픽셀들의 블록의 제 1 부분에 대응하고 상기 제 2 중간 결과는 상기 픽셀들의 블록의 제 2 부분에 대응하는 것을 특징으로 하는, 움직임 추정 유닛.
  8. 제 3 항에 있어서,
    상기 테스트 수단은 상기 픽셀들의 블록이 상기 픽셀들의 블록의 치수에 기초하여 상기 픽셀들의 하위-그룹들로 분할되어야 하는지를 테스트하도록 설계되는 것을 특징으로 하는, 움직임 추정 유닛.
  9. 제 3 항에 있어서,
    하위-블록들의 세트 중 상기 하위-블록들에 대응하는 상기 다른 움직임 벡터들 중 제 1 움직임 벡터를 선택함으로써, 픽셀들의 상기 하위-블록들의 세트를 픽셀들의 합병된 블록에 합병하고 새로운 움직임 벡터를 상기 픽셀들의 합병된 블록에 할당하는 합병 유닛(218)을 포함하는 것을 특징으로 하는, 움직임 추정 유닛.
  10. 제 3 항에 있어서,
    상기 테스트 수단을 제어하는 패쇄 검출기(occlusion detector)를 포함하는 것을 특징으로 하는, 움직임 추정 유닛.
  11. 제 3 항에 있어서,
    표준화 매칭 오류들을 계산하기 위해 배열되는 것을 특징으로 하는, 움직임 추정 유닛.
  12. 이미지 처리 장치에 있어서,
    - 처리되는 일련의 이미지들을 나타내는 신호를 수신하는 수신 수단;
    - 상기 일련의 이미지들 중 한 이미지의 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 움직임 추정 유닛으로서,
    * 상기 픽셀들의 그룹에 대한 움직임 벡터 후보들의 세트를 발생하는 발생 수단;
    * 상기 세트의 상기 각각의 움직임 벡터 후보들에 대한 매칭 오류들을 계산하는 매칭 수단;
    * 상기 매칭 오류들에 기초하여, 상기 움직임 벡터 후보들 중 제 1 후보를 상기 픽셀들의 그룹에 대한 상기 움직임 벡터로서 선택하는 선택 수단; 및
    * 상기 픽셀들의 그룹에 대한 상기 움직임 벡터를 추정하는 것과 유사하게 각각의 다른 움직임 벡터들이 추정되어야 하는 픽셀들의 하위-그룹들로 상기 픽셀들의 그룹이 분할되어야 하는지를 테스트하는 테스트 수단으로서, 상기 테스트는 상기 일련의 이미지들의 특정 움직임 벡터에 관련된 측정에 근거하는, 상기 테스트 수단을 포함하는, 움직임 추정 유닛; 및
    - 상기 일련의 이미지들을 처리하는 움직임 보상 이미지 처리 유닛으로서, 상기 움직임 모상 유닛에 의해 제어되는 상기 움직임 보상 이미지 처리 유닛을 포함하는, 이미지 처리 장치.
  13. 제 12 항에 있어서,
    상기 움직임 보상 이미지 처리 유닛은 비디오 압축을 실행하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
  14. 제 12 항에 있어서,
    상기 움직임 보상 이미지 처리 유닛은 상기 일련의 이미지들에서의 노이즈를 감소시키도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
  15. 제 12 항에 있어서,
    상기 움직임 보상 이미지 처리 유닛은 일련의 이미지들을 디인터레이스(de-interlace)하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
  16. 제 12 항에 있어서,
    상기 움직임 보상 이미지 처리 유닛은 업-컨버젼(up-conversion)을 실행하도록 설계되는 것을 특징으로 하는, 이미지 처리 장치.
  17. 일련의 이미지들 중 한 이미지의 픽셀들의 그룹에 대한 움직임 벡터를 추정하는 방법에 있어서,
    - 상기 픽셀들의 그룹에 대한 움직임 벡터 후보들의 세트를 발생하는 단계;
    - 상기 세트의 상기 각각의 움직임 벡터 후보들에 대한 매칭 오류들을 계산하는 단계;
    - 상기 매칭 오류들에 기초하여 상기 움직임 벡터 후보들 중 제 1 후보를 상기 픽셀들의 그룹에 대한 상기 움직임 벡터로서 선택하는 단계;
    - 상기 픽셀들의 그룹에 대한 상기 움직임 벡터를 추정하는 것과 유사하게 각각의 다른 움직임 벡터들이 추정되어야 하는 픽셀들의 하위-그룹들로 상기 픽셀들의 그룹이 분할되어야 하는지를 테스트하는 단계로서, 상기 테스트는 상기 일련의 이미지들의 특정 움직임 벡터에 관련된 측정에 근거하는, 상기 테스트 단계를 포함하는, 움직임 벡터 추정 방법.
KR10-2004-7016266A 2002-04-11 2003-03-20 움직임 추정 유닛 및 움직임 벡터 추정 방법 KR20040105866A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP02076439.5 2002-04-11
EP02076439 2002-04-11
PCT/IB2003/001090 WO2003085599A1 (en) 2002-04-11 2003-03-20 Motion estimation unit and method of estimating a motion vector

Publications (1)

Publication Number Publication Date
KR20040105866A true KR20040105866A (ko) 2004-12-16

Family

ID=28685953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7016266A KR20040105866A (ko) 2002-04-11 2003-03-20 움직임 추정 유닛 및 움직임 벡터 추정 방법

Country Status (7)

Country Link
US (1) US20050141614A1 (ko)
EP (1) EP1500048A1 (ko)
JP (1) JP2005522762A (ko)
KR (1) KR20040105866A (ko)
CN (1) CN1647113A (ko)
AU (1) AU2003208559A1 (ko)
WO (1) WO2003085599A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2441120C (en) 2001-03-16 2010-06-22 Netomat, Inc. Sharing, managing and communicating information over a computer network
EP1734767A1 (en) * 2005-06-13 2006-12-20 SONY DEUTSCHLAND GmbH Method for processing digital image data
GB2443668A (en) * 2006-11-10 2008-05-14 Tandberg Television Asa Motion-compensated temporal recursive filter
US20080126278A1 (en) * 2006-11-29 2008-05-29 Alexander Bronstein Parallel processing motion estimation for H.264 video codec
US8929448B2 (en) * 2006-12-22 2015-01-06 Sony Corporation Inter sub-mode decision process in a transcoding operation
TWI361618B (en) * 2006-12-26 2012-04-01 Realtek Semiconductor Corp Method and device for estimating noise
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US7990476B2 (en) * 2007-09-19 2011-08-02 Samsung Electronics Co., Ltd. System and method for detecting visual occlusion based on motion vector density
KR101085963B1 (ko) * 2008-08-11 2011-11-22 에스케이플래닛 주식회사 동영상 부호화 장치 및 방법
US20100111166A1 (en) * 2008-10-31 2010-05-06 Rmi Corporation Device for decoding a video stream and method thereof
KR101548269B1 (ko) * 2008-12-02 2015-08-31 삼성전자주식회사 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
US20100303301A1 (en) * 2009-06-01 2010-12-02 Gregory Micheal Lamoureux Inter-Frame Motion Detection
US8761531B2 (en) * 2009-07-09 2014-06-24 Qualcomm Incorporated Image data compression involving sub-sampling of luma and chroma values
WO2011121227A1 (fr) * 2010-03-31 2011-10-06 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images mettant en œuvre une prediction par compensation de mouvement avant, flux et programme d'ordinateur correspondants
KR101506446B1 (ko) * 2010-12-15 2015-04-08 에스케이 텔레콤주식회사 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101977802B1 (ko) * 2012-10-10 2019-05-13 삼성전자주식회사 영상 시스템에서 움직임 추정 장치 및 방법
CN104104960B (zh) * 2013-04-03 2017-06-27 华为技术有限公司 多级双向运动估计方法及设备
US20150287173A1 (en) * 2014-04-03 2015-10-08 Samsung Electronics Co., Ltd. Periodic pattern handling by displacement vectors comparison
CN105303519A (zh) * 2014-06-20 2016-02-03 汤姆逊许可公司 用于生成时间一致的超像素的方法和装置
KR101595096B1 (ko) * 2014-08-18 2016-02-17 경희대학교 산학협력단 영상 분석 방법 및 장치
CN106651918B (zh) * 2017-02-16 2020-01-31 国网上海市电力公司 抖动背景下的前景提取方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9321372D0 (en) * 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
EP0815538A1 (en) * 1995-03-22 1998-01-07 IDT INTERNATIONAL DIGITAL TECHNOLOGIES DEUTSCHLAND GmbH Method and apparatus for depth modelling and providing depth information of moving objects
US5748247A (en) * 1996-04-08 1998-05-05 Tektronix, Inc. Refinement of block motion vectors to achieve a dense motion field
US6366705B1 (en) * 1999-01-28 2002-04-02 Lucent Technologies Inc. Perceptual preprocessing techniques to reduce complexity of video coders
US6987866B2 (en) * 2001-06-05 2006-01-17 Micron Technology, Inc. Multi-modal motion estimation for video sequences

Also Published As

Publication number Publication date
JP2005522762A (ja) 2005-07-28
US20050141614A1 (en) 2005-06-30
AU2003208559A1 (en) 2003-10-20
WO2003085599A1 (en) 2003-10-16
CN1647113A (zh) 2005-07-27
EP1500048A1 (en) 2005-01-26

Similar Documents

Publication Publication Date Title
KR20040105866A (ko) 움직임 추정 유닛 및 움직임 벡터 추정 방법
KR100708091B1 (ko) 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
US8625673B2 (en) Method and apparatus for determining motion between video images
JP4472986B2 (ja) 動き推定および／または補償
US8406303B2 (en) Motion estimation using prediction guided decimated search
US8130835B2 (en) Method and apparatus for generating motion vector in hierarchical motion estimation
KR100840133B1 (ko) Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기
KR100973429B1 (ko) 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
US7949205B2 (en) Image processing unit with fall-back
JP2002523985A (ja) 画像信号における問題領域位置決め
JP2004518341A (ja) 単一のテレビジョン信号フィールド中で並行して生ずるフィルム及びビデオオブジェクトの認識
EP1980113A1 (en) Method and apparatus for block-based motion estimation
US20050180506A1 (en) Unit for and method of estimating a current motion vector
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
JP4213035B2 (ja) オクルージョン領域を検出するオクルージョン検出器および方法
US20050226462A1 (en) Unit for and method of estimating a motion vector
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
US7881500B2 (en) Motion estimation with video mode detection
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
KR100969420B1 (ko) 프레임 레이트 변환 방법
JPH08242454A (ja) グローバル動きパラメタ検出方法
Blume et al. Segmentation in the loop: an iterative object-based algorithm for motion estimation
KR20100062301A (ko) 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid