KR20080046269A - 적응적 움직임 검색 범위 - Google Patents
적응적 움직임 검색 범위 Download PDFInfo
- Publication number
- KR20080046269A KR20080046269A KR1020087008973A KR20087008973A KR20080046269A KR 20080046269 A KR20080046269 A KR 20080046269A KR 1020087008973 A KR1020087008973 A KR 1020087008973A KR 20087008973 A KR20087008973 A KR 20087008973A KR 20080046269 A KR20080046269 A KR 20080046269A
- Authority
- KR
- South Korea
- Prior art keywords
- motion vectors
- motion
- search range
- blocks
- target block
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
적응적 움직임 검색 범위를 이용하여 움직임 추정을 수행하기 위한 기술이 대상 이미지에서의 픽셀들의 블록들을 위한 움직임 벡터들을 계산하고, 계산된 움직임 벡터들을 이용하여 대상 이미지에서의 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키며, 발생된 검색 범위를 이용하여 픽셀들의 대상 블록의 움직임을 추정하는 것을 포함한다.
적응, 움직임, 이미지, 시퀀스, 벡터, 픽셀
Description
본 발명은 비디오 압축 분야에 관한 것이다.
비디오 시퀀스를 위한 고 압축 이득이 이미지(프레임)들 사이의 시간적 잉여를 제거함으로써 성취될 수 있다. 예를 들어, 이미지를 인코딩하기 위해, 인코딩될 이미지의 시간적 예측이 미리 인코딩된 이미지들에 기반하여 발생된다. 시간적 예측은 예측 오류를 결정하기 위해 실제의 이미지와 비교되고, 예측 오류가 인코딩된다. 예측은 널리 이용되는 블록 기반 움직임 추정 및 보상 방법(예를 들어, MPEG 표준)들을 이용하여 이루어질 수 있다.
움직임 보상 및 추정 방법들은 통상적으로 예측 오류 및 움직임 벡터인 대상 블록의 예측 잔류만 코딩될 필요가 있도록 대상 이미지에서의 대응 대상 블록의 위치를 예측하기 위해 하나 이상의 기준 이미지들에서의 기준 블록을 찾기 위해 이용된다. 이러한 방법들은 대상 이미지에서의 대응 대상 블록과 가장 유사한 기준 이미지에서의 픽셀들의 기준 블록을 식별하기 위해 블록 매칭을 수행한다.
기준 블록과 대응 대상 블록 사이의 픽셀 거리는 대상 블록을 위한 움직임 벡터이다. 예를 들어, mx i ,j , my i ,j 가 각각 x축(수평) 및 y축(수직)에서의 블록 B i ,j 의 움직임 벡터라고 하자. 움직임 벡터의 값들은 대상 블록을 위한 예측 값을 발생시키기 위해 기준 블록에 따른 비디오 압축에 이용된다.
도 1은 예시적 움직임 벡터의 개요도이다. 대상 이미지(120)는 기준 이미지(110)로부터의 정보를 이용하여 인코딩될 것이다. 기준 블록(115)은 대상 이미지(120)에서의 대상 블록(125)과 가장 밀접하게 매칭하는 기준 이미지(110)에서의 블록으로서 식별된다. 기준 블록이 식별된 후, 움직임 벡터(130)(단지 예시적 목적으로 화살표로 도시됨)는 기준 블록(115)의 위치와 관련된 대상 블록(125)의 위치를 식별하기 위해 발생된다. 움직임 벡터(130)는 기준 블록(115)과 대상 블록(125) 사이의 관계를 나타내는 두개의 요소들, 즉 수평 변위 및 수직 변위를 갖는다. 예를 들어, 예시적인 3×3 그룹의 픽셀들인 기준 블록(115)은 위치(i', j')에 있고, 대상 블록(125)은 위치(i, j)에 있다. 두개의 블록들 사이의 거리는 움직임 벡터(i'-i, j'-j)이다.
기준 이미지에서의 기준 블록을 식별하기 위해, 기준 이미지에서의 후보 블록들이 대상 블록에 비교된다. 각각의 후보 블록은 대상 블록과 동일한 크기를 갖고 기준 이미지에서의 지정된 검색 범위 내에 배치된다. 대상 블록과 가장 밀접하게 매칭하는 후보 블록이 기준 블록으로서 식별된다. 기준 블록을 검색하는 것은 움직임 추정의 중요한 부분이며 통상적으로 큰 크기의 산술 계산을 요구한다.
하나의 대상 블록을 위한 움직임 추정을 수행하는 것의 복잡도는 움직임 검색 범위, 즉 거리 d의 제곱에 비례하는 것, 예를 들어, 복잡도= axd 2 - 여기에서, a 는 상수 - 로서, 검색 범위 내에서 가능한 기준 블록들의 수에 비례한다. 움직임 검색 범위는 기준 블록을 찾기 위해 이용되는 기준 이미지에서의 영역을 정한다. 다시 말해서, 검색 범위는 움직임 추정 동안에 검사될 기준 이미지에서의 블록들의 수를 정의한다.
움직임 검색 범위는 이미지에서의 객체의 이동 속도에 관련되어야 한다. 예를 들어, 고속 이동 객체들의 경우에, 대상 블록을 예측하기에 양호한 카운터 블록(counter-block)들을 찾기 위해 큰 검색 범위가 적절하다. 그러나, 움직임 추정 방법을 수행하기 전에, 이미지(또는 프레임)의 어떤 부분이 소량의 움직임을 갖는지, 어떤 부분이 큰 크기의 움직임을 갖는지를 예측하기는 어렵다. 그러므로, 통상적인 비디오 압축 방법들은 동일한 대상 이미지에서의 모든 블록들을 위해 일정한 움직임 검색 범위를 이용한다.
일정한 움직임 검색 범위의 단점은, 그것이 이미지에서의 가장 고속의 이동 객체를 획득하기에 충분히 크다면, 그것은 작은 이동을 갖는 구역을 위해서는 검색 컴퓨테이션을 불필요하게 증가시킨다는 것이다. 역으로, 검색 범위가 너무 작다면, 기준 블록이 검색 범위의 외측에 있을 수 있을 것이기 때문에, 움직임 추정 방법이 큰 크기 이동을 갖는 기준 블록을 찾지 못할 수 있을 것이다.
적응적 움직임 검색 범위를 이용하여 움직임 추정을 수행하기 위한 기술은 대상 이미지에 있는 픽셀들의 블록들을 위한 움직임 벡터들을 계산하고, 계산된 움직임 벡터들을 이용하여 대상 이미지에 있는 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키며, 발생된 검색 범위를 이용하여 픽셀들의 대상 블록의 움직임을 추정하는 것을 포함한다.
본 발명이 예시적으로 도시되며, 첨부된 도면과 관련하여 아래의 기술을 참고하면 더 잘 이해될 것이다.
도 1은 기준 블록에 기반하여 발생된 대상 블록을 위한 움직임 벡터의 한 예를 도시한다.
도 2는 비디오 시퀀스에서의 움직임 추정을 수행하기 위한 적응성 움직임 검색 범위의 한 예를 도시한다.
도 3은 움직임 추정을 수행함에 있어서 이용되는 블록들을 위한 움직임 검색 범위를 적응시키기 위한 방법의 한 예를 도시한다.
도 4 및 5는 도 3에 도시된 방법에서 이용되는 블록 스캐닝 순서들의 예를 도시한다.
도 6은 적응적 움직임 검색 범위 방법을 이용하는 시스템의 한 예를 도시한다.
아래의 기술에서는, 이 기술의 일부를 이루고 본 발명이 실시될 수 있는 특정한 실시예가 예시적으로 도시된 첨부 도면들에 대한 참조가 이루어진다. 본 발명의 범위로부터 벗어남이 없이 다른 실시예들이 이용될 수 있을 것이고 구조적 변경이 이루어질 수 있을 것임을 알아야 한다. 예를 들어, 숙련된 자들은 다양한 실 시예들을 기술하기 위해 이용되는 필드, 프레임, 이미지, 또는 픽처(picture)라는 용어가 비디오 데이터와 관련하여 이용됨에 있어서 일반적으로 교체 가능한 것임을 알 것이다.
움직임 검색 범위를 적응(adapt)시키기 위한 방법은 움직임 추정에서 대상 이미지에서의 움직임에 관한 기존의 정보에 기반하여 대상 블록의 움직임 검색 범위를 자동으로 조정하기 위해 이용된다. 이 방법은 느린 움직임 객체들을 위한 검색 범위를 감축하고, 또한 가장 고속의 이동 객체들을 위한 움직임 검색 범위를 자동으로 증가시킴으로써 고속 이동 객체들의 예측 품질을 보존할 수 있다. 예를 들어, 이 방법은 인접 블록들을 위해 미리 계산된 움직임 추정 결과들에 따라 대상 블록을 위한 움직임 검색 범위를 적응적으로 조정한다. 그러므로, 이 방법의 실시예들은 움직임 검색 범위를 주변 영역에서의 움직임 크기에 적응시킴으로써 각각의 대상 블록을 위한 움직임 벡터들을 찾는 복잡도를 감소시킨다. 적응적 방법은 비디오 압축 방법에서의 시간적 예측을 수행하기 위해 다른 기술들과 조합될 수 있다. 적응적 방법은 움직임 추정이 필요한 다른 비디오 애플리케이션들에서 이용될 수도 있다.
도 2는 적응적 방법을 이용하여 결정되는 움직임 검색 범위의 한 예를 도시한다. B i ,j 가 픽셀 대상 이미지(220)에서 한 위치(i,j)에 있는 대상 블록(225)이라고 하자. 여기에서, dx i ,j 및 dy i ,j 는 각각 수평 및 수직 움직임 검색 범위이다. 이 예에서는, 기준 이미지(210)에 있는 후보 기준 블록들이 기준 블록(215)을 찾기 위 해 대상 블록에 순서대로 비교될 후보 블록들의 수를 포함하는 [2dx i,j +1]x[2dy i,j +1]의 직사각형 영역(230) 내이다. 이 검색 범위는 움직임 추정을 수행하는 컴퓨테이션 복잡도에 대해 직접적인 영향을 갖는다. 인접 블록들이 작은 크기의 움직임을 가질 것으로 예측되면 인접 블록들에서의 예측된 움직임 크기에 기반하여 대상 블록을 위한 dx i ,j 및 dy i ,j 값들을 적응적으로 조정함으로써, 검색 범위의 크기가 감소될 수 있다. 산출되는 비교적 작은 검색 범위는 대상 블록에서의 움직임 추정을 수행하는 컴퓨테이션 복잡도를 감소시킨다. 마찬가지로, 일부의 실시예들에서는, 인접 블록들이 큰 크기의 움직임을 가질 것으로 예측되면, 검색 범위가 비교적 커지게 적응될 수 있다.
일반적으로, N x , N y 는 대상 블록의 최대 수평 및 수직 검색 범위이다. 검색 범위(dx i ,j , 및 dy i ,j )들은 인접 블록들로부터의 미리 계산된 움직임 벡터들을 이용하여 계산되는 정해진 대상 블록 B i ,j 을 위한 조정 가능한 검색 범위들이다. 움직임 추정들이 미리 계산된 인접 블록들은 대상 블록의 움직임 추정에 앞서 그들의 움직임 추정들이 결정되었기 때문에 선행하는 인접 블록들이라고 지칭된다. 이 프로세스는 검색 범위를 위한 고정 값(예를 들어, N x , N y )들을 이용하기보다는 인접 블록들로부터의 미리 계산된 움직임 추정들을 이용하여 특정한 대상 블록을 위한 검색 범위의 크기를 자동으로 적응시킨다.
도 2에 예시적으로 도시된 바와 같이 움직임 검색 범위를 정하는 dx i ,j 및 dy i,j 의 값은 도 3에 도시된 예시적 방법을 대상 이미지에서의 각각의 블록에 자동으로 적응된다. 단계(310)에서, 대상 이미지는 블록들로 분할된다. 단계(315)에서, 블록들에서의 움직임 추정을 순차적으로 수행하는 스캐닝 순서가 정해진다. 단계(320)에서, 움직임 추정 처리를 위한 대상 블록이 선택된다. 단계(325)에서, 프로세스는 대상 블록이 검색 범위를 적응시키기에 충분한 선행하는 인접 블록(결정된 움직임 벡터들을 갖는 인접 블록임)들을 갖는지를 결정한다. 아니라면, 단계(330)에서, 프로세스가 기본적인 검색 범위(default search range)를 이용하여 대상 블록에 대한 움직임 추정을 수행한다. 예를 들어, 도 2에서의 대상 이미지의 상좌측 코너에 있는 블록(B 0,0 ) 등과 같은 스캐닝 순서 시퀀스에서의 초기 블록은 인코딩 프로세스에서 아무런 선행하는 인접 블록도 갖지 않는다. 이 경우에, 움직임 추정 방법의 검색 범위 파라미터들은 시퀀스에서의 이 초기 블록의 경우 dx i,j =N x 및 dy i ,j = N y 인 기본 값으로 설정될 수 있다. 그 후, 단계(340)에서 대상 블록에 대한 움직임 추정이 수행된다.
일부의 실시예들에서는, 결정된 움직임 벡터를 갖는 단일의 선행 대상 블록(예를 들어, 상좌측 블록)은 적응적 검색 범위 방법을 시작하기에 충분하다. 다른 실시예들에서는, 결정된 움직임 벡터들을 갖는 다수의 선행하는 대상 블록(예를 들어, 래스터 스캐닝 순서가 이용되면 상좌측 인접 블록)들이 요구된다. 단계(335)에서, 충분한 선행 인접 블록들을 갖는 대상 블록들의 경우에, 프로세스는 선행 인접 블록들로부터의 조정 팩터(adjustment factor)들을 계산한다. 대상 블록을 위 한 검색 범위는 조정 팩터들을 이용하여 선행 인접 블록들에서의 움직임의 크기에 자동으로 적응되고, 단계(340)에서 적응된 범위를 이용하여 대상 블록을 위한 움직임 추정이 수행된다. 단계(345)에서, 프로세스는 다른 블록들에 대한 움직임 추정이 수행될 것인지를 결정한다. 수행해야 한다면, 방법은 단계(320)으로 복귀된다. 그렇지 않으면, 단계(350)에서 프로스세가 종료된다.
아래는 도 3과 관련된 예시적 실시예들의 기술이다. 한 사례에서는, 선행 인접 블록들로부터 계산된 팩터들에 기반하여 도 3에 도시된 움직임 추정 방법의 단계(335)에서 대상 블록을 위한 검색 범위가 조정된다. 이 팩터들은 아래의 수학식 1과 같다.
여기에서 , 은 대상 블록 B i ,j 를 위해 추정된 수평 및 수직 움직임 범위들이고, δ x , δ y 는 선행 인접 블록들에서의 움직임의 크기와 대상 블록에서의 움직임의 크기 사이의 추정된 상관(correlation)의 크기를 나타낸다. 수학식 1의 배경 개념은 대상 블록에서의 픽셀들의 움직임이 인접 블록들에서의 픽셀 움직임과 아마 유사할 것이라는 것이다. 그러므로, 특정한 대상 블록을 위한 움직임 검색 범위가 인접 움직임 벡터들에 의해 표시된 바와 같이 그 인접 블록들에서 이미 발견된 움직임의 크기로부터 자동으로 결정된다.
대상 블록을 위한 움직임 범위의 추정
대상 블록을 위한 움직임 검색 범위, 및 의 값은 그 선행 인접 블록들의 움직임 벡터들로부터 계산된다. 세트 P i ,j 가 대상 블록 B i ,j 의 선행 인접 블록들의 세트라고 정의되면, 및 은 세트 P i ,j 에서의 선행 인접 블록들의 움직임 벡터들의 함수로서 표현된다. 한 실시예에서는, 함수가 세트 P i ,j 에 속하는 블록들의 움직임 벡터들의 평균 값이고, 그것은 아래의 수학식 2와 같다.
여기에서, 은 P i ,j 세트에 있는 블록들을 지칭하며, n은 P i ,j 에 있는 블록들의 총수이다. 이 예에서는, 상측 블록 및 좌측 블록 등과 같은 두개의 블록들이 선행 인접 블록이면, 및 은 아래의 수학식 3과 같은 두개의 움직임 벡터들의 평균으로서 표현된다.
그러므로, 및 을 발생시키기 위한 함수가 세트 P i ,j 에 있는 블록들의 움직임 벡터들로부터 결정된다. 이 함수에 의해, 적응적 움직임 검색 범위 방 법이 대상 이미지에서의 각각의 블록을 위한 움직임 검색 범위를 동적으로 결정한다. 한 실시예에서는, 방법이 그 인접 블록들에서의 움직임의 크기에 관한 정보를 이용하여 대상 블록에서의 객체의 움직임의 크기를 추정함으로써 대상 블록을 위한 검색 범위를 적응시키기 위해 수학식 3을 이용한다.
예를 들어, 대상 블록이 작은 움직임 벡터들을 갖는 선행 인접 블록들을 가지면, 일반적으로, 대상 블록은 작은 크기의 움직임을 갖는다. 한 실시예에서는 적응적 움직임 검색 범위 방법이 대상 블록을 위한 작은 검색 범위를 발생시키기 위해 수학식 3을 이용하고, 그 동작은 움직임 검색의 복잡도를 감소시킨다.
다른 한편, 대상 블록이 큰 움직임 벡터들을 갖는 선행 인접 블록들을 가지면, 대상 블록은 아마 큰 크기의 움직임을 가질 것이다. 그러므로, 한 실시예에서는, 적응적 움직임 검색 범위 방법이 대상 블록을 위한 검색 범위를 자동으로 증가시키기 위해 수학식 3을 이용한다. 그 후, 고속 이동 객체를 위한 기준 블록을 식별하기에 충분히 큰 증가된 검색 범위를 갖는 대상 블록을 위한 움직임 추정이 수행된다.
수학식 2 및 3은 세트 P i ,j 에서의 움직임 벡터들의 평균 값을 계산하기 위해 이용될 수 있는 함수들의 예이다. 추정된 움직임 범위 및 를 발생시키기 위해 선행 인접 블록들의 세트 P i ,j 에서의 움직임 벡터들에 대해 필터를 적용함으로써 더 일반적인 함수가 얻어질 수 있다. 일반성을 상실함이 없이, 이라는 항 을 도출하기 위한 예가 도시되어 있고, 이라는 항이 동일한 수순으로 도출될 수 있다. L이 n개의 탭을 포함하는 필터이고, L=[l 1 , l 2 ,..., l n ] - 여기에서, l i 는 L에서의 i번째 요소이고, 또한 l i 는 i라는 탭의 필터 계수임 - 이라고 하자. M x 가 선행 인접 블록 P i ,j 에서의 블록들의 모든 움직임 벡터(단지 x축 값만)들을 포함하는 벡터이고, M x =[x 1 ,x 2 ,..., x n ]이라고 하자. 그러면,
여기에서 ( M x ) T 는 벡터 M x 의 전치 행렬이다.
수학식 2 및 3에 나타낸 평균하는 방법은 수학식 4의 필터링하는 방법의 특수한 경우들이다. 예를 들어, L=[0.5, 0.5]이고, M x =[mx i -1,j , mx i ,j-1 ]이며, M y =[my i -1,j ,my i,j-1 ]이면, 수학식 4는 수학식 3으로 변환된다.
일반적으로, P i ,j 에서의 블록 수가 L에서의 탭 수와 동등하기 때문에 필터 L에서의 탭의 수는 P i ,j 세트에서의 블록 수를 증가시킴으로써 증가될 수 있다.
통상적으로, L은 선행 인접 블록 움직임 벡터들의 통계적 평균 값을 얻기 위해 이용되는 저역 필터(평활 필터(smoothing filter))일 수 있다. 그러한 필터를 디자인하기 위해 여러 방법들이 이용될 수 있다(예를 들어, 필터 L에서의 각각의 필터 계수(l i )들을 위한 값을 선택함). 그러면, 적응적 움직임 검색 범위 방법은 추정된 검색 범위 및 를 얻기 위해 저역 필터를 이용할 수 있다.
조정된 검색 범위를 위한 안전 한계의 추정
수학식 1에서의 δ x 및 δ y 라는 조정 항을 위한 값들은 선행 인접 블록들에서의 움직임 벡터들이 대상 블록에서의 움직임의 크기를 예상하지 못할 가능성을 감안하여 움직임 검색 범위를 조정하기 위한 안전 한계로서 이용될 수 있다. 예를 들어, 선행 인접 블록 움직임 벡터 분포가 큰 표준 편차로 되면, 조정 값 δ x 및 δ x 는 대상 블록을 위한 움직임 검색 범위가 그 선행 인접 블록들의 움직임 검색 범위와 매우 달라지게 한다.
δ x 및 δ x 를 위한 값들의 선택은 움직임 검색 범위가 대상 블록의 움직임 특성에 적응하게 한다. 비교적 큰 δ x 및 δ x 값들은 움직임 검색 범위에서의 더 빨리 이동하는 객체들이 검색되게 한다. 그러나, 비교적 큰 값들은 검색 범위가 증가되기 때문에 움직임 검색 복잡도를 증가시킬 수 있다. 비교적 작은 δ x 및 δ x 는 움직임 검색의 복잡도를 감소시키지만 적응의 속도를 제한한다. 항목 δ x 및 δ y 는 일정한 값 또는 조정 가능한 값을 가질 수 있다. 일정한 값을 이용하는 것은 단순성을 갖는다. δ x 및 δ y 를 위해 적응적 값들을 이용하는 것은 움직임 추정의 정확도를 개선할 수 있다.
δ x 및 δ y 를 대상 블록의 움직임 특성에 적응시킬 수 있는 다양한 방법이 있다. 일반적으로, 대상 블록이 그 선행하는 인접 블록들의 움직임 벡터와 다른 움직임 벡터를 가질 가능성이 있다면 δ x 및 δ y 를 위한 값들이 커져야 한다. 일반성을 상실함이 없이, δ x 라는 항을 도출하기 위한 예가 도시되어 있다(δ y 라는 항은 동일한 수순으로 도출될 수 있음).
제1 예는 δ x 를 도출하기 위해 선행 인접 블록들의 움직임 벡터들의 표준 편차를 이용한다. 예를 들어, 대상 블록 B i ,j 의 경우에,
여기에서 은 P i ,j 에 있는 모든 블록들을 지칭하고, n은 P i ,j 에 있는 블록들의 총수이며, 은 대상 블록 B i ,j 의 추정된 움직임 범위(식 4로부터 도출될 수 있음)이고, k는 일정한 스칼라이다.
제2 예는 δ x 를 결정하기 위해 선행 인접 블록들의 움직임 벡터들을 필터링한다. 수학식 4를 이용하여 움직임 검색 범위를 계산하는 방법과 마찬가지로, δ x 및 δ y 를 얻기 위한 일반적인 방법이 대상 블록 B i ,j 의 선행 움직임 벡터들에 대해 필터를 적용한다. 이 필터는 통상적으로 H라고 지칭되는 고역 필터를 이용한다.
H가 n개의 탭을 포함하는 필터이고, H=[h1,h2,...hn]라고 하자. 그러면,
여기에서, 는 a의 절대 값을 지칭한다. 벡터 M x 및 M y 는 식 4에서 정해진 것과 동일한 정의를 갖는다. 고역 필터 H는 M x 의 분산(선행하는 인접 블록들의 움직임 벡터 값)에 관한 것이다. 그러므로, δ x 가 크면, 선행 움직임 벡터들은 큰 분산을 가지며, 그 반대도 마찬가지이다.
일부의 실시예들에서는, 선행 인접 블록들의 수를 증가시킴으로써 더 많은 탭이 이용될 수 있다.
다수의 기준 이미지들로의 확장
앞서 기술된 예시적 예들은 단일의 기준 이미지에 기반하고 있다. 일부의 실시예들에서는, 프로세스가, 예를 들어, 대상 블록이 상이한 이미지들로부터 예측될 수 있는, 다수의 기준 이미지들이 움직임 추정을 위해 이용되는 경우로 확장된다. 이러한 경우에, 움직임 벡터는 3개의 요소, 예를 들어, [mx i ,j , my i ,j , mt i ,j ]를 가지며, 여기에서 mt i ,j 는 특정한 기준 이미지의 시간 지수(time index)이다.
단일의 기준 이미지인 경우에, 선행 인접 블록들은 동일한 기준 이미지에 존재하고, 예를 들어, 그들은 2차원 표면에 있다. 다수의 기준 이미지들의 경우에, 선행 인접 블록들의 범위는 3차원으로, 예를 들어, 그들의 움직임 추정이 대상 블록의 움직임 추정에 앞서 결정되는 한, 상이한 이미지들로 확장된다. 그러면, 선행 인접 블록들의 분포에 따라 필터(L 및 H)들이 구성되는 한, , 및 δx, δy를 얻기 위한 필터링 방법들이 3차원적 다수의 기준 사례에 즉각 적용될 수 있다.
블록 스캐너 순서의 선택
각각의 블록을 위해 움직임 추정을 수행하는 시퀀스를 설정하는 블록 스캐너 순서는 특정한 대상 블록을 위한 선행하는 블록들일 수 있는 블록들의 세트를 결정하며, 즉 대상 블록보다 먼저 움직임 추정이 계산된 블록들만 대상 블록을 위한 선행하는 블록들일 수 있다. 그러므로, 적응적 움직임 검색 범위 방법에 의해 이용되는 블록 스캐닝 순서의 유형은 특정한 대상 블록을 위한 추정된 움직임 검색 범 위에 영향을 갖는다.
블록 스캐닝 순서의 한 예는 도 4에 도시된 래스터 스캐닝 순서이다. 이 예에서는, 블록들이 좌측에서 우측으로 및 상측에서 하측으로 스캔된다. 움직임 추정은 먼저 상좌측 코너에 있는 블록을 위해 수행되고, 첫째 열의 각각의 블록을 위해 좌측에서 우측으로 계속된다. 그 후, 좌측에 있는 첫번째 블록에서 시작해서 두번째 열에서의 블록들을 위한 움직임 추정이 수행된다. 추정은 이렇게 좌측에서 우측으로, 상측에서 하측으로 대상 이미지에서의 모든 블록들이 처리되기까지 계속된다. 이 방법은 좌우, 상하 스캐닝 순서(또는 래스터 스캐닝 순서)라고 지칭된다.
도 4에 도시된 예에서는, 음영진 블록들이 움직임 추정 방법에 의해 처리되었고, 그러므로 움직임 벡터들을 갖는다. 그러나 음영이 없는 블록들을 위한 움직임 추정이 수행되어야 한다. 그래서, 움직임 추정 방법에 의해 처리될 다음 블록인 특정한 블록 B i ,j =X의 경우에, 그 선행하는 인접 블록들의 세트는 음영진 블록들의 모두를 포함한다. 그러나, 선행하는 인접 블록들의 세트는 선행하는 블록들 모두의 서브셋(subset)으로서 정해질 수 있다. 예를 들어, 블록 a 내지 e는 대상 블록 X에서의 움직임 검색 범위를 조정하기 위해 이용되는 B i ,j =X의 선행 인접 블록 세트, 즉, P i ,j =[a,b,c,d,e]로서 선택될 수 있다.
이 예에서는 좌우 스캐닝 순서가 이용될지라도, 블록들의 스캐닝 순서는 임의적일 수 있다. 이용되는 스캐닝 순서의 유형은 어떤 인접 블록들이 대상 블록보 다 먼저 움직임 추정 결과들을 받았는지를 결정한다. 적어도 일부가 선행 인접 블록들로서 작용하는 그러한 블록들은 대상 블록을 위한 움직임 검색 범위를 조정하기 위한 적응적 방법에 의해 이용된다.
블록 스캐닝 순서의 다른 한 예는 도 5에 도시된 바와 같은 부분 샘플링 스캐닝 순서이다. 예시적 대상 이미지(510)에서의 음영진 블록들에 의해 도시된 바와 같이 제1 라운드에서 하나 걸러 하나의 블록이 좌우 및 상하로 스캔된다. 이 라운드에서 스캔된 블록들은 대상 이미지에서의 모든 블록들로부터 부분 샘플링된다. 그 후, 제2 라운드의 스캐닝 동안에, 예시적 대상 이미지(520)에 도시된 바와 같이 잔여 블록들이 스캔된다.
이러한 부분 샘플링 방식의 한 장점은 제2 라운드에서 스캔된 블록들이, 도 4에서 도시된 바와 같이 상측 및 좌측 방향으로만이 아니라, 모든 방향으로의 선행 인접 블록들일 수 있다는 것이다. 예를 들어, 이미지(520)에서의 블록(X)은 블록(f, g, h, i, j, 및 k)들을 선행 인접 블록들로서 가질 수 있다. 그래서, 블록(a 및 f)들은 부분 샘플링 스캐닝 순서를 이용하는 대상 블록 X에 대한 선행 인접 블록이지만, 블록(a 및 f)는 래스터 스캐닝 순서를 이용하는 선행 인접 블록들이 아닐 것이다. 이 부분 샘플링 스캐닝 순서는 추정 움직임 범위 () 및 조정 값(δx, δy)들의 값을 얻음에 있어서의 개선으로 귀결될 수 있다.
도 6은 적응적 움직임 검색 범위 방법을 이용하는 시스템의 한 예를 도시한다. 디지털 비디오 카메라(610)는 전자적 형태로 이미지들을 획득하고, 압축 및 인코딩 프로세스 동안에 적응적 움직임 검색 범위 방법을 구현하는 압축 소자(620)를 이용하여 이미지들을 처리한다. 인코딩된 이미지들은 전자적 전송 매체(630)를 통해 디지털 재생 소자(640)로 보내진다. 이미지들은 디코딩 프로세스 동안에 이 방법을 이용하는 디코딩 소자(650)에 의해 디코딩된다. 카메라(610)는 본 발명의 실시예들을 포함하는 다양한 이미지 처리 장치(예를 들어, 다른 이미지 획득 소자, 이미지 편집기, 이미지 프로세서, 개인용 및 상업용 컴퓨팅 플랫폼, 등)들의 예이다. 마찬가지로, 디코딩 소자(650)는 이미지 데이터를 디코딩하는 다양한 소자들의 예이다.
본 발명이 특정한 시스템 환경에서의 예시적 실시예들에 비추어 기술되지만, 당 기술분야에서 통상적인 지식을 가진 자들은 본 발명이 첨부된 특허청구의 범위의 정신 및 범위 내에서 다른 상이한 하드웨어 및 소프트웨어 환경에서 실시될 수 있음을 알 것이다.
Claims (24)
- 전자 데이터 프로세서에 의해 수행되는 방법으로서,대상 이미지(target image)에서의 픽셀들의 블록들에 대한 움직임 벡터들을 계산하는 단계,상기 계산된 움직임 벡터들을 이용하여 상기 대상 이미지에서의 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키는 단계, 및상기 발생된 검색 범위를 이용하여 상기 픽셀들의 대상 블록의 움직임을 추정하는 단계를 포함하는 방법.
- 제1항에 있어서,상기 검색 범위를 발생시키는 단계는 추정된 움직임 범위를 결정하기 위해 상기 계산된 움직임 벡터들을 이용하는 단계를 포함하는 방법.
- 제2항에 있어서,상기 추정된 움직임 범위를 결정하는 단계는 상기 계산된 움직임 벡터들에 저역 필터를 적용하는 단계를 포함하는 방법.
- 제3항에 있어서,상기 계산된 움직임 벡터들에 상기 필터를 적용하는 단계는,
- 제1항에 있어서,상기 움직임 검색 범위를 발생시키는 단계는 상기 계산된 움직임 벡터들의 분산을 결정하는 단계를 포함하는 방법.
- 제5항에 있어서,상기 분산을 결정하는 단계는 상기 계산된 움직임 벡터들에 고역 필터를 적용하는 단계를 포함하는 방법.
- 제1항에 있어서,래스터 스캐닝 순서 및 부분 샘플링 순서로 이루어진 그룹으로부터 선택된 상기 대상 이미지에서의 블록들에 대한 블록 스캐너 순서를 결정하는 단계를 더 포함하는 방법.
- 제1항에 있어서,상기 대상 이미지에서의 픽셀들의 블록들에 대한 움직임 벡터들을 계산하는 단계는 다수의 기준 이미지들을 이용하여 상기 움직임 벡터들을 계산하는 단계를 포함하는 방법.
- 대상 이미지에서의 픽셀들의 블록들에 대한 움직임 벡터들을 계산하는 움직임 벡터 계산기,상기 계산된 움직임 벡터들을 이용하여 상기 대상 이미지에서의 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키는 검색 범위 계산기, 및상기 발생된 검색 범위를 이용하여 상기 픽셀들의 대상 블록들의 움직임을 추정하는 움직임 추정기를 포함하는 장치.
- 제9항에 있어서,상기 검색 범위 계산기는 추정된 움직임 범위를 결정하기 위해 상기 계산된 움직임 벡터들을 이용하는 장치.
- 제10항에 있어서,상기 검색 범위 계산기는 상기 계산된 움직임 벡터들에 저역 필터를 적용하는 장치.
- 제11항에 있어서,상기 검색 범위 계산기는,
- 제9항에 있어서,상기 검색 범위 계산기는 상기 계산된 움직임 벡터들의 분산을 결정하는 장치.
- 제9항에 있어서,상기 검색 범위 계산기는 상기 계산된 움직임 벡터들에 고역 필터를 적용함으로써 상기 분산을 결정하는 장치.
- 제9항에 있어서,상기 대상 이미지에 있는 블록들은 래스터 스캐닝 순서 또는 부분 샘플링 순서로 스캐닝되는 장치.
- 제9항에 있어서,상기 움직임 벡터 계산기는 다수의 기준 이미지들을 이용하여 상기 움직임 벡터들을 계산하는 장치.
- 명령어로 된 프로그램을 저장하는 컴퓨터 판독 가능 매체로서,상기 프로그램은, 처리 시스템에 의해 실행될 때, 상기 처리 시스템으로 하여금,대상 이미지에서의 픽셀들의 블록들에 대한 움직임 벡터들을 계산하는 단계,상기 계산된 움직임 벡터들을 이용하여 상기 대상 이미지에서의 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키는 단계, 및상기 발생된 검색 범위를 이용하여 상기 픽셀들의 대상 블록의 움직임을 추정하는 단계를 포함하는 방법을 수행하도록 하는컴퓨터 판독 가능 매체.
- 제17항에 있어서,상기 검색 범위를 발생시키는 단계는 추정된 움직임 범위를 결정하기 위해 상기 계산된 움직임 벡터들을 이용하는 단계를 포함하는 컴퓨터 판독 가능 매체.
- 제18항에 있어서,상기 추정된 움직임 범위를 결정하는 단계는 상기 계산된 움직임 벡터들에 저역 필터를 적용하는 단계를 포함하는 컴퓨터 판독 가능 매체.
- 제19항에 있어서,상기 계산된 움직임 벡터들에 상기 필터를 적용하는 단계는,
- 제17항에 있어서,상기 움직임 검색 범위를 발생시키는 단계는 상기 계산된 움직임 벡터들의 분산을 결정하는 단계를 포함하는 컴퓨터 판독 가능 매체.
- 제21항에 있어서,상기 분산을 결정하는 단계는 상기 계산된 움직임 벡터들에 고역 필터를 적용하는 단계를 포함하는 컴퓨터 판독 가능 매체.
- 제17항에 있어서,상기 프로그램은, 상기 처리 시스템에 의해 실행될 때, 상기 처리 시스템으로 하여금,래스터 스캐닝 순서 및 부분 샘플링 순서로 이루어진 그룹으로부터 선택된 상기 대상 이미지에서의 블록들에 대한 블록 스캐너 순서를 결정하는 단계를 더 포함하는 방법을 더 수행하도록 하는컴퓨터 판독 가능 매체.
- 제17항에 있어서,상기 대상 이미지에서의 픽셀들의 블록들을 위한 움직임 벡터들을 계산하는 단계는 다수의 기준 이미지들을 이용하여 상기 움직임 벡터들을 계산하는 단계를 포함하는 컴퓨터 판독 가능 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/228,656 | 2005-09-16 | ||
US11/228,656 US8107748B2 (en) | 2005-09-16 | 2005-09-16 | Adaptive motion search range |
PCT/US2006/034968 WO2007035276A2 (en) | 2005-09-16 | 2006-09-07 | Adaptive motion search range |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080046269A true KR20080046269A (ko) | 2008-05-26 |
KR101342284B1 KR101342284B1 (ko) | 2013-12-16 |
Family
ID=37884048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087008973A KR101342284B1 (ko) | 2005-09-16 | 2008-04-15 | 적응적 움직임 검색 범위 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8107748B2 (ko) |
EP (1) | EP1932366A4 (ko) |
JP (1) | JP5281891B2 (ko) |
KR (1) | KR101342284B1 (ko) |
CN (1) | CN101366279B (ko) |
WO (1) | WO2007035276A2 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100986719B1 (ko) * | 2008-07-30 | 2010-10-11 | 재단법인서울대학교산학협력재단 | H.264/avc 움직임 추정의 연산량 감소방법 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6765964B1 (en) | 2000-12-06 | 2004-07-20 | Realnetworks, Inc. | System and method for intracoding video data |
JP4757080B2 (ja) * | 2006-04-03 | 2011-08-24 | パナソニック株式会社 | 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置 |
US8693541B2 (en) * | 2007-05-24 | 2014-04-08 | Samsung Electronics Co., Ltd | System and method of providing motion estimation |
KR20090129926A (ko) * | 2008-06-13 | 2009-12-17 | 삼성전자주식회사 | 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치 |
JP2010030281A (ja) * | 2008-06-27 | 2010-02-12 | Canon Inc | 搬送装置及び記録装置 |
US8559518B2 (en) * | 2008-06-30 | 2013-10-15 | Samsung Electronics Co., Ltd. | System and method for motion estimation of digital video using multiple recursion rules |
US8379727B2 (en) * | 2008-09-26 | 2013-02-19 | General Instrument Corporation | Method and apparatus for scalable motion estimation |
KR101543298B1 (ko) * | 2008-10-13 | 2015-08-10 | 에스케이 텔레콤주식회사 | 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법 |
KR101487685B1 (ko) * | 2008-11-21 | 2015-01-29 | 삼성전자주식회사 | 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체 |
US8295551B2 (en) | 2009-04-08 | 2012-10-23 | Samsung Electronics Co., Ltd. | System and method of adaptive vertical search range tracking for motion estimation in digital video |
CN101873483B (zh) * | 2009-04-24 | 2012-08-29 | 深圳市九洲电器有限公司 | 一种运动估计方法及采用运动估计方法的编码芯片、装置 |
US8761239B2 (en) * | 2009-06-01 | 2014-06-24 | Panasonic Corporation | Image coding apparatus, method, integrated circuit, and program |
US8917769B2 (en) * | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
US20110002387A1 (en) * | 2009-07-03 | 2011-01-06 | Yi-Jen Chiu | Techniques for motion estimation |
US8462852B2 (en) | 2009-10-20 | 2013-06-11 | Intel Corporation | Methods and apparatus for adaptively choosing a search range for motion estimation |
US9609342B2 (en) | 2010-02-19 | 2017-03-28 | Skype | Compression for frames of a video signal using selected candidate blocks |
US9078009B2 (en) | 2010-02-19 | 2015-07-07 | Skype | Data compression for video utilizing non-translational motion information |
US9313526B2 (en) | 2010-02-19 | 2016-04-12 | Skype | Data compression for video |
US9819358B2 (en) | 2010-02-19 | 2017-11-14 | Skype | Entropy encoding based on observed frequency |
US20110228851A1 (en) * | 2010-03-18 | 2011-09-22 | Amir Nusboim | Adaptive search area in motion estimation processes |
WO2012044118A2 (ko) * | 2010-09-30 | 2012-04-05 | 한국전자통신연구원 | 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치 |
KR101443701B1 (ko) * | 2010-11-22 | 2014-09-29 | 한국전자통신연구원 | 적응형 움직임 탐색 범위 결정 장치 및 방법 |
EP2656610A4 (en) | 2010-12-21 | 2015-05-20 | Intel Corp | SYSTEM AND METHOD FOR EXTENDED DMVD PROCESSING |
CN103430546B (zh) * | 2011-03-09 | 2017-08-04 | 日本电信电话株式会社 | 视频编码装置、视频编码方法以及视频编码程序 |
US11245912B2 (en) * | 2011-07-12 | 2022-02-08 | Texas Instruments Incorporated | Fast motion estimation for hierarchical coding structures |
KR102131326B1 (ko) | 2013-08-22 | 2020-07-07 | 삼성전자 주식회사 | 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법 |
KR101382367B1 (ko) * | 2013-11-13 | 2014-04-09 | 주식회사 아나패스 | 움직임 추정 방법 및 이를 이용한 영상 처리 장치 |
WO2016185598A1 (ja) * | 2015-05-21 | 2016-11-24 | オリンパス株式会社 | 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
US20160360234A1 (en) | 2015-06-03 | 2016-12-08 | Apple Inc. | Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches |
JP6667268B2 (ja) * | 2015-11-26 | 2020-03-18 | キヤノン株式会社 | 動きベクトル検出装置およびその制御方法、撮像装置 |
US11461919B2 (en) * | 2016-04-21 | 2022-10-04 | Ramot At Tel Aviv University Ltd. | Cascaded neural network |
JP6538609B2 (ja) * | 2016-05-11 | 2019-07-03 | 日本電信電話株式会社 | 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム |
CN106340047B (zh) * | 2016-09-07 | 2018-07-27 | 北京市商汤科技开发有限公司 | 图像生成方法、装置和*** |
US10192319B1 (en) * | 2017-07-27 | 2019-01-29 | Nanning Fugui Precision Industrial Co., Ltd. | Surveillance method and computing device using the same |
CN108010067B (zh) * | 2017-12-25 | 2018-12-07 | 北京航空航天大学 | 一种基于组合判断策略的视觉目标跟踪方法 |
CN108305272B (zh) * | 2018-02-27 | 2020-04-28 | 郑州轻工业学院 | 一种基于alo搜索的突变运动目标跟踪方法 |
EP3833028B1 (en) | 2019-12-03 | 2022-02-09 | Axis AB | Method and system for calculating a cost of encoding a motion vector |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3877105D1 (ko) * | 1987-09-30 | 1993-02-11 | Siemens Ag, 8000 Muenchen, De | |
US5690934A (en) * | 1987-12-31 | 1997-11-25 | Tanox Biosystems, Inc. | Peptides relating to the extracellular membrane-bound segment of human alpha chain |
US5047850A (en) * | 1989-03-03 | 1991-09-10 | Matsushita Electric Industrial Co., Ltd. | Detector for detecting vector indicating motion of image |
US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
GB9422738D0 (en) * | 1994-11-10 | 1995-01-04 | Univ Western Ontario | Context-based, adaptive, progressive, lossless compression of still continuous -tone images |
US5872866A (en) * | 1995-04-18 | 1999-02-16 | Advanced Micro Devices, Inc. | Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics |
US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
ES2182972T3 (es) * | 1996-04-19 | 2003-03-16 | Nokia Corp | Codificador y descodificador de video utilizando procedimientos de segmentacion y fusion de movimiento. |
US6101276A (en) * | 1996-06-21 | 2000-08-08 | Compaq Computer Corporation | Method and apparatus for performing two pass quality video compression through pipelining and buffer management |
JP3967405B2 (ja) * | 1996-10-09 | 2007-08-29 | テキサス インスツルメンツ インコーポレイテツド | 画像信号の符号化方法 |
JP4034380B2 (ja) * | 1996-10-31 | 2008-01-16 | 株式会社東芝 | 画像符号化/復号化方法及び装置 |
DE19648016A1 (de) * | 1996-11-20 | 1998-05-28 | Philips Patentverwaltung | Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens |
US6775326B2 (en) * | 1997-02-13 | 2004-08-10 | Mitsubishi Denki Kabushiki Kaisha | Moving image estimating system |
US6014181A (en) * | 1997-10-13 | 2000-01-11 | Sharp Laboratories Of America, Inc. | Adaptive step-size motion estimation based on statistical sum of absolute differences |
US6178205B1 (en) * | 1997-12-12 | 2001-01-23 | Vtel Corporation | Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering |
US6208692B1 (en) * | 1997-12-31 | 2001-03-27 | Sarnoff Corporation | Apparatus and method for performing scalable hierarchical motion estimation |
US6591015B1 (en) * | 1998-07-29 | 2003-07-08 | Matsushita Electric Industrial Co., Ltd. | Video coding method and apparatus with motion compensation and motion vector estimator |
KR100301833B1 (ko) | 1998-08-20 | 2001-09-06 | 구자홍 | 오류은폐방법 |
US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
US6466624B1 (en) * | 1998-10-28 | 2002-10-15 | Pixonics, Llc | Video decoder with bit stream based enhancements |
JP2000308064A (ja) * | 1999-04-22 | 2000-11-02 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
US6480615B1 (en) * | 1999-06-15 | 2002-11-12 | University Of Washington | Motion estimation within a sequence of data frames using optical flow with adaptive gradients |
EP1120976A4 (en) | 1999-07-29 | 2006-03-29 | Mitsubishi Electric Corp | METHOD FOR DETECTING MOTION VECTOR |
JP3753578B2 (ja) * | 1999-12-07 | 2006-03-08 | Necエレクトロニクス株式会社 | 動きベクトル探索装置および方法 |
US6864994B1 (en) * | 2000-01-19 | 2005-03-08 | Xerox Corporation | High-speed, high-quality descreening system and method |
EP1277347A1 (en) | 2000-04-11 | 2003-01-22 | Koninklijke Philips Electronics N.V. | Video encoding and decoding method |
WO2002037859A2 (en) | 2000-11-03 | 2002-05-10 | Compression Science | Video data compression system |
US6682358B1 (en) * | 2000-11-15 | 2004-01-27 | Westinghouse Electric Company Llc | Instrumentation electrical connector protector |
US6782054B2 (en) * | 2001-04-20 | 2004-08-24 | Koninklijke Philips Electronics, N.V. | Method and apparatus for motion vector estimation |
US7110455B2 (en) * | 2001-08-14 | 2006-09-19 | General Instrument Corporation | Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering |
KR100455119B1 (ko) * | 2002-01-26 | 2004-11-06 | 엘지전자 주식회사 | 움직임 벡터 영역의 적응적 결정 방법 |
KR100492127B1 (ko) * | 2002-02-23 | 2005-06-01 | 삼성전자주식회사 | 적응형 움직임 추정장치 및 추정 방법 |
CA2491679A1 (en) * | 2002-07-09 | 2004-01-15 | Nokia Corporation | Method and system for selecting interpolation filter type in video coding |
US7068722B2 (en) * | 2002-09-25 | 2006-06-27 | Lsi Logic Corporation | Content adaptive video processor using motion compensation |
JP4462823B2 (ja) | 2002-11-20 | 2010-05-12 | ソニー株式会社 | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
JP3997171B2 (ja) * | 2003-03-27 | 2007-10-24 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
WO2005036887A1 (ja) * | 2003-10-14 | 2005-04-21 | Nec Corporation | 動きベクトル探索方法、動きベクトル探索装置および動きベクトル探索プログラム |
US7480334B2 (en) * | 2003-12-23 | 2009-01-20 | Genesis Microchip Inc. | Temporal motion vector filtering |
KR20050075483A (ko) | 2004-01-15 | 2005-07-21 | 삼성전자주식회사 | 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치 |
TWI274509B (en) * | 2005-02-22 | 2007-02-21 | Sunplus Technology Co Ltd | Method and system for dynamically adjusting motion estimation |
-
2005
- 2005-09-16 US US11/228,656 patent/US8107748B2/en not_active Expired - Fee Related
-
2006
- 2006-09-07 WO PCT/US2006/034968 patent/WO2007035276A2/en active Application Filing
- 2006-09-07 JP JP2008531192A patent/JP5281891B2/ja not_active Expired - Fee Related
- 2006-09-07 CN CN2006800340986A patent/CN101366279B/zh not_active Expired - Fee Related
- 2006-09-07 EP EP06814313A patent/EP1932366A4/en not_active Withdrawn
-
2008
- 2008-04-15 KR KR1020087008973A patent/KR101342284B1/ko not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100986719B1 (ko) * | 2008-07-30 | 2010-10-11 | 재단법인서울대학교산학협력재단 | H.264/avc 움직임 추정의 연산량 감소방법 |
Also Published As
Publication number | Publication date |
---|---|
CN101366279A (zh) | 2009-02-11 |
WO2007035276B1 (en) | 2008-09-25 |
WO2007035276A2 (en) | 2007-03-29 |
JP2009509408A (ja) | 2009-03-05 |
CN101366279B (zh) | 2013-05-22 |
JP5281891B2 (ja) | 2013-09-04 |
US8107748B2 (en) | 2012-01-31 |
EP1932366A2 (en) | 2008-06-18 |
EP1932366A4 (en) | 2011-03-16 |
WO2007035276A3 (en) | 2008-08-14 |
US20070064803A1 (en) | 2007-03-22 |
KR101342284B1 (ko) | 2013-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101342284B1 (ko) | 적응적 움직임 검색 범위 | |
US8165205B2 (en) | Natural shaped regions for motion compensation | |
US7869518B2 (en) | Fast motion estimation apparatus and method using block matching algorithm | |
CN110876060B (zh) | 一种编码过程中的码率调整方法及装置 | |
JP2006313950A (ja) | 画像符号化装置、及び画像符号化方法 | |
US20060008008A1 (en) | Method of multi-resolution based motion estimation and recording medium storing program to implement the method | |
US20070098075A1 (en) | Motion vector estimating device and motion vector estimating method | |
CN101627626A (zh) | 运动矢量选择 | |
JP2011060282A (ja) | 動き領域の非線形スムージングを用いた動き検出方法およびシステム | |
RU2551473C2 (ru) | Устройство кодирования видео, способ кодирования видео и программа кодирования видео | |
US20050123039A1 (en) | Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method | |
JP5237814B2 (ja) | ビデオ圧縮における適応的動きベクトルサンプリングのための多段リンク方法 | |
US20100322313A1 (en) | System and method for estimating sum of absolute differences | |
US7885335B2 (en) | Variable shape motion estimation in video sequence | |
JP4763241B2 (ja) | 動き予測情報検出装置 | |
KR101113862B1 (ko) | 모션 추정 알고리즘의 최적화 방법 | |
CN110876082B (zh) | 一种视频帧的复杂度的确定方法及装置 | |
JP4824712B2 (ja) | 動き推定精度推定方法、動き推定精度推定装置、動き推定精度推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN108810317B (zh) | 真实运动估计方法及装置、计算机可读存储介质、终端 | |
JP2002521944A (ja) | デジタル画像が被る動きを求める方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |