KR101342284B1 - 적응적 움직임 검색 범위 - Google Patents

적응적 움직임 검색 범위 Download PDF

Info

Publication number
KR101342284B1
KR101342284B1 KR1020087008973A KR20087008973A KR101342284B1 KR 101342284 B1 KR101342284 B1 KR 101342284B1 KR 1020087008973 A KR1020087008973 A KR 1020087008973A KR 20087008973 A KR20087008973 A KR 20087008973A KR 101342284 B1 KR101342284 B1 KR 101342284B1
Authority
KR
South Korea
Prior art keywords
block
motion
motion vectors
search range
blocks
Prior art date
Application number
KR1020087008973A
Other languages
English (en)
Other versions
KR20080046269A (ko
Inventor
져롱 미아오
제임스 제이. 캐릭
마르코 파니코니
Original Assignee
소니 일렉트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 일렉트로닉스 인코포레이티드 filed Critical 소니 일렉트로닉스 인코포레이티드
Publication of KR20080046269A publication Critical patent/KR20080046269A/ko
Application granted granted Critical
Publication of KR101342284B1 publication Critical patent/KR101342284B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

적응적 움직임 검색 범위를 이용하여 움직임 추정을 수행하기 위한 기술이 대상 이미지에서의 픽셀들의 블록들을 위한 움직임 벡터들을 계산하고, 계산된 움직임 벡터들을 이용하여 대상 이미지에서의 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키며, 발생된 검색 범위를 이용하여 픽셀들의 대상 블록의 움직임을 추정하는 것을 포함한다.
적응, 움직임, 이미지, 시퀀스, 벡터, 픽셀

Description

적응적 움직임 검색 범위{ADAPTIVE MOTION SEARCH RANGE}
본 발명은 비디오 압축 분야에 관한 것이다.
비디오 시퀀스를 위한 고 압축 이득이 이미지(프레임)들 사이의 시간적 잉여를 제거함으로써 성취될 수 있다. 예를 들어, 이미지를 인코딩하기 위해, 인코딩될 이미지의 시간적 예측이 미리 인코딩된 이미지들에 기반하여 발생된다. 시간적 예측은 예측 오류를 결정하기 위해 실제의 이미지와 비교되고, 예측 오류가 인코딩된다. 예측은 널리 이용되는 블록 기반 움직임 추정 및 보상 방법(예를 들어, MPEG 표준)들을 이용하여 이루어질 수 있다.
움직임 보상 및 추정 방법들은 통상적으로 예측 오류 및 움직임 벡터인 대상 블록의 예측 잔류만 코딩될 필요가 있도록 대상 이미지에서의 대응 대상 블록의 위치를 예측하기 위해 하나 이상의 기준 이미지들에서의 기준 블록을 찾기 위해 이용된다. 이러한 방법들은 대상 이미지에서의 대응 대상 블록과 가장 유사한 기준 이미지에서의 픽셀들의 기준 블록을 식별하기 위해 블록 매칭을 수행한다.
기준 블록과 대응 대상 블록 사이의 픽셀 거리는 대상 블록을 위한 움직임 벡터이다. 예를 들어, mx i ,j , my i ,j 가 각각 x축(수평) 및 y축(수직)에서의 블록 B i ,j 의 움직임 벡터라고 하자. 움직임 벡터의 값들은 대상 블록을 위한 예측 값을 발생시키기 위해 기준 블록에 따른 비디오 압축에 이용된다.
도 1은 예시적 움직임 벡터의 개요도이다. 대상 이미지(120)는 기준 이미지(110)로부터의 정보를 이용하여 인코딩될 것이다. 기준 블록(115)은 대상 이미지(120)에서의 대상 블록(125)과 가장 밀접하게 매칭하는 기준 이미지(110)에서의 블록으로서 식별된다. 기준 블록이 식별된 후, 움직임 벡터(130)(단지 예시적 목적으로 화살표로 도시됨)는 기준 블록(115)의 위치와 관련된 대상 블록(125)의 위치를 식별하기 위해 발생된다. 움직임 벡터(130)는 기준 블록(115)과 대상 블록(125) 사이의 관계를 나타내는 두개의 요소들, 즉 수평 변위 및 수직 변위를 갖는다. 예를 들어, 예시적인 3×3 그룹의 픽셀들인 기준 블록(115)은 위치(i', j')에 있고, 대상 블록(125)은 위치(i, j)에 있다. 두개의 블록들 사이의 거리는 움직임 벡터(i'-i, j'-j)이다.
기준 이미지에서의 기준 블록을 식별하기 위해, 기준 이미지에서의 후보 블록들이 대상 블록에 비교된다. 각각의 후보 블록은 대상 블록과 동일한 크기를 갖고 기준 이미지에서의 지정된 검색 범위 내에 배치된다. 대상 블록과 가장 밀접하게 매칭하는 후보 블록이 기준 블록으로서 식별된다. 기준 블록을 검색하는 것은 움직임 추정의 중요한 부분이며 통상적으로 큰 크기의 산술 계산을 요구한다.
하나의 대상 블록을 위한 움직임 추정을 수행하는 것의 복잡도는 움직임 검색 범위, 즉 거리 d의 제곱에 비례하는 것, 예를 들어, 복잡도= axd 2 - 여기에서, a 는 상수 - 로서, 검색 범위 내에서 가능한 기준 블록들의 수에 비례한다. 움직임 검색 범위는 기준 블록을 찾기 위해 이용되는 기준 이미지에서의 영역을 정한다. 다시 말해서, 검색 범위는 움직임 추정 동안에 검사될 기준 이미지에서의 블록들의 수를 정의한다.
움직임 검색 범위는 이미지에서의 객체의 이동 속도에 관련되어야 한다. 예를 들어, 고속 이동 객체들의 경우에, 대상 블록을 예측하기에 양호한 카운터 블록(counter-block)들을 찾기 위해 큰 검색 범위가 적절하다. 그러나, 움직임 추정 방법을 수행하기 전에, 이미지(또는 프레임)의 어떤 부분이 소량의 움직임을 갖는지, 어떤 부분이 큰 크기의 움직임을 갖는지를 예측하기는 어렵다. 그러므로, 통상적인 비디오 압축 방법들은 동일한 대상 이미지에서의 모든 블록들을 위해 일정한 움직임 검색 범위를 이용한다.
일정한 움직임 검색 범위의 단점은, 그것이 이미지에서의 가장 고속의 이동 객체를 획득하기에 충분히 크다면, 그것은 작은 이동을 갖는 구역을 위해서는 검색 컴퓨테이션을 불필요하게 증가시킨다는 것이다. 역으로, 검색 범위가 너무 작다면, 기준 블록이 검색 범위의 외측에 있을 수 있을 것이기 때문에, 움직임 추정 방법이 큰 크기 이동을 갖는 기준 블록을 찾지 못할 수 있을 것이다.
적응적 움직임 검색 범위를 이용하여 움직임 추정을 수행하기 위한 기술은 대상 이미지에 있는 픽셀들의 블록들을 위한 움직임 벡터들을 계산하고, 계산된 움직임 벡터들을 이용하여 대상 이미지에 있는 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키며, 발생된 검색 범위를 이용하여 픽셀들의 대상 블록의 움직임을 추정하는 것을 포함한다.
본 발명이 예시적으로 도시되며, 첨부된 도면과 관련하여 아래의 기술을 참고하면 더 잘 이해될 것이다.
도 1은 기준 블록에 기반하여 발생된 대상 블록을 위한 움직임 벡터의 한 예를 도시한다.
도 2는 비디오 시퀀스에서의 움직임 추정을 수행하기 위한 적응성 움직임 검색 범위의 한 예를 도시한다.
도 3은 움직임 추정을 수행함에 있어서 이용되는 블록들을 위한 움직임 검색 범위를 적응시키기 위한 방법의 한 예를 도시한다.
도 4 및 5는 도 3에 도시된 방법에서 이용되는 블록 스캐닝 순서들의 예를 도시한다.
도 6은 적응적 움직임 검색 범위 방법을 이용하는 시스템의 한 예를 도시한다.
아래의 기술에서는, 이 기술의 일부를 이루고 본 발명이 실시될 수 있는 특정한 실시예가 예시적으로 도시된 첨부 도면들에 대한 참조가 이루어진다. 본 발명의 범위로부터 벗어남이 없이 다른 실시예들이 이용될 수 있을 것이고 구조적 변경이 이루어질 수 있을 것임을 알아야 한다. 예를 들어, 숙련된 자들은 다양한 실 시예들을 기술하기 위해 이용되는 필드, 프레임, 이미지, 또는 픽처(picture)라는 용어가 비디오 데이터와 관련하여 이용됨에 있어서 일반적으로 교체 가능한 것임을 알 것이다.
움직임 검색 범위를 적응(adapt)시키기 위한 방법은 움직임 추정에서 대상 이미지에서의 움직임에 관한 기존의 정보에 기반하여 대상 블록의 움직임 검색 범위를 자동으로 조정하기 위해 이용된다. 이 방법은 느린 움직임 객체들을 위한 검색 범위를 감축하고, 또한 가장 고속의 이동 객체들을 위한 움직임 검색 범위를 자동으로 증가시킴으로써 고속 이동 객체들의 예측 품질을 보존할 수 있다. 예를 들어, 이 방법은 인접 블록들을 위해 미리 계산된 움직임 추정 결과들에 따라 대상 블록을 위한 움직임 검색 범위를 적응적으로 조정한다. 그러므로, 이 방법의 실시예들은 움직임 검색 범위를 주변 영역에서의 움직임 크기에 적응시킴으로써 각각의 대상 블록을 위한 움직임 벡터들을 찾는 복잡도를 감소시킨다. 적응적 방법은 비디오 압축 방법에서의 시간적 예측을 수행하기 위해 다른 기술들과 조합될 수 있다. 적응적 방법은 움직임 추정이 필요한 다른 비디오 애플리케이션들에서 이용될 수도 있다.
도 2는 적응적 방법을 이용하여 결정되는 움직임 검색 범위의 한 예를 도시한다. B i ,j 가 픽셀 대상 이미지(220)에서 한 위치(i,j)에 있는 대상 블록(225)이라고 하자. 여기에서, dx i ,j 및 dy i ,j 는 각각 수평 및 수직 움직임 검색 범위이다. 이 예에서는, 기준 이미지(210)에 있는 후보 기준 블록들이 기준 블록(215)을 찾기 위 해 대상 블록에 순서대로 비교될 후보 블록들의 수를 포함하는 [2dx i,j +1]x[2dy i,j +1]의 직사각형 영역(230) 내이다. 이 검색 범위는 움직임 추정을 수행하는 컴퓨테이션 복잡도에 대해 직접적인 영향을 갖는다. 인접 블록들이 작은 크기의 움직임을 가질 것으로 예측되면 인접 블록들에서의 예측된 움직임 크기에 기반하여 대상 블록을 위한 dx i ,j 및 dy i ,j 값들을 적응적으로 조정함으로써, 검색 범위의 크기가 감소될 수 있다. 산출되는 비교적 작은 검색 범위는 대상 블록에서의 움직임 추정을 수행하는 컴퓨테이션 복잡도를 감소시킨다. 마찬가지로, 일부의 실시예들에서는, 인접 블록들이 큰 크기의 움직임을 가질 것으로 예측되면, 검색 범위가 비교적 커지게 적응될 수 있다.
일반적으로, N x , N y 는 대상 블록의 최대 수평 및 수직 검색 범위이다. 검색 범위(dx i ,j , 및 dy i ,j )들은 인접 블록들로부터의 미리 계산된 움직임 벡터들을 이용하여 계산되는 정해진 대상 블록 B i ,j 을 위한 조정 가능한 검색 범위들이다. 움직임 추정들이 미리 계산된 인접 블록들은 대상 블록의 움직임 추정에 앞서 그들의 움직임 추정들이 결정되었기 때문에 선행하는 인접 블록들이라고 지칭된다. 이 프로세스는 검색 범위를 위한 고정 값(예를 들어, N x , N y )들을 이용하기보다는 인접 블록들로부터의 미리 계산된 움직임 추정들을 이용하여 특정한 대상 블록을 위한 검색 범위의 크기를 자동으로 적응시킨다.
도 2에 예시적으로 도시된 바와 같이 움직임 검색 범위를 정하는 dx i ,j 및 dy i,j 의 값은 도 3에 도시된 예시적 방법을 대상 이미지에서의 각각의 블록에 자동으로 적응된다. 단계(310)에서, 대상 이미지는 블록들로 분할된다. 단계(315)에서, 블록들에서의 움직임 추정을 순차적으로 수행하는 스캐닝 순서가 정해진다. 단계(320)에서, 움직임 추정 처리를 위한 대상 블록이 선택된다. 단계(325)에서, 프로세스는 대상 블록이 검색 범위를 적응시키기에 충분한 선행하는 인접 블록(결정된 움직임 벡터들을 갖는 인접 블록임)들을 갖는지를 결정한다. 아니라면, 단계(330)에서, 프로세스가 기본적인 검색 범위(default search range)를 이용하여 대상 블록에 대한 움직임 추정을 수행한다. 예를 들어, 도 2에서의 대상 이미지의 상좌측 코너에 있는 블록(B 0,0 ) 등과 같은 스캐닝 순서 시퀀스에서의 초기 블록은 인코딩 프로세스에서 아무런 선행하는 인접 블록도 갖지 않는다. 이 경우에, 움직임 추정 방법의 검색 범위 파라미터들은 시퀀스에서의 이 초기 블록의 경우 dx i,j =N x 및 dy i ,j = N y 인 기본 값으로 설정될 수 있다. 그 후, 단계(340)에서 대상 블록에 대한 움직임 추정이 수행된다.
일부의 실시예들에서는, 결정된 움직임 벡터를 갖는 단일의 선행 대상 블록(예를 들어, 상좌측 블록)은 적응적 검색 범위 방법을 시작하기에 충분하다. 다른 실시예들에서는, 결정된 움직임 벡터들을 갖는 다수의 선행하는 대상 블록(예를 들어, 래스터 스캐닝 순서가 이용되면 상좌측 인접 블록)들이 요구된다. 단계(335)에서, 충분한 선행 인접 블록들을 갖는 대상 블록들의 경우에, 프로세스는 선행 인접 블록들로부터의 조정 팩터(adjustment factor)들을 계산한다. 대상 블록을 위 한 검색 범위는 조정 팩터들을 이용하여 선행 인접 블록들에서의 움직임의 크기에 자동으로 적응되고, 단계(340)에서 적응된 범위를 이용하여 대상 블록을 위한 움직임 추정이 수행된다. 단계(345)에서, 프로세스는 다른 블록들에 대한 움직임 추정이 수행될 것인지를 결정한다. 수행해야 한다면, 방법은 단계(320)으로 복귀된다. 그렇지 않으면, 단계(350)에서 프로스세가 종료된다.
아래는 도 3과 관련된 예시적 실시예들의 기술이다. 한 사례에서는, 선행 인접 블록들로부터 계산된 팩터들에 기반하여 도 3에 도시된 움직임 추정 방법의 단계(335)에서 대상 블록을 위한 검색 범위가 조정된다. 이 팩터들은 아래의 수학식 1과 같다.
Figure 112008026699688-pct00001
여기에서
Figure 112011070051830-pct00002
,
Figure 112011070051830-pct00003
은 대상 블록 Bi,j 에 대해 추정된 수평 및 수직 움직임 범위들이고, δx, δy 는 선행 인접 블록들에서의 움직임의 크기와 대상 블록에서의 움직임의 크기 사이의 추정된 상관(correlation)의 크기를 나타낸다. 수학식 1의 배경 개념은 대상 블록에서의 픽셀들의 움직임이 인접 블록들에서의 픽셀 움직임과 아마 유사할 것이라는 것이다. 그러므로, 특정한 대상 블록을 위한 움직임 검색 범위가 인접 움직임 벡터들에 의해 표시된 바와 같이 그 인접 블록들에서 이미 발견된 움직임의 크기로부터 자동으로 결정된다.
대상 블록을 위한 움직임 범위의 추정
대상 블록을 위한 움직임 검색 범위,
Figure 112008026699688-pct00004
및
Figure 112008026699688-pct00005
의 값은 그 선행 인접 블록들의 움직임 벡터들로부터 계산된다. 세트 P i ,j 가 대상 블록 B i ,j 의 선행 인접 블록들의 세트라고 정의되면,
Figure 112008026699688-pct00006
및
Figure 112008026699688-pct00007
은 세트 P i ,j 에서의 선행 인접 블록들의 움직임 벡터들의 함수로서 표현된다. 한 실시예에서는, 함수가 세트 P i ,j 에 속하는 블록들의 움직임 벡터들의 평균 값이고, 그것은 아래의 수학식 2와 같다.
Figure 112008026699688-pct00008
여기에서,
Figure 112008026699688-pct00009
은 P i ,j 세트에 있는 블록들을 지칭하며, n은 P i ,j 에 있는 블록들의 총수이다. 이 예에서는, 상측 블록 및 좌측 블록 등과 같은 두개의 블록들이 선행 인접 블록이면,
Figure 112008026699688-pct00010
및
Figure 112008026699688-pct00011
은 아래의 수학식 3과 같은 두개의 움직임 벡터들의 평균으로서 표현된다.
Figure 112008026699688-pct00012
그러므로,
Figure 112008026699688-pct00013
및
Figure 112008026699688-pct00014
을 발생시키기 위한 함수가 세트 P i ,j 에 있는 블록들의 움직임 벡터들로부터 결정된다. 이 함수에 의해, 적응적 움직임 검색 범위 방 법이 대상 이미지에서의 각각의 블록을 위한 움직임 검색 범위를 동적으로 결정한다. 한 실시예에서는, 방법이 그 인접 블록들에서의 움직임의 크기에 관한 정보를 이용하여 대상 블록에서의 객체의 움직임의 크기를 추정함으로써 대상 블록을 위한 검색 범위를 적응시키기 위해 수학식 3을 이용한다.
예를 들어, 대상 블록이 작은 움직임 벡터들을 갖는 선행 인접 블록들을 가지면, 일반적으로, 대상 블록은 작은 크기의 움직임을 갖는다. 한 실시예에서는 적응적 움직임 검색 범위 방법이 대상 블록을 위한 작은 검색 범위를 발생시키기 위해 수학식 3을 이용하고, 그 동작은 움직임 검색의 복잡도를 감소시킨다.
다른 한편, 대상 블록이 큰 움직임 벡터들을 갖는 선행 인접 블록들을 가지면, 대상 블록은 아마 큰 크기의 움직임을 가질 것이다. 그러므로, 한 실시예에서는, 적응적 움직임 검색 범위 방법이 대상 블록을 위한 검색 범위를 자동으로 증가시키기 위해 수학식 3을 이용한다. 그 후, 고속 이동 객체를 위한 기준 블록을 식별하기에 충분히 큰 증가된 검색 범위를 갖는 대상 블록을 위한 움직임 추정이 수행된다.
수학식 2 및 3은 세트 Pi,j 에서의 움직임 벡터들의 평균 값을 계산하기 위해 이용될 수 있는 함수들의 예이다. 추정되는 움직임 범위
Figure 112011070051830-pct00015
및
Figure 112011070051830-pct00016
를 발생시키기 위해 선행 인접 블록들의 세트 Pi,j 에서의 움직임 벡터들에 대해 필터를 적용함으로써 더 일반적인 함수가 얻어질 수 있다. 일반성을 상실함이 없이,
Figure 112011070051830-pct00017
이라는 항을 도출하기 위한 예가 도시되어 있고,
Figure 112011070051830-pct00018
이라는 항이 동일한 수순으로 도출될 수 있다. L이 n개의 탭을 포함하는 필터이고, L=[l1,l2,...,ln ] - 여기에서, li 는 L에서의 i번째 요소이고, 또한 li 는 탭 l의 필터 계수임 - 이라고 하자. Mx 가 선행 인접 블록 Pi,j 에서의 블록들의 모든 움직임 벡터(단지 x축 값만)들을 포함하는 벡터이고, Mx =[x1,x2,...,xn ]이라고 하자. 그러면,
Figure 112008026699688-pct00019
여기에서 ( M x ) T 는 벡터 M x 의 전치 행렬이다.
수학식 2 및 3에 나타낸 평균하는 방법은 수학식 4의 필터링하는 방법의 특수한 경우들이다. 예를 들어, L=[0.5, 0.5]이고, M x =[mx i -1,j , mx i ,j-1 ]이며, M y =[my i -1,j ,my i,j-1 ]이면, 수학식 4는 수학식 3으로 변환된다.
일반적으로, P i ,j 에서의 블록 수가 L에서의 탭 수와 동등하기 때문에 필터 L에서의 탭의 수는 P i ,j 세트에서의 블록 수를 증가시킴으로써 증가될 수 있다.
통상적으로, L은 선행 인접 블록 움직임 벡터들의 통계적 평균 값을 얻기 위해 이용되는 저역 필터(평활 필터(smoothing filter))일 수 있다. 그러한 필터를 디자인하기 위해 여러 방법들이 이용될 수 있다(예를 들어, 필터 L에서의 각각의 필터 계수(li )들을 위한 값을 선택함). 그러면, 적응적 움직임 검색 범위 방법은 추정되는 검색 범위
Figure 112011070051830-pct00020
및
Figure 112011070051830-pct00021
를 얻기 위해 저역 필터를 이용할 수 있다.
조정된 검색 범위를 위한 안전 한계의 추정
수학식 1에서의 δ x 및 δ y 라는 조정 항을 위한 값들은 선행 인접 블록들에서의 움직임 벡터들이 대상 블록에서의 움직임의 크기를 예상하지 못할 가능성을 감안하여 움직임 검색 범위를 조정하기 위한 안전 한계로서 이용될 수 있다. 예를 들어, 선행 인접 블록 움직임 벡터 분포가 큰 표준 편차로 되면, 조정 값 δ x 및 δ x 는 대상 블록을 위한 움직임 검색 범위가 그 선행 인접 블록들의 움직임 검색 범위와 매우 달라지게 한다.
δ x 및 δ x 를 위한 값들의 선택은 움직임 검색 범위가 대상 블록의 움직임 특성에 적응하게 한다. 비교적 큰 δ x 및 δ x 값들은 움직임 검색 범위에서의 더 빨리 이동하는 객체들이 검색되게 한다. 그러나, 비교적 큰 값들은 검색 범위가 증가되기 때문에 움직임 검색 복잡도를 증가시킬 수 있다. 비교적 작은 δ x 및 δ x 는 움직임 검색의 복잡도를 감소시키지만 적응의 속도를 제한한다. 항목 δ x 및 δ y 는 일정한 값 또는 조정 가능한 값을 가질 수 있다. 일정한 값을 이용하는 것은 단순성을 갖는다. δ x 및 δ y 를 위해 적응적 값들을 이용하는 것은 움직임 추정의 정확도를 개선할 수 있다.
δ x 및 δ y 를 대상 블록의 움직임 특성에 적응시킬 수 있는 다양한 방법이 있다. 일반적으로, 대상 블록이 그 선행하는 인접 블록들의 움직임 벡터와 다른 움직임 벡터를 가질 가능성이 있다면 δ x 및 δ y 를 위한 값들이 커져야 한다. 일반성을 상실함이 없이, δ x 라는 항을 도출하기 위한 예가 도시되어 있다(δ y 라는 항은 동일한 수순으로 도출될 수 있음).
제1 예는 δ x 를 도출하기 위해 선행 인접 블록들의 움직임 벡터들의 표준 편차를 이용한다. 예를 들어, 대상 블록 B i ,j 의 경우에,
Figure 112008026699688-pct00022
여기에서
Figure 112011070051830-pct00023
은 Pi,j 에 있는 모든 블록들을 지칭하고, n은 Pi,j 에 있는 블록들의 총수이며,
Figure 112011070051830-pct00024
은 대상 블록 Bi,j 의 추정되는 움직임 범위(식 4로부터 도출될 수 있음)이고, k는 일정한 스칼라이다.
제2 예는 δ x 를 결정하기 위해 선행 인접 블록들의 움직임 벡터들을 필터링한다. 수학식 4를 이용하여 움직임 검색 범위를 계산하는 방법과 마찬가지로, δ x 및 δ y 를 얻기 위한 일반적인 방법이 대상 블록 B i ,j 의 선행 움직임 벡터들에 대해 필터를 적용한다. 이 필터는 통상적으로 H라고 지칭되는 고역 필터를 이용한다.
H가 n개의 탭을 포함하는 필터이고, H=[h1,h2,...hn]라고 하자. 그러면,
Figure 112008026699688-pct00025
여기에서,
Figure 112008026699688-pct00026
는 a의 절대 값을 지칭한다. 벡터 M x 및 M y 는 식 4에서 정해진 것과 동일한 정의를 갖는다. 고역 필터 H는 M x 의 분산(선행하는 인접 블록들의 움직임 벡터 값)에 관한 것이다. 그러므로, δ x 가 크면, 선행 움직임 벡터들은 큰 분산을 가지며, 그 반대도 마찬가지이다.
예를 들어, 선행 인접 블록들의 세트가 두개의 블록(예를 들어, 상측 및 좌측)들을 갖고, 고역 필터는
Figure 112008026699688-pct00027
이고,
Figure 112008026699688-pct00028
이며,
Figure 112008026699688-pct00029
이면,
Figure 112008026699688-pct00030
일부의 실시예들에서는, 선행 인접 블록들의 수를 증가시킴으로써 더 많은 탭이 이용될 수 있다.
다수의 기준 이미지들로의 확장
앞서 기술된 예시적 예들은 단일의 기준 이미지에 기반하고 있다. 일부의 실시예들에서는, 프로세스가, 예를 들어, 대상 블록이 상이한 이미지들로부터 예측될 수 있는, 다수의 기준 이미지들이 움직임 추정을 위해 이용되는 경우로 확장된다. 이러한 경우에, 움직임 벡터는 3개의 요소, 예를 들어, [mx i ,j , my i ,j , mt i ,j ]를 가지며, 여기에서 mt i ,j 는 특정한 기준 이미지의 시간 지수(time index)이다.
단일의 기준 이미지인 경우에, 선행 인접 블록들은 동일한 기준 이미지에 존재하고, 예를 들어, 그들은 2차원 표면에 있다. 다수의 기준 이미지들의 경우에, 선행 인접 블록들의 범위는 3차원으로, 예를 들어, 그들의 움직임 추정이 대상 블록의 움직임 추정에 앞서 결정되는 한, 상이한 이미지들로 확장된다. 그러면, 선행 인접 블록들의 분포에 따라 필터(L 및 H)들이 구성되는 한,
Figure 112008026699688-pct00031
,
Figure 112008026699688-pct00032
및 δx, δy를 얻기 위한 필터링 방법들이 3차원적 다수의 기준 사례에 즉각 적용될 수 있다.
블록 스캐너 순서의 선택
각각의 블록을 위해 움직임 추정을 수행하는 시퀀스를 설정하는 블록 스캐너 순서는 특정한 대상 블록을 위한 선행하는 블록들일 수 있는 블록들의 세트를 결정하며, 즉 대상 블록보다 먼저 움직임 추정이 계산된 블록들만 대상 블록을 위한 선행하는 블록들일 수 있다. 그러므로, 적응적 움직임 검색 범위 방법에 의해 이용되는 블록 스캐닝 순서의 유형은 특정한 대상 블록에 대한 추정되는 움직임 검색 범위에 영향을 갖는다.
블록 스캐닝 순서의 한 예는 도 4에 도시된 래스터 스캐닝 순서이다. 이 예에서는, 블록들이 좌측에서 우측으로 및 상측에서 하측으로 스캔된다. 움직임 추정은 먼저 상좌측 코너에 있는 블록을 위해 수행되고, 첫째 열의 각각의 블록을 위해 좌측에서 우측으로 계속된다. 그 후, 좌측에 있는 첫번째 블록에서 시작해서 두번째 열에서의 블록들을 위한 움직임 추정이 수행된다. 추정은 이렇게 좌측에서 우측으로, 상측에서 하측으로 대상 이미지에서의 모든 블록들이 처리되기까지 계속된다. 이 방법은 좌우, 상하 스캐닝 순서(또는 래스터 스캐닝 순서)라고 지칭된다.
도 4에 도시된 예에서는, 음영진 블록들이 움직임 추정 방법에 의해 처리되었고, 그러므로 움직임 벡터들을 갖는다. 그러나 음영이 없는 블록들을 위한 움직임 추정이 수행되어야 한다. 그래서, 움직임 추정 방법에 의해 처리될 다음 블록인 특정한 블록 B i ,j =X의 경우에, 그 선행하는 인접 블록들의 세트는 음영진 블록들의 모두를 포함한다. 그러나, 선행하는 인접 블록들의 세트는 선행하는 블록들 모두의 서브셋(subset)으로서 정해질 수 있다. 예를 들어, 블록 a 내지 e는 대상 블록 X에서의 움직임 검색 범위를 조정하기 위해 이용되는 B i ,j =X의 선행 인접 블록 세트, 즉, P i ,j =[a,b,c,d,e]로서 선택될 수 있다.
이 예에서는 좌우 스캐닝 순서가 이용될지라도, 블록들의 스캐닝 순서는 임의적일 수 있다. 이용되는 스캐닝 순서의 유형은 어떤 인접 블록들이 대상 블록보 다 먼저 움직임 추정 결과들을 받았는지를 결정한다. 적어도 일부가 선행 인접 블록들로서 작용하는 그러한 블록들은 대상 블록을 위한 움직임 검색 범위를 조정하기 위한 적응적 방법에 의해 이용된다.
블록 스캐닝 순서의 다른 한 예는 도 5에 도시된 바와 같은 부분 샘플링 스캐닝 순서이다. 예시적 대상 이미지(510)에서의 음영진 블록들에 의해 도시된 바와 같이 제1 라운드에서 하나 걸러 하나의 블록이 좌우 및 상하로 스캔된다. 이 라운드에서 스캔된 블록들은 대상 이미지에서의 모든 블록들로부터 부분 샘플링된다. 그 후, 제2 라운드의 스캐닝 동안에, 예시적 대상 이미지(520)에 도시된 바와 같이 잔여 블록들이 스캔된다.
이러한 부분 샘플링 방식의 한 장점은 제2 라운드에서 스캔된 블록들이, 도 4에서 도시된 바와 같이 상측 및 좌측 방향으로만이 아니라, 모든 방향으로의 선행 인접 블록들일 수 있다는 것이다. 예를 들어, 이미지(520)에서의 블록(X)은 블록(f, g, h, i, j, 및 k)들을 선행 인접 블록들로서 가질 수 있다. 그래서, 블록(a 및 f)들은 부분 샘플링 스캐닝 순서를 이용하는 대상 블록 X에 대한 선행 인접 블록이지만, 블록(a 및 f)는 래스터 스캐닝 순서를 이용하는 선행 인접 블록들이 아닐 것이다. 이 부분 샘플링 스캐닝 순서는 추정 움직임 범위 (
Figure 112008026699688-pct00033
)
Figure 112008026699688-pct00034
및 조정 값(δx, δy)들의 값을 얻음에 있어서의 개선으로 귀결될 수 있다.
도 6은 적응적 움직임 검색 범위 방법을 이용하는 시스템의 한 예를 도시한다. 디지털 비디오 카메라(610)는 전자적 형태로 이미지들을 획득하고, 압축 및 인코딩 프로세스 동안에 적응적 움직임 검색 범위 방법을 구현하는 압축 소자(620)를 이용하여 이미지들을 처리한다. 인코딩된 이미지들은 전자적 전송 매체(630)를 통해 디지털 재생 소자(640)로 보내진다. 이미지들은 디코딩 프로세스 동안에 이 방법을 이용하는 디코딩 소자(650)에 의해 디코딩된다. 카메라(610)는 본 발명의 실시예들을 포함하는 다양한 이미지 처리 장치(예를 들어, 다른 이미지 획득 소자, 이미지 편집기, 이미지 프로세서, 개인용 및 상업용 컴퓨팅 플랫폼, 등)들의 예이다. 마찬가지로, 디코딩 소자(650)는 이미지 데이터를 디코딩하는 다양한 소자들의 예이다.
본 발명이 특정한 시스템 환경에서의 예시적 실시예들에 비추어 기술되지만, 당 기술분야에서 통상적인 지식을 가진 자들은 본 발명이 첨부된 특허청구의 범위의 정신 및 범위 내에서 다른 상이한 하드웨어 및 소프트웨어 환경에서 실시될 수 있음을 알 것이다.

Claims (24)

  1. 전자 데이터 프로세서에 의해 수행되는 방법으로서,
    대상 이미지(target image)에서의 픽셀들의 블록들에 대한 움직임 벡터들을 계산하는 단계,
    상기 대상 이미지에서의 대상 블록의 인접 블록의 계산된 상기 움직임 벡터를 이용하여 상기 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키는 단계 - 상기 인접 블록은 상기 대상 이미지 내의 블록임 - , 및
    발생된 상기 검색 범위를 이용하여 상기 픽셀들의 대상 블록의 움직임을 추정하는 단계를 포함하고,
    상기 검색 범위를 발생시키는 단계는 상기 계산된 움직임 벡터들의 분산을 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 검색 범위를 발생시키는 단계는 상기 계산된 움직임 벡터들을 이용하여 추정되는 움직임 범위를 결정하는 단계를 포함하는 방법.
  3. 제2항에 있어서,
    상기 추정되는 움직임 범위를 결정하는 단계는 상기 계산된 움직임 벡터들에 저역 필터를 적용하는 단계를 포함하는 방법.
  4. 제3항에 있어서,
    상기 계산된 움직임 벡터들에 상기 필터를 적용하는 단계는,
    Figure 112013043199868-pct00035
    를 포함하고, 여기에서, L은 n개의 탭을 가져서 L=[l1,l2,…,ln ]인 필터이며, li 는 탭 l 의 필터 계수이고,
    Figure 112013043199868-pct00036
    는 상기 대상 블록의 상기 추정되는 움직임 범위의 x축 값이며, Mx 는 상기 계산된 움직임 벡터들의 x축 값들을 포함하는 벡터이고, (Mx)T 는 벡터 Mx 의 전치 행렬이며,
    Figure 112013043199868-pct00037
    은 상기 대상 블록의 상기 추정되는 움직임 범위의 y축 값이고, My 는 계산된 움직임 벡터들의 y축 값들을 포함하는 벡터이며, (My)T 는 벡터 M y의 전치 행렬인 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 분산을 결정하는 단계는 상기 계산된 움직임 벡터들에 고역 필터를 적용하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    래스터 스캐닝 순서 및 부분 샘플링(sub-sampling) 순서로 이루어진 그룹으로부터 선택된 상기 대상 이미지에서의 블록들에 대한 블록 스캐닝 순서를 결정하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 대상 이미지에서의 픽셀들의 블록들에 대한 움직임 벡터들을 계산하는 단계는 다수의 기준 이미지들을 이용하여 상기 움직임 벡터들을 계산하는 단계를 포함하는 방법.
  9. 대상 이미지에서의 픽셀들의 블록들에 대한 움직임 벡터들을 계산하는 움직임 벡터 계산기,
    상기 대상 이미지에서의 대상 블록의 인접 블록의 계산된 상기 움직임 벡터를 이용하여 상기 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키는 검색 범위 계산기 - 상기 인접 블록은 상기 대상 이미지 내의 블록임 - , 및
    발생된 상기 검색 범위를 이용하여 상기 픽셀들의 대상 블록들의 움직임을 추정하는 움직임 추정기
    를 포함하고,
    상기 검색 범위 계산기는 상기 계산된 움직임 벡터들의 분산을 결정하는 장치.
  10. 제9항에 있어서,
    상기 검색 범위 계산기는 상기 계산된 움직임 벡터들을 이용하여 추정되는 움직임 범위를 결정하는 장치.
  11. 제10항에 있어서,
    상기 검색 범위 계산기는 상기 계산된 움직임 벡터들에 저역 필터를 적용하는 장치.
  12. 제11항에 있어서,
    상기 검색 범위 계산기는,
    Figure 112011070051830-pct00038
    를 적용하고, 여기에서 L은 n개의 탭을 가져서 L=[l1,l2,…,ln ]인 필터이며, li 는 탭 l 의 필터 계수이고,
    Figure 112011070051830-pct00039
    는 상기 대상 블록의 상기 추정되는 움직임 범위의 x축 값이며, Mx 는 상기 계산된 움직임 벡터들의 x축 값들을 포함하는 벡터이고, (Mx)T 는 벡터 Mx 의 전치 행렬이며,
    Figure 112011070051830-pct00040
    은 상기 대상 블록의 상기 추정되는 움직임 범위의 y축 값이고, My 는 상기 계산된 움직임 벡터들의 y축 값들을 포함하는 벡터이며, (My)T 는 벡터 My 의 전치 행렬인 장치.
  13. 삭제
  14. 제9항에 있어서,
    상기 검색 범위 계산기는 상기 계산된 움직임 벡터들에 고역 필터를 적용함으로써 상기 분산을 결정하는 장치.
  15. 제9항에 있어서,
    상기 대상 이미지 내의 블록들은 래스터 스캐닝 순서 또는 부분 샘플링 순서로 스캐닝되는 장치.
  16. 제9항에 있어서,
    상기 움직임 벡터 계산기는 다수의 기준 이미지들을 이용하여 상기 움직임 벡터들을 계산하는 장치.
  17. 명령어로 된 프로그램을 저장하는 컴퓨터 판독 가능 기록 매체로서,
    상기 프로그램은, 처리 시스템에 의해 실행될 때, 상기 처리 시스템으로 하여금,
    대상 이미지에서의 픽셀들의 블록들에 대한 움직임 벡터들을 계산하는 단계,
    상기 대상 이미지에서의 대상 블록의 인접 블록의 계산된 상기 움직임 벡터를 이용하여 상기 픽셀들의 대상 블록과 관련된 검색 범위를 발생시키는 단계 - 상기 인접 블록은 상기 대상 이미지 내의 블록임 - , 및
    발생된 상기 검색 범위를 이용하여 상기 픽셀들의 대상 블록의 움직임을 추정하는 단계를 포함하는 방법을 수행하도록 하고,
    상기 검색 범위를 발생시키는 단계는 상기 계산된 움직임 벡터들의 분산을 결정하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.
  18. 제17항에 있어서,
    상기 검색 범위를 발생시키는 단계는 상기 계산된 움직임 벡터들을 이용하여 추정되는 움직임 범위를 결정하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.
  19. 제18항에 있어서,
    상기 추정되는 움직임 범위를 결정하는 단계는 상기 계산된 움직임 벡터들에 저역 필터를 적용하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.
  20. 제19항에 있어서,
    상기 계산된 움직임 벡터들에 상기 필터를 적용하는 단계는,
    Figure 112013043199868-pct00041
    를 포함하고, 여기에서 L은 n개의 탭을 가져서 L=[l1,l2,…,ln ]인 필터이며, li 는 탭 l 의 필터 계수이고,
    Figure 112013043199868-pct00042
    는 상기 대상 블록의 상기 추정되는 움직임 범위의 x축 값이며, Mx 는 상기 계산된 움직임 벡터들의 x축 값들을 포함하는 벡터이고, (Mx)T 는 벡터 Mx 의 전치 행렬이며,
    Figure 112013043199868-pct00043
    은 상기 대상 블록의 상기 추정되는 움직임 범위의 y축 값이고, My 는 상기 계산된 움직임 벡터들의 y축 값들을 포함하는 벡터이며, (My)T 는 벡터 My 의 전치 행렬인 컴퓨터 판독 가능 기록 매체.
  21. 삭제
  22. 제17항에 있어서,
    상기 분산을 결정하는 단계는 상기 계산된 움직임 벡터들에 고역 필터를 적용하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.
  23. 제17항에 있어서,
    상기 방법은,
    래스터 스캐닝 순서 및 부분 샘플링 순서로 이루어진 그룹으로부터 선택된 상기 대상 이미지에서의 블록들에 대한 블록 스캐닝 순서를 결정하는 단계를 더 포함하는 컴퓨터 판독 가능 기록 매체.
  24. 제17항에 있어서,
    상기 대상 이미지에서의 픽셀들의 블록에 대한 움직임 벡터들을 계산하는 단계는 다수의 기준 이미지들을 이용하여 상기 움직임 벡터들을 계산하는 단계를 포함하는 컴퓨터 판독 가능 기록 매체.
KR1020087008973A 2005-09-16 2008-04-15 적응적 움직임 검색 범위 KR101342284B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/228,656 2005-09-16
US11/228,656 US8107748B2 (en) 2005-09-16 2005-09-16 Adaptive motion search range
PCT/US2006/034968 WO2007035276A2 (en) 2005-09-16 2006-09-07 Adaptive motion search range

Publications (2)

Publication Number Publication Date
KR20080046269A KR20080046269A (ko) 2008-05-26
KR101342284B1 true KR101342284B1 (ko) 2013-12-16

Family

ID=37884048

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087008973A KR101342284B1 (ko) 2005-09-16 2008-04-15 적응적 움직임 검색 범위

Country Status (6)

Country Link
US (1) US8107748B2 (ko)
EP (1) EP1932366A4 (ko)
JP (1) JP5281891B2 (ko)
KR (1) KR101342284B1 (ko)
CN (1) CN101366279B (ko)
WO (1) WO2007035276A2 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
JP4757080B2 (ja) * 2006-04-03 2011-08-24 パナソニック株式会社 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
US8693541B2 (en) * 2007-05-24 2014-04-08 Samsung Electronics Co., Ltd System and method of providing motion estimation
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
JP2010030281A (ja) * 2008-06-27 2010-02-12 Canon Inc 搬送装置及び記録装置
US8559518B2 (en) * 2008-06-30 2013-10-15 Samsung Electronics Co., Ltd. System and method for motion estimation of digital video using multiple recursion rules
KR100986719B1 (ko) * 2008-07-30 2010-10-11 재단법인서울대학교산학협력재단 Ｈ.264／ａｖｃ 움직임 추정의 연산량 감소방법
US8379727B2 (en) 2008-09-26 2013-02-19 General Instrument Corporation Method and apparatus for scalable motion estimation
KR101543298B1 (ko) * 2008-10-13 2015-08-10 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법
KR101487685B1 (ko) 2008-11-21 2015-01-29 삼성전자주식회사 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체
US8295551B2 (en) * 2009-04-08 2012-10-23 Samsung Electronics Co., Ltd. System and method of adaptive vertical search range tracking for motion estimation in digital video
CN101873483B (zh) * 2009-04-24 2012-08-29 深圳市九洲电器有限公司 一种运动估计方法及采用运动估计方法的编码芯片、装置
JP5238882B2 (ja) * 2009-06-01 2013-07-17 パナソニック株式会社 画像符号化装置、方法、集積回路、プログラム
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US20110002387A1 (en) * 2009-07-03 2011-01-06 Yi-Jen Chiu Techniques for motion estimation
US8462852B2 (en) * 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US8917769B2 (en) * 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9078009B2 (en) 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US9819358B2 (en) 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US20110228851A1 (en) * 2010-03-18 2011-09-22 Amir Nusboim Adaptive search area in motion estimation processes
WO2012044118A2 (ko) * 2010-09-30 2012-04-05 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
KR101443701B1 (ko) * 2010-11-22 2014-09-29 한국전자통신연구원 적응형 움직임 탐색 범위 결정 장치 및 방법
EP2656610A4 (en) 2010-12-21 2015-05-20 Intel Corp SYSTEM AND METHOD FOR EXTENDED DMVD PROCESSING
RU2551473C2 (ru) * 2011-03-09 2015-05-27 Ниппон Телеграф Энд Телефон Корпорейшн Устройство кодирования видео, способ кодирования видео и программа кодирования видео
US10440373B2 (en) 2011-07-12 2019-10-08 Texas Instruments Incorporated Method and apparatus for coding unit partitioning
KR102131326B1 (ko) 2013-08-22 2020-07-07 삼성전자 주식회사 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법
KR101382367B1 (ko) * 2013-11-13 2014-04-09 주식회사 아나패스 움직임 추정 방법 및 이를 이용한 영상 처리 장치
JP6502485B2 (ja) * 2015-05-21 2019-04-17 オリンパス株式会社 撮像装置
US20160360234A1 (en) 2015-06-03 2016-12-08 Apple Inc. Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches
JP6667268B2 (ja) * 2015-11-26 2020-03-18 キヤノン株式会社 動きベクトル検出装置およびその制御方法、撮像装置
US11461919B2 (en) * 2016-04-21 2022-10-04 Ramot At Tel Aviv University Ltd. Cascaded neural network
JP6538609B2 (ja) * 2016-05-11 2019-07-03 日本電信電話株式会社 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム
CN106340047B (zh) * 2016-09-07 2018-07-27 北京市商汤科技开发有限公司 图像生成方法、装置和***
US10192319B1 (en) * 2017-07-27 2019-01-29 Nanning Fugui Precision Industrial Co., Ltd. Surveillance method and computing device using the same
CN108010067B (zh) * 2017-12-25 2018-12-07 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN108305272B (zh) * 2018-02-27 2020-04-28 郑州轻工业学院 一种基于alo搜索的突变运动目标跟踪方法
EP3833028B1 (en) 2019-12-03 2022-02-09 Axis AB Method and system for calculating a cost of encoding a motion vector

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010004385A1 (en) * 1999-07-29 2001-06-21 Seiji Okumura Motion vector detection system

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3877105D1 (ko) * 1987-09-30 1993-02-11 Siemens Ag, 8000 Muenchen, De
US5690934A (en) * 1987-12-31 1997-11-25 Tanox Biosystems, Inc. Peptides relating to the extracellular membrane-bound segment of human alpha chain
US5047850A (en) * 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US6091460A (en) * 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
GB9422738D0 (en) * 1994-11-10 1995-01-04 Univ Western Ontario Context-based, adaptive, progressive, lossless compression of still continuous -tone images
US5872866A (en) * 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
WO1997040628A1 (en) * 1996-04-19 1997-10-30 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3967405B2 (ja) * 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
DE19648016A1 (de) * 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
EP1511325A3 (en) * 1997-02-13 2006-07-19 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US6014181A (en) * 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) * 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6591015B1 (en) * 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
KR100301833B1 (ko) 1998-08-20 2001-09-06 구자홍 오류은폐방법
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP2000308064A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
US6864994B1 (en) * 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
JP2003530789A (ja) 2000-04-11 2003-10-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化及び復号方法
WO2002037859A2 (en) 2000-11-03 2002-05-10 Compression Science Video data compression system
US6682358B1 (en) * 2000-11-15 2004-01-27 Westinghouse Electric Company Llc Instrumentation electrical connector protector
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
KR100455119B1 (ko) 2002-01-26 2004-11-06 엘지전자 주식회사 움직임 벡터 영역의 적응적 결정 방법
KR100492127B1 (ko) * 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
AU2003246987A1 (en) * 2002-07-09 2004-01-23 Nokia Corporation Method and system for selecting interpolation filter type in video coding
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JPWO2005036887A1 (ja) * 2003-10-14 2006-12-28 日本電気株式会社 動きベクトル探索方法、動きベクトル探索装置および動きベクトル探索プログラム
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
TWI274509B (en) * 2005-02-22 2007-02-21 Sunplus Technology Co Ltd Method and system for dynamically adjusting motion estimation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010004385A1 (en) * 1999-07-29 2001-06-21 Seiji Okumura Motion vector detection system

Also Published As

Publication number Publication date
JP5281891B2 (ja) 2013-09-04
US8107748B2 (en) 2012-01-31
JP2009509408A (ja) 2009-03-05
WO2007035276B1 (en) 2008-09-25
WO2007035276A2 (en) 2007-03-29
WO2007035276A3 (en) 2008-08-14
CN101366279A (zh) 2009-02-11
EP1932366A2 (en) 2008-06-18
EP1932366A4 (en) 2011-03-16
KR20080046269A (ko) 2008-05-26
CN101366279B (zh) 2013-05-22
US20070064803A1 (en) 2007-03-22

Similar Documents

Publication Publication Date Title
KR101342284B1 (ko) 적응적 움직임 검색 범위
JP3538055B2 (ja) 動きベクトル検出装置
US7869518B2 (en) Fast motion estimation apparatus and method using block matching algorithm
US8165205B2 (en) Natural shaped regions for motion compensation
EP1339223A2 (en) Adaptive motion estimation apparatus and method
US20060008008A1 (en) Method of multi-resolution based motion estimation and recording medium storing program to implement the method
JP4726047B2 (ja) 画像符号化装置
CN110876060B (zh) 一种编码过程中的码率调整方法及装置
JP2006313950A (ja) 画像符号化装置、及び画像符号化方法
US20070098075A1 (en) Motion vector estimating device and motion vector estimating method
KR20100139030A (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
US7746930B2 (en) Motion prediction compensating device and its method
CN101627626A (zh) 运动矢量选择
JP2011060282A (ja) 動き領域の非線形スムージングを用いた動き検出方法およびシステム
US20050123039A1 (en) Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method
JP5237814B2 (ja) ビデオ圧縮における適応的動きベクトルサンプリングのための多段リンク方法
KR20130126698A (ko) 영상 부호화 장치, 영상 부호화 방법 및 영상 부호화 프로그램
CN113596478B (zh) 一种编解码方法、装置及其设备
JP2006148419A (ja) 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
US20100322313A1 (en) System and method for estimating sum of absolute differences
US9225994B2 (en) Global motion estimation using reduced frame lines
US7885335B2 (en) Variable shape motion estimation in video sequence
JP4763241B2 (ja) 動き予測情報検出装置
CN110876082B (zh) 一种视频帧的复杂度的确定方法及装置
JP4824712B2 (ja) 動き推定精度推定方法、動き推定精度推定装置、動き推定精度推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee