KR0178229B1 - 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치 - Google Patents

특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치 Download PDF

Info

Publication number
KR0178229B1
KR0178229B1 KR1019950024376A KR19950024376A KR0178229B1 KR 0178229 B1 KR0178229 B1 KR 0178229B1 KR 1019950024376 A KR1019950024376 A KR 1019950024376A KR 19950024376 A KR19950024376 A KR 19950024376A KR 0178229 B1 KR0178229 B1 KR 0178229B1
Authority
KR
South Korea
Prior art keywords
edge
point
feature
feature point
current frame
Prior art date
Application number
KR1019950024376A
Other languages
English (en)
Other versions
KR970014389A (ko
Inventor
이민섭
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950024376A priority Critical patent/KR0178229B1/ko
Priority to US08/527,613 priority patent/US5627591A/en
Priority to JP7239784A priority patent/JPH0955943A/ja
Priority to CNB951173405A priority patent/CN100384256C/zh
Publication of KR970014389A publication Critical patent/KR970014389A/ko
Application granted granted Critical
Publication of KR0178229B1 publication Critical patent/KR0178229B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)

Abstract

움직임 보상 비디오 신호 부호기에 사용되며, 디지털 비디오신호의 현재 프레임과 이전 프레임에 근거하여 예측된 현재 프레임을 결정하는 장치에 있어서; 이전 프레임에서의 에지를 형성하는 화소들을 나타내는 에지점과 에지점 중에서 특징점을 선택하는 수단(209)(210); 특징점에 대한 제1세트 움직임 벡터(MV)를 검출하는 수단(212); 제1세트 MV 및 에지점을 이용하여 비선택 에지점에 대한 제2세트 MV를 검출하는 수단(214)(216); 제1 및 제2세트의 MV에 근거하여, 이에 대응하는 현재 프레임에서의 유사 특징점 및 유사 에지점에 대한 제3 및 제4 MV 검출하는 수단(218); 현재 프레임에서의 모든 비유사 에지 및 비유사 특징점에 대해서 하나 이상의 영향력 있는 유사 특징점을 선택하여 비유사 에지 및 비유사 특징점에 대해서 제5세트의 MV를 검출하는 수단(220)(222)을 포함한다.

Description

특징점에 근거한 화소단위 움직임 추정을 이용한 영상처리장치
제1도는 본 발명의 현재 프레임 예측 블록을 포함한 영상 신호 부호화장치의 블록도.
제2도는 제1도의 현재 프레임 예측 블록의 상세 블록도.
제3a 내지 3c도는 각각의 에지에서 특징점 범위를 결정하는 방법을 도시하는 도면.
제4도는 각각의 비유사점에 대한 하나 이상의 영향력 있는 유사 특징점을 선택하는 방법을 도시하는 도면.
* 도면의 주요부분에 대한 부호의 설명
100 : 제1프레임 메모리 105 : 영상 신호 부호기
107 : 엔트로피 부호기 113 : 영상 신호 복호기
124 : 제2프레임 메모리 150 : 현재 프레임 예측 블록
209 : 에지 검출기 210 : 특징점 검출기
212 : 특징점 움직임 벡터 검출기 214 : 범위 검출기
216 : 에지점 움직임 벡터 검출기 218 : 유사점 검출기
220 : 유사 특징점 선택기 222 : 비유사점 움직임 벡터 검출기
224 : 배열 블록 226 : 움직임 보상기
본 발명은 비디오 신호를 부호화하는 장치에 관한 것으로서, 특히 특징점에 근거한 화소단위 움직임 추정을 이용한 비디오 신호 부호화 장치에 관한 것이다.
주지된 바와 같이, 이산화된 영상 신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 이미지 신호가 디지털 형태로 표현될 때, 특히 고품질 텔레비젼의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리이드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT계수의 양자화, VLC(가변장 부호화) 등을 이용한다. 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측 프레임간의 차이를 나타내는 차분 신호를 만들어 내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년, 12월), 또는 Ninomi ya와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Televi sion Pictures, IEEE Transactions on Communication, COM-30, NO.1(1982년, 1월)에 기재되어 있다.
특히, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.
물체의 변위를 추정하는 데에는 여러 가지 접근 방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는 데 하나는 블록 단위 방법이고 또 하나는 화소단위 움직임 추정이다.
블록 단위 움직임 추정에서는, 현재 프레임내의 하나의 블록은 이전 프레임의 블록들과 비교되어 가장 정합이 잘된 블록이 결정된다. 이로부터 전체 블록에 대한 프레임간 변위 벡터(프레임간의 블록의 움직임 정도를 나타냄)가 추정된다. 하지만, 블록 단위 움직임 추정에서는 블록 내의 모든 화소가 한 방향으로 이동하지 않는 경우에는 추정값이 올바르지 않아서 그 결과 부호화 효율이 감소한다.
한편, 화소단위 움직임 추정에서는 변위는 각각의 화소 전부에 대해 구하여진다. 따라서, 이 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를 들어, 영상 면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다. 그러나, 화소단위 추정 방법에서는, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에 사실상 모든 움직임 벡터 데이터를 수신기에 전송하는 것은 불가능하다.
화소단위 추정 방법에 기인한 과도한 전송 데이터를 처리하기 위한 문제를 극복하기 위한 기법중 하나가 특징점을 근거로 한 움직임 추정 기법이다.
특징점을 근거로한 움직임 추정 기법에서는 한 세트의 선택된 화소, 즉 특징점에 대한 움직임 벡터가 수신기로 전송되는 데, 각각의 특징점은 그 특징점의 이웃 화소들을 표현할 수 있는 화소로 규정되므로, 수신기에서는 그 특징점으로부터 그 특징점 주위에 있는 비특징점에 대한 움직이미 벡터를 복구되거나 예측할 수 있다.
본 출원인이 출원하여 계류 중인 미합중국 특허 제 08/367,520호에 Method and Apparatus for Encoding a Video Signal Using Pixel-by-Pixel Motion Estimation이란 명칭으로 개시된 바와 같이, 특징점에 근거한 움직임 추정을 적용하고 있는 부호기에서는, 먼저, 이전 프레임에 포함되어 있는 화소로부터 다수의 특징점이 먼저 선택된다. 그 다음에는, 선택된 특징점에 대한 제1세트 움직임 벡터가 결정되는데, 각각의 움직임 벡터는 이전 프레임의 한 특징점과 그것의 대응점인 현재 프레임의 가장 유사한 화소간의 공간적 변위를 나타낸다. 현재 프레임의 가장 유사한 화소를 유사 특징점(quasi-feature point)이라고 한다. 그 다음으로는, 제1세트의 움직임 벡터를 이용하여, 현재 프레임에 포함된 모든 화소들에 대한 제2세트의 움직임 벡터를 결정한다. 즉, 유사 특징점에 대한 제2세트 움직임 벡터의 일부분은 제1세트 움직임 벡터 각각의 방향만 반대로 전환하면 되고; 현재 프레임에서 유사 특징점을 제외한 비유사 특징점에 대한 제2세트 움직임 벡터의 나머지 부분은, 사전 설정된 크기의 원형 영역 내에 위치하는 유사 특징점에 대한 움직임 벡터를 평균함으로써 구해진다.
이때, 비유사 특징점에 대한 제2세트 움직임 벡터의 나머지 부분이 물체의 실체 움직임과 관련한 실제 정보를 하나도 고려하지 않기 때문에 비유사 특징점에 대한 움직임 벡터를 정확히 추정하는 것은 불가능하다.
따라서, 본 발명의 주 목적은 상기한 문제점을 해결하기 위한 것으로서, 에지 정보를 이용하여 비유사 특징점에 대한 움직임 벡터를 정확히 추정하기 위한 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 신호 부호화 장치를 제공하는 데 있다.
이상과 같은 본 발명의 목적은, 움직임 보상 비디오 신호 부호기에 사용되며, 디지털 비디오 신호의 현재 프레임과 이전 프레임에 근거하여 예측된 현재 프레임을 결정하는 장치에 있어서; 상기 이전 프레임에서의 영상의 에지(edge)를 형성하는 화소들을 나타내는 에지점(edge points)을 검출하는 수단과; 상기 이전 프레임의 에지점 중에서 다수의 화소를 특징점(feature points)으로 선택하는 수단과; 상기 특징점에 대한 제1세트 움직임 벡터를 검출하되, 상기 제1세트의 움직임 벡터의 각각은 하나의 특징점과 이 특징점과 가장 유사한 현재 프레임의 한 화소간의 공간적 변위를 나타내는 제1세트 움직임 벡터 검출 수단과; 상기 특징점 각각에 대한 특징점 범위를 결정하는 수단으로서, 여기서, 상기 특징점 범위는 하나의 동일한 에지에서 하나의 특징점과 하나 이상의 비선택 에지점을 포함하고, 상기 특징점 범위 내에서 비선택 에지점과 상기 특징점간의 에지 경로를 따른 에지 거리는 상기 특징점 범위 내의 각각의 비선택 에지점과 다른 특징점 범위의 특징점간의 에지 경로를 따른 에지 거리 미만인 특징점 범위 결정 수단과; 상기 특징점 범위 내에서 특징점과 각각의 비선택 에지점간의 거리를 검출하고, 상기 거리를 상기 각각의 비선택 에지점에 대한 탐색범위로 세팅하는 수단과; 상기 동일한 에지에서, 상기 에지점 각각으로부터 상기 탐색범위 내에 분산되어 있는 하나 이상의 특징점 범위를 결정하고, 상기 하나 이상의 특징점 범위에 포함된 특징점의 움직임 벡터를 평균함으로써, 상기 비선택 에지점에 대한 제2세트의 움직임 벡터를 검출하는 수단과; 상기 제1세트의 움직임 벡터 각각에 근거하여, 상기 특징점에 대응하는 현재 프레임에서의 유사 특징점 및 상기 유사 특징점에 대한 제3세트 움직임 벡터를 검출하고, 상기 제2세트 움직임 벡터 각각에 근거하여, 상기 현재 프레임에서의 유사 에지점 및 상기 유사 에지점에 대한 제4세트 움직임 벡터를 검출하는 수단과; 상기 현재 프레임에서의 모든 비유사 에지 및 비유사 특징점에 대해서 하나 이상의 영향력 있는 유사 특징점을 선택하되, 상기 선택은 각각의 상기 비유사 에지 및 비유사 특징점과 이에 대응하는 상기 하나 이상의 영향력 있는 유사 특징점간의 그려진 직선이 상기 비유사 에지 및 비유사 특징점과는 교차하지 않도록 함으로써 이루어지는 유사 특징점 선택수단과; 상기 비유사 에지 및 비유사 특징점에 대해서 제5세트의 움직임 벡터를 검출하되, 상기 제5세트의 움직임 벡터 각각은 상기 비유사 에지 및 비유사 특징점 각각에 대한 상기 하나 이상의 영향력 있는 유사 특징점의 움직임 벡터를 평균함으로써 결정되는 제5세트 움직임 벡터 검출 수단과; 상기 제3, 제4 및 제5세트의 움직임 벡터를 배열하여 상기 현재 프레임의 모든 화소에 대한 한 그룹의 움직임 벡터를 결정하는 수단과; 상기 현재 프레임의 화소 각각의 위치 데이터 및 상기 현재 프레임의 각 화소의 움직임 벡터에 근거하여 상기 이전 프레임으로부터 화소값을 제공함으로써 상기 예측된 현재 프레임을 결정하는 수단과 포함하는 것을 특징으로 하는 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치에 의해 달성된다.
제1도는 본 발명에 따른 영상 신호 부호화 장치의 바람직한 실시예가 도시되어 있다. 제1도에 도시된 바와 같이, 현재 프레임 신호가 제1프레임 메모리(100)에 저장된다. 현재 프레임 메모리는 라인 L9를 통해 감산기(102)와 연결되고, 또한 라인 L10을 통해 현재 프레임 예측 블록(150)에 연결된다.
현재 프레임 예측 블록(150)에서는, 제1프레임 메모리(100)로 부터 판독된 라인 L10상의 현재 프레임과 제2프레임 메모리(124)로 부터 검색된 라인 L12상의 재구성된 이전 프레임 신호를 처리하여 예측된 현재 프레임 신호를 라인 L30상으로 발생시키고, 특징점에 대한 움직임 벡터 세트를 L20상으로 발생시킨다. 현재 프레임 예측 블록의 상세한 것은 제2도에서 상세히 설명될 것이다.
감산기(102)에서는 라인 L30상의 예측된 현재 프레임 신호와 라인 L9로 부터의 현재 프레임 신호의 차이가 계산되고, 그 결과 데이터, 즉, 차분 화소값을 나타내는 오차 신호는 영상 신호 부호기(105)로 입력되어, 오차 신호는 이산 코사인 변환(DCT)과 양자화 방법을 이용하여 일련의 양자화된 변환 계수로 부호화 된다. 이 이후에 양자화된 변환 계수는 엔트로피 부호기(107)와 영상 신호 복호기(113)로 전송된다. 엔트로피 부호기(107)에서는 영상 신호 부호기(105)로부터의 양자화된 변환 계수와 현재 프레임 예측 블록(150)으로부터 라인 L20을 통해 입력된 움직임 벡터가, 런렝쓰(run-length)부호화와 가변 길이 부호화의 결합 등의 방법을 통해 부호화 되고 전송기(도시 안됨)로 전송된다.
한편, 영상 신호 복호기(113)는 영상 신호 부호기(105)로부터 입력된 양자화된 변환 계수들을 역양자화 및 역변환을 통해 차분 오차신호로 복원한다. 영상 복호기(113)로부터의 복원된 오차 신호와 현재 프레임 예측 블록(150)으로부터 라인 L30을 통해 제공되는 예측된 현재 프레임 신호는 가산기(115)에서 합쳐져서 복원된 현재 프레임 신호가 되어 제3프레임 메모리(124)에 이전 프레임으로 저장된다.
제2도를 참조하면, 제1도에 도시된 현재 프레임 예측 블록(150)의 상세한 도면이 제시되어 있다. 제2도에 도시된 바와 같이, 라인 L12상의 이전 프레임 신호는 에지 검출기(209) 및 특징점 움직임 벡터 검출기(212)로 각각 제공된다. 에지 검출기(209)에서는 이전 프레임의 영상의 에지를 형성하는 화소를 나타내는 다수의 에지점이 통상적인 에지 검출 기법에 의해 검출된다. 이전 프레임의 에지점은 라인 L13을 통해 특징점 검출기(210), 범위 검출기(214) 및 유사점 검출기(218)로 제공된다.
특징점 검출기(210)에서는 에지 검출기(209)로부터 제공된 에지점 중에서 다수의 특징점이 검출된다. 본 발명의 바람직한 실시예에서는 특징점이 그리드 점과 에지점과의 교차점에서 검출된다. 특징점 검출 방법은 본 출원인이 출원하여 계류 중인 Method and Apparatus for Encoding a Video Signal Using Pixel-by-Pixel Motion Estimation이란 명칭의 미합중국 특허 제 08/367,520호에 게시되며, 이는 본 특허에 참조된다. 특징점 검출기(210)로 부터의 특징점은 라인 L14를 통해 특징점 움직임 벡터 검출기(212) 및 범위 검출기(214)로 제공된다.
특징점 움직임 벡터 검출기(212)에서는 특징점에 대한 제1세트의 움직임 벡터가 검출된다. 제1세트 움직임 벡터 각각은 이전 프레임의 특징점과 현재 프레임의 유사 특징점간의 변위를 나타낸다.
특징점과 유사 특징점간의 움직임 벡터를 검출하기 위해서는 블록 정합 알고리즘을 사용한다. 즉, 특징점 검출기(210)로부터 특징점이 수신되면, 그 특징점을 중심으로 하는 5×5 화소 크기의 특징점 블록을 이전 프레임에 형성하고 그 데이터를 라인 L12를 통해 제2프레임 메모리(124)(제1도에 도시됨)로부터 판독한다. 이후, 특징점 블록보다 큰 탐색 영역 내에서 특징점 블록과 동일한 크기의 다수의 후보 블록과 특징점 블록간의 유사도를 계산하여 움직임 벡터를 결정하는 데, 탐색 영역은 현재 프레임내에 형성되며 그 크기는 예를 들면, 10×10 화소이다. 특징점 블록에 대해 결정된 움직임 벡터가 그 특징점 블록 내에 포함된 특징점의 움직임 벡터가 된다.
모든 특징점에 대한 움직임 벡터가 검출되면, 제1세트 움직임 벡터는 라인 L20을 통해 움직임 벡터 검출기(216), 유사점 검출기(218) 및 엔트로피 부호기(107)로 제공된다.
한편, 범위 검출기(214)에서는, 다수의 특징점을 가진 각각의 에지가 대응된 수의 특징점 범위로 분할된다. 이 분할은, 각각의 에지에서, 모든 에지점을 에지 경로로 가장 가까운 특징점으로 표시함으로써 분할된다.
제3a도 내지 제3c도를 참조하면, 각각의 에지 상의 특징점 범위를 결정하는 방법이 도시되어 있다. 제3a도에 도시된 바와 같이, 특징점이, 예를 들면, FP1 내지 FP5가 세 개의 에지 EDGE 1, EDGE 2, EDGE 3을 따라 분포되어 있을 때, EDGE 2의 에지점 EP는 특징점 FP1 또는 FP5와 에지점간의 유사도에 따라 둘 중에 하나로 표시된다. 예를 들면, 제3b도에 도시된 바와 같이, 에지점 EP가 특징점 FP1 및 FP5로부터 각각 5 및 3화소씩 떨어져 있을 경우, 에지점 EP는 특징점 FP5로 표시된다. 에지점이 두 개의 특징점의 중간에 위치하는 경우에는 두 개의 이웃 특징점중 어느 하나로 표시된다. 하나의 특징점과 그 특징점으로 표시된 에지점이 하나의 특징점 영역을 구성한다. 즉, 하나의 에지 상의 각각의 특징점 범위는 하나의 특징점 및 하나 이상의 에지점을 포함하며, 각각의 에지점은 그 특징점과 에지 경로를 따라 가장 근접해 있다. 제3c도를 참조하면, 에지 EDGE 1, EDGE 2, EDGE 3상의 특징점 범위를 도시한다.
각각의 에지 상에서 특징점의 범위가 결정되면, 에지점이 속하는 특징점 범위를 나타내는 범위 정보가 에지점 움직임 벡터 검출기(216)로 제공된다. 에지점 움직임 벡터 검출기(216)에서는 먼저 탐색 반경, 즉 동일한 특징점 범위에서 에지점과 특징점간의 거리를 구하고, 동일 에지상에서 하나 이상의 영향력 있는 특징점을 검출하고 그 영향력 있는 특징점의 움직임 벡터를 근거로 에지점의 움직임 벡터를 계산한다. 제3b도에 도시된 바와 같이, 에지점 EP의 탐색 반경이 r이고 동일 에지 EDGE 2상의 특징점 범위 FPR1 및 FPR5에 포함된 에지점이 탐색 반경 r로 규정된 그 범위 내에 포함되어 있을 경우, 특징점 FP1 및 FP5가 에지점 EP의 영향력 있는 특징점으로 결정된다. 에지점 EP에 대한 움직임 벡터 MVEP는 다음과 같이 계산된다:
여기서, MVj는 j번째 특징점의 움직임 벡터이고, M은 범위 r내의 특징점 범위의 수이고, Lj는 j번째 특징점과 에지점 EP간의 거리이며, wj는 j번째 특징점의 가중치이다. 주어진 특징점이 영향력 있는 특징점이라면, 가중치는 1이고, 그렇지 않을 경우 0이다. 식(1)에 의해서, 에지점 EP에 대한 움직임 벡터 MVEP는 두 개의 특징점 FP1 및 FP5의 움직임 벡터의 평균에 의해 결정된다. 에지점 움직임 벡터(216)는 특징점을 제외한 에지점에 대한 제2세트의 움직임 벡터를 제공한다.
에지 검출기(209)로부터의 에지점 정보 및 특징점 움직임 벡터 검출기(212) 및 에지점 움직임 벡터 검출기(216)로 부터의 제1 및 제2 세트의 움직임 벡터에 근거하여, 유사점 검출기(218)는 각각의 특징점 및 각각의 에지점을 해당 움직임 벡터만큼 이동시킴으로써 현재 프레임에서 유사 특징점 및 유사 에지점을 결정하고, 유사 특징점에 대한 제3세트 움직임 벡터 및 유사 에지점에 대한 제4세트 움직임 벡터를 제공한다. 제1 및 제2세트의 움직임 벡터 각각은 현재 프레임의 한 화소 점과 그것에 대응하는 이전 프레임의 화소 점간의 변위를 나타내기 때문에, 제3 및 제4세트의 각 움직임 벡터의 크기는 제1 및 제2세트의 움직임 벡터와 크기는 동일하며, 방향만 반대이다. 유사점 검출기(218)로 부터의 제3 및 제4세트의 움직임 벡터는 라인 L16을 통해 유사 특징점 선택기(220), 비유사점 움직임 벡터 검출기(222) 및 배열 블록(224)으로 제공된다.
유사 특징점 선택기(220)는 현재 프레임에서의 각각의 비유사에지 및 비유사 특징점에 대한 다수의 영향력 있는 유사 특징점을 선택한다. 비유사 에지 및 비유사 특징점은 현재 프레임에서 유사 특징점 및 유사 에지점을 제외한 모든 화소 점을 나타내는 것으로서, 이후 부터는 비유사점으로 칭한다. 주어진 비유사점에 대한 하나 이상의 영향력 있는 유사 특징점은 모든 유사 특징점 중에서 선택되는데, 이 선택은 각각의 상기 비유사점과 이에 대응하는 하나 이상의 영향력 있는 유사 특징점간의 그려진 직선이 비유사점과는 하나도 교차하지 않도록 함으로써 이루어진다. 예를 들면 제4도에 도시된 바와 같이, 유사 특징점, 예를 들면, QFP1 내지 QFP6가 4개의 복원된 에지 EDGE 1, EDGE 2, EDGE 3 및 EDGE 4 각각을 따라 분포되어 있을 때, 비유사점 NQP에 대한 영향력 있는 유사 특징점으로서 유사 특징점 QFP1, QFP2, QFP3, QFP4, QFP5, QFP6이 선택되고, 에지 EDGE 2상의 유사 특징점 QFP3은 제외되는 데 이는 비유사점 NQP과 유사 특징점 QFP3간에 에지 EDGE 2가 끼어 있기 때문이다. 제2도를 다시 참조하면, 각각의 비유사점에 대한 다수의 영향력 있는 유사 특징점은 비유사점 움직임 벡터 검출기(222)로 제공된다.
비유사점 움직임 벡터 검출기(222)에서는 유사점 검출기(218) 및 유사 특징점 선택기(220)로 부터의 영향력 있는 유사 특징점 정보에 근거하여 비유사점에 대한 제5세트 움직임 벡터가 검출된다. 제5세트 움직임 벡터 각각은 비유사점에 대한 다수의 영향력 있는 유사 특징점에 대한 움직임 벡터를 평균함으로써 결정된다. 제4도에 도시된 바와 같이, 비유사점 NQP에 대한 움직임 벡터 MVNQP는 다음과 같이 계산된다.
여기서, MVi는 i번째 유사 특징저의 움직임 벡터이고, N은 현재 프레임의 유사 특징점의 수이고, Li는 i번째 유사 특징점과 비유사 특징점간의 거리이며, wi는 i번째 유사 특징점의 가중치이다. 주어진 유사 특징점이 영향력 있는 유사 특징점이라면, 가중치는 1이고, 그렇지 않을 경우 0이다. 비유사점에 대한 제5세트의 움직임 벡터는 배열 블록(224)으로 제공된다.
배열 블록(224)은 유사 특징점에 대한 제3세트 움직임 벡터, 유사 에지점에 대한 제4세트의 움직임 벡터 및 비유사점에 대한 제5세트의 움직임 벡터를 배열하여 현재 프레임의 모든 화소에 대한 한 그룹의 움직임 벡터를 결정한다. 현재 프레임의 모든 화소에 대한 한 그룹의 움직임 벡터는 움직임 보상기(226)로 제공된다.
움직임 보상기(226)는 현재 프레임의 화소 각각의 위치 데이터 및 현재 프레임의 각 화소의 움직임 벡터에 근거하며 이전 프레임 메모리 124(제1도에 도시됨)에 저장된 이전 프레임으로부터 화소값을 제공함으로써 예측된 현재 프레임을 결정한다.

Claims (2)

  1. 움직임 보상 비디오 신호 부호기에 사용되며, 디지털 비디오 신호의 현재 프레임과 이전 프레임에 근거하여 에측된 현재 프레임을 결정하는 장치에 있어서; 상기 이전 프레임에서의 영상의 에지(edge)를 형성하는 화소들을 나타내는 에지점(edge points)을 검출하는 수단과; 상기 이전 프레임의 에지점 중에서 다수의 화소를 특징점(feature points)으로 선택하는 수단과; 상기 특징점에 대한 제1세트 움직임 벡터를 검출하되, 상기 제1세트의 움직임 벡터의 각각은 하나의 특징점과 이 특징점과 가장 유사한 현재 프레임의 한 화소간의 공간적 변위를 나타내는 제1세트 움직임 벡터 검출 수단과; 상기 제1세트 움직임 벡터 및 상기 에지점을 이용하여 상기 특징점에서 제외된 상기 이전 프레임의 비선택 에지점에 대한 제2세트 움직임 벡터를 검출하는 제2세트 움직임 벡터 검출 수단과; 상기 제1세트의 움직임 벡터 각각에 근거하여, 상기 특징점에 대응하는 현재 프레임에서의 유사 특징점 및 상기 유사 특징점에 대한 제3세트 움직임 벡터를 검출하고, 상기 제2세트 움직임 벡터 각각에 근거하여, 상기 현재 프레임에서의 유사 에지점 및 상기 유사 에지점에 대한 제4세트 움직임 벡터를 검출하는 수단과; 상기 현재 프레임에서의 모든 비유사 에지 및 비유사 특징점에 대해서 하나 이상의 영향력 있는 유사 특징점을 선택하되, 상기 선택은 각각의 상기 비유사 에지 및 비유사 특징점과 이에 대응하는 상기 하나 이상의 영향력 있는 유사 특징점간의 그려진 직선이 상기 비유사 에지 및 비유사 특징점과는 교차하지 않도록 함으로써 이루어지는 유사 특징점 선택 수단과; 상기 비유사 에지 및 비유사 특징점에 대해서 제5세트의 움직임 벡터를 검출하되, 상기 제5세트의 움직임 벡터 각각은 상기 비유사 에지 및 비유사 특징점 각각에 대한 상기 하나 이상의 영향력 있는 유사 특징점의 움직임 벡터를 평균함으로써 결정되는 제5세트 움직임 벡터 검출 수단과; 상기 현재 프레임의 화소 각각의 위치 데이터 및 상기 현재 프레임의 각 화소의 움직임 벡터에 근거하여 상기 이전 프레임으로부터 화소값을 제공함으로써 상기 예측된 현재 프레임을 결정하는 수단을 포함하는 것을 특징으로 하는 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치.
  2. 제1항에 있어서, 상기 제2세트 움직임 벡터 검출 수단이, 상기 특징점 각각에 대한 특징점 범위를 결정하는 수단으로서, 여기서, 상기 특징점 범위는 하나의 동일한 에지에서 하나의 특징점과 하나 이상의 비선택 에지점을 포함하고, 상기 특징점 범위 내에서 비선택 에지점과 상기 특징점간의 에지 경로를 따른 에지 거리는 상기 특징점 범위 내의 각각의 비선택 에지점과 다른 특징점 범위의 특징점간의 에지 경로를 따른 에지 거리 미만인 특징점 범위 결정 수단과; 상기 특징점 범위 내에서 특징점과 각각의 비선택 에지점간의 거리를 검출하고, 상기 거리를 상기 각각의 비선택 에지점에 대한 탐색 범위로 세팅하는 수단과; 상기 동일한 에지에서, 상기 에지점 각각으로부터 상기 탐색범위 내에 분산되어 있는 하나 이상의 특징점 범위를 결정하고, 상기 하나 이상의 특징점 범위에 포함된 특징점의 움직임 벡터를 평균함으로써, 상기 비선택 에지점에 대한 제2세트의 움직임 벡터를 검출하는 수단을 포함하는 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치.
KR1019950024376A 1995-08-08 1995-08-08 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치 KR0178229B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019950024376A KR0178229B1 (ko) 1995-08-08 1995-08-08 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치
US08/527,613 US5627591A (en) 1995-08-08 1995-09-13 Image processing system using a pixel-by-pixel motion estimation based on feature points
JP7239784A JPH0955943A (ja) 1995-08-08 1995-09-19 映像信号符号化装置
CNB951173405A CN100384256C (zh) 1995-08-08 1995-09-20 利用基于特征点的逐象素运动估算的图象处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950024376A KR0178229B1 (ko) 1995-08-08 1995-08-08 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR970014389A KR970014389A (ko) 1997-03-29
KR0178229B1 true KR0178229B1 (ko) 1999-05-01

Family

ID=19423058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950024376A KR0178229B1 (ko) 1995-08-08 1995-08-08 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치

Country Status (4)

Country Link
US (1) US5627591A (ko)
JP (1) JPH0955943A (ko)
KR (1) KR0178229B1 (ko)
CN (1) CN100384256C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100722462B1 (ko) * 2004-09-29 2007-07-10 가부시끼가이샤 도시바 동영상 처리 장치 및 방법과, 동영상 처리를 위한 컴퓨터프로그램 저장 수단

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825929A (en) * 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
US5982438A (en) * 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US6008851A (en) * 1996-05-23 1999-12-28 The Regents Of The University Of California Method and apparatus for video data compression
JP3966392B2 (ja) * 1997-09-30 2007-08-29 シャープ株式会社 画像合成通信装置
US6400831B2 (en) 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6687388B2 (en) * 2000-01-28 2004-02-03 Sony Corporation Picture processing apparatus
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
JP5149861B2 (ja) * 2009-05-01 2013-02-20 富士フイルム株式会社 中間画像生成装置およびその動作制御方法
US10284875B2 (en) * 2016-08-08 2019-05-07 Qualcomm Incorporated Systems and methods for determining feature point motion

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3023961B2 (ja) * 1989-10-04 2000-03-21 三菱電機株式会社 符号化器及び復号化器
JP2919115B2 (ja) * 1991-04-26 1999-07-12 三菱電機株式会社 動き検出器
JPH06162193A (ja) * 1992-11-26 1994-06-10 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル抽出方法
JP2797891B2 (ja) * 1993-04-06 1998-09-17 日本ビクター株式会社 多次元画像構造圧縮方法
JP3764494B2 (ja) * 1993-10-25 2006-04-05 ソニー株式会社 動画像分析合成装置
KR0181063B1 (ko) * 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100722462B1 (ko) * 2004-09-29 2007-07-10 가부시끼가이샤 도시바 동영상 처리 장치 및 방법과, 동영상 처리를 위한 컴퓨터프로그램 저장 수단

Also Published As

Publication number Publication date
CN100384256C (zh) 2008-04-23
CN1142732A (zh) 1997-02-12
JPH0955943A (ja) 1997-02-25
US5627591A (en) 1997-05-06
KR970014389A (ko) 1997-03-29

Similar Documents

Publication Publication Date Title
KR0171118B1 (ko) 비디오신호 부호화 장치
KR0171154B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
KR0171146B1 (ko) 특징점을 이용한 움직임 벡터 검출 장치
US5689306A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US5617144A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
US5694487A (en) Method and apparatus for determining feature points
US5546129A (en) Method for encoding a video signal using feature point based motion estimation
US5673339A (en) Method for encoding a video signal using feature point based motion estimation
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
KR0178229B1 (ko) 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치
US5638129A (en) Image processing apparatus using a pixel-by-pixel motion estimation based on feature points
EP0721284B1 (en) An image processing system using pixel-by-pixel motion estimation and frame decimation
US5731851A (en) Method for determining feature points based on hierarchical block searching technique
KR0178230B1 (ko) 특징점에 의한 움직임 추정을 이용한 영상 처리 장치
EP0731612B1 (en) Apparatus for encoding a video signal using search grids for motion estimation and compensation
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US5710603A (en) Method for detecting motion vectors
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR0159374B1 (ko) 서치 그리드를 이용한 영상신호 부호화 장치
KR0174956B1 (ko) 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
EP0720381A1 (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
KR0174462B1 (ko) 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템
KR0174463B1 (ko) 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치
KR0178228B1 (ko) 이미지 신호 복호화용 개선된 움직임 벡터 추정 방법 및 장치
JPH08205176A (ja) 映像信号符号化装置及び映像信号符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20141107

Year of fee payment: 17

EXPY Expiration of term