KR100411525B1 - 화상 부호화 장치 및 화상 부호화 방법 - Google Patents

화상 부호화 장치 및 화상 부호화 방법 Download PDF

Info

Publication number
KR100411525B1
KR100411525B1 KR1020010026363A KR20010026363A KR100411525B1 KR 100411525 B1 KR100411525 B1 KR 100411525B1 KR 1020010026363 A KR1020010026363 A KR 1020010026363A KR 20010026363 A KR20010026363 A KR 20010026363A KR 100411525 B1 KR100411525 B1 KR 100411525B1
Authority
KR
South Korea
Prior art keywords
motion vector
pixel
motion
image
integer
Prior art date
Application number
KR1020010026363A
Other languages
English (en)
Inventor
나카야유이치로
Original Assignee
가부시끼가이샤 히다치 세이사꾸쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 히다치 세이사꾸쇼 filed Critical 가부시끼가이샤 히다치 세이사꾸쇼
Application granted granted Critical
Publication of KR100411525B1 publication Critical patent/KR100411525B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

전체 움직임 보상 처리에 있어서 연산을 간략화하는 방법은, 많은 파라미터를 사용하지 않고 전체 화상의 움직임 벡터 필드를 근사화시키는 것이다. 전체 움직임 보상에 있어서 움직임 벡터는, 공간적인 거리에 특징이 있는 복수의 대표점 602, 603, 604의 움직임 벡터에 대하여 내·외삽을 행함으로써 구해진다. 전체 움직임 보상의 예측 화상을 합성하는데 있어, 나눗셈 대신에 시프트 연산을 행할 수 있기 때문에, 컴퓨터 또는 전용 하드웨어를 사용하여 처리를 간략화할 수 있다.

Description

화상 부호화 장치 및 화상 부호화 방법{Apparatus and Method of coding image}
본 발명은 선형 내·외삽(linear interpolation and/or extrapolation) 또는 쌍 1차 내·외삽(bilinear interpolation and/or extrapolation)에 기초하여 화상 전체에 대해 전체 움직임 보상을 적용하는 화상 부호화 및 복호화 방법에 관한 것이다.
동화상의 고효율 부호화에 있어서, 시간적으로 인접하는 프레임간의 유사성을 활용하는 움직임 보상은 데이터 압축에 큰 효과를 나타낸다는 것이 알려져 있다. 현재의 화상 부호화 기술에서 가장 널리 사용되는 움직임 보상방식은, 동화상 부호화 방식의 국제표준인 H.261, MPEG1, MPEG2내에 채택되어 있는 블록매칭(block matching)이다. 이 방식에 따르면, 부호화하고자 하는 화상을 많은 블록으로 분할하여, 각 블록마다 움직임 벡터를 구한다.
도1은 블록매칭과 DCT(이산 코사인 변환)(Discrete Cosine Transform) 조합인 하이브리드(hybrid) 부호화 방식(적응 프레임간(interframe)/프레임내(intraframe) 부호화방식)을 채택하고 있는 H.261 표준의 부호기(100)의 구성예를 나타낸다. 감산기(subtractor)(102)는 입력화상(101)(현재 프레임의 원(原)화상)과 프레임간/프레임내 전환스위치(119)의 출력화상(113)(뒤에 기술함)의 차를 계산하여, 오차 화상(103)을 출력한다. 오차 화상은 DCT 변환기(104)에서 DCT계수로 변환되고, 양자화기(105)에서 양자화되어 양자화 DCT 계수(106)로 된다. 양자화 DCT 계수는 전송데이터로서 통신로에 출력됨과 동시에 부호화기내에서도 프레임간 예측 화상을 합성하기 위해 사용된다. 예측화상을 합성하는 순서는 다음과 같다. 양자화 DCT 계수(106)는 역양자화기(108)와 역 DCT 변환기(109)를 거쳐 복호 오차 화상(110)(수신측에서 재생된 오차화상과 같은 화상)으로 된다.
그것에, 프레임간/프레임내 전환스위치(119)의 출력화상(113)(뒤에 기술함)이 가산기(111)에서 가산되어 현재 프레임의 복호 화상(112)(수신측에서 재생된 현재 프레임의 복호화상과 동일한 화상)이 얻어진다. 이 화상은 프레임 메모리(114)내에 일시저장되어, 1프레임분의 시간만큼 지연된다. 따라서 현시점에서, 프레임메모리(114)는 이전 프레임의 복호화상(115)을 출력하고 있는 것이다. 이전 프레임의 복호화상과 현재 프레임의 입력화상(101)은 블록매칭부(116)에 입력되어 블록매칭이 행해진다.
블록매칭에서, 화상은 복수의 블록으로 분할되고, 각 블록마다 현재 프레임의 원화상에 가장 유사한 부분이 이전 프레임의 복호화상으로부터 추출됨으로써 현재 프레임의 예측화상(117)이 합성된다. 이때, 얼마만큼의 블록이 이전 프레임에서 현재 프레임으로 이동했는가를 검출하는 처리(국부 움직임 추정)를 행할 필요가 있다. 움직임 추정에 의해 검출된 블록의 움직임 벡터는 움직임 데이터(120)로서 수신측으로 전송된다. 수신측은, 이 움직임 데이터와 이전프레임의 복호화상으로부터, 독자적으로 송신측에서 얻어지는 것과 같은 예측화상을 합성할 수 있다.
도1에서, 예측화상(117)은, "0" 신호(118)와 함께 프레임간/프레임내 전환스위치(119)에 입력된다. 스위치는, 양입력의 어느 하나를 선택함으로써 프레임간 부호화 또는 프레임내 부호화를 전환시킨다. 예측화상(117)이 선택된 경우(도2는 이경우를 나타내고 있다)에는 프레임간 부호화가 행해진다. 한편 "0" 신호가 선택된경우에는 입력화상이 그대로 DCT 부호화되어 통신로에 출력된다. 따라서 프레임내 부호화가 행해지게 된다.
수신측이 복호화 화상을 정확히 얻기 위해서는, 송신측에서 프레임간 부호화가 행해졌는지 프레임내 부호화가 행해졌는지는 알 필요가 있게 된다. 이를 위해 식별 플래그(distinction flag)(121)가 통신로에 출력된다. 최종적인 H.261 부호화 비트 스트림(coded bit stream)(121)은 다중화기(multiplexer)(122)에서 양자화 DCT 계수, 움직임 벡터, 프레임간/프레임내 식별플래그를 다중화 데이터로 다중화함으로써 얻어진다.
도2는 도1의 부호화기에서 출력된 부호화 비트 스트림을 수신하기 위한 복호화기(200)의 구성예를 나타낸다. 수신된 H.261 비트 스트림(217)은 분리기(216)에서 양자화 DCT 계수(201), 움직임벡터(202), 프레임간/프레임내 식별 플래그(203)로 분리된다. 양자화 DCT 계수(201)는 역양자화기(204)와 역 DCT 변환기(205)를 통해 오차화상(206)으로 복호화된다. 오차 화상은 가산기(207)에서 프레임간/프레임내 전환스위치(214)의 출력화상(215)에 더해져 복호화화상(208)으로 출력된다.
프레임간/프레임내 전환스위치는 프레임간/프레임내 부호화 식별 플래그(203)에 따라 출력을 전환시킨다. 프레임간 코드화를 행하기 위해 사용되는 예측화상(212)은 예측화상 합성기(211)에서 합성된다. 여기서는, 프레임 메모리(209)내에 저장되어 있는 이전 프레임의 복호화 화상(210)에 대하여 수신된 움직임 벡터(202)에 따라 각 블록마다 위치를 이동시키는 처리가 행해진다. 한편, 프레임내 부호화의 경우 프레임간/프레임내 전환 스위치는 "0" 신호(213)를 출력한다.
블록매칭(block matching)은 현재 가장 널리 사용되고 있는 움직임 보상 방식이다. 그러나, 전체 화상이 확대, 축소, 회전하고 있는 경우에는, 모든 블록의 움직임벡터가 전송되어야만 하기 때문에 부호화 효율이 나쁘게 된다는 문제가 있다. 이러한 문제를 해결하기 위해, 많은 파라미터를 사용하지 않고서 전체 화상의 움직임 벡터필드를 나타내는 전체 움직임 보상(예컨대, M.Hotter, "Differential Estimation of the Global Motion Parameters Zoom and Pan", Signal Processing, vol. 16, No.3 PP.249-265, Mar., 1989)이 제안되었다. 이 움직임 보상 방식에 따르면, 화상내 화소(x, y)의 움직임 벡터(ug(x, y), vg(x, y))는,
ug(x, y) = a0x + a1y + a2
vg(x, y) = a3x + a4y + a5
또는,
ug(x, y) = b0xy + b1x + b2y + b3
vg(x, y) = b4xy + b5x + b6y + b7
의 형식으로 나타내어지며, 움직임 보상은 이 움직임 벡터를 이용하여 행하여진다. 이들 식에서 a0∼a5와 b0∼b7은 움직임 파라미터이다. 움직임 보상을 행하는 경우에는, 같은 예측 화상이 송신측과 수신측 양쪽에서 발생되어야 한다. 이를 위해, 송신측은 수신측으로 a0∼a5 또는 b0∼b7의 값을 직접 전송해도 좋으며또는 몇몇 대표점의 움직임 벡터를 대신 전송해도 좋다.
도3의 (a)에 나타낸 바와 같이, 화상(301)의 좌상단, 우상단, 좌하단, 우하단의 화소의 좌표를 각각 (0, 0), (r, 0), (0, s), (r, s)(여기서 r 및 s는 양의 정수)로 표기했다고 가정한다. 여기서, 대표점(0, 0), (r, 0), (0, s)의 움직임 벡터의 수평 및 수직성분을 각각(ua, va), (ub, vb), (uc, vc)로 나타내면,
수학식1은
으로 바꿔 쓸수가 있다.
이것은, a0∼a5를 전송하는 것 대신에 ua, va, ub, vb, uc, vc를 전송하더라도 같은 기능을 실현할 수 있다는 것을 의미한다. 이 상태는 도3의 (a) 및 도3의 (b)에 도시되어 있다. 대표점 303, 304, 305의 움직임 벡터 306, 307, 308(움직임 벡터는 현재 프레임의 원화상의 점을 시점으로 하고, 참조화상내 대응점을 종점으로 하는 것으로 정의된다)는, 전체 움직임 보상이 도3의 (b)에 도시된 현재 프레임의 원화상(302)과 도3의 (a)에 도시된 참조화상(301) 사이에서 행해진다는 가정을 기초로 하여, 움직임 파라미터 대신 전송될 수 있다. 마찬가지로 4개의 대표점(0, 0), (r, 0), (0, s), (r, s)의 수직 및 수평 성분(ua, va), (ub, vb), (uc, vc), (ud, vd)를 사용하여 수학식2를
으로 바꾸어 쓸 수 있다.
따라서, b0∼b7을 전송하는 것 대신 ua, va, ub, vb, uc, vc, ud, vd를 전송하는 경우에도 마찬가지 기능을 실현할 수 있다. 본 명세서에서는, 수학식1을 사용한 방식을 선형 내·외삽(linear interpolation and/or extrapolation)에 기초한 전체 움직임 보상이라고 칭하고, 수학식2를 사용한 방식을 쌍1차(bilinear) 내·외삽에 기초한 전체 움직임 보상이라고 칭한다.
도4는 대표점의 움직임 벡터를 전송하기 위한 선형 내·외삽에 기초한 전체 움직임 보상방식을 채택한 화상부호화기의 움직임 보상 처리부(401)의 구성예를 나타낸 것이다. 도1에 도시되어 있는 것과 같은 요소는 같은 참조번호를 사용한다. 전체 움직임 보상을 행하는 화상 부호화기는 도1의 블록매칭부(BM부)(116)를 움직임 보상 처리부(401)로 대신함으로써 구성할 수 있다.
전체 움직임 보상 처리부(GMC부)(402)는, 이전 프레임의 복호화 화상(115)과 현재 프레임의 원화상(101) 사이에서 전체 움직임 보상에 관한 움직임 추정을 행하여, ua, va, ub, vb, uc, vc의 값을 추정한다. 이들 값에 관련된 데이터(403)는움직임 데이터(120)의 일부로서 전송된다. 전체 움직임 보상의 예측화상(404)은 수학식3을 사용하여 합성되고, 블록매칭부(405)에 공급된다. 이 전체 움직임 보상의 예측화상과 현재 프레임의 원화상 사이에서 블록매칭에 의해 움직임이 보상되어 블록의 움직임 벡터 데이터(406)와 최종 예측화상(117)이 생성된다. 움직임 벡터 데이터와 움직임 파라미터 데이터는 다중화기(407)에서 다중화되어, 움직임 데이터(120)로서 출력된다.
도5는 도4와는 다른 움직임 보상 처리부(501)의 구성예를 나타낸다. 전체 움직임 보상을 행하는 화상 부호화기는 도1의 블록매칭부(116)를 움직임 보상처리부(501)로 대신함으로써 구성할 수 있다. 본 실시예에서는, 전체 움직임 보상의 예측화상에 블록매칭을 적용하는 것이 아니라, 각블록에 대해 전체 움직임 보상 또는 블록매칭의 어느 하나를 적용하는 것이다. 전체 움직임 보상과 블록매칭은 이전 프레임의 복호화 화상(115)과 현재 프레임의 원화상(101)의 사이에서 전체 움직임 보상부(502)와 블록매칭부(505)에 의해 병렬적으로 행해진다. 선택스위치(508)는, 전체 움직임 보상의 예측화상(503)과 블록매칭의 예측화상(506) 사이에서, 각 블록마다 최적방식을 선택한다. 대표점의 움직임 벡터(504), 블록의 움직임 벡터(507)와 전체 움직임 보상/블록매칭의 선택 데이터(509)는 다중화기(510)에 의해 다중화되어 움직임 데이터(120)로서 출력된다.
전술한 전체 움직임 보상을 도입함으로써, 화상의 전체적인 움직임을 적은수의 파라미터를 이용하여 나타낼 수 있어, 높은 데이터 압축율을 실현할 수 있다. 그러나, 부호화 및 복호화의 처리량은 종래 방식에 비해 증가하며, 특히, 수학식3및 수학식4 내에서의 나눗셈은 처리를 복잡하게 하는 주요 요인이 된다.
전체화상의 움직임 벡터 필드가 몇 개의 파라미터에 의해 근사화되는 전체 움직임 보상은, 예측화상의 합성을 위한 처리량이 증가한다는 문제점이 발생한다.
본 발명의 목적은, 전체 움직임 보상에서의 나눗셈을 이진수 시프트 연산으로 대신함으로써 처리량을 감소시키기 위한 것으로, 전체 움직임 보상을 행할때의 대표점의 좌표를 적당히 선택함으로서, 나눗셈을 시프트 연산으로 실현할 수 있도록 한다.
도1은 H.261 화상 부호화기의 구성예를 나타낸 도면,
도2는 H.261 화상 복호화기의 구성예를 나타낸 도면,
도3의 (a) 및 도3의 (b)는 대표점의 움직임 벡터를 전송하는 전체 움직임 보상의 예를 나타낸 도면,
도4는 전체 움직임 보상의 예측 화상에 대하여 블록매칭을 행하는 화상 부호화기의 움직임 보상처리부를 나타낸 도면,
도5는 각 블록마다 전체 움직임 보상 또는 블록매칭을 선택하는 화상부호화기 움직임 보상처리부를 나타낸 도면,
도6은 고속처리를 행하기 위한 대표점의 배열예를 나타낸 도면,
도7은 화상내에서, 외삽에 의해 움직임 백터를 구하는 영역을 나타낸 도면,
도8은 화상내 모든 화소의 움직임 벡터가 대표점의 움직임 벡터로부터의 내삽에 의해 구해지는 예를 나타낸 도면,
도9는 화상을 2개의 직각삼각형으로 분할하여, 각각에 대해 대표점의 움직임 벡터로부터의 내삽에 기초한 전체 움직임 보상을 행한 예를 나타낸 도면,
도10은 본 발명의 실시예에 따라 화상 부호화를 행하기 위한 플로챠트,
도11은 본 발명의 다른 실시예에 따라 화상 부호화를 수행하기 위한 플로챠트,
도12는 본 발명의 실시예에 따른 화상 복호화의 플로챠트,
도13은 본 발명의 다른 실시예에 따른 화상 복호화의 플로챠트,
도14는 본 발명의 실시예에 따른 화상 부호화 방법을 위한 소프트웨어 부호화기를 나타낸 도면,
도15는 본 발명에 따른 화상 복호화 방법을 위한 소프트웨어 복호화기를 나타낸 도면,
도16은 본 발명의 화상 부호화기의 전체도,
도17은 본 발명의 실시예에 따라 도16의 부호화기내에서 사용되는 움직임 보상부를 나타낸 도면,
도18은 본 발명의 다른 실시예에 따라, 도16에 도시된 본 발명의 부호화기내에서 사용되는 움직임 보상부를 나타낸 도면,
도19는 본 발명에 따라 화상신호를 복호화하기 위한 화상 복호화기를 나타낸 도면,
도20은 본 발명의 실시예에 따라 도19의 화상복호화기내에서 사용되는 예측 화상 합성기를 나타낸 도면,
도21은 본 발명의 다른 실시예에 따라 도19의 화상복호화기내에서 사용되는 예측화상 합성기를 나타낸 도면이다.
이하의 설명에서는 화소의 샘플링 간격을 수평 및 수직방향 모두 1로 하고, 도3의 (a)에 도시한 바와 같이 좌상단, 우상단, 좌하단, 우하단의 화소의 좌표를 각각 (0, 0), (r, 0), (0, s), (r, s)(여기서 r과 s는 양의 정수)로 표기하기로 한다.
선형 내·외삽(아핀(affine) 변환) 또는 쌍 1차 내·외삽(쌍 1차 변환)을 기초로 하여 움직임 보상을 행하는 경우에 각 화소마다 움직임 벡터를 양자화하면, 잘못된 매칭(mismatching)이 방지될 수 있고 연산이 간략화 될 수 있다(일본 특허출원 94-193970). 이하에서는, 화소의 움직임 벡터의 수평성분과 수직성분이 1/m(여기서, m은 양의 정수)의 정수배라고 가정한다. 또한 전체 움직임 보상은 "종래기술"에서 설명한 대표점의 움직임 백터를 이용하여 행해지며, 대표점의 움직임 벡터는 1/k(여기서, k는 양의정수)의 정수배로 가정한다. 본 명세서에서, "화소의 움직임 벡터"는 예측화상을 합성하는데 실제로 사용되는 움직임 벡터이다. 한편, "대표점의 움직임 벡터"는 화소의 움직임 벡터를 계산하는데 사용되는 파라미터이다. 따라서, 양자화 스텝 사이즈가 다르기 때문에 같은 좌표를 갖는다고 하더라도 화소의 움직임 벡터와 대표점의 움직임 벡터는 일치하지 않을 수도 있다.
도6을 참조하여 선형 내·외삽에 기초한 경우를 설명한다. 여기서는, "종래기술"에 설명한 바와 같이 대표점을 화상(601)의 꼭지점에 위치시키는 것이 아니라, 좌표(i, j), (i+p, j), (i, j+q), (i, j, p, q는 정수)에 각각 위치하는 점 602, 603, 604으로 한다. 이때, 점 602, 603, 604는 화상의 내부 또는 외부에 존재할 수 있다. 대표점의 움직임 벡터의 수평 및 수직성분을 k배 한 것을 각각 (u0, v0), (u1, v1), (u2, v2)(u0, v0, u1, v1, u2, v2는 정수)로 하면, 화소(x, y)의 움직임 벡터의 수평, 수직성분을 m배한 것(u(x, y), v(x, y))는 아래의 식으로 나타낼 수 있다(여기서, x, y, u(x, y), y(x, y)는 정수).
u(x, y) = (((u1-u0)(x-i)q+(u2-u0)(y-j)p+u0pq)m)//(pqk)
v(x, y) = (((v1-v0)(x-i)q+(v2-v0)(y-j)p+v0pq)m)//(pqk)
여기서, "//"는 보통의 나눗셈에 의한 연산 결과가 정수가 아닌 경우에, 연산결과를 그에 인접한 정수값으로 하는 나눗셈(이하 '정수화'라함)이며, 연산자로서의 우선순위는 곱셈과 나눗셈과 같다. 연산오차를 작게하기 위해서는, 비(非)정수값을 가장 가까운 정수값으로 정수화하는 것이 바람직하다. 이 경우 정수에 1/2을 더한 값을 정수화하는 방법은,
(1) 0에 가까와지는 방향으로 정수화하는 방법
(2) 0에서 멀어지는 방향으로 정수화하는 방법
(3) 피제수(被除數)가 음인 경우는 0에 가까와지고, 피제수가 양인 경우는 0에서 멀어지는 방향으로 정수화하는 방법(제수(除數)는 항상 양이라고 가정)
(4) 피제수가 음인 경우는 0에서 멀어지고, 피제수가 양인 경우는 0에 가까와지는 방향으로 정수화하는 방법(제수는 항상 양이라고 가정)등이 고려되어진다.
이들 중에서 (3)과 (4)는, 피제수의 양, 음에 관계없이 정수화 방향이 변하지 않아 양, 음 판정이 필요없기 때문에 처리량의 관점에서 볼 때 유리하다.
(3)에 따른 고속처리는 다음의 식에 의해 실현된다.
u(x, y) = (Lpqk + ((u1-u0)(x-i)q+(u2-u0)(y-j)p + u0pq)m
+ (pqk #2)) # (pqk) - L
v(x, y) = (Mpqk + ((v1-v0)(x-i)q + (v2-v0)(y-j)p + v0pq)m
+ (pqk #2)) # (pqk) - M
여기서, "#"는 소수점 이하를 0방향으로 정수화하는 정수의 나눗셈으로, 일반적으로 계산기를 사용하여 가장 쉽게 실현할 수 있는 나눗셈이다. L과 M은 나눗셈의 피제수를 항상 양의 값으로 유지하기 위한 충분히 큰 양의 정수로 한다. 또한, (pqk #2)의 항은, 나눗셈의 결과를 가장 가까운 정수로 정수화하기 위해 사용된다.
정수화처리는 처리량을 감소시키는데 기여한다. 여기서, p, g, k는 각각 2α, 2β, 2h0(α,β는 양의 정수, h0은 음이 아닌 정수)라 가정하면, 수학식5의 나눗셈은 α+β+h0 비트의 시프트 연산에 의해 실현될 수 있기 때문에 계산기 또는 전용 하드웨어를 사용하여 처리량을 크게 감소시킬 수 있다. 또한, m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)이라 하면, 수학식6은,
u(x, y) = ((2L+1)≪ (α+β+h0-h1-1)+(u1-u0)(x-i)
≪β+(u2-u0)(y-j)≪ α+u0≪ (α+β))
≫(α+β+h0-h1) - L
v(x, y) = ((2M+1)≪ (α+β+h0-h1-1)+(v1-v0)(x-i)
≪ β+(v2-v0)(y-j)≪ α+v0≪ (α+β))
≫(α+β+h0-h1) - M
으로 바꾸어 쓸 수 있다.
여기서, "x≪α"는 x를 α비트만큼 왼쪽으로 시프트시키고 하위 α비트에 0을 넣는 것을 의미하고, "x≫α"는 x를 α비트만큼 오른쪽으로 시프트시키고 상위 α 비트에 0 또는 1(x가 2의 보수표현의 수인 경우에 x의 최상위 비트가 1이면 1로, x의 최상위 비트가 0이면 0으로 기입된다)을 넣는 것을 의미하며, 이들 연산자의 우선순위는 덧셈/뺄셈과 곱셈/나눗셈 사이에 위치하며, 연산을 더욱 간략화 할 수 있다.
선형 내·외삽을 사용하는 경우, (i+p, j+q)에 위치하는 대표점의 움직임 벡터의 수평, 수직 성분을 k배한 것을 (u3, v3)로 하면, (수학식5는) (i, j), (i+p, j), (i+p, j+q)를 대표점으로 하여,
u(x, y) = (((u1-u0)(x-i)q+(u3-u1)(y-j)p+u0pq)m) // (pqk)
v(x, y) = (((v1-v0)(x-i)q+(v3-v1)(y-j)p+v0pq)m) // (pqk)
(i, j), (i, j+q), (i+p, j+q)를 대표점으로 하여
u(x, y) = (((u3-u2)(x-i)q+(u2-u0)(y-j)p+u0pq)m) // (pqk)
v(x, y) = (((v3-v2)(x-i)q+(v2-v0)(y-j)p+v0pq)m) // (pqk)
(i+p, j), (i, j+q), (i+p, j+q)를 대표점으로 하여
u(x, y) = (((u2-u3)(i+p-x)q+(u1-u3)(j+q-y)p+u3pq)m) // (pqk)
v(x, y) = (((v2-v3)(i+p-x)q+(v1-v3)(j+q-y)p+v3pq)m) // (pqk)
로 바꾸어 쓸 수 있으며, p, q, k, m을 2n(n은 양의 정수)인 수로 사용함으로써 처리량을 감소시킬 수 있다.
쌍 1차 내·외삽을 사용한 경우에는, 대표점 (i, j), (i+p, j), (i, j+q), (i+p, j+q)의 움직임 벡터의 수평, 수직성분을 각각 k배한 것인 (u0, v0), (u1, v1), (u2, v2), (u3, v3)을 사용하여 u(x, y)와 v(x, y)를 다음과 같은 식으로 나타낼 수 있다.
u(x, y) = (((j+q-y)((i+p-x)u0+(x-i)u1)
+ (y-j)((i+p-x)u2+(x-i)u3))m) // (pqk)
v(x, y) = (((j+q-y)((i+p-x)v0+(x-i)v1)
+ (y-j)((i+p-x)v2+(x-i)v3))m) // (pqk)
이 식도 p, q, k, m의 값을 각각 2α, 2β, 2h0, 2h1으로 함으로써,
u(x, y) = ((2L+1)≪(α+β+h0-h1-1)
+ (j+q-y)((i+p-x)u0+(x-i)u1)
+ (y-j)((i+p-x)u2+(x-i)u3))≫(α+β+h0-h1)-L
v(x, y) = ((2M+1)≪(α+β+h0-h1-1)
+ (j+q-y)((i+p-x)v0+(x-i)v1)
+ (y-j)((i+p-x)v2+(x-i)v3))≫(α+β+h0-h1)-M
로 바꿔 쓸 수 있어, 상기와 마찬가지로 처리량을 감소시킬 수 있다.
송신측과 수신측에서 같은 전체 움직임 보상의 예측 화상을 얻기 위해서는, 대표점의 움직임 벡터에 관련된 데이터는 수신측에 소정의 형태로 전송되어야만 한다. 대표점의 움직임 벡터는 그대로 전달될 수도 있으나, 화상의 꼭지점의 움직임 벡터를 전송하여 이로부터 대표점의 움직임 벡터를 계산할 수도 있다. 이러한 방법에 대해 이하에서 설명한다.
우선, 선형 내·외삽이 사용된 경우에 대해 설명한다. 화상의 3개의 꼭지점(0, 0), (r, 0), (0, s)의 움직임 벡터가 1/n의 정수배인 값만을 취하고, 이들의 수평, 수직 성분을 n배한 (u00, v00), (u01, v01), (u02, v02)이 전송된다고 하자. 이 경우, 점(i, j), (i+p, j), (i, j+q), (i+p, j+q) 각각의 움직임 벡터의수평, 수직성분을 k배한 것인(u0, v0), (u1, v1), (u2, v2), (u3, v3)는 다음과 같이 정의한다.
u0 = u'(i, j)
v0 = v'(i, j)
u1 = u'(i+p, j)
v1 = v'(i+p, j)
u2 = u'(i, j+q)
v2 = v'(i, j+q)
u3 = u'(i+p, j+q)
v3 = v'(i+p, j+q)
여기서, u'(x, y)와 v'(x, y)는 수학식5의 변형인 다음의 식으로 정의한다.
u'(x, y) = (((u01-u00)xs+(u02-u00)yr+u00rs)k) /// (rsn)
v'(x, y) = (((v01-v00)xs+(v02-v00)yr+voors)k) /// (rsn)
여기서 "///"는 보통의 나눗셈에 의한 연산결과가 정수가 아닌 경우에, 그것을 인접한 정수로 정수화하는 나눗셈으로, 연산자로서의 우선순위는 곱셈 및 나눗셈과 같다. (u0, v0), (u1, v1), (u2, v2), (u3, v3) 중 3점을 선택하여, 이들을 대표점으로 하는 전체 움직임 보상을 행한다. 그러면, (0, 0), (r, 0), (0, s)를 대표점으로 하는 전체 움직임 보상을 근사화할 수 있다. 여기서, p와 q를 2n(n은 양의정수)의 정수로 하면, 전술한 바와 같이 처리를 간략화 할 수 있다. 또한, 연산오차를 작게 하기 위해서, "///"는 정수가 아닌 수를 그것에 가장 가까운 정수로 정수화하는 것이 바람직하다. 이 경우, 정수에 1/2을 더한 값을 정수화하는 방법으로서, 전술한 (1)∼(4)의 방법을 생각할 수 있다. 그러나, 수학식5(각 화소마다의 계산)를 사용한 경우에 비해 수학식14(하나의 화상에 대해 3회만 계산)의 연산은 적은 회수로 실행되기 때문에, (1) 또는 (2)의 방법을 선택하는 경우에도 전체의 계산량에는 크게 영향을 미치지 않는다.
화상의 꼭지점으로서 수학식13의 예와 다른 3점이 선택되는 경우에도 수학식8∼수학식10을 변형함으로써 마찬가지의 처리를 실현할 수 있다. 상기 예에 더하여, 화상의 꼭지점(r, s)의 움직임 벡터의 수평, 수직 성분을 n배한 것을 (u03, v03)로 하면, 수학식14는, (u00, v00), (u01, v01), (u03, v03)이 전송되는 경우에
u'(x, y) = (((u01-u00)xs+(u03-u01)yr+u00rs)k) /// (rsn)
v'(x, y) = (((v01-v00)xs+(v03-v01)yr+v00rs)k) /// (rsn)
으로 바꿔 쓸 수 있고,
(u00, v00), (u02, v02), (u03, v03)이 전송되는 경우에
u'(x, y) = (((u03-u02)xs+(u02-u00)yr-u00rs)k) /// (rsn)
v'(x, y) = (((v03-v02)xs+(v02-v00)yr+v00rs)k) /// (rsn)
으로 바꿔 쓸 수 있으며,
(u01, v01), (u02, v02), (u03, v03)이 전송되는 경우에
u'(x, y) = (((u02-u03)(r-x)s+(u01-u03)(s-y)r+u03rs)k) /// (rsn)
v'(x, y) = (((v02-v03)(r-x)s+(v01-v03)(s-y)r+v03rs)k) /// (rsn)
으로 바꿔 쓸 수 있다.
쌍 1차 내·외삽이 행해지는 경우에도 마찬가지로 된다. 전술한 바와 같이, 화상의 꼭지점의 4개의 대표점(0, 0), (r, 0), (0, s), (r, s)의 움직임 벡터가 1/n의 정수배인 값만을 취하고, 상기 대표점의 수평, 수직성분을 n배한 (u00, v00), (u01, v01), (u02, v02), (u03, v03)이 전송된다고 가정한다. 이 경우, 대표점(i, j), (i+p, j), (i, j+q), (i+p, j+q)의 움직임 벡터의 수평, 수직성분을 k배한 것인 (u0, v0), (u1, v1), (u2, v2), (u3, v3)는 전술한 바와 같이, 수학식13으로 주어진다. 여기서, u'(x, y), v'(x, y)는 수학식11을 변형하여 다음과 같이 정의된다.
u'(x, y) = (((s-y)((r-x)u00+xu01)+ y((r-x)u02+xu03))k) /// (rsn)
v'(x, y) = (((s-y)((r-x)v00+xv01)+y((r-x)v02)+xv03))k) /// (rsn)
화상의 꼭지점의 움직임 벡터를 전송하고 내·외삽을 행하여 대표점의 움직임 벡터를 구하는 방식의 이점은, 각 화소의 움직임 벡터의 범위를 한정하기 쉽다는 점이다. 예컨대, 수학식4로 주어지는 쌍 1차 내·외삽에서는, (x, y)가 화상내인 경우, ug(x, y)의 값은 ua, ub, uc, ud의 최대값보다 크지 않으며, 그들의 최소값보다 작지 않다. 따라서, 전체 움직임 추정시에 ua, ub, uc, ud의 값이 제한범위(예컨대, ±32 화소 이내의 범위)내에 놓여지도록 하는 제한조건을 부가하면, ug(x, y)의 값은 모든 화소에 대해 같은 범위내로 제한할 수 있다(물론, 이것은 vg(x, y)에 대해서도 성립한다). 이것은 계산에 필요한 자리수를 명확하게 할 수 있기 때문에, 소프트웨어 또는 하드웨어의 설계상의 관점에서 볼 때 편리한 것이다.
그러나, 이전의 설명은 계산이 전부 부동소수점 연산에서 행해진 것을 기초로 했기 때문에, 실제의 경우에는 주의할 필요가 있다. 화상의 꼭지점의 움직임 벡터에서 대표점의 움직임 벡터를 구하는 연산(수학식18)은 연산된 값을 정수화하는 것이 포함되기 때문에, 계산오차로 수학식12에 의해 구해진 움직임 벡터가 전술한 제한 범위 밖으로 나올 가능성을 고려해야만 한다. 특히 대표점이 화상내측에 위치하는 경우에는 주의가 필요하다. 이는 대표점에 의해 규정되는 직사각형의 바깥에 있는 화소에 대하여 외삽(extrapolation)에 의해 움직임 벡터를 구하기 때문에 정수화 오차가 증폭될 수 있기 때문이다.
도7은 외삽에 의해 구해지는 움직임 벡터의 예를 나타낸다. 대표점 702, 703, 704, 705를 사용하여 화상(701)에 대한 전체 움직임 보상을 행하는 경우, 외삽에 의해 계산된 움직임 벡터는 화상내 빗금친 부분으로 도시된다. 이는 빗금친 부분이 대표점에 의해 규정되는 직사각형(706)의 바깥에 존재하기 때문이다.
이러한 문제점은, 대표점에 의해 규정되는 직사각형이 전체 화상을 포함하도록 4개의 대표점을 배열함으로써 효과적으로 해결할 수 있다. 이것은 도8에 도시되어 있다. 대표점 802, 803, 804, 805에 의해 규정되는 직사각형(806)은 화상(801)을포함한다. 따라서, 전체화소의 움직임 벡터는 대표점으로부터의 내삽(interpolation)에 의해 구해질 수 있기 때문에 대표점에서의 정수화 오차의 영향은 화상내에서는 증폭되지 않는다. 따라서, 대표점에서의 정수화 오차보다 큰 오차는 화상내에서는 절대 발생하지 않기 때문에, 오차의 상한이 명확해지게 된다. 그러나, 대표점에 의해 규정되는 직사각형이 너무 크면, 대표점의 움직임 벡터가 얻는 값의 범위가 너무 넓게 되기 때문에, 연산에 필요한 자리수가 증가하여, 실장(mounting)의 관점에서 볼 때 불리하게 된다.
전술의 설명에서, 정수화 오차의 영향을 줄이기 위해서는 p값을 r값 보다 크게 하고, q값을 s값보다 크게 하는 것이 바람직하다. 또한, p, q 값은 각각 r, s 보다 작은 경우에도, 가능한 큰 값을 가지도록 하는 것이 바람직하다. 또한, i, j 값은, 화상내의 가능한 넓은 부분이 대표점에 의해 규정되는 영역에 들어가도록 하는 값을 가지게 하는 것이 바람직하다.
전술한 바와 같이 전체 움직임 보상을 위해 쌍 1차 내·외삽을 사용한 경우에는, 4개의 대표점에 의해 규정되는 직사각형에 포함되는 화소의 움직임 벡터의 각 성분은 대표점의 움직임 벡터의 각 성분의 최대값과 최소값 사이에 있는 값만을 취할 수 밖에 없다는 성질이 있다.
이에 대해, 선형 내·외삽이 사용되는 경우에는, 3개의 대표점에 의해 규정되는 삼각형내 화소의 움직임 벡터가 마찬가지의 성질을 갖는다. 따라서, 전체 움직임 보상이 선형 내·외삽에 의해 행해지는 경우에는 화상의 4개의 꼭지점의 움직임 벡터를 전송하고, 화상의 대각선에 의해 분할되는 2개의 직각 삼각형에 대해 독립적으로 전체 움직임 보상을 행하는 것이 효과적이다. 그렇게 함으로써, 4개의 꼭지점에 대한 움직임 벡터의 범위제한이 화상내 모든 화소의 움직임 벡터에 그대로 적용될 수 있다. 이때, i, j, p, q 값은 2개의 삼각형에서 같지 않아도 된다. 또한, 연산오차의 관점에서 보면, 외삽에 의해 화소의 움직임 벡터를 계산하는 경우를 피하기 위해, 대표점에 의해 규정되는 삼각형은, 전체 움직임 보상이 행해지는 직각삼각형을 포함하도록 하는 것이 바람직하다. 이것은 도9에 도시되어 있다. 화상(901)의 4개의 꼭지점인 909, 903, 908, 910의 움직임 벡터가 전송되고, 점 909, 903, 910에 의해 규정되는 직각삼각형과 점 909, 910, 908에 의해 규정되는 직각삼각형의 각각에 대해 전체 움직임 보상이 독립적으로 행해진다.
따라서, 정점의 움직임 벡터의 범위에 제한을 가하면, 화상내 모든 화소의 움직임 벡터도 이 제한 범위내에 놓이게 된다. 점 909, 903, 910에 의해 규정되는 직각삼각형은 대표점으로서 점 902, 903, 904를 사용하고, 점 909, 910, 908에 의해 규정되는 직각삼각형은 대표점으로서 점 906, 907, 908을 사용한다. 대표점에 의해 규정되는 삼각형은, 각각 전체 움직임 보상이 행해지는 직각삼각형을 내부에 포함하고 있다. 따라서, 대표점의 움직임 벡터의 정수화 오차의 영향은 화상내의 점에서는 증폭되지 않는다. 본 예에서는, 대표점에 의해 규정되는 2개의 직각삼각형을 서로 유사한 것으로 하였지만, 반드시 그렇게 할 필요는 없다.
본 발명은 전체 움직임 보상의 예측 화상을 합성하기 위해 나눗셈 대신에 시프트 연산을 행할 수 있기 때문에, 소프트 웨어 또는 전용 하드웨어, 또는 양자의 결합을 사용하는 처리를 간략화 할 수 있다.
도10은 본 발명의 실시예에 따라 고속 전체 움직임 보상을 이용하는 화상데이터의 화상부호화를 행할 때 따르는 단계를 나타낸다. 단계 150에서는 화상신호가 입력되며, 단계 151에서는 전체 움직임 추정이 입력화상과 이전 프레임의 복호화 화상 사이에서 행해진다. 그리고, 단계 152에서 움직임 벡터는 입력화상의 대표점으로부터 추출된다.
단계 153에서는 전체 움직임 보상의 예측화상이 고속 알고리즘을 사용하여 합성된다. 고속 알고리즘은, 쌍 1차(bilinear) 알고리즘 및 아핀(affine)알고리즘과 같이 본 명세서에서 개시되는 알고리즘에 대한 총칭이다. 예컨대 수학식1은 아핀알고리즘이고, 수학식2는 쌍 1차 알고리즘이다. 또한, 수학식3, 5, 6, 7∼10, 14∼17은 아핀 알고리즘이며, 수학식4, 11, 18은 쌍 1차 알고리즘이다.
단계 154에서는, 국부 움직임 추정이 입력화상과 이전 프레임의 복호화 화상사이에서 수행된다. 국부 움직임 보상의 예측화상이 단계 155에서 합성되고, 각 블록에 대한 전체 또는 국부 움직임 보상이 단계 156에서 선택된다. 본 실시예에서는 전체 움직임 보상과 국부 움직임 보상 단계가 병렬로 행해지기 때문에, 선택단계가 필요하다.
그리고, 단계 157에서는 오차화상이 예측화상과 입력화상 사이의 차를 계산함으로써 합성되고, 단계 158에서는 DCT 계수를 양자화하기 위해, 오차 화상을 DCT 변환하고 마지막으로 단계 159에서 압축화상데이터가 출력된다.
도11에는, 도10에 도시된 화상 부호화와 유사한 화상 부호화를 행하기 위한 다른 실시예가 도시되어 있다. 특별히 단계 150∼153는 같은 단계이지만, 플로챠트에 도시된 나머지 단계는 다르게 되어 있다. 이는 국부 움직임 보상과 전체 움직임 보상이 도10에서는 병렬적으로 행하여지지만, 도11에서는 직렬적으로 행해지기 때문이다. 따라서, 단계 254에서, 국부움직임 추정이 입력화상과 전체 움직임 보상의 예측화상 사이에서 수행된다. 그리고, 단계 255에서 국부 움직임 보상의 예측화상이 합성된다. 마지막으로, 오차화상이 도10의 단계 157과 마찬가지로 예측화상과 입력화상의 차를 계산하는 것에 의해 합성되고, 전술한 단계 158과 단계 159와 마찬가지로 단계 257과 단계 258이 행해진다.
도12는 본 발명에 따른 화상복호화의 플로챠트를 나타낸다. 단계 160에서는, H.261 비트 스트림과 같은 입력 비트 스트림이 압축화상 데이터로서 수신된다. 대표점의 움직임 벡터가 단계 161에서 추출되고, 단계 162에서 고속 알고리즘을 사용하는 전체 움직임 보상을 선택한 블록에 대한 예측 화상이 합성된다. 단계 164에서는, 국부 움직임 보상을 선택한 블록에 대한 예측화상이 합성된다. 단계 165에서는 DCT 계수에 대한 오차 화상이 합성되며, 단계 166에서 상기 오차 화상이 예측화상에 더해진다. 단계 167에서, 복호화 화상신호가 부호화된 화상 데이터의 복호화를 완성하기 위해 출력된다.
도12의 실시예에 따르면, 고속 알고리즘을 사용하는 전체 움직임 보상을 선택한 블록과 국부 움직임 보상을 선택한 블록에 대한 예측화상의 합성이 병렬적으로 행해진다. 한편, 도13에는 이들 단계가 직렬적으로 행해지는 다른 실시예의 플로챠트가 도시되어 있다.
도13에서, 단계 160과 161은 도12와 같다. 단계 262에서는, 고속 알고리즘을사용하여 전체 움직임 보상의 예측 화상이 합성되고, 단계 263에서는 국부 움직임 보상의 예측 화상이 합성된다. 이들 단계는 직렬적으로 행해지며, 도12의 단계 165와 마찬가지로, DCT 계수에 역 DCT 변환을 적용함으로써 오차 화상을 합성하는 단계가 뒤따르게 된다. 다음 단계인 단계 265, 266은 도12에서 언급한 단계 166, 167과 같으며, 복호화 화상 신호를 출력한다.
도14와 도15는, 도10∼도13의 플로챠트에 기재되어 있는 바와 같이 동작하는 소프트웨어를 저장 및 수행시키기 위한 본 발명의 부호화기와 복호화기의 구성요소의 블록도이다. 데이터 버스(140), CPU(142), 저장수단(143)과 같이 양 도면에 공통으로 도시되어 있는 요소는 같은 참조번호를 사용한다. 화상부호화를 행하기 위한 부호화 프로그램이 도14에 도시되어 있으며, 저장수단(143)내에 저장되어 있다. 화상복호화를 행하기 위한 복호화 프로그램은 도15에 있으며, 저장수단(143)내에 저장되어 있다. 저장수단(143)은 예컨대, 하드디스크, 플로피 디스크, 광디스크 등과 같은 저장매체이다.
도14에 도시된 바와 같이, 입력화상신호는 A/D 변환기(141)에 의해 A/D 변환되어, 버스(140)를 통해 CPU(142)로 보내진다. CPU(142)는 저장수단(143)내에 저장되어 있는 부호화 프로그램(144)을 검색하여 실행시키고, A/D 변환기(141)로부터 수신된 화상데이터를 부호화하고 압축한다. 화상데이터가 부호화된 후에는, 상기 데이터는 출력버퍼(145)에 저장되어, 출력데이터로서 출력된다. 또한 제어 데이터와 타이밍 신호가 압축된 화상 데이터와 함께 출력된다.
도15는 입력버퍼(148)에서 수신되고, CPU(142)에 의해 판독되는 부호화된 화상신호의 처리를 나타내고 있다. 저장수단(143)에서 복호화 프로그램을 검색하는 CPU(142)는, 부호화된 화상데이터를 복호화한다. 복호화된 화상 신호는, 버스(140)를 통해 D/A 변환기(146)에 보내져 아날로그 화상신호를 출력한다.
도16은 종래기술을 나타낸 도1과 유사한, 본 발명에 따른 화상 부호화기의 전체블록도를 나타내고 있으며, 양도면에 공통으로 나타나는 요소는 같은 참조번호를 사용한다. 도16에서는, 국부 움직임 보상을 위한 블록매칭부인 도1의 블록(116)을, 전체 움직임 보상과 국부움직임 보상을 사용하는 블록(1002)으로 대체하였으며, 도16의 나머지 요소는 도1의 요소와 같다.
도17은 직렬처리를 수행하는 움직임 보상부(1003)가 도시되어 있다. 상기 움직임 보상부(1003)는 도11에 도시된 소프트웨어 처리내에서 수행되는 단계와 거의 등가적인 기능을 수행하는 하드웨어의 실시예로, 도16의 움직임 보상부(1002)로서 사용될 수 있다.
도17에 도시된 바와 같이, 입력화상신호(101)는 전체 움직임 추정부(1004)와 블록매칭부(405)에 수신되며, 전체 움직임 추정이 전체 움직임 추정부(1004)에 의해 입력화상과 이전 프레임의 복호화 화상 사이에서 행해진다. 또한, 전체 움직임 추정부(1004)는 입력화상의 대표점에서 움직임 벡터를 추출한다. 이들 값에 관련된 데이터(403)는, 고속 알고리즘을 사용하여 전체움직임 보상의 예측화상을 합성하는 전체 움직임 보상(GMC) 화상 합성기(1005)에 전송된다.
그리고나서, 전체 움직임 보상의 예측화상(404)은 블록매칭부(405)로 출력되고, 거기서 입력화상과 전체 움직임 보상의 예측화상 사이에서 국부 움직임 추정이행해진다. 그 후, 움직임 벡터 데이터(406)는 다중화기(407)로 출력되며, 현재 프레임(117)의 예측화상은, 예측화상과 입력화상 사이의 차를 계산함으로써 오차 화상을 합성하는 덧셈기(102)로 출력된다. 도17에 도시된 움직임 보상부는 직렬 전체 움직임 추정과 국부 움직임 추정을 사용한다.
도18에는, 도16의 움직임 보상부(1002)로서 사용될 수 있는 움직임 보상부(1006)가 도시되어 있으며, 여기서는 다음과 같이 전체 움직임 추정과 국부 움직임 추정에 대한 병렬처리가 행해진다. 우선, 화상신호(101)가 입력되어 전체 움직임 추정부(1008)와 블록매칭부(505)에 입력 및 수신된다. 그리고 나서, 전체 움직임 추정이 전체 움직임 추정부(1008)에 의해 입력화상과 이전 프레임의 복호화 화상 사이에서 행해지며, 대표점의 움직임 벡터와 같은 움직임 파라미터(504)가 다중화기(510) 및 전체 움직임 보상(GMC) 화상 합성기(1007)에 입력된다. 전체 움직임 보상의 예측화상이 고속알고리즘을 사용하여 합성되며, 현재 프레임의 예측화상(117)을 출력하기 위한 블록매칭/전체움직임 보상 전환스위치(508)로 출력되어 각 블록에 대한 전체 또는 국부움직임 보상중의 어느 하나가 얻어진다. 전환 스위치 선택의 선택데이터(509)는 다중화기(510)로 출력된다. 다중화기는, 또한 움직임 벡터 데이터인 블록매칭부(505)의 출력(507)을 수신한다. 신호 504, 507, 509를 수신하는 다중화기에서 신호 120이 출력된다. 도19는, 도2의 종래 복호화기와 유사한 것이지만 본 발명의 실시예에 따라 예측 화상을 합성하는 예측화상 합성기(1010)를 추가한 화상복호화기의 블록도를 나타낸 것이다. 한편, 복호화기(1009)의 나머지 요소들은 도2에 나타낸 것과 같다.
도20에는, 도19에 도시되어 있는 예측 화상 합성기(1010)로 사용될 수 있는, 본 발명의 일실시예에 따른 예측 화상 합성기(1011)가 도시되어 있다. 도20에서는, 역다중화기(1013)가 움직임 벡터 데이터(202)를 수신하여, 움직임 파라미터(403)와 움직임 벡터 데이터(406)를 전체 움직임 보상(GMC) 화상합성기(1005)와 블록매칭 화상 합성기(1012)에 각각 제공하는 직렬처리가 도시되어 있다. GMC 화상합성기(1005)는 대표점의 움직임 벡터를 추출하고, 고속 알고리즘을 사용하여 전체 움직임 보상의 예측화상을 합성한다. 그후 전체 움직임 보상(404)의 예측화상이 BM 화상 합성기(1012)로 출력되어, 국부 움직임 보상의 예측 화상이 합성된다. 그리고, 도19에 도시한 바와 같이 현재 프레임(212)의 예측 화상이 전환스위치(214)로 출력된다.
도21은, 다음과 같이 전체 움직임 보상 화상 합성과 블록매칭 화상 합성을 병렬로 처리하는 예측 화상 합성기(1014)를 나타내고 있다.
도시된 바와 같이, 움직임 벡터 데이터(202)는 역다중화기(1016)로 입력되어, 움직임 파라미터 데이터(504), 움직임 벡터 데이터(507) 및 블록매칭/전체 움직임 보상의 선택 데이터(509)로 분리된 후, GMC 화상 합성기(1007), BM 화상합성기(1015) 및 전환스위치(508)에 각각 입력된다. BM 화상 합성기(1015)는 국부 움직임 보상을 선택한 블록에 대한 예측 화상을 합성하며, GMC 화상 합성기(1007)는 고속알고리즘을 사용하여 전체 움직임 보상을 선택한 블록에 대한 예측화상을 합성한다. 각각의 데이터 503, 506는 스위치(508)로 출력되어, 역다중화기로부터 수신되는 선택데이터(509)에 의해, 이들 신호중 하나가 선택된다. 그리고 나서, 도19에 도시된 바와 같이, 현재 프레임(212)의 예측 화상이 출력되어 전환스위치(214)에 입력된다.
본 발명의 실시예에 따르면, 화상 부호화 및 복호화는, 도14와 도15에 도시된 소프트웨어 부호화기 또는 소프트웨어 복호화기를 사용하여 도10∼도13의 플로챠트에 도시된 바와 같은 소프트웨어의 동작에 의해 수행될 수 있고, 도16∼도21의 본 발명의 실시예에 도시한 바와 같이 전용 하드웨어에 의해 수행될 수도 있다.

Claims (48)

  1. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    화소의 간격을 1로한 좌표상에서, 좌표 (i, j), (i+p, j) 및 (i, i+q)를 갖는 3개의 대표점을 선택하고(단, 상기 i 및 j는 정수, 상기 p 및 q의 값은, 2의 양의 정수에 의한 누승), 상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 갖는 것을 특징으로 하는 화상 부호화 장치.
  2. 제1항에 있어서,
    상기 화소마다의 움직임 벡터를 구하는 수단은, 상기 대표점의 움직임 벡터에서 선형 내·외삽으로 상기 화소마다의 움직임 벡터를 구하는 것을 특징으로 하는 화상 부호화 장치.
  3. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    화소의 간격을 1로 한 좌표상에서, 좌표 (i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점을 선택하고(단, 상기 i 및 j는 정수, 상기 p 및 q의 값은, 2의 양의 정수에 의한 누승), 상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 가지며,
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, 화소(x, y)의 움직임 벡터의 수평·수직성분을 m배 한 것을 (u(x, y), v(x, y))로 하며,
    상기 대표점 (i, j), (i+p, j), (i, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하며, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2)로 했을 때,
    상기 화소마다의 움직임 벡터를 구하는 수단은,
    u(x, y) = ((u0pq + (u1-u0) (x-i)q + (u2-u0) (y-j)p)m)//(pqk)
    v(x, y) = ((v0pq + (v1-v0) (x-i)q + (v2-v0) (y-j)p)m)//(pqk)
    에 의해 상기 (u(x, y), v(x, y))를 구하는 것을 특징으로 하는 화상 부호화 장치(단, u(x, y), v(x, y), u0, v0, u1, v1, u2 및 v2는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며, 「//」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접한 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  4. 제3항에 있어서,
    상기 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음(-)인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양(+)인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 장치.
  5. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    화소의 간격을 1로 한 좌표상에서, 좌표 (i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점을 선택하고(단, 상기 i 및 j는 정수, 상기 p 및 q의 값은, 2의 양의 정수에 의한 누승), 상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 갖는 것을 특징으로 하는 화상 부호화 장치.
  6. 제5항에 있어서,
    상기 화소마다의 움직임 벡터를 구하는 수단은, 상기 대표점의 움직임 벡터에서 쌍1차 내·외삽(bilinear interpolation and/or extrapolation)으로 상기 화소마다의 움직임 벡터를 구하는 것을 특징으로 하는 화상 부호화 장치.
  7. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    화소의 간격을 1로 한 좌표상에서, 좌표 (i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점을 선택하고(단, 상기 i 및 j는 정수, 상기 p 및 q의 값은, 2의 양의 정수에 의한 누승), 상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 가지며,
    상기 화소마다의 움직임 벡터를 수평·수직성분은 1/m의 정수배를 취하고, 화소(x, y)의 움직임 벡터를 수평·수직성분을 m배한 것을 (u(x, y), v(x, y))로 하고,
    상기 대표점 (i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)의 움직임 벡터를 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터를 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2), (u3, v3)로 했을 때,
    상기 화소마다의 움직임 벡터를 구하는 수단은,
    u(x, y)=(((j+q-y)((i+p-x)u0+(x-i)u1)+(y-j)((i+p-x)u2+(x-i)u3))m)//(pqk)
    v(x, y)=(((j+q-y)((i+p-x)v0+(x-i)v1)+(y-j)((i+p-x)v2+(x-i)v3))m)//(pqk)
    에 의해 상기 (u(x, y), v(x, y))를 구하는 것을 특징으로 하는 화상 부호화 장치(단, u(x, y), v(x, y), u0, v0, u1, v1, u2, v2, u3 및 v3는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며, 「//」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접한 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  8. 제7항에 있어서,
    상기 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음(-)인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양(+)인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 장치.
  9. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    화소의 간격을 1로 한 좌표상에서, 좌표 (i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점을 선택하고(단, 상기 i 및 j는 정수, 상기 p 및 q의 값은, 2의 양의 정수에 의한 누승), 상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측 화상을 합성하는 것을 특징으로 하는 화상 부호화 방법.
  10. 제9항에 있어서,
    상기 화소마다의 움직임 벡터는, 상기 대표점의 움직임 벡터에서 선형 내·외삽으로 구하는 것을 특징으로 하는 화상 부호화 방법.
  11. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    화소의 간격을 1로 한 좌표상에서, 좌표 (i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점을 선택하고(단, 상기 i 및 j는 정수, 상기 p 및 q의 값은, 2의 양의 정수에 의한 누승), 상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하고,
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, 화소 (x, y)의 움직임 벡터의 수평·수직성분을 m배한 것을 (u(x, y), v(x, y))로 하고,
    상기 대표점 (i, j), (i+p, j), (i, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배한 것을 (u1, v0), (u1, v1), (u2, v2)로 했을 때,
    상기 화소마다의 움직임 벡터를,
    u(x, y)=((u0pq+(u1-u0)(x-i)q+(u2-u0)(y-j)p)m)//(pqk)
    v(x, y)=((v0pq+(v1-v0)(x-i)q+(v2-v0)(y-j)p)m)//(pqk)
    에 의해 구한 상기 (u(x, y), v(x, y))에서 구하는 것을 특징으로 하는 화상 부호화 방법(단, u(x, y), v(x, y), u0, v0, u1, v1, u2 및 v2는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며, 「//」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  12. 제11항에 있어서,
    상기 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 방법.
  13. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    화소의 간격을 1로 한 좌표상에서, 좌표 (i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점을 선택하고(단, 상기 i 및 j는 정수, 상기 p 및 q의 값은, 2의 양의 정수에 의한 누승), 상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 것을 특징으로 하는 화상 부호화 방법.
  14. 제13항에 있어서,
    상기 화소마다의 움직임 벡터는, 상기 대표점의 움직임 벡터에서 쌍1차 내·외삽으로 구하는 것을 특징으로 하는 화상 부호화 방법.
  15. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    화소의 간격을 1로 한 좌표상에서, 좌표 (i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점을 선택하고(단, 상기 i 및 j는 정수, 상기 p 및 q의 값은, 2의 양의 정수에 의한 누승), 상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하고,
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, 화소(x, y)의 움직임 벡터를 수평·수직성분을 m배한 것을 (u(x, y), v(x, y))로 하고,
    상기 대표점 (i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2), (u3, v3)로 했을 때,
    상기 화소마다의 움직임 벡터를,
    u(x, y)=(((j+q-y)((i+p-x)u0+(x-i)u1)+(y-j)((i+p-x)u2+(x-i)u3))m)//(pqk)
    v(x, y)=(((j+q-y)((i+p-x)v0+(x-i)v1)+(y-j)((i+p-x)v2+(x-i)v3))m)//(pqk)
    에 의해 구한 상기 (u(x, y), v(x, y))에서 구하는 것을 특징으로 하는 화상 부호화 방법(단, u(x, y), v(x, y), u0, v0, u1, v1, u2, v2, u3 및 v3는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며,「//」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  16. 제15항에 있어서,
    상기 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 방법.
  17. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    글로벌 움직임 보상에 의한 움직임 추정에 의해 구하는 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표(0, 0), (r,0) 및 (0,s)를 갖는 것이므로, 좌표 (i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점의 움직임 벡터를 구하는 수단과(단, r, s, i 및 j는 정수, p 및 q의 값은, 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 갖는 것을 특징으로 하는 화상 부호화 장치.
  18. 제17항에 있어서,
    상기 대표점의 움직임 벡터를 구하는 수단은, 상기 프레임 꼭지점의 움직임 벡터에서 선형 내·외삽으로 상기 대표점의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터를 구하는 수단은, 상기 대표점의 움직임 벡터에서 선형내·외삽으로 상기 화소마다의 움직임 벡터를 구하는 것을 특징으로 하는 화상 부호화 장치.
  19. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    글로벌 움직임 보상에 의한 움직임 추정에 의해 구하는 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0) 및 (0, s)를 갖는 것이므로, 좌표(i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점의 움직임 벡터를 구하는 수단과(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 가지며,
    상기 꼭지점의 움직임 벡터의 수평·수직성분은 1/n의 정수배를 취하고, 상기 꼭지점의 움직임 벡터를 n배 한 것을 각각 (u00, v00), (u01, v01), (u02, v02)로 하고
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, (x, y)의 좌표를 갖는 화소의 움직임 벡터의 수평·수직성분을 m배 한 것을 (u(x, y), v(x, y))로 하며,
    상기 대표점 (i, j), (j+p, j), (i, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2)로 했을 때,
    상기 대표점의 움직임 벡터를 구하는 수단은,
    u'(x, y)=((u00rs+(u01-u00)xs+(u02-u00)yr)k)///(rsn)
    v'(x, y)=((v00rs+(v01-v00)xs+(v02-u00)yr)k)///(rsn)
    u0=u'(i, j), v0=v'(i, j)
    u1=u'(i+p, j), v1=v'(i+p, j)
    u2=u'(i, j+q), v2=v'(i, j+q)
    에 의해, 상기 (u0, v0), (u1, v1), (u2, v2)를 구하고,
    상기 화소마다의 움직임 벡터를 구하는 수단은,
    u(x, y)=((u0pq+(u1-u0)(x-i)q+(u2-u0)(y-j)p)m)//(pqk)
    v(x, y)=((v0pq+(v1-v0)(x-i)q+(v2-v0)(y-j)p)m)//(pqk)
    에 의해 상기 (u(x, y), v(x, y))를 구하는 것을 특징으로 하는 화상 부호화 장치(단, u00, v00, u01, v01, u02, v02, u(x, y), v(x, y), u0, v0, u1, v1, u2 및 v2는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며,「///」 및 「//」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  20. 제19항에 있어서,
    상기 「///」 및 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 장치.
  21. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    글로벌 움직임 보상에 의한 움직임 추정에 의해 구하는 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0), (0, s), (r, s)를 갖는 것이므로, 좌표(i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점의 움직임 벡터를 구하는 수단과(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 갖는 것을 특징으로 하는 화상 부호화 장치.
  22. 제21항에 있어서,
    상기 대표점의 움직임 벡터를 구하는 수단은, 상기 프레임 꼭지점의 움직임 벡터에서 쌍1차 내·외삽으로 상기 대표점의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터를 구하는 수단은, 상기 대표점의 움직임 벡터에서 쌍1창 내·외삽으로 상기 화소마다의 움직임 벡터를 구하는 것을 특징으로 하는 화상 부호화 장치.
  23. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    글로벌 움직임 보상에 의한 움직임 추정에 의해 구하는 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0), (0, s) 및 (r, s)를 갖는 것이므로, 좌표(i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점의 움직임 벡터를 구하는 수단과(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 가지며,
    상기 꼭지점의 움직임 벡터의 수평·수직성분은 1/n의 정수배를 취하고, 상기 꼭지점의 움직임 벡터를 n배 한 것을 각각(u00, v00), (u01, v01), (u02, v02), (u03, v03)으로 하고,
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, 화소 (x, y)의 움직임 벡터의 수평·수직성분을 m배 한 것을 (u(x, y), v(x, y))로 하며,
    상기 대표점 (i, j), (j+p, j), (i, j+q) 및 (i+p, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2), (u3, v3)로 했을 때,
    상기 대표점의 움직임 벡터를 구하는 수단은,
    u'(x, y)=(((s-y)((r-x)u00+u01)+y((r-x)u02+xu03))k)///(rsn)
    v'(x, y)=(((s-y)((r-x)v00+v01)+y((r-x)v02+xv03))k)///(rsn)
    u0=u'(i, j), v0=v'(i, j)
    u1=u'(i+p, j), v1=v'(i+p, j)
    u2=u'(i, j+q), v2=v'(i, j+q)
    u3=u'(i+p, j+q) v3=v'(i+p, j+q)
    에 의해, 상기 (u0, v0), (u1, v1), (u2, v2), (u3, v3)를 구하고,
    상기 화소마다의 움직임 벡터를 구하는 수단은,
    u(x, y)=(((j+q-y)((i+p-x)u0+(x-i)u1)+(y-j)((i+p-x)u2+(x-i)u3))m)//(pqk)
    v(x, y)=(((j+q-y)((i+p-x)v0+(x-i)v1)+(y-j)((i+p-x)v2+(x-i)v3))m)//(pqk)
    에 의해 상기 (u(x, y), v(x, y))를 구하는 것을 특징으로 하는 화상 부호화 장치(단, u00, v00, u01, v01, u02, v02, u03, v03, u(x, y), v(x, y), u0, v0, u1, v1, u2, v2, u3 및 v3는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며, 「//」 및 「///」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  24. 제23항에 있어서,
    상기 「///」 및 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 장치.
  25. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    상기 움직임 추정에 의해 구한 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r,0) 및 (0,s)를 갖는것이므로, 좌표 (i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점의 움직임 벡터를 구하고(단, r, s, i 및 j는 정수, p 및 q의 값은, 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 것을 특징으로 하는 화상 부호화 방법.
  26. 제25항에 있어서,
    상기 대표점의 움직임 벡터는, 상기 프레임 꼭지점의 움직임 벡터에서 선형 내·외삽으로 구하고,
    상기 화소마다의 움직임 벡터는, 상기 대표점의 움직임 벡터에서 선형 내·외삽으로 구하는 것을 특징으로 하는 화상 부호화 방법.
  27. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    상기 움직임 추정에 의해 구한 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0) 및 (0, s)를 갖는 것이므로, 좌표(i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점의 움직임 벡터를 구하고(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하고,
    상기 꼭지점의 움직임 벡터의 수평·수직성분은 1/n의 정수배를 취하고, 상기 꼭지점의 움직임 벡터를 n배 한 것을 각각(u00, v00), (u01, v01), (u02, v02)로 하고,
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, 화소 (x, y)의 움직임 벡터의 수평·수직성분을 m배 한 것을 (u(x, y), v(x, y))로 하며,
    상기 대표점 (i, j), (j+p, j), (i, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2)로 했을 때,
    상기 대표점의 움직임 벡터를,
    u'(x, y)=((u00rs+(u01-u00)xs+(u02-u00)yr)k)///(rsn)
    v'(x, y)=((v00rs+(v01-v00)xs+(v02-u00)yr)k)///(rsn)
    u0=u'(i, j), v0=v'(i, j)
    u1=u'(i+p, j), v1=v'(i+p, j)
    u2=u'(i, j+q), v2=v'(i, j+q)
    에 의해, 상기 (u0, v0), (u1, v1), (u2, v2)에서 구하고,
    상기 화소마다의 움직임 벡터를,
    u(x, y)=((u0pq+(u1-u0)(x-i)q+(u2-u0)(y-j)p)m)//(pqk)
    v(x, y)=((v0pq+(v1-v0)(x-i)q+(v2-v0)(y-j)p)m)//(pqk)
    에 의해 상기 (u(x, y), v(x, y))에서 구하는 것을 특징으로 하는 화상 부호화 방법(단, u00, v00, u01, v01, u02, v02, u(x, y), v(x, y), u0, v0, u1, v1, u2 및 v2는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며,「///」 및 「//」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  28. 제27항에 있어서,
    상기 「///」 및 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 방법.
  29. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    상기 움직임 추정에 의해 구한 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0), (0, s) 및 (r, s)를 갖는 것이므로, 좌표(i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점의 움직임 벡터를 구하고(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 것을 특징으로 하는 화상 부호화 방법.
  30. 제29항에 있어서,
    상기 대표점의 움직임 벡터는, 상기 프레임 꼭지점의 움직임 벡터에서 쌍1차 내·외삽으로 구하고,
    상기 화소마다의 움직임 벡터는, 상기 대표점의 움직임 벡터에서 쌍1차 내·외삽으로 구하는 것을 특징으로 하는 화상 부호화 방법.
  31. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    상기 움직임 추정에 의해 구한 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0), (0, s) 및 (r, s)를 갖는 것이므로, 좌표(i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점의 움직임 벡터를 구하고(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하며,
    상기 꼭지점의 움직임 벡터의 수평·수직성분은 1/n의 정수배를 취하고, 상기 꼭지점의 움직임 벡터를 n배 한 것을 각각(u00, v00), (u01, v01), (u02, v02), (u03, v03)으로 하고,
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, 화소 (x, y)의 움직임 벡터의 수평·수직성분을 m배 한 것을 (u(x, y), v(x, y))로 하며,
    상기 대표점 (i, j), (j+p, j), (i, j+q) 및 (i+p, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2), (u3, v3)로 했을 때,
    상기 대표점의 움직임 벡터를,
    u'(x, y)=(((s-y)((r-x)u00+xu01)+y((r-x)u02+xu03))k)///(rsn)
    v'(x, y)=(((s-y)((r-x)v00+xv01)+y((r-x)v02+xv03))k)///(rsn)
    u0=u'(i, j), v0=v'(i, j)
    u1=u'(i+p, j), v1=v'(i+p, j)
    u2=u'(i, j+q), v2=v'(i, j+q)
    u3=u'(i+p, j+q) v3=v'(i+p, j+q)
    에 의해 구한, 상기 (u0, v0), (u1, v1), (u2, v2), (u3, v3)에서 구하고,
    상기 화소마다의 움직임 벡터를,
    u(x, y)=(((j+q-y)((i+p-x)u0+(x-i)u1+(y-j)((i+p-x)u2+(x-i)u3))m)//(pqk)
    v(x, y)=(((j+q-y)((i+p-x)v0+(x-i)v1+(y-j)((i+p-x)v2+(x-i)v3))m)//(pqk)
    에 의해 구한 상기 (u(x, y), v(x, y))에서 구하는 것을 특징으로 하는 화상 부호화 방법(단, u00, v00, u01, v01, u02, v02, u03, v03, u(x, y), v(x, y), u0, v0, u1, v1, u2, v2, u3 및 v3는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며,「//」 및 「///」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  32. 제31항에 있어서,
    상기 「///」 및 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 방법.
  33. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    글로벌 움직임 보상에 의한 움직임 추정에 의해 구하는 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0) 및 (0, s)를 갖는 것이므로, 좌표(i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점으로서 p는 r 이상이고 p/2는 r 보다 작으며, q는 s 이상이고 q/2는 s보다 작은 관계를 갖는 것의 움직임 벡터를 구하는 수단과(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 갖는 것을 특징으로 하는 화상 부호화 장치.
  34. 제33항에 있어서,
    상기 대표점의 움직임 벡터를 구하는 수단은, 상기 프레임 꼭지점의 움직임 벡터에서 선형 내·외삽으로 상기 대표점의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터를 구하는 수단은, 상기 대표점의 움직임 벡터에서 선형 내·외삽으로 상기 화소마다의 움직임 벡터를 구하는 것을 특징으로 하는 화상 부호화 장치.
  35. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    글로벌 움직임 보상에 의한 움직임 추정에 의해 구하는 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0) 및 (0, s)를 갖는 것이므로, 좌표(i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점으로서 p는 r 이상이고 p/2는 r 보다 작으며, q는 s 이상이고 q/2는 s보다 작은 관계를 갖는 것의 움직임 벡터를 구하는 수단과(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 가지며,
    상기 꼭지점의 움직임 벡터의 수평·수직성분은 1/n의 정수배를 취하고, 상기 꼭지점의 움직임 벡터를 n배 한 것을 각각 (u00, v00), (u01, v01), (u02, v02)로 하고,
    상기 화소마다의 움직임 벡터를 수평·수직성분은 1/m의 정수배를 취하고, (x, y)의 좌표를 갖는 화소의 움직임 벡터의 수평·수직성분을 m배 한 것을 (u(x, y), v(x, y))로 하며,
    상기 대표점 (i, j), (j+p, j), (i, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2)로 했을 때,
    상기 대표점의 움직임 벡터를 구하는 수단은,
    u'(x, y)=((u00rs+(u01-u00)xs+(u02-u00)yr)k)///(rsn)
    v'(x, y)=((v00rs+(v01-v00)xs+(v02-u00)yr)k)///(rsn)
    u0=u'(i, j), v0=v'(i, j)
    u1=u'(i+p, j), v1=v'(i+p, j)
    u2=u'(i, j+q), v2=v'(i, j+q)
    에 의해, 상기 (u0, v0), (u1, v1), (u2, v2)를 구하고,
    상기 화소마다의 움직임 벡터를 구하는 수단은,
    u(x, y)=((u0pq+(u1-u0)(x-i)q+(u2-u0)(y-j)p)m)//(pqk)
    v(x, y)=((v0pq+(v1-v0)(x-i)q+(v2-v0)(y-j)p)m)//(pqk)
    에 의해 상기 (u(x, y), v(x, y))를 구하는 것을 특징으로 하는 화상 부호화 장치(단, u00, v00, u01, v01, u02, v02, u(x, y), v(x, y), u0, v0, u1, v1, u2 및 v2는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며,「///」 및 「//」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  36. 제35항에 있어서,
    상기 「///」 및 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 장치.
  37. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    글로벌 움직임 보상에 의한 움직임 추정에 의해 구하는 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0), (0, s) 및 (r, s)를 갖는 것이므로, 좌표(i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점으로서 p는 r 이상이고 p/2는 r 보다 작으며, q는 s 이상이고 q/2는 s보다 작은 관계를 갖는 것의 움직임 벡터를 구하는 수단과(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 갖는 것을 특징으로 하는 화상 부호화 장치.
  38. 제37항에 있어서,
    상기 대표점의 움직임 벡터를 구하는 수단은, 상기 프레임 꼭지점의 움직임 벡터에서 쌍1차 내·외삽으로 상기 대표점의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터를 구하는 수단은, 상기 대표점의 움직임 벡터에서 쌍1창 내·외삽으로 상기 화소마다의 움직임 벡터를 구하는 것을 특징으로 하는 화상 부호화 장치.
  39. 이미 부호화된 프레임을 복호화한 복호화 화상을 기억하는 프레임 메모리와,
    상기 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 글로벌 움직임 보상부를 갖는 화상 부호화 장치에 있어서,
    상기 글로벌 움직임 보상부는,
    글로벌 움직임 보상에 의한 움직임 추정에 의해 구하는 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0), (0, s) 및 (r, s)를 갖는 것이므로, 좌표(i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점으로서 p는 r 이상이고 p/2는 r 보다 작으며, q는 s 이상이고 q/2는 s보다 작은 관계를 갖는 것의 움직임 벡터를 구하는 수단과(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하는 수단과,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 수단을 가지며,
    상기 꼭지점의 움직임 벡터의 수평·수직성분은 1/n의 정수배를 취하고, 상기 꼭지점의 움직임 벡터를 n배 한 것을 각각(u00, v00), (u01, v01), (u02, v02), (u03, v03)으로 하고,
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, 화소 (x, y)의 움직임 벡터의 수평·수직성분을 m배 한 것을 (u(x, y), v(x, y))로 하며,
    상기 대표점 (i, j), (j+p, j), (i, j+q) 및 (i+p, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2), (u3, v3)로 했을 때,
    상기 대표점의 움직임 벡터를 구하는 수단은,
    u'(x, y)=(((s-y)((r-x)u00+xu01)+y((r-x)u02+xu03))k)///(rsn)
    v'(x, y)=(((s-y)((r-x)v00+xv01)+y((r-x)v02+xv03))k)///(rsn)
    u0=u'(i, j), v0=v'(i, j)
    u1=u'(i+p, j), v1=v'(i+p, j)
    u2=u'(i, j+q), v2=v'(i, j+q)
    u3=u'(i+p, j+q) v3=v'(i+p, j+q)
    에 의해, 상기 (u0, v0), (u1, v1), (u2, v2), (u3, v3)를 구하고,
    상기 화소마다의 움직임 벡터를 구하는 수단은,
    u(x, y)=(((j+q-y)((i+p-x)u0+(x-i)u1)+(y-j)((i+p-x)u2+(x-i)u3))m)//(pqk)
    v(x, y)=(((j+q-y)((i+p-x)v0+(x-i)v1)+(y-j)((i+p-x)v2+(x-i)v3))m)//(pqk)
    에 의해 상기 (u(x, y), v(x, y))를 구하는 것을 특징으로 하는 화상 부호화 장치(단, u00, v00, u01, v01, u02, v02, u03, v03, u(x, y), v(x, y), u0, v0, u1, v1, u2, v2, u3 및 v3는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며,「//」 및 「///」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  40. 제39항에 있어서,
    상기 「///」 및 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 장치.
  41. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    상기 움직임 추정에 의해 구한 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0), 및 (0, s)를 갖는 것이므로, 좌표(i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점으로서, p는 r 이상이고 p/2는 r 보다 작으며, q는 s 이상이고 q/2는 s보다 작은 관계를 갖는 것의 움직임 벡터를 구하고(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 것을 특징으로 하는 화상 부호화 방법.
  42. 제41항에 있어서,
    상기 대표점의 움직임 벡터는, 상기 프레임 꼭지점의 움직임 벡터에서 선형 내·외삽으로 구하고,
    상기 화소마다의 움직임 벡터는, 상기 대표점의 움직임 벡터에서 선형 내·외삽으로 구하는 것을 특징으로 하는 화상 부호화 방법.
  43. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    상기 움직임 추정에 의해 구한 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0) 및 (0, s)를 갖는 것이므로, 좌표(i, j), (i+p, j) 및 (i, j+q)를 갖는 3개의 대표점으로서 p는 r 이상이고 p/2는 r 보다 작으며, q는 s 이상이고 q/2는 s보다 작은 관계를 갖는 것의 움직임 벡터를 구하고(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하며,
    상기 꼭지점의 움직임 벡터의 수평·수직성분은 1/n의 정수배를 취하고, 상기 꼭지점의 움직임 벡터를 n배 한 것을 각각(u00, v00), (u01, v01), (u02, v02)로 하고,
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, 화소 (x, y)의 움직임 벡터의 수평·수직성분을 m배 한 것을 (u(x, y), v(x, y))로 하며,
    상기 대표점 (i, j), (j+p, j), (i, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2)로 했을 때,
    상기 대표점의 움직임 벡터를,
    u'(x, y)=((u00rs+(u01-u00)xs+(u02-u00)yr)k)///(rsn)
    v'(x, y)=((v00rs+(v01-v00)xs+(v02-u00)yr)k)///(rsn)
    u0=u'(i, j), v0=v'(i, j)
    u1=u'(i+p, j), v1=v'(i+p, j)
    u2=u'(i, j+q), v2=v'(i, j+q)
    에 의해 구한 상기 (u0, v0), (u1, v1), (u2, v2)에서 구하고,
    상기 화소마다의 움직임 벡터를,
    u(x, y)=((u0pq+(u1-u0)(x-i)q+(u2-u0)(y-j)p)m)//(pqk)
    v(x, y)=((v0pq+(v1-v0)(x-i)q+(v2-v0)(y-j)p)m)//(pqk)
    에 의해 구한 상기 (u(x, y), v(x, y))에서 구하는 것을 특징으로 하는 화상 부호화 방법(단, u00, v00, u01, v01, u02, v02, u(x, y), v(x, y), u0, v0, u1, v1, u2 및 v2는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며, 「///」 및 「//」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  44. 제43항에 있어서,
    상기 「///」 및 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 방법.
  45. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    상기 움직임 추정에 의해 구한 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0), (0, s) 및 (r, s)를 갖는 것이므로, 좌표(i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점으로서 p는 r 이상이고 p/2는 r 보다 작으며, q는 s 이상이고 q/2는 s보다작은 관계를 갖는 것의 움직임 벡터를 구하고(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하는 것을 특징으로 하는 화상 부호화 방법.
  46. 제45항에 있어서,
    상기 대표점의 움직임 벡터는, 상기 프레임 꼭지점의 움직임 벡터에서 쌍1차 내·외삽으로 구하고,
    상기 화소마다의 움직임 벡터는, 상기 대표점의 움직임 벡터에서 쌍1창 내·외삽으로 구하는 것을 특징으로 하는 화상 부호화 방법.
  47. 이미 부호화된 프레임을 복호화한 복호화 화상과 현재 프레임의 입력화상과의 사이에서 글로벌 움직임 보상에 의한 움직임 추정을 행하여, 상기 현재 프레임의 예측화상을 합성하는 화상 부호화 방법에 있어서,
    상기 움직임 추정에 의해 구한 현재 프레임 꼭지점의 움직임 벡터로서, 화소의 간격을 1로 한 좌표상에서 상기 꼭지점이 좌표 (0, 0), (r, 0), (0, s) 및 (r, s)를 갖는 것이므로, 좌표(i, j), (i+p, j), (i, j+q) 및 (i+p, j+q)를 갖는 4개의 대표점으로서 p는 r 이상이고 p/2는 r 보다 작으며, q는 s 이상이고 q/2는 s보다 작은 관계를 갖는 것의 움직임 벡터를 구하고(단, r, s, i 및 j는 정수, p 및 q의 값은 2의 양의 정수에 의한 누승),
    상기 대표점의 움직임 벡터에서 상기 예측화상의 화소마다의 움직임 벡터를 구하고,
    상기 화소마다의 움직임 벡터와 상기 복호화 화상에서 상기 예측화상을 합성하며,
    상기 꼭지점의 움직임 벡터의 수평·수직성분은 1/n의 정수배를 취하고, 상기 꼭지점의 움직임 벡터를 n배 한 것을 각각(u00, v00), (u01, v01), (u02, v02), (u03, v03)으로 하고,
    상기 화소마다의 움직임 벡터의 수평·수직성분은 1/m의 정수배를 취하고, 화소 (x, y)의 움직임 벡터의 수평·수직성분을 m배 한 것을 (u(x, y), v(x, y))로 하며,
    상기 대표점 (i, j), (j+p, j), (i, j+q) 및 (i+p, j+q)의 움직임 벡터의 수평·수직성분은 1/k의 정수배를 취하고, 각 대표점의 움직임 벡터의 수평·수직성분을 k배 한 것을 (u0, v0), (u1, v1), (u2, v2), (u3, v3)로 했을 때,
    상기 대표점의 움직임 벡터를,
    u'(x, y)=(((s-y)((r-x)u00+xu01)+y((r-x)u02+xu03))k)///(rsn)
    v'(x, y)=(((s-y)((r-x)v00+xv01)+y((r-x)v02+xv03))k)///(rsn)
    u0=u'(i, j), v0=v'(i, j)
    u1=u'(i+p, j), v1=v'(i+p, j)
    u2=u'(i, j+q), v2=v'(i, j+q)
    u3=u'(i+p, j+q) v3=v'(i+p, j+q)
    에 의해 구한 상기 (u0, v0), (u1, v1), (u2, v2), (u3, v3)에서 구하고,
    상기 화소마다의 움직임 벡터를,
    u(x, y)=(((j+q-y)((i+p-x)u0+(x-i)u1)+(y-j)((i+p-x)u2+(x-i)u3))m)//(pqk)
    v(x, y)=(((j+q-y)((i+p-x)v0+(x-i)v1)+(y-j)((i+p-x)v2+(x-i)v3))m)//(pqk)
    에 의해 구한 상기 (u(x, y), v(x, y))에서 구하는 것을 특징으로 하는 화상 부호화 방법(단, u00, v00, u01, v01, u02, v02, u03, v03, u(x, y), v(x, y), u0, v0, u1, v1, u2, v2, u3 및 v3는 정수로 하고, k는 2h0(h0는 음이 아닌 정수)이고 m은 2h1(h1은 음이 아닌 정수, h1<α+β+h0)으로 하며, 「//」 및 「///」는 통상의 제산에 의한 연산결과가 정수가 아닌 경우에 이것을 인접하는 정수로 반올림하는 제산이며, 연산자로서의 우선순위는 승제산과 동등하게 한다).
  48. 제47항에 있어서,
    상기 「///」 및 「//」의 연산에 의한 연산결과가, 정수에 1/2을 더한 값인 경우의 반올림 방법은, (1) 0에서 멀어지는 정수로 반올림, (2) 0의 방향으로 반올림, (3) 피제수가 음인 경우는 0에서 멀어지는 방향으로 반올림, 피제수가 양인 경우는 0에 가까와지는 방향으로 반올림, 또는 (4) 피제수가 양인 경우에는 0에서 멀어지는 방향으로 반올림, 피제수가 음인 경우는 0에 가까와지는 방향으로 반올림하는 것 중 하나인 것을 특징으로 하는 화상 부호화 방법.
KR1020010026363A 1996-03-18 2001-05-15 화상 부호화 장치 및 화상 부호화 방법 KR100411525B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP96-060572 1996-03-18
JP6057296A JP3183155B2 (ja) 1996-03-18 1996-03-18 画像復号化装置、及び、画像復号化方法
KR1019970009225A KR100412622B1 (ko) 1996-03-18 1997-03-18 화상복호화장치및화상복호화방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1019970009225A Division KR100412622B1 (ko) 1996-03-18 1997-03-18 화상복호화장치및화상복호화방법

Publications (1)

Publication Number Publication Date
KR100411525B1 true KR100411525B1 (ko) 2003-12-18

Family

ID=13146120

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1019970009225A KR100412622B1 (ko) 1996-03-18 1997-03-18 화상복호화장치및화상복호화방법
KR1020010026363A KR100411525B1 (ko) 1996-03-18 2001-05-15 화상 부호화 장치 및 화상 부호화 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1019970009225A KR100412622B1 (ko) 1996-03-18 1997-03-18 화상복호화장치및화상복호화방법

Country Status (6)

Country Link
US (11) US6008852A (ko)
EP (2) EP1646242A3 (ko)
JP (1) JP3183155B2 (ko)
KR (2) KR100412622B1 (ko)
DE (1) DE69739762D1 (ko)
TW (1) TW421972B (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
JPH1098729A (ja) * 1996-09-20 1998-04-14 Hitachi Ltd フレーム間予測画像の合成方法
JP3774954B2 (ja) 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
EP1809044B1 (en) * 1997-02-14 2008-10-01 Nippon Telegraph and Telephone Corporation Predictive decoding method of video data
AU1941797A (en) * 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US7006571B1 (en) 1997-06-03 2006-02-28 Hitachi, Ltd. Method of synthesizing interframe predicted image, and image coding and decoding method and device therefore
US7801380B2 (en) 1997-06-09 2010-09-21 Hitachi, Ltd. Recording medium having recorded thereon coded information using plus and/or minus rounding of images
EP2288166B1 (en) 1997-06-09 2015-08-05 Hitachi, Ltd. Image decoding method
US6574371B2 (en) 1997-06-09 2003-06-03 Hitachi, Ltd. Image decoding method
US7206346B2 (en) * 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
KR100289862B1 (ko) * 1997-10-16 2001-05-15 정선종 2차원병진움직임벡터와회기법을이용한전역움직임존재유무판정방법
WO1999025122A2 (en) * 1997-11-07 1999-05-20 Koninklijke Philips Electronics N.V. Coding a sequence of pictures
US6573905B1 (en) * 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6768774B1 (en) * 1998-11-09 2004-07-27 Broadcom Corporation Video and graphics system with video scaling
WO2000028518A2 (en) * 1998-11-09 2000-05-18 Broadcom Corporation Graphics display system
US6661422B1 (en) * 1998-11-09 2003-12-09 Broadcom Corporation Video and graphics system with MPEG specific data transfer commands
US7982740B2 (en) 1998-11-09 2011-07-19 Broadcom Corporation Low resolution graphics mode support using window descriptors
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6480537B1 (en) * 1999-02-25 2002-11-12 Telcordia Technologies, Inc. Active techniques for video transmission and playback
GB9920256D0 (en) 1999-08-26 1999-10-27 Wave Limited M Motion estimation and compensation in video compression
DE60032452T2 (de) 1999-09-21 2007-10-11 Koninklijke Philips Electronics N.V. Verfahren zur globalen bewegungsschätzung
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
KR100359115B1 (ko) * 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
JP3681342B2 (ja) * 2000-05-24 2005-08-10 三星電子株式会社 映像コーディング方法
KR100386583B1 (ko) * 2000-11-30 2003-06-02 엘지전자 주식회사 영상 변환 부호화 장치 및 방법
US7050500B2 (en) * 2001-08-23 2006-05-23 Sharp Laboratories Of America, Inc. Method and apparatus for motion vector coding with global motion parameters
US7227896B2 (en) * 2001-10-04 2007-06-05 Sharp Laboratories Of America, Inc. Method and apparatus for global motion estimation
US7899924B2 (en) 2002-04-19 2011-03-01 Oesterreicher Richard T Flexible streaming hardware
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
EP2053863B1 (en) * 2002-07-11 2012-03-07 Panasonic Corporation Video decoder display buffer reusing previous picture upon picture resizing.
US7421129B2 (en) * 2002-09-04 2008-09-02 Microsoft Corporation Image compression and synthesis for video effects
EP3349461B1 (en) 2002-11-25 2020-02-19 Godo Kaisha IP Bridge 1 Method for coding and decoding b pictures in direct mode
US6954501B2 (en) * 2003-02-17 2005-10-11 Xvd Corporation Method and apparatus for object based motion compensation
US7433085B2 (en) * 2003-04-15 2008-10-07 Lexmark International, Inc. Intelligent hardware for detecting color value of an image
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US8063916B2 (en) * 2003-10-22 2011-11-22 Broadcom Corporation Graphics layer reduction for video composition
US20050105621A1 (en) * 2003-11-04 2005-05-19 Ju Chi-Cheng Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof
NO319629B1 (no) * 2003-11-28 2005-09-05 Tandberg Telecom As Fremgangsmate for korrigering av interpolerte pikselverdier
CN1918917A (zh) 2004-10-07 2007-02-21 日本电信电话株式会社 视频编码方法及装置、视频解码方法及装置、它们的程序及记录这些程序的记录媒体
IL170320A (en) * 2005-08-17 2010-04-29 Orad Hi Tec Systems Ltd System and method for managing the visual effects insertion in a video stream
DE102005041633B4 (de) * 2005-08-26 2007-06-06 Adam Stanski Verfahren und Vorrichtung zur Positions- und Ähnlichkeitsbestimmung von Objektpunkten in Bildern
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
US8023732B2 (en) * 2006-07-26 2011-09-20 Siemens Aktiengesellschaft Accelerated image registration by means of parallel processors
EP2153660A4 (en) * 2007-04-09 2013-01-23 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING A VIDEO SIGNAL
JP2007312425A (ja) * 2007-07-30 2007-11-29 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらのプログラムを記録した記録媒体
CN101127908B (zh) * 2007-08-27 2010-10-27 宝利微电子***控股公司 引入全局特征分类的视频图像运动处理方法及其实现装置
US20090161011A1 (en) * 2007-12-21 2009-06-25 Barak Hurwitz Frame rate conversion method based on global motion estimation
JP2009200985A (ja) * 2008-02-25 2009-09-03 Hitachi Ltd 映像処理装置
US20100158130A1 (en) 2008-12-22 2010-06-24 Mediatek Inc. Video decoding method
US9179161B2 (en) 2009-05-20 2015-11-03 Nissim Nissimyan Video encoding
US20110299597A1 (en) * 2010-06-07 2011-12-08 Sony Corporation Image processing method using motion estimation and image processing apparatus
EP2424243B1 (en) * 2010-08-31 2017-04-05 OCT Circuit Technologies International Limited Motion estimation using integral projection
US8823746B2 (en) * 2010-10-19 2014-09-02 Apple Inc. System and method for motion blur using velocity vectors
CN102611887B (zh) * 2011-01-21 2015-08-05 华为技术有限公司 非整像素位置运动矢量的坐标值取整方法和装置
JP6665611B2 (ja) * 2016-03-18 2020-03-13 富士通株式会社 符号化処理プログラム、符号化処理方法及び符号化処理装置
US10681374B2 (en) * 2017-11-16 2020-06-09 Google Llc Diversified motion using multiple global motion models
CN107948573B (zh) * 2017-11-22 2020-11-03 深圳市华星光电技术有限公司 一种数字信号线性内插值方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4727506A (en) * 1985-03-25 1988-02-23 Rca Corporation Digital scaling circuitry with truncation offset compensation
JPS63212948A (ja) * 1987-02-28 1988-09-05 Ricoh Co Ltd 画像形成システム
EP0293644B1 (de) * 1987-06-02 1992-03-25 Siemens Aktiengesellschaft Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen
SE465394B (sv) * 1990-08-15 1991-09-02 Televerket Metod foer roerelsekompensering och elastisk deformation i bildsekvenser
US5617482A (en) * 1990-08-15 1997-04-01 Televerket Method of motion compensation and elastic deformation in picture sequences
JP2506500B2 (ja) 1990-11-14 1996-06-12 松下電器産業株式会社 画像の動き検出装置
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5647049A (en) * 1991-05-31 1997-07-08 Kabushiki Kaisha Toshiba Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors
CA2065184C (en) * 1992-04-06 1996-12-03 Richard Brault Valve means for training manikin
US5461423A (en) * 1992-05-29 1995-10-24 Sony Corporation Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal
JPH05336514A (ja) * 1992-05-29 1993-12-17 Sony Corp 画像符号化装置
JPH06193970A (ja) 1992-12-25 1994-07-15 Noritz Corp 給湯用熱交換器
FI97008C (fi) * 1993-06-02 1996-09-25 Nokia Oy Ab Menetelmä videokuvan ennustamiseksi käsittelyjärjestyksessä edellisen kuvan perusteella
KR100330797B1 (ko) * 1993-09-08 2002-07-31 톰슨 멀티미디어 에스 에이 블록매칭을이용한모션추정방법및장치
KR0148154B1 (ko) 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
JP3218874B2 (ja) * 1994-08-18 2001-10-15 株式会社日立製作所 画像符号化装置及び画像符号化方法
US5684538A (en) * 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
US6178265B1 (en) * 1994-09-22 2001-01-23 Intel Corporation Method and apparatus for motion vector compression
JP2738325B2 (ja) * 1995-01-24 1998-04-08 日本電気株式会社 動き補償フレーム間予測装置
US5757670A (en) * 1995-07-28 1998-05-26 S3, Incorporated Frame reconstruction for video data compression
US5764807A (en) * 1995-09-14 1998-06-09 Primacomp, Inc. Data compression using set partitioning in hierarchical trees
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
FR2818128B1 (fr) 2000-12-18 2004-04-02 Oreal Compositions cosmetiques antisolaires a base d'un melange synergetique de filtres et utilisations
JP3938150B2 (ja) * 2004-01-29 2007-06-27 キヤノン株式会社 画像形成装置

Also Published As

Publication number Publication date
US20100284470A1 (en) 2010-11-11
EP0797357A2 (en) 1997-09-24
US6483877B2 (en) 2002-11-19
KR100412622B1 (ko) 2004-05-20
US6178202B1 (en) 2001-01-23
EP1646242A2 (en) 2006-04-12
US20040096000A1 (en) 2004-05-20
TW421972B (en) 2001-02-11
US7817720B2 (en) 2010-10-19
US20020044608A1 (en) 2002-04-18
US8204110B2 (en) 2012-06-19
US6687302B2 (en) 2004-02-03
US7298781B2 (en) 2007-11-20
US8233543B2 (en) 2012-07-31
US20030043914A1 (en) 2003-03-06
US20080025404A1 (en) 2008-01-31
JP3183155B2 (ja) 2001-07-03
US20030035483A1 (en) 2003-02-20
EP0797357A3 (en) 1999-11-24
KR970068189A (ko) 1997-10-13
US6442205B1 (en) 2002-08-27
DE69739762D1 (de) 2010-04-01
US6987810B2 (en) 2006-01-17
US20050226336A1 (en) 2005-10-13
EP0797357B1 (en) 2010-02-17
US6008852A (en) 1999-12-28
EP1646242A3 (en) 2010-10-27
US20100284463A1 (en) 2010-11-11
JPH09252470A (ja) 1997-09-22
US6711210B2 (en) 2004-03-23

Similar Documents

Publication Publication Date Title
KR100411525B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
US8160146B2 (en) Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors
US20060239356A1 (en) Inter-frame predicted image synthesizing method
GB2343319A (en) Video motion compensation
KR100511810B1 (ko) 화상 부호화 및 복호화 방법 및 장치
JP3520800B2 (ja) 画像復号化装置及び画像復号化方法
JP3777998B2 (ja) グローバル動き補償方法
JP3520845B2 (ja) 画像符号化装置及び画像符号化方法
JP3520858B2 (ja) 画像符号化装置及び画像符号化方法
JP3520846B2 (ja) 画像復号化装置および画像復号化方法
JP3183277B2 (ja) 画像符号化装置、及び、画像符号化方法
JP3437605B2 (ja) 画像の動き検出方法及び装置
JPH03143182A (ja) 処理量適応型画像符号化方式

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121121

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131119

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141120

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 14

EXPY Expiration of term