KR20130046377A - 화소 블록 코딩 및 재구성 방법 및 대응 장치 - Google Patents

화소 블록 코딩 및 재구성 방법 및 대응 장치 Download PDF

Info

Publication number
KR20130046377A
KR20130046377A KR1020120119685A KR20120119685A KR20130046377A KR 20130046377 A KR20130046377 A KR 20130046377A KR 1020120119685 A KR1020120119685 A KR 1020120119685A KR 20120119685 A KR20120119685 A KR 20120119685A KR 20130046377 A KR20130046377 A KR 20130046377A
Authority
KR
South Korea
Prior art keywords
coefficients
coding
current block
residual
prediction
Prior art date
Application number
KR1020120119685A
Other languages
English (en)
Inventor
에두아르 프랑쑤와
도미니끄 또로
필립쁘 보르드
제롬 비에롱
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130046377A publication Critical patent/KR20130046377A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

N개 화소의 현 블록을 재구성하는 방법이 개시된다. 이 방법은,
N개의 잔여 계수를 디코딩 및 역양자화하는 단계(100);
N개의 기준 계수를 결정하는 단계(100);
상기 N개 잔여 계수, 및 상기 현 블록에 대한 k개(k는 정수이고, 1≤k<N임) 계수의 각 재구성시에 정제되는 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 고려하여 상기 N개 기준 계수로부터 결정된 N개 예측 계수로부터 상기 현 블록에 대한 N개 계수를 재구성하는 단계(110, 120, 130, 140, 160, 170); 및
상기 N개 재구성된 계수를 N개 화소의 현 블록으로 변환하는 단계(180)
를 포함한다.

Description

화소 블록 코딩 및 재구성 방법 및 대응 장치{METHODS FOR CODING AND RECONSTRUCTING A PIXEL BLOCK AND CORRESPONDING DEVICES}
본 발명은 일반적으로 화상 코딩 분야에 관한 것으로, 특히, 화상의 화소 블록을 재구성하는 방법과 화소 블록을 코딩하는 방법에 관한 것이다. 또한, 본 발명은 대응하는 코딩 및 디코딩 장치에 관한 것이다.
화상 시퀀스를 코딩된 데이터 스트림으로 코딩하는 방법과 이 스트림을 디코딩하는 방법은 대부분 시간 예측 또는 화상간 예측과 등공간(equally spatial) 예측 또는 화상내 예측을 이용한다. 화상간 예측 또는 화상내 예측에 의해서 화상 시퀀스의 압축이 개선될 수 있다. 이러한 예측은 현 블록에 대해서는 예측 블록의 발생과, 현 블록과 예측 블록 간의 차(잔류 블록이라고도 함)의 코딩을 포함한다. 예측 블록이 현 블록과 많이 상관될수록 현 블록을 코딩하는데 필요한 비트수는 더 적어지고 따라서 압축은 더 효과적으로 된다. 그러나, 시퀀스의 화상들 간에(개별적으로는 현 화상에) 광도 변화가 있는 경우에는 화상간(개별적으로는 화상내) 예측은 그 효율이 저하된다. 그와 같은 밝기 변화는 예컨대 조명 변경, 페이드 효과, 플래시 등에 기인한 것이다.
광도 변화를 설명하는 화상 시퀀스의 코딩/디코딩 방법이 알려져 있다. 그러므로, 문헌 ISO/IEC 14496-10에 기재된 표준 MPEG-4 AVC/H.264의 체계 내에서, 광도 변화의 경우에 압축을 개선하기 위해 가중 예측법을 이용하는 것이 알려져 있다. 이를 위해, MPEG-4 AVC/H.264 표준은 화소의 하나 이상의 블록을 포함하는 화상 슬라이스당 가중 예측 파라미터의 스트림으로서의 명시적 전송을 가능하게 한다. 그에 따라서 가중 예측 파라미터 또는 몇 개의 가중 예측 파라미터의 세트에 의한 조도 보정은 가중 예측 파라미터 또는 가중 예측 파라미터 세트가 연관된 화상 슬라이스의 모든 블록에 대해 동일하게 적용된다. 예컨대, 모션 벡터(MV)와 같은 모션 데이터를 이용하여 현 블록(Bcur)의 평균과 이 현 블록과 연관된 기준 블록(Bref)의 평균 간의 비를 산출함으로써 현 블록(Bcur)에 대해 가중 파라미터가 결정된다. 블록의 평균은 예컨대 그 블록의 화소들과 연관된 휘도값들의 평균이다. 기준 블록은 예컨대 모션 추정 단계 중에 결정된다. 그와 같은 예측법은 현 블록에 대한 휘도 변화가 그 현 블록과 연관된 값으로부터 결정되기 때문에 정확하다. 그러나, 그와 같은 예측법은 화상 슬라이스당 따라서 잠재적으로는 블록당 가중 예측 파라미터 세트의 스트림으로의 전송을 의미하므로 비트 레이트면에서 비용이 많이 든다.
또한 본 기술분야에서는 코더측과 디코더측에서 자체적으로 동일한 방식으로 가중 파라미터를 결정하기 위해 로컬 광도 변화를 보정하는 것이 알려져 있다. 이 경우, 가중 파라미터는 스트림으로 명시적으로 전송되지 않는다. 예컨대, 현 블록(Bcur)에 대한 가중 파라미터는 현 블록(Bcur)의 이웃(Nc)의 평균과 현 블록(Bcur)과 연관된 기준 블록(Bref)의 이웃(Nr)의 평균 간의 비를 산출함으로써 결정된다. 이웃의 평균은 예컨대 당해 이웃의 화소들과 연관된 휘도값들의 평균이다. Nc는 현 블록(Bcur)에 인과관계상 이웃한 곳에 위치해 있다. 따라서 Nc는 Bc보다 먼저 코딩(개별적으로는 재구성)된다. 그와 같은 방법은 가중 예측 파라미터가 스트림으로 명시적으로 전송되는 것이 아니라 코더측과 디코더측에서 동일한 방식으로 결정되기 때문에 비트 레이트면에서 비용이 적게 든다. 그러나, 그와 같은 예측법은 현 블록(Bcur)과 연관된 가중 파라미터(들)가 이 블록의 내용을 고려하지 않는 다는 점에서 앞서 언급한 방법보다 정확도가 낮다.
국제 출원공개 WO2011012669는 예측 방법이 현 블록 내용을 고려하고, 조도의 로컬 변화에 관계된 파라미터를 명시적으로 코딩할 필요없이 조도의 로컬 변화에 동적으로 적응하는 코딩 및 디코딩 방법을 개시한다. 이 코딩 및 디코딩 방법은 어떤 가중 예측 파라미터도 스트림으로 전송되지 않는 경우에 코딩 효율을 개선하는 장점을 갖고 있다. 그러나, WO2011012669에서, 가중 파라미터는 변환의 제1 재구성 계수, 즉 DC 계수만으로부터 한 번만 갱신된다.
본 발명의 목적은 종래 기술의 상기 단점들 중 적어도 한 가지를 해소하는 것이다. 이를 위해, 본 발명은 N개(N은 정수임) 화소의 현 블록을 재구성하는 방법에 관련된다. 이 재구성 방법은,
N개의 잔여 계수를 디코딩 및 역양자화하는 단계;
N개의 기준 계수를 결정하는 단계;
상기 N개 잔여 계수와, 상기 현 블록에 대한 k개(k는 정수이고, 1≤k<N임) 계수의 각 재구성시에 정제되는 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 고려하여 상기 N개 기준 계수로부터 결정된 N개 예측 계수로부터 상기 현 블록에 대한 N개 계수를 재구성하는 단계; 및
상기 N개 재구성된 계수를 N개 화소의 현 블록으로 변환하는 단계를 포함한다.
특정 실시예에 따라서, 상기 현 블록에 대한 상기 N개 계수의 재구성 단계는,
a) 상기 조도 변화 파라미터를 고려하여 상기 기준 계수로부터 k개의 제1 예측 계수를 산출하는 단계;
b) k개의 제1 잔여 계수와 상기 산출된 k개의 제1 예측 계수로부터 재구성된 k개의 계수를 산출하는 단계;
c) 이미 재구성된 모든 계수와 그에 대응하는 기준 계수로부터 상기 적어도 하나의 조도 변화 파라미터를 정제하는 단계; 및
d) 후속되는 k개의 계수에 대해 N개의 재구성된 계수를 산출할 때까지 상기 단계 a) 내지 c)를 반복하는 단계를 포함한다.
본 발명의 다른 양상에 따라서, 재구성 방법은 상기 단계 c)와 단계 d) 사이에, 상기 단계 c)에서 정제된 상기 적어도 하나의 조도 변화 파라미터와 상기 대응하는 기준 계수로부터 이미 재구성된 모든 계수를 정제하는 단계를 포함한다.
본 발명의 특정 특징에 따라서, 상기 k의 값은 1이다.
본 발명의 다른 특정 특징에 따라서, 상기 k의 값은 반복할 때마다 달라진다.
본 발명의 다른 특정 특징에 따라서, 상기 k의 값은 널(null) 잔여 계수에 의해 분리된 2개의 논-널(non-null) 잔여 계수들 간의 거리와 같다.
본 발명의 또 다른 특정 특징에 따라서, 상기 k의 값은 임계치보다 더 크며, 상기 임계치보다 작은 잔여 계수로부터 분리된 2개의 잔여 계수들 간의 거리와 같다.
본 발명의 특정 양상에 따라서, 상기 적어도 하나의 정제된 조도 변화 파라미터는 양자화 잡음의 분산에 의해 가중되며 상기 재구성된 계수와 그에 대응하는 기준 계수 간에서 산출되는 2차 에러를 최소화함으로써 결정된다.
또한, 본 발명은, N개(N은 정수) 화소의 현 블록을 코딩하는 방법으로서,
상기 현 블록을 N개의 현 계수로 변환하는 단계;
N개의 기준 계수를 결정하는 단계;
상기 N개 현 계수와, 상기 현 블록의 k개(k는 정수이고, 1≤k<N임) 계수의 각 재구성시에 정제되는 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 고려하여 상기 N개 기준 계수로부터 결정된 N개 예측 계수로부터 N개 잔여 계수를 산출하는 단계; 및
상기 N개 잔여 계수를 양자화 및 코딩하는 단계를 포함한다.
특정 실시예에 따라서, 상기 N개 잔여 계수 산출 단계는,
a) 상기 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 고려하여 상기 기준 계수로부터 k개의 제1 예측 계수를 산출하는 단계 - k는 1 이상의 정수임 -;
b) k개의 제1 현 계수와 상기 k개의 제1 예측 계수로부터 k개의 잔여 계수를 산출하는 단계;
c) 양자화된 다음에 역양자화된 k개의 제1 잔여 계수와 상기 산출된 k개의 제1 예측 계수로부터 재구성된 k개 계수를 산출하는 단계;
d) 이미 재구성된 모든 계수와 그에 대응하는 기준 계수로부터 상기 적어도 하나의 조도 변화 파라미터를 정제하는 단계; 및
e) 후속되는 k개의 계수에 대해 N개 잔여 계수를 산출할 때까지 상기 단계 a) 내지 d)를 반복하는 단계를 포함한다.
본 발명의 특정 특징에 따라서, 코딩 방법은 상기 단계 d)와 단계 e) 사이에, 상기 단계 d)에서 정제된 상기 적어도 하나의 조도 변화 파라미터와 상기 대응하는 기준 계수로부터 이미 재구성된 모드 계수를 정제하는 단계를 포함한다.
더욱이, 본 발명은, N개(N은 정수) 화소의 현 블록을 나타내는 스트림을 디코딩하는 장치로서,
상기 스트림으로부터 N개의 잔여 계수를 디코딩 및 역양자화하기 위한 수단;
N개의 기준 계수를 결정하기 위한 수단;
상기 N개 잔여 계수와, 상기 현 블록에 대한 k개(k는 정수이고, 1≤k<N임) 계수의 각 재구성시에 정제되는 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 고려하여 상기 N개 기준 계수로부터 결정된 N개 예측 계수로부터 상기 현 블록에 대한 N개 계수를 재구성하기 위한 수단; 및
상기 N개 재구성된 계수를 N개 화소의 현 블록으로 변환하기 위한 수단을 포함한다.
더욱이, 본 발명은 코딩 장치로서,
상기 현 블록을 N개의 현 계수로 변환하기 위한 수단;
N개의 기준 계수를 결정하기 위한 수단;
상기 N개 현 계수와, 상기 현 블록의 k개(k는 정수이고, 1≤k<N임) 계수의 각 재구성시에 정제되는 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 고려하여 상기 N개 기준 계수로부터 결정된 N개 예측 계수로부터 N개 잔여 계수를 산출하기 위한 수단; 및
상기 N개 잔여 계수를 양자화 및 코딩하기 위한 수단을 포함한다.
본 발명에 따른 코딩 및 재구성 방법은 재구성된 현 블록(Brec)의 계수가 산출됨에 따라 예측 블록을 점차적으로 조정하기 위해 조도 변화 파라미터 또는 파라미터들의 정제를 구현하고, 이에 의해 코딩 효율이 개선된다. 이들 방법은 신호 특성의 로컬 변화, 특히 조도 변화에 규칙적으로 정확하게 적용되며, 조도 로컬 변화 파라미터 또는 파라미터들을 명시적으로 코딩할 필요가 없다.
본 발명은 첨부도면을 참조로 비한정적 실시예와 바람직한 구현을 통해 더 잘 이해될 것이다.
도 1은 본 발명에 따른 재구성 방법을 보여주는 도.
도 2 및 3은 잔여 계수를 보여주는 도.
도 4는 본 발명에 따른 코딩 방법을 보여주는 도.
도 5는 본 발명에 따른 코딩 장치를 도시한 도.
도 6은 본 발명에 따른 디코딩 장치를 도시한 도.
본 발명은 화상 시퀀스의 화소 블록을 재구성하는 방법과 그 블록을 코딩하는 방법에 관한 것이다. 화상 시퀀스는 몇 개의 화상이 연속하여 이루어진다. 각 화상은 각각이 적어도 하나의 화상 데이터 아이템이 연관된 화소들, 즉 화상점들을 포함한다. 화상 데이터 아이템은 예컨대 휘도 데이터 아이템이나 색도 데이터 아이템이다.
"밝기 변화"는 "휘도 변화", "광도 변화", 또는 "조도 변화"라고도 한다.
"모션 데이터"는 최광의로 해석되어야 한다. 모션 데이터는 모션 벡터와, 가능하게는 화상 시퀀스에서 기준 화상을 식별할 수 있는 기준 화상 인덱스를 포함한다. 모션 데이터는 예측 블록을 도출하기 위해 기준 블록에 적용되어야 하는 보간 종류를 표시하는 정보 아이템도 포함한다.
"잔류 데이터"는 다른 데이터의 추출 후에 얻어진 데이터를 의미한다. 잔류 데이터는 "레지듀"와 동의어이다. 잔류 블록은 잔류 데이터가 연관된 화소 블록이다.
"변환된 잔류 데이터"는 소정의 변환이 적용된 잔류 데이터를 의미한다. DCT(Discrete Cosine Transform)는 예컨대 2003년 9월에 J. Wiley & Sons에서 발간한 "H.264 and MPEG-4 video compression"이라 불리는, I.E. Richardson의 저서의 챕터 3.4.2.2.에 기재된 변환과 같은 것이다. I.E. Richardson의 저서의 챕터 3.4.2.3.에 기재된 웨이브릿 변환과 Hadamard 변환은 다른 예이다. 그와 같은 변환은 화상 데이터, 예컨대 잔류 휘도 및/또는 색도 데이터의 블록을 "주파수 데이터 블록" 또는 "계수 블록"이라고도 하는 "변환된 데이터 블록"으로 "변환한다". 계수 블록은 일반적으로 연속 계수 또는 DC 계수라고도 알려진 저주파 계수와 AC 계수라고도 알려진 고주파 계수를 포함한다.
"예측 데이터"는 다른 데이터를 예측하는데 이용된 데이터를 의미한다. 예측 블록은 예측 데이터가 연관된 화소 블록이다.
예측 블록은 이것이 예측하는(공간 예측 또는 화상내 예측) 블록에 속하는 화상과 동일한 화상의 한 블록 또는 수 개의 블록으로부터, 또는 이것이 예측하는 블록이 속하는 화상과 다른 화상(시간 예측 또는 화상간 예측)의 하나(단방향 예측) 또는 수 개의 블록(양방향 예측)으로부터 구해진다.
"화상 영역"은 휘도값 및/또는 색도값이 연관된 화소 영역을 나타낸다. "주파수 영역" 또는 "변환된 영역"은 계수 영역을 나타낸다. 화상에 소정 변환, 예컨대 DCT를 적용함으로써 화상 영역으로부터 변환된 영역으로 변경하고, 또, 역으로 그 화상에 역변환, 예컨대 역 DCT를 적용함으로써, 변환된 영역으로부터 화상 영역으로 변경한다.
이하, 화소 블록과 관련하여 코딩 및 재구성 방법에 대해 설명한다. 명백하게도, 이 방법은 하나 이상의 화상의 재구성을 각각 코딩하기 위해 어떤 화상의 수 개의 블록과, 어떤 시퀀스의 수 개의 화상에 적용될 수 있다.
화소 영역에서 고려된 블록 데이터는
Figure pat00001
라고 한다. 이 제안된 방식에서, 변환된 영역에서 고려된 블록 데이터는
Figure pat00002
라고 한다.
Bcur은 예측을 가지고 화상간 모드 또는 화상내 모드에서 재구성될 현 블록이하 한다. Bref는 그 관련 기준 블록이라고 한다. 이 기준 블록은 현 블록의 이미 재구성된 블록이거나 이미 재구성된 다른 화상의 블록일 수 있다. 또한, 이것은 현 화상의 이미 재구성된 화소로부터 또는 이미 재구성된 다른 화상의 화소로부터 보간에 의해 구성된 블록일 수 있다. 실제로, Bref가 부화소 레벨의 정밀도에서 모션 벡터에 의해 기준 화상에서 식별된 블록인 경우, 기준 블록(Bref)은 보간된다.
예측 블록(Bpred)은 기준 블록(Bref)에 따른 선형의 휘도 로컬 변화 모델에 따라서 구성된다:
Figure pat00003
, 예컨대,
Figure pat00004
. 여기서, a와 b는 조도 변화 파라미터이고, (x,y)는 화상 내의 화소의 좌표이다.
본 발명에 따라서, 현 블록(Bcur)을 재구성된 블록(Brec)으로 재구성하는 것은 변환된 영역에서 실시된다. 변환된 영역에서 Bcur의 모든 계수가 산출되고 나면, 그 재구성된 블록을 생성하기 위해 역변환이 적용된다. 본 발명에 따라서, Bcur의 하나 이상의 계수(들)의 각 재구성 시에 밝기 변화 모델의 파라미터가 정제된다(refined).
이를 행하기 위해, 이는 코딩 방식에 통상적으로 이용되는 변환의 선형 특성에 기초하며, 이에 따라서, 변환된 계수와 밝기 변화 모델의 파라미터 간의 직접적인 연계가 설정될 수 있다. 표준 방식과는 달리, 블록(Bcur)은 변환된 영역에서 재구성된다. 그러므로, 변환된 영역(Cpred)에서 예측 블록이 결정되는 기준 블록(Bref)에 변환이 적용될 것이다. 이것에 변환된 잔여 블록(Cres)이 부가되어 변환된 재구성된 블록(Crec)을 생성한다. 변환된 영역에서 그 재구성된 블록에 역변환이 적용되어 최종 재구성된 블록(Brec)을 생성한다. 더 정확하게는, 본 발명에 따른 블록(Bcur) 재구성 방법은 도 1을 참조로 설명되는 하기의 단계를 포함한다.
N개의 잔여 계수를 디코딩 및 역양자화하고, N개의 기준 계수를 결정하는 단계(100);
상기 N개 잔여 계수와, 상기 현 블록에 대한 k개(k는 정수이고, 1≤k<N임) 계수의 각 재구성시에 정제되는 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 고려하여 상기 N개 기준 계수로부터 결정된 N개 예측 계수로부터 상기 현 블록에 대한 N개 계수를 재구성하는 단계(175); 및
상기 N개 재구성된 계수를 N개 화소의 현 블록으로 변환하는 단계(180).
본 발명에 따른 블록(Bcur) 재구성 방법은 도 4를 참조로 설명되는 하기의 단계를 포함한다.
현 블록을 N개의 현 계수로 변환하고, N개의 기준 계수를 결정하는 단계(200);
상기 N개 현 계수와, 상기 현 블록의 k개(k는 정수이고, 1≤k<N임) 계수의 각 재구성시에 정제되는 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 고려하여 상기 N개 기준 계수로부터 결정된 N개 예측 계수로부터 N개 잔여 계수를 산출하는 단계(285); 및
상기 N개 잔여 계수를 양자화 및 코딩하는 단계(290).
바람직하게는, 본 발명에 따른 코딩 및 재구성 방법은 재구성된 현 블록(Brec)의 계수가 산출됨에 따라 예측 블록을 점차적으로 조정하기 위해 조도 변화 파라미터의 정제를 구현하고, 이런 식으로 코딩 효율을 개선한다. 조도 변화 파라미터 또는 파라미터들은 현 블록(Brec)의 계수의 재구성이 계속됨에 따라 정제된다. 이는 조도 변화 파라미터가 점점 더 정확해지고, 그 결과, 현 블록의 예측이 개선될 수 있다는 것을 의미한다.
도 1은 본 발명의 특정 실시예에 따른 화소 블록(Brec) 재구성 방법을 보여준다. Brec는 재구성된 현 블록(Bcur)이다.
단계(100)에서, 변환된 잔여 블록이 디코딩된 다음에 역양자화된다. 이렇게 해서 구해진 블록은 잔여 계수 Ci res(i=0...N-1)를 포함한다. 여기서 정수 N은 변환으로부터의 계수들의 수이다. 변환 8x8의 경우에는 N=64이다. 조도 변화 파라미터의 초기값(ainit, binit)과 기준 블록(Bref)의 기준 계수 Ci ref가 구해진다. 조도 변화 파라미터의 초기값은 예컨대 디코딩되거나, 아니면 예컨대 비디오 코딩 표준에 따라 미리 정해지고, 따라서 재구성 방법을 알게 된다. 기준 블록(Bref)은 예컨대 모션 벡터를 이용하여 화상 영역에서 결정되고, 그런 다음에 기준 계수 Ci ref의 블록으로 변환된다. 마찬가지로, 재구성될 화소 블록의 제1 계수 C0 rec는 예컨대 하기의 공식에 따라서 재구성된다.
Figure pat00005
여기서,
Figure pat00006
이고,
Figure pat00007
는 변환의 인덱스 0의 기본 벡터이고, Br은 그 서포트이다.
단계(110)에서, p가 0으로 초기화된다.
단계(120)에서, 하기 공식에 따라서 예측 계수
Figure pat00008
(i=p+1, ..., p+kp, kp≥1 및 p+kp<N)가 산출된다.
Figure pat00009
여기서,
Figure pat00010
는 예측 블록의 인덱스 i의 변환된 계수(예측 계수라고 함),
Figure pat00011
는 기준 블록의 인덱스 i의 변환된 계수(기준 계수라고 함),
Figure pat00012
는 변환의 인덱스 i의 기준 벡터, Br과 함께
Figure pat00013
는
Figure pat00014
의 벡터 서포트이다.
일반적으로, 변환 베이스(예컨대, DCT(Discrete Cosine Transform), DST(Discrete Sinus Transform), FFT(Fast Fourier Transform)는 제1 계수가 신호 평균이고 D0=1이 되도록 하는 것이고, 변환의 후속 벡터는 임의의 i>0에 대해 Di=0이 되도록 하는 것이다.
본 발명의 특정 특징에 따르면 kp=1이다. 본 발명의 다른 특정 특징에 따르면 kp는 1과 N-1 사이의 소정값이다. 변형에 따르면, kp는 반복됨에 따라 다른 값을 갖게 된다. kp는 예컨대 도 2에 도시된 바와 같이, 널(null) 계수
Figure pat00015
에 의해 분리된 2개의 논-널(non-null) 계수
Figure pat00016
간의 거리와 같으며, 인덱스 0의 계수는 그 값과 무관한 것으로 고려된다. 이 도 2에서는 인덱스 4와 N-2의 계수들이 널이다. 다른 변형에 따라서, kp의 값은 도 3에 도시된 바와 같이, 임계치 Th보다 작은 진폭의 계수
Figure pat00017
에 의해 분리된 임계치 Th보다 큰 진폭의 2개의 계수
Figure pat00018
간의 거리와 같으며, 인덱스 0의 계수는 그 값과 무관한 것으로 고려된다. 도 3에서, 인덱스 1, 3, N-3 및 N-1의 계수는 Th보다 큰 진폭을 갖는다.
단계(130)에서, 예측 계수
Figure pat00019
와 잔여 계수
Figure pat00020
로부터, 하기 공식에 따라서, 재구성된 계수
Figure pat00021
(i=p+1, ..., p+kp)가 산출된다.
Figure pat00022
단계(140)에서, 파라미터 a와 b는 재구성된 계수
Figure pat00023
와 기준 블록 내의 그 대응 계수
Figure pat00024
(p+kp에서 i=0)로부터 정제된다. 정제된 파라미터는
Figure pat00025
와
Figure pat00026
로 표시한다. 조도 변화 파라미터는 여러 가지 방법으로 정제될 수 있다. 제1 방법에 따라서, 정제된 조도 변화 파라미터
Figure pat00027
와
Figure pat00028
는 하기 식과 같은 양자화 잡음의 분산에 의해 가중된 모델링 2차 에러를 최소화함으로써 구해진다.
Figure pat00029
여기서, Qi는 인덱스 i의 계수의 양자화 스텝이다.
그러므로,
Figure pat00030
와
Figure pat00031
는 최소자승법에 의해 구해지며, 이는 2개의 미지수와 2개의 방정식으로 된 선형 시스템의 해(resolution)가 된다.
변환 베이스의 제1 벡터가 D0=1이 되도록 하고 그 외에는 모두 Di=0(i>0)이 되도록 하는 표준 변환 베이스(예컨대, DCT, DST, FFT)의 경우에는 하기의 수학식이 얻어진다.
Figure pat00032
따라서,
Figure pat00033
새로운 각 계수에 대해서는 선형 시스템의 해가 되기 전에
Figure pat00034
,
Figure pat00035
항만이 갱신된다는 것에 유의해야 한다.
제2 방법에 따라서, 정제된 조도 변화 파라미터
Figure pat00036
와
Figure pat00037
는 우도 최대화(likelihood maximization)에 의해 구해진다.
파라미터
Figure pat00038
와
Figure pat00039
는 a와 b,
Figure pat00040
와
Figure pat00041
(p+kp에서 i=0)를 알려주는 정확한 계수인(즉, 양자화되지 않은) 계수
Figure pat00042
의 우도를 최대화하는 것이다.
Figure pat00043
는 선형 모델,
Figure pat00044
에 따라서
Figure pat00045
에 의해 근사화된다.
여기서, εi는 분산 σ2 i과 상관되지 않은 잡음 가정 백색 가우시안이다.
Figure pat00046
(ni는 양자화 잡음)이므로, 다음과 같이 된다.
Figure pat00047
적용된 양자화는 확율 1/Qi(Qi는 이용된 양자화 스텝임)의 균일 양자화이고, 양자화 잡음 ni는 균일하다.
εi와 ni가 i에 관계없이 서로 독립적이라고 가정하면, 다음과 같이 된다.
Figure pat00048
그리고
Figure pat00049
마지막으로 a와 b에 대해 최대화될 기능은 다음과 같다.
Figure pat00050
여기서, K는 a 및 b와 관계없는 파라미터이다.
이 최대를 구하기 위해서는 추계적 그래디언트 타입의 해법이 이용될 수 있다.
이 제2 방법의 변형에 따라서, 공식
Figure pat00051
에 끼어든 부가 잡음 ni는 중앙 가우시안형으로 간주된다. 이 특정 경우에서, 이 잡음의 분산은 균일 양자화 잡음의 분산에 대응한다, 즉,
Figure pat00052
이다.
그러면, 우도는 다음과 같다.
Figure pat00053
여기서, K는 a 및 b와 무관한 파라미터이다.
그러면, a와 b에 대한 우도의 최대화는 전술한 것과 같은 가중 최소 자승에 해가 된다.
선택적 단계(150)에서, 이미 재구성된 계수는 하기 방정식에 따라서 새로운 조도 변화 파라미터
Figure pat00054
와
Figure pat00055
에 기초하여 정제된다.
p+kp에서 i=0에 대해
Figure pat00056
일 변형에 따라서, 이 선택적 단계는 N-1에서 i=0에 대한 모든 계수
Figure pat00057
가 재구성될 때에 한 번만 구현된다.
단계(160)에서, 현 블록(Bcur)의 N개 계수
Figure pat00058
가 재구성되는 지를 체크한다. 재구성된다면 방법은 단계(180)에서 계속하고, 재구성되지 않으면 단계(170)에서 p가 증분되며: p=p+kp, 방법은 단계(120)에서 계속한다.
단계(180)에서, 변환된 영역에서 재구성된 계수
Figure pat00059
의 블록은 역변환에 의해 재구성된 화소 블록(Brec)으로 변환된다.
도 4는 본 발명의 특정 실시예에 따른 현 화소 블록(Bcur)을 코딩하는 방법을 보여준다.
단계(200)에서, 현 블록(Bcur)은 계수
Figure pat00060
(i=0...N-1)의 블록으로 변환된다. 코딩될 현 블록의 제1 잔여 계수
Figure pat00061
는 예컨대 공식
Figure pat00062
(여기서,
Figure pat00063
이고,
Figure pat00064
는 변환의 인덱스 0의 베이스 벡터임)에 따라 산출된다. ainit와 binit는 조도 변화 파라미터의 초기치이다. 조도 변화 파라미터의 이들 초기치는 예컨대 재구성 방법에 전송되도록 코딩되거나, 아니면 예컨대 비디오 코딩 표준에 따라 미리 정해지고, 따라서 재구성 방법을 알게 된다. 기준 블록(Bref)의 계수 Ci ref도 구해진다. 기준 블록(Bref)은 예컨대 모션 벡터를 이용하여 화상 영역에서 결정되고, 그런 다음에, 계수
Figure pat00065
의 블록으로 변환된다.
단계(210)에서, p는 0으로 초기화된다.
단계(220)에서, 하기 공식에 따라서 예측 계수
Figure pat00066
(i=p+1, ..., p+kp, kp≥1, p+kp<N)가 산출된다.
Figure pat00067
단계(230)에서, 잔여 계수
Figure pat00068
(i=p+1, ..., p+kp)가 다음과 같이 산출된다.
Figure pat00069
단계(240)에서, 재구성된 계수
Figure pat00070
(i=p+1, ..., p+kp)가 예측 계수
Figure pat00071
와, 양자화된 다음에 역양자화된 잔여 계수
Figure pat00072
로부터 하기 공식에 따라 산출된다.
Figure pat00073
Figure pat00074
Q와 Q-1은 각각 양자화와 그 다음의 역양자화 동작을 나타낸다.
단계(250)에서, 파라미터 a와 b는 재구성된 계수
Figure pat00075
와 기준 블록 내의 그 대응 계수
Figure pat00076
(p+kp에서 i=0)로부터 정제된다. 정제된 파라미터는
Figure pat00077
와
Figure pat00078
로 표시한다. 이 단계는 단계(140)와 같다.
선택적 단계(260)에서, 이미 재구성된 계수는 하기 방정식에 따라서 새로운 조도 변화 파라미터
Figure pat00079
와
Figure pat00080
에 기초하여 정제된다.
p+kp에서 i=0에 대해
Figure pat00081
이 단계는 단계(150)와 같다.
일 변형에 따라서. 이 선택적 단계(260)는 N-1에서 i=0에 대한 모든 계수
Figure pat00082
가 재구성될 때에 한 번만 구현된다.
단계(270)에서, 변환된 잔여 블록의 모든 잔여 계수
Figure pat00083
가 산출되는 지를 체크한다. 산출된다면 방법은 단계(290)에서 계속하고, 산출되지 않으면 단계(280)에서 p가 증분되며: p=p+kp이고, 방법은 단계(220)에서 계속한다.
단계(290)에서, 잔여 계수
Figure pat00084
는 양자화되고, 엔트로피 코딩에 의해 스트림(F)으로 코딩된다. 그 다음, 변환 영역에서 재구성된 계수
Figure pat00085
의 블록은 역변환에 의해 재구성된 화소 블록(Brec)으로 변환된다. 이 화소 블록은 그 자체가, 비디오 예측에서 통상적으로 행해지는 바와 같이, 나중에 공간적으로 또는 시간적으로 어떤 기준으로 이용될 수 있다.
이러한 코딩 및 재구성 방법은 신호 특성의 로컬 변화, 특히 조도 변화에 영구적인 그리고 매우 정확한 예측 적용이 가능하다. 그 외에도, 이러한 방법에 따르면, 로컬 조도 변화 파라미터들을 각각 명시적으로 코딩, 디코딩할 필요가 없다.
예측 모델을 정제하는 단계(140, 240)는 타입
Figure pat00086
의 선형 모델 이외의 모델에도 적용될 수 있다. 본 발명은 다른 모델
Figure pat00087
로 일반화될 수 있다. 여기서, f[.]은 비디오 신호의 시간적 변화를 기술하는 함수이다.
또한, 본 발명은 도 5를 참조로 설명되는 코딩 장치(12)와 도 6을 참조로 설명되는 디코딩 장치(13)에 관한 것으로, 이들 장치의 구조는 조도 변화 파라미터를 정제하기 위해, 변환된 영역에서 예측을 시행하도록 변형된 것이다. 이 도면들에서, 음영이 있는(greyed) 모듈은 각각 표준 코딩, 디코딩 방식에 대해 부가 또는 변형된 모듈이다. 도 5와 6에서, 도시된 모듈은 물리적으로 구별가능한 유닛에 대응할 수도 대응하지 않을 수도 있는 기능 유닛이다. 예컨대, 이들 모듈 또는 그 일부는 단일 구성 성분으로 함께 묶여지거나 동일 소프트웨어의 기능을 구성할 수 있다. 그와 반대로, 일부 모듈은 별도의 물리적 실체들로 구성될 수 있다.
도 5를 참조로 설명하면, 코딩 장치(12)는 그 입력부에서 화상 시퀀스에 속하는 화상을 수신한다. 각 화상은 각각이 적어도 하나의 화상 데이터 아이템과 연관된 화소 블록들(Bcur)로 분할된다. 코딩 장치(12)는 특히 시간 예측이 가능한 코딩을 구현한다. 도 3에는 시간 예측에 의한 코딩, 즉 인터 코딩(inter coding)에 관계된 코딩 장치(12)의 모듈만 도시되어 있다. 도시되어 있지는 않지만 비디오 코더 분야의 당업자가 알고 있는 다른 모듈은 공간 예측이 가능할 수도 않을 수도 있는 인트라 코딩(intra coding)을 구현한다. 코딩 장치(12)는 특히 현 블록(Bcur)을 변환 블록(Ccur)으로 변환할 수 있는 변환(T) 모듈(1100)과, 변환된 영역에서 잔여 블록(Cres _ cur)을 생성하기 위해 예컨대 계수마다 감산에 의해 변환된 블록(Ccur)으로부터 예측 블록(Cpred)을 추출할 수 있는 산출 모듈(1200)을 포함한다. 변환(T)은 예컨대 이산 코사인 변환(DCT)이다. 코딩 장치(12)는 변환된 영역에서 산출된 잔여 블록을 양자화된 계수로 양자화할 수 있는 모듈(1202)을 더 포함한다. 코딩 장치(12)는 양자화된 계수를 스트림(F)로 코딩할 수 있는 엔트로피 코딩 모듈(1204)을 더 포함한다. 코딩 장치(12)는 모듈(1202)과 반대되는 동작을 실시하는 모듈(1206)을 더 포함한다. 모듈(1206)은 역양자화(IQ)를 수행하여 역양자화된 잔여 계수(Cres)를 생성한다. 모듈(1206)은 변환 영역에서 재구성된 블록(Crec)을 생성하기 위해 예컨대 계수마다 가산에 의해 모듈(1206)로부터의 잔여 계수 블록(Cres)과 예측 블록(Cpred)을 병합할 수 있는 산출 모듈(1208)에 연결되어 있다. 산출 모듈(1208)은 변환된 영역에서 재구성된 블록(Crec)을 메모리(1212)에 저장되는 Brec로 표시된 재구성된 화상 데이터 블록으로 변환할 수 있는 역변환 모듈(1210)에 연결되어 있다.
코딩 장치(12)는 블록(Bcur)과 메모리(1212)에 저장된, 이미 코딩되어 재구성된 기준 화상(Iref)의 블록 사이에서 적어도 하나의 모션 벡터를 추정할 수 있는 모션 추정 모듈(1214)을 더 포함한다. 일 변형에 따라서, 현 블록(Bcur)과 원 기준 화상(Icur) 간에 모션 추정이 이루어질 수 있으며, 이 경우에는 메모리(1212)는 모션 추정 모듈(1214)에 연결되지 않는다. 당업자에게 잘 알려진 방법에 따라서, 모션 추정 모듈은 기준 화상(Iref)에서 모션 데이터 아이템, 구체적으로는 모션 벡터를 검색하여 현 블록(Bcur)과 그 모션 데이터 아이템을 이용하여 식별된 기준 화상(Iref) 내의 블록 간에 산출된 에러를 최소화할 수 있다.
결정된 모션 데이터 아이템은 모션 추정 모듈(1214)에 의해, 소정의 코딩 모드 세트에서 블록(Bcur)에 대한 코딩 모드를 선택할 수 있는 판단 모듈(1216)에 전송된다. 선택된 코딩 모드는 예컨대 비트레이트 왜곡형 기준을 최소화하는 모드이다. 그러나, 본 발명은 이 선택 방법에 한정되는 것은 아니며, 이 유지된 모드는 예컨대 연역형 기준과 같은 다른 기준에 따라서 선택될 수도 있다. 판단 모듈(1216)에 의해 선택된 코딩 모드와 모션 데이터, 예컨대 시간 예측 모드 또는 인터 모드의 경우의 모션 데이터는 모션 보상 모듈(1218)에 전송된다. 선택된 코딩 모드와 필요하다면 모션 데이터도 엔트로피 코딩 모듈(1204)로 전송되어 스트림(F)으로 코딩된다. 모션 보상 모듈(1218)은 판단 모듈(1216)에 의해 결정된 코딩 모듈과 가능하게는 모션 추정 모듈(1214)에 의해 결정된 모션 데이터로부터 기준 블록(Bref)을 결정한다(화상간 예측). 모션 보상 모듈(1218)은 변환 모듈(1100)과 동일한 변환 모듈(1220)에 연결되어 있다. 변환 모듈(1220)은 화상 영역에서 구한 기준 블록(Bref)을 변환된 기준 블록(Cref)으로 변환할 수 있다. 변환 모듈(1220)은 조도 변화 파라미터로부터 예측 블록(Cpred)을 생성할 수 있는 예측 산출 모듈(1222)에 연결되어 있다. 변환 모듈(1220)은 코딩 방법의 단계(250)에 따라서 조도 변화 파라미터를 정제할 수 있는 모듈(1224)과, 선택적으로, 코딩 방법의 단계(260)에 따라서, 상기 정제된 조도 변화 파라미터에 기초하여 이미 재구성된 계수를 정제할 수 있는 모듈(1226)에도 연결되어 있다.
도 6을 참조로 설명하면, 디코딩 장치(13)는 그 입력부에서 화상 시퀀스를 나타내는 코딩된 데이터 스트림(F)을 수신한다. 스트림(F)은 예컨대 채널을 통해 코딩 장치(12)에 의해 전송된다. 디코딩 장치(13)는 예컨대 코딩 모드에 대한 디코딩된 데이터와, 화상 내용에 관계된 디코딩된 데이터를 생성할 수 있는 엔트로피 디코딩 모듈(1300)을 포함한다.
디코딩 장치(13)는 모션 데이터 재구성 모듈을 더 포함한다. 제1 실시예에 따라서, 모션 데이터 재구성 모듈은 상기 모션 데이터를 나타내는 스트림(F)의 일부를 디코딩하는 엔트로피 디코딩 모듈(1300)이다. 도 6에는 도시되지 않은 변형에 따라서, 모션 데이터 재구성 모듈은 모션 추정 모듈이다. 디코딩 장치(13)를 통해 모션 데이터를 재구성하는 이 해법은 "템플릿 매칭"이라 한다.
그 다음, 화상 내용에 관한 디코딩된 데이터는 잔여 계수(Cres)를 생성하기 위해 역양자화를 수행할 수 있는 모듈(1302)로 전송된다. 이 모듈(1302)은 생성된 코딩된 스트림(F)을 가진 코딩 장치(12)의 모듈(1206)과 같은 것이다. 모듈(1302)은 변환된 영역에서 재구성된 현 블록(Crec)을 생성하기 위해 예컨대 계수마다 가산에 의해 모듈(1302)로부터의 잔여 계수(Cres) 블록과 예측 블록(Cpred)을 병합할 수 있는 산출 모듈(1304)에 연결되어 있다. 변환된 영역에서 재구성된 현 블록(Crec)은 코딩 장치의 모듈(1210)과 동일한 역변환 모듈(1306)에 의해 화상 영역에서 재구성된 블록(Brec)으로 변환된다. 역변환 모듈(1306)은 특히 화상 영역에서 재구성된 데이터가 저장된 메모리(1308)에 연결되어 있다. 디코딩 장치(13)는 모션 보상 모듈(1310)을 더 포함한다. 모션 보상 모듈(1310)은 엔트로피 디코딩 모듈(1300)에 의해 현 블록에 대해 디코딩된 코딩 모드와 가능하게는 모션 데이터 재구성 모듈에 의해 결정된 모션 데이터로부터 기준 블록(Bref)을 결정한다. 모션 보상 모듈(1310)은 코딩 장치의 변환 모듈(1220)과 동일한 변환 모듈(1312)에 연결되어 있다. 변환 모듈(1312)은 화상 영역에서 구한 기준 블록(Bref)을 변환된 기준 블록(Cref)으로 변환할 수 있다. 변환 모듈(1312)은 조도 변화 파라미터로부터 정제된 예측 블록(Cpred)을 발생할 수 있는 예측 산출 모듈(1314)에 연결되어 있다. 변환 모듈(1312)은 재구성 방법의 단계(140)에 따라 조도 변화 파라미터를 정제할 수 있는 정제 모듈(1316)과, 선택적으로, 재구성 방법의 단계(150)에 따라서, 상기 정제된 조도 변화 파라미터에 기초하여 이미 재구성된 계수를 정제할 수 있는 모듈(1318)에도 연결되어 있다.
본 발명에 따른 코딩 장치와 디코딩 장치는 예컨대 하드웨어, 소프트웨어, 펌웨어, 전용 프로세서, 또는 이들의 조합과 같이 여러 가지 형태로 구현된다. 바람직하게는, 본 발명의 원리는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 더욱이, 소프트웨어는 바람직하게는 프로그램 저장 장치에서 실재적으로 구현된 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적당한 구조를 포함하는 기계로 업로드되어 이 기계에 의해 실행될 수 있다. 바람직하게는, 이 기계는 하나 이상의 중앙 처리 장치(CPU), 랜덤 액세스 메모리(RAM) 및 입/출력(I/O) 인터페이스(들)와 같은 하드웨어를 가진 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 운영 체제와 마이크로명령 코드도 포함한다. 여기서 설명된 여러 가지 프로세스와 기능은 운영 체제를 통해 실행되는 마이크로명령 코드의 일부이거나 애플리케이션 프로그램의 일부(또는 이들의 조합)일 수 있다. 그 외에도, 부가적인 데이터 저장 장치나 프린팅 장치와 같은 다른 여러 가지 주변 장치도 컴퓨터 플랫폼에 연결될 수 있다.
변형에 따라서, 본 발명에 따른 코딩 장치와 디코딩 장치는 순수한 하드웨어 실현에 따라서, 예컨대 전용 컴포넌트(예컨대, ASIC(Application Specific Integrated Circuit)), FPGA(Field-Programmable Gate Array), VLSI(Very Large Scale Integration), 또는 장치 내에 통합된 몇 가지 전자 부품의 형태로, 또는 심지어 하드웨어 요소와 소프트웨어 요소의 혼합 형태로 구현된다.
12: 코딩 장치
13: 디코딩 장치
1100: 변환 모듈
1200: 산출 모듈
1210: 역변환 모듈
1212: 메모리
1214: 모션 추정 모듈
1300: 엔트로피 디코딩 모듈
1310: 모션 보상 모듈
1312: 변환 모듈
1314: 예측 산출 모듈
1316: 정제 모듈

Claims (15)

  1. N개의 화소의 현 블록을 재구성하는 방법으로서 - N은 정수임 -,
    N개의 잔여 계수를 디코딩 및 역양자화하는 단계(100);
    N개의 기준 계수를 결정하는 단계(100);
    상기 N개의 잔여 계수로부터, 그리고 적어도 하나의 조도 변화(illumination variation) 파라미터에 의해 정의된 조도 변화 모델을 이용하여 상기 N개의 기준 계수로부터 결정된 N개의 예측 계수로부터 상기 현 블록에 대한 N개의 계수를 반복적으로 재구성하는 단계(175) - 상기 조도 변화 파라미터는 상기 현 블록에 대한 k개의 계수의 각각의 재구성 시에 정제(refined)되고, k는 정수이고 1≤k<N임 -; 및
    상기 N개의 재구성된 계수를 N개의 화소의 현 블록으로 변환하는 단계(180)
    를 포함하는 것을 특징으로 하는 재구성 방법.
  2. 제1항에 있어서,
    상기 현 블록에 대한 상기 N개의 계수를 재구성하는 단계는,
    a) 상기 조도 변화 모델을 고려하여 상기 기준 계수들로부터 k개의 제1 예측 계수를 산출하는 단계(110, 120);
    b) k개의 제1 잔여 계수와 상기 산출된 k개의 제1 예측 계수로부터 재구성된 k개의 계수를 산출하는 단계(130);
    c) 이미 재구성된 모든 계수로부터 그리고 그에 대응하는 기준 계수들로부터 상기 적어도 하나의 조도 변화 파라미터를 정제하는 단계(140); 및
    d) 후속되는 k개의 계수에 대해 N개의 재구성된 계수를 산출할 때까지 상기 단계 a) 내지 c)를 반복하는 단계(160, 170)
    를 포함하는 재구성 방법.
  3. 제1항에 있어서,
    상기 단계 c)와 단계 d) 사이에, 상기 단계 c)에서 정제된 상기 적어도 하나의 조도 변화 파라미터로부터 그리고 상기 대응하는 기준 계수들로부터 이미 재구성된 모든 계수를 정제하는 단계(150)를 포함하는 재구성 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 k의 값은 1인 재구성 방법.
  5. 제2항 또는 제3항에 있어서,
    상기 k의 값은 반복할 때마다 변경되는 재구성 방법.
  6. 제5항에 있어서,
    상기 k의 값은 널(null) 잔여 계수들에 의해 분리된 2개의 논-널(non-null) 잔여 계수들 간의 거리인 재구성 방법.
  7. 제5항에 있어서,
    상기 k의 값은, 임계치보다 더 크며 상기 임계치보다 작은 잔여 계수들에 의해 분리된 2개의 잔여 계수들 간의 거리인 재구성 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 적어도 하나의 정제된 조도 변화 파라미터는 양자화 잡음의 분산에 의해 가중된 2차 에러를 최소화함으로써 결정되고, 상기 2차 에러는 상기 재구성된 계수들과 그에 대응하는 기준 계수들 사이에서 산출되는 재구성 방법.
  9. N개의 화소의 현 블록을 코딩하는 방법으로서 - N은 정수임 -,
    상기 현 블록을 N개의 현 계수로 변환하는 단계(200);
    N개의 기준 계수를 결정하는 단계(200);
    상기 N개의 현 계수로부터, 그리고 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 이용하여 상기 N개의 기준 계수로부터 결정된 N개의 예측 계수로부터 N개의 잔여 계수를 반복적으로 산출하는 단계(285) - 상기 조도 변화 파라미터는 상기 현 블록의 k개의 계수의 각각의 재구성 시에 정제되고, k는 정수이고 1≤k<N임 -; 및
    상기 N개의 잔여 계수를 양자화 및 코딩하는 단계(290)
    를 포함하는 것을 특징으로 하는 코딩 방법.
  10. 제6항에 있어서,
    상기 N개의 잔여 계수를 산출하는 단계는,
    a) 상기 조도 변화 모델을 고려하여 상기 기준 계수들로부터 k개의 제1 예측 계수를 산출하는 단계(220);
    b) k개의 제1 현 계수로부터 그리고 상기 산출된 k개의 제1 예측 계수로부터 k개의 잔여 계수를 산출하는 단계(230);
    c) 양자화된 다음에 역양자화된 k개의 제1 잔여 계수로부터 그리고 상기 산출된 k개의 제1 예측 계수로부터 재구성된 k개의 계수를 산출하는 단계(240);
    d) 이미 재구성된 모든 계수 및 그에 대응하는 기준 계수들로부터 상기 적어도 하나의 조도 변화 파라미터를 정제하는 단계(250); 및
    e) 후속되는 k개의 계수에 대해 N개의 잔여 계수를 산출할 때까지 상기 단계 a) 내지 d)를 반복하는 단계(270, 280)
    를 포함하는 코딩 방법.
  11. 제10항에 있어서,
    상기 단계 d)와 단계 e) 사이에, 상기 단계 d)에서 정제된 상기 적어도 하나의 조도 변화 파라미터와 상기 대응하는 기준 계수들로부터 이미 재구성된 모든 계수를 정제하는 단계(260)를 포함하는 코딩 방법.
  12. N개의 화소의 현 블록을 나타내는 스트림을 디코딩하는 장치로서 - N은 정수임 -,
    상기 스트림으로부터 N개의 잔여 계수를 디코딩 및 역양자화하기 위한 수단(1300, 1302);
    N개의 기준 계수를 결정하기 위한 수단(1308, 1310, 1312);
    상기 N개의 잔여 계수로부터, 그리고 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 이용하여 상기 N개의 기준 계수로부터 결정된 N개의 예측 계수로부터 상기 현 블록에 대한 N개의 계수를 반복적으로 재구성하기 위한 수단(1304, 1314, 1316, 1318) - 상기 조도 변화 파라미터는 상기 현 블록에 대한 k개의 계수의 각각의 재구성 시에 정제되고, k는 정수이고 1≤k<N임 -; 및
    상기 N개의 재구성된 계수를 N개의 화소의 현 블록으로 변환하기 위한 수단(1306)
    을 포함하는 것을 특징으로 하는 디코딩 장치.
  13. 제12항에 있어서,
    상기 디코딩 장치는 제1항 내지 제8항 중 어느 한 항에 따른 재구성 방법의 단계들을 실행하도록 구성된 디코딩 장치.
  14. N개의 화소의 현 블록을 코딩하는 코딩 장치로서 - N은 정수임 -,
    상기 현 블록을 N개의 현 계수로 변환하기 위한 수단(1100);
    N개의 기준 계수를 결정하기 위한 수단(1212, 1214, 1216, 1218, 1220);
    상기 N개 현 계수로부터, 그리고 적어도 하나의 조도 변화 파라미터에 의해 정의된 조도 변화 모델을 이용하여 상기 N개의 기준 계수로부터 결정된 N개의 예측 계수로부터 N개의 잔여 계수를 반복적으로 산출하기 위한 수단(1200, 1222, 1224, 1226) - 상기 조도 변화 파라미터는 상기 현 블록의 k개의 계수의 각각의 재구성 시에 정제되고, k는 정수이고 1≤k<N임 -; 및
    상기 N개의 잔여 계수를 양자화 및 코딩하기 위한 수단(1202, 1204)
    을 포함하는 것을 특징으로 하는 코딩 장치.
  15. 제14항에 있어서,
    상기 코딩 장치는 제9항 내지 제11항 중 어느 한 항에 따른 코딩 방법의 단계들을 실행하도록 구성된 코딩 장치.
KR1020120119685A 2011-10-27 2012-10-26 화소 블록 코딩 및 재구성 방법 및 대응 장치 KR20130046377A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1159779 2011-10-27
FR1159779 2011-10-27

Publications (1)

Publication Number Publication Date
KR20130046377A true KR20130046377A (ko) 2013-05-07

Family

ID=47008426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120119685A KR20130046377A (ko) 2011-10-27 2012-10-26 화소 블록 코딩 및 재구성 방법 및 대응 장치

Country Status (4)

Country Link
EP (1) EP2587803A1 (ko)
JP (1) JP6093546B2 (ko)
KR (1) KR20130046377A (ko)
CN (1) CN103096064B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891882B (zh) * 2016-12-26 2021-05-11 华为技术有限公司 一种基于模板匹配的编解码方法及装置
US10855997B2 (en) 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
CN111837385B (zh) * 2018-01-29 2024-04-30 交互数字Vc控股公司 利用重构画面的细化进行编码和解码
CN110223238B (zh) * 2019-04-30 2021-04-27 北京理工大学 编码光照成像重构方法及装置
CN115272556A (zh) * 2022-07-25 2022-11-01 网易（杭州）网络有限公司 反射光照确定、全局光照确定方法、装置、介质和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2759524B1 (fr) * 1997-02-10 1999-05-14 Thomson Multimedia Sa Procede et dispositif de codage par estimation de luminance
EP2154893A1 (en) * 2008-08-13 2010-02-17 Thomson Licensing Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefor and storage medium or signal carrying a block encoded by help of a modified reference block
FR2948845A1 (fr) 2009-07-30 2011-02-04 Thomson Licensing Procede de decodage d'un flux representatif d'une sequence d'images et procede de codage d'une sequence d'images

Also Published As

Publication number Publication date
JP6093546B2 (ja) 2017-03-08
CN103096064B (zh) 2017-12-01
JP2013098984A (ja) 2013-05-20
CN103096064A (zh) 2013-05-08
EP2587803A1 (en) 2013-05-01

Similar Documents

Publication Publication Date Title
KR101244917B1 (ko) 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR101591825B1 (ko) 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
JP4726047B2 (ja) 画像符号化装置
JP5545783B2 (ja) 画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法
JP5421757B2 (ja) 画像符号化装置
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
JP2013509063A (ja) 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法
JP2006140758A (ja) 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
KR20110017302A (ko) 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
KR20110045950A (ko) 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
JP6042001B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5796899B2 (ja) 画像符号化装置及び画像復号装置
KR20130046377A (ko) 화소 블록 코딩 및 재구성 방법 및 대응 장치
JP2013098984A5 (ja) ブロックの再構成方法、符号化方法、復号化装置及び符号化装置
KR20100012149A (ko) 양자화/역 양자화 장치 및 방법과 그를 이용한 영상부호화/복호화 장치
JP2023053272A (ja) 画像符号化装置、画像復号装置、及びプログラム
KR101035746B1 (ko) 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법
US11218705B2 (en) Information processing device and video encoding method
JP2019102861A (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
WO2013038888A1 (ja) 画像符号化装置及び画像復号装置
JP6004852B2 (ja) ピクセルブロックを符号化及び再構成する方法と装置
JP2013017128A (ja) イントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラム
JP5622613B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP6917718B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right