KR101648065B1 - 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR101648065B1
KR101648065B1 KR1020140126174A KR20140126174A KR101648065B1 KR 101648065 B1 KR101648065 B1 KR 101648065B1 KR 1020140126174 A KR1020140126174 A KR 1020140126174A KR 20140126174 A KR20140126174 A KR 20140126174A KR 101648065 B1 KR101648065 B1 KR 101648065B1
Authority
KR
South Korea
Prior art keywords
block
sub
sample
prediction
image
Prior art date
Application number
KR1020140126174A
Other languages
English (en)
Other versions
KR20140125333A (ko
Inventor
송진한
임정연
이영렬
문주희
김해광
전병우
한종기
김정필
김대연
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Publication of KR20140125333A publication Critical patent/KR20140125333A/ko
Application granted granted Critical
Publication of KR101648065B1 publication Critical patent/KR101648065B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예는 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
본 발명의 일 실시예는, 영상을 부호화/복호화하는 방법에 있어서, 현재 블록의 움직임 벡터에 의해 참조되는 참조블록의 서브샘플 성분의 값을 FIR필터 및 선형보간을 이용하여 보간한 값으로부터 예측블록을 생성하여 부호화하고 복호화하여 현재 블록을 더욱 정확하게 보간함으로써, 실제 블록과 예측된 블록 간의 차이를 줄여 부호화의 효율을 높일 수 있으며, 그를 통해 압축 효율을 향상시키는 영상 부호화/복호화 방법 및 장치를 제공한다.

Description

고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치{Method and Apparatus for Image Encoding/Decoding Using High Resolution Filter}
본 발명의 실시예는 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 고정밀도의 영상 신호를 생성하기 위하여 고정밀 필터를 이용하여 예측신호를 생성하고 이를 이용한 영상의 부호화/복호화 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래기술을 구성하는 것은 아니다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 기존의 MPEG-4 Part 2와 H.263 표준안보다 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced video Coding)이라 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동으로 발표되었다. 이러한 H.264/AVC(이하 'H.264'라 약칭함)에서는 다양한 인코딩 방법을 사용하여 화질과 성능 향상에서 많은 발전을 가져왔다. 또한 현재 JCT-VC(Joint Collaborative Team on Video Coding)라는 MPEG과 VCEG의 공동 팀에 의하여 HD(High-Definition)급 이상의 화질에 대한 새로운 표준안에 대하여 표준화 회의가 진행 중이다
기존의 동영상 부호화 방법에서는 현재 부호화중인 프레임 내에서 부호화된 블록으로부터 예측 값을 사용하여 예측하는 화면 내 예측 부호화 방법과 이전에 복원된 프레임으로부터 움직임을 추정하여 현재 프레임의 블록을 예측하는 화면 간 예측 부호화 방법이 사용되고 있다.
휘도(Luma) 신호에서 화면 내 예측 방법에는 예측 방향과 부호화되는 블록 사이즈에 따라 인트라 4×4 예측, 인트라 16×16 예측, 인트라 8×8 예측 등이 사용되고 있다.
도 1은 통상적인 9 가지의 4×4 인트라 예측 모드를 나타낸 도면이다.
도 1을 참조하면, 인트라 4×4 예측에는, 수직 (Vertical) 모드, 수평 (Horizontal) 모드, DC (Direct Current) 모드, 대각선 왼쪽 (Diagonal down-left) 모드, 대각선 오른쪽 (Diagonal down-right) 모드, 수직 오른쪽 (Vertical-right) 모드, 수평 아래쪽 (Horizontal-down)모드, 수직 왼쪽 (Vertical-left) 및 수평 위쪽 (Horizontal-up)모드를 포함하는 9가지의 예측 모드가 있다.
도 2는 통상적인 4 가지의 16×16 인트라 예측 모드를 나타낸 도면이다.
도 2를 참조하면, 인트라 16×16 예측에는, 수직 (Vertical) 모드, 수평 (Horizontal) 모드, DC 모드 및 플레인 (Plane)모드를 포함하는 4 가지의 예측 모드가 있다. 인트라 8×8 예측도 인트라 16×16 예측과 유사하게 4 가지의 예측 모드가 있다.
4:2:0 영상 형태를 갖는 비디오의 화면 간 예측 방법(Inter predictive coding)에는 영상 프레임을 분할해서 이전에 부호화된 프레임으로부터 움직임을 추정하여 현재의 블록을 예측하는 움직임보상을 사용하고 있다. 움직임보상의 블록크기를 작게 한다면 보다 정확한 예측을 할 수 있지만 블록마다 움직임벡터 정보를 부호화해야 하기 때문에 부호량이 증가하게 된다. 또한 움직임보상을 할 때 정수 화소를 가지는 정수 샘플에서만 움직임 벡터를 찾는 것이 아니라 휘도(Luma) 성분에 대해 1/4 샘플의 해상도, 색차 성분에 대해 1/8 샘플의 해상도를 가지는 서브 샘플 위치까지 찾음으로써 더욱 정확한 움직임 벡터를 찾는 방법이 사용되고 있다. 하지만 서브 샘플 위치의 휘도와 색차 샘플은 참조 픽쳐 내에 존재하지 않으므로 참조 픽쳐의 인접해 있는 정수 샘플들을 보간하여 이 값들을 생성해 내야 한다.
이러한 문제점을 해결하기 위해 본 발명의 실시예는, 영상을 보간 하는데 있어서 선형 보간법보다 더욱 정밀한 고 정밀도 필터를 사용함으로 영상의 압축 효율을 향상시키고 영상을 효과적으로 복원하여 주관적 화질을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 비트스트림으로부터 양자화된 주파수변환블록을 생성하는 단계; 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 단계; 상기 주파수변환블록을 역 변환하여 잔차블록을 복원하는 단계; 현재블록의 움직임 벡터에 의해 참조되는 참조블록의 서브샘플들을 보간하여 예측블록을 생성하는 단계; 및 상기 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
여기서, 상기 예측블록을 생성하는 단계는, FIR필터를 사용하여 상기 서브샘플들을 생성할 수 있으며, 상기 FIR필터는 6개 이상의 정수 화소에 근거하여 상기 서브샘플들의 값을 연산하기 위한 6개 이상의 탭을 갖는 필터일 수 있다.
또한, 상기 예측블록을 생성하는 단계는, 정수 화소들 각각에 소정의 정수 계수를 곱한 후 합산하여 합산값들을 연산하고, 제1 서브샘플 집합을 산출하는 경우, 상기 합산값들을 공통 계수로 나누어 상기 제1 서브샘플 집합을 산출하고, 제2 서브샘플 집합을 산출하는 경우, 상기 합산값들으로부터 보간된 값을 상기 공통 계수로 나누어서 상기 제2 서브샘플 집합을 산출할 수 있다. 여기서, 상기 공통 계수는 상기 정수 계수들의 합에 대응할 수 있다.
또한, 상기 예측블록을 생성하는 단계는, 휘도성분의 경우 1/4 서브샘플 위치까지 보간할 수 있고 색차성분의 경우 1/8 서브샘플 위치까지 보간할 수 있다.
본 발명의 또 다른 실시예에 따르면, 비트스트림으로부터 양자화된 주파수변환블록을 추출하는 복호화부; 상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 역양자화부; 상기 주파수변환블록을 역 변환하여 잔차블록을 복원하는 역변환부; 현재블록의 움직임 벡터에 의해 참조되는 참조블록의 서브샘플들을 보간하여 예측블록을 생성하는 예측부; 및 상기 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
여기서, 상기 예측부는, FIR필터를 사용하여 상기 서브샘플들을 생성할 수 있으며, 상기 FIR필터는, 6개 이상의 정수 화소에 근거하여 상기 서브샘플들의 값을 연산하기 위한 6개 이상의 탭을 갖는 필터일 수 있다.
또한, 상기 예측부는, 정수 화소들 각각에 소정의 정수 계수를 곱한 후 합산하여 합산값들을 연산하는 모듈, 제1 서브샘플 집합을 산출하는 경우, 상기 합산값들을 공통 계수로 나누어 상기 제1 서브샘플 집합을 산출하는 모듈, 및 제2 서브샘플 집합을 산출하는 경우, 상기 합산값들로부터 보간된 값을 상기 공통 계수로 나누어서 상기 제2 서브샘플 집합을 산출하는 모듈을 포함할 수 있다. 여기서, 상기 공통 계수는 상기 정수 계수들의 합에 대응할 수 있다.
또한, 상기 예측부는, 휘도성분의 경우 1/4 서브샘플 위치까지 보간할 수 있고 색차성분의 경우 1/8 서브샘플 위치까지 보간할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 부호화하고자 하는 현재 블록을 더욱 정확하게 보간함으로써, 실제 블록과 예측된 블록 간의 차이를 줄여 부호화의 효율을 높일 수 있으며, 그를 통해 현재 블록의 압축효율을 향상시키고 부호화방법을 고려하여 비트스트림으로 변환된 블록을 복호화함으로써 효과적으로 영상을 복원하는 효과가 있다.
도 1은 통상적인 9 가지의 4x4 인트라 예측 모드를 나타낸 도면이다.
도 2는 통상적인 4 가지의 16x16 인트라 예측 모드를 나타낸 도면이다.
도 3은 휘도(Luma) 성분에서 통상적인 서브 샘플을 이용한 움직임 예측을 나타낸 도면이다.
도 4는 통상적인 6-tab FIR(Finite Impulse Response) 필터의 예시이다
도 5는 통상적인 색차(Chroma) 샘플에 대한 선형 보간을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 7은 본 발명의 일 실시예에 따라 예측부(610)가 블록 내의 서브샘플값을 보간하는 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도이다.
도 9는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
도 3은 휘도(Luma) 성분에서 통상적인 서브 샘플을 이용한 움직임 예측을 나타낸 도면이다.
도 3을 참조하면, 정수 샘플 단위에서 1/4 샘플의 서브 샘플 위치까지 움직임 벡터를 구할 수 있다.
도 4는 6-tab FIR(Finite Impulse Response) 필터의 예시이다.
도 4를 참조하면, 정수 화소의 값을 가지는 6개의 값과 6개의 필터계수 {1, -5, 20, 20, -5, 1} 를 이용하여 1/2 샘플 위치의 화소값을 보간하고 1/4 샘플의 성분은 보간된 1/2 샘플 화소값과 정수 화소값 또는 두개의 1/2 샘플 화소값을 이용한 선형 보간으로 보간하여 다음 식의 예시처럼 1/4 샘플의 위치의 화소값을 보간한다.
예) b' = (1×E + (-5)×F + 20×G + 20×H + (-5)×I + 1×J)
b = b' / 32
a = ((32×G) + b') / 64
이러한 서브 샘플들을 생성하는데 통상적인 이 방법 외에 더 정확한 서브 샘플의 값을 보간하기 위하여 1/2 샘플을 보간할 때 32로 나누지 않고 정수 화소의 값에 32를 곱하여 1/4 샘플의 값을 선형 보간하고 64로 나눠줌으로써 중간에 일어나는 나눗셈 연산으로 인한 오차 값을 줄이므로 더 정확한 서브샘플의 값을 보간하는 방법과 다른 필터 계수를 사용하는 등 많은 방법이 있다.
도 5는 색차(Chroma) 샘플에 대한 선형 보간을 예시한 도면이다.
도 5를 참조하면, 다음 식의 예시처럼 정수 화소 4개의 값을 이용하여 양선형 보간(bi-linear interpolation)을 이용하여, 각 서브샘플의 위치를 고려하여 가중치 값을 곱해줌으로써 아래 수식처럼 1/8 서브 샘플의 화소값을 보간한다.
(수식): a = [(8-dx)×(8-dy)×A + dx×(8-dy)×B + (8-dx)×dy×C + dx×dy×D)]/64.
즉, 도 5의 예에서 {a = [(6×5×A)+(2×5×B)+(6×3×C)+(2×3×D)] / 64}가 된다.
1/8 서브 샘플 보간을 하는 이유는 4:2:0 영상형태의 경우 색차신호의 크기가 휘도신호의 1/4 (가로 1/2, 세로 1/2)이기 때문이다.
이처럼 색차 샘플에 대해서 선형 보간만을 사용하여 1/8 샘플의 해상도까지 보간하였을 경우 이는 6-tap FIR 필터와 비교해 보았을 때 정확하지 않기 때문에 색차 샘플을 부호화하는데 있어서 압축 효율을 저하시킨다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(600)는 영상의 현재 블록을 휘도 성분의 움직임 벡터 값을 이용하여 색차 성분의 서브샘플 예측값을 생성하여 영상을 부호화하는 장치로서, 도 6에 도시한 바와 같이, 예측부(610), 감산부(620), 변환부(630), 양자화부(640) 및 부호화부(650)를 포함하여 구성될 수 있다.
부호화하고자 하는 입력 영상은 매크로 블록(Macro Block) 단위로 입력이 되는데, 본 발명에서, 매크로 블록은 M×N 형태이며 M과 N은 각 2n의 크기를 가지며, M과 N이 동일하거나 다를 수 있다.
예측부(610)는 현재 블록의 색차 성분의 움직임 벡터에 의해 참조되는 참조블록의 색차성분의 서브샘플 성분의 값을 FIR필터 및 선형보간을 이용하여 보간한 값으로부터 색차 성분에 대한 예측블록을 생성한다.
예측부(610)는 현재 매크로 블록을 예측하기 위하여 다른 프레임을 이용하여 예측 블록을 생성할 수 있다. 즉, 예측부(610)는 이미 부호화 과정을 거치고 복원된 이전 프레임에서 움직임 추정을 통해 움직임 벡터를 생성하고 이 움직임 벡터를 이용한 움직임 보상 과정에서 예측 블록을 생성할 수 있다. 이때, 예측부(610)는 휘도 성분의 움직임 벡터의 값을 이용하여 색차 성분에서도 동일한 움직임 벡터값을 사용할 수 있으며, 이 움직임 벡터가 지시하는 참조프레임 내의 블록의 서브샘플 성분의 값을 고정밀도 FIR 필터와 선형 보간을 사용한 예측 값을 갖는 예측 블록을 생성할 수 있다.
감산부(620)는 현재 블록의 각 화소의 원 화소값과 예측부(610)가 생성한 예측값의 차이값을 계산하여 잔차신호를 생성한다.
변환부(630)는 감산부(620)에 의해 생성된 잔차신호를 주파수 영역으로 변환한다. 여기서, 변환부(630)는 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT 변환'이라 칭함) 또는 웨이블릿 변환(Wavelet Transform) 등의 시간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차신호를 주파수 영역으로 변환할 수 있다.
양자화부(640)는 변환부(630)에 의해 주파수 영역으로 변환된 잔차신호로 이루어진 주파수변환블록을 양자화(Quantization)한다. 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스 (Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법을 이용할 수 있다.
부호화부(650)는 양자화부(640)에 의해 양자화된 주파수 계수로 이루어진 양자화된 주파수변환블록을 비트스트림으로 부호화한다. 이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다.
또한, 부호화부(650)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수 계수가 부호화 된 비트열이 포함되는 필드와 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트가 포함되는 필드를 포함할 수 있다.
역양자화부(660)는 변환 및 양자화된 잔차 블록(즉, 양자화된 주파수변환블록)을 역 양자화(Inverse Quantization)하고, 역변환부(670)는 역양자화된 변환 잔차 블록을 역 변환(Inverse Transform)하여 잔차 블록을 복원(Reconstruction)한다. 여기서, 역 양자화와 역 변환은 변환부(630)가 수행한 변환 과정과 양자화부(640)가 수행한 양자화 과정을 각각 역으로 수행함으로써 이루어질 수 있다. 즉, 역양자화부(660) 및 역변환부(670)는 변환부(630) 및 양자화부(640)로부터 발생되어 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 역 양자화 및 역 변환을 수행할 수 있다.
가산부(680)는 예측부(610)에서 생성된 예측 블록과 역변환부(670)에 의해 생성된 잔차 블록을 가산하여 복원된 블록을 생성한다.
프레임 메모리(690)는 가산부(680)에서 복원된 블록을 저장하여 인트라 혹은 인터 예측 수행 시 예측 블록을 생성하기 위해 참조블록으로 사용된다.
도 7은 본 발명의 일 실시예에 따라 예측부(610)가 블록 내의 서브샘플값을 보간하는 과정을 설명하기 위한 예시도이다.
도 7의 서브샘플의 보간은 수학식 1 내지 수학식 4와 같은 방법을 이용하여 수행될 수 있다.
Figure 112014089899013-pat00001
즉, 1/2 서브샘플 값은 주변의 정수화소값에 대하여 각각 소정의 값만큼 곱한 후 이들 곱해진 값들을 더한 값인 1/2샘플 증폭값을 이용하여 구할 수 있다.
즉, 1/2 서브샘플 값은 좌측 3개의 정수화소 값(A, B, C)과 우측 3개의 정수화소 값(D, E, F)을 이용하여 구할 수 있다.
Figure 112014089899013-pat00002
즉, 1/4 서브샘플 값은 최근접 정수화소 값(C)과 1/2샘플 증폭값(d')을 이용하여 구할 수 있다. b를 수식의 구하는 형식은 1/2 서브샘플을 직접 선형보간하지 않고 최근접 정수화소 값(C)과 1/2샘플 증폭값(d')을 선형보간한 형태를 다시 나누어서 d를 구하면서 발생하는 정수화에 의한 오차를 제거할 수 있다.
Figure 112014089899013-pat00003
b' 역시 최근접 정수화소 값(C)과 1/2샘플 증폭값(d')을 이용하여 구할 수 있으므로, 1/8 서브샘플 값 역시 최근접 정수화소 값(C)과 1/2샘플 증폭값(d')을 이용하여 구할 수 있다.
Figure 112014089899013-pat00004
수학식 1, 2, 3, 4 및 도 7에서, A, B, C, D, E, F는 색차 성분의 정수 화소 값을 나타내며 d는 색차성분의 1/2 서브샘플, b는 색차성분의 1/4 서브샘플, a는 색차성분의 1/8 서브샘플을 나타낸다.
수학식 1에 나타낸 바와 같이, 색차성분의 1/2 서브샘플의 값은 고정밀도 필터(여기서 고정밀도 필터는 FIR필터 등 다양한 필터를 사용할 수 있음)를 이용하여 생성하고, 수학식 2에 나타낸 바와 같이, 1/4 서브샘플의 값은 고정밀도 필터 및 선형보간을 사용한다. 특히 1/8 서브샘플의 경우에는 수학식 3과 같이 정수 화소와 1/4 서브샘플을 이용하여 고정밀도의 선형 보간할 수 있으며, 또한 수학식 4와 같이 정수화소와 1/2 서브샘플을 이용하여 고정밀도의 선형 보간을 할 수 있다. 이때, w1과 w2는 정수화소와 1/2 서브샘플에 곱해지는 가중치 값을 나타낸다. 이와 같이 수학식 1을 이용한 1/2 서브샘플 값(예컨대 d)과, 수학식 2를 이용한 1/4 서브샘플 값(예컨대 b)은 고정밀도 FIR필터를 사용하여 생성하고, 수학식 3을 이용한 1/8 서브샘플 값(예컨대 a)은 두 화소값 사이의 선형 보간을 통해 생성하므로 모든 서브샘플을 선형 보간만으로 보간하였을 경우보다 더 정확한 값을 생성할 수 있다.
수학식 1 내지 5에서 사용되는 나눗셈 연산은 모두 비트 시프트 연산 (>>, <<)을 이용하여 처리 속도를 향상시킬 수 있다.
또한, 수학식 1 내지 4에서 소수점 이하에 대한 반올림 연산을 위하여 제수(나누는 값)의 절반을 피제수에 미리 더하여 사용될 수 있다. 다음 수학식 5는 수학식 3에 상기 반올림 연산을 추가한 식이다.
Figure 112014089899013-pat00005
여기서, FIR필터는 디지털 필터의 한 종류로 입력신호의 일정한 값들만을 가지고 필터링을 수행한다. 따라서 FIR필터에 대하여 필터의 특성함수인 임펄스 응답을 구해보면 유한한 길이를 가진다. 또한 FIR필터의 식의 형태에서 보면 회귀(feedback)성분을 갖지 않으므로 동일한 특성을 구현할 때 차수가 높아져서 실행시간이 증가하지만 위상변이(즉, 입력과 출력간의 파형의 형태유지)가 중요한 경우에는 FIR필터를 사용할 수 있다.
또한, 여기서 사용한 고정밀도 FIR필터는 1/2 서브샘플은 FIR필터를 사용하고, 1/4 서브샘플은 수학식 2에서 나타낸 것과 같이 FIR필터를 사용한 값(d')에 32로 나눈 1/2 서브샘플의 값(수학식 1에서의 d)을 사용하지 않고 32로 나누기 전의 값(즉, 1/2 서브샘플의 값을 구할때 얻은 FIR필터링 결과값 d')과 정수화소의 값에 32를 곱한 값(32XC)을 선형 보간함으로써 중간에 나눗셈 연산으로 인한 정보손실을 막음으로써 더 정밀한 값을 보간하는 방법이다.
또한 수학식 1의 d', 수학식 2의 b', 수학식 3의 a' 와 같은 모든 서브샘플값들과, 서브샘플값과 같은 비트수를 갖도록 비트를 증가시킨 정수 화소값은 다음단계에서 현재블록에 대한 예측블록을 얻을 때 샘플 값들로 사용할 수 있으며, 예측블록을 얻은 후 가중치로 나누어 예측블록의 샘플당 비트수가 현재블록의 샘플당 비트수가 되도록 함으로서 더 좋은 성능을 보이는 것이 가능하다.
또한 수학식 4에서 a(1/8 서브샘플)를 보간한 값만을 구하는 식인 것으로 설명하였으나 b(1/4 서브샘플)을 구하는 경우에도 a를 구하는 경우와 달리하여 가중치(w1, w2)를 설정함으로써 b를 구할 수 있다. 그리고, 마찬가지의 방법으로 수학식 2에서 b' 대신 f', b 대신 f, C 대신 D를 사용하면 f를 구할 수 있으며, 수학식 3에서 a' 대신 g, a 대신 g, b' 대신 f', b 대신 f, C 대신 D를 사용하면 g를 구할 수 있다. 한편, 1/8 서브샘플인 c는 b와 d를 보간하면 구할 수 있고, e는 d와 f를 보간하면 구할 수 있으므로 a 또는 g와 유사하게 최근접 정수화소 값(C)과 1/2샘플 증폭값(d')을 이용하여 구할 수 있다.
위와 같이 주변의 정수화소 값을 구하여 1/2 서브샘플을 구하고, 이보다 더 세밀한 서브샘플의 값(1/4 서브샘플, 1/8 서브샘플 등)은 좌우의(또는 상하의) 덜 세밀한 근접 서브샘플 값 또는 근접 정수화소 값을 이용하여 보간(즉, 1/4 샘플값을 구할 때는 1/2서브샘플 및 정수화소를 이용)할 수 있다. 이와 같이 다양한 위치의 서브샘플의 보간을 위하여 서브샘플 또는 정수화소의 값을 사용하는 경우에 대한 것은 모든 서브샘플의 경우에 대하여 설명하지 않더라도 당업자라면 이를 추론할 수 있을 것이다.
또한, 여기서 사용한 고정밀도 FIR필터와 선형 보간 이외에 다른 보간법을 사용하여도 되지만, 1/2 샘플을 위하여 6-tab 이상을 갖는 FIR 필터, 1/4 샘플을 위하여 위의 수학식 2처럼 고정밀도 기능을 갖도록 보간을 하는 것이 중요하다.
4:2:0의 영상형태의 경우 위의 수학식 1 내지 수학식 3을 이용하여 참조프레임 내의 참조블록을 보간할 수 있고, 4:4:4의 영상형태의 경우는 참조블록 내의 휘도 성분과 색차 성분의 크기가 동일하므로 휘도 성분과 마찬가지로 색차 성분 또한 1/4샘플 위치까지 보간하면 된다. 그러므로 수학식 3의 1/8 샘플위치의 보간은 생략하면 4:4:4 영상형태에서도 사용 가능하다.
또한, 4:2:2의 영상형태일 경우는 수평방향 색차 성분의 크기가 휘도 성분의 1/2이므로 수평방향의 색차 성분은 수학식 1 내지 수학식 3처럼 1/8 서브샘플 위치까지 보간하고, 수직 방향은 위에 4:4:4 영상형태와 마찬가지로 수학식 1 및 2를 이용하여 1/4 서브샘플의 위치까지만 보간하여 서브샘플을 생성할 수 있다.
또한, 현재 HD급 이상의 화질에 대한 표준화 회의중인 TMuC(Test Model under Consideration)에서는 휘도 성분을 1/8 서브샘플까지 보간할 수 있으므로 4:2:0 영상형태에서 색차 성분은 1/16 서브샘플까지 보간할 수 있다. 그렇기 때문에 1/8 서브위치까지는 본 발명의 일 실시예에서 진술한 바와 같이 만들어 내고 1/16 서브샘플의 위치는 다시 선형 보간을 사용하여 보간할 수 있다.
한편, 본 실시예에서 색차성분에 대한 것을 예로 들어 필터링 및 보간방법에 대하여 설명하였으나, 이러한 방법은 색차성분 뿐만 아니라 휘도성분 및 R, G, B 색상의 블록 등 다양한 블록에 대해서도 적용될 수 있는 것이며, 이는 후술하는 복호화방법에서 있어서도 마찬가로 색차성분 뿐만 아니라 휘도성분 및 R, G, B 색상의 블록 등 다양한 블록에 대해서도 적용될 수 있는 것이다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 나타낸 블록 구성도이다.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 복호화 장치(800)는 영상의 현재 블록을 휘도 성분의 움직임 벡터 값을 이용하여 색차 성분의 서브샘플 예측값을 생성하여 복호화하는 장치로서, 복호화부(810), 역양자화부(820), 역변환부(830), 가산부(840) 및 예측부(850)를 포함하여 구성된다.
복호화부(810)는 비트스트림을 복호화하여 양자화된 주파수변환블록을 추출한다.
복호화부(810)는 부호화 데이터를 복호화하여 양자화된 주파수변환블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터(즉, 비트스트림) 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 블록 타입에 대한 정보, 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있으며, 이외의 다양한 정보들이 될 수 있다.
즉, 복호화부(810)는 영상 부호화 장치(600)에 의해 부호화된 데이터인 비트스트림을 복호화하여 영상의 현재 블록에 대한 화소 정보를 포함하고 있는 양자화된 주파수변환 블록을 추출하고, 추출된 예측에 필요한 정보를 예측부(850)로 전달한다.
예측부(850)는 복호화부(810)로부터 전달된 예측에 필요한 정보를 이용하여 영상 부호화 장치(600)의 예측부(610)와 동일한 방식으로 현재 블록을 예측할 수 있다.
예측부(850)는 현재 블록의 색차 성분의 움직임 벡터에 의해 참조되는 참조블록의 색차성분의 서브샘플 성분의 값을 FIR필터 및 선형보간을 이용하여 보간한 값으로부터 색차 성분에 대한 예측블록을 생성한다. 여기서 현재 블록의 색차 성분의 움직임 벡터를 구함에 있어서, 비트스트림에서 복원된 휘도 성분의 움직임 벡터 값을 이용하며, 이 움직임 벡터에 의하여 참조되는 참조블록의 색차 성분의 정수 화소값을 고정밀도 FIR필터와 선형 보간을 사용하여 예측값을 생성한다.
본 발명의 일 실시예에 따른 영상 복호화 장치(800)의 예측부(850)는 도 6을 통해 전술한 영상 부호화 장치(600)의 예측부(610)와 동일하게 서브샘플을 생성한다. 따라서, 중복 설명을 피하기 위해 이에 대한 상세한 설명은 생략한다.
역양자화부(820)는 복호화부(810)에 의해 비트스트림으로부터 추출된 양자화된 주파수변환 블록을 역 양자화한다. 역변환부(830)는 역양자화부(820)에 의해 역 양자화된 주파수변환 블록을 시간 영역으로 역 변환한다.
가산부(840)는 역변환부(830)에 의해 역 변환되어 복원된 잔차신호와 예측부(850)에 의해 예측 화소값을 더하여 현재 블록의 원 화소값을 복원한다. 가산부(840)에 의해 복원된 현재 블록은 프레임 메모리(860)로 전달되어, 예측부(850)에서 다른 블록을 예측하는 데 활용될 수 있다.
프레임 메모리(860)는 복원된 영상을 저장하여 인트라 예측 블록 및 인터 예측 블록 생성을 가능하게 한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 6의 영상 부호화 장치(600)의 비트스트림 출력단을 도 8의 영상 복호화 장치(800)의 비트스트림 입력단에 연결하여 구성될 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 현재 블록의 색차 성분의 움직임 벡터에 의해 참조되는 참조블록의 색차성분의 서브샘플 성분의 값을 FIR필터 및 선형보간을 이용하여 보간한 값으로부터 색차 성분에 대한 예측블록을 생성하고 상기 현재 블록의 색차 성분에서 상기 예측 블록을 감산하여 잔차 블록을 생성하고 상기 잔차 블록을 변환 및 양자화하여 양자화된 주파수변환블록을 생성하고 비트스트림으로 부호화하는 영상 부호화기 및 비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차 블록을 복원하고 복원할 현재 블록의 색차 성분의 움직임 벡터에 의해 참조되는 참조블록의 색차성분의 서브샘플 성분의 값을 FIR필터 및 선형보간을 이용하여 보간한 값으로부터 색차 성분에 대한 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록의 색차성분을 복원하는 영상 복호화기를 포함한다.
여기서 영상 부호화기는 본 발명의 일 실시예에 따른 영상 부호화 장치(600)로 구현 가능하며, 영상 복호화기는 본 발명의 일 실시예에 따른 영상 복호화 장치(800)로 구현 가능하다.
도 9는 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
즉, 영상 부호화 장치(600)는 영상의 현재 블록을 휘도 성분의 움직임 벡터 값을 이용하여 색차 성분의 서브샘플 예측값을 생성하는 예측단계(S910), 현재 블록의 원 화소값과 예측 화소값의 차이값을 계산하여 잔차신호를 생성하는 감산단계(S920), 생성된 잔차신호를 DCT 변환 또는 웨이블릿 변환 등을 이용하여 주파수 영역으로 변환하는 변환단계(S930), 주파수 영역으로 변환된 잔차신호를 양자화하는 양자화단계(S940), 양자화된 주파수변환 잔차신호를 비트스트림으로 부호화하는 부호화단계(S950)를 거쳐 영상을 부호화한다.
여기서, 예측단계(S910)는 예측부(610)의 기능에, 감산단계(S920)는 감산부(620)의 기능에, 변환단계(S930)는 변환부(630)의 기능에, 양자화단계(S940)는 양자화부(640)의 기능에, 부호화단계(S950)는 부호화부(650)의 기능에 각각 대응되므로 상세한 설명은 생략한다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 영상 복호화 장치(800)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상의 현재 블록을 휘도 성분의 움직임 벡터 값을 이용하여 색차 성분의 서브샘플 예측값을 생성하고 영상을 복호화하여 복원한다.
이를 위해, 영상 복호화 장치(800)는 비트스트림을 복호화하여 영상의 현재 블록의 화소값에 대한 정보를 나타내는 양자화된 주파수변환 잔차신호를 추출하는 복호화단계(S1010). 양자화된 주파수변환 잔차신호를 역 양자화하는 역양자화단계(S1020), 역 양자화된 주파수변환 잔차신호를 시간 영역으로 역변환하는 역변환단계(S1030), 시간 영역으로 역 변환되어 복원된 잔차신호가 나타내는 현재 블록의 예측값을 휘도 성분의 움직임 벡터 값을 이용하여 색차 성분의 서브샘플 예측값을 생성하는 예측단계(S1040), 단계 S1030에서 복원된 현재 블록의 잔차신호와 단계 S1040에서 예측된 현재 블록의 각 화소의 예측 화소값을 더하여 현재 블록의 원 화소값을 복원하는 가산단계(S1050)를 거쳐 전송된 비트스트림을 복호화한다.
여기서, 복호화단계(S1010)는 복호화부(810)의 동작에 대응되며, 역양자화단계(S1020)는 역양자화부(820)의 동작에 대응되며, 역변환단계(S1030)는 역변환부(830)의 동작에 대응되며, 예측단계(S1040)는 예측부(850)의 동작에 대응되며, 가산단계(S1050)는 가산부(840)의 동작에 대응되므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 현재 블록의 색차 성분의 움직임 벡터에 의해 참조되는 참조블록의 색차성분의 서브샘플 성분의 값을 FIR필터 및 선형보간을 이용하여 보간한 값으로부터 색차 성분에 대한 예측블록을 생성하고 상기 현재 블록의 색차 성분에서 상기 예측 블록을 감산하여 잔차 블록을 생성하고 상기 잔차 블록을 변환 및 양자화하여 양자화된 주파수변환블록을 생성하고 비트스트림으로 부호화하는 영상 부호화단계 및 비트스트림으로부터 양자화된 주파수변환 블록을 생성하고 상기 양자화된 주파수변환블록을 역 양자화 및 역변환하여 잔차 블록을 복원하고 복원할 현재 블록의 색차 성분의 움직임 벡터에 의해 참조되는 참조블록의 색차성분의 서브샘플 성분의 값을 FIR필터 및 선형보간을 이용하여 보간한 값으로부터 색차 성분에 대한 예측블록을 생성하고 상기 복원되는 잔차 블록과 상기 생성된 예측 블록을 가산하여 상기 복원할 현재 블록의 색차성분을 복원하는 영상 복호화단계를 포함한다.
여기서 영상 부호화단계는 본 발명의 일 실시예에 따른 영상 부호화 단계로 구현 가능하며, 영상 복호화단계는 본 발명의 일 실시예에 따른 영상 복호화 단계로 구현 가능하다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 영상의 서브샘플 예측값을 생성하는데 있어서, 실제의 성분과 예측된 성분 간의 차이를 최소화하는 보간 및 그를 이용한 영상의 부호화/복호화 분야에 적용되어, 부호화하고자 하는 현재 블록을 더욱 정확하게 예측함으로써 실제 블록과 예측된 블록 간의 차이를 줄여 부호화의 효율을 높일 수 있으며 그를 통해 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.

Claims (8)

  1. 비트스트림으로부터 움직임 벡터에 대한 정보를 복호화하는 단계;
    비트스트림으로부터 양자화된 주파수변환블록을 생성하는 단계;
    상기 움직임 벡터에 대한 정보를 이용하여 현재블록의 움직임벡터를 결정하고, 상기 현재블록의 움직임 벡터에 근거하여 참조블록의 색차 성분의 서브샘플들을 보간하여 예측블록을 생성하는 단계;
    상기 양자화된 주파수변환블록을 역 양자화하여 주파수변환블록을 복원하는 단계;
    상기 주파수변환블록을 역 변환하여 잔차블록을 복원하는 단계; 및
    상기 잔차블록과 상기 예측블록을 가산하여 현재블록을 복원하는 단계를 포함하되,
    상기 참조블록의 색차 성분의 서브샘플들을 보간하는 것은,
    정수 화소의 색차 성분들 각각에 소정의 정수 계수를 곱한 후 합산하여 합산값들을 연산하고,
    제1 서브샘플 집합을 산출하는 경우, 상기 합산값들을 공통 계수로 나누어 상기 제1 서브샘플 집합을 산출하고,
    제2 서브샘플 집합을 산출하는 경우, 상기 합산값들으로부터 보간된 값을 상기 공통 계수로 나누어서 상기 제2 서브샘플 집합을 산출하는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서, 상기 예측블록을 생성하는 단계는,
    FIR필터를 사용하여 상기 서브샘플들을 생성하는 것을 특징으로 하는 영상 복호화 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 공통 계수는 상기 정수 계수들의 합에 대응하는 것을 특징으로 하는 영상 복호화 방법.
KR1020140126174A 2010-10-06 2014-09-22 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치 KR101648065B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100097547 2010-10-06
KR1020100097547 2010-10-06

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130089066A Division KR101648058B1 (ko) 2010-10-06 2013-07-26 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140125333A KR20140125333A (ko) 2014-10-28
KR101648065B1 true KR101648065B1 (ko) 2016-08-16

Family

ID=46137681

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020110072196A KR101341993B1 (ko) 2010-10-06 2011-07-21 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR1020130089066A KR101648058B1 (ko) 2010-10-06 2013-07-26 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR1020140126175A KR101648070B1 (ko) 2010-10-06 2014-09-22 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR1020140126176A KR101648077B1 (ko) 2010-10-06 2014-09-22 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR1020140126174A KR101648065B1 (ko) 2010-10-06 2014-09-22 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020110072196A KR101341993B1 (ko) 2010-10-06 2011-07-21 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR1020130089066A KR101648058B1 (ko) 2010-10-06 2013-07-26 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR1020140126175A KR101648070B1 (ko) 2010-10-06 2014-09-22 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR1020140126176A KR101648077B1 (ko) 2010-10-06 2014-09-22 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (4) US9420281B2 (ko)
KR (5) KR101341993B1 (ko)
CN (4) CN105812800B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
JP6346426B2 (ja) 2013-08-12 2018-06-20 現代自動車株式会社Ｈｙｕｎｄａｉ Ｍｏｔｏｒ Ｃｏｍｐａｎｙ Ｅｇｒガス及びエンジンオイル冷却装置とその制御方法
CN117412035A (zh) * 2016-08-31 2024-01-16 株式会社Kt 用于处理视频信号的方法和设备
US10504241B2 (en) * 2016-12-19 2019-12-10 Magna Electronics Inc. Vehicle camera calibration system
EP3684055A1 (en) * 2017-09-15 2020-07-22 Sony Corporation Image processing device and method
WO2020125796A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Two step cross-component prediction mode based on multiple parameter
EP4373095A2 (en) * 2019-01-10 2024-05-22 Huawei Technologies Co., Ltd. Deblocking filter for sub-partition boundaries caused by intra sub-partition coding tool
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码方法和装置、存储介质及电子装置
WO2023131211A1 (en) * 2022-01-05 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175322A1 (en) 2007-01-22 2008-07-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using adaptive interpolation filter

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19746214A1 (de) * 1997-10-21 1999-04-22 Bosch Gmbh Robert Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildfolgen
US6825885B2 (en) * 2001-02-13 2004-11-30 Koninklijke Philips Electronics N.V. Motion information coding and decoding method
JP3797209B2 (ja) * 2001-11-30 2006-07-12 ソニー株式会社 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
ES2767066T3 (es) * 2002-08-08 2020-06-16 Godo Kaisha Ip Bridge 1 Procedimiento de descodificación de imágenes en movimiento
KR100605105B1 (ko) * 2004-05-28 2006-07-26 삼성전자주식회사 영상 보간 장치
ATE480050T1 (de) * 2005-01-11 2010-09-15 Agency Science Tech & Res Kodierer, dekodierer, verfahren zum kodieren/dekodieren, maschinell lesbare medien und computerprogramm-elemente
JP2006254320A (ja) * 2005-03-14 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2006340211A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 動き補償予測装置
US7778494B2 (en) * 2005-10-13 2010-08-17 Texas Instruments Incorporated FIR-based interpolation in advanced video codecs on VLIW processor
KR100842557B1 (ko) * 2006-10-20 2008-07-01 삼성전자주식회사 동영상 처리 장치에서 메모리 액세스 방법
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
KR101341998B1 (ko) * 2008-09-09 2013-12-16 에스케이텔레콤 주식회사 회전 움직임을 고려한 인터 예측 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101441903B1 (ko) 2008-10-16 2014-09-24 에스케이텔레콤 주식회사 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101369171B1 (ko) * 2009-02-26 2014-03-07 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080175322A1 (en) 2007-01-22 2008-07-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using adaptive interpolation filter

Also Published As

Publication number Publication date
US20160316223A1 (en) 2016-10-27
US20170085914A1 (en) 2017-03-23
CN105915915B (zh) 2019-09-10
CN105812800A (zh) 2016-07-27
KR101648077B1 (ko) 2016-08-16
CN105847808B (zh) 2019-06-11
US20130223522A1 (en) 2013-08-29
US10158880B2 (en) 2018-12-18
US20160309181A1 (en) 2016-10-20
US9602834B2 (en) 2017-03-21
US9420281B2 (en) 2016-08-16
CN105915915A (zh) 2016-08-31
KR20140125333A (ko) 2014-10-28
CN105812822A (zh) 2016-07-27
CN103210649A (zh) 2013-07-17
KR20140124345A (ko) 2014-10-24
CN105812822B (zh) 2019-03-26
KR20140124344A (ko) 2014-10-24
KR20120035843A (ko) 2012-04-16
US9706222B2 (en) 2017-07-11
KR101341993B1 (ko) 2013-12-16
CN105847808A (zh) 2016-08-10
KR101648058B1 (ko) 2016-08-16
KR20130095238A (ko) 2013-08-27
KR101648070B1 (ko) 2016-08-16
CN105812800B (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
KR101984764B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101648065B1 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101712156B1 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR101677480B1 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR20130011878A (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR101418104B1 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101763111B1 (ko) 다양한 형태의 블록 분할을 이용하는 영상 부호화/복호화 장치 및 방법
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR101449683B1 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101527148B1 (ko) 인터 예측 장치 및 그를 이용한 영상 부호화/복호화 장치와방법
KR101432779B1 (ko) 움직임 보상 프레임의 선택적 필터링을 이용한 영상 부호화/복호화 방법 및 장치와 그를 위한 인터 예측 방법 및 장치
KR101997599B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
WO2012047047A2 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
KR101943425B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20140058468A (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR20140058469A (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant