KR20090095317A - 영상 부호화 및 복호화 방법 및 장치 - Google Patents

영상 부호화 및 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20090095317A
KR20090095317A KR1020080020587A KR20080020587A KR20090095317A KR 20090095317 A KR20090095317 A KR 20090095317A KR 1020080020587 A KR1020080020587 A KR 1020080020587A KR 20080020587 A KR20080020587 A KR 20080020587A KR 20090095317 A KR20090095317 A KR 20090095317A
Authority
KR
South Korea
Prior art keywords
block
residual
residual signal
prediction
image
Prior art date
Application number
KR1020080020587A
Other languages
English (en)
Inventor
이재출
천민수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080020587A priority Critical patent/KR20090095317A/ko
Priority to US12/398,246 priority patent/US20090225843A1/en
Priority to PCT/KR2009/001087 priority patent/WO2009110754A2/en
Publication of KR20090095317A publication Critical patent/KR20090095317A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

공간적 및 시간적 예측에 기반한 영상 코덱 시스템에서 인터 레지듀얼의 공간 레지듀얼 예측을 사용하여 레지듀얼 에너지를 줄이는 영상 부호화 및 복호화 방법 및 장치가 개시되어 있다. 본 발명은 영상 부호화 방법에 있어서, 원래 블록 영상과 예측 블록 영상간의 차에 해당하는 제1레지듀얼 신호를 생성하는 과정, 복원된 현재 블록의 주변 블록 영상과 예측 블록 영상간의 차에 해당하는 제2레지듀얼 신호를 생성하는 과정, 제2레지듀얼 신호를 기반으로 상기 제1레지듀얼 신호의 예측을 수행하는 과정을 포함한다.

Description

영상 부호화 및 복호화 방법 및 장치{Method and apparatus for encoding and decoding image}
본 발명은 영상 부호화 및 복호화 장치 및 방법에 관한 것이며, 특히 공간적 및 시간적 예측에 기반한 영상 코덱 시스템에서 인터 레지듀얼의 공간 레지듀얼 예측을 사용하여 레지듀얼 에너지를 줄이는 영상 부호화 및 복호화 방법 및 장치에 관한 것이다.
통상적으로 영상 신호의 압축 표준 중 하나인 H.264/MPEG-4 AVC(Advanced Video Coding) 는 다중 참조 움직임 보상(multiple reference motion compensation), 루프 필터링(loop filtering), 가변 블록 크기 움직임 보상(variable block size motion compensation), CABAC과 같은 엔트로피 코딩 등 압축 효율을 증가시키기 위한 다양한 기술을 채택하고 있다.
H.264 표준안에 따르면, 하나의 프레임에 포함된 복수 개의 매크로 블록, 또는 매크로 블록을 이 분할 하거나 사 분할하여 얻어진 서브 블록 단위로 부호화 및 복호화를 수행한다. 그리고, 인터 예측(inter prediction) 및 인트라 예측(intra prediction)에서 이용 가능한 모든 부호화 모드에서 각각의 매크로 블록을 부호화 한 다음, 블록의 부호화에 소요되는 비트율 및 원래 블록과 복호화된 블록과의 왜곡 정도에 따라서 최적의 부호화 모드를 하나 정해 블록을 부호화한다. 여기서, 인터 예측은 현재 프레임의 매크로 블록의 움직임을 예측하는데 있어서 인접한 프레임의 매크로 블록을 참조하여 예측을 수행하는 것을 말하고, 인트라 예측은 인코딩하고자 하는 현재 프레임의 매크로 블록을 그 프레임 내에서 인접한 매크로 블록을 이용하여 예측을 수행하는 것을 말한다.
그리고 인터 예측 또는 인트라 예측을 이용해 부호화하려는 현재 블록의 예측 블록을 생성하고, 현재 블록에서 예측 블록을 감산한 레지듀얼 블록만을 부호화한다.
이때 고화질의 영상을 효율적으로 코딩하기 위해서는 레지듀얼(또는 예측 에러)의 에너지를 줄여야 한다.
그러나 시간적 리던던시(temporal redundancy)를 제거한 인터 프레임간의 레지듀얼 신호에는 공간 레지듀얼 패턴(spatial residual pattern)이 존재한다. 예를 들면, 카메라의 포커스 및 캡쳐 타임 노이즈는 공간적인(spatial) 특성을 갖는다. 이러한 공간 레지듀얼 패턴은 비디오 코딩시 레지듀얼 에너지를 증가하게 한다.
따라서 고화질의 비디오를 효율적으로 코딩하기 위해서는 이러한 인터 프레임간의 레지듀얼 신호에 존재하는 시간적 레지듀얼 에너지를 줄이기 위한 프로세서가 요구된다.
본 발명이 해결하고자하는 과제는 인터 레지듀얼의 공간적 상관성을 이용하여 현재 레지듀얼 블록을 예측함으로써 레지듀얼 에너지를 줄이는 영상 부호화 및 복호화 방법을 제공하는 데 있다.
본 발명이 해결하고자하는 다른 과제는 인터 레지듀얼의 공간적 상관성을 이용하여 현재 레지듀얼 블록을 예측함으로써 레지듀얼 에너지를 줄이는 영상 부호화 및 복호화 장치를 제공하는 데 있다.
상기의 과제를 해결하기 위하여, 본 발명은 영상 부호화 방법에 있어서,
원래 블록 영상과 예측 블록 영상간의 차에 해당하는 제1레지듀얼 신호를 생성하는 과정;
복원된 현재 블록의 주변 블록 영상과 예측 블록 영상간의 차에 해당하는 제2레지듀얼 신호를 생성하는 과정;
상기 제2레지듀얼 신호를 기반으로 상기 제1레지듀얼 신호의 예측을 수행하는 과정을 포함하는 것을 특징으로 한다.
상기의 다른 과제를 해결하기 위하여, 본 발명은 영상 복호화 방법에 있어서,
비트스트림을 엔트로피 복호화하여 레지듀얼 신호를 디코딩하는 과정;
복원된 현재 블록의 주변 블록과 예측 블록간의 차에 해당하는 제1레지듀얼 신호에 기반하여 상기 디코딩된 레지듀얼 신호에 대한 공간 레지듀얼 예측을 수행함으로써 원래 블록 영상과 예측 블록 영상간의 차에 해당하는 제2레지듀얼 신호를 디코딩하는 과정을 구비하는 것을 특징으로 한다.
상기의 또 다른 과제를 해결하기 위하여, 본 발명은 영상 부호화 장치에 있어서,
인터 예측 또는 인트라 예측을 기반으로 부호화하려는 현재 블록의 예측 블록을 생성하는 예측부;
원래 블록 영상과 상기 예측 블록 영상간의 차에 해당하는 제1레지듀얼 신호를 생성하는 제1감산부;
복구된 블록 영상과 상기 예측 블록간의 차에 해당하는 제2레지듀얼 신호를 생성하는 제2감산부;
상기 제2레지듀얼 신호를 기반으로 제1레지듀얼 신호의 예측을 수행하는 공간 레지듀얼 예측부를 포함하는 것을 특징으로 한다.
상기의 또 다른 과제를 해결하기 위하여, 본 발명은 영상 복호화 장치에 있어서,
비트스트림을 엔트로피 복호화하여 레지듀얼 블록을 출력하는 엔트로피 디코더부;
복원된 현재 블록의 주변 블록과 예측 블록간의 차에 해당하는 제1레지듀얼 신호에 기반하여 상기 디코딩된 레지듀얼 신호에 대한 공간 레지듀얼 예측을 수행함으로써 원래 블록 영상과 예측 블록 영상간의 차에 해당하는 제2레지듀얼 신호를 생성하는 공간 레지듀얼 예측 처리부를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 의하면, 영상 코덱 시스템에서 인터 레지듀얼의 공간적 상관성을 이용하여 현재 레지듀얼 블록을 예측함으로써 레지듀얼 에너지(또는 레지듀얼 데이터 량)를 줄일 수 있다. 따라서 인코딩시 레지듀얼 에너지를 줄임으로써 고화질의 비디오를 효율적으로 코딩할 수 있다.
이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 1은 본 발명에 따라 영상 부/복호화 시스템에 적용되는 공간 레지듀얼 예측 처리 장치의 개략도이다.
통상적으로 인터 프레임간의 레지듀얼 이미지에는 레지듀얼 에너지가 큰 부분 또는 일정 패턴 부분이 존재할 수 있다. 이때 그 부분에서 서로 인접한 레지듀얼 매크로 블록들은 서로 유사한 패턴 특성을 갖는다. 본 발명은 이러한 레지듀얼의 공간적인 상관성을 이용하여 레지듀얼 에너지(또는 예측 오차)를 줄이는 방법을 제시한다.
도 1의 공간 레지듀얼 예측 처리 장치는 제1감산부(110), 노말(normal) 매크로블록 코딩부(120), 예측부(130), 공간 레지듀얼 예측 수행부(140)를 구비한다. 여기서 공간 레지듀얼 예측 처리부(140)는 제2감산부(142) 공간 레지듀얼 예측부(144), 가산부(146)를 구비한다.
먼저, 노말 매크로블록 코딩부(120)는 매크로 블록 단위의 영상을 영상 압축 표준 알고리듬을 통해 매크로 블록 단위의 코딩을 수행한다.
예측부(130)는 인터 예측 또는 인트라 예측을 이용해 부호화하려는 현재 블록의 예측 블록을 생성한다.
제1감산부(110)는 원래 블록 영상과 예측 블록 영상간의 차에 해당하는 제1레지듀얼 신호를 생성한다. 이때 제1레지듀얼 신호는 비-양자화된 신호이다.
제2감산부(142)는 현재 코딩된 프레임내 현재 블록의 주변 블록 영상과 예측부(130)에 의해 예측된 예측 블록간의 차에 해당하는 제2레지듀얼 신호를 생성한다. 이때 제1레지듀얼 신호는 양자화된 주변 블록의 레지듀얼 신호이다.
공간 레지듀얼 예측부(144)는 제2레지듀얼 신호를 기반으로 제1레지듀얼 신호의 예측을 수행한다. 이때 공간 레지듀얼 예측부(144)는 레지듀얼의 공간적 상관성(spatial correlation)을 이용한다.
도 2는 본 발명에 따른 영상 부호화 방법이 적용되는 동영상 부호화 장치의 블록도 이다.
도 2를 참조하면, 동영상 부호화 장치는 공간 레지듀얼 예측 처리부(204), 변환부(208), 양자화부(210), 역양자화부(231), 역변환부(232), 디블록킹 필터부(233), 픽쳐 복원부(235), 움직임 보상부(237), 인트라 예측부(239), 움직임 추정부(250), 감산부(270) 및 엔트로피 코딩부(290)를 포함한다.
16×16 픽셀로 이루어진 매크로 블록 단위로 영상 데이터가 동영상 부호화 장치로 입력된다.
공간 레지듀얼 예측 처리부(204)는 복원된 현재 블록의 주변 블록 영상과 예측 블록 영상간의 차이값인 레지듀얼 신호를 생성하고, 그 레지듀얼 신호를 이용하여 감산부(270)에서 생성되는 현재 레지듀얼 신호에 대한 공간 레지듀얼 신호를 예측한다. 이때 공간 레지듀얼 예측은 인트라 예측 모드 또는 블록 패턴 또는 블록 서치등의 여러 가지 예측 알고리듬을 이용하여 수행될 수 있다.
변환부(208)는 공간 레지듀얼 예측 처리부(204)에서 예측된 공간 레지듀얼(residual) 신호를 소정 방식에 따라 변환한다. 대표적인 변환 기법으로는 DCT(Discrete Cosing Transform)가 있다.
양자화부(210)는 변환부(208)에서 소정 방식에 따라 변환된 레지듀얼 신호를 양자화한다.
역양자화부(231)는 양자화된 레지듀얼 정보를 역 양자화한다.
역변환부(232)는 역 양자화된 레지듀얼 정보를 원래의 방식으로 역 변환한다.
디블록킹 필터부(233)는 역변환부(232)로부터 역변환된 레지듀얼 정보를 입력받아 블록킹(blocking) 효과를 제거하기 위한 필터링을 수행한다.
픽쳐 복원부(235)는 필터링된 레지듀얼 정보를 디블록킹 필터부(233)로부터 입력받아 픽쳐(picture) 단위의 영상으로 복원한다. 픽쳐는 프레임 단위의 영상이거나 필드 단위의 영상이다. 또한 픽쳐 복원부(235)는 다수의 픽쳐를 저장할 수 있는 프레임 메모리(도시되지 않음)를 구비한다. 프레임 메모리에 저장된 다수의 픽쳐는 움직임 추정을 위해 제공되는 픽쳐로서 참조 픽쳐라 한다.
움직임 추정부(250)는 프레임 메모리(도시 안됨)에 저장된 참조 프레임의 영상에서 현재 매크로 블록과 가장 유사한 영역을 독출하는 움직임 추정을 수행한다. 구체적으로, 움직임 추정부(250)는 참조 프레임에서 현재 매크로블록의 위치를 중심으로 하는 소정 영역을 탐색하여, 탐색 영역내에서 현재 매크로블록과의 차이가 최소가 되는 영역을 가장 유사한 영역으로 선택한다. 또한, 움직임 추정부(250)는 가장 유사한 영역과 현재 매크로 블록과의 공간상의 위치 차이를 움직임 벡터 형태로 출력한다.
움직임 보상부(237)는 움직임 벡터를 이용하여 프레임 메모리에 저장된 참조 프레임의 영상에서 현재 매크로 블록과 가장 유사한 영역을 독출하여 인터 예측된 예측 블록을 생성한다. 움직임 추정부(250) 및 움직임 보상부(237)는 상호 작용하여 인터 예측을 수행하는 인터 예측부로서 동작한다.
인트라 예측부(239)는 현재 블록의 예측치를 현재 픽처내에서 찾는 인트라 예측을 수행한다.
인터 예측 및 인트라 예측 과정은 16×16 크기의 매크로 블록 뿐만 아니라, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4 크기의 블록에 대하여 수행될 수 있다.
인터 예측 또는 인트라 예측이 수행되어 현재 부호화할 블록에 대응되는 예측 블록이 형성되면, 감산부(270)는 현재 블록과 예측 블록과의 차이를 계산하여 레지듀얼(residual) 블록을 출력한다.
감산부(270)로부터 출력된 레지듀얼 신호는 다시 공간 레지듀얼 예측 처리부(204), 변환부(208) 및 양자화부(210)에 의해 변환 및 양자화되고, 엔트로피 코 딩부(390)에 의해 엔트로피 부호화되어 출력 비트 스트림으로 생성된다. 이때 비트스트림는 레지듀얼 데이터 및 인트라 예측 모드 정보 및 움직임 정보를 포함한다.
한편, 전술한 동영상 부호화 장치에 의해 생성된 비트 스트림을 복호화하는 동영상 복호부(decoder)(230)는 역양자화(231), 역변환부(232), 디블록킹 필터부(233), 픽쳐 복원부(235), 움직임 보상부(237) 및 인트라 예측부(239)를 포함한다.
도 3은 도 2의 공간 레지듀얼 예측 처리부(204)의 상세 동작 흐름도이다.
먼저, 원래(original) 블록 영상과 예측 블록 영상간의 차이에 해당하는 제1레지듀얼 블록을 생성한다(310 과정).
이어서, 복원된 현재 블록의 주변 블록 영상과 예측 블록 영상간의 차이에 해당하는 제2레지듀얼 신호를 생성한다(320 과정).
이어서, 제2레지듀얼 신호를 기반으로 제1레지듀얼 신호의 예측을 수행하여 공간 레지듀얼 예측 블록을 생성한다(330 과정). 이때 공간 레지듀얼 예측은 인트라 예측 모드 또는 블록 패턴 또는 블록 서치등의 여러 가지 예측 알고리듬을 이용하여 수행될 수 있다.
도 4a 내지 도 4c는 도 3의 제1레지듀얼 신호 예측의 수행 방법을 보이는 여러 가지 실시예들이다.
도 4a는 인트라 예측 모드를 사용하는 공간 레지듀얼 예측의 제1실시예이다.
먼저, 인코딩할 블록의 주변 블록의 레지듀얼 신호(제2레지듀얼 신호)를 이용하여 기존 H.264에서 표준으로 정해진 4×4, 8×8, 16×16 인트라 예측(intra prediction)을 수행한다(410 과정). 따라서 기존의 인트라 예측을 수행하여 제1레지듀얼 신호의 예측을 수행한다. 이때 주변 블록은 이미 인코딩된 영상 신호이다.
예를 들면, 4×4 블록의 인트라 예측은 대상 블록의 주변 픽셀들을 이용하여 예측 블록을 만들어 내고, 이 예측 블록과 원본(original) 블록간의 SAD(Sum of Absolute Difference)를 구하여, 9가지 모드중에서 가장 적은 SAD를 갖는 모드를 최적의 예측 모드로 선택한다.
이어서, 레지듀얼 예측에서 사용된 인트라 예측 방향 모드를 시그널링(signaling)한다(420 과정). 이때 레지듀얼 블록들에는 저주파 성분이 제거되어 있다. 따라서 공간 레지듀얼 예측을 위한 인트라 예측은 DC 예측 모드와 같은 인트라 예측 모드를 필요로 하지 않아 추가적인 시그널링 비트를 줄일 수 있다.
다른 실시예로, 인코딩될 블록의 주변 블록의 레지듀얼 신호(제2레지듀얼 신호)의 예측 방향을 참조하여 제1 레지듀얼 블록의 인트라 예측 방향 모드를 추정할 수 있다. 예를 들면, 이미 인코딩된 주변 블록들이 가로 방향으로 우세하면 그 가로 방향으로 예측 방향을 추정한다.
도 4b는 블록 패턴을 사용하는 공간 레지듀얼 예측의 제2 실시예이다.
먼저, 복수개의 블록 패턴들을 미리 설정한다(430 과정).
이어서, 제1레지듀얼 블록과 유사한 블록 패턴을 선택하여 제1레지듀얼 신호를 예측한다(440 과정). 이때 비트스트림 전송시 블록 패턴과 제1레지듀얼 블록과의 차를 부호화한 DPCM(Differential Pulse Coded Modulation) 데이터를 영상 복호부로 전송한다.
이어서, 선택된 블록 패턴의 인덱스를 시그널링한다(450 과정).
다른 실시예로, 인코딩할 블록의 주변 블록의 레지듀얼 신호의 패턴을 조합하여 제1레지듀얼 신호에 대한 블록 패턴을 추정할 수 있다. 예를 들면 주변 블록의 레지듀얼 신호들의 대부분이 수직 방향의 패턴을 갖는다면 제1레지듀얼 신호에 대한 블록 패턴은 수직 방향의 블록 패턴으로 추정할 수 있다.
도 4c는 블록 서치를 사용하는 공간 레지듀얼 예측의 제3실시예이다.
먼저, 인코딩할 블록의 주변 블록의 레지듀얼에 해당하는 제2레지듀얼 블록들에 대해 제1레지듀얼 블록의 위치를 중심으로 소정 영역의 서치를 수행하여 제1레지듀얼 신호를 예측한다(460 과정). 즉, 제1레지듀얼 블록과 가장 유사한 제2레지듀얼 블록을 예측될 레지듀얼 블록으로 결정한다.
이어서, 레지듀얼 블록 서치를 통해 유사 레지듀얼 블록과 현재 레지듀얼 블록간의 차이 정보를 생성한다.
이어서, 레지듀얼 블록 서치에 따른 공간 움직임 벡터를 시그널링한다(470 과정).
도 5는 본 발명에 따른 영상 복호화 방법이 적용되는 동영상 복호화 장치의 블록도이다.
도 5를 참조하면 동영상 복호화 장치는 엔트로피 디코더(510), 재정렬부(520), 역양자화부(530), 역변환부(534), 공간 레지듀얼 예측 처리부(536), 가산부(540), 움직임 보상부(550), 인트라 예측부(560) 및 디블로킹 필터(570)를 구비한다.
엔트로피 디코더(510)는 비트스트림을 엔트로피 복호화하여 레지듀얼 블록을 출력한다. 엔트로피 복호화부(510)는 비트스트림의 헤더에 포함된 부호화 정보로부터 현재 복호화하고자 하는 비트스트림이 어떠한 방식으로 부호화되었는지를 판단할 수 있다.
역양자화부(530) 및 역변환부(534)는 추출된 양자화된 레지듀얼 블록 및 부호화 정보에 대한 역양자화 및 역변환을 수행하여 레지듀얼 블록들, 움직임 벡터 정보, 헤더 정보 및 인트라 예측 모드 정보 등을 추출한다.
공간 레지듀얼 예측 처리부(536)는 역변환부(534)에서 역 변환된 레지듀얼 블록에 대해 복원된 현재 블록의 주변 블록과 예측 블록간의 차에 해당하는 제1레지듀얼 신호에 기반하여 공간 레지듀얼 예측을 수행함으로써 원래 블록 영상과 예측 블록 영상간의 차에 해당하는 레지듀얼 신호를 디코딩한다.
움직임 보상부(550) 및 인트라 예측부(560)는 각각 복호화된 헤더 정보를 사용하여 부호화된 픽처 타입에 따라서 예측 블록을 생성한다.
가산부(540)는 움직임 보상부(550) 및 인트라 예측부(560)에 의해 생성된 예측 블록과 공간 레지듀얼 예측 처리부(536)에서 디코딩된 레지듀얼 블록을 가산하여 복원된 영상을 생성한다.
디블록킹 필터(570)는 복원된 영상을 입력받아 블록킹(blocking) 효과를 제거하기 위한 필터링을 수행한다.
도 6은 도 5의 공간 레지듀얼 예측 처리부(536)의 상세 동작 흐름도이다.
먼저, 부호화된 비트스트림을 수신하고, 상기 비트스트림을 엔트로피 복호화 하여 레지듀얼 블록을 디코딩한다(610 과정).
이어서, 디코딩된 블록의 주변 블록과 예측 블록간의 차에 해당하는 공간 레지듀얼 블록을 기반으로 디코딩된 레지듀얼 블록에 대한 공간 레지듀얼 예측을 수행함으로써 원래 블록 영상과 예측 블록 영상간의 차에 해당하는 제2레지듀얼 신호를 디코딩한다(620 과정).
이때 공간 레지듀얼 예측 방법은 여러 가지 실시예가 있을 수 있다.
예를 들면, 비트스트림에 시그널링된 인트라 예측 방향 모드를 기반한 표준 인트라 예측을 통해 제1레지듀얼 블록을 디코딩할 수 있다.
다른 실시예로 인코딩 블록의 주변 블록의 레지듀얼 신호의 예측 방향을 이용해서 제1레지듀얼 블록의 인트라 예측 방향 모드를 추정할 수 있다.
또한 비트스트림에 시그널링된 블록 패턴의 인덱스에 해당하는 블록 패턴을 기반으로 제1레지듀얼 블록을 디코딩할 수 있다.
다른 실시예로, 인코딩될 블록의 주변 블록의 레지듀얼 신호의 패턴을 조합하여 제1레지듀얼 신호에 대한 블록 패턴을 추정할 수 있다.
또한 비트스트림에 시그널링된 공간 움직임 벡터 정보 기반의 레지듀얼 블록 서치를 통해 제1레지듀얼 블록을 디코딩할 수 있다.
이때 비트스트림에 공간 움직임 벡터 정보가 존재하지 않으면 블록 매칭을 통해 제1레지듀얼 블록을 디코딩할 수 있다.
또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨 터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 본 발명에 따라 영상 부/복호화 시스템에 적용되는 공간 레지듀얼 예측 처리 장치의 개략도이다.
도 2는 본 발명에 따른 영상 부호화 방법이 적용되는 동영상 부호화 장치의 블록도 이다.
도 3은 도 2의 공간 레지듀얼 예측 처리부의 상세 동작 흐름도이다.
도 4a 내지 도 4c는 도 3의 제1레지듀얼 신호 예측의 수행 방법을 보이는 여러 가지 실시예들이다.
도 5는 본 발명에 따른 영상 복호화 방법이 적용되는 동영상 복호화 장치의 블록도이다.
도 6은 도 5의 공간 레지듀얼 예측 처리부의 상세 동작 흐름도이다.

Claims (20)

  1. 영상 부호화 방법에 있어서,
    원래 블록 영상과 예측 블록 영상간의 차에 해당하는 제1레지듀얼 신호를 생성하는 과정;
    복원된 현재 블록의 주변 블록 영상과 예측 블록 영상간의 차에 해당하는 제2레지듀얼 신호를 생성하는 과정;
    상기 제2레지듀얼 신호를 기반으로 상기 제1레지듀얼 신호의 예측을 수행하는 과정을 포함하는 영상 부호화 방법.
  2. 제1항에 있어서, 상기 제1레지듀얼 신호의 예측을 수행하는 과정은
    상기 주변 블록의 레지듀얼 신호를 기반한 표준 인트라 예측을 수행하여 제1레지듀얼 신호를 예측하고,
    그 인트라 예측의 방향 모드를 시그널링하는 것임을 특징으로 하는 영상 부호화 방법.
  3. 제2항에 있어서, 상기 제1레지듀얼 신호의 예측을 수행하는 과정은
    상기 주변 레지듀얼 블록들의 예측 방향을 참조하여 인트라 예측의 방향 모드를 추정하는 것임을 특징으로 하는 영상 부호화 방법.
  4. 제1항에 있어서, 상기 제1레지듀얼 신호의 예측을 수행하는 과정은
    복수개의 블록 패턴들을 설정하고,
    상기 제2레지듀얼 신호와 유사한 상기 블록 패턴으로 제1레지듀얼 신호를 예측하고,
    그 블록 패턴의 인덱스를 시그널링하는 것임을 특징으로 하는 영상 부호화 방법.
  5. 제4항에 있어서, 상기 제2레지듀얼 신호의 패턴을 조합하여 상기 제1레지듀얼 신호에 대한 블록 패턴을 추정하는 것임을 특징으로 하는 영상 부호화 방법.
  6. 제1항에 있어서, 상기 블록 패턴과 제1레지듀얼 신호와의 차를 부호화하는 것을 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제1항에 있어서, 상기 공간 레지듀얼 예측 수행 과정은
    상기 제2레지듀얼 블록 서치를 통해 제1레지듀얼 신호를 예측하고,
    그 레지듀얼 블록 서치에 따른 공간 움직임 벡터를 시그널링하는 것임을 특징으로 하는 영상 부호화 방법.
  8. 제1항에 있어서, 상기 레지듀얼 블록 서치를 통해서 유사 레지듀얼 블록과 현재 레지듀얼 블록간의 차이 정보를 생성하는 과정을 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  9. 영상 복호화 방법에 있어서,
    비트스트림을 엔트로피 복호화하여 레지듀얼 신호를 디코딩하는 과정;
    복원된 현재 블록의 주변 블록과 예측 블록간의 차에 해당하는 제1레지듀얼 신호에 기반하여 상기 디코딩된 레지듀얼 신호에 대한 공간 레지듀얼 예측을 수행함으로써 원래 블록 영상과 예측 블록 영상간의 차에 해당하는 제2레지듀얼 신호를 디코딩하는 과정을 구비하는 영상 복호화 방법.
  10. 제9항에 있어서, 상기 제2레지듀얼 신호를 디코딩하는 과정은
    비트스트림에 시그널링된 인트라 예측 방향 모드을 기반한 표준 인트라 예측을 수행하여 제1레지듀얼 신호를 디코딩하는 것임을 특징으로 하는 영상 복호화 방법.
  11. 제9항에 있어서, 상기 제2레지듀얼 신호를 디코딩하는 과정은
    비트스트림에 시그널링된 인트라 예측 방향 정보를 이용해서 제2레지듀얼 신호를 디코딩하는 것임을 특징으로 하는 영상 복호화 방법.
  12. 제9항에 있어서, 상기 제1레지듀얼 신호를 디코딩하는 과정은
    비트스트림에 시그널링된 블록 패턴의 인덱스를 기반으로 제2레지듀얼 신호 를 디코딩하는 것임을 특징으로 하는 영상 복호화 방법.
  13. 제9항에 있어서, 상기 제2레지듀얼 신호를 디코딩하는 과정은
    비트스트림에 시그널링된 공간 움직임 벡터 정보에 기반하여 상기 제2레지듀얼 신호를 디코딩하는 것임을 특징으로 하는 영상 부호화 방법.
  14. 제9항에 있어서, 상기 제2레지듀얼 신호를 디코딩하는 과정은
    블록 매칭을 통해 상기 제2레지듀얼 신호를 디코딩하는 것임을 특징으로 하는 영상 복호화 방법.
  15. 영상 부호화 장치에 있어서,
    인터 예측 또는 인트라 예측을 기반으로 부호화하려는 현재 블록의 예측 블록을 생성하는 예측부;
    원래 블록 영상과 상기 예측 블록 영상간의 차에 해당하는 제1레지듀얼 신호를 생성하는 제1감산부;
    복구된 블록 영상과 상기 예측 블록간의 차에 해당하는 제2레지듀얼 신호를 생성하는 제2감산부;
    상기 제2레지듀얼 신호를 기반으로 제1레지듀얼 신호의 예측을 수행하는 공간 레지듀얼 예측부를 포함하는 영상 부호화 장치.
  16. 제15항에 있어서, 상기 공간 레지듀얼 예측부는
    제2레지듀얼 신호에 표준 인트라 예측 모드를 적용하여 제1레지듀얼 신호를 예측하는 것임을 특징으로 하는 영상 부호화 장치.
  17. 제15항에 있어서, 상기 공간 레지듀얼 예측부는
    미리 설정된 블록 패턴을 이용하여 상기 제1레지듀얼 신호와 유사한 블록 패턴 데이터로 제1레지듀얼 신호를 예측하는 것임을 특징으로 하는 영상 부호화 장치.
  18. 제15항에 있어서, 상기 공간 레지듀얼 예측부는
    레지듀얼 블록 서치에 기반하여 제1레지듀얼 신호를 예측하는 것임을 특징으로 하는 영상 부호화 장치.
  19. 영상 복호화 장치에 있어서,
    비트스트림을 엔트로피 복호화하여 레지듀얼 블록을 출력하는 엔트로피 디코더부;
    복원된 현재 블록의 주변 블록과 예측 블록간의 차에 해당하는 제1레지듀얼 신호에 기반하여 상기 디코딩된 레지듀얼 신호에 대한 공간 레지듀얼 예측을 수행함으로써 원래 블록 영상과 예측 블록 영상간의 차에 해당하는 제2레지듀얼 신호를 생성하는 공간 레지듀얼 예측 처리부를 포함하는 영상 복호화 장치.
  20. 제19항에 있어서, 상기 공간 레지듀얼 예측 처리부는 레지듀얼 신호에 부가되는 예측 정보를 참조하여 레지듀얼 신호에 대한 공간 레지듀얼 예측을 수행하는 것임을 특징으로 하는 영상 복호화 장치.
KR1020080020587A 2008-03-05 2008-03-05 영상 부호화 및 복호화 방법 및 장치 KR20090095317A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080020587A KR20090095317A (ko) 2008-03-05 2008-03-05 영상 부호화 및 복호화 방법 및 장치
US12/398,246 US20090225843A1 (en) 2008-03-05 2009-03-05 Method and apparatus for encoding and decoding image
PCT/KR2009/001087 WO2009110754A2 (en) 2008-03-05 2009-03-05 Method and apparatus for encoding and decoding image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080020587A KR20090095317A (ko) 2008-03-05 2008-03-05 영상 부호화 및 복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20090095317A true KR20090095317A (ko) 2009-09-09

Family

ID=41053547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080020587A KR20090095317A (ko) 2008-03-05 2008-03-05 영상 부호화 및 복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US20090225843A1 (ko)
KR (1) KR20090095317A (ko)
WO (1) WO2009110754A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013191436A1 (ko) * 2012-06-19 2013-12-27 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2017119540A1 (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 잔차 신호에 대한 예측 방법 및 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
KR101590663B1 (ko) * 2008-07-25 2016-02-18 소니 주식회사 화상 처리 장치 및 방법
US8462852B2 (en) 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
KR101432777B1 (ko) * 2009-09-03 2014-08-22 에스케이텔레콤 주식회사 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체
KR101457894B1 (ko) 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR101495724B1 (ko) 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN102986224B (zh) * 2010-12-21 2017-05-24 英特尔公司 用于增强的解码器侧运动向量导出处理的***及方法
JP5592779B2 (ja) * 2010-12-22 2014-09-17 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、及び画像復号装置
JP5592295B2 (ja) * 2011-03-09 2014-09-17 日本電信電話株式会社 画像符号化方法，画像符号化装置，画像復号方法，画像復号装置およびそれらのプログラム
PL3515078T3 (pl) * 2012-04-13 2021-05-17 Jvckenwood Corporation Urządzenie do dekodowania obrazu, sposób dekodowania obrazu, program do dekodowania obrazu, urządzenie do kodowania obrazu, sposób kodowania obrazu i program do kodowania obrazu
WO2016165122A1 (en) * 2015-04-17 2016-10-20 Mediatek Singapore Pte. Ltd. Inter prediction offset
CN114501020A (zh) * 2016-08-21 2022-05-13 上海天荷电子信息有限公司 使用最近运动矢量和邻近运动矢量的图像压缩方法和装置
WO2019092690A1 (en) * 2017-11-09 2019-05-16 Amimon Ltd. System, device, and method of interframe prediction
GB2569547B (en) 2017-12-19 2021-05-12 Samsung Electronics Co Ltd Reconstruction of original images from modified images
WO2019124708A1 (en) * 2017-12-19 2019-06-27 Samsung Electronics Co., Ltd. Method and apparatus for reconstruction of original images from modified images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356213B1 (en) * 2000-05-31 2002-03-12 Lucent Technologies Inc. System and method for prediction-based lossless encoding
US20020191698A1 (en) * 2001-06-15 2002-12-19 Solidstreaming, Inc. Video data CODEC system with low computational complexity
CN1297148C (zh) * 2001-08-28 2007-01-24 株式会社Ntt都科摩 动画图像编码传送***、动画图像编码传送方法、该***和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
KR100654436B1 (ko) * 2004-07-07 2006-12-06 삼성전자주식회사 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
EP1711018A1 (en) * 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
KR20070012134A (ko) * 2005-07-22 2007-01-25 삼성에스디아이 주식회사 집속 전극을 갖는 전자방출소자 및 그 제조방법
KR100746011B1 (ko) * 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
US8208545B2 (en) * 2006-06-01 2012-06-26 Electronics And Telecommunications Research Institute Method and apparatus for video coding on pixel-wise prediction
JPWO2008084817A1 (ja) * 2007-01-09 2010-05-06 株式会社東芝 画像符号化と復号化の方法及び装置
US9100646B2 (en) * 2008-09-03 2015-08-04 Sk Telecom Co., Ltd. Device and method for image encoding/decoding using prediction direction conversion and selective encoding
KR20110071231A (ko) * 2009-12-21 2011-06-29 엠텍비젼 주식회사 부호화 방법, 복호화 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013191436A1 (ko) * 2012-06-19 2013-12-27 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
RU2653258C2 (ru) * 2012-06-19 2018-05-07 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки видеосигнала
US10021417B2 (en) 2012-06-19 2018-07-10 Lg Electronics Inc. Method and device for processing video signal
WO2017119540A1 (ko) * 2016-01-05 2017-07-13 한국전자통신연구원 잔차 신호에 대한 예측 방법 및 장치

Also Published As

Publication number Publication date
WO2009110754A3 (en) 2009-10-29
US20090225843A1 (en) 2009-09-10
WO2009110754A2 (en) 2009-09-11

Similar Documents

Publication Publication Date Title
JP6621511B2 (ja) イントラ予測モードにおける映像復号化方法
KR20090095317A (ko) 영상 부호화 및 복호화 방법 및 장치
KR101431545B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
KR100772391B1 (ko) 직교 변환 및 벡터 양자화에 기반한 동영상 부호화 및복호화 방법과 이를 이용한 장치
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US20060159354A1 (en) Method and apparatus for predicting frequency transform coefficients in video codec, video encoder and decoder having the apparatus, and encoding and decoding method using the method
KR20080073157A (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR20070047522A (ko) 영상의 부호화, 복호화 방법 및 장치
KR101394209B1 (ko) 영상의 인트라 예측 부호화 방법
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
KR101364532B1 (ko) 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
KR100987921B1 (ko) 선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.
WO2021190518A1 (zh) 解码、编码、编解码方法、装置及其设备
KR20170077621A (ko) 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치
KR100987922B1 (ko) 선택적 참조영상을 이용한 움직임 보상기법을 적용한 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 참조영상 결정방법
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR20110067648A (ko) 영상 부호화/복호화 방법 및 이를 수행하는 장치
JP4561701B2 (ja) 動画像符号化装置
JP2007184846A (ja) 動画像符号化装置
KR20120008271A (ko) 주변 화소의 정합을 이용한 예측 움직임 벡터 선택 장치 및 그 방법
KR20100100540A (ko) 동영상 부호화기/복호화기 및 그 동영상 부호화기/복호화기에서의 동영상 부호화/복호화를 위한 블록모드 결정방법
JP2014017571A (ja) 符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal