KR20110098089A - 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법 - Google Patents

영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법 Download PDF

Info

Publication number
KR20110098089A
KR20110098089A KR1020100017530A KR20100017530A KR20110098089A KR 20110098089 A KR20110098089 A KR 20110098089A KR 1020100017530 A KR1020100017530 A KR 1020100017530A KR 20100017530 A KR20100017530 A KR 20100017530A KR 20110098089 A KR20110098089 A KR 20110098089A
Authority
KR
South Korea
Prior art keywords
key block
block
inverse
value
key
Prior art date
Application number
KR1020100017530A
Other languages
English (en)
Other versions
KR101449692B1 (ko
Inventor
임정연
김수년
이규민
최재훈
한종기
이영렬
문주희
김해광
전병우
유영조
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020100017530A priority Critical patent/KR101449692B1/ko
Priority to US13/581,206 priority patent/US8768083B2/en
Priority to PCT/KR2011/001329 priority patent/WO2011105849A2/ko
Publication of KR20110098089A publication Critical patent/KR20110098089A/ko
Application granted granted Critical
Publication of KR101449692B1 publication Critical patent/KR101449692B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법이 개시된다. 본 발명의 실시예에 따른 영상 부호화 장치는, 입력되는 영상에 대하여, 부호화 대상블록을 픽셀들의 위치에 따라 복수의 서브블록으로 분리하는 대상블록 분리부; 대상블록 분리부에 의해 분리된 복수의 서브블록들 중 적어도 하나의 픽셀크기 이상의 크기를 갖는 임의의 키 블록을 선택하며, 선택된 키 블록에 대한 인트라 예측 또는 인터 예측을 실행하는 키 블록 부호화부; 및 분리된 서브블록 중 선택된 키 블록을 제외한 나머지를 논-키 블록으로 지정하며, 키 블록 부호화부에 기초하여 복원된 키 블록 및 현재블록의 주변 픽셀값을 이용하여 지정된 논-키 블록에 대한 인트라 예측을 실행하는 논-키 블록 부호화부를 포함하는 것을 특징으로 한다. 본 발명에 따르면, 고해상도 영상의 부호화를 위하여 코딩의 기본 블록의 크기가 증가하는 경우에도 블록 내의 공간적 중복성을 효율적으로 제거할 수 있게 된다.

Description

영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법{Video encoding apparatus and method, and video decoding apparatus and method}
본 발명의 실시예는 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법에 관한 것이다. 더욱 상세하게는, 고해상도 영상의 부호화를 위하여 코딩의 기본 블록의 크기가 증가하는 경우에도 기존의 인터/인트라 예측에서 제거하지 못하였던 블록 내의 공간적 중복성을 효율적으로 제거할 수 있게 되어 동영상의 부호화 및 복호화 시에 동영상의 원래의 화질을 유지하면서 압축 효율을 높일 수 있는 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법에 관한 것이다.
동영상 데이터를 효율적으로 저장하거나 전송하기 위해서는 부호화하여 데이터를 압축할 필요가 있다. 동영상 데이터를 압축하는 기술로는 H.261, H.263, H.264, MPEG-2, MPEG-4 등이 있다. 이러한 동영상 데이터의 압축 기술에서는 동영상의 각 프레임 영상 데이터를 휘도 성분과 색차 성분으로 나누고, 각 휘도 성분과 색차 성분은 다시 매크로블록 단위로 나뉘어서 부호화를 수행하게 된다.
가장 최근의 동영상 압축 기술인 H.264/AVC는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)가 공동으로 개발한 기술로서, 기존의 동영상 압축방법인 MPEG-4와 비교할 때 영상의 화질을 유지하면서 압축률을 향상시킬 수 있다.
도 1은 기존의 H.264/AVC 부호화기의 구성을 도시한 도면이다. 도 1에 도시된 기존의 H.264/AVC 부호화기는 인터 예측, 인트라 예측, 변환, 양자화, 엔트로피 코딩 등을 수행하여 입력된 영상 데이터를 부호화한다. 중복성이 제거된 데이터는 변환과 양자화 단계를 거치면서 압축이 된다. 이렇게 압축된 데이터는 엔트로피 인코더를 통해서 비트스트림으로 만들어 진다.
도 1에 도시한 바와 같이, H.264는 입력되는 현재의 영상(110)에 대해 참조영상(120)을 참조하여 인터 예측(130)을 수행하고 움직임을 보상(140)하여 현재블록의 픽셀값을 예측하거나, 현재 영상에 대한 인트라 예측(150)을 이용하여 공간적 중복성을 제거한 현재블록의 픽셀값을 예측한다. 이와 같이 예측된 값과 현재 영상의 차이에 기초하여 예측오차를 산출하며, 산출된 예측오차를 변환 및 양자화(160)하고 엔트로피 부호화(170)하여 비트스트림으로 전송한다. 한편, 변환 및 양자화된 값은 역변환 및 역양자화(180) 과정을 거쳐 예측된 값에 가산되며, 블록 왜곡 현상을 감소시키기 위한 필터(190) 과정을 거쳐 복원된 영상(190)을 형성한다.
여기서, 인터 예측은 시간적 중복성을 제거하기 위한 과정으로서, 매크로블록은 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 크기를 가지는 더 작은 블록으로 분할되어 움직임 추정과 움직임 보상이 수행되며, 이때 움직임 추정과 움직임 보상을 위한 참조 프레임도 최대 16 개의 프레임이 이용될 수 있다. 또한, H.264/AVC에서는 1/4 화소 보간 방법을 채택함으로써, 기존의 동영상 압축 기술인 MPEG-4와 비교할 때 영상의 화질을 유지하면서 압축률을 향상시킬 수 있다.
인트라 예측은 공간적 중복성을 제거하기 위한 과정으로서, 매크로 블록을 16x16, 8x8, 4x4블록 단위로 분할하여 인트라 예측을 수행한다. 더 자세하게는, 16x16블록 단위로 수행하는 인트라 예측을 16x16 인트라 예측이라 하고, 매크로 블록을 4개의 8x8블록 단위로 나누어 수행하는 인트라 예측을 8x8 인트라 예측이라 하고, 매크로 블록을 16개의 4x4블록 단위로 나누어 수행하는 인트라 예측 모드를 4x4 인트라 예측이라 한다.
인트라 예측만이 가능한 I, SI픽쳐일 경우에는 최적의 인트라 예측 모드가 현재 매크로 블록의 최적의 모드가 되는 것이지만, 인트라 예측과 인터 예측이 모두 가능한 P, SP, B픽쳐일 경우에는 인트라 모드와 인터 모드 중 최소의 비용를 갖는 모드가 최적의 모드로 선택이 된다. 통상적으로 H.264 율-비용 함수를 이용하여 모드별 비용을 계산하는데, 그 식은 수학식 1과 같다.
(수학식 1)
Figure pat00001
여기서, D(i)는 모드 i일 때 발생하는 오차를 의미하며, R(i)는 모드 i로 부호화하였을 때 발생하는 비트를 의미한다.
Figure pat00002
는 라그랑제 곱셈자(Lagrange Multiplier)이다.
수학식 2는 가능한 모드들 중 최적의 모드를 결정짓는 식이다.
(수학식 2)
Figure pat00003
여기서, C는 사용 가능한 모드를 의미한다. 현재 코딩하는 픽쳐의 타입이 P라면
Figure pat00004
의 모드를 갖게 된다.
마지막으로 기존의 H.264/AVC 영상 부호화기는 최적의 예측 모드가 결정되면 부호화대상 블록과 예측 블록의 차이값을 변환 및 양자화한 후에 엔트로피 코딩을 한다. 이때 선택된 최적의 예측 모드로 엔트로피 코딩 된다.
고해상도 영상의 효율적인 부호화를 목표로 하고 있는 차세대 부호화 표준은 코딩의 기본이 되는 블록의 크기를 현재의 16x16보다 큰 32x32 또는 64x64로 정하려고 하고 있다. 고해상도 영상을 부호화하면서 코딩의 기본 블록 크기가 커지게 되면 한 블록 내에서 공간적 중복성이 높아지게 된다. 따라서 이런 공간적 중복성을 효과적으로 제거할 수 있는 방법이 필요하다.
전술한 문제점을 해결하기 위해 본 발명의 일 실시예는, 고해상도 영상의 부호화를 위하여 코딩의 기본 블록의 크기가 증가하는 경우에도 블록 내의 공간적 중복성을 효율적으로 제거할 수 있는 영상 부호화 장치 및 그 방법, 및 그에 대응하는 영상 복호화 장치 및 그 방법을 제공하는 데 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 영상 부호화 장치는, 입력되는 영상에 대하여, 부호화 대상블록을 픽셀들의 위치에 따라 복수의 서브블록으로 분리하는 대상블록 분리부; 대상블록 분리부에 의해 분리된 복수의 서브블록들 중 적어도 하나의 픽셀크기 이상의 크기를 갖는 임의의 키 블록을 선택하며, 선택된 키 블록에 대한 인트라 예측 부호화 또는 인터 예측 부호화를 실행하는 키 블록 부호화부; 및 분리된 서브블록 중 선택된 키 블록을 제외한 나머지를 논-키 블록으로 지정하며, 키 블록 부호화부에 의해 복원된 키 블록 및 현재블록의 주변 픽셀값을 이용하여 지정된 논-키 블록에 대한 공간예측을 실행하는 논-키 블록 부호화부를 포함하는 것을 특징으로 한다.
여기서, 대상블록 분리부는,
Figure pat00005
으로 표현되는 대상블록을
Figure pat00006
중의 어느 하나의 크기를 갖는 서브블록으로 분리하는 것이 바람직하다. 이때, m 및 n은 자연수이다.
또한, 대상블록 분리부는,
Figure pat00007
으로 표현되는 대상블록에 대하여 상기 서브블록의 크기가
Figure pat00008
로 결정되었을 경우, 다음의 식에 따라 서브블록들로 분리하는 것이 바람직하다.
Figure pat00009
여기서,
Figure pat00010
는 현재블록의
Figure pat00011
좌표에 대한 픽셀값을 나타내고,
Figure pat00012
는 k번째 서브 블록을 나타내며, %는 모듈러 연산을 나타내고,
Figure pat00013
는 버림연산을 나타내며, 기본블록은 총
Figure pat00014
개의 서브 블록들로 나뉘어지고, M과 N은 각각 블록의 가로 크기와 세로 크기를 나타낸다.
바람직하게는, 키 블록 부호화부는, 선택된 키 블록에 대한 픽셀값을 예측한 후, 현재픽셀과의 오차값을 산출하고, 산출된 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 변환/양자화부; 변환/양자화부에 의해 변환 및 양자화된 값을 역변환 및 역양자화하는 역변환/역양자화부; 및 역변환/역양자화부에 의해 출력되는 값을 누적하여 키 블록을 복원하는 메모리 버퍼를 포함한다.
또한, 논-키 블록 부호화부는, 논-키 블록에 대한 픽셀값을 예측한 후, 현재픽셀과의 오차값을 산출하고, 산출된 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 변환/양자화부; 변환/양자화부에 의해 변환 및 양자화된 값을 역변환 및 역양자화하는 역변환/역양자화부; 및 역변환/역양자화부에 의해 출력되는 값을 누적하여 논-키 블록을 복원하는 메모리 버퍼를 포함할 수 있다.
또한, 영상 부호화 장치는, 입력되는 영상의 대상블록에 대하여 인트라 예측 또는 인터예측에 의한 예측 오차값을 산출한 후, 산출된 예측 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 변환/양자화부; 변환/양자화부에 의해 변환 및 양자화된 값을 역변환 및 역양자화하는 역변환/역양자화부; 키 블록 부호화부에 기초하여 복원된 키 블록 및 논-키 블록 부호화부에 의해 복원된 논-키 블록을 결합하는 결합부; 및 역변환/역양자화부에 의해 출력되는 값을 누적하며, 결합부에 의해 합해진 값을 합하여 참조블록을 복원하는 메모리 버퍼를 더 포함할 수 있다.
전술한 목적을 달성하기 위한 영상 복호화 장치는, 입력되는 부호화 신호에 대하여, 복호화 대상블록에 대한 부호화 정보 및 서브블록 정보를 판독하는 엔트로피 디코더; 엔트로피 디코더에 의해 대상블록이 키 블록 및 논-키 블록 부호화된 것으로 판단되면, 부호화 신호로부터 판독된 서브블록 정보에 기초하여 키 블록을 선택하며, 서브블록 정보에 대응하는 서브블록 중 선택된 키 블록에 대한 픽셀값을 복원하는 키 블록 복호화부; 서브블록 중 선택된 키 블록을 제외한 나머지를 논-키 블록으로 지정하며, 키 블록 복호화부에 기초하여 복원된 키 블록 및 현재블록의 주변 픽셀값을 이용하여 지정된 논-키 블록에 대한 공간예측을 실행하는 논-키 블록 복호화부; 및 키 블록 복호화부에 의해 예측된 값 및 논-키 블록 복호화부에 의해 예측된 값을 결합하는 결합부를 포함하는 것을 특징으로 한다.
여기서, 키 블록 복호화부는, 입력되는 부호화 신호 중 키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 역변환/역양자화부; 선택된 키 블록에 대한 픽셀값을 예측하는 예측부; 및 역변환/역양자화부에 의한 출력값과 예측부에 의한 예측값을 가산하여 선택된 키 블록을 복원하는 키 블록 복원부를 포함하는 것이 바람직하다.
또한, 논-키 블록 복호화부는, 입력되는 부호화 신호 중 논-키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 역변환/역양자화부; 키 블록 복호화부에 기초하여 복원된 키 블록 및 현재블록의 주변픽셀값을 이용하여 공간예측을 실행하는 공간예측 실행부; 및 역변환/역양자화부에 의해 출력되는 값과 인트라 예측 실행부에 의해 실행된 값을 가산하여 지정된 논-키 블록을 복원하는 논-키 블록 복원부를 포함할 수 있다.
또한, 영상 복호화 장치는, 입력되는 부호화 신호를 역변환 및 역양자화하는 역변환/역양자화부를 더 포함할 수 있다.
이 경우, 신호 복원부는, 역변환/역양자화부에 의해 출력되어 누적되는 값에, 결합부에 의해 합해진 값을 합하여 대상블록을 복원하는 것이 바람직하다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화 방법은, 입력되는 영상에 대하여, 부호화 대상블록을 픽셀들의 위치에 따라 복수의 서브블록으로 분리하는 단계; 분리된 복수의 서브블록들 중 적어도 하나의 픽셀크기 이상의 크기를 갖는 임의의 키 블록을 선택하며, 선택된 키 블록에 대한 인트라 예측 부호화 또는 인터 예측 부호화를 실행하는 단계; 및 분리된 서브블록 중 선택된 키 블록을 제외한 나머지를 논-키 블록으로 지정하며, 키 블록에 대한 예측 부호화 실행단계에 의해 복원된 키 블록 및 현재블록의 주변 픽셀값을 이용하여 지정된 논-키 블록에 대한 공간예측을 실행하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 영상 부호화 방법은, 선택된 키 블록에 대한 픽셀값을 예측한 후, 현재픽셀과의 오차값을 산출하고, 산출된 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 단계; 변환 및 양자화된 오차값을 역변환 및 역양자화하는 단계; 및 역변환 및 역양자화되어 출력되는 값을 예측값과 가산하여 선택된 키 블록을 복원하는 단계를 더 포함한다.
또한, 영상 부호화 방법은, 지정된 논-키 블록에 대한 픽셀값을 예측한 후, 현재픽셀과의 오차값을 산출하고, 산출된 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 단계; 변환 및 양자화된 오차값을 역변환 및 역양자화하는 단계; 및 역변환 및 역양자화되어 출력되는 값을 누적하여 지정된 논-키 블록을 복원하는 단계를 더 포함할 수 있다.
또한, 영상 부호화 방법은, 입력되는 영상의 대상블록에 대하여 인트라 예측 또는 인터예측에 의한 예측 오차값을 산출한 후, 산출된 예측 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 단계; 변환 및 양자화된 오차값을 역변환 및 역양자화하는 단계; 및
역변환 및 역양자화단계에 의해 출력되는 값을 누적하며, 결합단계에 의해 결합된 값을 가산하여 대상블록을 복원하는 단계를 더 포함할 수도 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 방법은, 입력되는 부호화 신호에 대하여, 복호화 대상블록에 대한 부호화 정보 및 서브블록 정보를 판독하는 단계; 판독단계에 의해 대상블록이 키 블록 및 논-키 블록 부호화된 것으로 판단되면, 부호화 신호로부터 판독된 서브블록 정보에 기초하여 키 블록을 선택하며, 서브블록 정보에 대응하는 서브블록 중 선택된 키 블록에 대한 픽셀값을 예측하는 단계; 서브블록 중 선택된 키 블록을 제외한 나머지를 논-키 블록으로 지정하며, 키 블록에 대한 예측단계에 기초하여 복원된 키 블록 및 현재블록의 주변 픽셀값을 이용하여 지정된 논-키 블록에 대한 공간예측을 실행하는 단계; 및 키 블록에 대한 예측단계에 의해 예측된 값 및 논-키 블록에 대한 예측 실행단계에 의해 예측된 값에 기초하여 입력되는 부호화 신호를 복원하는 단계를 포함하는 것을 특징으로 한다.
여기서, 영상 복호화 방법은, 입력되는 부호화 신호 중 키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 단계; 및 역변환 및 역양자화 단계에 의한 출력값과 예측단계에 의해 예측된 예측값을 가산하여 선택된 키 블록을 복원하는 단계를 더 포함할 수 있다.
또한, 영상 복호화 방법은, 입력되는 부호화 신호 중 논-키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 단계; 및 역변환 및 역양자화 단계에 의해 출력되는 값과 인트라 예측 실행단계에 의해 실행된 값을 가산하여 지정된 논-키 블록을 복원하는 단계를 더 포함할 수도 있다.
또한, 영상 복호화 방법은, 입력되는 부호화 신호를 역변환 및 역양자화하는 단계; 및 키 블록에 대한 예측단계에 기초하여 복원된 키 블록 및 논-키 블록에 대한 예측단계에 의해 복원된 논-키 블록을 결합하는 단계를 더 포함할 수도 있다. 이 경우, 부호화 신호 복원단계는, 역변환 및 역양자화 단계에 의해 출력되어 누적되는 값에, 결합단계에 의해 합해진 값을 가산하여 대상블록을 복원하는 것이 바람직하다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 고해상도 영상의 부호화를 위하여 코딩의 기본 블록의 크기가 증가하는 경우에도 기존의 인트라 예측에서 제거하지 못하였던 블록 내의 공간적 중복성을 효율적으로 제거할 수 있게 되어 동영상의 부호화 및 복호화 시에 동영상의 원래의 화질을 유지하면서 압축 효율을 높일 수 있게 된다.
도 1은 일반적인 H.264/AVC 부호화기의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 나타낸 도면이다.
도 3은 H.264 표준에 따른 서브블록 분리의 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 서브블록 분리를 나타낸 도면이다.
도 5는 서브블록으로 나뉘어진 16x16 블록의 예를 나타낸 도면이다.
도 6은 복원된 키 블록 및 인접한 주변 픽셀의 예를 나타낸 도면이다.
도 7은 도 2의 영상 부호화 장치에 의한 영상 부호화 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 도면이다.
도 9는 도 8의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다. 도면을 참조하면, 영상 부호화 장치는, 입력되는 영상(210)에 대하여 부호화 대상블록을 픽셀들의 위치에 따라 복수의 서브블록으로 분리하는 대상블록 분리부(Splitter)(220), 대상블록 분리부(220)에 의해 분리된 복수의 서브블록들 중 적어도 하나의 픽셀크기 이상의 크기를 갖는 임의의 키 블록을 선택하며 선택된 키 블록에 대한 인트라 예측 또는 인터 예측을 실행하는 키 블록 부호화부(230), 및 분리된 서브블록들 중 선택된 키 블록을 제외한 나머지를 논-키 블록으로 지정하며 키 블록 부호화부(230)에 기초하여 복원된 키 블록 및 현재블록의 주변 픽셀값을 이용하여 지정된 논-키 블록에 대한 공간예측을 실행하는 논-키 블록 부호화부(240)를 포함한다. 여기서, 공간예측은 논-키 블록 부호화부(240)에 의해 실행되는 인트라 예측으로서, 일반적인 영상 부호화 장치의 인트라 예측과 혼동을 방지하기 위해 용어를 달리 하였다.
영상 부호화 장치 및 후술하는 영상 복호화 장치는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성되어 있으며, 각 픽처들은 블록(Block)과 같은 소정의 영역으로 분할된다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류된다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재블록의 화소를 예측함으로써 예측 블록을 생성하고 현재블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재블록을 예측함으로써 예측 블록을 생성하고 현재블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference frame)라고 한다
한편, 입력되는 영상(210)은 키 블록 부호화부(230)에 의한 키 블록 부호화 과정 및 논-키 블록 부호화부(240)에 의한 논-키 블록 부호화 과정을 거치지 않고, 도 1의 일반적인 H.264 표준에서 규정하는 과정에 따라 부호화가 이루어질 수도 있다. 즉, 인터 예측(211, 212) 또는 인트라 예측(213)에 의해 예측된 값과 현재 영상의 차이에 기초하여 예측오차를 산출하며, 산출된 예측오차를 변환 및 양자화(214)하고 엔트로피 부호화(218)하여 비트스트림으로 전송할 수도 있다. 또한, 변환 및 양자화된 값은 역변환 및 역양자화(215) 과정을 거쳐 예측된 값에 가산되며, 블록 왜곡 현상을 감소시키기 위한 필터(216) 과정을 거쳐 메모리 버퍼(270)에 누적함으로써 복원된 영상을 형성할 수 있다.
대상블록 분리부(220)는 입력되는 영상(210)에 대하여, 부호화 대상블록을 픽셀들의 위치에 따라 복수의 서브블록들로 분리할 수 있다. H.264 표준의 경우에도 입력되는 영상의 대상블록을 서브블록으로 분리하기도 하지만, 이것은 개념적으로 도 3에 도시한 바와 같이 인접한 픽셀들을 묶어 여러 개의 서브블록으로 나누는 것이다. 그러나, 본 발명의 실시예에 따른 대상블록 분리부(220)는 대상블록을 인접한 픽셀들에 따라 분리하는 것이 아니라, 대상블록을 구성하는 픽셀들의 위치에 따라 서브블록들을 분리한다.
예를 들어, 대상블록의 크기는 2의 승수로 표현할 수 있다. 일반적으로, 영상압축에서는 대상블록의 크기를 16x16으로 하여 매크로블록을 설정한다. 부호화하고자 하는 대상블록의 크기가 MxN이라고 할 경우, 이와 같은 대상블록의 크기 MxN 은
Figure pat00015
로 표현 할 수 있다. 이때, 가능한 서브 블록의 크기는
Figure pat00016
중의 어느 하나일 수 있다. 여기서, m 및 n은 자연수를 나타낸다.
대상블록 분리부(220)는 서브 블록의 크기들 중 하나를 선택하여 기본 블록을 서브 블록들로 나누게 된다. 예를 들어,
Figure pat00017
이 서브 블록의 크기로 결정되었다면, 기본 블록은 총
Figure pat00018
개의 서브 블록들로 나뉘어지게 된다. 수학식 3은 기본 블록을 서브 블록들로 나누는 식을 나타낸다.
(수학식 3)
Figure pat00019
수학식 3에서
Figure pat00020
는 현재 블록의
Figure pat00021
좌표에 대한 화소값을 의미하고,
Figure pat00022
는 k번째 서브 블록을 나타내며, %는 모듈러 연산을 의미하고,
Figure pat00023
는 버림연산을 의미한다. 위 식을 통하여
Figure pat00024
부터
Figure pat00025
까지의 서브 블록을 만들어 낼 수 있다. 도 4에는 16x16블록의 크기를 갖는 대상블록의 각각의 픽셀들의 위치에 따른 서브블록의 분리를 설명하기 위하여, 각각의 픽셀들의 모양을 서로 다르게 표현하였다. 또한, 도 5에는 16x16블록을 16개의 서브 블록으로 나눈 경우를 나타내었다. 여기서, 각각의 서브블록은 4x4 블록의 크기를 갖는다.
키 블록 부호화부(230)는 대상블록 분리부(220)에 의해 분리된 복수의 서브블록들 중에서 적어도 하나의 픽셀크기 이상의 크기를 갖는 임의의 키 블록을 선택하거나 기 설정된 k번째 블록을 키 블록으로 지정한다. 서브블록들 중에서 키 블록을 제외한 나머지 블록들은 논-키 블록 부호화부(240)에 의해 논-키 블록으로 지정될 수 있다. 키 블록들은 논-키 블록들보다 먼저 부호화된 후 복호화되는 것이 바람직하다.
여기서, 키 블록 부호화부(230)는 변환/양자화부(234), 역변환/역양자화부(235) 및 메모리 버퍼(237)를 구비할 수 있다.
변환/양자화부(234)는 선택된 키 블록에 대하여 인터 예측(231, 232) 또는 인트라 예측(233)에 따라 픽셀값을 예측한 후, 현재픽셀과의 오차값을 산출하고, 산출된 오차값을 변환 및 양자화하여 엔트로피 인코더(218)로 전송한다. 예를 들어, 도 5와 같이 16x16 크기의 대상블록이 4x4 크기의 복수의 서브블록으로 분리된 경우에 복수의 서브블록 중 Isb15가 키 블록으로 선택되었다고 가정하면, 키 블록 부호화부(230)는 키 블록으로 선택된 블록에 대해 인터 예측 또는 인트라 예측을 수행한다. 이때, 예측 블록의 크기는 4x4 블록에 한정되는 않으며 다양한 크기의 블록으로 설정될 수 있다. 예측을 거친 잔차 블록은 주파수 변환과 양자화를 수행한 후, 엔트로피 인코더(218)로 전송되어 비트스트림으로 압축된다.
역변환/역양자화부(235)는 양자화된 신호를 역양자화와 역주파수 변환 등을 거쳐 복호화를 수행하며, 메모리 버퍼(237)는 역변환/역양자화부(235)에 의한 출력값을 누적하여 키 블록에 대한 복원 블록인
Figure pat00026
을 생성한다. 이때, 복원되는 블록의 왜곡을 감소시키기 위하여 디블로깅을 위한 필터링 과정(236)이 부가될 수 있다.
한편, 대상블록 분리부(220)를 지난 논-키 블록은, 도 2의 논-키 블록 부호화부(240)에 의해 부호화 및 복호화가 진행하게 된다. 이를 위하여, 논-키 블록 부호화부(240)는 논-키 블록에 대한 픽셀값을 예측한 후 현재픽셀과의 오차값을 산출하고 산출된 오차값을 변환 및 양자화하여 엔트로피 인코더(218)로 전송하는 변환/양자화부(242), 변환/양자화부(242)에 의해 변환 및 양자화된 값을 역변환 및 역양자화하는 역변환/역양자화부(243), 및 역변환/역양자화부(243)에 의해 출력되는 값을 누적하여 논-키 블록을 복원하는 메모리 버퍼(245)를 구비할 수 있다. 이때, 논-키 블록 부호화부(240)는 키 블록 부호화부(230)에 기초하여 복원된 키 블록과 현재블록의 이웃한 기 복원된 픽셀들을 이용하여 도 6에 도시한 바와 같이, 인트라 예측에 따라 해당하는 논-키 블록에 대한 예측값을 산출하게 된다. 이때, 논-키 블록을 위한 수학식 4와 같이 산출될 수 있으며, 이를 공간예측이라 칭한다.
(수학식4)
Figure pat00027
여기서,
Figure pat00028
는 k번째 서브 블록의
Figure pat00029
위치에 해당하는 예측 픽셀값을 나타낸다. 또한,
Figure pat00030
과 같이 좌표 값이 음수인 경우는 현재 블록의 이웃한 픽셀의 값을 의미한다. 이때,
Figure pat00031
는 D의 위치의 픽셀값을 나타낸다. 위의 식은 예측신호를 만드는 방법의 예시일 뿐, 위의 방법으로 한정하지는 않는다.
이렇게 공간 예측을 수행한 후 논-키 블록과 예측 블록의 잔차 블록은 변화과 양자화(242)를 거쳐 엔트로피 인코더(218)로 보내지게 된다.
키 블록 부호화부(230)의 경우와 마찬가지로, 역변환/역양자화부(243)는 양자화된 신호를 역양자화와 역주파수 변환 등을 거쳐 복호화를 수행하며, 메모리 버퍼(245)는 역변환/역양자화부(243)에 의한 출력값을 누적하여 논-키 블록에 대한 복원 블록을 생성한다. 이때, 복원되는 블록의 왜곡을 감소시키기 위하여 디블로깅을 위한 필터링 과정(244)이 부가될 수 있다.
키 블록을 예측하는 과정에서, 예측 모드 중에서 자주 사용되는 모드만을 후보로 사용 방법이 효율적일 수 있다. 예를 들어, 인트라 예측에서 주로 사용되는 수직 예측 모드, 수평 예측 모드, 또는 DC 예측 모드만을 사용하여 키 블록 인트라 예측 모드의 인덱스를 부호화하기 위한 비트 수를 줄일 수 있다.
또한, 키 블록 부호화부(230) 및 논-키 블록 부호화부(240)에서 사용되는 주파수 변환과 양자화는 목적에 따라서 일반적인 비디오 코덱들과 다른 종류의 변화 및 양자화를 사용할 수 있다. 또한, 일반적인 양자화와 같은 방법으로 양자화를 수행하더라고 Qstep값을 달리 할 수 있다. 예를 들어, 키 블록의 복원값에 양자화 에러가 적게 발생하도록 하려면 더 작은 Qstep으로 양자화를 하고, 키 블록의 복원값을 적은 양의 비트로 부호화 하고 싶을 경우는 큰 Qstep으로 양자화를 할 수 있다.
이와 같이 키 블록 부호화부(230) 및 논-키 블록 부호화부(240)에 의해 복원화된 키 블록 신호 및 논-키 블록 신호는 결합부(merger)(250)에 의해 합산되며, 메모리 버퍼(270)에서 키 블록 부호화부(230) 및 논-키 블록 부호화부(240)를 거치지 않고 복원된 신호와 합쳐져서 대상블록으로 복원된다.
도 7은 도 2의 영상 부호화 장치에 의한 영상 부호화 방법을 나타낸 흐름도이다.
도면을 참조하면, 대상블록 분리부((220)는 입력되는 영상에 대하여, 부호화 대상블록을 픽셀들의 위치에 따라 복수의 서브블록으로 분리한다(S701).
키 블록 부호화부(230)는 분리된 복수의 서브블록 중 키 블록을 선택하며, 입력되는 영상 프레임에 따라 인트라 예측 또는 인터 예측을 실행한다(S703). 또한, 키 블록 부호화부(230)는, 이와 같이 예측된 값과 현재 영상의 차이에 기초하여 예측오차를 산출하며, 산출된 예측오차를 변환 및 양자화하고 엔트로피 부호화하여 비트스트림으로 전송한다(S705). 한편, 키 블록 부호화부(230)는 변환 및 양자화된 값을 역변환 및 역양자화 과정을 거쳐 인트라 예측 또는 인터 예측된 값에 가산하며(S707), 블록 왜곡 현상을 감소시키기 위한 필터 과정을 거쳐 키 블록으로 복원한다(S709).
논-키 블록 부호화부(240)는 대상블록 분리부(220)에 의해 분리된 서브블록들 중 키 블록 부호화부(230)에 의해 선택된 키 블록을 제외한 논-키 블록에 대하여, 키 블록 부호화부(230)에 의해 복원된 키 블록 및 기 복원된 주변 픽셀들을 이용하여 인트라 예측에 따라 픽셀값을 예측한다(S711). 또한, 논-키 블록 부호화부(240)는 이와 같이 공간 예측된 값과 현재 영상의 차이에 기초하여 예측오차를 산출하며, 산출된 예측오차를 변환 및 양자화하고 엔트로피 부호화하여 비트스트림으로 전송한다(S713). 한편, 논-키 블록 부호화부(240)는 변환 및 양자화된 값을 역변환 및 역양자화 과정을 거쳐 인트라 예측된 값에 가산하며(S715), 블록 왜곡 현상을 감소시키기 위한 필터 과정을 거쳐 논-키 블록으로 복원한다(S717). 복원된 키 블록 및 논-키 블록은 결합부(250)에 의해 결합된다(S719).
한편, 키 블록 부호화부(230) 및 논-키 블록 부호화부(240)를 거치지 않고 대상블록에 대한 인트라 예측 또는 인터 예측이 실행된 경우, 예측된 값과 현재 영상의 차이에 기초하여 오차값이 산출되며, 산출된 오차값은 변환 및 양자화되어 엔트로피 부호화된다(S721). 또한, 변환 및 양자화된 값은 역변환 및 역양자화 과정을 거친후(S723), 결합부(250)에 의해 합산된 값과 가산되어 대상블록으로 복원된다(S725). 이때, 블록 왜곡 현상을 감소시키기 위한 필터링 과정이 추가될 수 있다.
현재 영상을 키 블록과 논-키 블록으로 분리하여 부호화하는 방식은 매크로블록/슬라이스/프레임 단위로 적응적으로 사용할 수 있으며, 이를 나타내는 정보 역시 매크로 블록/슬라이스/프레임 단위로 전송될 수 있다. 또한, 키 블록으로 선택되는 블록에 대한 정보가 필요하다면 전송해야 하지만, 설정된 위치의 서브블록을 키 블록으로 사용하는 경우에는 키 블록에 대한 정보의 전송을 생략할 수 있다.도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 나타낸 도면이다. 도면을 참조하면, 영상 복호화 장치는, 입력되는 부호화 신호에 대하여, 복호화 대상블록에 대한 부호화 정보 및 서브블록 정보를 판독하는 엔트로피 디코더(910), 엔트로피 디코더(810)에 의해 대상블록이 키 블록 및 논-키 블록 부호화된 것으로 판단되면 부호화 신호로부터 판독된 서브블록 정보에 기초하여 키 블록을 선택하며 서브블록 정보에 대응하는 서브블록 중 선택된 키 블록에 대한 픽셀값을 예측하는 키 블록 복호화부(920), 서브블록 중 선택된 키 블록을 제외한 나머지를 논-키 블록으로 지정하며 키 블록 복호화부(820)에 기초하여 복원된 키 블록 및 현재블록의 주변 픽셀값을 이용하여 지정된 논-키 블록에 대한 인트라 예측을 실행하는 논-키 블록 복호화부(830) 및 키 블록 복호화부(820)에 의해 예측된 값 및 논-키 블록 복호화부(830)에 의해 예측된 값에 기초하여 입력되는 부호화 신호를 복원하는 신호 복원부(816)를 포함한다.
여기서, 영상 복호화 장치는, 대상블록이 키 블록 및 논-키 블록 부호화되지 않은 경우에는 H.264 표준에 의한 일반적인 복호화 과정에 따라, 참조 영상(811)에 기초하여 움직임을 보상하고 인터 예측을 하는 인터 예측부(812), 및 현재 프레임으로부터 인트라 예측을 실행하는 인트라 예측부(813), 입력되는 부호화 신호를 역변환 및 역 양자화하는 역변환/역양자화부(814), 인트라 예측 또는 인터 예측된 값과 역변환 및 역양자화한 값을 가산하여 복원신호를 생성하는 필터(815) 등을 더 포함할 수 있다.
바람직하게는, 키 블록 복호화부(820)는 입력되는 부호화 신호 중 키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 역변환/역양자화부(824), 선택된 키 블록에 대하여 인터 예측 또는 인트라 예측된 픽셀값을 예측하는 예측부(822,823), 및 역변환/역양자화부(824)에 의한 출력값과 예측부(822,823)에 의한 예측값을 가산하여 선택된 키 블록을 복원하는 키 블록 복원부(826)를 포함한다.
또한, 논-키 블록 복호화부(830)는, 입력되는 부호화 신호 중 논-키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 역변환/역양자화부(832), 키 블록 복호화부(820)에 기초하여 복원된 키 블록 및 현재블록의 주변 픽셀값을 이용하여 인트라 예측을 실행하는 공간예측 실행부(831), 및 역변환/역양자화부(832)에 의해 출력되는 값과 공간예측 실행부(831)에 의해 실행된 값을 가산하여 지정된 논-키 블록을 복원하는 논-키 블록 복원부(834)를 포함하는 것이 바람직하다.
바람직하게는, 영상 복호화 장치는, 키 블록 복호화부(820)에 기초하여 복원된 키 블록 및 논-키 블록 복호화부(830)에 의해 복원된 논-키 블록을 가산하는 결합부(merger)(840)를 더 포함하며, 결합부(840)에 의해 합산된 신호를 키 블록 및 논-키 블록 부호화를 거치지 않고 복원된 신호와 합하여 대상블록을 복원하도록 구현된다.
도 9은 도 8의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름도이다.
도면을 참조하면, 엔트로피 디코더(810)는 입력되는 부호화에 대하여, 복호화 대상블록에 대한 부호화 정보 및 서브블록 정보를 판독한다(S901).
키 블록 복호화부(820)는 엔트로피 디코더(810)에 의해 대상블록이 키 블록 및 논-키 블록 부호화된 것으로 판단되면, 판독된 서브블록 정보에 기초하여 서브블록 중의 키 블록을 선택하고, 판독된 정보에 따라 인트라 예측 또는 인터 예측을 실행한다(S903). 또한, 키 블록 복호화부(820)는, 수신한 부호화 신호를 역변환 및 역양자화하며(S905), 역변환 및 역양자화 과정을 통해 출력되는 값을 인트라 예측 또는 인터 예측된 값에 가산하고, 블록 왜곡 현상을 감소시키기 위한 필터 과정을 거쳐 키 블록으로 복원한다(S907).
논-키 블록 복호화부(830)는 엔트로피 디코더(810)에 의해 판독된 서브블록들 중 키 블록 복호화부(820)에 의해 선택된 키 블록을 제외한 논-키 블록을 지정하며, 키 블록 복호화부(820)에 의해 복원된 키 블록 및 기 복원된 주변 픽셀들을 이용하여 인트라 예측에 따라 픽셀값을 예측한다(S909). 또한, 논-키 블록 복호화부(830)는 수신되는 부호화 신호를 역변환 및 역양자화하며(S911), 역변환 및 역양자화 과정을 통해 출력되는 값을 인트라 예측된 값에 가산하고, 블록 왜곡 현상을 감소시키기 위한 필터 과정을 거쳐 논-키 블록으로 복원한다(S913). 복원된 키 블록 및 논-키 블록은 결합부(840)에 의해 합산된다(S915).
한편, 영상 복호화 장치는, 키 블록 복호화부(820) 및 논-키 블록 복호화부(830)를 거치지 않고 부호화된 신호에 대하여, 역변환 및 역양자화 과정을 거친 후(S917), 결합부(840)에 의해 합산된 값과 가산하여 대상블록으로 복원한다(S919). 이때, 블록 왜곡 현상을 감소시키기 위한 필터링 과정이 추가될 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는 영상 압축장치 및 영상 복호 장치분야에 적용되어, 고해상도 영상의 부호화를 위하여 코딩의 기본 블록의 크기가 증가하는 경우에도 기존의 인트라 예측에서 제거하지 못하였던 블록 내의 공간적 중복성을 효율적으로 제거할 수 있게 되어 동영상의 부호화 및 복호화 시에 동영상의 원래의 화질을 유지하면서 압축 효율을 높일 수 있도록 하는 효과를 발생시키는 매우 유용한 발명이다.
220: 대상블록 분리부
230: 키 블록 부호화부
240: 논-키 블록 부호화부
910: 엔트로피 디코더
920: 키 블록 복호화부
930: 논-키 블록 복호화부

Claims (18)

  1. 영상 부호화 장치에 있어서,
    입력되는 영상에 대하여, 부호화 대상블록을 픽셀들의 위치에 따라 복수의 서브블록으로 분리하는 대상블록 분리부;
    상기 대상블록 분리부에 의해 분리된 상기 복수의 서브블록들 중 적어도 하나의 픽셀크기 이상의 크기를 갖는 임의의 키 블록을 선택하며, 선택된 상기 키 블록에 대한 인트라 예측 부호화 또는 인터 예측부호화를 실행하는 키 블록 부호화부; 및
    분리된 상기 서브블록 중 선택된 상기 키 블록을 제외한 나머지를 논-키 블록으로 지정하며, 상기 키 블록 부호화부에 의해 복원된 키 블록 및 현재블록의 주변 픽셀값을 이용하여 상기 지정된 논-키 블록에 대한 공간예측을 실행하는 논-키 블록 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1항에 있어서,
    상기 대상블록 분리부는,
    Figure pat00032
    으로 표현되는 상기 대상블록을
    Figure pat00033
    중의 어느 하나의 크기를 갖는 상기 서브블록으로 분리하는 것을 특징으로 하는 영상 부호화 장치(여기서, m 및 n은 자연수).
  3. 제 1항에 있어서,
    상기 대상블록 분리부는,
    Figure pat00034
    으로 표현되는 상기 대상블록에 대하여 상기서브블록의 크기가
    Figure pat00035
    로 결정되었을 경우, 다음의 식에 따라 상기 서브블록들로 분리하는 것을 특징으로 하는 영상 부호화 장치:
    Figure pat00036

    여기서,
    Figure pat00037
    는 상기 현재블록의
    Figure pat00038
    좌표에 대한 픽셀값을 나타내고,
    Figure pat00039
    는 k번째 서브 블록을 나타내며, %는 모듈러 연산을 나타내고,
    Figure pat00040
    는 버림연산을 나타내며, 기본블록은 총
    Figure pat00041
    개의 서브 블록들로 나뉘어지고, M과 N은 각각 블록의 가로 크기와 세로 크기를 나타냄.
  4. 제 1항에 있어서,
    상기 키 블록 부호화부는,
    상기 선택된 키 블록에 대한 픽셀값을 예측한 후, 현재픽셀과의 오차값을 산출하고, 산출된 상기 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 변환/양자화부;
    상기 변환/양자화부에 의해 변환 및 양자화된 값을 역변환 및 역양자화하는 역변환/역양자화부; 및
    상기 역변환/역양자화부에 의해 출력되는 값을 누적하여 상기 키 블록을 복원하는 메모리 버퍼
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 1항에 있어서,
    상기 논-키 블록 부호화부는,
    상기 논-키 블록에 대한 픽셀값을 예측한 후, 현재픽셀과의 오차값을 산출하고, 산출된 상기 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 변환/양자화부;
    상기 변환/양자화부에 의해 변환 및 양자화된 값을 역변환 및 역양자화하는 역변환/역양자화부; 및
    상기 역변환/역양자화부에 의해 출력되는 값을 누적하여 상기 논-키 블록을 복원하는 메모리 버퍼
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 1항에 있어서,
    상기 입력되는 영상의 상기 대상블록에 대하여 인트라 예측 또는 인터예측에 의한 예측 오차값을 산출한 후, 산출된 상기 예측 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 변환/양자화부;
    상기 변환/양자화부에 의해 변환 및 양자화된 값을 역변환 및 역양자화하는 역변환/역양자화부;
    상기 키 블록 부호화부에 기초하여 복원된 키 블록 및 상기 논-키 블록 부호화부에 의해 복원된 논-키 블록을 결합하는 결합부; 및
    상기 역변환/역양자화부에 의해 출력되는 값을 누적하며, 상기 결합부에 의해 결합된값으로부터 참조블록을 복원하는 메모리 버퍼
    를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  7. 영상 복호화 장치에 있어서,
    입력되는 부호화 신호에 대하여, 복호화 대상블록에 대한 부호화 정보 및 서브블록 정보를 판독하는 엔트로피 디코더엔트로피 디코더;
    상기 엔트로피 디코더엔트로피 디코더의해 상기 대상블록이 키 블록 및 논-키 블록 부호화된 것으로 판단되면, 상기 부호화 신호로부터 판독된 상기 서브블록 정보에 기초하여 키 블록을 선택하며, 상기 서브블록 정보에 대응하는 서브블록 중 선택된 상기 키 블록에 대한 픽셀값을 복원하는 키 블록 복호화부;
    상기 서브블록 중 선택된 상기 키 블록을 제외한 나머지를 논-키 블록으로 지정하며, 상기 키 블록 복호화부에 기초하여 복원된 키 블록 및 상기 현재블록의 주변 픽셀값을 이용하여 상기 지정된 논-키 블록에 대한 공간 예측을 실행하여 논-키 블록을 복원하는 논-키 블록 복호화부; 및
    상기 키 블록 복호화부에 의해 복원된 값 및 상기 논-키 블록 복호화부에 의해 복원된 값을 결합하는 결합부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  8. 제 7항에 있어서,
    상기 키 블록 복호화부는,
    입력되는 상기 부호화 신호 중 키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 역변환/역양자화부;
    상기 선택된 키 블록에 대한 픽셀값을 예측하는 예측부; 및
    상기 역변환/역양자화부에 의한 출력값과 상기 예측부에 의한 예측값을 가산하여 상기 선택된 키 블록을 복원하는 키 블록 복원부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  9. 제 7항에 있어서,
    상기 논-키 블록 복호화부는,
    상기 입력되는 상기 부호화 신호 중 논-키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 역변환/역양자화부;
    상기 키 블록 복호화부에 기초하여 복원된 키 블록 및 상기 현재블록의 주변픽셀값을 이용하여 공간 예측을 실행하는 공간예측 실행부; 및
    상기 역변환/역양자화부에 의해 출력되는 값과 상기 인트라 예측 실행부에 의해 실행된 값을 가산하여 상기 지정된 논-키 블록을 복원하는 논-키 블록 복원부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제 7항에 있어서,
    입력되는 상기 부호화 신호를 역변환 및 역양자화하는 역변환/역양자화부
    를 더 포함하며,
    상기 신호 복원부는, 상기 역변환/역양자화부에 의해 출력되어 누적되는 값에, 상기 결합부에 의해 결합된 값에 기초하여 상기 대상블록을 복원하는 것을 특징으로 하는 영상 복호화 장치.
  11. 영상 부호화 방법에 있어서,
    입력되는 영상에 대하여, 부호화 대상블록을 픽셀들의 위치에 따라 복수의 서브블록으로 분리하는 단계;
    분리된 상기 복수의 서브블록들 중 적어도 하나의 픽셀크기 이상의 크기를 갖는 임의의 키 블록을 선택하며, 선택된 상기 키 블록에 대한 인트라 예측 부호화 또는 인터 예측 부호화를 실행하는 단계; 및
    분리된 상기 서브블록 중 선택된 상기 키 블록을 제외한 나머지를 논-키 블록으로 지정하며, 상기 키 블록에 대한 예측 부호화 실행단계에 의해 복원된 키 블록 및 상기 현재블록의 주변 픽셀값을 이용하여 상기 지정된 논-키 블록에 대한 공간예측을 실행하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  12. 제 11항에 있어서,
    상기 선택된 키 블록에 대한 픽셀값을 예측한 후, 현재픽셀과의 오차값을 산출하고, 산출된 상기 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 단계;
    상기 변환 및 양자화된 오차값을 역변환 및 역양자화하는 단계; 및
    상기 역변환 및 역양자화되어 출력되는 값을 예측값과 가산하여 상기 선택된 키 블록을 복원하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  13. 제 11항에 있어서,
    상기 지정된 논-키 블록에 대한 픽셀값을 예측한 후, 현재픽셀과의 오차값을 산출하고, 산출된 상기 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 단계;
    상기 변환 및 양자화된 오차값을 역변환 및 역양자화하는 단계; 및
    상기 역변환 및 역양자화되어 출력되는 값을 누적하여 상기 지정된 논-키 블록을 복원하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  14. 제 11항에 있어서,
    상기 입력되는 영상의 상기 대상블록에 대하여 인트라 예측 또는 인터예측에 의한 예측 오차값을 산출한 후, 산출된 상기 예측 오차값을 변환 및 양자화하여 엔트로피 인코더로 전송하는 단계;
    상기 변환 및 양자화된 오차값을 역변환 및 역양자화하는 단계; 및
    상기 역변환 및 역양자화단계에 의해 출력되는 값을 누적하며, 누적된 값에 기초하여 상기 대상블록을 복원하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  15. 영상 복호화 방법에 있어서,
    입력되는 부호화 신호에 대하여, 복호화 대상블록에 대한 부호화 정보 및 서브블록 정보를 판독하는 단계;
    상기 판독단계에 의해 상기 대상블록이 키 블록 및 논-키 블록 부호화된 것으로 판단되면, 상기 부호화 신호로부터 판독된 상기 서브블록 정보에 기초하여 키 블록을 선택하며, 상기 서브블록 정보에 대응하는 서브블록 중 선택된 상기 키 블록에 대한 픽셀값을 예측하는 단계;
    상기 서브블록 중 선택된 상기 키 블록을 제외한 나머지를 논-키 블록으로 지정하며, 상기 키 블록에 대한 예측단계에 기초하여 복원된 키 블록 및 상기 현재블록의 주변 픽셀값을 이용하여 상기 지정된 논-키 블록에 대한 공간예측을 실행하는 단계; 및
    상기 키 블록에 대한 예측단계에 의해 예측된 값 및 상기 논-키 블록에 대한 예측 실행단계에 의해 예측된 값에 기초하여 입력되는 상기 부호화 신호를 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  16. 제 15항에 있어서,
    입력되는 상기 부호화 신호 중 키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 단계; 및
    상기 역변환 및 역양자화 단계에 의한 출력값과 상기 예측단계에 의해 예측된 예측값을 가산하여 상기 선택된 키 블록을 복원하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  17. 제 15항에 있어서,
    상기 입력되는 상기 부호화 신호 중 논-키 블록 부호화에 대응하는 신호를 역변환 및 역양자화하는 단계; 및
    상기 역변환 및 역양자화 단계에 의해 출력되는 값과 상기 공간예측 실행단계에 의해 실행된 값을 가산하여 상기 지정된 논-키 블록을 복원하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  18. 제 15항에 있어서,
    입력되는 상기 부호화 신호를 역변환 및 역양자화하는 단계; 및
    상기 키 블록에 대한 예측단계에 기초하여 복원된 키 블록 및 상기 논-키 블록에 대한 예측단계에 의해 복원된 논-키 블록을 결합하는 단계
    를 더 포함하며,
    상기 부호화 신호 복원단계는, 상기 역변환 및 역양자화 단계에 의해 출력되어 누적되는 값에, 상기 결합단계에 의해 결합된값을 가산하여 상기 대상블록을 복원하는 것을 특징으로 하는 영상 복호화 방법.
KR1020100017530A 2010-02-26 2010-02-26 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법 KR101449692B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100017530A KR101449692B1 (ko) 2010-02-26 2010-02-26 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
US13/581,206 US8768083B2 (en) 2010-02-26 2011-02-25 Apparatus and method for encoding images, and apparatus and method for decoding images
PCT/KR2011/001329 WO2011105849A2 (ko) 2010-02-26 2011-02-25 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100017530A KR101449692B1 (ko) 2010-02-26 2010-02-26 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110098089A true KR20110098089A (ko) 2011-09-01
KR101449692B1 KR101449692B1 (ko) 2014-10-13

Family

ID=44507456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100017530A KR101449692B1 (ko) 2010-02-26 2010-02-26 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법

Country Status (3)

Country Link
US (1) US8768083B2 (ko)
KR (1) KR101449692B1 (ko)
WO (1) WO2011105849A2 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
US10841617B2 (en) 2018-11-27 2020-11-17 Semiconductor Components Industries, Llc Methods and apparatus for successive intra block prediction
CN115361582B (zh) * 2022-07-19 2023-04-25 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100336497B1 (ko) * 1999-12-27 2002-05-15 오길록 공간예측 오차 모델을 이용한 동영상 부호화기의 율제어장치 및 방법
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
PL1956847T3 (pl) * 2005-11-08 2018-06-29 Sun Patent Trust Sposób kodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów oraz urządzenia służące do tego celu
US8331448B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Systems and methods for efficient spatial intra predictabilty determination (or assessment)
WO2011027440A1 (ja) * 2009-09-02 2011-03-10 株式会社 東芝 画像圧縮装置及び画像伸張装置

Also Published As

Publication number Publication date
US20130089264A1 (en) 2013-04-11
WO2011105849A3 (ko) 2012-01-12
WO2011105849A2 (ko) 2011-09-01
US8768083B2 (en) 2014-07-01
KR101449692B1 (ko) 2014-10-13

Similar Documents

Publication Publication Date Title
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20200026863A (ko) 인트라 예측 방법 및 그 장치
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101955374B1 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR101677480B1 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR20110069740A (ko) 영상 부호화/복호화 방법 및 장치
KR20110083368A (ko) 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR20110017300A (ko) 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101973568B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
KR20110032671A (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20110043510A (ko) 영상 부호화/복호화 장치 및 방법
KR20120011428A (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20120009861A (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR20120009693A (ko) 다중 예측 필터를 이용하는 경쟁기반 인트라 예측 부호화/복호화 장치 및 방법
KR102072124B1 (ko) 세밀한 예측 단위를 사용하는 효과적인 부호화/복호화 방법 및 장치
KR20120015495A (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20110045912A (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR101596085B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR101673025B1 (ko) 전 방위 기반의 인트라 예측 부호화/복호화 장치 및 방법
KR101911587B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR20110023023A (ko) 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20100092268A (ko) 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171010

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 5