KR101441879B1 - 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법 - Google Patents

영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법 Download PDF

Info

Publication number
KR101441879B1
KR101441879B1 KR1020090121980A KR20090121980A KR101441879B1 KR 101441879 B1 KR101441879 B1 KR 101441879B1 KR 1020090121980 A KR1020090121980 A KR 1020090121980A KR 20090121980 A KR20090121980 A KR 20090121980A KR 101441879 B1 KR101441879 B1 KR 101441879B1
Authority
KR
South Korea
Prior art keywords
intra prediction
error
current block
prediction mode
prediction error
Prior art date
Application number
KR1020090121980A
Other languages
English (en)
Other versions
KR20110065116A (ko
Inventor
김수년
임정연
이규민
최재훈
김용구
최윤식
최영호
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020090121980A priority Critical patent/KR101441879B1/ko
Priority to PCT/KR2010/008777 priority patent/WO2011071316A2/ko
Priority to US13/514,552 priority patent/US9271000B2/en
Publication of KR20110065116A publication Critical patent/KR20110065116A/ko
Application granted granted Critical
Publication of KR101441879B1 publication Critical patent/KR101441879B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법에 관한 것이다. 본 발명의 실시예에 따른 영상 부호화 장치는, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 인트라 예측오차 결집부에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부; 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 현재 픽셀과의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및 변환기저 생성부에 의해 생성된 변환기저를 이용하여 인트라 예측부에 의해 생성된 예측 오차를 변환 부호화하는 변환 부호화부를 포함하는 것을 특징으로 한다. 본 발명에 의하면, 영상의 특성 변화에 따라 적응적으로 변환기저를 생성하여 인트라 예측 오차를 변환 부호화함으로써, 어떠한 부가정보의 추가없이 인트라 예측 부호화의 성능을 크게 향상시켜 비디오 압축 장치의 압축 효율 또는 복원 영상의 화질을 크게 향상시킬 수 있게 된다.
인트라 예측, 부호화, 예측 오차, 대상 블록

Description

영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법{Video encoding apparatus and method, transform encoding apparatus and method, basis transform generating apparatus and method, and video decoding apparatus and method}
본 발명의 실시예는 영상 부호화 장치 및 방법, 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 특정 부호화 단위에 대해 인트라 예측모드뿐만 아니라 영상의 특성 변화에 따라 적응적으로 변환기저를 생성하여 인트라 예측 오차를 변환 부호화함으로써, 어떠한 부가정보의 추가없이 인트라 예측 부호화의 성능을 크게 향상시킬 수 있는 영상 부호화 장치 및 방법, 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕 구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다.
이러한 동영상 압축 방법으로서, 최근에 MPEG-4(Moving Picture Experts Group-4)에 비해 압축 효율을 한층 향상시킨 H.264/AVC에 대한 관심이 높아지고 있다.
H.264는 매우 높은 데이터 압축률을 가지는 디지털 비디오 코덱 표준으로 MPEG-4 파트 10 또는 AVC(Advanced Video Coding)라고 부르기도 한다. 이 표준은 ITU-T(International Telecommunication Union Telecommunication Standardization Sector: 국제전기통신연합 전기통신 표준화 부문)의 VCEG(Video Coding Experts Group: 비디오 코딩 전문가 그룹)와 ISO/IEC(International Standardization Organization/International Electrotechnical Commission)의 MPEG가 공동으로 합 동 비디오 팀(Joint Video Team)을 구성하고 표준화를 진행하여 나온 결과물이다.
압축 부호화 시의 압축 효율을 향상시키기 위하여 여러 가지 방법이 제안되고 있는데, 대표적인 것으로 시간적 예측(temporal prediction)을 이용하는 방법과 공간적 예측(spatial prediction)을 이용하는 방법이 있다.
시간적 예측은 도 1에 도시한 바와 같이, 현재 프레임(110)의 현재 블록(112)을 예측할 때 시간적으로 인접하는 다른 프레임(120)의 참조 블록(reference block)(122)을 참조하여 예측하는 방식이다. 즉, 현재 프레임(110)의 현재 블록(112)을 인터 예측함에 있어서, 시간적으로 인접하는 참조 프레임(120)을 검색하고, 참조 프레임(120) 내에서 현재 블록(112)과 가장 유사한 참조 블록(122)을 검색한다. 여기서, 참조 블록(122)은 현재 블록(112)을 가장 잘 예측할 수 있는 블록으로서, 현재 블록(112)과의 SAD(Sum of Absolute Difference)가 가장 작은 블록이 참조 블록(122)이 될 수 있다. 참조 블록(122)은 현재 블록(112)의 예측 블록이 되며, 현재 블록(112)에서 참조 블록(122)을 감산하여 잔차 블록(residual block)을 생성한다. 생성된 잔차 블록이 부호화되어 비트스트림에 삽입된다. 이때, 현재 프레임(110)에서 현재 블록(112)의 위치와 참조 프레임(120)에서 참조 블록(122)의 위치 사이의 상대적인 차이는 움직임 벡터(130)라 하며, 움직임 벡터(130)도 잔차 블록과 같이 부호화된다. 시간적 예측은 인터 예측(inter prediction) 또는 화면간 예측이라고도 한다.
공간적 예측은 하나의 프레임 내에서 대상 블록에 인접한 참조 블록의 재구성 픽셀 값을 이용하여 대상 블록의 예측 픽셀 값을 구하는 것으로서, 방향적 인트 라 예측(directional intra-prediction)(이하에서는 단순히 인트라 예측이라고 한다) 또는 화면내 예측이라고도 한다. H.264는 인트라 예측을 이용한 부호화/복호화를 규정하고 있다.
인트라 예측은 하나의 서브 블록(sub-block)에 대해 상방향, 좌방향의 인접 픽셀들을 이용하여 정해진 방향으로 복사함으로써 현재 서브 블록의 값들을 예측하고, 그 차분만을 부호화하는 방법이다. H.264 표준에 따른 인트라 예측 기법에 있어서, 현재 블록에 대한 예측 블록은 앞선 코딩 순서를 갖는 다른 블록을 기반으로 생성된다. 그리고, 현재 블록과 예측 블록을 뺀 값이 코딩된다. H.264에 따른 비디오 인코더는 각각의 블록에 대하여, 예측 모드들 중에서 현재 블록과 예측 블록과의 차이가 최소가 되는 예측 모드를 선택한다.
H.264 표준에 따른 인트라 예측은, 4 x 4 휘도 블록 및 8 x 8 휘도 블록의 예측 픽셀 값을 생성하는 데 이용되는 인접 픽셀(adjacent pixels)의 위치 및 예측의 방향성을 고려하여 도 2에 도시한 바와 같은 9가지 예측 모드를 규정한다. 9가지 예측 모드는 그 예측 방향에 따라 Vertical 예측 모드(예측 모드 0), Horizontal 예측 모드(예측 모드 1), DC 예측 모드(예측 모드 2), Diagonal_Down_Left 예측 모드(예측 모드 3), Diagontal_Down_Right 예측 모드(예측 모드 4), Vertical_Right 예측 모드(예측 모드 5), Horizontal_Down 예측 모드(예측 모드 6), Vertical_Left 예측 모드(예측 모드 7) 및 Horizontal_Up 예측 모드(예측 모드 8)로 구분된다. 여기서, DC 예측 모드는 인접 8개의 픽셀의 평균 값을 사용한다.
그리고 16 x 16 휘도 블록에 대한 인트라 예측 처리에는 4가지 예측 모드가 사용되는데, Vertical 예측 모드(예측 모드 0), Horizontal 예측 모드(예측 모드 1), DC 예측 모드(예측 모드 2) 및 Plane 예측 모드(예측 모드 3)이 그것이다. 그리고 8 x 8 색도 블록에 대한 인트라 예측 처리에도 이와 동일한 4가지 예측 모드가 사용된다.
도 3은 도 2의 9가지 예측 모드를 설명하기 위한 라벨링의 예를 나타낸 것이다. 이 경우, 미리 디코딩되는 샘플들(A 내지 M)을 이용하여 현재 블록에 대한 예측 블록(a 내지 p를 포함하는 영역)을 생성한다. 만약, 여기서 E, F, G, H가 미리 디코딩될 수 없는 경우라면 그들의 위치에 D를 복사함으로써 E, F, G, H를 가상으로 생성할 수 있다.
도 4는 도 3을 이용하여 도 2의 9가지 예측 모드를 설명하기 위한 도면이다. 도면을 참조하면, 예측 모드 0인 경우에 예측 블록은 수직 라인 별로 동일한 픽셀 값으로 픽셀 값을 예측한다. 즉, 예측 블록의 픽셀들은 예측 블록의 위쪽에 위치한 참조 블록의 가장 인접한 픽셀들로부터 픽셀 값을 예측하는데, 인접 픽셀 A의 재구성 픽셀 값을 예측 블록의 제1열 픽셀 a, 픽셀 e, 픽셀 i 및 픽셀 m에 대한 예측 픽셀 값으로 설정한다. 또한, 동일한 방법으로 제2열 픽셀 b, 픽셀 f, 픽셀 j 및 픽셀 n은 인접 픽셀 B의 재구성 픽셀 값으로부터 예측하고, 제3열 픽셀 c, 픽셀 g, 픽셀 k 및 픽셀 o는 인접 픽셀 C의 재구성 픽셀 값으로부터 예측하며, 제4열 픽셀 d, 픽셀 h, 픽셀 l 및 픽셀 p는 인접 픽셀 D의 재구성 픽셀 값으로부터 예측한다. 그 결과, 도 5의 (a)에 도시한 바와 같이 각 열의 예측 픽셀 값이 픽셀 A, 픽셀 B, 픽셀 C 및 픽셀 D의 각 픽셀 값으로 이루어진 예측 블록이 생성된다.
또한, 예측 모드 1인 경우에 예측 블록은 수평 라인 별로 동일한 픽셀 값으로 픽셀 값을 예측한다. 즉, 예측 블록의 픽셀들은 예측 블록의 왼쪽에 위치한 참조 블록의 가장 인접한 픽셀들로부터 픽셀 값을 예측하는데, 인접 픽셀 I의 재구성 픽셀 값을 예측 블록의 제1행 픽셀 a, 픽셀 b, 픽셀 c 및 픽셀 d에 대한 예측 픽셀 값으로 설정한다. 또한, 동일한 방법으로 제2행 픽셀 e, 픽셀 f, 픽셀 g 및 픽셀 h는 인접 픽셀 J의 재구성 픽셀 값으로부터 예측하고, 제3행 픽셀 i, 픽셀 j, 픽셀 k 및 픽셀 l은 인접 픽셀 K의 재구성 픽셀 값으로부터 예측하며, 제4행 픽셀 m, 픽셀 n, 픽셀 o 및 픽셀 p는 인접 픽셀 D의 재구성 픽셀 값으로부터 예측한다. 그 결과, 도 5의 (b)에 도시한 바와 같이 각 행의 예측 픽셀 값이 픽셀 I, 픽셀 J, 픽셀 K 및 픽셀 L의 각 픽셀 값으로 이루어진 예측 블록이 생성된다.
또한, 예측 모드 2인 경우에 예측 블록의 픽셀들은 상위 픽셀들 A, B, C 및 D와 좌측 픽셀들 I, J, K 및 L의 픽셀 값의 평균으로 동일하게 대치된다.
한편, 예측 모드 3인 경우의 예측 블록의 픽셀들은 좌하(lower-left) 및 우상(upper-right) 사이에서 45°각도의 왼쪽 아래방향으로 내삽추정(interpolation)되고, 예측 모드 4인 경우의 예측 블록의 픽셀들은 45°각도의 오른쪽 아래방향으로 외삽추정된다. 또한, 예측 모드 5인 경우의 예측 블록의 픽셀들은 수직에서 약 26.6°각도(너비/높이 = 1/2)의 오른쪽 아래방향으로 외삽추정된다. 또한, 예측 모드 6인 경우의 예측 블록의 픽셀들은 수평에서 약 26.6°각도의 오른쪽 아래쪽 방향으로 외삽추정되고, 예측 모드 7인 경우의 예측 블록의 픽셀들은 수직에서 약 26.6°각도의 왼쪽 아래방향으로 외삽추정되며, 예측 모드 8인 경우의 예측 블록의 픽셀들은 수평에서 약 26.6°각도의 위쪽방향으로 내삽추정된다.
예측 모드 3 내지 예측 모드 8에서 예측 블록의 픽셀들은 미리 디코딩 되는 참조 블록의 픽셀들 A 내지 M의 가중 평균으로부터 생성될 수 있다. 예를 들어, 예측 모드 4의 경우, 예측 블록의 우 상단에 위치한 픽셀 d는 수학식 1과 같이 추정될 수 있다. 여기서, round() 함수는 정수 자리로 반올림하는 함수이다.
d = round (B/4+C/2+D/4)
한편, 휘도 성분에 대한 16 × 16 예측 모델에는 전술한 바와 같이 예측 모드 0, 예측 모드 1, 예측 모드 2 및 예측 모드 3의 네 가지 모드가 있다.
예측 모드 0의 경우, 예측 블록의 픽셀들은 상위 픽셀들로부터 외삽추정되고, 예측 모드 1의 경우에는 좌측 픽셀들로부터 외삽추정된다. 또한, 예측 모드 2의 경우에는, 예측 블록의 픽셀들은 상위 픽셀들 및 좌측 픽셀들의 평균으로 계산된다. 마지막으로, 예측 모드 3의 경우에는, 상위 픽셀들 및 좌측 픽셀들에 맞는 선형 "plane" 함수를 이용한다. 이 모드는 휘도가 부드럽게 변하는 영역에 보다 적합하다.
이와 같이, H.264 표준에서는 DC 모드를 제외한 각각의 예측 모드의 경우, 현재 부호화 하고자 하는 예측 블록의 인접 픽셀들에 기초하여 각 모드에 해당하는 방향에 따라 예측 블록의 픽셀 값을 생성하고 있다.
한편, 각각의 예측 모드에 의해 예측된 예측 값과 현재 픽셀 값 사이의 예측 오차는 DCT(Discrete Cosine Transform) 기반의 정수 변환 기법을 이용하여 변환 부호화되는데, 블록의 크기에 따라 4x4와 16x16 인트라 예측 모드를 사용한 경우에는 4x4 단위의 정수 변환을 적용하고, 8x8 인트라 예측 모드를 사용한 경우에는 8x8 단위의 정수 변환을 적용한다.
최근 ITU-T의 Video Coding Expert Group에서는 이를 더욱 발전시켜 인트라 예측 부호화의 성능을 더욱 높이게 되었는데, Shiodera Taichiro, Akiyuki Tanizawa, Takeshi Chujoh, and tomoo Yamakage(“Improvement of Bidirectional Intra Prediction”, ITU-T SG16/Q.6 Doc. VCEG-AG08, Oct. 2007)는 인트라 예측에 사용되는 픽셀 값의 방향성을 더욱 다양화하여 인트라 예측 모드의 수를 늘리고, 두 가지 인트라 예측 모드를 가중치 합하는 기법을 도입함으로써 인트라 예측 부호화의 성능을 향상시켰다. 하지만, 이 기법에서는 고려해야 할 인트라 예측 모드의 수가 4배 가량 늘어남에 따라 최적의 모드를 찾기 위한 연산량이 크게 증가하고, 이를 부호화하기 위한 부가 정보의 양이 늘어난다는 단점이 있다.
인트라 예측을 더욱 정교하게 수행함으로써 인트라 모드 부호화의 성능을 높이려는 이러한 기존 연구와 달리, Yan Ye and Marta Karczewicz(“Improved Intra Coding”, ITU-T SG16/Q.6 Doc. VCEG-AG11, Oct. 2007)는 인트라 예측 후 예측 오차에도 공간적인 중복성이 여전히 남아 있고 이러한 공간적 중복성이 인트라 예측 방향과 상관 관계가 크다는 사실에 착안하여, 인트라 예측 모드에 따라 서로 다른 KLT(Karhunen-Loeve Transform) 기반의 방향성 기저를 사용하는 변환 기법을 제안하였다. 이 기법은 다수의 실험 영상을 통해 훈련된 KLT 변환 기저들을 이용하여, 별도의 부가 정보 없이 인트라 예측 모드에 따른 적응적 예측 오차 부호화를 수행함으로써 인트라 모드 부호화의 성능을 크게 향상시켰다. 하지만, 이 기법은, 생성된 변환 기저가 각 인트라 예측 모드에 따라 고정됨으로써 특성이 다른 다양한 비디오 시퀀스 혹은 한 시퀀스 내의 특성이 다른 부분적 국부 영상들에 대해 최적의 에너지 집중 효율을 보여주지는 못한다는 단점을 가지고 있다.
전술한 문제점을 해결하기 위해 본 발명의 일 실시예는, 예측 오차에 남아있는 공간적인 중복성을 효과적으로 제거하여 더욱 높은 에너지 집중 효과를 얻기 위한 것으로서, 인트라 예측 후 예측 오차를 보다 효율적으로 변환 부호화하기 위해, 인트라 예측 모드뿐 아니라 예측 오차의 국부적 특성 변화에 따라 적응적으로 변환기저를 생성하고, 이를 예측 오차의 변환 부호화에 사용함으로써, 인트라 예측 부호화의 압축 효율을 높일 수 있는 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법을 제공하는 데 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 영상 부호화 장치는, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 인트라 예측오차 결집부에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측 모드에 대한 변환기저를 생성하는 변환기저 생성부; 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 현재 픽셀과의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및 변환기저 생성부에 의해 생성된 변환기저를 이용하여 인트라 예측부에 의해 생성된 예측 오차를 변환 부호화하는 변환 부호화부를 포함하는 것을 특징으로 한다.
바람직하게는, 변환기저 생성부는 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬(autocorrelation matrix)을 계산하는 상관행렬 계산부를 포함한다. 이 경우, 변환기저 생성부는 상관행렬 계산부에 의해 계산된 자기 상관행렬에 기초하여 KLT(Karhunen-Loeve Transform) 기반의 변환기저를 생성한다.
또한, 변환기저 생성부는, 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및 상관행렬 계산부에 의해 계산된 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부를 포함할 수 있다. 이 경우, 변환 부호화부는 산출된 고유벡터를 이용하여 인트라 예측부에 의해 생성된 예측 오차를 변환 부호화하는 것이 바람직하다.
전술한 목적을 달성하기 위해, 본 발명의 실시예에 따른 변환 부호화 장치는, 인트라 예측 장치에 의해 예측된 픽셀과 현재 픽셀의 차이에 의해 생성된 예측 오차를 변환하여 부호화하는 변환 부호화 장치에 있어서, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 및 인트라 예측오차 결집 부에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부를 포함한다. 이 경우, 변환 부호화 장치는 변환기저 생성부에 의해 생성된 변환기저를 이용하여 인트라 예측 장치에 의해 생성된 예측 오차를 변환 부호화하는 것이 바람직하다.
바람직하게는, 인트라 예측오차 결집부는 다음의 수학식과 같은 집합으로 예측오차를 결집하되,
Figure 112009076124058-pat00001
여기서,
Figure 112009076124058-pat00002
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고,
Figure 112009076124058-pat00003
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00004
으로 결정된 블록들의 수를 나타내며,
Figure 112009076124058-pat00005
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00006
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내고,
Figure 112009076124058-pat00007
은
Figure 112009076124058-pat00008
의
Figure 112009076124058-pat00009
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다.
또한, 변환 부호화 장치는, 다음의 수학식에 기초하여 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부를 더 포함할 수 있다. 이 경우, 변환기저 생성부는 계산된 자기 상관행렬을 이용하여 변환기저를 생성한다.
Figure 112009076124058-pat00010
여기서,
Figure 112009076124058-pat00011
는 인트라 예측 모드
Figure 112009076124058-pat00012
으로 결정된 4x4 인트라 예측 오차의 열 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며,
Figure 112009076124058-pat00013
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고,
Figure 112009076124058-pat00014
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00015
으로 결정된 블록들의 수를 나타내며,
Figure 112009076124058-pat00016
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00017
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
Figure 112009076124058-pat00018
의
Figure 112009076124058-pat00019
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다.
또한, 변환 부호화 장치는, 다음의 수학식에 기초하여 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부를 더 포함할 수 있다. 이 경우, 변환기저 생성부는 계산된 자기 상관행렬을 이용하여 변환기저를 생성한다.
Figure 112009076124058-pat00020
여기서,
Figure 112009076124058-pat00021
는 인트라 예측 모드
Figure 112009076124058-pat00022
으로 결정된 4x4 인트라 예측 오차의 행 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며,
Figure 112009076124058-pat00023
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고,
Figure 112009076124058-pat00024
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00025
으로 결정된 블록들의 수를 나타내며,
Figure 112009076124058-pat00026
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00027
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
Figure 112009076124058-pat00028
의
Figure 112009076124058-pat00029
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 변환기저 생성장치는, 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성장치에 있어서, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및 상관행렬 계산부에 의해 계산된 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부를 포함하는 것을 특징으로 한다. 이 경우, 변환기저 생성장치는 고유벡터 산출부에 의해 산출된 고유벡터에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성한다.
여기서, 변환기저 생성장치는, 자기 상관행렬 및 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것이 바람직하다.
전술한 목적을 달성하기 위해 본 발명의 다른 실시예에 따른 인트라 예측장치는, 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 현재 픽셀과의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및 현재 매크로블록 이전에 부호화된 일정 단위의 매 크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부를 포함하는 것을 특징으로 한다. 이 경우, 인트라 예측장치는, 인트라 예측부에 의해 생성된 현재 프레임에 대한 예측 오차와 함께 인트라 예측오차 결집부에 의해 결집된 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들에 대한 예측 오차를 출력하는 것이 바람직하다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 영상 복호화 장치는, 현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 인트라 예측오차 결집부에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부; 입력되는 비트스트림에 대하여 복호화할 대상 블록의 인트라 예측 모드를 판독하는 인트라 예측 모드 판독부; 변환기저 생성부에 의해 생성된 변환기저 중 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 대응하는 변환기저를 이용하여 대상 블록에 대한 예측 오차를 역 변환하는 역 변환부; 및 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 역 변환부에 의해 역 변환된 예측 오차 값을 더하여 현재 블록을 복원하는 현재블록 복원부를 포함하는 것을 특징으로 한다.
여기서, 변환기저 생성부는, 인트라 예측오차 결집부에 의해 결집된 예측 오차의 결집에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및 상관행렬 계산부에 의해 계산된 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부를 포함 하며, 자기 상관행렬 및 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것이 바람직하다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 영상 부호화 방법은, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하며, 현재 프레임에 대해 방향적 인트라 예측모드에 따라 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 값을 예측하고 예측되는 값과 현재 픽셀의 값의 차이를 통해 예측 오차를 생성하는 단계; 예측오차 결집단계에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계; 및 변환기저 생성단계에 의해 생성된 변환기저를 이용하여 현재 프레임에 대해 생성된 예측 오차를 변환 부호화하는 단계를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 변환 부호화 방법은, 인트라 예측 장치에 의해 예측된 픽셀과 현재 픽셀의 차이에 의해 생성된 예측 오차를 변환하여 부호화하는 변환 부호화 방법에 있어서, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 단계; 및 예측오차 결집단계에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계를 포함한다. 이 경우, 변환 부호화 방법은, 변환기저 생성단계에 의해 생성된 변환기저를 이용하여 인트라 예측 장치에 의해 생성된 예측 오차를 변환 부호화하는 것이 바람직하다.
또한, 변환 부호화 방법은, 예측오차 결집단계에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 단계를 더 포함할 수 있다. 이 경우, 변환기저 생성단계는 계산된 자기 상관행렬을 이용하여 변환기저를 생성하는 것이 바람직하다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 영상 복호화 방법은, 현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 단계; 인트라 예측오차 단계에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계; 입력되는 비트스트림에 대하여 복호화할 대상 블록의 인트라 예측 모드를 판독하는 단계; 변환기저 생성단계에 의해 생성된 변환기저 중 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 대응하는 변환기저를 이용하여 대상 블록에 대한 예측 오차를 역 변환하는 단계; 및 인트라 예측 모드 판독단계에 의해 판독된 인트라 예측 모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 역 변환단계에 의해 역 변환된 예측 오차 값을 더하여 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 한다.
여기서, 변환기저 생성단계는, 인트라 예측오차 결집단계에 의해 결집된 예측 오차의 결집에 대한 자기 상관행렬을 계산하는 단계; 및 상관행렬 계산단계에 의해 계산된 자기 상관행렬로부터 고유벡터를 산출하는 단계를 포함할 수 있다. 이 경우, 자기 상관행렬 및 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것이 바람직하다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 특정 부호화 단위에 대해 인트라 예측 모드뿐만 아니라 영상의 특성 변화에 따라 적응적으로 변환 기저를 생성하여 인트라 예측 오차를 변환 부호화함으로써, 어떠한 부가 정보의 추가없이 인트라 예측 부호화의 성능을 크게 향상시켜 비디오 압축 장치의 압축 효율 혹은 복원 영상의 화질을 크게 향상시킬 수 있도록 한다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다. 도면을 참조하면, 영상 부호화 장치(600)는 인트라 예측오차 결집부(610), 변환기저 생성부(620), 인트라 예측부(630) 및 변환 부호화부(640)를 구비한다. 여기서, 인트라 예측오차 결집부(610), 변환기저 생성부(620) 및 변환 부호화부(640)를 변환 부호화 장치라고 부리기도 한다.
인트라 예측오차 결집부(610)는 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집한다. 즉, 인트라 예측오차 결집부(610)는 다양한 인트라 예측 모드를 위한 변환 기저를 생성하기 위해 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들을 수신하여 인트라 예측 모드가 결정된 블록들 중에서 동일한 인트라 예측 모드를 가지고 있는 블록들의 예측 오차들을 결집한다. 이때, 4x4 인트라 모드와 8x8 인트라 모드에는 각각 9 종류의 인트라 예측 모드가 정의되어 있기 때문에, 4x4 인트라 예측 오차와 8x8 인트라 예측 오차는 각각 9 종류로 결집될 수 있다. 또한, 16x16 인트라 예측 모드는 4 종류의 인트라 예측 모드로 정의되어 있기 때문에, 16x16 인트라 예측 오차는 4 종류로 결집될 수 있다. 예를 들어, 4x4 인트라 예측 모드에 대한 인트라 예측 오차는 수학식 2와 같은 집합으로 결집될 수 있다.
Figure 112009076124058-pat00030
여기서,
Figure 112009076124058-pat00031
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지며,
Figure 112009076124058-pat00032
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00033
으로 결정된 블록들의 수를 나타낸다. 또한,
Figure 112009076124058-pat00034
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00035
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내고,
Figure 112009076124058-pat00036
은
Figure 112009076124058-pat00037
의
Figure 112009076124058-pat00038
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다.
변환기저 생성부(620)는 인트라 예측 블록의 크기와 인트라 예측 모드에 따라 인트라 예측오차 결집부(610)에 의해 결집된 예측오차에 기초하여, 각각의 인트라 예측모드에 대한 변환기저를 생성한다. 여기서, 변환기저는, 이론적으로 에너지 집중 효율이 가장 좋은 것으로 알려진 KLT(Karhunen-Loeve Transform) 기반으로 생성되는 것이 바람직하다. 이러한 변환기저 생성부(620)는 독립적인 구성요소로 구현될 수도 있으며, 도시한 바와 같이 상관행렬 계산부(622) 및 고유벡터 산출부(624)를 포함하여 구성될 수도 있다. 또한, 인트라 예측오차 결집부(610), 상관행렬 계산부(622) 및 고유벡터 산출부(624)를 포함하여 변환기저 생성장치를 이룰 수도 있다.
상관행렬 계산부(622)는 인트라 예측오차 결집부(610)에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산한다. 전술한 4x4 인트라 예측 모드의 경우, 수학식 2에서 인트라 예측 오차 블록
Figure 112009076124058-pat00039
는 2차원 신호이기 때문에, 열 벡터(column vector) 신호와 행 벡터(row vector) 신호를 위한 두 가지 변환 기저를 생성해야 한다. 그리고 KLT 기저를 생성하기 위해서는 인트라 예측 오차의 자기 상 관 행렬(autocorrelation matrix)을 구해야 하는데, 이는 수학식 3 및 수학식 4와 같이 구할 수 있다.
Figure 112009076124058-pat00040
Figure 112009076124058-pat00041
수학식 3에서
Figure 112009076124058-pat00042
는 인트라 예측 모드
Figure 112009076124058-pat00043
으로 결정된 4x4 인트라 예측 오차의 열 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며,
Figure 112009076124058-pat00044
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 갖는다. 또한,
Figure 112009076124058-pat00045
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00046
으로 결정된 블록들의 수를 나타내며,
Figure 112009076124058-pat00047
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure 112009076124058-pat00048
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
Figure 112009076124058-pat00049
의
Figure 112009076124058-pat00050
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다. 또한, 수학식 4에서
Figure 112009076124058-pat00051
는 인트라 예측 모드
Figure 112009076124058-pat00052
으로 결정된 4x4 인트라 예측 오차의 행 벡터 신호에 대한 4x4 자기 상관 행렬을 나타낸다.
4x4 인트라 예측 오차 블록을 위한 KLT 기저는 자기 상관행렬의 고유 벡터(eigenvector)를 통해 구할 수 있는데, 고유벡터 산출부(624)는 상관행렬 계산 부(622)에 의해 계산된 수학식 3 및 수학식 4와 같은 자기 상관행렬로부터, 수학식 5 및 수학식 6과 같이 고유 벡터를 산출할 수 있다.
Figure 112009076124058-pat00053
Figure 112009076124058-pat00054
수학식 5에서
Figure 112009076124058-pat00055
는
Figure 112009076124058-pat00056
의 고유 벡터를 의미하고
Figure 112009076124058-pat00057
는
Figure 112009076124058-pat00058
의 고유치(eigrnvalue)를 의미한다. 또한, 수학식 6에서,
Figure 112009076124058-pat00059
는
Figure 112009076124058-pat00060
의 고유 벡터를 의미하고
Figure 112009076124058-pat00061
는
Figure 112009076124058-pat00062
의 고유치를 의미한다. 수학식 5와 수학식 6을 만족하는 고유 벡터를 구하고, 이를 행렬로 표현하면 수학식 7 및 수학식 8과 같다.
Figure 112009076124058-pat00063
Figure 112009076124058-pat00064
수학식 7에서
Figure 112009076124058-pat00065
는 인트라 예측 모드
Figure 112009076124058-pat00066
에 대응하는 예측 오차 블록의 열 벡터 신호를 위한 KLT 기저이고, 수학식 8에서
Figure 112009076124058-pat00067
는 인트라 예측 모드
Figure 112009076124058-pat00068
에 대응하 는 예측 오차 블록의 행 벡터 신호를 위한 KLT 기저가 된다.
한편, 인트라 예측부(630)는 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 예측 블록에 대한 픽셀 값을 예측한다. 또한, 인트라 예측부(630)는 대상 블록에 대한 픽셀 값과 예측 블록에 대한 픽셀 값의 차이를 통해 예측 오차를 생성한다. 즉, 인트라 예측부(630)는 대상 블록과 예측 블록의 차분을 계산하는 차분기(도시하지 않음)를 포함하여 구성된다.
변환 부호화부(640)는 변환기저 생성부(620)에 의해 생성된 변환기저를 이용하여 인트라 예측부(630)에 의해 생성된 예측 오차를 변환 부호화한다. 전술한 KLT 기저를 이용한 2차원 신호의 변환은 수학식 9와 같이 수행된다.
Figure 112009076124058-pat00069
여기서,
Figure 112009076124058-pat00070
는 인트라 예측 모드
Figure 112009076124058-pat00071
의 예측 오차 신호를 의미하고,
Figure 112009076124058-pat00072
은
Figure 112009076124058-pat00073
의 KLT에 의해 변환된 신호를 의미한다.
여기서는 4x4 인트라 예측 모드의 경우를 예로서 설명하였지만, 8x8 인트라 예측 모드의 인트라 예측 오차를 위한 KLT 기저를 생성하는 방식은 4x4 인트라 예측 모드의 경우와 똑같고, 16x16 인트라 예측 모드의 인트라 예측 오차를 위한 KLT 기저를 생성하는 방식도 인트라 예측 오차 집합의 수와 KLT 기저의 수만 4 종류로 줄어들며 방식은 4x4 인트라 예측 모드의 경우와 동일하다.
변환기저 생성부(620)에 의해 생성된 KLT 기저는 인트라 예측부(630)에 의해 생성된 예측 오차에 최적화된 변환기저는 아니지만, 일반적인 비디오 신호의 특성상 현재 프레임과 이전 프레임 사이에는 높은 상관 관계가 존재하기 때문에 현재 프레임에 최적화된 변환기저와 성능상 큰 사이가 없으며, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 변환기저를 생성함으로써 복호화를 위해 기저에 대한 어떠한 부가정보의 전송이 필요없다는 특성을 가지고 있다.
한편, 도 6에서는 인트라 예측부(630)는 인트라 예측오차 결집부(610)와 독립적으로 구성되는 것으로 설명하였지만, 인트라 예측부(630)는 인트라 예측오차 결집부(610)를 포함하도록 구성될 수도 있다. 즉, 인트라 예측부(630)는 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 예측 블록의 픽셀 값을 예측하며 대상 블록의 픽셀 값과의 차이를 통해 예측 오차를 생성함과 동시에, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중의 인트라 예측모드가 결정된 블록들 중에서 동일한 인트라 예측모드를 가지는 블록들의 예측 오차를 결집하여 현재 프레임에 대한 예측 오차와 함께 출력하도록 구현될 수도 있다.
전술한 바와 같은 방식으로 인트라 예측 부호화를 수행할 경우, 인트라 예측 모드에 따라 서로 다른 변환기저를 적용하여 성능을 개선할 수 있을 뿐만 아니라, 영상의 특성 변화에 즉각적으로 대응할 수 있는 적응적 변환기저를 특정 부호화 단위마다 제공함으로써 보다 우수한 인트라 예측 부호화 효율을 달성할 수 있게 된다.
도 7은 도 6의 영상 부호화 장치에 의한 영상 부호화 방법을 나타낸 흐름도 이다.
도면을 참조하면, 인트라 예측오차 결집부(610)는 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지는 블록들의 예측 오차를 결집한다(S701). 이와 같이 결집된 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들에 대한 예측 오차는 수학식 2와 같이 집합의 형태로 나타낼 수 있다.
변환기저 생성부(620)는 인트라 예측오차 결집부(610)에 의해 결집된 예측 오차에 기초하여 인트라 예측모드의 집합에 대한 자기 상관행렬을 계산한다(S703). 이때, 4x4 인트라 예측 오차 블록
Figure 112009076124058-pat00074
는 2차원 신호이기 때문에 변환기저는 열 벡터 신호와 행 벡터 신호의 두 종류를 생성하여야 한다. 또한, KLT 기저를 생성하기 위하여, 수학식 3 및 수학식 4에 나타낸 바와 같이 자기 상관행렬을 계산할 수 있다. 이때, KLT 기저는 수학식 5 및 수학식 6과 같이 자기 상관 행렬의 고유벡터를 통해 산출할 수 있다(S705). 산출된 고유벡터는 수학식 7 및 수학식 8과 같은 행렬로 표현될 수 있다.
한편, 인트라 예측부(630)는 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 예측된 픽셀과 현재 픽셀과의 차이를 통해 예측 오차를 생성한다(S707).
변환 부호화부(640)는 변환기저 생성부(620)에 의해 생성된 변환기저를 이용하여 수학식 9와 같이, 인트라 예측부(630)에 의해 생성된 예측 오차를 변환 부호 화한다(S709).
도 8은 본 발명의 다른 실시예에 따른 변환 부호화 방법을 나타낸 흐름도이다. 만일, 인트라 예측부(630)가 인트라 예측오차 결집부(610), 변환기저 생성부(620) 및 변환 부호화부(640)와 독립적으로 구성되는 경우, 인트라 예측오차 결집부(610), 변환기저 생성부(620) 및 변환 부호화부(640)는 변환 부호화 장치의 구성요소로 일컬어지기도 한다. 이 경우, 변환 부호화 장치의 단계 S801 내지 S805는 도 7의 단계 S701 내지 단계 S705와 동일한 과정으로 수행하며, 생성된 변환기저를 이용하여 인트라 예측부(630)에 의해 독립적으로 생성된 예측 오차를 변환 부호화한다(S807).
도 9는 도 6의 영상 부호화 장치에 의해 생성되는 비트스트림의 구조의 예를 나타낸 도면이다. H.264에서는 비트스트림은 슬라이스(slice) 단위로 부호화된다. 비트스트림은 슬라이스 헤더(slice header)(910)와, 슬라이스 데이터(slice date)(920)를 포함하며, 슬라이스 데이터(920)는 복수의 매크로블록 데이터들(MB)(921 내지 924)로 구성된다. 또한, 하나의 매크로블록 데이터(923)는 mb_type 필드(930)와, mb_pred 필드(935)와, 텍스쳐 데이터(texture data) 필드(939)로 구성될 수 있다.
여기서, mb_type 필드(930)에는 매크로블록의 종류를 나타내는 값이 기록된다. 즉, 현재 매크로블록이 인트라 매크로블록(intra macroblock)인지, 인터 매크로블록(inter macroblock)인지를 나타낸다.
그리고, mb_pred 필드(935)에는 상기 매크로블록의 종류에 따른 세부 예측 모드가 기록된다. 인트라 매크로블록의 경우에는 인트라 예측시 선택된 예측 모드의 정보가 기록되고, 인터 매크로블록의 경우에는 매크로블록 파티션 별로 참조 프레임 번호 및 모션 벡터의 정보가 기록된다.
mb-type 필드(930)가 인트라 매크로블록을 나타내는 경우, mb-pred 필드(935)는 복수의 블록 정보(941 내지 944)로 나뉘어지고, 각각의 블록 정보(942)는 전술한 메인 모드의 값을 기록하는 main_mode 필드(945)와 전술한 서브 모드의 값을 기록하는 sub-mode 필드(946)로 나뉘어진다.
마지막으로, 텍스쳐 데이터 필드(939)에는 부호화된 잔차 영상, 즉 텍스쳐 데이터가 기록된다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이며, 도 11은 도 10의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸다. 도면을 참조하여 영상 복호화 장치(600)의 구성 및 그 동작을 상세하게 설명한다.
도면을 참조하면, 영상 복호화 장치(1000)는 인트라 예측오차 결집부(1010), 변환기저 생성부(1020), 예측모드 판독부(1030), 역 변환부(1040) 및 현재블록 복원부(1050)를 구비한다. 여기서, 변환기저 생성부(1020)는 상관행렬 계산부(1022) 및 고유벡터 산출부(1024)를 구비할 수 있다.
인트라 예측오차 결집부(910)는 현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측오차를 결집한다(S1101). 즉, 인트라 예측오차 결집부(910)는 도 6의 인트라 예측오차 결집부(610)와 마찬가지로, 다양한 인트라 예측 모드를 위한 변환 기저를 생성하기 위해 현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들을 수신하여 인트라 예측 모드가 결정된 블록들 중에서 동일한 인트라 예측 모드를 가지고 있는 블록들의 예측 오차들을 결집한다. 이때, 4x4 인트라 모드와 8x8 인트라 모드에는 각각 9 종류의 인트라 예측 모드가 정의되어 있기 때문에, 4x4 인트라 예측 오차와 8x8 인트라 예측 오차는 각각 9 종류로 결집될 수 있다. 또한, 16x16 인트라 예측 모드는 4 종류의 인트라 예측 모드로 정의되어 있기 때문에, 16x16 인트라 예측 오차는 4 종류로 결집될 수 있다. 예를 들어, 4x4 인트라 예측 모드에 대한 인트라 예측오차는 수학식 2와 같은 집합으로 결집될 수 있다.
변환기저 생성부(920)는 인트라 예측오차 결집부(910)에 의해 결집된 예측오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성한다. 여기서, 변환기저는, 영상 부호화 장치(600)의 경우와 마찬가지로, 이론적으로 에너지 집중 효율이 가장 좋은 것으로 알려진 KLT 기반으로 생성되는 것이 바람직하다. 이러한 변환기저 생성부(920)는 독립적인 구성요소로 구현될 수도 있으며, 인트라 예측오차 결집부(910), 상관행렬 계산부(922) 및 고유벡터 산출부(924)를 포함하여 변환기저 생성장치로 구현될 수도 있다.
상관행렬 계산부(922)는 인트라 예측오차 결집부(910)에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산한다(S1103). 전술한 4x4 인트라 예측 모드의 경우, 수학식 2에서 인트라 예측 오차 블록
Figure 112009076124058-pat00075
는 2차원 신호이기 때문에, 영 상 부호화 장치(600)의 경우와 마찬가지로 열 벡터(column vector) 신호와 행 벡터(row vector) 신호를 위한 두 가지 변환 기저를 생성해야 한다. 그리고 KLT 기저를 생성하기 위해서는 인트라 예측 오차의 자기 상관 행렬을 구해야 하는데, 이는 수학식 3 및 수학식 4와 같이 구할 수 있다.
또한, 4x4 인트라 예측 오차 블록을 위한 KLT 기저는 자기 상관행렬의 고유 벡터(eigenvector)를 통해 구할 수 있는데, 고유벡터 산출부(924)는 상관행렬 계산부(922)에 의해 계산된 수학식 3 및 수학식 4와 같은 자기 상관행렬로부터, 수학식 5 및 수학식 6과 같이 고유 벡터를 산출할 수 있다(S1105). 이때, 변환기저 생성부(1020)는 수학식 5와 수학식 6을 만족하는 고유 벡터를 구하고, 수학식 7 및 수학식 8과 같은 행렬로 표현하여 KLT 기반의 변환기저를 생성할 수 있다(S1107).
예측모드 판독부(1030)는 도 9에 도시한 바와 같은 비트스트림 구조로부터 복호화할 대상 블록의 인트라 예측모드를 판독한다(S1109). 즉, 예측모드 판독부(1030)는 영상 부호화 장치(600)에서 생성된 비트스트림을 수신하여, 현재 프레임의 복호화할 대상 블록의 인트라 예측모드를 판독한다.
역 변환부(1040)는 변환기저 생성부(1020)에 의해 생성된 변환기저 중 인트라 예측모드 판독부(1030)에 의해 판독된 인트라 예측모드에 대응하는 변환기저를 이용하여 비트스트림을 통해 수신받은 예측 오차를 역 변환한다(S1111).
예측 오차의 변환 및 예측 오차의 역 변환 과정에서 인트라 예측 모드에 상관없이 고정된 DCT(Discrete Cosine Transform) 기반의 정수 변환 및 역 변환을 적용하던 H.264 표준과 달리, 영상 부호화 장치(600)에서 생성된 비트스트림을 통해 수신받은 대상블록의 예측오차는, 대상블록의 인트라 예측모드에 따라 서로 다른 변환기저를 사용하여 변환 부호화된다. 따라서, 인트라 예측모드 판독부(1030)는 입력되는 비트스트림으로부터 현재 프레임의 복호화할 대상 블록의 인트라 예측모드를 판단하며, 역 변환부(1040)는 인트라 예측모드 판독부(1030)에 의해 판독된 인트라 예측모드에 상응하는 변환기저를 적용하여 예측 오차에 대한 역 변환을 수행한다. 이때, 전술한 KLT 기반의 변환기저를 이용한 2차원 신호의 역 변환은 수학식 10과 같이 수행될 수 있다.
Figure 112009076124058-pat00076
여기서,
Figure 112009076124058-pat00077
은 인트라 예측 모드
Figure 112009076124058-pat00078
의 예측 오차가 변환 부호화된 신호를 의미하고,
Figure 112009076124058-pat00079
는 KLT에 의해
Figure 112009076124058-pat00080
을 역 변환한 신호를 의미한다. 본래, 역 변환 시 KLT 기저의 역 행렬(inverse matrix)을 사용해야 하지만, KLT 기저는 고유 벡터를 통해 만들어진 직교 행렬(orthogonal matrix)이기 때문에 역 행렬과 전치 행렬(transpose matrix)이 같다. 따라서 전술한 2차원 신호의 역 변환은 역 행렬을 구하지 않고 보다 간단하게 전치 행렬을 이용하여 수학시 11과 같이 수행될 수 있다.
Figure 112009076124058-pat00081
현재블록 복원부(1050)는 인트라 예측모드 판독부(1030)에 의해 판독된 인트라 예측모드에 따라 현재 프레임 내의 대상블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 역 변환부(1040)에 의해 역 변환된 예측 오차 값을 더하여 현재 블록을 복원한다(S1113).
이와 같은 방식으로 영상 부호화 및 복호화를 수행하기 때문에, 영상 부호화 장치(600)에서 이전 프레임을 참조하여 인트라 예측 모드에 따라 서로 다른 적응적 변환기저를 생성하여 변환 부호화를 수행한 것과 같이, 영상 복호화 장치(1000)에서 복호화가 종료된 이전 프레임을 참조하여 정확히 같은 적응적 변환기저를 생성하여 역 변환 및 복호화를 수행할 수 있게 된다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는 인트라 예측을 사용하는 인코더 및 디코더, 영상 압축장치 등의 분야에 적용되어, 인트라 예측 후 예측 오차를 보다 효율적으로 변환 부호화하기 위해 인트라 예측 모드뿐 아니라 예측 오차의 국부적 특성 변화에 따라 적응적으로 변환기저를 생성하고, 이를 예측 오차의 변환 부호화에 사용함으로써, 인트라 예측 부호화의 압축 효율을 높일 수 있는 효과를 발생하는 매우 유용한 발명이다.
도 1은 일반적인 인터 예측을 설명하기 위해 도시한 도면이다.
도 2는 인트라 예측 모드의 방향성을 설명하기 위해 도시한 도면이다.
도 3은 도 2의 인트라 예측 모드를 설명하기 위한 라벨링의 예를 나타낸 도면이다.
도 4는 도 2의 인트라 예측 모드의 각각을 설명하기 위해 도시한 도면이다.
도 5의 (a)는 도 2의 인트라 예측 모드 중 예측 모드 0을 설명하기 위해 도시한 도면이며, 도 5의 (b)는 도 2의 인트라 예측 모드 중 예측 모드 1을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다.
도 7은 도 6의 영상 부호화 장치에 의한 영상 부호화 방법을 나타낸 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 변환 부호화 방법을 나타낸 흐름도이다.
도 9는 도 6의 영상 부호화 장치에 의해 생성되는 비트스트림의 구조의 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다.
도 11은 도 10의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름 도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
600: 영상 부호화 장치 610, 1010: 인트라 예측오차 결집부
620, 1020: 변환기저 생성부 622, 1022: 상관행렬 계산부
624, 1024: 고유벡터 산출부 630: 인트라 예측부
640: 변환 부호화부 1000: 영상 복호화 장치
1030: 예측모드 판독부 1040: 역 변환부
1050: 현재블록 복원부

Claims (17)

  1. 영상 부호화 장치에 있어서,
    현재 블록 이전에 부호화된 블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부;
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부;
    상기 현재 블록의 방향적 인트라 예측모드에 따라 상기 현재 블록의 주변 픽셀을 이용하여 현재 블록의 예측 픽셀값을 산출하며, 상기 현재 블록의 픽셀과 상기 예측 픽셀값 사이의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및
    상기 변환기저 생성부에 의해 생성된 상기 변환기저를 이용하여 상기 인트라 예측부에 의해 생성된 상기 예측 오차를 변환 부호화하는 변환 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1항에 있어서,
    상기 변환기저 생성부는,
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬(autocorrelation matrix)을 계산하는 상관행렬 계산부
    를 포함하며,
    상기 상관행렬 계산부에 의해 계산된 상기 자기 상관행렬에 기초하여 KLT(Karhunen-Loeve Transform) 기반의 상기 변환기저를 생성하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 1항에 있어서,
    상기 변환기저 생성부는,
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및
    상기 상관행렬 계산부에 의해 계산된 상기 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부
    를 포함하며,
    상기 변환 부호화부는 산출된 상기 고유벡터를 이용하여 상기 인트라 예측부에 의해 생성된 상기 예측 오차를 변환 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  4. 인트라 예측 장치에 의해 예측된 픽셀과 현재 픽셀의 차이에 의해 생성된 예측 오차를 변환하여 부호화하는 변환 부호화 장치에 있어서,
    현재 블록 이전에 부호화된 블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 및
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부
    를 포함하며,
    상기 변환기저 생성부에 의해 생성된 변환기저를 이용하여 상기 인트라 예측 장치에 의해 생성된 상기 예측 오차를 변환 부호화하는 것을 특징으로 하는 변환 부호화 장치.
  5. 제 4항에 있어서,
    상기 인트라 예측오차 결집부는 다음의 수학식과 같은 집합으로 상기 예측오차를 결집하되,
    Figure 112014030210959-pat00082
    상기
    Figure 112014030210959-pat00083
    은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고, 상기
    Figure 112014030210959-pat00084
    은 상기 현재 블록 이전에 부호화된 블록들 중에서 인트라 예측 모드
    Figure 112014030210959-pat00085
    으로 결정된 블록들의 수를 나타내며, 상기
    Figure 112014030210959-pat00086
    은 상기 현재 블록 이전에 부호화된 블록들 중에서 인트라 예측 모드
    Figure 112014030210959-pat00087
    으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내고, 상기
    Figure 112014030210959-pat00088
    은 상기
    Figure 112014030210959-pat00089
    의
    Figure 112014030210959-pat00090
    번째 원소로서 하나의 4x4 예측 오차 블록을 나타내는 것을 특징으로 하는 변환 부호화 장치.
  6. 제 4항에 있어서,
    다음의 수학식에 기초하여 상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부
    를 더 포함하며,
    상기 변환기저 생성부는 계산된 상기 자기 상관행렬을 이용하여 변환기저를 생성하고,
    Figure 112014030210959-pat00091
    여기서, 상기
    Figure 112014030210959-pat00092
    는 인트라 예측 모드
    Figure 112014030210959-pat00093
    으로 결정된 4x4 인트라 예측 오차의 열 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며, 상기
    Figure 112014030210959-pat00094
    은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고, 상기
    Figure 112014030210959-pat00095
    은 상기 현재 블록 이전에 부호화된 블록들 중에서 인트라 예측 모드
    Figure 112014030210959-pat00096
    으로 결정된 블록들의 수를 나타내며, 상기
    Figure 112014030210959-pat00097
    은 상기 현재 블록 이전에 부호화된 블록들 중에서 인트라 예측 모드
    Figure 112014030210959-pat00098
    으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
    Figure 112014030210959-pat00099
    의
    Figure 112014030210959-pat00100
    번째 원소로서 하나의 4x4 예측 오차 블록을 나타내는 것을 특징으로 하는 변환 부호화 장치.
  7. 제 4항에 있어서,
    다음의 수학식에 기초하여 상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부
    를 더 포함하며,
    상기 변환기저 생성부는 계산된 상기 자기 상관행렬을 이용하여 변환기저를 생성하고,
    Figure 112014030210959-pat00101
    여기서, 상기
    Figure 112014030210959-pat00102
    는 인트라 예측 모드
    Figure 112014030210959-pat00103
    으로 결정된 4x4 인트라 예측 오차의 행 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며, 상기
    Figure 112014030210959-pat00104
    은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고, 상기
    Figure 112014030210959-pat00105
    은 상기 현재 블록 이전에 부호화된 블록들 중에서 인트라 예측 모드
    Figure 112014030210959-pat00106
    으로 결정된 블록들의 수를 나타내며, 상기
    Figure 112014030210959-pat00107
    은 상기 현재 블록 이전에 부호화된 블록들 중에서 인트라 예측 모드
    Figure 112014030210959-pat00108
    으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
    Figure 112014030210959-pat00109
    의
    Figure 112014030210959-pat00110
    번째 원소로서 하나의 4x4 예측 오차 블록을 나타내는 것을 특징으로 하는 변환 부호화 장치.
  8. 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성장치에 있어서,
    현재 블록 이전에 부호화된 블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부;
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및
    상기 상관행렬 계산부에 의해 계산된 상기 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부
    를 포함하며,
    상기 고유벡터 산출부에 의해 산출된 상기 고유벡터에 기초하여 각각의 인트라 예측모드에 대한 상기 변환기저를 생성하는 것을 특징으로 하는 변환기저 생성장치.
  9. 제 8항에 있어서,
    상기 변환기저는 KLT 기반의 변환기저인 것을 특징으로 하는 변환기저 생성장치.
  10. 인트라 예측장치에 있어서,
    현재 블록의 인트라 예측모드에 따라 상기 현재 블록의 주변 픽셀을 이용하여 상기 현재 블록의 예측 픽셀값을 산출하며, 상기 현재 블록의 픽셀값과 상기 예측 픽셀값 사이의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및
    상기 현재 블록 이전에 부호화된 블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부
    를 포함하며,
    상기 인트라 예측부에 의해 생성된 상기 예측 오차와 함께 상기 인트라 예측오차 결집부에 의해 결집된 상기 현재 블록 이전에 부호화된 블록들에 대한 예측 오차를 출력하는 것을 특징으로 하는 인트라 예측장치.
  11. 영상 복호화 장치에 있어서,
    현재 블록 이전에 복호화된 블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부;
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부;
    입력되는 비트스트림에 대하여 복호화할 상기 현재 블록의 인트라 예측 모드를 판독하는 인트라 예측 모드 판독부;
    상기 변환기저 생성부에 의해 생성된 변환기저 중 상기 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 대응하는 변환기저를 이용하여 상기 현재 블록에 대한 예측 오차를 역 변환하는 역 변환부; 및
    상기 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 따라 상기 현재 블록의 주변 픽셀을 이용하여 상기 현재 블록의 예측 픽셀값을 산출하며, 상기 예측 픽셀값에 상기 역 변환부에 의해 역 변환된 예측 오차 값을 더하여 상기 현재 블록을 복원하는 현재블록 복원부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제 11항에 있어서,
    상기 변환기저 생성부는,
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 결집에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및
    상기 상관행렬 계산부에 의해 계산된 상기 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부
    를 포함하며,
    상기 고유벡터에 기초하여 KLT 기반의 상기 변환기저를 생성하는 것을 특징으로 하는 영상 복호화 장치.
  13. 영상 부호화 방법에 있어서,
    현재 블록 이전에 부호화된 블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하며, 상기 현재 블록의 인트라 예측모드에 따라 상기 현재 블록의 주변 픽셀을 이용하여 상기 현재 블록의 예측 픽셀값을 산출하고 상기 예측 픽셀값과 상기 현재 블록의 픽셀값 사이의 차이를 통해 예측 오차를 생성하는 단계;
    상기 예측오차 결집단계에서 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계; 및
    상기 변환기저 생성단계에서 생성된 상기 변환기저를 이용하여 상기 현재 블록에 대해 생성된 상기 예측 오차를 변환 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  14. 인트라 예측 장치에 의해 현재 블록의 예측 픽셀값과 상기 현재 블록의 픽셀값 사이의 차이에 의해 생성된 예측 오차를 변환하여 부호화하는 변환 부호화 방법에 있어서,
    상기 현재 블록 이전에 부호화된 블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 단계; 및
    상기 예측오차 결집단계에서 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계
    를 포함하며,
    상기 변환기저 생성단계에서 생성된 변환기저를 이용하여 상기 인트라 예측 장치에 의해 생성된 상기 예측 오차를 변환 부호화하는 것을 특징으로 하는 변환 부호화 방법.
  15. 제 14항에 있어서,
    상기 예측오차 결집단계에서 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 단계
    를 더 포함하며,
    상기 변환기저 생성단계는 계산된 상기 자기 상관행렬을 이용하여 변환기저를 생성하는 것을 특징으로 하는 변환 부호화 방법.
  16. 영상 복호화 방법에 있어서,
    현재 블록 이전에 복호화된 블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 단계;
    상기 인트라 예측오차 결집 단계에서 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계;
    입력되는 비트스트림에 대하여 복호화할 상기 현재 블록의 인트라 예측 모드를 판독하는 단계;
    상기 변환기저 생성단계에 의해 생성된 변환기저 중 상기 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 대응하는 변환기저를 이용하여 상기 현재 블록에 대한 예측 오차를 역 변환하는 단계; 및
    상기 인트라 예측 모드 판독단계에 의해 판독된 인트라 예측 모드에 따라 상기 현재 블록의 주변 픽셀을 이용하여 상기 현재 블록의 예측 픽셀값을 산출하며, 상기 역 변환단계에 의해 역 변환된 예측 오차 값과 상기 예측 픽셀값을 더하여 상기 현재 블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  17. 제 16항에 있어서,
    상기 변환기저 생성단계는,
    상기 인트라 예측오차 결집단계에서 결집된 상기 예측 오차의 결집에 대한 자기 상관행렬을 계산하는 단계; 및
    상기 상관행렬 계산단계에서 계산된 상기 자기 상관행렬로부터 고유벡터를 산출하는 단계
    를 포함하며,
    상기 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것을 특징으로 하는 영상 복호화 방법.
KR1020090121980A 2009-12-09 2009-12-09 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법 KR101441879B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090121980A KR101441879B1 (ko) 2009-12-09 2009-12-09 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
PCT/KR2010/008777 WO2011071316A2 (ko) 2009-12-09 2010-12-09 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
US13/514,552 US9271000B2 (en) 2009-12-09 2010-12-09 Image-encoding apparatus and method, transform-encoding apparatus and method, apparatus and method for generating a transform base, and image-decoding apparatus and method used in same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090121980A KR101441879B1 (ko) 2009-12-09 2009-12-09 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110065116A KR20110065116A (ko) 2011-06-15
KR101441879B1 true KR101441879B1 (ko) 2014-09-23

Family

ID=44146054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090121980A KR101441879B1 (ko) 2009-12-09 2009-12-09 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법

Country Status (3)

Country Link
US (1) US9271000B2 (ko)
KR (1) KR101441879B1 (ko)
WO (1) WO2011071316A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016167538A1 (ko) * 2015-04-12 2016-10-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259205A (ja) 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
KR101277354B1 (ko) * 2011-12-21 2013-06-20 인텔 코오퍼레이션 메모리 대역폭 및 저장소를 감소시키기 위한 이미지 데이터의 지각적 무손실 압축
TWI761551B (zh) * 2017-07-13 2022-04-21 美商松下電器（美國）知識產權公司 編碼裝置、編碼方法、解碼裝置及解碼方法
KR20190014194A (ko) 2017-07-28 2019-02-12 희성전자 주식회사 도광판 및 이를 구비하는 백라이트 장치
EP4228256A1 (en) * 2019-06-25 2023-08-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image encoding method, image decoding method, decoder and storage medium for picture coding in mip mode

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050007607A (ko) * 2002-06-11 2005-01-19 노키아 코포레이션 인트라 코딩에 기반한 공간 예측
KR20050012762A (ko) * 2002-05-28 2005-02-02 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
KR20070037533A (ko) * 2005-10-01 2007-04-05 삼성전자주식회사 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치
JP2008099175A (ja) 2006-10-16 2008-04-24 Renesas Technology Corp 動画符号化装置および動画符号化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
EP2457377A1 (en) * 2009-07-23 2012-05-30 Thomson Licensing Methods and apparatus for adaptive transform selection for video encoding and decoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012762A (ko) * 2002-05-28 2005-02-02 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
KR20050007607A (ko) * 2002-06-11 2005-01-19 노키아 코포레이션 인트라 코딩에 기반한 공간 예측
KR20070037533A (ko) * 2005-10-01 2007-04-05 삼성전자주식회사 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치
JP2008099175A (ja) 2006-10-16 2008-04-24 Renesas Technology Corp 動画符号化装置および動画符号化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016167538A1 (ko) * 2015-04-12 2016-10-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치

Also Published As

Publication number Publication date
KR20110065116A (ko) 2011-06-15
WO2011071316A2 (ko) 2011-06-16
US20120307895A1 (en) 2012-12-06
US9271000B2 (en) 2016-02-23
WO2011071316A3 (ko) 2011-11-24

Similar Documents

Publication Publication Date Title
US11968373B2 (en) Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
KR101441903B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US20120320975A1 (en) Video encoding device and encoding method thereof, video decoding device and decoding method thereof, and directional intra-prediction method to be used thereto
KR101353304B1 (ko) 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
EP2555523A1 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
KR101418104B1 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101441879B1 (ko) 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
KR101601854B1 (ko) 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법
KR101524664B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101601856B1 (ko) 방향적 인트라 예측 장치 및 그 예측 방법
KR101533441B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101533435B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101479525B1 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101445835B1 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170905

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 6