KR101379188B1 - 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법 - Google Patents

인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법 Download PDF

Info

Publication number
KR101379188B1
KR101379188B1 KR1020100046176A KR20100046176A KR101379188B1 KR 101379188 B1 KR101379188 B1 KR 101379188B1 KR 1020100046176 A KR1020100046176 A KR 1020100046176A KR 20100046176 A KR20100046176 A KR 20100046176A KR 101379188 B1 KR101379188 B1 KR 101379188B1
Authority
KR
South Korea
Prior art keywords
block
subblocks
prediction
coding
coding unit
Prior art date
Application number
KR1020100046176A
Other languages
English (en)
Other versions
KR20110126485A (ko
Inventor
송진한
임정연
한종기
이영렬
문주희
김해광
전병우
김민재
박형미
서찬원
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020100046176A priority Critical patent/KR101379188B1/ko
Priority to US13/698,499 priority patent/US9420293B2/en
Priority to PCT/KR2011/003541 priority patent/WO2011145836A2/ko
Priority to CN201180024657.6A priority patent/CN102907100B/zh
Publication of KR20110126485A publication Critical patent/KR20110126485A/ko
Application granted granted Critical
Publication of KR101379188B1 publication Critical patent/KR101379188B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 부호화/복호화 장치 및 그 방법이 개시된다. 본 발명의 실시예에 따른 영상 부호화/복호화 장치는, 코딩유닛(CU)를 부호화 가능한 크기의 서브블록들의 조합으로 분할하고, 각각의 서브블록들에 대하여 인터 블록과 인트라 블록의 조합을 결정하며, 인트라 예측 부호화하고자 하는 현재블록의 주위 화소값의 참조 가능한 경우를 고려하여 코딩유닛(CU) 내부의 인트라 부호화 블록들의 부호화 순서를 결정하고, 결정된 부호화 순서에 따라 현재블록에 대한 양방향 인트라 예측 부호화를 수행하며, 서브블록들에 대한 부호화 모드 및 크기 정보를 코딩유닛(CU)의 신택스 앞에 위치시켜 전송하는 영상 부호화기; 및 부호화 데이터를 복호화하여 코딩유닛(CU) 내의 서브블록들의 부호화 모드 및 크기 정보를 복원하고, 복원되는 부호화 모드 정보에 기초하여 인터 예측 부호화 블록을 복원하며, 코딩유닛(CU) 내의 각 서브블록들의 부호화 모드 정보, 크기 정보 및 코딩유닛(CU)의 주위 블록들의 참조가능 조건에 따라서 인트라 예측 모드 블록들의 복호화 순서를 결정하는 영상 복호화기를 포함하는 것을 특징으로 한다.

Description

인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법{Video Coding and Decoding Method and Apparatus for Macroblock Including Intra and Inter Blocks}
본 발명의 실시예는 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법에 관한 것이다. 보다 상세하게는, 고해상도의 영상에 대하여 확장된 코딩블록을 이용하여 부호화/복호화를 수행하는 경우, 하나의 확장된 코딩블록을 다양한 크기의 블록으로 분할하여 부호화/복호화를 수행할 수 있으며, 인터 모드와 인트라 모드가 혼합된 경우에도 확장된 코딩블록 단위로 부호화/복호화를 수행할 수 있는 영상 부호화/복호화 장치 및 방법에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)라고 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다.
이러한 H.264/AVC(이하 'H.264'라 칭함)는 MPEG-1, MPEG-2, MPEG-4 Part2 Visual 등 종래의 동영상 코딩 국제 표준과는 다른 공간 예측 부호화 방법을 사용하고 있다. 종래의 방법에서는 DCT 변환 영역(Transform Domain)에서 변환된 계수(Coefficient)값에 대한 "인트라 예측"을 사용함으로써 부호화 효율 증대를 추구하여 저역 전송 비트율 대의 주관적 화질의 열화를 발생시키는 결과를 초래하였지만, H.264에서는 변환 영역이 아닌 공간 영역(Spatial Domain)에서의 공간적 인트라 예측(Spatial Intra Prediction) 부호화 방법을 채택하고 있다.
이와 같은 공간적 인트라 예측을 통한 부호화를 영상 부호화기의 측면에서 보면, 이미 부호화가 완료되어 재생된 이전 블록의 정보로부터 현재 부호화하고자 하는 블록 정보를 예측하고 부호화하고자 하는 실제 블록 정보의 오차(Difference)정보만을 부호화해서 영상 복호화기에 전송한다. 이때, 예측에 필요한 예측방향정보를 영상 복호화기에 전송하거나, 영상 부호화기와 영상 복호화기를 동기화시킴으로써 예측을 수행할 수도 있다. 영상 복호화기의 측면에서 보면, 이미 복호화가 완료되어 재생된 주변 블록의 정보를 이용하여 현재 복호화하고자 하는 블록의 정보를 예측하고, 영상 부호화기 측에서 전송된 오차정보와의 합을 구하여 원하는 구성정보를 재생하게 된다. 이때도 역시 예측에 필요한 예측방향정보가 전송되었다면 해당 예측방향정보를 복호화하여 이용한다.
H.264는 인트라 예측 또는 인터 예측 중 하나의 예측을 이용하여 16x16 화소 블록 크기의 매크로블록 단위로 부호화 또는 복호화를 수행한다. H.264 표준에 따른 인트라 예측에는 인트라 4 x 4 예측, 인트라 8 x 8 예측 및 인트라 16 x 16 예측 등이 있으며, 각각의 인트라 예측에는 다수의 예측 모드를 포함하고 있다. 또한, 인트라 예측은 부호화 또는 복호화 대상인 블록의 바로 위와 좌측에 위치한 이미 부호화 또는 복호화된 화소를 이용하여 예측 블록을 생성한다.
인트라 4x4 예측의 경우, 인접 픽셀(Adjacent Pixel)의 위치 및 예측의 방향성을 고려하여 도 1에 도시한 바와 같이, 수직(Vertical) 모드(모드 0), 수평(Horizontal) 모드(모드 1), DC(Direct Current) 모드(모드 2), 대각선 왼쪽(Diagonal_Down_Left) 모드(모드 3), 대각선 오른쪽(Diagontal_Down_Right) 모드(모드 4), 수직 오른쪽(Vertical_Right) 모드(모드 5), 수평 아래쪽(Horizontal_Down) 모드(모드 6), 수직 왼쪽(Vertical_Left) 모드(모드 7) 및 수평 위쪽(Horizontal_Up) 모드(모드 8)를 포함하는 9가지 예측 모드를 규정한다.
인트라 8x8 예측의 경우, 인트라 4x4 예측과 같이 도 1에 도시한 9 가지 예측 방향을 이용하며, 예측 화소를 계산하는 방법도 블록의 크기(4x4 화소와 8x8 화소)의 차이를 제외하면 4x4 화소 단위의 인트라 예측 부호화의 경우와 동일하다.
또한, 인트라 16x16 예측의 경우, 도 2에 도시한 바와 같이 수직(Vertical) 모드(모드 0), 수평(Horizontal) 모드(모드 1), DC 모드(모드 2) 및 플레인(Plane) 모드(모드 3)를 포함하는 4가지의 예측 모드를 규정한다.
도 1 및 도 2를 참조하면, 예측에 이용되는 인접 픽셀들은 좌측과 상단에 국한된다. 그 이유는, 예측에 이용될 수 있는 픽셀은 복호화 과정 후, 복원된 픽셀만을 이용할 수 있기 때문이다. 인코더는 부호화 순서에 따라 좌측에서 우측으로 그리고 위에서 아래의 순서로 블록을 부호화하고 그 블록의 압축 결과인 비트스트림 또한 순차적으로 디코더에 전송하기 때문에 현재 부호화할 블록을 기준으로 좌측과 상단에 복원된 픽셀이 존재한다. 그러나, 인트라 예측에서 사용될 수 있는 인접 픽셀이 좌측과 상단에 국한되는 점은 인트라 예측 모드에 있어서 공간적 중복성을 효과적으로 줄이지 못하여 압축 효율을 떨어뜨리는 주요한 원인이 되는 문제점이 있다.
한편, H.264에서는 매크로블록 내의 인트라 8 x 8 예측 또는 인트라 4 x 4 예측의 경우, 도 3에 도시한 바와 같이 래스터 스캔(Raster Scan) 방법에 따라 블록의 부호화 순서를 결정한다. 그런데, 이와 같은 래스터 스캔 방법은 도 1 및 도 2에 나타낸 바와 같이 부호화 또는 복호화하고자 하는 현재 블록의 상측 및 좌측에 위치한 화소만을 고려하는 경우에는 적합하지만, 현재 블록의 주변 화소들 중 이미 부호화 또는 복호화된 우측 및 하측에 위치한 화소들을 고려하지 못하는 문제점이 있다.
특히, 최근에는 4K x 2K 영상과 같은 고해상도의 영상을 효율적으로 압축하기 위하여 16 x 16 화소 블록보다 큰 크기의 매크로블록(이하에서는 편의상 확장된 매크로블록이라고 명명한다)을 이용한 부호화/복호화 방법이 연구되고 있는데, 이와 같은 확장된 매크로블록을 사용하는 경우에도 16 x 16 화소 블록 단위로 분할하여 H.264의 방법과 동일하게 부호화/복호화를 수행하는 수준에 그치고 있다. 예를 들어 확장된 매크로블록의 크기가 32 x 32 화소 블록이라고 가정하면, 확장된 매크로블록을 사용하는 경우의 신택스(syntax)의 구조는 도 4에 도시한 바와 같으며, 확장된 매크로블록 내에는 4 개의 16 x 16 크기의 매크로블록들이 존재하므로 확장된 매크로블록의 데이터에는 16 x 16의 매크로블록 단위의 데이터들이 포함된다. 이때, 16 x 16 크기의 매크로블록 단위로 부호화/복호화를 수행할 경우 하나의 매크로블록은 인트라 또는 인터 예측 모드 중 하나의 모드만 이용할 수 있다. 그러나, 고해상도의 영상에 대한 효율적인 부호화/복호화를 위해서는 확장된 코딩블록 단위의 부호화/복호화를 수행할 수 있어야 한다. 32 x 32 화소 블록 또는 64 x 64 화소 블록과 같은 큰 크기의 확장된 코딩블록을 부호화/복호화 단위로 사용하는 경우, 기존의 부호화/복호화 방법에서와 다른 통계적인 특징들이 다양하게 발생하게 된다. 예를 들면, 고해상도 영상에서 움직임이 많거나 공간적으로 복잡한 형태의 신호가 있는 경우, 확장된 코딩블록 내의 블록들은 인터 모드와 인트라 모드를 혼용하여 부호화/복호화를 수행하여야 압축 효율을 향상시킬 수 있는데, 기존의 영상 부호화/복호화 방법을 사용한다면 부호화/복호화의 효율이 나빠지고 화질의 열화가 발생하게 되는 문제점이 있다.
또한, 기존의 H.264는 전술한 바와 같이 인트라 예측 시 부호화 또는 복호화 대상인 블록의 바로 위쪽과 좌측에 위치한 이미 부호화/복호화가 수행된 화소들을 이용하여 예측 블록을 생성한다. 확장된 코딩블록 단위로 부호화/복호화를 수행하는 경우에 확장된 코딩블록 내에 인터 모드와 인트라 모드의 부호화/복호화가 혼용되는 상황에서는, 기존의 인트라 예측 방법으로는 부호화 또는 복호화하고자 하는 현재 블록의 아래의 화소들과 오른쪽에 위치한 화소들을 이용하지 못하기 때문에 압축 효율을 높일 수 없다는 문제점이 있다.
본 발명의 실시예는 고해상도의 영상에 대하여 확장된 코딩블록을 이용하여 부호화/복호화를 수행하는 경우, 하나의 확장된 코딩블록을 다양한 크기의 블록으로 분할하여 부호화/복호화를 수행할 수 있으며, 인터 모드와 인트라 모드가 혼합된 경우에도 확장된 코딩블록 단위로 부호화/복호화를 수행할 수 있는 영상 부호화/복호화 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 실시예는 확장된 코딩블록 단위로 부호화/복호화를 수행함에 있어 인트라 예측 부호화/복호화를 수행할 때 현재 블록의 위쪽 및 왼쪽에 있는 화소들뿐만 아니라 오른쪽 및 아래쪽에 있는 화소들도 고려하여 부호화/복호화를 수행함으로써 예측의 성능을 향상시킬 수 있는 영상 부호화/복호화 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 실시예는 확장된 코딩블록을 사용하는 경우에 현재 블록의 오른쪽 및/또는 아래쪽에 위치한 화소들을 이용하여 현재 블록을 부호화/복호화하는 경우를 고려하여 블록을 스캔 즉, 확장된 코딩블록 내의 부호화/복호화의 순서를 결정하는 영상 부호화/복호화 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 실시예는 확장된 코딩블록 내의 각 블록에 대한 정보를 각각의 블록 계층이 아닌 확장된 코딩블록 계층에 각각의 블록의 부호화 순서와 같은 순서로 비트스트림 내에 배열함으로써 추가적인 비트를 전송하지 않고도 각 블록의 부호화 또는 복호화 순서를 복호화 장치로 전송할 수 있는 영상 부호화 장치 및 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 코딩블록을 부호화 가능한 크기의 서브블록들의 조합으로 분할하고, 각각의 서브블록들에 대하여 인터 블록과 인트라 블록의 조합을 결정하며, 인트라 예측 부호화하고자 하는 현재블록의 주위 화소값의 참조 가능한 경우를 고려하여 코딩블록 내부의 인트라 부호화 블록들의 부호화 순서를 결정하고, 결정된 부호화 순서에 따라 현재블록에 대한 양방향 인트라 예측 부호화를 수행하며, 서브블록들에 대한 부호화 모드 및 크기 정보를 코딩블록의 신택스 앞에 위치시켜 전송하는 영상 부호화기; 및 부호화 데이터를 복호화하여 코딩블록 내의 서브블록들의 부호화 모드 및 크기 정보를 복원하고, 복원되는 부호화 모드 정보에 기초하여 인터 예측 부호화 블록을 복원하며, 코딩블록 내의 각 서브블록들의 부호화 모드 정보, 크기 정보 및 코딩블록의 주위 블록들의 참조가능 조건에 따라서 인트라 예측 모드 블록들의 복호화 순서를 결정하는 영상 복호화기를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화 장치는, 코딩블록을 부호화 가능한 크기의 서브블록들의 조합으로 분할하고, 서브블록들 중 부호화하고자 하는 현재블록에 대하여 인트라 예측 모드 또는 인터 예측 모드에 의한 예측을 실행하여 예측블록을 생성하는 예측기; 현재블록과 예측블록을 감산하여 잔여블록을 생성하는 감산기; 잔여블록을 변환하고 양자화하여 양자화된 변환계수를 생성하는 변환기 및 양자화기; 및 양자화된 변환계수를 부호화하여 부호화된 영상 데이터를 생성하는 부호화기를 포함하는 것을 특징으로 한다.
여기서, 코딩블록은 N x N(여기서, N은 16 이상의 정수) 화소 블록의 크기를 가질 수 있다.
또한, 예측기는, 코딩블록을 정사각형으로 구성된 서브블록들, 정사각형 및 직사각형으로 구성된 서브블록들, 및 직사각형들로 구성된 서브블록들 중의 어느 하나의 형태로 분할할 수 있다.
또한, 예측기는, 현재블록에 대하여 인트라 예측 모드에 의한 예측을 실행하는 경우, 현재블록의 위쪽, 왼쪽, 오른쪽 및 아래쪽 중 적어도 하나에 위치한 화소들을 참조할 수 있다.
또한, 부호화기는, 코딩블록 내의 상기 서브블록들 중 인터 예측 블록을 먼저 부호화한 후, 인트라 예측 블록을 부호화할 수 있다.
또한, 부호화기는, 각각의 서브블록들을 부호화할 때 주위에 이미 복호화가 완료되어 해당 블록의 인트라 예측 시 이용 가능한 주변블록의 개수가 많아지도록 서브블록들에 대한 부호화 순서를 결정할 수 있다.
또한, 부호화기는, 코딩블록 내의 서브블록들이 모두 인트라 예측 모드로 부호화할 수 있다.
여기서, 서브블록들은 정사각형 모양의 인트라 예측 및 임의의 직사각형 모양의 인트라 예측 중의 적어도 하나로 예측이 실행될 수 있다.
또한, 코딩블록 내의 서브블록들이 인터 예측 모드와 인트라 예측 모드가 혼용되어 부호화될 수 있다.
또한, 서브블록들이 정사각형 모양의 인트라 예측 및 인터 예측, 및 임의의 직사각형 모양의 인트라 예측 및 인터 예측 중의 적어도 하나로 예측이 실행될 수 있다.
또한, 부호화기는, 주변에 이용 가능한 화소들의 존재 패턴에 따라서 상기 서브블록들에 대한 부호화 순서를 결정할 수 있다.
또한, 부호화기는, 전송 비트스트림의 신택스에서 상기 코딩블록 내의 각 서브블록들의 모드 및 모양/크기에 대한 정보를 코딩블록 정보의 앞부분에 위치시킬 수 있다.
또한, 부호화기는, 코딩블록의 맨 앞에 위치하는 모드 및 모양/크기에 대한 정보는 코딩블록 내의 서브블록들의 스캔 순서와 같은 순서로 위치시킬 수 있다.
또한, 부호화기는, 추가적인 비트의 전송을 생략할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 장치는, 부호화 데이터를 복호화하여 코딩블록 내의 서브블록들의 부호화 모드 및 크기 정보를 복원하고, 복원되는 부호화 모드 정보에 기초하여 인터 예측 부호화 블록을 복원하며, 코딩블록 내의 각 서브블록들의 부호화 모드 정보, 크기 정보 및 코딩블록의 주위 블록들의 참조가능 조건에 따라서 인트라 예측 모드 블록들의 복호화 순서를 결정하고, 현재블록의 양자화된 변환계수를 복원하는 복호화기; 양자화된 변환계수를 역양자화 및 역변환하여 각 서브블록들에 대한 잔여 서브블록을 복원하는 역양자화기 및 역변환기; 현재블록을 복원되는 부호화 모드 및 크기 정보를 이용하여 예측 블록을 생성하는 예측기; 및 예측블록과 잔여블록을 가산하여 현재블록을 복원하는 가산기를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화/복호화 방법은, 코딩블록을 부호화 가능한 크기의 서브블록들의 조합으로 분할하고, 각각의 서브블록들에 대하여 인터 블록과 인트라 블록의 조합을 결정하며, 인트라 예측 부호화하고자 하는 현재블록의 주위 화소값의 참조 가능한 경우를 고려하여 코딩블록 내부의 인트라 부호화 블록들의 부호화 순서를 결정하고, 결정된 부호화 순서에 따라 현재블록에 대한 양방향 인트라 예측 부호화를 수행하며, 서브블록들에 대한 부호화 모드 및 크기 정보를 상기 코딩블록의 신택스 앞에 위치시켜 전송하는 영상 부호화 단계; 및 부호화 데이터를 복호화하여 코딩블록 내의 서브블록들의 부호화 모드 및 크기 정보를 복원하고, 복원되는 부호화 모드 정보에 기초하여 인터 예측 부호화 블록을 복원하며, 코딩블록 내의 각 서브블록들의 부호화 모드 정보, 크기 정보 및 코딩블록의 주위 블록들의 참조가능 조건에 따라서 인트라 예측 모드 블록들의 복호화 순서를 결정하는 영상 복호화 단계를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 영상 부호화 방법은, 코딩블록을 부호화 가능한 크기의 서브블록들의 조합으로 분할하고, 서브블록들에 대하여 인터 블록과 인트라 블록의 조합을 결정하는 단계; 서브블록들 중 인트라 예측 부호화하고자 하는 현재블록의 주위 화소값의 참조 가능한 경우를 고려하여 코딩블록 내부의 인트라 부호화 블록들의 부호화 순서를 결정하는 단계; 결정된 부호화 순서에 따라 현재블록에 대한 양방향 인트라 예측 부호화를 수행하는 단계; 및 서브블록들에 대한 부호화 모드 및 크기 정보를 코딩블록의 신택스 앞에 위치시켜 전송하는 단계를 포함하는 것을 특징으로 한다.
여기서, 인터 블록과 인트라 블록의 조합을 결정하는 단계는, 부호화 비용이 최소가 되는 인터 블록과 인트라 블록의 조합을 결정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 방법은, 부호화 데이터를 복호화하여 코딩블록 내의 서브블록들의 부호화 모드 및 크기 정보를 복원하는 단계; 및 코딩블록 내의 각 서브블록들의 부호화 모드 정보, 크기 정보 및 코딩블록의 주위 블록들의 참조가능 조건에 따라서 인트라 예측 모드 블록들의 복호화 순서를 결정하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 복원되는 부호화 모드 정보에 기초하여 인터 예측 부호화 블록을 복원하는 단계를 더 포함하며, 인터 예측 부호화 블록이 복원된 후에 상기 인트라 예측 모드 블록들의 복호화 순서를 결정할 수 있다.
본 발명의 실시예에 따르면, 고해상도의 영상에 대하여 확장된 코딩블록을 이용하여 부호화/복호화를 수행하는 경우, 하나의 확장된 코딩블록을 다양한 크기의 블록으로 분할하여 부호화/복호화를 수행할 수 있으며, 인터 모드와 인트라 모드가 혼합된 경우에도 확장된 코딩블록 단위로 부호화/복호화를 수행할 수 있게 된다.
또한, 본 발명의 실시예는 확장된 코딩블록 단위로 부호화/복호화를 수행함에 있어 인트라 예측 부호화/복호화를 수행할 때 현재 블록의 위쪽 및 왼쪽에 있는 화소들뿐만 아니라 오른쪽 및 아래쪽에 있는 화소들도 고려하여 부호화/복호화를 수행함으로써 예측의 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예는 확장된 코딩블록을 사용하는 경우에 현재 블록의 오른쪽 및/또는 아래쪽에 위치한 화소들을 이용하여 현재 블록을 부호화/복호화하는 경우를 고려하여 블록을 스캔 즉, 확장된 코딩블록 내의 부호화/복호화의 순서를 결정할 수 있다.
또한, 본 발명의 실시예는 확장된 코딩블록 내의 각 블록에 대한 정보를 각각의 블록 계층이 아닌 확장된 코딩블록 계층에 각각의 블록의 부호화 순서와 같은 순서로 비트스트림 내에 배열함으로써 추가적인 비트를 전송하지 않고도 각 블록의 부호화 또는 복호화 순서를 복호화 장치로 전송할 수 있다.
도 1은 H.264 표준에 따른 일반적인 9가지 4x4 인트라 예측모드를 나타낸 도면이다.
도 2는 H.264 표준에 따른 일반적인 4가지 16x16 인트라 예측모드를 나타낸 도면이다.
도 3은 매크로블록 내에서 인트라 8 x 8 예측의 경우와 인트라 4 x 4 예측의 경우의 블록 스캔 순서를 나타낸 도면이다.
도 4는 종래의 영상 부호화/복호화 방법에서 확장된 매크로블록을 이용하는 경우의 신택스 구조를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다.
도 6은 확장된 코딩블록 내의 인트라 예측 블록 및 인터 예측 블록이 혼용된 일 예를 나타낸 도면이다.
도 7의 (a) 및 (b)는 각각 확장된 코딩블록 내의 인트라 예측 블록 및 인터 예측 블록이 혼용된 다른 예를 나타낸 도면이다.
도 8은 본 발명의 실시예 따른 인트라 예측 부호화를 설명하기 위해 도시한 도면이다.
도 9 내지 도 23은 참조 가능한 주변 블록의 조건들에 따라 설계된 새로운 인트라 예측 방법의 예로서, 4x4 블록의 경우를 나타낸 도면이다.
도 24는 현재의 확장된 코딩블록의 주변의 블록들 중에 이미 부호화 및 복호화된 주변 화소들의 정보를 이용할 수 있는 경우들을 예로서 나타낸 도면이다.
도 25는 코딩블록 내에서 인터블록을 이용한 내부 블록 들의 코딩 순서를 결정 하는 방법을 나타낸 흐름도이다.
도 26는 확장된 코딩블록의 크기를 32x32 화소 블록으로 하고 확장된 코딩블록 내의 블록의 크기를 16x16 화소 블록으로 사용한 경우의 서브블록들의 부호화 순서를 예시한 도면이다.
도 27은 확장된 코딩블록의 크기를 32x32 화소 블록으로 하고 확장된 코딩블록 내의 블록의 크기를 4x4 화소 블록으로 사용한 경우의 서브블록들의 부호화 순서를 예시한 도면이다.
도 28은 확장된 코딩블록 내의 직사각형 모양의 서브블록들에 대하여 인트라 예측이 사용될 때, 적응적인 스캔 순서를 예시한 도면이다.
도 29은 본 발명의 실시예에 따른 신택스 구조의 예를 나타낸 도면이다.
도 30는 도 5의 영상 부호화 장치에 의한 영상 부호화 방법을 나타낸 흐름도이다.
도 31는 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다.
도 32은 도31의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
후술할 본 발명의 일 실시예에 따른 영상 부호화 장치(Video Encoding Apparatus)와 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal), 스마트 폰(Smart Phone) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망, 유선 전화망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 영상부호화 장치(500)는 예측기(510), 감산기(520), 변환기 및 양자화기(530), 부호화기(540), 역양자화기 및 역변환이기(550), 가산기(560), 필터(570) 및 픽처 버퍼(580)를 포함하여 구성될 수 있다.
예측기(510)는 인트라 예측기(512)와 인터 예측기(514)를 포함할 수 있으며, 인터 예측기(514)는 다시 움직임 추정기(516)와 움직임 보상기(518)를 포함할 수 있다.
인트라 예측기(512)는 현재 블록을 예측하여 예측 블록(Predicted Block)을 생성하고, 감산기(520)는 현재 블록과 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성한다. 변환기 및 양자화기(530)는 잔여 블록을 변환 및 양자화하여 양자화된 변환 계수를 생성하고, 부호화기(540)는 양자화된 변환 계수를 엔트로피 부호화하여 부호화 데이터를 생성한다.
변환기 및 양자화기(530)는 휘도 성분의 4x4, 4x8, 8x4 화소 단위의 인트라 예측이 선택된 현재 블록의 잔여 블록에 대해서는 4x4 변환을 수행하고, 8x8, 8x16, 16x8 화소 단위의 인트라 예측이 선택된 현재 블록의 잔여 블록에 대해서는 8x8 변환을 수행할 수 있다. 또한, 변환기 및 양자화기(530)는 16x16 화소 단위 이상의 인트라 예측이 선택된 현재 블록의 잔여 블록에 대해서는 16x16 변환을 수행할 수 있다. 이 경우, 인트라 예측의 단위와 서브블록의 크기가 동일하므로, 변환의 종류는 서브블록의 블록 크기에 따라 결정할 수 있다.
변환기 및 양자화기(530)에 의해 변환 및 양자화된 잔여 블록은 역양자화기 및 역변환기(550)에 의해 역양자화 및 역변환되어 잔여 블록이 복원되고, 가산기(560)는 복원된 잔여 블록과 예측기(510)에 의해 예측된 예측 블록을 가산하여 현재 블록을 복원한다.
필터(570)는 가산기(560)에 의해 복원된 현재 블록들이 누적되어 만들어지는 픽처를 디블록킹 필터 등을 사용하여 필터링을 수행하고, 필터링된 픽처는 픽처 버퍼(580)에 저장되어 다음 픽처의 참조 픽처로서 이용된다.
입력 영상은 프레임 단위 또는 필드 단위로 도 5의 영상 부호화 장치(500)에 입력되거나, NxN(단, N은 16이상의 정수) 화소를 가지는 코딩블록들로 분할되어 영상 부호화 장치(500)에 입력될 수 있다. 즉, 입력 영상이 4Kx2K 영상과 같은 고해상도 영상인 경우, N이 16보다 큰 정수로 이루어진 코딩블록으로 분할하여 부호화를 수행함으로써 영상 압축의 효율 향상을 꾀할 수 있다. 여기서, N이 16보다 큰 정수로 이루어진 코딩블록을 확장된 코딩유닛(CU:Coding Unit)이라고 명명한다. 예를 들어, 코딩유닛 CU는 64x64, 32x32 등과 같은 크기의 정방형의 화소 블록으로 이루어질 수 있다. 이하에 기재하는 코딩블록은 크기를 특정하지 않은 화소 블록으로서 코딩유닛(CU)이거나 일반적인 16x16 화소 블록을 지칭할 수 있음에 유의한다.
고해상도의 입력 영상에 대하여 코딩유닛(CU) 단위로 분할하여 부호화를 수행하는 경우, 예측기(510)는 코딩유닛(CU)을 내부적으로 더 작은 서브블록으로 분할하여 인트라 예측 부호화 또는 인터 예측 부호화를 수행할 수 있다. 이때, 코딩유닛(CU)는 분할된 서브블록들에 대하여 인트라 예측 부호화 및 인터 예측 부호화를 혼용하여 부호화를 수행할 수 있다. 또한, 코딩유닛(CU) 내의 인트라 예측 부호화된 서브블록이로고 하더라도 다른 크기의 블록 단위로 예측 부호화가 수행될 수 있다. 예를 들어, 코딩유닛(CU)의 크기가 도 6에 도시한 바와 같이 32x32 화소 블록이라고 가정하면, 인트라 16x16 예측 부호화, 인트라 4x4 예측 부호화 또는 인트라 8x8 예측 부호화를 혼용하여 부호화를 수행할 수 있다. 도 6에서 코딩유닛(CU)의 크기를 32x32 화소 블록으로 가정하였으나, 코딩유닛(CU)의 크기는 이에 한정되지 않는다. 또한, 코딩유닛(CU) 내의 서브블록들은 인트라 16x16 예측 부호화가 수행되는 2개의 16x16 화소 블록과, 인트라 4x4 예측 부호화가 수행되는 1개의 16x16 화소 블록과, 인터 예측 부호화가 수행되는 1개의 16x16 화소 블록이 혼용되어 있는 것으로 도시하였지만, 인트라 예측 부호화되는 블록의 개수, 위치 및 모양은 이에 한정되지 않는다. 또한, 코딩유닛(CU) 내의 서브블록은 16x16 화소 블록 단위로 부호화가 수행되는 것으로 설명하였으나, 코딩유닛(CU) 내의 서브블록들은 다양한 크기의 화소 블록 단위로 부호화가 수행될 수 있다. 예를 들어, 도 7의 (a)에 도시한 바와 같이 16x16 화소 블록 단위로 부호화를 수행하는 경우에 16x16 화소 블록은 2개의 인트라 8x16 예측 부호화를 수행하거나, 1개의 인트라 8x16 예측 부호화와 2개의 8x8 예측 부호화를 수행하거나, 1개의 인터 16x8 예측 부호화와 2개의 인터 8x8 예측 부호화를 수행하는 등의 다양한 크기의 부호화가 수행될 수 있다. 또한, 도 7의 (b)에 도시한 바와 같이 코딩유닛(CU) 내의 서브블록에 대한 인트라 예측 부호화는 16x16 화소 블록 단위에 한정되지 않고 8x32 화소 블록, 32x8 화소 블록, 16x32 화소 블록, 32x16 화소 블록 등의 다양한 크기의 화소 블록 단위로 인트라 예측 부호화가 수행될 수 있다. 이와 같은 다양한 크기의 화소 블록에 대한 인트라 예측 부호화는 부호화하고자 하는 현재 블록의 위쪽 및 왼쪽에 있는 화소들뿐만 아니라, 현재 블록의 오른쪽 및 아래쪽에 있는 부호화된 화소들을 고려함으로써 가능해진다.
도 8은 본 발명의 실시예 따른 인트라 예측 부호화를 설명하기 위해 도시한 도면이다. 본 도면의 Intra Block은 코딩유닛(CU) 내의 서브블록을 의미한다. 전술한 바와 같이, 본 발명의 실시예에 따른 인트라 예측 부호화는 부호화하고자 하는 현재 블록의 위쪽 및 왼쪽에 있는 화소들뿐만 아니라, 오른쪽과 아래쪽에도 이미 부호화 및 복호화가 완료되어 참조할 수 있는 화소값이 있다면, 이들 모두를 참고 정보로 이용하여 더 효율적인 방향으로 인트라 예측 부호화를 수행한다. 이때, 현재 블록의 오른쪽과 아래쪽의 이용 가능한 복원 화소값들은 코딩유닛(CU)의 외부에 있는 화소일 수도 있고, 다른 한편으로는 현재의 코딩유닛(CU) 내의 이미 부호화한 인트라 모드 블록 또는 이미 부호화한 인터 모드 블록일 수 있다. 이미 부호화 및 복호화를 수행해서 이용 가능한 화소값들의 개수 및 위치에 따라서 다양한 인트라 예측 방법이 존재할 수 있다.
다양한 인트라 예측 방향에 따라서 인트라 예측 필터 디자인은 달라지게 된다. 예를 들어, 본 발명의 실시예에 따른 인트라 예측 방법을 4x4 블록에 적용했을 때, 참조 가능한 주변 블록의 조건들에 따라 설계된 새로운 인트라 예측 방법을 도 9 내지 도 23에 나타내었다. 도 9 내지 도 23에 각각 나타낸 case 1 내지 15는 현재 부호화 블록의 주변에 이미 부호화되어 이용 가능한 화소값들의 위치 및 개수에 따른 분류이다. 여기서, 도 9 내지 도 23은 4x4 크기 블록에 대한 한 예시이다. 4x4 블록 이외에 8x8 블록, 16x16, 그리고 직사각형 모양의 m x n(여기서, m x n은 NxN(N은 16 이상의 정수) 크기를 갖는 코딩유닛(CU) 내의 분할된 서브블록의 크기를 나타내며, m 및 n은 N 이하의 정수) 등 다양한 크기의 블록들에 대해서도 주변 블록(오른쪽, 위쪽, 왼쪽, 아래쪽)의 이용 가능한 화소값들의 개수 및 위치에 따라서 예측 방법을 계산할 수 있으며, 그 방법들은 도 9 내지 도 23에서 표시한 방법으로부터 간단히 유도되기 때문에, 이에 대한 구체적인 설명을 생략한다.
또한 도 9 내지 도 23에서는 9가지 인트라 예측만 사용하였지만 9가지 방향뿐 아니라 더 많은 다양한 인트라 예측방향에서 사용될 수 있다. 예를 들어 DC모드를 제외한 8가지 방향들간의 사이에 예측 방향을 추가하여 17가지 방향으로 예측 할 수 있으며, 더 나아가 34가지 방향으로도 예측이 가능하다. 이렇게 예측 방향의 숫자가 증가하여도 도 9 내지 도 23에서 표시한 방법과 같은 방법 내지 확장된 방법으로 양방향으로 예측 필터를 만들 수 있고, 그 내용이 당연하기 때문에 이에 대한 구체적인 설명을 생략한다.
현재의 코딩유닛(CU)의 주변의 블록들 중에 일부는 이미 부호화 및 복호화되어, 현재의 코딩유닛(CU)을 부호화할 때 그 정보를 이용할 수 있는 경우가 있는데, 도 24는 이와 같은 경우들을 예로서 나타낸 도면이다. 종래의 비디오 코딩 방식에서는 도 24의 (a), (b) 및 (e)의 경우가 이용 가능한 경우이나, 본 발명에 따른 실시예에서는 그 외의 경우에서도 이용 가능한 기술을 제시한다. 본 발명의 실시예에서는 이미 부호화 및 복호화를 수행하여 예측부호화에 이용 가능한 주변블록들이 어떤 방법을 통해서 존재하는지에 대해서는 제한하지 않는다.
코딩유닛(CU)을 부호화할 때, 참조할 수 있는 주변 블록의 개수 및 종류에 따라서, 내부 블록들의 코딩 순서가 적응적으로 변하게 된다. 본 발명의 실시예에서 코딩유닛(CU)의 내부 블록들의 코딩 순서를 정하는 방법은, 각 내부 코딩 블록을 코딩할 때 그 코딩 블록의 주위에 이미 복호화가 완료되어 해당 블록의 인트라 예측 시 이용 가능한 주변 블록의 개수가 많아지도록 결정한다.
도 25는 코딩유닛(CU)를 부호화 할 때, 내부 블록 들의 코딩 순서를 결정 하는 방법을 나타낸 흐름도이다. 먼저 코딩유닛(CU)을 부호화 가능한 크기의 서브블록들의 조합으로 분할한 다음(S2501), 코딩블록 내의 인터 서브블록들을 먼저 부호화 한다(S2503). 코딩하지 않고 남은 인트라 서브블록들의 개수를 T라고 한다(S2505). 인트라 예측 부호화 하려는 각 서브 블록들의 주위 화소값의 참조가능한 경우를 고려한다. 각 서브블록들의 참조가능한 주변블록들의 개수 B_i를 계산한다(S2507). 참조가능한 면의수가 가장 많은 블록을 선택하고 그 가장 큰 B_i값을 갖는 서브블록의 개수가 1개인지 판단한다(S2509). 가장 큰 B_i값을 갖는 서브블록이 1개이면 그 서브블록을 인트라 예측부호화한다(S2511). 만약 가장 큰 B_i값을 갖는 서브블록이 복수개라면, 그 복수개 블록들 중 양방향 예측이 가능한 블록의 개수가 몇 개인지 계산한다(S2517). 이 때 양방향 예측이란 참조가능한 주변블록들이 현재 서브블록의 왼쪽과 오른쪽에 동시에 존재하거나, 또는 현재 서브블록의 윗쪽과 아랫쪽에 동시에 존재하는 경우를 의미한다. 이와 같이 최대의 B_i값을 가지면서 양방향 예측이 가능한 서브블록의 개수가 1개이면 그 서브 블록을 인트라 예측부호화환다(S2511). 최대 B_i값을 갖는 서브블록들 중에 양방향 예측부호화가 가능한 서브블록들이 존재하지 않는 경우는 가장 큰 B_i 값을 갖는 서브블록들 가운데 raster scan 순서에서 가장 먼저 오는 서브블록을 인트라 예측부호화한다(S2521, S2511). 만약 최대 B_i값을 가지면서 양방향 예측이 가능한 서브블록들이 복수개 존재한다면 최대 B_i값을 가지면서 양방향 예측이 가능한 서브블록들 가운데 raster scan 순서 상 가장 먼저 위치한 서브블록을 인트라 예측 부호화한다(S2519, S2511). 이와 같은 방법을 통해 한 개의 서브 블록을 인트라 예측 부호화한 후에는 현재 인트라 예측부호화한 블록이 마지막 서브 블록인지 판별한다(S2513). 만약 인트라 예측부호화하지 않고 남은 서브 블록이 있다면 남은 서브 인트라 블록의 총 개수 T를 한 개 줄여 설정한 후(S2515), 남은 서브 블록들의 B_i값 계산을 다시 한다(S2507). 아직 코딩되지 않고 남은 인트라 서브블록들에 대해서 앞의 과정을 반복 수행한다. 모든 인트라 서브 블록들이 코딩된 후 종료한다.
도 26는 코딩유닛(CU)의 크기를 32x32 화소 블록으로 하고 코딩유닛(CU) 내의 블록의 크기를 16x16 화소 블록으로 사용한 경우의 서브블록들의 부호화 순서를 예시한 도면이며, 이때 코딩순서는 도25에 설명된 방법으로 결정한다. 도 27은 코딩유닛(CU)의 크기를 32x32 화소 블록으로 하고 코딩유닛(CU) 내의 블록의 크기를 4x4 화소 블록으로 사용한 경우의 서브블록들의 부호화 순서를 예시한 도면이다. 도 27에서 코딩순서를 결정할 때 도 25의 방법을 계층적으로 적용한다. 도 27에서 코딩유닛(CU)의 크기를 32x32 크기로 가정할 때, 도 25의 방법으로 4개의 16x16크기의 블록들간 코딩순서를 결정하고, 또 각 16x16 블록 내의 서브블록의 코딩순서는 도 25의 알고리즘을 16x16 블록내의 서브블록들에 적용하여 결정한다. 또한, 도 28은 코딩유닛(CU) 내의 직사각형 모양의 서브블록들에 대하여 인트라 예측이 사용될 때, 적응적인 스캔 순서를 예시한 도면이다. 다양한 모양 및 크기(정사각형 모양 또는 직사각형 모양)의 인트라 예측 블록들이 존재하는 경우에도 도 25의 코딩순서 결정방법을 이용하여 코딩순서를 쉽게 결정 할 수 있다.
도 26 내지 도 28은 코딩유닛(CU) 내의 모든 서브블록들이 인트라 예측 부호화되는 경우, 서브블록들의 부호화 순서(블록 스캔 순서)를 나타내었다. 본 발명에 따른 실시예에서, 도 26 내지 도 28과 같은 적응적인 블록 스캔 순서는 추가적인 비트 전송이 필요 없이 주변에 이용 가능한 화소들의 존재 패턴에 따라서 블록의 스캔 순서를 결정할 수 있는 장점이 있다.
코딩유닛(CU)의 내부에 인터 예측 블록과 인트라 예측 블록이 혼용되어 있는 경우, 인트라 예측 부호화의 양방향 예측 효율을 높이기 위해, 인터 예측 블록들을 먼저 부호화한 후, 코딩유닛(CU) 내부의 인트라 예측 부호화 블록들을 부호화한다.
본 발명의 실시예에 따른 영상 부호화는, 코딩유닛(CU)내에 인터 예측 부호화 모드와 인트라 예측 부호화 모드가 혼용되고, 코딩유닛(CU)내의 각 서브블록들의 모양과 크기가 다양하게 존재한다. 이 블록들의 모드 정보 및 크기 정보를 부호화하기 위해서는 추가의 플래그(flag) 비트가 필요하게 되고, 이는 압축률이 낮아지는 단점이 된다. 이에 본 발명의 실시예에서는 코딩유닛(CU)내 각 서브블록들의 모드 및 모양/크기 정보를 코딩유닛(CU) 정보의 맨 앞부분에 위치시킨다. 이때, 코딩유닛(CU)의 맨 앞에 위치하는 모드 및 모양/크기 정보들은 코딩유닛(CU)내 서브블록들의 래스터 스캔(raster scan) 순서로 위치하게 된다. 이와 같은 순서로 수신 및 복호화된 각 세부 블록들의 모드 정보(MB_type 정보들)를 이용하면, 코딩유닛(CU) 내의 인터 예측 부호화 블록들과 인트라 예측 부호화 블록들의 위치 및 모양(구조)을 알 수 있다. 이 정보를 이용하여, 코딩유닛(CU)내부의 인터 예측 부호화 블록들을 먼저 복호화할 수 있다. 인터 예측 부호화 블록을 먼저 복호화한 후, 코딩유닛(CU)의 주변 블록들 중 참조 가능한 데이터들의 위치와 코딩유닛(CU)내의 참조 가능한 인터 복호화 블록들의 위치를 고려하면, 도 25의 방법을 이용하여 코딩유닛(CU)내에 존재하는 인트라 예측 부호화 블록들의 스캔 순서를 계산할 수 있다. 이와 같은 방법을 사용함으로써, 추가적인 비트를 전송하지 않고도 블록 정보를 전송할 수 있다. 이와 같은 신택스(Syntax) 구조는 도 29에 도시한 바와 같다.
도 30는 본 발명의 실시예에 따른 영상 부호화 방법을 나타낸 흐름도이다. 도 30를 참조하면, 예측기(510)는 코딩유닛(CU)을 부호화 가능한 크기의 서브블록들의 조합으로 분할한다(S3001).
다음에, 예측기(510)는 코딩유닛(CU) 내의 각 서브블록들에 대하여 인트라 또는 인터 부호화를 수행한다(S3003). 이때, 예측기(510)는 각각의 서브블록들에 대한 인트라 예측 모드 또는 인터 예측 모드에 대하여 부호화 비용이 최소가 되는 인터 블록과 인트라 블록을 선택하여 서브블록들의 조합을 결정한다(S3005). 이때, 각 서브블록들 중 인트라 예측 부호화를 수행하고자 하는 블록에 대하여, 주위 화소값의 참조 가능한 경우를 고려하여 코딩유닛(CU) 내부의 인트라 부호화 블록들의 코딩 순서를 결정할 수 있다(S3007). 또한, 인트라 예측 부호화하려는 블록의 주위 화소값의 참조 가능한 경우를 고려하여, 현재블록에 대한 양방향 인트라 예측을 수행할 수 있다(S3009).
부호화기(540)는 코딩유닛(CU) 내의 서브블록들의 부호화 모드/크기 정보를 코딩유닛(CU)의 신택스 맨 앞에 위치시킨 후, 그 뒤에 데이터 정보를 위치시켜 전송한다(S3011).
도 31은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다. 본 발명의 실시예에 따른 영상 복호화 장치(3100)는, 복호화기(Decoder, 3110), 역양자화기 및 역변환기(3120), 예측기(3130), 가산기(3140), 필터(3150) 및 픽처 버퍼(4560)을 포함하여 구성될 수 있다.
복호화기(3110)는 부호화 데이터를 복호화하여 코딩유닛(CU) 내의 서브블록들의 부호화 모드 및 크기 정보를 복원하고, 복원되는 부호화 모드 정보에 기초하여 인터 예측 부호화 블록을 복원하며, 코딩유닛(CU) 내의 각 서브블록들의 부호화 모드 정보, 크기 정보 및 코딩유닛(CU)의 주위 블록들의 참조가능 조건에 따라서 인트라 예측 모드 블록들의 복호화 순서를 결정하고, 현재블록의 양자화된 변환계수를 복원한다.
역양자화기 및 역변환기(3120)는 양자화된 변환계수를 역양자화 및 역변환하여 코딩유닛(CU) 내의 각 서브블록들에 대한 잔여 서브블록을 복원한다.
예측기(3130)는 현재블록을 복원되는 부호화 모드 및 크기정보를 이용하여 예측 블록을 생성한다. 이를 위해, 인트라 예측기(3132)는 복호화하고자 하는 대상 코딩유닛(CU) 또는 그 서브블록을 복호화기(3110)에 의해 복원되는 인트라 예측 모드를 이용하여 인트라 예측함으로써 대상 코딩유닛(CU) 또는 그 서브블록의 예측 블록을 생성하며, 인터 예측기(3134)는 복호화하고자 하는 대상 코딩유닛(CU) 또는 그 서브블록을 복호화기(3110)에 의해 복원되는 움직임 정보를 이용하여 인터 예측함으로써 대상 코딩유닛(CU) 또는 그 서브블록의 예측 블록을 생성한다.
가산기(3140)는 예측기(3130)에 의해 생성된 예측블록과 역양자화기 및 역변환기(3120)에 의해 복원되는 잔여블록을 가산하여 현재블록을 복원한다.
가산기(3140)에 의해 복원되는 대상 코딩유닛(CU)은 필터(3150)에서 디블로킹 필터링 등이 수행되어 픽처 단위로 누적된 후 복원 영상으로 출력되며, 픽처 버퍼(4460)에 저장되어 추후 인터 예측기(4434)에서 움직임 보상 예측하는 데 활용될 수 있다.
인트라 예측기(4532), 인터 예측기(4534), 역양자화기 및 역변환기(4520)의 동작 방법은 도 5를 통해 전술한 영상 부호화 장치(500)의 인트라 예측기(512), 인터 예측기(514), 역양자화기 및 역변환기(550)의 동작 방법과 동일 또는 유사하므로 상세한 설명은 생략한다.
도 32은 도 31의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름도이다.
도면을 참조하면, 복호화기(3110)는 코딩유닛(CU) 내의 모든 블록들의 부호화 모드/크기 정보를 복원한다(S3201). 또한, 복호화기(3110)는 복원된 부호화 모드 및 크기 정보에 기초하여 확장된 코딩유닛(CU) 내의 모든 인터 블록들을 복원한다(S3203). 코딩유닛(CU) 내의 인터 모드 블록들이 복호된 후, 복호화기(3110)는 코딩유닛(CU) 내의 각 블록들의 크기 정보화 부호화 모드 정보, 및 코딩유닛(CU)의 주위 블록들의 참조 가능한 조건에 따라서 인트라 모드 블록들의 복호화 순서를 결정한다(S3205).
인트라 예측기(3132)는 복원하려는 블록의 주위 화소값의 참조 가능한 경우를 고려하여, 현재블록에 대해 양방향 인트라 예측을 수행하여 복호화한다(S3207).
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, 고해상도의 영상에 대하여 확장된 매크로블록을 이용하여 부호화/복호화를 수행하는 경우, 하나의 확장된 매크로블록을 다양한 크기의 블록으로 분할하여 부호화/복호화를 수행할 수 있으며, 인터 모드와 인트라 모드가 혼합된 경우에도 확장된 매크로블록 단위로 부호화/복호화를 수행할 수 있는 효과를 발생하는 매우 유용한 발명이다.
500: 영상 부호화 장치 4500: 영상 복호화 장치

Claims (21)

  1. 삭제
  2. 영상 부호화 장치에 있어서,
    코딩유닛(CU)을 부호화 가능한 크기의 서브블록들의 조합으로 분할하고, 상기 서브블록들 중 부호화하고자 하는 현재블록에 대하여 인트라 예측 모드 또는 인터 예측 모드에 의한 예측을 실행하여 예측블록을 생성하는 예측기;
    상기 현재블록과 예측블록을 감산하여 잔여블록을 생성하는 감산기;
    상기 잔여블록을 변환하고 양자화하여 양자화된 변환계수를 생성하는 변환기 및 양자화기; 및
    상기 양자화된 변환계수를 부호화하여 부호화된 영상 데이터를 생성하는 부호화기
    를 포함하고,
    주변에 이용 가능한 화소들의 존재 패턴에 따라서 상기 서브블록들에 대한 부호화 순서를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 2항에 있어서,
    상기 코딩유닛(CU)은 N x N(여기서, N은 16 이상의 정수) 화소 블록의 크기를 갖는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 2항에 있어서, 상기 예측기는,
    상기 코딩유닛(CU)를 정사각형으로 구성된 서브블록들, 정사각형 및 직사각형으로 구성된 서브블록들, 및 직사각형들로 구성된 서브블록들 중의 어느 하나의 형태로 분할하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 2항 내지 제 4항 중 어느 한 항에 있어서, 상기 예측기는,
    상기 현재블록에 대하여 인트라 예측 모드에 의한 예측을 실행하는 경우, 상기 현재블록의 위쪽, 왼쪽, 오른쪽 및 아래쪽 중 적어도 하나에 위치한 화소들을 참조하는 것을 특징으로 하는 영상 부호화 장치.
  6. 영상 부호화 장치에 있어서,
    코딩유닛(CU)을 부호화 가능한 크기의 서브블록들의 조합으로 분할하고, 상기 서브블록들 중 부호화하고자 하는 현재블록에 대하여 인트라 예측 모드 또는 인터 예측 모드에 의한 예측을 실행하여 예측블록을 생성하는 예측기;
    상기 현재블록과 예측블록을 감산하여 잔여블록을 생성하는 감산기;
    상기 잔여블록을 변환하고 양자화하여 양자화된 변환계수를 생성하는 변환기 및 양자화기; 및
    상기 양자화된 변환계수를 부호화하여 부호화된 영상 데이터를 생성하는 부호화기
    를 포함하고, 상기 영상 부호화 장치는,
    상기 코딩유닛(CU)내의 상기 서브블록들 중 인터 예측 블록을 먼저 부호화한 후, 인트라 예측 블록을 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 2항에 있어서, 상기 예측기는,
    각각의 상기 서브블록들을 부호화할 때 주위에 이미 복호화가 완료되어 해당 블록의 인트라 예측 시 이용 가능한 주변블록의 개수가 많아지도록 상기 서브블록들에 대한 부호화 순서를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 7항에 있어서,
    상기 코딩유닛(CU) 내의 상기 서브블록들이 모두 인트라 예측 모드로 부호화되는 것을 특징으로 하는 영상 부호화 장치.
  9. 제 8항에 있어서,
    상기 서브블록들이 정사각형 모양의 인트라 예측 및 임의의 직사각형 모양의 인트라 예측 중의 적어도 하나로 예측이 실행되는 것을 특징으로 하는 영상 부호화 장치.
  10. 제 7항에 있어서,
    상기 코딩유닛(CU) 내의 상기 서브블록들이 인터 예측 모드와 인트라 예측 모드가 혼용되어 부호화되는 것을 특징으로 하는 영상 부호화 장치.
  11. 제 10항에 있어서,
    상기 서브블록들이 정사각형 모양의 인트라 예측 및 인터 예측, 및 임의의 직사각형 모양의 인트라 예측 및 인터 예측 중의 적어도 하나로 예측이 실행되는 것을 특징으로 하는 영상 부호화 장치.
  12. 삭제
  13. 영상 부호화 장치에 있어서,
    코딩유닛(CU)을 부호화 가능한 크기의 서브블록들의 조합으로 분할하고, 상기 서브블록들 중 부호화하고자 하는 현재블록에 대하여 인트라 예측 모드 또는 인터 예측 모드에 의한 예측을 실행하여 예측블록을 생성하는 예측기;
    상기 현재블록과 예측블록을 감산하여 잔여블록을 생성하는 감산기;
    상기 잔여블록을 변환하고 양자화하여 양자화된 변환계수를 생성하는 변환기 및 양자화기; 및
    상기 양자화된 변환계수를 부호화하여 부호화된 영상 데이터를 생성하는 부호화기
    를 포함하고, 상기 부호화기는,
    전송 비트스트림의 신택스에서 상기 코딩유닛(CU) 내의 각 서브블록들의 모드 및 모양/크기에 대한 정보를 코딩유닛(CU) 정보의 앞부분에 위치시키는 것을 특징으로 하는 영상 부호화 장치.
  14. 제 13항에 있어서, 상기 부호화기는,
    상기 코딩유닛(CU)의 맨 앞에 위치하는 모드 및 모양/크기에 대한 정보는 상기 코딩유닛(CU) 내의 서브블록들의 래스터 스캔 순서와 같은 순서로 위치하는 것을 특징으로 하는 영상 부호화 장치.
  15. 제 13항 또는 제 14항에 있어서, 상기 부호화기는,
    추가적인 비트의 전송을 생략하는 것을 특징으로 하는 영상 부호화 장치.
  16. 영상 복호화 장치에 있어서,
    부호화 데이터를 복호화하여 코딩유닛(CU) 내의 서브블록들의 부호화 모드 및 크기 정보를 복원하고, 복원되는 상기 부호화 모드 정보에 기초하여 인터 예측 부호화 블록을 복원하며, 상기 코딩유닛(CU) 내의 각 서브블록들의 부호화 모드 정보, 크기 정보 및 상기 코딩유닛(CU)의 주위 블록들의 참조가능 조건에 따라서 인트라 예측 모드 블록들의 복호화 순서를 결정하고, 현재블록의 양자화된 변환계수를 복원하는 복호화기;
    상기 양자화된 변환계수를 역양자화 및 역변환하여 상기 각 서브블록들에 대한 잔여 서브블록을 복원하는 역양자화기 및 역변환기;
    상기 현재블록을 복원되는 상기 부호화 모드 및 크기 정보를 이용하여 예측 블록을 생성하는 예측기; 및
    상기 예측블록과 잔여블록을 가산하여 상기 현재블록을 복원하는 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  17. 삭제
  18. 영상 부호화 방법에 있어서,
    코딩유닛(CU)를 부호화 가능한 크기의 서브블록들의 조합으로 분할하고, 상기 서브블록들에 대하여 인터 블록과 인트라 블록의 조합을 결정하는 단계;
    상기 서브블록들 중 인트라 예측 부호화하고자 하는 현재블록의 주위 화소값의 참조 가능한 경우를 고려하여 상기 코딩유닛(CU) 내부의 인트라 부호화 블록들의 부호화 순서를 결정하는 단계;
    결정된 상기 부호화 순서에 따라 상기 현재블록에 대한 양방향 인트라 예측 부호화를 수행하는 단계; 및
    상기 서브블록들에 대한 부호화 모드 및 크기 정보를 상기 코딩유닛(CU)의 신택스 앞에 위치시켜 전송하는 단계
    를 포함하고,
    상기 인터 블록과 인트라 블록의 조합을 결정하는 단계는, 부호화 비용이 최소가 되는 인터 블록과 인트라 블록의 조합을 결정하는 것을 특징으로 하는 영상 부호화 방법.
  19. 삭제
  20. 영상 복호화 방법에 있어서,
    부호화 데이터를 복호화하여 코딩유닛(CU) 내의 서브블록들의 부호화 모드 및 크기 정보를 복원하는 단계; 및
    상기 코딩유닛(CU) 내의 각 서브블록들의 부호화 모드 정보, 크기 정보 및 상기 코딩유닛(CU)의 주위 블록들의 참조가능 조건에 따라서 인트라 예측 모드 블록들의 복호화 순서를 결정하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  21. 제 20항에 있어서,
    복원되는 상기 부호화 모드 정보에 기초하여 인터 예측 부호화 블록을 복원하는 단계를 더 포함하며,
    상기 인터 예측 부호화 블록이 복원된 후에 상기 인트라 예측 모드 블록들의 복호화 순서를 결정하는 것을 특징으로 하는 영상 복호화 방법.
KR1020100046176A 2010-05-17 2010-05-17 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법 KR101379188B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100046176A KR101379188B1 (ko) 2010-05-17 2010-05-17 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
US13/698,499 US9420293B2 (en) 2010-05-17 2011-05-13 Image coding/decoding device using coding block in which intra block and inter block are mixed, and method thereof
PCT/KR2011/003541 WO2011145836A2 (ko) 2010-05-17 2011-05-13 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
CN201180024657.6A CN102907100B (zh) 2010-05-17 2011-05-13 使用帧内块和帧间块相混合的编码块的视频编码/解码设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100046176A KR101379188B1 (ko) 2010-05-17 2010-05-17 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110126485A KR20110126485A (ko) 2011-11-23
KR101379188B1 true KR101379188B1 (ko) 2014-04-18

Family

ID=44992181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100046176A KR101379188B1 (ko) 2010-05-17 2010-05-17 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법

Country Status (4)

Country Link
US (1) US9420293B2 (ko)
KR (1) KR101379188B1 (ko)
CN (1) CN102907100B (ko)
WO (1) WO2011145836A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124627A1 (ko) * 2016-12-27 2018-07-05 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2019017673A1 (ko) * 2017-07-19 2019-01-24 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2019066174A1 (ko) * 2017-09-28 2019-04-04 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2022114752A1 (ko) * 2020-11-24 2022-06-02 현대자동차주식회사 효율적인 예측 및 변환을 위한 블록 분할 구조 및 이를 이용한 비디오 부호화 및 복호화를 위한 방법 및 장치
US12028510B2 (en) 2021-09-03 2024-07-02 Samsung Electronics Co., Ltd. Decoding device and operating method thereof

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2720468B1 (en) 2005-09-26 2017-03-29 Mitsubishi Electric Corporation Moving image decoding method
KR101356448B1 (ko) 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
SI3249926T1 (sl) 2011-12-13 2019-04-30 JVC Kenwood Corporation Naprava za dekodiranje videa, postopek za dekodiranje videa in program za dekodiranje videa
WO2013109123A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 인트라 예측 처리 속도 향상을 위한 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
AU2012200319B2 (en) 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
AU2012200345B2 (en) 2012-01-20 2014-05-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map residual coefficients of a transform unit
WO2013162257A1 (ko) 2012-04-23 2013-10-31 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
CN108632611A (zh) * 2012-06-29 2018-10-09 韩国电子通信研究院 视频解码方法、视频编码方法和计算机可读介质
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
WO2015085449A1 (en) * 2013-12-13 2015-06-18 Qualcomm Incorporated Signaling of simplified depth coding (sdc) for depth intra-and inter – prediction modes in 3d video coding
CN110708544B (zh) * 2013-12-19 2022-07-05 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
US20170339403A1 (en) * 2014-11-04 2017-11-23 Samsung Electronics Co., Ltd. Method and device for encoding/decoding video using intra prediction
KR102551609B1 (ko) * 2014-11-27 2023-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN105812798A (zh) * 2014-12-31 2016-07-27 深圳中兴力维技术有限公司 图像编解码方法及其装置
US20180316914A1 (en) * 2015-10-30 2018-11-01 Sony Corporation Image processing apparatus and method
US20180302629A1 (en) * 2015-10-30 2018-10-18 Sony Corporation Image processing apparatus and method
WO2017090967A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2017131233A1 (ja) * 2016-01-28 2017-08-03 日本放送協会 符号化装置、復号装置及びプログラム
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
KR20170102806A (ko) * 2016-03-02 2017-09-12 한국전자통신연구원 비디오 신호 부호화/복호화 방법 및 이를 위한 장치
US10390026B2 (en) * 2016-03-25 2019-08-20 Google Llc Smart reordering in recursive block partitioning for advanced intra prediction in video coding
CN115174936A (zh) * 2016-05-10 2022-10-11 三星电子株式会社 用于对图像进行编码/解码的方法及其装置
KR102426131B1 (ko) * 2016-06-17 2022-07-27 세종대학교산학협력단 비디오 신호의 부호화 또는 복호화 방법 및 장치
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
KR102534604B1 (ko) * 2016-06-17 2023-05-26 세종대학교 산학협력단 비디오 신호의 부호화 또는 복호화 방법 및 장치
ES2699748B2 (es) 2016-07-05 2021-05-13 Kt Corp Metodo y aparato para procesar senal de video
WO2018034373A1 (ko) * 2016-08-19 2018-02-22 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
EP3301931A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for omnidirectional video coding with adaptive intra prediction
CN116248872A (zh) * 2016-10-10 2023-06-09 三星电子株式会社 通过块映射来对图像进行编码或解码的方法和装置
CN109479144A (zh) * 2016-10-13 2019-03-15 富士通株式会社 图像编码/解码方法、装置以及图像处理设备
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
KR102574714B1 (ko) * 2016-12-23 2023-09-06 후아웨이 테크놀러지 컴퍼니 리미티드 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치
CN108259913A (zh) 2016-12-29 2018-07-06 北京大学深圳研究生院 一种用于帧间预测帧中的帧内预测方法
US11025925B2 (en) * 2017-03-15 2021-06-01 Realnetworks, Inc. Condensed coding block headers in video coding systems and methods
CN117241045A (zh) * 2017-05-17 2023-12-15 株式会社Kt 用于解码视频的方法和用于编码视频的方法
KR102435881B1 (ko) * 2017-05-26 2022-08-24 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
CN117201820A (zh) 2017-05-26 2023-12-08 Sk电信有限公司 对视频数据进行编码或解码的方法和发送比特流的方法
KR20240023240A (ko) * 2017-07-06 2024-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US20190020888A1 (en) * 2017-07-11 2019-01-17 Google Llc Compound intra prediction for video coding
CN111095927A (zh) * 2018-01-30 2020-05-01 深圳市大疆创新科技有限公司 视频数据编码
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
US11303884B2 (en) 2018-06-21 2022-04-12 Kt Corporation Method and apparatus for processing video signal
WO2020017987A1 (en) * 2018-06-29 2020-01-23 Huawei Technologies Co., Ltd Intra-prediction apparatus, encoding apparatus, decoding apparatus and methods
CN112585975A (zh) * 2018-08-20 2021-03-30 日本放送协会 编码装置、解码装置以及程序
JP7342118B2 (ja) * 2018-10-12 2023-09-11 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド 多重仮定予測を用いるビデオ信号処理方法及び装置
JP2020098986A (ja) 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
CN111372086B (zh) * 2018-12-26 2021-08-03 华为技术有限公司 视频图像解码方法及装置
CN111263156B (zh) * 2019-02-20 2022-03-25 北京达佳互联信息技术有限公司 视频解码方法、视频编码方法及装置
CN114339237B (zh) * 2019-02-20 2023-04-25 北京达佳互联信息技术有限公司 用于视频编码的方法和电子设备
WO2020180100A1 (ko) * 2019-03-04 2020-09-10 엘지전자 주식회사 인트라 블록 코딩 기반 비디오 또는 영상 코딩
CN116506609B (zh) * 2019-04-09 2024-03-15 北京达佳互联信息技术有限公司 用于在视频编码中用信号发送合并模式的方法和装置
EP3939269A4 (en) * 2019-04-10 2022-06-15 Beijing Dajia Internet Information Technology Co., Ltd. METHOD AND APPARATUS FOR VIDEO CODING USING AN IMPROVED MATRIX-BASED INTRA PREDICTION CODING MODE
CN116405697A (zh) * 2019-07-23 2023-07-07 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2021030747A1 (en) * 2019-08-15 2021-02-18 Beijing Dajia Internet Information Technology Co., Ltd. Small chroma block size restriction in video coding
CN110636293B (zh) * 2019-09-27 2024-03-15 腾讯科技（深圳）有限公司 视频编码、解码方法和装置、存储介质及电子装置
EP4128793A4 (en) * 2020-04-10 2023-08-02 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND APPARATUS FOR HIGH LEVEL SYNTAX IN VIDEO CODING
CN117981318A (zh) * 2021-09-27 2024-05-03 北京达佳互联信息技术有限公司 用于在视频编解码中进行帧内预测的自适应编解码顺序
CN116405663A (zh) * 2022-03-29 2023-07-07 杭州海康威视数字技术股份有限公司 图像编解码方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090065401A (ko) * 2007-12-17 2009-06-22 한국정보통신대학교 산학협력단 비디오 부호화에서의 화면간/화면내 예측 부호화 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961055B2 (en) * 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
EP1351510A4 (en) 2001-09-14 2008-12-10 Ntt Docomo Inc ENCODING METHOD, DECODING METHOD, ENCODING APPARATUS, DECODING APPARATUS, IMAGE PROCESSING SYSTEM, ENCODING PROGRAM, AND DECODING PROGRAM
CN101409838B (zh) * 2001-09-14 2011-01-12 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置、图象处理***
WO2004104811A2 (en) * 2003-05-20 2004-12-02 Lego A/S Method and system for manipulating a digital representation of a three-dimensional object
JP2005005844A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
CN1209928C (zh) 2003-07-04 2005-07-06 清华大学 一种基于预测块组的采用帧内预测的帧内编码帧编码方法
JP4262014B2 (ja) * 2003-07-31 2009-05-13 キヤノン株式会社 画像撮影装置および画像処理方法
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
EP1751986A1 (en) * 2004-04-08 2007-02-14 Koninklijke Philips Electronics N.V. Coding method applied to multimedia data
IL165190A (en) * 2004-11-14 2012-05-31 Elbit Systems Ltd System and method for stabilizing an image
US7974341B2 (en) * 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
US20090034857A1 (en) * 2005-07-22 2009-02-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) * 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
KR100723507B1 (ko) * 2005-10-12 2007-05-30 삼성전자주식회사 Ｉ-프레임 움직임 예측을 이용한 동영상 압축 장치의 적응양자화 제어기 및 적응 양자화 제어 방법
CN101083768B (zh) * 2006-06-02 2010-04-14 三星电子株式会社 处理视频数据的编码器和编码方法及解码器和解码方法
KR101365574B1 (ko) * 2007-01-29 2014-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP2009182623A (ja) 2008-01-30 2009-08-13 Panasonic Corp 画像符号化方法
CN101605263B (zh) * 2009-07-09 2012-06-27 杭州士兰微电子股份有限公司 帧内预测的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090065401A (ko) * 2007-12-17 2009-06-22 한국정보통신대학교 산학협력단 비디오 부호화에서의 화면간/화면내 예측 부호화 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018124627A1 (ko) * 2016-12-27 2018-07-05 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11039135B2 (en) 2016-12-27 2021-06-15 Samsung Electronics Co., Ltd. Encoding method based on encoding order change and device therefor, and decoding method based on encoding order change and device therefor
WO2019017673A1 (ko) * 2017-07-19 2019-01-24 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11057629B2 (en) 2017-07-19 2021-07-06 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, decoding method and apparatus therefor
US11689730B2 (en) 2017-07-19 2023-06-27 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, decoding method and apparatus therefor
WO2019066174A1 (ko) * 2017-09-28 2019-04-04 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11616971B2 (en) 2017-09-28 2023-03-28 Samsung Electronics Co., Ltd. Encoding and decoding method and device for determining a decoding order between a left and a right lower blocks
US11924462B2 (en) 2017-09-28 2024-03-05 Samsung Electronics Co., Ltd. Encoding and decoding method and device for determining a decoding order between a left and a right lower blocks
WO2022114752A1 (ko) * 2020-11-24 2022-06-02 현대자동차주식회사 효율적인 예측 및 변환을 위한 블록 분할 구조 및 이를 이용한 비디오 부호화 및 복호화를 위한 방법 및 장치
US12028510B2 (en) 2021-09-03 2024-07-02 Samsung Electronics Co., Ltd. Decoding device and operating method thereof

Also Published As

Publication number Publication date
US9420293B2 (en) 2016-08-16
WO2011145836A2 (ko) 2011-11-24
CN102907100B (zh) 2016-09-28
KR20110126485A (ko) 2011-11-23
CN102907100A (zh) 2013-01-30
US20130064292A1 (en) 2013-03-14
WO2011145836A3 (ko) 2012-03-22

Similar Documents

Publication Publication Date Title
KR101379188B1 (ko) 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
KR101947657B1 (ko) 인트라 예측 정보 부호화 방법 및 장치
KR101444667B1 (ko) 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101756442B1 (ko) 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
KR101947658B1 (ko) 영상 복호화 방법 및 장치
KR101444675B1 (ko) 영상 부호화 및 복호화 방법과 장치
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101739579B1 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
KR101673028B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101483179B1 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101712351B1 (ko) 다차원 정수 변환을 이용한 영상 부호화/복호화 장치 및 방법
CN108093262B (zh) 图像解码装置
KR101418101B1 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR20130045148A (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
KR101432771B1 (ko) 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
KR101763113B1 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
KR20130045151A (ko) 복원 블록을 생성하는 방법 및 장치
KR101377529B1 (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
KR101997599B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101943425B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR20160083832A (ko) 주파수변환단위 분할부호화 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
KR101534014B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101464949B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180307

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 7