KR101583200B1 - 블록 분할 방법 및 복호화 장치 - Google Patents
블록 분할 방법 및 복호화 장치 Download PDFInfo
- Publication number
- KR101583200B1 KR101583200B1 KR1020157005636A KR20157005636A KR101583200B1 KR 101583200 B1 KR101583200 B1 KR 101583200B1 KR 1020157005636 A KR1020157005636 A KR 1020157005636A KR 20157005636 A KR20157005636 A KR 20157005636A KR 101583200 B1 KR101583200 B1 KR 101583200B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- prediction
- intra
- size
- information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
본 발명의 일 실시예에 따른 영상 복호화 방법은 화면 내 예측이 수행되는 변환 단위를 특정하는 단계; 및 상기 변환 블록 주변의 참조 픽셀을 이용하여 상기 변환 단위에 대해 상기 화면 내 예측을 수행하는 단계를 포함하고, 상기 상기 변환 블록의 가장 상측 및 가장 좌측의 좌표를 (Tx,Ty), 상기 변환 블록의 높이 및 너비를 N이라 하면, 상기 화면 내 예측을 위한 참조 픽셀은, 상기 변환 단위의 좌측에 존재하며 (Tx-1, Ty) 부터 (Tx-1, Ty+2*N -1)에 위치하는 픽셀, (Tx-1,Ty-1)에 위치하는 픽셀, 상기 변환 단위의 상단에 존재하며 (Tx, Ty-1) 부터 (Tx +2*N -1, Ty-1)에 위치하는 픽셀을 포함할 수 있다.
Description
본 발명은 블록 분할 방법 및 복호화 장치에 관한 것으로 더욱 상세하게는 복호화 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 데이터량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 저장하는 경우, 전송 비용과 저장 비용이 증가하게 된다. 영상 데이터가 고해상도, 고품질화 됨에 따라 발생하는 이러한 문제들을 해결하기 위해서는 고효율의 영상 압축 기술들이 활용될 수 있다.
영상 압축 기술로 현재 픽쳐의 이전 또는 이후 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 화면 간 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 화면 내 예측 기술, 출현 빈도가 높은 값에 짧은 부호를 할당하고 출현 빈도가 낮은 값에 긴 부호를 할당하는 엔트로피 부호화 기술 등 다양한 기술이 존재하고 이러한 영상 압축 기술을 이용해 영상 데이터를 효과적으로 압축하여 전송 또는 저장할 수 있다.
본 발명의 제1 목적은 영상 부호화 효율을 증가시키기 위해 복수의 변환 단위를 기초로 화면 내 예측을 수행하는 영상 복호화 방법을 제공하는 것이다.
또한, 본 발명의 제2 목적은 낮은 복잡도의 복호화를 수행하기 위해 부호화 단위의 크기에 따라 예측을 수행하는 예측 단위를 다르게 설정하는 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 영상 복호화 방법은 화면 내 예측이 수행되는 변환 단위를 특정하는 단계; 및 상기 변환 블록 주변의 참조 픽셀을 이용하여 상기 변환 단위에 대해 상기 화면 내 예측을 수행하는 단계를 포함하고, 상기 상기 변환 블록의 가장 상측 및 가장 좌측의 좌표를 (Tx,Ty), 상기 변환 블록의 높이 및 너비를 N이라 하면, 상기 화면 내 예측을 위한 참조 픽셀은, 상기 변환 단위의 좌측에 존재하며 (Tx-1, Ty) 부터 (Tx-1, Ty+2*N -1)에 위치하는 픽셀, (Tx-1,Ty-1)에 위치하는 픽셀, 상기 변환 단위의 상단에 존재하며 (Tx, Ty-1) 부터 (Tx +2*N -1, Ty-1)에 위치하는 픽셀을 포함할 수 있다.
소정의 화면 내 예측 모드로 화면 내 예측이 수행되는 하나의 예측 단위의 크기가 2Nx2N일 경우, 상기 변환 단위의 크기는 NxN의 크기를 가질 수 있다.
소정의 화면 내 예측 모드로 부호화된 예측 단위에 상기 복수의 변환 단위가 포함되는 경우, 상기 복수의 변환 단위에 대해 화면 내 예측을 수행하는 단계는, 상기 소정의 화면 내 예측 모드를 기초로 제1 변환 단위를 예측한 후 복원하는 단계; 상기 제1 변환 단위를 복원한 결과 및 상기 소정의 화면 내 예측 모드를 기초로 상기 제1 변환 단위의 우측에 인접한 제2 변환 단위를 예측한 후 복원하는 단계; 상기 제1 변환 단위 및 상기 제2 변환 단위를 복원한 결과 및 상기 소정의 화면 내 예측 모드를 기초로 상기 제1 변환 단위의 하측에 인접한 제3 변환 단위를 예측한 후 복원하는 단계; 및 상기 제1 변환 단위, 상기 제2 변환 단위 및 상기 제3 변환 단위를 복원한 결과 및 상기 소정의 화면 내 예측 모드를 기초로 상기 제2 변환 단위의 하측에 인접하고, 상기 제3 변환 단위의 우측에 인접한 제4 변환 단위를 예측한 후 복원하는 단계를 포함할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 블록 분할 방법 및 복호화 장치 에 따르면, 계수에 대한 엔트로피 부호화를 수행 시 계수의 성질에 따라 엔트로피 부호화 모드를 다르게 하여 엔트로피 부호화하고 새롭게 정의된 엔트로피 부호화 모드를 기초로 엔트로피 복호화를 수행하고, 구문 요소값과 코드 번호를 매핑하는 인덱스 매핑 테이블을 적응적으로 변화시켜 엔트로피 부호화 및 복호화를 수행할 수 있다.
따라서, 영상 부호화에 필요한 비트수가 감소하여 영상 부호화 효율을 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.
도 3은 본 발명의 또 다른 실시예에 따른 화면 내 예측을 수행시 사용되는 참조 픽셀을 생성하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 또 다른 실시예에 따른 블록의 분할 구조를 나타낸 개념도이다.
도 5는 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 6은 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 7은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 8은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 9는 본 발명의 또 다른 실시예에 따른 근거리 화면 내 예측 방법을 이용한 화면 내 예측을 나타낸 개념도이다.
도 10은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타내는 순서도이다.
도 11은 본 발명의 또 다른 실시예에 따른 부호화 단위의 분할 방법을 나타낸 개념도이다.
도 12는 본 발명의 또 다른 실시예에 따른 화면 내 예측 및 화면 간 예측을 수행하기 위한 블록 분할 방법을 나타낸 개념도이다.
도 13은 본 발명의 또 다른 실시예에 따른 예측을 수행하는 블록을 소정의 범주로 구분하는 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.
도 3은 본 발명의 또 다른 실시예에 따른 화면 내 예측을 수행시 사용되는 참조 픽셀을 생성하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 또 다른 실시예에 따른 블록의 분할 구조를 나타낸 개념도이다.
도 5는 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 6은 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 7은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 8은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 9는 본 발명의 또 다른 실시예에 따른 근거리 화면 내 예측 방법을 이용한 화면 내 예측을 나타낸 개념도이다.
도 10은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타내는 순서도이다.
도 11은 본 발명의 또 다른 실시예에 따른 부호화 단위의 분할 방법을 나타낸 개념도이다.
도 12는 본 발명의 또 다른 실시예에 따른 화면 내 예측 및 화면 간 예측을 수행하기 위한 블록 분할 방법을 나타낸 개념도이다.
도 13은 본 발명의 또 다른 실시예에 따른 예측을 수행하는 블록을 소정의 범주로 구분하는 방법을 설명하기 위한 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타낸 블록도이다.
도 1을 참조하면, 영상 부호화 장치(100)는 픽쳐 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(155)를 포함할 수 있다.
도 1에 나타난 각 구성부들은 영상 부호화 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
픽쳐 분할부(105)는 입력된 픽쳐를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 단위(Prediction Unit)일 수도 있고, 변환 단위(Transform Unit: TU)일 수도 있으며, 부호화 단위(Coding Unit: CU)일 수도 있다. 픽쳐 분할부(105)에서는 하나의 픽쳐에 대해 복수의 부호화 단위, 예측 단위 및 변환 단위의 조합으로 분할하고 소정의 기준(예를 들어, 비용 함수)으로 하나의 부호화 단위, 예측 단위 및 변환 단위 조합을 선택하여 픽쳐를 부호화 할 수 있다.
예를 들어, 하나의 픽쳐는 복수개의 부호화 단위로 분할될 수 있다. 픽쳐에서 부호화 단위를 분할하기 위해서는 쿼드 트리 구조(Quad Tree Structure)와 같은 재귀적인 트리 구조를 사용할 수 있는데 하나의 영상 또는 최대 크기 부호화 단위를 루트로 하여 다른 부호화 단위로 분할되는 부호화 유닛은 분할된 부호화 단위의 개수만큼의 자식 노드를 가지고 분할될 수 있다. 일정한 제한에 따라 더이상 분할되지 않는 부호화 단위는 리프 노드가 된다. 즉, 하나의 코딩 유닛에 대하여 정방형 분할만이 가능하다고 가정하는 경우, 하나의 부호화 단위는 최대 4개의 다른 부호화 단위로 분할될 수 있다.
이하, 본 발명의 실시예에서는 부호화 단위의 의미를 부호화를 하는 단위라는 의미뿐만 아니라 복호화를 하는 단위의 의미로 사용할 수 있다.
예측 단위는 하나의 부호화 단위 내에서 동일한 크기의 적어도 하나의 정사각형 또는 직사각형 등의 형태를 가지고 분할되거나 하나의 부호화 단위 내에서 분할된 예측 단위 중 하나의 예측 단위의 형태가 다른 예측 단위의 형태와 다른 형태를 가지고 분할될 수 있다.
부호화 단위를 기초로 화면 내 예측을 수행하는 예측 단위를 생성시 최소 부호화 단위가 아닌 경우, 복수의 예측 단위(NxN)으로 분할하지 않고 화면 내 예측을 수행할 수 있다.
예측부(110)는 화면 간 예측을 수행하는 화면 간 예측부와 화면 내 예측을 수행하는 화면 내 예측부를 포함할 수 있다. 예측 단위에 대해 화면 간 예측을 사용할 것인지 또는 화면 내 예측을 수행할 것인지를 결정하고, 각 예측 방법에 따른 구체적인 정보(예컨대, 화면 내 예측 모드, 움직임 벡터, 참조 픽쳐 등)를 결정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 예측 단위로 결정되고, 예측의 수행은 변환 단위로 수행될 수도 있다. 생성된 예측 블록과 원본 블록 사이의 잔차값(잔차 블록)은 변환부(115)로 입력될 수 있다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 잔차값과 함께 엔트로피 코딩부(130)에서 부호화되어 복호화기에 전달될 수 있다. 특정한 부호화 모드를 사용할 경우, 예측부(110)를 통해 예측 블록을 생성하지 않고, 원본 블록을 그대로 부호화하여 복호화부에 전송하는 것도 가능하다
화면 간 예측부는 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐의 정보를 기초로 예측 단위를 예측할 수 있다. 화면 간 예측부는 참조 픽쳐 보간부, 움직임 예측부, 움직임 보상부가 포함할 수 있다.
참조 픽쳐 보간부에서는 메모리(155)로부터 참조 픽쳐 정보를 제공받고 참조 픽쳐에서 정수 화소 이하의 화소 정보를 생성할 수 있다. 휘도 화소의 경우, 1/4 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 8탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다. 색차 신호의 경우 1/8 화소 단위로 정수 화소 이하의 화소 정보를 생성하기 위해 필터 계수를 달리하는 DCT 기반의 4탭 보간 필터(DCT-based Interpolation Filter)가 사용될 수 있다.
움직임 예측부는 참조 픽쳐 보간부에 의해 보간된 참조 픽쳐를 기초로 움직임 예측을 수행할 수 있다. 움직임 벡터를 산출하기 위한 방법으로 FBMA(Full search-based Block Matching Algorithm), TSS(Three Step Search), NTS(New Three-Step Search Algorithm) 등 다양한 방법이 사용될 수 있다. 움직임 벡터는 보간된 화소를 기초로 1/2 또는 1/4 화소 단위의 움직임 벡터값을 가질 수 있다. 움직임 예측부에서는 움직임 예측 방법을 다르게 하여 현재 예측 단위를 예측할 수 있다. 움직임 예측 방법으로 스킵(Skip) 방법, 머지(Merge) 방법, AMVP(Advanced Motion Vector Prediction)방법 등 다양한 방법이 사용될 수 있다.
화면 내 예측부는 현재 픽쳐 내의 화소 정보인 현재 블록 주변의 참조 픽셀정보를 기초로 예측 단위를 생성할 수 있다. 현재 예측 단위의 주변 블록이 화면 간 예측을 수행한 블록이어서, 참조 픽셀이 화면 간 예측을 수행한 픽셀일 경우, 면 간 예측을 수행한 블록에 포함되는 참조 픽셀을 주변의 화면 내 예측을 수행한 블록의 참조 픽셀 정보로 대체하여 사용할 수 있다. 즉, 참조 픽셀이 가용하지 않는 경우, 가용하지 않은 참조 픽셀 정보를 가용한 참조 픽셀 중 적어도 하나의 참조 픽셀로 대체하여 사용할 수 있다.
화면 내 예측에서 예측 모드는 참조 픽셀 정보를 예측 방향에 따라 사용하는 방향성 예측 모드와 예측을 수행시 방향성 정보을 사용하지 않는 비 방향성 모드를 가질 수 있다. 휘도 정보를 예측하기 위한 모드와 색차 정보를 예측하기 위한 모드가 상이할 수 있고, 색차 정보를 예측하기 위해 휘도 정보를 예측한 화면 내 예측 모드 정보 또는 예측된 휘도 신호 정보를 활용할 수 있다.
화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 화면 내 예측을 수행하지만, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 화면 내 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 NxN 분할을 사용하는 화면 내 예측을 사용할 수 있다.
화면 내 예측 및 화면 간 예측을 수행시 예측이 수행되는 예측 단위가 아닌부호화 단위를 기준으로 수행될 수 있다. 또한 예측을 수행되는 최대 부호화 단위의 크기를 화면 내 예측을 수행하는 경우와 화면 간 예측을 수행하는 경우에 있어서 다르게 설정하여 예측을 수행할 수 있다. 또한, 화면 간 예측을 수행하는 블록 및 화면 내 예측을 수행하는 조합을 서로 다르게 설정하여 예측을 수행함으로써 분할에 사용되는 예측 단위의 형태를 서로 다르게 할 수 있다.
화면 내 예측 방법은 예측 모드에 따라 참조 화소에 AIS(Adaptive Intra Smoothing) 필터를 적용한 후 예측 블록을 생성할 수 있다. 참조 화소에 적용되는 AIS 필터의 종류는 상이할 수 있다. 화면 내 예측 방법을 수행하기 위해 현재 예측 단위의 화면 내 예측 모드는 현재 예측 단위의 주변에 존재하는 예측 단위의 화면 내 예측 모드로부터 예측할 수 있다. 주변 예측 단위로부터 예측된 모드 정보를 이용하여 현재 예측 단위의 예측 모드를 예측하는 경우, 현재 예측 단위와 주변 예측 단위의 화면 내 예측 모드가 동일할 경우, 소정의 플래그 정보를 이용하여 현재 예측 단위와 주변 예측 단위의 예측 모드가 동일하다는 정보를 전송할 수 있고, 만약, 현재 예측 단위와 주변 예측 단위의 예측 모드가 상이할 경우, 엔트로피 부호화를 수행하여 현재 블록의 예측 모드 정보를 부호화할 수 있다.
또한, 예측부(110)에서 생성된 예측 단위을 기초로 예측을 수행한 예측 단위와 예측 단위의 원본 블록과 차이값인 잔차값(Residual) 정보를 포함하는 잔차 블록이 생성될 수 있다. 생성된 잔차 블록은 변환부(115)로 입력될 수 있다. 변환부(115)에서는 원본 블록과 예측부(110)를 통해 생성된 예측 단위의 잔차값(residual) 정보를 포함한 잔차 블록을 DCT(Discrete Cosine Transform) 또는 DST(Discrete Sine Transform)와 같은 변환 방법을 사용하여 변환시킬 수 있다. 잔차 블록을 변환하기 위해 DCT를 적용할지 DST를 적용할지는 잔차 블록을 생성하기 위해 사용된 예측 단위의 화면 내 예측 모드 정보를 기초로 결정할 수 있다.
변환을 수행시 변환 단위가 아닌 부호화 단위를 기준으로 변환을 수행할 수 있다.
양자화부(120)는 변환부(115)에서 주파수 영역으로 변환된 값들을 양자화할 수 있다. 블록에 따라 또는 영상의 중요도에 따라 양자화 계수는 변할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공될 수 있다.
재정렬부(125)는 양자화된 잔차값에 대해 계수값의 재정렬을 수행할 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원의 블록 형태 계수를 1차원의 벡터 형태로 변경할 수 있다. 예를 들어, 재정렬부(125)에서는 지그재그 스캔(Zig-Zag Scan)방법을 이용하여 DC 계수부터 고주파수 영역의 계수까지 스캔하여 1차원 벡터 형태로 변경시킬 수 있다. 변환 단위의 크기 및 화면 내 예측 모드에 따라 지그 재그 스캔 방법이 아닌 2차원의 블록 형태 계수를 열 방향으로 스캔하는 수직 스캔 방법, 2차원의 블록 형태 계수를 행 방향으로 스캔하는 수평 스캔 방법이 사용될 수 있다. 즉, 변환 단위의 크기 및 화면 내 예측 모드에 따라 지그재그 스캔, 수직 방향 스캔 및 수평 방향 스캔 중 어떠한 스캔 방법이 사용될지 여부를 결정할 수 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 산출된 값들을 기초로 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 다양한 부호화 방법을 사용할 수 있다.
엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 부호화 단위의 잔차값 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, 예측 단위 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 프레임 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
엔트로피 부호화부(130)에서는 재정렬부(125)에서 입력된 부호화 단위의 계수값을 엔트로피 부호화할 수 있다.
엔트로피 부호화부(130)에서는 가변 길이 부호화 테이블(Variable Length Coding Table)과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고 저장된 가변 길이 부호화 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화를 수행함에 있어서 테이블에 포함된 일부의 코드 워드(Codeword)에 카운터(Counter)를 이용한 방법 또는 직접 변환(Direct Swapping)방법을 사용하여 해당 정보의 코드 번호에 대한 코드 워드 할당을 변화시킬 수 있다. 예를 들어, 코드 번호와 코드 워드를 매핑하는 테이블에서 적은 비트수의 코드 워드가 할당된 상위 몇 개의 코드 번호의 경우, 카운터를 사용해 코드 번호의 합산된 발생 횟수가 가장 많은 코드 번호에 짧은 길이의 코드 워드를 할당할 수 있도록 적응적으로 코드 워드와 코드 번호를 매핑하는 테이블의 매핑 순서를 바꿀 수 있다. 카운터에서 카운팅된 횟수가 소정의 임계값에 이른 경우, 카운터에 기록된 카운팅 횟수를 반으로 나누어 다시 카운팅을 수행할 수 있다.
*카운팅을 수행하지 않는 테이블 내의 코드 번호는 직접 변환(Direct Swapping) 방법을 사용하여 코드 번호에 해당하는 정보가 발생할 경우, 바로 위의 코드 번호와 자리를 변환하는 방법을 통해 해당 코드 번호에 할당되는 비트 수를 적게하여 엔트로피 부호화를 수행할 수 있다.
역양자화부(135) 및 역변환부(140)에서는 양자화부(120)에서 양자화된 값들을 역양자화하고 변환부(115)에서 변환된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 잔차값(Residual)은 예측부(110)에 포함된 움직임 추정부, 움직임 보상부 및 인트라 예측부를 통해서 예측된 예측 단위와 합쳐져 복원 블록(Reconstructed Block)을 생성할 수 있다.
필터부(145)는 디블록킹 필터, 오프셋 보정부, ALF(Adaptive Loop Filter)중 적어도 하나를 포함할 수 있다.
디블록킹 필터(145)는 복원된 픽쳐에서 블록간의 경계로 인해 생긴 블록 왜곡을 제거할 수 있다. 디블록킹을 수행할지 여부를 판단하기 위해 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀을 기초로 현재 블록에 디블록킹 필터 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용하는 경우 필요한 디블록킹 필터링 강도에 따라 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한 디블록킹 필터를 적용함에 있어 수직 필터링 및 수평 필터링을 수행시 수평 방향 필터링 및 수직 방향 필터링이 병행 처리되도록 할 수 있다.
오프셋 보정부는 디블록킹을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋을 보정할 수 있다. 특정 픽쳐에 대한 오프셋 보정을 수행하기 위해 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후 오프셋을 수행할 영역을 결정하고 해당 영역에 오프셋을 적용하는 방법 또는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법을 사용할 수 있다.
ALF (Adaptive Loop Filter)는 필터링한 복원 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행할 수 있다. ALF를 적용할지 여부에 관련된 정보는 휘도 신호는 부호화 단위(Coding Unit, CU) 별로 전송될 수 있고, 각각의 블록에 따라 적용될 ALF의 크기 및 계수는 달라질 수 있다. ALF는 다양한 형태를 가질 수 있으며, 필터에 그에 따라 포함되는 계수의 갯수도 달라질 수 있다. 이러한 ALF의 필터링 관련 정보(필터 계수 정보, ALF On/Off 정보, 필터 형태 정보)는 비트스트림에서 소정의 파라메터 셋에 포함되어 전송될 수 있다.
메모리(155)는 필터부(145)를 통해 산출된 복원 블록 또는 픽쳐를 저장할 수 있고, 저장된 복원 블록 또는 픽쳐는 화면 간 예측을 수행 시 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화기를 나타낸 블록도이다.
도 2를 참조하면, 영상 복호화기(200)는 엔트로피 복호화부(2110), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235), 메모리(245)가 포함될 수 있다.
영상 부호화기에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 부호화기와 반대의 절차로 복호화될 수 있다.
엔트로피 복호화부(210)는 영상 부호화기의 엔트로피 부호화부에서 엔트로피 부호화를 수행한 것과 반대의 절차로 엔트로피 복호화를 수행할 수 있다. 예를 들어, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 사용된 VLC 테이블은 엔트로피 복호화부에서도 동일한 가변 길이 부호화 테이블로 구현되어 엔트로피 복호화를 수행할 수 있다. 엔트로피 복호화부(210)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화를 수행한 잔차값은 재정렬부(215)로 입력될 수 있다.
엔트로피 복호화부(210)에서도 엔트로피 부호화부와 마찬가지로 카운터(Counter) 또는 직접 변환(Direct Swapping) 방법을 이용해 코드 워드 할당 테이블을 변화시킬 수 있고, 변화된 코드 워드 할당 테이블에 기초하여 엔트로피 복호화를 수행할 수 있다.
부호화기에서 수행된 화면 내 예측 및 화면 간 예측에 관련된 정보를 복호화할 수 있다. 전술한 바와 같이 영상 부호화기에서 화면 내 예측 및 화면 간 예측을 수행시 소정의 제약이 있는 경우, 이러한 제약을 기초로 한 엔트로피 복호화를 수행해 현재 블록에 대한 화면 내 예측 및 화면 간 예측에 관련된 정보를 제공받을 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트스트림을 부호화부에서 재정렬한 방법을 기초로 재정렬을 수행할 수 있다. 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부에서는 부호화부에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화기에서 수행한 양자화 결과에 대해 변환부에서 수행한 DCT 및 DST에 대해 역DCT 및 역 DST를 수행할 수 있다. 역변환은 영상 부호화기에서 결정된 전송 단위를 기초로 수행될 수 있다. 영상 부호화기의 변환부에서는 DCT와 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 영상 복호화기의 역변환부(225)에서는 영상 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
변환을 수행시 변환 단위가 아닌 부호화 단위를 기준으로 변환을 수행할 수 있다.
예측부(230)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(2145)에서 제공된 이전에 복호화된 블록 또는 픽쳐 정보를 기초로 예측 블록을 생성할 수 있다.
전술한 바와 같이 영상 부호화기에서의 동작과 동일하게 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 화면 내 예측을 수행하지만, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 화면 내 예측을 수행할 수 있다. 또한, 최소 부호화 단위에 대해서만 NxN 분할을 사용하는 화면 내 예측을 사용할 수 있다.
화면 내 예측 및 화면 간 예측을 수행시 예측이 수행되는 예측 단위가 아닌부호화 단위를 기준으로 수행될 수 있다. 또한 예측을 수행되는 최대 부호화 단위의 크기를 화면 내 예측을 수행하는 경우와 화면 간 예측을 수행하는 경우에 있어서 다르게 설정하여 예측을 수행할 수 있다. 또한, 화면 간 예측을 수행하는 블록 및 화면 내 예측을 수행하는 조합을 서로 다르게 설정하여 예측을 수행함으로써 분할에 사용되는 예측 단위의 형태를 서로 다르게 할 수 있다.
예측부(230)는 예측 단위 판별부, 화면 간 예측부 및 화면 내 예측부를 포함할 수 있다. 예측 단위 판별부는 엔트로피 복호화부에서 입력되는 예측 단위 정보, 화면 내 예측 방법의 예측 모드 정보, 화면 간 예측 방법의 움직임 예측 관련 정보 등 다양한 정보를 입력 받고 현재 부호화 단위에서 예측 단위를 구분하고, 예측 단위가 화면 간 예측을 수행하는지 아니면 화면 내 예측을 수행하는지 여부를 판별할 수 있다. 화면 간 예측부는 영상 부호화기에서 제공된 현재 예측 단위의 화면 간 예측에 필요한 정보를 이용해 현재 예측 단위가 포함된 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나의 픽쳐에 포함된 정보를 기초로 현재 예측 단위에 대한 화면 간 예측을 수행할 수 있다.
화면 간 예측을 수행하기 위해 부호화 단위를 기준으로 해당 부호화 단위에 포함된 예측 단위의 움직임 예측 방법이 스킵 모드(Skip Mode), 머지 모드(Merge 모드), AMVP 모드(AMVP Mode) 중 어떠한 방법인지 여부를 판단할 수 있다.
화면 내 예측부는 현재 픽쳐 내의 화소 정보를 기초로 예측 블록을 생성할 수 있다. 예측 단위가 화면 내 예측을 수행한 예측 단위인 경우, 영상 부호화기에서 제공된 예측 단위의 화면 내 예측 모드 정보를 기초로 화면 내 예측을 수행할 수 있다. 화면 내 예측부에는 AIS 필터, 참조 화소 보간부, DC 필터를 포함할 수 있다. AIS 필터는 현재 블록의 참조 화소에 필터링을 수행하는 부분으로써 현재 예측 단위의 예측 모드에 따라 필터의 적용 여부를 결정하여 적용할 수 있다. 영상 부호화기에서 제공된 예측 단위의 예측 모드 및 AIS 필터 정보를 이용하여 현재 블록의 참조 화소에 AIS 필터링을 수행할 수 있다. 현재 블록의 예측 모드가 AIS 필터링을 수행하지 않는 모드일 경우, AIS 필터는 적용되지 않을 수 있다.
참조 화소 보간부는 예측 단위의 예측 모드가 참조 화소를 보간한 화소값을 기초로 화면 내 예측을 수행하는 예측 단위일 경우, 참조 화소를 보간하여 정수값 이하의 화소 단위의 참조 화소을 생성할 수 있다. 현재 예측 단위의 예측 모드가 참조 화소를 보간하지 않고 예측 블록을 생성하는 예측 모드일 경우 참조 화소는 보간되지 않을 수 있다. DC 필터는 현재 블록의 예측 모드가 DC 모드일 경우 필터링을 통해서 예측 블록을 생성할 수 있다.
복원된 블록 또는 픽쳐는 필터부(235)로 제공될 수 있다. 필터부(235)는 디블록킹 필터, 오프셋 보정부, ALF를 포함할 수 있다.
영상 부호화기로부터 해당 블록 또는 픽쳐에 디블록킹 필터를 적용하였는지 여부에 대한 정보 및 디블록킹 필터를 적용하였을 경우, 강한 필터를 적용하였는지 또는 약한 필터를 적용하였는지에 대한 정보를 제공받을 수 있다. 영상 복호화기의 디블록킹 필터에서는 영상 부호화기에서 제공된 디블록킹 필터 관련 정보를 제공받고 영상 복호화기에서 해당 블록에 대한 디블록킹 필터링을 수행할 수 있다. 영상 부호화기에서와 마찬가지로 우선 수직 디블록킹 필터링 및 수평 디블록킹 필터링을 수행하되, 겹치는 부분에 있어서는 수직 디블록킹 및 수평 디블록킹 중 적어도 하나를 수행할 수 있다. 수직 디블록킹 필터링 및 수평 디블록킹 필터링이 겹치는 부분에서 이전에 수행되지 못한 수직 디블록킹 필터링 또는 수평 디블록킹 필터링이 수행될 수 있다. 이러한 디블록킹 필터링 과정을 통해서 디블록킹 필터링의 병행 처리(Parallel Processing)이 가능하다.
오프셋 보정부는 부호화시 영상에 적용된 오프셋 보정의 종류 및 오프셋 값정보 등을 기초로 복원된 영상에 오프셋 보정을 수행할 수 있다.
ALF는 필터링을 수행 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 부호화기로부터 제공된 ALF 적용 여부 정보, ALF 계수 정보 등을 기초로 부호화 단위에 ALF를 적용할 수 있다. 이러한 ALF 정보는 특정한 파라메터 셋에 포함되어 제공될 수 있다.
메모리(245)는 복원된 픽쳐 또는 블록을 저장하여 참조 픽쳐 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽쳐를 출력부로 제공할 수 있다.
이하, 본 발명의 실시예에서는 설명의 편의상 Coding Unit을 부호화 단위라는 용어로 사용하지만, 부호화 뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다.
도 3은 본 발명의 또 다른 실시예에 따른 화면 내 예측을 수행시 사용되는 참조 픽셀을 생성하는 방법을 나타낸 개념도이다.
도 3을 참조하면, 화면 내 예측을 수행시 참조 픽셀은 현재 블록의 좌측 상단 픽셀의 좌표를 (xB, yB) 라고 할 경우, (xB-1, yB-1), (xB-1+x, yB-1), (xB-1, yB-1+y)에 위치한 픽셀이 될 수 있다(여기서, x는 0에서 2nS-1까지의 정수, y는 0에서 2nS-1까지의 정수).
만약 예측 단위가 슬라이스의 경계에 위치하여 참조 픽셀이 존재하지 않는 경우 또는 CIP(Constraint Intra Prediction)을 수행하여 현재 예측 단위의 참조 픽셀을 포함하는 예측 단위의 예측이 화면 간 예측으로 예측된 경우와 같이 화면 내 예측에 참조 픽셀이 가용하지 않은 경우, 해당 참조 픽셀의 값을 다른 참조 픽셀의 값으로 변경하여 화면 내 예측에 가용한 참조 픽셀값으로 사용할 수 있다.
가용하지 않은 참조 픽셀은 주변의 가용한 참조 픽셀의 값 또는 주변의 가용한 참조 픽셀들의 평균값을 통해 산출될 수 있다. 예를 들어, 현재 예측 단위의 상단에 위치한 블록이 화면 간 예측을 수행하여 참조 픽셀이 가용하지 않은 경우, 가용한 좌측 참조 픽셀(300)과 가용한 우측 참조 픽셀(305)을 사용하여 가용한 좌측 참조 픽셀(300)의 화소값과 가용한 우측 참조 픽셀(305)의 화소값의 평균값을 산출하여 가용하지 않은 참조 픽셀의 화소값으로 사용하여 화면 내 예측을 수행할 수 있다.
또 다른 예로, 가용하지 않은 참조 픽셀의 값 주변에 가용한 참조 픽셀(310)이 하나만 존재하는 경우, 가용한 참조 픽셀(310)을 가용하지 않은 참조 픽셀의 픽셀값으로 사용함으로써 화면 내 예측을 수행할 수 있다.
이하, 본 발명의 실시예에서는 설명의 편의상 모든 참조 픽셀의 픽셀값이 가용하다고 가정하나, 본 발명의 권리 범위가 반드시 모든 참조 픽셀이 가용한 경우에 한정되지 않고, 위와 같은 추가적인 참조 픽셀 생성 과정을 거쳐 화면 내 예측에 가용하지 않은 참조 픽셀을 화면 내 예측에 가용한 참조 픽셀로 생성할 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 블록의 분할 구조를 나타낸 개념도이다.
도 4를 참조하면, 하나의 부호화 단위는 적어도 하나의 부호화 단위, 예측 단위, 변환 단위로 분할될 수 있다. 예를 들어, 제1 부호화 단위(400)은 쿼드 트리 구조를 이용해 복수개의 제2 부호화 단위(410)으로 분할될 수 있다. 분할된 제2 부호화 단위(410)는 복수의 예측 단위(420)로 분할될 수 있고 분할된 복수의 예측 단위(420) 중 하나의 예측 단위는 다시 복수의 변환 단위(430)로 분할될 수 있다.
화면 내 예측 또는 화면 간 예측은 예측 단위에서 수행되는데, 예측 단위에서 화면 내 예측 부호화를 수행하는 경우, 화면 내 예측을 수행하기 위한 참조 픽셀 정보는 예측 단위가 하나의 변환 단위로 분할되었는지 아니면 복수의 변환 단위로 분할되었는지 여부에 따라 변할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 5를 참조하면, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 동일할 경우, 예측 단위의 좌측에 존재하는 픽셀, 좌측 상단에 존재하는 픽셀, 상단에 존재하는 픽셀을 기초로 예측 단위에 대한 화면 내 예측을 수행할 수 있다. 도 3에서 전술한 바와 같이 가용하지 않은 참조 픽셀은 가용한 참조 픽셀을 기초로 픽셀값을 생성할 수 있다. 예측 모드에 따라 도 5의 상단과 같은 범위의 참조 픽셀이 사용될 수 있으나, 예측 모드에 따라 도 5의 하단과 같이 예측에 사용되는 참조 픽셀의 범위가 확장될 수 있다. 즉, 참조 픽셀의 범위는 예측 모드에 따라 달라질 수 있고 이하, 본 발명의 실시예에서는 도 5의 하단과 같이 참조 픽셀을 사용하는 것으로 가정하여 설명한다.
도 6은 본 발명의 또 다른 실시예에 따른 예측 단위에 따른 참조 픽셀을 나타낸 개념도이다.
도 6을 참조하면, 화면 내 예측을 수행시 예측 단위의 크기와 변환 단위의 크기가 상이할 경우, 변환 단위를 기초로 한 참조 픽셀을 이용하여 화면 내 예측을 수행할 수 있다.
하나의 예측 단위(600)가 복수개의 변환 단위(605, 610, 615, 620)로 분할되고, 분할된 변환 단위(605, 610, 615, 620)에 따른 참조 픽셀을 기초로 화면 내 예측을 수행할 수 있다. 예를 들어, 변환 단위(620)는 변환 단위(620)의 좌측에 존재하는 참조 픽셀, 좌측 상단에 존재하는 참조 픽셀, 상단에 존재하는 참조 픽셀의 픽셀값을 기초로 변환 단위에 대해 화면 내 예측을 수행할 수 있다.
하나의 예측 단위(600)가 복수개의 변환 단위(605, 610, 615, 620)로 분할된 경우, 예측의 순서는 z-스캔 순서를 사용하여 변환 단위(605), 변환 단위(610), 변환 단위(615), 변환 단위(620)의 순서로 화면 내 예측을 수행할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
도 7을 참조하면, 하나의 예측 단위가 화면 내 예측을 수행하고 복수의 변환 단위로 분할되었다고 가정할 수 있고 복수의 변환 단위에 대해서 z-스캔 순서를 기초로 화면 내 예측을 수행할 수 있다. 전술한 바와 같이 각각의 변환 단위는 동일한 예측 모드를 가지고 참조 픽셀의 정보를 달리하여 화면 내 예측을 수행할 수 있다.
제1 변환 단위(700)은 z-스캔 순서상 첫번째인 제1 변환 단위(700)의 좌측에 존재하는 참조 픽셀, 좌측 상단에 존재하는 참조 픽셀, 상단에 존재하는 참조 픽셀의 픽셀값을 기초로 변환 단위에 대해 화면 내 예측을 수행한다. 제1 변환 단위(700)에 대해 화면 내 예측을 수행하여 제1 변환 단위(700)가 복원 되면 제1 변환 단위(700)가 복원된 복원 블록에 포함된 픽셀값을 제2 변환 단위(710)를 화면 내 예측하기 위한 참조 픽셀로 사용하여 제2 변환 단위(710)의 화면 내 예측이 수행될 수 있다. 제1 변환 단위(700)의 화면 내 예측 후, 복원 결과로 생성된 제2 변환 단위(710)의 좌측에 존재하는 참조 픽셀 및 좌측 상단에 존재하는 참조 픽셀, 상단에 존재하는 참조 픽셀의 픽셀값을 기초로 제2 변환 단위(710)에 대해 화면 내 예측을 수행할 수 있다. 동일한 방법으로 제1 변환 단위(700)와 제2 변환 단위(710)의 화면 내 예측을 수행한 결과를 기초로 생성된 복원 블록에 포함된 참조 픽셀을 제3 변환 단위(720)의 참조 픽셀로 하여 제3 변환 단위(720)에 대한 화면 내 예측을 수행할 수 있다. 제4 변환 단위(730)는 z-스캔 순서상 마지막으로 화면 내 예측을 수행하는 변환 단위로써 제1 변환 단위(700), 제2 변환 단위(710) 및 제3 변환 단위(720)의 화면 내 예측을 수행한 결과로 생성된 복원 블록에 포함된 참조 픽셀을 기초로 화면 내 예측을 수행할 수 있다.
본 발명의 실시예에 따른 화면 내 예측 방법에서는 본 발명의 본질에서 벋어나지 않는 한 변환 단위를 스캔하는 스캔 순서는 z-스캔 순서가 아닌 다른 스캔 방법을 사용할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타낸 개념도이다.
*도 8을 참조하면, SDIP(Short Distance Intra Prediction, 이하, 근거리 화면 내 예측이라는 용어도 SDIP와 동일한 의미로 사용함.)를 사용하여 화면 내 예측을 수행하는 경우, 하나의 예측 단위는 하나의 변환 단위(800) 또는 복수개의 변환 단위(810, 820, 830, 840)로 분할될 수 있다.
예를 들어, 4x16, 16x4, 2x8 또는 8x2와 같은 예측 단위를 사용할 경우, 변환을 수행하기 위해서는 하나의 예측 단위(4x16, 16x4, 2x8 또는 8x2)와 동일한 크기를 가진 블록을 변환을 수행하기 위한 변환 단위로 삼거나, 예측 단위의 크기가 4x16, 16x4인 경우는 4x4 크기의 변환 단위, 예측 단위가 2x8 또는 8x2 크기인 경우는 2x2 크기의 복수개의 변환 단위로 분할하여 변환을 수행할 수 있다.
근거리 화면 내 예측을 이용한 화면 내 예측에서 변환을 수행하기 위해서 하나의 예측 단위를 변환 단위로 사용할 경우, 도 3에서 전술한 바와 같이 예측 단위의 주변 참조 픽셀을 이용하여 예측 단위에 대한 인트라 예측을 수행할 수 있다.
근거리 화면 내 예측을 이용한 화면 내 예측에서 변환을 수행하기 위해서 하나의 예측 단위를 변환 단위로 사용할 경우는 변환 단위의 주변 픽셀 정보를 기초로 화면 내 예측을 수행할 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 근거리 화면 내 예측 방법을 이용한 화면 내 예측을 나타낸 개념도이다.
도 9를 참조하면, 첫번째인 제1 변환 단위(900)의 좌측에 존재하는 참조 픽셀, 좌측 상단에 존재하는 참조 픽셀, 상단에 존재하는 참조 픽셀의 픽셀값을 기초로 변환 단위에 대해 화면 내 예측을 수행한다. 제1 변환 단위(900)의 화면 내 예측을 수행한 결과를 기초로 생성된 복원 블록에 포함된 픽셀 정보를 제2 변환 단위(910)의 상단 참조 픽셀로 활용하여 제2 변환 단위(910)의 화면 내 예측을 수행할 수 있다. 제2 변환 단위(910)의 상단에 존재하는 참조 픽셀, 좌측 상단에 존재하는 참조 픽셀과 제2 변환 단위의 좌측에 존재하는 참조 픽셀의 픽셀값을 기초로 제2 변환 단위(910)에 대해 화면 내 예측을 수행하고, 제2 변환 단위(910)의 화면 내 예측을 수행한 결과를 기초로 생성된 복원 블록을 기초로 제2 변환 단위(910)에 대해 화면 내 예측을 수행한 방법과 동일한 방법으로 제3 변환 단위(920)에 대한 화면 내 예측을 수행할 수 있다. 제4 변환 단위(930)는 제3 변환 단위(920)에서 화면 내 예측을 수행한 결과를 기초로 화면 내 예측을 수행할 수 있다.
도 10은 본 발명의 또 다른 실시예에 따른 화면 내 예측 방법을 나타내는 순서도이다.
도 10을 참조하면, 화면 내 예측을 수행하기 위해 예측 단위가 복수의 변환 단위로 분할되어 있는지 여부를 판단한다(단계 S1000).
전술한 바와 같이 하나의 예측 단위가 하나의 변환 단위로 분할되었는지 아니면, 복수의 변환 단위로 분할되었는지 여부에 따라 화면 내 예측을 수행하기 위한 참조 픽셀이 달라질 수 있으므로, 현재 예측 단위가 복수의 분할 단위로 분할되어있는지 여부를 나타내는 분할 정보 표시 플래그를 이용하여 현재 예측 단위가 복수의 변환 단위로 분할되었는지 여부를 판단한다.
예측 단위가 더 이상의 변환 단위로 분할될 수 없는 특정한 예측 단위의 크기에서는 예측 단위가 변환 단위로 분할되어 있는지 여부를 판단하는 단계가 생략될 수 있다.
예측 단위가 복수로 분할되지 않은 경우, 예측 단위의 주변 참조 픽셀을 기초로 화면 내 예측을 수행한다(단계 S1010).
도 5와 같이 예측 단위의 크기와 변환 단위의 크기가 동일한 경우, 현재 예측 단위의 주변에 존재하는 참조 픽셀 정보를 기초로 예측 단위에 대한 화면 내 예측을 수행할 수 있다.
예측 단위가 복수의 변환 단위로 분할된 경우, 변환 단위의 주변 참조 픽셀을 기초로 화면 내 예측을 수행한다(단계 S1020).
예측 단위가 복수인 경우, 도 7 또는 도 9에서 전술한 바와 같이 소정의 순서로 변환 단위별로 다른 참조 픽셀 정보를 사용하여 화면 내 예측을 수행할 수 있다. 변환 단위별 화면 내 예측을 수행할 경우, 화면 내 예측을 수행하는 순서상 화면 내 예측을 먼저 수행한 변환 단위의 복원된 화소 정보는 다음 화면 내 예측을 수행하는 변환 단위의 참조 픽셀 정보로 사용될 수 있다.
복호화부에서 화면 내 예측을 수행하기 위해서는 픽쳐에서 예측 단위가 어디에 위치하는지를 지시하는 위치 정보, 예측 단위의 크기 정보, 예측 단위가 복수개의 변환 단위로 분할되었는지 여부에 관련된 정보, 예측 단위의 인트라 예측 모드 정보, 예측 단위의 화면 내 예측이 휘도 정보에 대해 수행된 것인지 아니면 색차 정보에 대해 수행된 것인지에 관한 정보 등 다양한 화면 내 예측과 관련된 정보를 입력 받을 수 있다.
예측 단위가 복수개의 변환 단위로 분할되었는지 여부에 관련된 정보는 변환 단위로의 분할 여부를 판단할 수 있는 변환 단위 분할 플래그 정보(예를 들어, split_transform_flag)와 같은 정보를 기초로 산출될 수 있다.
예를 들어, 변환 단위 분할 플래그 정보가 1인 경우, 하나의 예측 단위는 복수의 변환 단위로 분할되고, 변환 단위의 크기(log2TrafoSize)가 예측 단위의 반으로 줄어 들고 변환 깊이(trafoDepth)는 1이 증가할 수 있다. 분할된 각각의 변환 단위는 동일한 화면 내 예측 모드 정보를 기초로 화면 내 예측을 수행할 수 있다.
도 8에서와 같이 만약 현재 예측 단위가 복수개의 변환 단위로 분할되고 현재 예측 단위가 근거리 화면 내 예측 방법을 사용하는 직사각형 형태인 경우, 변환 단위 분할 플래그 정보를 기초로 각 변환 단위는 복수개의 정사각형으로 분할될 수 있고 각 변환 단위는 동일한 화면 내 예측 모드를 기초로 각각의 변환 단위의 주변 참조 픽셀 정보를 이용해 화면 내 예측을 수행하여 예측 블록을 생성할 수 있다.
변환 단위 분할 플래그 정보는 예측 단위가 복수의 변환 단위로 분할되는지 여부를 나타내는 정보로 본 발명의 본질에서 벋어나지 않는 한 다른 플래그 정보로 예측 단위가 복수의 변환 단위로 분할되어 있는지 여부를 표현하는것도 가능하다.
도 11은 본 발명의 또 다른 실시예에 따른 부호화 단위의 분할 방법을 나타낸 개념도이다.
도 11을 참조하면, 부호화 단위의 크기에 따른 화면 내 예측을 수행시 복수개의 분할 가능성이 생길 수 있다.
도 11의 좌측은 부호화 단위로 분할될 수 있는 조합을 나타내고, 도 11의 우측은 좌측의 부호화 단위가 예측 단위로 분할될 수 있는 조합을 나타낸 것이다. 설명의 편의상 특정 크기의 부호화 단위에 대해서만 간략하게 개시한다.
16x16 크기의 부호화 단위에 대하여 예측 단위를 생성하는 방법으로 첫번째로 부호화 단위와 동일한 크기의예측 단위인 16x16 크기의 예측 단위를 사용하여 화면 내 예측을 하는 방법과 복수의 8x8 크기의 예측 단위로 나누어서 화면 내 예측을 수행하는 방법(1100)이 있다.
다음으로 16x16 크기의 부호화 단위를 4개의 8x8 크기의 부호화 단위로 분할한 블록을 기초로 각각의 부호화 단위의 크기와 동일한 예측 단위을 사용하여 화면 내 예측을 수행하는 방법, 좌측 상단에 위치한 부호화 블록을 복수의 예측 단위로 분할하여 화면 내 예측을 수행하는 방법 등, 화면 내 예측을 수행하기 위한 다양한 방법이 존재할 수 있다.
도 11을 다시 참조하면, 16x16 부호화 단위에 대해 복수의 예측 단위를 사용하여 예측하는 방법(1100)과 16x16 부호화 단위가 복수의 부호화 단위로 분할되고 복수의 부호화 단위에 대해 부호화 단위와 동일한 크기의 예측 단위(2Nx2N)를 이용하여 화면 내 예측을 수행하는 방법(1110)이 동일한 예측 단위를 가진 블록임을 알 수 있다. 즉, 가장 작은 부호화 단위가 아니면 부호화 단위를 NxN의 예측 단위로 분할하여 화면 내 예측을 수행하면 동일한 예측 단위에 대해 두번의 동일한 분할 절차를 사용하게 된다. 이러한 불필요한 동일 절차를 방지하기 위해 화면 내 예측에서는 최소의 부호화 단위 크기일 경우에만 복수의 예측 단위로 분할될 수 있다.
최소 부호화 단위의 크기는 소정의 파라메터 집합에서 정의될 수 있다. 예를 들어, 가장 작은 부호화 단위의 크기 정보를 포함한 플래그 정보와 가장 작은 부호화 단위와 가장 큰 부호화 단위의 차이 정보를 포함한 플래그 정보를 이용하여 가장 작은 부호화 단위의 크기 정보와 가장 큰 부호화 단위의 크기 정보를 알 수 있다. 파라메터 집합에서 제공받은 부호화 단위의 크기 정보를 기초로 화면 내 예측을 수행시 최소 크기를 가진 부호화 단위에서만 NxN 분할을 이용한 예측을 수행알 수 있다. 최소 크기를 가진 부호화 단위에서만 NxN 분할을 이용한 예측을 수행하는 경우, 분할 여부 정보를 제공하는 플래그는 부호화 단위의 크기가 최소 크기일 경우에만 부호화 복호화될 수 있다. 화면 내 예측에 사용되는 부호화 단위의 크기는 이하, 표 12에서 표 16까지와 같이 다양한 구문 요소로 정의되는 것도 가능하다.
표 1은 본 발명의 일실시예에 따른 부호화 단위의 크기에 따른 화면 내 예측 방법을 나타낸 구문(Syntax)이다.
표 1을 참조하면, 현재 부호화 단위의 크기 정보를 나타내는 구문요소(currCodingUnitSize, 이하, 현재 부호화 단위 크기 정보라고 함.)와 가장 작은 부호화 단위의 크기 정보를 나타내는 구문 요소(MinCodingUnitSize, 이하, 최소 부호화 단위 크기 정보라고 함.)을 비교할 수 있다. 만약 현재 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우, 현재 부호화 단위가 화면 내 예측을 수행하기 위한 복수의 예측 단위로 분할되어있는지 여부를 표시하는 정보(intra_spilt_flag)와 분할된 예측 단위의 화면 내 예측 모드 정보를 나타내는 (combined_intra_pred_flag)를 이용하여 현재의 부호화 단위가 최소 부호화 단위의 크기일 경우에만 현재 부호화 단위가 복수의 예측 단위로 분할되어 있는지를 판단할 수 있다. 또한, 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우와 동일하지 않은 경우를 구분하여, 주변의 예측 단위의 화면 내 예측 모드 정보를 유도할 수 있다.
즉, 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우와 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일하지 않은 경우를 구분하여, 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우는 부호화 단위가 복수개의 예측 단위로 분할되었는지 여부 정보를 기초로 하나 또는 복수개의 예측 단위의 화면 내 예측 모드를 산출할 수 있다. 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일하지 않은 경우는 부호화 단위가 분할되었는지 여부를 판단하지 않고 부호화 단위의 예측 모드 정보를 산출할 수 있다.
본 발명의 실시예에 따른 부호화 단위 분할 방법에서는 현재 부호화 단위 크기 정보(currCodingUnitSize)와 최소 부호화 단위 크기 정보(MinCodingUnitSize)를 비교하여 화면 내 예측을 수행시 최소의 부호화 단위가 아니면 복수개의 예측 단위로 분할하지 않는 것은 하나의 예시로써 본 발명의 본질에서 벋어나지 않는 한 다른 신택스 상 구조 및 새로운 구문 요소의 정의를 통해 구현될 수 있다. 또한, 부호화 단위가 복수의 예측 단위로 분할된 경우 사용되는 intra_split_flag 또는 combined_intra_pred_flag는 예시적인 플래그 정보로써 본 발명의 본질에서 벋어나지 않는 한 다른 플래그 정보를 사용하거나 다른 정보와 결합된 형태의 플래그를 사용하는 것도 가능하다.
표 2는 본 발명의 일실시예에 따른 부호화 단위의 크기에 따른 화면 내 예측 수행 방법을 나타낸 구문(Syntax)이다.
표 2는 최소 부호화 단위의 크기가 8x8인 경우를 가정한 경우의 구문 구조를 나타낸 것이다.
부호화 단위의 크기가 8x8인지 여부를 판단하여 부호화 단위가 8x8인 현재 부호화 단위가 화면 내 예측을 수행하기 위한 복수의 예측 단위로 분할되어있는지 여부를 표시하는 정보(intra_spilt_flag)와 분할된 예측 단위의 화면 내 예측 모드 정보를 나타내는 (combined_intra_pred_flag)를 얻을 수 있다. 또한, 전술한 바와 마찬가지로, 부호화 단위 크기 정보와 최소 부호화 단위 크기 정보가 동일한 경우와 동일하지 않은 경우를 구분하여, 부호화 단위의 화면 내 예측 모드 정보를 유도할 수 있다.
본 발명의 실시예에 따른 부호화 단위 분할 방법에서 현재 부호화 단위 크기 정보 (currCodingUnitSize)와 최소 부호화 단위 크기 정보(8)를 비교하여 화면 내 예측을 수행시 최소의 부호화 단위가 아니면 복수개의 예측 단위로 분할하지 않는 것은 하나의 예시로써 8x8이 최소 부호화 단위의 크기가 아닐 경우 다른 신택스 구조를 사용할 수 있고, 이뿐만 아니라, 본 발명의 본질에서 벋어나지 않는 한 다른 신택스 상 구조 및 새로운 구문 요소의 정의를 통해 최소 부호화 단위의 크기보다 클 경우 복수개의 예측 단위로 분할하지 않는 방법이 구현될 수 있다.
표 3 내지 표 7은 본 발명의 또 다른 실시예에 따른 부호화 단위의 크기에 따른 화면 내 예측 수행 방법을 나타낸 구문이다.
표 3 내지 표 7은 표 1 및 표 2에서 개시한 부호화 단위가 최소 부호화 단위일 경우에만 복수의 예측 단위로 분할하여 화면 내 예측을 수행하기 위한 구문 요소이다.
우선, 표 3 내지 표 5를 참조하면, 코딩 트리 구문에서는 소정의 구문 요소를 사용하여 부호화 단위의 크기가 최소인지를 구분하여 최소의 부호화 단위의 크기가 아닐 경우에만 부호화 단위가 복수의 예측 단위로 분할되었는지 여부에 관련된 정보를 제공받을 수 있다.
즉, 표 3 내지 표 5를 참조하면 CAVLC(Context Adaptive Variable Length Coding)를 사용하여 엔트로피 부호화를 하고, 현재 슬라이스 타입이 I 슬라이스인 경우, cu_split_pred_part_mode를 복호화하여 현재 부호화 단위의 예측 관련 정보를 복호화 할 수 있다.
cu_split_pred_part_mode는 현재 부호화 단위가 분할되는지 여부를 표시하는 플래그 정보(split_coding_unit_flag), 현재 부호화 단위가 스킵 모드를 사용하여 화면 간 예측을 수행하는지를 표시하는 플래그 정보(skip_flag), 현재 부호화 단위가 머지 모드를 사용하여 화면 간 예측을 수행하는지를 표시하는 플래그 정보(merge_flag), 현재 부호화 단위의 예측 모드가 무엇인지를 표시하는 정보(PredMode), 현재 부호화 단위의 분할 타입 정보를 표시하는(PartMode) 정보를 결합한 구문 요소로써 현재 부호화 단위의 크기에 따라 표 4 또는 표 5의 매핑 테이블을 사용하여 현재 부호화 단위의 예측 관련 정보를 표시할 수 있다.
본 발명의 일실시예에 따른 cu_split_pred_part_mode를 사용할 때 부호화 단위가 최소 부호화 단위인지 여부를 판단하여 부호화 단위의 크기가 최소 부호화 단위보다 크면 표 4를 사용하고 부호화 단위의 크기가 최소 부호화 단위이면 표 5를 사용하는 방법을 사용하여 부호화 단위의 크기가 최소 부호화 단위인 경우에만 화면 내 예측을 수행하기 위해 부호화 단위를 복수의 예측 단위로 분할한다. 즉, 상기 부호화 단위의 크기가 최소 부호화 단위보다 큰 경우와 상기 부호화 단위의 크기가 최소 부호화 단위와 동일한 경우에 다른 인덱스 값을 가지고 정의될 수 있다.
표 4를 참조하면, 부호화 단위의 크기(log2CUSize)가 최소 부호화 단위의 크기(Log2MinCUSize)보다 크면 어떠한 cu_split_pred_part_mode에서도 복수의 예측 단위로 분할되어 화면 내 예측을 수행하기 위한 분할 타입 정보(PartMode)로 NxN이 사용되지 않는다.
표 5를 참조하면, 부호화 단위의 크기(log2CUSize)가 최소 부호화 단위의 크기(Log2MinCUSize)와 동일하면 cu_split_pred_part_mode가 5인 경우 분할 타입 정보(PartMode)로 NxN을 사용하여 화면 내 예측을 수행시 복수의 예측 단위로 분할할 수 있다.
표 3 내지 표 5를 사용할 조건이 아닌 경우, 아래의 표 6 및 표 7을 사용하여 부호화 단위의 크기에 따른 화면 내 예측 수행 방법을 나타낸 구문이다.
표 6을 참조하면, 이진 부호화 방법으로 CAVLC를 사용하고 슬라이스의 타입이 I 슬라이스이면서 부호화 단위의 크기가 최소 부호화 단위인 경우, intra_part_mode라는 구문 요소를 사용하고, 이진 부호화 방법으로 CABAC(Context-Adaptive Binary Arithmetic Coding)을 사용하고 슬라이스 타입 P 슬라이스 또는 B 슬라이스이거나 부호화 단위의 크기가 최소 부호화 단위 크기인 경우, pred_type이라는 구문 요소를 사용하여 부호화 단위의 크기가 최소 부호화 단위일때만 NxN 분할을 수행하여 하나의 부호화 단위를 복수의 예측 단위로 분할한다.
intra_part_mode는 현재 부호화 단위가 2Nx2N으로 분할되는지 아니면, NxN으로 분할되는지를 나타내는 구문 요소로써 현재 부호화 단위의 크기가 최소일 경우, 부호화 단위를 복수개의 예측 단위로 분할할지 여부를 나타낸다.
아래의 표 7은 pred_type을 나타낸 것으로 구문 요소 pred_type은 슬라이스 종류별로 분할 여부 표시 플래그(IntraSplitFlag), 예측 모드 정보(PredMode), 분할 모드 정보(PartMode)정보를 포함할 수 있다.
표 7에서 구문 요소 pred_type은 현재 부호화 단위의 크기가 최소 부호화 단위의 크기보다 큰 경우, pred_type의 값이 3 또는 5를 사용하지 않도록 제한을 둠으로써 현재 부호화 단위의 크기가 최소 부호화 단위 크기일 경우에만, 분할 모드로 NxN 분할을 사용하도록 할 수 있다. 또한, 추가적으로 슬라이스 타입이 I 슬라이스이고 부호화 단위의 크기가 최소 부호화 단위의 크기보다 큰 경우, 현재 예측 모드는 화면 내 예측 모드이고 분할 타입은 2Nx2N이고 분할 표시 정보는 0인 것으로 추정하여 사용할 수 있다.
복수의 예측 단위로 분할되어 화면 내 예측을 수행하기 위한 분할 타입 정보(PartMode)로 NxN이 사용되지 않는다.
즉, 표 3에서 표 7까지 전술한 바와 같이 부호화 단위가 복수의 예측 단위로 분할되어 있는지 여부를 표시하는 소정의 구문 요소를 기초로 부호화 단위의 크기가 최소 부호화 단위인 경우에만, 화면 내 예측을 수행시 NxN 분할을 사용하도록 함으로써 표 1 및 표 2에서 전술한 것과 동일한 예측 단위 분할 절차를 구현할 수 있다. 본 발명의 실시예에 따른 부호화 단위 크기에 따른 화면 내 예측 수행 방법에 있어서, 다양한 구현 방법이 있을 수 있으며, 본 발명의 본질에서 벋어나지 않는 한 이러한 다양한 구현 방법이 본 발명의 권리 범위에 포함된다.
표 8 내지 표 10은 본 발명의 또 다른 실시예에 따른 부호화 단위의 크기에 따른 화면 내 예측 수행 방법을 나타낸 구문(syntax)이다.
화면 내 예측을 수행되는 최소 부호화 단위의 크기를 4x4로 설정할 수 있다. 화면 내 예측을 위한 예측 단위의 최소 크기 및 변환을 위한 변환 단위의 최소 크기가 4x4이므로 화면 내 예측을 수행되는 부호화 단위의 크기가 4x4인 경우에는 하나의 부호화 단위가 복수개의 변환 단위와 예측 단위로 분할되지 않고 부호화 단위의 크기와 변환 단위 및 예측 단위의 크기가 동일하다. 따라서, 화면 내 예측을 수행함에 있어 부호화 단위의 크기가 4x4인 경우, 하나의 부호화 단위를 복수개의 예측 단위로 분할할 것인지에 관련된 예측 단위 분할 정보와 하나의 부호화 단위를 복수개의 변환 단위로 분할할 것인지에 관련된 변환 단위 분할 정보는 불필요한 정보가 되므로 예측 단위 분할 정보와 변환 단위 분할 정보는 화면 내 예측을 수행하는 4x4 크기의 부호화 단위가 아닌 경우에만 확인할 필요가 있다.
표 8을 참조하면, 최소 부호화 단위 사이즈(MinCodingUnitSize)를 나타내는 정보에 화면 내 예측을 수행하는 최소 부호화 단위 사이즈(MinCodingUnitSize Intra), 화면 간 예측을 수행하는 최소 부호화 단위 사이즈(MinCodingUnitSize Inter)를 설정할 수 있다. 현재 부호화 단위의 크기가 최소 부호화 단위의 크기보다 큰 경우에만, 부호화 단위가 복수개의 부호화 단위로 분할되어 있는지 여부를 나타내는 정보(split_coding_unit_flag)를 통해 부호화 단위가 복수의 부호화 단위로 분할되는지에 관한 정보를 제공받을 수 있다.
표 9을 참조하면, 현재 부호화 단위가 화면 내 예측을 수행하는 최소 단위인 4x4인지 여부를 판단하여 현재 부호화 단위의 크기가 4x4가 아닌 경우에만 하나의 부호화 단위가 화면 내 예측을 수행하기 위한 복수개의 예측 단위로 분할되어 있는지 여부를 나타내는 정보(intra_split_flag)를 사용하여 현재 부호화 단위가 복수개의 예측 단위로 분할되어 있는지 여부에 관련된 정보를 제공받을 수 있다.
표 10을 참조하면, 현재 부호화 단위가 화면 내 예측을 수행하는 최소 단위인 4x4인지 여부를 판단하여 현재 블록의 크기가 4x4가 아닌 경우에만 현재 부호화 단위가 복수개의 변환 단위로 분할되어 있는지 여부에 관련된 정보를 제공받을 수 있다.
즉, 화면 내 예측을 수행시 4x4 크기를 부호화 단위의 최소 크기로 제한하는 경우, 4x4 크기의 부호화 단위에서는 하나의 부호화 단위를 복수개의 부호화 단위로 분할할지 여부를 표시하는 정보(split_coding_unit_flag), 하나의 부호화 단위를 복수개의 예측 단위로 분할할지 여부를 표시하는 정보(intra_split_flag), 하나의 부호화 단위를 복수개의 부호화 단위로 분할할지 여부를 표시하는 정보(split_transform_unit_flag)를 얻지 않고 바로 현재 부호화 블록이 예측을 수행하는 예측 단위 및 변환되는 변환 단위 정보를 획득할 수 있다.
본 발명의 실시예에 따른 부호화 단위 크기 결정 방법에서는 부호화 단위를 기초로 화면 간 예측 및 화면 내 예측을 수행할 수 있다. 즉, 픽쳐에서 예측 단위를 따로 생성하지 않고 분할된 부호화 단위를 예측을 수행하는 단위로 사용하여 부호화 단위에서 화면 간 예측 및 화면 내 예측을 수행할 것인지 여부를 결정할 수 있다. 부호화 단위에 기초한 예측 방법을 사용할 경우, 부호화 단위에서 정사각형이 아닌 직사각형 형태의 블록을 기초로 한 예측(SDIP(Short distance Intra Prediction, AMP(Asymetric Motion Partitioning 등)을 수행할 경우, 추가의 분할 정보를 전송하는 방법을 통해서 화면 간 예측 및 화면 내 예측을 수행할 수 있다.
본 발명의 실시예에 따른 부호화 단위에 기초한 예측 방법에서는 부호화 단위의 분할에 기초하여 예측을 수행하는 경우, 화면 내 예측을 수행하는 블록과 화면 간 예측을 수행하는 블록의 크기를 서로 다르게 할 수 있다. 예를 들어, 화면 간 예측을 수행될 수 있는 최소 부호화 단위와 화면 내 예측을 수행할 수 있는 최소 부호화 단위의 크기를 다르게 하는 방법을 통해 전체적인 부호화 효율을 높힐 수 있다.
아래의 표 11은 화면 내 예측 및 화면 간 예측에서 사용되는 부호화 단위의 최소 사이즈가 상이하게 설정되는 방법을 나타낸 것이다.
표 11을 참조하면, 화면 내 예측을 수행하는 부호화 단위의 크기가 화면 간 예측을 수행하는 부호화 단위의 크기보다 한 단계 작은 크기로 설정됨으로써 화면 내 예측을 수행시 화면 간 예측을 수행할 때 보다 좀 더 작은 단위의 부호화 단위에서 예측을 수행하는 방법을 통해 화질을 전체적으로 향상 시킬 수 있다.
화면 간 예측을 수행하는 최소 부호화 단위의 크기는 아래의 수학식 1과 같이 최소 부호화 단위의 크기 정보를 나타내는 구문 요소인 log2_min_coding_unit_size_minus3을 기초로 산출될 수 있고, 화면 내 예측을 수행하는 최소 부호화 단위의 크기는 아래의 수학식 1과 같이 최소 부호화 단위의 크기보다 한 단계 작은 크기로 결정될 수 있다.
표 12는 부호화 단위를 분할할지 여부를 판단하는 구문을 나타낸 것이다.
화면 내 예측을 수행하는 최소 부호화 단위의 크기와 화면 간 예측을 수행하는 최소 부호화 단위의 크기를 기초로 최소 부호화 단위가 아닐 경우에만 현재 부호화 단위가 분할될지 여부를 판단하는 구문 요소인 split_coding_unit_flag를 판단할 수 있다.
표 13에서는 부호화 단위를 기초로 화면 내 예측이 수행될 경우를 나타낸 구문이다.
표 13에서는 화면 내 예측이 수행된 부호화 단위는 예측 단위로 분할되지 않으므로 부호화 단위가 예측 단위로 분할되는지 여부를 표시하는 구문 요소인 intra_split_flag를 사용하지 않고 화면 내 예측이 수행된 부호화 단위에 대해 combined_intra_pred_flag를 통해 부호화 단위의 예측 모드 정보를 얻을 수 있다.
표 11 내지 표 13에서 본 발명의 또 다른 실시예에 따른 부호화 단위에 기초한 예측 방법에서는 전술한 바와 같이 부호화 단위를 예측을 수행하는 블록으로 사용하여 화면 내 예측 및 화면 간 예측을 수행함으로써 부호화 및 복호화의 복잡도를 낮출 수 있고 낮은 지연을 요구하는 구현에서 활용될 수 있다.
본 발명의 또 다른 실시예에 따른 변환 단위 크기 설정 방법에서는 부호화 단위의 크기와 변환 단위의 크기를 동일하게 설정할 수 있다. 변환 단위의 크기를 부호화 단위의 크기와 동일하게 하는 방법을 통해서 낮은 복잡도로 부호화 및 복호화를 수행할 수 있다.
아래의 표 14는 부호화 단위의 크기와 변환 단위의 크기를 동일하게 하는 경우를 나타낸 표이다.
표 14를 참조하면 부호화 단위와 변환 단위의 크기를 동일하게 함으로써 변환 단위의 분할 여부 정보를 표시하는 split_transform_flag 정보가 필요없이도 변환 단위의 크기 정보를 얻을 수 있고 부호화 단위의 크기를 기초로 역변환을 수행할 수 있다.
예를 들어, 전술한 바와 같은 부호화 단위의 크기 분할 여부를 나타내는 구문 요소인 cuDepth, cu_split_pred_part_mode, pred_type 또는 split_coding_unit_flag와 같은 구문 요소 정보를 기초로 변환 단위의 크기 정보 및 분할 정보를 얻어낼 수 있다. 또한, 변환 단위를 따로 정의하지 않고 분할된 부호화 단위를 변환 단위로 사용하는 방법도 사용할 수 있다.
부호화 단위와 변환 단위의 크기를 동일하게 사용할 경우 부호화 및 복호화를 수행시 낮은 복잡도로 부호화 복호화를 수행할 수 있다. 부호화 단위와 변환 단위의 크기가 동일하므로 예측 단위의 분할 정보에 종속하지 않고 독립적으로 변환 단위의 크기를 결정할 수 있으므로 예측 단위와 관계 없이 현재 픽쳐에서 변환 단위 분할 정보를 얻을 수 있다.
본 발명의 또 다른 실시예에 따른 부호화 단위 크기 설정 방법에서는 예측 방법에 따라 예측을 수행하는 최대 부호화 단위의 사이즈를 다르게 할 수 있다.
예측이 수행되는 최대 부호화 단위의 크기를 제한하는 방법은 특정 파라메터 셋을 기초로 정의될 수 있다.
아래의 표 15는 SPS(Sequence Parameter Set)에서 정의된 예측 방법에 따른 부호화 단위의 크기를 나타낸 것이다.
표 15를 참조하면, 화면 간 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 너비를 나타내는 max_coding_unit_width_inter, 화면 간 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 높이를 나타내는 max_coding_unit_height_inter, 화면 내 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 너비를 나타내는 max_coding_unit_width_intra, 화면 내 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 높이를 나타내는 max_coding_unit_height_intra를 구문 요소로 정의하여 해당값을 기초로 화면 간 예측이 수행되는 부호화 단위와 화면 내 예측이 수행되는 최대 부호화 단위의 크기를 다르게 할 수 있다.
또 다른 방법으로 아래의 표 16과 같은 구문 요소를 이용하여 각각의 예측을 수행하는 최대 부호화 단위의 크기를 정의할 수도 있다.
표 16을 참조하면, 표 15와 마찬가지로 화면 간 예측을 수행하는 가장 큰 부호화 단위의 너비를 나타내는 구문 요소를 max_coding_unit_width_inter로 정의하고 화면 간 예측을 수행하는 가장 큰 부호화 단위의 높이를 max_coding_unit_height_inter로 정의할 수 있다. 하지만, 표 15와는 다르게 화면 내 예측을 수행하는 가장 큰 부호화 단위의 너비를 나타내기 위해 화면 간 예측을 수행하는 부호화 단위의 너비와 화면 내 예측을 수행하는 부호화 단위의 너비 사이의 차를 나타내는 정보인 difference_between_inter_intra_width와 화면 내 예측을 수행하는 가장 큰 부호화 단위의 높이를 나타내기 위해 화면 간 예측을 수행하는 부호화 단위의 높이와 화면 내 예측을 수행하는 부호화 단위의 높이 사이의 차를 나타내는 정보인 difference_between_inter_intra_height를 기초로 화면 내 예측을 수행하는 부호화 단위의 최대 부호화 단위의 너비와 최대 부호화 단위의 높이를 나타낼 수 있다.
difference_between_inter_intra_width와 difference_between_inter_intra_height는 아래의 수학식 2와 같이 산출될 수 있다.
또 다른 방법으로 아래의 표 17과 같은 구문 요소를 이용하여 각각의 예측을 수행하는 부호화 단위의 크기를 정의할 수도 있다.
표 17을 참조하면, 화면 간 예측을 수행하는 가장 큰 부호화 단위의 너비를 나타내는 max_coding_unit_width_inter와 화면 간 예측을 수행하는 가장 큰 부호화 단위의 높이를 나타내는 max_coding_unit_height_inter만을 파라메터 셋에 정의할 수 있다.
화면 내 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 너비를 나타내는 max_coding_unit_width_intra, 화면 내 예측을 수행하는 예측 단위 중 가장 큰 부호화 단위의 높이를 나타내는 max_coding_unit_height_intra는 정의된 max_coding_unit_width_inter와 max_coding_unit_height_inter로부터 아래의 수학식 3에 의해 도출될 수 있다.
또 다른 방법으로 아래의 표 18과 같은 구문 요소를 이용하여 각각의 예측을 수행하는 부호화 단위의 크기를 정의할 수 있다.
표 18을 참조하면, 가장 큰 부호화 단위의 크기를 정의하는 max_coding_unit_size를 정의하고 화면 내 예측 및 화면 간 예측을 수행하기 위한 최대 부호화 단위의 너비를 max_coding_unit_width로 화면 내 예측 및 화면 간 예측을 수행하기 위한 최대 부호화 단위의 높이를 max_coding_unit_height로 정의한 후 max_coding_unit_size에서 설정된 값을 max_coding_unit_width와 max_coding_unit_height의 값으로 사용할 수 있다. 즉, 화면 내 예측과 화면 간 예측을 수행하는 최대 부호화 단위의 크기는 동일하게 설정될 수 있다.
또 다른 방법으로 아래의 표 19와 같은 구문 요소를 이용하여 각각의 예측을 수행하는 부호화 단위의 크기를 정의할 수 있다.
표 19를 참조하면, 가장 큰 부호화 단위의 크기를 나타내는 max_coding_unit_size와 화면 간 예측을 수행하는 가장 큰 부호화 단위와 화면 내 예측을 수행하는 가장 큰 부호화 단위의 크기의 차이를 나타내는 difference_between_inter_intra를 기초로 아래의 수학식 4를 통해 표 15에서 정의한 구문 요소(max_coding_unit_width_inter, max_coding_unit_height_inter, max_coding_unit_width_intra, max_coding_unit_height_intra)를 산출해낼 수 있다.
또 다른 방법으로 아래의 표 20과 같은 구문 요소를 이용하여 각각의 예측을 수행하는 부호화 단위의 크기를 정의할 수 있다.
가장 큰 부호화 단위의 크기를 나타내는 구문 요소인 max_coding_unit_size를 기초로 아래의 수학식 5를 통해 표 15에서 정의한 구문 요소(max_coding_unit_width_inter, max_coding_unit_height_inter, max_coding_unit_width_intra, max_coding_unit_height_intra)를 산출할 수 있다.
이상의 표 15에서 표 20의 실시예들은 화면 간 예측을 수행하는 최대 부호화 단위의 너비 및 높이, 화면 내 예측을 수행하는 최대 부호화 단위의 너비 및 높이에 관련된 정보를 얻기 위한 실시예들로써 본 발명의 본질에서 벋어나지 않는 한 다른 구현 방법 및 실시예들도 가능하다.
도 12는 본 발명의 또 다른 실시예에 따른 화면 내 예측 및 화면 간 예측을 수행하기 위한 블록 분할 방법을 나타낸 개념도이다.
도 12를 참조하면, 화면 내 예측을 수행하는 블록은 2Nx2N의 부호화 단위를 부호화 단위와 동일한 크기를 사용하는 2Nx2N의 예측 단위(1200)와 2Nx2N 단위의 부호화 단위를 NxN으로 분할한 예측 단위(1205)로 분할할 수 있다.
화면 간 예측을 수행하는 블록은 2Nx2N의 부호화 단위를 부호화 단위와 동일한 크기를 사용하는 2Nx2N의 예측 단위(1210), 2Nx2N 단위의 부호화 단위를 NxN으로 분할한 예측 단위(1215), 2Nx2N 단위의 부호화 단위를 2NxN으로 분할한 예측 단위(1220), 2Nx2N 단위의 부호화 단위를 Nx2N으로 분할한 예측 단위(1225)로 분할하여 사용할 수 있다.
본 발명의 일실시예에 따르면, 화면 내 예측 및 화면 간 예측에 대하여 블록분할 방법에 따라 소정의 범주로 나누어 예측을 수행할 수 있다.
아래의 표 21은 화면 내 예측 방법을 분할된 예측 단위 형태에 따라 소정의 범주로 구분한 것이다.
표 21을 참조하면, 화면 내 예측을 수행하기 위한 블록 분할의 범주로 1 형태 분할 방법과 2 형태 분할 방법으로 구분할 수 있다.
1 형태 분할 방법의 경우, 부호화 단위의 크기와 예측 단위의 크기가 동일한 2Nx2N 블록(1200)만을 사용하여 화면 내 예측을 수행하는 방법이고, 2 형태 분할 방법의 경우, 부호화 단위의 크기와 예측 단위의 크기가 동일한 2Nx2N 블록(1200)과 2Nx2N 크기의 부호화 단위를 4개의 NxN 크기의 예측 단위로 분할한 NxN 블록(1205)을 사용하여 화면 내 예측을 수행하는 방법이다.
2 형태 분할 방법에서 2Nx2N 크기의 부호화 단위를 4개의 NxN 크기의 부호화 단위로 분할하여 화면 내 예측을 수행하는 방법은 전술한 바와 같이 부호화 단위의 크기가 최소 부호화 단위일때 수행될 수 있고, 가장 작은 부호화 단위의 사이즈는 예를 들어, 128x128, 64x64, 32x32, 16x16, 8x8 등 다양한 크기로 설정될 수 있다.
아래의 표 22는 화면 간 예측 방법을 분할된 예측 단위 형태에 따라 소정의 범주로 구분한 것이다.
표 22를 참조하면, 화면 내 예측을 수행하기 위한 블록 분할의 범주로 3 형태 분할 방법과 4 형태 분할 방법으로 구분할 수 있다.
3 형태 분할 방법은 2Nx2N 크기의 부호화 단위를 2Nx2N(1210), 2NxN(1220), Nx2N(1225)의 예측 단위로 분할하는 것이고 4 형태 분할 방법은 2Nx2N 크기의 부호화 단위를 2Nx2N(1210), 2NxN(1215), Nx2N(1220), NxN(1225)의 예측 단위로 분할하는 것이다.
4 형태 분할 방법에서 NxN 크기(1225)의 분할은 부호화 단위의 크기가 최소 부호화 단위일 때만 사용할 수 있고 가장 작은 부호화 단위의 사이즈는 전술한 바와 같이 다양하게 설정될 수 있다.
최소 부호화 단위의 사이즈가 8x8 인 경우, NxN 분할을 사용하지 않는 3 형태 분할 방법을 사용할 것인지 아니면, NxN 분할을 사용하는 4형태 분할 방법을 사용할 것인지에 대한 정보를 전송하기 위한 하나의 실시예로 화면 간 예측을 수행시 NxN 예측을 하지 않도록 설정하는 플래그 정보를 사용할 수 있다. 예를 들어, 최소 부호화 단위의 사이즈가 8x8인 경우 4x4 예측을 하지 못하도록 하는 플래그(disable_inter_4x4_flag)또는 최소 부호화 단위의 사이즈가 8x8인 경우 4x4 예측을 하도록 하는 플래그(inter_4x4_enabled_flag)를 사용하여 4x4 예측 단위에 화면 간 예측을 수행하지 않을 수 있다. 이러한 플래그 정보는 SPS와 같은 소정의 파라메터 셋에 정의되어 사용될 수 있다. 위의 두 플래그는 동일한 역할을 가진 플래그이므로 이하, 본 발명의 실시예에서는 inter_4x4_enabled_flag를 기준으로 설명한다
본 발명의 실시예에 따른 화면 간 예측 방법에서는 최소 부호화 단위의 크기인 8x8을 기준으로 inter_4x4_enabled_flag는 1일 경우, 8x8 크기의 부호화 블록에 대해 4x4 크기의 예측 단위를 사용한 화면 내 예측 방법을 사용할 수 있도록 하여 4 형태 분할 방법을 사용할 수 있도록 하고, inter_4x4_enabled_flag는 0이고 부호화 단위의 크기가 8x8일 경우, 8x8 크기의 부호화 블록에 대해 4x4 크기의 예측 단위를 사용한 화면 내 예측 방법을 사용할 수 없도록 하여 3형태 분할 방법을 사용하도록 할 수 있다. 이하의 본 발명의 실시예에서는 최소 부호화 단위의 크기가 8x8인 경우, 복수개의 4x4 크기의 예측 블록으로 나누어서 화면 간 예측을 수행하는 것을 허용하는 allowInterNxN이라는 플래그를 새롭게 정의하여 부호화 단위의 크기가 8보다 크거나, inter_4x4_enabled_flag가 1인 경우, allowInterNxN을 참으로 설정하고, 부호화 단위의 크기가 8이고 inter_4x4_enabled_flag가 0인 경우, allowInterNxN을 거짓으로 설정하여 3 형태 분할 방법 또는 4 형태 분할 방법을 구현할 수 있다.
아래의 표 23은 allowInterNxN의 값이 참인 경우, 분할 정보를 포함하는 구문 요소인 cu_split_pred_part_mode의 인덱스를 정의한 표이고, 표 24는 allowInterNxN의 값이 거짓인 경우, 분할 정보를 포함하는 구문 요소인 cu_split_pred_part_mode의 인덱스를 정의한 표이다.
표 23 및 표 24를 참조하면, allowInterNxN의 값이 참인 경우, cu_spilt_pred_part_mode의 인덱스값이 5일 때 화면 간 예측을 수행시 NxN블록을 사용하지만, allowInterNxN의 값이 거짓인 경우, cu_spilt_pred_part_mode의 인덱스값이 5일 때 화면 간 예측을 수행시 NxN블록을 사용하지 않는다. 즉, allowInterNxN의 값이 참인 경우, 3 형태 분할 방법을 사용하고, allowInterNxN의 값이 거짓인 경우, 4 형태 분할 방법을 사용한다.
전술한 화면 간 예측을 수행시 소정의 플래그를 사용하여 예측을 수행하는데사용되사용되는 블록을 구분하는 방법은 하나의 실시예로써 본 발명의 본질에서 벋어나지 않는 한 다른 방법을 사용할 수 있고 이러한 방법 또한 본 발명의 권리 범위에 포함된다. 예를 들어, 화면 간 예측에서 4x4 블록을 예측 단위로 사용하여 화면 간 예측이 가능한지 여부를 표시하는 플래그인 inter_4x4_enabled_flag는 하나의 예시로서 최소 부호화 단위의 크기가 8x8가 아닐 경우, 다른 플래그 정보를 사용하여 최소 부호화 단위에서 복수의 예측 단위로 분할이 가능한지 여부를 나타내는 플래그를 사용할 수 있다.
화면 내 예측 방법의 경우, 표 21에서 전술한 바와 같이 부호화 단위의 크기가 최소 부호화 단위와 같은지 여부에 따라 1 형태 분할을 사용할 것인지 아니면 2 형태 분할을 사용할 것인지에 대해 결정할 수 있다. 이하의 본 발명의 실시예에서는 화면 내 예측을 수행시 사용되는 블록의 분할 형태인 1 형태 분할 방법과 2 형태 분할 방법과 화면 간 예측을 수행시 사용되는 블록의 분할 형태인 3 형태 분할 방법과 4 형태 분할 방법의 조합을 나타낸다. 즉, 표 21 및 표 22에서 기술된 화면 내 예측 방법 및 화면 간 예측 방법에 사용되는 블록 분할의 범주는 여러가지 조합으로 사용되어 픽쳐의 예측에 사용되는 블록 분할 방법을 결정할 수 있다.
화면 내 예측을 사용하는 예측 단위를 포함하는 부호화 단위만을 포함하는 I슬라이스에 대하여 1 형태 분할 방법을 사용하는 경우와 2 형태 분할을 사용하는 경우에 대해 아래의 표 23과 같은 방법을 사용해 분할 타입에 관련된 정보를 전송할 수 있다.
표 25을 참조하면, I 슬라이스에서 1 형태 분할 방법을 사용하는 경우는 예측 단위로 분할하는 방법이 하나이기 때문에 분할 방법을 표현하기 위한 추가의 비트가 없이도 분할 정보를 표현할 수 있다. 하지만, I 슬라이스에서 2 형태 분할 방법을 사용하는 경우는 부호화 단위가 최소 부호화 단위이면 2Nx2N을 화면 내 예측을 수행하기 위한 예측 단위로 사용하지만 부호화 단위가 최소 부호화 단위이면 화면 내 예측을 수행하기 위한 예측 단위가 2Nx2N인지 아니면 NxN인지를 표시하기 위해 특정한 비트 정보를 이용하여 분할 타입을 표현할 수 있다. 예를 들어, 부호화 단위가 최소 부호화 단위이고 화면 내 예측을 수행하기 위한 예측 단위의 크기를 부호화 단위의 크기와 동일하게 설정하면(2Nx2N), 0으로 현재 부호화 단위의 분할 여부 정보를 표현할 수 있고, 부호화 단위가 최소 부호화 단위이고 화면 내 예측을 수행하기 위한 예측 단위의 크기를 부호화 단위를 4 분할한 크기로 설정하면(NxN), 1로써 현재 부호화 단위의 분할 여부 정보를 표현할 수 있다.
전술한 소정의 정보를 표현하기 위한 이진 부호화 방법 및 이진 비트는 하나의 실시예로써 이진 부호화 방법에 따라 달라질 수 있고, 이러한 변형도 본 발명의 권리 범위에 포함된다.
I 슬라이스가 아닌 P 슬라이스 또는 B 슬라이스에서는 화면 내 예측을 수행하기 위한 분할 방법인 1 형태 분할 방법 및 2 형태 분할 방법과 화면 간 예측을 수행하기 위한 3 형태 분할 방법과 4 형태 분할 방법이 조합되어 사용될 수 있다.
표 26은 본 발명의 실시예에 따른 화면 내 예측이 사용된 부호화 단위에서 사용되는 예측 단위와 화면 간 예측이 사용된 부호화 단위에서 사용되는 예측 단위의 정보를 전송하기 위한 신호 비트를 나타낸 표이다.
표 26를 참조하면, 화면 내 예측의 경우, 1 형태 분할, 화면 간 예측의 경우, 3 형태 분할이 사용될 수 있다. 전술한 바와 같이 inter_4x4_enabled_flag를 사용하여 현재 화면 간 예측의 분할 정보를 표현할 수 있다.
부호화 단위가 화면 내 예측을 사용하였을 경우의 신호는 000, 특정 부호화 단위가 화면 간 예측을 사용하였을 경우로써 2Nx2N의 예측 단위를 사용할 경우는 1, 2NxN의 예측 단위를 사용할 경우는 01, Nx2N의 예측 단위를 사용할 경우는 001로 표현될 수 있고 이러한 이진 부호를 통해 현재 부호화 단위에서 사용된 예측 단위를 구분하여 표현할 수 있다.
복호화기에서는 이러한 이진 부호 정보를 기초로 현재 프레임의 부호화 단위에서 사용된 예측 방법 및 부호화 단위의 분할 방법 정보를 제공받을 수 있다.
표 27은 본 발명의 또 다른 실시예에 따른 화면 내 예측이 사용된 부호화 단위에서 사용되는 예측 단위와 화면 간 예측이 사용된 부호화 단위에서 사용되는 예측 단위의 정보를 전송하기 위한 신호 비트를 나타낸 표이다.
표 27을 참조하면, 화면 내 예측의 경우, 1 형태 분할, 화면 간 예측의 경우, 4 형태 분할이 사용될 수 있다.
특정 부호화 단위가 최소 부호화 단위 크기에서 화면 내 예측을 사용하였을 경우는 0000최소 부호화 단위 크기가 아니고 화면 내 예측을 사용하였을 경우는 000, 특정 부호화 단위가 화면 간 예측을 사용하였을 경우로써 2Nx2N의 예측 단위를 사용할 경우는 1, 2NxN의 예측 단위를 사용할 경우는 01, Nx2N의 예측 단위를 사용할 경우는 001, 최소 부호화 단위의 크기에서는 NxN의 예측 단위를 사용할 수 있고 NxN 예측 단위를 사용할 경우는 0001을 사용하여 현재 부호화 단위의 분할 정보를 표현할 수 있다. 전술한 바와 같이 inter_4x4_enabled_flag를 사용하여 현재 화면 간 예측의 분할 정보를 표현할 수 있다.
마찬가지로 복호화기에서는 이러한 이진 부호 정보를 기초로 현재 프레임의 부호화 단위에서 사용된 예측 방법 및 부호화 단위의 분할 방법 정보를 제공받을 수 있다.
표 25 및 표 27와 같이 화면 내 예측 방법으로 한가지 방법이 사용되고 화면 내 예측 부호화 단위에서 화면 내 예측을 사용하였는지 또는 화면 간 예측을 사용하였는지 여부를 판단할 수 있는 경우, 화면 내 예측에 사용된 분할의 종류를 나타내기 위한 이진 부호는 사용되지 않을 수 있다.
표 28은 본 발명의 실시예에 따른 화면 내 예측이 사용된 부호화 단위에서 사용되는 예측 단위와 화면 간 예측이 사용된 부호화 단위에서 사용되는 예측 단위의 정보를 전송하기 위한 신호 비트를 나타낸 표이다.
표 28을 참조하면, 화면 내 예측의 경우, 2 형태 분할, 화면 간 예측의 경우, 3 형태 분할이 사용될 수 있다.
특정 부호화 단위가 화면 내 예측을 사용하였을 경우, 2 형태 분할 중 어떠한 분할 방법을 사용하였는지 여부 및 현재 부호화 단위가 최소 부호화 단위인지 여부에 따라 이진 부호를 다르게 할당하여 현재 부호화 단위가 예측 단위로 어떻게 분할되었는지를 부호화할 수 있다.
화면 내 예측에서 최소 부호화 단위가 아닌 경우, 2Nx2N 분할만을 사용하고 최소 부호화 단위인 경우, 2Nx2N과 NxN 분할을 사용하므로 최소 부호화 단위일 경우 화면 내 예측을 수행하는 부호화 단위에서 어떠한 분할 방법을 사용하였는지를 표시할 수 있는 이진 부호화 비트를 다르게 설정하여 현재 부호화 단위의 분할 방법 정보를 표현할 수 있다.
최소 부호화 단위일 경우, 2진 부호화 비트의 할당을 다르게 하는 것도 가능하지만, 부호화 단위의 크기 정보를 미리 판단할 수 있다면 2Nx2N 크기의 분할을 수행한 경우에 있어서, 현재 부호화 단위의 크기가 최소 부호화 단위인지 여부에 상관없이 동일한 비트를 할당하는 것도 가능하다.
또한, 전술한 바와 같이 현재 부호화 단위가 화면 내 예측인지를 미리 판단할 수 있고 부호화 단위의 크기가 최소 부호화 단위보다 큰 경우 분할 정보를 따로 이진 부호화하지 않을 수도 있고, 최소 부호화 단위이고 부호화 단위를 NxN으로 분할할 경우에 한해서 특정한 이진 부호를 기초로 한 이진 정보를 전송함으로써 현재 부호화 단위의 화면 내 예측을 위한 분할 정보를 표현할 수 있다.
특정 부호화 단위가 화면 간 예측을 사용하였을 경우, 3 형태 분할을 사용하므로 부호화 단위에서 화면 간 예측을 수행하기 위해 2Nx2N, 2NxN, NxN 중 어떠한 분할 방법을 사용하였는지를 나타내기 위해 표 28에서와 같은 이진 부호를 사용할 수 있다.
표 29는 본 발명의 실시예에 따른 화면 내 예측이 사용된 부호화 단위에서 사용되는 예측 단위와 화면 간 예측이 사용된 부호화 단위에서 사용되는 예측 단위의 정보를 전송하기 위한 신호 비트를 나타낸 표이다.
표 29를 참조하면, 화면 내 예측의 경우, 2 형태 분할, 화면 간 예측의 경우, 4 형태 분할이 사용될 수 있다.
특정 부호화 단위가 화면 내 예측을 사용하였을 경우, 2 형태 분할 중 어떠한 분할 방법을 사용하였는지 여부 및 현재 부호화 단위가 최소 부호화 단위인지 여부에 따라 이진 부호를 다르게 할당하여 현재 부호화 단위가 예측 단위로 어떻게 분할되었는지를 부호화할 수 있다.
표 29와 같이 화면 내 예측에서 최소 부호화 단위가 아닌 경우, 2Nx2N 분할만을 사용하고 최소 부호화 단위인 경우, 2Nx2N과 NxN 분할을 사용하므로 최소 부호화 단위일 경우 화면 내 예측을 수행하는 부호화 단위에서 어떠한 분할 방법을 사용하였는지를 표시할 수 있는 이진 부호를 다르게 설정하여 현재 부호화 단위의 분할 방법 정보를 표현할 수 있다.
표 25 내지 표 29와 같이 영상의 화면 내 예측 및 화면 간 예측에 사용되는 블록을 특정한 범주로 구분함으로써 영상의 부호화에 필요한 시간 및 영상의 복호화에 사용되는 시간을 감소시킬 수 있다.
표 25 내지 표 29에서 특정한 분할 타입 정보를 표시하기 위한 이진 부호화 방법은 다양하게 사용될 수 있고, 표 25 내지 표 29에서 표시된 이진 부호화 방법에 한정되지 않는다.
또한 특정한 분할 방법이 많이 사용되는 경우, 분할 방법과 이진 부호 사이의 매핑 정보가 포함되어 있는 매핑 테이블에서 많이 사용되는 분할 방법일수록 적은 수의 비트를 가지는 이진 부호를 할당하는 방법을 사용할 수 있다. 이러한 방법을 구현하기 위해 특정한 분할 방법을 사용할 경우, 매핑 테이블 순서상 바로 위에 위치한 상대적으로 더 작은 이진 부호화 비트가 할당되어 있는 분할 방법의 이진 부호화 비트와 현재 사용된 분할 방법에 할당된 이진 부호화 비트를 서로 변경함으로써 많이 사용되는 분할 방법에 적은 비트수를 할당할 수 있다. 또 다른 방법으로 카운터를 이용하여 특정한 임계값 이상이 되면 매핑 테이블상 이진 부호화의 할당을 변화시키는 방법도 사용될 수 있다.
부호화 단위의 분할 정보는 표 25 내지 표 29와 같이 독립된 정보로 표현되는 것도 가능하지만, 예를 들어, 예측 단위가 화면 간 예측을 수행시 예측 방법(예를 들어, Merge, AMVP, SKIP 등) 중 어떠한 방법을 사용했는지에 관련된 정보와 같은 부가적인 정보와 결합되어 표23 및 24와 같이 새로운 플래그 정보로 정의되는 것도 가능하다.
또한, 전술한 바와 같이 표 25 내지 표 29에서 사용된 이진 신호는 임의적인것으로써 다른 구문 구조에서 추가의 정보를 얻을 수 있다면, 현재 부호화 단위의 분할 방법을 표현하기 위한 이진 신호는 변화되거나 특정한 이진 신호를 사용하지 않고도 추정하는 방법을 사용하여 현재 부호화 단위의 분할 방법을 표현할 수 있다.
도 13은 본 발명의 또 다른 실시예에 따른 예측을 수행하는 블록을 소정의 범주로 구분하는 방법을 설명하기 위한 개념도이다.
도 13의 상단을 참조하면, 본 발명의 또 다른 실시예에 따른 화면 내 예측을 수행하기 위한 블록을 소정의 범주 구분하는 방법에서는 화면 내 예측 방법으로 근거리 화면 내 예측 방법(SDIP)을 추가적으로 사용될 수 있다. 근거리 화면 내 예측 방법을 화면 내 예측 방법으로 추가적으로 사용할 경우, 화면 내 예측을 수행시 사용할 수 있는 분할 단위로써 2Nxh(1300), hx2N(1305)이 추가될 수 있고 부호화 단위의 추가적인 분할 방법의 조합이 생성될 수 있다.
도 13의 하단을 참조하면, 본 발명의 또 다른 실시예에 따른 화면 간 예측을 수행하기 위한 블록을 소정의 범주 구분하는 방법에서는 AMP(Asymmetric Motion Partitioning, 이하, 비대칭 블록 분할 방법도 동일한 의미로 사용함) 방법을 추가적으로 사용할 수 있다. AMP 방법을 추가적으로 사용할 경우, 화면 간 예측을 수행시 사용할 수 있는 분할 단위로써 2NxnU(1310), 2NxnD(1315), hLx2N(1320), nRx2N(1325)을 사용할 수 있다. 즉, 근거리 화면 내 예측 방법 및 비대칭 움직임 분할 방법도 위의 표 25 내지 표 29에서 처럼 다양한 조합으로 생성되어 소정의 슬라이스에서 예측에 사용될 수 있다.
이상에서 설명한 영상 부호화 및 영상 복호화 방법은 도 1 및 도 2에서 전술한 각 영상 부호화기 및 영상 복호화기 장치의 각 구성부에서 구현될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110 : 예측부 115 : 변환부
120 : 양자화부 130 : 엔트로피 부호화부
145 : 필터부
120 : 양자화부 130 : 엔트로피 부호화부
145 : 필터부
Claims (3)
- 최소 부호화 단위의 크기 정보를 수신하는 단계;
부호화 단위의 분할 타입에 대한 정보를 수신하는 단계와;
상기 분할 타입에 대한 정보에 기초하여 상기 부호화 단위의 분할 타입을 판단하는 단계와;
상기 분할 타입에 따라 상기 부호화 단위를 복수의 예측 단위로 분할하는 단계와;
상기 예측 단위에 기초하여 상기 부호화 단위의 예측을 수행하는 단계를 포함하고,
상기 부호화 단위의 크기가 상기 최소 부호화 단위의 크기와 동일한 경우, 상기 부호화 단위는 4개의 동등한 예측 단위로 분할될 수 있는 것을 특징으로 하는 영상 복호화 방법. - 제1항에 있어서,
상기 부호화 단위가 화면 내 예측 모드로 부호화되고, 상기 부호화 단위의 크기가 상기 최소 부호화 단위의 크기와 동일하지 않은 경우,
2Nx2N의 분할 타입을 갖는 상기 부호화 단위를 NxN 크기의 예측 단위로 분할하지 않는 것을 특징으로 하는 영상 복호화 방법. - 제1항에 있어서,
상기 부호화 단위가 화면 간 예측 모드로 부호화되고, 상기 부호화 단위의 크기가 상기 최소 부호화 단위의 크기와 동일하지 않은 경우,
상기 부호화 단위의 분할 타입을 판단하는 단계는,
2Nx2N의 분할 타입을 갖는 상기 부호화 단위가 NxN 크기의 예측 단위로 분할되는지 여부를 판단하는 것을 특징으로 하는 영상 복호화 방법.
Applications Claiming Priority (13)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US38657910P | 2010-09-27 | 2010-09-27 | |
US61/386,579 | 2010-09-27 | ||
US38859210P | 2010-09-30 | 2010-09-30 | |
US61/388,592 | 2010-09-30 | ||
US38861210P | 2010-10-01 | 2010-10-01 | |
US61/388,612 | 2010-10-01 | ||
US40563510P | 2010-10-21 | 2010-10-21 | |
US40563810P | 2010-10-21 | 2010-10-21 | |
US61/405,635 | 2010-10-21 | ||
US61/405,638 | 2010-10-21 | ||
US42360210P | 2010-12-16 | 2010-12-16 | |
US61/423,602 | 2010-12-16 | ||
PCT/KR2011/006515 WO2012043989A2 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147015063A Division KR101579392B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150034293A KR20150034293A (ko) | 2015-04-02 |
KR101583200B1 true KR101583200B1 (ko) | 2016-01-07 |
Family
ID=45893602
Family Applications (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157036939A KR101719448B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020157005635A KR101583199B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020157005637A KR101583201B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020157005636A KR101583200B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020147015063A KR101579392B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020137005823A KR101465920B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020157005634A KR101583198B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020157036939A KR101719448B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020157005635A KR101583199B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020157005637A KR101583201B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147015063A KR101579392B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020137005823A KR101465920B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
KR1020157005634A KR101583198B1 (ko) | 2010-09-27 | 2011-09-02 | 블록 분할 방법 및 복호화 장치 |
Country Status (14)
Country | Link |
---|---|
US (4) | US10863196B2 (ko) |
EP (4) | EP2624567B1 (ko) |
KR (7) | KR101719448B1 (ko) |
CN (8) | CN108668137B (ko) |
DK (2) | DK3849194T3 (ko) |
ES (4) | ES2926171T3 (ko) |
FI (1) | FI4084478T3 (ko) |
HK (5) | HK1257974A1 (ko) |
HR (1) | HRP20231580T1 (ko) |
HU (3) | HUE059881T2 (ko) |
PL (4) | PL2624567T3 (ko) |
PT (2) | PT2624567T (ko) |
SI (2) | SI4084478T1 (ko) |
WO (1) | WO2012043989A2 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018174617A1 (ko) * | 2017-03-22 | 2018-09-27 | 한국전자통신연구원 | 블록 형태에 기반한 예측 방법 및 장치 |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9008175B2 (en) * | 2010-10-01 | 2015-04-14 | Qualcomm Incorporated | Intra smoothing filter for video coding |
WO2012063878A1 (ja) * | 2010-11-10 | 2012-05-18 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US20120163457A1 (en) * | 2010-12-28 | 2012-06-28 | Viktor Wahadaniah | Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus |
US10992958B2 (en) | 2010-12-29 | 2021-04-27 | Qualcomm Incorporated | Video coding using mapped transforms and scanning modes |
US8948271B2 (en) * | 2011-01-13 | 2015-02-03 | Texas Instruments Incorporated | Method and apparatus for a low complexity transform unit partitioning structure for HEVC |
WO2012134046A2 (ko) | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | 동영상의 부호화 방법 |
KR101383775B1 (ko) | 2011-05-20 | 2014-04-14 | 주식회사 케이티 | 화면 내 예측 방법 및 장치 |
EP4228264B1 (en) | 2011-06-23 | 2024-07-31 | Sun Patent Trust | Image decoding device, image encoding device |
USRE47366E1 (en) | 2011-06-23 | 2019-04-23 | Sun Patent Trust | Image decoding method and apparatus based on a signal type of the control parameter of the current block |
KR102067683B1 (ko) | 2011-06-24 | 2020-01-17 | 선 페이턴트 트러스트 | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치 |
CN106878722B (zh) * | 2011-06-24 | 2019-11-12 | 太阳专利托管公司 | 解码方法、解码装置、编码方法、编码装置 |
RU2608244C2 (ru) | 2011-06-27 | 2017-01-17 | Сан Пэтент Траст | Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений |
CN103563377B (zh) | 2011-06-28 | 2017-05-10 | 太阳专利托管公司 | 解码方法及解码装置 |
MX2013010892A (es) | 2011-06-29 | 2013-12-06 | Panasonic Corp | Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes. |
KR101943049B1 (ko) | 2011-06-30 | 2019-01-29 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 방법 및 장치 |
MY167090A (en) | 2011-06-30 | 2018-08-10 | Sun Patent Trust | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
AU2012277219A1 (en) | 2011-06-30 | 2013-09-19 | Sun Patent Trust | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device |
CN102857755B (zh) * | 2011-07-01 | 2016-12-14 | 华为技术有限公司 | 确定变换块尺寸的方法和设备 |
RU2604680C2 (ru) | 2011-07-11 | 2016-12-10 | Сан Пэтент Траст | Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений |
SI2744204T1 (sl) * | 2011-09-14 | 2019-02-28 | Samsung Electronics Co., Ltd., | Postopek dekodiranja enote za napovedovanje (PU) na podlagi njene velikosti |
CN103797794B (zh) * | 2011-09-16 | 2017-11-03 | 寰发股份有限公司 | 用于编码的方法和装置 |
JP2013085096A (ja) * | 2011-10-07 | 2013-05-09 | Sony Corp | 画像処理装置および方法 |
US9294774B2 (en) * | 2011-10-17 | 2016-03-22 | Kt Corporation | Adaptive transform method based on in-screen prediction and apparatus using the method |
CN107835414B (zh) | 2011-10-18 | 2020-11-06 | 株式会社Kt | 视频信号解码方法 |
EP3783899A1 (en) | 2011-10-24 | 2021-02-24 | Innotive Ltd | Methods for image encoding and decoding using intra prediction |
CN107071435A (zh) * | 2011-11-08 | 2017-08-18 | 株式会社Kt | 对视频信号进行解码的方法 |
US9955152B2 (en) * | 2012-02-07 | 2018-04-24 | Sun Patent Trust | Image coding method and image decoding method |
US9538172B2 (en) * | 2012-04-11 | 2017-01-03 | Qualcomm Incorporated | Grouping bypass coded syntax elements in video coding |
US10154257B2 (en) * | 2012-04-13 | 2018-12-11 | Sun Patent Trust | Image coding method in which offset is applied when an image is coded, and image decoding method in which offset is applied when an image is decoded |
US9912944B2 (en) * | 2012-04-16 | 2018-03-06 | Qualcomm Incorporated | Simplified non-square quadtree transforms for video coding |
GB2501535A (en) | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
US9264710B2 (en) * | 2012-07-06 | 2016-02-16 | Texas Instruments Incorporated | Method and system for video picture intra-prediction estimation |
KR102063385B1 (ko) * | 2013-01-30 | 2020-01-07 | 인텔 코포레이션 | 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩 |
SG10201913551WA (en) * | 2013-04-07 | 2020-03-30 | Dolby Int Ab | Signaling change in output layer sets |
WO2015015681A1 (ja) | 2013-07-31 | 2015-02-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像符号化方法および画像符号化装置 |
KR20160132891A (ko) * | 2014-03-13 | 2016-11-21 | 퀄컴 인코포레이티드 | 3d 비디오 코딩에 대한 제약된 깊이 인트라 모드 코딩 |
KR101616461B1 (ko) * | 2014-07-10 | 2016-04-29 | 전자부품연구원 | HEVC 부호화기에서의 적응적인 CU depth 범위 예측 방법 |
EP3276958A4 (en) * | 2015-03-23 | 2018-08-29 | LG Electronics Inc. | Method for processing image on basis of intra prediction mode and apparatus therefor |
WO2016178485A1 (ko) * | 2015-05-05 | 2016-11-10 | 엘지전자 주식회사 | 영상 코딩 시스템에서 코딩 유닛 처리 방법 및 장치 |
US20170134732A1 (en) * | 2015-11-05 | 2017-05-11 | Broadcom Corporation | Systems and methods for digital media communication using syntax planes in hierarchical trees |
US10154288B2 (en) | 2016-03-02 | 2018-12-11 | MatrixView, Inc. | Apparatus and method to improve image or video quality or encoding performance by enhancing discrete cosine transform coefficients |
JP2019515570A (ja) | 2016-05-02 | 2019-06-06 | 漢陽大学校産学協力団Industry−University Cooperation Foundation Hanyang University | 画面内予測を利用した映像符号化/復号化方法および装置 |
KR102523384B1 (ko) * | 2016-06-17 | 2023-04-20 | 세종대학교 산학협력단 | 비디오 신호의 복호화 방법 및 이의 장치 |
KR102471209B1 (ko) | 2016-09-20 | 2022-11-25 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
KR102528387B1 (ko) * | 2017-01-09 | 2023-05-03 | 에스케이텔레콤 주식회사 | 영상 부호화 또는 복호화하기 위한 장치 및 방법 |
KR20230143626A (ko) | 2017-03-22 | 2023-10-12 | 한양대학교 산학협력단 | 영상을 구성하는 화소값 범위를 이용한 영상 부호화/복호화 방법 |
CN117255197A (zh) * | 2017-03-22 | 2023-12-19 | 韩国电子通信研究院 | 基于块形式的预测方法和装置 |
CN115643399A (zh) * | 2017-08-22 | 2023-01-24 | 松下电器(美国)知识产权公司 | 图像编码器和图像解码器 |
WO2019059482A1 (ko) * | 2017-09-19 | 2019-03-28 | 삼성전자 주식회사 | 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
WO2019194502A1 (ko) * | 2018-04-01 | 2019-10-10 | 엘지전자 주식회사 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
CN118200541A (zh) | 2018-04-01 | 2024-06-14 | Lg电子株式会社 | 图像编码/解码设备、数据的发送设备以及存储介质 |
CN116055732A (zh) * | 2018-09-14 | 2023-05-02 | 华为技术有限公司 | 视频译码方法,设备以及非瞬时性计算机可读介质 |
EP4052467A4 (en) * | 2019-12-23 | 2023-04-19 | Huawei Technologies Co., Ltd. | ENCODER, DECODER AND RELATED METHODS OF DEDUCTING RESTRICTION FROM CODING BLOCK PARTITIONING |
CN111212284B (zh) * | 2020-01-10 | 2021-09-28 | 郑州师范学院 | 一种自适应块尺寸的视频隐写方法 |
US11770535B2 (en) * | 2021-02-19 | 2023-09-26 | Samsung Display Co., Ltd. | Systems and methods for joint color channel entropy encoding with positive reconstruction error |
US20220321909A1 (en) * | 2021-03-31 | 2022-10-06 | Tencent America LLC | Harmonized design between multiple reference line intra prediction and transform partitioning |
US11562460B1 (en) | 2021-06-25 | 2023-01-24 | Meta Platforms, Inc. | High performance hardware scaler |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08215326A (ja) * | 1995-02-15 | 1996-08-27 | Polymer Giya Kk | 墜落防止装置 |
EP1835762A3 (en) * | 1996-05-28 | 2007-10-03 | Matsushita Electric Industrial Co., Ltd. | decoding apparatus with intra prediction |
JP3748489B2 (ja) * | 1998-03-11 | 2006-02-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
US7031517B1 (en) * | 1998-10-02 | 2006-04-18 | Canon Kabushiki Kaisha | Method and apparatus for segmenting images |
AU2003281133A1 (en) * | 2002-07-15 | 2004-02-02 | Hitachi, Ltd. | Moving picture encoding method and decoding method |
JP2004249062A (ja) | 2002-12-27 | 2004-09-09 | Prop:Kk | 安全帯のロープ巻取器 |
US7466774B2 (en) * | 2003-01-07 | 2008-12-16 | Thomson Licensing | Mixed inter/intra video coding of macroblock partitions |
HUP0301368A3 (en) * | 2003-05-20 | 2005-09-28 | Amt Advanced Multimedia Techno | Method and equipment for compressing motion picture data |
US7792188B2 (en) * | 2004-06-27 | 2010-09-07 | Apple Inc. | Selecting encoding types and predictive modes for encoding video data |
KR20060010242A (ko) * | 2004-07-27 | 2006-02-02 | (주)지엔에스테크 | 작업자의 낙하 방지 장치 |
KR20060123939A (ko) * | 2005-05-30 | 2006-12-05 | 삼성전자주식회사 | 영상의 복부호화 방법 및 장치 |
KR100750128B1 (ko) * | 2005-09-06 | 2007-08-21 | 삼성전자주식회사 | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 |
KR100727988B1 (ko) * | 2005-10-01 | 2007-06-13 | 삼성전자주식회사 | 변환 영역에서의 dc 계수 예측 방법 및 장치 |
KR100750137B1 (ko) * | 2005-11-02 | 2007-08-21 | 삼성전자주식회사 | 영상의 부호화,복호화 방법 및 장치 |
GB2432140A (en) * | 2005-11-15 | 2007-05-16 | Latchways Plc | Fall arrest safety device |
EP1965589A1 (en) * | 2005-11-30 | 2008-09-03 | Kabushiki Kaisha Toshiba | Image encoding/image decoding method and image encoding/image decoding apparatus |
US20090310677A1 (en) * | 2006-07-28 | 2009-12-17 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and apparatus |
KR101266168B1 (ko) * | 2006-08-16 | 2013-05-21 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
JP4853199B2 (ja) * | 2006-09-25 | 2012-01-11 | 株式会社ニコン | 画像圧縮方法、装置、電子カメラ、およびプログラム |
US20080101473A1 (en) * | 2006-10-26 | 2008-05-01 | Matsushita Electric Industrial Co., Ltd. | Transcoding apparatus and transcoding method |
US8335261B2 (en) * | 2007-01-08 | 2012-12-18 | Qualcomm Incorporated | Variable length coding techniques for coded block patterns |
US7953284B2 (en) | 2007-03-29 | 2011-05-31 | James Au | Selective information handling for video processing |
JP5188875B2 (ja) | 2007-06-04 | 2013-04-24 | 株式会社エヌ・ティ・ティ・ドコモ | 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム |
US8422803B2 (en) | 2007-06-28 | 2013-04-16 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
BRPI0818444A2 (pt) * | 2007-10-12 | 2016-10-11 | Qualcomm Inc | codificação adaptativa de informação de cabeçalho de bloco de vídeo |
CN101415121B (zh) * | 2007-10-15 | 2010-09-29 | 华为技术有限公司 | 一种自适应的帧预测的方法及装置 |
KR100951301B1 (ko) | 2007-12-17 | 2010-04-02 | 한국과학기술원 | 비디오 부호화에서의 화면간/화면내 예측 부호화 방법 |
EP2081386A1 (en) | 2008-01-18 | 2009-07-22 | Panasonic Corporation | High precision edge prediction for intracoding |
KR101608426B1 (ko) * | 2008-03-28 | 2016-04-04 | 삼성전자주식회사 | 영상의 인트라 예측 부호화/복호화 방법 및 그 장치 |
CN101365138B (zh) * | 2008-10-10 | 2010-12-08 | 中国航天科技集团公司第五研究院第五〇四研究所 | 一种jpeg2000图像压缩处理*** |
US8675979B2 (en) * | 2008-12-12 | 2014-03-18 | Panasonic Corporation | Transcoder, method of transcoding, and digital recorder |
KR20100079037A (ko) * | 2008-12-30 | 2010-07-08 | 삼성전자주식회사 | 비디오 영상 부호화 방법 및 장치 |
KR20100095992A (ko) * | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
KR20100122386A (ko) | 2009-05-12 | 2010-11-22 | 삼성전자주식회사 | 영상 시퀀스에 인위적으로 삽입된 적어도 하나의 영상 프레임을 부호화/복호화하는 방법 및 장치 |
US8498330B2 (en) * | 2009-06-29 | 2013-07-30 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and apparatus for coding mode selection |
KR101452859B1 (ko) * | 2009-08-13 | 2014-10-23 | 삼성전자주식회사 | 움직임 벡터를 부호화 및 복호화하는 방법 및 장치 |
KR20110017302A (ko) * | 2009-08-13 | 2011-02-21 | 삼성전자주식회사 | 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치 |
KR101624649B1 (ko) * | 2009-08-14 | 2016-05-26 | 삼성전자주식회사 | 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
KR101487686B1 (ko) * | 2009-08-14 | 2015-01-30 | 삼성전자주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
KR101452860B1 (ko) * | 2009-08-17 | 2014-10-23 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
US20110194613A1 (en) * | 2010-02-11 | 2011-08-11 | Qualcomm Incorporated | Video coding with large macroblocks |
-
2011
- 2011-09-02 KR KR1020157036939A patent/KR101719448B1/ko active IP Right Grant
- 2011-09-02 SI SI201132097T patent/SI4084478T1/sl unknown
- 2011-09-02 ES ES21157930T patent/ES2926171T3/es active Active
- 2011-09-02 KR KR1020157005635A patent/KR101583199B1/ko active IP Right Grant
- 2011-09-02 CN CN201810338109.4A patent/CN108668137B/zh active Active
- 2011-09-02 SI SI201132065T patent/SI3849194T1/sl unknown
- 2011-09-02 PL PL11829495T patent/PL2624567T3/pl unknown
- 2011-09-02 HU HUE21157930A patent/HUE059881T2/hu unknown
- 2011-09-02 HU HUE22180460A patent/HUE064571T2/hu unknown
- 2011-09-02 KR KR1020157005637A patent/KR101583201B1/ko active Application Filing
- 2011-09-02 EP EP11829495.8A patent/EP2624567B1/en active Active
- 2011-09-02 CN CN201180046557.3A patent/CN103141105B/zh active Active
- 2011-09-02 PL PL20155451T patent/PL3675501T3/pl unknown
- 2011-09-02 DK DK21157930.5T patent/DK3849194T3/da active
- 2011-09-02 PL PL21157930.5T patent/PL3849194T3/pl unknown
- 2011-09-02 ES ES20155451T patent/ES2868133T3/es active Active
- 2011-09-02 CN CN201810338442.5A patent/CN108650518B/zh active Active
- 2011-09-02 PT PT118294958T patent/PT2624567T/pt unknown
- 2011-09-02 ES ES22180460T patent/ES2967280T3/es active Active
- 2011-09-02 FI FIEP22180460.2T patent/FI4084478T3/fi active
- 2011-09-02 KR KR1020157005636A patent/KR101583200B1/ko active IP Right Grant
- 2011-09-02 CN CN201810337750.6A patent/CN108347620B/zh active Active
- 2011-09-02 CN CN201510671544.5A patent/CN105392017B/zh active Active
- 2011-09-02 US US13/823,208 patent/US10863196B2/en active Active
- 2011-09-02 CN CN201810338145.0A patent/CN108737843B/zh active Active
- 2011-09-02 EP EP21157930.5A patent/EP3849194B1/en active Active
- 2011-09-02 DK DK11829495.8T patent/DK2624567T3/da active
- 2011-09-02 KR KR1020147015063A patent/KR101579392B1/ko active IP Right Grant
- 2011-09-02 PT PT211579305T patent/PT3849194T/pt unknown
- 2011-09-02 KR KR1020137005823A patent/KR101465920B1/ko active IP Right Grant
- 2011-09-02 EP EP20155451.6A patent/EP3675501B1/en active Active
- 2011-09-02 KR KR1020157005634A patent/KR101583198B1/ko active IP Right Grant
- 2011-09-02 CN CN201810337714.XA patent/CN108366270B/zh active Active
- 2011-09-02 WO PCT/KR2011/006515 patent/WO2012043989A2/ko active Application Filing
- 2011-09-02 CN CN201810337198.0A patent/CN108737842B/zh active Active
- 2011-09-02 HU HUE11829495A patent/HUE049395T2/hu unknown
- 2011-09-02 PL PL22180460.2T patent/PL4084478T3/pl unknown
- 2011-09-02 EP EP22180460.2A patent/EP4084478B1/en active Active
- 2011-09-02 ES ES11829495T patent/ES2784198T3/es active Active
- 2011-09-02 HR HRP20231580TT patent/HRP20231580T1/hr unknown
-
2019
- 2019-01-09 HK HK19100336.2A patent/HK1257974A1/zh unknown
- 2019-01-09 HK HK19100331.7A patent/HK1257969A1/zh unknown
- 2019-01-09 HK HK19100332.6A patent/HK1257970A1/zh unknown
- 2019-01-09 HK HK19100330.8A patent/HK1257968A1/zh unknown
- 2019-01-09 HK HK19100104.2A patent/HK1257808A1/zh unknown
-
2020
- 2020-11-05 US US17/090,519 patent/US11375233B2/en active Active
-
2022
- 2022-05-27 US US17/827,093 patent/US11895333B2/en active Active
- 2022-06-14 US US17/840,272 patent/US20220321911A1/en active Pending
Non-Patent Citations (1)
Title |
---|
Draft:JCTVC-B205* |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018174617A1 (ko) * | 2017-03-22 | 2018-09-27 | 한국전자통신연구원 | 블록 형태에 기반한 예측 방법 및 장치 |
US11284076B2 (en) | 2017-03-22 | 2022-03-22 | Electronics And Telecommunications Research Institute | Block form-based prediction method and device |
US11917148B2 (en) | 2017-03-22 | 2024-02-27 | Electronics And Telecommunications Research Institute | Block form-based prediction method and device |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101583200B1 (ko) | 블록 분할 방법 및 복호화 장치 | |
JP7198268B2 (ja) | 画像復号化方法、画像符号化方法及びコンピュータ可読記録媒体 | |
KR101859079B1 (ko) | 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치 | |
KR101569086B1 (ko) | 화면 내 예측 모드 매핑 방법 및 이러한 방법을 사용하는 장치 | |
KR101965388B1 (ko) | 양자화 계수 부/복호화 방법 및 이러한 방법을 사용하는 장치 | |
KR20180025283A (ko) | 비디오 신호 처리 방법 및 장치 | |
KR20180025284A (ko) | 비디오 신호 처리 방법 및 장치 | |
KR20140018873A (ko) | 영상 정보 부호화 방법 및 복호화 방법 | |
CA3141350A1 (en) | Video coding method and apparatus using adaptive parameter set | |
KR20180086094A (ko) | 비디오 신호의 부호화 또는 복호화 방법 및 장치 | |
KR101468078B1 (ko) | 화면 내 예측 방법 및 장치 | |
KR20210035062A (ko) | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 | |
KR20170142870A (ko) | 비디오 신호의 복호화 방법 및 이의 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20181114 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20191114 Year of fee payment: 5 |