KR20180011285A - 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 - Google Patents
적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 Download PDFInfo
- Publication number
- KR20180011285A KR20180011285A KR1020180005115A KR20180005115A KR20180011285A KR 20180011285 A KR20180011285 A KR 20180011285A KR 1020180005115 A KR1020180005115 A KR 1020180005115A KR 20180005115 A KR20180005115 A KR 20180005115A KR 20180011285 A KR20180011285 A KR 20180011285A
- Authority
- KR
- South Korea
- Prior art keywords
- mpm
- block
- intra prediction
- current block
- mode
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 인트라 예측 모드 (Intra Prediction Mode)로 결정된 블록의 모드 정보를 부호화 할 때, 현재 부호화 하고자 하는 블록의 주변 블록의 인트라 예측 모드들 중 최적의 모드로 선택될 확률이 가장 높은 최고 확률 모드 ( MPM : Most Probable Mode )을 기존의 방법보다 정확한 선택 조건을 통해 적어도 1개의 MPM 후보군을 선택하여 부호화 효율을 높이는 것을 목적으로 한다. 정확한 조건을 통해 1개 이상의 MPM 후보군을 선택하게 되면 현재 부호화 하고자 하는 블록의 인트라 예측 모드와 MPM이 같을 확률이 높아지게 되고, 현재 블록의 인트라 예측 모드와 MPM이 같은 것이 높은 확률로 존재하게 되면 부호의 길이가 짧아져 압축 효율을 가져올 수 있다. 정확한 조건이란 주변 블록이 얼마나 잘 예측되었는지를 판단하는 기준을 제시해 잘 예측되어 있는 예측 모드를 우선으로 MPM 후보군으로 설정함으로써 적중율을 높이고자 한다. 또한 참조하는 주변 블록의 패턴을 고정된 개수인 2개에도 상기 언급된 예측 판단 기준을 적용할 수 있으며, 그 이외에도 다양한 방향성의 예측 방향이 있기 때문에 다양한 방향에 위치한 주변 블록에 상기 언급된 예측 판단 기준을 적용하여 MPM 후보군을 설정함으로써 적중율을 높이고자 한다.
Description
본 발명은 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 인트라 예측을 통해 영상을 부호화하는 방법 및 장치, 그리고 복호화 방법 및 장치에 관한 것이다.
H.264/AVC(Advanced Video Coding)와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처(picture)를 여러 개의 매크로 블록(macro block)으로 나누고, 인트라 예측(intra prediction)을 이용해 각각의 매크로 블록을 부호화할 수 있다.
인트라 예측은 현재 픽처 내에서 부호화하려는 대상 블록과 공간적으로 인접한 화소값을 참조하여 부호화하려는 현재 블록에 대한 예측값을 계산한 후, 예측값과 현재 블록의 화소값의 차이를 계산하여 잔여 영상을 생성하고, 상기 잔여 영상에 대해 이산 여현 변환(discrete cosine transform, DCT)과 양자화를 거쳐 부호화한다. 여기서, 현재 블록의 화소값을 예측하기 위해 다양한 인트라 예측 모드가 존재하는데, 크게 휘도 성분의 4×4 인트라 예측 모드, 8×8 인트라 예측 모드, 16×16 인트라 예측 모드 및 색차 성분의 인트라 예측 모드로 나뉜다. H.264/AVC의 4×4 인트라 예측 모드의 경우, 인트라 예측을 위한 9가지 예측 모드를 가질 수 있다.
9가지 인트라 예측 모드는 통계적인 사용 빈도수에 따라 각각 0 내지 8의 모드 번호를 가지고 있다. 즉, 0번 모드가 통계적으로 사용되는 빈도수가 가장 많고, 8번 모드가 사용되는 빈도수가 가장 적다.
인트라 예측 모드에서 다양한 방향으로 예측을 하기 위해 예측 모드의 개수가 늘어나면서 예측 모드를 부호화 하기 위해 많은 비트가 필요하게 된다. 인트라 예측 모드의 부호화를 보다 효율적으로 하기 위해 H.264/AVC 방식에서는 현재 부호화하고자 하는 블록의 주변 블록의 예측 모드들 중 최적의 모드로 선택될 확률이 가장 높은 모드를 최고 확률 모드(Most Probable Mode, MPM)으로 정의하고, 이를 이용한 부호화 과정을 통해 부호화 효율을 높이고자 하였다.
도 1은 현재 블록과 주변 블록의 위치를 도시하는 개념도이다.
도 1을 참조하면, 상기 H.264/AVC에서 현재 블록(100)의 인트라 예측 방향에 대한 정보는 현재 블록(100)의 상부에 인접한 상부 블록(101) 및 좌측에 인접한 좌측 블록(103)의 인트라 예측 방향을 참조하여 부호화된다. 상부 블록(101) 및 좌측 블록(103)은 현재 블록(100)을 부호화하는 단계 이전에 부호화가 완료되어 각각 인트라 예측 방향에 대한 정보를 가지고 있고, 수신 측에서도 현재 블록을 복호화하는 단계 이전에 복호화가 완료되어 인트라 예측 방향에 대한 정보를 참조하는 것이 가능하다.
우선, RD(Rate-Distortion) 비용에 의해 현재 블록(100)의 인트라 예측 모드 번호를 결정한다. 다음으로 상부 블록(101) 및 좌측 블록(103)의 인트라 예측 모드 번호 중 최소값을 MPM으로 정의하고, 현재 블록(100)의 인트라 예측 모드 번호와 비교한다. 상기 인트라 예측 모드 번호는 통계적인 사용 빈도수에 따라 0~8의 번호가 할당되어 있기 때문에, 주변 블록의 인트라 예측 모드 번호 중 최소값이 현재 블록의 인트라 예측 모드 번호와 일치할 확률이 높다.
도 2는 MPM을 이용한 영상의 인트라 예측 부호화 과정을 나타내는 개념도이다.
도 2에 도시된 바와 같이 인트라 예측 부호화 과정은 주변 블록의 예측 모드를 이용해 MPM을 선택하고 이를 현재 블록에서 결정된 최적 모드와 비교하여 인트라 예측 모드 정보를 부호화 한다. 즉, 최고 확률 모드(MPM) 선택부(210)는 주변 블록들의 예측 모드를 기반으로 MPM을 선택하고, 현재 블록 공간 예측부(220)가 현재 블록(100)에 대해서 인트라 예측을 수행하고, 율-왜곡 최적화부(230)는 현재 블록(100)에 대해 율-왜곡 비용에 의해 현재 블록의 최적 모드를 결정한다. 엔트로피 부호화부(240)에서는 상기 최고 확률 모드(MPM)과 현재 블록의 최적 모드를 기반으로 인트라 예측 모드 정보를 부호화하여, 비트열을 생성한다.
도 3은 H.264/AVC 방식의 1개의 MPM을 이용한 인트라 예측 모드 부호화 방법의 흐름도이다.
도 3에 도시된 바와 같이, H.264/AVC에서는 MPM을 하나만 사용하고 있고, MPM은 좌측 블록과 상단 블록의 예측 모드 중 모드 번호가 작은 모드로 결정된다. 모드 번호가 작은 것으로 결정되는 이유는 모드 번호는 통계적인 사용 빈도에 의해 발생 확률이 높은 순서로 모드 번호가 메겨져 있기 때문에 모드 번호가 작은 모드일수록 발생 확률이 더 높기 때문이다.
도 3을 참조하여, H.264/AVC에서의 MPM을 이용한 인트라 예측 모드의 엔트로피 부호화 과정을 설명하면, 주변 블록의 모드 중 모드 번호가 작은 모드인 MPM과 현재 블록에서 율-왜곡 최적화 부에서 결정된 최적 모드가 같은지 여부를 비교하여(S310) 현재 블록 최적 모드가 MPM과 같을 경우 최고 확률 모드와 같음을 의미하는 “1”로 부호화(S330)하고 복호기에 전송된다. MPM과 현재 블록의 최적 모드가 다를 경우에는 MPM과 다름을 의미하는 “0”이 우선 비트열에 삽입되게 되고 그 후 최적 모드를 직접 엔트로피 코딩(S320)하여 전송한다. 이 기법은 각 블록의 인트라 예측 모드가 해당 블록에 존재하는 에지(edge)의 방향성을 표현해준다는 사실에 근거해 현재 블록 주변의 구조에 적합한 MPM을 결정할 수 있지만, 현재 블록의 인트라 예측 모드가 결정된 MPM과 일치하지 않을 경우 정보의 압축 효과가 전혀 없게 된다.
한편, 인트라 예측 모드의 방향이 9개인 H.264/AVC 방식에 비해, 현재 표준화 진행중에 있는 차세대 고효율 압축 비디오 코덱(High Efficient Video Coding, HEVC) 방식에서는 예측 성능을 높이기 위해 인트라 예측 모드의 방향이 최대 34개 까지 늘어남으로써 인트라 예측 모드의 효율적 부호화가 더욱 중요하게 되었다. 따라서, HEVC 방식에서는 현재 블록의 인트라 예측 모드와 MPM이 일치할 확률을 높이기 위해 MPM 후보를 한 개가 아닌 고정된 개수인 2개로 늘리는 방법이 제안되었다.
도 4는 HEVC 방식에서 2개의 MPM을 이용한 인트라 예측 모드의 부호화 방법을 나타내는 흐름도이다.
도 4에 도시된 바와 같이, 전체적인 과정은 앞서 설명한 H.264/AVC와 같지만, MPM 후보를 한 개가 아닌 두 개로 설정하여 현재 블록의 모드와 MPM이 같을 확률을 높이고자 하였다. MPM 중 첫 번째 후보(MPM[0])는 H.264/AVC와 같이 좌측 블록과 상측 블록의 예측 모드 중 모드 번호가 작은 것으로 설정되고, 두 번째 후보는 모드(MPM[1])는 번호가 큰 것으로 설정된다. 이와 같이 함으로써 좌측 블록과 상측 블록의 예측 모드 모두를 고려함으로써 현재 블록과 MPM이 같을 경우의 수가 더 늘어나게 된다. 두 모드가 일치할 확률이 높을수록 비트열의 길이는 줄어들 수 있으므로 압축 효율 향상을 가져올 수 있다.
도 4를 참조하여, HEVC 방식에서 MPM을 이용한 인트라 예측 모드의 엔트로피 부호화 과정을 설명하면, 주변 블록의 모드 중 모드 번호가 작은 모드인 MPM[0]과 현재 블록에서 율-왜곡 최적화 부에서 결정된 최적 모드가 같은지 여부를 비교하여(S410) 현재 블록 최적 모드가 MPM[0]과 같을 경우 MPM[0]과 같음을 의미하는 “10”으로 부호화(S420)하고 복호기에 전송된다. MPM[0]과 현재 블록의 최적 모드가 다를 경우에는 주변 블록의 모드 중 모드 번호가 큰 모드인 MPM[1]과 현재 블록에서 율-왜곡 최적화 부에서 결정된 최적 모드가 같은지 여부를 비교하여(S430) 현재 블록 최적 모드가 MPM[1]과 같을 경우 MPM[1]과 같음을 의미하는 “11”로 부호화(S440)하고 복호기에 전송한다. 현재 블록 최적 모드가 MPM[1]과 다를 경우, MPM[1]과 다름을 의미하는 “0”이 우선 비트열에 삽입되게 되고 그 후 최적 모드를 직접 엔트로피 코딩(S450)하여 전송한다.
하지만 이와 같이 전체적인 통계적 특성에 근거해 정렬되어 있는 모드 번호를 기준으로 MPM 후보군을 설정하는 것에는 약점이 있다. 평균적으로 발생 빈도를 구했을 경우 많이 나오는 예측 모드가 항상 현재 블록의 예측 모드와 일치하지는 않기 때문이다. 예를 들어 좌측 블록이 평균적 발생 빈도가 더 높은 수직 방향이고 상측 블록이 발생 빈도가 낮은 수평 방향일 경우, 현재 블록이 항상 수직 방향의 예측 모드가 되지는 않는다.
전술한 문제점을 해결하기 위해 본 발명에서는 모드 번호가 최소인 것을 MPM 후보군으로 두는 것이 아니라 주변 블록의 예측 모드가 얼마나 정확히 예측 되었는지 여부를 검출하여 정확하게 예측된 예측 모드를 1개 이상의 MPM 후보군으로 설정함으로써 MPM과 현재 블록의 최적 예측 모드가 동일할 확률을 더욱 높이고자 한다. 더욱 정확하게 예측된 주변 블록을 선택하기 위해서 주변 블록의 잔여 영상의 변환 계수 값의 크기, 0이 아닌 변환 계수의 개수, 부호화 블록 패턴(coded block pattern, CBP) 또는 부호화 블록 플래그(coded block flag, CBF)를 고려하고자 한다.
전술한 문제점을 해결하기 위한 본 발명의 목적은 주변 블록의 예측 정확도를 고려함으로써, 보다 높은 적중률을 갖는 MPM을 통해 영상을 부호화하는 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 주변 블록의 예측 정확도를 고려함으로써, 보다 높은 적중률을 갖는 MPM을 통해 영상을 복호화하는 장치 및 방법을 제공하는 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상의 부호화 방법은, 입력 영상의 예측 유닛의 현재 블록 이전에 부호화된 주변 블록의 인트라 예측 정확도를 검출하는 단계; 상기 주변 블록의 인트라 예측 정확도를 기반으로 적어도 하나의 상기 현재 블록의 MPM(Most Probable Mode)을 결정하는 단계; 및 상기 MPM을 기반으로 상기 현재 블록을 인트라 예측하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상의 부호화 장치는 입력 영상의 예측 유닛의 현재 블록 이전에 부호화된 주변 블록의 인트라 예측 정확도를 검출하는 정확도 검출부; 상기 주변 블록의 인트라 예측 정확도를 기반으로 적어도 하나의 상기 현재 블록의 MPM(Most Probable Mode)을 결정하는 MPM 결정부; 및 상기 MPM을 기반으로 상기 현재 블록을 인트라 예측하는 현재 블록 인트라 예측부를 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상의 복호화 방법은 수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화하고 역변환하여 잔여값을 복원하고 현재 블록 이전에 복호화된 주변 블록의 인트라 예측 정확도를 검출하는 단계; 상기 주변 블록의 인트라 예측 정확도를 기반으로 적어도 하나의 상기 현재 블록의 MPM(Most Probable Mode)을 결정하는 단계; 및 상기 MPM을 기반으로 상기 현재 블록을 인트라 예측하는 단계를 포함하는 것을 특징으로 할 수 있다. 여기서, 상기 정확도를 검출하는 단계는 상기 주변 블록의 잔여 영상의 변환 계수 중 0이 아닌 변환 계수의 수를 검출하고, 상기 MPM을 결정하는 단계는 상기 0이 아닌 변환 계수의 수가 미리 설정한 임계값 이하인 경우 상기 주변 블록을 MPM으로 결정하는 것을 특징으로 할 수 있다. 또한, 상기 정확도를 검출하는 단계는 상기 주변 블록의 잔여 영상의 변환 계수의 평균값을 검출하고, 상기 MPM을 결정하는 단계는 상기 변환 계수의 평균값이 미리 설정한 임계값 이하인 경우 상기 주변 블록을 MPM으로 결정하는 것을 특징으로 할 수 있다. 또는, 상기 정확도를 검출하는 단계는 상기 주변 블록의 잔여 영상의 변환 계수 중 0이 아닌 변환 계수의 존재 여부를 지시하는 부호화 블록 플래그(Coded Block Flag, CBF)를 생성하고, 상기 MPM을 결정하는 단계는 상기 CBF가 0이 아닌 변환 계수가 없음을 지시하는 경우 상기 주변 블록을 MPM으로 결정하는 것을 특징으로 할 수도 있다. 여기서, 상기 주변 블록은 현재 블록의 좌측 블록 및 상부 블록을 포함하는 것을 특징으로 할 수 있고, 상기 주변 블록은 현재 블록의 좌측 블록, 좌측 상부 블록, 상부 블록, 우측 상부 블록 및 좌측 하부 블록을 포함하는 것을 특징으로 할 수도 있다.
본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상의 복호화 장치는 수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화하고 역변환하여 잔여값을 복원하고 현재 블록 이전에 복호화된 주변 블록의 인트라 예측 정확도를 검출하는 정확도 검출부; 상기 주변 블록의 인트라 예측 정확도를 기반으로 적어도 하나의 상기 현재 블록의 MPM(Most Probable Mode)을 결정하는 MPM 결정부; 및 상기 MPM을 기반으로 상기 현재 블록을 인트라 예측하는 현재 블록 인트라 예측부를 포함하는 것을 특징으로 할 수 있다. 여기서, 상기 정확도 검출부는 상기 주변 블록의 잔여 영상의 변환 계수 중 0이 아닌 변환 계수의 수를 검출하고, 상기 MPM 결정부는 상기 0이 아닌 변환 계수의 수가 미리 설정한 임계값 이하인 경우 상기 주변 블록을 MPM으로 결정하는 것을 특징으로 할 수 있다. 또한, 상기 정확도 검출부는 상기 주변 블록의 잔여 영상의 변환 계수의 평균값을 검출하고, 상기 MPM 결정부는 상기 변환 계수의 평균값이 미리 설정한 임계값 이하인 경우 상기 주변 블록을 MPM으로 결정하는 것을 특징으로 할 수 있다. 또는, 상기 정확도 검출부는 상기 주변 블록의 잔여 영상의 변환 계수 중 0이 아닌 변환 계수의 존재 여부를 지시하는 부호화 블록 플래그(Coded Block Flag, CBF)를 생성하고, 상기 MPM 결정부는 상기 CBF가 0이 아닌 변환 계수가 없음을 지시하는 경우 상기 주변 블록을 MPM으로 결정하는 것을 특징으로 할 수 있다. 여기서, 상기 주변 블록은 현재 블록의 좌측 블록 및 상부 블록을 포함하는 것을 특징으로 할 수 있고, 상기 주변 블록은 현재 블록의 좌측 블록, 좌측 상부 블록, 상부 블록, 우측 상부 블록 및 좌측 하부 블록을 포함하는 것을 특징으로 할 수도 있다.
전술한 적중률이 높은 MPM을 통한 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치에 따르면, 주변 블록의 예측 정확도를 고려함으로써, 보다 높은 적중률을 갖는 MPM을 통해 영상을 부호화 및 복호화 할 수 있다.
따라서, 이 방법을 통해 보다 적중율이 높은 MPM 후보군을 제시함으로써 현재 블록의 예측 모드와 MPM이 같을 확률을 높여준다. 이 확률이 높아질수록 MPM을 이용한 인트라 예측 모드 부호화가 많이 이루어지게 되고, 결과적으로 전체 인트라 예측 모드의 비트율을 줄이는 효과를 얻어 전체 압축 효율 증가를 얻을 수 있다.
도 1은 현재 블록과 주변 블록의 위치를 도시하는 개념도이다.
도 2는 MPM을 이용한 영상의 인트라 예측 부호화 과정을 나타내는 개념도이다.
도 3은 H.264/AVC 방식의 1개의 MPM을 이용한 인트라 예측 모드 부호화 방법의 흐름도이다.
도 4는 HEVC 방식의 2개의 MPM을 이용한 인트라 예측 모드 부호화 방법의 흐름도이다.
도 5는 HEVC 방식의 35가지 인트라 예측 모드의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 영상의 부호화 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 주변 블록의 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 주변 블록의 예시도이다.
도 9는 본 발명의 일 실시예에 따른 영상의 부호화 장치의 블록도이다.
도 10은 본 발명의 일 실시예에 따른 영상의 복호화 방법의 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 영상의 복호화 장치의 블록도이다.
도 12는 본 발명의 일 실시예에 따른 영상의 부호화 장치의 블록도이다.
도 13은 본 발명의 일 실시예에 따른 영상의 복호화 장치의 블록도이다.
도 2는 MPM을 이용한 영상의 인트라 예측 부호화 과정을 나타내는 개념도이다.
도 3은 H.264/AVC 방식의 1개의 MPM을 이용한 인트라 예측 모드 부호화 방법의 흐름도이다.
도 4는 HEVC 방식의 2개의 MPM을 이용한 인트라 예측 모드 부호화 방법의 흐름도이다.
도 5는 HEVC 방식의 35가지 인트라 예측 모드의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 영상의 부호화 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 주변 블록의 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 주변 블록의 예시도이다.
도 9는 본 발명의 일 실시예에 따른 영상의 부호화 장치의 블록도이다.
도 10은 본 발명의 일 실시예에 따른 영상의 복호화 방법의 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 영상의 복호화 장치의 블록도이다.
도 12는 본 발명의 일 실시예에 따른 영상의 부호화 장치의 블록도이다.
도 13은 본 발명의 일 실시예에 따른 영상의 복호화 장치의 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하, 도면을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다. 이하의 실시예는 본 발명에 따른 영상의 인트라 예측 모드 부호화 방법 및 그 장치의 기술적 사상을 실현하기 위한 구체적인 실시 형태를 설명하기 위한 것으로, 본 발명의 기술적 범위가 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 5는 HEVC 방식의 35가지 인트라 예측 모드의 예시도이다.
도 5에 도시된 바와 같이 차세대 비디오 코덱 HEVC 방식에서는 인트라 예측의 방향이 최대 35가지로 확장되면서 35가지 모드들 중 적중율이 높은 MPM을 결정하는 것이 중요하게 되었다. 상기 기술적 과제를 해결하기 위해 전체적 통계적 특성에만 근거하지 않고 지역적 통계적 특성에 근거하여 현재 블록에 대한 최적의 인트라 예측 모드와 동일할 확률이 높은, 즉 적중률이 높은 MPM을 적어도 1개 이상을 제시하여 인트라 예측 모드의 부호화 효율을 높이고자 한다. 또한 주변 블록을 참조할 때 좌측 블록와 상단 블록만을 참조할 수도 있고, 또한 다양한 방향성을 띄는 경우에는 다른 위치의 주변 블록과의 상관도가 높을 수 있기 때문에 좌측 상단과 상단 블록을 참조하는 것은 물론, 좌측 상단의 블록과 좌측 하단 블록, 우측 상단의 블록 또한 MPM 결정시 참조할 수 있다.
부호화 방법
도 6은 본 발명의 일 실시예에 따른 영상의 부호화 방법의 흐름도이다. 먼저 적중률 높은 MPM을 설정하기 위한 기준에 대해서 설명한다. MPM의 적중률을 높이기 위해 현재 블록의 주변 블록이 해당 예측 모드로 얼마나 정확히 예측 되었는지를 기준으로 MPM을 설정한다. 본 발명에서는 기존 방법처럼 전체적 통계적 특성에 근거해 발생 빈도가 높은 예측 모드를 우선 MPM으로 설정하지 않고, 지역적 특성을 고려하기 위해 주변 블록이 해당 모드를 이용해 얼마나 잘 예측이 되었는지를 고려하여 보다 정확히 예측되어있는 주변 블록의 해당 모드를 우선적으로 적어도 1개 이상의 MPM으로 설정하도록 하여 적중율을 높이고자 한다.
도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상의 부호화 방법은 입력 영상의 예측 유닛의 현재 블록의 이전에 부호화된 주변 블록의 인트라 예측 정확도를 검출하는 단계(S610), 상기 주변 블록의 인트라 예측 정확도를 기반으로 적어도 하나의 상기 현재 블록의 MPM(Most Probable Mode)을 결정하는 단계(S620) 및 상기 MPM을 기반으로 상기 현재 블록을 인트라 예측하는 단계(S630)를 포함할 수 있다.
여기서, 주변 블록이 해당 모드를 이용해 예측이 잘 된 정도를 판단하는 기준, 즉 상기 주변 블록의 인트라 예측 정확도를 검출하는 단계(S610)는 다양한 기준이 적용될 수 있다.
인트라 예측은 현재 픽처 내에서 부호화하려는 대상 블록과 공간적으로 인접한 화소값을 참조하여 부호화하려는 블록에 대한 예측값을 계산한 후, 예측값과 원본 영상의 화소값의 차이를 계산하여 잔여 영상을 생성하고, 상기 잔여 영상에 대해 이산 여현 변환(discrete cosine transform, DCT)과 양자화를 거쳐 부호화한다.
따라서, 예측의 정확도가 높다면, 각 주변 블록을 해당하는 인트라 예측 모드를 통해 예측하여 예측값을 계산한 후 원본 영상과 차를 구한 잔여 영상의 값이 거의 0이 될 것이다. 잔여 영상의 값이 임의로 정해진 임계값 이하일 경우 예측이 잘 되어 인트라 예측 정확도가 높은 것으로 판단하는 기준이 될 수 있다.
복호기 측에서 알 수 있는 값은 상기 잔여 영상을 변환하여 생성된 변환 계수와 예측 모드이기 때문에, 주변 블록의 잔여 영상의 변환 계수들 중 0이 아닌 계수의 수를 검출하여, 0이 아닌 계수의 수가 정해진 임계값 이하인 경우 예측이 잘 되었다고 판단하여 해당 주변 블록을 우선 MPM으로 설정할 수 있다.
보다 구체적으로, 상기 정확도를 검출하는 단계(S610)는 상기 주변 블록의 잔여 영상의 변환 계수 중 0이 아닌 변환 계수의 수를 검출할 수 있고, 상기 MPM을 결정하는 단계(S620)는 상기 0이 아닌 변환 계수의 수가 미리 설정한 임계값 이하인 경우 상기 주변 블록을 MPM으로 결정할 수 있다.
두 번째 기준으로는, 주변 블록의 잔여 영상의 변환 계수의 평균값이 임계값 이하일 경우도 예측이 잘 되었다는 기준이 될 수 있으므로, 이 경우 해당 주변 블록을 우선 MPM으로 설정할 수 있다.
보다 구체적으로, 상기 정확도를 검출하는 단계(S610)는 상기 주변 블록의 잔여 영상의 변환 계수의 평균값을 검출하고, 상기 MPM을 결정하는 단계(S620)는 상기 변환 계수의 평균값이 미리 설정한 임계값 이하인 경우 상기 주변 블록을 MPM으로 결정할 수 있다.
세 번째 기준으로는, 간단하게 부호화 블록 패턴(coded block pattern, CBP) 또는 부호화 블록 플래그(coded block flag, CBF)를 이용해 판단할 수 있다. CBP와 CBF는 잔여 영상의 변환 계수 중 0이 아닌 계수의 존재 여부를 나타내는 플래그로서, 예를 들어 0이 아닌 변환 계수가 있을 경우 1로 설정하고, 모든 변환 계수가 0일 경우는 0으로 설정할 수 있다. 상기 CBP 또는 CBF를 이용하여, 주변 블록의 CBP 또는 CBF가 0일 경우에, 상기 주변 블록을 MPM으로 설정하는 방법이 있을 수 있다.
보다 구체적으로, 상기 정확도를 검출하는 단계(S610)는 상기 주변 블록의 잔여 영상의 변환 계수 중 0이 아닌 변환 계수의 존재 여부를 지시하는 부호화 블록 플래그(Coded Block Flag, CBF)를 생성하고, 상기 MPM을 결정하는 단계(S620)는 상기 CBF가 0이 아닌 변환 계수가 없음을 지시하는 경우 상기 주변 블록을 MPM으로 결정할 수 있다.
MPM으로 선택할 주변 블록의 패턴을 다양하게 정의할 수 있다. 도 7은 본 발명의 일 실시예에 따른 주변 블록의 예시도이고, 도 8은 본 발명의 다른 실시예에 따른 주변 블록의 예시도이다.
도 7에 도시된 바와 같이, 기존 방법과 동일하게 좌측 블록(701)과 상단 블록(702)의 예측 모드를 보고 상기의 기준들을 적용하여 보다 적중율이 높은 MPM을 설정할 수 있다. 또는 도 8에 도시된 바와 같이, MPM을 결정하기 위해 주변 블록의 예측 모드를 참조 할 때, 기존 방법과 같은 블록 A(801), 블록 B(802)뿐 아니라 좌측 상단 블록(E, 805), 좌측 하단 블록(C, 803), 우측 상단 블록(D, 804)의 예측 모드를 참조하여 전술한 인트라 예측의 정확도를 기반으로 MPM을 결정하도록 할 수 있다.
즉, 상기 주변 블록은 현재 블록의 좌측 블록 및 상부 블록을 포함하는 것을 특징으로 할 수 있고, 상기 주변 블록은 현재 블록의 좌측 블록, 좌측 상부 블록, 상부 블록, 우측 상부 블록 및 좌측 하부 블록을 포함하는 것을 특징으로 할 수 있다. MPM의 개수는 도 7의 패턴을 사용하는 경우 최대 2가 되고, 도 8의 패턴을 사용하는 경우는 최대 5개의 MPM을 상기 제시한 기준에 따라 결정할 수 있다.
HEVC 방식의 경우, HD(High Definition)급 이상의 해상도를 가지는 고해상도에 적용하기 위하여 32x32 픽셀 크기 이상의 확장 매크로 블록(Extended Macroblock) 크기를 이용하여 인트라 예측을 수행할 수 있다. 또한, 순환적인 코딩 유닛(CU)를 사용할 수 있는데, 상기 코딩 유닛은 가변적인 크기의 계층적(hirachy) 구조를 가질 수 있다.
즉, 픽쳐의 부분적 특징에 따라 부호화의 단위가 되는 블록의 크기가 다양하므로, 현재 블록(700)의 좌측 블록(701)이 복수일 수 있다. 따라서, 본 발명의 일 실시예에 따른 인트라 모드 부호화에 있어서, 상기 좌측 블록(701)은 현재 블록(700)의 좌측에 인접한 블록들 중 어느 하나일 수 있으며, 설정에 따라 현재 블록(700)의 좌측에 인접한 블록들 중 최 하단에 위치한 블록을 좌측 블록으로 볼 수도 있다.
마찬가지로, 현재 블록(700)의 상부 블록(702) 또한 복수일 수 있다. 따라서, 본 발명의 일 실시예에 따른 인트라 모드 부호화에 있어서, 상기 상부 블록(702)은 현재 블록(700)의 상부에 인접한 블록들 중 어느 하나일 수 있으며, 설정에 따라 현재 블록(700)의 상부에 인접한 블록들 중 최 좌측에 위치한 블록을 상부 블록으로 볼 수도 있다.
경우에 따라, 상기 복수의 좌측 블록들 또는 상부 블록들 전부에 대해서 인트라 예측의 정확도를 검출하여 판단할 수도 있다. 최대 MPM 수는 상기 주변 블록 전체의 수와 동일할 수 있다.
상기 주변 블록들 중, 전술한 조건을 만족하는 블록이 복수인 경우, 복수의 MPM이 존재할 수 있다. 상기 MPM은 전술한 조건을 만족하는 주변 블록의 개수에 상응하는 개수의 인덱스를 포함할 수 있다. 주변 블록의 인트라 예측 정확도가 각각의 블록간 우선 순위가 있을 경우, 상기 MPM을 결정하는 단계(S620)는 상기 정확도가 큰 순서대로 상기 주변 블록의 예측 방향을 상기 인덱스 중 하위 인덱스로 할당하는 것을 특징으로 할 수 있다. 여기서, 상기 인덱스는 상기 조건을 만족하는 주변 블록이 복수 개일 경우 상기 주변 블록의 예측 모드 각각을 구분하기 위해 사용되며, 예를 들면 MPM[0], MPM[1] 및 MPM[2]와 같이 표시할 수 있다. 여기서 상기 MPM[0]과 같이 낮은 숫자를 이용하여 표시한 인덱스를 하위 인덱스라고 할 수 있다. 따라서, 예를 들어 주변의 블록 A, 블록 B 및 블록 C가 차례대로 큰 정확도를 가진 경우, 상기 블록 A를 MPM[0]으로, 상기 블록 B를 MPM[1]로, 상기 블록 C를 MPM[2]로 할당할 수 있다.
본 발명의 일 실시예에 따른 MPM 선택 이후의 부호화 과정은 도 3 내지 도 4을 참조하여 전술한 바와 같다.
즉, 현재 블록의 인트라 예측 모드 번호가 MPM과 일치하면, 현재 블록에 대한 인트라 예측 방향은 MPM과 같음을 의미하는 '1'로 부호화되어 비트 스트림에 삽입되고 전송된다.
그 다음으로 MPM이 여러 가지일 경우, 현재 블록의 인트라 예측 모드가 어떤 MPM과 일치하는지를 알려주는 인덱스가 이진수로 부호화되어 전송된다. 예를 들어, HEVC 인트라 부호화의 경우 MPM이 2가지일 경우 MPM 인덱스를 나타내는 0 또는 1로 나타나는 1비트의 플래그(flag)가 추가로 부호화되어 전송된다. MPM이 4가지일 경우에는 MPM 인덱스를 나타내는 00, 01, 10, 11로 나타나는 2비트의 플래그가 추가로 부호화되어 전송된다.
현재 블록의 인트라 예측 모드와 MPM이 일치할 확률이 높기 때문에, 현재 블록의 인트라 예측 방향에 대한 정보도 1비트로 표현될 확률이 높아져 이에 따른 정보의 압축이 이루어진다. 현재 블록의 인트라 예측 방향을 직접적으로 전송하지 않더라도 수신 측에서는 상부 블록과 좌측 블록의 인트라 예측 모드 번호를 참조하여 MPM을 구할 수 있기 때문에, MPM이 가리키는 인트라 예측 방향으로 복호화를 수행하는 것이 가능하다.
반대로, 현재 블록의 인트라 예측 모드 번호가 MPM과 일치하지 않으면, 현재 블록에 대한 인트라 예측 방향은 MPM과 다름을 의미하는 '0'이 비트 스트림에 삽입된다. 다음으로 35가지의 4x4 인트라 예측 모드 중 MPM을 제외한 나머지 34가지(35-1) 인트라 예측 모드를 5 내지 6비트 크기의 이진수로 구분한다. 즉, 인트라 예측 모드가 32인 경우까지는 5비트로 표현이 가능하며 인트라 예측 모드가 33인 경우 이후로는 6비트로 표현이 가능하다.
이 중 현재 블록의 인트라 예측 모드 번호에 해당하는 'XXXXX' 또는 'XXXXXX'를 비트 스트림에 삽입하고 전송한다. 따라서 현재 블록의 인트라 예측 방향에 대한 정보는 총 6 내지 7비트로 표현된다.
부호화 장치
도 9는 본 발명의 일 실시예에 따른 인트라 예측 모드 부호화 장치의 블록도이다.
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상의 인트라 예측 모드 부호화 장치(900)는 현재 블록의 이전에 부호화된 주변 블록의 인트라 예측 정확도를 검출하는 정확도 검출부(910), 상기 주변 블록의 인트라 예측 정확도를 기반으로 적어도 하나의 상기 현재 블록의 MPM(Most Probable Mode)을 결정하는 MPM 결정부(930) 및 상기 MPM을 기반으로 상기 현재 블록을 인트라 예측하는 현재 블록 인트라 예측부(950)를 포함할 수 있다.
상기 정확도 검출부(910)는 상기 주변 블록의 잔여 영상의 변환 계수 중 0이 아닌 변환 계수의 수를 검출하고, 상기 MPM 결정부(930)는 상기 0이 아닌 변환 계수의 수가 미리 설정한 임계값 이하인 경우 상기 주변 블록을 MPM으로 결정하는 것을 특징으로 할 수 있다.
또한, 상기 정확도 검출부(910)는 상기 주변 블록의 잔여 영상의 변환 계수의 크기를 검출하고, 상기 MPM 결정부(930)는 상기 변환 계수의 크기가 미리 설정한 임계값 이하인 경우 상기 주변 블록을 MPM으로 결정하는 것을 특징으로 할 수 있다.
또는, 상기 정확도 검출부(910)는 상기 주변 블록의 잔여 영상의 변환 계수 중 0이 아닌 변환 계수의 존재 여부를 지시하는 부호화 블록 플래그(Coded Block Flag, CBF)를 생성하고, 상기 MPM 결정부(930)는 상기 CBF가 0이 아닌 변환 계수가 없음을 지시하는 경우 상기 주변 블록을 MPM으로 결정하는 것을 특징으로 할 수도 있다.
여기서, 상기 주변 블록은 현재 블록의 좌측 블록 및 상부 블록을 포함하는 것을 특징으로 할 수 있고, 상기 주변 블록은 현재 블록의 좌측 블록, 좌측 상부 블록, 상부 블록, 우측 상부 블록 및 좌측 하부 블록을 포함하는 것을 특징으로 할 수도 있다.
본 발명의 일 실시예에 따른 인트라 예측 모드 부호화 장치(900)의 구체적인 작동은 전술한 본 발명의 일 실시예에 따른 인트라 예측 모드 부호화 방법에 따른다.
도 12는 본 발명의 일 실시예에 따른 영상의 부호화 장치의 블록도이다.
도 12를 참조하면, 영상 부호화 장치는 부호화기(630)를 포함하며, 부호화기(630)는 화면간 예측부(632), 인트라 예측부(635), 감산기(637), 변환부(639), 양자화부(641), 엔트로피 부호화부(643), 역양자화부(645), 역변환부(647), 가산기(649) 및 프레임 버퍼(651)를 포함할 수 있다. 화면간 예측부(632)는 움직임 예측부(631)와 움직임 보상부(633)를 포함한다.
입력된 영상은 순환적(recursive) 코딩 유닛(Coding Unit; CU)으로 분할되고, 상기 코딩 유닛은 화면간 예측부(632)에서의 화면간 예측 또는 인트라 예측부(635)에서의 화면내 예측을 위해 예측 유닛(Predition Unit; PU) 단위로 분할된다. 코딩 유닛(CU)은 계층적(hierarchy)으로 분할(partitioning)된다. SCU(smallest CU)는 최소 8x8 픽셀 크기를 가질 수 있으며, LCU(Largest CU)는 64x64 픽셀 크기를 가질 수 있다. SCU와 LCU 관련된 정보는 SPS(Sequence parameter set)으로 디코더로 시그널링 될 수 있다.
화면간 예측부(632)는 제공된 현재 부호화될 예측 유닛을 움직임을 추정하여 움직임 벡터를 생성한다.
움직임 예측부(631)는 제공된 현재 예측 유닛을 현재 부호화되는 N번째 픽춰의 이전 N-1번째 참조 픽처 및/또는 이후 N+1번째 참조 픽처에서 현재 블록과 유사한 영역을 검색하여 블록 단위로 움직임 벡터를 생성한다.
움직임 보상부(633)는 움직임 예측부(631)로부터 생성된 움직임 벡터와 참조 픽춰를 이용하여 움직임 보상을 수행하여 얻어지는 예측 블록(또는 예측된 예측 유닛)을 생성한다.
인트라 예측부(635)는 현재 예측 유닛을 현재 픽춰내의 현재 예측 유닛 주변의 이미 부호화된 화소값으로부터 인트라 모드에 따라 인트라 예측(Intra Prediction)을 수행한다. 전술한 MPM을 결정하고 상기 MPM을 기반으로 현재 블록을 인트라 예측하는 과정은 상기 인트라 예측부(635)에서 진행된다.
감산기(637)는 움직임 보상부(633)에서 제공된 예측 블록(또는 예측된 예측 유닛)과 현재 블록(또는 현재 예측 유닛)을 감산하여 잔차값을 생성하고, 변환부(639) 및 양자화부(641)는 상기 잔차값(residue)을 DCT(Discrete Cosine Transform)변환하고 양자화한다.
엔트로피 부호화부(643)는 양자화된 DCT 계수들과 움직임 파라미터, SCU와 LCU 관련된 정보등의 정보를 엔트로피 부호화하여 비트 스트림을 생성한다.
역양자화부(645) 및 역변환부(647)는 양자화부(641)를 통해 양자화된 데이터를 역양자화하고 역변환한다. 가산기(649)는 역변환된 데이터와 움직임 보상부(633)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 프레임 버퍼(651)에 제공하고, 프레임 버퍼(651)는 복원된 영상이 저장된다.
복호화 방법
도 10은 본 발명의 일 실시예에 따른 영상의 복호화 방법의 흐름도이다.
도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상의 복호화 방법은 수신된 비트 스트림을 엔트로피 복호화하여 잔여값을 역양자화하고 역변환하여 잔여값을 복원하고 현재 블록 이전에 복호화된 주변 블록의 인트라 예측 정확도를 검출하는 단계(S1010), 상기 주변 블록의 인트라 예측 정확도를 기반으로 적어도 하나의 상기 현재 블록의 MPM(Most Probable Mode)을 결정하는 단계(S1020) 및 상기 MPM을 기반으로 상기 현재 블록을 인트라 예측하는 단계(S1030)를 포함할 수 있다.
즉, 전술한 부호화 방법과 동일한 과정을 통해 복호화하고자 하는 현재 블록의 MPM을 결정한다. 따라서, 상기 정확도를 검출하는 단계(S1010) 및 MPM을 결정하는 단계(S1020)는 전술한 부호화 방법과 동일하게 정확도를 검출하고, MPM을 결정할 수 있다.
이후, 현재 블록의 인트라 예측 방향과 MPM이 같은지 다른지에 따라 복호화 과정이 다르게 진행되므로, 이를 구분해 주기 위한 MPM 플래그(flag)를 비트스트림으로부터 복호화한다.
부호화 과정에서 현재 블록의 인트라 예측 모드 번호와 MPM 이 일치할 경우, MPM 플래그는 현재 블록에 대한 인트라 예측 방향이 MPM과 같음을 의미하는 ‘1’로 부호화되어 비트 스트림에 삽입된다. 그리고 적어도 하나 이상의 MPM이 존재할 경우, 현재 블록의 인트라 예측 모드가 어떤 MPM과 같은지 표시하는 MPM 인덱스가 MPM 플래그 뒤에 부호화되어 삽입된다. 예를 들어 MPM이 4가지일 경우, MPM 인덱스는 2비트로 부호화된다. 반대로 현재 블록의 인트라 예측 모드 번호가 MPM과 일치하지 않을 경우, MPM 플래그는 '0’으로 부호화되어 비트 스트림에 삽입된다. 그리고 현재 블록의 인트라 예측 모드를 미리 정해진 이진수의 코드워드(codeword)로 부호화된다.
복호화 과정에서는 MPM 플래그 가 ‘1’이면 현재 블록의 인트라 예측 모드와 MPM이 같음을 알 수 있다. 그리고 MPM 인덱스를 복호화한다. 예를 들면, MPM이 4가지일 경우, MPM 인덱스를 나타내는 00, 01, 10, 11의 2비트의 플래그로 부호화되었으므로, 복호화 과정에서는 이것을 십진수로 나타내어 0, 1, 2, 3의 MPM 인덱스를 가지고 부호화된 인트라 예측 모드를 복호화 할 수 있다.
복호화 과정에서는 MPM 플래그가 ‘0’이면 현재 블록의 인트라 예측 모드와 MPM이 다름을 알 수 있다. 부호화 과정에서 HEVC의 35가지 4×4 인트라 예측 모드 중 MPM을 제외한 나머지 34가지 인트라 예측 모드를 5~6비트 크기의 이진수로 구분하여 이 중 현재 블록의 인트라 예측 모드 번호에 해당하는 5비트(XXXXX) 혹은 6비트 (XXXXXX)을 비트 스트림으로 전송하였으므로, 복호화 과정에서는 이러한 이진수로 부호화된 5~6비트의 정보를 10진수로 변환하여 얻은 모드 번호를 가지고 부호화된 인트라 예측 모드를 복호화 할 수 있다.
인트라 예측 모드를 복호화하면, 상기 인트라 예측 모드를 기반으로 현재 블록을 인트라 예측한다(S1030).
복호화 장치
도 11은 본 발명의 일 실시예에 따른 영상의 복호화 장치에 포함된 인트라 예측부의 블록도이다.
도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상의 복호화 장치에 포함된 인트라 예측부(1100)는 현재 블록의 이전에 복호화된 주변 블록의 인트라 예측 정확도를 검출하는 정확도 검출부(1110), 상기 주변 블록의 인트라 예측 정확도를 기반으로 적어도 하나의 상기 현재 블록의 MPM(Most Probable Mode)을 결정하는 MPM 결정부(1130) 및 상기 MPM을 기반으로 상기 현재 블록을 인트라 예측하는 현재 블록 인트라 예측부(1150)를 포함하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 인트라 예측 모드 복호화 장치의 구체적인 작동은 전술한 영상의 복호화 방법에 따른다.
도 13은 본 발명의 일 실시예에 따른 영상의 복호화 장치의 블록도이다.
도 13을 참조하면, 본 발명의 일 실시예에 따른 복호화 장치는 엔트로피 복호화부(831), 역양자화부(833), 역변환부(835), 움직임 보상부(837), 인트라 예측부(839), 프레임 버퍼(841) 및 가산부(843)을 포함한다.
엔트로피 복호화부(831)는 압축된 비트 스트림을 수신하고 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 역양자화부(833) 및 역변환부(835)는 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 잔차값을 복원한다.
움직임 보상부(837)는 엔트로피 복호화부(831)에 의해 비트 스트림으로부터 복호화된 정보를 이용하여 움직임 보상을 수행하여 예측된 예측 유닛을 생성한다.
인트라 예측부(839)는 전술한 바와 같이 현재 블록의 MPM을 결정하고 상기 MPM을 기반으로 인트라 모드를 선택하여 현재 예측 유닛을 현재 픽춰내의 현재 예측 유닛 주변의 이미 부호화된 화소값으로부터 인트라 모드에 따라 인트라 예측(Intra Prediction)을 수행한다.
가산부(843)는 역변환부(835)에서 제공된 잔차값과, 움직임 보상부(837)에서 제공된 예측된 예측 유닛을 더하여 영상을 복원하여 프레임 버퍼(841)에 제공하고, 프레임 버퍼(841)는 복원된 영상을 저장한다. 즉, 복호화기에서는 예측 유닛에 압축된 예측 오차(역변환부에서 제공된 잔차값)를 가산하여 복호화 동작을 수행한다.
100 : 현재 블록
101 : 상부 블록
103 : 좌측 블록
900 : 인트라 예측부
910 : 정확도 검출부
930 : MPM 결정부
950 : 현재 블록 인트라 예측부
1100 : 인트라 예측부
1110 : 정확도 검출부
1130 : MPM 결정부
1150 : 현재 블록 인트라 예측부
101 : 상부 블록
103 : 좌측 블록
900 : 인트라 예측부
910 : 정확도 검출부
930 : MPM 결정부
950 : 현재 블록 인트라 예측부
1100 : 인트라 예측부
1110 : 정확도 검출부
1130 : MPM 결정부
1150 : 현재 블록 인트라 예측부
Claims (6)
- 영상 복호화 방법에 있어서,
비트스트림으로부터 현재 블록에 대응하는 잔차값을 획득하는 단계;
상기 현재 블록의 MPM (Most Probable Mode) 후보군을 결정하는 단계; 여기서, 상기 MPM 후보군은 복수의 MPM 후보를 포함함,
상기 결정된 MPM 후보군을 기반으로, 상기 현재 블록의 인트라 예측 모드를 결정하는 단계;
상기 현재 블록의 인트라 예측 모드를 기반으로 인트라 예측을 수행하여, 상기 현재 블록의 예측값을 획득하는 단계; 및
상기 획득된 잔차값과 예측값을 이용하여 상기 현재 블록을 복원하는 단계를 포함하되,
상기 MPM 후보군에 속한 MPM 후보의 개수는 3개 또는 그 이상인 영상 복호화 방법. - 제1항에 있어서,
상기 비트스트림으로부터 MPM 플래그를 복호화하는 단계를 더 포함하되,
상기 현재 블록의 인트라 예측 모드는, 상기 MPM 플래그와 상기 MPM 후보군을 기반으로 결정되는 영상 복호화 방법. - 제2항에 있어서, 상기 MPM 플래그는,
상기 현재 블록의 인트라 예측 모드가 상기 복수의 MPM 후보 중 어느 하나와 동일한 경우에는 1로 부호화되고,
상기 현재 블록의 인트라 예측 모드가 상기 복수의 MPM 후보와 동일하지 않은 경우에는 0으로 부호화된 영상 복호화 방법. - 제3항에 있어서,
상기 복호화된 MPM 플래그의 값이 0인 경우, 상기 비트스트림으로부터 잔여 모드 정보를 복호화하는 단계를 더 포함하는 영상 복호화 방법. - 제4항에 있어서,
상기 잔여 모드 정보는 상기 현재 블록의 인트라 예측 모드를 결정하기 위해 이용되는 영상 복호화 방법. - 제5항에 있어서,
상기 잔여 모드 정보는, 상기 복수의 MPM 후보를 제외한 나머지 인트라 예측 모드를 이용하여 부호화된 모드인 영상 부호화 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110134890 | 2011-12-14 | ||
KR20110134890 | 2011-12-14 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110135684A Division KR101846250B1 (ko) | 2011-12-14 | 2011-12-15 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180161033A Division KR20180135836A (ko) | 2011-12-14 | 2018-12-13 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180011285A true KR20180011285A (ko) | 2018-01-31 |
KR101931693B1 KR101931693B1 (ko) | 2018-12-21 |
Family
ID=48864096
Family Applications (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110135684A KR101846250B1 (ko) | 2011-12-14 | 2011-12-15 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020180005115A KR101931693B1 (ko) | 2011-12-14 | 2018-01-15 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020180161033A KR20180135836A (ko) | 2011-12-14 | 2018-12-13 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020190136085A KR102076782B1 (ko) | 2011-12-14 | 2019-10-30 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020200014339A KR102127380B1 (ko) | 2011-12-14 | 2020-02-06 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020200075823A KR102264446B1 (ko) | 2011-12-14 | 2020-06-22 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020210073885A KR102304446B1 (ko) | 2011-12-14 | 2021-06-08 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110135684A KR101846250B1 (ko) | 2011-12-14 | 2011-12-15 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180161033A KR20180135836A (ko) | 2011-12-14 | 2018-12-13 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020190136085A KR102076782B1 (ko) | 2011-12-14 | 2019-10-30 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020200014339A KR102127380B1 (ko) | 2011-12-14 | 2020-02-06 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020200075823A KR102264446B1 (ko) | 2011-12-14 | 2020-06-22 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
KR1020210073885A KR102304446B1 (ko) | 2011-12-14 | 2021-06-08 | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (7) | KR101846250B1 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019164306A1 (ko) * | 2018-02-23 | 2019-08-29 | 인텔렉추얼디스커버리 주식회사 | 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체 |
WO2019194441A1 (ko) * | 2018-04-02 | 2019-10-10 | 엘지전자 주식회사 | 적응적으로 도출되는 mpm 리스트에 기반한 영상 코딩 방법 및 그 장치 |
WO2020050685A1 (ko) * | 2018-09-07 | 2020-03-12 | 김기백 | 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치 |
CN112823515A (zh) * | 2018-10-07 | 2021-05-18 | 韦勒斯标准与技术协会公司 | 使用用于多参考线的mpm配置方法处理视频信号的方法和设备 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3101176A1 (en) * | 2018-06-27 | 2020-01-02 | Kt Corporation | Method and apparatus for processing video signal |
AU2019416633A1 (en) * | 2018-12-28 | 2021-08-19 | B1 Institute Of Image Technology, Inc. | Intra prediction-based video encoding/decoding method and device |
WO2020175918A1 (ko) * | 2019-02-26 | 2020-09-03 | 엘지전자 주식회사 | 단일화된 mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치 |
WO2020197155A1 (ko) * | 2019-03-22 | 2020-10-01 | 엘지전자 주식회사 | 영상 코딩 시스템에서 영상 디코딩 방법 및 그 장치, 영상 인코딩 방법 및 그 장치 |
US11910011B2 (en) | 2019-03-22 | 2024-02-20 | Lg Electronics Inc. | Intra prediction-based image decoding method and device therefor in image coding system |
CN112118450B (zh) * | 2019-06-21 | 2022-03-29 | 杭州海康威视数字技术股份有限公司 | 预测模式的解码、编码方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008227670A (ja) * | 2007-03-09 | 2008-09-25 | Victor Co Of Japan Ltd | 画像符号化装置 |
KR100924640B1 (ko) | 2007-11-21 | 2009-11-02 | 한양대학교 산학협력단 | 영상 부호화에서 매크로블록의 인트라 모드 결정 방법 |
JP2009212790A (ja) * | 2008-03-04 | 2009-09-17 | Mitsubishi Electric Corp | 予測モード選択装置および画像符号化装置 |
-
2011
- 2011-12-15 KR KR1020110135684A patent/KR101846250B1/ko active IP Right Grant
-
2018
- 2018-01-15 KR KR1020180005115A patent/KR101931693B1/ko active IP Right Grant
- 2018-12-13 KR KR1020180161033A patent/KR20180135836A/ko active Search and Examination
-
2019
- 2019-10-30 KR KR1020190136085A patent/KR102076782B1/ko active IP Right Grant
-
2020
- 2020-02-06 KR KR1020200014339A patent/KR102127380B1/ko active IP Right Grant
- 2020-06-22 KR KR1020200075823A patent/KR102264446B1/ko active IP Right Grant
-
2021
- 2021-06-08 KR KR1020210073885A patent/KR102304446B1/ko active IP Right Grant
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019164306A1 (ko) * | 2018-02-23 | 2019-08-29 | 인텔렉추얼디스커버리 주식회사 | 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체 |
US11153574B2 (en) | 2018-02-23 | 2021-10-19 | Intellectual Discovery Co., Ltd. | Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored |
US11812033B2 (en) | 2018-02-23 | 2023-11-07 | Intellectual Discovery Co., Ltd. | Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored |
WO2019194441A1 (ko) * | 2018-04-02 | 2019-10-10 | 엘지전자 주식회사 | 적응적으로 도출되는 mpm 리스트에 기반한 영상 코딩 방법 및 그 장치 |
WO2020050685A1 (ko) * | 2018-09-07 | 2020-03-12 | 김기백 | 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치 |
CN112740675A (zh) * | 2018-09-07 | 2021-04-30 | 有限公司B1影像技术研究所 | 用于使用帧内预测对图像进行编码/解码的方法和装置 |
US11917195B2 (en) | 2018-09-07 | 2024-02-27 | B1 Institute Of Image Technology, Inc. | Method and device for coding/decoding image using intra prediction |
CN112823515A (zh) * | 2018-10-07 | 2021-05-18 | 韦勒斯标准与技术协会公司 | 使用用于多参考线的mpm配置方法处理视频信号的方法和设备 |
CN112823515B (zh) * | 2018-10-07 | 2024-03-19 | 三星电子株式会社 | 使用用于多参考线的mpm配置方法处理视频信号的方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
KR101931693B1 (ko) | 2018-12-21 |
KR20190126029A (ko) | 2019-11-08 |
KR101846250B1 (ko) | 2018-04-06 |
KR102127380B1 (ko) | 2020-06-26 |
KR20210071905A (ko) | 2021-06-16 |
KR102076782B1 (ko) | 2020-02-12 |
KR20130068479A (ko) | 2013-06-26 |
KR20200077490A (ko) | 2020-06-30 |
KR20180135836A (ko) | 2018-12-21 |
KR102264446B1 (ko) | 2021-06-14 |
KR20200016316A (ko) | 2020-02-14 |
KR102304446B1 (ko) | 2021-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101931693B1 (ko) | 적중률이 높은 mpm을 통한 영상의 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 | |
US9288493B2 (en) | Method of deriving motion information | |
JP6023842B2 (ja) | マージモードにおける映像符号化装置 | |
KR101605852B1 (ko) | 예측 모드를 이용한 영상 부호화 장치 및 복호화 장치 | |
US8948243B2 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
KR101483750B1 (ko) | 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치 | |
CN103380622A (zh) | 帧内预测模式编码/解码方法和用于其的设备 | |
US8228985B2 (en) | Method and apparatus for encoding and decoding based on intra prediction | |
KR20120080552A (ko) | 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치 | |
KR101238012B1 (ko) | 예측 움직임 벡터 부호화 방법 및 이를 수행하는 부호화 장치 | |
KR101618766B1 (ko) | 영상 복호화 방법 및 장치 | |
KR101662741B1 (ko) | 영상 복호화 방법 | |
KR101366088B1 (ko) | 인트라 예측 부호화, 복호화 방법 및 장치 | |
KR101934036B1 (ko) | 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 | |
KR101618214B1 (ko) | 영상 복호화 방법 | |
KR101489222B1 (ko) | 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치 | |
KR101525015B1 (ko) | 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치 | |
KR20130090856A (ko) | 예측 모드를 이용한 영상 부호화 장치 | |
KR20190000868A (ko) | 적응적인 인트라 예측 모드 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 | |
KR20080068278A (ko) | 인트라 예측 부호화, 복호화 방법 및 장치 | |
KR20130090857A (ko) | 예측 모드를 이용한 영상 복호화 방법 및 컴퓨터 판독 가능한 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |