KR20210044765A - Method and Apparatus for image encoding - Google Patents
Method and Apparatus for image encoding Download PDFInfo
- Publication number
- KR20210044765A KR20210044765A KR1020210050298A KR20210050298A KR20210044765A KR 20210044765 A KR20210044765 A KR 20210044765A KR 1020210050298 A KR1020210050298 A KR 1020210050298A KR 20210050298 A KR20210050298 A KR 20210050298A KR 20210044765 A KR20210044765 A KR 20210044765A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- coding
- depth information
- encoding
- coding block
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 영상 부호화 방법 및 장치에 관한 것이다. The present invention relates to a video encoding method and apparatus.
H.264/AVC 는 고성능의 압축 효율을 갖는 비디오 압축 표준 기술이다. H.264/AVC 에서는 영상 내의 상관성을 제거하기 위한 화면 내 예측 기술, 영상 간의 상관성을 제거하기 위한 화면 간 예측 기술을 통하여 원본 신호를 예측 부호화할 수 있다. H.264/AVC의 부호화기는 원본 신호와 예측 신호의 차이 값인 차분 값에 대하여 이산 여현 변환 부호화와 양자화를 수행한다. 그리고 양자화된 신호는 지그재그 스캐닝 방법으로 정렬된 후 엔트로피부호화된다.H.264/AVC is a video compression standard technology with high performance compression efficiency. In H.264/AVC, an original signal can be predictively encoded through an intra prediction technique for removing intra-video correlation and an inter prediction technique for removing inter-video correlation. The H.264/AVC encoder performs discrete cosine transform encoding and quantization on the difference value, which is the difference value between the original signal and the predicted signal. Then, the quantized signal is entropy-coded after being aligned by a zigzag scanning method.
최근에 ITU-T VCEG(Video Coding Experts Group)와 ISO/IEC MPEG(Moving Picture Experts Group)은 JCT-VC(Joint Collaborative Team on Video Coding)을 구성하여 새로운 영상 압축 표준인 HEVC(High Efficiency Video Coding)의 표준화를 진행 중이며, 이는 기존에 제정된 표준인 H.264/AVC에 비교하여 현재 약 40% 이상의 압축 효율의 향상이 달성되어 있는 것으로 알려져 있다. H.264/AVC와 HEVC는 기본적으로 블록 기반의 영상 부호화기이라는 점은 동일하지만 16x16의 고정된 크기인 MB(Macro Block) 단위의 부호화를 수행하는 H.264/AVC와는 다르게 HEVC는 Common test condition 내에서 최대 64x64 크기로부터 8x8 크기까지의 다양한 크기를 갖는 CU(Coding Unit)의 기반에 따른 부호화를 수행한다.Recently, ITU-T Video Coding Experts Group (VCEG) and ISO/IEC Moving Picture Experts Group (MPEG) formed JCT-VC (Joint Collaborative Team on Video Coding) to form a new video compression standard, High Efficiency Video Coding (HEVC). Standardization is in progress, which is known to have achieved an improvement in compression efficiency of about 40% or more compared to the previously established standard, H.264/AVC. H.264/AVC and HEVC are basically block-based video encoders, but unlike H.264/AVC, which performs encoding in units of MB (Macro Block), which is a fixed size of 16x16, HEVC is within the common test condition. Coding according to the basis of a CU (Coding Unit) having various sizes ranging from a maximum size of 64x64 to 8x8 is performed.
그러나 현재까지 표준화가 진행된 HEVC는 압축 효율은 우수한 반면, 가능한 모든 크기의 CU에 대해 부호화를 수행하여 가장 압축 효율이 우수한 CU를 선택하는 방식을 사용하므로, 매우 높은 연산 복잡도를 갖고 오랜 부호화 시간을 요구하는 문제점이 있다. 이는 실시간 비디오 감상이나 고화질 컨텐츠 제공에 있어 문제를 야기할 수 있으므로 이를 해결하기 위한 방법이 필요하다.However, HEVC, which has been standardized so far, has excellent compression efficiency, but uses a method of selecting a CU with the best compression efficiency by performing encoding on CUs of all possible sizes, so it has a very high computational complexity and requires a long encoding time. There is a problem. This may cause problems in real-time video viewing or high-definition content provision, so a method is needed to solve this problem.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 부호화시에 연산을 간단하게 하고, 부호화시간을 단축시키도록 하는 영상 부호화 방법 및 장치을 제공하는 데 그 목적이 있다.The present invention has been conceived to solve the above problems, and in particular, it is an object of the present invention to provide a video encoding method and apparatus for simplifying an operation during encoding and shortening an encoding time.
또한, 인코더의 성능을 향상시킴으로써 고속의 인코딩을 통하여 실시간으로 고화질의 화상정보를 제공하도록 하는 영상 부호화 방법 및 장치를 제공하는 데 그 목적이 있다.In addition, an object of the present invention is to provide an image encoding method and apparatus for providing high-quality image information in real time through high-speed encoding by improving the performance of an encoder.
상기 목적을 달성하기 위해 안출된 본 발명의 일실시 형태는, 현재 코딩유닛의 적어도 하나의 주변 코딩유닛 깊이정보와 임계치를 비교하는 단계와, 상기 비교단계의 결과에 따라 코딩유닛의 분할작업을 수행하는 단계를 포함하는 영상 부호화 방법을 제공한다. An embodiment of the present invention conceived to achieve the above object is a step of comparing depth information of at least one neighboring coding unit of a current coding unit and a threshold value, and performing a partitioning operation of the coding unit according to the result of the comparison step. It provides an image encoding method including the step of.
여기서, 상기 주변 코딩유닛 깊이정보는 현재 코딩유닛의 좌측에 인접한 좌측코딩유닛의 깊이정보와, 상측에 인접한 상측코딩유닛의 깊이정보인 것이 바람직하다. Here, the depth information of the neighboring coding unit is preferably depth information of a left coding unit adjacent to the left side of the current coding unit and depth information of an upper coding unit adjacent to the upper side.
또한, 상기 주변 코딩유닛의 깊이정보는 이전 프레임에서의 현재 코딩유닛의 깊이정보인 것이 바람직하다.In addition, it is preferable that the depth information of the neighboring coding unit is depth information of the current coding unit in the previous frame.
또한, 상기 주변 코딩유닛의 깊이정보는, 현재 코딩유닛의 좌측에 인접한 좌측코딩유닛의 깊이정보와, 상측에 인접한 상측코딩유닛의 깊이정보와, 이전 프레임에서의 현재 코딩유닛의 깊이정보인 것이 바람직하다.In addition, the depth information of the neighboring coding unit is preferably depth information of a left coding unit adjacent to the left of the current coding unit, depth information of an upper coding unit adjacent to the upper side, and depth information of a current coding unit in a previous frame. Do.
한편, 상기 코딩유닛의 크기가 64x64인 경우는 비교단계를 수행하지 않을 수도 있다.Meanwhile, when the size of the coding unit is 64x64, the comparison step may not be performed.
또한, 상기 코딩유닛의 크기가 32x32인 경우는 상기 임계치를 1로 설정하고, 16x16인 경우는 임계치를 3으로 설정하는 것이 바람직하다.In addition, when the size of the coding unit is 32x32, the threshold value is preferably set to 1, and when the size of the coding unit is 16x16, the threshold value is preferably set to 3.
상기 방법은, 비교단계의 결과, 상기 주변 코딩유닛 깊이정보가 상기 임계치보다 작은 경우, 다음 최대코딩유닛(Largest Coding Unit)을 부호화하는 단계를 수행하며, 비교단계의 결과, 상기 주변 코딩유닛 깊이정보가 상기 임계치보다 큰 경우, 다음 깊이로 코딩유닛을 부호화하는 단계를 수행하는 단계를 더 포함할 수 있다.In the method, as a result of the comparison step, when the depth information of the neighboring coding unit is less than the threshold, the step of encoding the next largest coding unit is performed, and as a result of the comparison step, the depth information of the neighboring coding unit When is greater than the threshold, the step of encoding the coding unit to a next depth may be further included.
본 발명에 의하면 현재 코딩유닛 주변의 코딩유닛정보를 이용하여 크기가 더 작은 코딩유닛 단위의 부호화 과정을 생략함으로써 인코더의 복잡도를 감소시키는 효과가 있다.According to the present invention, there is an effect of reducing the complexity of an encoder by omitting the coding process of a coding unit unit having a smaller size by using coding unit information around a current coding unit.
또한, 본 발명에 의하면 고속의 영상코딩이 가능하여 실시간영상, 고화질영상을 보다 효율적으로 제공할 수 있게 된다.In addition, according to the present invention, high-speed image coding is possible, so that real-time images and high-definition images can be more efficiently provided.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 부호화방법에 사용되는 LCU 분할구조를 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 영상 부호화방법의 CU분할을 도시한 것이다.
도 5는 본 발명의 다른 실시예에 따른 영상 부호화방법의 CU분할을 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 영상 부호화방법을 도시한 순서도이다.1 is a block diagram illustrating an image encoding apparatus according to an embodiment of the present invention.
2 is a block diagram showing a configuration of an image decoding apparatus according to another embodiment of the present invention.
3 is a diagram illustrating an LCU splitting structure used in an image encoding method according to an embodiment of the present invention.
4 is a diagram illustrating CU partitioning in an image encoding method according to an embodiment of the present invention.
5 is a diagram illustrating CU segmentation in an image encoding method according to another embodiment of the present invention.
6 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first and second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. Hereinafter, the same reference numerals are used for the same elements in the drawings, and duplicate descriptions for the same elements are omitted.
도 1은 본 발명의 일실시예에 따른 영상 부호화 장치를 나타내는 블록도이다.1 is a block diagram illustrating an image encoding apparatus according to an embodiment of the present invention.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160),역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.Referring to FIG. 1, the
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력한다. 이하 본 발명의 실시예에서는 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측과 동일한 의미로 사용될 수 있다. 예측 단위에 대한 최적의 예측 방법을 결정하기 위해 예측 단위에 대해 화면 내예측 방법 및 화면 간 예측 방법이 선택적으로 사용될 수 있다. 영상 부호화 장치(100)는 입력 영상의 원본 블록에 대한 예측 블록을 생성한 후, 원본 블록과 예측 블록의 차분을 부호화한다.The
화면 내 예측 모드인 경우, 인트라 예측부(120)(또는 화면 내 예측부도 동일한 의미를 가지는 용어로 사용될 수 있다.)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.In the case of the intra prediction mode, the intra prediction unit 120 (or the intra prediction unit may also be used as a term having the same meaning) performs spatial prediction using pixel values of an already coded block around the current block. Generate prediction blocks.
화면 간 예측 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구한다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.In the case of the inter prediction mode, the
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성한다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력한다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력한다. 엔트로피 부호화부(150)는 입력된 양자화된 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력한다.The
HEVC는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.Since HEVC performs inter prediction encoding, that is, inter prediction encoding, the currently encoded image needs to be decoded and stored in order to be used as a reference image. Accordingly, the quantized coefficients are inverse quantized by the
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 화소값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있으며, 고효율이 적용되는 경우에만 수행될 수도 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장된다.The restoration block passes through the
도 2는 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.2 is a block diagram showing a configuration of an image decoding apparatus according to another embodiment of the present invention.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.Referring to FIG. 2, the
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력한다. 인트라 모드인 경우 화면 내 예측 모드를 사용하여 예측 블록을 생성하고 인터 모드인 경우 화면 간 예측 방법을 사용하여 예측 블록을 생성한다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 잔여 블록과 예측블록을 더하여 재구성된 블록, 즉 복원 블록을 생성한다.The
엔트로피 복호화부(210)는 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여 양자화된 계수(quantized coefficient)를 출력한다. 양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔여 블록(residual block)이 생성된다.The
화면 내 예측 모드인 경우, 인트라 예측부(240)(또는 화면 간 예측부)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.In the case of the intra prediction mode, the intra prediction unit 240 (or the inter prediction unit) generates a prediction block by performing spatial prediction using pixel values of an already coded block around the current block.
화면 간 예측 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.In the case of the inter prediction mode, the
잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.The residual block and the prediction block are added through the
부호화/복호화 장치의 예측 성능을 향상시키기 위한 방법에는 보간(interpolation) 영상의 정확도를 높이는 방법과 차신호를 예측하는 방법이 있다. 여기서 차신호란 원본 영상과 예측 영상과의 차이를 나타내는 신호이다.Methods for improving prediction performance of an encoding/decoding apparatus include a method of increasing the accuracy of an interpolated image and a method of predicting a difference signal. Here, the difference signal is a signal representing the difference between the original image and the predicted image.
본 발명에서 “차신호”는 문맥에 따라 “차분 신호”, “잔여 블록” 또는 “차분 블록”으로 대체되어 사용될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자는 발명의 사상, 본질에 영향을 주지 않는 범위 내에서 이를 구분할 수 있을 것이다.In the present invention, the “difference signal” may be replaced with “difference signal”, “residual block” or “difference block” depending on the context, and those of ordinary skill in the art may have an influence on the spirit and essence of the invention. You will be able to distinguish this within the range that is not given.
본 발명의 실시예에서는 설명의 편의상 코딩 유닛(Coding Unit, 이하 'CU'라 함)을 부호화 단위라는 용어로 사용하지만, 부호화 뿐만 아니라 복호화를 수행하는 단위가 될 수도 있다. 이하, 본 발명의 실시예에 따른 도 3 내지 도 6에서 설명하는 영상 부호화 방법은 도 1 및 도 2에서 전술한 각 모듈의 기능에서 맞게 구현될 수 있고 이러한 부호화기 및 복호화기는 본 발명의 권리범위에 포함된다. 즉, 본 발명의 실시예에서 후술할 영상 부호화/복호화 방법은 도 1 및 도 2에서 전술한 영상 부호화기 및 영상 복호화기에 포함된 각 구성부에서 수행될 수 있다. 구성부의 의미는 하드웨어적인 의미 뿐만 아니라 알고리즘을 통해 수행될 수 있는 소프트웨어적인 처리 단위도 포함할 수 있다.In an embodiment of the present invention, for convenience of description, a coding unit (hereinafter referred to as'CU') is used as a term of a coding unit, but may be a unit that performs not only encoding but also decoding. Hereinafter, the video encoding method described in FIGS. 3 to 6 according to an embodiment of the present invention can be implemented in accordance with the functions of each module described above in FIGS. 1 and 2, and such an encoder and a decoder are within the scope of the present invention. Included. That is, an image encoding/decoding method to be described later in an embodiment of the present invention may be performed by each component included in the image encoder and image decoder described above in FIGS. 1 and 2. The meaning of the configuration unit may include not only a hardware meaning, but also a software processing unit that can be performed through an algorithm.
상술한 도 1, 도 2의 실시예에 따른 영상 부호화/복호화에서는, 영상의 효율적인 부호화를 위해, 단일 크기의 매크로블록이 다양한 크기로 확장된 CU 구조가 정의될 수 있다. CU는 비디오 부호화기에서 부호화가 수행되는 하나의 단위로서, 쿼드 트리 구조(Quad Tree Structure)를 기초로 깊이(depth) 정보를 가지고 계층적으로 분할될 수 있다. CU는 8×8, 16×16, 32×32, 64×64 등 다양한 크기를 가질 수 있다. 또한 가장 큰 크기의 CU를 LCU(Largest Coding Unit), 가장 작은 크기의 CU를 SCU(Smallest Coding Unit)라 한다. SCU를 제외한 모든 CU는 split_flag 정보를 할당하여 그 값에 따라 해당 CU가 분할된 영역인지 아닌지를 지시하게 된다. 부호화기는 다양한 비디오 신호 특성에 따라, 부호화 과정에서 LCU의 크기를 조절할 수도 있다.In the image encoding/decoding according to the above-described embodiments of FIGS. 1 and 2, for efficient encoding of an image, a CU structure in which a macroblock of a single size is extended to various sizes may be defined. A CU is a unit in which encoding is performed by a video encoder, and may be hierarchically divided with depth information based on a quad tree structure. CUs can have various sizes such as 8×8, 16×16, 32×32, and 64×64. In addition, the largest CU is referred to as LCU (Largest Coding Unit), and the smallest CU is referred to as SCU (Smallest Coding Unit). All CUs except the SCU allocate split_flag information to indicate whether the corresponding CU is a divided region or not according to the value. The encoder may adjust the size of the LCU in the encoding process according to various video signal characteristics.
도 3은 본 발명의 일실시예에 따른 영상 부호화방법에 사용되는 LCU 분할구조를 도시하고 있다.3 illustrates an LCU splitting structure used in an image encoding method according to an embodiment of the present invention.
도 3에 의하면, CU의 크기는 8×8, 16×16, 32×32, 64×64로 분할될 수 있으며, LCU의 크기는 64×64이고, SCU의 크기는 8×8이다.According to FIG. 3, the size of the CU can be divided into 8×8, 16×16, 32×32, and 64×64, the size of the LCU is 64×64, and the size of the SCU is 8×8.
CU에 대한 분할은 해당 LCU의 영역에 해당하는 영상의 특징에 의해 결정되며, 종래의 HEVC 부호화기는 LCU에서 SCU까지 모든 가능한 크기의 CU 단위 기반의 부호화 수행 후 압축효율이 가장 우수한 CU 구조를 선택하도록 구성되어 있다. CU 구조의 선택은 데이터량과 화질의 관계를 비교하여 가장 효율적인 구조를 찾는 율-왜곡 최적화 기법(Rate-Distortion Optimization)을 사용하여 이루어진다. CU의 크기는 깊이(Depth)정보를 통해 표현되고, 깊이 0의 LCU에서부터 깊이 3의 SCU까지 나타낼 수 있다. 또한, 각 CU별로 1bit의 split_flag를 통해 분할되었는지 여부를 알려줄 수 있다. The splitting of the CU is determined by the characteristics of the image corresponding to the region of the LCU, and the conventional HEVC encoder performs CU unit-based encoding of all possible sizes from LCU to SCU, and then selects the CU structure with the best compression efficiency. Consists of. The selection of the CU structure is made using Rate-Distortion Optimization, which finds the most efficient structure by comparing the relationship between the amount of data and the quality. The size of the CU is expressed through depth information, and can be expressed from an LCU of depth 0 to an SCU of depth 3. In addition, it is possible to inform whether each CU is divided through a 1-bit split_flag.
도 4는 본 발명의 실시예에 따른 영상 부호화방법의 CU분할을 도시한 예로서, HEVC의 Reference software인 HM-5.0 버전을 이용하여 부호화를 수행한 결과이며, HEVC의 Test Sequence중 하나인 'basketballDrill' 영상을 실제로 부호화 하였을 때 영상이 어떻게 CU단위로 분할되는지에 대한 예를 나타내고 있다.4 is an example of CU partitioning of an image encoding method according to an embodiment of the present invention, which is a result of encoding using the HM-5.0 version, which is a reference software of HEVC, and'basketballDrill', which is one of the test sequences of HEVC. 'This is an example of how an image is divided into CU units when an image is actually encoded.
도 4에서 각각의 사각형은 각 CU를 뜻하며, 가장 큰 사각형은 LCU 자체가 분할되지 않았음을 의미, 가장 작은 사각형은 최고 깊이까지 LCU가 세분화 된 SCU를 나타내고 있다. 즉, 모든 CU 크기에 대해 부호화를 실행한 결과 가장 압축 효율이 뛰어난 분할 구조는 도 4와 같이 나타났다는 것을 의미한다. 대체로 영역의 활동도(activity)가 높거나 움직임이 역동적인 경우 CU가 세분화되고, 반대로 움직임이 적거나 평탄한 영역의 경우는 큰 CU로 부호화를 수행한다In FIG. 4, each square represents each CU, the largest square means that the LCU itself is not divided, and the smallest square represents the SCU in which the LCU is subdivided to the maximum depth. That is, as a result of performing encoding on all CU sizes, it means that the partition structure having the highest compression efficiency appeared as shown in FIG. 4. In general, if the activity of the region is high or the motion is dynamic, the CU is subdivided, and in the case of the low motion or flat region, encoding is performed with a large CU.
영상 부호화 과정에서 주변 CU들 간의 관계를 도 4를 통해 살펴보면, CU는 주변 CU의 크기와 유사한 경향을 보인다. 즉 해당 CU와 주변 CU의 깊이 정보의 차이가 2 이상 차이나는 급격한 크기 변화는 찾기 어려우며 인접한 CU간에는 비슷한 깊이 정보를 갖는 것이 관찰된다. HEVC 부호화 과정에서의 CU에 대한 코딩 순서는 프레임 내에서 알파벳 Z자 모양으로 진행되기 때문에 주변 CU에 대한 깊이 정보는 좌측 CU(left CU)와 상측 CU(upper CU)가 사용 가능하다.Looking at the relationship between the neighboring CUs through FIG. 4 in the image encoding process, the CU tends to be similar to the size of the neighboring CU. That is, it is difficult to find a sudden change in size in which the difference between the depth information of the corresponding CU and the neighboring CU differs by 2 or more, and it is observed that adjacent CUs have similar depth information. Since the coding order for CUs in the HEVC encoding process proceeds in an alphabetic Z shape within a frame, depth information on the neighboring CUs can be used for a left CU and an upper CU.
표 1은 WVGA(832x480 size) 크기의 4가지 HEVC Test Sequence를 low_delay_p 조건에 대하여 QP=22, 27, 32, 37 4가지 상황에 맞춰 시뮬레이션 하여 얻은 최종 CU 분할 구조에 대해 주변 CU(좌측 또는 상측 위치의 CU)와의 차이가 0 또는 1일 확률값을 얻은 결과이다. 표 1에 대한 확률값을 보았을 때 64x64를 제외한 나머지 CU 크기들에 대하여 주변 CU와 현재 CU의 깊이 정보의 차이량 1이하일 경우가 0.9 이상의 높은 확률을 갖는 것을 확인할 수 있으며, 이를 통해 공간적인 주변 CU와 현재 CU간의 크기는 급격히 변하지 않는다는 사실을 알 수 있다. 아래 표1은 CU 크기별 주변 CU와의 깊이 정보 차이가 2 이하일 확률을 나타낸다. Table 1 shows the surrounding CU (left or upper position) for the final CU split structure obtained by simulating 4 types of HEVC Test Sequences of WVGA (832x480 size) in accordance with the low_delay_p condition in QP=22, 27, 32, 37 4 situations. This is the result of obtaining a probability value that the difference from CU) of is 0 or 1. When looking at the probability values in Table 1, it can be seen that for the remaining CU sizes excluding 64x64, if the difference between the depth information of the neighboring CU and the current CU is less than 1, it has a high probability of 0.9 or more. It can be seen that the size between CUs currently does not change rapidly. Table 1 below shows the probability that the difference in depth information from neighboring CUs for each CU size is 2 or less.
도 5는 본 발명의 다른 실시예에 따른 영상 부호화방법의 CU분할을 도시한 예로서, 도 5를 참조하면 도 5는 HEVC의 Test Sequence중 하나인 'BasketballDrill' 시퀀스를 실제로 부호화 하였을 때 CU의 분할에 대한 영상의 일부분을 발췌한 것으로 이를 통하여 현재 프레임과 참조 프레임 간의 CU크기가 유사함을 확인할 수 있다. 즉, 현재 프레임(b)과 참조 프레임(a)간 동일한 위치의 LCU가 깊이정보 차이 1 이하의 비슷한 CU 분할 구조를 갖는다는 것도 확인할 수 있다. 도 4 및 도 5를 통해 살펴본 바와 같이, 현재 CU는 주변 CU와 밀접한 관계가 있다.여기서, 주변 CU는 도 4의 실시예에서 살펴본 공간적 주변 CU인 좌측 CU와 상측 CU와 도 5의 실시예에서 살펴본 시간적 주변 CU를 포함하여 수학식 1과 같이 나타낼 수 있다.FIG. 5 is an example of CU segmentation in an image encoding method according to another embodiment of the present invention. Referring to FIG. 5, FIG. 5 is a segmentation of a CU when the'BasketballDrill' sequence, which is one of the test sequences of HEVC, is actually encoded. It can be seen that the CU size between the current frame and the reference frame is similar through this extract of a part of the image for. That is, it can also be confirmed that the LCU at the same position between the current frame (b) and the reference frame (a) has a similar CU partition structure with a depth information difference of 1 or less. 4 and 5, the current CU has a close relationship with the neighboring CU. Here, the neighboring CU is a left CU and an upper CU, which are spatial peripheral CUs examined in the embodiment of FIG. 4, and in the embodiment of FIG. It can be expressed as in Equation 1 including the examined temporal surrounding CU.
[수학식1][Equation 1]
여기서, 
현재 CU와 주변 CU와의 깊이 정보는 큰 차이를 보이지 않으며, 주변 CU의 크기가 클 경우 현재 CU의 크기는 같거나 작은 차이의(0또는 1 내외) 깊이 정보를 갖는 CU 크기일 가능성이 매우 크다. 즉, 현재 CU를 라 하고 주변 CU와의 깊이 정보의 합을 D라고 하였을 때, 이는 수학식 2와 같이 정의할 수 있다.The depth information between the current CU and the neighboring CU does not show a big difference, and if the size of the neighboring CU is large, the size of the current CU is very likely to be the size of the CU having depth information of the same or small difference (around 0 or 1). That is, when the current CU is denoted and the sum of depth information with the neighboring CU is D, this can be defined as in Equation 2.
[수학식2][Equation 2]
수학식 2에서 정의한 D값이 작을수록 이는 부호화가 완료된 주변 CU의 크기가 크다는 것을 의미한다. 주변 CU와 현재 CU의 크기의 차이는 크지 않기 때문에 현재 부호화하는 CU의 크기가 어느 임계치(Threshold) 이하의 D값을 갖을 경우 주변 CU의 크기가 충분히 크다고 할 수 있으며, 그 이하 크기를 갖는 CU에 대해서는 발생 확률이 매우 낮으므로 부호화 과정을 생략해도 부호화 결과에 큰 차이가 없을 것이다. The smaller the D value defined in Equation 2, the larger the size of the encoded neighboring CU. Since the difference between the size of the neighboring CU and the current CU is not large, if the size of the currently encoded CU has a D value less than a certain threshold, the size of the neighboring CU can be said to be sufficiently large. Since the probability of occurrence is very low, there will be no significant difference in the encoding result even if the encoding process is omitted.
이상에서 살펴본 바와 같이, CU 깊이 정보는 공간적, 시간적으로 주변 CU와 밀접한 관계가 있기 때문에 부호화 수행에 있어 비슷한 CU 깊이 정보를 갖는 주변 CU에 대한 정보를 잘 이용한다면 해당 CU의 깊이를 미리 예측할 수 있게 되고, 그 결과 계산상의 복잡도를 낮출 수 있다는 결론을 얻을 수 있다. 또한, 부호화하고자 하는 CU의 크기가 어느 임계치 이하의 D값을 갖을 경우 부호화 과정의 생략이 가능하게 되어 고속의 영상 부호화가 가능하게 된다.As discussed above, since CU depth information is spatially and temporally closely related to a neighboring CU, if information about a neighboring CU having similar CU depth information is well used in performing encoding, the depth of the corresponding CU can be predicted in advance. As a result, it can be concluded that the computational complexity can be reduced. In addition, when the size of the CU to be encoded has a D value less than or equal to a certain threshold, the encoding process can be omitted, thereby enabling high-speed video encoding.
도 6은 본 발명의 일실시예에 따른 영상 부호화방법을 도시한 순서도이다. 6 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
도 6을 참조하면, 율-왜곡 최적화를 통해 최적모드를 결정하는 단계(S110)와, 임계치와 D값을 비교하는 단계(S120)와, 비교단계(S120)의 결과에 따라 CU분할 후 부호화하는 단계(S130)와, 다음 LCU를 부호화하는 단계(S140)를 포함한다. Referring to FIG. 6, determining an optimal mode through rate-distortion optimization (S110), comparing a threshold value and a D value (S120), and performing CU partitioning and encoding according to the result of the comparison step (S120). It includes a step S130 and a step S140 of encoding the next LCU.
율-왜곡 최적화를 통해 최적모드를 결정하는 단계(S110)는 각 CU를 부호화하고, 부호화된 영상에 대하여 율-왜곡 비용을 산출하는 과정이다. 율-왜곡 비용은 부호화된 영상의 왜곡과 데이터율을 모두 고려하여 산출된 값이다. 영상 부호화 장치는 율-왜곡 비용이 낮은 예측 모드를 최적의 예측 모드로 선택하게 된다.Determining the optimal mode through rate-distortion optimization (S110) is a process of encoding each CU and calculating a rate-distortion cost for the encoded image. The rate-distortion cost is a value calculated by considering both the distortion and data rate of the encoded image. The video encoding apparatus selects a prediction mode having a low rate-distortion cost as an optimal prediction mode.
각각 다른 크기의 CU로 분할하여 부호화하는 단계(S130) 이후, 다시 율-왜곡 최적화를 통해 최적모드를 결정하는 단계(S110)가 다시 반복 수행되는 재귀적 과정이다.After the step of dividing and encoding into CUs of different sizes (S130), the step of determining the optimal mode through rate-distortion optimization (S110) is a recursive process that is repeatedly performed again.
본 발명의 일실시예에 따른 영상 부호화방법은, 임계치와 D값을 비교하는 단계(S120)를 통해 압축효율이 결정되기 때문에 임계치를 결정하는 단계가 매우 중요하다. 임계치를 크게 하였을 경우 압축 효율의 감소현상이 일어나지만 고속의 부호화가 수행되며, 임계치를 작게 하면 압축 효율은 보존이 되지만 부호화의 속도 향상 효과가 감소하게 된다.In the video encoding method according to an embodiment of the present invention, since the compression efficiency is determined through the step of comparing the threshold value and the D value (S120), the step of determining the threshold value is very important. When the threshold is increased, compression efficiency decreases, but high-speed encoding is performed. When the threshold is decreased, the compression efficiency is preserved, but the effect of improving the encoding speed decreases.
표 2는 부호화 과정에서 발생할 수 있는 모든 CU 크기인 64x64, 32x32, 16x16, 8x8 크기에 대하여 D값의 확률 밀도 함수(probability density function,,PDF)값을 나타낸다. 부호화 조건은 표 1에서 사용한 조건과 동일하다.Table 2 shows the probability density function (PDF) value of the D value for all CU sizes that may occur during the encoding process, such as 64x64, 32x32, 16x16, and 8x8. The coding conditions are the same as those used in Table 1.
HEVC의 높은 압축 효율을 보존하기 위해서는 허용되는 임계치를 작게 설정 해야 한다. 표 2에 따르면 64x64 크기의 CU에 대해서는 D가 가질 수 있는 최소값인 0의 확률 또한 매우 높으므로, 압축 효율 보존을 위해서는 빠른 CU 깊이 결정 방법에서 64x64 CU 크기는 제외시키는 것이 바람직하다. 반면, 32x32 크기에서는 D=0의 PDF값이 매우 낮으므로 이 경우 1값을 임계치로 설정하여 빠른 CU 깊이 결정 방법을 수행하여도 압축 효율이 높을 것이기 때문에 바람직하다. 16x16 크기의 경우도 마찬가지의 이유로 3의 값을 임계값으로 사용할 경우 압축 효율을 보존시키며 부호화 속도의 향상을 기대할 수 있다. 아래 표 2는 CU size에 따른 D값의 PDF를 나타낸다. In order to preserve the high compression efficiency of HEVC, the allowable threshold should be set small. According to Table 2, since the probability of 0, which is the minimum value that D can have, for a 64x64 CU is also very high, it is preferable to exclude the 64x64 CU size from the fast CU depth determination method to preserve compression efficiency. On the other hand, in the 32x32 size, the PDF value of D=0 is very low. In this case, even if a fast CU depth determination method is performed by setting a value of 1 as a threshold, it is preferable because compression efficiency will be high. In the case of a 16x16 size, if a value of 3 is used as a threshold for the same reason, compression efficiency is preserved and an improvement in coding speed can be expected. Table 2 below shows the PDF of the D value according to the CU size.
한편, 본 발명의 실시예에 따른 영상 부호화방법의 효과 검증을 위하여 (the HEVC test model software인) HM-5.0 참조 소프트웨어에 제안 방법을 구현하였으며, 원본 HM-5.0 부호화 결과와 압축 효율 및 부호화 시간 측면에 따라 비교하였다. low_delay_p 조건을 사용하였으며, 평가 시퀀스는 HEVC Test Sequence 4가지에 대하여 QP={ 22, 27, 32, 37 } 4가지 상황에 대하여 시뮬레이션 하였다. 원본 HM-5.0을 기준으로 상대적인 결과를 측정, BD-Rate에 의한 압축 효율 변화를 관찰하였다.표 3에서 볼 수 있듯이 본 발명의 실시예에 따른 영상 부호화방법은 부호화기의 평균적 연산량을 9310sec에서 8632sec 까지 약 7.27% 감소시킬 수 있는 반면, 압축 효율 하락은 0.31%로서 압축 효율의 손실이 거의 없으면서도 부호화 속도를 효과적으로 감소시킬 수 있다는 것을 확인할 수 있다. 아래 표 3은 HM-5.0의 방법에 비교한 제안한 방법의 성능 결과이다.Meanwhile, in order to verify the effect of the video encoding method according to the embodiment of the present invention, the proposed method was implemented in the HM-5.0 reference software (the HEVC test model software), and the original HM-5.0 encoding result, compression efficiency, and encoding time Was compared according to. The low_delay_p condition was used, and the evaluation sequence was simulated for 4 types of HEVC Test Sequences, QP={ 22, 27, 32, 37 }. Relative results were measured based on the original HM-5.0, and the change in compression efficiency due to the BD-Rate was observed. While it can be reduced by about 7.27%, the reduction in compression efficiency is 0.31%, indicating that the coding speed can be effectively reduced while there is little loss in compression efficiency. Table 3 below shows the performance results of the proposed method compared to the method of HM-5.0.
DrillBasketball
Drill
0.55
0.52
PartyScene
0.07
RaceHorses
100: 영상 부호화 장치
111: 움직임 예측부
112: 움직임 보상부
120: 인트라 예측부
125: 감산기
130: 변환부
140: 양자화부
150: 엔트로피 부호화부100: image encoding device 111: motion prediction unit
112: motion compensation unit 120: intra prediction unit
125: subtractor 130: conversion unit
140: quantization unit 150: entropy encoding unit
Claims (4)
상기 복호화된 분할 플래그를 기반으로, 상기 제1 코딩 블록을 복수의 제2 코딩 블록으로 분할하는 단계;
상기 제2 코딩 블록을 인트라 모드로 복호화하여 예측 블록을 생성하는 단계;
상기 비트스트림을 엔트로피 복호화하여 양자화된 계수(quantized coefficient)를 획득하는 단계;
상기 획득된 양자화된 계수에 역양자화 및 역변환을 수행하여 잔차 블록을 생성하는 단계; 및
상기 예측 블록 및 상기 잔차 블록을 기반으로, 상기 제2 코딩 블록의 복원 블록을 생성하는 단계를 포함하되,
상기 분할 플래그는, 상기 제1 코딩 블록이 복수의 제2 코딩 블록으로 분할되는지 여부를 나타내고,
상기 제1 코딩 블록의 뎁스 정보가 k인 경우, 상기 제2 코딩 블록 각각의 뎁스 정보는 (k+1)로 표현되며,
상기 분할 플래그는, 상기 제1 코딩 블록에 인접한 주변 블록의 깊이 정보 및 상기 제1 코딩 블록의 크기가 소정의 임계치보다 작은지 여부를 고려하여 복호화되고,
상기 제1 코딩 블록의 크기는, 깊이 정보를 통해 표현되며,
상기 임계치는, 복호화 장치에 기-설정된 고정된 값이고, 상기 고정된 값은 2인, 영상 복호화 방법.Decoding a split flag (split_flag) for the first coding block from the bitstream;
Dividing the first coding block into a plurality of second coding blocks based on the decoded split flag;
Generating a prediction block by decoding the second coding block in an intra mode;
Entropy decoding the bitstream to obtain a quantized coefficient;
Generating a residual block by performing inverse quantization and inverse transformation on the obtained quantized coefficients; And
Including the step of generating a reconstructed block of the second coding block based on the prediction block and the residual block,
The division flag indicates whether the first coding block is divided into a plurality of second coding blocks,
When the depth information of the first coding block is k, the depth information of each of the second coding blocks is expressed as (k+1),
The split flag is decoded in consideration of depth information of a neighboring block adjacent to the first coding block and whether the size of the first coding block is smaller than a predetermined threshold,
The size of the first coding block is expressed through depth information,
The threshold value is a fixed value pre-set in the decoding apparatus, and the fixed value is 2.
상기 주변 블록은, 상기 제1 코딩 블록의 좌측 주변 블록 또는 상단 주변 블록 중 적어도 하나를 포함하는, 영상 복호화 방법.The method of claim 1,
The neighboring block includes at least one of a left neighboring block or an upper neighboring block of the first coding block.
상기 부호화된 분할 플래그를 기반으로, 상기 제1 코딩 블록을 복수의 제2 코딩 블록으로 분할하는 단계;
상기 제2 코딩 블록을 인트라 모드로 복호화하여 예측 블록을 생성하는 단계;
상기 제2 코딩 블록의 원본 블록과 상기 예측 블록의 차분에 의해 잔차 블록을 생성하는 단계;
상기 생성된 잔차 블록에 대해 변환 및 양자화를 수행하여 양자화된 계수(quantized coefficient)를 획득하는 단계; 및
상기 획득된 양자화된 계수를 부호화하여 비트스트림을 생성하는 단계를 포함하되,
상기 제1 코딩 블록의 뎁스 정보가 k인 경우, 상기 제2 코딩 블록 각각의 뎁스 정보는 (k+1)로 표현되며,
상기 분할 플래그는, 상기 제1 코딩 블록에 인접한 주변 블록의 깊이 정보 및 상기 제1 코딩 블록의 크기가 소정의 임계치보다 작은지 여부를 고려하여 부호화되고,
상기 제1 코딩 블록의 크기는, 깊이 정보를 통해 표현되며,
상기 임계치는, 복호화 장치에 기-설정된 고정된 값이고, 상기 고정된 값은 2인, 영상 부호화 방법.Encoding a split flag (split_flag) for the first coding block;
Dividing the first coding block into a plurality of second coding blocks based on the coded split flag;
Generating a prediction block by decoding the second coding block in an intra mode;
Generating a residual block based on a difference between the original block of the second coding block and the prediction block;
Performing transform and quantization on the generated residual block to obtain a quantized coefficient; And
Including the step of generating a bitstream by encoding the obtained quantized coefficient,
When the depth information of the first coding block is k, the depth information of each of the second coding blocks is expressed as (k+1),
The split flag is encoded in consideration of depth information of a neighboring block adjacent to the first coding block and whether a size of the first coding block is smaller than a predetermined threshold,
The size of the first coding block is expressed through depth information,
The threshold value is a fixed value pre-set in a decoding apparatus, and the fixed value is 2.
상기 주변 블록은, 상기 제1 코딩 블록의 좌측 주변 블록 또는 상단 주변 블록 중 적어도 하나를 포함하는, 영상 부호화 방법.The method of claim 3,
The neighboring block includes at least one of a left neighboring block or an upper neighboring block of the first coding block.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120070243 | 2012-06-28 | ||
| KR20120070243 | 2012-06-28 | ||
| KR1020200091047A KR102244315B1 (en) | 2012-06-28 | 2020-07-22 | Method and Apparatus for image encoding |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200091047A Division KR102244315B1 (en) | 2012-06-28 | 2020-07-22 | Method and Apparatus for image encoding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210044765A true KR20210044765A (en) | 2021-04-23 |
| KR102323427B1 KR102323427B1 (en) | 2021-11-09 |
Family
ID=50142620
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120138175A KR102039039B1 (en) | 2012-06-28 | 2012-11-30 | Method and Apparatus for image encoding |
| KR1020190130684A KR102138828B1 (en) | 2012-06-28 | 2019-10-21 | Method and Apparatus for image encoding |
| KR1020200091047A KR102244315B1 (en) | 2012-06-28 | 2020-07-22 | Method and Apparatus for image encoding |
| KR1020210050298A KR102323427B1 (en) | 2012-06-28 | 2021-04-19 | Method and Apparatus for image encoding |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120138175A KR102039039B1 (en) | 2012-06-28 | 2012-11-30 | Method and Apparatus for image encoding |
| KR1020190130684A KR102138828B1 (en) | 2012-06-28 | 2019-10-21 | Method and Apparatus for image encoding |
| KR1020200091047A KR102244315B1 (en) | 2012-06-28 | 2020-07-22 | Method and Apparatus for image encoding |
Country Status (1)
| Country | Link |
|---|---|
| KR (4) | KR102039039B1 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9955187B2 (en) * | 2014-03-28 | 2018-04-24 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
| US9769481B2 (en) | 2014-03-28 | 2017-09-19 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
| KR101603413B1 (en) * | 2014-03-28 | 2016-03-28 | 경희대학교 산학협력단 | Method and apparatus for encoding of video using depth image |
| US9769498B2 (en) | 2014-03-28 | 2017-09-19 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
| KR101603414B1 (en) * | 2014-03-28 | 2016-03-15 | 경희대학교 산학협력단 | Method and apparatus for encoding of 2demensional video using depth image |
| KR101603412B1 (en) * | 2014-03-28 | 2016-03-15 | 경희대학교 산학협력단 | Method and apparatus for encoding of video using depth image |
| KR101616461B1 (en) * | 2014-07-10 | 2016-04-29 | 전자부품연구원 | Adaptive CU Depth Range Estimation in HEVC Encoder |
| EP4044597A4 (en) * | 2019-10-10 | 2023-11-01 | Samsung Electronics Co., Ltd. | Image decoding device using tool set and image decoding method thereby, and image encoding device and image encoding method thereby |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110061509A (en) * | 2009-12-01 | 2011-06-09 | (주)휴맥스 | Methods for encoding/decoding high definition image and apparatuses for performing the same |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101457418B1 (en) * | 2009-10-23 | 2014-11-04 | 삼성전자주식회사 | Method and apparatus for video encoding and decoding dependent on hierarchical structure of coding unit |
-
2012
- 2012-11-30 KR KR1020120138175A patent/KR102039039B1/en active Application Filing
-
2019
- 2019-10-21 KR KR1020190130684A patent/KR102138828B1/en active IP Right Grant
-
2020
- 2020-07-22 KR KR1020200091047A patent/KR102244315B1/en active IP Right Grant
-
2021
- 2021-04-19 KR KR1020210050298A patent/KR102323427B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110061509A (en) * | 2009-12-01 | 2011-06-09 | (주)휴맥스 | Methods for encoding/decoding high definition image and apparatuses for performing the same |
Non-Patent Citations (1)
| Title |
|---|
| Benjamin Bross, et. al., "WD4: Working Draft 4 of High-Efficiency Video Coding", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT,* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102244315B1 (en) | 2021-04-26 |
| KR102323427B1 (en) | 2021-11-09 |
| KR102138828B1 (en) | 2020-07-28 |
| KR20200090716A (en) | 2020-07-29 |
| KR20140008984A (en) | 2014-01-22 |
| KR102039039B1 (en) | 2019-10-31 |
| KR20190122615A (en) | 2019-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102244315B1 (en) | Method and Apparatus for image encoding | |
| KR102165340B1 (en) | Methods of determination for chroma quantization parameter and apparatuses for using the same | |
| US10477216B2 (en) | Encoding/decoding apparatus and method using flexible deblocking filtering | |
| US9838718B2 (en) | Secondary boundary filtering for video coding | |
| CN106170092B (en) | Fast coding method for lossless coding | |
| US10735725B2 (en) | Boundary-intersection-based deblock filtering | |
| KR102393179B1 (en) | Method and apparatus for generating reconstruction block | |
| JP7343668B2 (en) | Method and apparatus for color conversion in VVC | |
| WO2018102782A1 (en) | Indication of bilateral filter usage in video coding | |
| KR101857755B1 (en) | Methods of decoding using skip mode and apparatuses for using the same | |
| KR101621854B1 (en) | Tsm rate-distortion optimizing method, encoding method and device using the same, and apparatus for processing picture | |
| KR101530774B1 (en) | Method, apparatus and system for image encoding and decoding | |
| KR20130029130A (en) | Method of short distance intra prediction unit decoding and decoder | |
| KR20170114598A (en) | Video coding and decoding methods using adaptive cross component prediction and apparatus | |
| KR101924959B1 (en) | Method and Apparatus for image encoding | |
| KR20170027288A (en) | Fast video encoding method based on temporal correlation | |
| KR20140043015A (en) | Method and apparatus for image encoding | |
| WO2024006231A1 (en) | Methods and apparatus on chroma motion compensation using adaptive cross-component filtering | |
| Kesireddy | A new adaptive trilateral filter for in-loop filtering | |
| KR20140079519A (en) | Quantization parameter coding method using average quantization parameter | |
| KR20130070215A (en) | Method and apparatus for seletcing the adaptive depth information and processing deblocking filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |