KR20160066743A - A method and apparatus for processing a video signal - Google Patents

Abstract

The present invention relates to a method for extracting a reduction image from an image signal and a device for the same. Specifically, the method includes: a step of obtaining an intra-estimation mode of a coding block including a current block from the image signal; a step of restoring one or more samples in the current block based on the obtained intra-estimation mode; and a step of extracting the at least one sample among the restored one or more samples. The one or more samples are restored only at the position of the at least one sample and a predetermined boundary in the current block.

Description

비디오 신호 처리 방법 및 이를 위한 장치{A method and apparatus for processing a video signal}TECHNICAL FIELD The present invention relates to a video signal processing method and a video signal processing method,

본 발명은 영상 처리에 관한 것으로서, 보다 구체적으로는 축소 영상 추출에 관한 것이다.The present invention relates to image processing, and more particularly, to reduction image extraction.

디지털 동영상 처리 기술이 급격히 발전함에 따라 고화질 디지털방송, 디지털 멀티미디어 방송, 인터넷 방송 등과 같은 다양한 매체를 이용한 디지털 멀티미디어 서비스가 활성화되고 있으며, 고화질 디지털 방송이 일반화되면서 다양한 서비스 애플리케이션이 개발되고 있고, 고화질, 고해상도의 영상을 위한 고속 동영상 처리 기술들이 요구되고 있다. H.265/HEVC(High Efficiency Video Coding), H.264/AVC(Advanced Video Coding)와 같은 동영상 압축에 관한 표준은 비디오 데이터를 표현하는데 있어서 시각적으로 좋은 화질을 유지하면서 필요한 비트량을 감소시키는 압축기법이지만, 압축된 데이터를 영상처리의 목적으로 이용하기가 쉽지 않다. 압축된 데이터를 효과적으로 처리하기 위하여 빠른 검색 및 복원을 위한 알고리즘에 대해 많은 연구가 진행되었다. 이러한 연구 중 하나가 축소 영상에 대한 연구인데, 이 축소 영상을 흔히 썸네일(Thumbnail)이라고 부른다. 썸네일 영상은 동영상 시퀀스의 대표 영상인데, 영상의 특성을 대략적으로 표현하는데 필요한 요소들을 가지기 때문에 이를 이용하여 빠른 검색이나 인덱싱에 사용된다. 또한, 썸네일 추출은 원본 영상을 저장하는 것보다 적은 메모리가 요구되며, 더 적은 연산만으로 수행될 수 있기 때문에 압축된 영상의 검색에 사용된다. H.265/HEVC, H.264/AVC와 같은 코덱은 고화질 영상을 효율적으로 압축하기 위한 코덱이기 때문에 상대적으로 데이터 량도 많아지게 되는데, 방대한 데이터를 압축하고 복원하기 위해서는 처리해야 할 연산이 많아 시간이 많이 소요되고, 프레임 메모리 또한 많이 차지하게 되어 기존의 썸네일 추출방법보다 더욱 효율적인 알고리즘이 필요하다.As the digital video processing technology rapidly develops, digital multimedia services using various media such as high-definition digital broadcasting, digital multimedia broadcasting and Internet broadcasting are being activated. Various high-definition digital broadcasting services are being developed and various service applications are being developed. Speed video processing techniques for video images are required. Video compression standards such as H.265 / HEVC (High Efficiency Video Coding) and H.264 / AVC (Advanced Video Coding) are used to represent video data, Technique, but it is not easy to use compressed data for image processing purposes. Much research has been done on algorithms for fast retrieval and restoration to efficiently process compressed data. One of these studies is the study of thumbnail images, which are often referred to as thumbnails. The thumbnail image is a representative image of a video sequence, and is used for quick search or indexing by using the representative elements of the video sequence because it has elements necessary for roughly expressing the characteristics of the image. In addition, thumbnail extraction is used to search compressed images because it requires less memory and can be performed with fewer operations than storing the original image. Since codecs such as H.265 / HEVC and H.264 / AVC are codecs for efficiently compressing high-quality images, the amount of data is relatively increased. In order to compress and restore vast amounts of data, And the frame memory also occupies a lot of space, so a more efficient algorithm is needed than the existing thumbnail extraction method.

본 발명의 목적은 영상 신호를 효율적으로 처리할 수 있는 방법 및 이를 위한 장치를 제공하는 데 있다.It is an object of the present invention to provide a method and apparatus for efficiently processing a video signal.

본 발명의 다른 목적은 축소 영상(또는 썸네일 영상)을 추출하는 데 필요한 연산량 및 처리 시간을 단축시키는 방법 및 이를 위한 장치를 제공하는 데 있다.It is another object of the present invention to provide a method and apparatus for shortening the amount of computation and processing time required to extract a reduced image (or a thumbnail image).

본 발명의 또 다른 목적은 부호화된 비트스트림으로부터 축소 영상(또는 썸네일 영상)을 고속으로 추출하기 위한 방법 및 이를 위한 장치를 제공하는 데 있다.It is still another object of the present invention to provide a method and apparatus for extracting a reduced image (or a thumbnail image) at high speed from an encoded bitstream.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.

본 발명의 일 양상으로, 영상 신호로부터 축소 영상을 추출하기 위한 방법이 제공되며, 상기 방법은 상기 영상 신호로부터 현재 블록을 포함하는 코딩 블록의 인트라 예측 모드를 획득하는 단계; 상기 획득된 인트라 예측 모드를 기반으로 상기 현재 블록에서 하나 이상의 샘플을 복원하는 단계; 및 상기 복원된 하나 이상의 샘플에서 적어도 하나의 샘플을 추출하는 단계를 포함하되, 상기 하나 이상의 샘플은 상기 현재 블록 내에서 특정 경계 및 상기 적어도 하나의 샘플 위치에서만 복원될 수 있다.According to an aspect of the present invention, there is provided a method for extracting a reduced image from a video signal, the method comprising: obtaining an intra prediction mode of a coding block including a current block from the video signal; Reconstructing one or more samples in the current block based on the obtained intra prediction mode; And extracting at least one sample from the restored one or more samples, wherein the one or more samples may be reconstructed only at a particular boundary and the at least one sample location within the current block.

바람직하게는, 상기 인트라 예측 모드가 제1 범위의 값 중에서 하나에 해당하는 경우, 상기 특정 경계는 상기 현재 블록 내에서 좌측 경계 및 상단 경계에 해당하고, 상기 인트라 예측 모드가 제2 범위의 값 중에서 하나에 해당하는 경우, 상기 특정 경계는 상기 현재 블록 내에서 상기 좌측 경계에 해당하고, 상기 인트라 예측 모드가 제3 범위의 값 중에서 하나에 해당하는 경우, 상기 특정 경계는 상기 상단 경계에 해당할 수 있다.Preferably, when the intra prediction mode corresponds to one of the values of the first range, the specific boundary corresponds to a left boundary and an upper boundary in the current block, and when the intra prediction mode corresponds to a value of a second range The specific boundary corresponds to the left boundary in the current block, and if the intra prediction mode corresponds to one of the values in the third range, the specific boundary may correspond to the upper boundary have.

바람직하게는, 상기 인트라 예측 모드가 제3 범위의 값 중에서 하나에 해당하고, 상기 코딩 블록이 슬라이스의 상단 경계에 위치하고, 상기 현재 블록이 상기 코딩 블록 내에서 상단 경계에 위치하는 경우, 상기 복원되는 하나 이상의 샘플은 상기 현재 블록 내에서 우측 상단 코너 샘플을 포함하고, 상기 인트라 예측 모드가 제2 범위의 값 중에서 하나에 해당하고, 상기 코딩 블록이 슬라이스의 좌측 경계에 위치하고, 상기 현재 블록이 상기 코딩 블록 내에서 좌측 경계에 위치하는 경우, 상기 복원되는 하나 이상의 샘플은 상기 현재 블록 내에서 좌측 하단 코너 샘플을 포함할 수 있다.Preferably, when the intra prediction mode corresponds to one of the values in the third range, the coding block is located at the upper boundary of the slice, and the current block is located at the upper boundary within the coding block, Wherein the one or more samples include a top right corner sample in the current block, the intra prediction mode corresponds to one of a value in a second range, the coding block is located at a left boundary of the slice, If located at the left boundary within the block, the one or more samples to be restored may include left bottom corner samples in the current block.

바람직하게는, 상기 복원하는 단계는 상기 인트라 예측 모드가 수직 모드를 지시하는 경우 상기 현재 블록 내에서 좌측 경계에 위치하는 샘플에 대해 필터링하는 것과, 상기 인트라 예측 모드가 수평 모드를 지시하는 경우 상기 현재 블록 내에서 상단 경계에 위치하는 샘플에 대해 필터링하는 것과, 상기 인트라 예측 모드가 DC 모드를 지시하는 경우 상기 현재 블록 내에서 좌측 경계 및 상단 경계에 위치하는 샘플에 대해 필터링하는 것을 포함하되, 상기 인트라 예측 모드가 수직 모드를 지시하는 경우, 상기 필터링은 상기 현재 블록 내에서 좌측 하단 코너 샘플에 대해서만 수행되고, 상기 인트라 예측 모드가 수평 모드를 지시하는 경우, 상기 필터링은 상기 현재 블록 내에서 우측 상단 코너 샘플에 대해서만 수행되고, 상기 인트라 예측 모드가 DC 모드를 지시하는 경우, 상기 필터링은 상기 현재 블록 내에서 좌측 하단 코너 샘플 및 우측 상단 코너 샘플에 대해서만 수행될 수 있다.Preferably, the reconstructing includes filtering for a sample located at a left boundary in the current block when the intra prediction mode indicates a vertical mode, Filtering for a sample located at a left boundary and an upper boundary in the current block when the intra prediction mode indicates a DC mode, If the prediction mode indicates a vertical mode, the filtering is performed only on the lower left corner sample in the current block, and if the intra prediction mode indicates a horizontal mode, the filtering is performed in the upper right corner Sample, and the intra-prediction mode is performed only for the DC mo When instructing, the filtering may be performed only on the bottom corner and top right corner of the sample the sample left within the current block.

바람직하게는, 상기 복원된 하나 이상의 샘플들에 대해 인루프 필터링은 수행되지 않을 수 있다.Advantageously, in-loop filtering may not be performed on the recovered one or more samples.

본 발명에 따르면, 영상 신호를 효율적으로 처리할 수 있다.According to the present invention, a video signal can be efficiently processed.

또한, 본 발명에 따르면, 축소 영상(또는 썸네일 영상)을 추출하는 데 필요한 연산량 및 처리 시간을 단축시킬 수 있다.Further, according to the present invention, it is possible to shorten a calculation amount and a processing time required to extract a reduced image (or a thumbnail image).

또한, 본 발명에 따르면, 부호화된 비트스트림으로부터 축소 영상(또는 썸네일 영상)을 고속으로 추출할 수 있다.Also, according to the present invention, a reduced image (or a thumbnail image) can be extracted at high speed from an encoded bitstream.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtained in the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description .

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 비디오 신호의 복호화 및 축소 영상 추출 과정을 예시한다.
도 2는 인트라 예측 과정을 예시한다.
도 3은 인트라 예측 모드를 예시한다.
도 4는 인트라 예측을 위한 참조 샘플을 예시한다.
도 5는 참조 샘플 패딩을 예시한다.
도 6은 인트라 예측 모드가 평면 모드인 경우 예측 샘플을 위한 연산을 예시한다.
도 7은 예측 샘플에 대한 필터링을 예시한다.
도 8은 본 발명에 따른 축소 영상(또는 썸네일 영상)을 추출 과정을 예시한다.
도 9는 본 발명에 따른 서브샘플링 위치를 예시한다.
도 10 내지 도 12는 본 발명에 따라 현재 블록에서 복원되는 샘플들의 위치를 예시한다.
도 13 내지 도 16은 본 발명에 따른 복원 샘플과 서브샘플링 위치를 예시한다.
도 17 내지 도 20은 본 발명의 실시예에 따른 복원 샘플의 위치를 예시한다.
도 21 내지 도 23은 본 발명에 따른 예측 샘플 필터링을 예시한다.
도 24는 본 발명이 적용될 수 있는 장치의 구조를 예시한다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included to provide a further understanding of the invention and are incorporated in and constitute a part of the specification, illustrate embodiments of the invention and, together with the description, serve to explain the principles of the invention.
FIG. 1 illustrates a process of decoding a video signal and extracting a reduced image.
Figure 2 illustrates an intra prediction process.
FIG. 3 illustrates an intra prediction mode.
Figure 4 illustrates a reference sample for intra prediction.
Figure 5 illustrates a reference sample padding.
6 illustrates an operation for a prediction sample when the intra prediction mode is a planar mode.
Figure 7 illustrates filtering for a prediction sample.
FIG. 8 illustrates a process of extracting a thumbnail image (or a thumbnail image) according to the present invention.
Figure 9 illustrates a subsampling location in accordance with the present invention.
10 to 12 illustrate locations of samples reconstructed in a current block according to the present invention.
Figures 13 to 16 illustrate reconstruction samples and subsampling locations in accordance with the present invention.
Figures 17 to 20 illustrate locations of restoration samples according to embodiments of the present invention.
Figures 21-23 illustrate predictive sample filtering in accordance with the present invention.
Figure 24 illustrates the structure of an apparatus to which the present invention may be applied.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위하여 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms, and the inventor should appropriately design the concept of the term appropriately in order to describe its own invention in the best way. It should be interpreted in accordance with the meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined. Therefore, the embodiments described in this specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, It is to be understood that equivalents and modifications are possible.

본 명세서에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 원리를 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다. 예를 들어, 정보(information)는 값(value), 파라미터(parameter), 계수(coefficient), 성분(element) 등을 지칭할 수 있다. 픽처(picture)는 동일한 특정 시간에서 샘플들의 이차원 배열을 지칭하며, 프레임으로도 지칭될 수 있다. 샘플은 픽처를 구성하는 최소 단위를 지칭할 수 있으며 픽셀(pixel), 화소 또는 펠(pel) 등으로 지칭될 수 있다. 샘플은 휘도(luminance, luma) 성분 및/또는 색차(chrominance, chroma) 성분을 포함할 수 있다. 유닛(unit)은 영상 처리의 기본 단위 또는 영상의 특정 위치를 지칭하는 의미로 사용될 수 있고, 블록 또는 영역 등의 용어와 혼용될 수 있다. 유닛 또는 블록은 아래에서 설명되는 코딩 유닛(coding unit, CU), 예측 유닛(prediction unit, PU), 변환 유닛(transform unit, TU)을 모두 포함하는 개념으로 사용될 수 있다. 또한, 영상 신호(video signal)는 픽처(picture) 뿐만 아니라 코딩된 비트스트림(coded bitstream)을 지칭하는 데 사용될 수 있다. 또한, 본 명세서에서, 복호화(decoding)는 복원(reconstructing)과 혼용될 수 있다.The specific terminology used herein is for the purpose of promoting understanding of the present invention and the use of such specific terminology may be changed without departing from the technical principles of the present invention. For example, information can refer to a value, a parameter, a coefficient, an element, and the like. A picture refers to a two-dimensional array of samples at the same specific time, and may also be referred to as a frame. A sample may refer to the smallest unit of a picture and may be referred to as a pixel, pixel, or pel. The sample may comprise a luminance (luma) component and / or a chrominance (chroma) component. A unit can be used to mean a basic unit of image processing or a specific position of an image, and can be mixed with terms such as a block or an area. A unit or a block can be used as a concept including a coding unit (CU), a prediction unit (PU), and a transform unit (TU), which will be described below. Also, a video signal can be used to refer not only to a picture but also to a coded bitstream. Also, in this specification, decoding may be mixed with reconstructing.

설명을 명확하게 하기 위해, H.265/HEVC(High Efficiency Video Coding) 표준을 위주로 기술하지만 본 발명의 기술적 원리가 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 원리는 H.265/HEVC 표준에 따른 시스템 뿐만 아니라 H.264/AVC(Advanced Video Coding) 표준 및 차세대 영상 부호화 표준에 따른 시스템에도 적용될 수 있다.For clarity of description, the H.265 / HEVC (High Efficiency Video Coding) standard is mainly described, but the technical principles of the present invention are not limited thereto. For example, the principles of the present invention may be applied not only to systems according to the H.265 / HEVC standard, but also to systems conforming to the H.264 / AVC (Advanced Video Coding) standard and the next generation video coding standard.

도 1은 비디오 신호의 복호화 및 축소 영상 추출 과정을 예시한다.FIG. 1 illustrates a process of decoding a video signal and extracting a reduced image.

복호화 장치(130)는 부호화된 비트스트림(110)을 수신하고 엔트로피 복호화(S102)를 수행한다. 엔트로피 복호화(S102)를 통해 복호화 장치(130)는 부호화된 비트스트림(110)에 포함된 각종 신택스 요소(syntax element)를 파싱(parsing)하여 부호화 타입 정보, 인트라 예측 모드 관련 정보, 블록 타입 정보, 양자화 파라미터 정보, 변환 계수 정보 등을 유도할 수 있다. 엔트로피 복호화(S102)는 예를 들어 고정 길이 부호화(fixed length coding, FLC), 가변 길이 부호화(variable length coding, VLC), 산술 부호화(arithmetic coding)을 기반으로 수행될 수 있다. H.265/HEVC 표준은 산술 부호화를 기반으로 한 문맥 기반 적응적 이진 산술 부호화(context adaptive binary arithmetic coding, CABAC), 가변 길이 부호화를 기반으로 한 Exp-Golomb 부호화, 및 고정 길이 부호화가 적용될 수 있다. 각각의 신택스 요소에 대한 엔트로피 부호화 방법은 H.265/HEVC 표준에서 정의되어 있으므로 복호화 장치(130)는 H.265/HEVC 표준에서 정의된 방법으로 각각의 신택스 요소에 대해 엔트로피 복호화(S102)를 수행할 수 있다.The decoding apparatus 130 receives the encoded bit stream 110 and performs entropy decoding (S102). Through the entropy decoding (S102), the decoding apparatus 130 parses various syntax elements included in the encoded bitstream 110 to obtain encoding type information, intra prediction mode related information, block type information, Quantization parameter information, transform coefficient information, and the like. Entropy decoding (S102) may be performed based on, for example, fixed length coding (FLC), variable length coding (VLC), or arithmetic coding. The H.265 / HEVC standard can be applied to context based adaptive binary arithmetic coding (CABAC) based on arithmetic coding, Exp-Golomb coding based on variable length coding, and fixed length coding . Since the entropy encoding method for each syntax element is defined in the H.265 / HEVC standard, the decryption apparatus 130 performs entropy decoding (S102) on each syntax element by the method defined in the H.265 / HEVC standard can do.

복호화 장치(130)는 부호화된 비트스트림(110)으로부터 엔트로피 복호화(S102)를 통해 양자화된 변환 계수(transform coefficient) 정보와 양자화 파라미터(quantization parameter) 정보를 획득한 다음, 획득된 양자화 파라미터 정보를 기반으로 변환 계수 정보를 스케일링하여 역양자화(S104)를 수행할 수 있다. 비트스트림으로부터 획득된 변환 계수 정보는 행렬 형태로 저장될 수 있다. 수학식 1은 역양자화를 위한 연산을 예시한다.The decoding apparatus 130 obtains transform coefficient information and quantization parameter information quantized through entropy decoding (S102) from the encoded bitstream 110, and then obtains quantization parameter information based on the obtained quantization parameter information (S104) by scaling the transform coefficient information with respect to the transform coefficient information. The transform coefficient information obtained from the bitstream may be stored in a matrix form. Equation (1) illustrates an operation for inverse quantization.

수학식 1에서, d[x][y]는 역양자화를 통해 스케일링된 변환 계수(scaled transform coefficient)를 나타내고, x, y는 현재 블록(예, 변환 유닛(TU)) 내에서 해당 스케일링된 변환 계수의 좌표를 나타낸다. Clip3는 클리핑(clipping) 함수로서 스케일링된 변환 계수의 값이 -32768 내지 32767 범위 내에 존재하도록 클리핑시키는 역할을 수행한다. TransCoeffLevel[xTbY][yTbY][cIdx][x][y]는 엔트로피 역부호화(S102)를 통해 획득된 변환 계수 정보를 나타내고, xTbY, yTbY는 전체 픽처에서 현재 블록(예, TU)의 좌측 상단 샘플의 위치를 나타내는 좌표이고, cIdx는 변환 계수 정보가 휘도 성분에 대한 것인지 색차 성분에 대한 것인지를 나타낸다. m[x][y]는 양자화된 변환 계수에 대한 스케일 값으로서 비트스트림(110)에 포함된 신택스 요소(예, scaling_list_enabled_flag)에 따라 고정된 값(예, 16)이 적용되거나 비트스트림(110)으로부터 획득된 값(예, ScalingFactor) 값이 적용될 수 있다. levelScale[k]은 {40, 45, 51, 57, 64, 72}에서 지정된 값이 적용될 수 있다. qP는 비트스트림(110)으로부터 획득된 양자화 파라미터 정보를 나타낸다. bdShift는 비트 심도(bit depth)를 나타낸다. >>는 우측 시프트(right shift) 연산을 나타내고, <<는 좌측 시프트(left shift) 연산을 나타낸다.In Equation (1), d [x] [y] represents a scaled transform coefficient through inverse quantization, and x and y represent the scaled transform coefficients in the current block Indicates the coordinates of the coefficient. Clip 3 functions as a clipping function and clips the scaled transform coefficient so that the value of the scaled transform coefficient is within the range of -32768 to 32767. TransCoeffLevel [xTbY] [yTbY] [cIdx] [x] [y] represents transform coefficient information obtained through entropy inverse encoding (S102), and xTbY and yTbY represent transform coefficient information obtained by entropy inverse encoding And cIdx indicates whether the transform coefficient information is for a luminance component or a chrominance component. m [x] [y] is a fixed value (e.g., 16) according to a syntax element (e.g., scaling_list_enabled_flag) included in the bitstream 110 as a scale value for the quantized transform coefficient, (E.g., ScalingFactor) values may be applied. levelScale [k] can be the value specified in {40, 45, 51, 57, 64, 72}. and qP represents the quantization parameter information obtained from the bit stream 110. [ bdShift represents the bit depth. &Quot; represents a right shift operation, and &quot; represents a left shift operation.

복호화 장치(130)는 역양자화(S104)를 통해 스케일링된 변환 계수에 대해 역변환(inverse transform)(S106)을 수행한다. 역변환(S106)은 주파수 도메인(frequency domain)의 신호를 공간 도메인(spatial domain)으로 변환하는 동작을 지칭한다. 주파수 도메인의 스케일링된 변환 계수는 역변환(S106)을 통해 공간 도메인의 레지듀얼(residual) 정보로 변환될 수 있다. 역변환 기법으로서 이산 코사인 변환(discrete cosine transform, DCT)이 널리 이용되고 있다. DCT를 위한 변환 기저들은 적은 메모리와 빠른 연산을 위해 정수 형태로 근사화될 수 있다. 정수로 근사화된 변환 기저들은 행렬 형태로 표현될 수 있는데 행렬 형태로 표현된 변환 기저들을 변환 행렬이라고 지칭할 수 있다. H.265/HEVC 표준에서는 4×4 내지 32×32 크기의 정수 기반 DCT가 사용될 수 있으며 4×4 또는 32×32 변환 행렬이 제공된다. 4×4 변환 행렬은 4×4 변환/역변환에 이용되고, 32×32 변환 행렬은 8×8, 16×16, 32×32 변환/역변환에 이용될 수 있다. 수학식 2는 4×4 변환 행렬을 예시하고, 수학식 3은 32×32 변환 행렬의 0번 내지 15번 열(column)을 예시하고, 수학식 4는 32×32 변환 행렬의 16번 내지 31번 열(column)을 예시한다. 수학식 2, 3, 4에서 transMatrix는 변환 행렬을 나타낸다.The decoding apparatus 130 performs an inverse transform (S106) on the transform coefficients scaled through the inverse quantization (S104). The inverse transform (S106) refers to an operation of converting a signal of a frequency domain into a spatial domain. The scaled transform coefficients of the frequency domain can be transformed into residual information of the spatial domain through inverse transform (S106). A discrete cosine transform (DCT) is widely used as an inverse transform technique. Conversion bases for DCT can be approximated in integer form for low memory and fast operation. Conversion bases that are approximated by integers can be expressed in a matrix form, and conversion bases expressed in a matrix form can be referred to as a transformation matrix. In the H.265 / HEVC standard, 4 × 4 to 32 × 32 integer-based DCTs can be used and a 4 × 4 or 32 × 32 transformation matrix is provided. A 4x4 transform matrix may be used for 4x4 transform / inverse transform, and a 32x32 transform matrix may be used for 8x8, 16x16, 32x32 transform / inverse transform. Equation 2 illustrates a 4x4 transform matrix, Equation (3) illustrates columns 0 through 15 of a 32x32 transform matrix, and Equation (4) illustrates a 16x32 transform matrix of a 32x32 transform matrix A column is illustrated. In Equations (2), (3) and (4), transMatrix represents a transformation matrix.

비트스트림(110)으로부터 획득된 변환 계수 정보는 nTbS×nTbS 크기의 행렬로서 표현될 수 있는데, 복호화 장치(130)는 일차원 역변환을 nTbS번 만큼 수행하여 역변환(S106)을 수행할 수 있다. 구체적으로, 일차원 역변환은 비트스트림(110)으로부터 획득된 변환 계수 정보를 나타낸 행렬의 각 열(column)에 대해 변환 행렬을 적용한 행렬 연산을 지칭할 수 있다. nTbS는 현재 블록(예, TU)의 크기를 나타낸다. nTbS번 만큼 일차원 역변환을 수행하면 nTbS×nTbS의 레지듀얼 샘플이 획득된다.The transform coefficient information obtained from the bit stream 110 may be expressed as a matrix of nTbS x nTbS size. The decoding apparatus 130 may perform inverse transform (S106) by performing one-dimensional inverse transform by nTbS times. Specifically, the one-dimensional inverse transform may refer to a matrix operation in which a transformation matrix is applied to each column of a matrix representing transformation coefficient information obtained from the bitstream 110. [ nTbS represents the size of the current block (e.g., TU). When one-dimensional inverse transform is performed nTbS times, a residual sample of nTbS x nTbS is obtained.

S108에서, 복호화 장치(130)는 현재 블록의 각 샘플들에 대한 예측 값을 생성한다. 예측은 인트라 예측(또는 화면내 예측) 기법 또는 인터 예측(또는 화면간 예측) 기법이 이용될 수 있다. 인트라 예측은 현재 픽처 내에서 복호화된 인접 샘플들로부터 현재 블록의 샘플에 대한 예측 값을 생성하는 것을 지칭한다. 인터 에측은 이전 시간에 복호화된 픽처로부터 움직임 정보를 기반으로 현재 블록에 대한 예측 블록을 생성하는 것을 지칭한다. 인트라 예측은 아래에서 자세히 설명한다.In S108, the decoding apparatus 130 generates a prediction value for each sample of the current block. The prediction may be performed using an intra prediction (or intra prediction) technique or an inter prediction (or inter prediction) technique. Intra prediction refers to generating a prediction value for a sample of a current block from adjacent samples decoded in the current picture. The interleaver refers to generating the prediction block for the current block based on the motion information from the decoded picture at the previous time. Intra prediction is described in detail below.

복호화 장치(130)는 엔트로피 복호화(S102), 역양자화(S104), 역변환(S106), 예측(S108)을 수행하여 현재 픽처를 복원한 후, 복원된 픽처에 대해 인루프 필터링(S110)을 수행한다. 영상 신호를 부호화할 때 블록 단위로 변환을 수행하고 변환 계수들을 양자화하기 때문에 블록화 현상(blocking artifact) 및 링잉 현상(ringing artifact)이 발생할 수 있다. 이러한 블록화 현상 및 링잉 현상으로 인한 화질 열화를 개선하기 위해 복원된 픽처(reconstructed picture)에 대해 인루프 필터링(in-loop filtering)이 수행될 수 있다. 예를 들어, 인루프 필터링은 디블록킹 필터링(deblocking filtering)과 샘플 적응적 오프셋(sample adaptive offset, SAO) 필터링을 포함할 수 있다. 디블록킹 필터링은 예를 들어 복원된 픽처 내에서 8×8 샘플 그리드 상의 경계에 위치하는 모든 변환 유닛(TU) 또는 예측 유닛(PU)의 경계에서 수직/수평 방향으로 수행될 수 있다. 샘플 적응적 오프셋 필터링은 예를 들어 부호화 트리 유닛(CTU) 단위로 수행될 수 있다. 인루프 필터링(S110)까지 거치면 복호화된 픽처가 획득되며 디스플레이되거나 다른 픽처에서 참조될 수 있도록 버퍼에 저장될 수 있다.The decoding apparatus 130 restores the current picture by performing entropy decoding (S102), inverse quantization (S104), inverse transform (S106), and prediction (S108), and performs in-loop filtering (S110) on the restored picture do. Blocking phenomenon (blocking artifact) and ringing artifact may occur because the transform is performed on a block-by-block basis and the transform coefficients are quantized when a video signal is encoded. In-loop filtering may be performed on the reconstructed picture to improve picture quality deterioration due to the blocking phenomenon and the ringing phenomenon. For example, in-loop filtering may include deblocking filtering and sample adaptive offset (SAO) filtering. The deblocking filtering may be performed in the vertical / horizontal direction, for example, at the boundaries of all the transformation units (TU) or prediction units (PU) located at the boundary on the 8x8 sample grid within the reconstructed picture. The sample adaptive offset filtering may be performed, for example, on a per-coded tree unit (CTU) basis. Through in-loop filtering (S110), decoded pictures can be obtained and stored in a buffer so that they can be displayed or referenced in other pictures.

도 1에서, 엔트로피 복호화(S102), 역양자화(S104), 역변환(S106), 예측(S108)은 특정 블록 단위로 수행될 수 있다. 따라서, 하나의 픽처 내에서 엔트로피 복호화(S102), 역양자화(S104), 역변환(S106), 예측(S108)은 반복적으로 수행될 수 있다. 또한, 엔트로피 복호화(S102), 역양자화(S104), 역변환(S106), 예측(S108)은 도 1에 예시된 것과 다른 순서로 수행될 수 있다. 반면, 인루프 필터링(S110)은 하나의 픽처가 복원된 후에 수행되므로 하나의 픽처에 대한 엔트로피 복호화(S102), 역양자화(S104), 역변환(S106), 예측(S108) 과정이 모두 완료된 후에 수행될 수 있다.In Fig. 1, entropy decoding (S102), inverse quantization (S104), inverse transformation (S106), and prediction (S108) may be performed on a specific block basis. Therefore, entropy decoding (S102), inverse quantization (S104), inverse transform (S106), and prediction (S108) in one picture can be repeatedly performed. In addition, entropy decoding (S102), inverse quantization (S104), inverse transform (S106), and prediction (S108) may be performed in an order different from that illustrated in FIG. On the other hand, since the in-loop filtering (S110) is performed after one picture is reconstructed, it is performed after the entropy decoding (S102), the inverse quantization (S104), the inverse transform (S106), and the prediction .

한편, 전자 기기나 웹 페이지에서 축소 영상이 널리 이용되고 있다. 축소 영상은 썸네일(Thumbnail) 영상이라고도 지칭되며, 저장된 영상을 대략적으로 표현하는 데 필요한 요소들을 가지고 있기 때문에 빠른 검색이나 인덱싱에 사용된다. 축소 영상(또는 썸네일 영상)을 추출하기 위해서는 기본적으로 비트스트림으로부터 영상을 완전히 복호화한 후 복호화된 영상을 다운샘플링(down-sampling)(S112)하는 과정을 거친다. 다운샘플링(S112)은 일정한 크기의 일차원 또는 이차원 필터를 이용하여 원래 영상의 해상도보다 낮은 해상도의 영상 신호를 생성하는 것을 지칭할 수 있다. 축소 영상(또는 썸네일 영상)은 다운샘플링을 통해 원래 영상의 해상도보다 낮은 해상도를 가지는 영상을 지칭할 수 있다. 따라서, 종래 기술에서는 비트스트림(110)으로부터 축소 영상(또는 썸네일 영상)(120)을 생성하기 위해 엔트로피 복호화(S102), 역양자화(S104), 역변환(S106), 예측(S108), 인루프 필터링(S110)의 과정을 거쳐 복호화된 픽처에 대해 다운샘플링(S112)을 수행할 필요가 있다.On the other hand, reduced images are widely used in electronic devices and web pages. The thumbnail image is also referred to as a thumbnail image and is used for fast searching or indexing because it has elements necessary for roughly representing the stored image. In order to extract a reduced image (or a thumbnail image), basically, the image is completely decoded from the bitstream and the decoded image is down-sampled (S112). Downsampling (S112) may refer to generating a video signal having a resolution lower than that of the original video using a one-dimensional or two-dimensional filter having a predetermined size. The reduced image (or thumbnail image) may refer to an image having a lower resolution than the resolution of the original image through downsampling. Therefore, in the prior art, entropy decoding (S102), inverse quantization (S104), inverse transformation (S106), prediction (S108), in-loop filtering It is necessary to perform down-sampling (S112) on the decoded picture through the process of step S110.

한편, 하나의 픽처는 적어도 하나의 슬라이스를 포함할 수 있고, 하나의 슬라이스는 적어도 하나의 코딩 트리 유닛(coding tree unit, CTU)으로 분할될 수 있다. 코딩 트리 유닛은 코딩 유닛(coding unit, CU)으로 재귀적으로(recursively) 분할될 수 있다. 코딩 트리 유닛(CTU)이 쿼드 트리로 분할되는지 여부를 지시하는 정보(예, split_cu_flag)는 비트스트림을 파싱하여 얻을 수 있다. 상기 정보(예, split_cu_flag)가 분할을 지시하는 경우, 코딩 트리 유닛(CTU)은 4개의 동일한 크기의 코딩 트리 유닛(CTU)로 분할될 수 있다. 상기 정보(예, split_cu_flag)가 분할을 지시하지 않는 경우, 코딩 트리 유닛(CTU)은 코딩 유닛(CU)으로 된다. 코딩 트리 유닛(CTU)은 휘도 성분의 코딩 트리 블록과 색차 성분의 코딩 트리 블록을 포함할 수 있고, 64×64, 32×32, 16×16 중에서 하나의 크기를 가질 수 있다.On the other hand, one picture may include at least one slice, and one slice may be divided into at least one coding tree unit (CTU). The coding tree unit may be recursively partitioned into a coding unit (CU). Information indicating whether or not the coding tree unit (CTU) is divided into quad trees (e.g., split_cu_flag) can be obtained by parsing the bit stream. If the information (e.g., split_cu_flag) indicates division, the coding tree unit (CTU) may be divided into four equal-sized coding tree units (CTU). If the information (e.g., split_cu_flag) does not indicate division, the coding tree unit (CTU) becomes a coding unit (CU). The coding tree unit (CTU) may include a coding tree block of a luminance component and a coding tree block of a chrominance component, and may have one size of 64x64, 32x32, and 16x16.

코딩 유닛(CU)은 엔트로피 복호화, 역양자화, 역변환, 예측 등의 영상 처리가 수행되는 기본 단위를 지칭하며, 코딩 트리 유닛(CTU)의 크기에 따라 64×64, 32×32, 16×16, 8×8 크기를 가질 수 있다. 코딩 유닛(CU)은 코딩 트리 유닛(CTU) 내에서 재귀적으로 분할되므로 하나의 코딩 트리 유닛(CTU) 내에서 코딩 유닛(CU)은 다양한 크기를 가지는 쿼드 트리(quad tree) 형태를 가질 수 있다. 코딩 유닛(CU)은 부호화 기본 단위이므로 코딩 유닛(CU) 단위로 부호화 모드(예, 인트라 a모드, 인터 모드)가 결정되고, 인트라 부호화 모드인 경우 인트라 예측 모드도 코딩 유닛(CU) 단위로 결정될 수 있다.The coding unit CU refers to a basic unit on which image processing such as entropy decoding, inverse quantization, inverse transformation, and prediction is performed. The coding unit CU includes 64 × 64, 32 × 32, 16 × 16, 8 x 8 size. Since the coding unit CU is recursively divided in the coding tree unit CTU, the coding unit CU in one coding tree unit CTU can have a quad tree shape having various sizes . Since the coding unit CU is a coding basic unit, a coding mode (e.g., intra a mode or inter mode) is determined in units of coding units (CU). In the intra coding mode, an intra prediction mode is also determined in units of coding units .

코딩 유닛(CU)은 하나 이상의 예측 유닛(prediction unit, PU)으로 분할될 수 있다. 예측 유닛(PU)은 예측을 수행하기 위한 기본 단위이다. 하나의 코딩 유닛(CU) 내에서 분할된 예측 유닛(PU)에 대해 동일한 예측 기법(예, 인트라 예측 또는 인터 예측)이 적용될 수 있다. 코딩 유닛(CU)이 예측 유닛(PU)으로 분할되는 패턴을 지시하는 정보(예, CuPredMode)는 비트스트림으로부터 파싱된 특정 신택스 요소들(예, pred_mode_flag 및/또는 part_mode)을 기반으로 구할 수 있다. 분할 패턴을 지시하는 정보를 기반으로 예측 유닛(PU)은 정방형(예, PART_2Nx2N, PART_NxN), 직사각형(예, PART_Nx2N, PART_2NxN)의 대칭적인 형태나, 비대칭적인 형태(예, PART_2NxnU, PART_2NxnD, PART_nLx2N, PART_nRx2N) 등으로 분할될 수 있다.The coding unit (CU) may be divided into one or more prediction units (PU). The prediction unit PU is a basic unit for performing prediction. The same prediction technique (e.g., intra prediction or inter prediction) can be applied to the divided prediction units PU in one coding unit CU. Information (e.g., CuPredMode) indicating a pattern in which the coding unit (CU) is divided into the prediction unit (PU) can be obtained based on specific syntax elements (e.g., pred_mode_flag and / or part_mode) parsed from the bitstream. On the basis of the information indicating the division pattern, the prediction unit PU may be a symmetrical form of a square (e.g., PART_2Nx2N, PART_NxN), a rectangle (e.g., PART_Nx2N, PART_2NxN), or an asymmetrical form (e.g., PART_2NxnU, PART_2NxnD, PART_nLx2N, PART_nRx2N) or the like.

또한, 코딩 유닛(CU)이 코딩 트리 유닛(CTU)으로부터 쿼드 트리 형태로 계층적으로 분할되는 것과 유사하게, 코딩 유닛(CU)은 하나 이상의 변환 유닛(transform unit, TU)으로 쿼드 트리 형태로 계층적으로 분할될 수 있다. 변환 유닛(TU)은 변환/역변환을 수행하기 위한 기본 단위이다. 변환 유닛(TU)의 크기는 영상의 특징에 따라 가장 효율적인 크기로 정해지며, 변환 유닛(TU)의 크기는 예측 유닛(PU)과 독립적으로 결정될 수 있다. 변환 유닛(TU)의 분할 여부를 지시하는 정보(예, split_transform_flag)는 비트스트림으로부터 얻을 수 있다. 상기 정보(예, split_transform_flag)가 분할을 지시하는 경우, 변환 유닛(TU)은 4개의 변환 유닛(TU)로 분할될 수 있다. 상기 정보(예, split_transform_flag)가 분할을 지시하지 않는 경우, 변환 유닛(TU)은 더 이상 분할되지 않으며 해당 변환 유닛(TU)에 대해 역변환이 수행될 수 있다. 변환 유닛(TU)는 코딩 유닛(CU) 내에서 4×4, 8×8, 16×16, 32×32의 다양한 크기를 가질 수 있다. 변환 유닛의 구조와 관련된 정보들은 기설정된 변환 유닛 트리의 최대 높이(혹은 분할 깊이) 정보, 변환 유닛의 최대 크기 정보, 변환 유닛의 최소 크기 정보, 변환 유닛의 최대 크기 및 최소 크기 간의 차이 정보, 및/또는 이와 같은 값들에 대한 log 값 등과 이들을 이용하여 유도된 변환 유닛의 깊이, 변환 유닛의 크기 등으로 나타낼 수 있다. 한편, 변환 유닛의 최대 분할 깊이는 해당 유닛의 예측 모드에 따라서 달라질 수 있다. 또한 변환을 시작하는 코딩 유닛의 크기가 변환 유닛의 크기에 영향을 미칠 수 있다. 인트라 예측은 변환 유닛(TU) 단위로 수행될 수 있다.Also, similar to the way in which a coding unit (CU) is hierarchically divided into a quadtree form from a coding tree unit (CTU), a coding unit (CU) It can be divided into groups. The conversion unit TU is a basic unit for performing conversion / inverse conversion. The size of the conversion unit TU is determined to be the most efficient size according to the characteristics of the image and the size of the conversion unit TU can be determined independently from the prediction unit PU. Information indicating the division of the conversion unit TU (e.g., split_transform_flag) can be obtained from the bitstream. If the information (e.g., split_transform_flag) indicates division, the conversion unit (TU) may be divided into four conversion units (TU). If the information (e.g., split_transform_flag) does not indicate a partition, the conversion unit TU is no longer partitioned and an inverse transformation can be performed on the corresponding conversion unit TU. The conversion unit TU may have various sizes of 4 x 4, 8 x 8, 16 x 16, and 32 x 32 in the coding unit (CU). Information relating to the structure of the conversion unit includes information of a maximum height (or depth of division) of a predetermined conversion unit tree, maximum size information of the conversion unit, minimum size information of the conversion unit, difference information between the maximum size and the minimum size of the conversion unit, And / or the log value for such values, the depth of the conversion unit derived therefrom, the size of the conversion unit, and the like. On the other hand, the maximum division depth of the conversion unit may be changed according to the prediction mode of the corresponding unit. Also, the size of the coding unit that initiates the conversion may affect the size of the conversion unit. Intra prediction can be performed on a conversion unit (TU) basis.

도 2는 인트라 예측 과정을 예시한다. 앞서 설명된 바와 같이, 인트라 예측은 변환 유닛(TU) 단위로 수행될 수 있다.Figure 2 illustrates an intra prediction process. As described above, intra prediction can be performed on a conversion unit (TU) basis.

S202 단계에서, 인트라 예측 모드를 복호화한다. H.265/HEVC 시스템에서는 총 35개의 인트라 예측 모드를 지원하는데 인트라 예측 모드는 코딩 유닛(CU) 단위로 결정된다. 즉, 코딩 유닛(CU) 단위로 결정된 인트라 예측 모드는 해당 코딩 유닛(CU) 내에서 모든 변환 유닛(TU)에 적용된다. 따라서, 코딩 유닛(CU)이 복수의 변환 유닛(TU)을 포함하더라도 현재 변환 유닛(TU)과 이웃 변환 유닛(TU)의 인트라 예측 모드는 동일하게 적용될 수 있다. 인트라 예측 모드는 이웃 블록(예, CU)의 인트라 예측 모드들 중에서 비트스트림으로부터 획득된 인덱스 정보(예, mpm_idx)가 지시하는 모드로 결정되거나 비트스트림으로부터 파싱된 인트라 예측 모드 정보(예, rem_intra_luma_pred_mode)에 의해 결정될 수 있다. 현재 블록(예, CU)의 인트라 예측 모드가 이웃 블록(예, CU)의 인트라 예측 모드로부터 결정되는지 여부는 비트스트림으로부터 파싱되는 정보(예, prev_intra_luma_pred_flag)에 의해 결정될 수 있다.In step S202, the intra prediction mode is decoded. In the H.265 / HEVC system, a total of 35 intra prediction modes are supported, and the intra prediction mode is determined in units of coding units (CU). That is, an intra prediction mode determined on a coding unit (CU) basis is applied to all conversion units (TU) in the coding unit (CU). Therefore, even if the coding unit CU includes a plurality of conversion units TU, the intra prediction modes of the current conversion unit TU and the neighbor conversion unit TU can be applied equally. The intraprediction mode is determined by a mode indicated by index information (e.g., mpm_idx) obtained from a bitstream among intraprediction modes of a neighboring block (e.g., CU), or intra prediction mode information (e.g., rem_intra_luma_pred_mode) Lt; / RTI &gt; Whether or not the intra prediction mode of the current block (e.g., CU) is determined from the intra prediction mode of the neighboring block (e.g., CU) can be determined by information parsed from the bitstream (e.g., prev_intra_luma_pred_flag).

복호화된 인트라 예측 모드의 값에 따라, 인트라 예측 모드는 평면 모드(planar mode), DC 모드(DC mode), 각도 모드(angular mode) 중에서 하나로 결정될 수 있다. 도 3과 표 1은 복호화된 인트라 예측 모드의 값에 따른 인트라 예측 모드를 예시한다.According to the value of the decoded intra-prediction mode, the intra-prediction mode may be determined to be one of a planar mode, a DC mode, and an angular mode. 3 and Table 1 illustrate an intra prediction mode according to the value of the intra prediction mode decoded.

표 1에서 INTRA_PLANAR는 평면 모드를 나타내고, INTRA_DC는 DC 모드를 나타내고, INTRA_ANGULAR2 ~ INTRA_ANGULAR34는 각도 모드를 나타낸다. 도 3에 예시된 바와 같이, 각도 모드는 방향성을 가지며 그 값에 따라 서로 다른 방향을 참조할 수 있다. 각도 모드의 경우 참조하는 방향이 각도에 의해 나타내어질 수 있으며 현재 샘플에서 해당 각도의 방향을 참조했을 때 참조 샘플이 존재하는 경우 그 참조 샘플이 현재 샘플의 예측 샘플로 결정된다.In Table 1, INTRA_PLANAR indicates a plane mode, INTRA_DC indicates a DC mode, and INTRA_ANGULAR2 through INTRA_ANGULAR34 indicate an angle mode. As illustrated in Fig. 3, the angular mode is directional and can refer to different directions depending on its value. In the case of an angle mode, the reference direction can be represented by an angle, and when a reference sample is present when referring to the direction of the angle in the current sample, the reference sample is determined as a predicted sample of the current sample.

다시 도 2를 참조하면, S204 단계에서, 인트라 예측을 위한 참조 샘플을 준비한다. 인트라 예측은 현재 블록(예, TU)에 인접한 이웃 블록 내에서 복원이 완료된 경계 샘플들을 참조하여 수행되며, 이러한 복원이 완료된 이웃 샘플들은 참조 샘플(reference sample)이라고 지칭될 수 있다. 현재 블록(예, TU)의 인트라 예측을 위한 참조 샘플은 도 4에 예시되어 있다. 도 4를 참조하면, 현재 블록(예, TU)의 참조 샘플은 현재 블록(예, TU)의 좌측 하단 이웃 블록(들)의 우측 경계 샘플들(410), 좌측 이웃 블록(들)의 우측 경계 샘플들(412), 좌측 상단 이웃 블록의 우측 하단 코너 샘플(414), 상단 이웃 블록(들)의 하단 경계 샘플들(416), 우측 상단 이웃 블록의 하단 경계 샘플들(418) 중에서 복원이 완료된 샘플을 포함할 수 있다. 좌측 하단 이웃 블록(들)의 우측 경계 샘플들(410)은 현재 블록(예, TU)의 크기(예, nTbS) 만큼 참조 샘플로서 이용될 수 있다. 마찬가지로, 우측 상단 이웃 블록(들)의 하단 경계 샘플들(418)은 현재 블록(예, TU)의 크기(예, nTbS) 만큼 참조 샘플로서 이용될 수 있다.Referring again to FIG. 2, in step S204, a reference sample for intra prediction is prepared. The intra prediction is performed with reference to the reconstructed boundary samples in the neighboring block adjacent to the current block (e.g., TU), and the reconstructed neighbor samples may be referred to as a reference sample. A reference sample for intra prediction of the current block (e.g., TU) is illustrated in FIG. 4, a reference sample of a current block (e.g., TU) includes right boundary samples 410 of the lower left neighbor block (s) of the current block (e.g., TU), right boundary Of the upper left neighboring block, the samples 412, the lower right corner sample 414 of the upper left neighbor block, the lower boundary samples 416 of the upper neighbor block (s), and the lower boundary samples 418 of the upper right neighbor block Samples may be included. The right boundary samples 410 of the left lower neighbor block (s) may be used as reference samples by the size of the current block (e.g., TU) (e.g., nTbS). Likewise, the lower boundary samples 418 of the upper right neighbor block (s) may be used as a reference sample by the size of the current block (e.g., TU) (e.g., nTbS).

만일 이웃 블록이 복원되지 않았거나 이웃 블록이 물리적으로 존재하지 않거나 이웃 블록이 서로 다른 슬라이스에 속하는 경우, 참조 샘플은 존재하지 않거나 가용하지 않다고 지칭될 수 있다. 참조 샘플이 가용하지 않는 경우, 가장 가까운 가용한 참조 샘플을 이용하여 위쪽 방향 또는 오른쪽 방향으로 참조 샘플이 존재하지 않는 부분을 패딩한다.If the neighboring block is not restored, the neighboring block is not physically present, or the neighboring block belongs to a different slice, the reference sample may be said to be nonexistent or not available. If the reference sample is not available, use the nearest available reference sample to paddle the portion where the reference sample does not exist in the upward or right direction.

예를 들어, 도 5(a)를 참조하면, 상단 이웃 블록(들)(524, 526)과 좌측 상단 이웃 블록(522)이 가용하지 않고 좌측 이웃 블록(들)(410, 412)은 모두 가용한 경우, 가용하지 않은 블록들(522, 524, 526)에 가장 가까운 샘플, 즉 좌측 참조 샘플들 중에서 현재 블록(예, TU)의 좌측 상단 코너 샘플의 좌측 인접 샘플(512)을 이용하여 가용하지 않은 상단 참조 샘플들(522, 524, 526)을 패딩할 수 있다. 다른 예로, 도 5(b)를 참조하면, 좌측 이웃 블록(들)(532, 534)과 좌측 상단 이웃 블록(522)이 가용하지 않고 상단 이웃 블록(들)(416, 418)은 모두 가용한 경우, 가용하지 않은 블록들(522, 532, 534)에 가장 가까운 샘플, 즉 상단 참조 샘플들 중에서 현재 블록(예, TU)의 좌측 상단 코너 샘플의 상단 인접 샘플(514)을 이용하여 가용하지 않은 상단 참조 샘플들(522, 532, 534)을 패딩할 수 있다. 만일 모든 참조 샘플이 가용하지 않은 경우, 비트 심도(bit depth)를 고려하여 중간값으로 모든 참조 샘플을 패딩한다. 예를 들어, 비트 심도가 8 비트인 경우 128의 값으로 모든 참조 샘플을 패딩한다.For example, referring to FIG. 5A, the upper neighbor block (s) 524, 526 and the upper left neighbor block 522 are not available and the left neighbor block (s) 410, In one case, the closest sample to the unavailable blocks 522, 524, 526, i.e., the left neighbor sample of the left upper corner sample of the current block (e.g., TU) Padding of the upper reference samples 522, 524, 526. 5B, the left neighbor block (s) 532, 534 and the left upper neighbor block 522 are not available and the top neighbor block (s) 416, 418 are all available The top nearest neighbor sample 514 of the upper left corner sample of the current block (e.g., TU) of the samples closest to the unavailable blocks 522,532, 534, i.e., the top reference samples, The upper reference samples 522, 532, 534 may be padded. If all reference samples are not available, all reference samples are padded with an intermediate value considering the bit depth. For example, if the bit depth is 8 bits, all reference samples are padded with a value of 128.

다시 도 2를 참조하면, S204 단계에서, 참조 샘플들은 인트라 예측 모드에 따라 필터링될 수 있다. 인트라 예측에서 주변 참조 샘플들은 복원된 샘플이 이용되므로 양자화 에러가 포함되어 있다. 따라서, 참조 샘플들에 대해 저 대역 통과 필터(low pass filter)를 적용하여 양자화 에러에 의한 예측 오차를 줄일 수 있다.Referring again to FIG. 2, in step S204, the reference samples may be filtered according to the intra prediction mode. In intra prediction, the neighboring reference samples contain quantization errors since the reconstructed samples are used. Therefore, a low pass filter may be applied to the reference samples to reduce the prediction error due to the quantization error.

S204 단계에서 참조 샘플이 준비되면, S206 단계에서 인트라 예측 모드에 따라 현재 샘플에 대한 예측 샘플을 구할 수 있다. 예측 샘플은 현재 블록의 인트라 예측 모드가 평면 모드, DC 모드, 각도 모드인지에 따라 다른 방법이 적용될 수 있다.If the reference sample is prepared in step S204, a prediction sample for the current sample may be obtained according to the intra prediction mode in step S206. The prediction sample can be applied to other methods depending on whether the intra prediction mode of the current block is a plane mode, a DC mode, or an angle mode.

현재 블록의 예측 모드가 평면 모드인 경우, 예측 샘플은 참조 샘플들 중에서 4개 샘플의 양선형 보간(bi-linear interpolation)을 이용하여 구할 수 있다. 수학식 5는 현재 블록의 예측 모드가 평면 모드인 경우 현재 샘플에 대한 예측 샘플을 구하는 연산을 예시한다.If the prediction mode of the current block is a planar mode, the prediction samples can be obtained using bi-linear interpolation of four samples among the reference samples. Equation (5) illustrates an operation for obtaining a prediction sample for the current sample when the prediction mode of the current block is a planar mode.

수학식 5에서 x, y는 현재 블록(예, TU) 내에서 현재 샘플의 좌표를 나타내고, predSamples[x][y]는 현재 샘플에 대한 예측 샘플을 나타내고, nTbS는 현재 블록(예, TU)의 크기를 나타내고, p[-1][y]는 현재 샘플과 동일한 y 좌표를 가지는 참조 샘플을 나타내고, p[nTbS][-1]은 우측 상단 이웃 블록의 좌측 하단 코너에 위치하는 참조 샘플을 나타내고, p[x][-1]은 현재 샘플과 동일한 x 좌표를 가지는 참조 샘플을 나타내고, p[-1][nTbS]는 좌측 하단 이웃 블록의 우측 상단 코너에 위치하는 참조 샘플을 나타내고, Log2는 로그 함수를 나타내고, >>는 우측 시프트 연산을 나타낸다. 도 6은 수학식 5를 예시한 것이다.In Equation 5, x, y represent the coordinates of the current sample in the current block (e.g. TU), predSamples [x] [y] represents the prediction sample for the current sample, nTbS represents the current block (e.g., TU) P [nTbS] [- 1] represents a reference sample located at the lower left corner of the upper right neighbor block, p [nTbS] [-1] represents a reference sample having the same y coordinate as the current sample, P [-1] [nTbS] represents a reference sample located at the upper right corner of the lower left neighbor block, and p [x] [- 1] represents a reference sample having the same x- Represents a logarithmic function, and >> represents a right shift operation. FIG. 6 illustrates the equation (5).

현재 블록의 인트라 예측 모드가 DC 모드인 경우, 예측 샘플은 참조 샘플들 중에서 현재 블록의 상단 참조 샘플(416)과 좌측 참조 샘플(412)의 평균값으로 결정할 수 있다. 수학식 6은 상단 참조 샘플과 좌측 참조 샘플의 평균값을 구하는 연산을 예시한다.When the intra prediction mode of the current block is the DC mode, the prediction sample can be determined as an average value of the upper reference sample 416 and the left reference sample 412 of the current block among the reference samples. Equation (6) illustrates an operation for obtaining an average value of the upper reference sample and the left reference sample.

수학식 6에서, dcVal은 평균값을 나타내고, p[x'][-1]은 현재 블록의 상단 참조 샘플을 나타내고, p[-1][y']는 현재 블록의 좌측 참조 샘플을 나타낸다. 나머지 기호는 수학식 5에서 설명한 것과 동일하다.In Equation (6), dcVal represents an average value, p [x '] [- 1] represents the top reference sample of the current block, and p [-1] [y'] represents the left reference sample of the current block. The other symbols are the same as those described in Equation (5).

현재 블록의 인트라 예측 모드가 DC 모드인 경우, 휘도 블록(예, 변환 블록)의 크기가 32보다 작을 때, 예측 샘플과 참조 샘플과의 비연속성을 제거하기 위해 현재 블록의 경계에 위치하는 샘플에 대해 추가적인 필터링을 수행한다. 수학식 7은 현재 블록의 인트라 예측 모드가 DC 모드인 경우, 휘도 블록(예, 변환 블록)의 크기가 32보다 작을 때, 수행되는 필터링 연산을 예시한다.When the intra-prediction mode of the current block is the DC mode, when the size of the luminance block (for example, the transform block) is smaller than 32, the samples located at the boundary of the current block in order to eliminate discontinuity between the predicted sample and the reference sample To perform additional filtering. Equation (7) illustrates a filtering operation performed when the size of the luminance block (e.g., transform block) is less than 32 when the intra prediction mode of the current block is the DC mode.

수학식 7에서, predSamples[0][0]은 현재 블록의 좌측 상단 코너 샘플에 대한 예측 샘플을 나타내고, predSamples[x][0]은 현재 블록의 좌측 경계 샘플에 대한 예측 샘플을 나타내고, predSamples[0][y]는 현재 블록의 상단 경계 샘플에 대한 예측 샘플을 나타내고, p[-1][0]은 predSamples[0][0]의 좌측에 인접한 참조 샘플을 나타내고, p[0][-1]은 predSamples[0][0]의 상단에 인접한 참조 샘플을 나타내고, p[x][-1]은 predSamples[x][0]의 좌측에 인접한 참조 샘플을 나타내고, p[-1][y]는 predSamples[0][y]의 상단에 인접한 참조 샘플을 나타낸다. 따라서, 휘도 블록의 크기가 32보다 작은 경우, 2×nTbS-1 개의 샘플들에 대해 추가적인 필터링이 수행된다. 도 7(a)는 현재 블록(예, TU)의 크기가 4×4이고 인트라 예측 모드가 DC 모드일 때 수행되는 필터링을 예시한다.PredSamples [0] [0] represents a prediction sample for the upper left corner sample of the current block, predSamples [x] [0] represents a prediction sample for the left boundary sample of the current block, and predSamples [ 0] [y] represents the prediction sample for the upper boundary sample of the current block, p [-1] [0] represents the reference sample to the left of predSamples [0] [0] 1] denotes a reference sample adjacent to the top of predSamples [0] [0], p [x] [-1] denotes a reference sample to the left of predSamples [x] [0] y] represents a reference sample adjacent to the top of predSamples [0] [y]. Therefore, if the size of the luminance block is smaller than 32, additional filtering is performed on 2 x nTbS-1 samples. Figure 7 (a) illustrates filtering performed when the size of the current block (e.g., TU) is 4x4 and the intra prediction mode is DC mode.

현재 블록의 인트라 예측 모드가 각도 모드(angular mode)인 경우, 예측 샘플은 현재 샘플에서 인트라 예측 모드에 해당하는 예측 방향(예, 도 3 참조)에 존재하는 참조 샘플로 결정될 수 있다. 각도 모드의 경우 예측 방향이 인트라 예측 모드에 따른 각도에 의해 정의되며, 만일 현재 샘플에서 해당 각도의 방향을 참조했을 때 참조 샘플이 존재하는 경우, 해당 참조 샘플이 예측 샘플로서 결정된다. 반면, 해당 각도의 방향을 참조했을 때 참조 샘플이 존재하지 않는 경우, 인접한 참조 샘플들을 이용하여 선형 보간(linear interpolation)을 통해 예측 샘플을 결정한다.If the intra prediction mode of the current block is an angular mode, the prediction sample can be determined as a reference sample existing in a prediction direction (e.g., see FIG. 3) corresponding to the intra prediction mode in the current sample. In the case of the angular mode, the prediction direction is defined by the angle according to the intra-prediction mode. If there is a reference sample when referring to the direction of the angle in the current sample, the reference sample is determined as a prediction sample. On the other hand, if there is no reference sample when the direction of the angle is referred to, the prediction sample is determined by linear interpolation using adjacent reference samples.

H.265/HEVC 표준에서는 참조 샘플을 일차원 배열(one dimensional array)로 배열하고, 인트라 예측 모드에 해당하는 각도 정보에 의해 참조 샘플 배열의 인덱스 정보(예, iIdx)와 참조 샘플들 사이를 참조하는 경우 서브 픽셀 위치 정보(예, iFact)를 결정한 다음, 예측 샘플을 결정할 수 있다. 수학식 8은 인덱스 정보와 서브 픽셀 위치 정보를 구하는 연산을 예시한다.In the H.265 / HEVC standard, the reference samples are arranged in a one dimensional array, and the angle information corresponding to the intra prediction mode is used to refer to the index information (for example, iIdx) of the reference sample array and reference samples , The subpixel position information (e.g., iFact) can be determined, and then the prediction sample can be determined. Equation (8) illustrates an operation for obtaining index information and subpixel position information.

수학식 8에서, x는 현재 샘플의 x 좌표를 나타내고, &는 논리적 AND 연산을 나타내고, >>는 우측 시프트를 나타내고, intraPredAngle은 현재 블록의 인트라 예측 모드에 해당하는 각도 정보를 나타낸다. 표 2는 현재 블록의 인트라 예측 모드에 따른 각도 정보를 예시한다.In Equation (8), x represents the x coordinate of the current sample, & represents a logical AND operation, &amp;thetas; represents the right shift, and intraPredAngle represents angle information corresponding to the intra prediction mode of the current block. Table 2 illustrates the angle information according to the intra prediction mode of the current block.

표 2에서, predModeIntra는 현재 블록의 인트라 예측 모드를 나타내며 그 값은 표 1에 따라 주어질 수 있다. 표 2에서, predModeIntra가 1인 경우, 현재 블록의 인트라 예측 모드가 DC 모드에 해당하므로 각도 정보는 주어지지 않는다.In Table 2, predModeIntra indicates the intra-prediction mode of the current block, and its value can be given in accordance with Table 1. In Table 2, when predModeIntra is 1, no angle information is given since the intra prediction mode of the current block corresponds to the DC mode.

수학식 8에서, 서브 픽셀 위치 정보(예, iFact)는 해당 각도 방향이 가리키는 참조 샘플들 간의 서브 픽셀 위치를 가리킬 수 있다. 따라서, 서브 픽셀 위치 정보(예, iFact)가 0인 경우, 해당 각도에 참조 샘플이 존재하는 것을 의미하며 해당 참조 샘플을 현재 샘플의 예측 샘플로 결정할 수 있다. 반면, 서브 픽셀 위치 정보(예, iFact)가 0이 아닌 경우, 서브 픽셀 위치 정보(예, iFact)는 참조 샘플들 간의 서브 픽셀 위치를 나타내며 서브 픽셀 위치 정보(예, iFact)를 이용하여 선형 보간을 수행한 결과를 예측 샘플로 결정할 수 있다. 수학식 9는 선형 보간을 수행하여 예측 샘플을 결정하는 연산을 예시한다.In Equation (8), the subpixel position information (e.g., iFact) may indicate a subpixel position between reference samples indicated by the corresponding angular direction. Therefore, when the subpixel position information (e.g., iFact) is 0, it means that the reference sample exists at the corresponding angle, and the reference sample can be determined as the prediction sample of the current sample. On the other hand, when the subpixel position information (e.g., iFact) is not 0, the subpixel position information (e.g., iFact) represents the subpixel position between the reference samples and the subpixel position information Can be determined as a prediction sample. Equation (9) illustrates an operation for performing linear interpolation to determine a prediction sample.

수학식 9에서, ref[]는 일차원 참조 샘플 배열을 나타내고, predSamples[x][y]는 현재 샘플에 대한 예측 샘플을 나타내고, >>는 우측 시프트 연산을 나타낸다.In Equation (9), ref [] denotes a one-dimensional reference sample array, predSamples [x] [y] denotes a prediction sample for the current sample, and >> denotes a right shift operation.

한편, 도 3에서 인트라 예측 모드가 10에 해당하는 경우(예, INTRA_ANGULAR10, 이하 ‘수평 모드’) 현재 샘플의 위치에서 수평 방향으로 예측이 이루어지므로 좌측 수평 방향에 있는 참조 샘플이 예측 샘플(predicted sample)로 결정되고, 인트라 예측 모드가 26에 해당하는 경우(예, INTRA_ANGULAR26, 이하 ‘수직 모드’) 현재 샘플의 위치에서 수직 방향으로 예측이 이루어지므로 상단 수직 방향에 있는 참조 샘플이 예측 샘플로 결정될 수 있다. 현재 블록의 인트라 예측 모드가 수직 모드 또는 수평 모드인 경우, 참조되지 않은 인접 샘플과 예측 샘플 간의 비연속성을 제거하기 위해 추가적인 필터링을 수행한다. 수학식 10과 수학식 11은 각각 수직 모드와 수평 모드일 때 추가적으로 수행되는 필터링 연산을 예시한다.In FIG. 3, when the intra prediction mode corresponds to 10 (e.g., INTRA_ANGULAR10, hereinafter referred to as 'horizontal mode'), since prediction is performed in the horizontal direction at the position of the current sample, the reference sample in the left- ), And when the intra prediction mode corresponds to 26 (e.g., INTRA_ANGULAR 26, hereinafter referred to as a 'vertical mode'), a prediction is made in the vertical direction at the position of the current sample so that the reference sample in the upper vertical direction can be determined as a prediction sample have. If the intra prediction mode of the current block is a vertical mode or a horizontal mode, additional filtering is performed to eliminate discontinuity between the unreferenced neighboring sample and the predicted sample. Equations (10) and (11) illustrate filtering operations that are additionally performed when in the vertical and horizontal modes, respectively.

수학식 10 및 11에서, x,y는 현재 블록(예, TU) 내에서 샘플의 좌표를 나타내고, predSamples[x][y]는 예측 샘플을 나타내고, Clip1y는 해당 연산 결과가 0과 샘플 최대 값의 범위 안으로 클리핑하는 함수를 나타내고, p[-1][-1]은 좌측 상단의 참조 샘플(414)을 나타내고, p[-1][y]는 현재 샘플과 동일한 y좌표에 있는 좌측 참조 샘플(412)을 나타내고, p[x][-1]은 현재 샘플과 동일한 x좌표에 있는 상단 참조 샘플(416)을 나타내고, >>는 우측 시프트 연산을 나타낸다. 도 7(b)는 현재 블록(예, TU)의 크기가 4×4이고 인트라 예측 모드가 수직 모드일 때 수행되는 필터링을 예시하고, 도 7(c)는 현재 블록(예, TU)의 크기가 4×4이고 인트라 예측 모드가 수평 모드일 때 수행되는 필터링을 예시한다.In Equations 10 and 11, x, y represent the coordinates of the sample in the current block (e.g., TU), predSamples [x] [y] represents the predicted sample, Clip1y represents the corresponding computation result, P [-1] [- 1] represents a reference sample 414 at the upper left corner, and p [-1] [y] represents a function of clipping the left reference sample (412), p [x] [- 1] represents the upper reference sample 416 at the same x coordinate as the current sample, and >> represents the right shift operation. 7B illustrates the filtering performed when the size of the current block (e.g., TU) is 4x4 and the intra prediction mode is the vertical mode, FIG. 7C illustrates the size of the current block (e.g., TU) Is 4x4 and the intra prediction mode is the horizontal mode.

다시 도 2를 참조하면, S206 단계에서 구해진 예측 샘플을 기반으로 S208 단계에서 현재 샘플을 복원할 수 있다. 구체적으로, 예측 샘플과 레지듀얼 샘플의 덧셈을 통해 현재 샘플이 구해질 수 있다. 레지듀얼 샘플은 도 1을 참조하여 설명한 엔트로피 복호화(S102), 역양자화(S104), 역변환(S106)을 통해 구해질 수 있다. 구체적으로, 비트스트림(110)으로부터 엔트로피 복호화(S102)를 통해 양자화된 변환 계수 정보를 구하고, 역양자화(S104)를 통해 스케일링된 변환 계수 정보를 구하고, 역변환(S106)을 통해 공간 도메인의 레지듀얼 샘플을 구할 수 있다. S208 단계에서 복원된 샘플은 인루프 필터링(S110)이 적용되기 전의 값을 가진다. 인트라 픽처의 경우, 도 1과 도 2를 참조하여 설명된 과정을 블록 단위(예, TU)로 반복하여 전체 픽처에 대한 복원 샘플(reconstructed sample)을 구할 수 있다. 본 명세서에서, 인트라 픽처는 인트라 예측 모드로 부호화된 픽처를 지칭할 수 있다.Referring back to FIG. 2, the current sample may be restored in step S208 based on the prediction sample obtained in step S206. Specifically, the current sample can be obtained through addition of a predicted sample and a residual sample. The residual samples can be obtained through the entropy decoding (S102), the inverse quantization (S104), and the inverse transform (S106) described with reference to FIG. Specifically, the quantized transform coefficient information is obtained from the bit stream 110 through entropy decoding (S102), the transform coefficient information scaled through the inverse quantization (S104) is obtained, and the inverse transform (S106) A sample can be obtained. The sample restored in step S208 has a value before the in-loop filtering (S110) is applied. In the case of an intra picture, a reconstructed sample for all pictures can be obtained by repeating the process described with reference to FIG. 1 and FIG. 2 in a block unit (e.g., TU). In this specification, an intra picture can refer to a picture encoded in the intra prediction mode.

앞서 설명된 바와 같이, 종래 기술에서는 축소 영상(또는 썸네일 영상)을 추출하기 위해서는 기본적으로 비트스트림으로부터 영상을 완전히 복원한 후 복원된 영상을 다운샘플링(down-sampling)하는 과정을 거친다. 하지만, H.265/HEVC, H.264/AVC와 같은 코덱은 고화질 영상을 효율적으로 압축하기 위한 코덱이기 때문에 원본 영상의 크기가 매우 크며 상대적으로 비트스트림의 크기도 방대할 뿐만 아니라 방대해진 데이터를 압축하거나 복원하기 위해 처리해야 할 연산이 매우 많아 시간이 많이 소요된다. 따라서, 기존의 축소 영상(또는 썸네일 영상) 추출 방법보다 더욱 효율적인 알고리즘이 필요하다.As described above, in the conventional art, in order to extract a reduced image (or a thumbnail image), basically, the reconstructed image is down-sampled after the image is completely reconstructed from the bitstream. However, codecs such as H.265 / HEVC and H.264 / AVC are codecs for efficiently compressing high-quality images. Therefore, the size of the original image is very large, the size of the bitstream is relatively large, It is time consuming because there are a lot of operations to process to compress or restore. Therefore, a more efficient algorithm is needed than the existing reduced image (or thumbnail image) extraction method.

축소 영상(또는 썸네일 영상)은 일반적으로 인트라 예측 모드(intra prediction mode)로 부호화된 픽처에서 추출될 수 있다. H.264/AVC 이전의 비디오 코딩 표준(예, MPEG-2, H.263 등)에서 인트라 픽처의 경우 변환 계수들 중에서 DC(Direct Current) 값만을 추출하여 축소 영상(또는 썸네일)을 생성할 수 있었다. 하지만, H.264/AVC 이후의 영상 부호화 표준에서는 인트라 예측 방법이 추가로 수행되어 인트라 픽처 내에서 이전에 복호화된 주변 블록을 이용하여 현재 블록을 예측하기 때문에 특정 위치의 블록을 복원하기 위해서는 주변 블록들이 모두 복원될 필요가 있다. 이러한 문제점 때문에 DCT 도메인에서 직접적으로 축소 영상(또는 썸네일 영상)을 생성하는 방법이 적용될 수 없다. 따라서, 본 발명에서는 인트라 예측 모드가 적용되는 시스템에서 고속으로 축소 영상(또는 썸네일 영상)을 추출하는 방법을 제안한다.The reduced image (or thumbnail image) may be extracted from a picture that is generally encoded in an intra prediction mode. In the case of intra-picture in video coding standards (eg MPEG-2, H.263, etc.) prior to H.264 / AVC, only direct current (DC) values can be extracted from among the transform coefficients to generate a reduced image (or thumbnail) there was. However, in the video coding standard of H.264 / AVC and later, an intra prediction method is additionally performed to predict a current block using a previously decoded neighboring block in an intra picture. Therefore, All need to be restored. Due to such a problem, a method of generating a reduced image (or a thumbnail image) directly in the DCT domain can not be applied. Accordingly, the present invention proposes a method for extracting a reduced image (or a thumbnail image) at high speed in a system to which an intra prediction mode is applied.

방법 1: Method 1: 인루프In loop 필터링Filtering 생략 skip

영상 부호화/복호화 시스템에서는 블록 단위(예, TU)로 변환을 수행하고 변환 계수들을 양자화하기 때문에 블록화 현상(blocking artifact) 및 링잉 현상(ringing artifact)이 발생할 수 있다. 이러한 블록화 현상 및 링잉 현상으로 인한 화질 열화를 개선하기 위해 복원된 픽처에서 특정 블록 단위로 인루프 필터링(in-loop filtering)이 수행될 수 있다. 예를 들어, H.265/HEVC 시스템의 경우 복원된 픽처 내에서 8×8 샘플 그리드 상의 경계에 위치하는 모든 변환 유닛(TU) 또는 예측 유닛(PU)의 경계에서 수직/수평 방향으로 디블록킹 필터링(deblocking filtering)이 수행될 수 있다. 또한, H.265/HEVC 시스템의 경우 부호화 트리 유닛(CTU) 단위로 샘플 적응적 오프셋(sample adaptive offset, SAO) 필터링이 수행될 수 있다. 디블록킹 필터링과 SAO 필터링은 많은 연산을 수반하고 영상의 크기가 클 경우 각각의 필터링이 수행되는 대상이 굉장히 증가하기 때문에 영상 복호화 과정에서 큰 부담이 된다. 반면, 축소 영상(또는 썸네일 영상)의 경우 다운샘플링을 거치면서 블록화 현상 및 링잉 현상이 감소되는 효과가 있으므로 축소 영상을 추출하는 과정에서 인루프 필터링을 수행함으로써 얻는 이득은 적을 수 있다.In the image coding / decoding system, blocking artifacts and ringing artifacts may occur due to conversion to block units (e.g., TU) and quantization of the transform coefficients. In-loop filtering may be performed on a specific block basis in the restored picture to improve picture quality deterioration due to the blocking phenomenon and the ringing phenomenon. For example, in the case of the H.265 / HEVC system, deblocking filtering is performed in the vertical / horizontal direction at the boundaries of all the transformation units (TU) or prediction units (PU) located at the boundary on the 8 × 8 sample grid within the reconstructed picture deblocking filtering may be performed. In addition, in the case of the H.265 / HEVC system, sample adaptive offset (SAO) filtering can be performed on an encoding tree unit (CTU) basis. De-blocking filtering and SAO filtering involve a lot of operations, and when the size of the image is large, the object to be subjected to each filtering is greatly increased, which is a great burden in the image decoding process. On the other hand, in the case of the reduced image (or the thumbnail image), the blocking phenomenon and the ringing phenomenon are reduced while downsampling. Therefore, the gain obtained by performing the in-loop filtering in the process of extracting the reduced image may be small.

따라서, 본 발명에서는 축소 영상(또는 썸네일 영상)을 추출할 때 인루프 필터링을 수행하는 단계를 생략(skip)할 것을 제안한다. 예를 들어, 본 발명에 따르면 축소 영상(또는 썸네일 영상)을 추출할 때 디블록킹 필터링과 SAO 오프셋 필터링이 생략된다. 따라서, 본 발명의 방법 1에 따라 축소 영상(또는 썸네일 영상)을 추출할 경우, 추출 과정의 연산량 및/또는 복잡도를 감소시킴으로써 축소 영상(또는 썸네일 영상)의 추출에 걸리는 시간을 대폭 감소시킬 수 있다.Therefore, in the present invention, it is proposed to skip the step of performing in-loop filtering when extracting a reduced image (or a thumbnail image). For example, according to the present invention, deblocking filtering and SAO offset filtering are omitted when a reduced image (or a thumbnail image) is extracted. Therefore, when the reduced image (or thumbnail image) is extracted according to the method 1 of the present invention, the time required for extracting the reduced image (or the thumbnail image) can be greatly reduced by reducing the computation amount and / .

도 8은 본 발명에 따른 축소 영상(또는 썸네일 영상)을 추출 과정을 예시한다. 도 8을 참조하면, 부호화된 비트스트림은 엔트로피 복호화(S102), 역양자화(S804), 역변환(S806), 인트라 예측(S808)을 수행한 다음, 인루프 필터링(S110)을 거치지 않고 서브샘플링(S810)이 수행될 수 있다. 인루프 필터링(S110)을 생략함으로써 축소 영상(또는 썸네일 영상) 추출하는 데 필요한 연산량 및 처리 시간을 단축시킬 수 있다. 이하에서는, 축소 영상(또는 썸네일 영상) 추출함에 있어서, 역양자화(S804), 역변환(S806), 인트라 예측(S808), 다운샘플링(S810)에서 추가적으로 연산량 및 처리 시간을 단축시키는 방법을 제안한다.FIG. 8 illustrates a process of extracting a thumbnail image (or a thumbnail image) according to the present invention. 8, the encoded bitstream is subjected to entropy decoding (S102), inverse quantization (S804), inverse transform (S806), intra prediction (S808), and then sub-sampling S810) may be performed. It is possible to shorten the amount of calculation and the processing time required to extract the reduced image (or the thumbnail image) by omitting the in-loop filtering (S110). Hereinafter, a method of shortening the amount of computation and processing time in the inverse quantization (S804), inverse transformation (S806), intra prediction (S808), and downsampling (S810) is proposed in extracting the reduced image (or thumbnail image).

방법 2: 특정 샘플 단위로 하나의 샘플을 추출Method 2: Extract one sample in a specific sample unit

일반적으로 영상에 대한 다운샘플링을 수행할 때 다운샘플링으로 인한 오차를 감소시키기 위해 필터링 연산이 수행된다. 예를 들어, 다운샘플링될 샘플들의 평균값을 계산하여 축소 영상(또는 썸네일 영상)을 위한 값으로 이용할 수 있다. 이 경우, 평균값 계산에 필요한 연산량을 줄일 경우 축소 영상(또는 썸네일 영상) 추출 과정에 걸리는 시간을 보다 단축시킬 수 있다.Generally, a filtering operation is performed to reduce errors due to downsampling when performing downsampling on an image. For example, the average value of the samples to be downsampled may be calculated and used as a value for a reduced image (or thumbnail image). In this case, if the amount of computation required for calculating the average value is reduced, the time taken to extract the reduced image (or thumbnail image) can be further shortened.

따라서, 본 발명에서는 축소 영상(또는 썸네일 영상) 추출 과정을 단순화시키기 위해 다운샘플링(S112) 대신 특정 샘플 단위로 하나의 샘플만을 추출하는 서브샘플링(sub-sampling)을 수행할 것을 제안한다. 예를 들어, 4×4 샘플 단위로 하나의 샘플만을 추출하여 축소 영상(또는 썸네일 영상)을 위한 다운샘플링된 값으로 사용할 수 있다. 이 경우, 4×4 샘플에 대한 평균값 계산에 걸리는 시간을 줄일 수 있으므로 축소 영상(또는 썸네일 영상) 추출에 필요한 연산량 및 처리 시간을 단축시킬 수 있다.Therefore, in order to simplify the process of extracting a reduced image (or thumbnail image), the present invention proposes performing sub-sampling in which only one sample is extracted in units of a specific sample instead of downsampling S112. For example, only one sample may be extracted in units of 4x4 samples and used as a downsampled value for a reduced image (or thumbnail image). In this case, since the time required to calculate the average value for the 4x4 sample can be shortened, the amount of calculation and the processing time required for extracting the reduced image (or thumbnail image) can be shortened.

특정 샘플 단위(예, 4×4 샘플)로 하나의 샘플만을 추출하는 경우, 서브샘플링 위치는 각 샘플 단위마다 고정될 수 있다. 예를 들어, 특정 샘플 단위(예, 4×4 샘플) 내에서 우측 하단 코너에 위치한 샘플이 추출될 수 있다. 혹은, 특정 샘플 단위(예, 4×4 샘플) 내에서 다른 위치의 샘플을 추출하는 것도 가능하다. 예를 들어, 특정 샘플 단위(예, 4×4 샘플) 내에서 좌측 하단 코너에 위치한 샘플이나 우측 상단 코너에 위치한 샘플을 추출하는 것도 가능하다. 추출된 샘플은 해당 샘플 단위에 대한 다운샘플링 값으로 사용될 수 있다.When extracting only one sample at a specific sample unit (eg, 4 × 4 samples), the subsampling position can be fixed for each sample unit. For example, a sample located in the lower right corner within a particular sample unit (e.g., a 4x4 sample) may be extracted. Alternatively, it is possible to extract samples at different positions within a specific sample unit (e.g., 4x4 sample). For example, it is possible to extract a sample located in the lower left corner or a sample located in the upper right corner within a specific sample unit (e.g., 4x4 sample). The extracted sample can be used as a downsampling value for the corresponding sample unit.

한편, 본 발명의 방법 2에 따라 특정 샘플 단위로 하나의 샘플만을 추출하는 경우 특정 영역에 대해 앨리어싱 현상(aliasing artifact)이 발생할 수 있다. 앨리어싱 현상을 줄이기 위해서는 평균값을 이용하는 것이 바람직할 수 있다. 이 경우, 본 발명의 방법 2를 변형하여, 특정 샘플 단위(예, 4×4 샘플)의 특정 경계에 위치한 샘플들만을 이용하여 계산된 평균값을 다운샘플링된 값으로 사용할 것을 제안한다(이하, ‘방법 2-1’이라 지칭). 본 발명의 방법 2-1이 적용될 경우, 평균값을 구하는 대상 샘플들의 개수가 종래에 비해 줄어들게 되므로 앨리어싱 현상을 줄이면서도 연산량을 감소시킬 수 있다. 예를 들어, 특정 샘플 단위(예, 4×4 샘플)의 하단 경계와 우측 경계에 위치한 샘플들만을 이용하여 평균값을 계산하여 다운샘플링된 값으로 사용할 수 있다. 이 경우, 특정 샘플 단위(예, 4×4 샘플) 내에서 7개 샘플들만이 평균값 계산에 포함되는 반면, 종래 기술에 따르면 16개 샘플들이 이용되므로 해당 샘플들만큼의 연산을 줄일 수 있다.On the other hand, when extracting only one sample in a specific sample unit according to the method 2 of the present invention, an aliasing artifact may occur for a specific region. It may be desirable to use an average value to reduce the aliasing phenomenon. In this case, it is proposed to modify the method 2 of the present invention so as to use the average value calculated using only samples located at a specific boundary of a specific sample unit (e.g., 4x4 sample) as the downsampled value (hereinafter, Method 2-1 '). When the method 2-1 of the present invention is applied, since the number of samples to be averaged is reduced compared to the conventional method, the amount of computation can be reduced while aliasing phenomenon is reduced. For example, an average value can be calculated using only the samples located at the lower boundary and the right boundary of a specific sample unit (e.g., 4 × 4 samples) and used as a downsampled value. In this case, while only seven samples in a specific sample unit (e.g., 4 x 4 samples) are included in the average value calculation, according to the prior art, sixteen samples are used, so that the calculation of the corresponding samples can be reduced.

상기 설명에서, 4×4 샘플 단위는 오로지 예시일 뿐이고 다른 크기의 샘플 단위로 서브샘플링 또는 평균값 계산을 수행하는 것도 가능하다. 예를 들어, 필요한 다운샘플링 비율에 따라 8×8, 16×16 샘플 단위로 본 발명에 따른 방법들이 변형되어 수행될 수 있다.In the above description, the 4x4 sample unit is only an example, and it is also possible to perform subsampling or average value calculation in units of samples of different sizes. For example, the methods according to the present invention can be modified and performed in units of 8x8, 16x16 samples, depending on the required downsampling ratio.

도 9는 본 발명에 따른 서브샘플링 위치를 예시한다. 도 9에서 각각의 사각형은 하나의 샘플 또는 픽셀을 나타내며, 빗금친 사각형은 본 발명에 따른 서브샘플링 또는 다운샘플링 위치를 나타낸다.Figure 9 illustrates a subsampling location in accordance with the present invention. Each rectangle in FIG. 9 represents one sample or pixel, and the hatched rectangle represents a sub-sampling or down-sampling position according to the present invention.

도 9(a)를 참조하면, 본 발명의 방법 2에 따른 서브샘플링 위치가 예시되어 있다. 도 9(a)에서, 4×4 샘플 단위 내에서 우측 하단 코너에 위치한 샘플을 서브샘플링하는 것으로 예시되어 있지만, 샘플 단위의 크기와 샘플 위치는 필요에 따라 변경될 수 있다.Referring to Figure 9 (a), the subsampling locations according to method 2 of the present invention are illustrated. In Fig. 9 (a), the size of the sample unit and the sample position can be changed as necessary, although the sample located at the lower right corner within the 4x4 sample unit is illustrated by subsampling.

도 9(b)를 참조하면, 본 발명의 방법 2-1에 따라 평균값 계산에 이용되는 특정 경계의 샘플들 위치가 예시되어 있다. 도 9(b)에서, 4×4 샘플 단위 내에서 하단 경계와 우측 경계에 위치한 샘플들이 평균값 계산에 이용되는 것으로 예시되어 있지만, 샘플 단위의 크기 및 경계의 위치는 필요에 따라 변경될 수 있다.Referring to FIG. 9 (b), the location of samples at a specific boundary used in the average value calculation according to method 2-1 of the present invention is illustrated. In FIG. 9 (b), although the samples located at the lower boundary and the right boundary within the 4 × 4 sample unit are illustrated as being used for the average value calculation, the size of the sample unit and the position of the boundary can be changed as needed.

본 발명에 따른 방법 2와 방법 2-1은 도 8에서 S810에 적용될 수 있다.Method 2 and method 2-1 according to the present invention can be applied to S810 in FIG.

방법 3: 일부 샘플들만 복호화Method 3: Decrypt only some samples

인트라 예측 모드가 적용되는 복호화 과정에서는 비트스트림으로부터 획득되는 변환 계수 정보에 대해 역양자화/역변환을 수행하여 얻어진 샘플들과 주변 블록의 샘플들을 참조하여 예측된 샘플들을 이용하여 인트라 예측을 수행한다. 앞서 설명된 바와 같이, H.265/HEVC 시스템의 경우 변환 블록(TU) 단위로 역양자화/역변환 및 인트라 예측이 수행될 수 있다. 이 경우, 해당 블록(예, TU) 내의 모든 샘플 위치들에 대해 레지듀얼 샘플을 구하고 예측 샘플들을 구한 다음 해당 블록을 복원한다. 하지만, 본 발명에 따라 축소 영상(또는 썸네일 영상)을 추출하는 경우 해당 블록(예, TU) 내의 모든 샘플들이 추출 과정에 이용되는 것이 아니므로 추출 과정에 이용되지 않는 샘플들까지 복원하면 연산량 및 처리 시간이 낭비될 수 있다.In the decoding process in which the intra prediction mode is applied, intra prediction is performed using the samples obtained by performing inverse quantization / inverse transform on the transform coefficient information obtained from the bit stream and the samples predicted with reference to the samples of the neighboring block. As described above, in the case of the H.265 / HEVC system, inverse quantization / inverse transform and intra prediction can be performed on a conversion block (TU) basis. In this case, a residual sample is obtained for all sample positions in the corresponding block (e.g., TU), prediction samples are obtained, and the corresponding block is reconstructed. However, when extracting a reduced image (or a thumbnail image) according to the present invention, not all the samples in a corresponding block (e.g., TU) are used in the extraction process, Time can be wasted.

따라서, 본 발명에서는 축소 영상(또는 썸네일 영상)을 추출하는 데 필요한 샘플들에 대해서만 역양자화, 역변환 및/또는 인트라 예측을 수행할 것을 제안한다. 즉, 본 발명에서는 축소 영상(또는 썸네일 영상)을 추출하는 데 필요한 샘플들만을 복호화(또는 복원)할 수 있다. 보다 구체적으로, 특정 블록(예, TU) 내에서 특정 경계에 위치한 샘플들과 (본 발명의 방법 2 또는 2-1에 따른) 서브샘플링 위치에 있는 샘플들에 대해서만 복호화(예, 역양자화, 역변환 및/또는 인트라 예측)를 수행할 것을 제안한다. 예를 들어, 본 발명의 방법 3에서는, 현재 블록(예, TU)에서 특정 경계(예, 하단 경계 및/또는 우측 경계)에 위치한 샘플들과 서브샘플링 위치에 있는 샘플(예, 우측 하단 코너 샘플)에 대해서만 역양자화, 역변환 및/또는 인트라 예측이 수행될 수 있다. 이 경우, 축소 영상(또는 썸네일 영상) 추출에 필요하지 않은 샘플들에 대한 복호화 과정을 생략할 수 있으므로 그만큼 연산량 및 처리 시간을 단축시킬 수 있다.Therefore, in the present invention, it is proposed to perform inverse quantization, inverse transformation, and / or intra prediction only on samples necessary for extracting a reduced image (or a thumbnail image). That is, in the present invention, only the samples necessary for extracting the reduced image (or the thumbnail image) can be decoded (or restored). More specifically, only samples (e.g., inverse quantization, inverse transform) of samples located at a specific boundary within a particular block (e.g., TU) and samples at sub- And / or intra prediction). For example, in method 3 of the present invention, samples located at a specific boundary (e.g., lower boundary and / or right boundary) and samples at a sub-sampling position (e.g., lower right corner sample Inverse transform, and / or intra prediction can be performed only for the inverse quantization process. In this case, since it is possible to omit the decoding process for the samples not required for extracting the reduced image (or thumbnail image), the amount of calculation and the processing time can be shortened accordingly.

본 발명의 방법 3에 따른 특정 경계는 다른 블록들에서 인트라 예측을 수행하기 위해 참조되는 샘플들이 위치하는 경계를 지칭할 수 있다. 예를 들어, H.265/HEVC 시스템의 경우 현재 블록(예, TU)의 인트라 예측에서 이용되는 참조 샘플들은 좌측 하단 이웃 블록(들)의 우측 경계에 위치하는 샘플(410), 좌측 이웃 블록(들)의 우측 경계에 위치하는 샘플(412), 좌측 상단 이웃 블록의 우측 하단 코너 샘플(414), 상단 이웃 블록의 하단 경계에 위치하는 샘플(416), 우측 상단 이웃 블록(들)의 하단 경계에 위치하는 샘플(418)을 포함할 수 있다(예, 도 4 참조). 따라서, H.265/HEVC 시스템의 경우 현재 블록(예, TU)의 우측 경계에 위치하는 샘플들은 우측 상단 이웃 블록(예, TU), 우측 이웃 블록(예, TU), 우측 하단 이웃 블록(예, TU)에 대해 인트라 예측을 수행할 때 참조 샘플로 이용될 수 있다. 유사하게, 현재 블록(예, TU)의 하단 경계에 위치하는 샘플들은 좌측 하단 이웃 블록(예, TU), 하단 이웃 블록(예, TU), 우측 하단 이웃 블록(예, TU)에 대해 인트라 예측을 수행할 때 참조샘플로 이용될 수 있다. 따라서, 본 발명의 방법 3에 따른 특정 경계는 예를 들어 현재 블록(예, TU) 내에서 하단 경계 및/또는 우측 경계를 포함할 수 있다.The specific boundary according to method 3 of the present invention may refer to the boundary where the samples to be referenced to perform intra prediction in other blocks are located. For example, in the case of the H.265 / HEVC system, reference samples used in intra prediction of the current block (e.g., TU) include samples 410 located at the right border of the lower left neighbor block (s) A sample 416 located at the lower boundary of the upper neighboring block, a sample 416 located at the lower boundary of the upper neighboring block, a lower boundary 402 of the upper right neighboring block (s) (E. G., Fig. 4). &Lt; / RTI &gt; Therefore, in the case of the H.265 / HEVC system, the samples located at the right boundary of the current block (eg TU) are classified into the right upper neighbor block (eg TU), the right neighbor block (eg TU) , &Lt; / RTI &gt; TU). &Lt; / RTI &gt; Similarly, samples located at the lower boundary of the current block (e.g., TU) may be intra-predicted for the lower left neighbor block (e.g., TU), the lower neighbor block (e.g., TU), the lower right neighbor block Can be used as a reference sample. Thus, a particular boundary in accordance with method 3 of the present invention may include, for example, a bottom boundary and / or a right boundary within a current block (e.g., TU).

도 10 내지 도 12는 본 발명에 따라 현재 블록에서 복원되는 샘플들의 위치를 예시한다. 도 10 내지 도 12의 예에서 변환 유닛(TU)과 예측 유닛(PU)의 크기는 동일하다고 가정하지만, 본 발명이 이러한 경우에만 제한되어 적용되는 것은 아니다.10 to 12 illustrate locations of samples reconstructed in a current block according to the present invention. In the examples of Figs. 10 to 12, the sizes of the conversion unit TU and the prediction unit PU are assumed to be the same, but the present invention is not limited thereto.

도 10을 참조하면, 변환 유닛(TU) 및 예측 유닛(PU)의 크기가 각각 4×4인 경우 복원 샘플과 서브샘플링 위치가 예시되어 있다. 도 10(a)는 종래 기술에 따른 복원 샘플과 서브샘플링 위치를 예시하고, 도 10(b)는 본 발명에 따른 복원 샘플과 서브샘플링 위치를 예시한다. 종래 기술의 경우 16개 샘플 전부에 대해 복호화(예, 역양자화, 역변환, 및/또는 인트라 예측)가 수행되어야 하는 반면, 본 발명의 경우 7개 샘플에 대해서만 복호화(예, 역양자화, 역변환, 및/또는 인트라 예측)가 수행될 수 있다. 따라서, 본 발명에 의하면 나머지 9개 샘플에 대한 연산량을 줄일 수 있으므로 축소 영상(또는 썸네일 영상) 추출에 걸리는 시간을 단축시킬 수 있다.Referring to FIG. 10, restoration samples and subsampling positions are illustrated when the sizes of the conversion unit (TU) and the prediction unit (PU) are respectively 4x4. 10 (a) illustrates restoration samples and subsampling locations according to the prior art, and FIG. 10 (b) illustrates restoration samples and subsampling locations according to the present invention. (E.g., dequantization, inverse transform, and / or intra prediction) should be performed for all 16 samples in the prior art, whereas for the present invention only decodings / Or intra prediction) can be performed. Therefore, according to the present invention, since the calculation amount for the remaining nine samples can be reduced, the time taken to extract the reduced image (or thumbnail image) can be shortened.

도 11을 참조하면, 변환 유닛(TU) 및 예측 유닛(PU)의 크기가 각각 8×8인 경우 복원 샘플과 서브샘플링 위치가 예시되어 있다. 도 11(a)는 종래 기술에 따른 복원 샘플과 서브샘플링 위치를 예시하고, 도 11(b)는 본 발명에 따른 복원 샘플과 서브샘플링 위치를 예시한다. 종래 기술의 경우 64개 샘플 전부에 대해 복호화(예, 역양자화, 역변환, 및/또는 인트라 예측)가 수행되어야 하는 반면, 본 발명의 경우 17개 샘플에 대해서만 복호화(예, 역양자화, 역변환, 및/또는 인트라 예측)가 수행될 수 있다. 따라서, 본 발명에 의하면 나머지 47개 샘플에 대한 연산량을 줄일 수 있으므로 축소 영상(또는 썸네일 영상) 추출에 걸리는 시간을 단축시킬 수 있다.Referring to FIG. 11, restoration samples and subsampling positions are illustrated when the size of the conversion unit (TU) and the size of the prediction unit (PU) are 8x8, respectively. Fig. 11 (a) illustrates restoration samples and subsampling positions according to the prior art, and Fig. 11 (b) illustrates restoration samples and subsampling positions according to the present invention. (E.g., dequantization, inverse transform, and / or intra prediction) should be performed for all 64 samples in the prior art, whereas for the present invention only decodings / Or intra prediction) can be performed. Therefore, according to the present invention, since the calculation amount for the remaining 47 samples can be reduced, the time taken to extract the reduced image (or thumbnail image) can be shortened.

도 12를 참조하면, 변환 유닛(TU) 및 예측 유닛(PU)의 크기가 각각 16×16인 경우 복원 샘플과 서브샘플링 위치가 예시되어 있다. 도 12(a)는 종래 기술에 따른 복원 샘플과 서브샘플링 위치를 예시하고, 도 12(b)는 본 발명에 따른 복원 샘플과 서브샘플링 위치를 예시한다. 종래 기술의 경우 256개 샘플 전부에 대해 복호화(예, 역양자화, 역변환, 및/또는 인트라 예측)가 수행되어야 하는 반면, 본 발명의 경우 40개 샘플에 대해서만 복호화(예, 역양자화, 역변환, 및/또는 인트라 예측)가 수행될 수 있다. 따라서, 본 발명에 의하면 나머지 216개 샘플에 대한 연산량을 줄일 수 있으므로 축소 영상(또는 썸네일 영상) 추출에 걸리는 시간을 단축시킬 수 있다.Referring to FIG. 12, restoration samples and subsampling positions are illustrated when the sizes of the conversion unit (TU) and the prediction unit (PU) are 16 × 16, respectively. Figure 12 (a) illustrates restoration samples and subsampling locations according to the prior art, and Figure 12 (b) illustrates restoration samples and subsampling locations according to the present invention. (E.g., dequantization, inverse transform, and / or intra prediction) should be performed for all 256 samples in the prior art, whereas for the present invention only decoding should be performed / Or intra prediction) can be performed. Therefore, according to the present invention, since the calculation amount for the remaining 216 samples can be reduced, the time taken to extract the reduced image (or thumbnail image) can be shortened.

마찬가지로, 변환 유닛(TU) 및 예측 유닛(PU)의 크기가 각각 32×32인 경우에도, 종래 기술에 따르면 1024개 샘플 전부에 대해 복호화(예, 역양자화, 역변환, 및/또는 인트라 예측)가 수행되어야 하는 반면, 본 발명에 따르면 112개 샘플에 대해서만 복호화(예, 역양자화, 역변환, 및/또는 인트라 예측)가 수행될 수 있으므로, 나머지 912개 샘플에 대한 연산량을 줄일 수 있으며 축소 영상(또는 썸네일 영상) 추출에 걸리는 시간을 단축시킬 수 있다.Similarly, even if the size of the conversion unit TU and the size of the prediction unit PU are 32x32, decoding (e.g., dequantization, inverse transform, and / or intra prediction) is performed for all 1024 samples (E.g., dequantization, inverse transform, and / or intra prediction) can be performed on only 112 samples, the computation amount for the remaining 912 samples can be reduced and the reduced image It is possible to shorten the time taken to extract the thumbnail image.

도 13은 변환 유닛(TU)의 크기가 각각 16×16이고 예측 유닛(PU)의 크기가 32×32인 경우 본 발명에 따른 복원 샘플과 서브샘플링 위치를 예시한다. 본 발명에 따르면, 현재 블록(예, TU) 내에서 특정 경계 및 서브샘플링 위치에 있는 샘플들에 대해서만 복호화(예, 역양자화, 역변환, 및/또는 인트라 예측)를 수행하여 해당 샘플들을 복원할 수 있다. 따라서, 현재 블록(예, TU) 내에서 본 발명이 적용되는 특정 경계는 이웃 블록의 인트라 예측 수행시 참조되는 샘플들이 위치하는 경계를 포함할 수 있다.FIG. 13 illustrates restoration samples and subsampling positions according to the present invention when the size of the conversion unit TU is 16 × 16 and the size of the prediction unit PU is 32 × 32. According to the present invention, it is possible to perform decoding (e.g., dequantization, inverse transform, and / or intra prediction) on samples in a certain boundary and sub-sampling positions within a current block have. Accordingly, the specific boundary to which the present invention is applied within the current block (e.g., TU) may include a boundary where the samples referenced in the intra prediction of the neighboring block are located.

도 13을 참조하면, 변환 유닛(1320)의 인트라 예측 수행시 이용되는 참조 샘플은 변환 유닛(1310) 및 변환 유닛(1330)의 우측 경계 샘플들을 포함할 수 있다. 따라서, 본 발명을 적용할 경우, 변환 유닛(1310)에서 상기 특정 경계는 우측 경계를 포함하고, 변환 유닛(1330)에서 상기 특정 경계는 우측 경계를 포함할 수 있다. 또한, 변환 유닛(1330)의 인트라 예측 수행시 이용되는 참조 샘플은 변환 유닛(1310) 및 변환 유닛(1330)의 하단 경계 샘플들을 포함할 수 있다. 따라서, 본 발명을 적용할 경우, 변환 유닛(1310)에서 상기 특정 경계는 하단 경계를 포함하고, 변환 유닛(1320)에서 상기 특정 경계는 하단 경계를 포함할 수 있다. 또한, 변환 유닛(1340)의 인트라 예측 수행시 이용되는 참조 샘플은 변환 유닛(1310)의 우측 하단 코너 샘플, 변환 유닛(1320)의 하단 경계 샘플들, 변환 유닛(1330)의 우측 경계 샘플들을 포함할 수 있다. 따라서, 본 발명을 적용할 경우, 변환 유닛(1310)에서 상기 특정 경계는 우측 하단 코너 샘플을 포함하고, 변환 유닛(1320)에서 상기 특정 경계는 하단 경계를 포함하고, 변환 유닛(1330)에서 상기 특정 경계는 우측 경계를 포함할 수 있다.Referring to FIG. 13, the reference samples used in performing the intra prediction of the conversion unit 1320 may include the right boundary samples of the conversion unit 1310 and the conversion unit 1330. Thus, when applying the present invention, in the conversion unit 1310, the specific boundary may include a right boundary, and in the conversion unit 1330, the specific boundary may include a right boundary. In addition, the reference samples used in performing the intra prediction of the conversion unit 1330 may include the lower boundary samples of the conversion unit 1310 and the conversion unit 1330. Thus, when applying the present invention, the particular boundary in transform unit 1310 may include a bottom boundary, and in conversion unit 1320, the particular boundary may include a bottom boundary. The reference samples used in performing the intra prediction of the conversion unit 1340 include the lower right corner sample of the conversion unit 1310, the lower boundary samples of the conversion unit 1320, and the right boundary samples of the conversion unit 1330 can do. Thus, when applying the present invention, in the transformation unit 1310, the specific boundary includes the lower right corner sample, and in the transformation unit 1320, the specific boundary includes the lower boundary, and in the transformation unit 1330, The specific boundary may include the right boundary.

방법 3의 실시예로서, 인트라 예측 모드에 따라 축소 영상(또는 썸네일 영상)을 추출하는 데 필요한 샘플들의 위치를 더욱 구체적으로 정의할 수 있다.As an embodiment of method 3, it is possible to more specifically define the positions of the samples required to extract the reduced image (or the thumbnail image) according to the intra prediction mode.

실시예Example 3-1 3-1

인트라 예측 모드가 평면 모드(planar mode), DC 모드, 각도 모드(angular mode) 11 내지 25에 해당하는 경우, 좌측 이웃 샘플들(410, 412)과 상단 이웃 샘플들(414, 416, 418)이 참조 샘플로서 이용될 수 있다(예, 도 3, 도 4 참조). 따라서, 본 발명의 실시예에서는 현재 블록(예, TU)의 인트라 예측 모드가 제1 범위(예, 0, 1, 11~25)의 값을 가지는 경우 현재 블록(예, TU)의 우측 경계 및 하단 경계에 위치하는 샘플들과 서브샘플링 위치의 샘플들만 복원될 수 있다.If the intra prediction mode corresponds to a planar mode, a DC mode, or an angular mode 11 to 25, the left neighbor samples 410 and 412 and the upper neighbor samples 414, 416, Can be used as a reference sample (e.g., see FIGS. 3 and 4). Therefore, in the embodiment of the present invention, when the intra prediction mode of the current block (e.g., TU) has a value in the first range (e.g., 0, 1, 11 to 25) Only samples at the lower boundary and samples at the subsampling location can be reconstructed.

도 14는 본 발명의 실시예에 따른 복원 샘플 및 서브샘플링 위치를 예시한다. 도 14에 예시된 바와 같이, 코딩 유닛(CU) 내에서 4×4, 8×8, 16×16과 같이 다양한 크기의 변환 유닛(TU)이 존재할 수 있다. 인트라 예측 모드가 평면 모드, DC 모드, 각도 모드 11 내지 25에 해당하는 경우, 본 발명에 따라 각 블록(예, TU)에서 우측 경계 및 하단 경계에 위치하는 샘플과 서브샘플링 위치에 있는 샘플만이 복원될 수 있다. 따라서, 나머지 샘플들을 복원하는 데 필요한 연산량 및 처리 시간을 단축시킬 수 있다.Figure 14 illustrates restoration samples and subsampling locations according to an embodiment of the present invention. As illustrated in Fig. 14, there can be various sizes of conversion units (TU) such as 4x4, 8x8, 16x16 in the coding unit (CU). If the intra prediction mode corresponds to the planar mode, the DC mode, and the angular mode 11 to 25, only the samples located at the right boundary and the lower boundary and the sample at the sub-sampling position in each block (e.g., TU) Can be restored. Therefore, the amount of calculation and the processing time required to restore the remaining samples can be shortened.

실시예Example 3-2 3-2

인트라 예측 모드가 각도 모드 2~10에 해당하는 경우 좌측 이웃 샘플들(410, 412)이 참조 샘플로서 이용될 수 있다(예, 도 3, 도 4 참조). 따라서, 본 발명의 실시예에서는 현재 블록(예, TU)의 인트라 예측 모드가 제2 범위의 값(예, 2~10)을 가지는 경우, 현재 블록(예, TU)에서 우측 경계에 위치하는 샘플들만이 복원될 수 있다. 이 경우, 현재 블록(예, TU)에서 우측 하단 코너 샘플을 제외한 하단 경계에 위치하는 샘플들은 복원되지 않음으로써 추가적으로 연산량 및 처리 시간을 줄일 수 있다.Left neighboring samples 410 and 412 can be used as a reference sample (e.g., see FIGS. 3 and 4) when the intra prediction mode corresponds to the angular mode 2 to 10. Therefore, in the embodiment of the present invention, when the intra prediction mode of the current block (e.g., TU) has a value in the second range (e.g., 2 to 10) Can be restored. In this case, the samples located in the lower boundary excluding the lower right corner sample in the current block (e.g., TU) are not restored, thereby further reducing the amount of processing and processing time.

도 15는 본 발명의 실시예에 따른 복원 샘플 및 서브샘플링 위치를 예시한다. 도 15에 예시된 바와 같이, 인트라 예측 모드가 각도 모드(angular mode) 11 내지 25에 해당하는 경우, 본 발명에 따라 각각의 블록(예, TU)에서 우측 경계에 위치하는 샘플과 서브샘플링 위치에 있는 샘플만이 복원될 수 있다. 코딩 유닛(CU)의 하단 경계에 위치하는 샘플은 다른 코딩 유닛(CU)에 위치하는 변환 유닛(TU)에 의해 참조될 수 있으므로 복원될 필요가 있다. 실시예 3-1과 비교하여 현재 블록(예, TU)의 하단 경계에 위치하는 샘플들을 복원하는 데 필요한 연산량 및 처리 시간을 추가로 단축시킬 수 있다.15 illustrates restoration samples and subsampling locations according to an embodiment of the present invention. As illustrated in FIG. 15, when the intra-prediction mode corresponds to angular modes 11 to 25, a sample located at the right boundary in each block (e.g., TU) according to the present invention and a sub- Only the samples that are present can be restored. The sample located at the lower boundary of the coding unit CU needs to be restored since it can be referred to by the conversion unit TU located in another coding unit CU. It is possible to further shorten the computation amount and processing time required to restore the samples located at the lower boundary of the current block (e.g., TU) as compared with the embodiment 3-1.

실시예Example 3-3 3-3

인트라 예측 모드가 각도 모드 26~34에 해당하는 경우 상단 이웃 샘플들(416, 418)이 참조 샘플로서 이용될 수 있다(예, 도 3, 도 4 참조). 따라서, 본 발명의 실시예에서는 현재 블록(예, TU)의 인트라 예측 모드가 제3 범위의 값(예, 26~34)을 가지는 경우, 현재 블록(예, TU)에서 하단 경계에 위치하는 샘플들만이 복원될 수 있다. 이 경우, 현재 블록(예, TU)에서 우측 하단 코너 샘플을 제외한 우측 경계에 위치하는 샘플들은 복원되지 않기 때문에 실시예 3-1과 비교하여 추가적으로 연산량 및 처리 시간을 줄일 수 있다.The upper neighbor samples 416 and 418 can be used as reference samples (e.g., see FIGS. 3 and 4) when the intra prediction mode corresponds to the angular mode 26 to 34. Therefore, in the embodiment of the present invention, when the intra prediction mode of the current block (e.g., TU) has a value in the third range (e.g., 26 to 34) Can be restored. In this case, since the samples located at the right boundary excluding the lower right corner sample in the current block (e.g., TU) are not restored, the calculation amount and processing time can be further reduced as compared with the embodiment 3-1.

도 16은 본 발명의 실시예에 따른 복원 샘플 및 서브샘플링 위치를 예시한다. 도 16에 예시된 바와 같이, 인트라 예측 모드가 각도 모드(angular mode) 26~34에 해당하는 경우, 본 발명에 따라 각각의 블록(예, TU)에서 하단 경계에 위치하는 샘플과 서브샘플링 위치에 있는 샘플만이 복원될 수 있다. 코딩 유닛(CU)의 우측 경계에 위치하는 샘플은 다른 코딩 유닛(CU)에 위치하는 변환 유닛(TU)에 의해 참조될 수 있으므로 복원될 필요가 있다. 실시예 3-1과 비교하여 현재 블록(예, TU)의 우측 경계에 위치하는 샘플들을 복원하는 데 필요한 연산량 및 처리 시간을 추가로 단축시킬 수 있다.Figure 16 illustrates restoration samples and subsampling locations according to an embodiment of the present invention. 16, when the intra-prediction mode corresponds to the angular mode 26 to 34, a sample located at the lower boundary in each block (e.g., TU) according to the present invention and a sub- Only the samples that are present can be restored. The sample located at the right boundary of the coding unit CU needs to be reconstructed since it can be referred to by the conversion unit TU located in another coding unit CU. It is possible to further shorten the computation amount and processing time required for restoring the samples located at the right boundary of the current block (e.g., TU) as compared with the embodiment 3-1.

상기 설명된 실시예 3-1, 3-2, 3-3은 도 8에서 S808에 적용될 수 있다.The embodiments 3-1, 3-2, and 3-3 described above can be applied to S808 in FIG.

실시예Example 3-4 3-4

역양자화는 비트스트림으로부터 파싱(parsing)된 변환 계수(transform coefficient) 각각에 대해 수행될 수 있으므로, 본 발명의 실시예에서는 특정 블록 내에서 특정 경계에 위치한 샘플들과 서브샘플링 위치에 있는 샘플들을 복호화하는 데 필요한 변환 계수들에 대해서만 역양자화가 수행될 수 있다. 따라서, 나머지 샘플들을 위한 변환 계수들에 대해서는 역양자화를 수행하지 않을 수 있으므로 해당 연산량 및 처리 시간을 줄일 수 있다. 본 실시예는 도 8의 S804에 적용될 수 있다.Since inverse quantization can be performed for each transform coefficient parsed from a bitstream, in the embodiment of the present invention, samples located at a specific boundary and samples at a sub-sampling position within a specific block are decoded The inverse quantization can be performed only for the transform coefficients necessary to perform the inverse quantization. Therefore, since the inverse quantization is not performed on the transform coefficients for the remaining samples, the amount of computation and the processing time can be reduced. This embodiment can be applied to S804 of Fig.

예를 들어, 현재 블록(예, TU)이 픽처의 우측 하단 코너에 위치하는 경우, 서브샘플링 위치(예, 우측 하단 코너)의 샘플만 복원될 수 있다. 따라서, 변환 계수들 중 마지막 열(column)에 해당하는 변환 계수들에 대해서만 역양자화를 수행할 수 있다.For example, if the current block (e.g., TU) is located at the lower right corner of the picture, only samples at the subsampling location (e.g., lower right corner) may be restored. Therefore, the inverse quantization can be performed only on the transform coefficients corresponding to the last column among the transform coefficients.

실시예Example 3-5 3-5

본 발명의 실시예에서는 역변환시에도 특정 블록 내에서 특정 경계에 위치한 샘플들과 서브샘플링 위치에 있는 샘플들을 복원하는 데 필요한 연산만이 수행될 수 있다. 역변환은 변환 계수 행렬과 변환 행렬(예, transMatrix)을 기반으로 변환 계수 행렬의 각 열(column)에 대해 일차원 변환으로서 수행될 수 있다(예, 도 1 관련 설명 참조). 예를 들어, 4×4부터 32×32까지의 변환을 위한 변환 행렬이 이용되며, 변환 기저는 빠른 연산을 위해 정수 형태로 근사화되어 변환 행렬의 각 요소는 정수 값을 가진다. 또한, 변환 계수 행렬의 각 열에 대해 변환 행렬을 적용하여 레지듀얼 샘플 행렬의 열을 생성할 수 있다. 따라서, 본 발명에 따라 우측 경계에 있는 샘플들만 복원할 경우, 변환 계수 행렬의 우측 경계 열에 대해서만 변환 행렬을 적용할 수 있다. 이 경우, 나머지 변환 계수 행렬의 열들에 대한 행렬 연산이 생략되므로 연산량 및 처리 시간을 줄일 수 있다. 유사하게, 본 발명에 따라 하단 경계에 있는 샘플들만 복원할 경우, 변환 계수 행렬의 각 열에 대해 변환 행렬의 마지막 행만을 적용할 수 있다. 이 경우, 나머지 변환 행렬의 행들을 적용하는 행렬 연산이 생략되므로 연산량 및 처리 시간을 줄일 수 있다. 본 실시예는 도 8의 S806에 적용될 수 있다.In the embodiment of the present invention, only the operations necessary to restore the samples located at the specific boundary and the samples at the sub-sampling position within a specific block can be performed even in the inverse transformation. The inverse transform can be performed as a one-dimensional transform for each column of the transform coefficient matrix based on a transform coefficient matrix and a transform matrix (e.g., transMatrix) (see, for example, FIG. 1). For example, a transformation matrix for transformation from 4 × 4 to 32 × 32 is used, and the transformation base is approximated to an integer form for fast computation so that each element of the transformation matrix has an integer value. In addition, a column of the residual sample matrix can be generated by applying a transformation matrix to each column of the transformation coefficient matrix. Therefore, when restoring only the samples at the right boundary according to the present invention, the transformation matrix can be applied only to the right boundary column of the transformation coefficient matrix. In this case, since the matrix operation for the columns of the remaining transform coefficient matrix is omitted, the amount of computation and the processing time can be reduced. Similarly, when restoring only the samples at the bottom boundary according to the present invention, only the last row of the transformation matrix can be applied for each column of the transformation coefficient matrix. In this case, since the matrix operation for applying the rows of the remaining transformation matrix is omitted, the amount of processing and the processing time can be reduced. This embodiment can be applied to S806 of Fig.

방법 4: 참조 샘플 Method 4: Reference Sample 패딩padding

인트라 예측 수행시, 현재 블록(예, TU)의 참조 샘플들이 존재하지 않는 경우 존재하지 않는 참조 샘플들은 패딩을 통해 생성될 수 있다(예, 도 2 관련 설명 참조). 예를 들어, 현재 블록(예, TU)이 픽처 또는 슬라이스의 좌측 또는 상단 경계에 있는 경우 일부 참조 샘플이 가용하지 않을 수 있다. 이 경우 가용하지 않은 참조 샘플은 가용한 인접 참조 샘플을 패딩하여 생성될 수 있다. 하지만, 본 발명에 따라 블록(예, TU)의 일부 샘플들만을 복호화할 경우 패딩에 이용되는 인접 참조 샘플이 복원되지 않을 수 있으므로 복호화가 올바르게 수행되지 않을 수 있다. 따라서, 본 발명에서는 현재 블록(예, TU)의 위치 및 인트라 예측 모드에 따라 패딩에 이용되는 참조 샘플을 추가로 복원하는 것을 제안한다.In performing intra prediction, reference samples that do not exist if there are no reference samples of the current block (e.g., TU) may be generated through padding (see, e.g., the discussion of FIG. 2). For example, some reference samples may not be available if the current block (e.g., TU) is at the left or top boundary of a picture or slice. In this case, a reference sample that is not available can be generated by padding available neighbor reference samples. However, decoding of only some samples of a block (e.g., a TU) in accordance with the present invention may not correctly perform decoding since adjacent reference samples used for padding may not be reconstructed. Accordingly, the present invention proposes to further restore reference samples used for padding according to the position of the current block (e.g., TU) and the intra prediction mode.

실시예Example 4-1 4-1

본 발명의 실시예에서, 현재 블록(예, TU)이 픽처 또는 슬라이스의 상단 경계에 있는 경우 인트라 예측 모드에 따라 현재 블록(예, TU)의 우측 상단 코너 샘플을 추가로 복원할 수 있다. 보다 구체적으로, 본 발명의 실시예 3-3에서 인트라 예측 모드가 제3 범위의 값(예, 각도 모드 26~34)을 가지고 현재 블록(예, TU)이 픽처 또는 슬라이스의 상단 경계에 있는 경우, 현재 블록(예, TU)의 우측 상단 코너 샘플이 추가로 복원될 수 있다. 하지만, 본 발명의 실시예 3-1 또는 3-2에 따라 인트라 예측 모드가 제1 범위 및 제2 범위의 값(예, 평면 모드, DC 모드, 각도 모드 2~25)을 가지는 경우 현재 블록(예, TU)의 우측 경계에 있는 샘플들이 복원되므로 본 실시예는 적용되지 않을 수 있다. 본 실시예는 도 8의 S808에 적용될 수 있다.In an embodiment of the present invention, the upper right corner sample of the current block (e.g., TU) may be further restored in accordance with the intra prediction mode when the current block (e.g., TU) is at the upper boundary of the picture or slice. More specifically, in the embodiment 3-3 of the present invention, when the current block (for example, TU) is located at the upper boundary of a picture or a slice with the intra-prediction mode having a third range of values , The upper right corner sample of the current block (e.g., TU) can be further restored. However, when the intraprediction mode has a value in the first range and the second range (e.g., a plane mode, a DC mode, and an angle mode 2 to 25) according to Embodiment 3-1 or 3-2 of the present invention, The sample at the right boundary of the sample (e.g., TU) is restored, so that the present embodiment may not be applied. This embodiment can be applied to S808 of Fig.

도 17과 도 18은 본 발명의 실시예에 따른 복원 샘플의 위치를 예시한다. 도 17의 예에서, 각각의 블록이 8×8 변환 유닛(TU)으로 예시되어 있지만, 본 발명이 이에 제한되는 것은 아니며 본 발명은 다른 경우에도 적용될 수 있다.17 and 18 illustrate locations of restoration samples according to an embodiment of the present invention. In the example of Fig. 17, although each block is illustrated as an 8x8 conversion unit (TU), the present invention is not limited thereto, and the present invention can be applied to other cases.

도 17을 참조하면, 본 발명의 실시예 3-3에 따라 현재 블록(1710)에서 하단 경계 및 서브샘플링 위치에 있는 샘플들만이 복원될 수 있다. 하지만, 현재 블록(1710)이 픽처 또는 슬라이스의 상단 경계에 있는 경우, 이웃 블록(1720)의 상단 참조 샘플(1730)은 가용하지 않으므로 가용하지 않은 참조 샘플들(1730)은 인접 참조 샘플(1740)을 패딩하여 생성될 수 있다. 따라서, 본 발명의 실시예 4-1에 따라 현재 블록(1710)에서 하단 경계 및 서브샘플링 위치에 있는 샘플들 외에 우측 상단 참조 샘플(1740)이 추가적으로 복원될 수 있다.Referring to FIG. 17, according to the embodiment 3-3 of the present invention, only the samples in the lower boundary and sub-sampling positions in the current block 1710 can be reconstructed. However, if the current block 1710 is at the upper boundary of the picture or slice, the upper reference sample 1730 of the neighboring block 1720 is not available, Lt; / RTI &gt; Thus, according to embodiment 4-1 of the present invention, the upper right reference sample 1740 may be additionally restored in addition to the samples in the lower boundary and sub-sampling positions in the current block 1710. [

도 18을 참조하면, 도 16의 예와 비교하여 본 발명의 실시예 4-1에서는 샘플들(1810, 1820, 1830)이 추가적으로 복호화될 수 있다.Referring to FIG. 18, samples 1810, 1820 and 1830 can be further decoded in the embodiment 4-1 of the present invention as compared with the example of FIG.

실시예Example 4-2 4-2

본 발명의 다른 실시예에서, 현재 블록(예, TU)이 픽처 또는 슬라이스의 좌측 경계에 있는 경우 인트라 예측 모드에 따라 현재 블록(예, TU)의 좌측 하단 코너 샘플이 추가로 복원될 수 있다. 보다 구체적으로, 본 발명의 실시예 3-2에서 인트라 예측 모드가 제2 범위의 값(예, 각도 모드 2~10)을 가지는 경우, 현재 블록(예, TU)의 좌측 하단 코너 샘플이 추가로 복원될 수 있다. 하지만, 본 발명의 실시예 3-1 또는 3-3에 따라 인트라 예측 모드가 제1 범위 및 제3 범위의 값(예, 평면 모드, DC 모드, 각도 모드 11~34)을 가지는 경우 현재 블록(예, TU)의 하단 경계에 있는 샘플들이 복원되므로 본 실시예는 적용되지 않을 수 있다. 본 실시예는 도 8의 S808에 적용될 수 있다.In another embodiment of the present invention, the lower left corner sample of the current block (e.g., TU) may be further restored in accordance with the intra prediction mode if the current block (e.g., TU) is at the left boundary of the picture or slice. More specifically, in the embodiment 3-2 of the present invention, when the intra-prediction mode has a value in the second range (for example, the angular modes 2 to 10), the lower left corner sample of the current block Can be restored. However, when the intraprediction mode has a value in the first range and the third range (e.g., a plane mode, a DC mode, and an angle mode 11 to 34) according to Embodiment 3-1 or 3-3 of the present invention, The sample at the lower boundary of the sample (e.g., TU) is restored, so that the present embodiment may not be applied. This embodiment can be applied to S808 of Fig.

도 19와 도 20은 본 발명의 실시예에 따른 복원 샘플의 위치를 예시한다. 도 19의 예에서, 각각의 블록이 8×8 변환 유닛(TU)으로 예시되어 있지만, 본 발명이 이에 제한되는 것은 아니며 본 발명은 다른 경우에도 적용될 수 있다.Figures 19 and 20 illustrate the location of a reconstructed sample according to an embodiment of the present invention. In the example of Fig. 19, although each block is illustrated as an 8x8 conversion unit (TU), the present invention is not limited thereto, and the present invention can be applied to other cases as well.

도 19를 참조하면, 본 발명의 실시예 3-2에 따라 현재 블록(1910)에서 우측 경계 및 서브샘플링 위치에 있는 샘플들만이 복호화될 수 있다. 하지만, 현재 블록(1910)이 픽처 또는 슬라이스의 좌측 경계에 있는 경우, 이웃 블록(1920)의 좌측 참조 샘플(1930)은 가용하지 않으므로 가용하지 않은 참조 샘플들(1930)은 인접 참조 샘플(1940)을 패딩하여 생성될 수 있다. 따라서, 본 발명의 실시예 4-2에 따라 현재 블록(1910)에서 우측 경계 및 서브샘플링 위치에 있는 샘플들 외에 좌측 하단 참조 샘플(1940)이 추가적으로 복원될 수 있다.Referring to FIG. 19, according to embodiment 3-2 of the present invention, only samples in the right boundary and sub-sampling positions in the current block 1910 can be decoded. However, if the current block 1910 is at the left boundary of a picture or slice, the left reference sample 1930 of the neighboring block 1920 is not available, Lt; / RTI &gt; Thus, according to embodiment 4-2 of the present invention, in addition to the samples at the right boundary and the sub sampling position in the current block 1910, the lower left reference sample 1940 can be additionally reconstructed.

도 20을 참조하면, 도 15의 예와 비교하여 본 발명의 실시예 4-2에서는 샘플들(2010, 2020, 2030)이 추가적으로 복원될 수 있다.Referring to FIG. 20, samples 2010, 2020 and 2030 can be additionally restored in the embodiment 4-2 of the present invention in comparison with the example of FIG.

방법 5: 예측 값 Method 5: Forecast Value 필터링Filtering

인트라 예측 모드가 특정 모드(예, 수직 예측 모드, 수평 예측 모드, 또는 DC 예측 모드)인 경우, 인접 샘플들과의 불연속성을 제거하기 위해 현재 블록(예, TU)의 예측 샘플들에 대해 추가적인 필터링이 수행될 수 있다(예, 도 2 및 도 7 관련 설명 참조). 이 경우에도, 다른 블록(예, TU)의 참조 샘플로 사용되는 샘플과 서브샘플링 위치에 있는 샘플에 대해서만 추가적인 필터링을 수행하도록 함으로써 연산량과 처리 시간을 줄일 수 있다.When the intra prediction mode is a specific mode (e.g., vertical prediction mode, horizontal prediction mode, or DC prediction mode), additional filtering is performed on the prediction samples of the current block (e.g., TU) to remove discontinuities with neighboring samples (See, for example, the description related to Figs. 2 and 7). Even in this case, it is possible to reduce the amount of processing and processing time by performing additional filtering only on the sample used as the reference sample of another block (e.g., TU) and the sample located in the sub-sampling position.

실시예Example 5-1 5-1

인트라 예측 모드가 수직 모드인 경우, 현재 블록(예, TU)의 우측 경계 샘플들 전부에 대해 좌측 상단 참조 샘플과 해당 샘플의 좌측 참조 샘플 간의 차이를 보상해주는 필터링 연산이 수행된다. 하지만, 축소 영상(또는 썸네일 영상) 추출에 필요하지 않은 샘플들에 대해서도 필터링 연산을 수행하는 것은 연산량과 처리 시간의 낭비일 수 있다. 따라서, 본 발명에서는 인트라 예측 모드가 수직 모드인 경우 현재 블록(예, TU)의 우측 경계 샘플들 중에서 축소 영상(또는 썸네일 영상) 추출에 필요한 샘플들에 대해서만 필터링 연산을 수행할 것을 제안한다. 예를 들어, 인트라 예측 모드가 수직 모드이고 본 발명의 실시예 3-3가 적용되는 경우, 현재 블록(예, TU)의 좌측 하단 샘플에 대해서만 필터링 연산이 수행될 수 있다. 따라서, 본 발명에 따르면, 현재 블록의 크기가 nTbS×nTbS인 경우 (nTbS - 1) 번만큼의 필터링 연산을 줄일 수 있다.When the intra prediction mode is the vertical mode, a filtering operation is performed to compensate for the difference between the upper left reference sample and the left reference sample of the corresponding block for all of the right boundary samples of the current block (e.g., TU). However, performing a filtering operation on samples not required for extracting a reduced image (or thumbnail image) may be a waste of computation amount and processing time. Accordingly, in the present invention, it is proposed that filtering operation is performed only on the samples necessary for extracting the reduced image (or thumbnail image) from the right boundary samples of the current block (e.g., TU) when the intra prediction mode is the vertical mode. For example, if the intra prediction mode is the vertical mode and the embodiment 3-3 of the present invention is applied, a filtering operation may be performed only on the lower left sample of the current block (e.g., TU). Therefore, according to the present invention, it is possible to reduce filtering operations by (nTbS - 1) times when the size of the current block is nTbS x nTbS.

도 21은 인트라 예측 모드가 수직 모드인 경우 예측 샘플에 대한 필터링을 예시한다. 현재 블록이 8×8 변환 유닛(TU)인 경우가 예시되어 있지만, 이는 오로지 예시일 뿐이며 본 발명은 다른 크기(예, 4×4, 16×16, 32×32)의 블록에 대해서도 동일/유사하게 적용될 수 있다.FIG. 21 illustrates filtering for a prediction sample when the intra-prediction mode is a vertical mode. Although the case where the current block is an 8x8 transform unit (TU) is exemplified, this is only an example, and the present invention can be applied to blocks of different sizes (e.g., 4x4, 16x16, 32x32) Lt; / RTI &gt;

도 21을 참조하면, 도 21(a)는 인트라 예측 모드가 수직 모드인 경우 기존 방식에 따라 필터링이 수행되는 위치를 예시하고 도 21(b)는 본 발명에 따라 필터링이 수행되는 위치를 예시한다. 도 21(a)에 예시된 바와 같이, 기존 방법에서는 인트라 예측 모드가 수직 모드인 경우 현재 블록(예, TU)의 좌측 경계 샘플 모두(예, x1~x8)에 대해 필터링이 수행된다. 따라서, 기존 방법에 따르면 현재 블록의 크기(예, 8) 만큼의 필터링 연산이 수행될 수 있다. 하지만, 본 발명에 따르면 복원 샘플 위치에 해당하는 좌측 하단 코너 샘플(예, x8)에 대해서만 필터링이 수행되므로 1번의 필터링만이 수행될 수 있다. 따라서, 7번 만큼 필터링 연산을 생략할 수 있으므로 축소 영상(또는 썸네일 영상) 추출에 필요한 연산량과 처리 시간을 줄일 수 있다.21 (a) illustrates a position where filtering is performed according to an existing method when the intra-prediction mode is a vertical mode, and FIG. 21 (b) illustrates a position where filtering is performed according to the present invention . As illustrated in Fig. 21 (a), in the conventional method, filtering is performed on all the left boundary samples (e.g., x1 to x8) of the current block (e.g., TU) when the intra prediction mode is the vertical mode. Therefore, according to the existing method, a filtering operation of the current block size (e.g., 8) can be performed. However, according to the present invention, since filtering is performed only on the left lower corner sample (e.g., x8) corresponding to the restored sample position, only one filtering can be performed. Therefore, since the filtering operation can be omitted 7 times, the amount of calculation and the processing time required for extracting the reduced image (or thumbnail image) can be reduced.

실시예Example 5-2 5-2

인트라 예측 모드가 수평 모드인 경우, 현재 블록(예, TU)의 상단 경계 샘플들 전부에 대해 좌측 상단 참조 샘플과 해당 샘플의 상단 참조 샘플 간의 차이를 보상해주는 필터링 연산이 수행된다. 하지만, 축소 영상(또는 썸네일 영상) 추출에 필요하지 않은 샘플들에 대해서도 필터링 연산을 수행하는 것은 연산량과 처리 시간의 낭비일 수 있으므로, 본 발명에서는 인트라 예측 모드가 수평 모드인 경우 현재 블록(예, TU)의 상단 경계 샘플들 중에서 축소 영상(또는 썸네일 영상) 추출에 필요한 샘플들에 대해서만 필터링 연산을 수행할 것을 제안한다. 예를 들어, 인트라 예측 모드가 수평 모드이고 본 발명의 실시예 3-2가 적용되는 경우, 현재 블록(예, TU)의 우측 상단 샘플에 대해서만 필터링 연산이 수행될 수 있다. 따라서, 본 발명에 따르면, 현재 블록의 크기가 nTbS×nTbS인 경우 (nTbS - 1) 번만큼의 필터링 연산을 줄일 수 있다.When the intra prediction mode is the horizontal mode, a filtering operation is performed to compensate for the difference between the upper left reference sample and the upper reference sample of the corresponding sample for all the upper boundary samples of the current block (e.g., TU). However, performing the filtering operation on the samples not required for the extraction of the reduced image (or thumbnail image) may be a waste of computation amount and processing time. Therefore, in the present invention, when the intra prediction mode is the horizontal mode, It is proposed to perform filtering operation only on the samples required for extracting the reduced image (or the thumbnail image) out of the upper boundary samples of the TU. For example, if the intra prediction mode is the horizontal mode and Embodiment 3-2 of the present invention is applied, a filtering operation can be performed only on the upper right sample of the current block (e.g., TU). Therefore, according to the present invention, it is possible to reduce filtering operations by (nTbS - 1) times when the size of the current block is nTbS x nTbS.

도 22는 인트라 예측 모드가 수평 모드인 경우 예측 샘플에 대한 필터링을 예시한다. 현재 블록이 8×8 변환 유닛(TU)인 경우가 예시되어 있지만, 이는 오로지 예시일 뿐이며 본 발명은 다른 크기(예, 4×4, 16×16, 32×32)의 블록에 대해서도 동일/유사하게 적용될 수 있다.FIG. 22 illustrates filtering for a prediction sample when the intra prediction mode is a horizontal mode. Although the case where the current block is an 8x8 transform unit (TU) is exemplified, this is only an example, and the present invention can be applied to blocks of different sizes (e.g., 4x4, 16x16, 32x32) Lt; / RTI &gt;

도 22를 참조하면, 도 22(a)는 인트라 예측 모드가 수평 모드인 경우 기존 방식에 따라 필터링이 수행되는 위치를 예시하고 도 22(b)는 본 발명에 따라 필터링이 수행되는 위치를 예시한다. 도 22(a)에 예시된 바와 같이, 기존 방법에서는 인트라 예측 모드가 수직 모드인 경우 현재 블록(예, TU)의 상단 경계 샘플 모두(예, x1~x8)에 대해 필터링이 수행된다. 따라서, 기존 방법에 따르면 현재 블록의 크기(예, 8) 만큼의 필터링 연산이 수행될 수 있다. 하지만, 본 발명에 따르면 복원 샘플 위치에 해당하는 우측 상단 코너 샘플(예, x8)에 대해서만 필터링이 수행되므로 1번의 필터링만이 수행될 수 있다. 따라서, 7번 만큼 필터링 연산을 생략할 수 있으므로 축소 영상(또는 썸네일 영상) 추출에 필요한 연산량과 처리 시간을 줄일 수 있다.22 (a) illustrates a position where filtering is performed according to an existing method when the intra-prediction mode is a horizontal mode, and FIG. 22 (b) illustrates a position where filtering is performed according to the present invention . As illustrated in Fig. 22 (a), in the conventional method, filtering is performed on all the upper boundary samples (e.g., x1 to x8) of the current block (e.g., TU) when the intra prediction mode is the vertical mode. Therefore, according to the existing method, a filtering operation of the current block size (e.g., 8) can be performed. However, according to the present invention, since filtering is performed only on the upper right corner sample (e.g., x8) corresponding to the restored sample position, only one filtering can be performed. Therefore, since the filtering operation can be omitted 7 times, the amount of calculation and the processing time required for extracting the reduced image (or thumbnail image) can be reduced.

실시예Example 5-3 5-3

인트라 예측 모드가 DC 모드인 경우, 현재 블록(예, TU)의 좌측 경계 및 상단 경계 샘플들 전부에 대해 예측 샘플과 참조 샘플 간의 비연속성을 제거하기 위한 필터링 연산이 수행된다. 하지만, 축소 영상(또는 썸네일 영상) 추출에 필요하지 않은 샘플들에 대해서도 필터링 연산을 수행하는 것은 연산량과 처리 시간의 낭비일 수 있으므로, 본 발명에서는 인트라 예측 모드가 DC 모드인 경우 현재 블록(예, TU)의 좌측 경계 및 상단 경계 샘플들 중에서 축소 영상(또는 썸네일 영상) 추출에 필요한 샘플들에 대해서만 필터링 연산을 수행할 것을 제안한다. 예를 들어, 인트라 예측 모드가 DC 모드이고 본 발명의 실시예 3-1이 적용되는 경우, 현재 블록(예, TU)의 우측 상단 샘플 및 좌측 하단 샘플에 대해서만 필터링 연산이 수행될 수 있다. 따라서, 본 발명에 따르면, 현재 블록의 크기가 nTbS×nTbS인 경우 (2×nTbS - 3) 번만큼의 필터링 연산을 줄일 수 있다.When the intra prediction mode is the DC mode, a filtering operation is performed to eliminate discontinuity between the predicted sample and the reference sample for all the left boundary and upper boundary samples of the current block (e.g., TU). However, performing filtering operations on samples not required for extracting a reduced image (or thumbnail image) may be a waste of computation amount and processing time. Therefore, in the present invention, when the intra prediction mode is DC mode, It is proposed to perform filtering operations only on the samples necessary for extracting a reduced image (or a thumbnail image) out of the left boundary and upper boundary samples of the TU. For example, when the intra prediction mode is the DC mode and the embodiment 3-1 of the present invention is applied, a filtering operation can be performed only on the upper right sample and the lower left sample of the current block (e.g., TU). Therefore, according to the present invention, it is possible to reduce (2 x nTbS - 3) times of filtering operations when the current block size is nTbS x nTbS.

도 23은 인트라 예측 모드가 DC 모드인 경우를 예측 샘플에 대한 필터링을 예시한다. 현재 블록이 8×8 변환 유닛(TU)인 경우가 예시되어 있지만, 이는 오로지 예시일 뿐이며 본 발명은 다른 크기(예, 4×4, 16×16, 32×32)의 블록에 대해서도 동일/유사하게 적용될 수 있다.FIG. 23 illustrates filtering for a prediction sample when the intra prediction mode is a DC mode. Although the case where the current block is an 8x8 transform unit (TU) is exemplified, this is only an example, and the present invention can be applied to blocks of different sizes (e.g., 4x4, 16x16, 32x32) Lt; / RTI &gt;

도 23을 참조하면, 도 23(a)는 인트라 예측 모드가 DC 모드인 경우 기존 방식에 따라 필터링이 수행되는 위치를 예시하고 도 23(b)는 본 발명에 따라 필터링이 수행되는 위치를 예시한다. 도 23(a)에 예시된 바와 같이, 기존 방법에서는 인트라 예측 모드가 DC 모드인 경우 현재 블록(예, TU)의 좌측 경계 및 상단 경계의 샘플 모두(예, x0~x7)에 대해 필터링이 수행된다. 따라서, 기존 방법에 따르면 현재 블록의 크기가 nTbS일 때 2*nTbS-1(예, 15) 만큼의 필터링 연산이 수행될 수 있다. 하지만, 본 발명에 따르면 복원 샘플 위치에 해당하는 우측 상단 및 좌측 하단 코너 샘플(예, x7)에 대해서만 필터링이 수행되므로 2번의 필터링만이 수행될 수 있다. 따라서, 13번 만큼 필터링 연산을 생략할 수 있으므로 축소 영상(또는 썸네일 영상) 추출에 필요한 연산량과 처리 시간을 줄일 수 있다.Referring to FIG. 23, FIG. 23A illustrates a location where filtering is performed according to an existing method when the intra-prediction mode is a DC mode, and FIG. 23B illustrates a location where filtering is performed according to the present invention . As illustrated in FIG. 23 (a), in the conventional method, when the intra prediction mode is the DC mode, filtering is performed on both samples of the left boundary and the upper boundary of the current block (e.g., TU) (e.g., x0 through x7) do. Therefore, according to the existing method, when the current block size is nTbS, filtering operations of 2 * nTbS-1 (e.g., 15) can be performed. However, according to the present invention, since filtering is performed only on the upper right corner and the lower left corner sample (e.g., x7) corresponding to the restored sample position, only two filtering operations can be performed. Therefore, since the filtering operation can be omitted 13 times, the amount of calculation and the processing time required for extracting the reduced image (or thumbnail image) can be reduced.

도 24는 본 발명이 적용될 수 있는 장치의 블록도를 예시한다. 본 발명은 영상 처리를 수행할 수 있는 장치에 적용될 수 있다. 예를 들어, 본 발명이 적용될 수 있는 장치는 스마트폰 등과 같은 이동 단말, 랩톱 컴퓨터 등과 같은 휴대용 기기, 디지털 TV, 디지털 비디오 플레이어 등과 같은 가전 제품 등을 포함할 수 있다.Figure 24 illustrates a block diagram of an apparatus to which the present invention may be applied. The present invention can be applied to an apparatus capable of performing image processing. For example, the device to which the present invention may be applied may include a mobile terminal such as a smart phone, a portable device such as a laptop computer, a home appliance such as a digital TV, a digital video player, and the like.

메모리(12)는 프로세서(11)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 부호화된 비트스트림, 복호화된 영상, 제어 정보, 본 발명에 따라 추출된 축소 영상(또는 썸네일 영상)을 저장할 수 있다. 메모리(12)는 각종 영상 신호를 위한 버퍼로서 활용될 수 있다. 메모리(12)는 ROM(Read Only Memory), RAM(Random Access Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래쉬(flash) 메모리, SRAM(Static RAM), HDD(Hard Disk Drive), SSD(Solid State Drive) 등과 같은 저장 장치로서 구현될 수 있다.The memory 12 may store a program for processing and controlling the processor 11 and may store a coded bit stream, a decoded image, control information, and a reduced image (or thumbnail image) extracted according to the present invention . The memory 12 may be utilized as a buffer for various video signals. The memory 12 may be a ROM (Read Only Memory), a RAM (Random Access Memory), an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmable Read Only Memory), a flash memory, , A hard disk drive (HDD), a solid state drive (SSD), or the like.

프로세서(11)는 통상적으로 영상 처리 장치 내 모듈의 전반적인 동작을 제어한다. 특히, 프로세서(11)는 본 발명을 수행하기 위한 각종 제어 기능을 수행할 수 있다. 프로세서(11)는 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 불릴 수 있다. 프로세서(11)는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다. 하드웨어를 이용하여 본 발명을 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 프로세서(11)에 구비될 수 있다. 한편, 펌웨어나 소프트웨어를 이용하여 본 발명을 구현하는 경우에는 본 발명의 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등을 포함하도록 펌웨어나 소프트웨어가 구성될 수 있으며, 본 발명을 수행할 수 있도록 구성된 펌웨어 또는 소프트웨어는 프로세서(11) 내에 구비되거나 메모리(12)에 저장되어 프로세서(11)에 의해 구동될 수 있다.The processor 11 typically controls the overall operation of the module within the image processing apparatus. In particular, the processor 11 may perform various control functions to perform the present invention. The processor 11 may also be referred to as a controller, a microcontroller, a microprocessor, a microcomputer, or the like. The processor 11 may be implemented by hardware or firmware, software, or a combination thereof. When implementing the present invention using hardware, application specific integrated circuits (ASICs) or digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), FPGAs field programmable gate arrays) may be provided in the processor 11. Meanwhile, when the present invention is implemented using firmware or software, firmware or software may be configured to include a module, a procedure, or a function for performing the functions or operations of the present invention. The firmware or software may be contained within the processor 11 or may be stored in the memory 12 and driven by the processor 11.

또한, 장치(10)는 네트워크 인터페이스 모듈(network interface module, NIM)(13)을 선택적으로(optionally) 포함할 수 있다. 네트워크 인터페이스 모듈(13)은 프로세서(11)와 동작시 연결(operatively connected)되며, 프로세서(11)는 네트워크 인터페이스 모듈(13)을 제어하여 무선/유선 네트워크를 통해 정보 및/또는 데이터, 신호, 메시지 등을 나르는 무선/유선 신호를 전송 또는 수신할 수 있다. 네트워크 인터페이스 모듈(13)은 예를 들어 IEEE 802 계열, 3GPP LTE(-A), ATSC(Advanced Television System Committee), DVB(Digital Video Broadcasting) 등과 같은 다양한 통신 규격을 지원하며, 해당 통신 규격에 따라 제어 정보 및/또는 부호화된 비트스트림과 같은 영상 신호를 송수신할 수 있다. 네트워크 인터페이스 모듈(13)은 필요에 따라 장치에 포함되지 않을 수 있다.In addition, the device 10 may optionally include a network interface module (NIM) 13. The network interface module 13 is operatively connected to the processor 11 and the processor 11 controls the network interface module 13 to transmit information and / or data, signals, messages And / or the like. The network interface module 13 supports various communication standards such as IEEE 802 series, 3GPP LTE (-A), ATSC (Advanced Television System Committee), DVB (Digital Video Broadcasting) Information and / or a video signal such as an encoded bit stream. The network interface module 13 may not be included in the apparatus if necessary.

또한, 장치(10)는 입출력 인터페이스(14)를 선택적으로(optionally) 포함할 수 있다. 입출력 인터페이스(14)는 프로세서(11)와 동작시 연결(operatively connected)되며, 프로세서(11)는 입출력 인터페이스(14)를 제어하여 제어 신호 및/또는 데이터 신호를 입력받거나 출력할 수 있다. 입출력 모듈(14)은 예를 들어 키보드, 마우스, 터치패드, 카메라 등과 같은 입력 장치와 디스플레이 등과 같은 출력 장치와 연결될 수 있도록 USB(Universal Serial Bus), Bluetooth, NFC(Near Field Communication), 직렬/병렬 인터페이스, DVI(Digital Visual Interface), HDMI(High Definition Multimedia Interface) 등과 같은 규격을 지원할 수 있다.In addition, the device 10 may optionally include an input / output interface 14. The input / output interface 14 is operatively connected to the processor 11 and the processor 11 controls the input / output interface 14 to receive and output control signals and / or data signals. The input / output module 14 may be connected to an input device such as a keyboard, a mouse, a touch pad, a camera, etc., and an output device such as a display, Interface, DVI (Digital Visual Interface), HDMI (High Definition Multimedia Interface), and the like.

이상에서 설명된 방법들 및 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.The methods and embodiments described above are those in which the elements and features of the present invention are combined in a predetermined form. Each component or feature shall be considered optional unless otherwise expressly stated. Each component or feature may be implemented in a form that is not combined with other components or features. It is also possible to construct embodiments of the present invention by combining some of the elements and / or features. The order of the operations described in the embodiments of the present invention may be changed. Some configurations or features of certain embodiments may be included in other embodiments, or may be replaced with corresponding configurations or features of other embodiments. It is clear that the claims that are not expressly cited in the claims may be combined to form an embodiment or be included in a new claim by an amendment after the application.

본 발명에 따른 방법 및 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.The methods and embodiments of the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In the case of hardware implementation, an embodiment of the present invention may include one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs) field programmable gate arrays, processors, controllers, microcontrollers, microprocessors, and the like.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태를 포함하는 소프트웨어 코드 또는 명령어(instruction)로 구현될 수 있다. 소프트웨어 코드 또는 명령어는 컴퓨터 판독가능한 매체에 저장되어 프로세서에 의해 구동될 수 있으며 프로세서에 의해 구동될 때 본 발명에 따른 동작들을 수행할 수 있다. 상기 컴퓨터 판독가능한 매체는 상기 프로세서 내부 또는 외부에 위치하거나 원격으로 네트워크를 통해 상기 프로세서와 연결될 수 있으며, 상기 프로세서와 데이터를 주고 받을 수 있다.In the case of firmware or software implementation, the present invention may be implemented in software code or instructions, including modules, procedures, functions, and the like, to perform the functions or acts described above. The software code or instructions may be stored on a computer readable medium and may be executed by a processor and may perform operations in accordance with the present invention when it is being executed by a processor. The computer-readable medium may be connected to the processor via a network, or may be located within or external to the processor, and may exchange data with the processor.

본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.It will be apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit of the invention. Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

본 발명은 영상 처리 장치에서 이용될 수 있다.The present invention can be used in an image processing apparatus.

Claims (5)

영상 신호로부터 축소 영상을 추출하기 위한 방법에 있어서,
상기 영상 신호로부터 현재 블록을 포함하는 코딩 블록의 인트라 예측 모드를 획득하는 단계;
상기 획득된 인트라 예측 모드를 기반으로 상기 현재 블록에서 하나 이상의 샘플을 복원하는 단계; 및
상기 복원된 하나 이상의 샘플에서 적어도 하나의 샘플을 추출하는 단계를 포함하되,
상기 하나 이상의 샘플은 상기 현재 블록 내에서 특정 경계 및 상기 적어도 하나의 샘플 위치에서만 복원되는, 방법.A method for extracting a reduced image from a video signal,
Obtaining an intra prediction mode of a coding block including a current block from the video signal;
Reconstructing one or more samples in the current block based on the obtained intra prediction mode; And
And extracting at least one sample from the restored one or more samples,
Wherein the one or more samples are reconstructed only at a specific boundary and the at least one sample location within the current block. 제1항에 있어서,
상기 인트라 예측 모드가 제1 범위의 값 중에서 하나에 해당하는 경우, 상기 특정 경계는 상기 현재 블록 내에서 좌측 경계 및 상단 경계에 해당하고,
상기 인트라 예측 모드가 제2 범위의 값 중에서 하나에 해당하는 경우, 상기 특정 경계는 상기 현재 블록 내에서 상기 좌측 경계에 해당하고,
상기 인트라 예측 모드가 제3 범위의 값 중에서 하나에 해당하는 경우, 상기 특정 경계는 상기 상단 경계에 해당하는, 방법.The method according to claim 1,
Wherein, when the intra prediction mode corresponds to one of the values of the first range, the specific boundary corresponds to a left boundary and an upper boundary in the current block,
Wherein if the intra prediction mode corresponds to one of the values of the second range, the specific boundary corresponds to the left boundary in the current block,
And if the intra prediction mode corresponds to one of the values of the third range, the specific boundary corresponds to the upper boundary. 제1항에 있어서,
상기 인트라 예측 모드가 제3 범위의 값 중에서 하나에 해당하고, 상기 코딩 블록이 슬라이스의 상단 경계에 위치하고, 상기 현재 블록이 상기 코딩 블록 내에서 상단 경계에 위치하는 경우, 상기 복원되는 하나 이상의 샘플은 상기 현재 블록 내에서 우측 상단 코너 샘플을 포함하고,
상기 인트라 예측 모드가 제2 범위의 값 중에서 하나에 해당하고, 상기 코딩 블록이 슬라이스의 좌측 경계에 위치하고, 상기 현재 블록이 상기 코딩 블록 내에서 좌측 경계에 위치하는 경우, 상기 복원되는 하나 이상의 샘플은 상기 현재 블록 내에서 좌측 하단 코너 샘플을 포함하는, 방법.The method according to claim 1,
Wherein if the intra prediction mode corresponds to one of the values in the third range and the coding block is located at the upper boundary of the slice and the current block is located at the upper boundary within the coding block, The upper right corner sample in the current block,
Wherein if the intra prediction mode corresponds to one of the values in the second range and the coding block is located at the left boundary of the slice and the current block is located at the left boundary in the coding block, And a lower left corner sample within the current block. 제1항에 있어서,
상기 복원하는 단계는
상기 인트라 예측 모드가 수직 모드를 지시하는 경우 상기 현재 블록 내에서 좌측 경계에 위치하는 샘플에 대해 필터링하는 것과,
상기 인트라 예측 모드가 수평 모드를 지시하는 경우 상기 현재 블록 내에서 상단 경계에 위치하는 샘플에 대해 필터링하는 것과,
상기 인트라 예측 모드가 DC 모드를 지시하는 경우 상기 현재 블록 내에서 좌측 경계 및 상단 경계에 위치하는 샘플에 대해 필터링하는 것을 포함하되,
상기 인트라 예측 모드가 수직 모드를 지시하는 경우, 상기 필터링은 상기 현재 블록 내에서 좌측 하단 코너 샘플에 대해서만 수행되고,
상기 인트라 예측 모드가 수평 모드를 지시하는 경우, 상기 필터링은 상기 현재 블록 내에서 우측 상단 코너 샘플에 대해서만 수행되고,
상기 인트라 예측 모드가 DC 모드를 지시하는 경우, 상기 필터링은 상기 현재 블록 내에서 좌측 하단 코너 샘플 및 우측 상단 코너 샘플에 대해서만 수행되는, 방법.The method according to claim 1,
The restoring step
Filtering the samples located at the left boundary in the current block when the intra prediction mode indicates the vertical mode,
Filtering the samples located at the upper boundary in the current block when the intra prediction mode indicates a horizontal mode,
And filtering the samples located at the left boundary and the upper boundary in the current block when the intra prediction mode indicates the DC mode,
If the intra prediction mode indicates a vertical mode, the filtering is performed only on the lower left corner sample in the current block,
If the intra prediction mode indicates a horizontal mode, the filtering is performed only on the upper right corner sample in the current block,
If the intra prediction mode indicates a DC mode, the filtering is performed only on the lower left corner sample and the upper right corner sample in the current block. 제1항에 있어서,
상기 복원된 하나 이상의 샘플들에 대해 인루프 필터링은 수행되지 않는, 방법.The method according to claim 1,
Wherein in-loop filtering is not performed on the recovered one or more samples.

Images