RU2812856C2 - Method and device for video encoding/decoding and method for transmitting bit stream - Google Patents

Abstract

FIELD: image coding.

SUBSTANCE: image encoding/decoding by performing intra prediction using reference sample filtering and a method for transmitting a bit stream. A method includes: obtaining intra-prediction mode information of the current block from a bit stream, determining the intra-prediction mode of the current block based on the information of the intra-prediction mode and the intra-prediction mode of the neighboring block located near the current block, extracting the value of the first filter flag for use filtering the intra-prediction reference sample of the current block based on encoding parameters for the current block, selecting an interpolation filter to be used for intra-prediction of the current block based on the first filter flag, and generating an intra-prediction block of the current block using the selected interpolation filter.

EFFECT: increased efficiency of encoding/decoding.

13 cl, 34 dwg, 5 tbl

Description

Область техники, к которой относится изобретениеField of technology to which the invention relates

Настоящее раскрытие сущности относится к способу и устройству кодирования/декодирования изображений и к способу передачи потока битов, а более конкретно, к способу и устройству для кодирования/декодирования изображения посредством выполнения внутреннего прогнозирования с использованием фильтрации опорных выборок и к способу передачи потока битов, сформированного за счет этого.The present disclosure relates to a method and apparatus for encoding/decoding images and to a method for transmitting a bit stream, and more specifically, to a method and apparatus for encoding/decoding an image by performing intra prediction using reference sample filtering and to a method for transmitting a bit stream generated by account of this.

Уровень техникиState of the art

В последнее время спрос на высококачественные изображения высокого разрешения, к примеру, изображения высокой четкости (HD) и изображения сверхвысокой четкости (UHD) растет в различных областях техники. По мере того, как разрешение и качество данных изображений повышается, объем передаваемой информации или битов относительно увеличивается по сравнению с существующими данными изображений. Увеличение объема передаваемой информации или битов приводит к увеличению затрат на передачу и затрат на хранение.Recently, the demand for high-quality, high-definition images, such as high-definition (HD) images and ultra-high-definition (UHD) images, has been growing in various fields of technology. As the resolution and quality of image data increases, the amount of transmitted information or bits increases relatively compared to existing image data. Increasing the amount of information or bits transmitted results in increased transmission costs and storage costs.

Соответственно, имеется потребность в высокоэффективной технологии сжатия изображений для эффективной передачи, сохранения и воспроизведения информации относительно высококачественных изображений высокого разрешения.Accordingly, there is a need for high-performance image compression technology for efficiently transmitting, storing and reproducing information regarding high-quality, high-resolution images.

Сущность изобретенияThe essence of the invention

Техническая задачаTechnical problem

Цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и устройство кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.The purpose of the present disclosure is to provide an image encoding/decoding method and apparatus with improved encoding/decoding efficiency.

Помимо этого, цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и устройство для кодирования/декодирования изображения посредством выбора фильтра, применяемого, когда прогнозная выборка извлекается согласно тому, используется или нет фильтрация выборки, на которую ссылаются во время внутреннего прогнозирования.In addition, the purpose of the present disclosure is to provide a method and apparatus for encoding/decoding an image by selecting a filter applied when a prediction sample is retrieved according to whether filtering of the sample referenced during intra prediction is used or not.

Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ передачи потока битов, сформированного посредством способа или устройства кодирования изображений согласно настоящему раскрытию сущности.Another object of the present disclosure is to provide a method for transmitting a bit stream generated by an image encoding method or apparatus according to the present disclosure.

Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, хранящий поток битов, сформированный посредством способа или устройства кодирования изображений согласно настоящему раскрытию сущности.Another object of the present disclosure is to provide a recording medium storing a bitstream generated by an image encoding method or apparatus according to the present disclosure.

Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, хранящий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством устройства декодирования изображений согласно настоящему раскрытию сущности.Another object of the present disclosure is to provide a recording medium storing a bitstream received, decoded, and used to reconstruct an image by an image decoding apparatus according to the present disclosure.

Технические проблемы, разрешаемые посредством настоящего раскрытия сущности, не ограничены вышеуказанными техническими проблемами, и другие технические проблемы, которые не описываются в данном документе, должны становиться очевидными для специалистов в данной области техники из нижеприведенного описания.The technical problems addressed by the present disclosure are not limited to the above technical problems, and other technical problems that are not described herein should become apparent to those skilled in the art from the following description.

Техническое решениеTechnical solution

Способ декодирования изображений, осуществляемый посредством устройства декодирования изображений согласно варианту осуществления для разрешения вышеуказанных проблем, включает в себя получение информации режима внутреннего прогнозирования текущего блока из потока битов, определение режима внутреннего прогнозирования текущего блока на основе информации режима внутреннего прогнозирования и режима внутреннего прогнозирования соседнего блока, расположенного около текущего блока, извлечение значения первого флага фильтра для использования фильтрации внутренней прогнозной опорной выборки текущего блока на основе параметров кодирования для текущего блока, применения сглаживающей фильтрации к внутренней прогнозной опорной выборке текущего блока, когда значение первого флага фильтра указывает использование фильтрации внутренней прогнозной опорной выборки текущего блока, выбор интерполяционного фильтра, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра, и формирование блока внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра.An image decoding method performed by an image decoding device according to an embodiment to solve the above problems includes obtaining intra prediction mode information of a current block from a bit stream, determining an intra prediction mode of the current block based on the intra prediction mode information and the intra prediction mode of an adjacent block, located near the current block, retrieving the value of the first filter flag to use the current block's internal predictive reference sample filtering based on the encoding parameters for the current block, applying smooth filtering to the current block's internal predictive reference sample when the value of the first filter flag indicates the use of internal predictive reference sample filtering of the current block, selecting an interpolation filter to be used for intra-prediction of the current block based on the first filter flag, and generating an intra-prediction block of the current block using the selected interpolation filter.

Когда первый флаг фильтра указывает то, что внутренняя прогнозная опорная выборка текущего блока подвергнута сглаживающей фильтрации, сглаживающий фильтр может выбираться и применяться к опорной выборке, интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, за счет этого извлекая прогнозную выборку текущего блока.When the first filter flag indicates that the internal prediction reference sample of the current block is subject to smoothing filtering, the smoothing filter may be selected and applied to the reference sample, an interpolation filter that is to be used for the internal prediction of the current block, thereby extracting the prediction sample of the current block.

Когда первый флаг фильтра указывает то, что внутренняя прогнозная опорная выборка текущего блока не подвергнута сглаживающей фильтрации, повышающий резкость фильтр может выбираться и применяться к опорной выборке в качестве интерполяционного фильтра, который должен использоваться для внутреннего прогнозирования текущего блока, за счет этого извлекая прогнозную выборку текущего блока.When the first filter flag indicates that the internal prediction reference sample of the current block is not subject to smoothing filtering, a sharpening filter may be selected and applied to the reference sample as an interpolation filter to be used for the internal prediction of the current block, thereby retrieving the prediction sample of the current block. block.

С этой целью способ декодирования изображений, осуществляемый посредством устройства декодирования изображений согласно варианту осуществления для разрешения вышеуказанных проблем, включает в себя получение информации режима внутреннего прогнозирования текущего блока из потока битов, определение режима внутреннего прогнозирования текущего блока на основе информации режима внутреннего прогнозирования и режима внутреннего прогнозирования соседнего блока, расположенного около текущего блока, извлечение значения первого флага фильтра для использования фильтрации внутренней прогнозной опорной выборки текущего блока на основе параметров кодирования для текущего блока, выбор интерполяционного фильтра, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра, и формирование блока внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра.To this end, an image decoding method carried out by an image decoding device according to an embodiment to solve the above problems includes obtaining intra prediction mode information of a current block from a bit stream, determining an intra prediction mode of the current block based on the intra prediction mode information and the intra prediction mode a neighboring block located near the current block, retrieving the value of a first filter flag to use intra-prediction reference sample filtering of the current block based on encoding parameters for the current block, selecting an interpolation filter to be used for intra-prediction of the current block based on the first filter flag, and formation of an internal prediction block of the current block using the selected interpolation filter.

Применение сглаживающей фильтрации к внутренней прогнозной опорной выборке текущего блока, когда значение первого флага фильтра указывает использование фильтрации внутренней прогнозной опорной выборки текущего блока, дополнительно может включаться.Applying smoothing filtering to the current block's internal predictive reference sample, when the value of the first filter flag indicates the use of filtering of the current block's internal predictive reference sample, may further be enabled.

Параметры кодирования могут включать в себя по меньшей мере одно из индекса множественной опорной линии текущего блока, размера текущего блока, цветового компонента текущего блока, того, следует ли применять внутренние субсегменты (ISP) к текущему блоку, или режима внутреннего прогнозирования текущего блока.The encoding parameters may include at least one of a multiple reference line index of the current block, a size of the current block, a color component of the current block, whether intra subsegments (ISPs) should be applied to the current block, or an intra prediction mode of the current block.

Фильтрация внутренней прогнозной опорной выборки может не использоваться, когда значение первого флага фильтра составляет первое значение, фильтрация внутренней прогнозной опорной выборки может использоваться, когда значение первого флага фильтра составляет второе значение, интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, может определяться в качестве фильтра, имеющего характеристику повышения резкости, когда значение первого флага фильтра составляет первое значение, и интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, может определяться в качестве фильтра, имеющего характеристику сглаживания, когда значение первого флага фильтра составляет второе значение.Filtering of the internal predictive reference sample may not be used when the value of the first filter flag is the first value, filtering of the internal predictive reference sample may be used when the value of the first filter flag is the second value, the interpolation filter to be used for internal prediction of the current block may be determined in as a filter having a sharpening characteristic when the value of the first filter flag is a first value, and an interpolation filter to be used for internal prediction of the current block may be determined as a filter having a smoothing characteristic when the value of the first filter flag is a second value.

Выбор интерполяционного фильтра, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра может включать в себя извлечение значения второго флага фильтра для интерполяционного фильтра, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра, и выбор интерполяционного фильтра на основе второго флага фильтра.Selecting an interpolation filter to be used for intra-prediction of the current block based on the first filter flag may include retrieving the value of a second filter flag for the interpolation filter to be used for intra-prediction of the current block based on the first filter flag, and selecting the interpolation filter based on the second filter flag.

Значение второго флага фильтра может извлекаться в качестве первого значения, когда удовлетворяется условие для по меньшей мере одного из параметров кодирования.The value of the second filter flag may be retrieved as the first value when a condition for at least one of the encoding parameters is satisfied.

Значение второго флага фильтра может извлекаться в качестве первого значения, когда внутренние субсегменты (ISP) применяются к текущему блоку.The value of the second filter flag may be retrieved as the first value when internal subsegments (ISPs) are applied to the current block.

Значение второго флага фильтра может извлекаться в качестве первого значения, когда внутренние субсегменты (ISP) применяются к текущему блоку, текущий блок представляет собой блок сигналов яркости, режим внутреннего прогнозирования текущего блока равен или выше предварительно определенного режима, и ширина текущего блока равна или выше предварительно определенного размера. Помимо этого, предварительно определенный режим может представлять собой левый верхний диагональный режим, и предварительно определенный размер может быть равным 8.The value of the second filter flag may be retrieved as the first value when inner subsegments (ISPs) are applied to the current block, the current block is a luma block, the intra prediction mode of the current block is equal to or greater than the predetermined mode, and the width of the current block is equal to or greater than the predetermined mode. a certain size. In addition, the predetermined mode may be a left upper diagonal mode, and the predetermined size may be 8.

Значение второго флага фильтра может извлекаться в качестве первого значения, когда внутренние субсегменты (ISP) применяются к текущему блоку, текущий блок представляет собой блок сигналов яркости, режим внутреннего прогнозирования текущего блока равен или меньше предварительно определенного режима, и ширина текущего блока равна или выше предварительно определенного размера. Предварительно определенный режим может представлять собой левый верхний диагональный режим, и предварительно определенный размер может быть равным 8.The value of the second filter flag may be retrieved as the first value when inner subsegments (ISPs) are applied to the current block, the current block is a luma block, the intra prediction mode of the current block is equal to or less than a predetermined mode, and the width of the current block is equal to or greater than a predetermined one. a certain size. The predetermined mode may be a left upper diagonal mode, and the predetermined size may be 8.

Фильтрация внутренней прогнозной опорной выборки может не использоваться, когда значение первого флага фильтра составляет первое значение, фильтрация внутренней прогнозной опорной выборки может использоваться, когда значение первого флага фильтра составляет второе значение, и значение второго флага фильтра может извлекаться в качестве 0, когда значение первого флага фильтра равно 1.Filtering of the internal predictive reference sample may not be used when the value of the first filter flag is the first value, filtering of the internal predictive reference sample may be used when the value of the first filter flag is the second value, and the value of the second filter flag may be retrieved as 0 when the value of the first flag filter is 1.

Интерполяционный фильтр может представлять собой фильтр, имеющий характеристику повышения резкости, когда значение второго флага фильтра составляет первое значение, интерполяционный фильтр может представлять собой фильтр, имеющий характеристику сглаживания, когда значение второго флага фильтра составляет второе значение, и значение второго флага фильтра может извлекаться в качестве первого значения, когда значение первого флага фильтра составляет второе значение.The interpolation filter may be a filter having a sharpening characteristic when the value of the second filter flag is a first value, the interpolation filter may be a filter having a smoothing characteristic when the value of the second filter flag is a second value, and the value of the second filter flag may be extracted as the first value when the value of the first filter flag is the second value.

Устройство декодирования изображений согласно варианту осуществления для разрешения вышеуказанных проблем включает в себя запоминающее устройство и по меньшей мере один процессор. По меньшей мере один процессор может получать информацию режима внутреннего прогнозирования текущего блока из потока битов, определять режим внутреннего прогнозирования текущего блока на основе информации режима внутреннего прогнозирования и режима внутреннего прогнозирования соседнего блока, расположенного около текущего блока, извлекать значение первого флага фильтра для использования фильтрации внутренней прогнозной опорной выборки текущего блока на основе параметров кодирования для текущего блока, выбирать интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра и формировать блок внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра.An image decoding apparatus according to an embodiment for solving the above problems includes a storage device and at least one processor. The at least one processor may obtain intra-prediction mode information of a current block from the bit stream, determine the intra-prediction mode of the current block based on the intra-prediction mode information and the intra-prediction mode of a neighboring block located near the current block, extract the value of a first filter flag to use intra-prediction filtering. predictive reference sample of the current block based on the encoding parameters for the current block, select an interpolation filter to be used for intra-prediction of the current block based on the first filter flag, and generate an intra-prediction block of the current block using the selected interpolation filter.

Способ кодирования изображений, осуществляемый посредством устройства кодирования изображений согласно варианту осуществления для разрешения вышеуказанных проблем, включает в себя выбор режима внутреннего прогнозирования текущего блока, извлечение значения первого флага фильтра для использования фильтрации внутренней прогнозной опорной выборки текущего блока на основе параметров кодирования для текущего блока, выбор интерполяционного фильтра, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра, формирование блока внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра и кодирование режима внутреннего прогнозирования текущего блока на основе режима внутреннего прогнозирования соседнего блока, расположенного около текущего блока.An image encoding method carried out by an image encoding apparatus according to an embodiment to solve the above problems includes selecting an intra prediction mode of a current block, retrieving the value of a first filter flag for using intra prediction reference sample filtering of the current block based on encoding parameters for the current block, selecting an interpolation filter to be used for intra-prediction of the current block based on the first filter flag, generating an intra-prediction block of the current block using the selected interpolation filter, and encoding an intra-prediction mode of the current block based on the intra-prediction mode of a neighboring block located near the current block.

Устройство кодирования изображений согласно варианту осуществления для разрешения вышеуказанных проблем может передавать поток битов, сформированный, как описано выше.The image encoding apparatus according to the embodiment, in order to solve the above problems, can transmit a bit stream generated as described above.

Преимущества изобретенияAdvantages of the invention

Согласно настоящему раскрытию сущности, можно предоставлять способ и устройство кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.According to the present disclosure, it is possible to provide an image encoding/decoding method and apparatus with improved encoding/decoding efficiency.

Помимо этого, согласно настоящему раскрытию сущности, можно предоставлять способ и устройство для кодирования/декодирования изображения посредством выбора фильтра, применяемого, когда прогнозная выборка извлекается согласно тому, используется или нет фильтрация выборки, на которую ссылаются во время внутреннего прогнозирования.In addition, according to the present disclosure, it is possible to provide a method and apparatus for encoding/decoding an image by selecting a filter applied when a prediction sample is retrieved according to whether filtering of the sample referenced during intra prediction is used or not.

Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ передачи потока битов, сформированного посредством способа или устройства кодирования изображений согласно настоящему раскрытию сущности.Moreover, according to the present disclosure, it is possible to provide a method for transmitting a bitstream generated by an image encoding method or apparatus according to the present disclosure.

Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, хранящий поток битов, сформированный посредством способа или устройства кодирования изображений согласно настоящему раскрытию сущности.Moreover, according to the present disclosure, it is possible to provide a recording medium storing a bit stream generated by an image encoding method or apparatus according to the present disclosure.

Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, хранящий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством устройства декодирования изображений согласно настоящему раскрытию сущности.Moreover, according to the present disclosure, it is possible to provide a recording medium storing a bit stream received, decoded, and used to reconstruct an image by an image decoding apparatus according to the present disclosure.

Специалисты в данной области техники должны принимать во внимание, что преимущества, которые могут достигаться через настоящее раскрытие сущности, не ограничены тем, что конкретно описано выше, и другие преимущества настоящего раскрытия сущности должны более ясно пониматься из подробного описания.Those skilled in the art will appreciate that the advantages that may be achieved through the present disclosure are not limited to those specifically described above, and other advantages of the present disclosure will be more clearly understood from the detailed description.

Краткое описание чертежейBrief description of drawings

Фиг. 1 является видом, схематично иллюстрирующим систему кодирования видео согласно варианту осуществления.Fig. 1 is a view schematically illustrating a video encoding system according to an embodiment.

Фиг. 2 является видом, схематично иллюстрирующим устройство кодирования изображений согласно варианту осуществления.Fig. 2 is a view schematically illustrating an image encoding apparatus according to an embodiment.

Фиг. 3 является видом, схематично иллюстрирующим устройство декодирования изображений согласно варианту осуществления.Fig. 3 is a view schematically illustrating an image decoding apparatus according to an embodiment.

Фиг. 4 и 5 являются видами, иллюстрирующими направление внутреннего прогнозирования согласно варианту осуществления.Fig. 4 and 5 are views illustrating the intra prediction direction according to the embodiment.

Фиг. 6 является блок-схемой последовательности операций способа, иллюстрирующей этап внутреннего прогнозирования согласно варианту осуществления.Fig. 6 is a flowchart illustrating an intra prediction step according to an embodiment.

Фиг. 7 является блок-схемой последовательности операций способа, иллюстрирующей этап конструирования опорных выборок согласно варианту осуществления.Fig. 7 is a flowchart illustrating a step of constructing reference samples according to an embodiment.

Фиг. 8 является блок-схемой последовательности операций, иллюстрирующей способ определения того, следует или нет выполнять фильтрацию следует или нет выполнять фильтрацию опорных выборок посредством устройства декодирования согласно варианту осуществления.Fig. 8 is a flowchart illustrating a method for determining whether or not filtering should be performed on reference samples by the decoding apparatus according to the embodiment.

Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ определения фильтра, используемого для того, чтобы извлекать прогнозную выборку в зависимости от того, выполнена или нет фильтрация опорных выборок посредством устройства декодирования согласно варианту осуществления.Fig. 9 is a flowchart illustrating a method for determining a filter used to extract a prediction sample depending on whether or not filtering of the reference samples is performed by the decoding apparatus according to the embodiment.

Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей способ определения фильтра, используемого для того, чтобы получать выборочное значение текущего блока с использованием filterFlag в качестве параметра, указывающего то, следует или нет выполнять фильтрацию опорных выборок посредством устройства декодирования согласно варианту осуществления.Fig. 10 is a flowchart illustrating a method for determining a filter used to obtain a sample value of a current block using filterFlag as a parameter indicating whether or not filtering of reference samples should be performed by the decoding apparatus according to the embodiment.

Фиг. 11-12 являются видами, иллюстрирующими другой пример по фиг. 10.Fig. 11-12 are views illustrating another example of FIG. 10.

Фиг. 13 является блок-схемой последовательности операций, иллюстрирующей способ формирования внутренней прогнозной выборки согласно результату выполнения фильтрации опорных выборок посредством устройства декодирования согласно варианту осуществления.Fig. 13 is a flowchart illustrating a method for generating an internal prediction sample according to a result of performing filtering on reference samples by a decoding apparatus according to an embodiment.

Фиг. 14 является блок-схемой последовательности операций, иллюстрирующей способ выполнения режима направленного внутреннего прогнозирования посредством устройства декодирования согласно варианту осуществления.Fig. 14 is a flowchart illustrating a method for executing a directed intra prediction mode by a decoding apparatus according to an embodiment.

Фиг. 15 является блок-схемой последовательности операций, иллюстрирующей способ получения значения модифицированного filterFlag посредством устройства декодирования согласно варианту осуществления.Fig. 15 is a flowchart illustrating a method for obtaining a value of a modified filterFlag by a decoding apparatus according to an embodiment.

Фиг. 16 является таблицей преобразования между predModeIntra и intraPredAngle, который представляет собой параметр, указывающий угол согласно варианту осуществления.Fig. 16 is a conversion table between predModeIntra and intraPredAngle, which is a parameter indicating an angle according to an embodiment.

Фиг. 17 представляет собой таблицу, иллюстрирующую коэффициенты кубического фильтра (fC) и гауссова фильтра (fG) в качестве интерполяционного фильтра, используемого для внутреннего прогнозирования согласно варианту осуществления.Fig. 17 is a table illustrating the coefficients of a cubic filter (fC) and a Gaussian filter (fG) as an interpolation filter used for intra prediction according to the embodiment.

Фиг. 18-20 являются блок-схемами последовательности операций, иллюстрирующими способ извлечения массива ref[x] опорных выборок посредством устройства декодирования согласно варианту осуществления.Fig. 18 to 20 are flowcharts illustrating a method for extracting reference sample array ref[x] by a decoding apparatus according to an embodiment.

Фиг. 21-26 являются видами, иллюстрирующими примеры массива опорных выборок, используемого для того, чтобы формировать прогнозную выборку текущего блока.Fig. 21-26 are views illustrating examples of the reference sample array used to generate a predictive sample of the current block.

Фиг. 27 является блок-схемой последовательности операций способа, иллюстрирующей процедуру определения условия для выполнения фильтрации опорных выборок посредством устройства декодирования согласно варианту осуществления.Fig. 27 is a flowchart illustrating a procedure for determining a condition for performing reference sample filtering by the decoding apparatus according to the embodiment.

Фиг. 28 является видом, иллюстрирующим пример целевого массива выборок, к которому должен применяться фильтр [1 2 1]/4, и результирующего массива выборок, к которому применяется фильтр [1 2 1]/4.Fig. 28 is a view illustrating an example of a target sample array to which the [1 2 1]/4 filter is to be applied, and a resulting sample array to which the [1 2 1]/4 filter is to be applied.

Фиг. 29 является видом, иллюстрирующим другой пример выполнения внутреннего прогнозирования с использованием фильтрации опорных выборок посредством устройства декодирования согласно варианту осуществления.Fig. 29 is a view illustrating another example of performing intra prediction using reference sample filtering by the decoding apparatus according to the embodiment.

Фиг. 30-31 являются видами, иллюстрирующими другой вариант выполнения внутреннего прогнозирования с использованием фильтрации опорных выборок посредством устройства декодирования согласно варианту осуществления.Fig. 30-31 are views illustrating another embodiment of performing intra prediction using reference sample filtering by a decoding apparatus according to the embodiment.

Фиг. 32 является видом, иллюстрирующим пример формирования внутренней прогнозной выборки с использованием линейного интерполяционного фильтра посредством устройства декодирования согласно варианту осуществления.Fig. 32 is a view illustrating an example of generating an internal prediction sample using a linear interpolation filter by a decoding apparatus according to an embodiment.

Фиг. 33 является видом, иллюстрирующим другой вариант выполнения внутреннего прогнозирования с использованием фильтрации опорных выборок посредством устройства декодирования согласно варианту осуществления.Fig. 33 is a view illustrating another embodiment of performing intra prediction using reference sample filtering by a decoding apparatus according to the embodiment.

Фиг. 34 является видом, иллюстрирующим систему потоковой передачи контента согласно варианту осуществления.Fig. 34 is a view illustrating a content streaming system according to an embodiment.

Оптимальный режим осуществления изобретенияOptimal mode for carrying out the invention

В дальнейшем в этом документе подробно описываются варианты осуществления настоящего раскрытия сущности со ссылкой на прилагаемые чертежи, так что они легко могут реализовываться специалистами в данной области техники. Тем не менее, настоящее раскрытие сущности может реализовываться во всевозможных формах и не ограничено вариантами осуществления, описанными в данном документе.Embodiments of the present disclosure are described in detail hereinafter with reference to the accompanying drawings so that they can be easily implemented by those skilled in the art. However, the present disclosure may be implemented in a variety of forms and is not limited to the embodiments described herein.

При описании настоящего раскрытия сущности, если определяется то, что подробное описание связанной известной функции или конструкции приводит к излишней неоднозначности объема настоящего раскрытия сущности, ее подробное описание опускается. На чертежах, части, не связанные с описанием настоящего раскрытия сущности, опускаются, и аналогичные ссылки с номерами присоединяются к аналогичным частям.In describing the present disclosure, if it is determined that a detailed description of a related known function or construct would lead to unnecessary ambiguity in the scope of the present disclosure, the detailed description thereof is omitted. In the drawings, parts not related to the description of the present disclosure are omitted, and like reference numbers are added to like parts.

В настоящем раскрытии сущности, когда компонент "соединяется (connected)", "соединяется (coupled)" или "связывается (linked)" с другим компонентом, это может включать в себя не только непосредственную взаимосвязь на основе соединения, но также и косвенную взаимосвязь на основе соединения, в которой присутствует промежуточный компонент. Помимо этого, когда компонент "включает в себя" или "имеет" другие компоненты, это означает то, что другие компоненты могут включаться дополнительно, а не исключение других компонентов, если не указано иное.In the present disclosure, when a component is “connected,” “coupled,” or “linked” to another component, it may include not only a direct connection-based relationship, but also an indirect connection-based relationship. basis of a compound in which an intermediate component is present. In addition, when a component “includes” or “has” other components, it means that other components may be additionally included, not the exclusion of other components, unless otherwise noted.

В настоящем раскрытии сущности, термины "первый", "второй" и т.д. могут использоваться только для целей различения одного компонента от других компонентов и не ограничивают порядок или важность компонентов, если не указано иное. Соответственно, в пределах объема настоящего раскрытия сущности, первый компонент в одном варианте осуществления может называться "вторым компонентом" в другом варианте осуществления, и аналогично, второй компонент в одном варианте осуществления может называться "первым компонентом" в другом варианте осуществления.In the present disclosure, the terms “first”, “second”, etc. may be used only for the purpose of distinguishing one component from other components and does not limit the order or importance of the components unless otherwise noted. Accordingly, within the scope of the present disclosure, a first component in one embodiment may be referred to as a “second component” in another embodiment, and likewise, a second component in one embodiment may be referred to as a “first component” in another embodiment.

В настоящем раскрытии сущности, компоненты, которые отличаются друг от друга, имеют намерение ясно описывать каждый признак и не означают то, что компоненты обязательно разделяются. Таким образом, множество компонентов могут интегрироваться и реализовываться в одном аппаратном или программном модуле, или один компонент может распределяться и реализовываться во множестве аппаратных или программных модулей. Следовательно, даже если не указано иное, такие варианты осуществления, в которых компоненты интегрируются, или компонент распределяется, также включаются в объем настоящего раскрытия сущности.In the present disclosure, components that are different from each other are intended to clearly describe each feature and do not mean that the components are necessarily separate. Thus, multiple components may be integrated and implemented in a single hardware or software module, or a single component may be distributed and implemented in multiple hardware or software modules. Therefore, even if not stated otherwise, such embodiments in which components are integrated or a component is distributed are also included within the scope of the present disclosure.

В настоящем раскрытии сущности, компоненты, описанные в различных вариантах осуществления, не обязательно означают существенные компоненты, и некоторые компоненты могут представлять собой необязательные компоненты. Соответственно, вариант осуществления, состоящий из поднабора компонентов, описанных в варианте осуществления, также включается в объем настоящего раскрытия сущности. Помимо этого, варианты осуществления, включающие в себя другие компоненты, в дополнение к компонентам, описанным в различных вариантах осуществления, включаются в объем настоящего раскрытия сущности.In the present disclosure, the components described in the various embodiments do not necessarily mean essential components, and some components may be optional components. Accordingly, an embodiment consisting of a subset of the components described in the embodiment is also included within the scope of the present disclosure. In addition, embodiments including other components in addition to the components described in the various embodiments are included within the scope of the present disclosure.

Настоящее раскрытие сущности относится к кодированию и декодированию изображения, и термины, используемые в настоящем раскрытии сущности, могут иметь общий смысл, широко используемый в области техники, которой принадлежит настоящее раскрытие сущности, если не задаются впервые в настоящем раскрытии сущности.The present disclosure relates to image encoding and decoding, and the terms used in the present disclosure may have a general meaning commonly used in the art to which the present disclosure pertains, unless defined for the first time in the present disclosure.

В дальнейшем в этом документе, настоящее раскрытие сущности раскрывает технологию кодирования видео/изображений. способ кодирования/декодирования, раскрытый в настоящем раскрытии сущности и варианте осуществления, может применяться к способу, раскрытому в стандарте универсального кодирования видео (VVC) или стандарте кодирования видео/изображений следующего поколения.Later in this document, the present disclosure discloses video/image encoding technology. The encoding/decoding method disclosed in the present disclosure and embodiment may be applied to the method disclosed in the Versatile Video Coding (VVC) standard or the next generation video/image coding standard.

Настоящее раскрытие сущности предоставляет различные варианты осуществления, связанные с кодированием видео/изображений, и если не указано иное, варианты осуществления могут выполняться в комбинации между собой.The present disclosure provides various embodiments related to video/image encoding, and unless otherwise noted, embodiments may be performed in combination with each other.

В настоящем раскрытии сущности, "кадр", в общем, означает единицу, представляющую одно изображение в конкретный период времени, и слайс/тайл представляет собой единицу кодирования, составляющую часть кадра, и один кадр может состоять из одного или более слайсов/тайлов. Помимо этого, слайс/тайл может включать в себя одну или более единиц дерева кодирования (CTU).In the present disclosure, "frame" generally means a unit representing one image at a particular time period, and a slice/tile is an encoding unit constituting a part of a frame, and one frame may be composed of one or more slices/tiles. In addition, a slice/tile may include one or more coding tree units (CTUs).

В настоящем раскрытии сущности, "пиксел" или "пел" может означать наименьшую единицу, составляющую один кадр (или изображение). Помимо этого, "выборка" может использоваться в качестве термина, соответствующего пикселу. Выборка, в общем, может представлять пиксел или значение пиксела и может представлять только пиксел/пиксельное значение компонента сигнала яркости либо только пиксел/пиксельное значение компонента сигнала цветности.In the present disclosure, "pixel" or "pixel" can mean the smallest unit constituting one frame (or image). In addition, "sample" can be used as a term corresponding to a pixel. A sample may generally represent a pixel or a pixel value, and may represent only a pixel/pixel value of a luma component or only a pixel/pixel value of a chrominance signal component.

В настоящем раскрытии сущности, "единица" может представлять базовую единицу обработки изображений. Единица может включать в себя по меньшей мере одно из конкретной области кадра и информации, связанной с областью. Единица может использоваться взаимозаменяемо с такими терминами, как "массив выборок", "блок" или "зона" в некоторых случаях. В общем случае, блок MxN может включать в себя выборки (или массивы выборок) либо набор (или массив) коэффициентов преобразования из M столбцов и N строк.In the present disclosure, a "unit" may represent a basic image processing unit. The unit may include at least one of a specific frame area and information associated with the area. The unit may be used interchangeably with terms such as "sample array", "block" or "zone" in some cases. In general, an MxN block may include samples (or arrays of samples) or a set (or array) of transform coefficients of M columns and N rows.

В настоящем раскрытии сущности, "текущий блок" может означать одно из "текущего блока кодирования", "текущей единицы кодирования", "целевого блока кодирования", "целевого блока декодирования" или "целевого блока обработки". Когда прогнозирование выполняется, "текущий блок" может означать "текущий блок прогнозирования" или "целевой блок прогнозирования". Когда преобразование (обратное преобразование)/квантование (деквантование) выполняется, "текущий блок" может означать "текущий блок преобразования" или "целевой блок преобразования". Когда фильтрация выполняется, "текущий блок" может означать "целевой блок фильтрации".In the present disclosure, "current block" may mean one of "current encoding block", "current encoding unit", "target encoding block", "target decoding block" or "target processing block". When prediction is performed, "current block" may mean "current prediction block" or "target prediction block". When transform (inverse transform)/quantization (dequantization) is performed, "current block" can mean "current transform block" or "transform target block". When filtering is performed, "current block" can mean "target filtering block".

В настоящем раскрытии сущности, наклонная черта (/) или запятая может интерпретироваться в качестве "и/или". Например, "A/B" и "A, B" может интерпретироваться в качестве "A и/или B". Кроме того, "A/B/C" и "A/B/C" может означать "по меньшей мере одно из A, B и/или C".In the present disclosure, a slash (/) or comma can be interpreted as “and/or.” For example, "A/B" and "A, B" can be interpreted as "A and/or B". In addition, "A/B/C" and "A/B/C" may mean "at least one of A, B and/or C".

В настоящем раскрытии сущности, "или" может истолковываться в качестве "и/или". Например, "A или B" может означать 1) только "A", 2) только "B" или 3) "A и B". Альтернативно, в настоящем раскрытии сущности, "или" может означать "дополнительно или альтернативно".In the present disclosure, "or" may be interpreted as "and/or". For example, "A or B" could mean 1) "A" only, 2) "B" only, or 3) "A and B." Alternatively, in the present disclosure, "or" may mean "in addition or alternatively."

Общее представление системы кодирования видеоGeneral overview of the video encoding system

Фиг. 1 является видом, схематично иллюстрирующим систему кодирования видео согласно варианту осуществления. Система кодирования видео согласно варианту осуществления может включать в себя устройство 10 кодирования и устройство 20 декодирования. Устройство 10 кодирования может доставлять кодированную информацию или данные видео и/или изображений в устройство 20 декодирования в форме файла или потоковой передачи через цифровой носитель хранения данных или сеть.Fig. 1 is a view schematically illustrating a video encoding system according to an embodiment. The video encoding system according to an embodiment may include an encoding device 10 and a decoding device 20. The encoding device 10 may deliver encoded information or video and/or image data to the decoding device 20 in the form of a file or streaming via a digital storage medium or a network.

Устройство 10 кодирования согласно варианту осуществления может включать в себя формирователь 11 видеоисточников, модуль 12 кодирования и передатчик 13. Устройство 20 декодирования согласно варианту осуществления может включать в себя приемник 21, модуль 22 декодирования и модуль 23 рендеринга. Модуль 12 кодирования может называться "модулем кодирования видео/изображений", и модуль 22 декодирования может называться "модулем декодирования видео/изображений". Передатчик 13 может включаться в модуль 12 кодирования. Приемник 21 может включаться в модуль 22 декодирования. Модуль 23 рендеринга может включать в себя дисплей, и дисплей может быть сконфигурирован как отдельное устройство или внешний компонент.The encoding apparatus 10 according to an embodiment may include a video source generator 11, an encoding unit 12, and a transmitter 13. The decoding apparatus 20 according to an embodiment may include a receiver 21, a decoding unit 22, and a rendering unit 23. The encoding unit 12 may be referred to as a “video/image encoding unit,” and the decoding unit 22 may be referred to as a “video/image decoding unit.” The transmitter 13 may be included in the encoding module 12. The receiver 21 may be included in the decoding module 22. The rendering module 23 may include a display, and the display may be configured as a separate device or an external component.

Формирователь 11 видеоисточников может получать видео/изображение через процесс захвата, синтезирования или формирования видео/изображения. Формирователь 11 видеоисточников может включать в себя устройство захвата видео/изображений и/или устройство формирования видео/изображений. Устройство захвата видео/изображений может включать в себя, например, одну или более камер, архивы видео/изображений, включающие в себя ранее захваченные видео/изображения, и т.п. Устройство формирования видео/изображений может включать в себя, например, компьютеры, планшетные компьютеры и смартфоны и может (электронно) формировать видео/изображения. Например, виртуальное видео/изображение может формироваться через компьютер и т.п. В этом случае, процесс захвата видео/изображений может заменяться посредством процесса формирования связанных.The video source generator 11 may obtain video/image through a video/image capturing, synthesizing, or shaping process. The video source generator 11 may include a video/image capture device and/or a video/image generation device. The video/image capturing device may include, for example, one or more cameras, video/image archives including previously captured video/images, and the like. The video/image generating apparatus may include, for example, computers, tablet computers and smartphones and may (electronically) generate video/images. For example, a virtual video/image may be generated via a computer or the like. In this case, the video/image capturing process can be replaced by a link generation process.

Модуль 12 кодирования может кодировать входное видео/изображение. Модуль 12 кодирования может выполнять последовательность процедур, таких как прогнозирование, преобразование и квантование, для эффективности сжатия и кодирования. Модуль 12 кодирования может выводить кодированные данные (кодированную информацию видео/изображений) в форме потока битов.The encoding unit 12 may encode the input video/image. The encoding unit 12 may perform a series of procedures such as prediction, transform and quantization for compression and encoding efficiency. The encoding unit 12 can output encoded data (encoded video/image information) in the form of a bitstream.

Передатчик 13 может передавать кодированную информацию или данные видео/изображений, выводимую в форме потока битов, в приемник 21 устройства 20 декодирования через цифровой носитель хранения данных или сеть в форме файла или потоковой передачи. Цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик 13 может включать в себя элемент для формирования мультимедийного файла через предварительно определенный формат файлов и может включать в себя элемент для передачи через широковещательную сеть/сеть связи. Приемник 21 может извлекать/принимать поток битов из носителя хранения данных или сети и передавать поток битов в модуль 22 декодирования.The transmitter 13 may transmit encoded information or video/image data output in the form of a bit stream to the receiver 21 of the decoding device 20 via a digital storage medium or a network in the form of a file or streaming. The digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-Ray, HDD, SSD, and the like. The transmitter 13 may include an element for generating a multimedia file through a predefined file format and may include an element for transmission through a broadcast/communications network. The receiver 21 may retrieve/receive a bit stream from the storage medium or network and transmit the bit stream to the decoding unit 22.

Модуль 22 декодирования может декодировать видео/изображение посредством выполнения последовательности процедур, таких как деквантование, обратное преобразование и прогнозирование, соответствующих работе модуля 12 кодирования.The decoding unit 22 can decode the video/image by performing a series of procedures such as dequantization, deconversion and prediction corresponding to the operation of the encoding unit 12.

Модуль 23 рендеринга может подготавливать посредством рендеринга декодированное видео/изображение. Подготовленное посредством рендеринга видео/изображение может отображаться через дисплей.The rendering unit 23 may prepare a decoded video/image by rendering. The video/image prepared by rendering can be displayed through the display.

Общее представление устройства кодирования изображенийGeneral overview of the image encoding device

Фиг. 2 является видом, схематично иллюстрирующим устройство кодирования изображений согласно варианту осуществления. Как показано на фиг. 2, устройство 100 кодирования изображений может включать в себя модуль 110 сегментации изображений, вычитатель 115, преобразователь 120, квантователь 130, деквантователь 140, обратный преобразователь 150, сумматор 155, фильтр 160, запоминающее устройство 170, модуль 180 внешнего прогнозирования, модуль 185 внутреннего прогнозирования и энтропийный кодер 190. Модуль 180 внешнего прогнозирования и модуль 185 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Преобразователь 120, квантователь 130, деквантователь 140 и обратный преобразователь 150 могут включаться в остаточный процессор. Остаточный процессор дополнительно может включать в себя вычитатель 115.Fig. 2 is a view schematically illustrating an image encoding apparatus according to an embodiment. As shown in FIG. 2, the image encoding device 100 may include an image segmentation module 110, a subtractor 115, a converter 120, a quantizer 130, a dequantizer 140, an inverse converter 150, an adder 155, a filter 160, a memory 170, an external prediction module 180, an internal prediction module 185. and an entropy encoder 190. The external prediction module 180 and the internal prediction module 185 may be collectively referred to as a “prediction module”. Converter 120, quantizer 130, dequantizer 140, and inverse converter 150 may be included in the residual processor. The residual processor may further include a subtractor 115.

Все или, по меньшей мере, часть из множества компонентов, конфигурирующих устройство 100 кодирования изображений, могут быть сконфигурированы посредством одного аппаратного компонента (например, кодера или процессора) в некоторых вариантах осуществления. Помимо этого, запоминающее устройство 170 может включать в себя буфер декодированных кадров (DPB) и может быть сконфигурировано посредством цифрового носителя хранения данных.All or at least a portion of the plurality of components configuring the image encoding apparatus 100 may be configured by a single hardware component (eg, an encoder or processor) in some embodiments. In addition, storage device 170 may include a decoded frame buffer (DPB) and may be configured with a digital storage medium.

Модуль 110 сегментации изображений может сегментировать входное изображение (либо кадр или кинокадр), вводимое в устройство 100 кодирования изображений, на одну более единиц обработки. Например, единица обработки может называться "единицей кодирования (CU)". Единица кодирования может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов, двоичного дерева и троичного дерева (QT/BT/TT). Например, одна единица кодирования может сегментироваться на множество единиц кодирования большей глубины на основе структуры в виде дерева квадрантов, структуры в виде двоичного дерева и/или троичной структуры. Для сегментации единицы кодирования, сначала может применяться структура в виде дерева квадрантов, и впоследствии может применяться структура в виде двоичного дерева и/или троичная структура. Процедура кодирования согласно настоящему раскрытию сущности может выполняться на основе конечной единицы кодирования, которая более не сегментируется. Наибольшая единица кодирования может использоваться в качестве конечной единицы кодирования, или единица кодирования большей глубины, полученной посредством сегментации наибольшей единицы кодирования, может использоваться в качестве конечной единицы кодирования. Здесь, процедура кодирования может включать в себя процедуру прогнозирования, преобразования и восстановления, которая описывается ниже. В качестве другого примера, единица обработки процедуры кодирования может представлять собой единицу прогнозирования (PU) или единицу преобразования (TU). Единица прогнозирования и единица преобразования могут разбиваться или сегментироваться из конечной единицы кодирования. Единица прогнозирования может представлять собой единицу выборочного прогнозирования, и единица преобразования может представлять собой единицу для извлечения коэффициента преобразования и/или единицу для извлечения остаточного сигнала из коэффициента преобразования.The image segmentation module 110 may segment an input image (either a frame or a movie frame) input to the image encoding device 100 into one more processing unit. For example, the processing unit may be called a "coding unit (CU)". A coding unit may be obtained by recursively segmenting a coding tree unit (CTU) or largest coding unit (LCU) according to a quadtree, binary tree, and ternary tree (QT/BT/TT) structure. For example, one coding unit may be segmented into multiple coding units of greater depth based on a quadtree structure, a binary tree structure, and/or a ternary structure. To segment a coding unit, a quadtree structure may first be applied, and subsequently a binary tree structure and/or a ternary structure may be applied. The encoding procedure of the present disclosure may be performed based on a final encoding unit that is no longer segmented. The largest coding unit may be used as the final coding unit, or a coding unit of greater depth obtained by segmenting the largest coding unit may be used as the final coding unit. Here, the encoding procedure may include a prediction, transformation and reconstruction procedure, which is described below. As another example, the processing unit of the encoding procedure may be a prediction unit (PU) or a transformation unit (TU). The prediction unit and the transformation unit may be split or segmented from the final encoding unit. The prediction unit may be a sample prediction unit, and the transformation unit may be a unit for extracting a transformation coefficient and/or a unit for extracting a residual signal from the transformation coefficient.

Модуль прогнозирования (модуль 180 внешнего прогнозирования или модуль 185 внутреннего прогнозирования) может выполнять прогнозирование относительно блока, который должен обрабатываться (текущего блока), и формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или внешнее прогнозирование, на основе текущего блока или CU. Модуль прогнозирования может формировать различную информацию, связанную с прогнозированием текущего блока, и передавать сформированную информацию в энтропийный кодер 190. Информация относительно прогнозирования может кодироваться в энтропийном кодере 190 и выводиться в форме потока битов.The prediction module (external prediction module 180 or internal prediction module 185) may perform a prediction regarding a block to be processed (the current block) and generate a predicted block including prediction samples for the current block. The prediction module may determine whether internal prediction or external prediction is applied based on the current block or CU. The prediction module may generate various information related to prediction of the current block and transmit the generated information to the entropy encoder 190. Information regarding the prediction may be encoded in the entropy encoder 190 and output in the form of a bit stream.

Модуль 185 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Выборки для ссылки могут быть расположены в окружении текущего блока или могут быть расположены с разнесением согласно режиму внутреннего прогнозирования и/или технологии внутреннего прогнозирования. Режимы внутреннего прогнозирования могут включать в себя множество ненаправленных режимов и множество направленных режимов. Ненаправленный режим может включать в себя, например, DC-режим и планарный режим. Направленный режим может включать в себя, например, 33 режима направленного прогнозирования или 65 режимов направленного прогнозирования согласно степени детальности направления прогнозирования. Тем не менее, это представляет собой просто пример, большее или меньшее число режимов направленного прогнозирования может использоваться в зависимости от настройки. Модуль 185 внутреннего прогнозирования может определять режим прогнозирования, применяемый к текущему блоку, посредством использования режима прогнозирования, применяемого к соседнему блоку.The intra prediction module 185 may predict the current block by reference to the samples in the current frame. Samples for reference may be located in the surroundings of the current block or may be spaced apart according to an intra-prediction mode and/or intra-prediction technology. The intra prediction modes may include a plurality of non-directional modes and a plurality of directed modes. The omnidirectional mode may include, for example, DC mode and planar mode. The directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes according to the granularity of the prediction direction. However, this is merely an example; more or less directional prediction modes may be used depending on the setting. The intra prediction module 185 may determine the prediction mode applied to the current block by using the prediction mode applied to the adjacent block.

Модуль 180 внешнего прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме внешнего прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления внешнего прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае внешнего прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" и т.п. Опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)". Например, модуль 180 внешнего прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и формировать информацию, указывающую то, какой возможный вариант используется для того, чтобы извлекать вектор движения и/или индекс опорного кадра текущего блока. Внешнее прогнозирование может выполняться на основе различных режимов прогнозирования. Например, в случае режима пропуска и режима объединения, модуль 180 внешнего прогнозирования может использовать информацию движения соседнего блока в качестве информации движения текущего блока. В случае режима пропуска, в отличие от режима объединения, остаточный сигнал может не передаваться. В случае режима прогнозирования векторов движения (MVP), вектор движения соседнего блока может использоваться в качестве предиктора вектора движения, и вектор движения текущего блока может передаваться в служебных сигналах посредством кодирования разности векторов движения и индикатора для предиктора вектора движения. Разность векторов движения может означать разность между вектором движения текущего блока и предиктором вектора движения.The external prediction module 180 may extract a predicted block for the current block based on a reference block (an array of reference samples) indicated by a motion vector for the reference frame. In this case, in order to reduce the amount of motion information transmitted in the inter-prediction mode, motion information may be predicted in units of blocks, sub-blocks, or samples based on the correlation of motion information between a neighboring block and the current block. The motion information may include a motion vector and a reference frame index. The motion information may further include outer prediction direction information (L0 prediction, L1 prediction, bi prediction, etc.). In the case of inter-prediction, the neighbor block may include a spatial neighbor block present in the current frame and a temporal neighbor block present in the reference frame. The reference frame including the reference block and the reference frame including the temporary adjacent block may be identical or different. A temporary neighbor block may be referred to as a "co-located reference block", "co-located CU (colCU)", or the like. A reference frame including a temporary adjacent block may be referred to as a "co-located frame (colPic)". For example, the external prediction module 180 may configure a list of motion information candidates based on neighboring blocks and generate information indicating which candidate is used to retrieve the motion vector and/or reference frame index of the current block. External forecasting can be performed based on various forecasting modes. For example, in the case of the skip mode and the merge mode, the inter-prediction unit 180 may use the motion information of the adjacent block as the motion information of the current block. In the skip mode, unlike the combine mode, the residual signal may not be transmitted. In the case of the motion vector prediction (MVP) mode, the motion vector of an adjacent block can be used as a motion vector predictor, and the motion vector of the current block can be signaled by encoding the motion vector difference and an indicator for the motion vector predictor. The motion vector difference may mean the difference between the motion vector of the current block and the motion vector predictor.

Модуль прогнозирования может формировать прогнозный сигнал на основе различных способов прогнозирования и технологий прогнозирования, описанных ниже. Например, модуль прогнозирования может не только применять внутреннее прогнозирование или внешнее прогнозирование, но также и одновременно применять как внутреннее прогнозирование, так и внешнее прогнозирование, чтобы прогнозировать текущий блок. Способ прогнозирования с одновременным применением как внутреннего прогнозирования, так и внешнего прогнозирования для прогнозирования текущего блока может называться "комбинированным внешним и внутренним прогнозированием (CIIP)". Помимо этого, модуль прогнозирования может выполнять внутриблочное копирование (IBC) для прогнозирования текущего блока. Внутриблочное копирование может использоваться для кодирования видео/изображений контента игры и т.п., например, для кодирования экранного контента (SCC). IBC представляет собой способ прогнозирования текущего кадра с использованием ранее восстановленного опорного блока в текущем кадре в местоположении, разнесенном от текущего блока на предварительно определенное расстояние. Когда IBC применяется, местоположение опорного блока в текущем кадре может кодироваться как вектор (блочный вектор), соответствующий предварительно определенному расстоянию. IBC по существу выполняет прогнозирование в текущем кадре, но может выполняться аналогично внешнему прогнозированию, в котором опорный блок извлекается внутри текущего кадра. Таким образом, IBC может использовать по меньшей мере одну из технологий внешнего прогнозирования, описанных в настоящем раскрытии сущности.The prediction module can generate a prediction signal based on various prediction methods and prediction technologies described below. For example, the prediction module may not only apply internal prediction or external prediction, but also simultaneously apply both internal prediction and external prediction to predict the current block. A prediction method that simultaneously uses both internal prediction and external prediction to predict the current block may be called "combined internal and external prediction (CIIP)". In addition, the prediction module can perform intra-block copying (IBC) to predict the current block. In-block copying can be used to encode game content video/images and the like, such as screen content encoding (SCC). IBC is a method of predicting the current frame using a previously reconstructed reference block in the current frame at a location spaced from the current block by a predetermined distance. When IBC is applied, the location of the reference block in the current frame can be encoded as a vector (block vector) corresponding to a predetermined distance. IBC essentially performs prediction within the current frame, but can be performed similarly to external prediction in which the reference block is retrieved within the current frame. Thus, the IBC may use at least one of the external prediction technologies described in the present disclosure.

Прогнозный сигнал, сформированный посредством модуля прогнозирования, может использоваться для того, чтобы формировать восстановленный сигнал или формировать остаточный сигнал. Вычитатель 115 может формировать остаточный сигнал (остаточный блок или массив остаточных выборок) посредством вычитания прогнозного сигнала (прогнозированного блока или массива прогнозных выборок), выводимого из модуля прогнозирования, из сигнала входного изображения (исходного блока или массива исходных выборок). Сформированный остаточный сигнал может передаваться в преобразователь 120.The prediction signal generated by the prediction module can be used to generate a reconstructed signal or generate a residual signal. The subtractor 115 may generate a residual signal (a residual block or an array of residual samples) by subtracting a prediction signal (a prediction block or an array of prediction samples) output from the prediction module from an input image signal (a source block or an array of original samples). The generated residual signal may be transmitted to the converter 120.

Преобразователь 120 может формировать коэффициенты преобразования посредством применения технологии преобразования к остаточному сигналу. Например, технология преобразования может включать в себя по меньшей мере одно из дискретного косинусного преобразования (DCT), дискретного синусного преобразования (DST), преобразования Карунена-Лоэва (KLT), преобразования на основе графа (GBT) или условно нелинейного преобразования (CNT). Здесь, GBT означает преобразование, полученное из графа, когда информация взаимосвязи между пикселами представляется посредством графа. CNT означает преобразование, полученное на основе прогнозного сигнала, сформированного с использованием всех ранее восстановленных пикселов. Помимо этого, процесс преобразования может применяться к квадратным пиксельным блокам, имеющим идентичный размер, или может применяться к блокам, имеющим переменный размер, а не квадратный.Converter 120 may generate conversion coefficients by applying conversion technology to the residual signal. For example, the transform technology may include at least one of a discrete cosine transform (DCT), a discrete sine transform (DST), a Karhunen-Loeve transform (KLT), a graph-based transform (GBT), or a conditionally nonlinear transform (CNT). Here, GBT means a graph-derived transformation when the relationship information between pixels is represented by the graph. CNT means the transformation obtained from the prediction signal generated using all the previously reconstructed pixels. In addition, the conversion process can be applied to square pixel blocks that are identical in size, or can be applied to blocks that are variable in size rather than square.

Квантователь 130 может квантовать коэффициенты преобразования и передавать их в энтропийный кодер 190. Энтропийный кодер 190 может кодировать квантованный сигнал (информацию относительно квантованных коэффициентов преобразования) и выводить поток битов. Информация относительно квантованных коэффициентов преобразования может называться "остаточной информацией". Квантователь 130 может перекомпоновывать квантованные коэффициенты преобразования в блочном типе в одномерную векторную форму на основе порядка сканирования коэффициентов и формировать информацию относительно квантованных коэффициентов преобразования на основе квантованных коэффициентов преобразования в одномерной векторной форме.Quantizer 130 may quantize the transform coefficients and pass them to entropy encoder 190. Entropy encoder 190 may encode the quantized signal (information regarding the quantized transform coefficients) and output a bit stream. Information regarding the quantized transform coefficients may be referred to as "residual information". The quantizer 130 may re-arrange the quantized block-type transform coefficients into one-dimensional vector form based on the scanning order of the coefficients, and generate information regarding the quantized transform coefficients based on the quantized transform coefficients in one-dimensional vector form.

Энтропийный кодер 190 может осуществлять различные способы кодирования, такие как, например, кодирование экспоненциальным кодом Голомба, контекстно-адаптивное кодирование переменной длины (CAVLC), контекстно-адаптивное двоичное арифметическое кодирование (CABAC) и т.п. Энтропийный кодер 190 может кодировать информацию, необходимую для восстановления видео/изображений, отличную от квантованных коэффициентов преобразования (например, значений синтаксических элементов и т.д.), вместе или отдельно. Кодированная информация (например, кодированная информация видео/изображений) может передаваться или сохраняться в единицах слоев абстрагирования от сети (NAL) в форме потока битов. Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Передаваемая в служебных сигналах информация, передаваемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут кодироваться через вышеописанную процедуру кодирования и включаться в поток битов.The entropy encoder 190 may implement various encoding techniques, such as, for example, exponential Golomb coding, context adaptive variable length coding (CAVLC), context adaptive binary arithmetic coding (CABAC), and the like. Entropy encoder 190 may encode information needed to reconstruct video/images other than quantized transform coefficients (eg, syntax element values, etc.), together or separately. Encoded information (eg, encoded video/image information) may be transmitted or stored in network abstraction layer (NAL) units in the form of a bitstream. The video/image information may further include information regarding various parameter sets, such as an adaptation parameter set (APS), a frame parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS). In addition, the video/image information may further include general restriction information. The signaling information, transmission information, and/or syntax elements described in the present disclosure may be encoded through the encoding procedure described above and included in the bitstream.

Поток битов может передаваться по сети или может сохраняться на цифровом носителе хранения данных. Сеть может включать в себя широковещательную сеть и/или сеть связи, и цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как, USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик (не показан), передающий сигнал, выводимый из энтропийного кодера 190, и/или модуль хранения (не показан), хранящий сигнал, могут включаться в качестве внутреннего/внешнего элемента устройства 100 кодирования, и альтернативно, передатчик может включаться в энтропийный кодер 190.The bit stream may be transmitted over a network or may be stored on a digital storage medium. The network may include a broadcast network and/or a communications network, and the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-Ray, HDD, SSD, and the like. A transmitter (not shown) transmitting the signal output from the entropy encoder 190 and/or a storage module (not shown) storing the signal may be included as an internal/external element of the encoding device 100, and alternatively, the transmitter may be included in the entropy encoder 190 .

Квантованные коэффициенты преобразования, выводимые из квантователя 130, могут использоваться для того, чтобы формировать остаточный сигнал. Например, остаточный сигнал (остаточный блок или остаточные выборки) может восстанавливаться посредством применения деквантования и обратного преобразования к квантованным коэффициентам преобразования через деквантователь 140 и обратный преобразователь 150.The quantized transform coefficients output from quantizer 130 can be used to generate a residual signal. For example, a residual signal (residual block or residual samples) may be recovered by applying dequantization and inverse transform to the quantized transform coefficients via dequantizer 140 and inverse transformer 150.

Сумматор 155 суммирует восстановленный остаточный сигнал с прогнозным сигналом, выводимым из модуля 180 внешнего прогнозирования или модуля 185 внутреннего прогнозирования, с тем чтобы формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок). Если отсутствует остаток для блока, который должен обрабатываться, к примеру, в случае, в котором режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Сумматор 155 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для внешнего прогнозирования следующего кадра посредством фильтрации, как описано ниже.An adder 155 adds the reconstructed residual signal with the prediction signal output from the interprediction module 180 or the intraprediction module 185 so as to generate a reconstructed signal (reconstructed frame, reconstructed block, reconstructed sample array). If there is no remainder for a block to be processed, for example in a case in which the skip mode is applied, the predicted block can be used as a reconstructed block. The adder 155 may be referred to as a "recovery module" or a "recovered block generator." The generated reconstructed signal can be used to internally predict the next block to be processed in the current frame, and can be used to externally predict the next frame through filtering, as described below.

Между тем, как описано ниже, преобразование сигнала яркости с масштабированием сигнала цветности (LMCS) может применяться в процессе кодирования кадров.Meanwhile, as described below, luminance signal scaling (LMCS) conversion can be applied in the frame encoding process.

Фильтр 160 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 160 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 170, а именно, в DPB запоминающего устройства 170. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, дискретизированное адаптивное смещение, адаптивный контурный фильтр, билатеральный фильтр и т.п. Фильтр 160 может формировать различную информацию, связанную с фильтрацией, и передавать сформированную информацию в энтропийный кодер 190, как описано ниже в описании каждого способа фильтрации. Информация, связанная с фильтрацией, может кодироваться посредством энтропийного кодера 190 и выводиться в форме потока битов.Filter 160 may enhance the subjective/objective quality of images by applying filtering to the reconstructed signal. For example, filter 160 may generate a modified reconstructed frame by applying various filtering techniques to the reconstructed frame and store the modified reconstructed frame in storage device 170, namely, a DPB of storage device 170. Various filtering techniques may include, for example, deblocking filtering. , sampled adaptive bias, adaptive contour filter, bilateral filter, etc. The filter 160 may generate various filtering-related information and transmit the generated information to the entropy encoder 190, as described below in the description of each filtering method. Information associated with filtering may be encoded by entropy encoder 190 and output in the form of a bitstream.

Модифицированный восстановленный кадр, передаваемый в запоминающее устройство 170, может использоваться в качестве опорного кадра в модуле 180 внешнего прогнозирования. Когда внешнее прогнозирование применяется через устройство 100 кодирования изображений, рассогласование прогнозирования между устройством 100 кодирования изображений и устройством декодирования изображений может исключаться, и эффективность кодирования может повышаться.The modified reconstructed frame transferred to memory 170 may be used as a reference frame in inter-prediction module 180. When external prediction is applied through the image encoding apparatus 100, prediction mismatch between the image encoding apparatus 100 and the image decoding apparatus can be eliminated, and encoding efficiency can be improved.

DPB запоминающего устройства 170 может сохранять модифицированный восстановленный кадр для использования в качестве опорного кадра в модуле 180 внешнего прогнозирования. Запоминающее устройство 170 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или кодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 180 внешнего прогнозирования и использоваться в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 170 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и может передавать восстановленные выборки в модуль 185 внутреннего прогнозирования.The DPB of the storage device 170 may store the modified reconstructed frame for use as a reference frame in the inter prediction module 180. The storage device 170 may store block motion information from which motion information in the current frame is retrieved (or encoded) and/or motion information of blocks in a frame that have already been reconstructed. The stored motion information may be transmitted to the external prediction unit 180 and used as spatial neighbor block motion information or temporal neighbor block motion information. Memory 170 may store reconstructed samples of reconstructed blocks in the current frame and may transmit reconstructed samples to intra prediction module 185.

Общее представление устройства декодирования изображенийGeneral overview of the image decoding device

Фиг. 3 является видом, схематично иллюстрирующим устройство декодирования изображений согласно варианту осуществления. Как показано на фиг. 3, устройство 200 декодирования изображений может включать в себя энтропийный декодер 210, деквантователь 220, обратный преобразователь 230, сумматор 235, фильтр 240, запоминающее устройство 250, модуль 260 внешнего прогнозирования и модуль 265 внутреннего прогнозирования. Модуль 260 внешнего прогнозирования и модуль 265 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Деквантователь 220 и обратный преобразователь 230 могут включаться в остаточный процессор.Fig. 3 is a view schematically illustrating an image decoding apparatus according to an embodiment. As shown in FIG. 3, the image decoding apparatus 200 may include an entropy decoder 210, a dequantizer 220, an inverse converter 230, an adder 235, a filter 240, a memory 250, an external prediction module 260, and an internal prediction module 265. The external prediction module 260 and the internal prediction module 265 may be collectively referred to as a “prediction module.” A dequantizer 220 and an inverse converter 230 may be included in the residual processor.

Все или, по меньшей мере, часть из множества компонентов, конфигурирующих устройство 200 декодирования изображений, могут быть сконфигурированы посредством аппаратного компонента (например, декодера или процессора) согласно варианту осуществления. Помимо этого, запоминающее устройство 250 может включать в себя буфер декодированных кадров (DPB) или может быть сконфигурировано посредством цифрового носителя хранения данных.All or at least a portion of the plurality of components configuring the image decoding apparatus 200 may be configured by a hardware component (eg, a decoder or processor) according to an embodiment. In addition, storage device 250 may include a decoded frame buffer (DPB) or may be configured with a digital storage medium.

Устройство 200 декодирования изображений, которое принимает поток битов, включающий в себя информацию видео/изображений, может восстанавливать изображение посредством выполнения процесса, соответствующего процессу, выполняемому посредством устройства 100 кодирования изображений по фиг. 2. Например, устройство 200 декодирования изображений может выполнять декодирование с использованием единицы обработки, применяемой в оборудовании кодирования изображений. Таким образом, единица обработки декодирования, например, может представлять собой единицу кодирования.The image decoding apparatus 200, which receives the bitstream including video/image information, can reconstruct the image by performing a process corresponding to the process performed by the image encoding apparatus 100 of FIG. 2. For example, the image decoding apparatus 200 may perform decoding using a processing unit used in image encoding equipment. Thus, a decoding processing unit, for example, may be an encoding unit.

Устройство 200 декодирования изображений может принимать сигнал, выводимый из устройства кодирования изображений по фиг. 2 в форме потока битов. Принимаемый сигнал может декодироваться через энтропийный декодер 210. Например, энтропийный декодер 210 может синтаксически анализировать поток битов, чтобы извлекать информацию (например, информацию видео/изображений), необходимую для восстановления изображений (или восстановления кадров). Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Устройство декодирования изображений дополнительно может декодировать кадр на основе информации относительно набора параметров и/или общей информации ограничений. Передаваемая в служебных сигналах/принимаемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут декодироваться посредством процедуры декодирования и получаться из потока битов. Например, энтропийный декодер 210 декодирует информацию в потоке битов на основе способа кодирования, такого как кодирование экспоненциальным кодом Голомба, CAVLC или CABAC, и выходных значений синтаксических элементов, требуемых для восстановления изображений, и квантованных значений коэффициентов преобразования для остатка. Более конкретно, способ энтропийного CABAC-декодирования может принимать бин, соответствующий каждому синтаксическому элементу в потоке битов, определять контекстную модель с использованием информации целевого синтаксического элемента декодирования, информации декодирования соседнего блока и целевого блока декодирования или информации символа/бина, декодированного на предыдущей стадии, и выполнять арифметическое декодирование для бина посредством прогнозирования вероятности появления бина согласно определенной контекстной модели и формировать символ, соответствующий значению каждого синтаксического элемента. В этом случае, способ энтропийного CABAC-декодирования может обновлять контекстную модель посредством использования информации декодированного символа/бина для контекстной модели следующего символа/бина после определения контекстной модели. Информация, связанная с прогнозированием, из информации, декодированной посредством энтропийного декодера 210, может предоставляться в модуль прогнозирования (модуль 260 внешнего прогнозирования и модуль 265 внутреннего прогнозирования), и остаточное значение, для которого энтропийное декодирование выполнено в энтропийном декодере 210, т.е. квантованные коэффициенты преобразования и связанная информация параметров, может вводиться в деквантователь 220. Помимо этого, информация относительно фильтрации из информации, декодированной посредством энтропийного декодера 210, может предоставляться в фильтр 240. Между тем, приемник (не показан) для приема сигнала, выводимого из устройства кодирования изображений, может быть дополнительно сконфигурирован в качестве внутреннего/внешнего элемента устройства 200 декодирования изображений, или приемник может представлять собой компонент энтропийного декодера 210.The image decoding apparatus 200 may receive a signal output from the image encoding apparatus of FIG. 2 in the form of a bit stream. The received signal may be decoded through entropy decoder 210. For example, entropy decoder 210 may parse the bitstream to extract information (eg, video/image information) needed to reconstruct images (or reconstruct frames). The video/image information may further include information regarding various parameter sets, such as an adaptation parameter set (APS), a frame parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS). In addition, the video/image information may further include general restriction information. The image decoding apparatus may further decode the frame based on information regarding the parameter set and/or general constraint information. The signaling/receiving information and/or syntax elements described in the present disclosure may be decoded by a decoding procedure and obtained from the bitstream. For example, entropy decoder 210 decodes information in a bitstream based on an encoding method, such as exponential Golomb, CAVLC, or CABAC encoding, and the output values of the syntax elements required for image reconstruction and the quantized values of the transform coefficients for the remainder. More specifically, the entropy CABAC decoding method may take a bin corresponding to each syntax element in the bitstream, determine a context model using information of a target decoding syntax element, decoding information of a neighboring block and a target decoding block, or information of a symbol/bin decoded in a previous stage, and perform arithmetic decoding on the bin by predicting the probability of occurrence of the bin according to the determined context model and generating a symbol corresponding to the meaning of each syntactic element. In this case, the entropy CABAC decoding method can update the context model by using the decoded symbol/bin information for the context model of the next symbol/bin after determining the context model. The prediction-related information from the information decoded by the entropy decoder 210 may be provided to the prediction module (external prediction module 260 and intra prediction module 265), and the residual value for which entropy decoding is performed in the entropy decoder 210, i.e. quantized conversion coefficients and associated parameter information may be input to the dequantizer 220. In addition, information regarding filtering from information decoded by the entropy decoder 210 may be provided to the filter 240. Meanwhile, a receiver (not shown) for receiving a signal output from the device image encoding device may be further configured as an internal/external element of the image decoding device 200, or the receiver may be a component of the entropy decoder 210.

Между тем, устройство декодирования изображений согласно настоящему раскрытию сущности может называться "устройством декодирования видео/изображений/кадров". Устройство декодирования изображений может классифицироваться на информационный декодер (декодер информации видео/изображений/кадров) и выборочный декодер (декодер выборок видео/изображений/кадров). Информационный декодер может включать в себя энтропийный декодер 210. Выборочный декодер может включать в себя по меньшей мере одно из деквантователя 220, обратного преобразователя 230, сумматора 235, фильтра 240, запоминающего устройства 250, модуля 160 внешнего прогнозирования или модуля внутреннего прогнозирования.Meanwhile, the image decoding device according to the present disclosure may be referred to as a “video/image/frame decoding device.” The image decoding apparatus can be classified into an information decoder (video/image/frame information decoder) and a sample decoder (video/image/frame sample decoder). The information decoder may include an entropy decoder 210. The sample decoder may include at least one of a dequantizer 220, an inverter 230, an adder 235, a filter 240, a memory 250, an inter-prediction module 160, or an intra-prediction module.

Деквантователь 220 может деквантовать квантованные коэффициенты преобразования и выводить коэффициенты преобразования. Деквантователь 220 может перекомпоновывать квантованные коэффициенты преобразования в форме двумерного блока. В этом случае, перекомпоновка может выполняться на основе порядка сканирования коэффициентов, выполняемого в оборудовании кодирования изображений. Деквантователь 220 может выполнять деквантование для квантованных коэффициентов преобразования посредством использования параметра квантования (например, информации размера шага квантования) и получать коэффициенты преобразования.Dequantizer 220 may dequantize the quantized transform coefficients and output the transform coefficients. Dequantizer 220 may re-arrange the quantized transform coefficients in the form of a two-dimensional block. In this case, rearrangement may be performed based on the order of coefficient scanning performed in the image encoding equipment. Dequantizer 220 may perform dequantization on the quantized transform coefficients by using a quantization parameter (eg, quantization step size information) and obtain the transform coefficients.

Обратный преобразователь 230 может обратно преобразовывать коэффициенты преобразования, чтобы получать остаточный сигнал (остаточный блок, массив остаточных выборок).The inverse converter 230 may inversely convert the transform coefficients to obtain a residual signal (residual block, residual sample array).

Модуль 230 прогнозирования может выполнять прогнозирование для текущего блока и может формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или внешнее прогнозирование к текущему блоку, на основе информации относительно прогнозирования, выводимой из энтропийного декодера 210, и может определять конкретный режим внутреннего/внешнего прогнозирования (технологию прогнозирования).Prediction module 230 may perform prediction for the current block and may generate a predicted block including prediction samples for the current block. The prediction module can determine whether inner prediction or outer prediction is applied to the current block based on the prediction information output from the entropy decoder 210, and can determine a specific intra/outer prediction mode (prediction technology).

Идентично тому, что описано в модуле прогнозирования устройства 100 кодирования изображений, модуль прогнозирования может формировать прогнозный сигнал на основе различных способов (технологий) прогнозирования, которые описываются ниже.Identical to that described in the prediction module of the image encoding device 100, the prediction module can generate a prediction signal based on various prediction methods (techniques), which are described below.

Модуль 265 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Описание модуля 185 внутреннего прогнозирования в равной степени применяется к модулю 265 внутреннего прогнозирования.The intra prediction module 265 may predict the current block by reference to the samples in the current frame. The description of the intra prediction module 185 applies equally to the intra prediction module 265.

Модуль 260 внешнего прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме внешнего прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления внешнего прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае внешнего прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Например, модуль 260 внешнего прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и извлекать вектор движения текущего блока и/или индекс опорного кадра на основе принимаемой информации выбора возможных вариантов. Внешнее прогнозирование может выполняться на основе различных режимов прогнозирования, и информация относительно прогнозирования может включать в себя информацию, указывающую режим внешнего прогнозирования для текущего блока.The external prediction module 260 may extract a predicted block for the current block based on a reference block (an array of reference samples) indicated by a motion vector for the reference frame. In this case, in order to reduce the amount of motion information transmitted in the inter-prediction mode, motion information may be predicted in units of blocks, sub-blocks, or samples based on the correlation of motion information between a neighboring block and the current block. The motion information may include a motion vector and a reference frame index. The motion information may further include outer prediction direction information (L0 prediction, L1 prediction, bi prediction, etc.). In the case of inter-prediction, the neighbor block may include a spatial neighbor block present in the current frame and a temporal neighbor block present in the reference frame. For example, the external prediction module 260 may configure a motion information candidate list based on neighboring blocks and extract the current block's motion vector and/or reference frame index based on the received candidate selection information. The inter-prediction may be performed based on various prediction modes, and the information regarding the prediction may include information indicating the inter-prediction mode for the current block.

Сумматор 235 может формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок) посредством суммирования полученного остаточного сигнала с прогнозным сигналом (прогнозированным блоком, массивом прогнозированных выборок), выводимым из модуля прогнозирования (включающего в себя модуль 260 внешнего прогнозирования и/или модуль 265 внутреннего прогнозирования). Если отсутствует остаток для блока, который должен обрабатываться, к примеру, когда режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Описание сумматора 155 является в равной степени применимым к сумматору 235. Сумматор 235 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для внешнего прогнозирования следующего кадра посредством фильтрации, как описано ниже.The adder 235 may generate a reconstructed signal (recovered frame, reconstructed block, reconstructed sample array) by adding the resulting residual signal with a predicted signal (predicted block, predicted sample array) output from a prediction module (including an external prediction module 260 and/or a 265 internal forecasting). If there is no remainder for a block to be processed, for example when a skip mode is applied, the predicted block can be used as the reconstructed block. The description of adder 155 is equally applicable to adder 235. Adder 235 may be referred to as a “recovery module” or a “recovered block generator.” The generated reconstructed signal can be used to internally predict the next block to be processed in the current frame, and can be used to externally predict the next frame through filtering, as described below.

Между тем, как описано далее, преобразование сигнала яркости с масштабированием сигнала цветности (LMCS) может применяться в процессе декодирования кадров.Meanwhile, as described below, luminance signal scaling (LMCS) conversion can be applied in the frame decoding process.

Фильтр 240 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 240 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 250, а именно, в DPB запоминающего устройства 250. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, дискретизированное адаптивное смещение, адаптивный контурный фильтр, билатеральный фильтр и т.п.Filter 240 may enhance the subjective/objective quality of images by applying filtering to the reconstructed signal. For example, filter 240 may generate a modified reconstructed frame by applying various filtering techniques to the reconstructed frame and store the modified reconstructed frame in storage device 250, namely, a DPB of storage device 250. Various filtering techniques may include, for example, deblocking filtering. , sampled adaptive bias, adaptive contour filter, bilateral filter, etc.

(Модифицированный) восстановленный кадр, сохраненный в DPB запоминающего устройства 250, может использоваться в качестве опорного кадра в модуле 260 внешнего прогнозирования. Запоминающее устройство 250 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или декодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 260 внешнего прогнозирования, так что она используется в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 250 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и передавать восстановленные выборки в модуль 265 внутреннего прогнозирования.The (modified) reconstructed frame stored in the DPB of the storage device 250 can be used as a reference frame in the inter-prediction module 260. Memory 250 may store block motion information from which motion information in the current frame is retrieved (or decoded) and/or motion information of blocks in a frame that have already been reconstructed. The stored motion information may be transmitted to the external prediction unit 260 so that it is used as spatial neighbor block motion information or temporal neighbor block motion information. Memory 250 may store reconstructed samples of reconstructed blocks in the current frame and transmit the reconstructed samples to intra prediction module 265.

В настоящем раскрытии сущности, варианты осуществления, описанные в фильтре 160, модуле 180 внешнего прогнозирования и модуле 185 внутреннего прогнозирования устройства 100 кодирования изображений могут в равной степени или соответствующим образом применяться к фильтру 240, модулю 260 внешнего прогнозирования и модулю 265 внутреннего прогнозирования устройства 200 декодирования изображений. Варианты осуществления, описанные в модуле 240 фильтрации, модуле 260 внешнего прогнозирования и модуле 265 внутреннего прогнозирования устройства 200 декодирования изображений могут применяться таким образом, что они являются идентичными или соответствующими модулю 160 фильтрации и модулю 180 внешнего прогнозирования и модулю 185 внутреннего прогнозирования устройства 100 кодирования изображений, соответственно.In the present disclosure, the embodiments described in the filter 160, the external prediction module 180, and the intra prediction module 185 of the image encoding device 100 may be equally or correspondingly applied to the filter 240, the external prediction module 260, and the intra prediction module 265 of the decoding device 200 images. The embodiments described in the filtering module 240, the external prediction module 260, and the internal prediction module 265 of the image decoding device 200 can be applied in such a way that they are identical to or corresponding to the filtering module 160 and the external prediction module 180 and the internal prediction module 185 of the image encoding device 100 , respectively.

Общее представление внутреннего прогнозированияOverview of Internal Forecasting

В дальнейшем в этом документе описывается способ внутреннего прогнозирования согласно варианту осуществления. Внутреннее прогнозирование может указывать прогнозирование, которое формирует прогнозные выборки для текущего блока на основе опорных выборок в кадре, которому принадлежит текущий блок (далее называется "текущим кадром"). Когда внутреннее прогнозирование применяется к текущему блоку, соседние опорные выборки, которые должны использоваться для внутреннего прогнозирования текущего блока, могут извлекаться. Соседние опорные выборки текущего блока могут включать в себя выборку, смежную с левой границей текущего блока, имеющего размер nWxnH, и сумму 2xnH выборок, граничащих с левой нижней частью, выборки, смежной с верхней границей текущего блока, и сумму 2xnW выборок, граничащих с правой верхней частью, и одну выборку, граничащую с левой верхней частью относительно текущего блока. Альтернативно, соседние опорные выборки текущего блока могут включать в себя множество столбцов верхних соседних выборок и множество строк левых соседних выборок. Помимо этого, соседние опорные выборки текущего блока могут включать в себя сумму nH выборок, смежных с правой границей текущего блока, имеющего размер nWxnH, сумму nW выборок, смежных с нижней границей текущего блока, и одну выборку, граничащую с правой нижней относительно текущего блока. Между тем, когда ISP, которая описывается ниже, применяется, соседние опорные выборки могут извлекаться в единицах субсегментов.Hereinafter, this document describes an intra prediction method according to an embodiment. Intra prediction may indicate prediction that generates prediction samples for the current block based on reference samples in the frame to which the current block belongs (hereinafter referred to as the “current frame”). When intra prediction is applied to the current block, neighboring reference samples that should be used for intra prediction of the current block can be retrieved. The adjacent reference samples of the current block may include a sample adjacent to the left boundary of the current block having size nWxnH, and the sum of 2xnH samples bordering the bottom left, a sample adjacent to the top boundary of the current block, and the sum of 2xnW samples bordering the right the top part, and one selection bordering the top left part relative to the current block. Alternatively, the current block's neighboring reference samples may include a plurality of columns of top neighboring samples and a plurality of rows of left neighboring samples. In addition, the adjacent reference samples of the current block may include a sum of nH samples adjacent to the right boundary of the current block having size nWxnH, a sum of nW samples adjacent to the bottom boundary of the current block, and one sample adjacent to the bottom right of the current block. Meanwhile, when the ISP, which is described below, is applied, adjacent reference samples can be retrieved in units of sub-segments.

С другой стороны, некоторые соседние опорные выборки текущего блока еще не декодировались или могут не быть доступными. В этом случае, устройство декодирования может конструировать соседние опорные выборки, которые должны использоваться для прогнозирования, посредством подстановки вместо недоступных выборок доступных выборок. Альтернативно, соседние опорные выборки, которые должны использоваться для прогнозирования, могут конструироваться с использованием интерполяции доступных выборок.On the other hand, some neighboring reference samples of the current block have not yet been decoded or may not be available. In this case, the decoder may construct adjacent reference samples to be used for prediction by substituting available samples for unavailable samples. Alternatively, neighboring reference samples to be used for prediction can be constructed using interpolation of the available samples.

Когда соседние опорные выборки извлекаются, (i) прогнозная выборка может извлекаться на основе среднего или интерполяции соседних опорных выборок текущего блока, и (ii) прогнозная выборка может извлекаться на основе опорной выборки, присутствующей в конкретном направлении (прогнозирования) относительно прогнозной выборки из соседних опорных выборок текущего блока. Случай (i) может называться "ненаправленным режимом" или "неугловым режимом", и случай (ii) может называться "направленным режимом" или "угловым режимом". Помимо этого, прогнозная выборка может формироваться через интерполяцию со второй соседней выборкой и первой соседней выборкой, расположенной в противоположном направлении направления прогнозирования режима внутреннего прогнозирования текущего блока на основе прогнозной выборки текущего блока из соседних опорных выборок. Вышеописанный случай может называться "внутренним прогнозированием с линейной интерполяцией (LIP)". Помимо этого, выборки прогнозирования сигналов цветности могут формироваться на основе выборок сигнала яркости с использованием линейной модели. Этот случай может называться "LM-режимом". Помимо этого, временная прогнозная выборка текущего блока может извлекаться на основе фильтрованных соседних опорных выборок, и прогнозная выборка текущего блока может извлекаться посредством суммирования со взвешиванием временной прогнозной выборки и по меньшей мере одной опорной выборки, извлекаемой согласно режиму внутреннего прогнозирования из существующих соседних опорных выборок, т.е. нефильтрованных соседних опорных выборок. Вышеописанный случай может называться "позиционно-зависимым внутренним прогнозированием (PDPC)". Помимо этого, опорная выборочная линия с наибольшей точностью прогнозирования может выбираться из нескольких соседних опорных выборочных линий текущего блока, чтобы извлекать прогнозную выборку с использованием опорной выборки, расположенной в направлении прогнозирования в соответствующей линии, и, в это время, внутреннее прогнозирующее кодирование может выполняться посредством указания (передачи в служебных сигналах) используемой опорной выборочной линии для устройства декодирования. Вышеописанный случай может называться "внутренним прогнозированием на основе множественной опорной линии (MRL)" или "внутренним прогнозированием на основе MRL". Помимо этого, текущий блок может разделяться на вертикальные или горизонтальные субсегменты, чтобы выполнять внутреннее прогнозирование на основе идентичного режима внутреннего прогнозирования, и соседние опорные выборки могут извлекаться и использоваться в единицах субсегментов. Таким образом, в этом случае, режим внутреннего прогнозирования для текущего блока идентично применяется к субсегментам, и соседние опорные выборки извлекаются и используются в единицах субсегментов, за счет этого повышая производительность внутреннего прогнозирования. Такой способ прогнозирования может называться "внутренним прогнозированием на основе внутренних субсегментов (ISP) или на основе ISP". Помимо этого, когда направление прогнозирования на основе прогнозной выборки указывает пространство между соседними опорными выборками, т.е. когда направление прогнозирования указывает дробную выборочную позицию, значение прогнозной выборки может извлекаться через интерполяцию множества опорных выборок, расположенных около направления прогнозирования (около дробной выборочной позиции). Вышеописанные способы внутреннего прогнозирования могут называться "типом внутреннего прогнозирования", чтобы отличаться от режима внутреннего прогнозирования. Помимо этого, после того, как прогнозный сигнал для субдискретизированного пиксельного набора текущего блока формируется с использованием восстановленных соседних пикселов, расположенных слева и вершина текущего блока, сформированный прогнозный сигнал и соседнее выборочное значение могут интерполироваться в вертикальном и горизонтальном направлении, чтобы формировать прогнозный сигнал, имеющий исходный размер, за счет этого применяя матричное взвешенное внутреннее прогнозирование (MIP) для выполнения внутреннего прогнозирования текущего блока.When neighboring reference samples are retrieved, (i) the prediction sample may be retrieved based on the average or interpolation of the current block's neighboring reference samples, and (ii) the prediction sample may be retrieved based on the reference sample present in a particular direction (prediction) relative to the prediction sample from adjacent reference samples. samples of the current block. Case (i) may be referred to as "non-directional mode" or "non-angular mode", and case (ii) may be referred to as "directional mode" or "angular mode". In addition, the prediction sample may be generated through interpolation with the second adjacent sample and the first adjacent sample located in the opposite direction of the prediction direction of the intra prediction mode of the current block based on the prediction sample of the current block from the adjacent reference samples. The above case may be called "linear interpolation intraprediction (LIP)". In addition, chroma prediction samples can be generated from the luminance samples using a linear model. This case may be called "LM mode". In addition, the temporary prediction sample of the current block may be extracted based on the filtered neighboring reference samples, and the prediction sample of the current block may be extracted by weighting summation of the temporary prediction sample and at least one reference sample extracted according to an intra prediction mode from the existing neighboring reference samples. those. unfiltered neighboring reference samples. The above case may be called "position-dependent intraprediction (PDPC)". In addition, the reference sample line with the highest prediction accuracy can be selected from several adjacent reference sample lines of the current block to extract a prediction sample using a reference sample located in the prediction direction in the corresponding line, and, at this time, intra prediction coding can be performed by indicating (signalling) the reference sample line to be used for the decoding device. The above-described case may be called "multiple reference line (MRL) intra-prediction" or "MRL-based intra-prediction". In addition, the current block can be divided into vertical or horizontal sub-segments to perform intra-prediction based on an identical intra-prediction mode, and adjacent reference samples can be retrieved and used in sub-segment units. Thus, in this case, the intra-prediction mode for the current block is identically applied to the sub-segments, and adjacent reference samples are retrieved and used in the units of the sub-segments, thereby improving the intra-prediction performance. This forecasting method may be referred to as "internal subsegment-based (ISP) or ISP-based forecasting." In addition, when the prediction direction based on the prediction sample indicates the space between adjacent reference samples, i.e. when the prediction direction indicates a fractional sample position, the prediction sample value may be extracted through interpolation of a plurality of reference samples located near the prediction direction (around the fractional sample position). The above-described intra-prediction methods may be called "intra-prediction type" to be distinguished from the intra-prediction mode. In addition, after a prediction signal for the subsampled pixel set of the current block is generated using the reconstructed neighboring pixels located to the left and top of the current block, the generated prediction signal and the adjacent sample value can be interpolated in the vertical and horizontal direction to generate a prediction signal having the original size, thereby applying matrix weighted intra prediction (MIP) to perform intra prediction of the current block.

Тип внутреннего прогнозирования может называться с помощью различных терминов, таких как схема внутреннего прогнозирования или дополнительный режим внутреннего прогнозирования. Например, тип внутреннего прогнозирования (или дополнительный режим внутреннего прогнозирования) может включать в себя по меньшей мере одно из LIP, PDPC, MRL, ISP или MIP. Информация относительно типа внутреннего прогнозирования может кодироваться посредством устройства кодирования, включаться в поток битов и передаваться в служебных сигналах в устройство декодирования. Информация относительно типа внутреннего прогнозирования может реализовываться в различных формах, к примеру, как информация флага, указывающая то, следует или нет применять каждый тип внутреннего прогнозирования, либо как информация индекса, указывающая один из нескольких типов внутреннего прогнозирования.The intra-prediction type may be referred to by various terms such as intra-prediction scheme or optional intra-prediction mode. For example, the intra prediction type (or additional intra prediction mode) may include at least one of LIP, PDPC, MRL, ISP, or MIP. Information regarding the type of intra prediction may be encoded by the encoding device, included in the bit stream, and signaled to the decoding device. Information regarding the type of intra prediction may be implemented in various forms, for example, as flag information indicating whether or not each type of intra prediction should be applied, or as index information indicating one of several types of intra prediction.

Между тем, при необходимости, постфильтрация может выполняться относительно извлеченной прогнозной выборки. В частности, процедура внутреннего прогнозирования может включать в себя этап определения режима/типа внутреннего прогнозирования, этап извлечения соседних опорных выборок и этап извлечения прогнозных выборок на основе режима/типа внутреннего прогнозирования. Помимо этого, при необходимости, постфильтрация может выполняться относительно извлеченной прогнозной выборки.Meanwhile, if necessary, post-filtering can be performed on the extracted prediction sample. Specifically, the intra-prediction procedure may include a step of determining an intra-prediction mode/type, a step of retrieving adjacent reference samples, and a step of retrieving prediction samples based on the intra-prediction mode/type. In addition, if necessary, post-filtering can be performed on the extracted predictive sample.

В дальнейшем в этом документе описывается способ кодирования видео/изображений на основе внутреннего прогнозирования. Во-первых, устройство кодирования выполняет внутреннее прогнозирование относительно текущего блока. Устройство кодирования может извлекать режим/тип внутреннего прогнозирования для текущего блока, извлекать соседние опорные выборки текущего блока и формировать прогнозные выборки в текущем блоке на основе режима/типа внутреннего прогнозирования и соседних опорных выборок. Здесь, процедуры определения режима/типа внутреннего прогнозирования, извлечения соседних опорных выборок и формирования прогнозных выборок могут одновременно выполняться, или любая процедура может выполняться перед другими процедурами. Между тем, когда нижеописанная процедура фильтрации прогнозных выборок выполняется, модуль 185 внутреннего прогнозирования дополнительно может включать в себя фильтр прогнозных выборок. Устройство кодирования может определять режим/тип, применяемый к текущему блоку, из множества режимов/типов внутреннего прогнозирования. Устройство кодирования может сравнивать функцию затрат на искажение в зависимости от скорости передачи (RD) для режимов/типов внутреннего прогнозирования и определять оптимальный режим/тип внутреннего прогнозирования для текущего блока.Hereinafter, this document describes a method for encoding videos/images based on intra prediction. First, the encoder performs intra-prediction with respect to the current block. The encoder may extract the intra prediction mode/type for the current block, extract adjacent reference samples of the current block, and generate prediction samples in the current block based on the intra prediction mode/type and the adjacent reference samples. Here, the procedures for determining the intra prediction mode/type, extracting neighboring reference samples, and generating prediction samples may be simultaneously performed, or any procedure may be performed before other procedures. Meanwhile, when the prediction sample filtering procedure described below is performed, the intra prediction unit 185 may further include a prediction sample filter. The encoder may determine a mode/type applied to the current block from a plurality of intra prediction modes/types. The encoder may compare the distortion cost function as a function of the bit rate (RD) for the intra prediction modes/types and determine the optimal intra prediction mode/type for the current block.

Между тем, устройство кодирования может выполнять процедуру фильтрации прогнозных выборок. Фильтрация прогнозных выборок может называться "постфильтрацией". Посредством процедуры фильтрации прогнозных выборок, некоторые или все прогнозные выборки могут фильтроваться. В некоторых случаях, процедура фильтрации прогнозных выборок может опускаться.Meanwhile, the encoding device may perform a filtering procedure on the prediction samples. Filtering predictive samples can be called "post-filtering." Through the prediction sample filtering procedure, some or all of the prediction samples may be filtered. In some cases, the procedure for filtering predictive samples may be omitted.

Затем, устройство кодирования может формировать остаточные выборки для текущего блока на основе прогнозных выборок. Устройство кодирования может сравнивать исходные выборки текущего блока с прогнозными выборками с точки зрения фазы и извлекать остаточные выборки.The encoder can then generate residual samples for the current block based on the predicted samples. The encoder may compare the original samples of the current block with the predicted samples in terms of phase and extract the residual samples.

Затем, устройство кодирования может кодировать информацию изображений, включающую в себя информацию относительно внутреннего прогнозирования (информацию прогнозирования) и остаточную информацию относительно остаточных выборок. Информация прогнозирования может включать в себя информацию режима внутреннего прогнозирования и информацию типа внутреннего прогнозирования. Устройство кодирования может выводить кодированную информацию изображений в форме потока битов. Выходной поток битов может передаваться в устройство декодирования через носитель хранения данных или сеть.Then, the encoding device can encode image information including information regarding intra prediction (prediction information) and residual information regarding residual samples. The prediction information may include intra prediction mode information and intra prediction type information. The encoding apparatus may output encoded image information in the form of a bit stream. The output bit stream may be transmitted to a decoding device via a storage medium or a network.

Остаточная информация может включать в себя синтаксис остаточного кодирования, который описывается ниже. Устройство кодирования может преобразовывать/квантовать остаточные выборки и извлекать квантованные коэффициенты преобразования. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования.The residual information may include residual encoding syntax, which is described below. The encoder may transform/quantize the residual samples and extract the quantized transform coefficients. The residual information may include information regarding the quantized transform coefficients.

Между тем, как описано выше, устройство кодирования изображений может формировать восстановленный кадр (включающий в себя восстановленные выборки и восстановленный блок). С этой целью, устройство кодирования изображений может выполнять обратное квантование/обратное преобразование относительно квантованных коэффициентов преобразования и извлекать (модифицированные) остаточные выборки. Причина преобразования/квантования остаточных выборок и затем выполнения обратного квантования/обратного преобразования состоит в том, чтобы извлекать идентичные остаточные выборки в качестве остаточных выборок, извлекаемых посредством устройства декодирования, как описано выше. Устройство кодирования может формировать восстановленный блок, включающий в себя восстановленные выборки для текущего блока, на основе прогнозных выборок и (модифицированных) остаточных выборок. На основе восстановленного блока, может формироваться восстановленный кадр для текущего кадра. Как описано выше, процедура внутриконтурной фильтрации может применяться к восстановленному кадру.Meanwhile, as described above, the image encoding device can generate a reconstructed frame (including reconstructed samples and a reconstructed block). To this end, the image encoding device may perform inverse quantization/detransformation on the quantized transform coefficients and extract the (modified) residual samples. The reason for transforming/quantizing the residual samples and then performing inverse quantization/inverse transforming is to extract identical residual samples as residual samples extracted by the decoding apparatus as described above. The encoder may generate a reconstructed block including reconstructed samples for the current block based on the predicted samples and the (modified) residual samples. Based on the reconstructed block, a reconstructed frame for the current frame can be generated. As described above, an in-loop filtering procedure may be applied to the reconstructed frame.

В дальнейшем в этом документе описывается способ кодирования видео/изображений на основе внутреннего прогнозирования. Устройство декодирования может выполнять операцию, соответствующую операции, выполняемой посредством устройства кодирования.Hereinafter, this document describes a method for encoding videos/images based on intra prediction. The decoding device may perform an operation corresponding to an operation performed by the encoding device.

Сначала, устройство декодирования может извлекать режим/тип внутреннего прогнозирования для текущего блока на основе принимаемой информации прогнозирования (информации режима/типа внутреннего прогнозирования. Устройство декодирования может извлекать соседние опорные выборки текущего блока. Устройство декодирования может формировать прогнозные выборки в текущем блоке на основе режима/типа внутреннего прогнозирования и соседних опорных выборок. В этом случае, устройство декодирования изображений может выполнять процедуру фильтрации прогнозных выборок. Фильтрация прогнозных выборок может называться "постфильтрацией". Посредством процедуры фильтрации прогнозных выборок, некоторые или все прогнозные выборки могут фильтроваться. В некоторых случаях, процедура фильтрации прогнозных выборок может опускаться.First, the decoding apparatus may extract the intra prediction mode/type for the current block based on the received prediction information (intra prediction mode/type information. The decoding apparatus may extract adjacent reference samples of the current block. The decoding apparatus may generate prediction samples in the current block based on the mode/type. type of intra prediction and adjacent reference samples. In this case, the image decoding apparatus may perform a filtering procedure on the prediction samples. Filtering the prediction samples may be called "post-filtering". Through the filtering procedure on the prediction samples, some or all of the prediction samples may be filtered. In some cases, the procedure Filtering of predictive samples can be omitted.

Устройство декодирования изображений может формировать остаточные выборки для текущего блока на основе принимаемой остаточной информации (S640). Устройство декодирования может формировать восстановленные выборки для текущего блока на основе прогнозных выборок и остаточных выборок и извлекать восстановленный блок, включающий в себя восстановленные выборки. На основе восстановленного блока, может формироваться восстановленный кадр для текущего кадра. Процедура внутриконтурной фильтрации дополнительна применимый к восстановленному кадру.The image decoding apparatus may generate residual samples for the current block based on the received residual information (S640). The decoding apparatus may generate reconstructed samples for the current block based on the predicted samples and residual samples, and extract the reconstructed block including the reconstructed samples. Based on the reconstructed block, a reconstructed frame for the current frame can be generated. An additional in-loop filtering procedure is applied to the reconstructed frame.

Информация режима внутреннего прогнозирования может включать в себя, например, информацию флага (например, intra_luma_mpm_flag), указывающую то, применяется либо нет наиболее вероятный режим (MPM) или оставшийся режим к текущему блоку, и когда MPM применяется к текущему блоку, информация режима прогнозирования дополнительно может включать в себя информацию индекса (например, intra_luma_mpm_idx), указывающую один из возможных вариантов режимов внутреннего прогнозирования (возможных MPM-вариантов). Возможные варианты режимов внутреннего прогнозирования (возможные MPM-варианты) могут конфигурировать список возможных MPM-вариантов или MPM-список. Например, список возможных MPM-вариантов может включать в себя режим внутреннего прогнозирования соседнего блока или предварительно установленного базового режима внутреннего прогнозирования. Помимо этого, когда MPM не применяется к текущему блоку, информация режима внутреннего прогнозирования дополнительно может включать в себя информацию оставшихся режимов (например, intra_luma_mpm_remainder), указывающую один из оставшихся режимов внутреннего прогнозирования, за исключением возможных вариантов режимов внутреннего прогнозирования (возможных MPM-вариантов). Устройство декодирования может определять режим внутреннего прогнозирования текущего блока на основе информации режима внутреннего прогнозирования.The intra prediction mode information may include, for example, flag information (eg, intra_luma_mpm_flag) indicating whether or not the most likely mode (MPM) or remaining mode is applied to the current block, and when the MPM is applied to the current block, the prediction mode information is further applied. may include index information (eg, intra_luma_mpm_idx) indicating one of the internal prediction mode options (MPM options). The internal prediction mode options (MPM options) can configure a list of MPM options or an MPM list. For example, the list of possible MPM options may include a neighbor block intra-prediction mode or a preset base intra-prediction mode. In addition, when the MPM is not applied to the current block, the intra prediction mode information may further include remaining mode information (e.g., intra_luma_mpm_remainder) indicating one of the remaining intra prediction modes excluding the intra prediction mode options (MPM options) . The decoding apparatus may determine the intra prediction mode of the current block based on the intra prediction mode information.

Помимо этого, информация типа внутреннего прогнозирования может реализовываться в различных формах. Например, информация типа внутреннего прогнозирования может включать в себя информацию индекса типа внутреннего прогнозирования, указывающую один из типов внутреннего прогнозирования. В качестве другого примера, информация типа внутреннего прогнозирования может включать в себя по меньшей мере одно из информации опорной выборочной линии (например, intra_luma_ref_idx), указывающей то, применяется или нет MRL к текущему блоку, и если применяется, то, какая опорная выборочная линия используется, информации ISP-флага (например, intra_subpartitions_mode_flag), указывающей то, применяется или нет ISP к текущему блоку, информации ISP-типа (например, intra_subpartitions_split_flag), указывающей тип разбиения субсегментов, когда ISP применяется, информации флага, указывающей то, применяется или нет PDPC, либо информации флага, указывающей то, применяется или нет LIP.In addition, information such as internal forecasting can be implemented in various forms. For example, the intra-prediction type information may include intra-prediction type index information indicating one of the intra-prediction types. As another example, the intra prediction type information may include at least one of reference sample line information (eg, intra_luma_ref_idx) indicating whether or not the MRL is applied to the current block, and if applied, which reference sample line is used , ISP flag information (eg, intra_subpartitions_mode_flag) indicating whether or not ISP is applied to the current block, ISP type information (eg, intra_subpartitions_split_flag) indicating the type of subpartitioning when ISP is applied, flag information indicating whether or not PDPC, or flag information indicating whether or not LIP is applied.

Информация режима внутреннего прогнозирования и/или информация типа внутреннего прогнозирования могут кодироваться/декодироваться через способ кодирования, описанный в настоящем раскрытии сущности. Например, информация режима внутреннего прогнозирования и/или информация типа внутреннего прогнозирования могут кодироваться/декодироваться посредством энтропийного кодирования (например, CABAC, CAVLC) на основе усеченного двоичного кода (Райса).The intra prediction mode information and/or intra prediction type information may be encoded/decoded through the encoding method described in the present disclosure. For example, intra prediction mode information and/or intra prediction type information may be encoded/decoded by entropy coding (eg, CABAC, CAVLC) based on a truncated binary code (Rice).

В дальнейшем в этом документе подробнее описывается режим внутреннего прогнозирования. Фиг. 4 показывает направление внутреннего прогнозирования согласно варианту осуществления. Чтобы захватывать любое краевое направление, представленное в естественном видео, как показано на фиг. 8a, режим внутреннего прогнозирования может включать в себя два режима ненаправленного внутреннего прогнозирования и 65 режимов направленного внутреннего прогнозирования. Режимы ненаправленного внутреннего прогнозирования могут включать в себя режим планарного внутреннего прогнозирования и режим внутреннего DC-прогнозирования, и режимы направленного внутреннего прогнозирования могут включать в себя второй - 66-ой режимы внутреннего прогнозирования.The internal forecasting mode is described in more detail later in this document. Fig. 4 shows the intra prediction direction according to the embodiment. To capture any edge direction presented in a natural video, as shown in FIG. 8a, the intra prediction mode may include two non-directed intra prediction modes and 65 directed intra prediction modes. The non-directional intra-prediction modes may include a planar intra-prediction mode and a DC intra-prediction mode, and the directed intra-prediction modes may include the second to 66th intra-prediction modes.

Между тем, режим внутреннего прогнозирования дополнительно может включать в себя режим на основе кросскомпонентной линейной модели (CCLM) для выборок сигнала цветности в дополнение к вышеописанным режимам внутреннего прогнозирования. CCLM-режим может разбиваться на L_CCLM, T_CCLM, LT_CCLM согласно тому, рассматриваются или нет левые выборки, верхние выборки либо и те, и другие для извлечения LM-параметра, и может применяться только к компоненту сигнала цветности. Например, режим внутреннего прогнозирования может индексироваться, как показано в следующей таблице.Meanwhile, the intra-prediction mode may further include a cross-component linear model (CCLM)-based mode for chrominance signal samples in addition to the above-described intra-prediction modes. The CCLM mode can be split into L_CCLM, T_CCLM, LT_CCLM according to whether left samples, top samples or both are considered or not to extract the LM parameter, and can only be applied to the chrominance signal component. For example, the intraprediction mode may be indexed, as shown in the following table.

Таблица 1Table 1 Режим внутреннего прогнозированияInternal prediction mode Ассоциированное названиеAssociated title 00 INTRA_PLANARINTRA_PLANAR 11 INTRA_DCINTRA_DC 2...662...66 INTRA_ANGULAR2...INTRA_ANGULAR66INTRA_ANGULAR2...INTRA_ANGULAR66 81...8381...83 INTRA_LT_CCLM, INTRA_L_CCLM, INTRA_T_CCLMINTRA_LT_CCLM, INTRA_L_CCLM, INTRA_T_CCLM

Фиг. 5 показывает направление внутреннего прогнозирования согласно другому варианту осуществления. Здесь, направление по пунктирной линии показывает широкоугольный режим, применяемый только к неквадратному блоку. Как показано на фиг. 5, чтобы захватывать любое краевое направление, представленное в естественном видео, режим внутреннего прогнозирования согласно варианту осуществления может включать в себя два режима ненаправленного внутреннего прогнозирования и 93 режима направленного внутреннего прогнозирования. Режимы ненаправленного внутреннего прогнозирования могут включать в себя режим планарного внутреннего прогнозирования и режим внутреннего DC-прогнозирования, и режимы направленного внутреннего прогнозирования могут включать в себя второй - 80-ый и -1-й - -14-й режимы внутреннего прогнозирования, как обозначено посредством стрелки по фиг. 5. Режим планарного прогнозирования может обозначаться посредством INTRA_PLANAR, и режим DC-прогнозирования может обозначаться посредством INTRA_DC. Помимо этого, режим направленного внутреннего прогнозирования может обозначаться посредством INTRA_ANGULAR-14 - INTRA_ANGULAR-1 и INTRA_ANGULAR2 - INTRA_ANGULAR80.Fig. 5 shows an intra prediction direction according to another embodiment. Here, the direction along the dotted line shows the wide-angle mode applied only to the non-square block. As shown in FIG. 5, to capture any edge direction presented in natural video, the intra prediction mode according to the embodiment may include two non-directional intra prediction modes and 93 directed intra prediction modes. The non-directional intra prediction modes may include a planar intra prediction mode and a DC intra prediction mode, and the directed intra prediction modes may include the second to 80th and -1st to -14th intra prediction modes, as indicated by arrows in Fig. 5. The planar prediction mode may be designated by INTRA_PLANAR, and the DC prediction mode may be designated by INTRA_DC. In addition, the directed intra prediction mode may be designated by INTRA_ANGULAR-14 - INTRA_ANGULAR-1 and INTRA_ANGULAR2 - INTRA_ANGULAR80.

Между тем, тип внутреннего прогнозирования (или дополнительный режим внутреннего прогнозирования) может включать в себя по меньшей мере одно из LIP, PDPC, MRL, ISP или MIP. Тип внутреннего прогнозирования может указываться на основе информации типа внутреннего прогнозирования, и информация типа внутреннего прогнозирования может реализовываться в различных формах. Например, информация типа внутреннего прогнозирования может включать в себя информацию индекса типа внутреннего прогнозирования, указывающую один из типов внутреннего прогнозирования. В качестве другого примера, информация типа внутреннего прогнозирования может включать в себя по меньшей мере одно из информации опорной выборочной линии (например, intra_luma_ref_idx), указывающей то, применяется или нет MRL к текущему блоку, и если применяется, то, какая опорная выборочная линия используется, информации ISP-флага (например, intra_subpartitions_mode_flag), указывающей то, применяется или нет ISP к текущему блоку, информации ISP-типа (например, intra_subpartitions_split_flag), указывающей тип разбиения субсегментов, когда ISP применяется, информации флага, указывающей то, применяется или нет PDPC, информации флага, указывающей то, применяется или нет LIP, либо информации MIP-флага, указывающей то, применяется или нет MIP.Meanwhile, the intra prediction type (or additional intra prediction mode) may include at least one of LIP, PDPC, MRL, ISP or MIP. The intra prediction type may be indicated based on the intra prediction type information, and the intra prediction type information may be implemented in various forms. For example, the intra-prediction type information may include intra-prediction type index information indicating one of the intra-prediction types. As another example, the intra prediction type information may include at least one of reference sample line information (eg, intra_luma_ref_idx) indicating whether or not the MRL is applied to the current block, and if applied, which reference sample line is used , ISP flag information (eg, intra_subpartitions_mode_flag) indicating whether or not ISP is applied to the current block, ISP type information (eg, intra_subpartitions_split_flag) indicating the type of subpartitioning when ISP is applied, flag information indicating whether or not PDPC, flag information indicating whether or not LIP is applied, or MIP flag information indicating whether or not MIP is applied.

В дальнейшем в этом документе описывается фильтрация опорных выборок подробнее. Фильтрация является применимой к соседним опорным выборкам текущего блока. Она может называться "предварительной фильтрацией", поскольку она применяется к соседним опорным выборкам перед внутренним прогнозированием в отличие от постфильтрации, которая представляет собой фильтрацию, применяемую к прогнозной выборке после внутреннего прогнозирования. Фильтрация соседних опорных выборок может выполняться, например, как показано в следующем уравнении.Filtering of reference samples is described in more detail later in this document. Filtering is applied to adjacent reference samples of the current block. It may be called "pre-filtering" because it is applied to adjacent reference samples before intra-prediction, as opposed to post-filtering, which is filtering applied to the prediction sample after intra-prediction. Filtering of adjacent reference samples can be done, for example, as shown in the following equation.

Фильтрованное выборочное значение p[x][y] может извлекаться следующим образом: Здесь, x=-1, y=-1 - refH-1 и x=0 - refW-1, y=-1...refH может определяться как в два раза превышающее высоту блока преобразования или блока кодирования, и refW может определяться как в два раза превышающее ширину блока преобразования или блока кодирования.The filtered sample value p[x][y] can be extracted as follows: Here, x=-1, y=-1 - refH-1 and x=0 - refW-1, y=-1...refH can be defined as twice the height of the transform block or encoding block, and refW may be defined as twice the width of the transform block or encoding block.

уравнение 1equation 1

p[-1][-1]=(refUnfilt[-1][0]+2*refUnfilt[-1][-1]+refUnfilt[0][-1]+2)>>2p[-1][-1]=(refUnfilt[-1][0]+2*refUnfilt[-1][-1]+refUnfilt[0][-1]+2)>>2

уравнение 2equation 2

p[-1][y]=(refUnfilt[-1][y+1]+2*refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2, где y=0 - refH-2.p[-1][y]=(refUnfilt[-1][y+1]+2*refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2, where y=0 - refH-2.

уравнение 3equation 3

p[-1][refH-1]=refUnfilt[-1][refH-1]p[-1][refH-1]=refUnfilt[-1][refH-1]

уравнение 4equation 4

p[x][-1]=(refUnfilt [x-1][-1]+2*refUnfilt[x][-1]+refUnfilt [x+1][-1]+2)>>2, где x=0 - refW-2.p[x][-1]=(refUnfilt [x-1][-1]+2*refUnfilt[x][-1]+refUnfilt [x+1][-1]+2)>>2, where x=0 - refW-2.

уравнение 5equation 5

p[refW-1][-1]=refUnfilt [refW-1][-1],p[refW-1][-1]=refUnfilt [refW-1][-1],

где refUnfilt обозначает соседние опорные выборки, которые еще не фильтрованы, и [x][y] обозначает координаты X и Y соответствующей выборки. Например, он может указывать координаты, когда координаты левой верхней выборочной позиции текущего блока составляют (0, 0).where refUnfilt denotes neighboring reference samples that have not yet been filtered, and [x][y] denotes the X and Y coordinates of the corresponding sample. For example, it can indicate coordinates when the coordinates of the current block's top left sample position are (0, 0).

Когда фильтрация применяется к соседним опорным выборкам, фильтрованные соседние опорные выборки могут использоваться в качестве опорных выборок на этапе извлечения прогнозных выборок, и когда фильтрация не применяется к соседним опорным выборкам, нефильтрованные соседние опорные выборки могут использоваться в качестве опорных выборок на этапе извлечения прогнозных выборок.When filtering is applied to neighboring reference samples, filtered neighboring reference samples can be used as reference samples in the prediction sample extraction step, and when filtering is not applied to neighboring reference samples, unfiltered neighboring reference samples can be used as reference samples in the prediction sample extraction step.

Фильтрация соседних опорных выборок является применимой, например, когда некоторые или все следующие конкретные условия удовлетворяются.Filtering adjacent reference samples is applicable, for example, when some or all of the following specific conditions are satisfied.

(Условие 1) nTbW*nTbH превышает 32, где nTbW обозначает ширину TB, т.е. ширину блока преобразования (текущего блока), nTbH обозначает высоту TB, т.е. высоту блока преобразования (текущего блока).(Condition 1) nTbW*nTbH is greater than 32, where nTbW denotes the width of TB, i.e. width of the transformation block (current block), nTbH denotes the height of TB, i.e. height of the transform block (current block).

(Условие 2) Значение cIdx равно 0; cIdx обозначает цветовой компонент текущего блока, и значение в 0 обозначает компонент сигнала яркости.(Condition 2) The value of cIdx is 0; cIdx denotes the color component of the current block, and a value of 0 denotes the luma component.

(Условие 3) IntraSubPartitionsSplitType обозначает неразбитый (ISP_NO_SPLIT). Здесь, IntraSubPartitionsSplitType представляет собой параметр, указывающий тип разбиения текущего блока кодирования сигналов яркости.(Condition 3) IntraSubPartitionsSplitType denotes unsplit (ISP_NO_SPLIT). Here, IntraSubPartitionsSplitType is a parameter indicating the splitting type of the current luma coding block.

(Условие 4) По меньшей мере одно из следующих условий 4-1 в 4-4 представляет собой "истина".(Condition 4) At least one of the following conditions 4-1 in 4-4 is true.

(Условие 4-1) Значение predModeIntra, указывающее режим внутреннего прогнозирования, указывает режим планарного прогнозирования (INTRA_PLANAR).(Condition 4-1) The predModeIntra value indicating the intra prediction mode indicates the planar prediction mode (INTRA_PLANAR).

(Условие 4-2) Значение predModeIntra указывает 34-ый режим направленного внутреннего прогнозирования (INTRA_ANGULAR34).(Condition 4-2) The predModeIntra value indicates the 34th directed intra prediction mode (INTRA_ANGULAR34).

(Условие 4-3) Значение predModeIntra указывает второй режим направленного внутреннего прогнозирования (INTRA_ANGULAR2), и значение nTbH превышает или равно значению nTbW.(Condition 4-3) The predModeIntra value indicates the second directed intra prediction mode (INTRA_ANGULAR2), and the value of nTbH is greater than or equal to the value of nTbW.

(Условие 4-4) Значение predModeIntra представляет собой 66-ой режим направленного внутреннего прогнозирования (INTRA_ANGULAR66), и значение nTbW превышает или равно nTbH.(Condition 4-4) The predModeIntra value is the 66th directed intra prediction mode (INTRA_ANGULAR66), and the value of nTbW is greater than or equal to nTbH.

Например, такие процедуры, как определение режима/типа внутреннего прогнозирования, извлечение соседних опорных выборок и извлечение прогнозных выборок, могут выполняться в единицах CU. В качестве другого примера, определение режима/типа внутреннего прогнозирования может выполняться в единицах CU, тогда как процедуры извлечения соседних опорных выборок и извлечения прогнозных выборок могут выполняться в единицах TU в CU. В этом случае, TU в CU могут совместно использовать идентичный режим/тип внутреннего прогнозирования. Соответственно, с учетом этого случая, то, следует или нет выполнять фильтрацию соседних опорных выборок, может определяться с учетом nTbW и nTbH, которые представляют собой ширину и высоту TU (или TB).For example, procedures such as determining the internal prediction mode/type, retrieving adjacent reference samples, and retrieving prediction samples may be performed in CU units. As another example, determining the intra prediction mode/type may be performed in CU units, while the neighbor reference sample extraction and prediction sample extraction procedures may be performed in TU units in the CU. In this case, the TUs in the CU may share the same intra prediction mode/type. Accordingly, considering this case, whether or not to filter adjacent reference samples can be determined taking into account nTbW and nTbH, which represent the width and height of the TU (or TB).

Общее представление процесса внутреннего прогнозирования, к которому применяется фильтрация опорных выборокGeneral representation of the internal forecasting process to which reference sample filtering is applied

В дальнейшем в этом документе описывается способ внутреннего прогнозирования, к которому применяется фильтрация выборок, согласно варианту осуществления. Когда опорная выборка фильтруется с использованием сглаживающего фильтра, значение опорной выборки имеет сглаженно изменяющиеся характеристики. Тем не менее, когда внутреннее прогнозирование выполняется относительно текущей выборки посредством применения фильтра, имеющего характеристику повышения резкости, к опорной выборке, характеристика повышения резкости добавляется в сглаженную опорную выборку, в силу этого снижая эффективность внутреннего прогнозирования. Согласно тому, фильтруется или нет опорная выборка с использованием сглаживающего фильтра, необходимо выбирать фильтр, применяемый к опорной выборке, из сглаживающего фильтра и повышающего резкость фильтра, чтобы формировать внутреннюю прогнозную выборку текущей выборки. Таким образом, эффективность внутреннего прогнозирования может повышаться посредством применения сглаживающего фильтра к опорной выборке, к которой сглаживающий фильтр применяется для того, чтобы формировать прогнозную выборку, и применения повышающего резкость фильтра к опорной выборке, к которой сглаживающий фильтр не применяется.Hereinafter, this document describes an intra prediction method to which sample filtering is applied, according to an embodiment. When the reference sample is filtered using a smoothing filter, the value of the reference sample has smoothly varying characteristics. However, when intra-prediction is performed on the current sample by applying a filter having a sharpening characteristic to the reference sample, the sharpening characteristic is added to the smoothed reference sample, thereby reducing the efficiency of intra-prediction. According to whether or not the reference sample is filtered using a smoothing filter, it is necessary to select a filter applied to the reference sample from the smoothing filter and the sharpening filter to generate an internal prediction sample of the current sample. Thus, the performance of the intra prediction can be improved by applying a smoothing filter to a reference sample to which the smoothing filter is applied to generate a predictive sample, and applying a sharpening filter to the reference sample to which the smoothing filter is not applied.

Способ внутреннего прогнозирования, осуществляемый посредством устройства декодирования согласно варианту осуществления, может определять тип фильтра, используемого, когда внутреннее прогнозирование выполняется, согласно тому, следует или нет применять фильтрацию опорных выборок. Соответственно, устройство декодирования может эффективно формировать прогнозную выборку посредством применения фильтра, удовлетворяющего выборочным характеристикам опорной выборки, к опорной выборке согласно результату фильтрации опорных выборок.The intra prediction method implemented by the decoding apparatus according to the embodiment can determine the type of filter used when intra prediction is performed according to whether or not reference sample filtering should be applied. Accordingly, the decoding apparatus can efficiently generate a prediction sample by applying a filter satisfying the sampling characteristics of the reference sample to the reference sample according to a filtering result of the reference samples.

Фиг. 6 является блок-схемой последовательности операций способа, иллюстрирующей этап внутреннего прогнозирования согласно варианту осуществления. Как описано выше, внутреннее прогнозирование может включать в себя три основных этапа. Во-первых, устройство декодирования согласно варианту осуществления может конструировать опорную выборку (S110). Затем устройство декодирования может прогнозировать выборочное значение текущего блока с использованием сконструированной опорной выборки (S120). Опорная выборка может представлять собой выборку, расположенную около текущего блока. Устройство декодирования может применять постфильтр к внутренней прогнозной выборке, сформированной посредством выполнения этапа S120, после внутреннего выборочного прогнозирования (S130).Fig. 6 is a flowchart illustrating an intra prediction step according to an embodiment. As described above, internal forecasting can involve three main steps. First, the decoding apparatus according to the embodiment may construct a reference sample (S110). Then, the decoding apparatus can predict the sample value of the current block using the constructed reference sample (S120). The reference sample may be a sample located near the current block. The decoding apparatus may apply a post-filter to the intra-prediction sample generated by executing step S120 after the intra-prediction sample (S130).

Фиг. 7 является блок-схемой последовательности операций способа, иллюстрирующей этап S110 конструирования опорных выборок согласно варианту осуществления. В дальнейшем подробнее описывается этап S110 конфигурирования опорных выборок со ссылкой на фиг. 7. Во-первых, декодирование согласно варианту осуществления может проверять доступность опорной выборки (S111). Затем, устройство декодирования может определять то, следует или нет заменять опорную выборку согласно доступности опорной выборки, и выполнять замену опорной выборки (S112). Например, когда опорная выборка не доступна, опорная выборка может заменяться на значение, сформированное на основе соседних доступных выборок. Следовательно, все опорные выборки могут конструироваться.Fig. 7 is a flowchart illustrating reference sample constructing step S110 according to the embodiment. Next, reference sample configuring step S110 will be described in more detail with reference to FIG. 7. First, decoding according to the embodiment may check the availability of a reference sample (S111). Then, the decoding apparatus can determine whether or not to replace the reference sample according to the availability of the reference sample, and perform the replacement of the reference sample (S112). For example, when a reference sample is not available, the reference sample may be replaced with a value generated from adjacent available samples. Therefore, all reference samples can be constructed.

После этого, устройство декодирования может фильтровать сконструированную опорную выборку согласно условию фильтрации опорной выборки (S113). Когда размер единицы внутреннего кодирования (CU) или единицы преобразования (TU) является относительно большим, результат прогнозирования единицы внутреннего кодирования и единицы преобразования может быть относительно сглаженным. В этом случае, может быть желательным выполнять фильтрацию опорных выборок таким образом, что сформированная внутренняя прогнозная выборка является сглаженной и планарной.Thereafter, the decoding apparatus may filter the constructed reference sample according to the reference sample filtering condition (S113). When the size of the intra coding unit (CU) or transformation unit (TU) is relatively large, the prediction result of the intra coding unit and the transformation unit can be relatively smooth. In this case, it may be desirable to filter the reference samples such that the generated internal prediction sample is smooth and planar.

В дальнейшем в этом документе описывается условие фильтрации опорных выборок для внутреннего прогнозирования согласно варианту осуществления со ссылкой на фиг. 8. Фиг. 8 является блок-схемой последовательности операций, иллюстрирующей способ определения того, следует или нет выполнять фильтрацию опорных выборок посредством устройства декодирования согласно варианту осуществления на этапе S113 фильтрации опорных выборок этапа S110 конструирования опорных выборок. Во-первых, устройство декодирования согласно варианту осуществления может определять то, удовлетворяется или нет условие для выполнения фильтрации опорных выборок (S210). Устройство декодирования может не выполнять фильтрацию опорных выборок (S220), когда не удовлетворяется условие для выполнения фильтрации опорных выборок. Между тем, устройство декодирования может выполнять фильтрацию опорных выборок (S230), когда удовлетворяется условие для выполнения фильтрации опорных выборок.Hereinafter, this document will describe a reference sample filtering condition for intra-prediction according to an embodiment with reference to FIG. 8. Fig. 8 is a flowchart illustrating a method for determining whether or not to perform reference sample filtering by the decoding apparatus according to the embodiment in the reference sample filtering step S113 of the reference sample construction step S110. First, the decoding apparatus according to the embodiment can determine whether or not a condition for performing filtering of the reference samples is satisfied (S210). The decoding apparatus may not perform reference sample filtering (S220) when the condition for performing reference sample filtering is not satisfied. Meanwhile, the decoding apparatus may perform filtering of the reference samples (S230) when a condition for performing filtering of the reference samples is satisfied.

Более конкретно, устройство декодирования может определять то, выполняется или нет фильтрация опорных выборок, согласно следующим условиям. В варианте осуществления, устройство декодирования может определять то, что опорная выборка, на которую ссылаются для внутреннего прогнозирования текущего блока, фильтруется, когда следующие условия представляют собой "истина", или по меньшей мере одно условие представляет собой "истина", и в противном случае, может определять то, что фильтрация не выполняется.More specifically, the decoding apparatus can determine whether or not filtering of the reference samples is performed according to the following conditions. In an embodiment, the decoding apparatus may determine that a reference sample referenced for intra-prediction of the current block is filtered when the following conditions are true or at least one condition is true, and otherwise , may indicate that no filtering is being performed.

(Условие 1) Опорная выборочная линия, ближайшая к текущему блоку, используется для внутреннего прогнозирования. Таким образом, значение intra_luma_ref_idx равно 0.(Condition 1) The reference sample line closest to the current block is used for intraprediction. So the value of intra_luma_ref_idx is 0.

(Условие 2) Произведение ширины и высоты CU/TU превышает 32.(Condition 2) The product of the width and height of CU/TU is greater than 32.

(Условие 3) Текущий блок связан с компонентом сигнала яркости.(Condition 3) The current block is associated with a luminance signal component.

(Условие 4) Режим кодирования на основе ISP (на основе внутренних субсегментов) не используется.(Condition 4) ISP-based coding mode (based on internal sub-segments) is not used.

(Условие 5) По меньшей мере одно из следующего условия 5-1 или условия 5-2 представляет собой "истина". Ниже по тексту, второй режим направленного внутреннего прогнозирования может называться "левым нижним диагональным режимом", 34-ый режим направленного внутреннего прогнозирования может называться "левым верхним диагональным режимом", 66-ой режим направленного внутреннего прогнозирования может называться "правым верхним диагональным режимом", 18-ый режим направленного внутреннего прогнозирования может называться "горизонтальным режимом", и 50-ый режим направленного внутреннего прогнозирования может называться "вертикальным режимом".(Condition 5) At least one of the following condition 5-1 or condition 5-2 is true. Hereinafter, the second directed intra-prediction mode may be referred to as the "left lower diagonal mode", the 34th directed intra-prediction mode may be referred to as the "left upper diagonal mode", the 66th directed intra-prediction mode may be referred to as the "right upper diagonal mode", The 18th directional intra prediction mode may be referred to as a “horizontal mode”, and the 50th directional intra prediction mode may be referred to as a “vertical mode”.

(Условие 5-1) Произведение ширины и высоты CU/TU равно или меньше 128, и режим внутреннего прогнозирования соответствует по меньшей мере одному из внутреннего планарного режима (INTRA_PLANAR), внутреннего DC-режима (INTRA_DC), второго режима направленного внутреннего прогнозирования (INTRA_ANGULAR2) - четвертого режима направленного внутреннего прогнозирования (INTRA_ANGULAR4), 32-го режима направленного внутреннего прогнозирования (INTRA_ANGULAR32) - 36-го режима направленного внутреннего прогнозирования (INTRA_ANGULAR36) либо 64-го режим направленного внутреннего прогнозирования (INTRA_ANGULAR64) - 66-го режим направленного внутреннего прогнозирования (INTRA_ANGULAR66).(Condition 5-1) The product of the width and height of the CU/TU is equal to or less than 128, and the intra prediction mode corresponds to at least one of the intra planar mode (INTRA_PLANAR), the intra DC mode (INTRA_DC), the second directed inter prediction mode (INTRA_ANGULAR2 ) - fourth mode of directed internal forecasting (INTRA_ANGULAR4), 32nd mode of directed internal forecasting (INTRA_ANGULAR32) - 36th mode of directed internal forecasting (INTRA_ANGULAR36) or 64th mode of directed internal forecasting (INTRA_ANGULAR64) - 66th mode of directed internal forecasting forecasting (INTRA_ANGULAR66).

(Условие 5-2) Произведение ширины и высоты CU/TU превышает 128, и режим внутреннего прогнозирования не представляет собой ни 18-ый режим направленного внутреннего прогнозирования (INTRA_ANGULAR18), ни 50-ый режим направленного внутреннего прогнозирования (INTRA_ANGULAR50).(Condition 5-2) The product of the width and height of CU/TU exceeds 128, and the intra prediction mode is neither the 18th directed inter prediction mode (INTRA_ANGULAR18) nor the 50th directed inter prediction mode (INTRA_ANGULAR50).

Между тем, фильтр, применяемый к опорной выборке согласно вышеуказанным условиям, может представлять собой фильтр для сглаживания опорной выборки и, например, может представляет собой фильтр [1 2 1]/4, который описывается ниже. Как описано выше, может быть преимущественным, если фильтр, применяемый к фильтрации опорных выборок, и фильтр, используемый для внутреннего прогнозирования, могут иметь идентичное свойство. Соответственно, когда внутреннее прогнозирование выполняется с использованием опорной выборки, сглаженной посредством применения фильтрации, может быть неэффективным применять фильтр, имеющий резкую примерную тенденцию. Это обусловлено тем, что когда опорная выборка имеет резкую тенденцию (например, край), она имеет выборочное значение, отличающееся от соседних выборочных значений, тогда как, когда опорная выборка имеет сглаженную характеристику, она имеет выборочное значение, аналогичное соседним выборочным значениям. Соответственно, когда фильтр опорных выборок применяется, фильтр, имеющий свойство, которое не противоречит свойству фильтра опорных выборок, должен использоваться на этапе формирования внутренних прогнозных выборок. Например, сглаживающий фильтр, который может использоваться на этапе формирования внутренних прогнозных выборок, может представлять собой любой из 4-отводного гауссова фильтра или линейного интерполяционного фильтра, который описывается ниже.Meanwhile, the filter applied to the reference sample according to the above conditions may be a filter for smoothing the reference sample and, for example, may be a [1 2 1]/4 filter, which is described below. As described above, it may be advantageous if the filter applied to filter the reference samples and the filter used for intra prediction can have the same property. Accordingly, when intraprediction is performed using a reference sample smoothed by applying filtering, it may be ineffective to apply a filter having a sharp approximate trend. This is because when a reference sample has a sharp trend (eg, an edge), it has a sample value different from neighboring sample values, whereas when a reference sample has a smooth characteristic, it has a sample value similar to neighboring sample values. Accordingly, when a reference sample filter is applied, a filter having a property that is consistent with the property of the reference sample filter must be used in the internal prediction sample generation step. For example, the smoothing filter that may be used in the internal prediction sampling step may be any of a 4-tap Gaussian filter or a linear interpolation filter, which is described below.

Между тем, когда фильтр опорных выборок не применяется, опорная выборка может не сглаживаться. В этом случае, несглаженная опорная выборка может иметь резкую тенденцию (например, край). Аналогично вышеприведенному описанию, когда внутреннее прогнозирование выполняется с использованием опорной выборки, имеющей резкую тенденцию, может быть неэффективным применять к сглаживающему фильтру. Соответственно, когда фильтр опорных выборок не применяется, фильтр, используемый на этапе формирования внутренних прогнозных выборок, может представлять собой повышающий резкость фильтр. Например, повышающий резкость фильтр может представлять собой кубический фильтр, который описывается ниже.Meanwhile, when the reference sample filter is not applied, the reference sample may not be smoothed. In this case, the unsmoothed reference sample may have a sharp trend (eg, an edge). Similar to the above description, when intraprediction is performed using a reference sample having a sharp trend, it may not be effective to apply to the smoothing filter. Accordingly, when the reference sample filter is not applied, the filter used in the internal prediction sampling step may be a sharpening filter. For example, the sharpening filter may be a cube filter, which is described below.

В этом отношении, устройство декодирования согласно варианту осуществления может определять фильтр для прогнозирования выборочного значения текущего блока на основе того, следует или нет выполнять фильтрацию опорных выборок. В дальнейшем в этом документе, вариант осуществления, в котором устройство декодирования согласно варианту осуществления определяет фильтр, используемый для того, чтобы извлекать прогнозную выборку в зависимости от того, следует или нет выполнять фильтрацию опорных выборок на этапе S120 формирования прогнозных выборок по фиг. 6. Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ определения фильтра, используемого для того, чтобы извлекать прогнозную выборку в зависимости от того, выполнена или нет фильтрация опорных выборок посредством устройства декодирования согласно варианту осуществления. Устройство декодирования согласно варианту осуществления сначала определяет то, выполнена или нет фильтрация опорных выборок (310). Затем, устройство декодирования извлекает прогнозную выборку с использованием первого фильтра (S320), когда фильтрация опорных выборок не выполнена. Здесь, первый фильтр может представлять собой повышающий резкость фильтр и может представлять собой кубический фильтр.In this regard, the decoding apparatus according to the embodiment can determine a filter for predicting the sample value of the current block based on whether or not to filter the reference samples. Hereinafter, in this document, an embodiment in which the decoding apparatus according to the embodiment determines a filter used to extract the prediction sample depending on whether or not to filter the reference samples in the prediction sample generation step S120 of FIG. 6. Fig. 9 is a flowchart illustrating a method for determining a filter used to extract a prediction sample depending on whether or not filtering of the reference samples is performed by the decoding apparatus according to the embodiment. The decoding apparatus according to the embodiment first determines whether filtering of the reference samples (310) is performed or not. Next, the decoding device extracts the prediction sample using the first filter (S320) when filtering of the reference samples is not performed. Here, the first filter may be a sharpening filter and may be a cube filter.

Затем, устройство декодирования извлекает прогнозную выборку с использованием второго фильтра (S330), когда фильтрация опорных выборок выполнена. Здесь, второй фильтр представляет собой сглаживающий фильтр и может представлять собой любой из 4-отводного гауссова фильтра или линейного интерполяционного фильтра.Next, the decoding apparatus extracts the prediction sample using the second filter (S330) when filtering of the reference samples is completed. Here, the second filter is an anti-aliasing filter and may be any of a 4-tap Gaussian filter or a linear interpolation filter.

Общее представление фильтрации опорных выборок, выполняющей передачу служебных сигналов информацииGeneral presentation of reference sample filtering performing overhead information signaling

Как описано со ссылкой на фиг. 6-9, фильтр, применяемый на этапе S120 формирования прогнозных выборок, может варьироваться в зависимости от того, следует или нет выполнять фильтрацию опорных выборок на этапе S113 фильтрации опорных выборок. Следовательно, имеется потребность передавать в служебных сигналах то, следует или нет выполнять фильтрацию опорных выборок на этапе S113 фильтрации опорных выборок, на этап S120 формирования прогнозных выборок. Следовательно, устройство декодирования выбирает фильтр, применяемый к прогнозной выборке, в зависимости от того, следует или нет выполнять фильтрацию опорных выборок на этапе S113 фильтрации опорных выборок, за счет этого повышая эффективность внутреннего прогнозирования.As described with reference to FIG. 6-9, the filter applied in the prediction sample generating step S120 may vary depending on whether or not to filter the reference samples in the reference sample filtering step S113. Therefore, there is a need to signal whether or not the reference samples are filtered in the reference sample filtering step S113 to the prediction sample generation step S120. Therefore, the decoding apparatus selects a filter applied to the prediction sample depending on whether or not to filter the reference samples in the reference sample filtering step S113, thereby improving the efficiency of intra prediction.

В варианте осуществления, устройство декодирования может передавать в служебных сигналах на этапе формирования прогнозных выборок текущего блока то, следует или нет выполнять фильтрацию опорных выборок с использованием filterFlag, который представляет собой параметр, указывающий то, следует или нет выполнять фильтрацию опорных выборок.In an embodiment, the decoding apparatus may signal in the prediction sample generation step of the current block whether or not to filter the reference samples using a filterFlag, which is a parameter indicating whether or not to filter the reference samples.

С этой целью, после этапа фильтрации опорных выборок, filterFlag, указывающий то, фильтрована или нет опорная выборка, может вводиться на этапе режима внутреннего прогнозирования для режимов 2-66 направленного внутреннего прогнозирования (внутренних угловых режимов), которые описываются ниже. Например, в режимах 2-66 направленного внутреннего прогнозирования, устройство декодирования может определять фильтр для прогнозирования выборочного значения текущего блока с использованием принимаемого filterFlag.To this end, after the reference sample filtering step, a filterFlag indicating whether the reference sample is filtered or not can be input in the intra prediction mode step for directional intra prediction modes 2-66 (intra corner modes), which are described below. For example, in directed intra prediction modes 2-66, a decoder may determine a filter to predict a sample value of the current block using a received filterFlag.

В дальнейшем в этом документе, это описывается подробнее со ссылкой на фиг. 10. Фиг. 10 является блок-схемой последовательности операций, иллюстрирующей способ определения фильтра, используемого для того, чтобы получать выборочное значение текущего блока с использованием filterFlag в качестве параметра, указывающего то, следует или нет выполнять фильтрацию опорных выборок посредством устройства декодирования согласно варианту осуществления. Фиг. 10 показывает этапы, описанные выше со ссылкой на фиг. 8 и 9. Например, этап S401 фильтрации опорных выборок может выполняться на этапе S113 фильтрации опорных выборок, описанном со ссылкой на фиг. 8, и этап S402 формирования прогнозных выборок может выполняться на этапе S120 формирования прогнозных выборок, описанном со ссылкой на фиг. 9.This will be described in more detail later in this document with reference to FIG. 10. Fig. 10 is a flowchart illustrating a method for determining a filter used to obtain a sample value of a current block using filterFlag as a parameter indicating whether or not filtering of reference samples should be performed by the decoding apparatus according to the embodiment. Fig. 10 shows the steps described above with reference to FIG. 8 and 9. For example, the reference sample filtering step S401 may be performed in the reference sample filtering step S113 described with reference to FIG. 8, and the prediction sample generation step S402 may be performed in the prediction sample generation step S120 described with reference to FIG. 9.

Во-первых, устройство декодирования согласно варианту осуществления может определять то, удовлетворяется или нет условие для выполнения фильтрации опорных выборок (S410). Условие для выполнения фильтрации опорных выборок может включать в себя вышеописанные условия. Когда условие для выполнения фильтрации опорных выборок не удовлетворяется, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным первому значению, и в этом случае, первое значение может быть равным 0 (S420). Между тем, когда условие для выполнения фильтрации опорных выборок удовлетворяется, и фильтрация опорных выборок выполняется, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным второму значению, и, в этом случае, второе значение может быть равным 1 (S430).First, the decoding apparatus according to the embodiment can determine whether or not a condition for performing filtering of the reference samples is satisfied (S410). The condition for performing filtering of the reference samples may include the conditions described above. When the condition for performing filtering of the reference samples is not satisfied, the decoding apparatus according to the embodiment may set the filterFlag value to the first value, in which case, the first value may be 0 (S420). Meanwhile, when the condition for performing reference sample filtering is satisfied and the reference sample filtering is performed, the decoding apparatus according to the embodiment may set the filterFlag value to the second value, and, in this case, the second value may be 1 (S430).

Например, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным первому значению, когда фильтрация не применяется к опорной выборке. Помимо этого, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным второму значению, когда фильтрация применяется к опорной выборке. Например, первое значение может быть равным 0, и второе значение может быть равным 1. В этом варианте осуществления, значение filterFlag 0 может указывать то, что фильтрация опорных выборок не выполняется, и значение filterFlag 1 может указывать то, что фильтрация опорных выборок выполняется.For example, the decoding device according to the embodiment may set the filterFlag value to the first value when filtering is not applied to the reference sample. In addition, the decoding apparatus according to the embodiment may set the filterFlag value to the second value when filtering is applied to the reference sample. For example, the first value may be 0 and the second value may be 1. In this embodiment, a filterFlag value of 0 may indicate that reference sample filtering is not performed, and a filterFlag value of 1 may indicate that reference sample filtering is performed.

В одном варианте осуществления, значение filterFlag, сформированное на этапе S410 фильтрации опорных выборок, может передаваться в служебных сигналах на этапе S402 формирования прогнозных выборок. Устройство декодирования согласно варианту осуществления может принимать и значение filterFlag, сформированное на этапе S410 фильтрации опорных выборок, в качестве параметра filterFlag, имеющего идентичное название параметра на этапе S402 формирования прогнозных выборок.In one embodiment, the filterFlag value generated in the reference sample filtering step S410 may be signaled in the prediction sample generation step S402. The decoding apparatus according to the embodiment may also receive the filterFlag value generated in the reference sample filtering step S410 as a filterFlag parameter having the same parameter name in the prediction sample generating step S402.

Устройство декодирования согласно варианту осуществления может определять фильтр для формирования прогнозной выборки на основе значения filterFlag, принимаемого из этапа фильтрации опорных выборок, на этапе формирования прогнозных выборок текущего блока. Например, устройство декодирования согласно варианту осуществления может определять то, соответствует или нет значение filterFlag, принимаемое из этапа фильтрации опорных выборок, второму значению (S440). Когда значение filterFlag не соответствует второму значению, устройство декодирования согласно варианту осуществления может извлекать прогнозную выборку с использованием первого фильтра (S450). Первый фильтр может представлять собой повышающий резкость фильтр и может представлять собой кубический фильтр. Когда значение filterFlag соответствует второму значению, устройство декодирования согласно варианту осуществления может извлекать прогнозную выборку с использованием второго фильтра (S460). Здесь, второй фильтр представляет собой сглаживающий фильтр и может представлять собой любой из 4-отводного гауссова фильтра или линейного интерполяционного фильтра.The decoding apparatus according to an embodiment may determine a filter for generating a prediction sample based on the filterFlag value received from the reference sample filtering step in the prediction sample generation step of the current block. For example, the decoding apparatus according to the embodiment can determine whether or not the filterFlag value received from the reference sample filtering step corresponds to the second value (S440). When the filterFlag value does not correspond to the second value, the decoding apparatus according to the embodiment may extract a predictive sample using the first filter (S450). The first filter may be a sharpening filter and may be a cube filter. When the filterFlag value corresponds to the second value, the decoding apparatus according to the embodiment can extract the predictive sample using the second filter (S460). Here, the second filter is an anti-aliasing filter and may be any of a 4-tap Gaussian filter or a linear interpolation filter.

Более конкретно, когда значение filterFlag, принимаемое из этапа фильтрации опорных выборок, составляет первое значение, указывающее то, что фильтрация не применяется к опорной выборке, устройство декодирования согласно варианту осуществления может определять то, что фильтрация не применяется к опорной выборке, и применять повышающий резкость фильтр, чтобы прогнозировать выборочное значение текущего блока. Аналогично, когда значение filterFlag, принимаемое из этапа фильтрации опорных выборок, составляет второе значение, указывающее то, что фильтрация применяется к внутренней опорной выборке, устройство декодирования согласно варианту осуществления может определять то, что фильтрация применяется к внутренней опорной выборке, и применять сглаживающий фильтр, чтобы прогнозировать выборочное значение текущего блока.More specifically, when the filterFlag value received from the reference sample filtering step is a first value indicating that filtering is not applied to the reference sample, the decoding apparatus according to the embodiment can determine that filtering is not applied to the reference sample and apply sharpening filter to predict the sample value of the current block. Likewise, when the filterFlag value received from the reference sample filtering step is a second value indicating that filtering is applied to the inner reference sample, the decoding apparatus according to the embodiment can determine that filtering is applied to the inner reference sample and apply an anti-aliasing filter, to predict the sample value of the current block.

В варианте осуществления, конкретные значения для первого значения и второго значения filterFlag могут задаваться требуемым образом. Фиг. 11 является блок-схемой последовательности операций способа, иллюстрирующей операцию устройства декодирования, когда первое значение задается равным 0, и второе значение задается равным 1 в варианте осуществления по фиг. 10. В дополнение к заданию первого значения и второго значения, этапы, соответствующие ссылкам с номерами S510-S560 по фиг. 11, могут соответствовать этапам, соответствующим ссылкам с номерами S410-S460 по фиг. 10. Между тем, в другом варианте осуществления, первое значение, указывающее то, что фильтрация опорных выборок не выполняется, может задаваться равным 1, и второе значение, указывающее то, что фильтрация опорных выборок выполняется, может задаваться равным 0.In an embodiment, specific values for the first value and the second filterFlag value may be set as desired. Fig. 11 is a flowchart illustrating the operation of the decoding device when the first value is set to 0 and the second value is set to 1 in the embodiment of FIG. 10. In addition to setting the first value and the second value, the steps corresponding to reference numbers S510 to S560 in FIG. 11 may correspond to steps corresponding to reference numbers S410 to S460 in FIG. 10. Meanwhile, in another embodiment, the first value indicating that reference sample filtering is not performed may be set to 1, and the second value indicating that reference sample filtering is performed may be set to 0.

Помимо этого, filterFlag может задаваться равным 1, когда режим внутреннего прогнозирования текущего блока представляет собой предварительно определенный режим, и в противном случае, может задаваться равным 0. Предварительно определенный режим может представлять собой планарный режим или направленный режим, указывающий опорную выборку в целочисленной позиции. В этом случае, даже если вертикальный режим и горизонтальный режим указывают опорную выборку в целочисленной позиции, значение filterFlag может задаваться равным 0. Таким образом, когда режим внутреннего прогнозирования текущего блока представляет собой один из вышеописанных предварительно определенных режимов, фильтрация опорных выборок может выполняться. В противном случае, фильтрация опорных выборок может не выполняться.In addition, filterFlag may be set to 1 when the intra prediction mode of the current block is a predetermined mode, and may be set to 0 otherwise. The predetermined mode may be a planar mode or a directed mode indicating a reference sample at an integer position. In this case, even if the vertical mode and horizontal mode indicate a reference sample at an integer position, the value of filterFlag may be set to 0. Thus, when the intra prediction mode of the current block is one of the above-described predetermined modes, filtering of the reference samples can be performed. Otherwise, reference sample filtering may not be performed.

Между тем, параметр, указывающий то, фильтрация или нет внутренней опорной выборки по фиг. 10, упоминаться с помощью названия, отличного от filterFlag. Его вариант осуществления показывается на фиг. 12. Аналогично примеру по фиг. 12, filterFlag может называться "refFilterFlag". В дополнение к изменению термина, этапы, соответствующие ссылкам с номерами S610-S660 по фиг. 12, могут соответствовать этапам, соответствующим ссылкам с номерами S410-S460 по фиг. 10.Meanwhile, a parameter indicating whether or not the internal reference sample is filtered in FIG. 10, be referred to by a name other than filterFlag. An embodiment thereof is shown in FIG. 12. Similar to the example in FIG. 12, filterFlag may be named "refFilterFlag". In addition to changing the term, the steps corresponding to reference numbers S610-S660 in FIG. 12 may correspond to steps corresponding to reference numbers S410 to S460 in FIG. 10.

Первый вариант осуществленияFirst embodiment

В дальнейшем в этом документе описываются фильтрация опорных выборок и способ внутреннего прогнозирования согласно варианту осуществления со ссылкой на фиг. 13. Необходимо предоставлять конфигурацию для передачи в служебных сигналах того, следует или нет применять фильтрацию на этапе фильтрации опорных выборок, чтобы применять сглаживающий фильтр к опорной выборке, к которой сглаживающий фильтр применяется для того, чтобы формировать прогнозную выборку, и применять повышающий резкость фильтр к опорной выборке, к которой сглаживающий фильтр не применяется. Следовательно, то, следует или нет применять фильтрацию на этапе фильтрации опорных выборок, может определяться на этапе формирования прогнозных выборок, и фильтр может выбираться, чтобы формировать прогнозную выборку, за счет этого повышая эффективность внутреннего прогнозирования.Hereinafter, this document will describe the filtering of reference samples and the intra prediction method according to the embodiment with reference to FIGS. 13. Configuration must be provided to signal whether or not filtering should be applied in the reference sample filtering step, to apply an anti-aliasing filter to the reference sample on which the anti-aliasing filter is applied to form a predictive sample, and to apply a sharpening filter to reference sample to which the smoothing filter is not applied. Therefore, whether or not filtering should be applied in the reference sample filtering step can be determined in the prediction sample generation step, and a filter can be selected to generate the prediction sample, thereby improving the efficiency of intra prediction.

Фиг. 13 является блок-схемой последовательности операций, иллюстрирующей способ формирования внутренней прогнозной выборки согласно результату выполнения фильтрации опорных выборок посредством устройства декодирования согласно варианту осуществления. Во-первых, устройство декодирования согласно варианту осуществления может получать следующие параметры посредством ввода или извлечения (S710). Например, устройство декодирования может принимать следующие параметры. Здесь, x имеет целочисленное значение от 0 до nTbW-1, и y имеет целое число от 0 до nTbH-1.Fig. 13 is a flowchart illustrating a method for generating an internal prediction sample according to a result of performing filtering on reference samples by a decoding apparatus according to an embodiment. First, the decoding device according to the embodiment can obtain the following parameters by input or extraction (S710). For example, the decoding device may receive the following parameters. Here, x has an integer value from 0 to nTbW-1, and y has an integer value from 0 to nTbH-1.

- пара координат (xTbCmp, yTbCmp), указывающая относительную позицию левой верхней выборки текущего блока преобразования для левой верхней выборки текущего кадра- a coordinate pair (xTbCmp, yTbCmp) indicating the relative position of the top left sample of the current transform block for the top left sample of the current frame

- predModeIntra, который представляет собой параметр, указывающий режим внутреннего прогнозирования- predModeIntra, which is a parameter indicating the internal prediction mode

- nTbW, который представляет собой параметр, указывающий ширину блока преобразования- nTbW, which is a parameter indicating the width of the transform block

- nTbH, который представляет собой параметр, указывающий высоту блока преобразования- nTbH, which is a parameter indicating the height of the transform block

- nCbW, который представляет собой параметр, указывающий ширину блока кодирования- nCbW, which is a parameter indicating the width of the encoding block

- nCbH, который представляет собой параметр, указывающий высоту блока кодирования- nCbH, which is a parameter indicating the height of the encoding block

- cIdx, который представляет собой параметр, указывающий цветовой компонент текущего блока- cIdx, which is a parameter indicating the color component of the current block

Между тем, устройство декодирования согласно варианту осуществления может извлекать параметры refW и refH следующим образом, чтобы формировать внутреннюю прогнозную выборку.Meanwhile, the decoding apparatus according to the embodiment can extract the parameters refW and refH as follows to generate an internal prediction sample.

В примере, когда IntraSubPartitionsSplitType, который представляет собой параметр, указывающий тип разбиения текущего блока кодирования сигналов яркости, указывает неразбитый (ISP_NO_SPLIT), или cIdx, который представляет собой цветовой компонент текущего блока, не равен 0 (т.е. когда текущий блок представляет собой не блок сигналов яркости, а представляет собой блок сигналов цветности), refW и refH могут извлекаться согласно следующим уравнениям.In the example, when IntraSubPartitionsSplitType, which is a parameter indicating the split type of the current luma coding block, indicates unsplitted (ISP_NO_SPLIT), or cIdx, which is the color component of the current block, is not equal to 0 (i.e., when the current block is is not a luma signal block, but is a chrominance signal block), refW and refH can be extracted according to the following equations.

уравнение 6equation 6

refW=nTbW*2refW=nTbW*2

уравнение 7equation 7

refH=nTbH*2refH=nTbH*2

Между тем, в отличие от вышеуказанных условий, когда IntraSubPartitionsSplitType указывает разбиение, и значение cIdx указывает блок сигналов яркости, например, когда IntraSubPartitionsSplitType составляет ISP_HOR_SPLIT, указывающее горизонтальное разбиение, или ISP_VER_SPLIT, указывающее вертикальное разбиение, и значение cIdx имеет значение в 0, указывающее блок сигналов яркости, refW и refH могут извлекаться следующим образом:Meanwhile, in contrast to the above conditions, when IntraSubPartitionsSplitType indicates a split and the cIdx value indicates a luma block, for example, when IntraSubPartitionsSplitType is ISP_HOR_SPLIT indicating a horizontal split or ISP_VER_SPLIT indicating a vertical split and the cIdx value is 0 indicating a block The luminance signals, refW and refH can be extracted as follows:

уравнение 8equation 8

refW=nCbW*2refW=nCbW*2

уравнение 9equation 9

refH=nCbH*2refH=nCbH*2

Кроме того, параметр refIdx, указывающий опорную линию внутреннего прогнозирования, может извлекаться на основе IntraLumaRefLineIdx, который представляет собой массив для сохранения индекса опорной линии, на которую ссылаются во время внутреннего прогнозирования компонента сигнала яркости относительно позиции текущего блока преобразования следующим образом:In addition, a parameter refIdx indicating the intra-prediction reference line may be retrieved based on IntraLumaRefLineIdx, which is an array for storing the index of the reference line referenced during intra-prediction of the luminance signal component relative to the position of the current transform block as follows:

уравнение 10equation 10

refIdx=(cIdx==0)?IntraLumaRefLineIdx[xTbCmp][yTbCmp]:0refIdx=(cIdx==0)?IntraLumaRefLineIdx[xTbCmp][yTbCmp]:0

Затем, устройство декодирования согласно варианту осуществления формирует опорную выборку p[x][y] с использованием вышеописанных параметров (S720). В дальнейшем в этом документе, это описывается подробнее со ссылкой на фиг. 7 снова. Здесь, пара координат x, y может состоять из x=-1-refIdx, y=-1-refIdx - refH-1 и x=- refIdx - refW-1, y=-1-refIdx.Next, the decoding apparatus according to the embodiment generates a reference sample p[x][y] using the above-described parameters (S720). This will be described in more detail later in this document with reference to FIG. 7 again. Here, the x, y coordinate pair may consist of x=-1-refIdx, y=-1-refIdx - refH-1 and x=- refIdx - refW-1, y=-1-refIdx.

Во-первых, устройство декодирования согласно варианту осуществления может проверять доступность опорной выборки относительно выборочной позиции (xTbCmp, yTbCmp) (S111). С этой целью, устройство декодирования может получать, в качестве ввода, refIdx, который представляет собой параметр, указывающий индекс опорной линии внутреннего прогнозирования, refW, который представляет собой параметр, указывающий ширину опорной выборки, refH, который представляет собой параметр, указывающий высоту опорной выборки, cIdx, который представляет собой параметр, указывающий индекс цветового компонента. Помимо этого, устройство декодирования может предоставлять, в качестве вывода, refUnfilt[x][y], который представляет собой параметр, указывающий опорную выборку. Здесь, пара координат x, y может состоять из x=-1-refIdx, y=-1-refIdx - refH-1 и x=- refIdx - refW-1, y=-1-refIdx.First, the decoding apparatus according to the embodiment may check the availability of a reference sample with respect to the sample position (xTbCmp, yTbCmp) (S111). For this purpose, the decoding device may receive, as input, refIdx, which is a parameter indicating the index of the intra prediction reference line, refW, which is a parameter indicating the width of the reference sample, refH, which is a parameter indicating the height of the reference sample , cIdx, which is a parameter indicating the index of the color component. In addition, the decoding device may provide, as an output, refUnfilt[x][y], which is a parameter indicating the reference sample. Here, the x, y coordinate pair may consist of x=-1-refIdx, y=-1-refIdx - refH-1 and x=- refIdx - refW-1, y=-1-refIdx.

Затем, при определении того, что по меньшей мере одна выборка refUnfilt[x][y] пары координат x, y, состоящей из x=-1-refIdx, y=-1-refIdx - refH-1 и x=-refIdx - refW-1, y=-1-refIdx, не доступна, устройство декодирования может выполнять этап (S112) замены опорных выборок.Then, upon determining that at least one sample refUnfilt[x][y] of the x, y coordinate pair consisting of x=-1-refIdx, y=-1-refIdx - refH-1 and x=-refIdx - refW-1, y=-1-refIdx, is not available, the decoding apparatus may perform the reference sample replacement step (S112).

Устройство декодирования может получать, в качестве ввода, refIdx, который представляет собой параметр, указывающий индекс опорной линии внутреннего прогнозирования, refW, который представляет собой параметр, указывающий ширину опорной выборки, refH, который представляет собой параметр, указывающий высоту опорной выборки, cIdx, который представляет собой параметр, указывающий индекс цветового компонента, и refUnfilt[x][y], который представляет собой параметр, указывающий опорную выборку (где координаты x, y состоят из x=-1-refIdx, y=-1-refIdx - refH-1 и x=- refIdx - refW-1, y=-1-refIdx), чтобы выполнять этап замены опорных выборок. Помимо этого, устройство декодирования может формировать refUnfilt[x][y], который представляет собой параметр, указывающий опорную выборку (где пара координат x, y состоит из x=-1-refIdx, y=-1-refIdx - refH-1 и x=- refIdx - refW-1, y=-1-refIdx), модифицированную в результате этапа замены опорных выборок.The decoding apparatus may receive, as input, refIdx, which is a parameter indicating the index of the intra prediction reference line, refW, which is a parameter indicating the width of the reference sample, refH, which is a parameter indicating the height of the reference sample, cIdx, which is a parameter indicating the index of the color component, and refUnfilt[x][y], which is a parameter indicating the reference sample (where x, y coordinates consist of x=-1-refIdx, y=-1-refIdx - refH- 1 and x=- refIdx - refW-1, y=-1-refIdx) to perform the reference sample replacement step. In addition, the decoder may generate refUnfilt[x][y], which is a parameter indicating the reference sample (where the x, y coordinate pair consists of x=-1-refIdx, y=-1-refIdx - refH-1 and x=- refIdx - refW-1, y=-1-refIdx), modified as a result of the step of replacing reference samples.

Затем, устройство декодирования может выполнять этап фильтрации опорных выборок (S113). Устройство декодирования может получать, в качестве ввода, refIdx, указывающий индекс опорной линии внутреннего прогнозирования, nTbW, который представляет собой параметр, указывающий ширину блока преобразования, nTbH, который представляет собой параметр, указывающий высоту блока преобразования, refW, который представляет собой параметр, указывающий ширину опорной выборки, refH, который представляет собой параметр, указывающий высоту опорной выборки, refUnfilt[x][y], который представляет собой параметр, указывающий выборку, которая не фильтруется относительно x=-1-refIdx, y=-1-refIdx - refH-1 и x=-refIdx - refW-1, y=-1-refIdx, и cIdx, который представляет собой параметр, указывающий индекс цветового компонента. Помимо этого, устройство декодирования может формировать filterFlag, который представляет собой параметр, указывающий то, выполняется или нет фильтр опорных выборок, как результат этапа фильтрации опорных выборок, и p[x][y], который представляет собой параметр, указывающий опорную выборку. Здесь, x=-1-refIdx, y=-1-refIdx - refH-1 и x=-refIdx - refW-1, y=-1-refIdx.Next, the decoding apparatus may perform a reference sample filtering step (S113). The decoding apparatus may receive, as an input, refIdx indicating the intra prediction reference line index, nTbW, which is a parameter indicating the width of the transform block, nTbH, which is a parameter indicating the height of the transform block, refW, which is a parameter indicating reference sample width, refH, which is a parameter indicating the height of the reference sample, refUnfilt[x][y], which is a parameter indicating the sample that is not filtered relative to x=-1-refIdx, y=-1-refIdx - refH-1 and x=-refIdx - refW-1, y=-1-refIdx, and cIdx, which is a parameter indicating the index of the color component. In addition, the decoding apparatus may generate filterFlag, which is a parameter indicating whether or not a reference sample filter is executed as a result of the reference sample filtering step, and p[x][y], which is a parameter indicating the reference sample. Here, x=-1-refIdx, y=-1-refIdx - refH-1 and x=-refIdx - refW-1, y=-1-refIdx.

Это описывается снова со ссылкой на фиг. 13. На следующем этапе, устройство декодирования согласно варианту осуществления формирует внутреннюю прогнозную выборку (S730). Устройство декодирования согласно варианту осуществления может определять режим внутреннего прогнозирования, который должен применяться к текущему блоку, согласно значению predModeIntra (S731). Помимо этого, устройство декодирования может формировать внутреннюю прогнозную выборку посредством выполнения внутреннего прогнозирования в определенном режиме внутреннего прогнозирования (S732).This is described again with reference to FIG. 13. In the next step, the decoding apparatus according to the embodiment generates an internal prediction sample (S730). The decoding apparatus according to the embodiment may determine an intra prediction mode to be applied to the current block according to the predModeIntra value (S731). In addition, the decoding device can generate an intra prediction sample by performing intra prediction in a certain intra prediction mode (S732).

Например, когда значение predModeIntra указывает режим внутреннего планарного прогнозирования (INTRA_PLANAR), устройство декодирования согласно варианту осуществления может формировать прогнозную выборку соответствующего блока в режиме внутреннего планарного прогнозирования. В этом случае, устройство декодирования может получать, в качестве ввода, nTbW, который представляет собой параметр, указывающий ширину блока преобразования, nTbH, который представляет собой параметр, указывающий высоту блока преобразования, и p, который представляет собой параметр, указывающий массив опорных выборок. Устройство декодирования может формировать, в качестве результата, predSamples, который представляет собой параметр, указывающий массив прогнозных выборок.For example, when the value predModeIntra indicates the intra planar prediction mode (INTRA_PLANAR), the decoding apparatus according to the embodiment may predictively sample the corresponding block in the intra planar prediction mode. In this case, the decoding apparatus may receive, as input, nTbW, which is a parameter indicating the width of the transform block, nTbH, which is a parameter indicating the height of the transform block, and p, which is a parameter indicating the array of reference samples. The decoding device may generate, as a result, predSamples, which is a parameter indicating an array of predictive samples.

Между тем, когда predModeIntra не является идентичным тому, что описано выше, и predModeIntra указывает режим внутреннего DC-прогнозирования (INTRA_DC), устройство декодирования может формировать прогнозную выборку соответствующего блока в режиме внутреннего DC-прогнозирования. В этом случае, устройство декодирования может получать, в качестве ввода, nTbW, который представляет собой параметр, указывающий ширину блока преобразования, nTbH, который представляет собой параметр, указывающий высоту блока преобразования, и p, который представляет собой параметр, указывающий массив опорных выборок. Устройство декодирования может формировать, в качестве результата, predSamples, который представляет собой параметр, указывающий массив прогнозных выборок.Meanwhile, when predModeIntra is not identical to that described above, and predModeIntra indicates the intra DC prediction mode (INTRA_DC), the decoding apparatus can predictively sample the corresponding block in the intra DC prediction mode. In this case, the decoding apparatus may receive, as input, nTbW, which is a parameter indicating the width of the transform block, nTbH, which is a parameter indicating the height of the transform block, and p, which is a parameter indicating the array of reference samples. The decoding device may generate, as a result, predSamples, which is a parameter indicating an array of predictive samples.

Между тем, когда predModeIntra не является идентичным тому, что описано выше, и predModeIntra представляет собой значение, указывающее режим на основе кросскомпонентной линейной модели (CCLM) для выборки сигнала цветности, такой как INTRA_LT_CCLM, INTRA_L_CCLM или INTRA_T_CCLM, описанный выше, устройство декодирования может выполнять процесс на основе режима внутреннего прогнозирования, соответствующий ему. В этом случае, устройство декодирования может получать, в качестве ввода, predModeIntra, который представляет собой параметр, указывающий режим внутреннего прогнозирования, выборочную позицию (xTbC, yTbC) заданную равной (xTbCmp, yTbCmp), nTbW, который представляет собой параметр, указывающий ширину блока преобразования, nTbH, который представляет собой параметр, указывающий высоту блока преобразования, и p, который представляет собой параметр, указывающий массив опорных выборок. Устройство декодирования может формировать, в качестве вывода, predSamples, который представляет собой параметр, указывающий массив прогнозных выборок.Meanwhile, when predModeIntra is not identical to that described above, and predModeIntra is a value indicating a cross-component linear model (CCLM) mode for chrominance signal sampling such as INTRA_LT_CCLM, INTRA_L_CCLM or INTRA_T_CCLM described above, the decoding apparatus may perform process based on the internal forecasting mode corresponding to it. In this case, the decoding device may receive, as input, predModeIntra, which is a parameter indicating the intra prediction mode, sample position (xTbC, yTbC) set to (xTbCmp, yTbCmp), nTbW, which is a parameter indicating the block width transform, nTbH, which is a parameter indicating the height of the transform block, and p, which is a parameter indicating the array of reference samples. The decoding device may generate, as output, predSamples, which is a parameter indicating an array of predictive samples.

Между тем, когда predModeIntra не является идентичным тому, что описано выше, устройство декодирования может выполнять режим направленного внутреннего прогнозирования. Устройство декодирования может получать, в качестве ввода, predModeIntra, который представляет собой параметр, указывающий режим внутреннего прогнозирования, refIdx, который представляет собой параметр, указывающий индекс опорной линии внутреннего прогнозирования, nTbW, который представляет собой параметр, указывающий ширину блока преобразования, nTbH, который представляет собой параметр, указывающий высоту блока преобразования, refW, который представляет собой параметр, указывающий ширину опорной выборки, refH, который представляет собой параметр, указывающий высоту опорной выборки, nCbW, указывающий ширину блока кодирования, nCbH, который представляет собой параметр, указывающий высоту блока кодирования, cIdx, который представляет собой параметр, указывающий индекс цветового компонента, filterFlag, который представляет собой параметр, указывающий то, выполняется или нет фильтрация опорных выборок, и p, который представляет собой параметр, указывающий массив опорных выборок. Устройство декодирования может формировать predModeIntra, который представляет собой параметр, указывающий режим внутреннего прогнозирования, модифицированный в результате его выполнения, и predSamples, который представляет собой параметр, указывающий массив прогнозных выборок.Meanwhile, when predModeIntra is not identical to that described above, the decoding apparatus may execute the directed intra prediction mode. The decoding apparatus may receive, as input, predModeIntra, which is a parameter indicating the intra prediction mode, refIdx, which is a parameter indicating the intra prediction reference line index, nTbW, which is a parameter indicating the transform block width, nTbH, which is a parameter indicating the height of the transform block, refW, which is a parameter indicating the width of the reference sample, refH, which is a parameter indicating the height of the reference sample, nCbW, which is the width of the encoding block, nCbH, which is a parameter indicating the height of the block encoding, cIdx, which is a parameter indicating the color component index, filterFlag, which is a parameter indicating whether filtering of the reference samples is performed or not, and p, which is a parameter indicating an array of reference samples. The decoding apparatus may generate predModeIntra, which is a parameter indicating the intra prediction mode modified by its execution, and predSamples, which is a parameter indicating an array of prediction samples.

В дальнейшем в этом документе описывается способ выполнения режима направленного внутреннего прогнозирования посредством устройства декодирования согласно варианту осуществления со ссылкой на фиг. 14. Фиг. 14 является блок-схемой последовательности операций, иллюстрирующей способ выполнения режима направленного внутреннего прогнозирования посредством устройства декодирования согласно варианту осуществления. Устройство декодирования согласно варианту осуществления может формировать режим predModeIntra внутреннего прогнозирования, , модифицированный в результате выполнения второго - 66-го режимов направленного внутреннего прогнозирования (INTRA_ANGULAR2 в INTRA_ANGULAR66), и прогнозированную выборку predSamples[x][y]. Здесь, x=0 - nTbW-1 и y=0 - nTbH-1.Hereinafter, this document will describe a method for performing the directed intra prediction mode by the decoding apparatus according to the embodiment with reference to FIG. 14. Fig. 14 is a flowchart illustrating a method for executing a directed intra prediction mode by a decoding apparatus according to an embodiment. The decoding apparatus according to an embodiment may generate the intra prediction mode predModeIntra, modified by executing the second to 66th directed intra prediction modes (INTRA_ANGULAR2 to INTRA_ANGULAR66), and the predicted sample predSamples[x][y]. Here, x=0 - nTbW-1 and y=0 - nTbH-1.

Во-первых, устройство декодирования согласно варианту осуществления получает параметры, требуемые для того, чтобы выполнять режим направленного внутреннего прогнозирования (S810). Например, устройство декодирования согласно варианту осуществления может получать, в качестве ввода, следующие параметры, чтобы выполнять режим направленного внутреннего прогнозирования.First, the decoding apparatus according to the embodiment obtains the parameters required to perform the directed intra prediction mode (S810). For example, the decoding apparatus according to the embodiment may receive, as input, the following parameters to perform a directed intra prediction mode.

- predModeIntra, который представляет собой параметр, указывающий режим внутреннего прогнозирования- predModeIntra, which is a parameter indicating the internal prediction mode

- refIdx, который представляет собой параметр, указывающий индекс опорной линии внутреннего прогнозирования- refIdx, which is a parameter indicating the index of the internal forecasting reference line

- nTbW, который представляет собой параметр, указывающий ширину блока преобразования- nTbW, which is a parameter indicating the width of the transform block

- nTbH, который представляет собой параметр, указывающий высоту блока преобразования- nTbH, which is a parameter indicating the height of the transform block

- refW, который представляет собой параметр, указывающий ширину опорной выборки- refW, which is a parameter indicating the width of the reference sample

- refH, который представляет собой параметр, указывающий высоту опорной выборки- refH, which is a parameter indicating the height of the reference sample

- nCbW, который представляет собой параметр, указывающий ширину блока кодирования- nCbW, which is a parameter indicating the width of the encoding block

- nCbH, который представляет собой параметр, указывающий высоту блока кодирования- nCbH, which is a parameter indicating the height of the encoding block

- cIdx, который представляет собой параметр, указывающий цветовой компонент текущего блока- cIdx, which is a parameter indicating the color component of the current block

- filterFlag, который представляет собой параметр, указывающий фильтрацию опорных выборок- filterFlag, which is a parameter indicating filtering of reference samples

- соседняя выборка p[x][y] (здесь, пара x, y состоит из x=- 1-refIdx, y=- 1-refIdx - refH-1 и x=-refIdx - refW-1, y=- 1-refIdx),- neighboring sample p[x][y] (here, the pair x, y consists of x=- 1-refIdx, y=- 1-refIdx - refH-1 and x=-refIdx - refW-1, y=- 1 -refIdx),

Здесь, соседняя выборка p[x][y] может представлять собой массив p[x][y] опорных выборок, сформированный посредством выполнения этапа S720 формирования опорных выборок, описанного выше со ссылкой на фиг. 13.Here, the neighboring sample p[x][y] may be a reference sample array p[x][y] generated by executing the reference sample generation step S720 described above with reference to FIG. 13.

Между тем, nTbS, который представляет собой параметр, указывающий горизонтальный размер выборки блока преобразования, может определяться в качестве (Log2(nTbW)+Log2(nTbH))>>1.Meanwhile, nTbS, which is a parameter indicating the horizontal sample size of the transform block, can be determined as (Log2(nTbW)+Log2(nTbH))>>1.

Помимо этого, устройство декодирования может извлекать параметр nW, указывающий ширину текущего блока, и параметр nH, указывающий высоту текущего блока. В варианте осуществления, устройство декодирования может извлекать nW и nH на основе значений IntraSubPartitionsSplitType и cIdx. Устройство декодирования может извлекать nW и nH следующим образом, когда IntraSubPartitionsSplitType составляет ISP_NO_SPLIT, или cIdx не равен 0.In addition, the decoding apparatus may extract a parameter nW indicating the width of the current block and a parameter nH indicating the height of the current block. In an embodiment, the decoder may extract nW and nH based on the IntraSubPartitionsSplitType and cIdx values. The decoder can extract nW and nH as follows when IntraSubPartitionsSplitType is ISP_NO_SPLIT or cIdx is not 0.

уравнение 11equation 11

nW=nTbWnW=nTbW

уравнение 12equation 12

nH=nTbHnH=nTbH

Между тем, когда значения IntraSubPartitionsSplitType и cIdx не являются идентичными тому, что описано выше (например, IntraSubPartitionsSplitType не равен ISP_NO_SPLIT, и cIdx равен 0), устройство декодирования может извлекать nW и nH следующим образом:Meanwhile, when the values of IntraSubPartitionsSplitType and cIdx are not identical to those described above (for example, IntraSubPartitionsSplitType is not equal to ISP_NO_SPLIT, and cIdx is 0), the decoding device can extract nW and nH as follows:

уравнение 13equation 13

nW=nCbWnW=nCbW

уравнение 14equation 14

nH=nCbHnH=nCbH

Помимо этого, устройство декодирования может задавать whRatio, который представляет собой параметр, указывающий соотношение сторон (соотношение ширины к высоте) текущего блока с использованием nW и nH согласно результату вычисления Abs(Log2(nW/nH)). Кроме того, устройство декодирования может определять широкий угол, который представляет собой параметр, указывающий то, представляет он собой широкий угол или нет, в качестве 0.In addition, the decoding apparatus may specify whRatio, which is a parameter indicating the aspect ratio (width to height ratio) of the current block using nW and nH according to the result of the calculation Abs(Log2(nW/nH)). In addition, the decoding apparatus may determine a wide angle, which is a parameter indicating whether it is a wide angle or not, as 0.

Между тем, в случае неквадратного блока (например, nW не равно nH), устройство декодирования может модифицировать predModeIntra, который представляет собой параметр, указывающий режим внутреннего прогнозирования. Например, устройство декодирования может задавать широкий угол равным 1 и модифицировать predModeIntra на значение (predModeIntra+65), когда все из следующих условий представляют собой "истина".Meanwhile, in the case of a non-square block (eg, nW is not equal to nH), the decoding apparatus may modify predModeIntra, which is a parameter indicating the intra prediction mode. For example, the decoder may set the wide angle to 1 and modify predModeIntra to the value (predModeIntra+65) when all of the following conditions are true.

(Условие 1) nW превышает nH.(Condition 1) nW exceeds nH.

(Условие 2) predModeIntra превышает или равно 2.(Condition 2) predModeIntra is greater than or equal to 2.

(Условие 3) predModeIntra меньше значения, вычисленного посредством (whRatio>1)?(8+2*whRatio):8.(Condition 3) predModeIntra is less than the value calculated by (whRatio>1)?(8+2*whRatio):8.

Тем не менее, если все вышеуказанные условия представляют собой "истина", устройство декодирования может задавать широкий угол равным 1 и модифицировать predModeIntra на значение (predModeIntra-67), когда все из следующих условий представляют собой "истина".However, if all of the above conditions are true, the decoder may set the wide angle to 1 and modify predModeIntra to the value (predModeIntra-67) when all of the following conditions are true.

(Условие 1) nH превышает nW.(Condition 1) nH exceeds nW.

(Условие 2) predModeIntra имеет значение 66 или меньше.(Condition 2) predModeIntra is 66 or less.

(Условие 3) predModeIntra имеет значение, большее значения, вычисленного посредством (whRatio>1)? (60-2*whRatio): 60.(Condition 3) does predModeIntra have a value greater than the value calculated by (whRatio>1)? (60-2*whRatio): 60.

Помимо этого, устройство декодирования может извлекать модифицированный filterFlag. Фиг. 15 является блок-схемой последовательности операций, иллюстрирующей способ получения значения модифицированного filterFlag посредством устройства декодирования. В варианте осуществления, устройство декодирования может определять то, представляет или нет по меньшей мере одно из следующих условий собой "истина" (S910). Когда по меньшей мере одно из следующих условий представляет собой "истина", устройство декодирования может задавать значение модифицированного filterFlag равным первому значению (S930). В варианте осуществления, первое значение может быть равным 0.In addition, the decoding device can extract the modified filterFlag. Fig. 15 is a flowchart illustrating a method for obtaining a value of a modified filterFlag by a decoding apparatus. In an embodiment, the decoding apparatus may determine whether or not at least one of the following conditions is true (S910). When at least one of the following conditions is true, the decoding apparatus may set the value of the modified filterFlag to the first value (S930). In an embodiment, the first value may be 0.

(Условие 1) IntraSubPartitionsSplitType не равен ISP_NO_SPLIT, cIdx, равно 0, predModeIntra превышает или равен INTRA_ANGULAR34 и nW превышает 8.(Condition 1) IntraSubPartitionsSplitType is not equal to ISP_NO_SPLIT, cIdx is equal to 0, predModeIntra is greater than or equal to INTRA_ANGULAR34 and nW is greater than 8.

(Условие 2) IntraSubPartitionsSplitType не равен ISP_NO_SPLIT, cIdx, равно 0, predModeIntra меньше INTRA_ANGULAR34, и nH превышает 8.(Condition 2) IntraSubPartitionsSplitType is not equal to ISP_NO_SPLIT, cIdx is equal to 0, predModeIntra is less than INTRA_ANGULAR34, and nH is greater than 8.

Между тем, когда вышеуказанные условия не удовлетворяются, устройство декодирования может задавать значение модифицированного filterFlag равным второму значению (S920). В варианте осуществления, второе значение может вычисляться как 1-filterFlag. Например, когда значение filterFlag равно 0, значение модифицированного filterFlag может определяться в качестве 1, а когда значение filterFlag равно 1, значение модифицированного filterFlag может определяться в качестве 0.Meanwhile, when the above conditions are not satisfied, the decoding apparatus may set the value of the modified filterFlag to the second value (S920). In an embodiment, the second value may be calculated as 1-filterFlag. For example, when the value of filterFlag is 0, the value of the modified filterFlag may be determined to be 1, and when the value of filterFlag is 1, the value of the modified filterFlag may be determined to be 0.

Фиг. 16 является таблицей преобразования между predModeIntra и intraPredAngle, который представляет собой параметр, указывающий угол. Устройство декодирования может извлекать invAngle, который представляет собой параметр, указывающий обратный угол, следующим образом на основе intraPredAngle таблицы преобразования по фиг. 16.Fig. 16 is a conversion table between predModeIntra and intraPredAngle, which is a parameter indicating the angle. The decoding apparatus may extract invAngle, which is a parameter indicating the inverse angle, as follows based on the intraPredAngle lookup table of FIG. 16.

уравнение 15equation 15

invAngle=Round((256*32)/"intraPredAngle")invAngle=Round((256*32)/"intraPredAngle")

Здесь, функция Round означает операцию округления для представления целого числа.Here, the Round function means the rounding operation to represent an integer.

Фиг. 17 представляет собой таблицу, иллюстрирующую коэффициенты кубического фильтра (fC) и гауссова фильтра (fG) в качестве интерполяционного фильтра, используемого для внутреннего прогнозирования. Когда фаза составляет от 0 до 31, и j имеет значение в 0-3, вариант осуществления fC[phase][j] и fG[phase][j], которые представляют собой коэффициенты кубического фильтра (fC) и гауссова фильтра (fG), показывается на фиг. 17.Fig. 17 is a table illustrating the coefficients of a cubic filter (fC) and a Gaussian filter (fG) as an interpolation filter used for intra prediction. When the phase is from 0 to 31 and j has a value of 0 to 3, an embodiment of fC[phase][j] and fG[phase][j], which are the coefficients of the cubic filter (fC) and Gaussian filter (fG) , is shown in Fig. 17.

Затем, устройство декодирования может извлекать массив ref[x] опорных выборок на основе массива p[x] соседних выборок (S820) и извлекать массив predSamples[x][y] прогнозных выборок (S830). В дальнейшем в этом документе, это описывается со ссылкой на фиг. 5 и 16-20. Фиг. 18-20 являются блок-схемами последовательности операций, иллюстрирующими способ извлечения массива ref[x] опорных выборок посредством устройства декодирования согласно варианту осуществления.Next, the decoding apparatus may extract reference sample array ref[x] based on neighbor sample array p[x] (S820) and extract prediction sample array predSamples[x][y] (S830). Hereinafter in this document, this is described with reference to FIGS. 5 and 16-20. Fig. 18 to 20 are flowcharts illustrating a method for extracting reference sample array ref[x] by a decoding apparatus according to an embodiment.

Во-первых, как показано на фиг. 18, устройство декодирования согласно варианту осуществления может определять опорную выборку, на которую ссылаются, чтобы извлекать массив predSample[x][y] прогнозных выборок текущего блока согласно значению predModeIntra (S1010). Когда значение predModeIntra превышает или равно 34, устройство декодирования может извлекать predSample[x][y] главным образом с использованием соседних выборок, расположенных выше текущего блока, из соседних выборок p[x][y] (S1020). Когда значение predModeIntra меньше 34, устройство декодирования может извлекать predSample[x][y] главным образом с использованием выборок, расположенных слева относительно текущего блока, из соседних выборок p[x][y] (S1030).Firstly, as shown in FIG. 18, the decoding apparatus according to the embodiment can determine a reference sample referenced to retrieve an array of predSample[x][y] prediction samples of the current block according to the predModeIntra value (S1010). When the value of predModeIntra is greater than or equal to 34, the decoding apparatus may extract predSample[x][y] mainly using neighboring samples located above the current block from neighboring samples p[x][y] (S1020). When the value of predModeIntra is less than 34, the decoding device can extract predSample[x][y] mainly using samples located to the left of the current block from neighboring samples p[x][y] (S1030).

В дальнейшем подробнее описывается этап S1020 конструирования predSample[x][y] главным образом с использованием соседних выборок, расположенных выше текущего блока, посредством устройства декодирования, со ссылкой на фиг. 19. Устройство декодирования может извлекать массив ref[x] опорных выборок; ref[x] может конструироваться посредством добавления дополнительной выборки после формирования основного массива опорных выборок. Во-первых, ref[x] может состоять из основного массива опорных выборок, который представляет собой набор выборок, на которые ссылаются в качестве основного значения, чтобы получать выборочное значение текущего блока. Например, когда гауссов или кубический фильтр, описанный ниже, применяется к массиву опорных выборок, чтобы извлекать значение каждой выборки текущего блока, опорная выборка, к которой применяется наибольший коэффициент фильтрации, может представлять собой опорную выборку, на которую ссылаются в качестве основного значения. В этом примере, основной массив опорных выборок может конструироваться посредством набора опорных выборок, состоящего из выборок, к которым применяется наибольший коэффициент фильтрации. Более конкретно, в примере таблицы для коэффициента фильтрации по фиг. 17, когда фаза p равна 0, коэффициент интерполяционной fG-фильтрации имеет наибольшее значение в fG[0][1], и опорная выборка, соответствующая ему, может определяться в качестве основной опорной выборки. Чтобы конструировать такой основной массив опорных выборок, основной массив опорных выборок может конструироваться посредством значений соседних выборок, указываемых в направлении внутреннего прогнозирования текущего блока.Next, step S1020 of constructing predSample[x][y] mainly using neighboring samples located above the current block by the decoding apparatus will be described in more detail with reference to FIG. 19. The decoding device may retrieve an array of reference samples ref[x]; ref[x] can be constructed by adding an additional sample after the main array of reference samples has been formed. First, ref[x] can consist of a main reference samples array, which is a set of samples that are referenced as the main value to obtain the sample value of the current block. For example, when a Gaussian or cubic filter, described below, is applied to an array of reference samples to extract the value of each sample of the current block, the reference sample to which the largest filter factor is applied may be the reference sample referred to as the base value. In this example, the main array of reference samples may be constructed by a set of reference samples consisting of samples to which the largest filter factor is applied. More specifically, in the example filter coefficient table of FIG. 17, when the phase p is 0, the interpolation filter fG coefficient has the largest value in fG[0][1], and the reference sample corresponding to it can be determined as the main reference sample. To construct such a core reference sample array, the core reference sample array may be constructed by the values of neighboring samples indicated in the intra prediction direction of the current block.

Устройство декодирования может извлекать основной массив ref[x] опорных выборок с использованием соседних выборок, расположенных выше текущего блока, чтобы извлекать массив ref[x] опорных выборок (S1110). Следующее уравнение может использоваться для того, чтобы выполнять этот этап.The decoding apparatus may extract the main reference sample array ref[x] using adjacent samples located above the current block to extract the reference sample array ref[x] (S1110). The following equation can be used to carry out this step.

уравнение 16equation 16

ref[x]=p[-1-refIdx+x][-1-refIdx], где x может иметь значение от 0 до nTbW+refIdx.ref[x]=p[-1-refIdx+x][-1-refIdx], where x can have a value from 0 to nTbW+refIdx.

Когда predModeIntra равен 34, nTbW равен 8, и refIdx равен 0, взаимосвязь соответствия между ref[0] - ref[8], сформированными согласно уравнению 16, и соседними блоками показывается на фиг. 21.When predModeIntra is 34, nTbW is 8, and refIdx is 0, the correspondence relationship between ref[0] - ref[8] generated according to Equation 16 and neighboring blocks is shown in FIG. 21.

Затем, устройство декодирования определяет соседние блоки, на которые ссылаются, чтобы расширять основной массив опорных выборок согласно значению intraPredAngle, извлекаемого согласно фиг. 16 (S1120). Когда значение intrapredAngle меньше 0, устройство декодирования может расширять основной массив опорных выборок с использованием соседних выборок, расположенных слева относительно текущего блока (S1130). Например, когда результат вычисления (nTbH*intraPredAngle)>>5 меньше -1, устройство декодирования может расширять основной массив опорных выборок из значения левого соседнего блока с использованием нижеприведенного уравнения 17.Next, the decoding apparatus determines the neighboring blocks that are referenced to expand the main array of reference samples according to the intraPredAngle value extracted according to FIG. 16 (S1120). When the value of intrapredAngle is less than 0, the decoding device may expand the main array of reference samples using neighboring samples located to the left of the current block (S1130). For example, when the calculation result (nTbH*intraPredAngle)>>5 is less than -1, the decoding apparatus may expand the main array of reference samples from the value of the left adjacent block using Equation 17 below.

уравнение 17equation 17

ref[x]=p[-1-refIdx][-1-refIdx+((x*invAngle+128)>>8)], где x может иметь значение -1 - (nTbH*intraPredAngle)>>5. Когда predModeIntra равен 34, nTbW равен 8, nTbH равен 8, и refIdx равен 0, взаимосвязь соответствия между ref[-1]-ref[-8], сформированными согласно уравнению 17, и соседними блоками показывается на фиг. 22.ref[x]=p[-1-refIdx][-1-refIdx+((x*invAngle+128)>>8)], where x can have the value -1 - (nTbH*intraPredAngle)>>5. When predModeIntra is 34, nTbW is 8, nTbH is 8, and refIdx is 0, the correspondence relationship between ref[-1]-ref[-8] generated according to Equation 17 and neighboring blocks is shown in FIG. 22.

Затем, устройство декодирования может добавлять дополнительные выборки в оба конца основного массива опорных выборок (S1140). Как описано ниже, в случае если 4-отводный фильтр применяется для того, чтобы получать выборочное значение текущего блока, когда опорные выборки на обоих концах основной опорной выборки могут выбираться в качестве основной опорной выборки, и фильтр применяется к опорным выборкам, значение опорной выборки, которая должна вводиться в фильтр, может не присутствовать.Then, the decoding apparatus may add additional samples to both ends of the main array of reference samples (S1140). As described below, in the case that a 4-tap filter is applied to obtain the sample value of the current block, when the reference samples at both ends of the main reference sample can be selected as the main reference sample, and the filter is applied to the reference samples, the value of the reference sample is which should be introduced into the filter may not be present.

Например, когда гауссов фильтр (fG), имеющий 0 в качестве значения фазы (p) на фиг. 17, применяется с использованием ref[8] по фиг. 21 в качестве основной опорной выборки, значение опорной выборки, соответствующее fG[0][2] и fG[0][3], не присутствует в ref[]. В этом примере, поскольку значение коэффициента fG[0][3] равно 0, значение для опорного значения, соответствующее соответствующей позиции, может не указываться. Тем не менее, поскольку коэффициент fG[0][2] присутствует, выборочное значение для fG[0][2] должно сохраняться в ref[].For example, when a Gaussian filter (fG) having 0 as the phase value (p) in FIG. 17 is applied using ref[8] of FIG. 21 as the main reference sample, the reference sample value corresponding to fG[0][2] and fG[0][3] is not present in ref[]. In this example, since the coefficient value fG[0][3] is 0, the value for the reference value corresponding to the corresponding position may not be specified. However, since the coefficient fG[0][2] is present, the sample value for fG[0][2] must be stored in ref[].

Чтобы исключать эту проблему, дополнительные выборки могут добавляться в концы основного массива опорных выборок. Дополнительная выборка может задаваться равной значению опорной выборки, имеющей индекс, ближайший к индексу дополнительной выборки, на основе индекса основного массива опорных выборок. С этой целью, устройство декодирования может копировать значение опорной выборки, имеющей индекс, ближайший к дополнительной выборке, из ref[], либо получать его из значения соседних блоков, соответствующих ему, и сохранять его в ref[].To eliminate this problem, additional samples can be added to the ends of the main array of reference samples. The additional sample may be set to be equal to the value of the reference sample having an index closest to the index of the additional sample, based on the index of the main array of reference samples. To this end, the decoder may copy the value of the reference sample having the index closest to the supplementary sample from ref[], or obtain it from the value of neighboring blocks corresponding to it and store it in ref[].

Нижеприведенные равнения 18 и 19 представляют вычисление устройства декодирования для того, чтобы добавлять дополнительные выборки в оба конца основного массива опорных выборок с использованием предварительно вычисленного основного массива опорных выборок. Устройство декодирования может добавлять дополнительные выборки в массив опорных выборок с использованием следующих уравнений.Equations 18 and 19 below represent the calculation of the decoder to add additional samples to both ends of the main reference sample array using the pre-computed main reference sample array. The decoder can add additional samples to the reference sample array using the following equations.

уравнение 18equation 18

ref[((nTbH*intraPredAngle)>>5)-1]=ref[(nTbH*intraPredAngle)>>5]ref[((nTbH*intraPredAngle)>>5)-1]=ref[(nTbH*intraPredAngle)>>5]

уравнение 19equation 19

ref[nTbW+1+refIdx]=ref[nTbW+refIdx]ref[nTbW+1+refIdx]=ref[nTbW+refIdx]

Когда predModeIntra равен 34, nTbW равен 8, и refIdx равен 0, взаимосвязь соответствия между ref[-9] и ref[9], сформированными согласно уравнению 18, и соседними блоками показывается на фиг. 23.When predModeIntra is 34, nTbW is 8, and refIdx is 0, the correspondence relationship between ref[-9] and ref[9] generated according to Equation 18 and neighboring blocks is shown in FIG. 23.

Между тем, когда intraPredAngle не меньше 0, устройство декодирования может расширять основной массив опорных выборок с использованием соседних выборок, расположенных справа сверху относительно текущего блока (S1150). Устройство декодирования может расширять основной массив опорных выборок из значения соседнего блока справа сверху с использованием нижеприведенного уравнения 20.Meanwhile, when intraPredAngle is not less than 0, the decoding device can expand the main array of reference samples using neighboring samples located at the top right of the current block (S1150). The decoding apparatus may expand the main array of reference samples from the value of the upper right adjacent block using Equation 20 below.

уравнение 20equation 20

ref[x]=p[-1-refIdx+x][-1-refIdx], где x=nTbW+1+refIdx - refW+refIdx.ref[x]=p[-1-refIdx+x][-1-refIdx], where x=nTbW+1+refIdx - refW+refIdx.

Когда predModeIntra равен 66, nTbW равен 8, nTbH равен 8, refW равен 16, и refIdx равен 0, взаимосвязь соответствия между ref[9]-ref[16], сформированными согласно уравнению 20, и соседними блоками показывается на фиг. 24.When predModeIntra is 66, nTbW is 8, nTbH is 8, refW is 16, and refIdx is 0, the correspondence relationship between ref[9]-ref[16] generated according to Equation 20 and neighboring blocks is shown in FIG. 24.

Затем, устройство декодирования может добавлять дополнительную выборку в левый конец основного массива опорных выборок (S1160). В варианте осуществления, устройство декодирования может определять выборочное значение ref[-1] с использованием выборочного значения ref[0] с использованием нижеприведенного уравнения 21.Next, the decoding apparatus may add an additional sample to the left end of the main reference sample array (S1160). In an embodiment, the decoding apparatus may determine the sample value ref[-1] using the sample value ref[0] using Equation 21 below.

уравнение 21equation 21

ref[-1]=ref[0]ref[-1]=ref[0]

Затем, устройство декодирования добавляет дополнительную выборку в правый конец основного массива опорных выборок (S1170). Устройство декодирования может добавлять дополнительную выборку в правый конец основного массива опорных выборок согласно соотношению whRatio сторон текущего блока. В варианте осуществления, устройство декодирования может извлекать ref[refW+refIdx+x], который представляет собой параметр, указывающий дополнительную выборку, с использованием нижеприведенного уравнения 22. Здесь, x равен 1 - Max(1, nTbW/nTbH)*refIdx+1).Next, the decoding apparatus adds an additional sample to the right end of the main array of reference samples (S1170). The decoder may add an additional sample to the right end of the main array of reference samples according to the whRatio of the current block's aspect ratio. In an embodiment, the decoding apparatus may extract ref[refW+refIdx+x], which is a parameter indicating an additional sample, using Equation 22 below. Here, x is equal to 1 - Max(1, nTbW/nTbH)*refIdx+1 ).

уравнение 22equation 22

ref[refW+refIdx+x]=p[-1+refW][-1-refIdx]ref[refW+refIdx+x]=p[-1+refW][-1-refIdx]

В варианте осуществления, в котором predModeIntra равен 66, nTbw равен 8, nTbH равен 8, refW равен 16, и refIdx равен 0, взаимосвязь соответствия между дополнительными выборками ref[-1] и ref[17], сформированными согласно уравнению 21 и 22, и соседними блоками показывается на фиг. 24.In the embodiment in which predModeIntra is equal to 66, nTbw is equal to 8, nTbH is equal to 8, refW is equal to 16, and refIdx is equal to 0, the correspondence relationship between the additional samples ref[-1] and ref[17] generated according to equation 21 and 22, and adjacent blocks is shown in Fig. 24.

Затем, устройство декодирования может извлекать массив прогнозных выборок с использованием сформированного массива опорных выборок (S1180). В дальнейшем описывается этот этап со ссылкой на фиг. 20. Например, устройство декодирования может извлекать прогнозную выборку predSamples[x][y], имеющую значения x=0 - nTbW-1 и y=0 - nTbH-1 следующим образом: Во-первых, устройство декодирования может извлекать iIdx, который представляет собой индексный параметр для извлечения прогнозной выборки, и коэффициент iFact умножения следующим образом (S1210).Then, the decoding device can extract the prediction sample array using the generated reference sample array (S1180). This step is described below with reference to FIG. 20. For example, the decoding device may extract the predictive sample predSamples[x][y] having the values x=0 - nTbW-1 and y=0 - nTbH-1 as follows: First, the decoding device may extract iIdx, which represents is an index parameter for extracting the prediction sample, and a multiplication coefficient iFact as follows (S1210).

уравнение 23equation 23

iIdx=((y+1+refIdx)*intraPredAngle)>>5+refIdxiIdx=((y+1+refIdx)*intraPredAngle)>>5+refIdx

уравнение 24equation 24

iFact=((y+1+refIdx)*intraPredAngle) и 31iFact=((y+1+refIdx)*intraPredAngle) and 31

Затем, устройство декодирования определяет то, представляет или нет текущий блок собой блок сигналов яркости, согласно значению cIdx (S1220). В этом случае, когда cIdx равен 0, устройство декодирования выбирает интерполяционный фильтр для извлечения прогнозной выборки сигналов яркости согласно значению filterFlag (S1230). Устройство декодирования может извлекать коэффициент fT[j] интерполяционной фильтрации с j=0-3 следующим образом:Next, the decoding apparatus determines whether or not the current block is a luma signal block according to the cIdx value (S1220). In this case, when cIdx is 0, the decoding device selects an interpolation filter for extracting a predictive sample of luminance signals according to the filterFlag value (S1230). The decoding apparatus may extract the interpolation filter coefficient fT[j] with j=0-3 as follows:

уравнение 25equation 25

fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j]fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j]

Более конкретно, устройство декодирования может выбирать коэффициенты гауссовой фильтрации (fG) для значения фазы (p), выбранного в качестве значения iFact, когда значение filterFlag равно 1. В этом случае, устройство декодирования может извлекать прогнозную выборку сигналов яркости текущего блока посредством применения гауссова фильтра к опорной выборке с использованием выбранного значения коэффициента фильтрации (S1240)More specifically, the decoding apparatus may select Gaussian filter coefficients (fG) for the phase value (p) selected as the iFact value when the value of filterFlag is 1. In this case, the decoding apparatus may extract a predictive sample of luminance signals of the current block by applying a Gaussian filter to the reference sample using the selected filter coefficient value (S1240)

Между тем, устройство декодирования может выбирать коэффициенты кубической фильтрации (fC) для значения фазы (p), выбранного в качестве значения iFact, когда значение filterFlag не равно 1. В этом случае, устройство декодирования может извлекать прогнозную выборку сигналов яркости текущего блока посредством применения кубического фильтра к опорной выборке с использованием выбранного значения коэффициента фильтрации (S1250).Meanwhile, the decoding apparatus may select cubic filter coefficients (fC) for the phase value (p) selected as the iFact value when the filterFlag value is not 1. In this case, the decoding apparatus may extract a predictive sample of luminance signals of the current block by applying cubic filter to the reference sample using the selected filter coefficient value (S1250).

В варианте осуществления, значение прогнозной выборки predSamples[x][y] может извлекаться следующим образом с использованием выбранного коэффициента fT[i] фильтрации.In an embodiment, the predictive sample value predSamples[x][y] may be retrieved as follows using the selected filter coefficient fT[i].

уравнение 26equation 26

predSamples[x][y]=Clip1Y((( )+32)>>6)predSamples[x][y]=Clip1Y((( )+32)>>6)

В варианте осуществления, predModeIntra может быть равным 66, nTbW может быть равным 8, nTbH может быть равным 8, refW может быть равным 16, refIdx может быть равным 0, и cIdx может задаваться равным 0. В этом варианте осуществления, согласно вышеприведенным уравнениям 23 и 24, значение iIdx для predSamples[0][0] может задаваться равным 1, значение iFact может задаваться равным 0, значение iIdx для predSamples [7][7] может задаваться равным 8, и значение iFact может задаваться равным 0. Помимо этого, когда filterFlag имеет значение 1, fT[j] может задаваться равным коэффициенту фильтрации согласно гауссову фильтру и может задаваться равным fT[]=(16, 32, 16, 0).In an embodiment, predModeIntra may be equal to 66, nTbW may be equal to 8, nTbH may be equal to 8, refW may be equal to 16, refIdx may be equal to 0, and cIdx may be set to 0. In this embodiment, according to the above equations 23 and 24, the iIdx value of predSamples[0][0] may be set to 1, the iFact value may be set to 0, the iIdx value of predSamples[7][7] may be set to 8, and the iFact value may be set to 0. In addition, , when filterFlag has a value of 1, fT[j] may be set equal to the filter coefficient according to the Gaussian filter, and may be set to fT[]=(16, 32, 16, 0).

Фиг. 25 показывает результат извлечения predSamples[0][0] и predSamples [7][7] в этом варианте осуществления. predSamples[0][0] может извлекаться согласно результату вычисления ((ref[1]*16+ref[2]*32+ref[3]*16+ref[4]*0)+32)>>6. В этом примере, значение predSamples[0][0] может вычисляться 2.Fig. 25 shows the result of extracting predSamples[0][0] and predSamples[7][7] in this embodiment. predSamples[0][0] can be retrieved according to the result of the calculation ((ref[1]*16+ref[2]*32+ref[3]*16+ref[4]*0)+32)>>6. In this example, the value of predSamples[0][0] can be calculated as 2.

predSamples [7][7] может извлекаться согласно результату вычисления ((ref[15]*16+ref[16]*32+ref[17]*16+ref[18]*0)+32)>>6. В этом примере, значение predSamples [7][7] может вычисляться как 1. В примере вычисления predSamples [7][7], значение ref[18] не задается, но значение коэффициента гауссовой фильтрации fT[3], умноженного на ref[18], равно 0. Следовательно, вышеприведенное вычисление является возможным.predSamples [7][7] can be retrieved according to the result of the calculation ((ref[15]*16+ref[16]*32+ref[17]*16+ref[18]*0)+32)>>6. In this example, the value of predSamples [7][7] can be calculated as 1. In the example of calculating predSamples [7][7], the value of ref[18] is not specified, but the value of the Gaussian filter coefficient fT[3] multiplied by ref[ 18] is equal to 0. Therefore, the above calculation is possible.

Между тем, в этом варианте осуществления, когда filterFlag имеет значение в 0, fT[j] может задаваться равным коэффициенту фильтрации согласно кубическому фильтру и может задаваться равным fT[]=(0, 64, 0, 0).Meanwhile, in this embodiment, when filterFlag has a value of 0, fT[j] may be set equal to the filter coefficient according to the cubic filter and may be set to fT[]=(0, 64, 0, 0).

Фиг. 26 показывает результат извлечения predSamples[0][0] и predSamples [7][7] в этом варианте осуществления; predSamples[0][0] может извлекаться согласно результату вычисления ((ref[1]*0+ref[2]*64+ref[3]*0+ref[4]*0)+32)>>6. В этом примере, значение predSamples[0][0] может вычисляться 2.Fig. 26 shows the result of extracting predSamples[0][0] and predSamples[7][7] in this embodiment; predSamples[0][0] can be retrieved according to the result of the calculation ((ref[1]*0+ref[2]*64+ref[3]*0+ref[4]*0)+32)>>6. In this example, the value of predSamples[0][0] can be calculated as 2.

predSamples [7][7] может извлекаться согласно результату вычисления ((ref[15]*0+ref[16]*64+ref[17]*0+ref[18]*0)+32)>>6. В этом примере, значение predSamples [7][7] может вычисляться как 0. В примере вычисляющего predSamples [7][7] не задается значение ref[18], но значение коэффициента кубической фильтрации fT[3], умноженного на ref[18], равно 0. Следовательно, вышеприведенное вычисление является возможным.predSamples [7][7] can be retrieved according to the result of the calculation ((ref[15]*0+ref[16]*64+ref[17]*0+ref[18]*0)+32)>>6. In this example, the value of predSamples[7][7] can be calculated as 0. In the example calculating predSamples[7][7], the value of ref[18] is not specified, but the value of the cubic filter coefficient fT[3] multiplied by ref[18 ] is equal to 0. Therefore, the above calculation is possible.

Между тем, когда cIdx не равен 0, значение прогнозной выборки сигналов цветности может определяться согласно значению iFact (S1260). В варианте осуществления, когда iFact не равен 0, значение прогнозной выборки predSamples[x][y] сигналов цветности может извлекаться следующим образом:Meanwhile, when cIdx is not 0, the chrominance signal prediction sample value can be determined according to the iFact value (S1260). In an embodiment, when iFact is not equal to 0, the chrominance signal prediction sample value predSamples[x][y] may be retrieved as follows:

уравнение 27equation 27

predSamples[x][y]=predSamples[x][y]=

((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5

Между тем, когда iFact равен 0, значение прогнозной выборки predSamples[x][y] сигналов цветности может извлекаться следующим образом:Meanwhile, when iFact is 0, the prediction sample value predSamples[x][y] of chrominance signals can be extracted as follows:

уравнение 28equation 28

predSamples[x][y]=ref[x+iIdx+1]predSamples[x][y]=ref[x+iIdx+1]

Ссылаясь на фиг. 18 снова, когда predModeIntra меньше 34, устройство декодирования согласно варианту осуществления может извлекать массив predSample[x][y] прогнозных выборок главным образом с использованием соседней выборки, расположенной слева относительно текущего блока (S1030). Этот этап соответствует этапу S1030, описанному выше, и в силу этого следует фокусироваться на отличии относительно этапа S1020. Во-первых, устройство декодирования может задавать основной массив ref[x] опорных выборок следующим образом:Referring to FIG. 18 again, when predModeIntra is less than 34, the decoding apparatus according to the embodiment can retrieve the prediction sample array predSample[x][y] mainly using the adjacent sample located to the left of the current block (S1030). This step corresponds to step S1030 described above, and therefore the difference with respect to step S1020 should be focused on. First, the decoder may define the main array of reference samples ref[x] as follows:

уравнение 29equation 29

ref[x]=p[-1-refIdx][-1-refIdx+x], где x имеет значение в 0 - nTbH+refIdx.ref[x]=p[-1-refIdx][-1-refIdx+x], where x has a value of 0 - nTbH+refIdx.

В этом случае, когда intraPredAngle меньше 0, основной массив опорных выборок может расширяться. Например, когда результат вычисления (nTbW*intraPredAngle)>>5 меньше -1, ref[x] может расширяться следующим образом:In this case, when intraPredAngle is less than 0, the main array of reference samples can be expanded. For example, when the result of (nTbW*intraPredAngle)>>5 is less than -1, ref[x] can be expanded as follows:

уравнение 30equation 30

ref[x]=p[-1-refIdx+((x*invAngle+128)>>8)][-1-refIdx],ref[x]=p[-1-refIdx+((x*invAngle+128)>>8)][-1-refIdx],

где x имеет значение -1 - (nTbW*intraPredAngle)>>5.where x has the value -1 - (nTbW*intraPredAngle)>>5.

уравнение 31equation 31

ref[((nTbW*intraPredAngle)>>5)-1]=ref[(nTbW*intraPredAngle)>>5]ref[((nTbW*intraPredAngle)>>5)-1]=ref[(nTbW*intraPredAngle)>>5]

уравнение 32equation 32

ref[nTbG+1+refIdx]=ref[nTbH+refIdx]ref[nTbG+1+refIdx]=ref[nTbH+refIdx]

Между тем, когда intraPredAngle не меньше 0, ref[x] может определяться следующим образом:Meanwhile, when intraPredAngle is not less than 0, ref[x] can be defined as follows:

уравнение 33equation 33

ref[x]=p[-1-refIdx][-1-refIdx+x], где x имеет значение в nTbH+1+refIdx - refH+refIdx.ref[x]=p[-1-refIdx][-1-refIdx+x], where x has a value in nTbH+1+refIdx - refH+refIdx.

уравнение 34equation 34

ref[-1]=ref[0]ref[-1]=ref[0]

ref[refH+refIdx+x], который представляет собой параметр, указывающий дополнительную выборку, может извлекаться следующим образом: Здесь, x имеет значение 1 - (Max(1, nTbW/nTbH)*refIdx+1).ref[refH+refIdx+x], which is a parameter indicating an additional sample, can be retrieved as follows: Here, x has the value 1 - (Max(1, nTbW/nTbH)*refIdx+1).

уравнение 35equation 35

ref[refH+refIdx+x]=p[-1+refH][-1-refIdx]ref[refH+refIdx+x]=p[-1+refH][-1-refIdx]

Затем, когда x имеет значение в 0 - nTbW-1, и y имеет значение в 0 - nTbH-1, устройство декодирования может извлекать прогнозную выборку predSamples[x][y] следующим образом. Во-первых, iIdx, который представляет собой индексный параметр для извлечения прогнозной выборки, и коэффициент iFact умножения могут извлекаться следующим образом:Then, when x has a value of 0 - nTbW-1 and y has a value of 0 - nTbH-1, the decoding device can extract the prediction sample predSamples[x][y] as follows. Firstly, iIdx, which is the index parameter for extracting the prediction sample, and the multiplication coefficient iFact can be extracted as follows:

уравнение 36equation 36

iIdx=((x+1+refIdx)*intraPredAngle)>>5iIdx=((x+1+refIdx)*intraPredAngle)>>5

уравнение 37equation 37

iFact=((x+1+refIdx)*intraPredAngle) и 31iFact=((x+1+refIdx)*intraPredAngle) and 31

Помимо этого, когда cIdx равен 0, коэффициент fT[j] интерполяционной фильтрации с j=0-3 может извлекаться следующим образом:In addition, when cIdx is 0, the interpolation filter coefficient fT[j] with j=0-3 can be extracted as follows:

уравнение 38equation 38

fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j]fT[j]=filterFlag?fG[iFact][j]:fC[iFact][j]

Помимо этого, значение прогнозной выборки predSamples[x][y] может извлекаться следующим образом:In addition, the value of the predictive sample predSamples[x][y] can be retrieved as follows:

уравнение 39equation 39

predSamples[x][y]=Clip1Y ((( predSamples[x][y]=Clip1Y (((

Между тем, когда cIdx не равен 0, значение прогнозной выборки может определяться согласно значению iFact. В варианте осуществления, когда iFact не равен 0, значение прогнозной выборки predSamples[x][y] может извлекаться следующим образом:Meanwhile, when cIdx is not 0, the prediction sample value can be determined according to the iFact value. In an embodiment, when iFact is not 0, the predictive sample value predSamples[x][y] may be retrieved as follows:

уравнение 40equation 40

predSamples[x][y]=predSamples[x][y]=

((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5

Между тем, когда iFact равен 0, значение прогнозной выборки predSamples[x][y] может извлекаться следующим образом:Meanwhile, when iFact is 0, the prediction sample value predSamples[x][y] can be retrieved as follows:

уравнение 41equation 41

predSamples[x][y]=ref[y+iIdx+1]predSamples[x][y]=ref[y+iIdx+1]

Между тем, когда все из следующих условий представляют собой "истина", устройство декодирования может выполнять этап позиционно-зависимой фильтрации прогнозных выборок.Meanwhile, when all of the following conditions are true, the decoding apparatus may perform a step of position-sensitive filtering of the prediction samples.

(Условие 1) IntraSubPartitionsSplitType равен ISP_NO_SPLIT или cIdx, не равно 0.(Condition 1) IntraSubPartitionsSplitType is equal to ISP_NO_SPLIT or cIdx, not equal to 0.

(Условие 2) Значение refIdx равно 0 или значение cIdx, не равно 0.(Condition 2) The refIdx value is 0 or the cIdx value is not 0.

(Условие 3) predModeIntra указывает значение любого из INTRA_PLANAR, INTRA_DC, INTRA_ANGULAR18 или INTRA_ANGULAR50, или predModeIntra указывает значение, равное или меньшее INTRA_ANGULAR10, или значение, равное или большее INTRA_ANGULAR58.(Condition 3) predModeIntra specifies a value of any of INTRA_PLANAR, INTRA_DC, INTRA_ANGULAR18, or INTRA_ANGULAR50, or predModeIntra specifies a value equal to or less than INTRA_ANGULAR10, or a value equal to or greater than INTRA_ANGULAR58.

С этой целью, устройство декодирования может получать, в качестве ввода, predModeIntra, который представляет собой параметр, указывающий режим внутреннего прогнозирования, nTbW, который представляет собой параметр, указывающий ширину блока преобразования, nTbH, который представляет собой параметр, указывающий высоту блока преобразования, predSamples[x][y], который представляет собой параметр, указывающий выборку, прогнозированную для x=0 - nTbW-1 и y=0 - nTbH-1, refW, который представляет собой параметр, указывающий ширину опорной выборки, refH, который представляет собой параметр, указывающий высоту опорной выборки, опорную выборку p[x][y] с x=-1 и y=-1 - refH-1 и x=0 - refW-1 и y=-1, и cIdx, который представляет собой параметр, указывающий индекс цветового компонента. Помимо этого, устройство декодирования может формировать, в качестве вывода, массив predSamples прогнозных выборок, модифицированный в результате выполнения этого процесса.To this end, the decoding apparatus may receive, as input, predModeIntra, which is a parameter indicating the intra prediction mode, nTbW, which is a parameter indicating the width of the transform block, nTbH, which is a parameter indicating the height of the transform block, predSamples [x][y], which is a parameter indicating the sample predicted for x=0 - nTbW-1 and y=0 - nTbH-1, refW, which is a parameter indicating the width of the reference sample, refH, which is a parameter indicating the height of the reference sample, the reference sample p[x][y] with x=-1 and y=-1 - refH-1 and x=0 - refW-1 and y=-1, and cIdx, which is a parameter indicating the index of the color component. In addition, the decoding device may generate, as output, an array of predSamples of predictive samples modified by this process.

Другой вариант осуществления условия фильтрации опорных выборокAnother embodiment of the reference sample filtering condition

Между тем, для этапа фильтрации опорных выборок, описанного выше со ссылкой на фиг. 8, устройство декодирования согласно варианту осуществления может выполнять этап S210 с использованием следующих модифицированных условий вместо условий, описанных выше, чтобы определять значение filterFlag. Посредством задания условия фильтрации опорной выборки следующим образом, фильтрация опорных выборок может выполняться относительно режима внутреннего прогнозирования, отличающегося от вышеописанных условий фильтрации опорных выборок. Например, когда режим внутреннего прогнозирования текущего блока представляет собой режим INTRA_DC, фильтрация опорных выборок может опускаться.Meanwhile, for the reference sample filtering step described above with reference to FIG. 8, the decoding apparatus according to the embodiment may perform step S210 using the following modified conditions instead of the conditions described above to determine the filterFlag value. By specifying the reference sample filtering condition as follows, filtering of the reference samples can be performed with respect to an intra prediction mode different from the above-described reference sample filtering conditions. For example, when the intra prediction mode of the current block is the INTRA_DC mode, filtering of the reference samples may be omitted.

Это описывается подробнее со ссылкой на фиг. 27. Например, устройство декодирования согласно варианту осуществления может определять то, удовлетворяются или нет следующие модифицированные условия для выполнения фильтрации опорных выборок (S1310). Когда любое условие не удовлетворяется, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным 0 (S1320). Когда все из следующих условий удовлетворяются, устройство декодирования согласно варианту осуществления может задавать равным значению filterFlag равным 1 (S1330). Между тем, чтобы увеличивать случай, в котором фильтрация опорных выборок возникает, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным 1, когда удовлетворяется любое из следующих условий. В этом случае, когда все из следующих условий не удовлетворяются, устройство декодирования может задавать значение filterFlag равным 0.This is described in more detail with reference to FIG. 27. For example, the decoding apparatus according to the embodiment can determine whether or not the following modified conditions are satisfied to perform filtering of the reference samples (S1310). When any condition is not satisfied, the decoding apparatus according to the embodiment may set the filterFlag value to 0 (S1320). When all of the following conditions are satisfied, the decoding device according to the embodiment may set the filterFlag value to 1 (S1330). Meanwhile, in order to increase the case in which filtering of reference samples occurs, the decoding apparatus according to the embodiment may set the filterFlag value to 1 when any of the following conditions are satisfied. In this case, when all of the following conditions are not satisfied, the decoding device may set the filterFlag value to 0.

(Условие 1) Значение refIdx равно 0.(Condition 1) The refIdx value is 0.

(Условие 2) cIdx равно 0.(Condition 2) cIdx is 0.

(Условие 3) IntraSubPartitionsSplitType равен ISP_NO_SPLIT.(Condition 3) IntraSubPartitionsSplitType is equal to ISP_NO_SPLIT.

(Условие 4) predModeIntra не равен INTRA_DC.(Condition 4) predModeIntra is not equal to INTRA_DC.

(Условие 5) Помимо этого, одно или более следующих условий 5-1-5-4 должны удовлетворяться.(Condition 5) In addition, one or more of the following conditions 5-1-5-4 must be satisfied.

(Условие 5-1) predModeIntra равен INTRA_PLANAR, и nTbW*nTbH превышает 32.(Condition 5-1) predModeIntra is INTRA_PLANAR and nTbW*nTbH is greater than 32.

(Условие 5-2) nTbW превышает nTbH, predModeIntra равен или выше 2, и predModeIntra меньше результата вычисления (whRatio>1)?(8+2*whRatio):8.(Condition 5-2) nTbW is greater than nTbH, predModeIntra is equal to or greater than 2, and predModeIntra is less than the result of the calculation (whRatio>1)?(8+2*whRatio):8.

(Условие 5-3) nTbH превышает nTbW, predModeIntra меньше или равен 66, predModeIntra превышает результат вычисления (whRatio>1)?(60-2*whRatio):60.(Condition 5-3) nTbH exceeds nTbW, predModeIntra is less than or equal to 66, predModeIntra exceeds the calculation result (whRatio>1)?(60-2*whRatio):60.

(Условие 5-4) minDistVerHor превышает intraHorVerDistThres[nTbS]. В этом случае, параметр nTbS имеет значение (Log2 (nTbW)+Log2 (nTbH))>>1, и параметр minDistVerHor задается равным результату вычисления Min(Abs(predModeIntra-50) и Abs(predModeIntra-18)). В этом случае, параметр intraHorVerDistThres[nTbS] может определяться относительно размера nTbS блока преобразования, как показано в следующей таблице.(Condition 5-4) minDistVerHor exceeds intraHorVerDistThres[nTbS]. In this case, the nTbS parameter has the value (Log2 (nTbW)+Log2 (nTbH))>>1, and the minDistVerHor parameter is set equal to the result of the calculation Min(Abs(predModeIntra-50) and Abs(predModeIntra-18)). In this case, the parameter intraHorVerDistThres[nTbS] can be determined relative to the size nTbS of the translation block, as shown in the following table.

Таблица 2table 2 nTbS=2nTbS=2 nTbS=3nTbS=3 nTbS=4nTbS=4 nTbS=5nTbS=5 nTbS=6nTbS=6 nTbS=7nTbS=7 intraHorVerDistThres[nTbS]intraHorVerDistThres[nTbS] 1616 1414 22 00 00 00

Фильтр [1 2 1]/4 для фильтрации опорных выборокFilter [1 2 1]/4 to filter reference samples

В дальнейшем подробнее описывается сглаживающий фильтр, применяемый к вышеописанному этапу фильтрации опорных выборок. В варианте осуществления, устройство декодирования может выполнять фильтрацию опорных выборок с использованием фильтра [1 2 1]/4. В дальнейшем подробнее описывается сглаживающий фильтр для фильтрации опорных выборок со ссылкой на фиг. 28.The smoothing filter applied to the above-described reference sample filtering step is described in more detail below. In an embodiment, the decoder may filter the reference samples using a [1 2 1]/4 filter. An anti-aliasing filter for filtering reference samples will be described in more detail below with reference to FIG. 28.

Устройство декодирования может выполнять фильтрацию опорных выборок с использованием опорной выборки и значения выборки, смежной с опорной выборкой. Фиг. 28 показывает целевой массив 301 выборок, к которому должен применяться фильтр [1 2 1]/4, и результирующий массив 302 выборок, к которому применяется фильтр [1 2 1]/4. В варианте осуществления, целевой массив 301 выборок может обновляться до значения результирующего массива 302 выборок.The decoding apparatus may filter the reference samples using the reference sample and a sample value adjacent to the reference sample. Fig. 28 shows the target sample array 301 to which the [1 2 1]/4 filter is to be applied, and the resulting sample array 302 to which the [1 2 1]/4 filter is to be applied. In an embodiment, the target sample array 301 may be updated to the value of the resulting sample array 302.

Как показано на фиг. 28, устройство декодирования может применять фильтр [1 2 1]/4 к опорной выборке посредством обновления значения опорной выборки на значение (левое выборочное значение опорной выборки*1+выборочное значение опорной выборки*2+правое выборочное значение опорной выборки*1)/4, когда опорная выборка расположена выше текущего блока.As shown in FIG. 28, the decoding apparatus may apply a filter [1 2 1]/4 to the reference sample by updating the reference sample value to the value (left sample value of the reference sample*1+sampled reference sample value*2+right sample value of the reference sample*1)/4 , when the reference sample is located above the current block.

Между тем, когда опорная выборка расположена слева относительно текущего блока, устройство декодирования может применять фильтр [1 2 1]/4 к опорной выборке аналогичным образом. Например, устройство декодирования может обновлять значение опорной выборки на значение (верхнее выборочное значение опорной выборки*1+выборочное значение опорной выборки*2+нижнее выборочное значение опорной выборки*1)/4.Meanwhile, when the reference sample is located to the left of the current block, the decoding apparatus may apply the [1 2 1]/4 filter to the reference sample in a similar manner. For example, the decoding device may update the reference sample value by the value (upper sample value of the reference sample*1+selected value of the reference sample*2+lower sample value of the reference sample*1)/4.

Как показано на фиг. 28, массив 301 выборок до применения фильтра [1 2 1]/4 и массив 302 выборок после применения фильтра [1 2 1]/4 имеют отличие в изменении выборочного значения согласно увеличению индекса массива. Массив 302 выборок, к которому применяется фильтр [1 2 1]/4, имеет тенденцию сглаженно изменять выборочное значение по сравнению с массивом выборок, к которому не применяется фильтр [1 2 1]/4.As shown in FIG. 28, the sample array 301 before applying the [1 2 1]/4 filter and the sample array 302 after applying the [1 2 1]/4 filter have a difference in changing the sample value according to the increase of the array index. A sample array 302 to which the [1 2 1]/4 filter is applied tends to smooth out the sample value compared to a sample array to which the [1 2 1]/4 filter is not applied.

Второй вариант осуществленияSecond embodiment

В дальнейшем в этом документе описываются фильтрация опорных выборок согласно другому варианту осуществления и способ внутреннего прогнозирования, соответственно. Устройство декодирования согласно варианту осуществления может выполнять фильтрацию посредством применения сглаживающего фильтра к опорной выборке только тогда, когда режим прогнозирования представляет собой режим направленного внутреннего прогнозирования, имеющий наклон в целое кратное. В этом случае, в режиме направленного внутреннего прогнозирования в нецелое кратное, опорная выборка не фильтруется. В этом случае, устройство декодирования может формировать прогнозную выборку посредством избирательного применения любого из повышающего резкость фильтра и сглаживающего фильтра к опорной выборке. Посредством выполнения таким образом, устройство декодирования может увеличивать производительность прогнозирования при уменьшении сложности фильтрации в процессе направленного внутреннего прогнозирования.Hereinafter, this document describes filtering of reference samples according to another embodiment and an intra prediction method, respectively. The decoding apparatus according to the embodiment can perform filtering by applying a smoothing filter to the reference sample only when the prediction mode is a directed intra prediction mode having a slope of an integer multiple. In this case, in the mode of directed internal prediction to a non-integer multiple, the reference sample is not filtered. In this case, the decoding apparatus may generate a predictive sample by selectively applying any of the sharpening filter and the smoothing filter to the reference sample. By doing so, the decoding apparatus can increase prediction performance while reducing filtering complexity in the directed intra prediction process.

В дальнейшем в этом документе, это описывается со ссылкой на фиг. 29. Во-первых, далее описывается вариант осуществления фильтрации опорной выборки. Устройство декодирования может фильтровать опорную выборку, когда удовлетворяются следующие условия. Например, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным 1, когда удовлетворяются все из следующих условий. Устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным 0, когда ни одно условие не удовлетворяется. Между тем, чтобы увеличивать случай, в котором фильтрация опорных выборок возникает, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным 1, когда удовлетворяется любое из следующих условий. В этом случае, устройство декодирования может задавать значение filterFlag равным 0, когда не удовлетворяются все из следующих условий:Hereinafter in this document, this is described with reference to FIGS. 29. First, an embodiment of reference sample filtering is described next. The decoding apparatus may filter the reference sample when the following conditions are satisfied. For example, the decoding device according to the embodiment may set the filterFlag value to 1 when all of the following conditions are satisfied. The decoding apparatus according to the embodiment may set the filterFlag value to 0 when no condition is satisfied. Meanwhile, in order to increase the case in which filtering of reference samples occurs, the decoding apparatus according to the embodiment may set the filterFlag value to 1 when any of the following conditions are satisfied. In this case, the decoding device may set the filterFlag value to 0 when all of the following conditions are not satisfied:

(Условие 1) Текущая единица кодирования представляет собой компонент сигнала яркости.(Condition 1) The current encoding unit is a luminance signal component.

(Условие 2) Значение MRL-индекса равно 0.(Condition 2) The MRL index value is 0.

(Условие 3) В ISP, разбиение единицы кодирования не возникает.(Condition 3) In ISP, coding unit splitting does not occur.

(Условие 4) Он не представляет собой MIP-режим.(Condition 4) It does not represent MIP mode.

(Условие 5) H*W>32.(Condition 5) H*W>32.

(Условие 6) Режим прогнозирования представляет собой планарный режим или режим с целочисленным наклоном. (Таким образом, abs(predIntraAngle) равен 32 либо его кратным числам).(Condition 6) The prediction mode is a planar mode or an integer slope mode. (Thus abs(predIntraAngle) is equal to 32 or its multiples.)

Согласно вышеуказанным условиям, устройство декодирования может определять то, равно или нет значение filterFlag 1 (S1410), и фильтровать опорную выборку только тогда, когда режим прогнозирования представляет собой режим направленного внутреннего прогнозирования, имеющим наклон в целое кратное (S1420). Помимо этого, устройство декодирования может формировать прогнозную выборку посредством копирования фильтрованной опорной выборки (S1430).According to the above conditions, the decoding device can determine whether or not the value of filterFlag 1 is equal to or not (S1410), and filter the reference sample only when the prediction mode is a directed intra prediction mode having a slope of an integer multiple (S1420). In addition, the decoding apparatus may generate a predictive sample by copying the filtered reference sample (S1430).

Между тем, когда значение filterFlag не равно 1, устройство декодирования может не фильтровать опорную выборку в случае режима направленного внутреннего прогнозирования, имеющего наклон в нецелое кратное. Для режимов направленного внутреннего прогнозирования, имеющих наклон в нецелое кратное, фильтрация опорных выборок не выполняется, и вместо этого интерполяционный фильтр может применяться в процессе формирования прогнозной выборки. С этой целью, кубический фильтр, имеющий характеристику повышения резкости или гауссов фильтр, имеющий сглаживающий фильтр, выше описывается применимый. Выбор фильтра для интерполяции нефильтрованной опорной выборки может определяться согласно размеру текущего блока и режима внутреннего прогнозирования.Meanwhile, when the value of filterFlag is not 1, the decoding apparatus may not filter the reference sample in the case of a directed intra prediction mode having a non-integer multiple slope. For directional intraprediction modes that have a slope of a non-integer multiple, no filtering of the reference samples is performed, and instead an interpolation filter may be applied during the prediction sample generation process. For this purpose, a cubic filter having a sharpening characteristic or a Gaussian filter having a smoothing filter are described above as applicable. The selection of a filter for interpolating the unfiltered reference sample may be determined according to the current block size and the intra prediction mode.

С этой целью, устройство декодирования может задавать значение параметра interpolationFlag для выбора фильтра для интерполяции опорной выборки равным 1, когда удовлетворяются следующие условия.To this end, the decoder may set the value of the interpolationFlag parameter for selecting a filter for interpolating the reference sample to 1 when the following conditions are satisfied.

(Условие 1) Текущая единица кодирования представляет собой компонент сигнала яркости.(Condition 1) The current encoding unit is a luminance signal component.

(Условие 2) Значение MRL-индекса равно 0.(Condition 2) The MRL index value is 0.

(Условие 3) В ISP, разбиение единичного кодирования не возникает.(Condition 3) In ISP, unit encoding splitting does not occur.

(Условие 4) Он не представляет собой MIP-режим.(Condition 4) It does not represent MIP mode.

(Условие 5) H*W>32.(Condition 5) H*W>32.

(Условие 6), predModeIntra имеет значение в 0 или значение, большее 1, и minDistVerHor превышает intraHorVerDistThres[nTbS]. Здесь, параметр minDistVerHor имеет значения Min(Abs(predModeIntra-50) и Abs(predModeIntra-18)). Параметр intraHorVerDistThres[nTbS] может определяться согласно следующей таблице, представляющей соответствие между значением intraHorVerDistThres[nTbS] и размером nTbS блока преобразования.(Condition 6), predModeIntra has a value of 0 or a value greater than 1, and minDistVerHor exceeds intraHorVerDistThres[nTbS]. Here, the minDistVerHor parameter has the values Min(Abs(predModeIntra-50) and Abs(predModeIntra-18)). The intraHorVerDistThres[nTbS] parameter may be determined according to the following table, which represents the correspondence between the intraHorVerDistThres[nTbS] value and the transform block size nTbS.

Таблица 3Table 3 nTbS=2nTbS=2 nTbS=3nTbS=3 nTbS=4nTbS=4 nTbS=5nTbS=5 nTbS=6nTbS=6 nTbS=7nTbS=7 intraHorVerDistThres[nTbS]intraHorVerDistThres[nTbS] 1616 1414 22 00 00 00

Устройство декодирования может выбирать фильтр согласно определенному значению interpolationFlag (S1440). Когда значение interpolationFlag равно 1, устройство декодирования может формировать прогнозную выборку с использованием сглаживающего фильтра, такого как гауссов фильтр, как описано выше со ссылкой на фиг. 25 (S1450). Когда значение interpolationFlag равно 0, устройство декодирования может формировать прогнозную выборку с использованием повышающего резкость фильтра, такого как кубический фильтр, как описано выше со ссылкой на фиг. 26 (S1460).The decoding apparatus may select a filter according to the determined interpolationFlag value (S1440). When the value of interpolationFlag is 1, the decoding apparatus may generate a predictive sample using an anti-aliasing filter, such as a Gaussian filter, as described above with reference to FIG. 25 (S1450). When the interpolationFlag value is 0, the decoding apparatus may generate a predictive sample using a sharpening filter, such as a cube filter, as described above with reference to FIG. 26 (S1460).

Третий вариант осуществленияThird embodiment

В дальнейшем в этом документе описываются фильтрация опорных выборок согласно другому варианту осуществления и способ внутреннего прогнозирования, соответственно. В отличие от второго варианта осуществления, посредством применения фильтрации опорных выборок даже в случае режима направленного внутреннего прогнозирования, имеющего наклон нецелого числа, можно увеличивать эффективность внутреннего прогнозирования. С этой целью, условие фильтрации опорных выборок может изменяться таким образом, что опорная выборка фильтруется даже в случае режима направленного внутреннего прогнозирования, имеющего наклон нецелого числа. Кроме того, когда сглаживающий фильтр используется для фильтрации опорных выборок, опорная выборка интерполируется с использованием сглаживающего фильтра, чтобы формировать прогнозную выборку, а когда фильтрация опорных выборок не выполняется, опорная выборка интерполируется с использованием повышающего резкость фильтра, чтобы формировать прогнозную выборку. Следовательно, можно увеличивать эффективность внутреннего прогнозирования.Hereinafter, this document describes filtering of reference samples according to another embodiment and an intra prediction method, respectively. Unlike the second embodiment, by applying reference sample filtering, even in the case of a directed intra prediction mode having a non-integer slope, it is possible to increase the intra prediction efficiency. To this end, the reference sample filtering condition may be changed such that the reference sample is filtered even in the case of a directed intra prediction mode having a non-integer slope. In addition, when a smoothing filter is used to filter the reference samples, the reference sample is interpolated using the smoothing filter to generate a predictive sample, and when filtering of the reference samples is not performed, the reference sample is interpolated using a sharpening filter to generate a predictive sample. Therefore, the efficiency of internal forecasting can be increased.

В дальнейшем в этом документе, это описывается со ссылкой на фиг. 30. Во-первых, описывается другое условие, в котором фильтруется опорная выборка. В варианте осуществления, когда текущая единица кодирования представляет собой компонент сигнала яркости, значение MRL-индекса равно 0, разбиение единицы кодирования не возникает в ISP, он не представляет собой MIP-режим, H*W>32, режим прогнозирования представляет собой планарный режим или имеет предварительно установленный наклон согласно размеру CU, устройство декодирования может задавать значение filterFlag равным 1 и может выполнять фильтрацию опорных выборок. Следовательно, устройство декодирования может выполнять фильтрацию опорных выборок независимо от того, является или нет наклон режима направленного прогнозирования целым кратным.Hereinafter in this document, this is described with reference to FIGS. 30. First, another condition is described in which the reference sample is filtered. In the embodiment, when the current coding unit is a luminance signal component, the MRL index value is 0, the splitting of the coding unit does not occur in the ISP, it is not a MIP mode, H*W>32, the prediction mode is a planar mode, or has a preset slope according to the CU size, the decoder can set the filterFlag value to 1 and can filter the reference samples. Therefore, the decoding device can perform filtering of the reference samples regardless of whether or not the slope of the directional prediction mode is an integer multiple.

Для вышеуказанного процесса устройство декодирования согласно варианту осуществления может определять следующие модифицированные условия для того, чтобы определять значение filterFlag на этапе S1510 фильтрации опорных выборок. Например, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным 1, когда удовлетворяются все из следующих условий. Устройство декодирования согласно варианту осуществления задает значение filterFlag равным 0, когда ни одно условие не удовлетворяется. Между тем, чтобы увеличивать случай, в котором фильтрация опорных выборок возникает, устройство декодирования согласно варианту осуществления может задавать значение filterFlag равным 1, когда удовлетворяется любое из следующих условий. В этом случае, устройство декодирования может задавать значение filterFlag равным 0, когда не удовлетворяются все из следующих условий:For the above process, the decoding apparatus according to the embodiment may determine the following modified conditions for determining the filterFlag value in the reference sample filtering step S1510. For example, the decoding device according to the embodiment may set the filterFlag value to 1 when all of the following conditions are satisfied. The decoding apparatus according to the embodiment sets the filterFlag value to 0 when no condition is satisfied. Meanwhile, in order to increase the case in which filtering of reference samples occurs, the decoding apparatus according to the embodiment may set the filterFlag value to 1 when any of the following conditions are satisfied. In this case, the decoding device may set the filterFlag value to 0 when all of the following conditions are not satisfied:

(Условие 1) Значение refIdx равно 0.(Condition 1) The refIdx value is 0.

(Условие 2) nTbW*nTbH превышает 32.(Condition 2) nTbW*nTbH exceeds 32.

(Условие 3) cIdx равно 0.(Condition 3) cIdx is 0.

(Условие 4) IntraSubPartitionsSplitType равен ISP_NO_SPLIT.(Condition 4) IntraSubPartitionsSplitType is equal to ISP_NO_SPLIT.

(Условие 5) predModeIntra имеет значение в 0 или значение, большее 1, и minDistVerHor превышает intraHorVerDistThres[nTbS]. Здесь, параметр minDistVerHor имеет значение Min(Abs(predModeIntra-50) и Abs(predModeIntra-18)). Параметр intraHorVerDistThres[nTbS] может определяться согласно следующей таблице, представляющей соответствие между значением intraHorVerDistThres[nTbS] и размером nTbS блока преобразования.(Condition 5) predModeIntra is 0 or greater than 1 and minDistVerHor exceeds intraHorVerDistThres[nTbS]. Here, the minDistVerHor parameter has the value Min(Abs(predModeIntra-50) and Abs(predModeIntra-18)). The intraHorVerDistThres[nTbS] parameter may be determined according to the following table, which represents the correspondence between the intraHorVerDistThres[nTbS] value and the transform block size nTbS.

Таблица 4Table 4 nTbS=2nTbS=2 nTbS=3nTbS=3 nTbS=4nTbS=4 nTbS=5nTbS=5 nTbS=6nTbS=6 nTbS=7nTbS=7 intraHorVerDistThres[nTbS]intraHorVerDistThres[nTbS] 1616 1414 22 00 00 00

Устройство декодирования может определять то, следует или нет выполнять фильтрацию опорных выборок, согласно значению filterFlag (S1511). Когда значение filterFlag равно 1, опорная выборка может фильтроваться с использованием фильтра [1 2 1]/4 (S1512). Между тем, устройство декодирования может опускать фильтрацию опорных выборок, когда значение filterFlag не равно 1. Помимо этого, устройство декодирования может выводить значение filterFlag на этапе S1520 формирования прогнозных выборок (S1513).The decoding apparatus may determine whether or not to filter the reference samples according to the filterFlag value (S1511). When the value of filterFlag is 1, the reference sample can be filtered using the filter [1 2 1]/4 (S1512). Meanwhile, the decoding apparatus may omit filtering of the reference samples when the filterFlag value is not 1. In addition, the decoding apparatus may output the filterFlag value in the prediction sample generation step S1520 (S1513).

Затем, чтобы выполнять этап S1520 формирования прогнозных выборок, устройство декодирования может принимать значение filterFlag, сформированное на этапе S1510 фильтрации опорных выборок, и задавать значение filterFlag на этапе S1520 формирования прогнозных выборок (S1521). Устройство декодирования может определять то, равно или нет значение filterFlag 1 (S1522). Когда прогнозная выборка формируется с использованием опорной выборки, подвергнутой фильтрации опорных выборок, значение filterFlag может быть равным 1. Когда значение filterFlag равно 1, устройство декодирования определяет то, представляет собой наклон режима внутреннего прогнозирования текущего блока или нет целочисленный наклон (S1523). Устройство декодирования может получать значение predModeIntra, указывающее режим внутреннего прогнозирования текущего блока, и intraPredAngle, которое представляет собой значение, указывающее текущий наклон, с использованием таблицы по фиг. 16, как описано выше. Когда полученное значение intraPredAngle составляет кратное 32, устройство декодирования может определять то, что наклон режима внутреннего прогнозирования текущего блока составляет целое кратное. Когда наклон режима внутреннего прогнозирования текущего блока представляет собой целочисленный наклон, устройство декодирования может формировать прогнозную выборку посредством простого копирования значения опорной выборки в прогнозную выборку (S1524). Когда наклон режима внутреннего прогнозирования текущего блока не представляет собой целочисленный наклон (нецелочисленный наклон), например, когда полученное значение intraPredAngle не составляет кратное 32, устройство декодирования может формировать прогнозную выборку посредством применения линейной интерполяционной выборки к значению опорной выборки аналогично примеру по фиг. 32 (S1524).Then, to perform the prediction sample generation step S1520, the decoding device may receive the filterFlag value generated in the reference sample filtering step S1510, and set the filterFlag value in the prediction sample generation step S1520 (S1521). The decoding apparatus may determine whether or not the value of filterFlag 1 (S1522). When the prediction sample is generated using the reference sample filtered by the reference samples, the filterFlag value may be 1. When the filterFlag value is 1, the decoding apparatus determines whether the intra prediction mode slope of the current block is an integer slope (S1523). The decoding apparatus may obtain a predModeIntra value indicating the intra prediction mode of the current block, and intraPredAngle, which is a value indicating the current slope, using the table of FIG. 16, as described above. When the obtained intraPredAngle value is a multiple of 32, the decoding apparatus may determine that the intraprediction mode slope of the current block is an integer multiple. When the slope of the intra prediction mode of the current block is an integer slope, the decoding device can generate a prediction sample by simply copying the reference sample value to the prediction sample (S1524). When the intraprediction mode slope of the current block is not an integer slope (non-integer slope), for example, when the obtained intraPredAngle value is not a multiple of 32, the decoding apparatus may generate a prediction sample by applying a linear interpolation sample to the reference sample value similar to the example of FIG. 32 (S1524).

Между тем, когда значение filterFlag не равно 1, это указывает то, что опорная выборка не фильтруется. В этом случае, когда значение не равно 1, устройство декодирования может определять то, следует или нет применять интерполяционный фильтр, в зависимости от того, имеет или нет режим внутреннего прогнозирования целочисленный наклон (S1526). Устройство декодирования может применять повышающий резкость фильтр, такой как 4-отводный кубический фильтр, к опорной выборке, чтобы формировать прогнозную выборку (S1528), когда режим внутреннего прогнозирования текущего блока представляет собой режим направленного прогнозирования, имеющий нецелочисленный наклон, и копировать опорную выборку без применения фильтрации прогнозной выборки, чтобы формировать прогнозную выборку (S1527), когда режим внутреннего прогнозирования текущего блока представляет собой режим направленного прогнозирования, имеющий целочисленный наклон.Meanwhile, when the value of filterFlag is not 1, it indicates that the reference sample is not filtered. In this case, when the value is not 1, the decoding device can determine whether or not to apply the interpolation filter depending on whether or not the intra prediction mode has an integer slope (S1526). The decoding apparatus may apply a sharpening filter such as a 4-tap cube filter to the reference sample to generate a prediction sample (S1528) when the intra prediction mode of the current block is a directional prediction mode having a non-integer slope, and copy the reference sample without applying filtering the prediction sample to generate a prediction sample (S1527) when the intra prediction mode of the current block is a directional prediction mode having an integer slope.

Четвертый вариант осуществленияFourth Embodiment

В дальнейшем в этом документе описываются фильтрация опорных выборок согласно другому варианту осуществления и способ внутреннего прогнозирования, соответственно. В третьем варианте осуществления, определяются способ формирования прогнозной выборки посредством определения того, следует или нет выполнять фильтрацию опорных выборок, и наклон режима внутреннего прогнозирования текущего блока. Между тем, устройство декодирования согласно варианту осуществления может применять фильтрацию прогнозной выборки на основе того, представляет или нет текущий блок собой блок сигналов яркости, того, следует или нет выполнять фильтрацию опорных выборок, и режима внутреннего прогнозирования текущего блока. Следовательно, устройство декодирования может формировать внутреннюю прогнозную выборку проще, чем в третьем варианте осуществления.Hereinafter, this document describes filtering of reference samples according to another embodiment and an intra prediction method, respectively. In the third embodiment, a prediction sample generation method is determined by determining whether or not to filter the reference samples and the slope of the intra prediction mode of the current block. Meanwhile, the decoding apparatus according to the embodiment can apply prediction sample filtering based on whether or not the current block is a luma block, whether or not to perform filtering on the reference samples, and the intra prediction mode of the current block. Therefore, the decoding apparatus can generate the internal prediction sample more easily than in the third embodiment.

В дальнейшем в этом документе, это описывается со ссылкой на фиг. 31. Этап S1510 фильтрации опорной выборки может выполняться таким же образом, как в варианте осуществления, описанном со ссылкой на фиг. 30. Устройство декодирования может принимать значение filterFlag на этапе S1510 фильтрации опорных выборок и задавать его в качестве значения filterFlag на этапе формирования внутренних прогнозных выборок S1530 (S1531).Hereinafter in this document, this is described with reference to FIGS. 31. The reference sample filtering step S1510 may be performed in the same manner as in the embodiment described with reference to FIG. 30. The decoding apparatus may receive the filterFlag value in the reference sample filtering step S1510 and set it as the filterFlag value in the internal prediction sample generation step S1530 (S1531).

Когда режим внутреннего прогнозирования равен или выше 34-ого режима направленного прогнозирования (INTRA_ANGULAR34), устройство декодирования согласно варианту осуществления может извлекать массив ref[x] опорных выборок, как описано выше, и извлекать значения iIdx и iFact согласно следующему уравнению.When the intra prediction mode is equal to or higher than the 34th directional prediction mode (INTRA_ANGULAR34), the decoding apparatus according to the embodiment can extract the reference sample array ref[x] as described above, and extract the iIdx and iFact values according to the following equation.

уравнение 42equation 42

iIdx=(((y+1+refIdx)*intraPredAngle)>>5)+refIdxiIdx=(((y+1+refIdx)*intraPredAngle)>>5)+refIdx

уравнение 43equation 43

iFact=((y+1+refIdx)*intraPredAngle) and 31iFact=((y+1+refIdx)*intraPredAngle) and 31

Затем, устройство декодирования может определять фильтр, применяемый к опорной выборке, чтобы извлекать прогнозную выборку в зависимости от того, равен или нет cIdx 0, и того, равен или нет filterFlag 0 (S1532). Устройство декодирования может формировать прогнозную выборку посредством применения повышающего резкость фильтра следующим образом, когда cIdx равен 0, и filterFlag равен 0 (S1533). Например, устройство декодирования может использовать кубический фильтр, который представляет собой один из повышающих резкость фильтров. Устройство декодирования может извлекать коэффициент fT[j] интерполяционной фильтрации, как показано в следующем уравнении. Здесь, j=0-3.Next, the decoding apparatus may determine a filter applied to the reference sample to extract the prediction sample depending on whether cIdx is equal to 0 or not, and whether filterFlag is equal to or not (S1532). The decoding apparatus may generate a predictive sample by applying a sharpening filter as follows when cIdx is 0 and filterFlag is 0 (S1533). For example, the decoding device may use a cube filter, which is one of the sharpening filters. The decoding apparatus can extract the interpolation filter coefficient fT[j] as shown in the following equation. Here, j=0-3.

уравнение 44equation 44

fT[j]=fC[iFact][j]fT[j]=fC[iFact][j]

Помимо этого, устройство декодирования может извлекать значение прогнозной выборки predSamples[x][y], как показано в следующем уравнении.In addition, the decoding device can extract the value of the predictive sample predSamples[x][y], as shown in the following equation.

уравнение 45equation 45

predSamples[x][y]=Clip1 ((( +32)>>6)predSamples[x][y]=Clip1 ((( +32)>>6)

Между тем, когда режим внутреннего прогнозирования равен или выше 34-ого режима направленного прогнозирования (INTRA_ANGULAR34), но cIdx не равен 0, или filterFlag равен 1, устройство декодирования может формировать прогнозную выборку посредством применения линейного интерполяционного фильтра следующим образом (S1534).Meanwhile, when the intra prediction mode is equal to or higher than the 34th directional prediction mode (INTRA_ANGULAR34), but cIdx is not 0 or filterFlag is 1, the decoding apparatus can generate a prediction sample by applying a linear interpolation filter as follows (S1534).

Когда значение iFact не равно 0, устройство декодирования может извлекать значение прогнозной выборки predSamples[x][y] согласно следующему уравнению.When the value of iFact is not 0, the decoding device can extract the prediction sample value predSamples[x][y] according to the following equation.

уравнение 46equation 46

predSamples[x][y]=predSamples[x][y]=

((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5((32-iFact)*ref[x+iIdx+1]+iFact*ref[x+iIdx+2]+16)>>5

Посредством вышеприведенного уравнения, для текущего блока, в котором refIdx равен 0, nTbw равен 8, nTbH равен 8, cIdx равен 0, и значение predModeIntra равно 65, значение iFact вычисляется как 29, и значение iIdx вычисляется как 0. В этом случае, пример прогнозного выборочного значения predSamples[0][0], вычисленного согласно вышеприведенному уравнению, показывается на фиг. 32.Through the above equation, for the current block in which refIdx is 0, nTbw is 8, nTbH is 8, cIdx is 0, and predModeIntra value is 65, iFact value is calculated as 29, and iIdx value is calculated as 0. In this case, example the predicted sample value predSamples[0][0] calculated according to the above equation is shown in FIG. 32.

Между тем, когда значение iFact равно 0, устройство декодирования может извлекать значение прогнозной выборки predSamples[x][y] следующим образом:Meanwhile, when the value of iFact is 0, the decoding device can extract the value of the prediction sample predSamples[x][y] as follows:

уравнение 47equation 47

predSamples[x][y]=ref[x+iIdx+1]predSamples[x][y]=ref[x+iIdx+1]

Между тем, когда режим внутреннего прогнозирования меньше 34-ого режима направленного прогнозирования (INTRA_ANGULAR34), устройство декодирования согласно варианту осуществления может извлекать массив ref[x] опорных выборок, как описано выше, и может извлекать значения iIdx и iFact согласно следующим уравнениям.Meanwhile, when the intra prediction mode is smaller than the 34th directional prediction mode (INTRA_ANGULAR34), the decoding apparatus according to the embodiment can extract the reference sample array ref[x] as described above, and can extract the iIdx and iFact values according to the following equations.

уравнение 48equation 48

iIdx=(((x+1+refIdx)*intraPredAngle)>>5)+refIdxiIdx=(((x+1+refIdx)*intraPredAngle)>>5)+refIdx

уравнение 49equation 49

iFact=((x+1+refIdx)*intraPredAngle) and 31iFact=((x+1+refIdx)*intraPredAngle) and 31

Затем, когда cIdx равен 0, и refFilterFlag равен 0, устройство декодирования может формировать прогнозную выборку посредством применения кубического фильтра следующим образом. Во-первых, коэффициент fT[j] интерполяционной фильтрации может извлекаться, как показано в следующем уравнении. Здесь, j=0-3.Then, when cIdx is 0 and refFilterFlag is 0, the decoding apparatus can generate a prediction sample by applying a cubic filter as follows. First, the interpolation filter coefficient fT[j] can be extracted as shown in the following equation. Here, j=0-3.

уравнение 50equation 50

fT[j]=fC[iFact][j]fT[j]=fC[iFact][j]

Затем, устройство декодирования может извлекать значение прогнозной выборки predSamples[x][y], как показано в следующем уравнении.Then, the decoding device can extract the predictive sample value predSamples[x][y] as shown in the following equation.

уравнение 51equation 51

predSamples[x][y]=Clip1 ((( +32)>>6)predSamples[x][y]=Clip1 ((( +32)>>6)

Между тем, когда режим внутреннего прогнозирования меньше 34-ого режима направленного прогнозирования (INTRA_ANGULAR34), но cIdx не равен 0, или refFilterFlag равен 1, устройство декодирования согласно варианту осуществления может формировать прогнозную выборку посредством применения линейного интерполяционного фильтра следующим образом.Meanwhile, when the intra prediction mode is smaller than the 34th direction prediction mode (INTRA_ANGULAR34) but cIdx is not 0 or refFilterFlag is 1, the decoding apparatus according to the embodiment can generate a prediction sample by applying a linear interpolation filter as follows.

Когда значение iFact не равно 0, устройство декодирования может извлекать значение прогнозной выборки predSamples[x][y] согласно следующему уравнению.When the value of iFact is not 0, the decoding device can extract the prediction sample value predSamples[x][y] according to the following equation.

уравнение 52equation 52

predSamples[x][y]=predSamples[x][y]=

((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5((32-iFact)*ref[y+iIdx+1]+iFact*ref[y+iIdx+2]+16)>>5

Между тем, когда значение iFact равно 0, устройство декодирования может извлекать значение прогнозной выборки predSamples[x][y] следующим образом.Meanwhile, when the value of iFact is 0, the decoding device can extract the prediction sample value predSamples[x][y] as follows.

уравнение 53equation 53

predSamples[x][y]=ref[y+iIdx+1]predSamples[x][y]=ref[y+iIdx+1]

Пятый вариант осуществленияFifth embodiment

В варианте осуществления, устройство декодирования может определять то, удовлетворяется или нет по меньшей мере одно условие для выполнения фильтрации опорных выборок. Устройство декодирования может сохранять определенный результат в refFilterFlag, который представляет собой параметр, указывающий возможность выполнения фильтрации опорных выборок. После этого, устройство декодирования может передавать в служебных сигналах параметр refFilterFlag на этапе фильтрации опорных выборок и на этапе формирования прогнозных выборок. Следовательно, устройство декодирования может просто использовать значение refFilterFlag, без повторного вычисления условий, определенных для того, чтобы определять значение refFilterFlag на этапе фильтрации опорных выборок и на этапе формирования прогнозных выборок. Следовательно, можно повышать скорость внутреннего прогнозирования устройства декодирования.In an embodiment, the decoding apparatus may determine whether or not at least one condition is satisfied to perform filtering on the reference samples. The decoder may store the specified result in a refFilterFlag, which is a parameter indicating whether filtering of the reference samples can be performed. After this, the decoding device can signal the refFilterFlag parameter at the reference sample filtering stage and at the prediction sample generation stage. Therefore, the decoder can simply use the refFilterFlag value without re-calculating the conditions defined to determine the refFilterFlag value in the reference sample filtering step and the prediction sample generation step. Therefore, it is possible to improve the internal prediction speed of the decoding device.

В дальнейшем в этом документе, это описывается со ссылкой на фиг. 33. Фиг. 33 является видом, иллюстрирующим другой вариант выполнения внутреннего прогнозирования с использованием фильтрации опорных выборок. Во-первых, устройство декодирования согласно варианту осуществления может выполнять этап S1610 определения того, удовлетворяются или нет некоторые условия для фильтрации опорных выборок, перед этапом S1620 фильтрации опорных выборок и этапом S1630 формирования прогнозных выборок. Устройство декодирования согласно варианту осуществления может определять то, удовлетворяются или нет некоторые условия для фильтрации опорных выборок, на основе значения predModeIntra (S1611).Hereinafter in this document, this is described with reference to FIGS. 33. Fig. 33 is a view illustrating another embodiment of performing intra prediction using reference sample filtering. First, the decoding apparatus according to the embodiment may perform the step S1610 of determining whether certain conditions for filtering the reference samples are satisfied or not, before the step S1620 of filtering the reference samples and the step S1630 of generating the prediction samples. The decoding apparatus according to the embodiment can determine whether certain conditions for filtering the reference samples are satisfied or not based on the predModeIntra value (S1611).

Например, когда predModeIntra указывает планарный режим или направленный режим, указывающий опорную выборку в целочисленной позиции, устройство декодирования может определять то, что удовлетворяются некоторые условия. В этом случае, устройство декодирования может определять значение refFilterFlag в качестве первого значения (S1612). В этом случае, хотя вертикальный режим и горизонтальный режим представляют собой режимы, указывающие опорную выборку в целочисленной позиции, устройство декодирования может определять то, что первое условие не удовлетворяется. Например, когда значение predModeIntra составляет любое из 0,-14,-12,-10,-6, 2, 34, 66, 72, 76, 78 и 80, поскольку первое условие удовлетворяется, устройство декодирования может определять значение refFilterFlag в качестве первого значения. Например, первое значение может быть равным 1. Помимо этого, когда значение predModeIntra не составляет вышеуказанное значение, устройство декодирования может определять то, что первое условие не удовлетворяется, и определять значение refFilterFlag в качестве второго значения (S1613). Например, второе значение может быть равным 0. Затем, устройство декодирования может выводить определенное значение refFilterFlag (S1614). Устройство декодирования может выводить значение refFilterFlag на этапе S1620 фильтрации опорных выборок и на этапе 1630формирования прогнозных выборок.For example, when predModeIntra indicates a planar mode or a directional mode indicating a reference sample at an integer position, the decoder may determine that certain conditions are satisfied. In this case, the decoding device may determine the refFilterFlag value as the first value (S1612). In this case, although the vertical mode and the horizontal mode are modes indicating a reference sample at an integer position, the decoding apparatus may determine that the first condition is not satisfied. For example, when the value of predModeIntra is any of 0, -14, -12, -10, -6, 2, 34, 66, 72, 76, 78, and 80, since the first condition is satisfied, the decoding device may determine the value of refFilterFlag as the first meanings. For example, the first value may be 1. In addition, when the predModeIntra value is not the above value, the decoding apparatus may determine that the first condition is not satisfied and determine the refFilterFlag value as the second value (S1613). For example, the second value may be 0. Then, the decoding apparatus may output the determined refFilterFlag value (S1614). The decoding device may output the refFilterFlag value in the reference sample filtering step S1620 and in the prediction sample generating step 1630.

Затем, устройство декодирования согласно варианту осуществления может выполнять этап S1620 фильтрации опорных выборок. Устройство декодирования может определять то, следует или нет выполнять фильтрацию опорных выборок, в зависимости от того, удовлетворяются или нет условия для выполнения фильтрации опорных выборок. В варианте осуществления, устройство декодирования может определять то, следует или нет выполнять фильтрацию опорных выборок, согласно значению refFilterFlag и формировать опорную выборку p[x][y] посредством выполнения фильтрации опорных выборок. Здесь, x=-1-refIdx, y=-1-refIdx - refH-1 и x=-refIdx - refW-1, y=-1-refIdx. Устройство декодирования согласно варианту осуществления может принимать следующую информацию кодирования, включающую в себя refFilterFlag, сформированный на этапе S1610 для фильтрации опорных выборок (S1621).Next, the decoding apparatus according to the embodiment may perform the reference sample filtering step S1620. The decoding apparatus may determine whether or not to perform filtering on the reference samples depending on whether the conditions for performing filtering on the reference samples are satisfied or not. In an embodiment, the decoding apparatus may determine whether or not to filter the reference samples according to the value of refFilterFlag and generate a reference sample p[x][y] by performing filtering on the reference samples. Here, x=-1-refIdx, y=-1-refIdx - refH-1 and x=-refIdx - refW-1, y=-1-refIdx. The decoding apparatus according to the embodiment may receive the following encoding information including the refFilterFlag generated in step S1610 for filtering the reference samples (S1621).

- refIdx, который представляет собой параметр, указывающий индекс опорной линии внутреннего прогнозирования- refIdx, which is a parameter indicating the index of the internal forecasting reference line

- nTbW, который представляет собой параметр, указывающий ширину блока преобразования- nTbW, which is a parameter indicating the width of the transform block

- nTbH, который представляет собой параметр, указывающий высоту блока преобразования- nTbH, which is a parameter indicating the height of the transform block

- refW, который представляет собой параметр, указывающий ширину опорной выборки- refW, which is a parameter indicating the width of the reference sample

- refH, который представляет собой параметр, указывающий высоту опорной выборки- refH, which is a parameter indicating the height of the reference sample

- refFilterFlag, который представляет собой параметр, указывающий то, следует или нет применять фильтрацию опорных выборок- refFilterFlag, which is a parameter indicating whether or not reference sample filtering should be applied

- нефильтрованная соседняя выборка refUnfilt[x][y], где x=-1-refIdx, y=-1-refIdx - refH-1 и x=-refIdx - refW-1, y=-1-refIdx.- unfiltered neighboring sample refUnfilt[x][y], where x=-1-refIdx, y=-1-refIdx - refH-1 and x=-refIdx - refW-1, y=-1-refIdx.

- cIdx, который представляет собой параметр, указывающий цветовой компонент текущего блока- cIdx, which is a parameter indicating the color component of the current block

Устройство декодирования согласно варианту осуществления может определять то, следует или нет выполнять фильтрацию опорных выборок, с использованием полученной информации кодирования (S1622). Когда все из следующих условий представляют собой "истина", устройство декодирования согласно варианту осуществления может задавать параметр filterFlag, указывающий то, следует или нет выполнять фильтрацию опорных выборок, равным первому значению (S1623). Например, первое значение может быть равным 1. Помимо этого, когда все из следующих условий представляют собой "истина", устройство декодирования может выполнять фильтрацию опорных выборок. Между тем, когда любое из следующих условий не является истинным, устройство декодирования может задавать параметр filterFlag равным второму значению и может не выполнять фильтрацию опорных выборок (S1624). Например, второе значение может быть равным 0.The decoding apparatus according to the embodiment can determine whether or not to filter the reference samples using the acquired encoding information (S1622). When all of the following conditions are true, the decoding device according to the embodiment may set a filterFlag parameter indicating whether or not to filter the reference samples to the first value (S1623). For example, the first value may be 1. In addition, when all of the following conditions are true, the decoding apparatus may filter the reference samples. Meanwhile, when any of the following conditions is not true, the decoding apparatus may set the filterFlag parameter to the second value and may not perform filtering of the reference samples (S1624). For example, the second value could be 0.

(Условие 1) refIdx равно 0.(Condition 1) refIdx is 0.

(Условие 2) nTbW*nTbH превышает 32.(Condition 2) nTbW*nTbH exceeds 32.

(Условие 3) cIdx равно 0.(Condition 3) cIdx is 0.

(Условие 4) IntraSubPartitionsSplitType равен ISP_NO_SPLIT.(Condition 4) IntraSubPartitionsSplitType is equal to ISP_NO_SPLIT.

(Условие 5) refFilterFlag равен 1.(Condition 5) refFilterFlag is equal to 1.

Когда значение filterFlag, сформированного на этапе фильтрации опорных выборок, равно 1, устройство декодирования согласно варианту осуществления может извлекать фильтрованное выборочное значение p[x][y] следующим образом. Здесь, x=-1, y=-1 - refH-1 и x=0 - refW-1, y=-1.When the value of filterFlag generated in the reference sample filtering step is 1, the decoding apparatus according to the embodiment can extract the filtered sample value p[x][y] as follows. Here, x=-1, y=-1 - refH-1 and x=0 - refW-1, y=-1.

уравнение 54equation 54

p[-1][-1]=(refUnfilt[-1][0]+2*refUnfilt[-1][-1]+refUnfilt[0][-1]+2>>2p[-1][-1]=(refUnfilt[-1][0]+2*refUnfilt[-1][-1]+refUnfilt[0][-1]+2>>2

уравнение 55equation 55

p[-1][y]=(refUnfilt[-1][y+1]+2*refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2,p[-1][y]=(refUnfilt[-1][y+1]+2*refUnfilt[-1][y]+refUnfilt[-1][y-1]+2)>>2,

где y=0 - refH-2.where y=0 - refH-2.

уравнение 56equation 56

p[-1][refH-1]=refUnfilt[-1][refH-1]p[-1][refH-1]=refUnfilt[-1][refH-1]

уравнение 57equation 57

p[x][-1]=(refUnfilt [x-1][-1]+2*refUnfilt[x][-1]+refUnfilt [x+1][-1]+2)>>2, где x=0 - refW-2.p[x][-1]=(refUnfilt [x-1][-1]+2*refUnfilt[x][-1]+refUnfilt [x+1][-1]+2)>>2, where x=0 - refW-2.

уравнение 58equation 58

p[refW-1][-1]=refUnfilt [refW-1][-1]p[refW-1][-1]=refUnfilt [refW-1][-1]

Когда значение filterFlag, сформированного на этапе фильтрации опорных выборок, не равно 1, устройство декодирования согласно варианту осуществления может задавать опорное выборочное значение p[x][y] равным нефильтрованному выборочному значению refUnfilt[x][y]. Здесь, x=-1-refIdx, y=-1-refIdx - refH-1 и x=-refIdx - refW-1, y=-1-refIdx.When the value of filterFlag generated in the reference sample filtering step is not 1, the decoding apparatus according to the embodiment may set the reference sample value p[x][y] equal to the unfiltered sample value refUnfilt[x][y]. Here, x=-1-refIdx, y=-1-refIdx - refH-1 and x=-refIdx - refW-1, y=-1-refIdx.

Затем, устройство декодирования согласно варианту осуществления может выполнять этап S1630 формирования прогнозных выборок. Устройство декодирования может определять фильтр режима внутреннего прогнозирования согласно значению refFilterFlag на этапе S1630 формирования прогнозных выборок. Например, устройство декодирования согласно варианту осуществления может определять фильтр режима внутреннего прогнозирования согласно значению refFilterFlag для режима направленного внутреннего прогнозирования INTRA_ANGULAR2 в INTRA_ANGULAR66 и формировать прогнозную выборку predSamples[x][y] посредством применения фильтра к опорной выборке. Здесь, x=0 - nTbW-1 и y=0 - nTbH-1.Next, the decoding apparatus according to the embodiment may perform prediction sample generation step S1630. The decoding apparatus may determine the intra prediction mode filter according to the value of refFilterFlag in prediction sample generation step S1630. For example, the decoding apparatus according to an embodiment may determine an intra prediction mode filter according to the refFilterFlag value for the directed intra prediction mode INTRA_ANGULAR2 in INTRA_ANGULAR66 and generate a prediction sample predSamples[x][y] by applying the filter to the reference sample. Here, x=0 - nTbW-1 and y=0 - nTbH-1.

Для вышеуказанного этапа, устройство декодирования согласно варианту осуществления может получать следующую информацию кодирования, включающую в себя refFilterFlag, сформированный на этапе S1610 (S1631).For the above step, the decoding apparatus according to the embodiment may obtain the following encoding information including the refFilterFlag generated in step S1610 (S1631).

- predModeIntra, который представляет собой параметр, указывающий режим внутреннего прогнозирования- predModeIntra, which is a parameter indicating the internal prediction mode

- refIdx, который представляет собой параметр, указывающий индекс опорной линии внутреннего прогнозирования- refIdx, which is a parameter indicating the index of the internal forecasting reference line

- nTbW, который представляет собой параметр, указывающий ширину блока преобразования- nTbW, which is a parameter indicating the width of the transform block

- nTbH, который представляет собой параметр, указывающий высоту блока преобразования- nTbH, which is a parameter indicating the height of the transform block

- refW, который представляет собой параметр, указывающий ширину опорной выборки- refW, which is a parameter indicating the width of the reference sample

- refH, который представляет собой высоту опорной выборки- refH, which is the height of the reference sample

- nCbW, который представляет собой параметр, указывающий ширину блока кодирования- nCbW, which is a parameter indicating the width of the encoding block

- nCbH, который представляет собой параметр, указывающий высоту блока кодирования- nCbH, which is a parameter indicating the height of the encoding block

- refFilterFlag, который представляет собой параметр, указывающий значение флага опорного фильтра- refFilterFlag, which is a parameter indicating the value of the reference filter flag

- cIdx, который представляет собой параметр, указывающий цветовой компонент текущего блока- cIdx, which is a parameter indicating the color component of the current block

- соседняя выборка p[x][y], где x=- 1-refIdx, y=- 1-refIdx - refH-1 и x=-refIdx - refW-1, y=- 1-refIdx.- adjacent sample p[x][y], where x=- 1-refIdx, y=- 1-refIdx - refH-1 and x=-refIdx - refW-1, y=- 1-refIdx.

Помимо этого, устройство декодирования согласно варианту осуществления может формировать переменную nTbS наличие значения (Log2 (nTbW)+Log2 (nTbH))>>1.In addition, the decoding apparatus according to the embodiment may generate the variable nTbS having the value (Log2 (nTbW)+Log2 (nTbH))>>1.

Устройство декодирования согласно варианту осуществления определяет то, удовлетворяются или нет условия для использования повышающего резкость фильтра (S1632). Например, когда одно или более следующих условий представляют собой "истина", устройство декодирования может определять то, что условия для использования повышающего резкость фильтра удовлетворяются, и задавать значение filterFlag равным первому значению (S1633). Например, первое значение может быть равным 0.The decoding apparatus according to the embodiment determines whether the conditions for using the sharpening filter are satisfied or not (S1632). For example, when one or more of the following conditions are true, the decoding apparatus may determine that the conditions for using the sharpening filter are satisfied and set the filterFlag value to the first value (S1633). For example, the first value could be 0.

(Условие 1) Значение refFilterFlag равно 1.(Condition 1) The value of refFilterFlag is 1.

(Условие 2) Значение refIdx не равно 0.(Condition 2) The refIdx value is not 0.

(Условие 3) IntraSubPartitionsSplitType не равно ISP_NO_SPLIT.(Condition 3) IntraSubPartitionsSplitType is not equal to ISP_NO_SPLIT.

Между тем, когда все вышеуказанные условия не удовлетворяются, устройство декодирования может задавать filterFlag равным второму значению (S1634). Здесь, второе значение может быть равным 1. Таким образом, устройство декодирования может задавать значение filterFlag равным 1, когда значение refFilterFlag равно 0, и задавать значение filterFlag равным 0, когда значение refFilterFlag равно 1.Meanwhile, when all of the above conditions are not satisfied, the decoding device may set filterFlag to the second value (S1634). Here, the second value may be 1. Thus, the decoding apparatus may set the filterFlag value to 1 when the refFilterFlag value is 0, and set the filterFlag value to 0 when the refFilterFlag value is 1.

Между тем, в варианте осуществления, устройство декодирования может выполнять этапы S1632-S1634 посредством сохранения результата вычисления для 1-refFilterFlag в качестве значения filterFlag.Meanwhile, in an embodiment, the decoding apparatus may perform steps S1632 to S1634 by storing the calculation result for 1-refFilterFlag as a filterFlag value.

Между тем, устройство декодирования может определять значение filterFlag посредством дополнительного рассмотрения дополнительных условий, когда не удовлетворяются все из условий 1-3. Например, устройство декодирования может задавать filterFlag равным второму значению, когда minDistVerHor превышает intraHorVerDistThres[nTbS]. Здесь, второе значение может быть равным 1. Между тем, устройство декодирования может задавать filterFlag равным первому значению, когда minDistVerHor меньше или равен intraHorVerDistThres[nTbS]. Здесь, первое значение может быть равным 0. Для этого вычисления, устройство декодирования может задавать параметр minDistVerHor Min(Abs(predModeIntra-50) и Abs(predModeIntra-18)) и задавать параметр intraHorVerDistThres[nTbS] согласно размеру nTbS блока преобразования, как показано в следующей таблице.Meanwhile, the decoding device may determine the filterFlag value by further considering additional conditions when all of the conditions 1-3 are not satisfied. For example, the decoder may set filterFlag equal to the second value when minDistVerHor exceeds intraHorVerDistThres[nTbS]. Here, the second value may be equal to 1. Meanwhile, the decoding apparatus may set filterFlag equal to the first value when minDistVerHor is less than or equal to intraHorVerDistThres[nTbS]. Here, the first value may be 0. For this calculation, the decoder may set the parameter minDistVerHor Min(Abs(predModeIntra-50) and Abs(predModeIntra-18)) and set the parameter intraHorVerDistThres[nTbS] according to the size nTbS of the transform block, as shown in the following table.

Таблица 5Table 5 nTbS=2nTbS=2 nTbS=3nTbS=3 nTbS=4nTbS=4 nTbS=5nTbS=5 nTbS=6nTbS=6 nTbS=7nTbS=7 intraHorVerDistThres[nTbS]intraHorVerDistThres[nTbS] 2424 1414 22 00 00 00

Хотя примерные способы настоящего раскрытия сущности, описанного выше, представляются как последовательность операций для ясности описания, это не имеет намерение ограничивать порядок, в котором выполняются этапы, и этапы могут выполняться одновременно или в другом порядке при необходимости. Чтобы реализовывать способ согласно настоящему раскрытию сущности, описанные этапы дополнительно могут включать в себя другие этапы, могут включать в себя оставшиеся этапы, за исключением некоторых этапов, либо могут включать в себя другие дополнительные этапы, за исключением некоторых этапов.Although the exemplary methods of the present disclosure described above are presented as a sequence of operations for clarity of description, it is not intended to limit the order in which the steps are performed, and the steps may be performed simultaneously or in a different order as necessary. To implement the method of the present disclosure, the described steps may further include other steps, may include the remaining steps except some steps, or may include other additional steps except some steps.

В настоящем раскрытии сущности, устройство кодирования изображений или устройство декодирования изображений, которое выполняет предварительно определенную операцию (этап), может выполнять операцию (этап) подтверждения условия или ситуации выполнения соответствующей операции (этап). Например, если описывается то, что предварительно определенная операция выполняется, когда предварительно определенное условие удовлетворяется, устройство кодирования изображений или устройство декодирования изображений может выполнять предварительно определенную операцию после определения того, удовлетворяется или нет предварительно определенное условие.In the present disclosure, an image encoding device or an image decoding device that performs a predetermined operation (step) may perform an operation (step) of confirming a condition or situation for executing a corresponding operation (step). For example, if it is described that a predetermined operation is performed when a predetermined condition is satisfied, the image encoding device or the image decoding device may perform the predetermined operation after determining whether or not the predetermined condition is satisfied.

Различные варианты осуществления настоящего раскрытия сущности не представляют собой список всех возможных комбинаций и имеют намерение описывать характерные аспекты настоящего раскрытия сущности, и вопросы, описанные в различных вариантах осуществления, могут применяться независимо либо в комбинации двух или более из них.The various embodiments of the present disclosure are not intended to be a list of all possible combinations and are intended to describe characteristic aspects of the present disclosure, and the matters described in the various embodiments may be applied independently or in combination of two or more of them.

Различные варианты осуществления настоящего раскрытия сущности могут реализовываться в аппаратных средствах, микропрограммном обеспечении, программном обеспечении либо в комбинации вышеозначенного. В случае реализации настоящего раскрытия сущности посредством аппаратных средств, настоящее раскрытие сущности может реализовываться с помощью специализированных интегральных схем (ASIC), процессоров цифровых сигналов (DSP), устройств обработки цифровых сигналов (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), общих процессоров, контроллеров, микроконтроллеров, микропроцессоров и т.д.Various embodiments of the present disclosure may be implemented in hardware, firmware, software, or a combination of the above. If the present disclosure is implemented in hardware, the present disclosure may be implemented in application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays. (FPGA), general processors, controllers, microcontrollers, microprocessors, etc.

Помимо этого, устройство декодирования изображений и устройство кодирования изображений, к которым применяются варианты осуществления настоящего раскрытия сущности, могут включаться в мультимедийное широковещательное приемо-передающее устройство, терминал мобильной связи, видеоустройство системы домашнего кинотеатра, видеоустройство системы цифрового кинотеатра, камеру наблюдения, устройство проведения видеочатов, устройство связи в реальном времени, к примеру, для видеосвязи, мобильное устройство потоковой передачи, носитель хранения данных, записывающую видеокамеру, устройство предоставления услуг на основе технологии "видео по запросу" (VoD), устройство на основе OTT-видео (видео поверх сетей), устройство предоставления услуг потоковой передачи по Интернету, трехмерное видеоустройство, видеоустройство системы видеотелефонии, медицинское видеоустройство и т.п. и могут использоваться для того, чтобы обрабатывать видеосигналы или сигналы данных. Например, OTT-видеоустройства могут включать в себя игровую консоль, Blu-Ray-проигрыватель, телевизор с доступом в Интернет, систему домашнего кинотеатра, смартфон, планшетный PC, цифровое записывающее видеоустройство (DVR) и т.п.In addition, the image decoding device and the image encoding device to which embodiments of the present disclosure are applied may be included in a multimedia broadcast transceiver device, a mobile communication terminal, a home theater system video device, a digital cinema system video device, a surveillance camera, a video chat device. , real-time communication device such as video, mobile streaming device, storage media, video recording camera, video-on-demand (VoD) device, OTT video device ), an Internet streaming service providing device, a 3D video device, a video telephony system video device, a medical video device, and the like. and can be used to process video or data signals. For example, OTT video devices may include a gaming console, Blu-ray player, Internet-enabled television, home theater system, smartphone, tablet PC, digital video recorder (DVR), etc.

Фиг. 34 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего раскрытия сущности.Fig. 34 is a view showing a content streaming system to which an embodiment of the present disclosure is applicable.

Ссылаясь на фиг. 34, система потоковой передачи контента, к которой применяется вариант(ы) осуществления настоящего документа, может включать в себя, главным образом, сервер кодирования, потоковый сервер, веб-сервер, хранилище мультимедиа, пользовательское устройство и устройство ввода мультимедиа.Referring to FIG. 34, the content streaming system to which the embodiment(s) of this document applies may mainly include an encoding server, a streaming server, a web server, a media storage, a user device, and a media input device.

Сервер кодирования сжимает контент, вводимый из устройств ввода мультимедиа, таких как смартфон, камера, записывающая видеокамера и т.д., в цифровые данные для того, чтобы формировать поток битов, и передает поток битов на потоковый сервер. В качестве другого примера, когда устройства ввода мультимедиа, такие как смартфоны, камеры, записывающие видеокамеры и т.д., непосредственно формируют поток битов, сервер кодирования может опускаться.The encoding server compresses the content input from media input devices such as a smartphone, camera, video recorder, etc. into digital data to form a bitstream, and transmits the bitstream to the streaming server. As another example, when media input devices such as smartphones, cameras, video recorders, etc. directly generate a bitstream, the encoding server may be omitted.

Поток битов может формироваться посредством способа кодирования изображений или устройства кодирования изображений, к которому применяется вариант осуществления настоящего раскрытия сущности, и потоковый сервер может временно сохранять поток битов в процессе передачи или приема потока битов.The bitstream may be generated by an image encoding method or an image encoding apparatus to which an embodiment of the present disclosure is applied, and the streaming server may temporarily store the bitstream in the process of transmitting or receiving the bitstream.

Потоковый сервер передает мультимедийные данные в пользовательское устройство на основе запроса пользователя через веб-сервер, и веб-сервер служит в качестве среды для информирования пользователя в отношении услуги. Когда пользователь запрашивает требуемую услугу из веб-сервера, веб-сервер может доставлять ее на потоковый сервер, и потоковый сервер может передавать мультимедийные данные пользователю. В этом случае, система потоковой передачи контента может включать в себя отдельный сервер управления. В этом случае, сервер управления служит для того, чтобы управлять командой/ответом между устройствами в системе потоковой передачи контента.The streaming server transmits multimedia data to the user device based on the user's request through the web server, and the web server serves as a medium for informing the user regarding the service. When a user requests a desired service from a web server, the web server may deliver it to the streaming server, and the streaming server may stream the media data to the user. In this case, the content streaming system may include a separate control server. In this case, the control server serves to manage the command/response between devices in the content streaming system.

Потоковый сервер может принимать контент из хранилища мультимедиа и/или сервера кодирования. Например, когда контент принимается из сервера кодирования, контент может приниматься в реальном времени. В этом случае, чтобы предоставлять плавную услугу потоковой передачи, потоковый сервер может сохранять поток битов в течение предварительно определенного времени.The streaming server may receive content from a media storage and/or encoding server. For example, when content is received from an encoding server, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may maintain the bit stream for a predetermined time.

Примеры пользовательского устройства могут включать в себя мобильный телефон, смартфон, переносной компьютер, цифровой широковещательный терминал, персональное цифровое устройство (PDA), портативный мультимедийный проигрыватель (PMP), навигационное устройство, грифельный планшетный PC, планшетные PC, ультрабуки, носимые устройства (например, интеллектуальные часы, интеллектуальные очки, наголовные дисплеи), цифровые телевизоры, настольные компьютеры, систему цифровых информационных табло и т.п.Examples of a user device may include a mobile phone, a smartphone, a laptop computer, a digital broadcast terminal, a personal digital device (PDA), a portable media player (PMP), a navigation device, a tablet PC, tablet PCs, ultrabooks, wearable devices (e.g. smart watches, smart glasses, head-mounted displays), digital TVs, desktop computers, digital signage system, etc.

Каждый сервер в системе потоковой передачи контента может работать в качестве распределенного сервера, причем в этом случае данные, принимаемые из каждого сервера, могут распределяться.Each server in a content streaming system may operate as a distributed server, in which case data received from each server may be distributed.

Операция согласно способу по различным вариантам осуществления, описанным выше, может выполняться на устройстве или компьютере посредством программного обеспечения или инструкций, которые могут выполняться на устройстве (например, посредством операционной системы, приложения, микропрограммного обеспечения, программы и т.д.), выполняемых на устройстве или компьютере, и такое программное обеспечение или инструкции, которые могут выполняться в устройстве, могут записываться на долговременном считываемом компьютером носителе, который может выполняться через устройство или компонент компьютера. Считываемый компьютером носитель записи может включать в себя программные инструкции, файлы данных, структуры данных и т.д. отдельно или в комбинации. Программные инструкции, записанные на считываемом компьютером носителе записи, могут специально проектироваться и конфигурироваться с возможностью реализовывать настоящее раскрытие сущности либо могут быть известными для и использоваться специалистами области техники компьютерного программного обеспечения. Примеры считываемого компьютером носителя записи включают в себя магнитные носители записи, такие как жесткие диски, гибкие диски и магнитные ленты; оптические носители хранения данных, такие как CD-ROM или DVD-ROM; магнитооптические носители, такие как флоптические диски; и аппаратные устройства, такие как постоянное запоминающее устройство (ROM), оперативное запоминающее устройство (RAM), флэш-память и т.д., которые конкретно конструируются с возможностью сохранять и реализовывать программную инструкцию. Примеры программных инструкций включают в себя не только механический языковой код, форматируемый посредством компилятора, но также и высокоуровневый языковой код, который может реализовываться посредством компьютера с использованием интерпретатора. Аппаратные устройства могут быть выполнены с возможностью работать посредством одного или более программных модулей или наоборот, с тем чтобы проводить процессы согласно настоящему изобретению.The operation of the method of the various embodiments described above may be performed on a device or computer through software or instructions that can be executed on the device (eg, through an operating system, application, firmware, program, etc.) executed on device or computer, and such software or instructions that may be executed on the device may be recorded on a non-transitory computer-readable medium that may be executed through the device or computer component. The computer-readable recording medium may include program instructions, data files, data structures, etc. separately or in combination. The program instructions recorded on a computer-readable recording medium may be specifically designed and configured to implement the present disclosure, or may be known to and used by those skilled in the computer software art. Examples of computer-readable recording media include magnetic recording media such as hard disks, floppy disks and magnetic tapes; optical storage media such as CD-ROM or DVD-ROM; magneto-optical media such as floptic disks; and hardware devices such as read-only memory (ROM), random access memory (RAM), flash memory, etc., which are specifically designed to store and implement a software instruction. Examples of program instructions include not only mechanical language code formatted by a compiler, but also high-level language code that may be implemented by a computer using an interpreter. Hardware devices may be configured to operate through one or more software modules, or vice versa, so as to carry out the processes of the present invention.

Выше описывается конкретная техническая идея для кодирования и декодирования видео или изображения со ссылкой на ограниченные варианты осуществления и чертежи, но она предоставляется только для того, чтобы помогать в общем понимании, и техническая идея, описанная в настоящем раскрытии сущности, не ограничена вариантами осуществления. Специалисты в области техники, к которой относится техническая идея, описанная в настоящем раскрытии сущности, могут разрабатывать различные модификации и варьирования из этих описаний.The above describes a specific technical idea for video or image encoding and decoding with reference to limited embodiments and drawings, but it is provided only to assist in the general understanding, and the technical idea described in the present disclosure is not limited to the embodiments. Those skilled in the art to which the technical idea described in this disclosure relates can make various modifications and variations from these disclosures.

Следовательно, техническая идея, описанная в настоящем раскрытии сущности, не должна быть ограничена вышеописанным вариантом осуществления, и формула изобретения, которая описывается ниже, а также все модификации, эквивалентно или эквивалентные этой формуле изобретения, попадают в пределы объема настоящего раскрытия сущности.Therefore, the technical idea described in the present disclosure should not be limited to the embodiment described above, and the claims that are described below, as well as all modifications equivalent or equivalent to these claims, fall within the scope of the present disclosure.

Промышленная применимостьIndustrial applicability

Варианты осуществления настоящего раскрытия сущности могут использоваться для того, чтобы кодировать или декодировать изображение.Embodiments of the present disclosure may be used to encode or decode an image.

1. Способ декодирования изображений, осуществляемый посредством устройства декодирования изображений, при этом способ декодирования изображений содержит этапы, на которых:1. An image decoding method carried out by an image decoding device, wherein the image decoding method comprises the steps of:

- получают информацию режима внутреннего прогнозирования текущего блока из потока битов;- obtaining internal prediction mode information of the current block from the bit stream;

- определяют режим внутреннего прогнозирования текущего блока на основе информации режима внутреннего прогнозирования и режима внутреннего прогнозирования соседнего блока, расположенного около текущего блока;- determine the internal prediction mode of the current block based on information from the internal prediction mode and the internal prediction mode of the neighboring block located near the current block;

- извлекают значение первого флага фильтра для использования фильтрации внутренней прогнозной опорной выборки текущего блока на основе параметров кодирования для текущего блока;- retrieving the value of the first filter flag to use internal predictive reference sample filtering of the current block based on the encoding parameters for the current block;

- выбирают интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра; иselecting an interpolation filter to be used for internal prediction of the current block based on the first filter flag; And

- формируют блок внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра.- forming an internal prediction block of the current block using the selected interpolation filter.

2. Способ декодирования изображений по п. 1, дополнительно содержащий этап, на котором:2. The image decoding method according to claim 1, further comprising the step of:

- применяют сглаживающую фильтрацию к внутренней прогнозной опорной выборке текущего блока, когда значение первого флага фильтра указывает использование фильтрации внутренней прогнозной опорной выборки текущего блока;- apply smoothing filtering to the internal predictive reference sample of the current block when the value of the first filter flag indicates the use of filtering of the internal predictive reference sample of the current block;

- при этом параметры кодирования содержат по меньшей мере одно из индекса множественной опорной линии текущего блока, размера текущего блока, цветового компонента текущего блока, того, следует ли применять внутренние субсегменты (ISP) к текущему блоку, или режима внутреннего прогнозирования текущего блока.- wherein the encoding parameters comprise at least one of a multiple reference line index of the current block, a size of the current block, a color component of the current block, whether intra sub-segments (ISP) should be applied to the current block, or an intra prediction mode of the current block.

3. Способ декодирования изображений по п. 1,3. The method of decoding images according to claim 1,

- в котором указывается то, что фильтрация не используется для внутренней прогнозной опорной выборки, когда значение первого флага фильтра составляет первое значение,- indicating that filtering is not used for the internal predictive reference sample when the value of the first filter flag is the first value,

- в котором указывается то, что фильтрация используется для внутренней прогнозной опорной выборки, когда значение первого флага фильтра составляет второе значение,- indicating that filtering is used for the internal predictive reference sample when the value of the first filter flag is equal to the second value,

- при этом интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, определяется в качестве фильтра, имеющего характеристику повышения резкости, когда значение первого флага фильтра составляет первое значение, иwherein the interpolation filter to be used for intra-prediction of the current block is determined to be a filter having a sharpening characteristic when the value of the first filter flag is the first value, and

- при этом интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, определяется в качестве фильтра, имеющего характеристику сглаживания, когда значение первого флага фильтра составляет второе значение.wherein the interpolation filter to be used for intra-prediction of the current block is determined to be a filter having a smoothing characteristic when the value of the first filter flag is the second value.

4. Способ декодирования изображений по п. 1, в котором выбор интерполяционного фильтра, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра содержит этапы, на которых:4. The image decoding method of claim 1, wherein selecting an interpolation filter to be used for intra-prediction of the current block based on the first filter flag comprises the steps of:

- извлекают значение второго флага фильтра для интерполяционного фильтра, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра; и- extracting the value of a second filter flag for an interpolation filter to be used for intra-prediction of the current block based on the first filter flag; And

- выбирают интерполяционный фильтр на основе второго флага фильтра.- selecting an interpolation filter based on the second filter flag.

5. Способ декодирования изображений по п. 4, в котором значение второго флага фильтра извлекается в качестве первого значения, когда удовлетворяется условие для по меньшей мере одного из параметров кодирования.5. The image decoding method of claim 4, wherein the value of the second filter flag is retrieved as a first value when a condition for at least one of the encoding parameters is satisfied.

6. Способ декодирования изображений по п. 5, в котором значение второго флага фильтра извлекается в качестве первого значения, когда внутренние субсегменты (ISP) применяются к текущему блоку.6. The image decoding method of claim 5, wherein the value of the second filter flag is retrieved as a first value when internal subsegments (ISPs) are applied to the current block.

7. Способ декодирования изображений по п. 5, в котором значение второго флага фильтра извлекается в качестве первого значения, когда внутренние субсегменты (ISP) применяются к текущему блоку, текущий блок представляет собой блок сигналов яркости, режим внутреннего прогнозирования текущего блока равен или выше предварительно определенного режима, и ширина текущего блока равна или выше предварительно определенного размера.7. The image decoding method of claim 5, wherein the value of the second filter flag is extracted as the first value when internal subsegments (ISP) are applied to the current block, the current block is a luminance signal block, the intra prediction mode of the current block is equal to or higher than pre specified mode, and the width of the current block is equal to or greater than a predefined size.

8. Способ декодирования изображений по п. 7, в котором предварительно определенный режим представляет собой левый верхний диагональный режим, и предварительно определенный размер равен 8.8. The image decoding method according to claim 7, wherein the predetermined mode is the upper left diagonal mode, and the predetermined size is 8.

9. Способ декодирования изображений по п. 5, в котором значение второго флага фильтра извлекается в качестве первого значения, когда внутренние субсегменты (ISP) применяются к текущему блоку, текущий блок представляет собой блок сигналов яркости, режим внутреннего прогнозирования текущего блока равен или меньше предварительно определенного режима, и ширина текущего блока равна или выше предварительно определенного размера.9. The image decoding method of claim 5, wherein the value of the second filter flag is extracted as the first value when internal subsegments (ISPs) are applied to the current block, the current block is a luma signal block, the intra prediction mode of the current block is equal to or less than pre specified mode, and the width of the current block is equal to or greater than a predefined size.

10. Способ декодирования изображений по п. 9, в котором предварительно определенный режим представляет собой левый верхний диагональный режим, и предварительно определенный размер равен 8.10. The image decoding method of claim 9, wherein the predetermined mode is the upper left diagonal mode, and the predetermined size is 8.

11. Способ декодирования изображений по п. 4,11. The method of decoding images according to claim 4,

- в котором указывается то, что фильтрация не используется для внутренней прогнозной опорной выборки, когда значение первого флага фильтра составляет первое значение,- indicating that filtering is not used for the internal predictive reference sample when the value of the first filter flag is the first value,

- в котором указывается то, что фильтрация используется для внутренней прогнозной опорной выборки, когда значение первого флага фильтра составляет второе значение, и- indicating that filtering is used for the internal predictive reference sample when the value of the first filter flag is the second value, and

- при этом значение второго флага фильтра извлекается в качестве 0, когда значение первого флага фильтра равно 1.- whereby the value of the second filter flag is retrieved as 0 when the value of the first filter flag is 1.

12. Способ декодирования изображений по п. 11,12. The method of decoding images according to claim 11,

- в котором интерполяционный фильтр представляет собой фильтр, имеющий характеристику повышения резкости, когда значение второго флага фильтра составляет первое значение,- wherein the interpolation filter is a filter having a sharpening characteristic when the value of the second filter flag is equal to the first value,

- в котором интерполяционный фильтр представляет собой фильтр, имеющий характеристику сглаживания, когда значение второго флага фильтра составляет второе значение, и- wherein the interpolation filter is a filter having a smoothing characteristic when the value of the second filter flag is a second value, and

- при этом значение второго флага фильтра извлекается в качестве первого значения, когда значение первого флага фильтра составляет второе значение.- wherein the value of the second filter flag is retrieved as the first value when the value of the first filter flag is the second value.

13. Устройство декодирования изображений, содержащее:13. An image decoding device comprising:

- запоминающее устройство; и- Memory device; And

- по меньшей мере один процессор,- at least one processor,

- при этом по меньшей мере один процессор выполнен с возможностью:- wherein at least one processor is configured to:

- получать информацию режима внутреннего прогнозирования текущего блока из потока битов;- obtain internal prediction mode information of the current block from the bit stream;

- определять режим внутреннего прогнозирования текущего блока на основе информации режима внутреннего прогнозирования и режима внутреннего прогнозирования соседнего блока, расположенного около текущего блока;- determine the internal prediction mode of the current block based on information from the internal prediction mode and the internal prediction mode of the neighboring block located near the current block;

- извлекать значение первого флага фильтра для использования фильтрации внутренней прогнозной опорной выборки текущего блока на основе параметров кодирования для текущего блока;- retrieve the value of the first filter flag to use internal predictive reference sample filtering of the current block based on the encoding parameters for the current block;

- выбирать интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра; и- select the interpolation filter that should be used for internal prediction of the current block, based on the first filter flag; And

- формировать блок внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра.- generate an internal prediction block of the current block using the selected interpolation filter.

14. Способ кодирования изображений, осуществляемый посредством устройства кодирования изображений, при этом способ кодирования изображений содержит этапы, на которых:14. An image encoding method carried out by an image encoding device, the image encoding method comprising the steps of:

- выбирают режим внутреннего прогнозирования текущего блока;- select the internal prediction mode of the current block;

- извлекают значение первого флага фильтра для использования фильтрации внутренней прогнозной опорной выборки текущего блока на основе параметров кодирования для текущего блока;- retrieving the value of the first filter flag to use internal predictive reference sample filtering of the current block based on the encoding parameters for the current block;

- выбирают интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, на основе первого флага фильтра;selecting an interpolation filter to be used for internal prediction of the current block based on the first filter flag;

- формируют блок внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра; и- forming an internal prediction block of the current block using the selected interpolation filter; And

- кодируют режим внутреннего прогнозирования текущего блока на основе режима внутреннего прогнозирования соседнего блока, расположенного около текущего блока.- encoding the intra prediction mode of the current block based on the intra prediction mode of the neighboring block located near the current block.

15. Способ передачи потока битов, сформированного посредством способа кодирования изображений по п. 14.15. A method for transmitting a bit stream generated by the image encoding method according to claim 14.

Claims (48)

1. Способ декодирования изображений, осуществляемый посредством устройства декодирования изображений, при этом способ декодирования изображений содержит этапы, на которых:1. An image decoding method carried out by an image decoding device, wherein the image decoding method comprises the steps of: определяют режим внутреннего прогнозирования текущего блока на основе информации режима внутреннего прогнозирования и режима внутреннего прогнозирования соседнего слева блока и соседнего сверху блока относительно текущего блока;determining the intra prediction mode of the current block based on the information of the intra prediction mode and the intra prediction mode of the left adjacent block and the top adjacent block relative to the current block; извлекают значение флага фильтра опорной выборки на основе параметров кодирования для текущего блока;retrieving the value of the reference sample filter flag based on the encoding parameters for the current block; определяют то, следует или нет фильтровать опорную выборку внутреннего прогнозирования текущего блока, на основе флага фильтра опорной выборки;determining whether or not to filter the intra prediction reference sample of the current block based on the reference sample filter flag; выбирают интерполяционный фильтр для внутреннего прогнозирования текущего блока на основе флага фильтра опорной выборки;selecting an interpolation filter for intra-prediction of the current block based on the reference sample filter flag; формируют блок внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра; иgenerating an internal prediction block of the current block using the selected interpolation filter; And восстанавливают текущий блок на основе блока внутреннего прогнозирования и остаточного блока,reconstructing the current block based on the internal prediction block and the residual block, при этом параметры кодирования содержат по меньшей мере одно из индекса множественной опорной линии текущего блока, размера текущего блока, цветового компонента текущего блока, того, следует ли применять внутренние субсегменты (ISP) к текущему блоку, или режима внутреннего прогнозирования текущего блока.wherein the encoding parameters comprise at least one of a multiple reference line index of the current block, a size of the current block, a color component of the current block, whether intra sub-segments (ISP) should be applied to the current block, or an intra prediction mode of the current block. 2. Способ декодирования изображений по п. 1,2. The method of decoding images according to claim 1, в котором фильтрация внутренней прогнозной опорной выборки не используется, на основе того, что значением флага фильтра опорной выборки является первое значение,wherein no internal predictive reference sample filtering is used based on the value of the reference sample filter flag being the first value, в котором фильтрация внутренней прогнозной опорной выборки используется, на основе того, что значением флага фильтра опорной выборки является второе значение,wherein filtering of the internal predictive reference sample is used based on the value of the reference sample filter flag being a second value, при этом интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, определяется в качестве фильтра, имеющего характеристику повышения резкости, на основе того, что значением флага фильтра опорной выборки является первое значение, иwherein the interpolation filter to be used for intra-prediction of the current block is determined to be a filter having a sharpening characteristic based on the value of the reference sample filter flag being the first value, and при этом интерполяционный фильтр, который должен использоваться для внутреннего прогнозирования текущего блока, определяется в качестве фильтра, имеющего характеристику сглаживания, на основе того, что значением флага фильтра опорной выборки является второе значение.wherein the interpolation filter to be used for intra-prediction of the current block is determined to be a filter having a smoothing characteristic based on the value of the reference sample filter flag being the second value. 3. Способ декодирования изображений по п. 1, в котором выбор интерполяционного фильтра для внутреннего прогнозирования текущего блока на основе флага фильтра опорной выборки содержит этапы, на которых:3. The image decoding method according to claim 1, wherein selecting an interpolation filter for intra-prediction of the current block based on a reference sample filter flag comprises the steps of: извлекают значение флага интерполяционного фильтра для интерполяционного фильтра, который должен использоваться для внутреннего прогнозирования текущего блока, на основе флага фильтра опорной выборки; иretrieving an interpolation filter flag value for an interpolation filter to be used for intra-prediction of the current block based on the reference sample filter flag; And выбирают интерполяционный фильтр на основе флага интерполяционного фильтра.selecting an interpolation filter based on the interpolation filter flag. 4. Способ декодирования изображений по п. 3, в котором значение флага интерполяционного фильтра извлекается в качестве первого значения на основе того, что режим внутреннего прогнозирования соответствует предварительно определенному режиму внутреннего прогнозирования.4. The image decoding method of claim 3, wherein the interpolation filter flag value is extracted as a first value based on the intra prediction mode corresponding to the predetermined intra prediction mode. 5. Способ декодирования изображений по п. 4, в котором значение флага интерполяционного фильтра извлекается в качестве первого значения на основе того, что внутренние субсегменты (ISP) применяются к текущему блоку.5. The image decoding method of claim 4, wherein the value of the interpolation filter flag is retrieved as a first value based on internal subsegments (ISPs) being applied to the current block. 6. Способ декодирования изображений по п. 4, в котором значение флага интерполяционного фильтра извлекается в качестве первого значения на основе того, что внутренние субсегменты (ISP) применяются к текущему блоку, текущий блок представляет собой блок сигналов яркости, режим внутреннего прогнозирования текущего блока равен или выше предварительно определенного режима и ширина текущего блока равна или выше предварительно определенного размера.6. The image decoding method of claim 4, wherein the value of the interpolation filter flag is extracted as the first value based on the fact that internal subsegments (ISPs) are applied to the current block, the current block is a luminance signal block, the internal prediction mode of the current block is or higher than the predefined mode and the width of the current block is equal to or higher than the predefined size. 7. Способ декодирования изображений по п. 6, в котором предварительно определенный режим представляет собой левый верхний диагональный режим и предварительно определенный размер равен 8.7. The image decoding method of claim 6, wherein the predetermined mode is the upper left diagonal mode and the predetermined size is 8. 8. Способ декодирования изображений по п. 4, в котором значение флага интерполяционного фильтра извлекается в качестве первого значения на основе того, что внутренние субсегменты (ISP) применяются к текущему блоку, текущий блок представляет собой блок сигналов яркости, режим внутреннего прогнозирования текущего блока равен или меньше предварительно определенного режима и ширина текущего блока равна или выше предварительно определенного размера.8. The image decoding method of claim 4, wherein the value of the interpolation filter flag is extracted as the first value based on the fact that internal subsegments (ISPs) are applied to the current block, the current block is a luminance signal block, the internal prediction mode of the current block is or less than a predefined mode and the width of the current block is equal to or greater than a predefined size. 9. Способ декодирования изображений по п. 8, в котором предварительно определенный режим представляет собой левый верхний диагональный режим и предварительно определенный размер равен 8.9. The image decoding method of claim 8, wherein the predetermined mode is the upper left diagonal mode and the predetermined size is 8. 10. Способ декодирования изображений по п. 3,10. Method of decoding images according to claim 3, в котором фильтрация внутренней прогнозной опорной выборки не используется, на основе того, что значением флага фильтра опорной выборки является первое значение,wherein no internal predictive reference sample filtering is used based on the value of the reference sample filter flag being the first value, в котором фильтрация внутренней прогнозной опорной выборки используется, на основе того, что значением флага фильтра опорной выборки является второе значение, иwherein filtering of the internal predictive reference sample is used based on the value of the reference sample filter flag being a second value, and при этом значение флага интерполяционного фильтра извлекается в качестве 0 на основе того, что значением флага фильтра опорной выборки является 1.wherein the value of the interpolation filter flag is retrieved as 0 based on the value of the reference sample filter flag being 1. 11. Способ декодирования изображений по п. 10,11. The method of decoding images according to claim 10, в котором интерполяционный фильтр представляет собой фильтр, имеющий характеристику повышения резкости, на основе того, что значением флага интерполяционного фильтра является первое значение,wherein the interpolation filter is a filter having a sharpening characteristic based on the value of the interpolation filter flag being a first value, в котором интерполяционный фильтр представляет собой фильтр, имеющий характеристику сглаживания, на основе того, что значением флага интерполяционного фильтра является второе значение, иwherein the interpolation filter is a filter having a smoothing characteristic based on the value of the interpolation filter flag being a second value, and при этом значение флага интерполяционного фильтра извлекается в качестве первого значения на основе того, что значением флага фильтра опорной выборки является второе значение.wherein the value of the interpolation filter flag is retrieved as the first value based on the value of the reference sample filter flag being the second value. 12. Способ кодирования изображений, осуществляемый посредством устройства кодирования изображений, при этом способ кодирования изображений содержит этапы, на которых:12. An image encoding method carried out by an image encoding device, the image encoding method comprising the steps of: выбирают режим внутреннего прогнозирования текущего блока;select the internal prediction mode of the current block; извлекают значение флага фильтра опорной выборки на основе параметров кодирования для текущего блока;retrieving the value of the reference sample filter flag based on the encoding parameters for the current block; определяют то, следует или нет фильтровать опорную выборку внутреннего прогнозирования текущего блока, на основе флага фильтра опорной выборки;determining whether or not to filter the intra prediction reference sample of the current block based on the reference sample filter flag; выбирают интерполяционный фильтр для внутреннего прогнозирования текущего блока на основе флага фильтра опорной выборки;selecting an interpolation filter for intra-prediction of the current block based on the reference sample filter flag; формируют блок внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра;generating an internal prediction block of the current block using the selected interpolation filter; формируют остаточный блок на основе текущего блока и блока внутреннего прогнозирования; иgenerating a residual block based on the current block and the internal prediction block; And кодируют режим внутреннего прогнозирования текущего блока на основе режима внутреннего прогнозирования соседнего слева блока и соседнего сверху блока относительно текущего блока,encoding the intra prediction mode of the current block based on the intra prediction mode of the left adjacent block and the upper adjacent block relative to the current block, при этом параметры кодирования содержат по меньшей мере одно из индекса множественной опорной линии текущего блока, размера текущего блока, цветового компонента текущего блока, того, следует ли применять внутренние субсегменты (ISP) к текущему блоку, или режима внутреннего прогнозирования текущего блока.wherein the encoding parameters comprise at least one of a multiple reference line index of the current block, a size of the current block, a color component of the current block, whether intra sub-segments (ISP) should be applied to the current block, or an intra prediction mode of the current block. 13. Способ передачи видеоинформации, формируемой посредством выполнения этапов, на которых:13. A method for transmitting video information generated by performing the stages in which: выбирают режим внутреннего прогнозирования текущего блока;select the internal prediction mode of the current block; извлекают значение флага фильтра опорной выборки на основе параметров кодирования для текущего блока;retrieving the value of the reference sample filter flag based on the encoding parameters for the current block; определяют то, следует или нет фильтровать опорную выборку внутреннего прогнозирования текущего блока, на основе флага фильтра опорной выборки;determining whether or not to filter the intra prediction reference sample of the current block based on the reference sample filter flag; выбирают интерполяционный фильтр для внутреннего прогнозирования текущего блока на основе флага фильтра опорной выборки;selecting an interpolation filter for intra-prediction of the current block based on the reference sample filter flag; формируют блок внутреннего прогнозирования текущего блока с использованием выбранного интерполяционного фильтра;generating an internal prediction block of the current block using the selected interpolation filter; формируют остаточный блок на основе текущего блока и блока внутреннего прогнозирования; иgenerating a residual block based on the current block and the internal prediction block; And кодируют режим внутреннего прогнозирования текущего блока на основе режима внутреннего прогнозирования соседнего слева блока и соседнего сверху блока относительно текущего блока,encoding the intra prediction mode of the current block based on the intra prediction mode of the left adjacent block and the upper adjacent block relative to the current block, при этом параметры кодирования содержат по меньшей мере одно из индекса множественной опорной линии текущего блока, размера текущего блока, цветового компонента текущего блока, того, следует ли применять внутренние субсегменты (ISP) к текущему блоку, или режима внутреннего прогнозирования текущего блока.wherein the encoding parameters comprise at least one of a multiple reference line index of the current block, a size of the current block, a color component of the current block, whether intra sub-segments (ISP) should be applied to the current block, or an intra prediction mode of the current block.