RU2795473C1 - Method and equipment for image encoding/decoding using quantization matrix and method for bitstream transmission - Google Patents
Method and equipment for image encoding/decoding using quantization matrix and method for bitstream transmission Download PDFInfo
- Publication number
- RU2795473C1 RU2795473C1 RU2022110943A RU2022110943A RU2795473C1 RU 2795473 C1 RU2795473 C1 RU 2795473C1 RU 2022110943 A RU2022110943 A RU 2022110943A RU 2022110943 A RU2022110943 A RU 2022110943A RU 2795473 C1 RU2795473 C1 RU 2795473C1
- Authority
- RU
- Russia
- Prior art keywords
- quantization matrix
- current block
- quantization
- block
- constructed
- Prior art date
Links
Images
Abstract
Description
Область техники, к которой относится изобретениеThe field of technology to which the invention relates
[1] Настоящее раскрытие сущности относится к способу и оборудованию кодирования/декодирования изображений и к способу передачи потока битов, а более конкретно, к способу и оборудованию кодирования/декодирования изображений с использованием матрицы квантования и к способу передачи потока битов, сформированного посредством способа/оборудования кодирования изображений настоящего раскрытия сущности.[1] The present disclosure relates to a method and equipment for encoding/decoding images and a method for transmitting a bit stream, and more specifically, to a method and equipment for encoding/decoding images using a quantization matrix and a method for transmitting a bit stream generated by the method/equipment encoding images of the present disclosure.
Уровень техникиState of the art
[2] В последнее время, спрос на высококачественные изображения высокого разрешения, к примеру, изображения высокой четкости (HD) и изображения сверхвысокой четкости (UHD) растет в различных областях техники. По мере того, как разрешение и качество данных изображений повышается, объем передаваемой информации или битов относительно увеличивается по сравнению с существующими данными изображений. Увеличение объема передаваемой информации или битов приводит к увеличению затрат на передачу и затрат на хранение.[2] Recently, the demand for high-quality high definition images, such as high definition (HD) images and ultra high definition (UHD) images, has been growing in various fields of technology. As the resolution and quality of image data increases, the amount of information or bits to be transmitted increases relatively compared to existing image data. An increase in the amount of information or bits to be transmitted results in an increase in transmission costs and storage costs.
[3] Соответственно, имеется потребность в высокоэффективной технологии сжатия изображений для эффективной передачи, сохранения и воспроизведения информации относительно высококачественных изображений высокого разрешения.[3] Accordingly, there is a need for a high-performance image compression technology for efficiently transmitting, storing, and reproducing information regarding high-quality, high-resolution images.
Сущность изобретенияThe essence of the invention
Техническая задачаTechnical task
[4] Цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.[4] The purpose of the present disclosure is to provide an image encoding/decoding method and equipment with improved encoding/decoding efficiency.
[5] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений, допускающие эффективную передачу в служебных сигналах матрицы квантования.[5] Another object of the present disclosure is to provide an image encoding/decoding method and equipment capable of efficient transmission in quantization matrix signaling.
[6] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.[6] Another purpose of the present disclosure is to provide a method for transmitting a bit stream generated by an image encoding method or equipment according to the present disclosure.
[7] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.[7] Another purpose of the present disclosure is to provide a recording medium storing a bit stream generated by the image encoding method or equipment according to the present disclosure.
[8] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему раскрытию сущности.[8] Another purpose of the present disclosure is to provide a recording medium storing a bit stream received, decoded, and used to reconstruct an image by image decoding equipment according to the present disclosure.
[9] Технические проблемы, разрешаемые посредством настоящего раскрытия сущности, не ограничены вышеуказанными техническими проблемами, и другие технические проблемы, которые не описываются в данном документе, должны становиться очевидными для специалистов в данной области техники из нижеприведенного описания.[9] The technical problems solved by the present disclosure are not limited to the above technical problems, and other technical problems that are not described herein should become apparent to those skilled in the art from the description below.
Техническое решениеTechnical solution
[10] Способ декодирования изображений, осуществляемый посредством оборудования декодирования изображений согласно аспекту настоящего раскрытия сущности, может содержать получение информации режима квантования для текущего блока из потока битов, определение того, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, и конструирование матрицы квантования для текущего блока, на основе результата определения. На основе матрицы квантования для текущего блока, конструируемой из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе идентификационной информации опорной матрицы квантования. На основе матрицы квантования для текущего блока, не конструируемой из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе значения матрицы квантования, полученного из потока битов. На основе текущего блока, представляющего собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока может конструироваться только тогда, когда размер текущего блока больше 2×2.[10] An image decoding method performed by image decoding equipment according to an aspect of the present disclosure may comprise obtaining quantization mode information for a current block from a bit stream, determining whether or not a quantization matrix for the current block is constructed from a reference quantization matrix, based on the information quantization mode, and constructing a quantization matrix for the current block based on the determination result. Based on the quantization matrix for the current block constructed from the reference quantization matrix, the quantization matrix for the current block may be constructed based on the identification information of the reference quantization matrix. Based on the quantization matrix for the current block not constructed from the reference quantization matrix, the quantization matrix for the current block may be constructed based on the value of the quantization matrix obtained from the bitstream. Based on the current block, which is an internally predicted block of chrominance signals, a quantization matrix for the current block can only be constructed when the size of the current block is larger than 2×2.
[11] Оборудование декодирования изображений согласно аспекту настоящего раскрытия сущности может содержать запоминающее устройство и, по меньшей мере, один процессор. По меньшей мере, один процессор может получать информацию режима квантования для текущего блока из потока битов, определять то, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, и конструировать матрицу квантования для текущего блока, на основе результата определения. На основе матрицы квантования для текущего блока, конструируемой из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе идентификационной информации опорной матрицы квантования. На основе матрицы квантования для текущего блока, не конструируемой из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе значения матрицы квантования, полученного из потока битов. На основе текущего блока, представляющего собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока может конструироваться только тогда, когда размер текущего блока больше 2×2.[11] Image decoding equipment according to an aspect of the present disclosure may comprise a memory and at least one processor. At least one processor can obtain quantization mode information for the current block from the bitstream, determine whether or not a quantization matrix for the current block is constructed from the reference quantization matrix based on the quantization mode information, and construct a quantization matrix for the current block based on determination result. Based on the quantization matrix for the current block constructed from the reference quantization matrix, the quantization matrix for the current block may be constructed based on the identification information of the reference quantization matrix. Based on the quantization matrix for the current block not constructed from the reference quantization matrix, the quantization matrix for the current block may be constructed based on the value of the quantization matrix obtained from the bitstream. Based on the current block, which is an internally predicted block of chrominance signals, a quantization matrix for the current block can only be constructed when the size of the current block is larger than 2×2.
[12] Способ кодирования изображений, осуществляемый посредством оборудования кодирования изображений согласно аспекту настоящего раскрытия сущности, может содержать кодирование информации режима квантования для текущего блока из потока битов, определение того, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, и кодирование информации относительно матрицы квантования для текущего блока на основе результата определения. На основе матрицы квантования для текущего блока, конструируемой из опорной матрицы квантования, может кодироваться идентификационная информация опорной матрицы квантования. На основе матрицы квантования для текущего блока, не конструируемой из опорной матрицы квантования, может кодироваться значение матрицы квантования для текущего блока. На основе текущего блока, представляющего собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока может конструироваться только тогда, когда размер текущего блока больше 2×2.[12] An image encoding method performed by image encoding equipment according to an aspect of the present disclosure may comprise encoding quantization mode information for a current block from a bitstream, determining whether or not a quantization matrix for the current block is constructed from a reference quantization matrix, based on the information quantization mode, and encoding information about the quantization matrix for the current block based on the determination result. Based on the quantization matrix for the current block constructed from the reference quantization matrix, identification information of the reference quantization matrix may be encoded. Based on a quantization matrix for the current block, not constructed from a reference quantization matrix, a value of the quantization matrix for the current block may be encoded. Based on the current block, which is an internally predicted block of chrominance signals, a quantization matrix for the current block can only be constructed when the size of the current block is larger than 2×2.
[13] Помимо этого, способ передачи согласно другому аспекту настоящего раскрытия сущности может передавать поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего раскрытия сущности.[13] In addition, the transmission method according to another aspect of the present disclosure may transmit a bit stream generated by the image encoding equipment or the image encoding method of the present disclosure.
[14] Помимо этого, машиночитаемый носитель записи согласно другому аспекту настоящего раскрытия сущности может сохранять поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего раскрытия сущности.[14] In addition, a computer-readable recording medium according to another aspect of the present disclosure may store a bitstream generated by the image encoding equipment or the image encoding method of the present disclosure.
[15] Признаки, кратко обобщенные выше относительно настоящего раскрытия сущности, представляют собой просто примерные аспекты нижеприведенного подробного описания настоящего раскрытия сущности и не ограничивают объем настоящего раскрытия сущности.[15] The features briefly summarized above with respect to the present disclosure are merely exemplary aspects of the following detailed description of the present disclosure and do not limit the scope of the present disclosure.
Преимущества изобретенияBenefits of the Invention
[16] Согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.[16] According to the present disclosure, it is possible to provide an image encoding/decoding method and equipment with improved encoding/decoding efficiency.
[17] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование кодирования/декодирования изображений, допускающие кодирование/декодирование только матрицы квантования, имеющей размер, больший предварительно определенного размера.[17] In addition, according to the present disclosure, it is possible to provide an image encoding/decoding method and equipment capable of encoding/decoding only a quantization matrix having a size larger than a predetermined size.
[18] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование кодирования/декодирования изображений, допускающие различное конструирование матрицы квантования согласно режиму прогнозирования текущего блока и цветовому компоненту.[18] In addition, according to the present disclosure, it is possible to provide an image encoding/decoding method and equipment capable of constructing a quantization matrix differently according to the prediction mode of the current block and the color component.
[19] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.[19] In addition, according to the present disclosure, it is possible to provide a method for transmitting a bit stream generated by the image encoding method or equipment according to the present disclosure.
[20] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.[20] In addition, according to the present disclosure, it is possible to provide a recording medium storing a bit stream generated by the image encoding method or equipment according to the present disclosure.
[21] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему раскрытию сущности.[21] In addition, according to the present disclosure, it is possible to provide a recording medium storing a bitstream received, decoded, and used to reconstruct an image by the image decoding equipment according to the present disclosure.
[22] Специалисты в данной области техники должны принимать во внимание, что преимущества, которые могут достигаться через настоящее раскрытие сущности, не ограничены тем, что конкретно описано выше, и другие преимущества настоящего раскрытия сущности должны более ясно пониматься из подробного описания.[22] Those skilled in the art should appreciate that the benefits that can be achieved through the present disclosure are not limited to those specifically described above, and other benefits of the present disclosure should be more clearly understood from the detailed description.
Краткое описание чертежейBrief description of the drawings
[23] Фиг. 1 является видом, схематично показывающим систему кодирования видео, к которой является применимым вариант осуществления настоящего раскрытия сущности.[23] FIG. 1 is a view schematically showing a video coding system to which an embodiment of the present disclosure is applicable.
[24] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.[24] FIG. 2 is a view schematically showing image encoding equipment to which an embodiment of the present disclosure is applicable.
[25] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.[25] FIG. 3 is a view schematically showing image decoding equipment to which an embodiment of the present disclosure is applicable.
[26] Фиг. 4 является видом, показывающим структуру сегментации изображения согласно варианту осуществления.[26] FIG. 4 is a view showing an image segmentation structure according to the embodiment.
[27] Фиг. 5A-5C являются видами, иллюстрирующими примеры сегментации кадра.[27] FIG. 5A-5C are views illustrating examples of frame segmentation.
[28] Фиг. 6 является видом, показывающим вариант осуществления типа сегментации блока согласно многотипной древовидной структуре.[28] FIG. 6 is a view showing an embodiment of a block segmentation type according to the multi-type tree structure.
[29] Фиг. 7 является видом, показывающим механизм передачи в служебных сигналах информации разбиения на блоки в дереве квадрантов с вложенной многотипной древовидной структурой согласно настоящему раскрытию сущности.[29] FIG. 7 is a view showing a signaling mechanism of blocking information in a quadtree with a nested multi-type tree structure according to the present disclosure.
[30] Фиг. 8 является видом, показывающим пример, в котором CTU сегментируется на несколько CU посредством применения многотипного дерева после применения дерева квадрантов.[30] FIG. 8 is a view showing an example in which a CTU is segmented into multiple CUs by applying a multi-type tree after applying a quadtree.
[31] Фиг. 9 показывает избыточные шаблоны разбиения, которые могут возникать при разбиении на двоичное дерево и разбиении на троичное дерево.[31] FIG. 9 shows redundant splitting patterns that can occur in binary tree splitting and ternary tree splitting.
[32] Фиг. 10 является видом, иллюстрирующим примеры, в которых CU-разбиение ограничивается.[32] FIG. 10 is a view illustrating examples in which CU partition is limited.
[33] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе взаимного прогнозирования.[33] FIG. 11 is a flowchart illustrating a video/image coding method based on inter-prediction.
[34] Фиг. 12 является видом, иллюстрирующим конфигурацию модуля 180 взаимного прогнозирования согласно настоящему раскрытию сущности.[34] FIG. 12 is a view illustrating the configuration of the
[35] Фиг. 13 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе взаимного прогнозирования.[35] FIG. 13 is a flowchart illustrating a video/image decoding method based on inter-prediction.
[36] Фиг. 14 является видом, иллюстрирующим конфигурацию модуля 260 взаимного прогнозирования согласно настоящему раскрытию сущности.[36] FIG. 14 is a view illustrating the configuration of the
[37] Фиг. 15 является видом, иллюстрирующим пример sizeId для каждого размера матрицы квантования.[37] FIG. 15 is a view illustrating an example of sizeId for each size of the quantization matrix.
[38] Фиг. 16 является видом, иллюстрирующим пример матрицы квантования для текущего блока, сконструированного на основе примера по фиг. 15.[38] FIG. 16 is a view illustrating an example of a quantization matrix for the current block constructed based on the example of FIG. 15.
[39] Фиг. 17 является блок-схемой последовательности операций, иллюстрирующей способ кодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности.[39] FIG. 17 is a flowchart illustrating a quantization matrix encoding method according to an embodiment of the present disclosure.
[40] Фиг. 18 является видом, иллюстрирующим пример синтаксиса для осуществления способа кодирования матрицы квантования на основе примера по фиг. 16.[40] FIG. 18 is a view illustrating an example of a syntax for implementing a quantization matrix encoding method based on the example of FIG. 16.
[41] Фиг. 19 является видом, иллюстрирующим пример матрицы квантования для текущего блока согласно варианту осуществления настоящего раскрытия сущности.[41] FIG. 19 is a view illustrating an example of a quantization matrix for a current block according to an embodiment of the present disclosure.
[42] Фиг. 20 является видом, иллюстрирующим пример синтаксиса для осуществления способа кодирования матрицы квантования на основе примера по фиг. 19.[42] FIG. 20 is a view illustrating an example of a syntax for implementing a quantization matrix encoding method based on the example of FIG. 19.
[43] Фиг. 21 является блок-схемой последовательности операций, иллюстрирующей способ декодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности.[43] FIG. 21 is a flowchart illustrating a quantization matrix decoding method according to an embodiment of the present disclosure.
[44] Фиг. 22 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего раскрытия сущности.[44] FIG. 22 is a view showing a content streaming system to which an embodiment of the present disclosure is applicable.
Оптимальный режим осуществления изобретенияOptimal Mode for Carrying Out the Invention
[45] В дальнейшем в этом документе подробно описываются варианты осуществления настоящего раскрытия сущности со ссылкой на прилагаемые чертежи, так что они легко могут реализовываться специалистами в данной области техники. Тем не менее, настоящее раскрытие сущности может реализовываться во всевозможных формах и не ограничено вариантами осуществления, описанными в данном документе.[45] Hereinafter, embodiments of the present disclosure are described in detail with reference to the accompanying drawings so that they can be easily implemented by those skilled in the art. However, the present disclosure may be implemented in all manner of forms and is not limited to the embodiments described herein.
[46] При описании настоящего раскрытия сущности, если определяется то, что подробное описание связанной известной функции или конструкции приводит к излишней неоднозначности объема настоящего раскрытия сущности, ее подробное описание опускается. На чертежах, части, не связанные с описанием настоящего раскрытия сущности, опускаются, и аналогичные ссылки с номерами присоединяются к аналогичным частям.[46] In describing the present disclosure, if it is determined that a detailed description of an associated known function or construct would unnecessarily ambiguize the scope of the present disclosure, the detailed description thereof is omitted. In the drawings, parts not related to the description of the present disclosure are omitted and like reference numbers are attached to like parts.
[47] В настоящем раскрытии сущности, когда компонент "соединяется (connected)", "соединяется (coupled)" или "связывается (linked)" с другим компонентом, это может включать в себя не только непосредственную взаимосвязь на основе соединения, но также и косвенную взаимосвязь на основе соединения, в которой присутствует промежуточный компонент. Помимо этого, когда компонент "включает в себя" или "имеет" другие компоненты, это означает то, что другие компоненты могут включаться дополнительно, а не исключение других компонентов, если не указано иное.[47] In the present disclosure, when a component is "connected", "coupled", or "linked" to another component, this may include not only a direct connection-based relationship, but also an indirect connection-based relationship in which an intermediate component is present. In addition, when a component "includes" or "has" other components, it means that other components may be included in addition to, rather than excluding, other components, unless otherwise noted.
[48] В настоящем раскрытии сущности, термины "первый", "второй" и т.д. могут использоваться только для целей различения одного компонента от других компонентов и не ограничивают порядок или важность компонентов, если не указано иное. Соответственно, в пределах объема настоящего раскрытия сущности, первый компонент в одном варианте осуществления может называться "вторым компонентом" в другом варианте осуществления, и аналогично, второй компонент в одном варианте осуществления может называться "первым компонентом" в другом варианте осуществления.[48] In the present disclosure, the terms "first", "second", etc. may be used only for the purpose of distinguishing one component from other components and do not limit the order or importance of components unless otherwise noted. Accordingly, within the scope of this disclosure, the first component in one embodiment may be referred to as the "second component" in another embodiment, and similarly, the second component in one embodiment may be referred to as the "first component" in another embodiment.
[49] В настоящем раскрытии сущности, компоненты, которые отличаются друг от друга, имеют намерение ясно описывать каждый признак и не означают то, что компоненты обязательно разделяются. Таким образом, множество компонентов могут интегрироваться и реализовываться в одном аппаратном или программном модуле, или один компонент может распределяться и реализовываться во множестве аппаратных или программных модулей. Следовательно, даже если не указано иное, такие варианты осуществления, в которых компоненты интегрируются, или компонент распределяется, также включаются в объем настоящего раскрытия сущности.[49] In the present disclosure, components that are different from each other are intended to clearly describe each feature and do not mean that the components are necessarily separated. Thus, multiple components may be integrated and implemented in a single hardware or software module, or a single component may be distributed and implemented in multiple hardware or software modules. Therefore, even if not stated otherwise, such embodiments in which components are integrated or a component is distributed are also included within the scope of this disclosure.
[50] В настоящем раскрытии сущности, компоненты, описанные в различных вариантах осуществления, не обязательно означают существенные компоненты, и некоторые компоненты могут представлять собой необязательные компоненты. Соответственно, вариант осуществления, состоящий из поднабора компонентов, описанных в варианте осуществления, также включается в объем настоящего раскрытия сущности. Помимо этого, варианты осуществления, включающие в себя другие компоненты, в дополнение к компонентам, описанным в различных вариантах осуществления, включаются в объем настоящего раскрытия сущности.[50] In the present disclosure, the components described in various embodiments do not necessarily mean essential components, and some components may be optional components. Accordingly, an embodiment consisting of a subset of the components described in the embodiment is also included within the scope of the present disclosure. In addition, embodiments including other components, in addition to the components described in various embodiments, are included within the scope of the present disclosure.
[51] Настоящее раскрытие сущности относится к кодированию и декодированию изображения, и термины, используемые в настоящем раскрытии сущности, могут иметь общий смысл, широко используемый в области техники, которой принадлежит настоящее раскрытие сущности, если не задаются впервые в настоящем раскрытии сущности.[51] The present disclosure relates to image encoding and decoding, and the terms used in the present disclosure may have a general meaning widely used in the technical field to which the present disclosure belongs, if not defined for the first time in the present disclosure.
[52] В настоящем раскрытии сущности, "кадр", в общем, означает единицу, представляющую одно изображение в конкретный период времени, и срез/плитка представляет собой единицу кодирования, составляющую часть кадра, и один кадр может состоять из одного или более срезов/плиток. Помимо этого, срез/плитка может включать в себя одну или более единиц дерева кодирования (CTU).[52] In the present disclosure, "frame" generally means a unit representing one image in a particular time period, and a slice/tile is a coding unit constituting a frame, and one frame may be composed of one or more slices/ tiles. In addition, a slice/tile may include one or more coding tree units (CTUs).
[53] В настоящем раскрытии сущности, "пиксел" или "пел" может означать наименьшую единицу, составляющую один кадр (или изображение). Помимо этого, "выборка" может использоваться в качестве термина, соответствующего пикселу. Выборка, в общем, может представлять пиксел или значение пиксела и может представлять только пиксел/пиксельное значение компонента сигналов яркости либо только пиксел/пиксельное значение компонента сигналов цветности.[53] In the present disclosure, "pixel" or "pel" can mean the smallest unit constituting one frame (or image). In addition, "sample" can be used as a term corresponding to a pixel. A sample can generally represent a pixel or a pixel value, and can only represent a luminance component pixel/pixel value, or only a chrominance component pixel/pixel value.
[54] В настоящем раскрытии сущности, "единица" может представлять базовую единицу обработки изображений. Единица может включать в себя, по меньшей мере, одно из конкретной области кадра и информации, связанной с областью. Единица может использоваться взаимозаменяемо с такими терминами, как "массив выборок", "блок" или "зона" в некоторых случаях. В общем случае, блок MxN может включать в себя выборки (или массивы выборок) либо набор (или массив) коэффициентов преобразования из M столбцов и N строк.[54] In the present disclosure, a "unit" may represent a basic unit of image processing. The unit may include at least one of a specific area of the frame and information associated with the area. The unit can be used interchangeably with terms such as "array of samples", "block" or "zone" in some cases. In general, an MxN block may include samples (or arrays of samples) or a set (or array) of transform coefficients of M columns and N rows.
[55] В настоящем раскрытии сущности, "текущий блок" может означать одно из "текущего блока кодирования", "текущей единицы кодирования", "целевого блока кодирования", "целевого блока декодирования" или "целевого блока обработки". Когда прогнозирование выполняется, "текущий блок" может означать "текущий блок прогнозирования" или "целевой блок прогнозирования". Когда преобразование (обратное преобразование)/квантование (деквантование) выполняется, "текущий блок" может означать "текущий блок преобразования" или "целевой блок преобразования". Когда фильтрация выполняется, "текущий блок" может означать "целевой блок фильтрации".[55] In the present disclosure, "current block" may mean one of "current coding block", "current coding unit", "target coding block", "target decoding block", or "target processing block". When prediction is performed, "current block" may mean "current prediction block" or "target prediction block". When transformation (inverse transformation)/quantization (dequantization) is performed, "current block" may mean "current transformation block" or "transformation target block". When filtering is performed, "current block" may mean "target filtering block".
[56] Помимо этого, в настоящем раскрытии сущности, "текущий блок" может означать блок, включающий в себя как блок компонентов сигналов яркости, так и блок компонентов сигналов цветности либо "блок сигналов яркости текущего блока", если не указан в явной форме в качестве блока сигналов цветности. Блок компонентов сигналов цветности текущего блока может выражаться посредством включения явного описания блока компонентов сигналов яркости, такого как "блок сигналов яркости" или "текущий блок сигналов яркости". Помимо этого, блок компонентов сигналов цветности текущего блока может явно выражаться посредством включения явного описания блока компонентов сигналов цветности, такого как "блок сигналов цветности" или "текущий блок сигналов цветности".[56] In addition, in the present disclosure, "current block" may mean a block including both a luma component block and a chrominance signal component block, or a "current block luminance signal block", unless explicitly specified in as a block of color signals. The chrominance component block of the current block may be expressed by including an explicit description of the luma component block, such as "luminance block" or "current luma block". In addition, the chroma component block of the current block may be explicitly expressed by including an explicit description of the chrominance component block, such as "chroma block" or "current chrominance block".
[57] В настоящем раскрытии сущности, термин "/" и "," должен интерпретироваться как указывающий "и/или". Например, выражение "A/B" и "A, B" может означать "A и/или B". Дополнительно, "A/B/C" и "A/B/C" может означать "по меньшей мере, одно из A, B и/или C".[57] In the present disclosure, the terms "/" and "," are to be interpreted as indicating "and/or". For example, the expression "A/B" and "A, B" can mean "A and/or B". Additionally, "A/B/C" and "A/B/C" can mean "at least one of A, B and/or C".
[58] В настоящем раскрытии сущности, термин "или" должен интерпретироваться как указывающий "и/или". Например, выражение "A или B" может содержать 1) только "A", 2) только "B" и/или 3) "как A, так и B". Другими словами, в настоящем раскрытии сущности, термин "или" должен интерпретироваться как указывающий "дополнительно или альтернативно".[58] In the present disclosure, the term "or" is to be interpreted as indicating "and/or". For example, the expression "A or B" may contain 1) only "A", 2) only "B", and/or 3) "both A and B". In other words, in the present disclosure, the term "or" is to be interpreted as indicating "in addition or alternatively".
[59] Общее представление системы кодирования видео [59] Overview of the video coding system
[60] Фиг. 1 является видом, показывающим систему кодирования видео, к которой является применимым вариант осуществления настоящего раскрытия сущности.[60] FIG. 1 is a view showing a video coding system to which an embodiment of the present disclosure is applicable.
[61] Система кодирования видео согласно варианту осуществления может включать в себя оборудование 10 кодирования и оборудование 20 декодирования. Оборудование 10 кодирования может доставлять кодированную информацию или данные видео и/или изображений в оборудование 20 декодирования в форме файла или потоковой передачи через цифровой носитель хранения данных или сеть.[61] The video encoding system according to the embodiment may include encoding
[62] Оборудование 10 кодирования согласно варианту осуществления может включать в себя формирователь 11 видеоисточников, модуль 12 кодирования и передатчик 13. Оборудование 20 декодирования согласно варианту осуществления может включать в себя приемник 21, модуль 22 декодирования и модуль 23 рендеринга. Модуль 12 кодирования может называться "модулем кодирования видео/изображений", и модуль 22 декодирования может называться "модулем декодирования видео/изображений". Передатчик 13 может включаться в модуль 12 кодирования. Приемник 21 может включаться в модуль 22 декодирования. Модуль 23 рендеринга может включать в себя дисплей, и дисплей может быть сконфигурирован как отдельное устройство или внешний компонент.[62] The
[63] Формирователь 11 видеоисточников может получать видео/изображение через процесс захвата, синтезирования или формирования видео/изображения. Формирователь 11 видеоисточников может включать в себя устройство захвата видео/изображений и/или устройство формирования видео/изображений. Устройство захвата видео/изображений может включать в себя, например, одну или более камер, архивы видео/изображений, включающие в себя ранее захваченные видео/изображения, и т.п. Устройство формирования видео/изображений может включать в себя, например, компьютеры, планшетные компьютеры и смартфоны и может (электронно) формировать видео/изображения. Например, виртуальное видео/изображение может формироваться через компьютер и т.п. В этом случае, процесс захвата видео/изображений может заменяться посредством процесса формирования связанных данных.[63] The
[64] Модуль 12 кодирования может кодировать входное видео/изображение. Модуль 12 кодирования может выполнять последовательность процедур, таких как прогнозирование, преобразование и квантование, для эффективности сжатия и кодирования. Модуль 12 кодирования может выводить кодированные данные (кодированную информацию видео/изображений) в форме потока битов.[64] The
[65] Передатчик 13 может передавать кодированную информацию или данные видео/изображений, выводимую в форме потока битов, в приемник 21 оборудования 20 декодирования через цифровой носитель хранения данных или сеть в форме файла или потоковой передачи. Цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик 13 может включать в себя элемент для формирования мультимедийного файла через предварительно определенный формат файлов и может включать в себя элемент для передачи через широковещательную сеть/сеть связи. Приемник 21 может извлекать/принимать поток битов из носителя хранения данных или сети и передавать поток битов в модуль 22 декодирования.[65] The
[66] Модуль 22 декодирования может декодировать видео/изображение посредством выполнения последовательности процедур, таких как деквантование, обратное преобразование и прогнозирование, соответствующих работе модуля 12 кодирования.[66] The
[67] Модуль 23 рендеринга может подготавливать посредством рендеринга декодированное видео/изображение. Подготовленное посредством рендеринга видео/изображение может отображаться через дисплей.[67] The
[68] Общее представление оборудования кодирования изображений [68] Overview of Image Coding Equipment
[69] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.[69] FIG. 2 is a view schematically showing image encoding equipment to which an embodiment of the present disclosure is applicable.
[70] Как показано на фиг. 2, оборудование 100 кодирования изображений может включать в себя модуль 110 сегментации изображений, вычитатель 115, преобразователь 120, квантователь 130, деквантователь 140, обратный преобразователь 150, сумматор 155, фильтр 160, запоминающее устройство 170, модуль 180 взаимного прогнозирования, модуль 185 внутреннего прогнозирования и энтропийный кодер 190. Модуль 180 взаимного прогнозирования и модуль 185 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Преобразователь 120, квантователь 130, деквантователь 140 и обратный преобразователь 150 могут включаться в остаточный процессор. Остаточный процессор дополнительно может включать в себя вычитатель 115.[70] As shown in FIG. 2, the
[71] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 100 кодирования изображений, могут быть сконфигурированы посредством одного аппаратного компонента (например, кодера или процессора) в некоторых вариантах осуществления. Помимо этого, запоминающее устройство 170 может включать в себя буфер декодированных кадров (DPB) и может быть сконфигурировано посредством цифрового носителя хранения данных.[71] All or at least a portion of the plurality of components configuring the
[72] Модуль 110 сегментации изображений может сегментировать входное изображение (либо кадр или кинокадр), вводимое в оборудование 100 кодирования изображений, на одну более единиц обработки. Например, единица обработки может называться "единицей кодирования (CU)". Единица кодирования может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов, двоичного дерева и троичного дерева (QT/BT/TT). Например, одна единица кодирования может сегментироваться на множество единиц кодирования большей глубины на основе структуры в виде дерева квадрантов, структуры в виде двоичного дерева и/или троичной структуры. Для сегментации единицы кодирования, сначала может применяться структура в виде дерева квадрантов, и впоследствии может применяться структура в виде двоичного дерева и/или троичная структура. Процедура кодирования согласно настоящему раскрытию сущности может выполняться на основе конечной единицы кодирования, которая более не сегментируется. Наибольшая единица кодирования может использоваться в качестве конечной единицы кодирования, или единица кодирования большей глубины, полученной посредством сегментации наибольшей единицы кодирования, может использоваться в качестве конечной единицы кодирования. Здесь, процедура кодирования может включать в себя процедуру прогнозирования, преобразования и восстановления, которая описывается ниже. В качестве другого примера, единица обработки процедуры кодирования может представлять собой единицу прогнозирования (PU) или единицу преобразования (TU). Единица прогнозирования и единица преобразования могут разбиваться или сегментироваться из конечной единицы кодирования. Единица прогнозирования может представлять собой единицу выборочного прогнозирования, и единица преобразования может представлять собой единицу для извлечения коэффициента преобразования и/или единицу для извлечения остаточного сигнала из коэффициента преобразования.[72] The
[73] Модуль прогнозирования (модуль 180 взаимного прогнозирования или модуль 185 внутреннего прогнозирования) может выполнять прогнозирование относительно блока, который должен обрабатываться (текущего блока), и формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование, на основе текущего блока или CU. Модуль прогнозирования может формировать различную информацию, связанную с прогнозированием текущего блока, и передавать сформированную информацию в энтропийный кодер 190. Информация относительно прогнозирования может кодироваться в энтропийном кодере 190 и выводиться в форме потока битов.[73] The prediction unit (
[74] Модуль 185 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Выборки для ссылки могут быть расположены в окружении текущего блока или могут быть расположены с разнесением согласно режиму внутреннего прогнозирования и/или технологии внутреннего прогнозирования. Режимы внутреннего прогнозирования могут включать в себя множество ненаправленных режимов и множество направленных режимов. Ненаправленный режим может включать в себя, например, DC-режим и планарный режим. Направленный режим может включать в себя, например, 33 режима направленного прогнозирования или 65 режимов направленного прогнозирования согласно степени детальности направления прогнозирования. Тем не менее, это представляет собой просто пример, большее или меньшее число режимов направленного прогнозирования может использоваться в зависимости от настройки. Модуль 185 внутреннего прогнозирования может определять режим прогнозирования, применяемый к текущему блоку, посредством использования режима прогнозирования, применяемого к соседнему блоку.[74] The
[75] Модуль 180 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" и т.п. Опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)". Например, модуль 180 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и формировать информацию, указывающую то, какой возможный вариант используется для того, чтобы извлекать вектор движения и/или индекс опорного кадра текущего блока. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования. Например, в случае режима пропуска и режима объединения, модуль 180 взаимного прогнозирования может использовать информацию движения соседнего блока в качестве информации движения текущего блока. В случае режима пропуска, в отличие от режима объединения, остаточный сигнал может не передаваться. В случае режима прогнозирования векторов движения (MVP), вектор движения соседнего блока может использоваться в качестве предиктора вектора движения, и вектор движения текущего блока может передаваться в служебных сигналах посредством кодирования разности векторов движения и индикатора для предиктора вектора движения. Разность векторов движения может означать разность между вектором движения текущего блока и предиктором вектора движения.[75] The
[76] Модуль прогнозирования может формировать прогнозный сигнал на основе различных способов прогнозирования и технологий прогнозирования, описанных ниже. Например, модуль прогнозирования может не только применять внутреннее прогнозирование или взаимное прогнозирование, но также и одновременно применять как внутреннее прогнозирование, так и взаимное прогнозирование, чтобы прогнозировать текущий блок. Способ прогнозирования с одновременным применением как внутреннего прогнозирования, так и взаимного прогнозирования для прогнозирования текущего блока может называться "комбинированным взаимным и внутренним прогнозированием (CIIP)". Помимо этого, модуль прогнозирования может выполнять внутриблочное копирование (IBC) для прогнозирования текущего блока. Внутриблочное копирование может использоваться для кодирования изображений/видео контента игры и т.п., например, для кодирования экранного контента (SCC). IBC представляет собой способ прогнозирования текущего кадра с использованием ранее восстановленного опорного блока в текущем кадре в местоположении, разнесенном от текущего блока на предварительно определенное расстояние. Когда IBC применяется, местоположение опорного блока в текущем кадре может кодироваться как вектор (блочный вектор), соответствующий предварительно определенному расстоянию. IBC по существу выполняет прогнозирование в текущем кадре, но может выполняться аналогично взаимному прогнозированию в том, что опорный блок извлекается внутри текущего кадра. Таким образом, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования, описанных в настоящем раскрытии сущности.[76] The prediction module may generate a prediction signal based on various prediction methods and prediction technologies described below. For example, the prediction module may not only apply intra prediction or inter prediction, but also apply both intra prediction and inter prediction at the same time to predict the current block. A prediction method that simultaneously applies both intra prediction and inter prediction to predict the current block may be referred to as "combined inter and intra prediction (CIIP)". In addition, the prediction module may perform intra-block copy (IBC) to predict the current block. In-block copying can be used for image/video encoding of game content and the like, such as on-screen content coding (SCC). IBC is a method for predicting the current frame using a previously reconstructed reference block in the current frame at a location separated from the current block by a predetermined distance. When IBC is applied, the location of the reference block in the current frame may be encoded as a vector (block vector) corresponding to a predetermined distance. IBC essentially performs prediction in the current frame, but may be performed similar to inter-prediction in that the reference block is retrieved within the current frame. Thus, the IBC may use at least one of the inter-prediction technologies described in the present disclosure.
[77] Прогнозный сигнал, сформированный посредством модуля прогнозирования, может использоваться для того, чтобы формировать восстановленный сигнал или формировать остаточный сигнал. Вычитатель 115 может формировать остаточный сигнал (остаточный блок или массив остаточных выборок) посредством вычитания прогнозного сигнала (прогнозированного блока или массива прогнозных выборок), выводимого из модуля прогнозирования, из сигнала входного изображения (исходного блока или массива исходных выборок). Сформированный остаточный сигнал может передаваться в преобразователь 120.[77] The predictive signal generated by the prediction module may be used to generate a recovered signal or generate a residual signal. The subtractor 115 may generate a residual signal (residual block or residual sample array) by subtracting the prediction signal (predicted block or predictive sample array) output from the predictor from the input image signal (original block or original sample array). The generated residual signal may be transmitted to
[78] Преобразователь 120 может формировать коэффициенты преобразования посредством применения технологии преобразования к остаточному сигналу. Например, технология преобразования может включать в себя, по меньшей мере, одно из дискретного косинусного преобразования (DCT), дискретного синусного преобразования (DST), преобразования Карунена-Лоэва (KLT), преобразования на основе графа (GBT) или условно нелинейного преобразования (CNT). Здесь, GBT означает преобразование, полученное из графа, когда информация взаимосвязи между пикселами представляется посредством графа. CNT означает преобразование, полученное на основе прогнозного сигнала, сформированного с использованием всех ранее восстановленных пикселов. Помимо этого, процесс преобразования может применяться к квадратным пиксельным блокам, имеющим идентичный размер, или может применяться к блокам, имеющим переменный размер, а не квадратный.[78]
[79] Квантователь 130 может квантовать коэффициенты преобразования и передавать их в энтропийный кодер 190. Энтропийный кодер 190 может кодировать квантованный сигнал (информацию относительно квантованных коэффициентов преобразования) и выводить поток битов. Информация относительно квантованных коэффициентов преобразования может называться "остаточной информацией". Квантователь 130 может перекомпоновывать квантованные коэффициенты преобразования в блочной форме в одномерную векторную форму на основе порядка сканирования коэффициентов и формировать информацию относительно квантованных коэффициентов преобразования на основе квантованных коэффициентов преобразования в одномерной векторной форме.[79] The
[80] Энтропийный кодер 190 может осуществлять различные способы кодирования, такие как, например, кодирование экспоненциальным кодом Голомба, контекстно-адаптивное кодирование переменной длины (CAVLC), контекстно-адаптивное двоичное арифметическое кодирование (CABAC) и т.п. Энтропийный кодер 190 может кодировать информацию, необходимую для восстановления видео/изображений, отличную от квантованных коэффициентов преобразования (например, значений синтаксических элементов и т.д.), вместе или отдельно. Кодированная информация (например, кодированная информация видео/изображений) может передаваться или сохраняться в единицах слоев абстрагирования от сети (NAL) в форме потока битов. Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Передаваемая в служебных сигналах информация, передаваемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут кодироваться через вышеописанную процедуру кодирования и включаться в поток битов.[80] The
[81] Поток битов может передаваться по сети или может сохраняться на цифровом носителе хранения данных. Сеть может включать в себя широковещательную сеть и/или сеть связи, и цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как, USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик (не показан), передающий сигнал, выводимый из энтропийного кодера 190, и/или модуль хранения (не показан), сохраняющий сигнал, могут включаться в качестве внутреннего/внешнего элемента оборудования 100 кодирования, и альтернативно, передатчик может включаться в энтропийный кодер 190.[81] The bit stream may be transmitted over a network or may be stored on a digital storage medium. The network may include a broadcast network and/or a communication network, and the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD, and the like. A transmitter (not shown) transmitting a signal output from the
[82] Квантованные коэффициенты преобразования, выводимые из квантователя 130, могут использоваться для того, чтобы формировать остаточный сигнал. Например, остаточный сигнал (остаточный блок или остаточные выборки) может восстанавливаться посредством применения деквантования и обратного преобразования к квантованным коэффициентам преобразования через деквантователь 140 и обратный преобразователь 150.[82] The quantized transform coefficients output from
[83] Сумматор 155 суммирует восстановленный остаточный сигнал с прогнозным сигналом, выводимым из модуля 180 взаимного прогнозирования или модуля 185 внутреннего прогнозирования, с тем чтобы формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок). Если отсутствует остаток для блока, который должен обрабатываться, к примеру, в случае, в котором режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Сумматор 155 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.[83] The
[84] Фильтр 160 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 160 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 170, а именно, в DPB запоминающего устройства 170. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, фильтрацию на основе дискретизированного адаптивного смещения, адаптивный контурный фильтр, билатеральный фильтр и т.п. Фильтр 160 может формировать различную информацию, связанную с фильтрацией, и передавать сформированную информацию в энтропийный кодер 190, как описано ниже в описании каждого способа фильтрации. Информация, связанная с фильтрацией, может кодироваться посредством энтропийного кодера 190 и выводиться в форме потока битов.[84] The
[85] Модифицированный восстановленный кадр, передаваемый в запоминающее устройство 170, может использоваться в качестве опорного кадра в модуле 180 взаимного прогнозирования. Когда взаимное прогнозирование применяется через оборудование 100 кодирования изображений, рассогласование прогнозирования между оборудованием 100 кодирования изображений и оборудованием декодирования изображений может исключаться, и эффективность кодирования может повышаться.[85] The modified reconstructed frame transmitted to the
[86] DPB запоминающего устройства 170 может сохранять модифицированный восстановленный кадр для использования в качестве опорного кадра в модуле 180 взаимного прогнозирования. Запоминающее устройство 170 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или кодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 180 взаимного прогнозирования и использоваться в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 170 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и может передавать восстановленные выборки в модуль 185 внутреннего прогнозирования.[86] The DPB of the
[87] Общее представление оборудования декодирования изображений [87] Overview of image decoding equipment
[88] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.[88] FIG. 3 is a view schematically showing image decoding equipment to which an embodiment of the present disclosure is applicable.
[89] Как показано на фиг. 3, оборудование 200 декодирования изображений может включать в себя энтропийный декодер 210, деквантователь 220, обратный преобразователь 230, сумматор 235, фильтр 240, запоминающее устройство 250, модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования. Модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Деквантователь 220 и обратный преобразователь 230 могут включаться в остаточный процессор.[89] As shown in FIG. 3, the
[90] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 200 декодирования изображений, могут быть сконфигурированы посредством аппаратного компонента (например, декодера или процессора) согласно варианту осуществления. Помимо этого, запоминающее устройство 250 может включать в себя буфер декодированных кадров (DPB) или может быть сконфигурировано посредством цифрового носителя хранения данных.[90] All or at least a portion of the plurality of components configuring the
[91] Оборудование 200 декодирования изображений, которое принимает поток битов, включающий в себя информацию видео/изображений, может восстанавливать изображение посредством выполнения процесса, соответствующего процессу, выполняемому посредством оборудования 100 кодирования изображений по фиг. 2. Например, оборудование 200 декодирования изображений может выполнять декодирование с использованием единицы обработки, применяемой в оборудовании кодирования изображений. Таким образом, единица обработки декодирования, например, может представлять собой единицу кодирования. Единица кодирования может получаться посредством сегментации единицы дерева кодирования или наибольшей единицы кодирования. Восстановленный сигнал изображения, декодированный и выводимый посредством оборудования 200 декодирования, может воспроизводиться посредством оборудования воспроизведения.[91] The
[92] Оборудование 200 декодирования изображений может принимать сигнал, выводимый из оборудования кодирования изображений по фиг. 2 в форме потока битов. Принимаемый сигнал может декодироваться через энтропийный декодер 210. Например, энтропийный декодер 210 может синтаксически анализировать поток битов, чтобы извлекать информацию (например, информацию видео/изображений), необходимую для восстановления изображений (или восстановления кадров). Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Оборудование декодирования изображений дополнительно может декодировать кадр на основе информации относительно набора параметров и/или общей информации ограничений. Передаваемая в служебных сигналах/принимаемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут декодироваться посредством процедуры декодирования и получаться из потока битов. Например, энтропийный декодер 210 декодирует информацию в потоке битов на основе способа кодирования, такого как кодирование экспоненциальным кодом Голомба, CAVLC или CABAC, и выходных значений синтаксических элементов, требуемых для восстановления изображений, и квантованных значений коэффициентов преобразования для остатка. Более конкретно, способ энтропийного CABAC-декодирования может принимать элемент разрешения, соответствующий каждому синтаксическому элементу в потоке битов, определять контекстную модель с использованием информации целевого синтаксического элемента декодирования, информации декодирования соседнего блока и целевого блока декодирования или информации символа/элемента разрешения, декодированного на предыдущей стадии, и выполнять арифметическое декодирование для элемента разрешения посредством прогнозирования вероятности появления элемента разрешения согласно определенной контекстной модели и формировать символ, соответствующий значению каждого синтаксического элемента. В этом случае, способ энтропийного CABAC-декодирования может обновлять контекстную модель посредством использования информации декодированного символа/элемента разрешения для контекстной модели следующего символа/элемента разрешения после определения контекстной модели. Информация, связанная с прогнозированием из информации, декодированной посредством энтропийного декодера 210, может предоставляться в модуль прогнозирования (модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования), и остаточное значение, для которого энтропийное декодирование выполнено в энтропийном декодере 210, т.е. квантованные коэффициенты преобразования и связанная информация параметров, может вводиться в деквантователь 220. Помимо этого, информация относительно фильтрации из информации, декодированной посредством энтропийного декодера 210, может предоставляться в фильтр 240. Между тем, приемник (не показан) для приема сигнала, выводимого из оборудования кодирования изображений, может быть дополнительно сконфигурирован в качестве внутреннего/внешнего элемента оборудования 200 декодирования изображений, или приемник может представлять собой компонент энтропийного декодера 210.[92] The
[93] Между тем, оборудование декодирования изображений согласно настоящему раскрытию сущности может называться "оборудованием декодирования видео/изображений/кадров". Оборудование декодирования изображений может классифицироваться на информационный декодер (декодер информации видео/изображений/кадров) и выборочный декодер (декодер выборок видео/изображений/кадров). Информационный декодер может включать в себя энтропийный декодер 210. Выборочный декодер может включать в себя, по меньшей мере, одно из деквантователя 220, обратного преобразователя 230, сумматора 235, фильтра 240, запоминающего устройства 250, модуля 260 взаимного прогнозирования или модуля 265 внутреннего прогнозирования.[93] Meanwhile, the image decoding equipment according to the present disclosure may be referred to as "video/image/frame decoding equipment". The image decoding equipment can be classified into an information decoder (video/image/frame information decoder) and a sampling decoder (video/image/frame samples decoder). The information decoder may include an
[94] Деквантователь 220 может деквантовать квантованные коэффициенты преобразования и выводить коэффициенты преобразования. Деквантователь 220 может перекомпоновывать квантованные коэффициенты преобразования в форме двумерного блока. В этом случае, перекомпоновка может выполняться на основе порядка сканирования коэффициентов, выполняемого в оборудовании кодирования изображений. Деквантователь 220 может выполнять деквантование для квантованных коэффициентов преобразования посредством использования параметра квантования (например, информации размера шага квантования) и получать коэффициенты преобразования.[94] The
[95] Обратный преобразователь 230 может обратно преобразовывать коэффициенты преобразования, чтобы получать остаточный сигнал (остаточный блок, массив остаточных выборок).[95] The
[96] Модуль прогнозирования может выполнять прогнозирование для текущего блока и может формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование к текущему блоку, на основе информации относительно прогнозирования, выводимой из энтропийного декодера 210, и может определять конкретный режим внутреннего/взаимного прогнозирования.[96] The prediction module may perform prediction for the current block and may generate a predicted block including prediction samples for the current block. The prediction module may determine whether intra prediction or inter prediction is applied to the current block based on the prediction information output from the
[97] Идентично тому, что описано в модуле прогнозирования оборудования 100 кодирования изображений, модуль прогнозирования может формировать прогнозный сигнал на основе различных способов (технологий) прогнозирования, которые описываются ниже.[97] Identical to that described in the prediction module of the
[98] Модуль 265 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Описание модуля 185 внутреннего прогнозирования в равной степени применяется к модулю 265 внутреннего прогнозирования.[98] The
[99] Модуль 260 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Например, модуль 260 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и извлекать вектор движения текущего блока и/или индекс опорного кадра на основе принимаемой информации выбора возможных вариантов. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования, и информация относительно прогнозирования может включать в себя информацию, указывающую режим взаимного прогнозирования для текущего блока.[99] The
[100] Сумматор 235 может формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок) посредством суммирования полученного остаточного сигнала с прогнозным сигналом (прогнозированным блоком, массивом прогнозированных выборок), выводимым из модуля прогнозирования (включающего в себя модуль 260 взаимного прогнозирования и/или модуль 265 внутреннего прогнозирования). Если отсутствует остаток для блока, который должен обрабатываться, к примеру, когда режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Описание сумматора 155 является в равной степени применимым к сумматору 235. Сумматор 235 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.[100] The
[101] Фильтр 240 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 240 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 250, а именно, в DPB запоминающего устройства 250. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, фильтрацию на основе дискретизированного адаптивного смещения, адаптивный контурный фильтр, билатеральный фильтр и т.п.[101] The
[102] (Модифицированный) восстановленный кадр, сохраненный в DPB запоминающего устройства 250, может использоваться в качестве опорного кадра в модуле 260 взаимного прогнозирования. Запоминающее устройство 250 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или декодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 260 взаимного прогнозирования, так что она используется в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 250 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и передавать восстановленные выборки в модуль 265 внутреннего прогнозирования.[102] The (modified) reconstructed frame stored in the DPB of the
[103] В настоящем раскрытии сущности, варианты осуществления, описанные в фильтре 160, модуле 180 взаимного прогнозирования и модуле 185 внутреннего прогнозирования оборудования 100 кодирования изображений, могут в равной или соответствующей степени применяться к фильтру 240, модулю 260 взаимного прогнозирования и модулю 265 внутреннего прогнозирования оборудования 200 декодирования изображений.[103] In the present disclosure, the embodiments described in the
[104] Общее представление сегментации изображений [104] General representation of image segmentation
[105] Способ кодирования видео/изображений согласно настоящему раскрытию сущности может осуществляться на основе структуры сегментации изображений следующим образом. В частности, процедуры прогнозирования, остаточной обработки ((обратного) преобразования, (де)-квантования и т.д.), кодирования синтаксических элементов и фильтрации, которые описываются ниже, могут выполняться на основе CTU, CU (и/или TU, PU), извлекаемой на основе структуры сегментации изображений. Изображение может сегментироваться в единицах блоков, и процедура сегментации на блоки может выполняться в модуле 110 сегментации изображений оборудования кодирования. Связанная с сегментацией информация может кодироваться посредством энтропийного кодера 190 и передаваться в оборудование декодирования в форме потока битов. Энтропийный декодер 210 оборудования декодирования может извлекать структуру сегментации на блоки текущего кадра на основе связанной с сегментацией информации, полученной из потока битов, и на основе этого, может выполнять последовательность процедур (например, прогнозирование, остаточную обработку, восстановление блоков/кадров, внутриконтурную фильтрацию и т.д.) для декодирования изображений. CU-размер и TU-размер могут быть идентичными, или множество TU могут присутствовать в CU-зоне. Между тем, CU-размер, в общем, может представлять CB-размер компонентных (выборок) сигналов яркости. TU-размер, в общем, может представлять TB-размер компонентных (выборок) сигналов яркости. CB- или TB-размер компонентных (выборок) сигналов цветности может извлекаться на основе CB- или TB-размера компонентных (выборок) сигналов яркости согласно соотношению компонентов согласно формату сигналов цветности (цветовому формату, например, 4:4:4, 4:2:2, 4:2:0 и т.д.) кадра/изображения. TU-размер может извлекаться на основе maxTbSize, указывающего доступный максимальный TB-размер. Например, когда CU-размер превышает maxTbSize, множество TU (TB) с maxTbSize могут извлекаться из CU, и преобразование/обратное преобразование может выполняться в единицах TU (TB). Помимо этого, например, при применении внутреннего прогнозирования, режим/тип внутреннего прогнозирования может извлекаться в единицах CU (или CB), и процедура извлечения соседних опорных выборок и формирования прогнозных выборок может выполняться в единицах TU (или TB). В этом случае, одна или множество TU (или TB) могут присутствовать в одной CU-(или CB-)зоне, и, в этом случае, множество TU или (TB) могут совместно использовать идентичный режим/тип внутреннего прогнозирования.[105] The video/image coding method according to the present disclosure may be based on an image segmentation structure as follows. In particular, the prediction, residual processing ((inverse) transform, (de)-quantization, etc.), syntax element encoding, and filtering procedures described below may be performed on a CTU, CU (and/or TU, PU) basis. ) extracted based on the image segmentation structure. An image may be segmented in units of blocks, and a block segmentation procedure may be performed in the
[106] Помимо этого, при кодировании и декодировании изображений согласно настоящему раскрытию сущности, модуль обработки изображений может иметь иерархическую структуру. Например, один кадр может сегментироваться на одну или более плиток или групп плиток. Одна группа плиток может включать в себя одну или более плиток. Одна плитка может включать в себя одну или более CTU. CTU может сегментироваться на одну или более CU, как описано выше. Плитка может состоять из прямоугольной области, включающей в себя CTU, собранные в конкретной строке и конкретном столбце в кадре. Группа плиток может включать в себя целое число плиток согласно растровому сканированию плиток. Заголовок группы плиток может передавать в служебных сигналах информацию/параметры, применимые к соответствующей группе плиток. Когда оборудование кодирования/декодирования имеет многоядерный процессор, процедура кодирования/декодирования для плитки или группы плиток может выполняться параллельно. Здесь, группа плиток может иметь один из типов групп плиток, включающих в себя группу внутренних (I) плиток, группу прогнозирующих (P) плиток и группу бипрогнозирующих (B) плиток. Для блоков в группе I-плиток, взаимное прогнозирование может не использоваться, и только внутреннее прогнозирование может использоваться для прогнозирования. Конечно, даже в этом случае, исходное выборочное значение может кодироваться и передаваться в служебных сигналах без прогнозирования. Для блоков в группе P-плиток, внутреннее прогнозирование или взаимное прогнозирование может использоваться, и только унипрогнозирование может использоваться при взаимном прогнозировании. Между тем, для блоков в группе B-плиток, внутреннее прогнозирование или взаимное прогнозирование может использоваться, и вплоть до бипрогнозирования может использоваться, когда используется взаимное прогнозирование.[106] In addition, when encoding and decoding images according to the present disclosure, the image processing module may have a hierarchical structure. For example, one frame may be segmented into one or more tiles or groups of tiles. One group of tiles may include one or more tiles. One tile may include one or more CTUs. A CTU may be segmented into one or more CUs as described above. A tile may consist of a rectangular area including CTUs collected in a particular row and particular column in a frame. The tile group may include an integer number of tiles according to a raster scan of the tiles. The tile group header may signal information/parameters applicable to the corresponding tile group. When the encoding/decoding equipment has a multi-core processor, the encoding/decoding procedure for a tile or group of tiles may be performed in parallel. Here, the tile group may have one of the tile group types including an internal (I) tile group, a predictive (P) tile group, and a bi-predictive (B) tile group. For blocks in an I-tile group, inter prediction may not be used and only intra prediction may be used for prediction. Of course, even in this case, the original sample value may be encoded and signaled without prediction. For blocks in a P-tile group, intra-prediction or inter-prediction may be used, and only uni-prediction may be used in inter-prediction. Meanwhile, for blocks in the B-tile group, intra-prediction or inter-prediction may be used, and up to bi-prediction may be used when inter-prediction is used.
[107] В оборудовании кодирования, плитка/группа плиток, срез и размер максимальной и минимальной единицы кодирования могут определяться согласно характеристикам (например, разрешению) изображения и с учетом эффективности кодирования либо параллельной обработки, и информация для нее или информация, допускающая ее извлечение, может включаться в поток битов.[107] In the encoding equipment, a tile/group of tiles, a slice, and a size of the maximum and minimum coding unit may be determined according to the characteristics (e.g., resolution) of the image and taking into account the coding efficiency or parallel processing, and information for it or information capable of extracting it, may be included in the bit stream.
[108] В оборудовании декодирования, информация, указывающая то, срез текущего кадра, плитка/группа плиток или CTU в плитке сегментируется на множество единиц кодирования, может получаться. Когда эта информация получается (передается) только при конкретных условиях, эффективность может повышаться.[108] In the decoding equipment, information indicating whether a slice of the current frame, a tile/tile group, or a CTU in a tile is segmented into a plurality of coding units can be obtained. When this information is received (transmitted) only under specific conditions, efficiency can be improved.
[109] Заголовок среза или заголовок группы плиток (синтаксис заголовков групп плиток) может включать в себя информацию/параметры, обычно применимые к группе срезов или плиток. APS (APS-синтаксис) или PPS (PPS-синтаксис) может включать в себя информацию/параметры, обычно применимые к одному или более кадров. SPS (SPS-cинтаксис) может включать в себя информацию/параметры, обычно применимые к одной или более последовательностей. VPS (VPS-синтаксис) может включать в себя информацию/параметры, обычно применимые ко всему видео. В настоящем раскрытии сущности, высокоуровневый синтаксис может включать в себя, по меньшей мере, одно из APS-синтаксиса, PPS-синтаксиса, SPS-cинтаксиса или VPS-синтаксиса.[109] A slice header or tile group header (tile group header syntax) may include information/parameters typically applicable to a slice or tile group. APS (APS Syntax) or PPS (PPS Syntax) may include information/parameters typically applicable to one or more frames. SPS (SPS Syntax) may include information/parameters generally applicable to one or more sequences. VPS (VPS Syntax) may include information/parameters generally applicable to the entire video. In the present disclosure, the high-level syntax may include at least one of APS syntax, PPS syntax, SPS syntax, or VPS syntax.
[110] Помимо этого, например, информация относительно сегментации и конструирования плитки/группы плиток может конструироваться в каскаде кодирования через высокоуровневый синтаксис и передаваться в оборудование декодирования в форме потока битов.[110] In addition, for example, information regarding segmentation and construction of a tile/group of tiles may be constructed in an encoding cascade through a high-level syntax and transmitted to the decoding equipment in the form of a bitstream.
[111] Структура сегментации [111] Segmentation Structure
[112] Кадры могут сегментироваться на последовательность единиц дерева кодирования (CTU). CTU может соответствовать блоку дерева кодирования (CTB). Альтернативно, CTU может включать в себя блок дерева кодирования выборок сигналов яркости и два блока дерева кодирования соответствующих выборок сигналов цветности. Например, для кадра, который содержит три массива выборок, CTU может включать в себя блок NxN выборок сигналов яркости и два соответствующих блока выборок сигналов цветности. Фиг. 4 показывает пример, в котором кадр сегментируется на CTU.[112] Frames may be segmented into a sequence of coding tree units (CTUs). The CTU may correspond to a coding tree block (CTB). Alternatively, the CTU may include a luminance sample coding tree block and two corresponding chrominance samples coding tree blocks. For example, for a frame that contains three arrays of samples, the CTU may include an NxN block of luma samples and two corresponding blocks of chrominance samples. Fig. 4 shows an example in which a frame is segmented into CTUs.
[113] Максимально допустимый размер CTU для кодирования и прогнозирования может отличаться от максимально допустимого размера CTU для преобразования. Например, даже когда максимальный размер блока сигналов яркости в CTU для преобразования составляет 64×64, максимальный размер блока сигналов яркости для CTU для кодирования и прогнозирования может составлять 128×128.[113] The maximum allowable CTU size for encoding and prediction may be different from the maximum allowable CTU size for transformation. For example, even when the maximum luminance block size in the transform CTU is 64×64, the maximum luminance block size in the CTU for coding and prediction may be 128×128.
[114] Помимо этого, кадр может сегментироваться на одну или более строк плиток и один или более столбцов плиток. Плитка может представлять собой последовательность CTU, покрывающих прямоугольную область в кадре.[114] In addition, the frame may be segmented into one or more rows of tiles and one or more columns of tiles. A tile may be a sequence of CTUs covering a rectangular area in a frame.
[115] Плитка может сегментироваться на один или более кирпичей, и каждый кирпич может состоять из множества CTU-строк в плитке. В настоящем раскрытии сущности, плитка, которая не сегментируется на множество кирпичей, может называться "кирпичом".[115] A tile may be segmented into one or more bricks, and each brick may consist of multiple CTU rows in a tile. In the present disclosure, a tile that is not segmented into a plurality of bricks may be referred to as a "brick".
[116] Срез может включать в себя множество плиток в кадре или множество кирпичей в плитке. Могут поддерживаться два режима разделения на срезы. Один может представлять собой режим разделения на срезы на основе растрового сканирования, и другой может представлять собой режим разделения на прямоугольные срезы.[116] A slice may include a plurality of tiles in a frame or a plurality of bricks in a tile. Two slicing modes can be supported. One may be a raster scan based slicing mode and the other may be a rectangular slicing mode.
[117] В растровом режиме разделения на срезы, срез может включать в себя множество последовательных плиток в кадре согласно порядку растрового сканирования. В настоящем раскрытии сущности, срез согласно режиму разделения на срезы на основе растрового сканирования может называться "срезом на основе растрового сканирования".[117] In a raster slicing mode, a slice may include a plurality of consecutive tiles in a frame according to a raster scan order. In the present disclosure, a slice according to a raster scan based slicing mode may be referred to as a "raster scan based slicing".
[118] В режиме разделения на прямоугольные срезы, срез может включать в себя множество кирпичей, конструирующих прямоугольную область в кадре. В настоящем раскрытии сущности, срез согласно режиму разделения на прямоугольные срезы может называться "прямоугольным срезом". Множество кирпичей, включенных в прямоугольный срез, могут существовать согласно порядку растрового сканирования кирпичей среза.[118] In the rectangular slicing mode, the slice may include a plurality of bricks constructing a rectangular area in the frame. In the present disclosure, a slice according to the rectangular slicing mode may be referred to as a "rectangular slice". The plurality of bricks included in a rectangular slice may exist according to the raster scan order of the slice bricks.
[119] Фиг. 5A-5C являются видами, иллюстрирующими примеры сегментации кадра.[119] FIG. 5A-5C are views illustrating examples of frame segmentation.
[120] Во-первых, ссылаясь на фиг. 5A, в режиме разделения на срезы на основе растрового сканирования, кадр может сегментироваться на 12 плиток и три среза на основе растрового сканирования.[120] First, referring to FIG. 5A, in a raster scan based slicing mode, a frame can be segmented into 12 tiles and three raster scan based slices.
[121] Ссылаясь на фиг. 5B, в режиме разделения на прямоугольные срезы, кадр может сегментироваться на 24 плитки (т.е. на шесть строк плиток и четыре столбца плиток) и на девять прямоугольных срезов.[121] Referring to FIG. 5B, in the rectangular slicing mode, the frame may be segmented into 24 tiles (ie, six rows of tiles and four columns of tiles) and nine rectangular slices.
[122] Ссылаясь на фиг. 5C, кадр может сегментироваться на четыре плитки (т.е. на две строки плиток и два столбца плиток), на 11 кирпичей (т.е. на один левый верхний кирпич, пять правых верхних кирпичей, два левых нижних кирпича и три правых нижних кирпича) и на четыре прямоугольных среза.[122] Referring to FIG. 5C, the frame may be segmented into four tiles (i.e., two rows of tiles and two columns of tiles), 11 tiles (i.e., one top left brick, five top right bricks, two bottom left bricks, and three bottom right bricks). bricks) and into four rectangular slices.
[123] Общее представление сегментации CTU [123] General Representation of CTU Segmentation
[124] Как описано выше, единица кодирования (CU) может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов/двоичного дерева/троичного дерева (QT/BT/TT). Например, CTU может сначала сегментироваться на структуры в виде дерева квадрантов. После этого, узлы-листья структуры в виде дерева квадрантов дополнительно могут сегментироваться посредством многотипной древовидной структуры.[124] As described above, a coding unit (CU) can be obtained by recursively segmenting a coding tree unit (CTU) or a largest coding unit (LCU) according to a quadtree/binary tree/ternary tree (QT/BT/TT) structure. For example, the CTU may first be segmented into quadtree structures. Thereafter, the leaf nodes of the quadtree structure may further be segmented by a multi-type tree structure.
[125] Сегментация согласно дереву квадрантов означает то, что текущая CU (или CTU) сегментируется одинаково на четыре. Посредством сегментации согласно дереву квадрантов, текущая CU может сегментироваться на четыре CU, имеющие идентичную ширину и идентичную высоту. Когда текущая CU более не сегментируется на структуру в виде дерева квадрантов, текущая CU соответствует узлу-листу структуры в виде дерева квадрантов. CU, соответствующая узлу-листу структуры в виде дерева квадрантов, более не может сегментироваться и может использоваться в качестве вышеописанной конечной единицы кодирования. Альтернативно, CU, соответствующая узлу-листу структуры в виде дерева квадрантов, дополнительно может сегментироваться посредством многотипной древовидной структуры.[125] Quadtree segmentation means that the current CU (or CTU) is segmented equally into four. By segmenting according to the quadtree, the current CU can be segmented into four CUs having the same width and the same height. When the current CU is no longer segmented into a quadtree structure, the current CU corresponds to a leaf node of the quadtree structure. The CU corresponding to the leaf node of the quadtree structure can no longer be segmented and can be used as the final coding unit described above. Alternatively, the CU corresponding to the leaf node of the quadtree structure may further be segmented by a multi-type tree structure.
[126] Фиг. 6 является видом, показывающим вариант осуществления типа сегментации блока согласно многотипной древовидной структуре. Сегментация согласно многотипной древовидной структуре может включать в себя два типа разбиения согласно структуре в виде двоичного дерева и два типа разбиения согласно структуре в виде троичного дерева.[126] FIG. 6 is a view showing an embodiment of a block segmentation type according to the multi-type tree structure. The segmentation according to the multi-type tree structure may include two types of partitioning according to the binary tree structure and two types of partitioning according to the ternary tree structure.
[127] Два типа разбиения согласно структуре в виде двоичного дерева могут включать в себя вертикальное двоичное разбиение (SPLIT_BT_VER) и горизонтальное двоичное разбиение (SPLIT_BT_HOR). Вертикальное двоичное разбиение (SPLIT_BT_VER) означает то, что текущая CU разбивается одинаково напополам в вертикальном направлении. Как показано на фиг. 5, посредством вертикального двоичного разбиения, могут формироваться две CU, имеющие высоту, идентичную высоте текущей CU, и имеющие ширину, которая составляет половину от ширины текущей CU. Горизонтальное двоичное разбиение (SPLIT_BT_HOR) означает то, что текущая CU разбивается одинаково напополам в горизонтальном направлении. Как показано на фиг. 5, посредством горизонтального двоичного разбиения, могут формироваться две CU, имеющие высоту, которая составляет половину от высоты текущей CU, и имеющие ширину, идентичную ширине текущей CU.[127] The two types of splitting according to the binary tree structure may include vertical binary splitting (SPLIT_BT_VER) and horizontal binary splitting (SPLIT_BT_HOR). Vertical binary splitting (SPLIT_BT_VER) means that the current CU is split equally in half in the vertical direction. As shown in FIG. 5, by vertical binary splitting, two CUs having a height identical to the height of the current CU and having a width that is half the width of the current CU can be formed. Horizontal binary splitting (SPLIT_BT_HOR) means that the current CU is split equally in half in the horizontal direction. As shown in FIG. 5, by horizontal binary splitting, two CUs having a height that is half the height of the current CU and having a width identical to the width of the current CU can be formed.
[128] Два типа разбиения согласно структуре в виде троичного дерева могут включать в себя вертикальное троичное разбиение (SPLIT_TT_VER) и горизонтальное троичное разбиение (SPLIT_TT_HOR). В вертикальном троичном разбиении (SPLIT_TT_VER), текущая CU разбивается в вертикальном направлении в соотношении 1:2:1. Как показано на фиг. 5, посредством вертикального троичного разбиения, могут формироваться две CU, имеющие высоту, идентичную высоте текущей CU, и имеющие ширину, которая составляет 1/4 от ширины текущей CU, и CU, имеющая высоту, идентичную высоте текущей CU, и имеющая ширину, которая составляет половину от ширины текущей CU. В горизонтальном троичном разбиении (SPLIT_TT_HOR), текущая CU разбивается в горизонтальном направлении в соотношении 1:2:1. Как показано на фиг. 5, посредством горизонтального троичного разбиения, могут формироваться две CU, имеющие высоту, которая составляет 1/4 от высоты текущей CU, и имеющие ширину, идентичную ширине текущей CU, и CU, имеющая высоту, которая составляет половину от высоты текущей CU, и имеющая ширину, идентичную ширине текущей CU.[128] The two types of splitting according to the ternary tree structure may include vertical ternary splitting (SPLIT_TT_VER) and horizontal ternary splitting (SPLIT_TT_HOR). In vertical ternary splitting (SPLIT_TT_VER), the current CU is split in the vertical direction at a ratio of 1:2:1. As shown in FIG. 5, by vertical ternary partitioning, two CUs having a height identical to the height of the current CU and having a width that is 1/4 of the width of the current CU, and a CU having a height identical to the height of the current CU and having a width that is is half the width of the current CU. In horizontal ternary splitting (SPLIT_TT_HOR), the current CU is split horizontally in a ratio of 1:2:1. As shown in FIG. 5, by horizontal ternary partitioning, two CUs having a height that is 1/4 of the height of the current CU and having a width identical to the width of the current CU, and a CU having a height that is half the height of the current CU and having a width identical to the width of the current CU.
[129] Фиг. 7 является видом, показывающим механизм передачи в служебных сигналах информации разбиения на блоки в дереве квадрантов с вложенной многотипной древовидной структурой согласно настоящему раскрытию сущности.[129] FIG. 7 is a view showing a signaling mechanism of blocking information in a quadtree with a nested multi-type tree structure according to the present disclosure.
[130] Здесь, CTU трактуется в качестве корневого узла дерева квадрантов и сегментируется в первый раз на структуру в виде дерева квадрантов. Информация (например, qt_split_flag), указывающая то, выполняется или нет разбиение на дерево квадрантов для текущей CU (CTU или узла (QT_node) дерева квадрантов), передается в служебных сигналах. Например, когда qt_split_flag имеет первое значение (например, "1"), текущая CU может сегментироваться на дерево квадрантов. Помимо этого, когда qt_split_flag имеет второе значение (например, "0"), текущая CU не сегментируется на дерево квадрантов, но становится узлом-листом (QT_leaf_node) дерева квадрантов. Каждый узел-лист дерева квадрантов затем дополнительно может сегментироваться на многотипные древовидные структуры. Таким образом, узел-лист дерева квадрантов может становиться узлом (MTT_node) многотипного дерева. В многотипной древовидной структуре, первый флаг (например, Mtt_split_cu_flag) передается в служебных сигналах, чтобы указывать то, сегментируется или нет дополнительно текущий узел. Если соответствующий узел дополнительно сегментируется (например, если первый флаг равен 1), второй флаг (например, Mtt_split_cu_vertical_flag) может передаваться в служебных сигналах, чтобы указывать направление разбиения. Например, направление разбиения может представлять собой вертикальное направление, если второй флаг равен 1, и может представлять собой горизонтальное направление, если второй флаг равен 0. Затем третий флаг (например, Mtt_split_cu_binary_flag) может передаваться в служебных сигналах, чтобы указывать то, представляет тип разбиения собой тип на основе двоичного разбиения или тип на основе троичного разбиения. Например, тип разбиения может представлять собой тип на основе двоичного разбиения, когда третий флаг равен 1, и может представлять собой тип на основе троичного разбиения, когда третий флаг равен 0. Узел многотипного дерева, полученного посредством двоичного разбиения или троичного разбиения, дополнительно может сегментироваться на многотипные древовидные структуры. Тем не менее, узел многотипного дерева может не сегментироваться на структуры в виде дерева квадрантов. Если первый флаг равен 0, соответствующий узел многотипного дерева более не разбивается, но становится узлом-листом (MTT_leaf_node) многотипного дерева. CU, соответствующая узлу-листу многотипного дерева, может использоваться в качестве вышеописанной конечной единицы кодирования.[130] Here, the CTU is treated as the root node of the quadtree and is segmented for the first time into a quadtree structure. Information (eg, qt_split_flag) indicating whether or not quadtree splitting is performed for the current CU (CTU or quadtree node (QT_node)) is signaled. For example, when qt_split_flag has a first value (eg, "1"), the current CU may be segmented into a quadtree. In addition, when qt_split_flag has a second value (eg, "0"), the current CU is not segmented into a quadtree, but becomes a leaf node (QT_leaf_node) of the quadtree. Each leaf node of the quadtree can then be further segmented into multi-type tree structures. Thus, a leaf node of a quadtree can become a node (MTT_node) of a multitype tree. In the multi-type tree structure, the first flag (eg, Mtt_split_cu_flag) is signaled to indicate whether or not the current node is further segmented. If the corresponding node is further segmented (eg, if the first flag is 1), a second flag (eg, Mtt_split_cu_vertical_flag) may be signaled to indicate the split direction. For example, the split direction may be the vertical direction if the second flag is 1, and may be the horizontal direction if the second flag is 0. Then, a third flag (eg, Mtt_split_cu_binary_flag) may be signaled to indicate whether the split type is is a binary split type or a ternary split type. For example, the split type may be a binary split type when the third flag is 1, and may be a ternary split type when the third flag is 0. A node of a multitype tree obtained by binary split or ternary split may further be segmented into multitype tree structures. However, a multitype tree node may not be segmented into quadtree structures. If the first flag is 0, the corresponding multitype tree node is no longer broken, but becomes a leaf node (MTT_leaf_node) of the multitype tree. The CU corresponding to the leaf node of the multi-type tree may be used as the final coding unit described above.
[131] На основе mtt_split_cu_vertical_flag и mtt_split_cu_binary_flag, режим разбиения на основе многотипного дерева (MttSplitMode) CU может извлекаться так, как показано в нижеприведенной таблице 1. В нижеприведенном описании, режим разбиения на основе многотипного дерева может называться "типом разбиения на основе мультидерева" или "типом разбиения".[131] Based on mtt_split_cu_vertical_flag and mtt_split_cu_binary_flag, the multi-type tree split mode (MttSplitMode) of the CU may be derived as shown in Table 1 below. In the description below, the multi-type tree split mode may be referred to as "multi-tree split type" or "partition type".
[132] Табл. 1[132] Tab. 1
[133] Фиг. 8 является видом, показывающим пример, в котором CTU сегментируется на несколько CU посредством применения многотипного дерева после применения дерева квадрантов. На фиг. 8, полужирные края 810 блоков представляют сегментацию на основе дерева квадрантов, и оставшиеся края 820 представляют сегментацию на основе многотипного дерева. CU может соответствовать блоку кодирования (CB). В варианте осуществления, CU может включать в себя блок кодирования выборок сигналов яркости и два блока кодирования выборок сигналов цветности, соответствующих выборкам сигналов яркости.[133] FIG. 8 is a view showing an example in which a CTU is segmented into multiple CUs by applying a multi-type tree after applying the quadtree. In FIG. 8, the bold block edges 810 represent quadtree based segmentation and the remaining
[134] CB- или TB-размер компонентных (выборок) сигнала цветности может извлекаться на основе CB- или TB-размера компонентных (выборок) сигнала яркости согласно соотношению компонентов согласно цветовому формату (формату сигналов цветности, например, 4:4:4, 4:2:2, 4:2:0 и т.п.) кадра/изображения. В случае цветового формата 4:4:4, CB/TB-размер компонентов сигнала цветности может задаваться равным CB/TB-размеру компонентов сигнала яркости. В случае цветового формата 4:2:2, ширина CB/TB компонентов сигнала цветности может задаваться равной половине ширины CB/TB компонентов сигнала яркости, и высота CB/TB компонентов сигнала цветности может задаваться равной высоте CB/TB компонентов сигнала яркости. В случае цветового формата 4:2:0, ширина CB/TB компонентов сигнала цветности может задаваться равной половине ширины CB/TB компонентов сигнала яркости, и высота CB/TB компонентов сигнала цветности может задаваться равной половине высоты CB/TB компонентов сигнала яркости.[134] The CB or TB size of the chrominance component (samples) may be derived based on the CB or TB size of the luminance component (samples) according to the component ratio according to the color format (chrominance signal format, e.g., 4:4:4, 4:2:2, 4:2:0, etc.) frame/picture. In the case of a 4:4:4 color format, the CB/TB size of the chrominance components may be set to the CB/TB size of the luminance components. In the case of the 4:2:2 color format, the width of the CB/TB chrominance components may be set to half the width of the CB/TB luminance components, and the height of the CB/TB chrominance components may be set to the height of the CB/TB luminance components. In the case of the 4:2:0 color format, the width of the CB/TB chrominance components may be set to half the width of the CB/TB luminance components, and the height of the CB/TB chrominance components may be set to half the height of the CB/TB luminance components.
[135] В варианте осуществления, когда размер CTU равен 128 на основе единицы выборок сигналов яркости, размер CU может иметь размер от 128×128 до 4×4, что составляет идентичный размер с CTU. В одном варианте осуществления, в случае цветового формата 4:2:0 (или формата сигналов цветности), CB-размер сигналов цветности может иметь размер от 64×64 до 2×2.[135] In an embodiment, when the CTU size is 128 based on the luminance sample unit, the CU size may be 128x128 to 4x4, which is the same size as the CTU. In one embodiment, in the case of a 4:2:0 color format (or chrominance format), the CB-size of the chrominance signals may be 64x64 to 2x2.
[136] Между тем, в варианте осуществления, CU-размер и TU-размер могут быть идентичными. Альтернативно, может быть предусмотрено множество TU в CU-области. TU-размер, в общем, представляет размер блока преобразования (TB) компонентных (выборок) сигналов яркости.[136] Meanwhile, in the embodiment, the CU size and the TU size may be identical. Alternatively, a plurality of TUs may be provided in a CU area. TU-size, in General, represents the size of the block transformation (TB) component (samples) of the luminance signals.
[137] TU-размер может извлекаться на основе наибольшего допустимого TB-размера maxTbSize, который составляет предварительно определенное значение. Например, когда CU-размер превышает maxTbSize, множество TU (TB), имеющих maxTbSize, могут извлекаться из CU, и преобразование/обратное преобразование может выполняться в единицах TU (TB). Например, наибольший допустимый TB-размер сигналов яркости может составлять 64×64, и наибольший допустимый TB-размер сигналов цветности может составлять 32×32. Если ширина или высота CB, сегментированного согласно древовидной структуре, больше наибольшей ширины или высоты преобразования, CB может автоматически (или неявно) сегментироваться до тех пор, пока предел TB-размера в горизонтальном и вертикальном направлениях не удовлетворяется.[137] The TU size may be derived based on the largest allowable TB size maxTbSize, which is a predetermined value. For example, when the CU size exceeds maxTbSize, a plurality of TUs (TBs) having maxTbSizes can be extracted from the CUs, and mapping/demapping can be performed in units of TUs (TBs). For example, the largest allowable TB size of luminance signals may be 64×64, and the largest allowable TB size of chrominance signals may be 32×32. If the width or height of the CB segmented according to the tree structure is greater than the largest width or height of the transform, the CB may be automatically (or implicitly) segmented until the TB-size limit in the horizontal and vertical directions is satisfied.
[138] Помимо этого, например, когда внутреннее прогнозирование применяется, режим/тип внутреннего прогнозирования может извлекаться в единицах CU (или CB), и процедура извлечения соседних опорных выборок и формирования прогнозных выборок может выполняться в единицах TU (или TB). В этом случае, может быть предусмотрена одна или множество TU (или TB) в одной CU-(или CB-)области, и, в этом случае, множество TU или (TB) могут совместно использовать идентичный режим/тип внутреннего прогнозирования.[138] In addition, for example, when intra prediction is applied, the mode/type of intra prediction may be extracted in units of CU (or CB), and the procedure for extracting adjacent reference samples and generating predictive samples may be performed in units of TU (or TB). In this case, one or multiple TUs (or TBs) may be provided in one CU- (or CB-) area, and in this case, multiple TUs or (TBs) may share the same intra prediction mode/type.
[139] Между тем, для схемы дерева кодирования на основе дерева квадрантов с вложенным многотипным деревом, следующие параметры могут передаваться в служебных сигналах в качестве синтаксических SPS-элементов из оборудования кодирования в оборудование декодирования. Например, по меньшей мере, одно из CTU-размера, который представляет собой параметр, представляющий размер корневых узлов дерева квадрантов, MinQTSize, который представляет собой параметр, представляющий минимальный разрешенный размер узлов-листьев дерева квадрантов, MaxBtSize, который представляет собой параметр, представляющий максимальный разрешенный размер корневых узлов двоичного дерева, MaxTtSize, который представляет собой параметр, представляющий максимальный разрешенный размер корневых узлов троичного дерева, MaxMttDepth, который представляет собой параметр, представляющий максимальную разрешенную глубину иерархии разбиения на основе многотипного дерева из узла-листа дерева квадрантов, MinBtSize, который представляет собой параметр, представляющий минимальный разрешенный размер узлов-листьев двоичного дерева, или MinTtSize, который представляет собой параметр, представляющий минимальный разрешенный размер узлов-листьев троичного дерева, передается в служебных сигналах.[139] Meanwhile, for the nested multi-type tree quadtree-based coding tree scheme, the following parameters may be signaled as SPS syntax elements from the encoding equipment to the decoding equipment. For example, at least one of CTU-size, which is a parameter representing the size of the quadtree root nodes, MinQTSize, which is a parameter representing the minimum allowed size of quadtree leaf nodes, MaxBtSize, which is a parameter representing the maximum the allowed size of the root nodes of the binary tree, MaxTtSize, which is a parameter representing the maximum allowed size of the root nodes of the ternary tree, MaxMttDepth, which is the parameter representing the maximum allowed depth of the splitting hierarchy based on the multitype tree from the leaf node of the quadtree, MinBtSize, which is a parameter representing the minimum allowed size of leaf nodes of a binary tree, or MinTtSize, which is a parameter representing the minimum allowed size of leaf nodes of a ternary tree, is signaled.
[140] В качестве варианта осуществления использования формата сигналов цветности 4:2:0, CTU-размер может задаваться равным блокам сигналов яркости 128×128 и двум блокам сигналов цветности 64×64, соответствующим блокам сигналов яркости. В этом случае, MinOTSize может задаваться равным 16×16, MaxBtSize может задаваться равным 128×128, MaxTtSzie может задаваться равным 64×64, MinBtSize и MinTtSize могут задаваться равными 4×4, и MaxMttDepth может задаваться равным 4. Сегментация на основе дерева квадрантов может применяться к CTU, чтобы формировать узлы-листья дерева квадрантов. Узел-лист дерева квадрантов может называться "QT-узлом-листом". Узлы-листья дерева квадрантов могут иметь размер от размера 16×16 (например, MinOTSize) до размера 128×128 (например, CTU-размера). Если QT-узел-лист составляет 128×128, он может дополнительно не сегментироваться на двоичное дерево/троичное дерево. Это обусловлено тем, что в этом случае, даже при сегментации, он превышает MaxBtsize и MaxTtszie (например, 64×64). В других случаях, QT-узлы-листья дополнительно могут сегментироваться на многотипное дерево. Следовательно, QT-узел-лист представляет собой корневой узел для многотипного дерева, и QT-узел-лист может иметь значение в 0 для глубины многотипного дерева (mttDepth). Если глубина многотипного дерева достигает MaxMttdepth (например, 4), дополнительная сегментация может более не рассматриваться. Если ширина узла многотипного дерева равна MinBtSize и меньше или равна 2xMinTtSize, то дополнительная горизонтальная сегментация может не рассматриваться. Если высота узла многотипного дерева равна MinBtSize и меньше или равна 2xMinTtSize, дополнительная вертикальная сегментация может не рассматриваться. Когда сегментация не рассматривается, оборудование кодирования может пропускать передачу в служебных сигналах информации сегментации. В этом случае, оборудование декодирования может извлекать информацию сегментации с предварительно определенным значением.[140] As an embodiment of using the 4:2:0 chrominance format, the CTU size may be set to 128x128 luma blocks and two 64x64 chrominance blocks corresponding to the luma blocks. In this case, MinOTSize may be set to 16x16, MaxBtSize may be set to 128x128, MaxTtSzie may be set to 64x64, MinBtSize and MinTtSize may be set to 4x4, and MaxMttDepth may be set to 4. Quadtree based segmentation can be applied to CTUs to form leaf nodes of a quadtree. A leaf node of a quadtree may be referred to as a "QT leaf node". The leaf nodes of the quadtree can range in size from 16×16 (eg, MinOTSize) to 128×128 (eg, CTU-size). If the QT-node-leaf is 128x128, it may not additionally be segmented into a binary tree/ternary tree. This is due to the fact that in this case, even with segmentation, it exceeds MaxBtsize and MaxTtszie (for example, 64×64). In other cases, QT leaf nodes can additionally be segmented into a multi-type tree. Therefore, a QT leaf node is the root node for a multitype tree, and a QT leaf node can have a value of 0 for the depth of the multitype tree (mttDepth). If the depth of the multitype tree reaches MaxMttdepth (eg 4), additional segmentation may no longer be considered. If the width of a multitype tree node is equal to MinBtSize and less than or equal to 2xMinTtSize, then additional horizontal segmentation may not be considered. If the height of a multitype tree node is equal to MinBtSize and less than or equal to 2xMinTtSize, additional vertical segmentation may not be considered. When segmentation is not considered, the encoding equipment may skip signaling segmentation information. In this case, the decoding equipment can extract segmentation information with a predetermined value.
[141] Между тем, одна CTU может включать в себя блок кодирования выборок сигналов яркости (далее называемый "блоком сигналов яркости") и два блока кодирования выборок сигналов цветности, соответствующих ему (далее называемые "блоками сигналов цветности"). Вышеописанная схема на основе дерева кодирования можно одинаково или отдельно применяться к блоку сигналов яркости и к блоку сигналов цветности текущей CU. В частности, блоки сигналов яркости и сигналов цветности в одной CTU могут сегментироваться на идентичную блочную древовидную структуру, и в этом случае, древовидная структура представляется как SINGLE_TREE. Альтернативно, блоки сигналов яркости и сигналов цветности в одной CTU могут сегментироваться на отдельные блочные древовидные структуры, и в этом случае, древовидная структура может представляться как DUAL_TREE. Таким образом, когда CTU сегментируется на сдвоенные деревья, блочная древовидная структура для блока сигналов яркости и блочная древовидная структура для блока сигналов цветности могут отдельно присутствовать. В этом случае, блочная древовидная структура для блока сигналов яркости может называться "DUAL_TREE_LUMA", и блочная древовидная структура для компонента сигнала цветности может называться "DUAL_TREE_CHROMA". Для групп P- и B-срезов/плиток, блоки сигналов яркости и сигналов цветности в одной CTU могут быть ограничены тем, что они имеют идентичную структуру в виде дерева кодирования. Тем не менее, для групп I-срезов/плиток, блоки сигналов яркости и сигналов цветности могут иметь отдельную блочную древовидную структуру относительно друг друга. Если отдельная блочная древовидная структура применяется, CTB сигналов яркости может сегментироваться на CU на основе конкретной структуры в виде дерева кодирования, и CTB сигналов цветности может сегментироваться на CU сигнала цветности на основе другой структуры в виде дерева кодирования. Таким образом, это означает то, что CU в группе I-срезов/плиток, к которой применяется отдельная блочная древовидная структура, может включать в себя блок кодирования компонентов сигнала яркости или блоки кодирования двух компонентов сигнала цветности, и CU группы P- или B-срезов/плиток может включать в себя блоки трех цветовых компонентов (компонента сигнала яркости и двух компонентов сигнала цветности).[141] Meanwhile, one CTU may include a luminance sample coding unit (hereinafter referred to as a "luminance signal unit") and two chrominance sample coding units corresponding to it (hereinafter referred to as "chroma units"). The above-described coding tree-based scheme may be equally or separately applied to the luma block and the chrominance block of the current CU. In particular, luminance and chrominance blocks in one CTU may be segmented into an identical block tree structure, in which case, the tree structure is represented as SINGLE_TREE. Alternatively, the luma and chrominance blocks in one CTU may be segmented into separate block tree structures, in which case, the tree structure may be represented as DUAL_TREE. Thus, when the CTU is segmented into dual trees, a block tree structure for the luma block and a block tree structure for the chrominance block may be separately present. In this case, the block tree structure for the luma block may be called "DUAL_TREE_LUMA", and the block tree structure for the chrominance signal component may be called "DUAL_TREE_CHROMA". For groups of P- and B-slices/tiles, the luminance and chrominance blocks in one CTU may be restricted to have the same coding tree structure. However, for groups of I-slices/tiles, the luminance and chrominance blocks may have a separate block tree structure relative to each other. If a separate block tree structure is applied, the luminance CTB may be segmented into CUs based on a particular coding tree structure, and the chroma CTB may be segmented into chrominance CUs based on another coding tree structure. Thus, this means that a CU in an I-slice/tile group to which a separate block tree structure is applied may include a luma component coding block or two chroma component coding blocks, and a CU of a P- or B- group. slices/tiles may include blocks of three color components (luminance component and two chrominance components).
[142] Хотя описывается структура в виде дерева кодирования на основе дерева квадрантов с вложенным многотипным деревом, структура, в которой CU сегментируется, не ограничена этим. Например, BT-структура и TT-структура могут интерпретироваться в качестве понятия, включенного в структуру в виде дерева с несколькими видами сегментации (MPT), и CU может интерпретироваться как сегментируемая через QT-структуру и MPT-структуру. В примере, в котором CU сегментируется через QT-структуру и MPT-структуру, синтаксический элемент (например, MPT_split_type), включающий в себя информацию относительно того, на сколько блоков сегментируется узел-лист QT-структуры, и синтаксический элемент (например, MPT_split_mode), включающий в себя информацию относительно того, в каком из вертикального и горизонтального направлений сегментируется узел-лист QT-структуры, может передаваться в служебных сигналах, чтобы определять структуру сегментации.[142] Although a quadtree-based coding tree structure with a nested multi-type tree is described, the structure in which the CU is segmented is not limited to this. For example, a BT framework and a TT framework can be interpreted as a concept included in a multi-segmentation tree (MPT) structure, and a CU can be interpreted as segmentable via the QT framework and the MPT framework. In an example in which a CU is segmented through a QT framework and an MPT framework, a syntax element (for example, MPT_split_type) including information on how many blocks the leaf node of the QT framework is segmented into, and a syntax element (for example, MPT_split_mode) , including information as to which of the vertical and horizontal directions the leaf-node of the QT structure is segmented, may be signaled to determine the segmentation structure.
[143] В другом примере, CU может сегментироваться способом, отличающимся от QT-структуры, BT-структуры или TT-структуры. Таким образом, в отличие от того, что CU меньшей глубины сегментируется на 1/4 от CU большей глубины согласно QT-структуре, CU меньшей глубины сегментируется на 1/2 от CU большей глубины согласно BT-структуре, или CU меньшей глубины сегментируется на 1/4 или 1/2 от CU большей глубины согласно TT-структуре, CU меньшей глубины может сегментироваться на 1/5, 1/3, 3/8, 3/5, 2/3 или 5/8 от CU большей глубины в некоторых случаях, и способ сегментации CU не ограничен этим.[143] In another example, the CU may be segmented in a manner different from the QT framework, the BT framework, or the TT framework. Thus, in contrast to the fact that a lesser CU is segmented 1/4 of a greater depth CU according to the QT structure, a lesser CU is segmented 1/2 of a greater depth CU according to the BT structure, or a lesser CU is segmented by 1 /4 or 1/2 of the deeper CU according to the TT structure, the shallower CU may be segmented into 1/5, 1/3, 3/8, 3/5, 2/3 or 5/8 of the deeper CU in some cases, and the CU segmentation method is not limited to this.
[144] Когда часть узлового блока дерева превышает нижнюю границу кадра и/или правую границу кадра для кадра, соответствующий узловой блок дерева может ограничиваться таким образом, что выборки во всех кодированных CU расположены на границах кадров. В этом случае, например, могут применяться следующие правила разбиения.[144] When a part of the node tree block exceeds the lower frame boundary and/or the right frame boundary for a frame, the corresponding tree node block may be constrained such that the samples in all encoded CUs are located on frame boundaries. In this case, for example, the following partitioning rules may apply.
[145] Правило 1 разбиения: В качестве случая, в котором часть узлового блока дерева превышает как нижнюю границу кадра, так и правую границу кадра, когда узловой блок дерева представляет собой QT-узел, имеющий размер, больший минимального QT-размера, узловой блок дерева может разбиваться в режиме QT-разбиения, и когда узловой блок дерева имеет размер, равный или меньший минимального QT-размера, или не представляет собой QT-узел, узловой блок дерева разбивается в режиме горизонтального двоичного разбиения (SPLIT_BT_HOR-режиме).[145] Split Rule 1: As a case in which a portion of the tree node box exceeds both the lower frame boundary and the right frame boundary, when the tree node box is a QT node having a size larger than the minimum QT size, the node box The tree node can be split in QT split mode, and when the tree node block has a size equal to or less than the minimum QT size, or is not a QT node, the tree node block is split in horizontal binary split mode (SPLIT_BT_HOR mode).
[146] Правило 2 разбиения: В качестве случая, в котором правило 1 разбиения не удовлетворяется, и часть узлового блока дерева превышает нижнюю границу кадра, узловой блок дерева разбивается в режиме QT-разбиения, когда узловой блок дерева представляет собой QT-узел, имеющий размер, больший минимального QT-размера и максимального BT-размера, и узловой блок дерева разбивается в режиме горизонтального двоичного разбиения, когда узловой блок дерева представляет собой BTT-узел, имеющий размер, равный или меньший минимального QT-размера.[146] Split rule 2: As a case in which split
[147] Правило 3 разбиения: В качестве случая, в котором правило 1 разбиения и правило 2 разбиения не удовлетворяются, и часть узлового блока дерева превышает правую границу кадра, узловой блок дерева разбивается в режиме QT-разбиения, когда узловой блок дерева представляет собой QT-узел, имеющий размер, больший минимального QT-размера и максимального BT-размера, и узловой блок дерева разбивается в режиме QT-разбиения или в режиме горизонтального двоичного разбиения, когда узловой блок дерева имеет размер, больший минимального QT-размера и равный или меньший максимального BT-размера. Альтернативно, когда узловой блок дерева представляет собой BTT-узел или имеет размер, равный или меньший минимального QT-размера, узловой блок дерева разбивается в режиме горизонтального двоичного разбиения.[147] Splitting rule 3: As a case in which
[148] Как описано выше, структура блоков кодирования дерева квадрантов с многотипным деревом может предоставлять очень гибкую структуру сегментации на блоки. Вследствие типов сегментации, поддерживаемых в многотипном дереве, различные шаблоны сегментации могут потенциально приводить к идентичной структуре блоков кодирования в некоторых случаях. В оборудовании кодирования и оборудовании декодирования, посредством ограничения возникновения таких избыточных шаблонов сегментации, может уменьшаться объем данных информации сегментации.[148] As described above, a multi-type tree quadtree coding block structure can provide a very flexible block segmentation structure. Due to the segmentation types supported in a multi-type tree, different segmentation patterns can potentially result in an identical coding block structure in some cases. In the encoding equipment and the decoding equipment, by limiting the occurrence of such redundant segmentation patterns, the amount of segmentation information data can be reduced.
[149] Например, фиг. 9 показывает избыточные шаблоны разбиения, которые могут возникать при разбиении на двоичное дерево и разбиении на троичное дерево. Как показано на фиг. 9, непрерывное двоичное разбиение 910 и 920 для одного направления двухэтапных уровней имеет структуру блоков кодирования, идентичную структуре блоков кодирования для двоичного разбиения для центрального сегмента после троичного разбиения. В этом случае, разбиение на двоичное дерево для центральных блоков 930 и 940 разбиения на троичное дерево может запрещаться. этот запрет является применимым к CU всех кадров. Когда такое конкретное разбиение запрещается, передача в служебных сигналах соответствующих синтаксических элементов может модифицироваться посредством отражения этого запрещенного случая, за счет этого уменьшая число битов, передаваемых в служебных сигналах для разбиения. Например, как показано в примере, приведенном на фиг. 9, когда разбиение на двоичное дерево для центрального блока CU запрещается, синтаксический элемент mtt_split_cu_binary_flag, указывающий то, представляет разбиение собой двоичное разбиение или троичное разбиение, не передается в служебных сигналах, и его значение может извлекаться в качестве 0 посредством оборудования декодирования.[149] For example, FIG. 9 shows redundant splitting patterns that can occur in binary tree splitting and ternary tree splitting. As shown in FIG. 9, the continuous binary split 910 and 920 for one direction of the two-stage layers has a coding block structure identical to the coding block structure for the binary split for the center segment after the ternary split. In this case, binary tree splitting for the ternary tree splitting
[150] Виртуальная конвейерная единица данных [150] Virtual Conveyor Data Unit
[151] Виртуальные конвейерные единицы данных (VPDU) могут задаваться для конвейерной обработки в кадре. VPDU могут задаваться как неперекрывающиеся единицы в одном кадре. В оборудовании декодирования, последовательные VPDU могут одновременно обрабатываться посредством нескольких ступеней конвейера. В большинстве ступеней конвейера, VPDU-размер может быть примерно пропорциональным размеру буфера. Соответственно, поддержание VPDU-размера небольшим является важным при рассмотрении размера буфера с точки зрения аппаратных средств. В большинстве видов оборудования декодирования, VPDU-размер может задаваться равным максимальному размеру блока преобразования (TB). Например, VPDU-размер может составлять размер в 64×64 (64×64 выборки сигнала яркости). Помимо этого, VPDU-размер может изменяться (увеличиваться или уменьшаться) с учетом вышеописанного разбиения на троичное дерево (TT) и/или двоичное дерево (BT).[151] Virtual Pipeline Data Units (VPDUs) may be defined for pipelining within a frame. VPDUs may be defined as non-overlapping units in one frame. In decoding hardware, consecutive VPDUs may be simultaneously processed through multiple pipeline stages. In most stages of the pipeline, the VPDU size can be roughly proportional to the buffer size. Accordingly, keeping the VPDU size small is important when considering the buffer size from a hardware point of view. In most kinds of decoding equipment, the VPDU size may be set to the maximum transform block (TB) size. For example, the VPDU size may be 64x64 (64x64 luma samples). In addition, the VPDU size may change (increase or decrease) in view of the above-described partitioning into a ternary tree (TT) and/or a binary tree (BT).
[152] Между тем, чтобы сохранять VPDU-размер равным 64×64, по меньшей мере, одно из следующих ограничений может применяться.[152] Meanwhile, in order to keep the VPDU size equal to 64×64, at least one of the following restrictions may be applied.
[153] Ограничение 1: Разбиение на троичное дерево для CU, имеющей, по меньшей мере, одно из ширины или высоты в 128, не разрешается.[153] Constraint 1: A ternary tree split for a CU having at least one of width or height of 128 is not allowed.
[154] Ограничение 2: Разбиение на горизонтальное двоичное дерево для CU, имеющей ширину в 128 и высоту в 64 или меньше (т.е. CU 128xN с N≤64), не разрешается.[154] Constraint 2: Horizontal binary tree splitting for a CU having a width of 128 and a height of 64 or less (ie, CU 128xN with N≤64) is not allowed.
[155] Ограничение 3: Разбиение на вертикальное двоичное дерево для CU, имеющей ширину 64 или меньше или высоту 128 (т.е. CU Nx128 с N≤64), не разрешается.[155] Constraint 3: Vertical binary tree splitting for a CU having a width of 64 or less or a height of 128 (ie, a CU of Nx128 with N≤64) is not allowed.
[156] Примеры разбиения CU, теперь разрешенные в соответствии с вышеуказанными ограничениями, показаны на фиг. 10. На фиг. 10, полужирные сплошные линии обозначают разбиение блоков, и оставшиеся сплошные линии обозначают CU.[156] Examples of CU partitioning now allowed under the above restrictions are shown in FIG. 10. In FIG. 10, bold solid lines indicate block splits, and the remaining solid lines indicate CUs.
[157] Ссылаясь на фиг. 10, согласно ограничению 1, разбиение на вертикальное троичное дерево для CU 1010 128×128 не разрешается. Помимо этого, согласно ограничению 1, разбиение на горизонтальное троичное дерево для CU 1020 128×128 не разрешается. Помимо этого, согласно ограничению 3, разбиение на вертикальное двоичное дерево для CU 1030 64×128 не разрешается. Помимо этого, согласно ограничению 2, разбиение на горизонтальное двоичное дерево для CU 1040 128×64 не разрешается. Помимо этого, согласно ограничению 1, разбиение на вертикальное троичное дерево для CU 1050 64×128 не разрешается. Помимо этого, согласно ограничению 1, разбиение на горизонтальное троичное дерево для CU 1060 128×64 не разрешается. Помимо этого, согласно ограничению 1, горизонтальное троичное разбиение для CU 1070 64×128 не разрешается. Помимо этого, согласно ограничению 1, вертикальное троичное разбиение для CU 1080 128×64 не разрешается.[157] Referring to FIG. 10, according to
[158] Между тем, в сдвоенном дереве во внутреннем кадре, различные структуры сегментации могут применяться к дереву кодирования сигналов яркости и дереву кодирования сигналов цветности. В сдвоенном дереве, может вводиться больший конвейер кодирования и, в дереве кодирования сигналов цветности, блок сигналов цветности, имеющий небольшой размер, к примеру, 2×2, 4×2 и 2×4, может разрешаться согласно диапазону QTBT-значения MinQTSizeC, MinBtSizeY и MinTTSizeY. Тем не менее, это может затруднять проектирование практического оборудования декодирования. Помимо этого, операция умножения требуется в режиме на основе кросскомпонентной линейной модели (CCLM), планарном режиме, угловом режиме и т.д. Чтобы разрешать вышеописанные проблемы, в сдвоенном дереве, блок сигналов цветности, имеющий небольшой размер, к примеру, 2×2, 4×2 и 2×4, может ограничиваться через ограничения по сегментации.[158] Meanwhile, in the dual tree in the intra frame, different segmentation structures may be applied to the luminance coding tree and the chrominance coding tree. In the dual tree, a larger coding pipeline may be introduced and, in the chrominance coding tree, a chrominance block having a small size such as 2×2, 4×2, and 2×4 may be resolved according to the range of QTBT value MinQTSizeC, MinBtSizeY and MinTTSizeY. However, this can make it difficult to design practical decoding hardware. In addition, the multiplication operation is required in cross-component linear model (CCLM) mode, planar mode, angular mode, and so on. In order to solve the above-described problems, in a dual tree, a chrominance block having a small size such as 2×2, 4×2, and 2×4 may be limited through segmentation constraints.
[159] Общее представление квантования/деквантования [159] General Representation of Quantization/Dequantization
[160] В дальнейшем в этом документе описывается квантование/деквантование согласно настоящему раскрытию сущности.[160] Hereinafter, this document describes quantization/dequantization according to the present disclosure.
[161] Как описано выше, модуль квантования оборудования кодирования может извлекать квантованные коэффициенты преобразования посредством применения квантования к коэффициентам преобразования, и модуль деквантования оборудования кодирования или модуль деквантования оборудования декодирования может извлекать коэффициенты преобразования посредством применения деквантования к квантованным коэффициентам преобразования.[161] As described above, the encoding equipment quantization unit can extract the quantized transform coefficients by applying quantization to the transform coefficients, and the encoding equipment dequantization unit or the decoding equipment dequantization unit can extract the transform coefficients by applying dequantization to the quantized transform coefficients.
[162] В общем, при кодировании видео/изображений, скорость квантования может изменяться, и коэффициент сжатия может регулироваться с использованием измененной скорости квантования. С точки зрения реализации, параметр квантования (QP) может использоваться вместо непосредственно с использованием скорости квантования с учетом сложности. Например, может использоваться параметр квантования целочисленного значения от 0 до 63, и значение каждого параметра квантования может соответствовать фактической скорости квантования. Параметр QPY квантования для компонента сигналов яркости (выборки сигналов яркости) может задаваться равным значению, отличающемуся от значения параметра QPC квантования для компонента сигналов цветности (выборки сигналов цветности).[162] In general, when encoding video/images, the quantization rate may be changed, and the compression ratio may be adjusted using the changed quantization rate. From an implementation point of view, the quantization parameter (QP) can be used instead of directly using the quantization rate with respect to complexity. For example, an integer value quantization parameter from 0 to 63 may be used, and the value of each quantization parameter may correspond to the actual quantization rate. The quantization parameter QPY for the luminance signal component (luminance samples) may be set to a value different from the value of the quantization parameter QPC for the chrominance signal component (chroma samples).
[163] В процессе квантования, коэффициент C преобразования может приниматься как ввод и делиться на скорость Qstep квантования, за счет этого извлекая квантованный коэффициент C' преобразования. В этом случае, с учетом вычислительной сложности, скорость квантования умножается на масштаб, чтобы формировать целочисленную операцию, и операция сдвига может выполняться посредством значения, соответствующего значению масштаба. На основе произведения скорости квантования и значения масштаба, может извлекаться масштаб квантования. Таким образом, масштаб квантования может извлекаться согласно QP. Посредством применения масштаба квантования к коэффициенту C преобразования, квантованный коэффициент C' преобразования может извлекаться на его основе.[163] In the quantization process, the transform coefficient C may be taken as input and divided by the quantization rate Qstep, thereby extracting the quantized transform coefficient C'. In this case, considering the computational complexity, the quantization rate is multiplied by the scale to form an integer operation, and the shift operation may be performed by a value corresponding to the scale value. Based on the product of the quantization rate and the scale value, the quantization scale can be extracted. Thus, the quantization scale can be extracted according to QP. By applying a quantization scale to the transform coefficient C, a quantized transform coefficient C' can be derived based on it.
[164] Процесс деквантования представляет собой обратный процесс по отношению к процессу квантования, и квантованный коэффициент C' преобразования может умножаться на скорость Qstep квантования, за счет этого извлекая восстановленный коэффициент C'' преобразования. В этом случае, масштаб уровня может извлекаться согласно параметру квантования, и масштаб уровня может применяться к квантованному коэффициенту C' преобразования, за счет этого извлекая восстановленный коэффициент C'' преобразования. Восстановленный коэффициент C'' преобразования может немного отличаться от исходного коэффициента C преобразования вследствие потерь в процессе преобразования и/или квантования. Соответственно, даже оборудование кодирования может выполнять деквантование таким же образом, как оборудование декодирования.[164] The dequantization process is a reverse process with respect to the quantization process, and the quantized transform coefficient C' may be multiplied by the quantization rate Qstep, thereby extracting the reconstructed transform coefficient C''. In this case, the level scale may be extracted according to the quantization parameter, and the level scale may be applied to the quantized transform coefficient C', thereby extracting the reconstructed transform coefficient C''. The recovered transform coefficient C'' may differ slightly from the original transform coefficient C due to losses in the transform and/or quantization process. Accordingly, even the encoding equipment can perform dequantization in the same manner as the decoding equipment.
[165] Между тем, технология адаптивного частотного квантования со взвешиванием регулирования интенсивности квантования согласно частоте может применяться. Технология адаптивного частотного квантования со взвешиванием представляет собой способ различного применения интенсивности квантования согласно частоте. При адаптивном частотном квантовании со взвешиванием, интенсивность квантования может по-разному применяться согласно частоте с использованием предварительно заданной матрицы масштабирования при квантовании. Таким образом, вышеописанный процесс квантования/деквантования может выполняться дополнительно на основе матрицы масштабирования при квантовании. Например, различная матрица масштабирования при квантовании может использоваться согласно размеру текущего блока и/или тому, представляет режим прогнозирования, применяемый к текущему блоку для того, чтобы формировать остаточный сигнал текущего блока, собой взаимное прогнозирование или внутреннее прогнозирование. Матрица масштабирования при квантовании также может называться "матрицей квантования" или "масштабирующей матрицей". Матрица масштабирования при квантовании может быть предварительно задана. Помимо этого, информация масштаба частотного квантования для матрицы масштабирования при квантовании для частотно-адаптивного масштабирования может конструироваться/кодироваться посредством оборудования кодирования и передаваться в служебных сигналах в оборудование декодирования. Информация масштаба частотного квантования может называться "информацией масштабирования при квантовании". Информация масштаба частотного квантования может включать в себя данные scaling_list_data списка масштабирования. На основе данных списка масштабирования, может извлекаться (модифицированная) матрица масштабирования при квантовании. Помимо этого, информация масштаба частотного квантования может включать в себя информацию флага присутствия, указывающую то, присутствуют или нет данные списка масштабирования. Альтернативно, когда данные списка масштабирования передаются в служебных сигналах на верхнем уровне (например, SPS), дополнительно может включаться информация, указывающая то, модифицируются или нет данные списка масштабирования на нижнем уровне (например, PPS или заголовка группы плиток и т.д.).[165] Meanwhile, an adaptive frequency quantization technique with weighting regulation of quantization intensity according to frequency can be applied. Weighted adaptive frequency quantization technology is a method for applying quantization intensity differently according to frequency. In adaptive weighted frequency quantization, the quantization strength can be applied differently according to frequency using a predetermined quantization scaling matrix. Thus, the above-described quantization/dequantization process can be further performed based on the quantization scaling matrix. For example, a different quantization scaling matrix may be used according to the current block size and/or whether the prediction mode applied to the current block to generate the current block residual signal is inter prediction or intra prediction. A quantization scaling matrix may also be referred to as a "quantization matrix" or "scaling matrix". The quantization scaling matrix may be predefined. In addition, frequency quantization scale information for the quantization scaling matrix for frequency adaptive scaling may be constructed/encoded by the encoding equipment and signaled to the decoding equipment. The frequency quantization scale information may be referred to as "quantization scaling information". The frequency quantization scale information may include scaling_list_data scaling list data. Based on the scaling list data, a (modified) quantization scaling matrix can be extracted. In addition, the frequency quantization scale information may include presence flag information indicating whether scaling list data is present or not. Alternatively, when the scaling list data is signaled in the upper layer (e.g., SPS), information indicating whether or not the scaling list data in the lower layer (e.g., PPS or tile group header, etc.) is modified or not can be included. .
[166] Общее представление взаимного прогнозирования [166] Interprediction General Representation
[167] В дальнейшем в этом документе описывается взаимное прогнозирование согласно настоящему раскрытию сущности.[167] Hereinafter, this document describes mutual prediction according to the present disclosure.
[168] Модуль прогнозирования оборудования кодирования изображений/оборудования декодирования изображений согласно настоящему раскрытию сущности может выполнять взаимное прогнозирование в единицах блоков, чтобы извлекать прогнозную выборку. Взаимное прогнозирование может представлять прогнозирование, извлекаемое таким способом, который зависит от элементов данных (например, выборочных значений, информации движения и т.д.) кадра(ов), отличного от текущего кадра. Когда взаимное прогнозирование применяется к текущему блоку, прогнозированный блок (блок прогнозирования или массив прогнозных выборок) для текущего блока может извлекаться на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра, указываемого посредством индекса опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения текущего блока может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию типа взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" или "colBlock", и опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)" или "colPicture". Например, список возможных вариантов информации движения может конструироваться на основе соседних блоков относительно текущего блока, и информация флага или индекса, указывающая то, какой возможный вариант выбирается (используется), может передаваться в служебных сигналах, с тем чтобы извлекать вектор движения текущего блока и/или индекс опорного кадра.[168] The prediction module of the image coding equipment/image decoding equipment according to the present disclosure may perform inter-prediction in units of blocks to extract a predictive sample. Inter-prediction may represent prediction derived in a manner that depends on data elements (eg, sample values, motion information, etc.) of a frame(s) other than the current frame. When inter-prediction is applied to a current block, a predicted block (prediction block or prediction sample array) for the current block may be derived based on a reference block (reference sample array) indicated by a motion vector for a reference frame indicated by a reference frame index. In this case, in order to reduce the amount of motion information transmitted in the inter-prediction mode, the motion information of the current block may be predicted in units of blocks, sub-blocks, or samples based on the correlation of the motion information between the neighboring block and the current block. The motion information may include a motion vector and a reference frame index. The motion information may further include inter-prediction type information (L0 prediction, L1 prediction, bi-prediction, etc.). In the case of inter prediction, an adjacent block may include a spatial adjacent block present in the current frame and a temporal adjacent block present in the reference frame. The reference frame including the reference block and the reference frame including the temporal neighbor block may be the same or different. The temporal neighbor block may be called a "collocated reference block", "collocated CU (colCU)", or "colBlock", and a reference frame including the temporal neighbor block may be referred to as a "collocated frame (colPic)" or "colPicture" . For example, a list of motion information candidates may be constructed based on neighboring blocks with respect to the current block, and flag or index information indicating which candidate is selected (used) may be signaled so as to derive the current block's motion vector and/ or the index of the reference frame.
[169] Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования. Например, в случае режима пропуска и режима объединения, информация движения текущего блока может быть равной информации движения выбранного соседнего блока. В случае режима пропуска, остаточный сигнал может не передаваться, в отличие от режима объединения. В случае режима прогнозирования информации движения (MVP), вектор движения выбранного соседнего блока может использоваться в качестве предиктора вектора движения, и разность векторов движения может передаваться в служебных сигналах. В этом случае, вектор движения текущего блока может извлекаться с использованием суммы предиктора вектора движения и разности векторов движения. В настоящем раскрытии сущности, MVP-режим может иметь смысловое значение, идентичное смысловому значению усовершенствованного прогнозирования векторов движения (AMVP).[169] Mutual prediction may be performed based on various prediction modes. For example, in the case of the skip mode and the merge mode, the motion information of the current block may be equal to the motion information of the selected neighboring block. In the case of the skip mode, the residual signal may not be transmitted, in contrast to the combine mode. In the case of a motion information prediction (MVP) mode, a motion vector of a selected neighbor block may be used as a motion vector predictor, and the motion vector difference may be signaled. In this case, the motion vector of the current block may be extracted using the sum of the motion vector predictor and the motion vector difference. In the present disclosure, the MVP mode may have a meaning identical to that of advanced motion vector prediction (AMVP).
[170] Информация движения может включать в себя L0-информацию движения и/или L1-информацию движения согласно типу взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). Вектор движения в L0-направлении может называться "L0-вектором движения" или "MVL0", и вектор движения в L1-направлении может называться "L1-вектором движения" или "MVL1". Прогнозирование на основе L0-вектора движения может называться "L0-прогнозированием", прогнозирование на основе L1-вектора движения может называться "L1-прогнозированием", и прогнозирование на основе как L0-вектора движения, так и L1-вектора движения может называться "бипрогнозированием". Здесь, L0-вектор движения может указывать вектор движения, ассоциированный со списком L0 опорных кадров (L0), и L1-вектор движения может указывать вектор движения, ассоциированный со списком L1 опорных кадров (L1). Список L0 опорных кадров может включать в себя кадры перед текущим кадром в порядке вывода в качестве опорных кадров, и список L1 опорных кадров может включать в себя кадры после текущего кадра в порядке вывода. Предыдущие кадры могут называться "прямыми (опорными) кадрами", и последующие кадры могут называться "обратными (опорными) кадрами". Список L0 опорных кадров дополнительно может включать в себя кадры после текущего кадра в порядке вывода в качестве опорных кадров. В этом случае, в списке L0 опорных кадров, предыдущие кадры могут сначала индексироваться, и последующие кадры затем могут индексироваться. Список L1 опорных кадров дополнительно может включать в себя кадры перед текущим кадром в порядке вывода в качестве опорных кадров. В этом случае, в списке L1 опорных кадров, последующие кадры могут сначала индексироваться, и предыдущие кадры затем могут индексироваться. Здесь, порядок вывода может соответствовать порядку номеров в последовательности кадров (POC).[170] The motion information may include L0 motion information and/or L1 motion information according to the type of mutual prediction (L0 prediction, L1 prediction, bi-prediction, etc.). The motion vector in the L0 direction may be referred to as the "L0 motion vector" or "MVL0", and the motion vector in the L1 direction may be referred to as the "L1 motion vector" or "MVL1". Prediction based on the L0 motion vector may be referred to as "L0 prediction", prediction based on the L1 motion vector may be referred to as "L1 prediction", and prediction based on both the L0 motion vector and the L1 motion vector may be referred to as "biprediction". ". Here, the L0 motion vector may indicate a motion vector associated with the L0 list of reference frames (L0), and the L1 motion vector may indicate a motion vector associated with the L1 list of reference frames (L1). The reference frame list L0 may include frames before the current frame in the output order as reference frames, and the reference frame list L1 may include frames after the current frame in the output order. Previous frames may be referred to as "forward (reference) frames", and subsequent frames may be referred to as "reverse (reference) frames". The reference frame list L0 may further include frames after the current frame in output order as reference frames. In this case, in the reference frame list L0, previous frames may be indexed first, and subsequent frames may then be indexed. The reference frame list L1 may further include frames before the current frame in output order as reference frames. In this case, in the reference frame list L1, subsequent frames may be indexed first, and previous frames may then be indexed. Here, the output order may correspond to the order of the numbers in the sequence of frames (POC).
[171] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе взаимного прогнозирования.[171] FIG. 11 is a flowchart illustrating an inter-prediction-based video/image coding method.
[172] Фиг. 12 является видом, иллюстрирующим конфигурацию модуля 180 взаимного прогнозирования согласно настоящему раскрытию сущности.[172] FIG. 12 is a view illustrating the configuration of the
[173] Способ кодирования по фиг. 11 может осуществляться посредством оборудования кодирования изображений по фиг. 2. В частности, этап S1110 может выполняться посредством модуля 180 взаимного прогнозирования, и этап S1120 может выполняться посредством остаточного процессора. В частности, этап S1120 может выполняться посредством вычитателя 115. Этап S1130 может выполняться посредством энтропийного кодера 190. Информация прогнозирования этапа S1130 может извлекаться посредством модуля 180 взаимного прогнозирования, и остаточная информация этапа S1130 может извлекаться посредством остаточного процессора. Остаточная информация представляет собой информацию относительно остаточных выборок. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования для остаточных выборок. Как описано выше, остаточные выборки могут извлекаться в качестве коэффициентов преобразования через преобразователь 120 оборудования кодирования изображений, и коэффициенты преобразования могут извлекаться в качестве квантованных коэффициентов преобразования через квантователь 130. Информация относительно квантованных коэффициентов преобразования может кодироваться посредством энтропийного кодера 190 через процедуру остаточного кодирования.[173] The encoding method of FIG. 11 may be performed by the image encoding equipment of FIG. 2. In particular, step S1110 may be performed by the
[174] Оборудование кодирования изображений может выполнять взаимное прогнозирование для текущего блока (S1110). Оборудование кодирования изображений может извлекать режим взаимного прогнозирования и информацию движения текущего блока и формировать прогнозные выборки текущего блока. Здесь, процедуры определения режима взаимного прогнозирования, извлечения информации движения и формирования прогнозных выборок могут одновременно выполняться, либо любая из них может выполняться перед другими процедурами. Например, как показано на фиг. 12, модуль 180 взаимного прогнозирования оборудования 100 кодирования изображений может включать в себя модуль 181 определения режима прогнозирования, модуль 182 извлечения информации движения и модуль 183 извлечения прогнозных выборок. Модуль 181 определения режима прогнозирования может определять режим прогнозирования текущего блока, модуль 182 извлечения информации движения может извлекать информацию движения текущего блока, и модуль 183 извлечения прогнозных выборок может извлекать прогнозные выборки текущего блока. Например, модуль 180 взаимного прогнозирования оборудования кодирования изображений может выполнять поиск блока, аналогичного текущему блоку в предварительно определенной зоне (зоне поиска) опорных кадров через оценку движения, и извлекать опорный блок, разность которого относительно текущего блока равна или меньше предварительно определенного критерия или минимума. На основе этого, индекс опорного кадра, указывающий опорный кадр, в котором расположен опорный блок, может извлекаться, и вектор движения может извлекаться на основе разности позиций между опорным блоком и текущим блоком. Оборудование кодирования изображений может определять режим, применяемый к текущему блоку, из различных режимов прогнозирования. Оборудование кодирования изображений может сравнивать функции затрат на искажение в зависимости от скорости передачи (RD) для различных режимов прогнозирования и определять оптимальный режим прогнозирования текущего блока. Тем не менее, способ определения режима прогнозирования текущего блока посредством оборудования кодирования изображений не ограничен вышеприведенным примером, и могут использоваться различные способы.[174] The image encoding equipment may perform inter prediction for the current block (S1110). The image encoding equipment can extract the inter-prediction mode and motion information of the current block, and generate prediction samples of the current block. Here, the procedures for determining the inter-prediction mode, extracting motion information, and generating prediction samples may be simultaneously executed, or any of them may be performed before other procedures. For example, as shown in FIG. 12, the
[175] Например, когда режим пропуска или режим объединения применяется к текущему блоку, оборудование кодирования изображений может извлекать возможные варианты объединения из соседних блоков относительно текущего блока и конструировать список возможных вариантов объединения с использованием извлеченных возможных вариантов объединения. Помимо этого, оборудование кодирования изображений может извлекать опорный блок, разность которого относительно текущего блока равна или меньше предварительно определенного критерия или минимума, из опорных блоков, указываемых посредством возможных вариантов объединения, включенных в список возможных вариантов объединения. В этом случае, возможный вариант объединения, ассоциированный с извлеченным опорным блоком, может выбираться, и информация индекса объединения, указывающая выбранный возможный вариант объединения, может формироваться и передаваться в служебных сигналах в оборудование декодирования изображений. Информация движения текущего блока может извлекаться с использованием информации движения выбранного возможного варианта объединения.[175] For example, when a skip mode or merge mode is applied to the current block, the image coding equipment may extract merge candidates from neighboring blocks relative to the current block and construct a merge candidate list using the extracted merge candidates. In addition, the image encoding equipment can extract a reference block whose difference relative to the current block is equal to or less than a predetermined criterion or minimum from the reference blocks indicated by the join candidates included in the join candidate list. In this case, the combining candidate associated with the extracted reference block may be selected, and combining index information indicating the selected combining candidate may be generated and signaled to the image decoding equipment. The motion information of the current block may be extracted using the motion information of the selected join candidate.
[176] В качестве другого примера, когда MVP-режим применяется к текущему блоку, оборудование кодирования изображений может извлекать возможные варианты предикторов векторов движения (MVP) из соседних блоков относительно текущего блока и конструировать список возможных MVP-вариантов с использованием извлеченных возможных MVP-вариантов. Помимо этого, оборудование кодирования изображений может использовать вектор движения возможного MVP-варианта, выбранного из числа возможных MVP-вариантов, включенных в список возможных MVP-вариантов, в качестве MVP текущего блока. В этом случае, например, вектор движения, указывающий опорный блок, извлекаемый посредством вышеописанной оценки движения, может использоваться в качестве вектора движения текущего блока, и возможный MVP-вариант с вектором движения, имеющим наименьшую разность относительно вектора движения текущего блока из возможных MVP-вариантов, может представлять собой выбранный возможный MVP-вариант. Разность векторов движения (MVD), которая представляет собой разность, полученную посредством вычитания MVP из вектора движения текущего блока, может извлекаться. В этом случае, информация индекса, указывающая выбранный возможный MVP-вариант и информацию относительно MVD, может передаваться в служебных сигналах в оборудование декодирования изображений. Помимо этого, при применении MVP-режима, значение индекса опорного кадра может конструироваться в качестве информации индекса опорного кадра и отдельно передаваться в служебных сигналах в оборудование декодирования изображений.[176] As another example, when the MVP mode is applied to the current block, the image encoding equipment may extract motion vector predictor (MVP) candidates from adjacent blocks relative to the current block and construct a list of MVP candidates using the extracted MVP candidates. . In addition, the image encoding equipment may use the motion vector of an MVP candidate selected from among the MVP candidates included in the MVP candidate list as the MVP of the current block. In this case, for example, a motion vector indicating a reference block derived by the above-described motion estimation may be used as the motion vector of the current block, and the MVP candidate with the motion vector having the smallest difference with respect to the motion vector of the current block among the candidate MVP candidates , may represent the selected MVP candidate. A motion vector difference (MVD), which is a difference obtained by subtracting the MVP from the motion vector of the current block, can be extracted. In this case, index information indicating the selected MVP candidate and information regarding the MVD may be signaled to the picture decoding equipment. In addition, when applying the MVP mode, the index value of the key frame may be constructed as the index information of the key frame and separately signaled to the image decoding equipment.
[177] Оборудование кодирования изображений может извлекать остаточные выборки на основе прогнозных выборок (S1120). Оборудование кодирования изображений может извлекать остаточные выборки через сравнение между исходными выборками текущего блока и прогнозных выборок. Например, остаточная выборка может извлекаться посредством вычитания соответствующей прогнозной выборки из исходной выборки.[177] The image encoding equipment may derive residual samples based on the predictive samples (S1120). The image encoding equipment can extract residual samples through a comparison between the original samples of the current block and the predictive samples. For example, the residual sample may be derived by subtracting the corresponding predictive sample from the original sample.
[178] Оборудование кодирования изображений может кодировать информацию изображений, включающую в себя информацию прогнозирования и остаточную информацию (S1130). Оборудование 100 кодирования изображений может выводить кодированную информацию изображений в форме потока битов. Информация прогнозирования может включать в себя информацию режима прогнозирования (например, флаг пропуска, флаг объединения или индекс режима и т.д.) и информацию движения в качестве информации, связанной с процедурой прогнозирования. Из информации режима прогнозирования, флаг пропуска указывает то, применяется или нет режим пропуска к текущему блоку, и флаг объединения указывает то, применяется или нет режим объединения к текущему блоку. Альтернативно, информация режима прогнозирования может указывать один из множества режимов прогнозирования, к примеру, индекс режима. Когда флаг пропуска и флаг объединения равны 0, может определяться то, что MVP-режим применяется к текущему блоку. Информация относительно информации движения может включать в себя информацию выбора возможных вариантов (например, индекс объединения, MVP-флаг или MVP-индекс), которая представляет собой информацию для извлечения вектора движения. Из информации выбора возможных вариантов, индекс объединения может передаваться в служебных сигналах, когда режим объединения применяется к текущему блоку, и может представлять собой информацию для выбора одного из возможных вариантов объединения, включенных в список возможных вариантов объединения. Из информации выбора возможных вариантов, MVP-флаг или MVP-индекс может передаваться в служебных сигналах, когда MVP-режим применяется к текущему блоку, и может представлять собой информацию для выбора одного из возможных MVP-вариантов в списке возможных MVP-вариантов. Помимо этого, информация относительно информации движения может включать в себя информацию относительно вышеописанной MVD и/или информацию индекса опорного кадра. Помимо этого, информация относительно информации движения может включать в себя информацию, указывающую то, следует применять L0-прогнозирование, L1-прогнозирование или бипрогнозирование. Остаточная информация представляет собой информацию относительно остаточных выборок. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования для остаточных выборок.[178] The image encoding equipment may encode image information including prediction information and residual information (S1130). The
[179] Выходной поток битов может сохраняться на (цифровом) носителе хранения данных и передаваться в оборудование декодирования изображений либо может передаваться в оборудование декодирования изображений через сеть.[179] The output bit stream may be stored in a (digital) storage medium and transmitted to the image decoding equipment, or may be transmitted to the image decoding equipment via a network.
[180] Как описано выше, оборудование кодирования изображений может формировать восстановленный кадр (кадр, включающий в себя восстановленные выборки и восстановленный блок) на основе опорных выборок и остаточных выборок. Это служит для извлечения, посредством оборудования кодирования изображений, результата прогнозирования, идентичного прогнозированию, выполняемому посредством оборудования декодирования изображений, за счет этого повышая эффективность кодирования. Соответственно, оборудование кодирования изображений может сохранять восстановленный кадр (или восстановленные выборки и восстановленный блок) в запоминающем устройстве и использовать его в качестве опорного кадра для взаимного прогнозирования. Как описано выше, процедура внутриконтурной фильтрации дополнительно может применяться к восстановленному кадру.[180] As described above, the image encoding equipment can generate a reconstructed frame (a frame including reconstructed samples and a reconstructed block) based on the reference samples and the residual samples. This serves to extract, by the image encoding equipment, a prediction result identical to that performed by the image decoding equipment, thereby improving the encoding efficiency. Accordingly, the image encoding equipment can store the reconstructed frame (or the reconstructed samples and the reconstructed block) in a memory and use it as a reference frame for inter prediction. As described above, the in-loop filtering procedure may additionally be applied to the reconstructed frame.
[181] Фиг. 13 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе взаимного прогнозирования.[181] FIG. 13 is a flowchart illustrating a video/image decoding method based on inter-prediction.
[182] Фиг. 14 является видом, иллюстрирующим конфигурацию модуля 260 взаимного прогнозирования согласно настоящему раскрытию сущности.[182] FIG. 14 is a view illustrating the configuration of the
[183] Оборудование декодирования изображений может выполнять операцию, соответствующую операции, выполняемой посредством оборудования кодирования изображений. Оборудование декодирования изображений может выполнять прогнозирование для текущего блока на основе принимаемой информации прогнозирования и извлекать прогнозные выборки.[183] The image decoding equipment can perform an operation corresponding to the operation performed by the image encoding equipment. The image decoding equipment may perform prediction for the current block based on the received prediction information and extract prediction samples.
[184] Способ декодирования по фиг. 13 может осуществляться посредством оборудования декодирования изображений по фиг. 3. Этапы S1310-S1330 могут выполняться посредством модуля прогнозирования и информации прогнозирования этапа S1310, и остаточная информация этапа S1340 может получаться из потока битов посредством энтропийного декодера 210. Остаточный процессор оборудования декодирования изображений может извлекать остаточные выборки для текущего блока на основе остаточной информации (S1340). В частности, деквантователь 220 остаточного процессора может выполнять деквантование на основе деквантованных коэффициентов преобразования, извлекаемых на основе остаточной информации, чтобы извлекать коэффициенты преобразования, и обратный преобразователь 230 остаточного процессора может выполнять обратное преобразование для коэффициентов преобразования, чтобы извлекать остаточные выборки для текущего блока. Этап S1350 может выполняться посредством сумматора 235 или модуля восстановления.[184] The decoding method of FIG. 13 may be performed by the image decoding equipment of FIG. 3. Steps S1310 to S1330 may be performed by the prediction unit and prediction information of step S1310, and the residual information of step S1340 may be obtained from the bitstream by the
[185] В частности, оборудование декодирования изображений может определять режим прогнозирования текущего блока на основе принимаемой информации прогнозирования (S1310). Оборудование декодирования изображений может определять то, какой режим взаимного прогнозирования применяется к текущему блоку, на основе информации режима прогнозирования в информации прогнозирования.[185] In particular, the image decoding equipment may determine the prediction mode of the current block based on the received prediction information (S1310). The image decoding equipment can determine which inter prediction mode is applied to the current block based on the prediction mode information in the prediction information.
[186] Например, может определяться то применяется или нет режим пропуска к текущему блоку, на основе флага пропуска. Помимо этого, может определяться то, применяется режим объединения или MVP-режим к текущему блоку, на основе флага объединения. Альтернативно, один из различных возможных вариантов режимов взаимного прогнозирования может выбираться на основе индекса режима. Возможные варианты режимов взаимного прогнозирования могут включать в себя режим пропуска, режим объединения и/или MVP-режим либо могут включать в себя различные режимы взаимного прогнозирования, которые описываются ниже.[186] For example, it may be determined whether or not the skip mode is applied to the current block based on the skip flag. In addition, it may be determined whether the merge mode or MVP mode is applied to the current block based on the merge flag. Alternatively, one of the various possible inter-prediction modes may be selected based on the mode index. Possible options for inter prediction modes may include skip mode, merge mode, and/or MVP mode, or may include various inter prediction modes, which are described below.
[187] Оборудование декодирования изображений может извлекать информацию движения текущего блока на основе определенного режима взаимного прогнозирования (S1320). Например, когда режим пропуска или режим объединения применяется к текущему блоку, оборудование декодирования изображений может конструировать список возможных вариантов объединения, который описывается ниже, и выбирать один из возможных вариантов объединения, включенных в список возможных вариантов объединения. Выбор может выполняться на основе вышеописанной информации выбора возможных вариантов (индекса объединения). Информация движения текущего блока может извлекаться с использованием информации движения выбранного возможного варианта объединения. Например, информация движения выбранного возможного варианта объединения может использоваться как информация движения текущего блока.[187] The image decoding equipment may extract motion information of the current block based on the determined inter-prediction mode (S1320). For example, when the skip mode or merge mode is applied to the current block, the image decoding equipment may construct a merge candidate list, which is described below, and select one of the merge candidates included in the merge candidate list. The selection may be performed based on the above-described candidate selection information (combination index). The motion information of the current block may be extracted using the motion information of the selected join candidate. For example, the motion information of the selected join candidate may be used as the motion information of the current block.
[188] В качестве другого примера, когда MVP-режим применяется к текущему блоку, оборудование декодирования изображений может конструировать список возможных MVP-вариантов и использовать вектор движения возможного MVP-варианта, выбранного из числа возможных MVP-вариантов, включенных в список возможных MVP-вариантов, в качестве MVP текущего блока. Выбор может выполняться на основе вышеописанной информации выбора возможных вариантов (MVP-флага или MVP-индекса). В этом случае, MVD текущего блока может извлекаться на основе информации относительно MVD, и вектор движения текущего блока может извлекаться на основе MVP и MVD текущего блока. Помимо этого, индекс опорного кадра текущего блока может извлекаться на основе информации индекса опорного кадра. Кадр, указываемый посредством индекса опорного кадра в списке опорных кадров текущего блока, может извлекаться в качестве опорного кадра, на который ссылаются для взаимного прогнозирования текущего блока.[188] As another example, when the MVP mode is applied to the current block, the image decoding equipment may construct a list of MVP candidates and use the motion vector of the MVP candidate selected from among the MVP candidates included in the MVP candidate list. options, as the MVP of the current block. The selection may be performed based on the candidate selection information (MVP flag or MVP index) described above. In this case, the MVD of the current block may be derived based on the information regarding the MVD, and the motion vector of the current block may be derived based on the MVP and MVD of the current block. In addition, the index of the key frame of the current block may be derived based on the information of the index of the key frame. The frame indicated by the index of the reference frame in the reference frame list of the current block may be retrieved as the reference frame referenced for inter-prediction of the current block.
[189] Оборудование декодирования изображений может формировать прогнозные выборки текущего блока на основе информации движения текущего блока (S1330). В этом случае, опорный кадр может извлекаться на основе индекса опорного кадра текущего блока, и прогнозные выборки текущего блока могут извлекаться с использованием выборок опорного блока, указываемого посредством вектора движения текущего блока для опорного кадра. В некоторых случаях, процедура фильтрации прогнозных выборок дополнительно может выполняться для всех или некоторых прогнозных выборок текущего блока.[189] The image decoding equipment may generate prediction samples of the current block based on motion information of the current block (S1330). In this case, the reference frame may be derived based on the reference frame index of the current block, and the prediction samples of the current block may be derived using the reference block samples indicated by the current block motion vector for the reference frame. In some cases, the prediction sample filtering procedure may additionally be performed on all or some of the prediction samples of the current block.
[190] Например, как показано на фиг. 14, модуль 260 взаимного прогнозирования оборудования декодирования изображений может включать в себя модуль 261 определения режима прогнозирования, модуль 262 извлечения информации движения и модуль 263 извлечения прогнозных выборок. В модуле 260 взаимного прогнозирования оборудования декодирования изображений, модуль 261 определения режима прогнозирования может определять режим прогнозирования текущего блока на основе принимаемой информации режима прогнозирования, модуль 262 извлечения информации движения может извлекать информацию движения (вектор движения и/или индекс опорного кадра и т.д.) текущего блока на основе принимаемой информации движения, и модуль 263 извлечения прогнозных выборок может извлекать прогнозные выборки текущего блока.[190] For example, as shown in FIG. 14, the
[191] Оборудование декодирования изображений может формировать остаточные выборки текущего блока на основе принимаемой остаточной информации (S1340). Оборудование декодирования изображений может формировать восстановленные выборки текущего блока на основе прогнозных выборок и остаточных выборок и формировать восстановленный кадр на основе этого (S1350). После этого, процедура внутриконтурной фильтрации может применяться к восстановленному кадру, как описано выше.[191] The image decoding equipment may generate residual samples of the current block based on the received residual information (S1340). The image decoding equipment may generate reconstructed samples of the current block based on the predictive samples and the residual samples, and generate a reconstructed frame based on this (S1350). Thereafter, the in-loop filtering procedure may be applied to the reconstructed frame as described above.
[192] Как описано выше, процедура взаимного прогнозирования может включать в себя этап определения режима взаимного прогнозирования, этап извлечения информации движения согласно определенному режиму прогнозирования и этап выполнения прогнозирования (формирования прогнозных выборок) на основе извлеченной информации движения. Процедура взаимного прогнозирования может выполняться посредством оборудования кодирования изображений и оборудования декодирования изображений, как описано выше.[192] As described above, the inter-prediction procedure may include a step of determining an inter-prediction mode, a step of extracting motion information according to the determined prediction mode, and a step of performing prediction (predictive sampling) based on the extracted motion information. The inter-prediction procedure may be performed by the image encoding equipment and the image decoding equipment as described above.
[193] Общее представление прогнозирования на основе внутриблочного копирования (IBC) [193] Intra-Block Copy (IBC) Prediction General Representation
[194] В дальнейшем в этом документе описывается IBC-прогнозирование согласно настоящему раскрытию сущности.[194] Hereinafter, this document describes IBC prediction according to the present disclosure.
[195] IBC-прогнозирование может выполняться посредством модуля прогнозирования оборудования кодирования/декодирования изображений. IBC-прогнозирование может называться просто "IBC". IBC может использоваться для кодирования изображений контента/движущихся изображений, такого как кодирование экранного контента (SCC). IBC-прогнозирование может, по существу, выполняться в текущем кадре, но может выполняться аналогично взаимному прогнозированию в том, что опорный блок извлекается внутри текущего кадра. Таким образом, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования, описанных в настоящем раскрытии сущности. Например, IBC может использовать, по меньшей мере, один из вышеописанных способов извлечения информации движения (векторов движения). По меньшей мере, одна из технологий взаимного прогнозирования может частично модифицироваться и использоваться с учетом IBC-прогнозирования. IBC может ссылаться на текущий кадр и в силу этого может называться "ссылкой на текущие кадры (CPR)".[195] The IBC prediction may be performed by the prediction module of the image encoding/decoding equipment. IBC forecasting may simply be referred to as "IBC". The IBC may be used for content/moving image coding such as screen content coding (SCC). IBC prediction may essentially be performed on the current frame, but may be performed similar to inter prediction in that the reference block is retrieved within the current frame. Thus, the IBC may use at least one of the inter-prediction technologies described in the present disclosure. For example, the IBC may use at least one of the methods described above for extracting motion information (motion vectors). At least one of the inter-prediction technologies may be partially modified and used with IBC prediction in mind. The IBC may refer to the current frame and may therefore be referred to as "Current Frame Reference (CPR)".
[196] Для IBC, оборудование 100 кодирования изображений может выполнять поблочное сопоставление (BM) и извлекать оптимальный блочный вектор (или вектор движения) для текущего блока (например, CU). Извлеченный блочный вектор (или вектор движения) может передаваться в служебных сигналах в оборудование декодирования изображений через поток битов с использованием способа, аналогичного передаче в служебных сигналах информации движения (вектора движения) при вышеописанном взаимном прогнозировании. Оборудование декодирования изображений может извлекать опорный блок для текущего блока в текущем кадре через передаваемый в служебных сигналах блочный вектор (вектор движения) и извлекать прогнозный сигнал (прогнозированный блок или прогнозные выборки) для текущего блока через него. Здесь, блочный вектор (или вектор движения) может указывать смещение от текущего блока до опорного блока, расположенного в уже восстановленной зоне в текущем кадре. Соответственно, блочный вектор (или вектор движения) может называться "вектором смещения". В дальнейшем в этом документе, в IBC, вектор движения может соответствовать блочному вектору или вектору смещения. Помимо этого, в IBC, разность векторов движения (MVD) также может называться "разностью блочных векторов (BVD)". Вектор движения текущего блока может включать в себя вектор движения для компонента сигнала яркости (вектор движения сигналов яркости) или вектор движения для компонента сигнала цветности (вектор движения сигналов цветности). Например, вектор движения сигналов яркости для IBC-кодированной CU может представлять собой целочисленную единицу выборок (т.е. целочисленную точность). Вектор движения сигналов цветности может отсекаться в целочисленных единицах выборок. Как описано выше, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования и, например, когда IBC применяется как AMVR, 1-пелная и 4-пелная точность векторов движения может переключаться.[196] For IBC, the
[197] В IBC, опорный блок извлекается из уже восстановленной зоны в текущем кадре. В этом случае, чтобы уменьшать потребление запоминающего устройства и сложность оборудования декодирования изображений, можно ссылаться только на предварительно заданную зону из уже восстановленных зон в текущем кадре. Предварительно заданная зона может включать в себя текущую CTU, в которую включается текущий блок. Посредством ограничения восстановленной зоны с возможностью ссылки предварительно заданной зоной, IBC-режим может реализовываться в аппаратных средствах с использованием локального внутримикросхемного запоминающего устройства.[197] In IBC, the reference block is retrieved from the already reconstructed area in the current frame. In this case, in order to reduce storage consumption and the complexity of image decoding equipment, it is possible to refer only to a predetermined area from already reconstructed areas in the current frame. The predetermined area may include the current CTU into which the current block is included. By limiting the recovered area to a referenceable predetermined area, the IBC mode can be implemented in hardware using local on-chip memory.
[198] Оборудование кодирования изображений для выполнения IBC может выполнять поиск в предварительно заданной зоне, чтобы определять опорный блок с наименьшими RD-затратами и извлекать вектор движения (блочный вектор) на основе позиций опорного блока и текущего блока.[198] The image coding equipment for performing IBC may search in a predetermined area to determine the lowest RD cost reference block and extract a motion vector (block vector) based on positions of the reference block and the current block.
[199] То, следует или нет применять IBC к текущему блоку, может передаваться в служебных сигналах в качестве информации IBC-производительности на уровне CU. Информация относительно способа передачи служебных сигналов (IBC MVP-режима или режима IBC-пропуска/объединения) вектора движения текущего блока может передаваться в служебных сигналах. Информация IBC-производительности может использоваться для того, чтобы определять режим прогнозирования текущего блока. Соответственно, информация IBC-производительности может включаться в информацию относительно режима прогнозирования текущего блока.[199] Whether or not IBC should be applied to the current block may be signaled as IBC performance information at the CU level. Information regarding the signaling method (IBC MVP mode or IBC skip/combine mode) of the motion vector of the current block may be signaled. The IBC performance information may be used to determine the prediction mode of the current block. Accordingly, IBC performance information may be included in information regarding the prediction mode of the current block.
[200] В случае режима IBC-пропуска/объединения, индекс возможного варианта объединения может передаваться в служебных сигналах, чтобы указывать блочный вектор, который должен использоваться для прогнозирования текущего блока сигналов яркости, из блочных векторов, включенных в список возможных вариантов объединения. В этом случае, список возможных вариантов объединения может включать в себя IBC-кодированные соседние блоки. Список возможных вариантов объединения может быть выполнен с возможностью включать в себя пространственные возможные варианты объединения и не включать в себя временные возможные варианты объединения. Помимо этого, список возможных вариантов объединения дополнительно может включать в себя возможные варианты предикторов векторов движения на основе предыстории (HMVP) и/или попарные возможные варианты.[200] In the case of the IBC skip/merge mode, a merge candidate index may be signaled to indicate a block vector to be used to predict the current luma block from the block vectors included in the merge candidate list. In this case, the list of possible combinations may include IBC-coded neighboring blocks. The merge candidate list may be configured to include spatial merge options and not include temporal merge options. In addition, the pooling candidate list may further include history-based motion vector predictor (HMVP) candidates and/or pairwise candidates.
[201] В случае IBC MVP-режима, разностное значение блочных векторов может кодироваться с использованием способа, идентичного способу для разностного значения векторов движения вышеописанного взаимного режима. Способ прогнозирования блочных векторов может конструировать и использовать список возможных MVP-вариантов, включающий в себя два возможных варианта, в качестве предикторов аналогично MVP-режиму для взаимного режима. Один из двух возможных вариантов может извлекаться из левого соседнего блока, и другой возможный вариант может извлекаться из верхнего соседнего блока. В этом случае, только тогда, когда левый или верхний соседний блок IBC-кодируется, возможные варианты могут извлекаться из соответствующего соседнего блока. Если левый или верхний соседний блок не доступен, например, не IBC-кодируется, блочный вектор по умолчанию может включаться в список возможных MVP-вариантов в качестве предиктора. Помимо этого, информация (например, флаг), указывающая один из двух предикторов блочных векторов, передается в служебных сигналах и используется в качестве информации выбора возможных вариантов аналогично MVP-режиму для взаимного режима. Список возможных MVP-вариантов может включать в себя возможный HMVP-вариант и/или нулевой вектор движения в качестве блочного вектора по умолчанию.[201] In the case of the IBC MVP mode, the difference value of the block vectors may be encoded using a method identical to the method for the difference value of the motion vectors of the above-described mutual mode. The block vector prediction method may construct and use an MVP candidate list including two candidates as predictors, similar to the MVP mode for the mutual mode. One of the two possibilities may be drawn from the left neighbor box, and the other candidate may be drawn from the top neighbor box. In this case, only when the left or top neighbor block is IBC encoded, the possibilities can be extracted from the corresponding neighbor block. If a left or top neighbor block is not available, eg not IBC encoded, a default block vector may be included in the MVP candidate list as a predictor. In addition, information (eg, a flag) indicating one of the two block vector predictors is signaled and used as candidate selection information, similar to the MVP mode for the mutual mode. The list of MVP candidates may include an HMVP candidate and/or a null motion vector as the default block vector.
[202] Возможный HMVP-вариант может называться "возможным MVP-вариантом на основе предыстории", и возможный MVP-вариант, используемый перед кодированием/декодированием текущего блока, возможный вариант объединения или возможный вариант блочного вектора могут сохраняться в HMVP-списке в качестве возможных HMVP-вариантов. После этого, когда список возможных вариантов объединения текущего блока или список возможных MVP-вариантов не включает в себя максимальное число возможных вариантов, возможные варианты, сохраненные в HMVP-списке, могут добавляться в список возможных вариантов объединения или список возможных MVP-вариантов текущего блока в качестве возможных HMVP-вариантов.[202] The HMVP candidate may be referred to as the "history-based MVP candidate", and the MVP candidate used before encoding/decoding the current block, the combining candidate, or the block vector candidate may be stored in the HMVP list as candidates. HMVP options. Thereafter, when the current block's merge candidate list or MVP candidate list does not include the maximum number of possibilities, the possibilities stored in the HMVP list may be added to the current block's merge candidate list or MVP candidate list in as possible HMVP options.
[203] Попарный возможный вариант может означать возможный вариант, извлекаемый посредством выбора двух возможных вариантов согласно предварительно определенному порядку из числа возможных вариантов, уже включенных в список возможных вариантов объединения текущего блока, и усреднения выбранных двух возможных вариантов.[203] Pairwise opportunity may mean an opportunity derived by selecting two possibilities according to a predetermined order from among the possibilities already included in the merge candidate list of the current block, and averaging the selected two possibilities.
[204] Вариант осуществления [204] Embodiment
[205] Далее подробно описываются примерные варианты осуществления настоящего раскрытия сущности со ссылкой на прилагаемые чертежи.[205] The following describes exemplary embodiments of the present disclosure in detail with reference to the accompanying drawings.
[206] В процессе квантования/деквантования для текущего блока, может конструироваться матрица квантования. Оборудование кодирования/декодирования изображений может квантовать/деквантовать коэффициенты преобразования текущего блока с использованием матрицы квантования. Матрица квантования может называться "списком масштабирования". Помимо этого, один или более коэффициентов матрицы квантования, включенных в матрицу квантования, могут называться "данными списка масштабирования".[206] In the quantization/dequantization process for the current block, a quantization matrix may be constructed. The image encoding/decoding equipment may quantize/dequantize the transform coefficients of the current block using a quantization matrix. The quantization matrix may be referred to as a "scaling list". In addition, one or more quantization matrix coefficients included in the quantization matrix may be referred to as "scaling list data".
[207] В примере, матрица квантования может иметь идентичный размер с текущим блоком. Например, когда размер текущего блока составляет 4×4, размер матрицы квантования для текущего блока также может составлять 4×4. Размер матрицы квантования может указываться с использованием идентификатора предварительно определенного размера (например, sizeId). Фиг. 15 является видом, иллюстрирующим пример sizeId для каждого размера матрицы квантования.[207] In an example, the quantization matrix may have the same size as the current block. For example, when the size of the current block is 4×4, the size of the quantization matrix for the current block may also be 4×4. The size of the quantization matrix may be indicated using a predefined size identifier (eg, sizeId). Fig. 15 is a view illustrating an example of sizeId for each size of the quantization matrix.
[208] Ссылаясь на фиг. 15, значение sizeId для матрицы квантования 1×1 может быть равным 0, и значение sizeId для матрицы квантования 2×2 может быть равным 1. Помимо этого, значение sizeId для матрицы квантования 4×4 может быть равным 2, и значение sizeId для матрицы квантования 8×8 может быть равным 3. Помимо этого, значение sizeId для матрицы квантования 16×16 может быть равным 4, и значение sizeId для матрицы квантования 32×32 может быть равным 5. Помимо этого, значение sizeId для матрицы квантования 64×64 может быть равным 6. В примере, размер матрицы квантования может изменяться (увеличиваться или уменьшаться) в процессе кодирования.[208] Referring to FIG. 15, the sizeId value for the 1×1 quantization matrix may be 0, and the sizeId value for the 2×2 quantization matrix may be 1. In addition, the sizeId value for the 4×4 quantization matrix may be 2, and the sizeId value for the 4×4 quantization matrix 8x8 quantization matrix may be 3. In addition, the sizeId value for a 16x16 quantization matrix may be 4, and the sizeId value for a 32x32 quantization matrix may be 5. In addition, the sizeId value for a 64x64 quantization matrix may be equal to 6. In the example, the size of the quantization matrix may change (increase or decrease) during the encoding process.
[209] В примере, матрица квантования может конструироваться по-разному согласно размеру (например, sizeId) матрицы квантования, режиму прогнозирования (например, режиму внутреннего прогнозирования, режиму взаимного прогнозирования и т.д.) текущего блока и цветовому компоненту (например, Y, Cb, Cr). Фиг. 16 является видом, иллюстрирующим пример матрицы квантования для текущего блока, сконструированного на основе примера по фиг. 15.[209] In an example, the quantization matrix may be constructed differently according to the size (eg, sizeId) of the quantization matrix, the prediction mode (eg, intra prediction mode, inter prediction mode, etc.) of the current block, and the color component (eg, Y , Cb, Cr). Fig. 16 is a view illustrating an example of a quantization matrix for the current block constructed based on the example of FIG. 15.
[210] Ссылаясь на фиг. 16, оборудование кодирования изображений может конструировать первую-шестую матрицы квантования matrixId=0 - matrixId=5, имеющие различные размеры sizeId, на основе режима прогнозирования CuPredMode текущего блока и цветового компонента cIdx.[210] Referring to FIG. 16, the image encoding equipment can construct the first to sixth quantization matrices matrixId=0 to matrixId=5 having different sizes sizeId based on the prediction mode CuPredMode of the current block and the color component cIdx.
[211] В частности, для компонента сигналов яркости (cIdx=0) (например, Y) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, первая матрица квантования (matrixId=0) может конструироваться. В этом случае, размер первой матрицы квантования может быть равным или большим 2×2 и равным или меньшим 64×64 (т.е. 2≤sizeId≤6). Помимо этого, для первого компонента сигналов цветности (cIdx=1) (например, Cb) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, вторая матрица квантования (matrixId=1) может конструироваться. В этом случае, размер второй матрицы квантования может быть равным или большим 1×1 и равным или меньшим 64×64 (т.е. 1≤sizeId≤6). Помимо этого, для второго компонента сигналов цветности (cIdx=2) (например, Cr) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, третья матрица квантования (matrixId=2) может конструироваться. В этом случае, размер третьей матрицы квантования равен или более 1×1 и равен или меньше 64×64 (т.е. 1≤sizeId≤6). Помимо этого, для компонента сигналов яркости (cIdx=0) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или режима взаимного блочного копирования (IBC), четвертая матрица квантования (matrixId=3) может конструироваться. В этом случае, размер четвертой матрицы квантования может быть равным или большим 2×2 и равным или меньшим 64×64 (т.е. 2≤sizeId≤6). Помимо этого, для первого компонента сигналов цветности (cIdx=1) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или IBC-режима, пятая матрица квантования (matrixId=4) может конструироваться. В этом случае, размер пятой матрицы квантования может быть равным или большим 1×1 и равным или меньшим 64×64 (т.е. 1≤sizeId≤6). Помимо этого, для второго компонента сигналов цветности (cIdx=2) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или IBC-режима, шестая матрица квантования (matrixId=5) может конструироваться. В этом случае, размер пятой матрицы квантования может быть равным или большим 1×1 и равным или меньшим 64×64 (т.е. 1≤sizeId≤6).[211] In particular, for the luma component (cIdx=0) (eg, Y) in the current block encoded using the intra prediction mode, a first quantization matrix (matrixId=0) may be constructed. In this case, the size of the first quantization matrix may be equal to or greater than 2×2 and equal to or less than 64×64 (ie, 2≤sizeId≤6). In addition, for the first chroma component (cIdx=1) (eg, Cb) in the current block encoded using the intra prediction mode, a second quantization matrix (matrixId=1) may be constructed. In this case, the size of the second quantization matrix may be equal to or greater than 1×1 and equal to or less than 64×64 (ie, 1≤sizeId≤6). In addition, for the second chroma component (cIdx=2) (eg, Cr) in the current block encoded using the intra prediction mode, a third quantization matrix (matrixId=2) may be constructed. In this case, the size of the third quantization matrix is equal to or greater than 1×1 and equal to or less than 64×64 (ie, 1≤sizeId≤6). In addition, for the luma component (cIdx=0) in the current block encoded using the inter prediction mode or the inter block copy (IBC) mode, a fourth quantization matrix (matrixId=3) may be constructed. In this case, the size of the fourth quantization matrix may be equal to or greater than 2×2 and equal to or less than 64×64 (ie, 2≤sizeId≤6). In addition, for the first chroma component (cIdx=1) in the current block encoded using the inter-prediction mode or the IBC mode, a fifth quantization matrix (matrixId=4) may be constructed. In this case, the size of the fifth quantization matrix may be equal to or greater than 1×1 and equal to or less than 64×64 (ie, 1≤sizeId≤6). In addition, for the second chrominance component (cIdx=2) in the current block encoded using the inter-prediction mode or the IBC mode, a sixth quantization matrix (matrixId=5) may be constructed. In this case, the size of the fifth quantization matrix may be equal to or greater than 1×1 and equal to or less than 64×64 (ie, 1≤sizeId≤6).
[212] В примерах по фиг. 15 и 16, матрица квантования для текущего блока может указываться посредством идентификатора размера (например, sizeId) и идентификатора матрицы квантования (например, matrixId).[212] In the examples of FIG. 15 and 16, the quantization matrix for the current block may be indicated by a size identifier (eg, sizeId) and a quantization matrix identifier (eg, matrixId).
[213] Между тем, оборудование кодирования изображений может кодировать матрицу квантования для текущего блока и передавать ее в служебных сигналах в оборудование декодирования изображений. Например, оборудование кодирования изображений может кодировать коэффициент матрицы квантования, включенный в матрицу квантования, или кодировать идентификатор опорной матрицы квантования, соответствующей матрице квантования, и передавать в его служебных сигналах в оборудование декодирования изображений. В дальнейшем в этом документе подробно описывается способ кодирования матрицы квантования.[213] Meanwhile, the image encoding equipment may encode the quantization matrix for the current block and signal it to the image decoding equipment. For example, the image encoding equipment may encode a coefficient of a quantization matrix included in the quantization matrix, or encode an ID of a reference quantization matrix corresponding to the quantization matrix, and signal it to the image decoding equipment. Hereinafter, a method for encoding a quantization matrix is described in detail in this document.
[214] Фиг. 17 является блок-схемой последовательности операций, иллюстрирующей способ кодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности. Способ кодирования по фиг. 17 может осуществляться посредством оборудования кодирования изображений по фиг. 2. В частности, этапы S1710-S1740 могут выполняться посредством модуля 130 квантования и/или модуля 140 деквантования.[214] FIG. 17 is a flowchart illustrating a quantization matrix encoding method according to an embodiment of the present disclosure. The encoding method according to FIG. 17 may be performed by the image encoding equipment of FIG. 2. In particular, steps S1710-S1740 may be performed by
[215] Ссылаясь на фиг. 17, оборудование кодирования изображений может кодировать информацию режима квантования способа конструирования матрицы квантования для текущего блока (S1710).[215] Referring to FIG. 17, the image encoding equipment may encode the quantization mode information of the quantization matrix construction method for the current block (S1710).
[216] В примере, информация режима квантования может включать в себя информацию первого режима, указывающую то, конструируется или нет матрица квантования на основе опорной матрицы квантования. Информация первого режима может кодироваться с использованием предварительно определенного флага. Например, информация первого режима может кодироваться с использованием scaling_list_pred_mode_flag. В этом случае, первое значение (например, 0) scaling_list_pred_mode_flag может указывать то, что матрица квантования для текущего блока является идентичной опорной матрице квантования. Здесь, опорная матрица квантования может указываться с использованием идентификационной информации опорной матрицы квантования (например, scaling_list_pred_matrix_id_delta). Напротив, второе значение (например, 1) scaling_list_pred_mode_flag может указывать то, что матрица квантования для текущего блока не является идентичной с опорной матрицей квантования. Когда scaling_list_pred_mode_flag имеет второе значение, значение матрицы квантования для текущего блока может явно передаваться в служебных сигналах.[216] In an example, the quantization mode information may include first mode information indicating whether or not a quantization matrix is constructed based on the reference quantization matrix. The first mode information may be encoded using a predetermined flag. For example, the first mode information may be encoded using scaling_list_pred_mode_flag. In this case, the first value (eg, 0) of scaling_list_pred_mode_flag may indicate that the quantization matrix for the current block is identical to the reference quantization matrix. Here, the quantization reference matrix may be indicated using identification information of the quantization reference matrix (eg, scaling_list_pred_matrix_id_delta). In contrast, the second value (eg, 1) of scaling_list_pred_mode_flag may indicate that the quantization matrix for the current block is not identical to the reference quantization matrix. When scaling_list_pred_mode_flag has a second value, the value of the quantization matrix for the current block may be explicitly signaled.
[217] В другом примере, информация режима квантования может включать в себя информацию первого режима и информацию второго режима.[217] In another example, the quantization mode information may include first mode information and second mode information.
[218] Информация первого режима может указывать то, что матрица квантования выполнена с возможностью быть идентичной опорной матрице квантования. Информация первого режима может кодироваться с использованием предварительно определенного флага первого режима. Например, информация первого режима может кодироваться с использованием scaling_list_copy_mode_flag. В этом случае, когда первое значение (например, 0) scaling_list_copy_mode_flag может указывать то, что матрица квантования для текущего блока является идентичной опорной матрице квантования. Напротив, второе значение (например, 1) scaling_list_copy_mode_flag может указывать то, что матрица квантования для текущего блока не является идентичной с опорной матрицей квантования. Когда scaling_list_copy_mode_flag не передается в служебных сигналах, scaling_list_copy_mode_flag может логически выводиться как имеющий первое значение.[218] The first mode information may indicate that the quantization matrix is configured to be identical to the reference quantization matrix. The first mode information may be encoded using a predetermined first mode flag. For example, the first mode information may be encoded using scaling_list_copy_mode_flag. In this case, when the first value (eg, 0) scaling_list_copy_mode_flag may indicate that the quantization matrix for the current block is identical to the reference quantization matrix. In contrast, the second value (eg, 1) of scaling_list_copy_mode_flag may indicate that the quantization matrix for the current block is not identical to the reference quantization matrix. When scaling_list_copy_mode_flag is not signaled, scaling_list_copy_mode_flag may be inferred as having the first value.
[219] Информация второго режима может указывать то, извлекается или нет матрица квантования из опорной матрицы квантования. Информация второго режима может кодироваться с использованием предварительно определенного флага второго режима только тогда, когда матрица квантования для текущего блока не является идентичной с опорной матрицей квантования. Например, информация второго режима может кодироваться с использованием scaling_list_pred_mode_flag, только когда scaling_list_copy_mode_flag, указывающий информацию первого режима, имеет второе значение (например, 1). В этом случае, первое значение (например, 0) scaling_list_pred_mode_flag может указывать то, что матрица квантования для текущего блока извлекается из опорной матрицы квантования. Напротив, второе значение (например, 1) scaling_list_pred_mode_flag может указывать то, что матрица квантования для текущего блока не извлекается из опорной матрицы квантования. Когда scaling_list_pred_mode_flag имеет второе значение, значение матрицы квантования для текущего блока может явно передаваться в служебных сигналах.[219] The second mode information may indicate whether or not the quantization matrix is extracted from the reference quantization matrix. The second mode information may be encoded using a predetermined second mode flag only when the quantization matrix for the current block is not identical to the reference quantization matrix. For example, the second mode information may be encoded using scaling_list_pred_mode_flag only when the scaling_list_copy_mode_flag indicating the first mode information has a second value (eg, 1). In this case, the first value (eg, 0) of scaling_list_pred_mode_flag may indicate that the quantization matrix for the current block is derived from the reference quantization matrix. In contrast, the second value (eg, 1) of scaling_list_pred_mode_flag may indicate that the quantization matrix for the current block is not derived from the reference quantization matrix. When scaling_list_pred_mode_flag has a second value, the value of the quantization matrix for the current block may be explicitly signaled.
[220] Оборудование кодирования изображений может определять то, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, кодированной на этапе S1710 (S1720). Например, оборудование кодирования изображений может определять то, конструируется или нет матрица квантования для текущего блока таким образом, что она является идентичной опорной матрице квантования, на основе информации первого режима. Альтернативно, оборудование кодирования изображений может определять то, извлекается или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации второго режима.[220] The image encoding equipment may determine whether or not a quantization matrix for the current block is constructed from the reference quantization matrix based on the quantization mode information encoded in step S1710 (S1720). For example, the image encoding equipment may determine whether or not a quantization matrix for the current block is constructed such that it is identical to the reference quantization matrix based on the first mode information. Alternatively, the image encoding equipment may determine whether or not a quantization matrix for the current block is extracted from the reference quantization matrix based on the second mode information.
[221] Когда матрица квантования для текущего блока конструируется из опорной матрицы квантования ("Да" на S1720), оборудование кодирования изображений может кодировать идентификационную информацию опорной матрицы квантования для указания опорной матрицы квантования (S1730). Идентификационная информация опорной матрицы квантования может кодироваться с использованием предварительно определенного синтаксического элемента, например, scaling_list_pred_matrix_id_delta. Когда scaling_list_pred_matrix_id_delta имеет первое значение (например, 0), матрица квантования для текущего блока может извлекаться из предварительно определенной матрицы по умолчанию. Все один или более коэффициентов матрицы квантования, включенных в матрицу по умолчанию, могут иметь идентичное значение. В примере, значения коэффициентов матрицы квантования, включенных в матрицу по умолчанию, могут быть равными 16. Напротив, когда scaling_list_pred_matrix_id_delta имеет значение (например, 1, 2, 3 и т.д.), отличное от первого значения, матрица квантования для текущего блока может извлекаться из опорной матрицы квантования, указываемой на основе scaling_list_pred_matrix_id_delta. Например, опорная матрица квантования может указываться на основе scaling_list_pred_matrix_id_delta, как показано в нижеприведенном уравнении 1.[221] When the quantization matrix for the current block is constructed from the reference quantization matrix ("Yes" in S1720), the image encoding equipment may encode the identification information of the reference quantization matrix to indicate the reference quantization matrix (S1730). The reference quantization matrix identification information may be encoded using a predefined syntax element, such as scaling_list_pred_matrix_id_delta. When scaling_list_pred_matrix_id_delta has a first value (eg, 0), the quantization matrix for the current block may be derived from a predefined default matrix. All one or more quantization matrix coefficients included in the default matrix may have the same value. In the example, the values of the quantization matrix coefficients included in the default matrix may be 16. In contrast, when scaling_list_pred_matrix_id_delta has a value (eg, 1, 2, 3, etc.) other than the first value, the quantization matrix for the current block may be derived from a reference quantization matrix specified based on scaling_list_pred_matrix_id_delta. For example, a quantization reference matrix may be specified based on scaling_list_pred_matrix_id_delta as shown in
[222] уравнение 1[222]
refMatrixId=matrixID-scaling_list_pred_matrix_id_delta[sizeId][matrixId] * (sizeId==6?3:1)refMatrixId=matrixID-scaling_list_pred_matrix_id_delta[sizeId][matrixId] * (sizeId==6?3:1)
[223] В уравнении 1, refMatrixId может обозначать идентификатор опорной матрицы квантования, и matrixID может обозначать идентификатор матрицы квантования для текущего блока, как описано выше со ссылкой на фиг. 16. Помимо этого, sizeId может обозначать размер матрицы квантования для текущего блока, как показано выше со ссылкой на фиг. 15 и 16.[223] In
[224] На основе идентификатора refMatrixId, полученного посредством уравнения 1, матрица ScalingList квантования для текущего блока может извлекаться так, как показано в уравнении 2.[224] Based on the refMatrixId obtained by
[225] уравнение 2[225]
ScalingList [SizeId][matrixId][i]=ScalingList [SizeId][refMatrixId][i] с i=0...Min(63, (1<<(sizeId<<1))-1)ScalingList [SizeId][matrixId][i]=ScalingList [SizeId][refMatrixId][i] with i=0...Min(63, (1<<(sizeId<<1))-1)
[226] В уравнении 2, i обозначает каждый элемент матрицы ScalingList квантования для текущего блока, и i может иметь наименьшее значение в 63 и (1<<(sizeId<<1))-1 в качестве максимального значения.[226] In
[227] Когда матрица квантования для текущего блока не конструируется из опорной матрицы квантования ("Нет" на S1720), значение матрицы квантования для текущего блока может кодироваться (S1740).[227] When the quantization matrix for the current block is not constructed from the reference quantization matrix ("No" in S1720), the value of the quantization matrix for the current block may be encoded (S1740).
[228] Значение матрицы квантования для текущего блока может кодироваться с использованием предварительно определенных синтаксических элементов. Например, значение матрицы квантования для текущего блока может кодироваться с использованием scaling_list_dc_coef_minus8, указывающего коэффициент масштабирования матрицы квантования для текущего блока, и scaling_list_delta_coef, указывающего разность между (i-1)-ым коэффициентом матрицы квантования и i-ым коэффициентом матрицы квантования в матрице квантования.[228] The value of the quantization matrix for the current block may be encoded using predefined syntax elements. For example, the quantization matrix value for the current block may be encoded using scaling_list_dc_coef_minus8 indicating the quantization matrix scaling factor for the current block and scaling_list_delta_coef indicating the difference between the (i-1)th quantization matrix coefficient and the i-th quantization matrix coefficient in the quantization matrix.
[229] Помимо этого, значение матрицы квантования для текущего блока может кодироваться согласно предварительно определенному способу сканирования. Например, один или более коэффициентов матрицы квантования в матрице квантования для текущего блока могут последовательно кодироваться согласно диагональному порядку сканирования.[229] In addition, the value of the quantization matrix for the current block may be encoded according to a predetermined scanning method. For example, one or more quantization matrix coefficients in the quantization matrix for the current block may be sequentially encoded according to the diagonal scan order.
[230] Пример синтаксиса для осуществления способа кодирования матрицы квантования, описанной выше со ссылкой на фиг. 17, показывается на фиг. 18.[230] An example syntax for implementing the quantization matrix encoding method described above with reference to FIG. 17 is shown in FIG. 18.
[231] Ссылаясь на фиг. 18, на основе фиг. 16, матрицы квантования (например, matrixId=0 - matrixId=5), имеющие размер в 2×2 или более, могут кодироваться с использованием синтаксиса scaling_list_data (1810). Помимо этого, все матрицы квантования за исключением матрицы квантования (например, sizeId=1 andand matrixId%3=0), имеющей размер в 2×2 для компонента сигналов яркости текущего блока, или матрицы квантования (например, sizeId=6 andand matrixId%3!=0), имеющей размер в 64×64 для компонента сигналов цветности текущего блока, могут кодироваться синтаксис scaling_list_data (1820).[231] Referring to FIG. 18 based on FIG. 16, quantization matrices (eg, matrixId=0 - matrixId=5) having a size of 2×2 or more may be encoded using the scaling_list_data (1810) syntax. In addition, all quantization matrices except for a quantization matrix (eg, sizeId=1
[232] Как результат, матрица квантования (например, matrixId=1, 2, 4 или 5), имеющая размер в 2×2 для компонента сигналов цветности (например, matrixId%3!=0) текущего блока, может кодироваться посредством синтаксиса scaling_list_data. Тем не менее, как описано выше, в структуре в виде сдвоенного дерева, блок сигналов цветности 2×2 запрещается через ограничение по сегментации, процесс кодирования матрицы квантования 2×2 может быть необязательным. Помимо этого, когда матрица квантования, имеющая небольшой размер, к примеру, 2×2, кодируется, объем передаваемой служебной информации может увеличиваться.[232] As a result, a quantization matrix (eg, matrixId=1, 2, 4, or 5) having a size of 2×2 for the chrominance component (eg,
[233] Чтобы разрешать такую проблему, способ кодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности может осуществляться только относительно матрицы квантования, имеющей размер, больший 2×2. Таким образом, процесс кодирования матрицы квантования, имеющей значение sizeId в 0 или 1 (т.е. имеющий размер в 2×2 или меньше), описанный выше со ссылкой на фиг. 15 и 16, может пропускаться.[233] In order to solve such a problem, the quantization matrix encoding method according to an embodiment of the present disclosure can only be performed with respect to a quantization matrix having a size larger than 2×2. Thus, the encoding process of a quantization matrix having a sizeId value of 0 or 1 (ie, having a size of 2×2 or less) described above with reference to FIG. 15 and 16 may be omitted.
[234] Фиг. 19 является видом, иллюстрирующим пример матрицы квантования для текущего блока согласно варианту осуществления настоящего раскрытия сущности.[234] FIG. 19 is a view illustrating an example of a quantization matrix for a current block according to an embodiment of the present disclosure.
[235] Ссылаясь на фиг. 19, оборудование кодирования изображений может конструировать первую-шестую матрицы квантования (matrixId=0 - matrixId=5), имеющие различные размеры sizeId, на основе режима прогнозирования CuPredMode текущего блока и цветового компонента cIdx.[235] Referring to FIG. 19, the image encoding equipment can construct the first to sixth quantization matrices (matrixId=0 to matrixId=5) having different sizes sizeId based on the current block prediction mode CuPredMode and the color component cIdx.
[236] В частности, для компонента сигналов яркости (cIdx=0) (например, Y) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования CuPredMode=MODE_INTRA, первая матрица квантования (matrixId=0) может конструироваться. Помимо этого, для первого компонента сигналов цветности (cIdx=1) (например, Cb) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, вторая матрица квантования (matrixId=1) может конструироваться. Помимо этого, для второго компонента сигналов цветности (cIdx=2) (например, Cr) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, третья матрица квантования (matrixId=2) может конструироваться. Помимо этого, для компонента сигналов яркости (cIdx=0) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или режима взаимного блочного копирования (IBC) (CuPredMode=MODE_INTER или MODE_IBC), четвертая матрица квантования (matrixId=3) может конструироваться. Помимо этого, для первого блока сигналов цветности (cIdx=1) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или IBC-режима, пятая матрица квантования (matrixId=4) может конструироваться. Помимо этого, для второго компонента сигналов цветности (cIdx=2) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или IBC-режима, шестая матрица квантования (matrixId=5) может конструироваться.[236] In particular, for a luma component (cIdx=0) (eg, Y) in the current block encoded using the intra prediction mode CuPredMode=MODE_INTRA, a first quantization matrix (matrixId=0) may be constructed. In addition, for the first chroma component (cIdx=1) (eg, Cb) in the current block encoded using the intra prediction mode, a second quantization matrix (matrixId=1) may be constructed. In addition, for the second chroma component (cIdx=2) (eg, Cr) in the current block encoded using the intra prediction mode, a third quantization matrix (matrixId=2) may be constructed. In addition, for the luma component (cIdx=0) in the current block encoded using the inter prediction mode or the inter block copy (IBC) mode (CuPredMode=MODE_INTER or MODE_IBC), a fourth quantization matrix (matrixId=3) may be constructed. In addition, for the first chrominance block (cIdx=1) in the current block encoded using the inter-prediction mode or the IBC mode, a fifth quantization matrix (matrixId=4) may be constructed. In addition, for the second chrominance component (cIdx=2) in the current block encoded using the inter-prediction mode or the IBC mode, a sixth quantization matrix (matrixId=5) may be constructed.
[237] Размер каждой из первой-шестой матриц квантования (matrixId=0 - matrixId=5) может быть равным или большим 4×4 и равным или меньшим 64×64 (т.е. 1≤sizeId≤6). Таким образом, в отличие от примера по фиг. 16, матрица квантования, имеющая размер в 2×2 (например, sizeId=1), может не конструироваться.[237] The size of each of the first to sixth quantization matrices (matrixId=0 - matrixId=5) may be equal to or greater than 4×4 and equal to or less than 64×64 (i.e., 1≤sizeId≤6). Thus, in contrast to the example of FIG. 16, a quantization matrix having a size of 2x2 (eg, sizeId=1) may not be constructed.
[238] Пример синтаксиса для осуществления способа кодирования матрицы квантования, описанной со ссылкой на фиг. 19, показывается на фиг. 20.[238] An example syntax for implementing the quantization matrix encoding method described with reference to FIG. 19 is shown in FIG. 20.
[239] Ссылаясь на фиг. 20, на основе примера по фиг. 19, матрицы квантования (например, matrixId=0 - matrixId=5), имеющие размер в 4×4 или больше (например, sizeId≥2), могут кодироваться с использованием синтаксиса scaling_list_data (2010). Помимо этого, все матрицы квантования за исключением матрицы квантования (например, sizeId=6 andand matrixId%3!=0), имеющей размер в 64×64 для компонента сигналов цветности текущего блока, могут кодироваться с использованием синтаксиса scaling_list_data (2020).[239] Referring to FIG. 20 based on the example of FIG. 19, quantization matrices (eg, matrixId=0 - matrixId=5) having a size of 4x4 or larger (eg, sizeId≥2) may be encoded using the scaling_list_data (2010) syntax. In addition, all quantization matrices except for a quantization matrix (eg, sizeId=6
[240] Как результат, матрица квантования, имеющая размер в 2×2 (например, sizeId=1) для компонента сигналов яркости (например, matrixId%3=0) текущего блока, может не кодироваться посредством синтаксиса scaling_list_data. Помимо этого, матрица квантования, имеющая размер в 2×2 (например, sizeId=1) для компонента сигналов цветности (например, matrixId%3!=0) текущего блока, кодированного с использованием режима внутреннего прогнозирования (например, CuPredMode=MODE_INTRA) может не кодироваться посредством синтаксиса scaling_list_data.[240] As a result, a quantization matrix having a size of 2x2 (eg, sizeId=1) for the luma component (eg,
[241] Таким образом, в отличие от синтаксиса scaling_list_data, описанного выше со ссылкой на фиг. 18, согласно синтаксису scaling_list_data по фиг. 20, поскольку матрица квантования (например, matrixId=1, 2, 4 или 5), имеющая размер в 2×2 (например, sizeId=1), не кодируется, посредством пропуска необязательного процесса кодирования, можно подавлять увеличение объема передаваемой служебной информации и повышать эффективность кодирования.[241] Thus, unlike the scaling_list_data syntax described above with reference to FIG. 18 according to the scaling_list_data syntax of FIG. 20, since a quantization matrix (eg, matrixId=1, 2, 4, or 5) having a size of 2×2 (eg, sizeId=1) is not encoded, by skipping the optional encoding process, it is possible to suppress the increase in the amount of transmitted overhead and improve coding efficiency.
[242] В дальнейшем в этом документе подробно описывается способ декодирования матрицы квантования.[242] Hereinafter, a method for decoding a quantization matrix is described in detail.
[243] Фиг. 21 является блок-схемой последовательности операций, иллюстрирующей способ декодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности. Способ декодирования по фиг. 21 может осуществляться посредством оборудования декодирования изображений по фиг. 3. В частности, этапы S2110-S2160 могут выполняться посредством модуля 220 деквантования.[243] FIG. 21 is a flowchart illustrating a quantization matrix decoding method according to an embodiment of the present disclosure. The decoding method of FIG. 21 may be performed by the image decoding equipment of FIG. 3. Specifically, steps S2110-S2160 may be performed by
[244] Этапы S2110 и S2120 по фиг. 21 могут соответствовать этапам S1710 и S1720 по фиг. 17, соответственно. Помимо этого, этапы S2130 и S2140 могут соответствовать этапу S1730 по фиг. 17. Помимо этого, этапы S2150 и S2160 могут соответствовать этапу S1740 по фиг. 17. Соответственно, повторное описание по фиг. 17 опускается или упрощается.[244] Steps S2110 and S2120 of FIG. 21 may correspond to steps S1710 and S1720 of FIG. 17, respectively. In addition, steps S2130 and S2140 may correspond to step S1730 in FIG. 17. In addition, steps S2150 and S2160 may correspond to step S1740 of FIG. 17. Accordingly, the re-description of FIG. 17 is omitted or simplified.
[245] Ссылаясь на фиг. 21, оборудование декодирования изображений может декодировать, из потока битов, информацию режима квантования способа конструирования матрицы квантования для текущего блока (S2110).[245] Referring to FIG. 21, the image decoding equipment can decode, from the bitstream, the quantization mode information of the quantization matrix construction method for the current block (S2110).
[246] В примере, информация режима квантования может включать в себя информацию первого режима, указывающую то, конструируется или нет матрица квантования на основе опорной матрицы квантования. Информация первого режима может получаться посредством декодирования предварительно определенного флага (например, scaling_list_pred_mode_flag).[246] In an example, the quantization mode information may include first mode information indicating whether or not a quantization matrix is constructed based on the reference quantization matrix. The first mode information may be obtained by decoding a predetermined flag (eg, scaling_list_pred_mode_flag).
[247] В другом примере, информация режима квантования может включать в себя информацию первого режима и информацию второго режима. Информация первого режима может указывать то, является или нет матрица квантования для текущего блока идентичной опорной матрице квантования. Информация первого режима может получаться посредством декодирования предварительно определенного флага первого режима (например, scaling_list_copy_mode_flag). Информация второго режима может указывать то, извлекается или нет матрица квантования для текущего блока из опорной матрицы квантования. Информация второго режима может передаваться в служебных сигналах через поток битов только тогда, когда матрица квантования для текущего блока не конструируется таким образом, что она является идентичной опорной матрице квантования (например, scaling_list_copy_mode_flag=1). Информация второго режима может получаться посредством декодирования предварительно определенного флага второго режима (например, scaling_list_pred_mode_flag).[247] In another example, the quantization mode information may include first mode information and second mode information. The first mode information may indicate whether or not the quantization matrix for the current block is identical to the reference quantization matrix. The first mode information may be obtained by decoding a predetermined first mode flag (eg, scaling_list_copy_mode_flag). The second mode information may indicate whether or not the quantization matrix for the current block is extracted from the reference quantization matrix. The second mode information may be signaled via the bitstream only when the quantization matrix for the current block is not designed to be identical to the reference quantization matrix (eg, scaling_list_copy_mode_flag=1). The second mode information may be obtained by decoding a predetermined second mode flag (eg, scaling_list_pred_mode_flag).
[248] Оборудование декодирования изображений может определять то, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, полученной на этапе S2110 (S2120).[248] The image decoding equipment may determine whether or not a quantization matrix for the current block is constructed from the reference quantization matrix based on the quantization mode information obtained in step S2110 (S2120).
[249] В примере, когда scaling_list_pred_mode_flag, который представляет собой информацию первого режима, имеет первое значение (например, 0), матрица квантования для текущего блока может конструироваться таким образом, что она является идентичной опорной матрице квантования.[249] In an example where the scaling_list_pred_mode_flag, which is the first mode information, has a first value (eg, 0), the quantization matrix for the current block may be constructed such that it is identical to the reference quantization matrix.
[250] В другом примере, когда scaling_list_copy_mode_flag, который представляет собой информацию первого режима, имеет первое значение (например, 0), матрица квантования для текущего блока может конструироваться таким образом, что она является идентичной опорной матрице квантования. Альтернативно, когда scaling_list_copy_mode_flag, который представляет собой информацию первого режима, имеет второе значение (например, 1), и scaling_list_pred_mode_flag, который представляет собой информацию второго режима, имеет первое значение (например, 0), матрица квантования для текущего блока может извлекаться из опорной матрицы квантования.[250] In another example, when the scaling_list_copy_mode_flag, which is the first mode information, has a first value (eg, 0), the quantization matrix for the current block may be constructed such that it is identical to the quantization reference matrix. Alternatively, when scaling_list_copy_mode_flag, which is the first mode information, has a second value (eg, 1), and scaling_list_pred_mode_flag, which is the second mode information, has a first value (eg, 0), the quantization matrix for the current block may be extracted from the reference matrix quantization.
[251] Когда матрица квантования для текущего блока конструируется из опорной матрицы квантования ("Да" на S2120), оборудование декодирования изображений может декодировать, из потока битов, идентификационную информацию опорной матрицы квантования для указания опорной матрицы квантования (S2130). Идентификационная информация опорной матрицы квантования может передаваться в служебных сигналах с использованием предварительно определенного синтаксического элемента, например, scaling_list_pred_matrix_id_delta.[251] When the quantization matrix for the current block is constructed from the reference quantization matrix ("Yes" in S2120), the image decoding equipment may decode, from the bitstream, the identification information of the reference quantization matrix to indicate the reference quantization matrix (S2130). The reference quantization matrix identification information may be signaled using a predefined syntax element such as scaling_list_pred_matrix_id_delta.
[252] Оборудование декодирования изображений может конструировать матрицу квантования для текущего блока на основе идентификационной информации опорной матрицы квантования, полученной на этапе S2130 (S2140). Например, когда scaling_list_pred_matrix_id_delta имеет первое значение (например, 0), матрица квантования для текущего блока может извлекаться из предварительно определенной матрицы по умолчанию. Все один или более коэффициентов матрицы квантования, включенных в матрицу по умолчанию, могут иметь идентичное значение. В примере, значения коэффициентов матрицы квантования, включенных в матрицу по умолчанию, могут быть равными 16. Напротив, когда scaling_list_pred_matrix_id_delta имеет значение (например, 1, 2, 3 и т.д.), отличное от первого значения, матрица квантования для текущего блока может извлекаться из опорной матрицы квантования, указываемой на основе scaling_list_pred_matrix_id_delta, как описано выше со ссылкой на уравнение 1 и уравнение 2.[252] The image decoding equipment may construct a quantization matrix for the current block based on the identification information of the reference quantization matrix obtained in step S2130 (S2140). For example, when scaling_list_pred_matrix_id_delta has a first value (eg, 0), the quantization matrix for the current block may be derived from a predefined default matrix. All one or more quantization matrix coefficients included in the default matrix may have the same value. In the example, the values of the quantization matrix coefficients included in the default matrix may be 16. In contrast, when scaling_list_pred_matrix_id_delta has a value (eg, 1, 2, 3, etc.) other than the first value, the quantization matrix for the current block may be derived from a reference quantization matrix specified based on scaling_list_pred_matrix_id_delta as described above with reference to
[253] Когда матрица квантования для текущего блока не конструируется из опорной матрицы квантования ("Нет" на S2120), оборудование декодирования изображений может декодировать, из потока битов, значение матрицы квантования для текущего блока (S2150). Значение матрицы квантования для текущего блока может получаться посредством декодирования предварительно определенных синтаксических элементов согласно предварительно определенному способу сканирования (например, диагональному сканированию). Например, оборудование декодирования изображений может получать значение матрицы квантования посредством декодирования scaling_list_dc_coef_minus8, указывающего коэффициент масштабирования матрицы квантования для текущего блока, и scaling_list_delta_coef, указывающего разность между (i-1)-ым коэффициентом матрицы квантования и i-ым коэффициентом матрицы квантования в матрице квантования.[253] When the quantization matrix for the current block is not constructed from the reference quantization matrix ("No" in S2120), the image decoding equipment may decode, from the bit stream, the value of the quantization matrix for the current block (S2150). The quantization matrix value for the current block may be obtained by decoding predefined syntax elements according to a predefined scanning method (eg, diagonal scanning). For example, the image decoding equipment can obtain a quantization matrix value by decoding scaling_list_dc_coef_minus8 indicating the quantization matrix scaling factor for the current block and scaling_list_delta_coef indicating the difference between the (i-1)th quantization matrix coefficient and the i-th quantization matrix coefficient in the quantization matrix.
[254] Оборудование декодирования изображений может конструировать матрицу квантования для текущего блока на основе значения матрицы квантования, полученного на этапе S2150 (S2160).[254] The image decoding equipment may construct a quantization matrix for the current block based on the value of the quantization matrix obtained in step S2150 (S2160).
[255] Как описано выше, способ декодирования матрицы квантования по фиг. 21 может осуществляться с использованием синтаксиса (например, scaling_list_data), описанного выше со ссылкой на фиг. 19 и 20. В этом случае, матрица квантования, имеющая размер в 2×2 или меньше (например, sizeId≤1), может не декодироваться. Как результат, поскольку необязательный процесс декодирования для блока сигналов цветности 2×2, который не разрешается в структуре в виде сдвоенного дерева, может пропускаться, можно повышать эффективность декодирования.[255] As described above, the quantization matrix decoding method of FIG. 21 may be performed using the syntax (eg, scaling_list_data) described above with reference to FIG. 19 and 20. In this case, a quantization matrix having a size of 2x2 or less (eg, sizeId≤1) may not be decoded. As a result, since an optional decoding process for a 2×2 chrominance block that is not resolved in the dual tree structure can be skipped, decoding efficiency can be improved.
[256] Хотя примерные способы настоящего раскрытия сущности, описанного выше, представляются как последовательность операций для ясности описания, это не имеет намерение ограничивать порядок, в котором выполняются этапы, и этапы могут выполняться одновременно или в другом порядке при необходимости. Чтобы реализовывать способ согласно настоящему раскрытию сущности, описанные этапы дополнительно могут включать в себя другие этапы, могут включать в себя оставшиеся этапы, за исключением некоторых этапов, либо могут включать в себя другие дополнительные этапы, за исключением некоторых этапов.[256] Although the exemplary methods of the present disclosure described above are presented as a sequence of operations for clarity of description, it is not intended to limit the order in which the steps are performed, and the steps may be performed simultaneously or in a different order as needed. In order to implement the method according to the present disclosure, the described steps may further include other steps, may include the remaining steps except for some steps, or may include other additional steps except for some steps.
[257] В настоящем раскрытии сущности, оборудование кодирования изображений или оборудование декодирования изображений, которое выполняет предварительно определенную операцию (этап), может выполнять операцию (этап) подтверждения условия или ситуации выполнения соответствующей операции (этап). Например, если описывается то, что предварительно определенная операция выполняется, когда предварительно определенное условие удовлетворяется, оборудование кодирования изображений или оборудование декодирования изображений может выполнять предварительно определенную операцию после определения того, удовлетворяется или нет предварительно определенное условие.[257] In the present disclosure, an image encoding equipment or an image decoding equipment that performs a predetermined operation (step) may perform an operation (step) of confirming a condition or situation of performing a corresponding operation (step). For example, if it is described that the predetermined operation is performed when the predetermined condition is satisfied, the image encoding equipment or the image decoding equipment may perform the predetermined operation after determining whether or not the predetermined condition is satisfied.
[258] Различные варианты осуществления настоящего раскрытия сущности не представляют собой список всех возможных комбинаций и имеют намерение описывать характерные аспекты настоящего раскрытия сущности, и вопросы, описанные в различных вариантах осуществления, могут применяться независимо либо в комбинации двух или более из них.[258] The various embodiments of the present disclosure are not a list of all possible combinations and are intended to describe salient aspects of the present disclosure, and the matters described in the various embodiments may be applied independently or in combination of two or more of them.
[259] Различные варианты осуществления настоящего раскрытия сущности могут реализовываться в аппаратных средствах, микропрограммном обеспечении, программном обеспечении либо в комбинации вышеозначенного. В случае реализации настоящего раскрытия сущности посредством аппаратных средств, настоящее раскрытие сущности может реализовываться с помощью специализированных интегральных схем (ASIC), процессоров цифровых сигналов (DSP), устройств обработки цифровых сигналов (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), общих процессоров, контроллеров, микроконтроллеров, микропроцессоров и т.д.[259] Various embodiments of the present disclosure may be implemented in hardware, firmware, software, or a combination of the above. If the present disclosure is implemented in hardware, the present disclosure may be implemented using Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGA), general processors, controllers, microcontrollers, microprocessors, etc.
[260] Помимо этого, оборудование декодирования изображений и оборудование кодирования изображений, к которым применяются варианты осуществления настоящего раскрытия сущности, могут включаться в мультимедийное широковещательное приемо-передающее устройство, терминал мобильной связи, видеоустройство системы домашнего кинотеатра, видеоустройство системы цифрового кинотеатра, камеру наблюдения, устройство проведения видеочатов, устройство связи в реальном времени, к примеру, для видеосвязи, мобильное устройство потоковой передачи, носитель хранения данных, записывающую видеокамеру, устройство предоставления услуг на основе технологии "видео по запросу" (VoD), устройство на основе OTT-видео (видео поверх сетей), устройство предоставления услуг потоковой передачи по Интернету, трехмерное видеоустройство, видеоустройство системы видеотелефонии, медицинское видеоустройство и т.п. и могут использоваться для того, чтобы обрабатывать видеосигналы или сигналы данных. Например, OTT-видеоустройства могут включать в себя игровую консоль, Blu-Ray-проигрыватель, телевизор с доступом в Интернет, систему домашнего кинотеатра, смартфон, планшетный PC, цифровое записывающее видеоустройство (DVR) и т.п.[260] In addition, image decoding equipment and image encoding equipment to which embodiments of the present disclosure apply may be included in a multimedia broadcast transceiver, a mobile communication terminal, a home theater system video device, a digital cinema system video device, a surveillance camera, video chatting device, real-time communication device, for example, for video communication, mobile streaming device, storage media, video recording camera, video-on-demand (VoD) service delivery device, OTT video device ( video over networks), an Internet streaming service provider, a 3D video device, a video telephony system video device, a medical video device, and the like. and can be used to process video signals or data signals. For example, OTT video devices may include a game console, a Blu-ray player, an Internet access TV, a home theater system, a smartphone, a tablet PC, a digital video recorder (DVR), and the like.
[261] Фиг. 22 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего раскрытия сущности.[261] FIG. 22 is a view showing a content streaming system to which an embodiment of the present disclosure is applicable.
[262] Ссылаясь на фиг. 22, система потоковой передачи контента, к которой применяется вариант(ы) осуществления настоящего документа, может включать в себя, главным образом, сервер кодирования, потоковый сервер, веб-сервер, хранилище мультимедиа, пользовательское устройство и устройство ввода мультимедиа.[262] Referring to FIG. 22, the content streaming system to which the embodiment(s) of the present document is applied may mainly include an encoding server, a streaming server, a web server, a media storage, a user device, and a media input device.
[263] Сервер кодирования сжимает контент, вводимый из устройств ввода мультимедиа, таких как смартфон, камера, записывающая видеокамера и т.д., в цифровые данные для того, чтобы формировать поток битов, и передает поток битов на потоковый сервер. В качестве другого примера, когда устройства ввода мультимедиа, такие как смартфоны, камеры, записывающие видеокамеры и т.д., непосредственно формируют поток битов, сервер кодирования может опускаться.[263] The encoding server compresses content input from media input devices such as a smartphone, camera, camcorder, etc. into digital data to form a bit stream, and transmits the bit stream to the stream server. As another example, when media input devices such as smartphones, cameras, camcorder recorders, etc. directly generate a bitstream, the encoding server may be omitted.
[264] Поток битов может формироваться посредством способа кодирования изображений или оборудования кодирования изображений, к которому применяется вариант осуществления настоящего раскрытия сущности, и потоковый сервер может временно сохранять поток битов в процессе передачи или приема потока битов.[264] The bitstream may be generated by an image encoding method or image encoding equipment to which an embodiment of the present disclosure applies, and the streaming server may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
[265] Потоковый сервер передает мультимедийные данные в пользовательское устройство на основе запроса пользователя через веб-сервер, и веб-сервер служит в качестве среды для информирования пользователя в отношении услуги. Когда пользователь запрашивает требуемую услугу из веб-сервера, веб-сервер может доставлять ее на потоковый сервер, и потоковый сервер может передавать мультимедийные данные пользователю. В этом случае, система потоковой передачи контента может включать в себя отдельный сервер управления. В этом случае, сервер управления служит для того, чтобы управлять командой/ответом между устройствами в системе потоковой передачи контента.[265] The streaming server transmits media data to the user device based on the user's request through the web server, and the web server serves as a medium for informing the user about the service. When a user requests a desired service from a web server, the web server may deliver it to the streaming server, and the streaming server may transmit media data to the user. In this case, the content streaming system may include a separate control server. In this case, the control server serves to manage the command/response between devices in the content streaming system.
[266] Потоковый сервер может принимать контент из хранилища мультимедиа и/или сервера кодирования. Например, когда контент принимается из сервера кодирования, контент может приниматься в реальном времени. В этом случае, чтобы предоставлять плавную услугу потоковой передачи, потоковый сервер может сохранять поток битов в течение предварительно определенного времени.[266] The streaming server may receive content from a media store and/or an encoding server. For example, when content is received from an encoding server, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may keep the bitstream for a predetermined time.
[267] Примеры пользовательского устройства могут включать в себя мобильный телефон, смартфон, переносной компьютер, цифровой широковещательный терминал, персональное цифровое устройство (PDA), портативный мультимедийный проигрыватель (PMP), навигационное устройство, грифельный планшетный PC, планшетные PC, ультрабуки, носимые устройства (например, интеллектуальные часы, интеллектуальные очки, наголовные дисплеи), цифровые телевизоры, настольные компьютеры, систему цифровых информационных табло и т.п.[267] Examples of a user device may include a mobile phone, smartphone, laptop computer, digital broadcast terminal, personal digital assistant (PDA), portable media player (PMP), navigation device, stylus tablet PC, tablet PCs, ultrabooks, wearable devices (e.g., smart watches, smart glasses, head-mounted displays), digital TVs, desktop computers, digital signage system, etc.
[268] Каждый сервер в системе потоковой передачи контента может работать в качестве распределенного сервера, причем в этом случае данные, принимаемые из каждого сервера, могут распределяться.[268] Each server in the content streaming system may operate as a distributed server, in which case the data received from each server may be distributed.
[269] Объем раскрытия сущности включает в себя программное обеспечение или машиноисполняемые команды (например, операционную систему, приложение, микропрограммное обеспечение, программу и т.д.) для обеспечения возможности выполнения операций согласно способам различных вариантов осуществления в оборудовании или компьютере, энергонезависимый машиночитаемый носитель, имеющий такое программное обеспечение или команды, сохраненные и выполняемые в оборудовании или компьютере.[269] The scope of the disclosure includes software or computer-executable instructions (e.g., an operating system, application, firmware, program, etc.) for enabling operations according to the methods of various embodiments in equipment or a computer, a non-volatile computer-readable medium , which has such software or commands stored and executed in hardware or a computer.
Промышленная применимостьIndustrial Applicability
[270] Варианты осуществления настоящего раскрытия сущности могут использоваться для того, чтобы кодировать или декодировать изображение.[270] Embodiments of the present disclosure may be used to encode or decode an image.
Claims (37)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US62/904,550 | 2019-09-23 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2023110868A Division RU2809033C2 (en) | 2019-09-23 | 2020-09-23 | Method and equipment for image encoding/decoding using quantization matrix and method for bitstream transmission |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2795473C1 true RU2795473C1 (en) | 2023-05-03 |
Family
ID=
Non-Patent Citations (1)
| Title |
|---|
| US 2018048905 A1 - 2018.02.15. US 2015043637 A1 - 2015.02.12. PHILIPPE DE LAGRANGE, Non-CE7: Quantization matrices with single identifier and prediction from larger ones, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JVET-O0223, 15th Meeting: Gothenburg, 3-12 July 2019. US 2017041610 A1 - 2017.02.09. US 2016345016 A1 -2016.11.24. RU 2595624 С2 - 2016.206.27. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11601640B2 (en) | Image coding method using history-based motion information and apparatus for the same | |
| JP7141463B2 (en) | Video processing method based on inter-prediction mode and apparatus therefor | |
| JP7462094B2 (en) | Method and apparatus for eliminating duplicate signaling in a video/image coding system | |
| US11743469B2 (en) | Image encoding/decoding method and apparatus for selectively encoding size information of rectangular slice, and method for transmitting bitstream | |
| JP2023060014A (en) | Method and device for syntax signaling in video/image coding system | |
| JP2024045679A (en) | Image/video coding method and device | |
| JP2023158102A (en) | Method and device for processing video information for image/video coding | |
| CA3134688A1 (en) | Image coding method using candidates from intra-prediction types to perform intra-prediction | |
| EP3941049A1 (en) | Video encoding/decoding method and device using segmentation limitation for chroma block, and method for transmitting bitstream | |
| RU2795473C1 (en) | Method and equipment for image encoding/decoding using quantization matrix and method for bitstream transmission | |
| JP2022530286A (en) | Image coding / decoding methods, devices, and methods of transmitting bitstreams with adaptive size restrictions on chroma blocks. | |
| JP2022530287A (en) | Image coding / decoding methods, devices, and methods of transmitting bitstreams that limit the size of chroma blocks. | |
| RU2809033C2 (en) | Method and equipment for image encoding/decoding using quantization matrix and method for bitstream transmission | |
| JP2022538065A (en) | Image encoding/decoding method, apparatus, and method for transmitting bitstream that limits chroma block division conditions | |
| RU2815430C2 (en) | Method and equipment for image encoding/decoding to perform in-loop filtration based on sub-frame structure and method for transmitting bit stream | |
| RU2801265C1 (en) | Method and equipment for image encoding/decoding to perform in-loop filtration based on sub-frame structure and method for transmitting a bit stream | |
| RU2812196C2 (en) | Image coding/decoding method, equipment and method for transmitting bit stream using maximum size of colour signal block conversion | |
| AU2020416341B2 (en) | Image encoding/decoding method and apparatus for performing prediction on basis of reconfigured prediction mode type of leaf node, and bitstream transmission method | |
| RU2820148C2 (en) | Image encoding and decoding equipment and image data transmission equipment | |
| RU2808004C2 (en) | Method and device for internal prediction based on internal subsegments in image coding system | |
| RU2817300C2 (en) | Method and apparatus for encoding/decoding images for transmitting carrier chrominance signal components prediction information in service signals according to whether or not palette mode is applicable, and method for transmitting bitstream | |
| RU2804732C2 (en) | Method and device for image encoding/decoding for transmission of color signal component prediction in service signals according to whether palette mode is applicable or not, and method for bit stream transmission | |
| RU2785731C1 (en) | Method and equipment for encoding/decoding images and method for bitstream transmission | |
| RU2793777C1 (en) | Method and device for internal prediction based on internal subsegments in image coding system | |
| RU2789454C2 (en) | Video or image encoding based on in-block coding |