RU2812196C2 - Image coding/decoding method, equipment and method for transmitting bit stream using maximum size of colour signal block conversion - Google Patents

Abstract

FIELD: video coding; image coding.

SUBSTANCE: invention relates to setting the maximum size of the transform block used for the chrominance signal block. A method and equipment for image encoding/decoding are proposed, where the method includes obtaining the current block by splitting the image, determining the prediction mode of the current block, generating an intra-prediction block relative to the current block, based on the prediction mode of the current block, which is an intra-prediction mode, generating a residual block relative to the current block and reconstructing the current block based on the prediction block and the residual block relative to the current block.

EFFECT: increased efficiency of encoding/decoding.

13 cl, 31 dwg, 1 tbl

Description

Область техники, к которой относится изобретениеField of technology to which the invention relates

[1] Настоящее раскрытие сущности относится к способу и оборудованию кодирования/декодирования изображений, а более конкретно, к способу и оборудованию для кодирования/декодирования изображения посредством задания максимального размера блока преобразования, используемого для блока сигналов цветности, и к способу передачи потока битов, сформированного посредством способа/оборудования кодирования изображений настоящего раскрытия сущности.[1] The present disclosure relates to an image encoding/decoding method and equipment, and more specifically, to a method and equipment for encoding/decoding an image by setting the maximum size of a transform block used for a chrominance signal block, and to a method for transmitting a bit stream generated through the image encoding method/equipment of the present disclosure.

Уровень техникиState of the art

[2] В последнее время спрос на высококачественные изображения высокого разрешения, к примеру, изображения высокой четкости (HD) и изображения сверхвысокой четкости (UHD) растет в различных областях техники. По мере того, как разрешение и качество данных изображений повышается, объем передаваемой информации или битов относительно увеличивается по сравнению с существующими данными изображений. Увеличение объема передаваемой информации или битов приводит к увеличению затрат на передачу и затрат на хранение.[2] Recently, the demand for high-quality, high-definition images, such as high-definition (HD) images and ultra-high-definition (UHD) images, has been increasing in various fields of technology. As the resolution and quality of image data increases, the amount of transmitted information or bits increases relatively compared to existing image data. Increasing the amount of information or bits transmitted results in increased transmission costs and storage costs.

[3] Соответственно, имеется потребность в высокоэффективной технологии сжатия изображений для эффективной передачи, сохранения и воспроизведения информации относительно высококачественных изображений высокого разрешения.[3] Accordingly, there is a need for high-performance image compression technology for efficiently transmitting, storing and reproducing information regarding high-quality, high-resolution images.

Сущность изобретенияThe essence of the invention

Техническая задачаTechnical problem

[4] Цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.[4] The purpose of the present disclosure is to provide an image encoding/decoding method and equipment with improved encoding/decoding efficiency.

[5] Цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений, допускающие повышение эффективности кодирования/декодирования посредством задания максимального размера блока преобразования для блока сигналов цветности.[5] The purpose of the present disclosure is to provide an image encoding/decoding method and equipment capable of improving encoding/decoding efficiency by setting a maximum transform block size for a chrominance signal block.

[6] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.[6] Another object of the present disclosure is to provide a method for transmitting a bit stream generated by an image encoding method or equipment according to the present disclosure.

[7] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.[7] Another object of the present disclosure is to provide a recording medium storing a bitstream generated by an image encoding method or equipment according to the present disclosure.

[8] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему раскрытию сущности.[8] Another object of the present disclosure is to provide a recording medium storing a bitstream received, decoded and used to reconstruct an image by the image decoding equipment according to the present disclosure.

[9] Технические проблемы, разрешаемые посредством настоящего раскрытия сущности, не ограничены вышеуказанными техническими проблемами, и другие технические проблемы, которые не описываются в данном документе, должны становиться очевидными для специалистов в данной области техники из нижеприведенного описания.[9] The technical problems addressed by the present disclosure are not limited to the above technical problems, and other technical problems not described herein should become apparent to those skilled in the art from the following description.

Техническое решениеTechnical solution

[10] Способ декодирования изображений, осуществляемый посредством оборудования декодирования изображений согласно аспекту настоящего раскрытия сущности, может включать в себя получение текущего блока посредством разбиения изображения, определение режима прогнозирования текущего блока, формирование блока внутреннего прогнозирования относительно текущего блока, на основе режима прогнозирования текущего блока, представляющего собой режим внутреннего прогнозирования, формирование остаточного блока относительно текущего блока; и восстановление текущего блока на основе блока прогнозирования и остаточного блока относительно текущего блока. В этом случае, блок внутреннего прогнозирования и остаточный блок могут формироваться на основе размера блока преобразования текущего блока, и размер блока преобразования может определяться на основе цветового компонента текущего блока.[10] An image decoding method performed by the image decoding equipment according to an aspect of the present disclosure may include obtaining a current block by dividing an image, determining a prediction mode of the current block, generating an intra prediction block relative to the current block based on the prediction mode of the current block, representing the internal prediction mode, the formation of a residual block relative to the current block; and restoring the current block based on the prediction block and the residual block relative to the current block. In this case, the intra prediction block and the residual block may be generated based on the transform block size of the current block, and the transform block size may be determined based on the color component of the current block.

[11] Оборудование декодирования изображений согласно аспекту настоящего раскрытия сущности может включать в себя запоминающее устройство и, по меньшей мере, один процессор. По меньшей мере, один процессор может получать текущий блок посредством разбиения изображения, определять режим прогнозирования текущего блока; формировать блок внутреннего прогнозирования относительно текущего блока, на основе режима прогнозирования текущего блока, представляющего собой режим внутреннего прогнозирования, формировать остаточный блок относительно текущего блока и восстанавливать текущий блок на основе блока прогнозирования и остаточного блока относительно текущего блока. В этом случае, блок внутреннего прогнозирования и остаточный блок могут формироваться на основе размера блока преобразования текущего блока, и размер блока преобразования может определяться на основе цветового компонента текущего блока.[11] The image decoding equipment according to an aspect of the present disclosure may include a storage device and at least one processor. The at least one processor may obtain the current block by dividing the image, determine a prediction mode of the current block; generate an intra-prediction block with respect to the current block based on the prediction mode of the current block, which is an intra-prediction mode, generate a residual block with respect to the current block, and restore the current block based on the prediction block and the residual block with respect to the current block. In this case, the intra prediction block and the residual block may be generated based on the transform block size of the current block, and the transform block size may be determined based on the color component of the current block.

[12] Способ кодирования изображений, осуществляемый посредством оборудования кодирования изображений согласно аспекту настоящего раскрытия сущности, может включать в себя определение текущего блока посредством разбиения изображения, формирование блока внутреннего прогнозирования относительно текущего блока, формирование остаточного блока относительно текущего блока на основе блока внутреннего прогнозирования и кодирование информации режима внутреннего прогнозирования относительно текущего блока. В этом случае, внутренний остаточный блок и остаточный блок могут кодироваться на основе размера блока преобразования текущего блока, и размер блока преобразования может определяться на основе цветового компонента текущего блока.[12] An image encoding method carried out by the image encoding equipment according to an aspect of the present disclosure may include determining a current block by dividing an image, generating an intra prediction block with respect to the current block, generating a residual block with respect to the current block based on the intra prediction block, and encoding internal prediction mode information regarding the current block. In this case, the inner residual block and the residual block may be encoded based on the transform block size of the current block, and the transform block size may be determined based on the color component of the current block.

[13] Помимо этого, способ передачи согласно другому аспекту настоящего раскрытия сущности может передавать поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего раскрытия сущности.[13] In addition, the transmission method according to another aspect of the present disclosure may transmit a bit stream generated by the image encoding equipment or the image encoding method of the present disclosure.

[14] Помимо этого, машиночитаемый носитель записи согласно другому аспекту настоящего раскрытия сущности может сохранять поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего раскрытия сущности.[14] In addition, the computer-readable recording medium according to another aspect of the present disclosure can store a bit stream generated by the image encoding equipment or the image encoding method of the present disclosure.

[15] Признаки, кратко обобщенные выше относительно настоящего раскрытия сущности, представляют собой просто примерные аспекты нижеприведенного подробного описания настоящего раскрытия сущности и не ограничивают объем настоящего раскрытия сущности.[15] The features briefly summarized above with respect to the present disclosure are merely exemplary aspects of the following detailed description of the present disclosure and do not limit the scope of the present disclosure.

Преимущества изобретенияAdvantages of the invention

[16] Согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.[16] According to the present disclosure, it is possible to provide an image encoding/decoding method and equipment with improved encoding/decoding efficiency.

[17] Согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование кодирования/декодирования изображений, допускающие повышение эффективности кодирования/декодирования посредством задания максимального размера блока преобразования для блока сигналов цветности.[17] According to the present disclosure, it is possible to provide an image encoding/decoding method and equipment capable of improving encoding/decoding efficiency by setting a maximum transform block size for a chrominance signal block.

[18] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.[18] In addition, according to the present disclosure, it is possible to provide a method for transmitting a bitstream generated by an image encoding method or equipment according to the present disclosure.

[19] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.[19] In addition, according to the present disclosure, it is possible to provide a recording medium storing a bitstream generated by the image encoding method or equipment according to the present disclosure.

[20] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему раскрытию сущности.[20] In addition, according to the present disclosure, it is possible to provide a recording medium storing a bit stream received, decoded, and used to reconstruct an image by the image decoding equipment according to the present disclosure.

[21] Специалисты в данной области техники должны принимать во внимание, что преимущества, которые могут достигаться через настоящее раскрытие сущности, не ограничены тем, что конкретно описано выше, и другие преимущества настоящего раскрытия сущности должны более ясно пониматься из подробного описания.[21] Those skilled in the art will appreciate that the advantages that may be achieved through the present disclosure are not limited to those specifically described above, and other advantages of the present disclosure will be more clearly understood from the detailed description.

Краткое описание чертежейBrief description of drawings

[22] Фиг. 1 является видом, схематично показывающим систему кодирования видео, к которой является применимым вариант осуществления настоящего раскрытия сущности.[22] FIG. 1 is a view schematically showing a video encoding system to which an embodiment of the present disclosure is applicable.

[23] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.[23] FIG. 2 is a view schematically showing image encoding equipment to which an embodiment of the present disclosure is applicable.

[24] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.[24] FIG. 3 is a view schematically showing image decoding equipment to which an embodiment of the present disclosure is applicable.

[25] Фиг. 4 является видом, показывающим структуру сегментации изображения согласно варианту осуществления.[25] FIG. 4 is a view showing an image segmentation structure according to the embodiment.

[26] Фиг. 5 является видом, показывающим вариант осуществления типа сегментации блока согласно многотипной древовидной структуре.[26] FIG. 5 is a view showing an embodiment of a block segmentation type according to a multi-type tree structure.

[27] Фиг. 6 является видом, показывающим механизм передачи в служебных сигналах информации разбиения на блоки в дереве квадрантов с вложенной многотипной древовидной структурой согласно настоящему раскрытию сущности.[27] FIG. 6 is a view showing a signaling mechanism for blocking information in a quadtree with a nested multi-type tree structure according to the present disclosure.

[28] Фиг. 7 является видом, показывающим вариант осуществления, в котором CTU сегментируется на несколько CU.[28] FIG. 7 is a view showing an embodiment in which a CTU is segmented into multiple CUs.

[29] Фиг. 8 является видом, иллюстрирующим вариант осуществления избыточного шаблона разбиения.[29] FIG. 8 is a view illustrating an embodiment of a redundant split pattern.

[30] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе взаимного прогнозирования.[30] FIG. 9 is a flowchart illustrating a video/image encoding method based on inter prediction.

[31] Фиг. 10 является видом, иллюстрирующим конфигурацию модуля 180 взаимного прогнозирования согласно настоящему раскрытию сущности.[31] FIG. 10 is a view illustrating the configuration of the inter-prediction module 180 according to the present disclosure.

[32] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе взаимного прогнозирования.[32] FIG. 11 is a flowchart illustrating a video/image decoding method based on inter-prediction.

[33] Фиг. 12 является видом, иллюстрирующим конфигурацию модуля 260 взаимного прогнозирования согласно настоящему раскрытию сущности.[33] FIG. 12 is a view illustrating the configuration of the inter-prediction module 260 according to the present disclosure.

[34] Фиг. 13 является видом, иллюстрирующим соседние блоки, доступные в качестве пространственного возможного варианта объединения согласно варианту осуществления.[34] FIG. 13 is a view illustrating neighboring blocks available as a spatial merging option according to the embodiment.

[35] Фиг. 14 является видом, схематично иллюстрирующим способ конструирования списков возможных вариантов объединения согласно варианту осуществления.[35] FIG. 14 is a view schematically illustrating a method for constructing merge candidate lists according to an embodiment.

[36] Фиг. 15 является видом, схематично иллюстрирующим способ конструирования списков возможных вариантов предикторов векторов движения согласно варианту осуществления.[36] FIG. 15 is a view schematically illustrating a method for constructing motion vector predictor candidate lists according to an embodiment.

[37] Фиг. 16 является видом, иллюстрирующим синтаксическую структуру для передачи MVD из оборудования кодирования изображений в оборудование декодирования изображений согласно варианту осуществления.[37] FIG. 16 is a view illustrating a syntax structure for transmitting MVD from image encoding equipment to image decoding equipment according to the embodiment.

[38] Фиг. 17 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе IBC согласно варианту осуществления.[38] FIG. 17 is a flowchart illustrating an IBC-based video/image encoding method according to an embodiment.

[39] Фиг. 18 является видом, иллюстрирующим конфигурацию модуля прогнозирования для осуществления способа кодирования видео/изображений на основе IBC согласно варианту осуществления.[39] FIG. 18 is a view illustrating the configuration of a prediction module for implementing an IBC-based video/image encoding method according to an embodiment.

[40] Фиг. 19 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе IBC согласно варианту осуществления.[40] FIG. 19 is a flowchart illustrating an IBC-based video/image decoding method according to an embodiment.

[41] Фиг. 20 является видом, иллюстрирующим конфигурацию модуля прогнозирования для осуществления способа декодирования видео/изображений на основе IBC согласно варианту осуществления.[41] FIG. 20 is a view illustrating the configuration of a prediction module for implementing an IBC-based video/image decoding method according to an embodiment.

[42] Фиг. 21 является видом, иллюстрирующим синтаксис для передачи в служебных сигналах форматов сигналов цветности согласно варианту осуществления.[42] FIG. 21 is a view illustrating syntax for signaling chrominance signal formats according to an embodiment.

[43] Фиг. 22 является видом, иллюстрирующим таблицу классификации форматов сигналов цветности согласно варианту осуществления.[43] FIG. 22 is a view illustrating a chrominance signal format classification table according to an embodiment.

[44] Фиг. 23 является видом, иллюстрирующим пример ограничения разбиения CU для виртуальной конвейерной обработки.[44] FIG. 23 is a view illustrating an example of a CU partitioning limitation for virtual pipelining.

[45] Фиг. 24-26 являются видами, иллюстрирующими пример разбиения CU и TU согласно варианту осуществления.[45] FIG. 24 to 26 are views illustrating an example of partitioning CUs and TUs according to the embodiment.

[46] Фиг. 27 и 28 являются блок-схемами последовательности операций способа, иллюстрирующими IBC-прогнозирование и внутреннее прогнозирование, к которым применяется максимальный размер преобразования согласно варианту осуществления.[46] FIG. 27 and 28 are flowcharts illustrating IBC prediction and intra prediction to which the maximum transform size is applied according to the embodiment.

[47] Фиг. 29 является блок-схемой последовательности операций, иллюстрирующей способ кодирования изображения посредством оборудования кодирования согласно варианту осуществления.[47] FIG. 29 is a flowchart illustrating a method for encoding an image by the encoding equipment according to the embodiment.

[48] Фиг. 30 является блок-схемой последовательности операций, иллюстрирующей способ декодирования изображения посредством оборудования декодирования согласно варианту осуществления.[48] FIG. 30 is a flowchart illustrating a method for decoding an image by the decoding equipment according to the embodiment.

[49] Фиг. 31 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего раскрытия сущности.[49] FIG. 31 is a view showing a content streaming system to which an embodiment of the present disclosure is applicable.

Оптимальный режим осуществления изобретенияOptimal mode for carrying out the invention

[50] В дальнейшем в этом документе подробно описываются варианты осуществления настоящего раскрытия сущности со ссылкой на прилагаемые чертежи, так что они легко могут реализовываться специалистами в данной области техники. Тем не менее, настоящее раскрытие сущности может реализовываться во всевозможных формах и не ограничено вариантами осуществления, описанными в данном документе.[50] Embodiments of the present disclosure are described in detail hereinafter with reference to the accompanying drawings so that they can be easily implemented by those skilled in the art. However, the present disclosure may be implemented in a variety of forms and is not limited to the embodiments described herein.

[51] При описании настоящего раскрытия сущности, если определяется то, что подробное описание связанной известной функции или конструкции приводит к излишней неоднозначности объема настоящего раскрытия сущности, ее подробное описание опускается. На чертежах, части, не связанные с описанием настоящего раскрытия сущности, опускаются, и аналогичные ссылки с номерами присоединяются к аналогичным частям.[51] In describing the present disclosure, if it is determined that a detailed description of a related known function or construct would cause unnecessary ambiguity to the scope of the present disclosure, the detailed description thereof is omitted. In the drawings, parts not related to the description of the present disclosure are omitted, and like reference numbers are added to like parts.

[52] В настоящем раскрытии сущности, когда компонент "соединяется (connected)", "соединяется (coupled)" или "связывается (linked)" с другим компонентом, это может включать в себя не только непосредственную взаимосвязь на основе соединения, но также и косвенную взаимосвязь на основе соединения, в которой присутствует промежуточный компонент. Помимо этого, когда компонент "включает в себя" или "имеет" другие компоненты, это означает то, что другие компоненты могут включаться дополнительно, а не исключение других компонентов, если не указано иное.[52] In the present disclosure, when a component is “connected,” “coupled,” or “linked” to another component, this may include not only a direct connection-based relationship, but also an indirect connection-based relationship in which an intermediate component is present. In addition, when a component “includes” or “has” other components, it means that other components may be additionally included, not the exclusion of other components, unless otherwise noted.

[53] В настоящем раскрытии сущности, термины "первый", "второй" и т.д. могут использоваться только для целей различения одного компонента от других компонентов и не ограничивают порядок или важность компонентов, если не указано иное. Соответственно, в пределах объема настоящего раскрытия сущности, первый компонент в одном варианте осуществления может называться "вторым компонентом" в другом варианте осуществления, и аналогично, второй компонент в одном варианте осуществления может называться "первым компонентом" в другом варианте осуществления.[53] In the present disclosure, the terms “first”, “second”, etc. may be used only for the purpose of distinguishing one component from other components and does not limit the order or importance of the components unless otherwise noted. Accordingly, within the scope of the present disclosure, a first component in one embodiment may be referred to as a “second component” in another embodiment, and likewise, a second component in one embodiment may be referred to as a “first component” in another embodiment.

[54] В настоящем раскрытии сущности, компоненты, которые отличаются друг от друга, имеют намерение ясно описывать каждый признак и не означают то, что компоненты обязательно разделяются. Таким образом, множество компонентов могут интегрироваться и реализовываться в одном аппаратном или программном модуле, или один компонент может распределяться и реализовываться во множестве аппаратных или программных модулей. Следовательно, даже если не указано иное, такие варианты осуществления, в которых компоненты интегрируются, или компонент распределяется, также включаются в объем настоящего раскрытия сущности.[54] In the present disclosure, components that are different from each other are intended to clearly describe each feature and do not mean that the components are necessarily separate. Thus, multiple components may be integrated and implemented in a single hardware or software module, or a single component may be distributed and implemented in multiple hardware or software modules. Therefore, even if not stated otherwise, such embodiments in which components are integrated or a component is distributed are also included within the scope of the present disclosure.

[55] В настоящем раскрытии сущности, компоненты, описанные в различных вариантах осуществления, не обязательно означают существенные компоненты, и некоторые компоненты могут представлять собой необязательные компоненты. Соответственно, вариант осуществления, состоящий из поднабора компонентов, описанных в варианте осуществления, также включается в объем настоящего раскрытия сущности. Помимо этого, варианты осуществления, включающие в себя другие компоненты, в дополнение к компонентам, описанным в различных вариантах осуществления, включаются в объем настоящего раскрытия сущности.[55] In the present disclosure, the components described in the various embodiments do not necessarily mean essential components, and some components may be optional components. Accordingly, an embodiment consisting of a subset of the components described in the embodiment is also included within the scope of the present disclosure. In addition, embodiments including other components in addition to the components described in the various embodiments are included within the scope of the present disclosure.

[56] Настоящее раскрытие сущности относится к кодированию и декодированию изображения, и термины, используемые в настоящем раскрытии сущности, могут иметь общий смысл, широко используемый в области техники, которой принадлежит настоящее раскрытие сущности, если не задаются впервые в настоящем раскрытии сущности.[56] The present disclosure relates to image encoding and decoding, and the terms used in the present disclosure may have a general meaning commonly used in the art to which the present disclosure pertains, unless defined for the first time in the present disclosure.

[57] В настоящем раскрытии сущности, "кадр", в общем, означает единицу, представляющую одно изображение в конкретный период времени, и срез/плитка представляет собой единицу кодирования, составляющую часть кадра, и один кадр может состоять из одного или более срезов/плиток. Помимо этого, срез/плитка может включать в себя одну или более единиц дерева кодирования (CTU).[57] In the present disclosure, "frame" generally means a unit representing one image at a particular time period, and a slice/tile is an encoding unit constituting part of a frame, and one frame may consist of one or more slices/ tiles In addition, a slice/tile may include one or more coding tree units (CTUs).

[58] В настоящем раскрытии сущности, "пиксел" или "пел" может означать наименьшую единицу, составляющую один кадр (или изображение). Помимо этого, "выборка" может использоваться в качестве термина, соответствующего пикселу. Выборка, в общем, может представлять пиксел или значение пиксела и может представлять только пиксел/пиксельное значение компонента сигнала яркости либо только пиксел/пиксельное значение компонента сигнала цветности.[58] In the present disclosure, "pixel" or "pel" can mean the smallest unit constituting one frame (or image). In addition, "sample" can be used as a term corresponding to a pixel. A sample may generally represent a pixel or a pixel value, and may represent only a pixel/pixel value of a luma component or only a pixel/pixel value of a chrominance signal component.

[59] В настоящем раскрытии сущности, "единица" может представлять базовую единицу обработки изображений. Единица может включать в себя, по меньшей мере, одно из конкретной области кадра и информации, связанной с областью. Единица может использоваться взаимозаменяемо с такими терминами, как "массив выборок", "блок" или "зона" в некоторых случаях. В общем случае, блок MxN может включать в себя выборки (или массивы выборок) либо набор (или массив) коэффициентов преобразования из M столбцов и N строк.[59] In the present disclosure, a "unit" may represent a basic unit of image processing. The unit may include at least one of a specific frame area and information associated with the area. The unit may be used interchangeably with terms such as "sample array", "block" or "zone" in some cases. In general, an MxN block may include samples (or arrays of samples) or a set (or array) of transform coefficients of M columns and N rows.

[60] В настоящем раскрытии сущности, "текущий блок" может означать одно из "текущего блока кодирования", "текущей единицы кодирования", "целевого блока кодирования", "целевого блока декодирования" или "целевого блока обработки". Когда прогнозирование выполняется, "текущий блок" может означать "текущий блок прогнозирования" или "целевой блок прогнозирования". Когда преобразование (обратное преобразование)/квантование (деквантование) выполняется, "текущий блок" может означать "текущий блок преобразования" или "целевой блок преобразования". Когда фильтрация выполняется, "текущий блок" может означать "целевой блок фильтрации".[60] In the present disclosure, "current block" may mean one of "current encoding block", "current encoding unit", "target encoding block", "target decoding block" or "target processing block". When prediction is performed, "current block" may mean "current prediction block" or "target prediction block". When transform (inverse transform)/quantization (dequantization) is performed, "current block" can mean "current transform block" or "transform target block". When filtering is performed, "current block" can mean "target filtering block".

[61] Помимо этого, в настоящем раскрытии сущности, "текущий блок" может означать "блок сигналов яркости текущего блока", если не указан в явной форме в качестве блока сигналов цветности. "Блок сигналов цветности текущего блока" может выражаться посредством включения явного описания блока сигналов цветности, такого как "блок сигналов цветности" или "текущий блок сигналов цветности".[61] In addition, in the present disclosure, "current block" may mean "luminance block of current block" unless explicitly referred to as a chrominance block. The "current block chroma block" may be expressed by including an explicit description of the chroma block, such as "chroma block" or "current chroma block".

[62] В настоящем раскрытии сущности, термин "/" и "" должен интерпретироваться как указывающий "и/или". Например, выражение "A/B" и "A, B" может означать "A и/или B". Дополнительно, "A/B/C" и "A/B/C" может означать "по меньшей мере, одно из A, B и/или C".[62] In the present disclosure, the terms "/" and "" are to be interpreted to indicate "and/or". For example, the expression "A/B" and "A, B" can mean "A and/or B". Additionally, "A/B/C" and "A/B/C" may mean "at least one of A, B and/or C".

[63] В настоящем раскрытии сущности, термин "или" должен интерпретироваться как указывающий "и/или". Например, выражение "A или B" может содержать 1) только "A", 2) только "B" и/или 3) "как A, так и B". Другими словами, в настоящем раскрытии сущности, термин "или" должен интерпретироваться как указывающий "дополнительно или альтернативно".[63] In the present disclosure, the term “or” should be interpreted to indicate “and/or.” For example, the expression "A or B" may contain 1) only "A", 2) only "B", and/or 3) "both A and B". In other words, in the present disclosure, the term “or” is to be interpreted as indicating “in addition or alternatively.”

[64] Общее представление системы кодирования видео[64] Video Coding System Overview

[65] Фиг. 1 является видом, показывающим систему кодирования видео согласно настоящему раскрытию сущности.[65] FIG. 1 is a view showing a video encoding system according to the present disclosure.

[66] Система кодирования видео согласно варианту осуществления может включать в себя оборудование 10 кодирования и оборудование 20 декодирования. Оборудование 10 кодирования может доставлять кодированную информацию или данные видео и/или изображений в оборудование 20 декодирования в форме файла или потоковой передачи через цифровой носитель хранения данных или сеть.[66] The video encoding system according to an embodiment may include encoding equipment 10 and decoding equipment 20. Encoding equipment 10 may deliver encoded information or video and/or image data to decoding equipment 20 in the form of a file or streaming via a digital storage medium or network.

[67] Оборудование 10 кодирования согласно варианту осуществления может включать в себя формирователь 11 видеоисточников, модуль 12 кодирования и передатчик 13. Оборудование 20 декодирования согласно варианту осуществления может включать в себя приемник 21, модуль 22 декодирования и модуль 23 рендеринга. Модуль 12 кодирования может называться "модулем кодирования видео/изображений", и модуль 22 декодирования может называться "модулем декодирования видео/изображений". Передатчик 13 может включаться в модуль 12 кодирования. Приемник 21 может включаться в модуль 22 декодирования. Модуль 23 рендеринга может включать в себя дисплей, и дисплей может быть сконфигурирован как отдельное устройство или внешний компонент.[67] The encoding equipment 10 according to an embodiment may include a video source generator 11, an encoding unit 12, and a transmitter 13. The decoding equipment 20 according to an embodiment may include a receiver 21, a decoding unit 22, and a rendering unit 23. The encoding unit 12 may be referred to as a “video/image encoding unit,” and the decoding unit 22 may be referred to as a “video/image decoding unit.” The transmitter 13 may be included in the encoding module 12. The receiver 21 may be included in the decoding module 22. The rendering module 23 may include a display, and the display may be configured as a separate device or an external component.

[68] Формирователь 11 видеоисточников может получать видео/изображение через процесс захвата, синтезирования или формирования видео/изображения. Формирователь 11 видеоисточников может включать в себя устройство захвата видео/изображений и/или устройство формирования видео/изображений. Устройство захвата видео/изображений может включать в себя, например, одну или более камер, архивы видео/изображений, включающие в себя ранее захваченные видео/изображения, и т.п. Устройство формирования видео/изображений может включать в себя, например, компьютеры, планшетные компьютеры и смартфоны и может (электронно) формировать видео/изображения. Например, виртуальное видео/изображение может формироваться через компьютер и т.п. В этом случае, процесс захвата видео/изображений может заменяться посредством процесса формирования связанных данных.[68] The video source generator 11 may obtain video/image through a video/image capturing, synthesizing, or shaping process. The video source generator 11 may include a video/image capture device and/or a video/image generation device. The video/image capturing device may include, for example, one or more cameras, video/image archives including previously captured video/images, and the like. The video/image generating apparatus may include, for example, computers, tablet computers and smartphones and may (electronically) generate video/images. For example, a virtual video/image may be generated via a computer or the like. In this case, the video/image capturing process can be replaced by the associated data generation process.

[69] Модуль 12 кодирования может кодировать входное видео/изображение. Модуль 12 кодирования может выполнять последовательность процедур, таких как прогнозирование, преобразование и квантование, для эффективности сжатия и кодирования. Модуль 12 кодирования может выводить кодированные данные (кодированную информацию видео/изображений) в форме потока битов.[69] The encoding unit 12 can encode the input video/image. The encoding unit 12 may perform a series of procedures such as prediction, transform and quantization for compression and encoding efficiency. The encoding unit 12 can output encoded data (encoded video/image information) in the form of a bit stream.

[70] Передатчик 13 может передавать кодированную информацию или данные видео/изображений, выводимую в форме потока битов, в приемник 21 оборудования 20 декодирования через цифровой носитель хранения данных или сеть в форме файла или потоковой передачи. Цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик 13 может включать в себя элемент для формирования мультимедийного файла через предварительно определенный формат файлов и может включать в себя элемент для передачи через широковещательную сеть/сеть связи. Приемник 21 может извлекать/принимать поток битов из носителя хранения данных или сети и передавать поток битов в модуль 22 декодирования.[70] The transmitter 13 may transmit encoded information or video/image data output in the form of a bit stream to the receiver 21 of the decoding equipment 20 via a digital storage medium or a network in the form of a file or streaming. The digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-Ray, HDD, SSD, and the like. The transmitter 13 may include an element for generating a multimedia file through a predefined file format and may include an element for transmission through a broadcast/communications network. The receiver 21 may retrieve/receive a bit stream from the storage medium or network and transmit the bit stream to the decoding unit 22.

[71] Модуль 22 декодирования может декодировать видео/изображение посредством выполнения последовательности процедур, таких как деквантование, обратное преобразование и прогнозирование, соответствующих работе модуля 12 кодирования.[71] The decoding unit 22 can decode a video/image by performing a series of procedures such as dequantization, deconversion and prediction corresponding to the operation of the encoding unit 12.

[72] Модуль 23 рендеринга может подготавливать посредством рендеринга декодированное видео/изображение. Подготовленное посредством рендеринга видео/изображение может отображаться через дисплей.[72] The rendering unit 23 may prepare a decoded video/image by rendering. The video/image prepared by rendering can be displayed through the display.

[73] Общее представление оборудования кодирования изображений[73] General introduction to image encoding equipment

[74] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.[74] FIG. 2 is a view schematically showing image encoding equipment to which an embodiment of the present disclosure is applicable.

[75] Как показано на фиг. 2, оборудование 100 кодирования изображений может включать в себя модуль 110 сегментации изображений, вычитатель 115, преобразователь 120, квантователь 130, деквантователь 140, обратный преобразователь 150, сумматор 155, фильтр 160, запоминающее устройство 170, модуль 180 взаимного прогнозирования, модуль 185 внутреннего прогнозирования и энтропийный кодер 190. Модуль 180 взаимного прогнозирования и модуль 185 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Преобразователь 120, квантователь 130, деквантователь 140 и обратный преобразователь 150 могут включаться в остаточный процессор. Остаточный процессор дополнительно может включать в себя вычитатель 115.[75] As shown in FIG. 2, the image encoding equipment 100 may include an image segmentation unit 110, a subtractor 115, a converter 120, a quantizer 130, a dequantizer 140, an inverse converter 150, an adder 155, a filter 160, a memory 170, an inter-prediction unit 180, an intra-prediction unit 185 and an entropy encoder 190. The inter-prediction module 180 and the intra-prediction module 185 may be collectively referred to as a “prediction module”. Converter 120, quantizer 130, dequantizer 140, and inverse converter 150 may be included in the residual processor. The residual processor may further include a subtractor 115.

[76] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 100 кодирования изображений, могут быть сконфигурированы посредством одного аппаратного компонента (например, кодера или процессора) в некоторых вариантах осуществления. Помимо этого, запоминающее устройство 170 может включать в себя буфер декодированных кадров (DPB) и может быть сконфигурировано посредством цифрового носителя хранения данных.[76] All or at least a portion of the plurality of components configuring the image encoding equipment 100 may be configured by a single hardware component (eg, an encoder or processor) in some embodiments. In addition, storage device 170 may include a decoded frame buffer (DPB) and may be configured with a digital storage medium.

[77] Модуль 110 сегментации изображений может сегментировать входное изображение (либо кадр или кинокадр), вводимое в оборудование 100 кодирования изображений, на одну более единиц обработки. Например, единица обработки может называться "единицей кодирования (CU)". Единица кодирования может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов, двоичного дерева и троичного дерева (QT/BT/TT). Например, одна единица кодирования может сегментироваться на множество единиц кодирования большей глубины на основе структуры в виде дерева квадрантов, структуры в виде двоичного дерева и/или троичной структуры. Для сегментации единицы кодирования, сначала может применяться структура в виде дерева квадрантов, и впоследствии может применяться структура в виде двоичного дерева и/или троичная структура. Процедура кодирования согласно настоящему раскрытию сущности может выполняться на основе конечной единицы кодирования, которая более не сегментируется. Наибольшая единица кодирования может использоваться в качестве конечной единицы кодирования, или единица кодирования большей глубины, полученной посредством сегментации наибольшей единицы кодирования, может использоваться в качестве конечной единицы кодирования. Здесь, процедура кодирования может включать в себя процедуру прогнозирования, преобразования и восстановления, которая описывается ниже. В качестве другого примера, единица обработки процедуры кодирования может представлять собой единицу прогнозирования (PU) или единицу преобразования (TU). Единица прогнозирования и единица преобразования могут разбиваться или сегментироваться из конечной единицы кодирования. Единица прогнозирования может представлять собой единицу выборочного прогнозирования, и единица преобразования может представлять собой единицу для извлечения коэффициента преобразования и/или единицу для извлечения остаточного сигнала из коэффициента преобразования.[77] The image segmentation module 110 may segment an input image (either a frame or a movie frame) input to the image encoding equipment 100 into one more processing unit. For example, the processing unit may be called a "coding unit (CU)". A coding unit may be obtained by recursively segmenting a coding tree unit (CTU) or largest coding unit (LCU) according to a quadtree, binary tree, and ternary tree (QT/BT/TT) structure. For example, one coding unit may be segmented into multiple coding units of greater depth based on a quadtree structure, a binary tree structure, and/or a ternary structure. To segment a coding unit, a quadtree structure may first be applied, and subsequently a binary tree structure and/or a ternary structure may be applied. The encoding procedure of the present disclosure may be performed based on a final encoding unit that is no longer segmented. The largest coding unit may be used as the final coding unit, or a coding unit of greater depth obtained by segmenting the largest coding unit may be used as the final coding unit. Here, the encoding procedure may include a prediction, transformation and reconstruction procedure, which is described below. As another example, the processing unit of the encoding procedure may be a prediction unit (PU) or a transformation unit (TU). The prediction unit and the transformation unit may be split or segmented from the final encoding unit. The prediction unit may be a sample prediction unit, and the transformation unit may be a unit for extracting a transformation coefficient and/or a unit for extracting a residual signal from the transformation coefficient.

[78] Модуль прогнозирования (модуль 180 взаимного прогнозирования или модуль 185 внутреннего прогнозирования) может выполнять прогнозирование относительно блока, который должен обрабатываться (текущего блока), и формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование, на основе текущего блока или CU. Модуль прогнозирования может формировать различную информацию, связанную с прогнозированием текущего блока, и передавать сформированную информацию в энтропийный кодер 190. Информация относительно прогнозирования может кодироваться в энтропийном кодере 190 и выводиться в форме потока битов.[78] The prediction module (inter-prediction module 180 or intra-prediction module 185) may perform prediction regarding a block to be processed (the current block) and generate a predicted block including prediction samples for the current block. The prediction module may determine whether intra prediction or inter prediction is applied based on the current block or CU. The prediction module may generate various information related to prediction of the current block and transmit the generated information to the entropy encoder 190. Information regarding the prediction may be encoded in the entropy encoder 190 and output in the form of a bitstream.

[79] Модуль 185 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Выборки для ссылки могут быть расположены в окружении текущего блока или могут быть расположены с разнесением согласно режиму внутреннего прогнозирования и/или технологии внутреннего прогнозирования. Режимы внутреннего прогнозирования могут включать в себя множество ненаправленных режимов и множество направленных режимов. Ненаправленный режим может включать в себя, например, DC-режим и планарный режим. Направленный режим может включать в себя, например, 33 режима направленного прогнозирования или 65 режимов направленного прогнозирования согласно степени детальности направления прогнозирования. Тем не менее, это представляет собой просто пример, большее или меньшее число режимов направленного прогнозирования может использоваться в зависимости от настройки. Модуль 185 внутреннего прогнозирования может определять режим прогнозирования, применяемый к текущему блоку, посредством использования режима прогнозирования, применяемого к соседнему блоку.[79] Intra prediction module 185 may predict the current block by reference to samples in the current frame. Samples for reference may be located in the surroundings of the current block or may be spaced apart according to an intra-prediction mode and/or intra-prediction technology. The intra prediction modes may include a plurality of non-directional modes and a plurality of directed modes. The omnidirectional mode may include, for example, DC mode and planar mode. The directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes according to the granularity of the prediction direction. However, this is merely an example; more or less directional prediction modes may be used depending on the setting. The intra prediction module 185 may determine the prediction mode applied to the current block by using the prediction mode applied to the adjacent block.

[80] Модуль 180 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" и т.п. Опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)". Например, модуль 180 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и формировать информацию, указывающую то, какой возможный вариант используется для того, чтобы извлекать вектор движения и/или индекс опорного кадра текущего блока. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования. Например, в случае режима пропуска и режима объединения, модуль 180 взаимного прогнозирования может использовать информацию движения соседнего блока в качестве информации движения текущего блока. В случае режима пропуска, в отличие от режима объединения, остаточный сигнал может не передаваться. В случае режима прогнозирования векторов движения (MVP), вектор движения соседнего блока может использоваться в качестве предиктора вектора движения, и вектор движения текущего блока может передаваться в служебных сигналах посредством кодирования разности векторов движения и индикатора для предиктора вектора движения. Разность векторов движения может означать разность между вектором движения текущего блока и предиктором вектора движения.[80] The inter-prediction unit 180 may extract a predicted block for the current block based on a reference block (an array of reference samples) indicated by a motion vector for the reference frame. In this case, in order to reduce the amount of motion information transmitted in the inter-prediction mode, the motion information may be predicted in units of blocks, sub-blocks, or samples based on the correlation of the motion information between a neighboring block and the current block. The motion information may include a motion vector and a reference frame index. The motion information may further include inter-prediction direction information (L0-prediction, L1-prediction, bi-prediction, etc.). In the case of inter-prediction, the neighbor block may include a spatial neighbor block present in the current frame and a temporal neighbor block present in the reference frame. The reference frame including the reference block and the reference frame including the temporary adjacent block may be identical or different. A temporary neighbor block may be referred to as a "co-located reference block", "co-located CU (colCU)", or the like. A reference frame including a temporary adjacent block may be referred to as a "co-located frame (colPic)". For example, the inter-prediction module 180 may configure a list of motion information candidates based on neighboring blocks and generate information indicating which candidate is used to retrieve the motion vector and/or reference frame index of the current block. Mutual prediction can be performed based on different prediction modes. For example, in the case of the skip mode and the merge mode, the inter-prediction unit 180 may use the motion information of a neighboring block as the motion information of the current block. In the case of the skip mode, unlike the combine mode, the residual signal may not be transmitted. In the case of the motion vector prediction (MVP) mode, the motion vector of an adjacent block can be used as a motion vector predictor, and the motion vector of the current block can be signaled by encoding the motion vector difference and an indicator for the motion vector predictor. The motion vector difference may mean the difference between the motion vector of the current block and the motion vector predictor.

[81] Модуль прогнозирования может формировать прогнозный сигнал на основе различных способов прогнозирования и технологий прогнозирования, описанных ниже. Например, модуль прогнозирования может не только применять внутреннее прогнозирование или взаимное прогнозирование, но также и одновременно применять как внутреннее прогнозирование, так и взаимное прогнозирование, чтобы прогнозировать текущий блок. Способ прогнозирования с одновременным применением как внутреннего прогнозирования, так и взаимного прогнозирования для прогнозирования текущего блока может называться "комбинированным взаимным и внутренним прогнозированием (CIIP)". Помимо этого, модуль прогнозирования может выполнять внутриблочное копирование (IBC) для прогнозирования текущего блока. Внутриблочное копирование может использоваться для кодирования изображений/видео контента игры и т.п., например, для кодирования экранного контента (SCC). IBC представляет собой способ прогнозирования текущего кадра с использованием ранее восстановленного опорного блока в текущем кадре в местоположении, разнесенном от текущего блока на предварительно определенное расстояние. Когда IBC применяется, местоположение опорного блока в текущем кадре может кодироваться как вектор (блочный вектор), соответствующий предварительно определенному расстоянию. IBC по существу выполняет прогнозирование в текущем кадре, но может выполняться аналогично взаимному прогнозированию в том, что опорный блок извлекается внутри текущего кадра. Таким образом, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования, описанных в настоящем раскрытии сущности.[81] The prediction module can generate a prediction signal based on various prediction methods and prediction technologies described below. For example, the prediction module may not only apply intra-prediction or inter-prediction, but also simultaneously apply both intra-prediction and inter-prediction to predict the current block. A prediction method that simultaneously uses both intra prediction and inter prediction to predict the current block may be called "combined inter and intra prediction (CIIP)". In addition, the prediction module can perform intra-block copying (IBC) to predict the current block. In-block copying can be used to encode game image/video content and the like, such as screen content encoding (SCC). IBC is a method of predicting the current frame using a previously reconstructed reference block in the current frame at a location spaced from the current block by a predetermined distance. When IBC is applied, the location of the reference block in the current frame can be encoded as a vector (block vector) corresponding to a predetermined distance. IBC essentially performs prediction within the current frame, but can be performed similarly to inter-prediction in that the reference block is retrieved within the current frame. Thus, the IBC may use at least one of the inter-prediction technologies described in the present disclosure.

[82] Прогнозный сигнал, сформированный посредством модуля прогнозирования, может использоваться для того, чтобы формировать восстановленный сигнал или формировать остаточный сигнал. Вычитатель 115 может формировать остаточный сигнал (остаточный блок или массив остаточных выборок) посредством вычитания прогнозного сигнала (прогнозированного блока или массива прогнозных выборок), выводимого из модуля прогнозирования, из сигнала входного изображения (исходного блока или массива исходных выборок). Сформированный остаточный сигнал может передаваться в преобразователь 120.[82] The prediction signal generated by the prediction module can be used to generate a reconstructed signal or generate a residual signal. The subtractor 115 may generate a residual signal (a residual block or an array of residual samples) by subtracting a prediction signal (a prediction block or an array of prediction samples) output from the prediction module from an input image signal (a source block or an array of original samples). The generated residual signal can be transmitted to the converter 120.

[83] Преобразователь 120 может формировать коэффициенты преобразования посредством применения технологии преобразования к остаточному сигналу. Например, технология преобразования может включать в себя, по меньшей мере, одно из дискретного косинусного преобразования (DCT), дискретного синусного преобразования (DST), преобразования Карунена-Лоэва (KLT), преобразования на основе графа (GBT) или условно нелинейного преобразования (CNT). Здесь, GBT означает преобразование, полученное из графа, когда информация взаимосвязи между пикселами представляется посредством графа. CNT означает преобразование, полученное на основе прогнозного сигнала, сформированного с использованием всех ранее восстановленных пикселов. Помимо этого, процесс преобразования может применяться к квадратным пиксельным блокам, имеющим идентичный размер, или может применяться к блокам, имеющим переменный размер, а не квадратный.[83] Converter 120 can generate conversion coefficients by applying conversion technology to the residual signal. For example, the transform technology may include at least one of a discrete cosine transform (DCT), a discrete sine transform (DST), a Karhunen-Loeve transform (KLT), a graph-based transform (GBT), or a conditionally nonlinear transform (CNT). ). Here, GBT means a graph-derived transformation when the relationship information between pixels is represented by the graph. CNT means the transformation obtained from the prediction signal generated using all the previously reconstructed pixels. In addition, the conversion process can be applied to square pixel blocks that are identical in size, or can be applied to blocks that are variable in size rather than square.

[84] Квантователь 130 может квантовать коэффициенты преобразования и передавать их в энтропийный кодер 190. Энтропийный кодер 190 может кодировать квантованный сигнал (информацию относительно квантованных коэффициентов преобразования) и выводить поток битов. Информация относительно квантованных коэффициентов преобразования может называться "остаточной информацией". Квантователь 130 может перекомпоновывать квантованные коэффициенты преобразования в блочной форме в одномерную векторную форму на основе порядка сканирования коэффициентов и формировать информацию относительно квантованных коэффициентов преобразования на основе квантованных коэффициентов преобразования в одномерной векторной форме.[84] Quantizer 130 may quantize the transform coefficients and pass them to entropy encoder 190. Entropy encoder 190 may encode the quantized signal (information regarding the quantized transform coefficients) and output a bit stream. Information regarding the quantized transform coefficients may be referred to as "residual information". Quantizer 130 may re-arrange the quantized transform coefficients in block form into one-dimensional vector form based on the scan order of the coefficients, and generate information regarding the quantized transform coefficients based on the quantized transform coefficients in one-dimensional vector form.

[85] Энтропийный кодер 190 может осуществлять различные способы кодирования, такие как, например, кодирование экспоненциальным кодом Голомба, контекстно-адаптивное кодирование переменной длины (CAVLC), контекстно-адаптивное двоичное арифметическое кодирование (CABAC) и т.п. Энтропийный кодер 190 может кодировать информацию, необходимую для восстановления видео/изображений, отличную от квантованных коэффициентов преобразования (например, значений синтаксических элементов и т.д.), вместе или отдельно. Кодированная информация (например, кодированная информация видео/изображений) может передаваться или сохраняться в единицах слоев абстрагирования от сети (NAL) в форме потока битов. Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Передаваемая в служебных сигналах информация, передаваемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут кодироваться через вышеописанную процедуру кодирования и включаться в поток битов.[85] Entropy encoder 190 may implement various encoding techniques, such as, for example, exponential Golomb coding, context adaptive variable length coding (CAVLC), context adaptive binary arithmetic coding (CABAC), and the like. Entropy encoder 190 may encode information needed to reconstruct video/images other than quantized transform coefficients (eg, syntax element values, etc.), together or separately. Encoded information (eg, encoded video/image information) may be transmitted or stored in network abstraction layer (NAL) units in the form of a bitstream. The video/image information may further include information regarding various parameter sets, such as an adaptation parameter set (APS), a frame parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS). In addition, the video/image information may further include general restriction information. The signaling information, transmission information, and/or syntax elements described in the present disclosure may be encoded through the encoding procedure described above and included in the bit stream.

[86] Поток битов может передаваться по сети или может сохраняться на цифровом носителе хранения данных. Сеть может включать в себя широковещательную сеть и/или сеть связи, и цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как, USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик (не показан), передающий сигнал, выводимый из энтропийного кодера 190, и/или модуль хранения (не показан), сохраняющий сигнал, могут включаться в качестве внутреннего/внешнего элемента оборудования 100 кодирования, и альтернативно, передатчик может включаться в энтропийный кодер 190.[86] The bitstream may be transmitted over a network or may be stored on a digital storage medium. The network may include a broadcast network and/or a communications network, and the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-Ray, HDD, SSD, and the like. A transmitter (not shown) transmitting the signal output from the entropy encoder 190 and/or a storage module (not shown) storing the signal may be included as an internal/external element of the encoding equipment 100, and alternatively, the transmitter may be included in the entropy encoder 190 .

[87] Квантованные коэффициенты преобразования, выводимые из квантователя 130, могут использоваться для того, чтобы формировать остаточный сигнал. Например, остаточный сигнал (остаточный блок или остаточные выборки) может восстанавливаться посредством применения деквантования и обратного преобразования к квантованным коэффициентам преобразования через деквантователь 140 и обратный преобразователь 150.[87] The quantized transform coefficients output from quantizer 130 can be used to generate a residual signal. For example, a residual signal (residual block or residual samples) may be recovered by applying dequantization and inverse transform to the quantized transform coefficients via dequantizer 140 and inverse transformer 150.

[88] Сумматор 155 суммирует восстановленный остаточный сигнал с прогнозным сигналом, выводимым из модуля 180 взаимного прогнозирования или модуля 185 внутреннего прогнозирования, с тем чтобы формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок). Если отсутствует остаток для блока, который должен обрабатываться, к примеру, в случае, в котором режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Сумматор 155 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.[88] An adder 155 adds the reconstructed residual signal with the prediction signal output from the inter-prediction module 180 or the intra-prediction module 185 so as to generate a reconstructed signal (reconstructed frame, reconstructed block, reconstructed sample array). If there is no remainder for a block to be processed, for example in a case in which the skip mode is applied, the predicted block can be used as a reconstructed block. The adder 155 may be referred to as a "recovery module" or a "recovered block generator." The generated reconstructed signal can be used to internally predict the next block to be processed in the current frame, and can be used to inter-predict the next frame through filtering, as described below.

[89] Фильтр 160 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 160 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 170, а именно, в DPB запоминающего устройства 170. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, дискретизированное адаптивное смещение, адаптивный контурный фильтр, билатеральный фильтр и т.п. Фильтр 160 может формировать различную информацию, связанную с фильтрацией, и передавать сформированную информацию в энтропийный кодер 190, как описано ниже в описании каждого способа фильтрации. Информация, связанная с фильтрацией, может кодироваться посредством энтропийного кодера 190 и выводиться в форме потока битов.[89] Filter 160 may enhance the subjective/objective quality of images by applying filtering to the reconstructed signal. For example, filter 160 may generate a modified reconstructed frame by applying various filtering techniques to the reconstructed frame and store the modified reconstructed frame in storage device 170, namely, a DPB of storage device 170. Various filtering techniques may include, for example, deblocking filtering. , sampled adaptive bias, adaptive contour filter, bilateral filter, etc. The filter 160 may generate various filtering-related information and transmit the generated information to the entropy encoder 190, as described below in the description of each filtering method. Information associated with filtering may be encoded by entropy encoder 190 and output in the form of a bitstream.

[90] Модифицированный восстановленный кадр, передаваемый в запоминающее устройство 170, может использоваться в качестве опорного кадра в модуле 180 взаимного прогнозирования. Когда взаимное прогнозирование применяется через оборудование 100 кодирования изображений, рассогласование прогнозирования между оборудованием 100 кодирования изображений и оборудованием декодирования изображений может исключаться, и эффективность кодирования может повышаться.[90] The modified reconstructed frame transferred to the storage device 170 can be used as a reference frame in the inter-prediction module 180. When mutual prediction is applied through the image encoding equipment 100, prediction mismatch between the image encoding equipment 100 and the image decoding equipment can be eliminated, and encoding efficiency can be improved.

[91] DPB запоминающего устройства 170 может сохранять модифицированный восстановленный кадр для использования в качестве опорного кадра в модуле 180 взаимного прогнозирования. Запоминающее устройство 170 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или кодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 180 взаимного прогнозирования и использоваться в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 170 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и может передавать восстановленные выборки в модуль 185 внутреннего прогнозирования.[91] The DPB of the storage device 170 may store the modified reconstructed frame for use as a reference frame in the inter-prediction module 180 . The storage device 170 may store block motion information from which motion information in the current frame is retrieved (or encoded) and/or motion information of blocks in a frame that have already been reconstructed. The stored motion information may be transmitted to the inter-prediction unit 180 and used as spatial neighbor block motion information or temporal neighbor block motion information. Memory 170 may store reconstructed samples of reconstructed blocks in the current frame and may transmit reconstructed samples to intra prediction module 185.

[92] Общее представление оборудования декодирования изображений[92] General introduction of image decoding equipment

[93] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.[93] FIG. 3 is a view schematically showing image decoding equipment to which an embodiment of the present disclosure is applicable.

[94] Как показано на фиг. 3, оборудование 200 декодирования изображений может включать в себя энтропийный декодер 210, деквантователь 220, обратный преобразователь 230, сумматор 235, фильтр 240, запоминающее устройство 250, модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования. Модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Деквантователь 220 и обратный преобразователь 230 могут включаться в остаточный процессор.[94] As shown in FIG. 3, the image decoding equipment 200 may include an entropy decoder 210, a dequantizer 220, an inverse converter 230, an adder 235, a filter 240, a memory 250, an inter-prediction unit 260, and an intra-prediction unit 265. The inter-prediction module 260 and the intra-prediction module 265 may be collectively referred to as a “prediction module”. A dequantizer 220 and an inverse converter 230 may be included in the residual processor.

[95] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 200 декодирования изображений, могут быть сконфигурированы посредством аппаратного компонента (например, декодера или процессора) согласно варианту осуществления. Помимо этого, запоминающее устройство 250 может включать в себя буфер декодированных кадров (DPB) или может быть сконфигурировано посредством цифрового носителя хранения данных.[95] All or at least a portion of the plurality of components configuring the image decoding equipment 200 may be configured by a hardware component (eg, a decoder or processor) according to an embodiment. In addition, storage device 250 may include a decoded frame buffer (DPB) or may be configured with a digital storage medium.

[96] Оборудование 200 декодирования изображений, которое принимает поток битов, включающий в себя информацию видео/изображений, может восстанавливать изображение посредством выполнения процесса, соответствующего процессу, выполняемому посредством оборудования 100 кодирования изображений по фиг. 2. Например, оборудование 200 декодирования изображений может выполнять декодирование с использованием единицы обработки, применяемой в оборудовании кодирования изображений. Таким образом, единица обработки декодирования, например, может представлять собой единицу кодирования. Единица кодирования может получаться посредством сегментации единицы дерева кодирования или наибольшей единицы кодирования. Восстановленный сигнал изображения, декодированный и выводимый посредством оборудования 200 декодирования, может воспроизводиться посредством оборудования воспроизведения.[96] The image decoding equipment 200, which receives the bitstream including video/image information, can reconstruct the image by performing a process corresponding to the process performed by the image encoding equipment 100 in FIG. 2. For example, the image decoding equipment 200 may perform decoding using a processing unit used in the image encoding equipment. Thus, a decoding processing unit, for example, may be an encoding unit. A coding unit may be obtained by segmenting a coding tree unit or a largest coding unit. The reconstructed image signal decoded and output by the decoding equipment 200 can be reproduced by the playback equipment.

[97] Оборудование 200 декодирования изображений может принимать сигнал, выводимый из оборудования кодирования изображений по фиг. 2 в форме потока битов. Принимаемый сигнал может декодироваться через энтропийный декодер 210. Например, энтропийный декодер 210 может синтаксически анализировать поток битов, чтобы извлекать информацию (например, информацию видео/изображений), необходимую для восстановления изображений (или восстановления кадров). Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Оборудование декодирования изображений дополнительно может декодировать кадр на основе информации относительно набора параметров и/или общей информации ограничений. Передаваемая в служебных сигналах/принимаемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут декодироваться посредством процедуры декодирования и получаться из потока битов. Например, энтропийный декодер 210 декодирует информацию в потоке битов на основе способа кодирования, такого как кодирование экспоненциальным кодом Голомба, CAVLC или CABAC, и выходных значений синтаксических элементов, требуемых для восстановления изображений, и квантованных значений коэффициентов преобразования для остатка. Более конкретно, способ энтропийного CABAC-декодирования может принимать элемент разрешения, соответствующий каждому синтаксическому элементу в потоке битов, определять контекстную модель с использованием информации целевого синтаксического элемента декодирования, информации декодирования соседнего блока и целевого блока декодирования или информации символа/элемента разрешения, декодированного на предыдущей стадии, и выполнять арифметическое декодирование для элемента разрешения посредством прогнозирования вероятности появления элемента разрешения согласно определенной контекстной модели и формировать символ, соответствующий значению каждого синтаксического элемента. В этом случае, способ энтропийного CABAC-декодирования может обновлять контекстную модель посредством использования информации декодированного символа/элемента разрешения для контекстной модели следующего символа/элемента разрешения после определения контекстной модели. Информация, связанная с прогнозированием из информации, декодированной посредством энтропийного декодера 210, может предоставляться в модуль прогнозирования (модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования), и остаточное значение, для которого энтропийное декодирование выполнено в энтропийном декодере 210, т.е. квантованные коэффициенты преобразования и связанная информация параметров, может вводиться в деквантователь 220. Помимо этого, информация относительно фильтрации из информации, декодированной посредством энтропийного декодера 210, может предоставляться в фильтр 240. Между тем, приемник (не показан) для приема сигнала, выводимого из оборудования кодирования изображений, может быть дополнительно сконфигурирован в качестве внутреннего/внешнего элемента оборудования 200 декодирования изображений, или приемник может представлять собой компонент энтропийного декодера 210.[97] The image decoding equipment 200 may receive a signal output from the image encoding equipment of FIG. 2 in the form of a bit stream. The received signal may be decoded through entropy decoder 210. For example, entropy decoder 210 may parse the bitstream to extract information (eg, video/image information) needed to reconstruct images (or reconstruct frames). The video/image information may further include information regarding various parameter sets, such as an adaptation parameter set (APS), a frame parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS). In addition, the video/image information may further include general restriction information. The image decoding equipment may further decode the frame based on information regarding the parameter set and/or general constraint information. The signaling/receiving information and/or syntax elements described in the present disclosure may be decoded by a decoding procedure and obtained from the bitstream. For example, entropy decoder 210 decodes information in a bitstream based on an encoding method, such as exponential Golomb, CAVLC, or CABAC encoding, and the output values of the syntax elements required for image reconstruction and the quantized values of the transform coefficients for the remainder. More specifically, the entropy CABAC decoding method may take a resolution element corresponding to each syntax element in the bitstream, determine a context model using information of a target decoding syntax element, decoding information of an adjacent block and a target decoding block, or information of a symbol/resolution element decoded on a previous one. stage, and perform arithmetic decoding for the resolution element by predicting the probability of occurrence of the permission element according to the determined context model and generating a symbol corresponding to the meaning of each syntactic element. In this case, the entropy CABAC decoding method can update the context model by using the decoded symbol/grant element information for the context model of the next symbol/grant element after determining the context model. The prediction-related information from the information decoded by the entropy decoder 210 may be provided to the prediction module (inter-prediction module 260 and intra-prediction module 265), and the residual value for which entropy decoding is performed in the entropy decoder 210, i.e. quantized conversion coefficients and related parameter information may be input to the dequantizer 220. In addition, information regarding filtering from information decoded by the entropy decoder 210 may be provided to the filter 240. Meanwhile, a receiver (not shown) for receiving a signal output from the equipment image encoding device may be further configured as an internal/external element of image decoding equipment 200, or the receiver may be a component of entropy decoder 210.

[98] Между тем, оборудование декодирования изображений согласно настоящему раскрытию сущности может называться "оборудованием декодирования видео/изображений/кадров". Оборудование декодирования изображений может классифицироваться на информационный декодер (декодер информации видео/изображений/кадров) и выборочный декодер (декодер выборок видео/изображений/кадров). Информационный декодер может включать в себя энтропийный декодер 210. Выборочный декодер может включать в себя, по меньшей мере, одно из деквантователя 220, обратного преобразователя 230, сумматора 235, фильтра 240, запоминающего устройства 250, модуля 260 взаимного прогнозирования или модуля 265 внутреннего прогнозирования.[98] Meanwhile, the image decoding equipment according to the present disclosure may be referred to as “video/image/frame decoding equipment.” The image decoding equipment can be classified into an information decoder (video/image/frame information decoder) and a sample decoder (video/image/frame sample decoder). The information decoder may include an entropy decoder 210. The sample decoder may include at least one of a dequantizer 220, an inverse converter 230, an adder 235, a filter 240, a memory 250, an inter-prediction module 260, or an intra-prediction module 265.

[99] Деквантователь 220 может деквантовать квантованные коэффициенты преобразования и выводить коэффициенты преобразования. Деквантователь 220 может перекомпоновывать квантованные коэффициенты преобразования в форме двумерного блока. В этом случае, перекомпоновка может выполняться на основе порядка сканирования коэффициентов, выполняемого в оборудовании кодирования изображений. Деквантователь 220 может выполнять деквантование для квантованных коэффициентов преобразования посредством использования параметра квантования (например, информации размера шага квантования) и получать коэффициенты преобразования.[99] Dequantizer 220 may dequantize the quantized transform coefficients and output the transform coefficients. Dequantizer 220 may re-arrange the quantized transform coefficients in the form of a two-dimensional block. In this case, rearrangement may be performed based on the order of coefficient scanning performed in the image encoding equipment. Dequantizer 220 may perform dequantization on the quantized transform coefficients by using a quantization parameter (eg, quantization step size information) and obtain the transform coefficients.

[100] Обратный преобразователь 230 может обратно преобразовывать коэффициенты преобразования, чтобы получать остаточный сигнал (остаточный блок, массив остаточных выборок).[100] The inverse converter 230 may inversely convert the transform coefficients to obtain a residual signal (residual block, residual sample array).

[101] Модуль прогнозирования может выполнять прогнозирование для текущего блока и может формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование к текущему блоку, на основе информации относительно прогнозирования, выводимой из энтропийного декодера 210, и может определять конкретный режим внутреннего/взаимного прогнозирования.[101] The prediction module may perform prediction for the current block and may generate a predicted block including prediction samples for the current block. The prediction module may determine whether intra prediction or inter prediction is applied to the current block based on the prediction information output from the entropy decoder 210, and may determine a particular intra/inter prediction mode.

[102] Идентично тому, что описано в модуле прогнозирования оборудования 100 кодирования изображений, модуль прогнозирования может формировать прогнозный сигнал на основе различных способов (технологий) прогнозирования, которые описываются ниже.[102] Identical to that described in the prediction module of the image encoding equipment 100, the prediction module can generate a prediction signal based on various prediction methods (techniques), which are described below.

[103] Модуль 265 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Описание модуля 185 внутреннего прогнозирования в равной степени применяется к модулю 265 внутреннего прогнозирования.[103] Intra prediction module 265 may predict the current block by reference to samples in the current frame. The description of the intra prediction module 185 applies equally to the intra prediction module 265.

[104] Модуль 260 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Например, модуль 260 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и извлекать вектор движения текущего блока и/или индекс опорного кадра на основе принимаемой информации выбора возможных вариантов. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования, и информация относительно прогнозирования может включать в себя информацию, указывающую режим взаимного прогнозирования для текущего блока.[104] The inter-prediction module 260 may extract a predicted block for the current block based on a reference block (an array of reference samples) indicated by a motion vector for the reference frame. In this case, in order to reduce the amount of motion information transmitted in the inter-prediction mode, the motion information may be predicted in units of blocks, sub-blocks or samples based on the correlation of the motion information between a neighboring block and the current block. The motion information may include a motion vector and a reference frame index. The motion information may further include inter-prediction direction information (L0-prediction, L1-prediction, bi-prediction, etc.). In the case of inter-prediction, the neighbor block may include a spatial neighbor block present in the current frame and a temporal neighbor block present in the reference frame. For example, the inter-prediction module 260 may configure a motion information candidate list based on neighboring blocks and extract the current block's motion vector and/or reference frame index based on the received candidate selection information. The inter-prediction may be performed based on various prediction modes, and the information regarding the prediction may include information indicating the inter-prediction mode for the current block.

[105] Сумматор 235 может формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок) посредством суммирования полученного остаточного сигнала с прогнозным сигналом (прогнозированным блоком, массивом прогнозированных выборок), выводимым из модуля прогнозирования (включающего в себя модуль 260 взаимного прогнозирования и/или модуль 265 внутреннего прогнозирования). Если отсутствует остаток для блока, который должен обрабатываться, к примеру, когда режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Описание сумматора 155 является в равной степени применимым к сумматору 235. Сумматор 235 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.[105] The adder 235 can generate a reconstructed signal (recovered frame, reconstructed block, reconstructed sample array) by adding the resulting residual signal with a prediction signal (predicted block, predicted sample array) output from a prediction module (including inter prediction module 260 and /or internal prediction module 265). If there is no remainder for a block to be processed, for example when a skip mode is applied, the predicted block can be used as the reconstructed block. The description of adder 155 is equally applicable to adder 235. Adder 235 may be referred to as a “recovery module” or a “recovered block generator.” The generated reconstructed signal can be used to internally predict the next block to be processed in the current frame, and can be used to inter-predict the next frame through filtering, as described below.

[106] Фильтр 240 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 240 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 250, а именно, в DPB запоминающего устройства 250. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, дискретизированное адаптивное смещение, адаптивный контурный фильтр, билатеральный фильтр и т.п.[106] Filter 240 may enhance the subjective/objective quality of images by applying filtering to the reconstructed signal. For example, filter 240 may generate a modified reconstructed frame by applying various filtering techniques to the reconstructed frame and store the modified reconstructed frame in storage device 250, namely, a DPB of storage device 250. Various filtering techniques may include, for example, deblocking filtering. , sampled adaptive bias, adaptive loop filter, bilateral filter, etc.

[107] (Модифицированный) восстановленный кадр, сохраненный в DPB запоминающего устройства 250, может использоваться в качестве опорного кадра в модуле 260 взаимного прогнозирования. Запоминающее устройство 250 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или декодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 260 взаимного прогнозирования, так что она используется в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 250 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и передавать восстановленные выборки в модуль 265 внутреннего прогнозирования.[107] The (modified) reconstructed frame stored in the DPB of the storage device 250 can be used as a reference frame in the inter-prediction unit 260. Memory 250 may store block motion information from which motion information in the current frame is retrieved (or decoded) and/or motion information of blocks in a frame that have already been reconstructed. The stored motion information may be transmitted to the inter-prediction unit 260 so that it is used as spatial neighbor block motion information or temporal neighbor block motion information. Memory 250 may store reconstructed samples of reconstructed blocks in the current frame and transmit the reconstructed samples to intra prediction module 265.

[108] В настоящем раскрытии сущности, варианты осуществления, описанные в фильтре 160, модуле 180 взаимного прогнозирования и модуле 185 внутреннего прогнозирования оборудования 100 кодирования изображений, могут в равной или соответствующей степени применяться к фильтру 240, модулю 260 взаимного прогнозирования и модулю 265 внутреннего прогнозирования оборудования 200 декодирования изображений.[108] In the present disclosure, the embodiments described in the filter 160, the inter-prediction module 180, and the intra-prediction module 185 of the image encoding equipment 100 may be equally or correspondingly applied to the filter 240, the inter-prediction module 260, and the intra-prediction module 265 image decoding equipment 200.

[109] Общее представление сегментации изображений[109] General introduction to image segmentation

[110] Способ кодирования видео/изображений согласно настоящему раскрытию сущности может осуществляться на основе структуры сегментации изображений следующим образом. В частности, процедуры прогнозирования, остаточной обработки ((обратного) преобразования, (де)квантования и т.д.), кодирования синтаксических элементов и фильтрации, которые описываются ниже, могут выполняться на основе CTU, CU (и/или TU, PU), извлекаемой на основе структуры сегментации изображений. Изображение может сегментироваться в единицах блоков, и процедура сегментации на блоки может выполняться в модуле 110 сегментации изображений оборудования кодирования. Связанная с сегментацией информация может кодироваться посредством энтропийного кодера 190 и передаваться в оборудование декодирования в форме потока битов. Энтропийный декодер 210 оборудования декодирования может извлекать структуру сегментации на блоки текущего кадра на основе связанной с сегментацией информации, полученной из потока битов, и на основе этого, может выполнять последовательность процедур (например, прогнозирование, остаточную обработку, восстановление блоков/кадров, внутриконтурную фильтрацию и т.д.) для декодирования изображений.[110] The video/image encoding method according to the present disclosure can be implemented based on an image segmentation structure as follows. In particular, prediction, residual processing ((in)transformation, (de)quantization, etc.), syntax element encoding and filtering procedures, which are described below, can be performed on a CTU, CU (and/or TU, PU) basis. , extracted based on the image segmentation structure. The image may be segmented in units of blocks, and the block segmentation procedure may be performed in the image segmentation unit 110 of the encoding equipment. Segmentation-related information may be encoded by entropy encoder 190 and transmitted to decoding equipment in the form of a bitstream. The entropy decoder 210 of the decoding equipment can extract the block segmentation structure of the current frame based on the segmentation-related information obtained from the bit stream, and based on this, can perform a series of procedures (eg, prediction, residual processing, block/frame reconstruction, in-loop filtering, and etc.) for decoding images.

[111] Кадры могут сегментироваться на последовательность единиц дерева кодирования (CTU). Фиг. 4 показывает пример, в котором кадр сегментируется на CTU. CTU может соответствовать блоку дерева кодирования (CTB). Альтернативно, CTU может включать в себя блок дерева кодирования выборок сигналов яркости и два блока дерева кодирования соответствующих выборок сигналов цветности. Например, для кадра, который содержит три массива выборок, CTU может включать в себя блок NxN выборок сигналов яркости и два соответствующих блока выборок сигналов цветности.[111] Frames may be segmented into a sequence of coding tree units (CTUs). Fig. 4 shows an example in which a frame is segmented into CTUs. A CTU may correspond to a coding tree block (CTB). Alternatively, the CTU may include a luma sample coding tree block and two coding tree blocks of corresponding chrominance samples. For example, for a frame that contains three sample arrays, the CTU may include a block of NxN luma samples and two corresponding blocks of chroma samples.

[112] Общее представление сегментации CTU[112] CTU segmentation overview

[113] Как описано выше, единица кодирования может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов/двоичного дерева/троичного дерева (QT/BT/TT). Например, CTU может сначала сегментироваться на структуры в виде дерева квадрантов. После этого, узлы-листья структуры в виде дерева квадрантов дополнительно могут сегментироваться посредством многотипной древовидной структуры.[113] As described above, a coding unit can be obtained by recursively segmenting a coding tree unit (CTU) or a largest coding unit (LCU) according to a quadtree/binary tree/ternary tree (QT/BT/TT) structure. For example, a CTU may first be segmented into quadtree structures. Thereafter, the leaf nodes of the quadtree structure can be further segmented by a multi-type tree structure.

[114] Сегментация согласно дереву квадрантов означает то, что текущая CU (или CTU) сегментируется одинаково на четыре. Посредством сегментации согласно дереву квадрантов, текущая CU может сегментироваться на четыре CU, имеющие идентичную ширину и идентичную высоту. Когда текущая CU более не сегментируется на структуру в виде дерева квадрантов, текущая CU соответствует узлу-листу структуры в виде дерева квадрантов. CU, соответствующая узлу-листу структуры в виде дерева квадрантов, более не может сегментироваться и может использоваться в качестве вышеописанной конечной единицы кодирования. Альтернативно, CU, соответствующая узлу-листу структуры в виде дерева квадрантов, дополнительно может сегментироваться посредством многотипной древовидной структуры.[114] Quadtree segmentation means that the current CU (or CTU) is segmented equally into four. Through segmentation according to the quadtree, the current CU can be segmented into four CUs having identical width and identical height. When the current CU is no longer segmented into a quadtree structure, the current CU corresponds to a leaf node of the quadtree structure. The CU corresponding to the leaf node of the quadtree structure can no longer be segmented and can be used as the final encoding unit described above. Alternatively, the CU corresponding to a leaf node of the quadtree structure may further be segmented by a multi-type tree structure.

[115] Фиг. 5 является видом, показывающим вариант осуществления типа сегментации блока согласно многотипной древовидной структуре. Сегментация согласно многотипной древовидной структуре может включать в себя два типа разбиения согласно структуре в виде двоичного дерева и два типа разбиения согласно структуре в виде троичного дерева.[115] FIG. 5 is a view showing an embodiment of a block segmentation type according to a multi-type tree structure. Segmentation according to a multi-type tree structure may include two types of partitioning according to a binary tree structure and two types of partitioning according to a ternary tree structure.

[116] Два типа разбиения согласно структуре в виде двоичного дерева могут включать в себя вертикальное двоичное разбиение (SPLIT_BT_VER) и горизонтальное двоичное разбиение (SPLIT_BT_HOR). Вертикальное двоичное разбиение (SPLIT_BT_VER) означает то, что текущая CU разбивается одинаково напополам в вертикальном направлении. Как показано на фиг. 4, посредством вертикального двоичного разбиения, могут формироваться две CU, имеющие высоту, идентичную высоте текущей CU, и имеющие ширину, которая составляет половину от ширины текущей CU. Горизонтальное двоичное разбиение (SPLIT_BT_HOR) означает то, что текущая CU разбивается одинаково напополам в горизонтальном направлении. Как показано на фиг. 5, посредством горизонтального двоичного разбиения, могут формироваться две CU, имеющие высоту, которая составляет половину от высоты текущей CU, и имеющие ширину, идентичную ширине текущей CU.[116] Two types of partitioning according to the binary tree structure may include vertical binary partitioning (SPLIT_BT_VER) and horizontal binary partitioning (SPLIT_BT_HOR). Vertical binary splitting (SPLIT_BT_VER) means that the current CU is split equally in half in the vertical direction. As shown in FIG. 4, through vertical binary partitioning, two CUs having a height identical to the height of the current CU and having a width that is half the width of the current CU can be formed. Horizontal binary splitting (SPLIT_BT_HOR) means that the current CU is split equally in half in the horizontal direction. As shown in FIG. 5, through horizontal binary partitioning, two CUs having a height that is half the height of the current CU and having a width identical to the width of the current CU can be formed.

[117] Два типа разбиения согласно структуре в виде троичного дерева могут включать в себя вертикальное троичное разбиение (SPLIT_TT_VER) и горизонтальное троичное разбиение (SPLIT_TT_HOR). В вертикальном троичном разбиении (SPLIT_TT_VER), текущая CU разбивается в вертикальном направлении в соотношении 1:2:1. Как показано на фиг. 5, посредством вертикального троичного разбиения, могут формироваться две CU, имеющие высоту, идентичную высоте текущей CU, и имеющие ширину, которая составляет 1/4 от ширины текущей CU, и CU, имеющая высоту, идентичную высоте текущей CU, и имеющая ширину, которая составляет половину от ширины текущей CU. В горизонтальном троичном разбиении (SPLIT_TT_HOR), текущая CU разбивается в горизонтальном направлении в соотношении 1:2:1. Как показано на фиг. 5, посредством горизонтального троичного разбиения, могут формироваться две CU, имеющие высоту, которая составляет 1/4 от высоты текущей CU, и имеющие ширину, идентичную ширине текущей CU, и CU, имеющая высоту, которая составляет половину от высоты текущей CU, и имеющая ширины, идентичную ширине текущей CU.[117] Two types of partitioning according to the ternary tree structure may include vertical ternary partitioning (SPLIT_TT_VER) and horizontal ternary partitioning (SPLIT_TT_HOR). In vertical ternary splitting (SPLIT_TT_VER), the current CU is split in the vertical direction in a ratio of 1:2:1. As shown in FIG. 5, through vertical ternary partitioning, two CUs having a height identical to the height of the current CU and having a width that is 1/4 of the width of the current CU, and a CU having a height identical to the height of the current CU and having a width that is half the width of the current CU. In horizontal ternary splitting (SPLIT_TT_HOR), the current CU is split horizontally in a ratio of 1:2:1. As shown in FIG. 5, through horizontal ternary partitioning, two CUs having a height that is 1/4 of the height of the current CU and having a width identical to the width of the current CU, and a CU having a height that is half the height of the current CU and having width identical to the width of the current CU.

[118] Фиг. 6 является видом, показывающим механизм передачи в служебных сигналах информации разбиения на блоки в дереве квадрантов с вложенной многотипной древовидной структурой согласно настоящему раскрытию сущности.[118] FIG. 6 is a view showing a signaling mechanism for blocking information in a quadtree with a nested multi-type tree structure according to the present disclosure.

[119] Здесь, CTU трактуется в качестве корневого узла дерева квадрантов и сегментируется в первый раз на структуру в виде дерева квадрантов. Информация (например, qt_split_flag), указывающая то, выполняется или нет разбиение на дерево квадрантов для текущей CU (CTU или узла (QT_node) дерева квадрантов), передается в служебных сигналах. Например, когда qt_split_flag имеет первое значение (например, "1"), текущая CU может сегментироваться на дерево квадрантов. Помимо этого, когда qt_split_flag имеет второе значение (например, "0"), текущая CU не сегментируется на дерево квадрантов, но становится узлом-листом (QT_leaf_node) дерева квадрантов. Каждый узел-лист дерева квадрантов затем дополнительно может сегментироваться на многотипные древовидные структуры. Таким образом, узел-лист дерева квадрантов может становиться узлом (MTT_node) многотипного дерева. В многотипной древовидной структуре, первый флаг (например, Mtt_split_cu_flag) передается в служебных сигналах, чтобы указывать то, сегментируется или нет дополнительно текущий узел. Если соответствующий узел дополнительно сегментируется (например, если первый флаг равен 1), второй флаг (например, Mtt_split_cu_vertical_flag) может передаваться в служебных сигналах, чтобы указывать направление разбиения. Например, направление разбиения может представлять собой вертикальное направление, если второй флаг равен 1, и может представлять собой горизонтальное направление, если второй флаг равен 0. Затем третий флаг (например, Mtt_split_cu_binary_flag) может передаваться в служебных сигналах, чтобы указывать то, представляет тип разбиения собой тип на основе двоичного разбиения или тип на основе троичного разбиения. Например, тип разбиения может представлять собой тип на основе двоичного разбиения, когда третий флаг равен 1, и может представлять собой тип на основе троичного разбиения, когда третий флаг равен 0. Узел многотипного дерева, полученного посредством двоичного разбиения или троичного разбиения, дополнительно может сегментироваться на многотипные древовидные структуры. Тем не менее, узел многотипного дерева может не сегментироваться на структуры в виде дерева квадрантов. Если первый флаг равен 0, соответствующий узел многотипного дерева более не разбивается, но становится узлом-листом (MTT_leaf_node) многотипного дерева. CU, соответствующая узлу-листу многотипного дерева, может использоваться в качестве вышеописанной конечной единицы кодирования.[119] Here, the CTU is treated as the root node of a quadtree and is segmented for the first time into a quadtree structure. Information (eg, qt_split_flag) indicating whether or not quadtree splitting is performed for the current CU (CTU or QT_node) is signaled. For example, when qt_split_flag has the first value (for example, "1"), the current CU can be segmented into a quadtree. In addition, when qt_split_flag has a second value (for example, "0"), the current CU is not split into the quadtree, but becomes a leaf node (QT_leaf_node) of the quadtree. Each quadtree leaf node can then be further segmented into multi-type tree structures. Thus, a quadtree leaf node can become a node (MTT_node) of a multi-type tree. In a multi-type tree structure, the first flag (eg, Mtt_split_cu_flag) is signaled to indicate whether or not the current node is further segmented. If the corresponding node is further split (eg, if the first flag is 1), a second flag (eg, Mtt_split_cu_vertical_flag) may be signaled to indicate the direction of the split. For example, the split direction may be a vertical direction if the second flag is 1, and may be a horizontal direction if the second flag is 0. A third flag (for example, Mtt_split_cu_binary_flag) may then be signaled to indicate what represents the split type is a binary partition type or a ternary partition type. For example, the partition type may be a binary partition-based type when the third flag is 1, and may be a ternary partition-based type when the third flag is 0. A node of a multi-type tree obtained by a binary partition or a ternary partition may further be segmented into multi-type tree structures. However, a multi-type tree node may not be segmented into quadtree structures. If the first flag is 0, the corresponding multi-type tree node is no longer split, but becomes a leaf node (MTT_leaf_node) of the multi-type tree. The CU corresponding to a leaf node of a multi-type tree can be used as the final encoding unit described above.

[120] На основе mtt_split_cu_vertical_flag и mtt_split_cu_binary_flag, режим разбиения на основе многотипного дерева (MttSplitMode) CU может извлекаться так, как показано в нижеприведенной таблице 1. В нижеприведенном описании, режим разбиения на основе многотипного дерева может называться "типом разбиения на основе мультидерева" или "типом разбиения".[120] Based on mtt_split_cu_vertical_flag and mtt_split_cu_binary_flag, the multi-tree split mode (MttSplitMode) of the CU can be retrieved as shown in Table 1 below. In the following description, the multi-tree split mode may be called "multi-tree split type" or "partition type".

[121] Табл. 1[121] Tab. 1

MttSplitModeMttSplitMode mtt_split_cu_vertical_flagmtt_split_cu_vertical_flag mtt_split_cu_binary_flagmtt_split_cu_binary_flag SPLIT_TT_HORSPLIT_TT_HOR 00 00 SPLIT_BT_HORSPLIT_BT_HOR 00 11 SPLIT_TT_VERSPLIT_TT_VER 11 00 SPLIT_BT_VERSPLIT_BT_VER 11 11

[122] Фиг. 7 является видом, показывающим пример, в котором CTU сегментируется на несколько CU посредством применения многотипного дерева после применения дерева квадрантов. На фиг. 7, полужирные края 710 блоков представляют сегментацию на основе дерева квадрантов, и оставшиеся края 720 представляют сегментацию на основе многотипного дерева. CU может соответствовать блоку кодирования (CB). В варианте осуществления, CU может включать в себя блок кодирования выборок сигналов яркости и два блока кодирования выборок сигналов цветности, соответствующих выборкам сигналов яркости. CB- или TB-размер компонентных (выборок) сигнала цветности может извлекаться на основе CB- или TB-размера компонентных (выборок) сигнала яркости согласно соотношению компонентов согласно цветовому формату (формату сигналов цветности, например, 4:4:4, 4:2:2, 4:2:0 и т.п.) кадра/изображения. В случае цветового формата 4:4:4, CB/TB-размер компонентов сигнала цветности может задаваться равным CB/TB-размеру компонентов сигнала яркости. В случае 4:2:2 цветовой формат, ширина CB/TB компонентов сигнала цветности может задаваться равной половине ширины CB/TB компонентов сигнала яркости, и высота CB/TB компонентов сигнала цветности может задаваться равной высоте CB/TB компонентов сигнала яркости. В случае цветового формата 4:2:0, ширина CB/TB компонентов сигнала цветности может задаваться равной половине ширины CB/TB компонентов сигнала яркости, и высота CB/TB компонентов сигнала цветности может задаваться равной половине высоты CB/TB компонентов сигнала яркости.[122] FIG. 7 is a view showing an example in which a CTU is segmented into multiple CUs by applying a multi-type tree after applying a quadtree. In fig. 7, bold block edges 710 represent quadtree-based segmentation, and remaining block edges 720 represent multi-tree segmentation. The CU may correspond to a coding block (CB). In an embodiment, the CU may include a luma sample encoder and two chrominance sample encoders corresponding to the luma samples. The CB or TB size of the chrominance signal components may be extracted based on the CB or TB size of the luminance signal components according to the component ratio according to the color format (chrominance signal format, e.g., 4:4:4, 4:2 :2, 4:2:0, etc.) frame/image. In the case of a 4:4:4 color format, the CB/TB size of the chrominance signal components may be set to be equal to the CB/TB size of the luma signal components. In the case of a 4:2:2 color format, the width of the CB/TB chrominance components may be set equal to half the width of the CB/TB luminance components, and the height of the CB/TB chrominance components may be set to be equal to the height of the CB/TB luminance components. In the case of a 4:2:0 color format, the width of the CB/TB chrominance components may be set equal to half the width of the CB/TB chrominance components, and the height of the CB/TB chrominance components may be set to be equal to half the height of the CB/TB luminance components.

[123] В варианте осуществления, когда размер CTU равен 128 на основе единицы выборок сигналов яркости, размер CU может иметь размер от 128×128 до 4×4, что составляет идентичный размер с CTU. В одном варианте осуществления, в случае цветового формата 4:2:0 (или формата сигналов цветности), CB-размер сигналов цветности может иметь размер от 64×64 до 2×2.[123] In the embodiment, when the CTU size is 128 based on the luminance signal unit samples, the CU size may have a size from 128x128 to 4x4, which is the same size as the CTU. In one embodiment, in the case of a 4:2:0 color format (or chroma format), the CB size of the chrominance signals may be from 64x64 to 2x2.

[124] Между тем, в варианте осуществления, CU-размер и TU-размер могут быть идентичными. Альтернативно, может быть предусмотрено множество TU в CU-области. TU-размер, в общем, представляет размер блока преобразования (TB) компонентных (выборок) сигналов яркости.[124] Meanwhile, in an embodiment, the CU size and the TU size may be identical. Alternatively, a plurality of TUs may be provided in the CU area. The TU size generally represents the size of the transform unit (TB) of component (sampled) luminance signals.

[125] TU-размер может извлекаться на основе наибольшего допустимого TB-размера maxTbSize, который составляет предварительно определенное значение. Например, когда CU-размер превышает maxTbSize, множество TU (TB), имеющих maxTbSize, могут извлекаться из CU, и преобразование/обратное преобразование может выполняться в единицах TU (TB). Например, наибольший допустимый TB-размер сигналов яркости может составлять 64×64, и наибольший допустимый TB-размер сигналов цветности может составлять 32×32. Если ширина или высота CB, сегментированного согласно древовидной структуре, больше наибольшей ширины или высоты преобразования, CB может автоматически (или неявно) сегментироваться до тех пор, пока предел TB-размера в горизонтальном и вертикальном направлениях не удовлетворяется.[125] The TU size may be derived based on the largest valid TB size maxTbSize, which is a predetermined value. For example, when the CU size exceeds maxTbSize, a plurality of TUs (TB) having maxTbSize may be retrieved from the CU, and conversion/reconversion may be performed in TU units (TB). For example, the largest allowable TB size for luma signals may be 64×64, and the largest allowable TB size for chrominance signals may be 32×32. If the width or height of a CB segmented according to the tree structure is greater than the largest width or height of the transform, the CB may be automatically (or implicitly) segmented until the TB size limit in the horizontal and vertical directions is satisfied.

[126] Помимо этого, например, когда внутреннее прогнозирование применяется, режим/тип внутреннего прогнозирования может извлекаться в единицах CU (или CB), и процедура извлечения соседних опорных выборок и формирования прогнозных выборок может выполняться в единицах TU (или TB). В этом случае, может быть предусмотрена одна или множество TU (или TB) в одной CU-(или CB-)области, и, в этом случае, множество TU или (TB) могут совместно использовать идентичный режим/тип внутреннего прогнозирования.[126] In addition, for example, when intra prediction is applied, the intra prediction mode/type may be retrieved in CU (or CB) units, and the procedure for retrieving neighboring reference samples and generating prediction samples can be performed in TU (or TB) units. In this case, one or a plurality of TUs (or TBs) may be provided in one CU (or CB) area, and, in this case, the plurality of TUs or TBs may share the same intra prediction mode/type.

[127] Между тем, для схемы дерева кодирования на основе дерева квадрантов с вложенным многотипным деревом, следующие параметры могут передаваться в служебных сигналах в качестве синтаксических SPS-элементов из оборудования кодирования в оборудование декодирования. Например, по меньшей мере, одно из CTU-размера, который представляет собой параметр, представляющий размер корневых узлов дерева квадрантов, MinQTSize, который представляет собой параметр, представляющий минимальный разрешенный размер узлов-листьев дерева квадрантов, MaxBtSize, который представляет собой параметр, представляющий максимальный разрешенный размер корневых узлов двоичного дерева, MaxTtSize, который представляет собой параметр, представляющий максимальный разрешенный размер корневых узлов троичного дерева, MaxMttDepth, который представляет собой параметр, представляющий максимальную разрешенную глубину иерархии разбиения на основе многотипного дерева из узла-листа дерева квадрантов, MinBtSize, который представляет собой параметр, представляющий минимальный разрешенный размер узлов-листьев двоичного дерева, или MinTtSize, который представляет собой параметр, представляющий минимальный разрешенный размер узлов-листьев троичного дерева, передается в служебных сигналах.[127] Meanwhile, for the multi-type nested quadtree encoding scheme, the following parameters may be signaled as SPS syntax elements from encoding equipment to decoding equipment. For example, at least one of CTU-size, which is a parameter representing the size of the quadtree root nodes, MinQTSize, which is a parameter representing the minimum allowed size of the quadtree leaf nodes, MaxBtSize, which is a parameter representing the maximum the allowed size of the root nodes of a binary tree, MaxTtSize, which is a parameter representing the maximum allowed size of the root nodes of a ternary tree, MaxMttDepth, which is a parameter representing the maximum allowed depth of a multi-tree based partition hierarchy from a quadtree leaf node, MinBtSize, which is a parameter representing the minimum allowed size of binary tree leaf nodes, or MinTtSize, which is a parameter representing the minimum allowed size of ternary tree leaf nodes, is signaled.

[128] В качестве варианта осуществления использования формата сигнала цветности 4:2:0, CTU-размер может задаваться равным блокам сигналов яркости 128×128 и двум блокам сигналов цветности 64×64, соответствующим блокам сигналов яркости. В этом случае, MinOTSize может задаваться равным 16×16, MaxBtSize может задаваться равным 128×128, MaxTtSzie может задаваться равным 64×64, MinBtSize и MinTtSize могут задаваться равными 4×4, и MaxMttDepth может задаваться равным 4. Сегментация на основе дерева квадрантов может применяться к CTU, чтобы формировать узлы-листья дерева квадрантов. Узел-лист дерева квадрантов может называться "QT-узлом-листом". Узлы-листья дерева квадрантов могут иметь размер от размера 16×16 (например, MinOTSize) до размера 128×128 (например, CTU-размера). Если QT-узел-лист составляет 128×128, он может дополнительно не сегментироваться на двоичное дерево/троичное дерево. Это обусловлено тем, что в этом случае, даже при сегментации, он превышает MaxBtsize и MaxTtszie (например, 64×64). В других случаях, QT-узлы-листья дополнительно могут сегментироваться на многотипное дерево. Следовательно, QT-узел-лист представляет собой корневой узел для многотипного дерева, и QT-узел-лист может иметь значение в 0 для глубины многотипного дерева (mttDepth). Если глубина многотипного дерева достигает MaxMttdepth (например, 4), дополнительная сегментация может более не рассматриваться. Если ширина узла многотипного дерева равна MinBtSize и меньше или равна 2xMinTtSize, то дополнительная горизонтальная сегментация может не рассматриваться. Если высота узла многотипного дерева равна MinBtSize и меньше или равна 2xMinTtSize, дополнительная вертикальная сегментация может не рассматриваться. Когда сегментация не рассматривается, оборудование кодирования может пропускать передачу в служебных сигналах информации сегментации. В этом случае, оборудование декодирования может извлекать информацию сегментации с предварительно определенным значением.[128] As an embodiment of using a 4:2:0 chrominance signal format, the CTU size may be set to 128x128 luma blocks and two 64x64 chroma blocks corresponding to luma blocks. In this case, MinOTSize can be set to 16x16, MaxBtSize can be set to 128x128, MaxTtSzie can be set to 64x64, MinBtSize and MinTtSize can be set to 4x4, and MaxMttDepth can be set to 4. Quadtree Segmentation can be applied to a CTU to form quadtree leaf nodes. A quadtree leaf node may be called a "QT leaf node". Quadtree leaf nodes can range in size from 16x16 (for example, MinOTSize) to 128x128 (for example, CTU-size). If the QT leaf node is 128x128, it may not be further segmented into a binary tree/ternary tree. This is due to the fact that in this case, even with segmentation, it exceeds MaxBtsize and MaxTtszie (for example, 64x64). In other cases, QT leaf nodes may further be segmented into a multi-type tree. Therefore, a QT leaf node is the root node for a multi-type tree, and a QT leaf node can have a value of 0 for the multi-type tree depth (mttDepth). If the depth of the multi-type tree reaches MaxMttdepth (for example, 4), additional segmentation may no longer be considered. If the node width of a multi-type tree is MinBtSize and less than or equal to 2xMinTtSize, then additional horizontal segmentation may not be considered. If the node height of a multi-type tree is MinBtSize and less than or equal to 2xMinTtSize, additional vertical segmentation may not be considered. When segmentation is not considered, the encoding equipment may omit the signaling of segmentation information. In this case, the decoding equipment can extract segmentation information with a predetermined value.

[129] Между тем, одна CTU может включать в себя блок кодирования выборок сигналов яркости (далее называемый "блоком сигналов яркости") и два блока кодирования выборок сигналов цветности, соответствующих ему (далее называемые "блоками сигналов цветности"). Вышеописанная схема на основе дерева кодирования можно одинаково или отдельно применяться к блоку сигналов яркости и к блоку сигналов цветности текущей CU. В частности, блоки сигналов яркости и сигналов цветности в одной CTU могут сегментироваться на идентичную блочную древовидную структуру, и в этом случае, древовидная структура представляется как SINGLE_TREE. Альтернативно, блоки сигналов яркости и сигналов цветности в одной CTU могут сегментироваться на отдельные блочные древовидные структуры, и в этом случае, древовидная структура может представляться как DUAL_TREE. Таким образом, когда CTU сегментируется на сдвоенные деревья, блочная древовидная структура для блока сигналов яркости и блочная древовидная структура для блока сигналов цветности могут отдельно присутствовать. В этом случае, блочная древовидная структура для блока сигналов яркости может называться "DUAL_TREE_LUMA", и блочная древовидная структура для компонента сигнала цветности может называться "DUAL_TREE_CHROMA". Для групп P- и B-срезов/плиток, блоки сигналов яркости и сигналов цветности в одной CTU могут быть ограничены тем, что они имеют идентичную структуру в виде дерева кодирования. Тем не менее, для групп I-срезов/плиток, блоки сигналов яркости и сигналов цветности могут иметь отдельную блочную древовидную структуру относительно друг друга. Если отдельная блочная древовидная структура применяется, CTB сигналов яркости может сегментироваться на CU на основе конкретной структуры в виде дерева кодирования, и CTB сигналов цветности может сегментироваться на CU сигнала цветности на основе другой структуры в виде дерева кодирования. Таким образом, это означает то, что CU в группе I-срезов/плиток, к которой применяется отдельная блочная древовидная структура, может включать в себя блок кодирования компонентов сигнала яркости или блоки кодирования двух компонентов сигнала цветности, и CU группы P- или B-срезов/плиток может включать в себя блоки трех цветовых компонентов (компонента сигнала яркости и двух компонентов сигнала цветности).[129] Meanwhile, one CTU may include a luminance signal sample encoding unit (hereinafter referred to as a "luminance signal unit") and two chrominance signal sample encoding units corresponding thereto (hereinafter referred to as "chrominance signal units"). The above-described coding tree-based scheme can be applied equally or separately to the luma signal block and the chrominance signal block of the current CU. In particular, luma and chroma blocks in the same CTU may be segmented into an identical block tree structure, in which case, the tree structure is represented as SINGLE_TREE. Alternatively, blocks of luma and chrominance signals in a single CTU may be segmented into separate block tree structures, in which case, the tree structure may be represented as DUAL_TREE. Thus, when a CTU is segmented into dual trees, a block tree structure for a luma block and a block tree for a chrominance block may be separately present. In this case, the block tree structure for the luminance signal block may be called "DUAL_TREE_LUMA", and the block tree structure for the chrominance signal component may be called "DUAL_TREE_CHROMA". For groups of P- and B-slices/tiles, luma and chrominance blocks in the same CTU may be limited to having identical encoding tree structure. However, for groups of I-slices/tiles, luma and chroma blocks may have a separate block tree structure relative to each other. If a separate block tree structure is used, the luma CTB may be segmented into CUs based on a particular coding tree structure, and the chroma CTB may be segmented into chrominance CUs based on a different coding tree structure. Thus, this means that a CU in an I-slice/tile group to which a separate block tree structure is applied may include a luma component encoding unit or two chrominance component encoding units, and CUs of a P- or B- group. slices/tiles may include blocks of three color components (a luma component and two chrominance components).

[130] Хотя описывается структура в виде дерева кодирования на основе дерева квадрантов с вложенным многотипным деревом, структура, в которой CU сегментируется, не ограничена этим. Например, BT-структура и TT-структура могут интерпретироваться в качестве понятия, включенного в структуру в виде дерева с несколькими видами сегментации (MPT), и CU может интерпретироваться как сегментируемая через QT-структуру и MPT-структуру. В примере, в котором CU сегментируется через QT-структуру и MPT-структуру, синтаксический элемент (например, MPT_split_type), включающий в себя информацию относительно того, на сколько блоков сегментируется узел-лист QT-структуры, и синтаксический элемент (например, MPT_split_mode), включающий в себя информацию относительно того, в каком из вертикального и горизонтального направлений сегментируется узел-лист QT-структуры, может передаваться в служебных сигналах, чтобы определять структуру сегментации.[130] Although a structure in the form of a quadtree-based coding tree with a nested multi-type tree is described, the structure in which the CU is segmented is not limited to this. For example, a BT structure and a TT structure may be interpreted as a concept included in a multi-partitioning tree (MPT) structure, and a CU may be interpreted as segmentable through a QT structure and an MPT structure. In an example in which the CU is segmented across a QT structure and an MPT structure, a syntax element (for example, MPT_split_type) including information regarding how many blocks the leaf node of the QT structure is segmented into, and a syntax element (for example, MPT_split_mode) , including information regarding in which of the vertical and horizontal directions the leaf node of the QT structure is segmented, may be signaled to determine the segmentation structure.

[131] В другом примере, CU может сегментироваться способом, отличающимся от QT-структуры, BT-структуры или TT-структуры. Таким образом, в отличие от того, что CU меньшей глубины сегментируется на 1/4 от CU большей глубины согласно QT-структуре, CU меньшей глубины сегментируется на 1/2 от CU большей глубины согласно BT-структуре, или CU меньшей глубины сегментируется на 1/4 или 1/2 от CU большей глубины согласно TT-структуре, CU меньшей глубины может сегментироваться на 1/5, 1/3, 3/8, 3/5, 2/3 или 5/8 от CU большей глубины в некоторых случаях, и способ сегментации CU не ограничен этим.[131] In another example, the CU may be segmented in a manner different from the QT structure, BT structure, or TT structure. Thus, in contrast to a smaller CU being segmented 1/4 of a larger depth CU according to the QT structure, a shallower CU being segmented 1/2 of a larger depth CU according to the BT structure, or a shallower CU being segmented by 1 /4 or 1/2 of a deeper CU according to the TT structure, a shallower CU can be segmented to 1/5, 1/3, 3/8, 3/5, 2/3 or 5/8 of a deeper CU in some cases, and the CU segmentation method is not limited to this.

[132] Структура блоков кодирования дерева квадрантов с многотипным деревом может предоставлять очень гибкую структуру сегментации на блоки. Вследствие типов сегментации, поддерживаемых в многотипном дереве, различные шаблоны сегментации могут потенциально приводить к идентичной структуре блоков кодирования в некоторых случаях. В оборудовании кодирования и оборудовании декодирования, посредством ограничения возникновения таких избыточных шаблонов сегментации, может уменьшаться объем данных информации сегментации.[132] The multi-type tree quadtree coding block structure can provide a very flexible block segmentation structure. Due to the segmentation types supported in a multi-type tree, different segmentation patterns can potentially result in an identical encoding block structure in some cases. In the encoding equipment and decoding equipment, by limiting the occurrence of such redundant segmentation patterns, the data amount of segmentation information can be reduced.

[133] Например, фиг. 8 показывает избыточные шаблоны разбиения, которые могут возникать при разбиении на двоичное дерево и разбиении на троичное дерево. Как показано на фиг. 8, непрерывное двоичное разбиение 810 и 820 для одного направления двухэтапных уровней имеет структуру блоков кодирования, идентичную структуре блоков кодирования для двоичного разбиения для центрального сегмента после троичного разбиения. В этом случае, разбиение на двоичное дерево для центральных блоков 830 и 840 разбиения на троичное дерево может запрещаться. этот запрет является применимым к CU всех кадров. Когда такое конкретное разбиение запрещается, передача в служебных сигналах соответствующих синтаксических элементов может модифицироваться посредством отражения этого запрещенного случая, за счет этого уменьшая число битов, передаваемых в служебных сигналах для разбиения. Например, как показано в примере, приведенном на фиг. 8, когда разбиение на двоичное дерево для центрального блока CU запрещается, синтаксический элемент mtt_split_cu_binary_flag, указывающий то, представляет разбиение собой двоичное разбиение или троичное разбиение, не передается в служебных сигналах, и его значение может извлекаться в качестве 0 посредством оборудования декодирования.[133] For example, FIG. 8 shows the redundant partitioning patterns that can occur in binary tree partitioning and ternary tree partitioning. As shown in FIG. 8, the continuous binary partition 810 and 820 for one direction of the two-stage layers has a coding block structure identical to the coding block structure for the binary partition for the center segment after the ternary partition. In this case, binary tree splitting for the central ternary tree splitting units 830 and 840 may be prohibited. this prohibition is applicable to all frame CUs. When such a particular split is prohibited, the signaling of the corresponding syntax elements may be modified to reflect this prohibited case, thereby reducing the number of bits signaled for the split. For example, as shown in the example shown in FIG. 8, when binary splitting for a central CU is disabled, a syntax element mtt_split_cu_binary_flag indicating whether the split is a binary split or a ternary split is not signaled, and its value may be extracted as 0 by the decoding equipment.

[134] Общее представление взаимного прогнозирования[134] General presentation of mutual forecasting

[135] В дальнейшем в этом документе описывается взаимное прогнозирование согласно настоящему раскрытию сущности.[135] This document further describes mutual prediction according to the present disclosure.

[136] Модуль прогнозирования оборудования кодирования изображений/оборудования декодирования изображений согласно настоящему раскрытию сущности может выполнять взаимное прогнозирование в единицах блоков, чтобы извлекать прогнозную выборку. Взаимное прогнозирование может представлять прогнозирование, извлекаемое таким способом, который зависит от элементов данных (например, выборочных значений, информации движения и т.д.) кадра(ов), отличного от текущего кадра. Когда взаимное прогнозирование применяется к текущему блоку, прогнозированный блок (блок прогнозирования или массив прогнозных выборок) для текущего блока может извлекаться на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра, указываемого посредством индекса опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения текущего блока может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию типа взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" или "colBlock", и опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)" или "colPicture". Например, список возможных вариантов информации движения может конструироваться на основе соседних блоков относительно текущего блока, и информация флага или индекса, указывающая то, какой возможный вариант выбирается (используется), может передаваться в служебных сигналах, с тем чтобы извлекать вектор движения текущего блока и/или индекс опорного кадра.[136] The image encoding equipment/image decoding equipment prediction module according to the present disclosure can perform inter-prediction in units of blocks to extract a prediction sample. The inter-prediction may represent a prediction extracted in a manner that depends on data elements (eg, sample values, motion information, etc.) of frame(s) other than the current frame. When inter-prediction is applied to the current block, a predicted block (prediction block or prediction sample array) for the current block can be retrieved based on the reference block (reference sample array) indicated by the motion vector for the reference frame indicated by the reference frame index. In this case, in order to reduce the amount of motion information transmitted in the inter-prediction mode, the motion information of the current block may be predicted in units of blocks, sub-blocks or samples based on the correlation of the motion information between a neighboring block and the current block. The motion information may include a motion vector and a reference frame index. The motion information may further include inter-prediction type information (L0 prediction, L1 prediction, bi-prediction, etc.). In the case of inter-prediction, the neighbor block may include a spatial neighbor block present in the current frame and a temporal neighbor block present in the reference frame. The reference frame including the reference block and the reference frame including the temporary adjacent block may be identical or different. A temporary neighbor block may be referred to as a "co-located reference block", "col-located CU (colCU)" or "colBlock", and a reference frame including a temporary neighboring block may be referred to as a "col-located frame (colPic)" or "colPicture". . For example, a list of candidate motion information may be constructed based on neighboring blocks relative to the current block, and flag or index information indicating which candidate is selected (used) may be signaled so as to retrieve the motion vector of the current block and/or or reference frame index.

[137] Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования. Например, в случае режима пропуска и режима объединения, информация движения текущего блока может быть равной информации движения выбранного соседнего блока. В случае режима пропуска, остаточный сигнал может не передаваться, в отличие от режима объединения. В случае режима прогнозирования информации движения (MVP), вектор движения выбранного соседнего блока может использоваться в качестве предиктора вектора движения, и разность векторов движения может передаваться в служебных сигналах. В этом случае, вектор движения текущего блока может извлекаться с использованием суммы предиктора вектора движения и разности векторов движения. В настоящем раскрытии сущности, MVP-режим может иметь смысловое значение, идентичное смысловому значению усовершенствованного прогнозирования векторов движения (AMVP).[137] Inter-prediction can be performed based on different prediction modes. For example, in the case of the skip mode and the merge mode, the motion information of the current block may be equal to the motion information of the selected adjacent block. In the case of the skip mode, the residual signal may not be transmitted, unlike the combine mode. In the case of the motion information prediction (MVP) mode, the motion vector of the selected neighboring block can be used as a motion vector predictor, and the motion vector difference can be signaled. In this case, the motion vector of the current block can be extracted using the sum of the motion vector predictor and the motion vector difference. In the present disclosure, the MVP mode may have a meaning identical to that of Advanced Motion Vector Prediction (AMVP).

[138] Информация движения может включать в себя L0-информацию движения и/или L1-информацию движения согласно типу взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). Вектор движения в L0-направлении может называться "L0-вектором движения" или "MVL0", и вектор движения в L1-направлении может называться "L1-вектором движения" или "MVL1". Прогнозирование на основе L0-вектора движения может называться "L0-прогнозированием", прогнозирование на основе L1-вектора движения может называться "L1-прогнозированием", и прогнозирование на основе как L0-вектора движения, так и L1-вектора движения может называться "бипрогнозированием". Здесь, L0-вектор движения может указывать вектор движения, ассоциированный со списком L0 опорных кадров (L0), и L1-вектор движения может указывать вектор движения, ассоциированный со списком L1 опорных кадров (L1). Список L0 опорных кадров может включать в себя кадры перед текущим кадром в порядке вывода в качестве опорных кадров, и список L1 опорных кадров может включать в себя кадры после текущего кадра в порядке вывода. Предыдущие кадры могут называться "прямыми (опорными) кадрами", и последующие кадры могут называться "обратными (опорными) кадрами". Список L0 опорных кадров дополнительно может включать в себя кадры после текущего кадра в порядке вывода в качестве опорных кадров. В этом случае, в списке L0 опорных кадров, предыдущие кадры могут сначала индексироваться, и последующие кадры затем могут индексироваться. Список L1 опорных кадров дополнительно может включать в себя кадры перед текущим кадром в порядке вывода в качестве опорных кадров. В этом случае, в списке L1 опорных кадров, последующие кадры могут сначала индексироваться, и предыдущие кадры затем могут индексироваться. Здесь, порядок вывода может соответствовать порядку номеров в последовательности кадров (POC).[138] The motion information may include L0 motion information and/or L1 motion information according to a type of inter-prediction (L0 prediction, L1 prediction, bi-prediction, etc.). The motion vector in the L0 direction may be referred to as the "L0 motion vector" or "MVL0", and the motion vector in the L1 direction may be referred to as the "L1 motion vector" or "MVL1". Prediction based on L0 motion vector may be referred to as “L0 prediction,” prediction based on L1 motion vector may be referred to as “L1 prediction,” and prediction based on both L0 motion vector and L1 motion vector may be referred to as “biprediction.” ". Here, the L0 motion vector may indicate a motion vector associated with a reference frame list (L0) L0, and the L1 motion vector may indicate a motion vector associated with a reference frame list (L1) L1. The reference frame list L0 may include frames before the current frame in output order as reference frames, and the reference frame list L1 may include frames after the current frame in output order. Previous frames may be referred to as "forward (reference) frames" and subsequent frames may be referred to as "reverse (reference) frames". The reference frame list L0 may further include frames after the current frame in the order of output as reference frames. In this case, in the reference frame list L0, previous frames may be indexed first, and subsequent frames may then be indexed. The reference frame list L1 may further include frames before the current frame in the order of output as reference frames. In this case, in the reference frame list L1, subsequent frames may be indexed first, and previous frames may then be indexed. Here, the order of output may correspond to the order of numbers in the sequence of frames (POC).

[139] Фиг. 9 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе взаимного прогнозирования.[139] FIG. 9 is a flowchart illustrating a video/image encoding method based on inter prediction.

[140] Фиг. 10 является видом, иллюстрирующим конфигурацию модуля 180 взаимного прогнозирования согласно настоящему раскрытию сущности.[140] FIG. 10 is a view illustrating the configuration of the inter-prediction module 180 according to the present disclosure.

[141] Способ кодирования по фиг. 9 может осуществляться посредством оборудования кодирования изображений по фиг. 2. В частности, этап S610 может выполняться посредством модуля 180 взаимного прогнозирования, и этап S620 может выполняться посредством остаточного процессора. В частности, этап S620 может выполняться посредством вычитателя 115. Этап S630 может выполняться посредством энтропийного кодера 190. Информация прогнозирования этапа S630 может извлекаться посредством модуля 180 взаимного прогнозирования, и остаточная информация этапа S630 может извлекаться посредством остаточного процессора. Остаточная информация представляет собой информацию относительно остаточных выборок. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования для остаточных выборок. Как описано выше, остаточные выборки могут извлекаться в качестве коэффициентов преобразования через преобразователь 120 оборудования кодирования изображений, и коэффициенты преобразования могут извлекаться в качестве квантованных коэффициентов преобразования через квантователь 130. Информация относительно квантованных коэффициентов преобразования может кодироваться посредством энтропийного кодера 190 через процедуру остаточного кодирования.[141] The encoding method of FIG. 9 may be implemented by the image encoding equipment of FIG. 2. Specifically, step S610 may be performed by the inter-prediction unit 180, and step S620 may be performed by the residual processor. Specifically, step S620 may be performed by the subtractor 115. Step S630 may be performed by the entropy encoder 190. The prediction information of step S630 may be extracted by the inter-prediction unit 180, and the residual information of step S630 may be extracted by the residual processor. Residual information is information regarding the residual samples. The residual information may include information regarding quantized transform coefficients for the residual samples. As described above, the residual samples can be extracted as transform coefficients through the image encoding equipment transformer 120, and the transform coefficients can be extracted as quantized transform coefficients through the quantizer 130. Information regarding the quantized transform coefficients can be encoded by the entropy encoder 190 through a residual encoding procedure.

[142] Оборудование кодирования изображений может выполнять взаимное прогнозирование для текущего блока (S610). Оборудование кодирования изображений может извлекать режим взаимного прогнозирования и информацию движения текущего блока и формировать прогнозные выборки текущего блока. Здесь, процедуры определения режима взаимного прогнозирования, извлечения информации движения и формирования прогнозных выборок могут одновременно выполняться, либо любая из них может выполняться перед другими процедурами. Например, как показано на фиг. 10, модуль 180 взаимного прогнозирования оборудования 100 кодирования изображений может включать в себя модуль 181 определения режима прогнозирования, модуль 182 извлечения информации движения и модуль 183 извлечения прогнозных выборок. Модуль 181 определения режима прогнозирования может определять режим прогнозирования текущего блока, модуль 182 извлечения информации движения может извлекать информацию движения текущего блока, и модуль 183 извлечения прогнозных выборок может извлекать прогнозные выборки текущего блока. Например, модуль 180 взаимного прогнозирования оборудования кодирования изображений может выполнять поиск блока, аналогичного текущему блоку в предварительно определенной зоне (зоне поиска) опорных кадров через оценку движения, и извлекать опорный блок, разность которого относительно текущего блока равна или меньше предварительно определенного критерия или минимума. На основе этого, индекс опорного кадра, указывающий опорный кадр, в котором расположен опорный блок, может извлекаться, и вектор движения может извлекаться на основе разности позиций между опорным блоком и текущим блоком. Оборудование кодирования изображений может определять режим, применяемый к текущему блоку, из различных режимов прогнозирования. Оборудование кодирования изображений может сравнивать функции затрат на искажение в зависимости от скорости передачи (RD) для различных режимов прогнозирования и определять оптимальный режим прогнозирования текущего блока. Тем не менее, способ определения режима прогнозирования текущего блока посредством оборудования кодирования изображений не ограничен вышеприведенным примером, и могут использоваться различные способы.[142] The image encoding equipment may perform inter-prediction for the current block (S610). The image encoding equipment can extract the inter-prediction mode and motion information of the current block and generate predictive samples of the current block. Here, the procedures for determining the mutual prediction mode, extracting motion information, and generating prediction samples may be performed simultaneously, or any of them may be performed before the other procedures. For example, as shown in FIG. 10, the inter-prediction unit 180 of the image encoding equipment 100 may include a prediction mode determining unit 181, a motion information extracting unit 182, and a prediction sample extracting unit 183. The prediction mode determining unit 181 may determine the prediction mode of the current block, the motion information extracting unit 182 may extract motion information of the current block, and the prediction sample extracting unit 183 may extract prediction samples of the current block. For example, the image encoding equipment inter-prediction unit 180 can search for a block similar to the current block in a predetermined area (search area) of reference frames through motion estimation, and extract a reference block whose difference with respect to the current block is equal to or less than a predetermined criterion or minimum. Based on this, a reference frame index indicating the reference frame in which the reference block is located can be retrieved, and a motion vector can be retrieved based on the position difference between the reference block and the current block. The image encoding equipment may determine the mode applied to the current block from various prediction modes. The image encoding equipment can compare the distortion cost functions as a function of the bit rate (RD) for different prediction modes and determine the optimal prediction mode of the current block. However, the method for determining the prediction mode of the current block by the image encoding equipment is not limited to the above example, and various methods can be used.

[143] Например, когда режим пропуска или режим объединения применяется к текущему блоку, оборудование кодирования изображений может извлекать возможные варианты объединения из соседних блоков относительно текущего блока и конструировать список возможных вариантов объединения с использованием извлеченных возможных вариантов объединения. Помимо этого, оборудование кодирования изображений может извлекать опорный блок, разность которого относительно текущего блока равна или меньше предварительно определенного критерия или минимума, из опорных блоков, указываемых посредством возможных вариантов объединения, включенных в список возможных вариантов объединения. В этом случае, возможный вариант объединения, ассоциированный с извлеченным опорным блоком, может выбираться, и информация индекса объединения, указывающая выбранный возможный вариант объединения, может формироваться и передаваться в служебных сигналах в оборудование декодирования изображений. Информация движения текущего блока может извлекаться с использованием информации движения выбранного возможного варианта объединения.[143] For example, when a skip mode or a merge mode is applied to a current block, the image encoding equipment may extract merge candidates from neighboring blocks relative to the current block and construct a list of merge candidates using the extracted merge candidates. In addition, the image encoding equipment can extract a reference block whose difference with respect to the current block is equal to or less than a predetermined criterion or minimum from the reference blocks indicated by the combine candidates included in the list of combine candidates. In this case, a combine candidate associated with the extracted reference block can be selected, and combine index information indicating the selected merge candidate can be generated and signaled to the image decoding equipment. The motion information of the current block may be extracted using the motion information of the selected combining candidate.

[144] В качестве другого примера, когда MVP-режим применяется к текущему блоку, оборудование кодирования изображений может извлекать возможные варианты предикторов векторов движения (MVP) из соседних блоков относительно текущего блока и конструировать список возможных MVP-вариантов с использованием извлеченных возможных MVP-вариантов. Помимо этого, оборудование кодирования изображений может использовать вектор движения возможного MVP-варианта, выбранного из числа возможных MVP-вариантов, включенных в список возможных MVP-вариантов, в качестве MVP текущего блока. В этом случае, например, вектор движения, указывающий опорный блок, извлекаемый посредством вышеописанной оценки движения, может использоваться в качестве вектора движения текущего блока, и возможный MVP-вариант с вектором движения, имеющим наименьшую разность относительно вектора движения текущего блока из возможных MVP-вариантов, может представлять собой выбранный возможный MVP-вариант. Разность векторов движения (MVD), которая представляет собой разность, полученную посредством вычитания MVP из вектора движения текущего блока, может извлекаться. В этом случае, информация индекса, указывающая выбранный возможный MVP-вариант и информацию относительно MVD, может передаваться в служебных сигналах в оборудование декодирования изображений. Помимо этого, при применении MVP-режима, значение индекса опорного кадра может конструироваться в качестве информации индекса опорного кадра и отдельно передаваться в служебных сигналах в оборудование декодирования изображений.[144] As another example, when the MVP mode is applied to the current block, the image encoding equipment may extract motion vector predictor (MVP) candidates from neighboring blocks relative to the current block and construct a list of MVP candidates using the extracted MVP candidates . In addition, the image encoding equipment may use a motion vector of an MVP candidate selected from among the MVP candidates included in the MVP candidate list as the MVP of the current block. In this case, for example, the motion vector indicating the reference block extracted by the above-described motion estimation can be used as the motion vector of the current block, and a possible MVP variant with a motion vector having the smallest difference with respect to the motion vector of the current block among the possible MVP variants , may represent a selected candidate MVP. A motion vector difference (MVD), which is a difference obtained by subtracting the MVP from the motion vector of the current block, can be extracted. In this case, index information indicating the selected MVP candidate and information regarding the MVD may be signaled to the image decoding equipment. In addition, when the MVP mode is applied, the reference frame index value can be constructed as reference frame index information and separately signaled to the image decoding equipment.

[145] Оборудование кодирования изображений может извлекать остаточные выборки на основе прогнозных выборок (S620). Оборудование кодирования изображений может извлекать остаточные выборки через сравнение между исходными выборками текущего блока и прогнозных выборок. Например, остаточная выборка может извлекаться посредством вычитания соответствующей прогнозной выборки из исходной выборки.[145] The image encoding equipment may extract residual samples based on the predictive samples (S620). The image encoding hardware can extract residual samples through a comparison between the current block's original samples and the predicted samples. For example, the residual sample may be extracted by subtracting the corresponding predictive sample from the original sample.

[146] Оборудование кодирования изображений может кодировать информацию изображений, включающую в себя информацию прогнозирования и остаточную информацию (S630). Оборудование 100 кодирования изображений может выводить кодированную информацию изображений в форме потока битов. Информация прогнозирования может включать в себя информацию режима прогнозирования (например, флаг пропуска, флаг объединения или индекс режима и т.д.) и информацию движения в качестве информации, связанной с процедурой прогнозирования. Из информации режима прогнозирования, флаг пропуска указывает то, применяется или нет режим пропуска к текущему блоку, и флаг объединения указывает то, применяется или нет режим объединения к текущему блоку. Альтернативно, информация режима прогнозирования может указывать один из множества режимов прогнозирования, к примеру, индекс режима. Когда флаг пропуска и флаг объединения равны 0, может определяться то, что MVP-режим применяется к текущему блоку. Информация относительно информации движения может включать в себя информацию выбора возможных вариантов (например, индекс объединения, MVP-флаг или MVP-индекс), которая представляет собой информацию для извлечения вектора движения. Из информации выбора возможных вариантов, индекс объединения может передаваться в служебных сигналах, когда режим объединения применяется к текущему блоку, и может представлять собой информацию для выбора одного из возможных вариантов объединения, включенных в список возможных вариантов объединения. Из информации выбора возможных вариантов, MVP-флаг или MVP-индекс может передаваться в служебных сигналах, когда MVP-режим применяется к текущему блоку, и может представлять собой информацию для выбора одного из возможных MVP-вариантов в списке возможных MVP-вариантов. Помимо этого, информация относительно информации движения может включать в себя информацию относительно вышеописанной MVD и/или информации индекса опорного кадра. Помимо этого, информация относительно информации движения может включать в себя информацию, указывающую то, следует применять L0-прогнозирование, L1-прогнозирование или бипрогнозирование. Остаточная информация представляет собой информацию относительно остаточных выборок. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования для остаточных выборок.[146] The image encoding equipment can encode image information including prediction information and residual information (S630). The image encoding equipment 100 may output encoded image information in the form of a bit stream. The prediction information may include prediction mode information (eg, a skip flag, a merge flag, or a mode index, etc.) and motion information as information associated with the prediction procedure. From the prediction mode information, the skip flag indicates whether or not the skip mode is applied to the current block, and the merge flag indicates whether or not the merge mode is applied to the current block. Alternatively, the prediction mode information may indicate one of a plurality of prediction modes, eg, a mode index. When the skip flag and the merge flag are 0, it can be determined that the MVP mode is applied to the current block. The information regarding the motion information may include candidate selection information (eg, a pooling index, an MVP flag, or an MVP index), which is information for extracting a motion vector. From the candidate selection information, the combining index may be signaled when a combining mode is applied to the current block, and may be information for selecting one of the combining candidates included in the combining candidate list. Of the candidate selection information, an MVP flag or an MVP index may be signaled when the MVP mode is applied to the current block, and may be information for selecting one of the candidate MVP candidates in the candidate MVP candidate list. In addition, information regarding motion information may include information regarding the above-described MVD and/or reference frame index information. In addition, information regarding the motion information may include information indicating whether L0 prediction, L1 prediction, or bi-prediction should be applied. Residual information is information regarding the residual samples. The residual information may include information regarding quantized transform coefficients for the residual samples.

[147] Выходной поток битов может сохраняться на (цифровом) носителе хранения данных и передаваться в оборудование декодирования изображений либо может передаваться в оборудование декодирования изображений через сеть.[147] The output bitstream may be stored on a (digital) storage medium and transmitted to the image decoding equipment, or may be transmitted to the image decoding equipment via a network.

[148] Как описано выше, оборудование кодирования изображений может формировать восстановленный кадр (кадр, включающий в себя восстановленные выборки и восстановленный блок) на основе опорных выборок и остаточных выборок. Это служит для извлечения, посредством оборудования кодирования изображений, результата прогнозирования, идентичного прогнозированию, выполняемому посредством оборудования декодирования изображений, за счет этого повышая эффективность кодирования. Соответственно, оборудование кодирования изображений может сохранять восстановленный кадр (или восстановленные выборки и восстановленный блок) в запоминающем устройстве и использовать его в качестве опорного кадра для взаимного прогнозирования. Как описано выше, процедура внутриконтурной фильтрации дополнительно может применяться к восстановленному кадру.[148] As described above, the image encoding equipment can generate a reconstructed frame (a frame including reconstructed samples and a reconstructed block) based on the reference samples and residual samples. This serves to extract, by the image encoding equipment, a prediction result identical to the prediction performed by the image decoding equipment, thereby improving encoding efficiency. Accordingly, the image encoding equipment may store the reconstructed frame (or the reconstructed samples and the reconstructed block) in a storage device and use it as a reference frame for inter-prediction. As described above, an in-loop filtering procedure may further be applied to the reconstructed frame.

[149] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе взаимного прогнозирования.[149] FIG. 11 is a flowchart illustrating a video/image decoding method based on inter-prediction.

[150] Фиг. 12 является видом, иллюстрирующим конфигурацию модуля 260 взаимного прогнозирования согласно настоящему раскрытию сущности.[150] FIG. 12 is a view illustrating the configuration of the inter-prediction module 260 according to the present disclosure.

[151] Оборудование декодирования изображений может выполнять операцию, соответствующую операции, выполняемой посредством оборудования кодирования изображений. Оборудование декодирования изображений может выполнять прогнозирование для текущего блока на основе принимаемой информации прогнозирования и извлекать прогнозные выборки.[151] The image decoding equipment may perform an operation corresponding to the operation performed by the image encoding equipment. The image decoding equipment may perform prediction for the current block based on the received prediction information and extract prediction samples.

[152] Способ декодирования по фиг. 11 может осуществляться посредством оборудования декодирования изображений по фиг. 3. Этапы S810-S830 могут выполняться посредством модуля 260 взаимного прогнозирования, и информация прогнозирования этапа S810 и остаточная информация этапа S840 может получаться из потока битов посредством энтропийного декодера 210. Остаточный процессор оборудования декодирования изображений может извлекать остаточные выборки для текущего блока на основе остаточной информации (S840). В частности, деквантователь 220 остаточного процессора может выполнять деквантование на основе деквантованных коэффициентов преобразования, извлекаемых на основе остаточной информации, чтобы извлекать коэффициенты преобразования, и обратный преобразователь 230 остаточного процессора может выполнять обратное преобразование для коэффициентов преобразования, чтобы извлекать остаточные выборки для текущего блока. Этап S850 может выполняться посредством сумматора 235 или модуля восстановления.[152] The decoding method of FIG. 11 may be implemented by the image decoding equipment of FIG. 3. Steps S810 to S830 may be performed by the inter prediction unit 260, and the prediction information of step S810 and the residual information of step S840 may be obtained from the bitstream by the entropy decoder 210. The residual processor of the image decoding equipment may extract residual samples for the current block based on the residual information. (S840). In particular, the residual processor dequantizer 220 may perform dequantization based on the dequantized transform coefficients extracted based on the residual information to extract transform coefficients, and the residual processor inverter 230 may perform inverse transform on the transform coefficients to extract residual samples for the current block. Step S850 may be performed by the adder 235 or the recovery module.

[153] В частности, оборудование декодирования изображений может определять режим прогнозирования текущего блока на основе принимаемой информации прогнозирования (S810). Оборудование декодирования изображений может определять то, какой режим взаимного прогнозирования применяется к текущему блоку, на основе информации режима прогнозирования в информации прогнозирования.[153] Specifically, the image decoding equipment may determine a prediction mode of the current block based on the received prediction information (S810). The image decoding equipment can determine which inter-prediction mode is applied to the current block based on the prediction mode information in the prediction information.

[154] Например, может определяться то применяется или нет режим пропуска к текущему блоку, на основе флага пропуска. Помимо этого, может определяться то, применяется режим объединения или MVP-режим к текущему блоку, на основе флага объединения. Альтернативно, один из различных возможных вариантов режимов взаимного прогнозирования может выбираться на основе индекса режима. Возможные варианты режимов взаимного прогнозирования могут включать в себя режим пропуска, режим объединения и/или MVP-режим либо могут включать в себя различные режимы взаимного прогнозирования, которые описываются ниже.[154] For example, whether or not skip mode is applied to the current block can be determined based on the skip flag. In addition, it can be determined whether the merge mode or MVP mode is applied to the current block based on the merge flag. Alternatively, one of the various possible inter-prediction mode options may be selected based on the mode index. Options for inter-prediction modes may include a skip mode, a merge mode, and/or an MVP mode, or may include various inter-prediction modes, which are described below.

[155] Оборудование декодирования изображений может извлекать информацию движения текущего блока на основе определенного режима взаимного прогнозирования (S820). Например, когда режим пропуска или режим объединения применяется к текущему блоку, оборудование декодирования изображений может конструировать список возможных вариантов объединения, который описывается ниже, и выбирать один из возможных вариантов объединения, включенных в список возможных вариантов объединения. Выбор может выполняться на основе вышеописанной информации выбора возможных вариантов (индекса объединения). Информация движения текущего блока может извлекаться с использованием информации движения выбранного возможного варианта объединения. Например, информация движения выбранного возможного варианта объединения может использоваться как информация движения текущего блока.[155] The image decoding equipment may extract motion information of the current block based on the determined inter-prediction mode (S820). For example, when a skip mode or a combine mode is applied to the current block, the image decoding equipment may construct a list of combine candidates, which is described below, and select one of the combine candidates included in the list of combine candidates. The selection may be made based on the candidate selection information (merging index) described above. The motion information of the current block may be extracted using the motion information of the selected combining candidate. For example, the motion information of the selected combining candidate may be used as the motion information of the current block.

[156] В качестве другого примера, когда MVP-режим применяется к текущему блоку, оборудование декодирования изображений может конструировать список возможных MVP-вариантов и использовать вектор движения возможного MVP-варианта, выбранного из числа возможных MVP-вариантов, включенных в список возможных MVP-вариантов, в качестве MVP текущего блока. Выбор может выполняться на основе вышеописанной информации выбора возможных вариантов (MVP-флага или MVP-индекса). В этом случае, MVD текущего блока может извлекаться на основе информации относительно MVD, и вектор движения текущего блока может извлекаться на основе MVP и MVD текущего блока. Помимо этого, индекс опорного кадра текущего блока может извлекаться на основе информации индекса опорного кадра. Кадр, указываемый посредством индекса опорного кадра в списке опорных кадров текущего блока, может извлекаться в качестве опорного кадра, на который ссылаются для взаимного прогнозирования текущего блока.[156] As another example, when the MVP mode is applied to the current block, the picture decoding equipment may construct a list of candidate MVPs and use a motion vector of a candidate MVP selected from among candidate MVPs included in the list of candidate MVPs. options as the MVP of the current block. The selection may be made based on the candidate selection information described above (MVP flag or MVP index). In this case, the MVD of the current block can be extracted based on information regarding the MVD, and the motion vector of the current block can be extracted based on the MVP and MVD of the current block. In addition, the reference frame index of the current block may be retrieved based on the reference frame index information. The frame indicated by the reference frame index in the reference frame list of the current block may be retrieved as a reference frame referred to for inter-prediction of the current block.

[157] Оборудование декодирования изображений может формировать прогнозные выборки текущего блока на основе информации движения текущего блока (S830). В этом случае, опорный кадр может извлекаться на основе индекса опорного кадра текущего блока, и прогнозные выборки текущего блока могут извлекаться с использованием выборок опорного блока, указываемого посредством вектора движения текущего блока на опорном кадре. В некоторых случаях, процедура фильтрации прогнозных выборок дополнительно может выполняться для всех или некоторых прогнозных выборок текущего блока.[157] The image decoding equipment can generate predictive samples of the current block based on motion information of the current block (S830). In this case, the reference frame can be retrieved based on the reference frame index of the current block, and the prediction samples of the current block can be retrieved using the samples of the reference block indicated by the motion vector of the current block on the reference frame. In some cases, the prediction sample filtering procedure may additionally be performed on all or some of the prediction samples of the current block.

[158] Например, как показано на фиг. 12, модуль 260 взаимного прогнозирования оборудования декодирования изображений может включать в себя модуль 261 определения режима прогнозирования, модуль 262 извлечения информации движения и модуль 263 извлечения прогнозных выборок. В модуле 260 взаимного прогнозирования оборудования декодирования изображений, модуль 261 определения режима прогнозирования может определять режим прогнозирования текущего блока на основе принимаемой информации режима прогнозирования, модуль 262 извлечения информации движения может извлекать информацию движения (вектор движения и/или индекс опорного кадра и т.д.) текущего блока на основе принимаемой информации движения, и модуль 263 извлечения прогнозных выборок может извлекать прогнозные выборки текущего блока.[158] For example, as shown in FIG. 12, the image decoding equipment inter-prediction unit 260 may include a prediction mode determining unit 261, a motion information extracting unit 262, and a prediction sample extracting unit 263. In the image decoding equipment inter-prediction unit 260, the prediction mode determining unit 261 can determine the prediction mode of the current block based on the received prediction mode information, the motion information extracting unit 262 can extract motion information (motion vector and/or reference frame index, etc. ) of the current block based on the received motion information, and the prediction sample extracting unit 263 can extract the prediction samples of the current block.

[159] Оборудование декодирования изображений может формировать остаточные выборки текущего блока на основе принимаемой остаточной информации (S840). Оборудование декодирования изображений может формировать восстановленные выборки текущего блока на основе прогнозных выборок и остаточных выборок и формировать восстановленный кадр на основе этого (S850). После этого, процедура внутриконтурной фильтрации может применяться к восстановленному кадру, как описано выше.[159] The image decoding equipment may generate residual samples of the current block based on the received residual information (S840). The image decoding equipment can generate reconstructed samples of the current block based on the prediction samples and residual samples, and generate a reconstructed frame based on it (S850). After this, the in-loop filtering procedure can be applied to the reconstructed frame as described above.

[160] Как описано выше, процедура взаимного прогнозирования может включать в себя этап определения режима взаимного прогнозирования, этапа извлечения информации движения согласно определенному режиму прогнозирования и этап выполнения прогнозирования (формирования прогнозных выборок) на основе извлеченной информации движения. Процедура взаимного прогнозирования может выполняться посредством оборудования кодирования изображений и оборудования декодирования изображений, как описано выше.[160] As described above, the inter-prediction procedure may include a step of determining an inter-prediction mode, a step of extracting motion information according to the determined prediction mode, and a step of performing prediction (generating prediction samples) based on the extracted motion information. The inter-prediction procedure may be performed by the image encoding equipment and the image decoding equipment as described above.

[161] В дальнейшем в этом документе подробнее описывается этап извлечения информации движения согласно режиму прогнозирования.[161] Later in this document, the step of extracting motion information according to the prediction mode will be described in more detail.

[162] Как описано выше, взаимное прогнозирование может выполняться с использованием информации движения текущего блока. Оборудование кодирования изображений может извлекать оптимальную информацию движения текущего блока через процедуру оценки движения. Например, оборудование кодирования изображений может выполнять поиск аналогичного опорного блока с высокой корреляцией в предварительно определенном диапазоне поиска в опорном кадре с использованием исходного блока в исходном кадре для текущего блока в дробнопиксельной единице и извлекать информацию движения с его использованием. Подобие блока может вычисляться на основе суммы абсолютных разностей (SAD) между текущим блоком и опорным блоком. В этом случае, информация движения может извлекаться на основе опорного блока с наименьшей SAD в зоне поиска. Извлеченная информация движения может передаваться в служебных сигналах в оборудование декодирования изображений согласно различным способам на основе режима взаимного прогнозирования.[162] As described above, inter-prediction may be performed using motion information of the current block. The image encoding equipment can extract optimal motion information of the current block through a motion estimation procedure. For example, image encoding equipment may search for a similar reference block with high correlation in a predetermined search range in a reference frame using a source block in a source frame for a current block in a fractional pixel unit, and extract motion information using it. Block similarity can be calculated based on the sum of absolute differences (SAD) between the current block and the reference block. In this case, motion information can be extracted based on the reference block with the smallest SAD in the search area. The extracted motion information can be signaled to image decoding equipment according to various methods based on the inter-prediction mode.

[163] Когда режим объединения применяется к текущему блоку, информация движения текущего блока непосредственно не передается, и информация движения текущего блока извлекается с использованием информации движения соседнего блока. Соответственно, информация движения текущего блока прогнозирования может указываться посредством передачи информации флага, указывающей то, что режим объединения используется, и информации выбора возможных вариантов (например, индекса объединения), указывающей то, какой соседний блок используется в качестве возможного варианта объединения. В настоящем раскрытии сущности, поскольку текущий блок представляет собой единицу производительности прогнозирования, текущий блок может использоваться со смысловым значением, идентичным смысловому значению текущего блока прогнозирования, и соседний блок может использоваться со смысловым значением, идентичным смысловому значению соседнего блока прогнозирования.[163] When the combining mode is applied to the current block, the motion information of the current block is not directly transmitted, and the motion information of the current block is extracted using the motion information of the adjacent block. Accordingly, motion information of the current prediction block may be indicated by transmitting flag information indicating that the combining mode is used and candidate selection information (eg, combining index) indicating which neighboring block is used as the combining candidate. In the present disclosure, since the current block represents a prediction performance unit, the current block can be used with a meaning value identical to the meaning value of the current prediction block, and an adjacent block can be used with a meaning value identical to the meaning value of the neighboring prediction block.

[164] Оборудование кодирования изображений может выполнять поиск возможных вариантов блоков объединения, используемых для того, чтобы извлекать информацию движения текущего блока, чтобы выполнять режим объединения. Например, вплоть до пяти возможных вариантов блоков объединения могут использоваться без ограничения этим. Максимальное число возможных вариантов блоков объединения может передаваться в заголовке среза или в заголовке группы плиток без ограничения этим. После нахождения возможных вариантов блоков объединения, оборудование кодирования изображений может формировать список возможных вариантов объединения и выбирать возможный вариант блока объединения с наименьшими RD-затратами в качестве конечного возможного варианта блока объединения.[164] The image encoding equipment may search for candidate combination blocks used to extract motion information of the current block to perform the combining mode. For example, up to five possible variants of merge blocks can be used without limitation. The maximum number of possible merge block options can be carried in a slice header or in a tile group header without limitation. After finding the combiner candidate candidates, the image encoding equipment may generate a list of combiner candidate candidates and select the combiner candidate candidate with the lowest RD cost as the final combining block candidate.

[165] Настоящее раскрытие сущности предоставляет различные варианты осуществления для возможных вариантов блоков объединения, конфигурирующих список возможных вариантов объединения. Список возможных вариантов объединения может использовать, например, пять возможных вариантов блоков объединения. Например, могут использоваться четыре пространственных возможных варианта объединения и один временной возможный вариант объединения.[165] The present disclosure provides various embodiments for possible variants of combiners configuring a list of possible combinations. The list of merge candidates may use, for example, five possible merge block candidates. For example, four spatial join candidates and one temporal join candidate may be used.

[166] Фиг. 13 является видом, иллюстрирующим соседние блоки, доступные в качестве пространственного возможного варианта объединения.[166] FIG. 13 is a view illustrating adjacent blocks available as a spatial merging option.

[167] Фиг. 14 является видом, схематично иллюстрирующим способ конструирования списков возможных вариантов объединения согласно примеру настоящего раскрытия сущности.[167] FIG. 14 is a view schematically illustrating a method for constructing combination candidate lists according to an example of the present disclosure.

[168] Оборудование кодирования/декодирования изображений может вставлять, в список возможных вариантов объединения, пространственные возможные варианты объединения, извлекаемые посредством поиска пространственных соседних блоков относительно текущего блока (S1110). Например, как показано на фиг. 13, пространственные соседние блоки могут включать в себя левый нижний угловой соседний блок A0, левый соседний блок A1, правый верхний угловой соседний блок B0, верхний соседний блок B1 и левый верхний угловой соседний блок B2 относительно текущего блока. Тем не менее, это представляет собой пример, и в дополнение к вышеописанным пространственным соседним блокам, дополнительные соседние блоки, такие как правый соседний блок, нижний соседний блок и правый нижний соседний блок, дополнительно могут использоваться в качестве пространственных соседних блоков. Оборудование кодирования/декодирования изображений может обнаруживать доступные блоки посредством поиска пространственных соседних блоков на основе приоритета и извлекать информацию движения обнаруженных блоков в качестве пространственных возможных вариантов объединения. Например, оборудование кодирования/декодирования изображений может конструировать список возможных вариантов объединения посредством поиска пяти блоков, показанных на фиг. 13, в порядке A1, B1, B0, A0 и B2 и последовательной индексации доступных возможных вариантов.[168] The image encoding/decoding equipment may insert, into the list of join candidates, spatial join candidates retrieved by searching for spatial neighboring blocks relative to the current block (S1110). For example, as shown in FIG. 13, spatial neighbor blocks may include a left lower corner neighbor block A0, a left neighbor block A1, a right upper corner neighbor block B0, an upper corner neighbor block B1, and a left upper corner neighbor block B2 relative to the current block. However, this is an example, and in addition to the above-described spatial neighbor blocks, additional neighboring blocks such as a right neighbor block, a lower neighbor block, and a right lower neighbor block may further be used as spatial neighbor blocks. The image encoding/decoding equipment can detect available blocks by searching for spatial neighboring blocks based on priority, and extract motion information of the detected blocks as spatial combining candidates. For example, image encoding/decoding equipment may construct a list of possible combinations by searching the five blocks shown in FIG. 13, in the order of A1, B1, B0, A0 and B2 and sequential indexing of the available possible options.

[169] Оборудование кодирования/декодирования изображений может вставлять, в список возможных вариантов объединения, временной возможный вариант объединения, извлекаемый посредством поиска временных соседних блоков относительно текущего блока (S1120). Временные соседние блоки могут быть расположены в опорном кадре, который отличается от текущего кадра, в котором расположен текущий блок. Опорный кадр, в котором расположен временной соседний блок, может называться "совместно размещенным кадром" или "совместно размещ. кадром". Можно выполнять поиск временного соседнего блока в порядке из правого нижнего углового соседнего блока и правого нижнего центрального блока относительно совместно размещенного блока для текущего блока в совместно размещ. кадре. Между тем, при применении сжатия данных движения, чтобы уменьшать загрузку запоминающего устройства, конкретная информация движения может сохраняться в качестве характерной информации движения для каждой предварительно определенной единицы хранения для совместно размещ. кадра. В этом случае, информация движения всех блоков в предварительно определенной единице хранения не должна обязательно сохраняться, за счет этого получая эффект сжатия данных движения. В этом случае, предварительно определенная единица хранения может быть предварительно определена в качестве, например, единицы выборок 16×16 или единицы выборок 8×8, или информация размера предварительно определенной единицы хранения может передаваться в служебных сигналах из оборудования кодирования изображений в оборудование декодирования изображений. При применении сжатия данных движения, информация движения временного соседнего блока может заменяться характерной информацией движения предварительно определенной единицы хранения, в которой расположен временной соседний блок. Таким образом, в этом случае, с точки зрения реализации, временной возможный вариант объединения может извлекаться на основе информации движения блока прогнозирования, покрывающего арифметическую сдвинутую влево позицию после арифметического сдвига вправо на предварительно определенное значение на основе координат (левой верхней выборочной позиции) временного соседнего блока, а не блока прогнозирования, расположенного в координатах временного соседнего блока. Например, когда предварительно определенная единица хранения составляет единицу выборок 2nx2n, и координаты временного соседнего блока представляют собой (xTnb, yTnb), информация движения блока прогнозирования, расположенного в модифицированной позиции ((xTnb>>n)<<n), (yTnb>>n)<<n)), может использоваться для временного возможного варианта объединения. В частности, например, когда предварительно определенная единица хранения составляет единицу выборок 16×16, и координаты временного соседнего блока представляют собой (xTnb, yTnb), информация движения блока прогнозирования, расположенного в модифицированной позиции ((xTnb>>4)<<4), (yTnb>>4)<<4)), может использоваться для временного возможного варианта объединения. Альтернативно, например, когда предварительно определенная единица хранения составляет единицу выборок 8×8, и координаты временного соседнего блока представляют собой (xTnb, yTnb), информация движения блока прогнозирования, расположенного в модифицированной позиции ((xTnb>>3)<<3), (yTnb>>3)<<3)), может использоваться для временного возможного варианта объединения.[169] The image encoding/decoding equipment may insert, into the list of join candidates, a temporary join candidate retrieved by searching for temporary neighboring blocks relative to the current block (S1120). Temporary neighboring blocks may be located in a reference frame that is different from the current frame in which the current block is located. The reference frame in which the temporary adjacent block is located may be referred to as a "co-located frame" or "co-located frame". You can search for a temporary neighbor block in order from the bottom right corner neighbor block and the bottom right center block relative to the co-located block for the current block in the co-location. frame. Meanwhile, when motion data compression is applied to reduce storage load, specific motion information can be stored as characteristic motion information for each predetermined storage unit for co-location. frame. In this case, the motion information of all the blocks in the predetermined storage unit does not need to be stored, thereby obtaining the effect of motion data compression. In this case, the predetermined storage unit may be predetermined as, for example, a 16×16 sampling unit or an 8×8 sampling unit, or the predetermined storage unit size information may be signaled from the image encoding equipment to the image decoding equipment. When motion data compression is applied, motion information of a temporary neighbor block may be replaced with characteristic motion information of a predetermined storage unit in which the temporary neighbor block is located. Thus, in this case, from an implementation point of view, a temporal merging candidate can be retrieved based on the motion information of a prediction block covering an arithmetic left-shifted position after an arithmetic right-shifted position by a predetermined value based on the coordinates (upper-left sample position) of a temporary neighboring block , rather than a prediction block located at the coordinates of a temporary neighboring block. For example, when the predetermined storage unit is a 2nx2n sampling unit, and the coordinates of the temporary neighboring block are (xTnb, yTnb), the motion information of the prediction block located at the modified position ((xTnb>>n)<<n), (yTnb>> n)<<n)), can be used for a temporary join option. Particularly, for example, when the predetermined storage unit is a 16×16 sampling unit, and the coordinates of the temporary neighboring block are (xTnb, yTnb), the motion information of the prediction block located at the modified position ((xTnb>>4)<<4) , (yTnb>>4)<<4)), can be used for a temporary possible merging option. Alternatively, for example, when the predetermined storage unit is an 8×8 sampling unit, and the coordinates of the temporary neighboring block are (xTnb, yTnb), the motion information of the prediction block located at the modified position ((xTnb>>3)<<3), (yTnb>>3)<<3)), can be used for a temporary possible merging option.

[170] Снова ссылаясь на фиг. 14, оборудование кодирования/декодирования изображений может проверять то, меньше или нет число текущих возможных вариантов объединения максимального числа возможных вариантов объединения (S1130). Максимальное число возможных вариантов объединения может предварительно задаваться или передаваться в служебных сигналах из оборудования кодирования изображений в оборудование декодирования изображений. Например, оборудование кодирования изображений может формировать и кодировать информацию относительно максимального числа возможных вариантов объединения и передавать кодированную информацию в оборудование декодирования изображений в форме потока битов. Когда максимальное число возможных вариантов объединения удовлетворяется, последующий процесс S1140 добавления возможных вариантов может не выполняться.[170] Referring again to FIG. 14, the image encoding/decoding equipment can check whether the number of current combining options is less than the maximum number of combining options (S1130). The maximum number of possible combinations may be preset or signaled from the image encoding equipment to the image decoding equipment. For example, image encoding equipment may generate and encode information regarding the maximum number of possible combinations and transmit the encoded information to image decoding equipment in the form of a bitstream. When the maximum number of combining candidates is satisfied, the subsequent candidate adding process S1140 may not be performed.

[171] Когда число текущих возможных вариантов объединения меньше максимального числа возможных вариантов объединения в качестве результата проверки этапа S1130, оборудование кодирования/декодирования изображений может извлекать дополнительный возможный вариант объединения согласно предварительно определенному способу и затем вставлять дополнительный возможный вариант объединения в список возможных вариантов объединения (S1140).[171] When the number of current combining candidates is less than the maximum number of combining candidates as the result of the check of step S1130, the image encoding/decoding equipment may extract the additional combining candidate according to a predetermined method, and then insert the additional combining candidate into the list of combining candidates ( S1140).

[172] Когда число текущих возможных вариантов объединения не меньше максимального числа возможных вариантов объединения в качестве результата проверки этапа S1130, оборудование кодирования/декодирования изображений может завершать конструирование списка возможных вариантов объединения. В этом случае, оборудование кодирования изображений может выбирать оптимальный возможный вариант объединения из числа возможных вариантов объединения, конфигурирующих список возможных вариантов объединения, и передавать в служебных сигналах информацию выбора возможных вариантов (например, индекс объединения), указывающую выбранный возможный вариант объединения, в оборудование декодирования изображений. Оборудование декодирования изображений может выбирать оптимальный возможный вариант объединения на основе списка возможных вариантов объединения и информации выбора возможных вариантов.[172] When the number of current combination candidates is not less than the maximum number of combination candidates as the result of the check of step S1130, the image encoding/decoding equipment may complete constructing the combination candidate list. In this case, the image encoding equipment may select the optimal combining candidate from among the combining candidate configuring the list of combining candidate options, and signaling candidate selection information (eg, combining index) indicating the selected combining candidate to the decoding equipment. images. The image decoding equipment may select the best possible combining option based on the list of possible combining options and candidate selection information.

[173] Информация движения выбранного возможного варианта объединения может использоваться в качестве информации движения текущего блока, и прогнозные выборки текущего блока могут извлекаться на основе информации движения текущего блока, как описано выше. Оборудование кодирования изображений может извлекать остаточные выборки текущего блока на основе прогнозных выборок и остаточной информации сигнала остаточных выборок в оборудование декодирования изображений. Оборудование декодирования изображений может формировать восстановленные выборки на основе остаточных выборок, извлекаемых на основе остаточной информации и прогнозных выборок, и формировать восстановленный кадр на их основе, как описано выше.[173] The motion information of the selected combining candidate can be used as the motion information of the current block, and the prediction samples of the current block can be extracted based on the motion information of the current block as described above. The image encoding equipment may extract residual samples of the current block based on the predicted samples and residual signal information of the residual samples to the image decoding equipment. The image decoding equipment may generate reconstructed samples based on residual samples extracted based on residual information and prediction samples, and generate a reconstructed frame based on them, as described above.

[174] При применении режима пропуска к текущему блоку, информация движения текущего блока может извлекаться с использованием способа, идентичного способу в случае применения режима объединения. Тем не менее, при применении режима пропуска, остаточный сигнал для соответствующего блока опускается, и в силу этого прогнозные выборки могут непосредственно использоваться в качестве восстановленных выборок.[174] When applying the skip mode to the current block, motion information of the current block can be retrieved using a method identical to that in the case of applying the merge mode. However, when the skip mode is applied, the residual signal for the corresponding block is omitted, and therefore the predicted samples can be directly used as reconstructed samples.

[175] При применении MVP-режима к текущему блоку, список возможных вариантов предикторов векторов движения (MVP) может формироваться с использованием вектора движения восстановленных пространственных соседних блоков (например, соседних блоков, показанных на фиг. 13) и/или вектора движения, соответствующего временным соседним блокам (или совместно размещ. блокам). Таким образом, вектор движения восстановленных пространственных соседних блоков и вектор движения, соответствующий временным соседним блокам, могут использоваться в качестве возможных вариантов предикторов векторов движения текущего блока. При применении бипрогнозирования, список возможных MVP-вариантов для извлечения L0-информации движения и список возможных MVP-вариантов для извлечения L1-информации движения отдельно формируются и используются. Информация прогнозирования (или информация относительно прогнозирования) текущего блока может включать в себя информацию выбора возможных вариантов (например, MVP-флаг или MVP-индекс), указывающую оптимальный возможный вариант предиктора вектора движения, выбранный из числа возможных вариантов предикторов векторов движения, включенных в список возможных MVP-вариантов. В этом случае, модуль прогнозирования может выбирать предиктор вектора движения текущего блока из числа возможных вариантов предикторов векторов движения, включенных в список возможных MVP-вариантов, с использованием информации выбора возможных вариантов. Модуль прогнозирования оборудования кодирования изображений может получать и кодировать разность векторов движения (MVD) между вектором движения текущего блока и предиктором вектора движения и выводить кодированную MVD в форме потока битов. Таким образом, MVD может получаться посредством вычитания предиктора вектора движения из вектора движения текущего блока. Модуль прогнозирования оборудования декодирования изображений может получать разность векторов движения, включенную в информацию относительно прогнозирования, и извлекать вектор движения текущего блока через суммирование разности векторов движения и предиктора вектора движения. Модуль прогнозирования оборудования кодирования изображений может получать или извлекать индекс опорного кадра, указывающий опорный кадр, из информации относительно прогнозирования.[175] When applying the MVP mode to the current block, a list of possible motion vector predictor (MVP) candidates can be generated using the motion vector of the reconstructed spatial neighboring blocks (for example, the neighboring blocks shown in FIG. 13) and/or the motion vector corresponding temporary adjacent blocks (or co-located blocks). Thus, the motion vector of the reconstructed spatial neighboring blocks and the motion vector corresponding to the temporal neighboring blocks can be used as candidate motion vector predictors of the current block. When biprediction is applied, a list of possible MVP options for extracting L0 motion information and a list of possible MVP options for extracting L1 motion information are separately generated and used. The prediction information (or prediction information) of the current block may include candidate selection information (eg, an MVP flag or an MVP index) indicating an optimal motion vector predictor candidate selected from among the motion vector predictor candidates included in the list possible MVP options. In this case, the prediction module may select a motion vector predictor of the current block from among the motion vector predictor candidates included in the MVP candidate list using the candidate selection information. The image encoding equipment prediction module can receive and encode a motion vector difference (MVD) between the motion vector of the current block and the motion vector predictor, and output the encoded MVD in the form of a bitstream. Thus, the MVD can be obtained by subtracting the motion vector predictor from the motion vector of the current block. The prediction unit of the image decoding equipment can obtain the motion vector difference included in the prediction information, and extract the motion vector of the current block through adding the motion vector difference and the motion vector predictor. The prediction unit of the image encoding equipment may obtain or extract a reference frame index indicating a reference frame from the prediction information.

[176] Фиг. 15 является видом, схематично иллюстрирующим способ конструирования списков возможных вариантов предикторов векторов движения согласно примеру настоящего раскрытия сущности.[176] FIG. 15 is a view schematically illustrating a method for constructing motion vector predictor candidate lists according to an example of the present disclosure.

[177] Во-первых, может выполняться поиск пространственного возможного варианта блока относительно текущего блока, и доступные возможные варианты блоков могут вставляться в список возможных MVP-вариантов (S1210). После этого, определяется то, меньше или нет число возможных MVP-вариантов, включенных в список возможных MVP-вариантов, 2 (S1220), и когда число возможных MVP-вариантов равно двум, конструирование списка возможных MVP-вариантов может завершаться.[177] First, a spatial block candidate may be searched relative to the current block, and the available block candidates may be inserted into the MVP candidate list (S1210). Thereafter, it is determined whether the number of possible MVP options included in the MVP candidate list is less than 2 (S1220), and when the number of possible MVP options is two, construction of the MVP candidate list can be completed.

[178] На этапе S1220, когда число доступных пространственных возможных вариантов блоков меньше 2, может выполняться поиск временного возможного варианта блока относительно текущего блока, и доступные возможные варианты блоков могут вставляться в список возможных MVP-вариантов (S1230). Когда временные возможные варианты блоков не доступны, нулевой вектор движения может вставляться в список возможных MVP-вариантов, за счет этого завершая конструирование списка возможных MVP-вариантов.[178] In step S1220, when the number of available spatial block candidates is less than 2, a temporary block candidate can be searched relative to the current block, and the available block candidates can be inserted into the MVP candidate list (S1230). When temporary block candidates are not available, a null motion vector may be inserted into the MVP candidate list, thereby completing the construction of the MVP candidate list.

[179] Между тем, при применении режима MVP, индекс опорного кадра может явно передаваться в служебных сигналах. В этом случае, индекс refidxL0 опорного кадра для L0-прогнозирования и индекс refidxL1 опорного кадра для L1-прогнозирования могут различаемо передаваться в служебных сигналах. Например, при применении MVP-режима и применении бипрогнозирования, как информация относительно refidxL0, так и информация относительно refidxL1 могут передаваться в служебных сигналах.[179] Meanwhile, when using the MVP mode, the index of the reference frame may be explicitly signaled. In this case, the reference frame index for L0 prediction refidxL0 and the reference frame index for L1 prediction refidxL1 may be signaled discretely. For example, when using the MVP mode and using bi-prediction, both information regarding refidxL0 and information regarding refidxL1 may be signaled.

[180] Как описано выше, при применении MVP-режима, информация относительно MVP, извлекаемого посредством оборудования кодирования изображений, может передаваться в служебных сигналах в оборудование декодирования изображений. Информация относительно MVD может включать в себя, например, информацию, указывающую компоненты по оси X и Y для абсолютного значения (абсолютного MVD-значения) и знака MVD. В этом случае, когда абсолютное MVD-значение превышает 0, то, превышает или нет абсолютное MVD-значение 1, и информация, указывающая MVD-остаток, могут передаваться в служебных сигналах пошагово. Например, информация, указывающая то, превышает или нет абсолютное MVD-значение 1, может передаваться в служебных сигналах только тогда, когда значение информации флага, указывающей то, превышает или нет абсолютное MVD-значение 0, равно 1.[180] As described above, when using the MVP mode, information regarding the MVP extracted by the image encoding equipment can be signaled to the image decoding equipment. The information regarding the MVD may include, for example, information indicating the X and Y axis components for the absolute value (absolute MVD value) and the sign of the MVD. In this case, when the absolute MVD value exceeds 0, whether or not the absolute MVD value exceeds 1 and information indicating the MVD remainder may be signaled step by step. For example, information indicating whether or not the absolute MVD value is greater than 1 can be signaled only when the value of the flag information indicating whether or not the absolute MVD value is greater than 0 is 1.

[181] Фиг. 16 является видом, иллюстрирующим синтаксическую структуру для передачи MVD из оборудования кодирования изображений в оборудование декодирования изображений согласно варианту осуществления настоящего раскрытия сущности.[181] FIG. 16 is a view illustrating a syntax structure for transmitting MVD from image encoding equipment to image decoding equipment according to an embodiment of the present disclosure.

[182] На фиг. 16, abs_mvd_greater0_flag[0] указывает то, превышает или нет абсолютное значение компонента по оси X MVD 0, и abs_mvd_greater0_flag[1] указывает то, что абсолютное значение компонента по оси Y MVD превышает 0. Аналогично, abs_mvd_greater1_flag[0] указывает то, превышает или нет абсолютное значение компонента по оси X MVD 1, и abs_mvd_greater1_flag[1] указывает то, превышает или нет абсолютное значение компонента по оси Y MVD 1. Как показано на фиг. 16, abs_mvd_greater1_flag может передаваться только тогда, когда abs_mvd_greater0_flag равен 1. На фиг. 16, abs_mvd_minus2 может указывать значение, полученное посредством вычитания 2 из абсолютного значения MVD, и mvd_sign_flag указывает то, является знак MVD положительным или отрицательным. С использованием синтаксической структуры, показанной на фиг. 16, MVD может извлекаться так, как показано в нижеприведенном уравнении 1.[182] In FIG. 16, abs_mvd_greater0_flag[0] indicates whether or not the absolute value of the X-axis component MVD is greater than 0, and abs_mvd_greater0_flag[1] indicates whether the absolute value of the Y-axis component MVD is greater than 0. Likewise, abs_mvd_greater1_flag[0] indicates whether or not or not the absolute value of the X-axis component is MVD 1, and abs_mvd_greater1_flag[1] indicates whether or not the absolute value of the Y-axis component is greater than MVD 1. As shown in FIG. 16, abs_mvd_greater1_flag can only be transmitted when abs_mvd_greater0_flag is 1. In FIG. 16, abs_mvd_minus2 may indicate a value obtained by subtracting 2 from the absolute value of the MVD, and mvd_sign_flag indicates whether the MVD sign is positive or negative. Using the syntactic structure shown in FIG. 16, the MVD can be extracted as shown in Equation 1 below.

[183] Уравнение 1[183] Equation 1

[184] MVD[compIdx]=abs_mvd_greater0_flag[compIdx]*(abs_mvd_minus2[compIdx]+2)*(1-2*mvd_sign_flag[compIdx])[184] MVD[compIdx]=abs_mvd_greater0_flag[compIdx]*(abs_mvd_minus2[compIdx]+2)*(1-2*mvd_sign_flag[compIdx])

[185] Между тем, MVD (MVDL0) для L0-прогнозирования и MVD (MVDL1) для L1-прогнозирования могут различаемо передаваться в служебных сигналах, и информация относительно MVD может включать в себя информацию относительно MVDL0 и/или информацию относительно MVDL1. Например, при применении MVP-режима и применении бипрогнозирования к текущему блоку, как информация относительно MVDL0, так и информация относительно MVDL1 могут передаваться в служебных сигналах.[185] Meanwhile, MVD (MVDL0) for L0 prediction and MVD (MVDL1) for L1 prediction may be differentially transmitted in signaling signals, and information regarding the MVD may include information regarding MVDL0 and/or information regarding MVDL1. For example, when applying the MVP mode and applying bi-prediction to the current block, both information regarding MVDL0 and information regarding MVDL1 may be signaled.

[186] Общее представление прогнозирования на основе внутриблочного копирования (IBC)[186] Overview of Intra Block Copy (IBC) Forecasting

[187] В дальнейшем в этом документе описывается IBC-прогнозирование согласно настоящему раскрытию сущности.[187] This document further describes IBC prediction according to the present disclosure.

[188] IBC-прогнозирование может выполняться посредством модуля прогнозирования оборудования кодирования/декодирования изображений. IBC-прогнозирование может называться просто "IBC". IBC может использоваться для кодирования изображений контента/движущихся изображений, такого как кодирование экранного контента (SCC). IBC-прогнозирование может, по существу, выполняться в текущем кадре, но может выполняться аналогично взаимному прогнозированию в том, что опорный блок извлекается внутри текущего кадра. Таким образом, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования, описанных в настоящем раскрытии сущности. Например, IBC может использовать, по меньшей мере, один из вышеописанных способов извлечения информации движения (векторов движения). По меньшей мере, одна из технологий взаимного прогнозирования может частично модифицироваться и использоваться с учетом IBC-прогнозирования. IBC может ссылаться на текущий кадр и в силу этого может называться "ссылкой на текущие кадры (CPR)".[188] IBC prediction may be performed by an image encoding/decoding equipment prediction module. IBC forecasting may simply be called "IBC". IBC can be used for content/moving image coding, such as Screen Content Coding (SCC). IBC prediction may essentially be performed within the current frame, but may be performed similarly to inter-prediction in that the reference block is retrieved within the current frame. Thus, the IBC may use at least one of the inter-prediction technologies described in the present disclosure. For example, the IBC may use at least one of the above-described methods for extracting motion information (motion vectors). At least one of the mutual forecasting technologies may be partially modified and used to accommodate IBC forecasting. The IBC may refer to the current frame and may therefore be called a "Current Frame Reference (CPR)".

[189] Для IBC, оборудование 100 кодирования изображений может выполнять поблочное сопоставление (BM) и извлекать оптимальный блочный вектор (или вектор движения) для текущего блока (например, CU). Извлеченный блочный вектор (или вектор движения) может передаваться в служебных сигналах в оборудование декодирования изображений через поток битов с использованием способа, аналогичного передаче в служебных сигналах информации движения (вектора движения) при вышеописанном взаимном прогнозировании. Оборудование декодирования изображений может извлекать опорный блок для текущего блока в текущем кадре через передаваемый в служебных сигналах блочный вектор (вектор движения) и извлекать прогнозный сигнал (прогнозированный блок или прогнозные выборки) для текущего блока через него. Здесь, блочный вектор (или вектор движения) может указывать смещение от текущего блока до опорного блока, расположенного в уже восстановленной зоне в текущем кадре. Соответственно, блочный вектор (или вектор движения) может называться "вектором смещения". В дальнейшем в этом документе, в IBC, вектор движения может соответствовать блочному вектору или вектору смещения. Вектор движения текущего блока может включать в себя вектор движения для компонента сигнала яркости (вектор движения сигналов яркости) или вектор движения для компонента сигнала цветности (вектор движения сигналов цветности). Например, вектор движения сигналов яркости для IBC-кодированной CU может представлять собой целочисленную единицу выборок (т.е. целочисленную точность). Вектор движения сигналов цветности может отсекаться в целочисленных единицах выборок. Как описано выше, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования, и, например, вектор движения сигналов яркости может кодироваться/декодироваться с использованием вышеописанного режима объединения или MVP-режима.[189] For IBC, image encoding equipment 100 may perform block matching (BM) and extract an optimal block vector (or motion vector) for the current block (eg, CU). The extracted block vector (or motion vector) may be signaled to the image decoding equipment via a bitstream using a method similar to signaling motion information (motion vector) in the above-described inter-prediction. The image decoding equipment can extract a reference block for a current block in a current frame through a signaled block vector (motion vector), and extract a prediction signal (predicted block or prediction samples) for the current block through it. Here, the block vector (or motion vector) may indicate an offset from the current block to a reference block located in the already reconstructed area in the current frame. Accordingly, the block vector (or motion vector) may be referred to as a "displacement vector". Later in this document, in IBC, the motion vector may correspond to a block vector or a displacement vector. The motion vector of the current block may include a motion vector for the luma signal component (luminance motion vector) or a motion vector for the chrominance signal component (chrominance motion vector). For example, the luminance motion vector for an IBC-coded CU may be an integer unit of samples (ie, integer precision). The motion vector of chrominance signals may be clipped in integer sample units. As described above, the IBC may use at least one of the inter-prediction technologies, and, for example, the motion vector of the luminance signals may be encoded/decoded using the above-described combining mode or MVP mode.

[190] При применении режима объединения к IBC-блоку сигналов яркости, список возможных вариантов объединения для IBC-блока сигналов яркости может конструироваться аналогично списку возможных вариантов объединения во взаимном режиме, описанном со ссылкой на фиг. 14. Тем не менее, в случае IBC-блока сигналов яркости, временной соседний блок может не использоваться в качестве возможного варианта объединения.[190] When applying the combining mode to the luminance IBC block, the combination candidate list for the luminance IBC block may be constructed similar to the mutual mode combining candidate list described with reference to FIG. 14. However, in the case of a luma IBC block, the temporal neighbor block may not be used as a possible combining option.

[191] При применении MVP-режима к IBC-блоку сигналов яркости, список возможных MVP-вариантов для IBC-блока сигналов яркости может конструироваться аналогично списку возможных MVP-вариантов во взаимном режиме, описанном со ссылкой на фиг. 15. Тем не менее, в случае IBC-блока сигналов яркости, временной возможный вариант блока может не использоваться в качестве возможного MVP-варианта.[191] When applying the MVP mode to the luma IBC block, the list of possible MVP options for the luma IBC block can be constructed similar to the list of possible MVP options in the reciprocal mode described with reference to FIG. 15. However, in the case of an IBC luma block, a temporary block candidate may not be used as an MVP candidate.

[192] В IBC, опорный блок извлекается из уже восстановленной зоны в текущем кадре. В этом случае, чтобы уменьшать потребление запоминающего устройства и сложность оборудования декодирования изображений, можно ссылаться только на предварительно заданную зону из уже восстановленных зон в текущем кадре. Предварительно заданная зона может включать в себя текущую CTU, в которую включается текущий блок. Посредством ограничения восстановленной зоны с возможностью ссылки предварительно заданной зоной, IBC-режим может реализовываться в аппаратных средствах с использованием локального внутримикросхемного запоминающего устройства.[192] In IBC, a reference block is retrieved from an already reconstructed area in the current frame. In this case, in order to reduce the storage consumption and the complexity of the image decoding equipment, it is possible to refer only to a predetermined area from the already reconstructed areas in the current frame. The predefined zone may include the current CTU in which the current block is included. By limiting the restored referenceable zone to a predefined zone, the IBC mode can be implemented in hardware using local on-chip storage.

[193] Оборудование кодирования изображений для выполнения IBC может выполнять поиск в предварительно заданной зоне, чтобы определять опорный блок с наименьшими RD-затратами и извлекать вектор движения (блочный вектор) на основе позиций опорного блока и текущего блока.[193] Image encoding equipment for performing IBC can search in a predetermined area to determine a reference block with the lowest RD cost and extract a motion vector (block vector) based on the positions of the reference block and the current block.

[194] То, следует или нет применять IBC к текущему блоку, может передаваться в служебных сигналах в качестве информации IBC-производительности на уровне CU. Информация относительно способа передачи служебных сигналов (IBC MVP-режима или режима IBC-пропуска/объединения) вектора движения текущего блока может передаваться в служебных сигналах. Информация IBC-производительности может использоваться для того, чтобы определять режим прогнозирования текущего блока. Соответственно, информация IBC-производительности может включаться в информацию относительно режима прогнозирования текущего блока.[194] Whether or not IBC should be applied to the current block may be signaled as IBC performance information at the CU level. Information regarding the signaling method (IBC MVP mode or IBC skip/merge mode) of the motion vector of the current block may be signaled. The IBC performance information can be used to determine the prediction behavior of the current block. Accordingly, IBC performance information may be included in information regarding the prediction mode of the current block.

[195] В случае режима IBC-пропуска/объединения, индекс возможного варианта объединения может передаваться в служебных сигналах, чтобы указывать блочный вектор, который должен использоваться для прогнозирования текущего блока сигналов яркости, из блочных векторов, включенных в список возможных вариантов объединения. В этом случае, список возможных вариантов объединения может включать в себя IBC-кодированные соседние блоки. Список возможных вариантов объединения может быть выполнен с возможностью включать в себя пространственные возможные варианты объединения и не включать в себя временные возможные варианты объединения. Помимо этого, список возможных вариантов объединения дополнительно может включать в себя возможные варианты предикторов векторов движения на основе предыстории (HMVP) и/или попарные возможные варианты.[195] In the case of IBC skip/merge mode, a combine candidate index may be signaled to indicate a block vector that should be used to predict the current luma block from block vectors included in the list of combine candidates. In this case, the list of possible combinations may include IBC-encoded neighboring blocks. The list of join options may be configured to include spatial join options and not include temporal join options. In addition, the list of fusion candidates may further include history-based motion vector predictor (HMVP) candidates and/or pairwise candidates.

[196] В случае IBC MVP-режима, разностное значение блочных векторов может кодироваться с использованием способа, идентичного способу для разностного значения векторов движения вышеописанного взаимного режима. Способ прогнозирования блочных векторов может конструировать и использовать список возможных MVP-вариантов, включающий в себя два возможных варианта, в качестве предикторов аналогично MVP-режиму для взаимного режима. Один из двух возможных вариантов может извлекаться из левого соседнего блока, и другой возможный вариант может извлекаться из верхнего соседнего блока. В этом случае, только тогда, когда левый или верхний соседний блок IBC-кодируется, возможные варианты могут извлекаться из соответствующего соседнего блока. Если левый или верхний соседний блок не доступен, например, не IBC-кодируется, блочный вектор по умолчанию может включаться в список возможных MVP-вариантов в качестве предиктора. Помимо этого, информация (например, флаг), указывающая один из двух предикторов блочных векторов, передается в служебных сигналах и используется в качестве информации выбора возможных вариантов аналогично MVP-режиму для взаимного режима. Список возможных MVP-вариантов может включать в себя возможный HMVP-вариант и/или нулевой вектор движения в качестве блочного вектора по умолчанию.[196] In the case of the IBC MVP mode, the difference value of block vectors can be encoded using a method identical to that for the difference value of motion vectors of the above-described mutual mode. The block vector prediction method may construct and use a list of candidate MVPs, including two candidate candidates, as predictors, similar to the MVP mode for the reciprocal mode. One of the two possibilities may be retrieved from a left adjacent block, and the other candidate may be retrieved from an upper adjacent block. In this case, only when the left or top neighbor block is IBC-encoded, candidates can be retrieved from the corresponding neighbor block. If the left or top neighbor block is not available, for example not IBC encoded, the default block vector may be included in the list of possible MVP candidates as a predictor. In addition, information (eg, a flag) indicating one of the two block vector predictors is signaled and used as candidate selection information similar to the MVP mode for the mutual mode. The list of candidate MVPs may include a candidate HMVP and/or a null motion vector as a default block vector.

[197] Возможный HMVP-вариант может называться "возможным MVP-вариантом на основе предыстории", и возможный MVP-вариант, используемый перед кодированием/декодированием текущего блока, возможный вариант объединения или возможный вариант блочного вектора могут сохраняться в HMVP-списке в качестве возможных HMVP-вариантов. После этого, когда список возможных вариантов объединения текущего блока или список возможных MVP-вариантов не включает в себя максимальное число возможных вариантов, возможные варианты, сохраненные в HMVP-списке, могут добавляться в список возможных вариантов объединения или список возможных MVP-вариантов текущего блока в качестве возможных HMVP-вариантов.[197] An HMVP candidate may be referred to as a “history-based MVP candidate,” and an MVP candidate used before encoding/decoding the current block, a concatenation candidate, or a block vector candidate may be stored in the HMVP list as candidates HMVP options. Thereafter, when the current block's merging candidate list or MVP candidate list does not include the maximum number of candidate options, the candidate options stored in the HMVP list can be added to the current block's merging candidate list or MVP candidate list in as possible HMVP options.

[198] Попарный возможный вариант означает возможный вариант, извлекаемый посредством выбора двух возможных вариантов согласно предварительно определенному порядку из числа возможных вариантов, уже включенных в список возможных вариантов объединения текущего блока, и усреднения выбранных двух возможных вариантов.[198] Pairwise candidate means a candidate obtained by selecting two candidates according to a predetermined order from among the candidates already included in the list of candidate options for combining the current block, and averaging the selected two candidates.

[199] Фиг. 17 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе IBC.[199] FIG. 17 is a flowchart illustrating a video/image encoding method based on IBC.

[200] Фиг. 18 является видом, иллюстрирующим конфигурацию модуля прогнозирования для осуществления способа кодирования видео/изображений на основе IBC согласно настоящему раскрытию сущности.[200] FIG. 18 is a view illustrating the configuration of a prediction module for implementing an IBC-based video/image encoding method according to the present disclosure.

[201] Способ кодирования по фиг. 17 может осуществляться посредством оборудования кодирования изображений по фиг. 2. В частности, этап S1410 может выполняться посредством модуля прогнозирования, и этап S1420 может выполняться посредством остаточного процессора. В частности, этап S1420 может выполняться посредством вычитателя 115. Этап S1430 может выполняться посредством энтропийного кодера 190. Информация прогнозирования этапа S1430 может извлекаться посредством модуля прогнозирования, и остаточная информация этапа S1430 может извлекаться посредством остаточного процессора. Остаточная информация представляет собой информацию относительно остаточных выборок. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования для остаточных выборок. Как описано выше, остаточные выборки могут извлекаться посредством коэффициентов преобразования через преобразователь 120 оборудования кодирования изображений, и коэффициенты преобразования могут извлекаться посредством коэффициентов преобразования, квантованных через квантователь 130. Информация относительно квантованных коэффициентов преобразования может кодироваться посредством энтропийного кодера 190 через процедуру остаточного кодирования.[201] The encoding method of FIG. 17 may be implemented by the image encoding equipment of FIG. 2. Specifically, step S1410 may be performed by the prediction unit, and step S1420 may be performed by the residual processor. Specifically, step S1420 may be performed by the subtractor 115. Step S1430 may be performed by the entropy encoder 190. The prediction information of step S1430 may be extracted by the prediction unit, and the residual information of step S1430 may be extracted by the residual processor. Residual information is information regarding the residual samples. The residual information may include information regarding quantized transform coefficients for the residual samples. As described above, residual samples can be extracted by transform coefficients through the image encoding equipment transformer 120, and transform coefficients can be extracted by transform coefficients quantized through the quantizer 130. Information regarding the quantized transform coefficients can be encoded by the entropy encoder 190 through a residual encoding procedure.

[202] Оборудование кодирования изображений может выполнять IBC-прогнозирование (прогнозирование на основе IBC) для текущего блока (S1410). Оборудование кодирования изображений может извлекать режим прогнозирования и вектор движения (блочный вектор) текущего блока и формировать прогнозные выборки текущего блока. Режим прогнозирования может включать в себя, по меньшей мере, один из вышеописанных режимов взаимного прогнозирования. Здесь, процедуры определения режима прогнозирования, извлечения векторов движения и формирования прогнозных выборок могут выполняться одновременно, или любая процедура может выполняться перед другими процедурами. Например, как показано на фиг. 18, модуль прогнозирования оборудования кодирования изображений для осуществления способа кодирования видео/изображений на основе IBC может включать в себя модуль определения режима прогнозирования, модуль извлечения векторов движения и модуль извлечения прогнозных выборок. Модуль определения режима прогнозирования может определять режим прогнозирования текущего блока, модуль извлечения векторов движения может извлекать вектор движения текущего блока, и модуль извлечения прогнозных выборок может извлекать прогнозные выборки текущего блока. Например, модуль прогнозирования оборудования кодирования изображений может выполнять поиск блока, аналогичного текущему блоку, в восстановленной зоне (либо в определенной зоне (зоне поиска) восстановленной зоны) текущего кадра и извлекать опорный блок, разность которого относительно текущего блока равна или меньше определенного критерия либо минимума. Оборудование кодирования изображений может извлекать вектор движения на основе разности смещений между опорным блоком и текущим блоком. Оборудование кодирования изображений может определять режим, применяемый к текущему блоку, из различных режимов прогнозирования. Оборудование кодирования изображений может сравнивать RD-затраты для различных режимов прогнозирования и определять оптимальный режим прогнозирования для текущего блока. Тем не менее, способ определения режима прогнозирования для текущего блока посредством оборудования кодирования изображений не ограничен вышеприведенным примером, и могут использоваться различные способы.[202] The image encoding equipment may perform IBC prediction (IBC-based prediction) for the current block (S1410). The image encoding equipment can extract the prediction mode and motion vector (block vector) of the current block and generate prediction samples of the current block. The prediction mode may include at least one of the above-described inter-prediction modes. Here, the procedures for determining the prediction mode, extracting motion vectors, and generating prediction samples may be performed simultaneously, or any procedure may be performed before other procedures. For example, as shown in FIG. 18, an image encoding equipment prediction unit for implementing the IBC-based video/image encoding method may include a prediction mode determining unit, a motion vector extracting unit, and a prediction sample extracting unit. The prediction mode determining module may determine the prediction mode of the current block, the motion vector extracting module may extract the motion vector of the current block, and the prediction sample extracting module may extract prediction samples of the current block. For example, the prediction module of the image encoding equipment may search for a block similar to the current block in the reconstructed area (or in a certain area (search area) of the reconstructed area) of the current frame and retrieve a reference block whose difference with respect to the current block is equal to or less than a certain criterion or minimum . The image encoding equipment may extract a motion vector based on the offset difference between the reference block and the current block. The image encoding equipment may determine the mode applied to the current block from various prediction modes. The image encoding equipment can compare RD costs for different prediction modes and determine the optimal prediction mode for the current block. However, the method of determining the prediction mode for the current block by the image encoding equipment is not limited to the above example, and various methods may be used.

[203] Например, при применении режима пропуска или режима объединения к текущему блоку, оборудование кодирования изображений может извлекать возможные варианты объединения из соседних блоков относительно текущего блока и конструировать список возможных вариантов объединения с использованием извлеченных возможных вариантов объединения. Помимо этого, оборудование кодирования изображений может извлекать опорный блок, разность которого относительно текущего блока равна или меньше определенного критерия или минимума, из опорных блоков, указываемых посредством возможных вариантов объединения, включенных в список возможных вариантов объединения. В этом случае, возможный вариант объединения, ассоциированный с извлеченным опорным блоком, может выбираться, и информация индекса объединения, указывающая выбранный возможный вариант объединения, может формироваться и передаваться в служебных сигналах в оборудование декодирования изображений. С использованием вектора движения выбранного возможного варианта объединения, может извлекаться вектор движения текущего блока.[203] For example, when applying a skip mode or a merge mode to a current block, the image encoding equipment may extract merge candidates from neighboring blocks relative to the current block and construct a list of merge candidates using the extracted merge candidates. In addition, the image encoding equipment may extract a reference block whose difference with respect to the current block is equal to or less than a certain criterion or minimum from the reference blocks indicated by the combine candidates included in the list of combine candidates. In this case, a combine candidate associated with the extracted reference block can be selected, and combine index information indicating the selected merge candidate can be generated and signaled to the image decoding equipment. Using the motion vector of the selected merging candidate, the motion vector of the current block can be retrieved.

[204] В качестве другого примера, при применении MVP-режима к текущему блоку, оборудование кодирования изображений может извлекать возможные варианты предикторов векторов движения (MVP) из соседних блоков относительно текущего блока и конструировать список возможных MVP-вариантов с использованием извлеченных возможных MVP-вариантов. Помимо этого, оборудование кодирования изображений может использовать вектор движения возможного MVP-варианта, выбранного из числа возможных MVP-вариантов, включенных в список возможных MVP-вариантов, в качестве MVP текущего блока. В этом случае, например, вектор движения, указывающий опорный блок, извлекаемый посредством вышеописанной оценки движения, может использоваться в качестве вектора движения текущего блока, и возможный MVP-вариант, имеющий наименьшую разность относительно вектора движения текущего блока из возможных MVP-вариантов, может становиться выбранным возможны MVP-вариантом. Разность векторов движения (MVD), которая получается посредством вычитания MVP из вектора движения текущего блока, может извлекаться. В этом случае, информация индекса, указывающая выбранный возможный MVP-вариант и информацию относительно MVD, может передаваться в служебных сигналах в оборудование декодирования изображений.[204] As another example, when applying the MVP mode to the current block, the image encoding equipment may extract motion vector predictor (MVP) candidates from neighboring blocks relative to the current block and construct a list of MVP candidates using the extracted MVP candidates. . In addition, the image encoding equipment may use a motion vector of an MVP candidate selected from among the MVP candidates included in the MVP candidate list as the MVP of the current block. In this case, for example, the motion vector indicating the reference block extracted by the above-described motion estimation can be used as the motion vector of the current block, and the candidate MVP variant having the smallest difference with respect to the motion vector of the current block among the candidate MVP variants can become the selected MVP option is possible. A motion vector difference (MVD), which is obtained by subtracting the MVP from the motion vector of the current block, can be extracted. In this case, index information indicating the selected MVP candidate and information regarding the MVD may be signaled to the image decoding equipment.

[205] Оборудование кодирования изображений может извлекать остаточные выборки на основе прогнозных выборок (S1420). Оборудование кодирования может извлекать остаточные выборки через сравнение между исходными выборками текущего блока и прогнозными выборками. Например, остаточная выборка может извлекаться посредством вычитания соответствующей прогнозной выборки из исходной выборки.[205] The image encoding equipment may extract residual samples based on the predictive samples (S1420). The encoding hardware can extract residual samples through a comparison between the current block's original samples and the predicted samples. For example, the residual sample may be extracted by subtracting the corresponding predictive sample from the original sample.

[206] Оборудование кодирования изображений может кодировать информацию изображений, включающую в себя информацию прогнозирования и остаточную информацию (S1430). Оборудование 100 кодирования изображений может выводить кодированную информацию изображений в форме потока битов. Информация прогнозирования может включать в себя информацию относительно информации режима прогнозирования (например, флаг пропуска, флаг объединения или индекс режима) и информацию движения в качестве информации, связанной с процедурой прогнозирования. Из информации режима прогнозирования, флаг пропуска указывает то, следует или нет применять режим пропуска к текущему блоку, и флаг объединения указывает то, следует или нет применять режим объединения к текущему блоку. Альтернативно, информация режима прогнозирования может указывать один из множества режимов прогнозирования, к примеру, индекс режима. Когда флаг пропуска и флаг объединения равны 0, может определяться то, что MVP-режим применяется к текущему блоку. Информация относительно вектора движения может включать в себя информацию выбора возможных вариантов (например, индекс объединения, MVP-флаг или MVP-индекс), которая представляет собой информацию для извлечения вектора движения. Из информации выбора возможных вариантов, индекс объединения может передаваться в служебных сигналах при применении режима объединения к текущему блоку, и может представлять собой информацию для выбора одного из возможных вариантов объединения, включенных в список возможных вариантов объединения. Из информации выбора возможных вариантов, MVP-флаг или MVP-индекс может передаваться в служебных сигналах при применении MVP-режима к текущему блоку и может представлять собой информацию для выбора одного из возможных MVP-вариантов, включенных в список возможных MVP-вариантов. Помимо этого, информация относительно вектора движения может включать в себя информацию относительно вышеописанной MVD. Помимо этого, информация относительно вектора движения может включать в себя информацию, указывающую то, следует применять L0-прогнозирование, L1-прогнозирование или бипрогнозирование. Остаточная информация представляет собой информацию относительно остаточных выборок. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования для остаточных выборок.[206] The image encoding equipment can encode image information including prediction information and residual information (S1430). The image encoding equipment 100 may output encoded image information in the form of a bit stream. The prediction information may include information regarding prediction mode information (eg, a skip flag, a merge flag, or a mode index) and motion information as information associated with the prediction procedure. From the prediction mode information, the skip flag indicates whether or not the skip mode should be applied to the current block, and the merge flag indicates whether or not the merge mode should be applied to the current block. Alternatively, the prediction mode information may indicate one of a plurality of prediction modes, eg, a mode index. When the skip flag and the merge flag are 0, it can be determined that the MVP mode is applied to the current block. The information regarding the motion vector may include candidate selection information (eg, a pooling index, an MVP flag, or an MVP index), which is information for extracting the motion vector. From the candidate selection information, the combining index may be signaled when applying a combining mode to the current block, and may be information for selecting one of the combining candidates included in the combining candidate list. From the candidate selection information, an MVP flag or an MVP index may be signaled when the MVP mode is applied to the current block, and may be information for selecting one of the MVP candidates included in the MVP candidate list. In addition, information regarding the motion vector may include information regarding the above-described MVD. In addition, information regarding the motion vector may include information indicating whether L0 prediction, L1 prediction, or bi-prediction should be applied. Residual information is information regarding the residual samples. The residual information may include information regarding quantized transform coefficients for the residual samples.

[207] Выходной поток битов может сохраняться на (цифровом) носителе хранения данных и передаваться в оборудование декодирования изображений либо может передаваться в оборудование декодирования изображений через сеть.[207] The output bitstream may be stored on a (digital) storage medium and transmitted to the image decoding equipment, or may be transmitted to the image decoding equipment via a network.

[208] Между тем, как описано выше, оборудование кодирования изображений может формировать восстановленный кадр (кадр, включающий в себя восстановленные выборки и восстановленный блок) на основе опорных выборок и остаточных выборок. Это служит для извлечения, посредством оборудования кодирования изображений, результата прогнозирования, идентичного прогнозированию, выполняемому посредством оборудования декодирования изображений, за счет этого повышая эффективность кодирования. Соответственно, оборудование кодирования изображений может сохранять восстановленный кадр (либо восстановленные выборки и восстановленный блок) в запоминающем устройстве и использовать его в качестве опорного кадра для взаимного прогнозирования. Процедура внутриконтурной фильтрации дополнительно может применяться к восстановленному кадру, как описано выше.[208] Meanwhile, as described above, the image encoding equipment can generate a reconstructed frame (a frame including reconstructed samples and a reconstructed block) based on the reference samples and residual samples. This serves to extract, by the image encoding equipment, a prediction result identical to the prediction performed by the image decoding equipment, thereby improving encoding efficiency. Accordingly, the image encoding equipment may store the reconstructed frame (or the reconstructed samples and the reconstructed block) in a storage device and use it as a reference frame for inter-prediction. An in-loop filtering procedure may additionally be applied to the reconstructed frame as described above.

[209] Фиг. 19 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе IBC.[209] FIG. 19 is a flowchart illustrating a video/image decoding method based on IBC.

[210] Фиг. 20 является видом, иллюстрирующим конфигурацию модуля прогнозирования для осуществления способа декодирования видео/изображений на основе IBC согласно настоящему раскрытию сущности.[210] FIG. 20 is a view illustrating the configuration of a prediction module for implementing an IBC-based video/image decoding method according to the present disclosure.

[211] Оборудование декодирования изображений может выполнять операцию, соответствующую операции, выполняемой посредством оборудования кодирования изображений. Оборудование декодирования изображений может выполнять IBC-прогнозирование для текущего блока на основе принимаемой информации прогнозирования, чтобы извлекать прогнозные выборки.[211] The image decoding equipment may perform an operation corresponding to an operation performed by the image encoding equipment. The image decoding equipment may perform IBC prediction for the current block based on the received prediction information to extract prediction samples.

[212] Способ декодирования по фиг. 19 может осуществляться посредством оборудования декодирования изображений по фиг. 3. Этапы S1610-S1630 могут выполняться посредством модуля прогнозирования и информации прогнозирования этапа S1610, и остаточная информация этапа S1640 может получаться из потока битов посредством энтропийного декодера 210. Остаточный процессор оборудования декодирования изображений может извлекать остаточные выборки для текущего блока на основе остаточной информации (S1640). В частности, деквантователь 220 остаточного процессора может выполнять деквантование на основе деквантованных коэффициентов преобразования, извлекаемых на основе остаточной информации, чтобы извлекать коэффициенты преобразования, и обратный преобразователь 230 остаточного процессора может выполнять обратное преобразование для коэффициентов преобразования, чтобы извлекать остаточные выборки для текущего блока. Этап S1650 может выполняться посредством сумматора 235 или модуля восстановления.[212] The decoding method of FIG. 19 may be implemented by the image decoding equipment of FIG. 3. Steps S1610 to S1630 may be performed by the prediction unit and prediction information of step S1610, and the residual information of step S1640 may be obtained from the bit stream by the entropy decoder 210. The residual processor of the image decoding equipment may extract residual samples for the current block based on the residual information (S1640 ). In particular, the residual processor dequantizer 220 may perform dequantization based on the dequantized transform coefficients extracted based on the residual information to extract transform coefficients, and the residual processor inverter 230 may perform inverse transform on the transform coefficients to extract residual samples for the current block. Step S1650 may be performed by the adder 235 or the recovery module.

[213] В частности, оборудование декодирования изображений может определять режим прогнозирования текущего блока на основе принимаемой информации прогнозирования (S1610). Оборудование декодирования изображений может определять то, какой режим прогнозирования применяется к текущему блоку, на основе информации режима прогнозирования в информации прогнозирования.[213] Specifically, the image decoding equipment may determine a prediction mode of the current block based on the received prediction information (S1610). The image decoding equipment can determine which prediction mode is applied to the current block based on the prediction mode information in the prediction information.

[214] Например, может определяться то, следует или нет применять режим пропуска к текущему блоку, на основе флага пропуска. Помимо этого, может определяться то, следует применять режим объединения или MVP-режим к текущему блоку, на основе флага объединения. Альтернативно, один из различных возможных вариантов режимов прогнозирования может выбираться на основе индекса режима. Возможные варианты режимов взаимного прогнозирования могут включать в себя режим пропуска, режим объединения и/или MVP-режим или могут включать в себя вышеописанные различные режимы взаимного прогнозирования.[214] For example, it may be determined whether or not to apply the skip mode to the current block based on the skip flag. In addition, it can be determined whether the merge mode or MVP mode should be applied to the current block based on the merge flag. Alternatively, one of the various possible prediction mode options may be selected based on the mode index. Options for inter-prediction modes may include a skip mode, a merge mode, and/or an MVP mode, or may include the various inter-prediction modes described above.

[215] Оборудование кодирования изображений может извлекать вектор движения текущего блока на основе определенного режима прогнозирования (S1620). Например, при применении режима пропуска или режима объединения к текущему блоку, оборудование декодирования изображений может конструировать вышеописанный список возможных вариантов объединения и выбирать один из режимов объединения, включенных в список возможных вариантов объединения. Выбор может выполняться на основе вышеописанной информации выбора возможных вариантов (индекса объединения). Вектор движения текущего блока может извлекаться с использованием вектора движения выбранного возможного варианта объединения. Например, вектор движения выбранного возможного варианта объединения может использоваться в качестве вектора движения текущего блока.[215] The image encoding equipment may extract the motion vector of the current block based on the determined prediction mode (S1620). For example, when applying a skip mode or a combining mode to the current block, the image decoding equipment may construct the above-described list of combining options and select one of the combining modes included in the list of combining options. The selection may be made based on the candidate selection information (merging index) described above. The motion vector of the current block may be extracted using the motion vector of the selected fusion candidate. For example, the motion vector of the selected merging candidate may be used as the motion vector of the current block.

[216] В качестве другого примера, при применении MVP-режима к текущему блоку, оборудование декодирования изображений может конструировать список возможных MVP-вариантов и использовать вектор движения возможного MVP-варианта, выбранного из числа возможных MVP-вариантов, включенных в список возможных MVP-вариантов, в качестве MVP текущего блока. Выбор может выполняться на основе вышеописанной информации выбора возможных вариантов (MVP-флага или MVP-индекса). В этом случае, MVD текущего блока может извлекаться на основе информации относительно MVD, и вектор движения текущего блока может извлекаться на основе MVP и MVD текущего блока.[216] As another example, when applying an MVP mode to a current block, the picture decoding equipment may construct a list of candidate MVPs and use a motion vector of a candidate MVP selected from among candidate MVPs included in the list of candidate MVPs. options as the MVP of the current block. The selection may be made based on the candidate selection information described above (MVP flag or MVP index). In this case, the MVD of the current block can be extracted based on information regarding the MVD, and the motion vector of the current block can be extracted based on the MVP and MVD of the current block.

[217] Оборудование декодирования изображений может формировать прогнозные выборки текущего блока на основе вектора движения текущего блока (S1630). Прогнозные выборки текущего блока могут извлекаться с использованием выборок опорного блока, указываемого посредством вектора движения текущего блока в текущем кадре. В этом случае, процедура фильтрации прогнозных выборок для всех или некоторых прогнозных выборок текущего блока дополнительно может выполняться.[217] The image decoding equipment can generate predictive samples of the current block based on the motion vector of the current block (S1630). Predictive samples of the current block may be retrieved using samples of a reference block indicated by the motion vector of the current block in the current frame. In this case, a procedure for filtering the prediction samples for all or some of the prediction samples of the current block may further be performed.

[218] Например, как показано на фиг. 20, модуль прогнозирования оборудования декодирования изображений для осуществления способа декодирования видео/изображений на основе IBC может включать в себя модуль определения режима прогнозирования, модуль извлечения векторов движения и модуль извлечения прогнозных выборок. Модуль прогнозирования оборудования декодирования изображений может определять режим прогнозирования для текущего блока на основе принимаемой информации режима прогнозирования в модуле определения режима прогнозирования, извлекать вектор движения текущего блока на основе принимаемой информации относительно вектора движения в модуле извлечения векторов движения и извлекать прогнозные выборки текущего блока в модуле извлечения прогнозных выборок.[218] For example, as shown in FIG. 20, the image decoding equipment prediction module for implementing the IBC-based video/image decoding method may include a prediction mode determining module, a motion vector extracting module, and a prediction sample extracting module. The prediction module of the image decoding equipment can determine the prediction mode for the current block based on the received prediction mode information in the prediction mode determination module, extract the motion vector of the current block based on the received information regarding the motion vector in the motion vector extraction module, and extract the prediction samples of the current block in the extraction module forecast samples.

[219] Оборудование декодирования изображений может формировать остаточные выборки текущего блока на основе принимаемой остаточной информации (S1640). Оборудование декодирования изображений может формировать восстановленные выборки для текущего блока на основе прогнозных выборок и остаточных выборок и формировать восстановленный кадр на их основе (S1650). После этого, процедура внутриконтурной фильтрации дополнительно может применяться к восстановленному кадру, как описано выше.[219] The image decoding equipment may generate residual samples of the current block based on the received residual information (S1640). The image decoding equipment can generate reconstructed samples for the current block based on the prediction samples and residual samples, and generate a reconstructed frame based on them (S1650). Thereafter, an in-loop filtering procedure may further be applied to the reconstructed frame as described above.

[220] Как описано выше, одна единица (например, единица кодирования (CU)) может включать в себя блок сигналов яркости (блок кодирования (CB) сигналов яркости) и блок сигналов цветности (CB сигналов цветности). В этом случае, блок сигналов яркости и блок сигналов цветности, соответствующий ему, могут иметь идентичную информацию движения (например, вектор движения) или различную информацию движения. Например, информация движения блока сигналов цветности может извлекаться на основе информации движения блока сигналов яркости, так что блок сигналов яркости и блок сигналов цветности, соответствующий ему, имеют идентичную информацию движения.[220] As described above, one unit (eg, a coding unit (CU)) may include a luminance signal block (luminance coding block (CB)) and a chrominance signal block (chrominance CB). In this case, the luminance signal block and the chrominance signal block corresponding to it may have identical motion information (eg, motion vector) or different motion information. For example, the motion information of a chroma block may be extracted based on the motion information of a luma block, so that the luma block and the chrominance block corresponding to it have identical motion information.

[221] Общее представление формата сигналов цветности[221] Chroma format overview

[222] В дальнейшем в этом документе описывается формат сигналов цветности. Изображение может кодироваться в кодированные данные, включающие в себя массив компонентов сигнала яркости (например, Y) и два массива компонентов сигнала цветности (например, Cb и Cr). Например, один пиксел кодированного изображения может включать в себя выборку сигналов яркости и выборку сигналов цветности. Формат сигналов цветности может использоваться для того, чтобы представлять конфигурационный формат выборки сигналов яркости и выборки сигналов цветности, и формат сигналов цветности может называться "цветовым форматом".[222] The format of the chrominance signals is described later in this document. The image may be encoded into encoded data including an array of luma components (eg, Y) and two arrays of chrominance components (eg, Cb and Cr). For example, one pixel of an encoded image may include a luma sample and a chrominance sample. The chrominance signal format may be used to represent the configuration format of the luma signal sample and the chrominance signal sample, and the chrominance signal format may be referred to as a “color format”.

[223] В варианте осуществления, изображение может кодироваться в различные форматы сигналов цветности, такие как монохромный, 4:2:0, 4:2:2 или 4:4:4. При монохромной дискретизации, может быть предусмотрен один массив выборок, и массив выборок может представлять собой массив сигналов яркости. При дискретизации 4:2:0, могут быть предусмотрены один массив выборок сигналов яркости и два массива выборок сигналов цветности, каждый из двух массивов сигналов цветности может иметь высоту, равную половине высоты массива сигналов яркости, и ширину, равную половине ширины массива сигналов яркости. При дискретизации 4:2:2, могут быть предусмотрены один массив выборок сигналов яркости и два массива выборок сигналов цветности, каждый из двух массивов сигналов цветности может иметь высоту, равную высоте массива сигналов яркости, и ширину, равную половине ширины массива сигналов яркости. При дискретизации 4:4:4, могут быть предусмотрены один массив выборок сигналов яркости и два массива выборок сигналов цветности, и каждый из двух массивов сигналов цветности может иметь высоту и ширину, равную высоте и ширине массива сигналов яркости.[223] In an embodiment, the image may be encoded into various chrominance signal formats, such as monochrome, 4:2:0, 4:2:2, or 4:4:4. In monochrome sampling, one array of samples may be provided, and the array of samples may be an array of luminance signals. With 4:2:0 sampling, one luma sample array and two chrominance sample arrays may be provided, each of the two chroma arrays may have a height equal to half the height of the luma array and a width equal to half the width of the luma array. With 4:2:2 sampling, one luma sample array and two chrominance sample arrays may be provided, each of the two chroma arrays may have a height equal to the height of the luma array and a width equal to half the width of the luma array. In 4:4:4 sampling, one luma sample array and two chrominance sample arrays may be provided, and each of the two chroma arrays may have a height and width equal to the height and width of the luma array.

[224] Например, при дискретизации 4:2:0, выборка сигналов цветности может быть расположена ниже выборки сигналов яркости, соответствующей ей. При дискретизации 4:2:2, выборка сигналов цветности может быть расположена с возможностью перекрывать выборку сигналов яркости, соответствующую ей. При дискретизации 4:4:4, как выборка сигналов яркости, так и выборка сигналов цветности могут быть расположены в перекрывающейся позиции.[224] For example, in 4:2:0 sampling, the chroma sample may be located below the corresponding luminance sample. In 4:2:2 sampling, the chroma sample may be positioned to overlap the luminance sample corresponding to it. In 4:4:4 sampling, both the luma sample and the chrominance sample may be located at an overlapping position.

[225] Формат сигналов цветности, используемый в оборудовании кодирования и оборудовании декодирования, может быть предварительно определен. Альтернативно, формат сигналов цветности может передаваться в служебных сигналах из оборудования кодирования в оборудование декодирования с возможностью адаптивно использоваться в оборудовании кодирования и оборудовании декодирования. В варианте осуществления, формат сигналов цветности может передаваться в служебных сигналах на основе, по меньшей мере, одного из chroma_format_idc или separate_colour_plane_flag. По меньшей мере, один из chroma_format_idc или separate_colour_plane_flag может передаваться в служебных сигналах через высокоуровневый синтаксис, такой как DPS, VPS, SPS или PPS. Например, chroma_format_idc и separate_colour_plane_flag может включаться в SPS-cинтаксис, показанный на фиг. 21.[225] The format of the chrominance signals used in the encoding equipment and decoding equipment may be predetermined. Alternatively, the format of the chrominance signals may be signaled from encoding equipment to decoding equipment so that it can be adaptively used in the encoding equipment and decoding equipment. In an embodiment, the format of the chroma signals may be signaled based on at least one of chroma_format_idc or separate_colour_plane_flag. At least one of chroma_format_idc or separate_colour_plane_flag may be signaled through a high-level syntax such as DPS, VPS, SPS, or PPS. For example, chroma_format_idc and separate_colour_plane_flag may be included in the SPS syntax shown in FIG. 21.

[226] Между тем, фиг. 22 показывает вариант осуществления классификации форматов сигналов цветности с использованием передачи в служебных сигналах chroma_format_idc и separate_colour_plane_flag; chroma_format_idc может представлять собой информацию, указывающую формат сигналов цветности, применяемый к кодированному изображению; separate_colour_plane_flag может указывать то, обрабатывается или нет цветовой массив отдельно в конкретном формате сигналов цветности. Например, первое значение (например, 0) chroma_format_idc может указывать монохромную дискретизацию. Второе значение (например, 1) chroma_format_idc может указывать дискретизацию 4:2:0. Третье значение (например, 2) chroma_format_idc может указывать дискретизацию 4:2:2. Четвертое значение (например, 3) chroma_format_idc может указывать дискретизацию 4:4:4.[226] Meanwhile, FIG. 22 shows an embodiment of classifying chroma signal formats using chroma_format_idc and separate_colour_plane_flag signaling; chroma_format_idc may be information indicating the chroma signal format applied to the encoded image; separate_colour_plane_flag can indicate whether or not a color array is processed separately in a particular chrominance signal format. For example, the first value (eg 0) of chroma_format_idc may indicate monochrome sampling. A second value (eg 1) of chroma_format_idc may indicate 4:2:0 sampling. A third value (eg 2) of chroma_format_idc may indicate 4:2:2 sampling. A fourth value (eg 3) of chroma_format_idc may indicate 4:4:4 sampling.

[227] При 4:4:4, может применяться следующее на основе значения separate_colour_plane_flag. Если значение separate_colour_plane_flag составляет первое значение (например, 0), каждый из двух массивов сигналов цветности может иметь высоту и ширину, идентичные высоте и ширине массива сигналов яркости. В этом случае, значение ChromaArrayType, указывающего тип массива выборок сигналов цветности, может задаваться равным chroma_format_idc. Если значение separate_colour_plane_flag составляет второе значение (например, 1), массивы выборок сигналов яркости, Cb-выборок и Cr-выборок могут отдельно обрабатываться и обрабатываться наряду с монохромно дискретизированными кадрами. В этом случае, ChromaArrayType может задаваться равным 0.[227] At 4:4:4, the following may apply based on the value of separate_colour_plane_flag. If the value of separate_colour_plane_flag is the first value (for example, 0), each of the two chroma arrays can have a height and width identical to the height and width of the luma array. In this case, the value of ChromaArrayType, indicating the type of the array of chroma samples, may be set to chroma_format_idc. If the value of separate_colour_plane_flag is the second value (eg, 1), arrays of luma samples, Cb samples, and Cr samples can be separately processed and processed along with the monochrome sampled frames. In this case, ChromaArrayType can be set to 0.

[228] Внутреннее прогнозирование для блока сигналов цветности[228] Intra prediction for chrominance block

[229] Когда внутреннее прогнозирование выполняется для текущего блока, прогнозирование относительно блока компонентов сигнала яркости (блока сигналов яркости) текущего блока и прогнозирование относительно блока компонентов сигнала цветности (блока сигналов цветности) могут выполняться. В этом случае, режим внутреннего прогнозирования для блока сигналов цветности может задаваться отдельно от режима внутреннего прогнозирования для блока сигналов яркости.[229] When intra prediction is performed on the current block, prediction relative to the luminance signal component block (luminance signal block) of the current block and prediction relative to the chrominance signal component block (chrominance signal block) can be performed. In this case, the intra prediction mode for the chrominance signal block may be set separately from the intra prediction mode for the luma signal block.

[230] Например, режим внутреннего прогнозирования для блока сигналов цветности может указываться на основе информации режима внутреннего прогнозирования сигналов цветности, и информация режима внутреннего прогнозирования сигналов цветности может передаваться в служебных сигналах в форме синтаксического элемента intra_chroma_pred_mode. Например, информация режима внутреннего прогнозирования сигналов цветности может представлять одно из планарного режима, DC-режима, вертикального режима, горизонтального режима, извлеченного режима (DM) и режима на основе кросскомпонентной линейной модели (CCLM). Здесь, планарный режим может указывать режим #0 внутреннего прогнозирования, DC-режим может указывать режим #1 внутреннего прогнозирования, вертикальный режим может указывать режим #26 внутреннего прогнозирования, и горизонтальный режим может указывать режим #10 внутреннего прогнозирования. DM также может называться "прямым режимом". CCLM также может называться "линейной моделью (LM)".[230] For example, an intra-chroma prediction mode for a chroma block may be indicated based on the intra-chroma prediction mode information, and the intra-chroma prediction mode information may be signaled in the form of an intra_chroma_pred_mode syntax element. For example, the intra-chrominance prediction mode information may represent one of a planar mode, a DC mode, a vertical mode, a horizontal mode, a extracted mode (DM), and a cross-component linear model (CCLM) mode. Here, a planar mode may indicate intra-prediction mode #0, a DC mode may indicate intra-prediction mode #1, a vertical mode may indicate intra-prediction mode #26, and a horizontal mode may indicate intra-prediction mode #10. DM may also be called "direct mode". CCLM can also be called "linear model (LM)".

[231] Между тем DM и CCLM представляют собой зависимые режимы внутреннего прогнозирования для прогнозирования блока сигналов цветности с использованием информации относительно блока сигналов яркости. DM может представлять режим, в котором режим внутреннего прогнозирования, идентичный режиму внутреннего прогнозирования для компонента сигнала яркости, применяется в качестве режима внутреннего прогнозирования для компонента сигнала цветности. Помимо этого, CCLM может представлять режим внутреннего прогнозирования с использованием, в качестве прогнозных выборок блока сигналов цветности, выборок, извлекаемых посредством субдискретизации восстановленных выборок блока сигналов яркости и последующего применения α и β, которые представляют собой CCLM-параметры, к субдискретизированным выборкам в процессе формирования блока прогнозирования для блока сигналов цветности.[231] Meanwhile, DM and CCLM are dependent intra prediction modes for predicting a chroma block using information regarding a luma block. The DM may represent a mode in which an intra prediction mode identical to the intra prediction mode for the luma signal component is applied as an intra prediction mode for the chrominance signal component. In addition, CCLM may represent an intra-prediction mode using, as predicted chrominance block samples, samples extracted by subsampling the reconstructed luma block samples and then applying α and β, which are CCLM parameters, to the subsampled samples during generation prediction block for the chrominance signal block.

[232] Уравнение 2[232] Equation 2

[233] [233]

[234] где predc(i, j) может обозначать прогнозную выборку координат (i, j) текущего блока сигналов цветности в текущей CU; recL'(i, j) может обозначать восстановленную выборку координат (i, j) текущего блока сигналов яркости в CU. Например, recL'(i, j) может обозначать понижающе дискретизированную восстановленную выборку текущего блока сигналов яркости. Коэффициенты α и β линейной модели могут передаваться в служебных сигналах или извлекаться из соседних выборок.[234] where predc(i, j) may denote a predictive sample of coordinates (i, j) of the current chroma block in the current CU; recL'(i, j) may denote the reconstructed sample of coordinates (i, j) of the current block of luminance signals in the CU. For example, recL'(i, j) may denote a downsampled reconstructed sample of the current block of luminance signals. The coefficients α and β of the linear model can be signaled or extracted from neighboring samples.

[235] Виртуальная конвейерная единица данных[235] Virtual Pipeline Data Unit

[236] Виртуальные конвейерные единицы данных (VPDU) могут задаваться для конвейерной обработки в кадре. VPDU могут задаваться как неперекрывающиеся единицы в одном кадре. В аппаратном оборудовании декодирования, последовательные VPDU могут одновременно обрабатываться посредством нескольких ступеней конвейера. В большинстве ступеней конвейера, VPDU-размер может быть примерно пропорциональным размеру буфера. Соответственно, поддержание VPDU-размера небольшим является важным при рассмотрении размера буфера с точки зрения аппаратных средств. В большинстве видов аппаратного оборудования декодирования, VPDU-размер может задаваться равным максимальному размеру блока преобразования (TB). Например, VPDU-размер может составлять размер 64×64 (64×64 выборки сигнала яркости). Альтернативно, в VVC, VPDU-размер может изменяться (увеличиваться или уменьшаться) с учетом вышеописанной сегментации на троичное дерево (TT) и/или двоичное дерево (BT).[236] Virtual Pipeline Data Units (VPDUs) can be specified for pipelining within a frame. VPDUs may be specified as non-overlapping units in the same frame. In hardware decoding hardware, successive VPDUs can be processed simultaneously through multiple pipeline stages. In most pipeline stages, the VPDU size can be approximately proportional to the buffer size. Accordingly, keeping the VPDU size small is important when considering buffer size from a hardware perspective. In most types of decoding hardware, the VPDU size can be set to the maximum transform block (TB) size. For example, the VPDU size may be 64×64 (64×64 luminance samples). Alternatively, in VVC, the VPDU size may be changed (increased or decreased) taking into account the above-described ternary tree (TT) and/or binary tree (BT) segmentation.

[237] Между тем, чтобы поддерживать VPDU-размер при выборке выборок сигналов яркости 64×64, разбиение CU, показанное на фиг. 23, может ограничиваться. Более конкретно, по меньшей мере, одно из следующих ограничений может применяться.[237] Meanwhile, in order to maintain the VPDU size when sampling 64×64 luminance signal samples, the CU partition shown in FIG. 23 may be limited. More specifically, at least one of the following restrictions may apply.

[238] Ограничение 1: Разбиение на троичное дерево (TT) не разрешается для CU, имеющей ширину или высоту в 128 либо ширину и высоту в 128.[238] Limitation 1: Ternary tree (TT) partitioning is not allowed for a CU that has a width or height of 128, or a width and height of 128.

[239] Ограничение 2: Разбиение на горизонтальное двоичное дерево (BT) не разрешается для CU, имеющей 128xN (где N является целым числом, равным или меньшим 64 и большим 0) (например, разбиение горизонтальное на двоичное дерево не разрешается для CU, имеющей ширину 128 и высоту меньше 128).[239] Limitation 2: BT tree splitting is not permitted for a CU having 128xN (where N is an integer equal to or less than 64 and greater than 0) (e.g., BT tree splitting is not allowed for a CU having width 128 and height less than 128).

[240] Ограничение 3: Разбиение на вертикальное двоичное дерево (BT) не разрешается для CU, имеющей Nx128 (где N является целым числом, равным или меньшим 64 и большим 0) (например, разбиение на вертикальное двоичное дерево не разрешается для CU, имеющей высоту в 128 и ширину меньше 128).[240] Limitation 3: BT partitioning is not permitted for a CU having Nx128 (where N is an integer equal to or less than 64 and greater than 0) (e.g., BT partitioning is not permitted for a CU having height 128 and width less than 128).

[241] Проблема ограничения максимального размера блока сигналов цветности для конвейерной обработки[241] Problem limiting the maximum chrominance block size for pipeline processing

[242] Как описано выше относительно структуры сегментации и процесса преобразования, CU может разбиваться, чтобы формировать множество TU. Когда размер CU превышает максимальный TU-размер, CU может разбиваться на множество TU. Следовательно, преобразование и/или обратное преобразование могут выполняться для каждой TU. В общем, максимальный TU-размер для блока сигналов яркости может задаваться равным максимальному доступному размеру преобразования, которое может выполняться посредством оборудования кодирования и/или оборудования декодирования. Примеры разбиения CU и TU согласно варианту осуществления показаны на фиг. 24-26.[242] As described above regarding the segmentation structure and transformation process, a CU may be divided to form a plurality of TUs. When the CU size exceeds the maximum TU size, the CU may be split into multiple TUs. Therefore, conversion and/or deconversion may be performed on a per-TU basis. In general, the maximum TU size for a luma block may be set equal to the maximum available transform size that can be performed by the encoding equipment and/or decoding equipment. Examples of CU and TU partitioning according to the embodiment are shown in FIG. 24-26.

[243] Фиг. 24 показывает пример TU, сформированной посредством разбиения CU сигналов яркости и CU сигналов цветности согласно варианту осуществления. В варианте осуществления, максимальный размер CU сигналов яркости может составлять 64×64, максимальный доступный размер преобразования может составлять 32×32, и неквадратная TU может не разрешаться. Следовательно, максимальный размер блока преобразования компонентов сигнала яркости может составлять 32×32. В этом варианте осуществления, максимальный TU-размер может задаваться так, как показано в следующем уравнении.[243] FIG. 24 shows an example of a TU formed by dividing CU luma signals and CU chrominance signals according to an embodiment. In an embodiment, the maximum CU size of luma signals may be 64×64, the maximum available transform size may be 32×32, and non-square TU may not be allowed. Therefore, the maximum size of the luminance signal component conversion block can be 32×32. In this embodiment, the maximum TU size may be set as shown in the following equation.

[244] Уравнение 3[244] Equation 3

[245] maxTbSize=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/max(SubWidthC, SubHeightC)[245] maxTbSize=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/max(SubWidthC, SubHeightC)

[246] В вышеприведенном уравнении, maxTbSize может представлять собой максимальный размер блока преобразования (TB), и cIdx может представлять собой цветовой компонент соответствующего блока; cIdx 0 может обозначать компонент сигнала яркости, 1 может обозначать компонент Cb-сигнала цветности, и 2 может обозначать компонент Cr-сигнала цветности. MaxTbSizeY может обозначать максимальный размер блока преобразования компонентов сигнала яркости, SubWidthC может обозначать отношение ширины блока сигналов яркости к ширине блока сигналов цветности, SubHeightC может обозначать отношение высоты блока сигналов яркости к высоте блока сигналов цветности, и max(A, B) может обозначать функцию для возврата большего значения из A и B в качестве результирующего значения.[246] In the above equation, maxTbSize may represent the maximum size of a transform block (TB), and cIdx may represent the color component of the corresponding block; cIdx 0 may denote a luma component, 1 may denote a Cb chrominance signal component, and 2 may denote a Cr chrominance signal component. MaxTbSizeY may denote the maximum size of a luma component transform block, SubWidthC may denote the ratio of the luma block width to the chroma block width, SubHeightC may denote the ratio of the luma block height to the chroma block height, and max(A, B) may denote a function for returning the larger value from A and B as the resulting value.

[247] Согласно вышеприведенному уравнению, в вышеописанном варианте осуществления, в случае блока сигналов яркости, максимальный размер блока преобразования может задаваться в качестве максимального размера блока преобразования компонентов сигнала яркости. Здесь, максимальный размер блока преобразования компонентов сигнала яркости составляет значение, заданное во время кодирования, и может передаваться в служебных сигналах из оборудования кодирования в оборудование декодирования через поток битов.[247] According to the above equation, in the above-described embodiment, in the case of the luminance signal block, the maximum size of the conversion block may be set as the maximum size of the luminance signal component conversion block. Here, the maximum size of the luminance signal component conversion block is a value set at the time of encoding, and can be signaled from the encoding equipment to the decoding equipment via a bit stream.

[248] Помимо этого, в вышеприведенном варианте осуществления, максимальный размер блока преобразования блока сигналов цветности может задаваться равным значению, полученному посредством деления максимального размера блока преобразования компонентов сигнала яркости на большее значение из SubWidthC и SubHeightC. Здесь, SubWidthC и SubHeightC могут определяться на основе chroma_format_idc и separate_colour_plane_flag, передаваемых в служебных сигналах из оборудования кодирования в оборудование декодирования через поток битов, как показано на фиг. 23.[248] In addition, in the above embodiment, the maximum chrominance signal component transform block size may be set to a value obtained by dividing the maximum luminance signal component transform block size by the larger value of SubWidthC and SubHeightC. Here, SubWidthC and SubHeightC may be determined based on the chroma_format_idc and separate_colour_plane_flag signaled from the encoding equipment to the decoding equipment via a bit stream, as shown in FIG. 23.

[249] Согласно вышеприведенному уравнению, в вышеприведенном варианте осуществления, максимальный размер блока преобразования может определяться в качестве любого из минимальной ширины и минимальной высоты блока преобразования. Следовательно, TU-разбиение блока сигналов яркости и блока сигналов цветности в вышеуказанном варианте осуществления может выполняться, как показано на фиг. 24. Например, как показано на фиг. 24, в случае блока сигналов цветности, имеющего формат 4:2:2, поскольку максимальный размер блока преобразования определяется равным 16, CU сигналов цветности может разбиваться на множество блоков преобразования, в форме, отличающейся от формы разбиения CU сигналов яркости на блоки преобразования.[249] According to the above equation, in the above embodiment, the maximum size of the transformation block may be determined as any of the minimum width and minimum height of the transformation block. Therefore, TU partitioning of the luma signal block and the chrominance signal block in the above embodiment can be performed as shown in FIG. 24. For example, as shown in FIG. 24, in the case of a chrominance signal block having a 4:2:2 format, since the maximum transform block size is determined to be 16, the chrominance signal CU may be divided into a plurality of transform blocks in a form different from the form in which the luma signal CU is divided into transform blocks.

[250] Фиг. 25 показывает пример TU, сформированной посредством разбиения CU сигналов яркости и CU сигналов цветности согласно другому варианту осуществления. В варианте осуществления, максимальный размер CU сигналов яркости может составлять 128×128, максимальный доступный размер преобразования может составлять 64×64, и неквадратная TU может не разрешаться. Следовательно, максимальный размер блока преобразования компонентов сигнала яркости может составлять 64×64. В этом варианте осуществления, максимальный размер блока преобразования может задаваться так, как показано в следующем уравнении. В следующем уравнении, min(A, B) может представлять собой функцию для возврата меньшего значения из A и B.[250] FIG. 25 shows an example of a TU formed by dividing CU luma signals and CU chrominance signals according to another embodiment. In an embodiment, the maximum CU size of luma signals may be 128×128, the maximum available transform size may be 64×64, and non-square TU may not be allowed. Therefore, the maximum size of the luma component conversion block can be 64×64. In this embodiment, the maximum transform block size may be set as shown in the following equation. In the following equation, min(A, B) can be a function to return the smaller value from A and B.

[251] Уравнение 4[251] Equation 4

[252] maxTbSize=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/min(SubWidthC, SubHeightC)[252] maxTbSize=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/min(SubWidthC, SubHeightC)

[253] Между тем, согласно вышеприведенному уравнению, поскольку большее значение из ширины и высоты соответствующего блока применяется в качестве максимального размера блока преобразования, CU сигналов яркости и CU сигналов цветности могут разбиваться на множество TU аналогично примеру по фиг. 25.[253] Meanwhile, according to the above equation, since the larger value of the width and height of the corresponding block is applied as the maximum size of the conversion block, the luma signal CU and the chrominance signal CU can be divided into a plurality of TUs similar to the example in FIG. 25.

[254] В примерах по фиг. 24 и 25, при разбиении CU сигналов цветности, имеющей формат 4:2:2, на TU, она разбивается в форме, отличающейся от формы разбиения соответствующей CU сигналов яркости на TU. Тем не менее, когда кодирование/декодирование блока сигналов цветности выполняется со ссылкой на блок сигналов яркости, аналогично DM-режиму или CCLM-режиму для прогнозирования блока сигналов цветности, описанного выше, выполнение кодирования (или декодирования) соответствующего блока сигналов яркости сразу после кодирования (или декодирование) блока сигналов яркости, соответствующего блоку сигналов цветности, является эффективным для того, чтобы уменьшать задержку в конвейерной обработке и экономить запоминающее устройство.[254] In the examples of FIGS. 24 and 25, when a chroma CU having a 4:2:2 format is partitioned into a TU, it is partitioned in a different form from the partition shape of the corresponding luma CU into a TU. However, when encoding/decoding of a chroma block is performed with reference to a luma block, similar to the DM mode or CCLM mode for predicting a chroma block described above, performing encoding (or decoding) of the corresponding luma block immediately after encoding ( or decoding) of a luma signal block corresponding to a chrominance signal block is effective in order to reduce the delay in the pipeline and save storage space.

[255] Тем не менее, в примере по фиг. 24, кодирование двух блоков 2421 и 2423 сигналов цветности должно выполняться после кодирования одного блока 2411 преобразования сигналов яркости, который требует отдельной обработки во взаимосвязи с различными цветовыми форматами (4:4:4 или 4:2:0). Помимо этого, в примере по фиг. 25, кодирование одного блока 2521 преобразования сигналов цветности должно выполняться после кодирования двух блоков 2511 и 2512 преобразования сигналов яркости. Таким образом, в вышеописанном способе TU-разбиения, когда формат 4:2:2 используется, поскольку блок сигналов яркости и блок сигналов цветности, соответствующий ему, не совпадают, отдельный процесс может добавляться, чтобы выполнять конвейерную обработку, или конвейерная обработка может не выполняться.[255] However, in the example of FIG. 24, encoding of two chrominance signal blocks 2421 and 2423 must be performed after encoding one luma signal block 2411, which requires separate processing in relation to different color formats (4:4:4 or 4:2:0). In addition, in the example of FIG. 25, encoding of one chrominance signal conversion block 2521 must be performed after encoding of two luma signal conversion blocks 2511 and 2512. Thus, in the above-described TU splitting method, when a 4:2:2 format is used, since a luma block and a chrominance block corresponding to it are not the same, a separate process may be added to perform pipeline processing, or pipeline processing may not be performed .

[256] Ограничение максимального размера блока преобразования сигналов цветности для конвейерной обработки[256] Limit the maximum size of the color conversion block for pipeline processing

[257] В дальнейшем в этом документе описывается способ задания размера максимального блока преобразования для CU сигналов цветности с возможностью удовлетворять условию для выполнения вышеописанной VPDU.[257] Hereinafter, this document describes a method for setting a maximum transform unit size for a chrominance signal CU with the ability to satisfy the condition for executing the above-described VPDU.

[258] Фиг. 26 показывает пример TU, сформированной посредством разбиения CU сигналов яркости и CU сигналов цветности согласно другому варианту осуществления. В варианте осуществления, максимальный размер CU сигналов яркости может составлять 128×128, максимальный доступный размер преобразования может составлять 64×64, и разбиение на неквадратную TU может разрешаться. Следовательно, максимальный размер блока преобразования компонентов сигнала яркости может составлять 64×64.[258] FIG. 26 shows an example of a TU formed by dividing CU luma signals and CU chrominance signals according to another embodiment. In an embodiment, the maximum CU size of the luma signals may be 128×128, the maximum available transform size may be 64×64, and partitioning into a non-square TU may be allowed. Therefore, the maximum size of the luma component conversion block can be 64×64.

[259] Как показано на фиг. 26, для разбиения на неквадратные TU, максимальный размер блока преобразования может задаваться для ширины и высоты. Например, максимальная ширина (maxTbWidth) блока преобразования и максимальная высота (maxTbHeight) блока преобразования могут задаваться так, как показано в следующих уравнениях, за счет этого задавая максимальный размер блока преобразования.[259] As shown in FIG. 26, for partitioning into non-square TUs, the maximum transform unit size can be set for width and height. For example, the maximum width (maxTbWidth) of the transform block and the maximum height (maxTbHeight) of the transform block may be set as shown in the following equations, thereby defining the maximum size of the transform block.

[260] Уравнение 5[260] Equation 5

[261] maxTbWidth=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubWidthC[261] maxTbWidth=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubWidthC

[262] Уравнение 6[262] Equation 6

[263] maxTbHeight=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubHeightC[263] maxTbHeight=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubHeightC

[264] Аналогично вышеописанному варианту осуществления, посредством задания максимального размера блока преобразования в качестве ширины и высоты, как показано в примере по фиг. 26, даже в случае CU сигналов цветности, имеющей формат 4:2:2, аналогично форме разбиения соответствующей CU сигналов яркости на TU, CU сигналов цветности может разбиваться на TU. Следовательно, посредством разбиения CU сигналов цветности на TU, чтобы соответствовать TU CU сигналов яркости, сразу после кодирования (или декодирования) блока сигналов яркости, кодирование (или декодирование) блока сигналов цветности, соответствующего ему, может выполняться, за счет этого уменьшая задержку в конвейерной обработке.[264] Similar to the above-described embodiment, by setting the maximum size of the transform block as the width and height, as shown in the example of FIG. 26, even in the case of a chrominance CU having a 4:2:2 format, similar to the form of partitioning of the corresponding luma CU into TUs, the chrominance CU may be partitioned into TUs. Therefore, by dividing the chrominance signal CU into TUs to correspond to the luma signal CU TU, immediately after encoding (or decoding) a luma signal block, encoding (or decoding) a chrominance signal block corresponding to it can be performed, thereby reducing the delay in the pipeline processing.

[265] Ограничение максимального размера блока преобразования сигналов цветности в режиме внутреннего прогнозирования[265] Limiting the maximum chrominance block size in intra prediction mode

[266] В дальнейшем в этом документе описывается выполнение режима внутреннего прогнозирования, к которому применяется ограничение максимального размера блока преобразования сигналов цветности для вышеописанной конвейерной обработки сигналов цветности. Оборудование кодирования и оборудование декодирования могут выполнять внутреннее прогнозирование посредством ограничения максимального размера блока преобразования сигналов цветности согласно нижеприведенному описанию, и их операции могут соответствовать друг другу. Следовательно, в дальнейшем в этом документе описывается работа оборудования декодирования.[266] The remainder of this document describes the implementation of an intra-prediction mode to which a maximum chrominance conversion block size limitation is applied for the chrominance signal processing pipeline described above. The encoding equipment and the decoding equipment may perform intra prediction by limiting the maximum size of the chroma conversion block as described below, and their operations may correspond to each other. Therefore, the operation of the decoding equipment is described hereinafter in this document.

[267] Оборудование декодирования согласно варианту осуществления может формировать восстановленный кадр посредством выполнения внутреннего прогнозирования. Внутриконтурная фильтрация может выполняться для восстановленного кадра. Оборудование декодирования согласно варианту осуществления может непосредственно получать следующую информацию из потока битов или извлекать следующую информацию из другой информации, полученной из потока битов, чтобы выполнять внутреннее прогнозирование.[267] The decoding equipment according to an embodiment can generate a reconstructed frame by performing intra prediction. In-loop filtering can be performed on the reconstructed frame. The decoding equipment according to the embodiment can directly obtain the next information from the bit stream or extract the next information from other information obtained from the bit stream to perform intra prediction.

[268] - Выборочная позиция (xTb0, yTb0), указывающая позицию левой верхней выборки текущего блока преобразования относительно позиции левой верхней выборки текущего кадра.[268] - Sample position (xTb0, yTb0) indicating the position of the top left sample of the current transform block relative to the position of the left top sample of the current frame.

[269] - Параметр nTbW, указывающий ширину текущего блока преобразования.[269] - nTbW parameter indicating the width of the current transform block.

[270] - Параметр nTbH, указывающий высоту текущего блока преобразования.[270] - nTbH parameter indicating the height of the current transform block.

[271] - Параметр predModeIntra, указывающий режим внутреннего прогнозирования текущей CU.[271] - The predModeIntra parameter indicating the internal prediction mode of the current CU.

[272] - Параметр cIdx, указывающий цветовой компонент текущей CU.[272] - cIdx parameter indicating the color component of the current CU.

[273] Оборудование декодирования может извлекать максимальную ширину maxTbWidth блока преобразования и максимальную высоту maxTbHeight блока преобразования из принимаемой информации следующим образом.[273] The decoding equipment may extract the maximum transform block width maxTbWidth and the maximum transform block height maxTbHeight from the received information as follows.

[274] Уравнение 7[274] Equation 7

[275] maxTbWidth=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubWidthC[275] maxTbWidth=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubWidthC

[276] Уравнение 8[276] Equation 8

[277] maxTbHeight=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubHeightC[277] maxTbHeight=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubHeightC

[278] Кроме того, оборудование декодирования может извлекать левую верхнюю выборочную позицию (xTbY, yTbY) текущего блока преобразования на основе того, представляет текущая CU собой компонент сигнала яркости или компонент сигнала цветности, следующим образом.[278] In addition, the decoding equipment can extract the top left sample position (xTbY, yTbY) of the current transform block based on whether the current CU represents a luma signal component or a chrominance signal component, as follows.

[279] Уравнение 9[279] Equation 9

[280] (xTbY, yTbY)=(cIdx==0)?(xTb0, yTb0):(xTb0*SubWidthC, yTb0*SubHeightC)[280] (xTbY, yTbY)=(cIdx==0)?(xTb0, yTb0):(xTb0*SubWidthC, yTb0*SubHeightC)

[281] В дальнейшем в этом документе, оборудование декодирования может выполнять внутреннее прогнозирование посредством выполнения следующей процедуры. Во-первых, оборудование декодирования может определять то, разбивается или нет текущий блок преобразования (S2710). Например, оборудование декодирования может определять то, разбивается или нет текущий блок преобразования, на основе того, превышает или нет ширина и высота текущего блока преобразования ширину и высоту максимального блока преобразования. Помимо этого, оборудование декодирования может определять то, выполняется или нет разбиение, дополнительно с учетом того, применяется или нет внутренний субсегмент (ISP) к текущей CU. Например, когда nTbW превышает maxTbWidth, или nTbH превышает maxTbHeight, оборудование декодирования может определять то, что внутреннее прогнозирование выполняется посредством разбиения текущего блока преобразования. Помимо этого, даже в этом случае, оборудование декодирования может определять то, что внутреннее прогнозирование выполняется посредством разбиения текущего блока преобразования, только когда ISP не применяется к текущей CU (например, значение IntraSubpartitonSplitType представляет собой NO_ISP_SPLIT, т.е. ISP не применяется к текущей CU).[281] Hereinafter, the decoding equipment may perform intra prediction by performing the following procedure. First, the decoding equipment can determine whether or not the current transform block is split (S2710). For example, the decoding equipment may determine whether or not the current transform block is split based on whether or not the width and height of the current transform block exceeds the width and height of the maximum transform block. In addition, the decoding equipment may determine whether or not partitioning is performed, further taking into account whether or not an internal subsegment (ISP) is applied to the current CU. For example, when nTbW exceeds maxTbWidth, or nTbH exceeds maxTbHeight, the decoding equipment may determine that intra prediction is performed by splitting the current transform block. In addition, even in this case, the decoding equipment may determine that intra-prediction is performed by splitting the current transform block only when the ISP is not applied to the current CU (for example, the IntraSubpartitonSplitType value is NO_ISP_SPLIT, i.e., the ISP is not applied to the current CU).

[282] Когда текущий блок преобразования разбивается на блоки преобразования нижнего слоя, оборудование декодирования может извлекать ширину newTbW блока преобразования нижнего слоя и высоту newTbH блока преобразования нижнего слоя, как показано в следующем уравнении (S2720).[282] When the current transform block is divided into lower layer transform blocks, the decoding equipment can extract the width newTbW of the lower layer transform block and the height newTbH of the lower layer transform block, as shown in the following equation (S2720).

[283] Уравнение 10[283] Equation 10

[284] newTbW=(nTbW>maxTbWidth)?(nTbW/2):nTbW[284] newTbW=(nTbW>maxTbWidth)?(nTbW/2):nTbW

[285] Уравнение 11[285] Equation 11

[286] newTbH=(nTbH>maxTbHeight)?(nTbH/2):nTbH[286] newTbH=(nTbH>maxTbHeight)?(nTbH/2):nTbH

[287] Это описывается со ссылкой на фиг. 26. В варианте осуществления, ширина nTbW текущего блока преобразования может представлять собой ширину CU сигналов цветности, и высота nTbH текущего блока преобразования может представлять собой высоту CU сигналов цветности. В этом варианте осуществления, ширина newTbW блока преобразования нижнего слоя и высота newTbH блока преобразования нижнего слоя могут определяться в качестве ширины и высоты блока 2621 преобразования, разбитого из CU сигналов цветности. Таким образом, в этом варианте осуществления, текущий блок преобразования может представлять собой блок преобразования, имеющий ширину и высоту CU сигналов цветности, имеющей формат 4:2:2, и блоки преобразования нижнего слоя могут представлять собой первый блок 2621 преобразования нижнего слоя - четвертый блок 2624 нижнего слоя, полученные посредством разбиения текущего блока преобразования на четыре в неквадратной форме.[287] This is described with reference to FIG. 26. In an embodiment, the width nTbW of the current transform block may represent the chroma CU width, and the height nTbH of the current transform block may represent the chrominance CU height. In this embodiment, the bottom layer transform block width newTbW and the bottom layer transform block height newTbH may be determined as the width and height of the transform block 2621 split from the chroma signal CUs. Thus, in this embodiment, the current transform block may be a transform block having a CU width and height of chrominance signals having a 4:2:2 format, and the lower layer transform blocks may be a first lower layer transform block 2621 - a fourth block 2624 bottom layer obtained by dividing the current transform block into four in non-square form.

[288] Затем, оборудование декодирования может выполнять внутреннее прогнозирование с использованием блоков преобразования нижнего слоя, разбитых из текущего блока преобразования (S2730). Во-первых, оборудование декодирования может выполнять внутреннее прогнозирование для первого блока преобразования нижнего слоя. Ссылаясь на фиг. 26, первый блок 2621 преобразования нижнего слоя может указываться посредством выборочной позиции (xTb0, yTb0), ширины newTbW блока преобразования нижнего слоя и высоты newTbH блока преобразования нижнего слоя. Оборудование декодирования может выполнять внутреннее прогнозирование первого блока 2621 преобразования нижнего слоя с использованием режима predModeIntra внутреннего прогнозирования текущей CU и цветового компонента cIdx CU. Следовательно, модифицированный восстановленный кадр первого блока 2621 преобразования нижнего слоя может формироваться.[288] Next, the decoding equipment can perform intra prediction using the lower layer transform blocks split from the current transform block (S2730). First, the decoding equipment may perform intra prediction for the first lower layer transform block. Referring to FIG. 26, the first bottom layer transform block 2621 may be indicated by a sample position (xTb0, yTb0), a bottom layer transform block width newTbW, and a bottom layer transform block height newTbH. The decoding equipment may perform intra prediction of the first lower layer transform block 2621 using the predModeIntra intra prediction mode of the current CU and the color component cIdx of the CU. Therefore, a modified reconstructed frame of the first lower layer transform block 2621 can be generated.

[289] Например, оборудование декодирования может формировать матрицу predSamples прогнозных выборок, имеющую размер (newTbW)x(newTbH), посредством выполнения процесса внутреннего выборочного прогнозирования. Например, оборудование декодирования может выполнять процесс внутреннего выборочного прогнозирования с использованием выборочной позиции (xTb0, yTb0), режима predModeIntra внутреннего прогнозирования, ширины (nTbW) newTbW блока преобразования, высоты (nTbH) newTbH блока преобразования, ширины (nCbW) nTbW блока кодирования и высоты (nCbH) nTbH блока кодирования и значения параметра cIdx.[289] For example, the decoding equipment may generate a predSamples matrix of prediction samples having a size of (newTbW)x(newTbH) by performing an intra-sample prediction process. For example, the decoding equipment may perform an intra sample prediction process using the sample position (xTb0, yTb0), intra prediction mode predModeIntra, transform block width (nTbW) newTbW, transform block height (nTbH) newTbH, encoding block width (nCbW) nTbW, and height (nCbH) nTbH of the encoding block and the value of the cIdx parameter.

[290] Помимо этого, оборудование декодирования может формировать матрицу reSamples остаточных выборок, имеющую размер (newTbW)x(newTbH), посредством выполнения процесса масштабирования и преобразования. Например, оборудование декодирования может выполнять процесс масштабирования и преобразования на основе выборочной позиции (xTb0, yTb0), значения параметра cIdx, ширины (nTbW) newTbW блока преобразования и высоты (nTbH) newTbH блока преобразования.[290] In addition, the decoding equipment may generate a reSamples matrix of residual samples having a size of (newTbW)x(newTbH) by performing a scaling and transform process. For example, the decoding equipment may perform the scaling and transform process based on the sample position (xTb0, yTb0), the parameter value cIdx, the width (nTbW) newTbW of the transform block, and the height (nTbH) newTbH of the transform block.

[291] Помимо этого, оборудование декодирования может формировать восстановленный кадр посредством выполнения процесса восстановления кадров для цветового компонента. Например, оборудование декодирования может задавать позицию блока преобразования равной (xTb0, yTb0), ширину (nTbW) блока преобразования равной newTbW, задавать высоту (nTbH) блока преобразования равной newTbH, использовать значение параметра cIdx, использовать матрицу predSamples прогнозных выборок, имеющую размер (newTbW)x(newTbH), и использовать матрицу reSamples остаточных выборок, имеющую размер (newTbW)x(newTbH), за счет этого выполняя процесс восстановления кадров для цветового компонента.[291] In addition, the decoding equipment may generate a reconstructed frame by performing a frame restoration process for the color component. For example, the decoding equipment may set the position of the transform block to be (xTb0, yTb0), set the width (nTbW) of the transform block to newTbW, set the height (nTbH) of the transform block to newTbH, use the value of the cIdx parameter, use a predSamples matrix of predictive samples having size (newTbW )x(newTbH), and use a reSamples matrix of residual samples having size (newTbW)x(newTbH), thereby performing a frame recovery process for the color component.

[292] Затем, когда nTbW превышает maxTbWidth, оборудование декодирования может выполнять внутреннее прогнозирование для второго блока преобразования нижнего слоя. Второй блок 2622 преобразования нижнего слоя может указываться посредством выборочной позиции (xTb0+newTbW, yTb0), ширины newTbW блока преобразования нижнего слоя и высоты newTbH блока преобразования нижнего слоя. Оборудование декодирования может выполнять внутреннее прогнозирование второго блока 2622 преобразования нижнего слоя с использованием режима predModeIntra внутреннего прогнозирования текущей CU и цветового компонента cIdx текущей CU. Внутреннее прогнозирование второго блока 2622 преобразования нижнего слоя может выполняться для его выборочной позиции аналогично внутреннему прогнозированию первого блока 2621 преобразования нижнего слоя. Следовательно, модифицированный восстановленный кадр второго блока 2622 преобразования нижнего слоя может формироваться.[292] Then, when nTbW exceeds maxTbWidth, the decoding equipment may perform intra prediction for the second lower layer transform block. The second bottom layer transform block 2622 may be specified by the sample position (xTb0+newTbW, yTb0), the bottom layer transform block width newTbW, and the bottom layer transform block height newTbH. The decoding equipment may perform intra prediction of the second lower layer transform block 2622 using the predModeIntra intra prediction mode of the current CU and the color component cIdx of the current CU. Intra prediction of the second bottom layer transform block 2622 may be performed on its sample position in a manner similar to the intra prediction of the first bottom layer transform block 2621. Therefore, a modified reconstructed frame of the second lower layer transform unit 2622 can be generated.

[293] Затем, когда nTbH превышает maxTbHeight, оборудование декодирования может выполнять внутреннее прогнозирование для третьего блока преобразования нижнего слоя. Третий блок 2623 преобразования нижнего слоя может указываться посредством выборочной позиции (xTb0, yTb0+newTbH), ширины newTbW блока преобразования нижнего слоя и высоты newTbH блока преобразования нижнего слоя. Аналогично вышеприведенному описанию, оборудование декодирования может выполнять внутреннее прогнозирование с использованием режима predModeIntra внутреннего прогнозирования текущей CU и цветового компонента cIdx текущей CU.[293] Then, when nTbH exceeds maxTbHeight, the decoding equipment may perform intra prediction for the third lower layer transform block. The third bottom layer transform block 2623 may be specified by the sample position (xTb0, yTb0+newTbH), the bottom layer transform block width newTbW, and the bottom layer transform block height newTbH. Similar to the above description, the decoding equipment may perform intra prediction using the intra prediction mode predModeIntra of the current CU and the color component cIdx of the current CU.

[294] Затем, когда nTbW превышает maxTbWidth, и nTbH превышает maxTbHeight, оборудование декодирования может выполнять внутреннее прогнозирование для четвертого блока преобразования нижнего слоя. Четвертый блок 2624 преобразования нижнего слоя может указываться посредством выборочной позиции (xTb0+newTbW, yTb0+newTbH), ширины newTbW блока преобразования нижнего слоя и высоты newTbH блока преобразования нижнего слоя. Аналогично вышеприведенному описанию, оборудование декодирования может выполнять внутреннее прогнозирование с использованием режима predModeIntra внутреннего прогнозирования текущей CU и цветового компонента cIdx текущей CU.[294] Then, when nTbW exceeds maxTbWidth and nTbH exceeds maxTbHeight, the decoding equipment may perform intra prediction for the fourth lower layer transform block. The fourth bottom layer transform block 2624 may be indicated by a sample position (xTb0+newTbW, yTb0+newTbH), a bottom layer transform block width newTbW, and a bottom layer transform block height newTbH. Similar to the above description, the decoding equipment may perform intra prediction using the intra prediction mode predModeIntra of the current CU and the color component cIdx of the current CU.

[295] Между тем, оборудование декодирования может выполнять внутреннее прогнозирование следующим образом, когда разбиение текущего блока преобразования не выполняется. Например, когда nTbW меньше maxTbWidth, и nTbH меньше maxTbHeight, или ISP применяется к текущей CU (например, значение IntraSubpartitonSplitType не представляет собой NO_ISP_SPLIT), текущий блок преобразования может не разбиваться.[295] Meanwhile, the decoding equipment may perform intra prediction as follows when splitting the current transform block is not performed. For example, when nTbW is less than maxTbWidth and nTbH is less than maxTbHeight, or the ISP is applied to the current CU (for example, the IntraSubpartitonSplitType value is not NO_ISP_SPLIT), the current transform block may not be split.

[296] Во-первых, оборудование декодирования может извлекать параметры nW, nH, numPartsX и numPartsY, как показано в следующих уравнениях.[296] First, the decoding hardware can extract the parameters nW, nH, numPartsX and numPartsY, as shown in the following equations.

[297] Уравнение 12[297] Equation 12

[298] nW=IntraSubPartitionsSplitType==ISP_VER_SPLIT? nTbW/NumIntraSubPartitions:nTbW[298] nW=IntraSubPartitionsSplitType==ISP_VER_SPLIT? nTbW/NumIntraSubPartitions:nTbW

[299] nH=IntraSubPartitionsSplitType==ISP_HOR_SPLIT? nTbH/NumIntraSubPartitions:nTbH[299] nH=IntraSubPartitionsSplitType==ISP_HOR_SPLIT? nTbH/NumIntraSubPartitions:nTbH

[300] numPartsX=IntraSubPartitionsSplitType==ISP_VER_SPLIT? NumIntraSubPartitions:1[300] numPartsX=IntraSubPartitionsSplitType==ISP_VER_SPLIT? NumIntraSubPartitions:1

[301] numPartsY=IntraSubPartitionsSplitType==ISP_HOR_SPLIT? NumIntraSubPartitions:1[301] numPartsY=IntraSubPartitionsSplitType==ISP_HOR_SPLIT? NumIntraSubPartitions:1

[302] В вышеприведенном уравнении, IntraSubPartitionsSplitType указывает тип ISP-разбиения текущей CU, и ISP_VER_SPLIT указывает вертикальное ISP-разбиение, и ISP_HOR_SPLIT указывает горизонтальное ISP-разбиение. NumIntraSubPartitions указывает число ISP-субсегментов.[302] In the above equation, IntraSubPartitionsSplitType indicates the ISP split type of the current CU, and ISP_VER_SPLIT indicates the vertical ISP split, and ISP_HOR_SPLIT indicates the horizontal ISP split. NumIntraSubPartitions specifies the number of ISP sub-partitions.

[303] Затем, оборудование декодирования может формировать матрицу predSamples прогнозных выборок, имеющую размер (nTbW)x(nTbH), посредством выполнения процесса внутреннего выборочного прогнозирования. Например, оборудование декодирования может выполнять процесс внутреннего выборочного прогнозирования с использованием выборочной позиции (xTb0+nW*xPartIdx, yTb0+nH*yPartIdx), режима predModeIntra внутреннего прогнозирования, ширины (nTbW) nW блока преобразования, высоты (nTbH) nH блока преобразования, ширины (nCbW) nTbW блока кодирования и высоты (nCbH) nTbH блока кодирования и значения параметра cIdx. Здесь, значение индекса xPartIdx сегмента может иметь значение от 0 до numPartX-1, и yPartIdx может иметь значение от 0 до numPartsY-1.[303] Next, the decoding equipment may generate a matrix of predSamples of prediction samples having a size of (nTbW)x(nTbH) by performing an intra-sample prediction process. For example, the decoding equipment may perform an intra sample prediction process using sample position (xTb0+nW*xPartIdx, yTb0+nH*yPartIdx), intra prediction mode predModeIntra, transform block width (nTbW) nW, transform block height (nTbH) nH, width (nCbW) nTbW of the coding block and height (nCbH) nTbH of the coding block and cIdx parameter values. Here, the segment index value xPartIdx can have a value from 0 to numPartX-1, and yPartIdx can have a value from 0 to numPartsY-1.

[304] Затем, оборудование декодирования может формировать матрицу reSamples остаточных выборок, имеющую размер (nTbW)x(nTbH), посредством выполнения процесса масштабирования и преобразования. Например, оборудование декодирования может выполнять процесс масштабирования и преобразования на основе выборочной позиции (xTbY+nW*xPartIdx, yTbY+nH*yPartIdx), значения параметра cIdx, ширины (nTbW) nW блока преобразования и высоты (nTbH) nH блока преобразования.[304] Next, the decoding equipment may generate a reSamples matrix of residual samples having a size of (nTbW)x(nTbH) by performing a scaling and transform process. For example, the decoding equipment may perform the scaling and conversion process based on the sample position (xTbY+nW*xPartIdx, yTbY+nH*yPartIdx), the parameter value cIdx, the width (nTbW)nW of the transform block, and the height (nTbH)nH of the transform block.

[305] Затем, оборудование декодирования может формировать восстановленный кадр посредством выполнения процесса восстановления кадров для цветового компонента. Например, оборудование декодирования может задавать позицию блока преобразования равной (xTb0+nW*xPartIdx, yTb0+nH*yPartIdx), задавать ширину (nTbW) блока преобразования равной nW, задавать высоту (nTbH) блока преобразования равной nH, использовать значение предварительно установленного cIdx и использовать матрицу predSamples прогнозных выборок, имеющую размер (nTbW)x(nTbH), и матрицу reSamples остаточных выборок, имеющую размер (nTbW)x(nTbH), за счет этого выполняя процесс восстановления кадров для цветового компонента.[305] Next, the decoding equipment can generate a reconstructed frame by performing a frame restoration process for the color component. For example, the decoding equipment may set the position of the transform block to (xTb0+nW*xPartIdx, yTb0+nH*yPartIdx), set the width (nTbW) of the transform block to nW, set the height (nTbH) of the transform block to nH, use the value of the preset cIdx, and use a predSamples matrix of predictive samples having a size of (nTbW)x(nTbH) and a reSamples matrix of residual samples having a size of (nTbW)x(nTbH), thereby performing a frame restoration process for the color component.

[306] Ограничение максимального размера блока преобразования сигналов цветности в режиме взаимного прогнозирования и в режиме IBC-прогнозирования[306] Limiting the maximum chrominance block size in inter-prediction mode and IBC-prediction mode

[307] В дальнейшем в этом документе описывается выполнение режима взаимного прогнозирования и режима IBC-прогнозирования, к которым применяется ограничение максимального размера блока преобразования сигналов цветности для вышеописанной конвейерной обработки сигналов цветности. Оборудование кодирования и оборудование декодирования могут выполнять взаимное прогнозирование и IBC-прогнозирование посредством ограничения максимального размера блока преобразования сигналов цветности согласно нижеприведенному описанию, и их операции могут соответствовать друг другу. Помимо этого, нижеприведенное описание взаимного прогнозирования может применяться к режиму IBC-прогнозирования с изменением. Следовательно, в дальнейшем в этом документе описывается операция взаимного прогнозирования оборудования декодирования согласно варианту осуществления.[307] This document further describes the implementation of the inter-prediction mode and the IBC-prediction mode, to which a maximum chrominance conversion block size limitation is applied for the above-described chrominance signal processing pipeline. The encoding equipment and the decoding equipment may perform mutual prediction and IBC prediction by limiting the maximum size of the chrominance signal conversion block as described below, and their operations may correspond to each other. In addition, the following description of inter-forecasting may be applied to the IBC change-forecasting mode. Therefore, hereinafter, this document will describe the inter-prediction operation of the decoding equipment according to the embodiment.

[308] Оборудование декодирования согласно варианту осуществления может формировать блок predSamplesL прогнозирования сигналов яркости, имеющий размер (cbWidth)x(cbHeight), и блоки predSamplesCb и predSamplesCr прогнозирования сигналов цветности, имеющие размер (cbWidth/SubWidthC)x(cbHeight/SubHeightC), посредством выполнения взаимного прогнозирования. Здесь, cbWidth может представлять собой ширину текущей CU, и cbHeight может представлять собой высоту текущей CU.[308] The decoding equipment according to an embodiment may generate a luma prediction block predSamplesL having a size of (cbWidth)x(cbHeight) and chrominance prediction blocks predSamplesCb and predSamplesCr having a size of (cbWidth/SubWidthC)x(cbHeight/SubHeightC), by performing mutual forecasting. Here, cbWidth may represent the width of the current CU, and cbHeight may represent the height of the current CU.

[309] Помимо этого, оборудование декодирования может формировать остаточный блок resSamplesL сигналов яркости, имеющий размер (cbWidth)x(cbHeight), и остаточные блоки resSamplesCr и resSamplesCb сигналов цветности, имеющие размер (cbWidth/SubWidthC)x(cbHeight/SubHeightC). В завершение, оборудование декодирования может формировать восстановленный блок с использованием блоков прогнозирования и остаточных блоков.[309] In addition, the decoding equipment may generate a luma residual block resSamplesL having a size of (cbWidth)x(cbHeight) and a chrominance residual blocks resSamplesCr and resSamplesCb having a size of (cbWidth/SubWidthC)x(cbHeight/SubHeightC). Finally, the decoding equipment may generate a reconstructed block using prediction blocks and residual blocks.

[310] В дальнейшем в этом документе описывается способ ограничения максимального размера блока преобразования сигналов цветности, чтобы формировать остаточный блок CU, кодированной в режиме взаимного прогнозирования, посредством оборудования декодирования согласно варианту осуществления. Оборудование декодирования может формировать восстановленный блок с использованием остаточного блока, сформированного на этом этапе.[310] Hereinafter, this document describes a method for limiting the maximum size of a chrominance signal conversion block to generate a residual block of a CU encoded in an inter-prediction mode by decoding equipment according to an embodiment. The decoding equipment may generate a reconstructed block using the residual block generated at this stage.

[311] Оборудование декодирования согласно варианту осуществления может непосредственно получать следующую информацию из потока битов или извлекать следующую информацию из другой информации, полученной из потока битов, чтобы формировать остаточный блок, имеющий размер (nTbW)x(nTbH) CU, кодированной в режиме взаимного прогнозирования. Здесь, nTbW и nTbH могут задаваться равными ширине cbWidth текущей CU и высоте cbHeight текущей CU.[311] The decoding equipment according to an embodiment may directly obtain the following information from the bitstream or extract the following information from other information obtained from the bitstream to form a residual block having a size of (nTbW)x(nTbH) CU encoded in the inter-prediction mode . Here, nTbW and nTbH can be set equal to the width cbWidth of the current CU and the height cbHeight of the current CU.

[312] - Выборочная позиция (xTb0, yTb0), указывающая позицию левой верхней выборки текущего блока преобразования относительно позиции левой верхней выборки текущего кадра.[312] - Sample position (xTb0, yTb0) indicating the position of the top left sample of the current transform block relative to the position of the left top sample of the current frame.

[313] - Параметр nTbW, указывающий ширину текущего блока преобразования.[313] - nTbW parameter indicating the width of the current transform block.

[314] - Параметр nTbH, указывающий высоту текущего блока преобразования.[314] - nTbH parameter indicating the height of the current transform block.

[315] - Параметр cIdx, указывающий цветовой компонент текущей CU.[315] - Parameter cIdx indicating the color component of the current CU.

[316] Оборудование декодирования может извлекать максимальную ширину maxTbWidth блока преобразования и максимальную высоту maxTbHeight блока преобразования из принимаемой информации следующим образом.[316] The decoding equipment may extract the maximum transform block width maxTbWidth and the maximum transform block height maxTbHeight from the received information as follows.

[317] Уравнение 13[317] Equation 13

[318] maxTbWidth=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubWidthC[318] maxTbWidth=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubWidthC

[319] Уравнение 14[319] Equation 14

[320] maxTbHeight=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubHeightC[320] maxTbHeight=(cIdx==0)?MaxTbSizeY:MaxTbSizeY/SubHeightC

[321] Кроме того, оборудование декодирования может извлекать левую верхнюю выборочную позицию (xTbY, yTbY) текущего блока преобразования на основе того, представляет текущая CU собой компонент сигнала яркости или компонент сигнала цветности, следующим образом.[321] In addition, the decoding equipment can extract the top left sample position (xTbY, yTbY) of the current transform block based on whether the current CU represents a luma signal component or a chrominance signal component, as follows.

[322] Уравнение 15[322] Equation 15

[323] (xTbY, yTbY)=(cIdx==0)?(xTb0, yTb0):(xTb0*SubWidthC, yTb0*SubHeightC)[323] (xTbY, yTbY)=(cIdx==0)?(xTb0, yTb0):(xTb0*SubWidthC, yTb0*SubHeightC)

[324] Как указано в вышеприведенном уравнении, когда текущий блок преобразования представляет собой блок сигналов цветности, чтобы отражать размер блока сигналов цветности, определенного согласно формату сигналов цветности текущего блока преобразования, максимальная ширина и высота блока преобразования и левая верхняя выборочная позиция текущего блока преобразования могут определяться на основе формата сигналов цветности.[324] As indicated in the above equation, when the current transform block is a chroma block, to reflect the size of the chrominance block determined according to the chrominance format of the current transform block, the maximum width and height of the transform block and the top left sample position of the current transform block may determined based on the chrominance signal format.

[325] В дальнейшем в этом документе, оборудование декодирования может формировать остаточный блок посредством выполнения следующей процедуры. Во-первых, оборудование декодирования может определять то, разбивается или нет текущий блок преобразования (S2810). Например, оборудование декодирования может определять то, разбивается или нет текущий блок преобразования, на основе того, превышает или нет ширина и высота текущего блока преобразования ширину и высоту максимального блока преобразования. Например, когда nTbW превышает maxTbWidth, или nTbH превышает maxTbHeight, оборудование декодирования может определять то, что блоки преобразования нижнего слоя формируются посредством разбиения текущего блока преобразования.[325] Hereinafter, the decoding equipment may generate a residual block by performing the following procedure. First, the decoding equipment can determine whether or not the current transform block is split (S2810). For example, the decoding equipment may determine whether or not the current transform block is split based on whether or not the width and height of the current transform block exceeds the width and height of the maximum transform block. For example, when nTbW exceeds maxTbWidth, or nTbH exceeds maxTbHeight, the decoding equipment may determine that lower layer transform blocks are formed by splitting the current transform block.

[326] Когда текущий блок преобразования разбивается на блоки преобразования нижнего слоя, как указано в вышеприведенном примере внутреннего прогнозирования, оборудование декодирования может извлекать ширину newTbW блока преобразования нижнего слоя и высоту newTbH блока преобразования нижнего слоя, как показано в следующем уравнении (S2820).[326] When the current transform block is divided into lower layer transform blocks as indicated in the above intra prediction example, the decoding equipment can extract the width newTbW of the lower layer transform block and the height newTbH of the lower layer transform block, as shown in the following equation (S2820).

[327] Уравнение 16[327] Equation 16

[328] newTbW=(nTbW>maxTbWidth)?(nTbW/2):nTbW[328] newTbW=(nTbW>maxTbWidth)?(nTbW/2):nTbW

[329] Уравнение 17[329] Equation 17

[330] newTbH=(nTbH>maxTbHeight)?(nTbH/2):nTbH[330] newTbH=(nTbH>maxTbHeight)?(nTbH/2):nTbH

[331] Затем, оборудование декодирования может формировать остаточный блок с использованием блоков преобразования нижнего слоя, разбитых из текущего блока преобразования (S2830). В варианте осуществления, как показано на фиг. 26, текущий блок преобразования может представлять собой блок преобразования, имеющий ширину и высоту CU сигналов цветности, имеющей формат 4:2:2, и блоки преобразования нижнего слоя могут представлять собой первый блок 2621 преобразования нижнего слоя - четвертый блок 2624 нижнего слоя, полученные посредством разбиения текущего блока преобразования на четыре в неквадратной форме.[331] Next, the decoding equipment may generate a residual block using the lower layer transform blocks split from the current transform block (S2830). In the embodiment, as shown in FIG. 26, the current transform block may be a transform block having a CU width and height of chrominance signals having a 4:2:2 format, and the lower layer transform blocks may be a first lower layer transform block 2621 to a fourth lower layer block 2624 obtained by splitting the current transform block into four in non-square form.

[332] Во-первых, оборудование декодирования может формировать остаточный блок для первого блока преобразования нижнего слоя. Ссылаясь на фиг. 26, первый блок 2621 преобразования нижнего слоя может указываться посредством выборочной позиции (xTb0, yTb0), ширины newTbW блока преобразования нижнего слоя и высоты newTbH блока преобразования нижнего слоя. Оборудование декодирования может формировать остаточный блок первого блока 2621 преобразования нижнего слоя с использованием цветового компонента cIdx текущей CU. На основе этого, оборудование декодирования может формировать модифицированный восстановленный кадр. После этого, внутриконтурная фильтрация может выполняться для модифицированного восстановленного кадра.[332] First, the decoding equipment may generate a residual block for the first lower layer transform block. Referring to FIG. 26, the first bottom layer transform block 2621 may be indicated by a sample position (xTb0, yTb0), a bottom layer transform block width newTbW, and a bottom layer transform block height newTbH. The decoding equipment may generate a residual block of the first lower layer transform block 2621 using the cIdx color component of the current CU. Based on this, the decoding equipment can generate a modified reconstructed frame. After this, in-loop filtering can be performed on the modified reconstructed frame.

[333] Затем, когда nTbW превышает maxTbWidth, оборудование декодирования может формировать остаточный блок для второго блока преобразования нижнего слоя. Второй блок 2622 преобразования нижнего слоя может указываться посредством выборочной позиции (xTb0+newTbW, yTb0), ширины newTbW блока преобразования нижнего слоя и высоты newTbH блока преобразования нижнего слоя. Оборудование декодирования может формировать остаточный блок второго блока 2622 преобразования нижнего слоя с использованием цветового компонента cIdx текущей CU. На основе этого, оборудование декодирования может формировать модифицированный восстановленный кадр. После этого, внутриконтурная фильтрация может выполняться для модифицированного восстановленного кадра.[333] Then, when nTbW exceeds maxTbWidth, the decoding equipment may generate a residual block for the second lower layer transform block. The second bottom layer transform block 2622 may be specified by the sample position (xTb0+newTbW, yTb0), the bottom layer transform block width newTbW, and the bottom layer transform block height newTbH. The decoding equipment may generate a residual block of the second lower layer transform block 2622 using the cIdx color component of the current CU. Based on this, the decoding equipment can generate a modified reconstructed frame. After this, in-loop filtering can be performed on the modified reconstructed frame.

[334] Затем, когда nTbH превышает maxTbHeight, оборудование декодирования может формировать остаточный блок для третьего блока преобразования нижнего слоя. Третий блок 2623 преобразования нижнего слоя может указываться посредством выборочной позиции (xTb0, yTb0+newTbH), ширины newTbW блока преобразования нижнего слоя и высоты newTbH блока преобразования нижнего слоя. Аналогично вышеприведенному описанию, оборудование декодирования может формировать остаточный блок с использованием цветового компонента cIdx текущей CU.[334] Then, when nTbH exceeds maxTbHeight, the decoding equipment may generate a residual block for the third lower layer transform block. The third bottom layer transform block 2623 may be specified by the sample position (xTb0, yTb0+newTbH), the bottom layer transform block width newTbW, and the bottom layer transform block height newTbH. Similar to the above description, the decoding equipment may generate a residual block using the cIdx color component of the current CU.

[335] Затем, когда nTbW превышает maxTbWidth, и nTbH превышает maxTbHeight, оборудование декодирования может формировать остаточный блок для четвертого блока преобразования нижнего слоя. Четвертый блок 2624 преобразования нижнего слоя может указываться посредством выборочной позиции (xTb0+newTbW, yTb0+newTbH), ширины newTbW блока преобразования нижнего слоя и высоты newTbH блока преобразования нижнего слоя. Аналогично вышеприведенному описанию, оборудование декодирования может формировать остаточный блок с использованием цветового компонента cIdx текущей CU.[335] Then, when nTbW exceeds maxTbWidth and nTbH exceeds maxTbHeight, the decoding equipment may generate a residual block for the fourth lower layer transform block. The fourth bottom layer transform block 2624 may be indicated by a sample position (xTb0+newTbW, yTb0+newTbH), a bottom layer transform block width newTbW, and a bottom layer transform block height newTbH. Similar to the above description, the decoding equipment may generate a residual block using the cIdx color component of the current CU.

[336] Между тем, когда разбиение текущего блока преобразования не выполняется, оборудование декодирования может выполнять взаимное прогнозирование следующим образом. Например, когда nTbW меньше maxTbWidth, и nTbH меньше maxTbHeight, текущий блок преобразования может не разбиваться. В этом случае, оборудование декодирования может формировать остаточный блок для режима взаимного прогнозирования, посредством выполнения процесса масштабирования и преобразования с использованием выборочной позиции (xTbY, xTbY), цветового компонента cIdx текущей CU, ширины nTbW блока преобразования и высоты nTbH блока преобразования в качестве ввода. На основе этого, оборудование декодирования может формировать модифицированный восстановленный кадр. После этого, внутриконтурная фильтрация может выполняться для модифицированного восстановленного кадра.[336] Meanwhile, when partitioning of the current transform block is not performed, the decoding equipment can perform inter-prediction as follows. For example, when nTbW is less than maxTbWidth and nTbH is less than maxTbHeight, the current transform block may not be split. In this case, the decoding equipment may generate a residual block for the inter-prediction mode by performing a scaling and transform process using the sample position (xTbY, xTbY), the color component cIdx of the current CU, the transform block width nTbW, and the transform block height nTbH as input. Based on this, the decoding equipment can generate a modified reconstructed frame. After this, in-loop filtering can be performed on the modified reconstructed frame.

[337] Способ кодирования[337] Coding method

[338] В дальнейшем в этом документе описывается способ выполнения кодирования посредством оборудования кодирования согласно варианту осуществления с использованием вышеописанного способа со ссылкой на фиг. 29. Оборудование кодирования согласно варианту осуществления может включать в себя запоминающее устройство и, по меньшей мере, один процессор, и, по меньшей мере, один процессор может осуществлять следующий способ кодирования.[338] Hereinafter, this document will describe a method for performing encoding by the encoding equipment according to the embodiment using the above-described method with reference to FIG. 29. The encoding equipment according to the embodiment may include a memory and at least one processor, and the at least one processor may implement the following encoding method.

[339] Во-первых, оборудование кодирования может определять текущий блок посредством разбиения изображения (S2910). Затем, оборудование кодирования может формировать блок внутреннего прогнозирования относительно текущего блока (S2920). Затем, оборудование кодирования может формировать остаточный блок относительно текущего блока на основе блока внутреннего прогнозирования (S2930). Затем, оборудование кодирования может кодировать информацию режима внутреннего прогнозирования относительно текущего блока (S2940).[339] First, the encoding equipment may determine the current block by dividing the image (S2910). Next, the encoding equipment may generate an intra prediction block with respect to the current block (S2920). Next, the encoding equipment may generate a residual block relative to the current block based on the intra prediction block (S2930). Next, the encoding equipment may encode intra prediction mode information regarding the current block (S2940).

[340] В этом случае, блок внутреннего прогнозирования и остаточный блок могут кодироваться на основе размера блока преобразования текущего блока, и размер блока преобразования может определяться на основе цветового компонента текущего блока.[340] In this case, the intra prediction block and the residual block may be encoded based on the transform block size of the current block, and the transform block size may be determined based on the color component of the current block.

[341] Цветовой компонент может представлять собой любой из компонента сигнала яркости и компонента сигнала цветности, и когда цветовой компонент текущего блока представляет собой компонент сигнала цветности, размер блока преобразования может определяться на основе цветового формата.[341] The color component may be any of a luma component and a chrominance component, and when the color component of the current block is a chrominance component, the size of the transform block may be determined based on the color format.

[342] Для задания размера блока преобразования, ширина блока преобразования может определяться на основе максимальной ширины блока преобразования, и максимальная ширина блока преобразования может определяться на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку.[342] To specify the size of the transform block, the width of the transform block may be determined based on the maximum width of the transform block, and the maximum width of the transform block may be determined based on the maximum size and color format of the transform block of the luma block corresponding to the current block.

[343] Помимо этого, для задания размера блока преобразования, высота блока преобразования может определяться на основе максимальной высоты блока преобразования, и максимальная высота блока преобразования может определяться на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку.[343] In addition, to specify the size of the transform block, the height of the transform block may be determined based on the maximum height of the transform block, and the maximum height of the transform block may be determined based on the maximum size and color format of the transform block of the luma block corresponding to the current block.

[344] Помимо этого, позиция левой верхней выборки блока преобразования может определяться на основе позиции и цветового формата левой верхней выборки блока сигналов яркости, соответствующего текущему блоку.[344] In addition, the position of the left upper sample of the transform block may be determined based on the position and color format of the left upper sample of the luma signal block corresponding to the current block.

[345] Более конкретно, левая верхняя позиция блока преобразования может определяться на основе максимальной ширины блока преобразования и максимальной высоты блока преобразования, максимальная ширина блока преобразования может определяться на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку, и максимальная высота блока преобразования может определяться на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку.[345] More specifically, the top left position of the transform block may be determined based on the maximum width of the transform block and the maximum height of the transform block, the maximum width of the transform block may be determined based on the maximum size and color format of the transform block of the luma block corresponding to the current block, and the maximum the height of the transform block may be determined based on the maximum size and color format of the transform block of the luma block corresponding to the current block.

[346] Помимо этого, текущий блок представляет собой блок сигналов цветности, и когда ширина блока преобразования превышает максимальную ширину блока преобразования, множество блоков преобразования нижнего слоя могут формироваться посредством вертикального разбиения текущего блока. В этом случае, блок внутреннего прогнозирования и остаточный блок могут формироваться на основе множества блоков преобразования нижнего слоя.[346] In addition, the current block is a chroma block, and when the width of the transform block exceeds the maximum width of the transform block, a plurality of transform blocks of the lower layer may be formed by vertically dividing the current block. In this case, the intra prediction block and the residual block may be generated based on a plurality of lower layer transform blocks.

[347] Более конкретно, множество блоков преобразования нижнего слоя могут включать в себя первый блок преобразования нижнего слоя и второй блок преобразования нижнего слоя, и ширина первого блока преобразования нижнего слоя определяется в качестве максимальной ширины блока преобразования, и левая верхняя координата второго блока преобразования нижнего слоя может определяться в качестве значения, сдвигаемого от левой верхней координаты первого блока преобразования вправо на максимальную ширину блока преобразования.[347] More specifically, the plurality of lower layer transform blocks may include a first lower layer transform block and a second lower layer transform block, and the width of the first lower layer transform block is determined as the maximum width of the transform block, and the upper left coordinate of the second lower layer transform block layer can be defined as a value shifted from the top left coordinate of the first transform block to the right by the maximum width of the transform block.

[348] Помимо этого, текущий блок представляет собой блок сигналов цветности, и когда высота блока преобразования превышает максимальную высоту блока преобразования, множество блоков преобразования нижнего слоя могут формироваться посредством горизонтального разбиения текущего блока. В этом случае, блок внутреннего прогнозирования и остаточный блок могут формироваться на основе множества блоков преобразования нижнего слоя.[348] In addition, the current block is a chroma block, and when the height of the transform block exceeds the maximum height of the transform block, a plurality of transform blocks of the lower layer may be formed by horizontally dividing the current block. In this case, the intra prediction block and the residual block may be generated based on a plurality of lower layer transform blocks.

[349] Более конкретно, множество блоков преобразования нижнего слоя могут включать в себя третий блок преобразования нижнего слоя и четвертый блок преобразования нижнего слоя. Высота третьего блока преобразования нижнего слоя может определяться в качестве максимальной высоты блока преобразования, и левая верхняя координата четвертого блока преобразования нижнего слоя может определяться в качестве значения, сдвигаемого вниз от левой верхней координаты первого блока преобразования на максимальную высоту блока преобразования.[349] More specifically, the plurality of lower layer transform blocks may include a third lower layer transform block and a fourth lower layer transform block. The height of the third transform block of the lower layer may be determined as the maximum height of the transform block, and the upper left coordinate of the fourth transform block of the lower layer may be determined as a value shifted down from the upper left coordinate of the first transform block by the maximum height of the transform block.

[350] В качестве реализации вышеприведенного описания, максимальный размер блока преобразования может составлять 64×64, когда цветовой формат текущего блока представляет собой формат 4:4:4, максимальный размер блока преобразования может составлять 32×64, когда цветовой формат текущего блока представляет собой формат 4:2:2, и максимальный размер блока преобразования может составлять 32×32, когда цветовой формат текущего блока представляет собой формат 4:2:0.[350] As an implementation of the above description, the maximum transform block size may be 64×64 when the color format of the current block is a 4:4:4 format, the maximum transform block size may be 32×64 when the color format of the current block is format is 4:2:2, and the maximum conversion block size can be 32x32 when the color format of the current block is 4:2:0 format.

[351] Способ декодирования[351] Decoding method

[352] В дальнейшем в этом документе описывается способ выполнения декодирования посредством оборудования декодирования согласно варианту осуществления с использованием вышеописанного способа со ссылкой на фиг. 30. Оборудование декодирования согласно варианту осуществления может включать в себя запоминающее устройство и, по меньшей мере, один процессор, и, по меньшей мере, один процессор может осуществлять следующий способ декодирования.[352] Hereinafter, this document will describe a method for performing decoding by the decoding equipment according to the embodiment using the above-described method with reference to FIG. 30. The decoding equipment according to the embodiment may include a storage device and at least one processor, and the at least one processor may implement the following decoding method.

[353] Во-первых, оборудование декодирования может получать текущий блок посредством разбиения изображения (S3010). Затем, оборудование декодирования может определять режим прогнозирования текущего блока (S3020). Затем, когда режим прогнозирования текущего блока представляет собой режим внутреннего прогнозирования, оборудование декодирования может формировать блок внутреннего прогнозирования относительно текущего блока (S3030). Затем, оборудование декодирования может формировать остаточный блок относительно текущего блока (S3040). Затем, оборудование декодирования может восстанавливать текущий блок на основе блока прогнозирования и остаточного блока относительно текущего блока (S3050).[353] First, the decoding equipment may obtain the current block by splitting the image (S3010). Next, the decoding equipment may determine a prediction mode of the current block (S3020). Then, when the prediction mode of the current block is an intra prediction mode, the decoding equipment can generate an intra prediction block with respect to the current block (S3030). Next, the decoding equipment may generate a residual block relative to the current block (S3040). Then, the decoding equipment can reconstruct the current block based on the prediction block and the residual block relative to the current block (S3050).

[354] В этом случае, блок внутреннего прогнозирования и остаточный блок могут формироваться на основе размера блока преобразования текущего блока, и размер блока преобразования может определяться на основе цветового компонента текущего блока.[354] In this case, the intra prediction block and the residual block may be generated based on the transform block size of the current block, and the transform block size may be determined based on the color component of the current block.

[355] Цветовой компонент может представлять собой любой из компонента сигнала яркости и компонента сигнала цветности, и когда цветовой компонент текущего блока представляет собой компонент сигнала цветности, размер блока преобразования может определяться на основе цветового формата.[355] The color component may be any of a luma component and a chrominance component, and when the color component of the current block is a chrominance component, the size of the transform block may be determined based on the color format.

[356] Для задания размера блока преобразования, ширина блока преобразования может определяться на основе максимальной ширины блока преобразования, и максимальная ширина блока преобразования может определяться на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку.[356] To specify the size of the transform block, the width of the transform block may be determined based on the maximum width of the transform block, and the maximum width of the transform block may be determined based on the maximum size and color format of the transform block of the luma block corresponding to the current block.

[357] Помимо этого, для задания размера блока преобразования, высота блока преобразования может определяться на основе максимальной высоты блока преобразования, и максимальная высота блока преобразования может определяться на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку.[357] In addition, to specify the size of the transform block, the height of the transform block may be determined based on the maximum height of the transform block, and the maximum height of the transform block may be determined based on the maximum size and color format of the transform block of the luma block corresponding to the current block.

[358] Помимо этого, позиция левой верхней выборки блока преобразования может определяться на основе позиции и цветового формата левой верхней выборки блока сигналов яркости, соответствующего текущему блоку.[358] In addition, the position of the left upper sample of the transform block may be determined based on the position and color format of the left upper sample of the luma signal block corresponding to the current block.

[359] Более конкретно, левая верхняя позиция блоков преобразования нижнего слоя могут определяться на основе максимальной ширины блока преобразования и максимальной высоты блока преобразования, максимальная ширина блока преобразования может определяться на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку, и максимальная высота блока преобразования может определяться на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку.[359] More specifically, the upper left position of the transform blocks of the lower layer may be determined based on the maximum width of the transform block and the maximum height of the transform block, the maximum width of the transform block may be determined based on the maximum size and color format of the transform block of the luma block corresponding to the current block, and the maximum height of the transform block may be determined based on the maximum size and color format of the transform block of the luminance signal block corresponding to the current block.

[360] Помимо этого, текущий блок представляет собой блок сигналов цветности, и когда ширина блока преобразования превышает максимальную ширину блока преобразования, множество блоков преобразования нижнего слоя могут формироваться посредством вертикального разбиения текущего блока. В этом случае, блок внутреннего прогнозирования и остаточный блок могут формироваться на основе множества блоков преобразования нижнего слоя.[360] In addition, the current block is a chroma block, and when the width of the transform block exceeds the maximum width of the transform block, a plurality of transform blocks of the lower layer may be formed by vertically dividing the current block. In this case, the intra prediction block and the residual block may be generated based on a plurality of lower layer transform blocks.

[361] Более конкретно, множество блоков преобразования нижнего слоя могут включать в себя первый блок преобразования нижнего слоя и второй блок преобразования нижнего слоя, и ширина первого блока преобразования нижнего слоя определяется в качестве максимальной ширины блока преобразования, и левая верхняя координата второго блока преобразования нижнего слоя может определяться в качестве значения, сдвигаемого от левой верхней координаты первого блока преобразования вправо на максимальную ширину блока преобразования.[361] More specifically, the plurality of lower layer transform blocks may include a first lower layer transform block and a second lower layer transform block, and the width of the first lower layer transform block is determined as the maximum width of the transform block, and the upper left coordinate of the second lower layer transform block layer can be defined as a value shifted from the top left coordinate of the first transform block to the right by the maximum width of the transform block.

[362] Помимо этого, текущий блок представляет собой блок сигналов цветности, и когда высота блока преобразования превышает максимальную высоту блока преобразования, множество блоков преобразования нижнего слоя могут формироваться посредством горизонтального разбиения текущего блока. В этом случае, блок внутреннего прогнозирования и остаточный блок могут формироваться на основе множества блоков преобразования нижнего слоя.[362] In addition, the current block is a chroma block, and when the height of the transform block exceeds the maximum height of the transform block, a plurality of transform blocks of the lower layer may be formed by horizontally dividing the current block. In this case, the intra prediction block and the residual block may be generated based on a plurality of lower layer transform blocks.

[363] Более конкретно, множество блоков преобразования нижнего слоя могут включать в себя третий блок преобразования нижнего слоя и четвертый блок преобразования нижнего слоя. Высота третьего блока преобразования нижнего слоя может определяться в качестве максимальной высоты блока преобразования, и левая верхняя координата четвертого блока преобразования нижнего слоя может определяться в качестве значения, сдвигаемого вниз от левой верхней координаты первого блока преобразования на максимальную высоту блока преобразования.[363] More specifically, the plurality of lower layer transform blocks may include a third lower layer transform block and a fourth lower layer transform block. The height of the third transform block of the lower layer may be determined as the maximum height of the transform block, and the upper left coordinate of the fourth transform block of the lower layer may be determined as a value shifted down from the upper left coordinate of the first transform block by the maximum height of the transform block.

[364] В качестве реализации вышеприведенного описания, максимальный размер блока преобразования может составлять 64×64, когда цветовой формат текущего блока представляет собой формат 4:4:4, максимальный размер блока преобразования может составлять 32×64, когда цветовой формат текущего блока представляет собой формат 4:2:2, и максимальный размер блока преобразования может составлять 32×32, когда цветовой формат текущего блока представляет собой формат 4:2:0.[364] As an implementation of the above description, the maximum transform block size may be 64×64 when the color format of the current block is a 4:4:4 format, the maximum transform block size may be 32×64 when the color format of the current block is format is 4:2:2, and the maximum conversion block size can be 32x32 when the color format of the current block is 4:2:0 format.

[365] Вариант применения[365] Application option

[366] Хотя примерные способы настоящего раскрытия сущности, описанного выше, представляются как последовательность операций для ясности описания, это не имеет намерение ограничивать порядок, в котором выполняются этапы, и этапы могут выполняться одновременно или в другом порядке при необходимости. Чтобы реализовывать способ согласно настоящему раскрытию сущности, описанные этапы дополнительно могут включать в себя другие этапы, могут включать в себя оставшиеся этапы, за исключением некоторых этапов, либо могут включать в себя другие дополнительные этапы, за исключением некоторых этапов.[366] Although the exemplary methods of the present disclosure described above are presented as a sequence of operations for clarity of description, it is not intended to limit the order in which the steps are performed, and the steps may be performed simultaneously or in a different order as necessary. To implement the method of the present disclosure, the described steps may further include other steps, may include the remaining steps except some steps, or may include other additional steps except some steps.

[367] В настоящем раскрытии сущности, оборудование кодирования изображений или оборудование декодирования изображений, которое выполняет предварительно определенную операцию (этап), может выполнять операцию (этап) подтверждения условия или ситуации выполнения соответствующей операции (этап). Например, если описывается то, что предварительно определенная операция выполняется, когда предварительно определенное условие удовлетворяется, оборудование кодирования изображений или оборудование декодирования изображений может выполнять предварительно определенную операцию после определения того, удовлетворяется или нет предварительно определенное условие.[367] In the present disclosure, image encoding equipment or image decoding equipment that performs a predetermined operation (step) may perform an operation (step) of confirming a condition or situation for executing the corresponding operation (step). For example, if it is described that a predetermined operation is performed when a predetermined condition is satisfied, the image encoding equipment or the image decoding equipment may perform the predetermined operation after determining whether or not the predetermined condition is satisfied.

[368] Различные варианты осуществления настоящего раскрытия сущности не представляют собой список всех возможных комбинаций и имеют намерение описывать характерные аспекты настоящего раскрытия сущности, и вопросы, описанные в различных вариантах осуществления, могут применяться независимо либо в комбинации двух или более из них.[368] The various embodiments of the present disclosure are not intended to be a list of all possible combinations and are intended to describe characteristic aspects of the present disclosure, and the matters described in the various embodiments may be applied independently or in combination of two or more of them.

[369] Различные варианты осуществления настоящего раскрытия сущности могут реализовываться в аппаратных средствах, микропрограммном обеспечении, программном обеспечении либо в комбинации вышеозначенного. В случае реализации настоящего раскрытия сущности посредством аппаратных средств, настоящее раскрытие сущности может реализовываться с помощью специализированных интегральных схем (ASIC), процессоров цифровых сигналов (DSP), устройств обработки цифровых сигналов (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), общих процессоров, контроллеров, микроконтроллеров, микропроцессоров и т.д.[369] Various embodiments of the present disclosure may be implemented in hardware, firmware, software, or a combination of the above. If the present disclosure is implemented in hardware, the present disclosure may be implemented in application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays. (FPGA), general processors, controllers, microcontrollers, microprocessors, etc.

[370] Помимо этого, оборудование декодирования изображений и оборудование кодирования изображений, к которым применяются варианты осуществления настоящего раскрытия сущности, могут включаться в мультимедийное широковещательное приемо-передающее устройство, терминал мобильной связи, видеоустройство системы домашнего кинотеатра, видеоустройство системы цифрового кинотеатра, камеру наблюдения, устройство проведения видеочатов, устройство связи в реальном времени, к примеру, для видеосвязи, мобильное устройство потоковой передачи, носитель хранения данных, записывающую видеокамеру, устройство предоставления услуг на основе технологии "видео по запросу" (VoD), устройство на основе OTT-видео (видео поверх сетей), устройство предоставления услуг потоковой передачи по Интернету, трехмерное видеоустройство, видеоустройство системы видеотелефонии, медицинское видеоустройство и т.п. и могут использоваться для того, чтобы обрабатывать видеосигналы или сигналы данных. Например, OTT-видеоустройства могут включать в себя игровую консоль, Blu-Ray-проигрыватель, телевизор с доступом в Интернет, систему домашнего кинотеатра, смартфон, планшетный PC, цифровое записывающее видеоустройство (DVR) и т.п.[370] In addition, the image decoding equipment and image encoding equipment to which embodiments of the present disclosure apply may be included in a multimedia broadcast transceiver device, a mobile communication terminal, a home theater system video device, a digital cinema system video device, a surveillance camera, video chat device, real-time communication device such as video communication, mobile streaming device, storage medium, video recording camera, video-on-demand (VoD) service device, OTT video device ( video over networks), Internet streaming service device, 3D video device, video telephony system video device, medical video device, etc. and can be used to process video or data signals. For example, OTT video devices may include a gaming console, Blu-ray player, Internet-enabled television, home theater system, smartphone, tablet PC, digital video recorder (DVR), etc.

[371] Фиг. 31 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего раскрытия сущности.[371] FIG. 31 is a view showing a content streaming system to which an embodiment of the present disclosure is applicable.

[372] Ссылаясь на фиг. 31, система потоковой передачи контента, к которой применяется вариант(ы) осуществления настоящего документа, может включать в себя, главным образом, сервер кодирования, потоковый сервер, веб-сервер, хранилище мультимедиа, пользовательское устройство и устройство ввода мультимедиа.[372] Referring to FIG. 31, the content streaming system to which the embodiment(s) of this document applies may mainly include an encoding server, a streaming server, a web server, a media storage, a user device, and a media input device.

[373] Сервер кодирования сжимает контент, вводимый из устройств ввода мультимедиа, таких как смартфон, камера, записывающая видеокамера и т.д., в цифровые данные для того, чтобы формировать поток битов, и передает поток битов на потоковый сервер. В качестве другого примера, когда устройства ввода мультимедиа, такие как смартфоны, камеры, записывающие видеокамеры и т.д., непосредственно формируют поток битов, сервер кодирования может опускаться.[373] The encoding server compresses content input from media input devices such as a smartphone, camera, video recorder, etc. into digital data to form a bitstream, and transmits the bitstream to the streaming server. As another example, when media input devices such as smartphones, cameras, video recorders, etc. directly generate a bitstream, the encoding server may be omitted.

[374] Поток битов может формироваться посредством способа кодирования изображений или оборудования кодирования изображений, к которому применяется вариант осуществления настоящего раскрытия сущности, и потоковый сервер может временно сохранять поток битов в процессе передачи или приема потока битов.[374] The bitstream may be generated by an image encoding method or image encoding equipment to which an embodiment of the present disclosure is applied, and the streaming server may temporarily store the bitstream during the process of transmitting or receiving the bitstream.

[375] Потоковый сервер передает мультимедийные данные в пользовательское устройство на основе запроса пользователя через веб-сервер, и веб-сервер служит в качестве среды для информирования пользователя в отношении услуги. Когда пользователь запрашивает требуемую услугу из веб-сервера, веб-сервер может доставлять ее на потоковый сервер, и потоковый сервер может передавать мультимедийные данные пользователю. В этом случае, система потоковой передачи контента может включать в себя отдельный сервер управления. В этом случае, сервер управления служит для того, чтобы управлять командой/ответом между устройствами в системе потоковой передачи контента.[375] The streaming server transmits multimedia data to the user device based on the user's request through the web server, and the web server serves as a medium for informing the user regarding the service. When a user requests a desired service from a web server, the web server may deliver it to the streaming server, and the streaming server may stream the media data to the user. In this case, the content streaming system may include a separate control server. In this case, the control server serves to manage the command/response between devices in the content streaming system.

[376] Потоковый сервер может принимать контент из хранилища мультимедиа и/или сервера кодирования. Например, когда контент принимается из сервера кодирования, контент может приниматься в реальном времени. В этом случае, чтобы предоставлять плавную услугу потоковой передачи, потоковый сервер может сохранять поток битов в течение предварительно определенного времени.[376] The streaming server may receive content from a media storage and/or encoding server. For example, when content is received from an encoding server, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may maintain the bit stream for a predetermined time.

[377] Примеры пользовательского устройства могут включать в себя мобильный телефон, смартфон, переносной компьютер, цифровой широковещательный терминал, персональное цифровое устройство (PDA), портативный мультимедийный проигрыватель (PMP), навигационное устройство, грифельный планшетный PC, планшетные PC, ультрабуки, носимые устройства (например, интеллектуальные часы, интеллектуальные очки, наголовные дисплеи), цифровые телевизоры, настольные компьютеры, систему цифровых информационных табло и т.п.[377] Examples of a user device may include a mobile phone, a smartphone, a laptop computer, a digital broadcast terminal, a personal digital assistant (PDA), a portable media player (PMP), a navigation device, a tablet PC, tablet PCs, ultrabooks, wearable devices (such as smart watches, smart glasses, head-mounted displays), digital TVs, desktop computers, digital signage system, etc.

[378] Каждый сервер в системе потоковой передачи контента может работать в качестве распределенного сервера, причем в этом случае данные, принимаемые из каждого сервера, могут распределяться.[378] Each server in a content streaming system may operate as a distributed server, in which case data received from each server may be distributed.

[379] Объем раскрытия сущности включает в себя программное обеспечение или машиноисполняемые команды (например, операционную систему, приложение, микропрограммное обеспечение, программу и т.д.) для обеспечения возможности выполнения операций согласно способам различных вариантов осуществления в оборудовании или компьютере, энергонезависимый машиночитаемый носитель, имеющий такое программное обеспечение или команды, сохраненные и выполняемые в оборудовании или компьютере.[379] The scope of the disclosure includes software or computer-executable instructions (e.g., an operating system, application, firmware, program, etc.) to enable operations according to the methods of various embodiments in hardware or a computer, non-volatile computer-readable medium having such software or instructions stored and executed in hardware or a computer.

Промышленная применимостьIndustrial applicability

[380] Варианты осуществления настоящего раскрытия сущности могут использоваться для того, чтобы кодировать или декодировать изображение.[380] Embodiments of the present disclosure may be used to encode or decode an image.

Claims (49)

1. Способ декодирования изображений, осуществляемый посредством оборудования декодирования изображений, при этом способ декодирования изображений содержит этапы, на которых:1. An image decoding method carried out by image decoding equipment, wherein the image decoding method comprises the steps of: получают текущий блок посредством разбиения изображения;obtaining the current block by splitting the image; определяют режим прогнозирования текущего блока;determine the prediction mode of the current block; формируют блок внутреннего прогнозирования относительно текущего блока, на основе режима прогнозирования текущего блока, представляющего собой режим внутреннего прогнозирования;generating an internal prediction block relative to the current block, based on the prediction mode of the current block, which is an internal prediction mode; формируют остаточный блок относительно текущего блока; иforming a residual block relative to the current block; And восстанавливают текущий блок на основе блока прогнозирования и остаточного блока относительно текущего блока,reconstructing the current block based on the prediction block and the residual block relative to the current block, при этом блок внутреннего прогнозирования и остаточный блок формируются на основе размера блока преобразования текущего блока, wherein the internal prediction block and the residual block are formed based on the size of the transformation block of the current block, при этом размер блока преобразования определяется на основе цветового компонента текущего блока, иwherein the size of the transform block is determined based on the color component of the current block, and при этом максимальный размер блока преобразования определяется отдельно для каждой ширины и высоты блока преобразования.in this case, the maximum size of the transformation block is determined separately for each width and height of the transformation block. 2. Способ декодирования изображений по п. 1,2. The method of decoding images according to claim 1, в котором цветовой компонент представляет собой одно из компонента сигнала яркости и компонента сигнала цветности.wherein the color component is one of a luma signal component and a chrominance signal component. 3. Способ декодирования изображений по п. 1,3. The method of decoding images according to claim 1, в котором, на основе цветового компонента текущего блока, представляющего собой компонент сигнала цветности, размер блока преобразования определяется на основе цветового формата.wherein, based on the color component of the current block, which is a chrominance signal component, the size of the transform block is determined based on the color format. 4. Способ декодирования изображений по п. 3,4. The method of decoding images according to claim 3, в котором ширина блока преобразования определяется на основе максимальной ширины блока преобразования, иwherein the width of the transform block is determined based on the maximum width of the transform block, and при этом максимальная ширина блока преобразования определяется на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку.wherein the maximum width of the transform block is determined based on the maximum size and color format of the transform block of the luminance signal block corresponding to the current block. 5. Способ декодирования изображений по п. 3,5. The method of decoding images according to claim 3, в котором высота блока преобразования определяется на основе максимальной высоты блока преобразования, иwherein the height of the transform block is determined based on the maximum height of the transform block, and при этом максимальная высота блока преобразования определяется на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку.wherein the maximum height of the transform block is determined based on the maximum size and color format of the transform block of the luminance signal block corresponding to the current block. 6. Способ декодирования изображений по п. 1, в котором позиция левой верхней выборки блока преобразования определяется на основе позиции и цветового формата левой верхней выборки блока сигналов яркости, соответствующего текущему блоку.6. The image decoding method according to claim 1, wherein the position of the upper left sample of the transform block is determined based on the position and color format of the left upper sample of the luminance signal block corresponding to the current block. 7. Способ декодирования изображений по п. 1,7. Method of decoding images according to claim 1, в котором левая верхняя позиция блока преобразования определяется на основе максимальной ширины блока преобразования и максимальной высоты блока преобразования,wherein the top left position of the transform block is determined based on the maximum width of the transform block and the maximum height of the transform block, при этом максимальная ширина блока преобразования определяется на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку, иwherein the maximum width of the transform block is determined based on the maximum size and color format of the transform block of the luma block corresponding to the current block, and при этом максимальная высота блока преобразования определяется на основе максимального размера и цветового формата блока преобразования блока сигналов яркости, соответствующего текущему блоку.wherein the maximum height of the transform block is determined based on the maximum size and color format of the transform block of the luminance signal block corresponding to the current block. 8. Способ декодирования изображений по п. 1,8. The method of decoding images according to claim 1, в котором текущий блок представляет собой блок сигналов цветности,in which the current block is a chroma block, при этом, на основе ширины блока преобразования, превышающей максимальную ширину блока преобразования, множество блоков преобразования нижнего слоя формируются посредством вертикального разбиения текущего блока, иwherein, based on the width of the transform block exceeding the maximum width of the transform block, a plurality of transform blocks of the lower layer are formed by vertically dividing the current block, and при этом блок внутреннего прогнозирования и остаточный блок формируются на основе множества блоков преобразования нижнего слоя.wherein the intra prediction block and the residual block are formed based on a plurality of transformation blocks of the lower layer. 9. Способ декодирования изображений по п. 8,9. The method of decoding images according to claim 8, в котором множество блоков преобразования нижнего слоя включают в себя первый блок преобразования нижнего слоя и второй блок преобразования нижнего слоя,wherein the plurality of lower layer transform blocks include a first lower layer transform block and a second lower layer transform block, при этом ширина первого блока преобразования нижнего слоя определяется как половина ширины блока преобразования, иwherein the width of the first transform block of the lower layer is determined to be half the width of the transform block, and при этом левая верхняя координата второго блока преобразования нижнего слоя определяется в качестве значения, сдвигаемого от левой верхней координаты блока преобразования вправо на половину ширины блока преобразования.wherein the upper left coordinate of the second transformation block of the lower layer is defined as a value shifted from the upper left coordinate of the transformation block to the right by half the width of the transformation block. 10. Способ декодирования изображений по п. 1,10. Method of decoding images according to claim 1, в котором текущий блок представляет собой блок сигналов цветности,in which the current block is a chroma block, при этом, на основе высоты блока преобразования, превышающей максимальную высоту блока преобразования, множество блоков преобразования нижнего слоя формируются посредством горизонтального разбиения текущего блока, иwherein, based on the height of the transform block exceeding the maximum height of the transform block, a plurality of transform blocks of the lower layer are formed by horizontally dividing the current block, and при этом блок внутреннего прогнозирования и остаточный блок формируются на основе множества блоков преобразования нижнего слоя.wherein the intra prediction block and the residual block are formed based on a plurality of transformation blocks of the lower layer. 11. Способ декодирования изображений по п. 10,11. The method of decoding images according to claim 10, в котором множество блоков преобразования нижнего слоя включают в себя третий блок преобразования нижнего слоя и четвертый блок преобразования нижнего слоя,wherein the plurality of lower layer transform blocks include a third lower layer transform block and a fourth lower layer transform block, при этом высота третьего блока преобразования нижнего слоя определяется как половина высоты блока преобразования, иwherein the height of the third transform block of the lower layer is determined to be half the height of the transform block, and при этом левая верхняя координата четвертого блока преобразования нижнего слоя определяется в качестве значения, сдвигаемого вниз от левой верхней координаты блока преобразования на половину высоты блока преобразования.wherein the upper left coordinate of the fourth transformation block of the lower layer is defined as a value shifted down from the upper left coordinate of the transformation block by half the height of the transformation block. 12. Способ декодирования изображений по п. 1, в котором максимальный размер блока преобразования составляет 64×64 на основе цветового формата текущего блока, представляющего собой формат 4:4:4, максимальный размер блока преобразования 32×64 на основе цветового формата текущего блока, представляющего собой формат 4:2:2, и максимальный размер блока преобразования составляет 32×32 на основе цветового формата текущего блока, представляющего собой формат 4:2:0.12. The image decoding method of claim 1, wherein the maximum transform block size is 64×64 based on the color format of the current block being a 4:4:4 format, the maximum transform block size is 32×64 based on the color format of the current block, which is a 4:2:2 format, and the maximum conversion block size is 32×32 based on the color format of the current block, which is a 4:2:0 format. 13. Способ кодирования изображений, осуществляемый посредством оборудования кодирования изображений, при этом способ кодирования изображений содержит этапы, на которых:13. An image encoding method carried out by image encoding equipment, wherein the image encoding method comprises the steps of: определяют текущий блок посредством разбиения изображения;determining the current block by dividing the image; формируют блок внутреннего прогнозирования относительно текущего блока;forming an internal prediction block relative to the current block; формируют остаточный блок относительно текущего блока на основе блока внутреннего прогнозирования; иgenerating a residual block relative to the current block based on the internal prediction block; And кодируют информацию режима внутреннего прогнозирования относительно текущего блока,encode intra prediction mode information regarding the current block, при этом внутренний остаточный блок и остаточный блок кодируются на основе размера блока преобразования текущего блока, wherein the inner residual block and the residual block are encoded based on the transform block size of the current block, при этом размер блока преобразования определяется на основе цветового компонента текущего блока, иwherein the size of the transform block is determined based on the color component of the current block, and при этом максимальный размер блока преобразования определяется отдельно для каждой ширины и высоты блока преобразования.in this case, the maximum size of the transformation block is determined separately for each width and height of the transformation block.