RU2804453C2

RU2804453C2 - Encoding video or images based on luminance display and color mapping

Info

Publication number: RU2804453C2
Application number: RU2022125898A
Authority: RU
Inventors: Цзе ЧЖАО; Сеунгхван КИМ
Original assignee: ЭлДжи ЭЛЕКТРОНИКС ИНК.
Priority date: 2019-06-17
Filing date: 2020-06-17
Publication date: 2023-09-29

Abstract

FIELD: video encoding.

SUBSTANCE: inter-prediction mode is output, and motion information for the current block is generated based on the inter-prediction mode. Prediction luminance samples for the current block are generated based on the motion information for the current block. A mapped prediction luminance sample is generated based on a mapping process for the prediction luminance sample. Luminance mapping with chrominance scaling (LMCS) related information is generated based on the mapped predictive luminance sample. A luminance residual sample is generated based on the mapped prediction sample, and residual information is generated based on it. A reconstructed luminance sample is generated based on the mapped prediction luminance sample and the residual luminance sample. A modified recovered luminance sample is generated based on the inverse mapping process for the recovered luminance sample. Image information including LMCS related information and residual information is encoded.

EFFECT: increase of efficiency of video encoding.

5 cl, 21 dwg, 38 tbl

Description

Область раскрытия Disclosure area

[1] Настоящий документ относится к кодированию видео или изображений на основе отображения яркости и масштабирования цветности.[1] This document relates to video or image encoding based on luma mapping and chrominance scaling.

Связанная область техники Related technical field

[2] В последнее время, потребность в изображениях/видео высокого разрешения, высокого качества, таких как изображения/видео сверхвысокой четкости (UHD) 4K или 8K или выше, возросла в различных областях. Так как данные изображения/видео имеют высокое разрешение и высокое качество, количество информации или битов, подлежащих передаче, увеличивается относительно существующих данных изображения/видео, и таким образом, передача данных изображения с использованием носителей, таких как существующая проводная/беспроводная широкополосная линия или существующий носитель хранения, или хранение данных изображения/видео с использованием существующего носителя хранения повышают затраты на передачу и затраты на хранение.[2] Recently, the need for high-definition, high-quality images/videos, such as ultra-high-definition (UHD) 4K or 8K or higher images/videos, has increased in various fields. Since the image/video data is of high resolution and high quality, the amount of information or bits to be transmitted increases relative to the existing image/video data, and thus, transmission of the image data using media such as an existing wired/wireless broadband line or an existing storage medium, or storing image/video data using an existing storage medium increases transmission costs and storage costs.

[3] К тому же интерес и потребность в иммерсивных медиа, таких как контент или голограммы виртуальной реальности (VR) и искусственной реальности (AR), в последнее время возросли, и возросла трансляция изображения/видео, имеющих характеристики, отличные от изображений реальности, таких как игровые изображения.[3] In addition, interest and demand for immersive media such as virtual reality (VR) and artificial reality (AR) content or holograms have increased recently, and the broadcast of images/videos having characteristics different from reality images has increased. such as game images.

[4] Соответственно, требуется высокоэффективная технология сжатия изображения/видео, чтобы эффективно сжимать, передавать, хранить и воспроизводить информацию изображений/видео высокого разрешения, высокого качества, имеющих различные характеристики, как описано выше.[4] Accordingly, a highly efficient image/video compression technology is required to efficiently compress, transmit, store and reproduce high-resolution, high-quality image/video information having various characteristics as described above.

[5] К тому же процесс отображения яркости с масштабированием цветности (LMCS) выполняется, чтобы улучшить эффективность сжатия и чтобы повысить субъективное/объективное визуальное качество, и обсуждается уменьшение вычислительной сложности в процессе LMCS.[5] In addition, a luminance chroma scaling (LMCS) process is performed to improve compression efficiency and to improve subjective/objective visual quality, and reducing the computational complexity in the LMCS process is discussed.

Краткое описание сущности изобретения Brief description of the invention

[6] В соответствии с вариантом осуществления настоящего документа, обеспечены способ и устройство для повышения эффективности кодирования изображения.[6] According to an embodiment of the present document, a method and apparatus for improving image encoding efficiency are provided.

[7] В соответствии с вариантом осуществления настоящего документа, обеспечены способ и устройство эффективного применения фильтрации.[7] According to an embodiment of the present document, a method and apparatus for effectively applying filtration are provided.

[8] В соответствии с вариантом осуществления настоящего документа, обеспечены способ и устройство эффективного применения LMCS.[8] According to an embodiment of the present document, a method and apparatus for effectively using an LMCS are provided.

[9] В соответствии с вариантом осуществления настоящего документа, кодовые слова LMCS (или их диапазон) могут быть ограничены.[9] In accordance with an embodiment of this document, LMCS codewords (or a range thereof) may be limited.

[10] В соответствии с вариантом осуществления настоящего документа, может использоваться один коэффициент остаточного масштабирования цветности, непосредственно сигнализируемый в масштабировании цветности LMCS.[10] In accordance with an embodiment of the present document, a single residual chroma scaling factor may be used, directly signaled in the LMCS chroma scaling.

[11] В соответствии с вариантом осуществления настоящего документа, может использоваться линейное отображение (линейное LMCS).[11] According to an embodiment of the present document, a linear mapping (linear LMCS) may be used.

[12] В соответствии с вариантом осуществления настоящего документа, информация о точках поворота, требуемых для линейного отображения, может явно сигнализироваться.[12] According to an embodiment of the present document, information about turning points required for linear mapping may be explicitly signaled.

[13] В соответствии с вариантом осуществления настоящего документа, гибкое число бинов может использоваться для отображения яркости.[13] According to an embodiment of the present document, a flexible number of bins can be used to display brightness.

[14] В соответствии с вариантом осуществления настоящего документа, процесс для выведения индекса обратного отображения для выборок яркости может быть упрощен.[14] According to an embodiment of the present document, the process for deriving the inverse mapping index for luminance samples can be simplified.

[15] В соответствии с вариантом осуществления настоящего документа, обеспечен способ декодирования видео/изображения, выполняемый устройством декодирования.[15] According to an embodiment of the present document, a video/image decoding method performed by a decoding apparatus is provided.

[16] В соответствии с вариантом осуществления настоящего документа, обеспечено устройство декодирования для выполнения декодирования видео/изображения.[16] According to an embodiment of the present document, a decoding apparatus for performing video/image decoding is provided.

[17] В соответствии с вариантом осуществления настоящего документа, обеспечен способ кодирования видео/изображения, выполняемый устройством кодирования.[17] According to an embodiment of the present document, a video/image encoding method performed by an encoding apparatus is provided.

[18] В соответствии с вариантом осуществления настоящего документа, обеспечено устройство кодирования для выполнения кодирования видео/изображения.[18] According to an embodiment of the present document, an encoding apparatus for performing video/image encoding is provided.

[19] В соответствии с одним вариантом осуществления настоящего документа, обеспечен считываемый компьютером цифровой носитель хранения, в котором хранится закодированная информация видео/изображения, сгенерированная в соответствии со способом кодирования видео/изображения, раскрытым в по меньшей мере одном из вариантов осуществления настоящего документа.[19] According to one embodiment of the present document, a computer-readable digital storage medium is provided that stores encoded video/image information generated in accordance with a video/image encoding method disclosed in at least one embodiment of the present document.

[20] В соответствии с вариантом осуществления настоящего документа, обеспечен считываемый компьютером цифровой носитель хранения, в котором хранится закодированная информация или закодированная информация видео/изображения, побуждающая устройство декодирования выполнять способ декодирования видео/изображения, раскрытый в по меньшей мере одном из вариантов осуществления настоящего документа.[20] According to an embodiment of the present document, a computer-readable digital storage medium is provided that stores encoded information or encoded video/image information causing a decoding device to perform a video/image decoding method disclosed in at least one embodiment of the present document. document.

Полезные результаты Useful results

[21] В соответствии с вариантом осуществления настоящего документа, общая эффективность сжатия изображения/видео может быть улучшена.[21] According to an embodiment of the present document, the overall efficiency of image/video compression can be improved.

[22] В соответствии с вариантом осуществления настоящего документа, субъективное/объективное визуальное качество может быть улучшено за счет эффективной фильтрование.[22] According to an embodiment of the present document, subjective/objective visual quality can be improved through effective filtering.

[23] В соответствии с вариантом осуществления настоящего документа, процесс LMCS для кодирования изображения/видео может эффективно выполняться.[23] According to an embodiment of the present document, the LMCS process for image/video encoding can be efficiently executed.

[24] В соответствии с вариантом осуществления настоящего документа, возможно минимизировать ресурсы/затраты (программного обеспечения или аппаратных средств), требуемые для процесса LMCS.[24] According to an embodiment of the present document, it is possible to minimize the resources/costs (software or hardware) required for the LMCS process.

[25] В соответствии с вариантом осуществления настоящего документа, реализация аппаратных средств для процесса LMCS может быть облегчена.[25] According to an embodiment of the present document, hardware implementation of the LMCS process can be facilitated.

[26] В соответствии с вариантом осуществления настоящего документа, операция деления, требуемая для выведения кодовых слов LMCS при отображении (повторном формировании), может быть устранена или минимизирована путем ограничения кодовых слов LMCS (или их диапазона).[26] According to an embodiment of the present document, the division operation required to output LMCS codewords during mapping (re-formation) can be eliminated or minimized by limiting the LMCS codewords (or range thereof).

[27] В соответствии с вариантом осуществления настоящего документа, задержка в соответствии с идентификацией кусочного индекса может быть удалена с использованием одного коэффициента остаточного масштабирования цветности.[27] According to an embodiment of the present document, the delay according to the piecewise index identification can be removed using a single chroma residual scaling factor.

[28] В соответствии с вариантом осуществления настоящего документа, процесс остаточного масштабирования цветности может выполняться без зависимости от (восстановления) блока яркости с использованием линейного отображения в LMCS, и, таким образом, задержка в масштабировании может быть устранена.[28] According to an embodiment of the present document, the chroma residual scaling process can be performed without depending on the luma block (restoration) using linear mapping in LMCS, and thus the delay in scaling can be eliminated.

[29] В соответствии с вариантом осуществления настоящего документа, эффективность отображения в LMCS может повышаться.[29] According to an embodiment of the present document, the display efficiency of the LMCS can be improved.

[30] В соответствии с вариантом осуществления настоящего документа, сложность LMCS может уменьшаться за счет упрощения процессов для выведения индекса обратного отображения или индекса обратного масштабирования для обратного отображения для выборок яркости или остаточного масштабирования цветности, и таким образом эффективность кодирования видео/изображения может повышаться.[30] According to an embodiment of the present document, the complexity of the LMCS can be reduced by simplifying processes for deriving a demapping index or a demapping inverse scaling index for luma samples or residual chroma scaling, and thus video/image coding efficiency can be improved.

Краткое описание чертежей Brief description of drawings

[31] Фиг. 1 иллюстрирует пример системы кодирования видео/изображения, к которой могут применяться варианты осуществления настоящего документа.[31] FIG. 1 illustrates an example of a video/image coding system to which embodiments of this document may be applied.

[32] Фиг. 2 является диаграммой, схематично иллюстрирующей конфигурацию устройства кодирования видео/изображения, к которой могут применяться варианты осуществления настоящего документа.[32] FIG. 2 is a diagram schematically illustrating a configuration of a video/image encoding apparatus to which embodiments of the present document may be applied.

[33] Фиг. 3 является диаграммой, схематично иллюстрирующей конфигурацию устройства декодирования видео/изображения, к которой могут применяться варианты осуществления настоящего документа.[33] FIG. 3 is a diagram schematically illustrating a configuration of a video/image decoding apparatus to which embodiments of the present document may be applied.

[34] Фиг. 4 показывает пример способа кодирования видео/изображения на основе интер-предсказания.[34] FIG. 4 shows an example of a video/image encoding method based on inter-prediction.

[35] Фиг. 5 показывает пример способа декодирования видео/изображения на основе интер-предсказания.[35] FIG. 5 shows an example of a video/image decoding method based on inter-prediction.

[36] Фиг. 6 примерно показывает процесс интер-предсказания.[36] FIG. 6 roughly shows the inter-prediction process.

[37] Фиг. 7 примерно показывает иерархическую структуру для закодированного изображения/видео.[37] FIG. 7 approximately shows the hierarchical structure for an encoded image/video.

[38] Фиг. 8 примерно иллюстрирует иерархическую структуру CVS в соответствии с вариантом осуществления настоящего документа.[38] FIG. 8 approximately illustrates the hierarchical structure of CVS in accordance with an embodiment of the present document.

[39] Фиг. 9 иллюстрирует примерную структуру LMCS в соответствии с вариантом осуществления настоящего документа.[39] FIG. 9 illustrates an exemplary LMCS structure in accordance with an embodiment of the present document.

[40] Фиг. 10 иллюстрирует структуру LMCS в соответствии с другим вариантом осуществления настоящего документа.[40] FIG. 10 illustrates a structure of an LMCS in accordance with another embodiment of the present document.

[41] Фиг. 11 показывает график, представляющий примерное прямое отображение.[41] FIG. 11 shows a graph representing an exemplary forward mapping.

[42] Фиг. 12 является блок-схемой последовательности операций, иллюстрирующей способ для выведения индекса остаточного масштабирования цветности в соответствии с вариантом осуществления настоящего документа.[42] FIG. 12 is a flowchart illustrating a method for deriving a residual chroma scaling index in accordance with an embodiment of the present document.

[43] Фиг. 13 иллюстрирует линейную аппроксимацию точек поворота в соответствии с вариантом осуществления настоящего документа.[43] FIG. 13 illustrates a linear approximation of turning points in accordance with an embodiment of the present document.

[44] Фиг. 14 иллюстрирует один пример линейного повторного формирования (или линейного повторного формирования, линейного отображения) в соответствии с вариантом осуществления настоящего документа.[44] FIG. 14 illustrates one example of linear reshaping (or linear reshaping, linear mapping) in accordance with an embodiment of the present document.

[45] Фиг. 15 показывает пример линейного прямого отображения в варианте осуществления настоящего документа. [45] FIG. 15 shows an example of linear forward mapping in an embodiment of the present document.

[46] Фиг. 16 показывает пример обратного прямого отображения в варианте осуществления настоящего документа.[46] FIG. 16 shows an example of inverse forward mapping in an embodiment of the present document.

[47] Фиг. 17 и фиг. 18 схематично показывают пример способа кодирования видео/изображения и связанные компоненты в соответствии с вариантом(ами) осуществления настоящего документа.[47] FIG. 17 and fig. 18 schematically shows an example of a video/image encoding method and related components in accordance with embodiment(s) of the present document.

[48] Фиг. 19 и фиг. 20 схематично показывают пример способа декодирования изображения/видео и связанные компоненты в соответствии с вариантом осуществления настоящего документа.[48] FIG. 19 and fig. 20 schematically shows an example of an image/video decoding method and related components in accordance with an embodiment of the present document.

[49] Фиг. 21 показывает пример системы стриминга контента, к которой могут применяться варианты осуществления, раскрытые в настоящем документе.[49] FIG. 21 shows an example of a content streaming system to which the embodiments disclosed herein may be applied.

Описание примерных вариантов осуществления Description of Exemplary Embodiments

[50] Настоящий документ может модифицироваться в различных формах, и его конкретные варианты осуществления будут описаны и показаны на чертежах. Однако варианты осуществления не предназначены ограничивать настоящий документ. Термины, используемые в последующем описании, используются, чтобы только описывать конкретные варианты осуществления, но не предназначены ограничивать настоящий документ. Выражение в единственном числе включает в себя выражение во множественном числе, если только оно не читается явно иначе. Термины, такие как “включать в себя” и “иметь”, предназначены указывать, что признаки, числа, этапы, операции, элементы, компоненты или их комбинации, используемые в следующем описании, существуют, и, таким образом, должно быть понятно, что возможность существования или добавления одного или более других признаков, чисел, этапов, операций, элементов, компонентов или их комбинация не исключается.[50] The present document may be modified in various forms, and specific embodiments thereof will be described and shown in the drawings. However, the embodiments are not intended to limit the present document. The terms used in the following description are used only to describe specific embodiments and are not intended to limit this document. An expression in the singular includes an expression in the plural unless it is clearly read differently. Terms such as “include” and “have” are intended to indicate that the features, numbers, steps, operations, elements, components, or combinations thereof used in the following description exist, and thus it is to be understood that the possibility of the existence or addition of one or more other features, numbers, steps, operations, elements, components or a combination thereof is not excluded.

[51] Между тем каждая конфигурация на чертежах, описанная в настоящем документе, показана независимо для удобства описания касательно разных функций характеристик и не означает, что каждая конфигурация реализуется как отдельные аппаратные средства или отдельное программное обеспечение. Например, два или более компонентов из каждого компонента могут комбинироваться для образования одного компонента, или один компонент может делиться на множество компонентов. Варианты осуществления, в которых каждый компонент является интегрированным и/или отдельным, также включены в объем раскрытия настоящего документа.[51] Meanwhile, each configuration in the drawings described herein is shown independently for convenience of description regarding different feature functions and does not mean that each configuration is implemented as separate hardware or separate software. For example, two or more components from each component may be combined to form one component, or one component may be divided into multiple components. Embodiments in which each component is integrated and/or separate are also included within the scope of the disclosure herein.

[52] Далее, примеры настоящего варианта осуществления будут описаны подробно со ссылкой на прилагаемые чертежи. К тому же одинаковые ссылочные позиции используются, чтобы указывать одинаковые элементы на всех чертежах, и те же самые описания одинаковых элементов будут опущены.[52] Next, examples of the present embodiment will be described in detail with reference to the accompanying drawings. In addition, the same reference numerals are used to indicate the same elements throughout the drawings, and the same descriptions of the same elements will be omitted.

[53] Фиг. 1 иллюстрирует пример системы кодирования видео/изображения, к которой могут применяться варианты осуществления настоящего документа.[53] FIG. 1 illustrates an example of a video/image coding system to which embodiments of this document may be applied.

[54] Со ссылкой на фиг. 1, система кодирования видео/изображения может включать в себя первое устройство (устройство-источник) и второе устройство (устройство приема). Устройство-источник может передавать закодированную информацию или данные видео/изображения на устройство приема через цифровой носитель хранения или сеть в виде файла или потока.[54] With reference to FIG. 1, a video/image encoding system may include a first device (a source device) and a second device (a receiving device). A source device may transmit encoded information or video/image data to a receiving device via a digital storage medium or network as a file or stream.

[55] Устройство-источник может включать в себя источник видео, устройство кодирования и передатчик. Устройство приема может включать в себя приемник, устройство декодирования и устройство рендеринга (визуализации). Устройство кодирования может называться устройством кодирования видео/изображения, и устройство декодирования может называться устройством декодирования видео/изображения. Передатчик может быть включен в устройство кодирования. Приемник может быть включен в устройство декодирования. Устройство визуализации может включать в себя дисплей, и дисплей может быть сконфигурирован как отдельное устройство или внешний компонент.[55] The source device may include a video source, an encoder, and a transmitter. The receiving device may include a receiver, a decoding device, and a rendering device. The encoding device may be called a video/image encoding device, and the decoding device may be called a video/image decoding device. The transmitter may be included in the encoding device. The receiver may be included in a decoding device. The imaging device may include a display, and the display may be configured as a separate device or an external component.

[56] Источник видео может получать видео/изображение через процесс захвата, синтеза или генерации видео/изображения. Источник видео может включать в себя устройство захвата видео/изображения и/или устройство генерации видео/изображения. Устройство захвата видео/изображения может включать в себя, например, одну или несколько камер, архивы видео/изображений, включающие в себя ранее захваченные видео/изображения, и тому подобное. Устройство генерации видео/изображения может включать в себя, например, компьютеры, планшеты и смартфоны и может (электронным способом) генерировать видео/изображения. Например, виртуальное видео/изображение может генерироваться через компьютер или тому подобное. В этом случае процесс захвата видео/изображения может быть заменен на процесс генерации связанных данных.[56] The video source may obtain video/image through a video/image capture, synthesis, or generation process. The video source may include a video/image capturing device and/or a video/image generation device. The video/image capturing device may include, for example, one or more cameras, video/image archives including previously captured video/images, and the like. The video/image generating apparatus may include, for example, computers, tablets, and smartphones and may (electronically) generate video/images. For example, the virtual video/image may be generated through a computer or the like. In this case, the video/image capture process can be replaced by the associated data generation process.

[57] Устройство кодирования может кодировать введенное видео/изображение. Устройство кодирования может выполнять последовательность процедур, таких как предсказание, преобразование и квантование для компактности и эффективности кодирования. Закодированные данные (закодированная информация видео/изображения) могут выводиться в виде битового потока.[57] The encoding device can encode the input video/image. The encoding device may perform a sequence of procedures such as prediction, transformation and quantization for compact and efficient encoding. The encoded data (encoded video/image information) can be output as a bit stream.

[58] Передатчик может передавать закодированное изображение/информацию изображения или данные, выведенные в виде битового потока, на приемник устройства приема через цифровой носитель хранения или сеть в виде файла или потока. Цифровой носитель хранения может включать в себя различные носители хранения, такие как USB, SD, CD, DVD, Blu-ray, HDD, SSD и тому подобное. Передатчик может включать в себя элемент для генерации медиа-файла посредством предопределенного формата файла и может включать в себя элемент для передачи через сеть вещания/связи. Приемник может принимать/извлекать битовый поток и передавать принятый битовый поток на устройство декодирования.[58] A transmitter may transmit encoded image/image information or data output as a bit stream to a receiver of a receiving device via a digital storage medium or network as a file or stream. The digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD and the like. The transmitter may include an element for generating a media file through a predefined file format and may include an element for transmission over a broadcast/communications network. The receiver can receive/extract the bit stream and transmit the received bit stream to the decoding device.

[59] Устройство декодирования может декодировать видео/изображение путем выполнения последовательности процедур, таких как деквантование, обратное преобразование и предсказание, соответствующих операции устройства кодирования.[59] A decoding apparatus may decode a video/image by performing a sequence of procedures such as dequantization, deconversion, and prediction corresponding to an operation of the encoding apparatus.

[60] Устройство визуализации может визуализировать декодированное видео/изображение. Визуализированное видео/ изображение может отображаться посредством дисплея.[60] The renderer can render the decoded video/image. The rendered video/image can be displayed via the display.

[61] Настоящий документ относится к кодированию видео/изображения. Например, способ/вариант осуществления, раскрытый в настоящем документе, может применяться к способу, раскрытому в стандарте многоцелевого кодирования видео (VVC), стандарте существенного кодирования видео (EVC), стандарте AOMedia Видео 1 (AV1), стандарте кодирования аудио/видео 2-го поколения (AVS2) или стандарте кодирования видео/изображения следующего поколения (например, H.267, H.268 или тому подобное).[61] This document relates to video/image coding. For example, the method/embodiment disclosed herein may be applied to the method disclosed in the Multipurpose Video Coding (VVC) standard, the Essential Video Coding (EVC) standard, the AOMedia Video 1 (AV1) standard, the Audio/Video Coding Standard 2- next generation (AVS2) or next generation video/image coding standard (for example, H.267, H.268 or the like).

[62] Настоящий документ предлагает различные варианты осуществления кодирования видео/изображения, и варианты осуществления выше могут также выполняться в комбинации друг с другом, если не специфицировано иное.[62] This document proposes various embodiments of video/image encoding, and the embodiments above may also be performed in combination with each other unless otherwise specified.

[63] В настоящем документе, видео может относиться к последовательности изображений по времени. Картинка обычно относится к единице, представляющей одно изображение в конкретном временном кадре, и вырезка/мозаичный элемент относится к единице, составляющей часть картинки в терминах кодирования. Вырезка/мозаичный элемент может включать в себя одну или более единиц дерева кодирования (CTU). Одна картинка может состоять из одной или более вырезок/мозаичных элементов. Одна картинка может состоять из одной или более групп мозаичных элементов. Одна группа мозаичных элементов может включать в себя один или более мозаичных элементов. “Кирпичик” может представлять прямоугольную область строк CTU в пределах мозаичного элемента в картинке. Мозаичный элемент может разбиваться на множество кирпичиков, каждый из которых может состоять из одной или более строк CTU в пределах мозаичного элемента. Мозаичный элемент, который не разбивается на множество кирпичиков, может также называться кирпичиком. Сканирование кирпичиков может представлять конкретный последовательный порядок CTU, разбивающих картинку, причем CTU могут быть упорядочены в растровом сканировании CTU в пределах кирпичика, и кирпичики в пределах мозаичного элемента могут быть упорядочены последовательно в растровом сканировании кирпичиков мозаичного элемента, и мозаичные элементы в картинке могут быть упорядочены последовательно в растровом сканировании мозаичных элементов картинки. Мозаичный элемент является прямоугольной областью CTU в пределах конкретного столбца мозаичного элемента и конкретной строки мозаичного элемента в картинке. Столбец мозаичного элемента является прямоугольной областью CTU, имеющей высоту, равную высоте картинки, и ширину, специфицированную синтаксическими элементами в наборе параметров картинки. Строка мозаичного элемента является прямоугольной областью CTU, имеющей высоту, специфицированную синтаксическими элементами в наборе параметров картинки, и ширину, равную ширине картинки. Сканирование мозаичного элемента является конкретным последовательным упорядочиванием CTU, разбивающих картинку, в котором CTU упорядочены последовательно в растровом сканировании CTU в мозаичном элементе, причем мозаичные элементы в картинке упорядочены последовательно в растровом сканировании мозаичных элементов картинки. Вырезка включает в себя целое число кирпичиков картинки, которые могут содержаться исключительно в одной единице NAL. Вырезка может состоять из некоторого количества полных мозаичных элементов или только последовательности полных кирпичиков одного мозаичного элемента. В настоящем документе, группа мозаичных элементов и вырезка могут использоваться взаимозаменяемым образом. Например, в настоящем документе, группа мозаичных элементов/заголовок группы мозаичных элементов может называться вырезкой/заголовком вырезки.[63] As used herein, video may refer to a sequence of images over time. A picture usually refers to a unit representing one image in a particular time frame, and a cut/tile refers to a unit that constitutes a part of a picture in encoding terms. The clipping/tile may include one or more coding tree units (CTUs). One picture may consist of one or more cutouts/mosaic elements. One picture can consist of one or more groups of mosaic elements. One tile group may include one or more tiles. A “brick” can represent a rectangular area of CTU lines within a tile in a picture. A tile may be broken into multiple bricks, each of which may consist of one or more CTU rows within the tile. A mosaic element that is not broken into many bricks may also be called a brick. The brick scan may represent a particular sequential order of CTUs breaking up the picture, wherein the CTUs may be ordered in a raster scan of the CTUs within a brick, and the bricks within a tile may be ordered sequentially in a raster scan of the tile's bricks, and the tiles within a picture may be ordered sequentially in raster scanning of the mosaic elements of the picture. A tile is a rectangular CTU area within a particular tile column and a particular tile row in a picture. A tile column is a rectangular CTU area having a height equal to the height of the picture and a width specified by the syntax elements in the picture parameter set. A tile row is a rectangular CTU area having a height specified by the syntax elements in the picture parameter set and a width equal to the width of the picture. A tile scan is a particular sequential ordering of CTUs tiles of a picture, in which the CTUs are ordered sequentially in a raster scan of the CTUs in a tile, and the tiles in a picture are ordered sequentially in a raster scan of the tiles of the picture. A clipping includes an integer number of picture bricks that can only be contained in one NAL unit. A cut may consist of a number of complete tiles or just a sequence of complete bricks of a single tile. Herein, a tile group and a cutout may be used interchangeably. For example, herein, a tile group/tile group header may be referred to as a cut/cut header.

[64] Между тем одна картинка может делиться на две или более под-картинок. Под-картинка может представлять собой прямоугольную область одной или более вырезок в пределах картинки.[64] Meanwhile, one picture can be divided into two or more sub-pictures. A sub-picture may be a rectangular area of one or more cutouts within the picture.

[65] Пиксел или пел может означать наименьшую единицу, составляющую одну картинку (или изображение). Также, ‘выборка’ может использоваться как термин, соответствующий пикселу. Выборка может, в общем, представлять пиксел или значение пиксела и может представлять только пиксел/значение пиксела компонента яркости или только пиксел/значение пиксела компонента цветности. [65] Pixel or pel can mean the smallest unit that makes up one picture (or image). Also, 'sample' can be used as a term corresponding to a pixel. A sample may generally represent a pixel or a pixel value, and may represent only a luma component pixel/pixel value or only a chrominance component pixel/pixel value.

[66] Единица может представлять базовую единицу обработки изображения. Единица может включать в себя по меньшей мере одно из конкретной области картинки и информации, относящейся к области. Одна единица может включать в себя один блок яркости и два блока цветности (например, cb, cr). Единица может использоваться взаимозаменяемо с терминами, такими как блок или область в некоторых случаях. В общем случае, блок M×N может включать в себя выборки (или массивы выборок) или набор (или массив) коэффициентов преобразования M столбцов и N строк. Альтернативно, выборка может означать значение пиксела в пространственной области, и когда такое значение пиксела преобразуется в частотную область, оно может означать коэффициент преобразования в частотной области.[66] The unit may represent a basic image processing unit. The unit may include at least one of a specific picture area and information related to the area. One unit may include one luma block and two chrominance blocks (eg, cb, cr). Unit can be used interchangeably with terms such as block or area in some cases. In general, an M×N block may include samples (or arrays of samples) or a set (or array) of transform coefficients of M columns and N rows. Alternatively, a sample may denote a pixel value in the spatial domain, and when such a pixel value is converted to the frequency domain, it may denote a frequency domain conversion coefficient.

[67] В настоящем документе, “A или B” может означать “только A”, “только B” или “как A, так и B”. Другими словами, “A или B” в настоящем документе может интерпретироваться как “A и/или B”. Например, в настоящем документе “A, B или C (A, B или C)” означает “только A”, “только B”, “только C” или “любая комбинация A, B и C”.[67] As used herein, “A or B” may mean “A only,” “B only,” or “both A and B.” In other words, “A or B” in this document may be interpreted as “A and/or B”. For example, as used herein, “A, B, or C (A, B, or C)” means “A only,” “B only,” “C only,” or “any combination of A, B, and C.”

[68] Слеш (/) или запятая, используемые в настоящем документе, могут означать “и/или”. Например, “A/B” может означать “A и/или B”. Соответственно, “A/B” может означать “только A”, “только B” или “как A, так и B”. Например, “A, B, C” может означать “A, B или C”.[68] The slash (/) or comma used in this document can mean “and/or.” For example, “A/B” could mean “A and/or B.” Accordingly, “A/B” can mean “A only,” “B only,” or “both A and B.” For example, “A, B, C” could mean “A, B or C”.

[69] В настоящем документе, “по меньшей мере одно из A и B” может означать “только A”, “только B” или “как A, так и B”. Также, в настоящем документе, выражение “по меньшей мере одно из A или B” или “по меньшей мере одно из A и/или B” может интерпретироваться так же, как “по меньшей мере одно из A и B”.[69] As used herein, “at least one of A and B” may mean “A only,” “B only,” or “both A and B.” Also, as used herein, the expression “at least one of A or B” or “at least one of A and/or B” may be interpreted in the same way as “at least one of A and B”.

[70] Также, в настоящем документе, “по меньшей мере одно из A, B и C” означает “только A, “только B”, “только C” или “любая комбинация A, B и C”. Также, “по меньшей мере одно из A, B или C” или “по меньшей мере одно из A, B и/или C” может означать “по меньшей мере одно из A, B и C”.[70] Also, as used herein, “at least one of A, B, and C” means “A only,” “B only,” “C only,” or “any combination of A, B, and C.” Also, “at least one of A, B, or C” or “at least one of A, B, and/or C” may mean “at least one of A, B, and C.”

[71] Также, круглые скобки, используемые в настоящем документе, могут означать “например”. Конкретно, когда указано “предсказание (интра-предсказание)”, “интра-предсказание” может предлагаться как пример “предсказания”. Другими словами, “предсказание” в настоящем документе не ограничено “интра-предсказанием”, и “интра-предсказание” может предлагаться в качестве примера “предсказания”. Также, даже когда указано “предсказание (т.е. интра-предсказание)”, “интра-предсказание” может предлагаться как пример “предсказания”.[71] Also, parentheses used herein may mean “for example.” Specifically, when “prediction (intra-prediction)” is specified, “intra-prediction” may be offered as an example of “prediction”. In other words, “prediction” herein is not limited to “intra-prediction”, and “intra-prediction” may be offered as an example of “prediction”. Also, even when “prediction (ie, intra-prediction)” is specified, “intra-prediction” may be offered as an example of “prediction”.

[72] Технические признаки, которые отдельно описаны в одном чертеже в настоящем документе, могут быть реализованы по отдельности или вместе.[72] Technical features that are separately described in a single drawing herein may be implemented individually or together.

[73] Фиг. 2 является диаграммой, схематично иллюстрирующей конфигурацию устройства кодирования видео/изображения, к которой могут применяться варианты осуществления настоящего документа. Далее, то, что называется устройством кодирования видео, может включать в себя устройство кодирования изображения. [73] FIG. 2 is a diagram schematically illustrating a configuration of a video/image encoding apparatus to which embodiments of the present document may be applied. Further, what is called a video encoding device may include an image encoding device.

[74] Со ссылкой на фиг. 2, устройство 200 кодирования включает в себя модуль 210 разбиения изображения, предсказатель 220, остаточный процессор (процессор остатка) 230 и энтропийный кодер 240, сумматор 250, фильтр 260 и память 270. Предсказатель 220 может включать в себя интер-предсказатель 221 и интра-предсказатель 222. Процессор 230 остатка может включать в себя преобразователь 232, квантователь 233, деквантователь 234 и обратный преобразователь 235. Процессор 230 остатка может дополнительно включать в себя вычитатель 231. Сумматор 250 может называться реконструктором или генератором восстановленного блока. Модуль 210 разбиения изображения, предсказатель 220, процессор 230 остатка, энтропийный кодер 240, сумматор 250 и фильтр 260 могут быть сконфигурированы по меньшей мере одним компонентом аппаратных средств (например, чипсетом кодера или процессором) в соответствии с вариантом осуществления. К тому же память 270 может включать в себя буфер декодированной картинки (DPB) или может быть сконфигурирована цифровым носителем хранения. Компонент аппаратных средств может дополнительно включать в себя память 270 как внутренний/внешний компонент.[74] With reference to FIG. 2, encoding device 200 includes an image partitioning unit 210, a predictor 220, a residual processor 230 and an entropy encoder 240, an adder 250, a filter 260, and a memory 270. The predictor 220 may include an inter-predictor 221 and an intra-predictor 221. predictor 222. Residual processor 230 may include transformer 232, quantizer 233, dequantizer 234, and inverse transformer 235. Residual processor 230 may further include subtractor 231. Adder 250 may be referred to as a reconstructor or reconstructed block generator. The image partitioning module 210, predictor 220, residual processor 230, entropy encoder 240, adder 250, and filter 260 may be configured by at least one hardware component (eg, an encoder chipset or processor) in accordance with an embodiment. In addition, memory 270 may include a decoded picture buffer (DPB) or may be configured with a digital storage medium. The hardware component may further include memory 270 as an internal/external component.

[75] Модуль 210 разбиения изображения может разбивать входное изображение (или картинку или кадр), введенное в устройство 200 кодирования в один или более процессоров. Например, процессор может называться единицей кодирования (CU). В этом случае, единица кодирования может рекурсивно разбиваться в соответствии со структурой квадродерева-двоичного дерева-троичного дерева (QTBTTT) из единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU). Например, одна единица кодирования может разбиваться на множество единиц кодирования более глубокой глубины на основе структуры квадродерева, структуры двоичного и/или троичного дерева. В этом случае, например, структура квадродерева может применяться первой, и структура двоичного дерева и/или структура троичного дерева может применяться позже. Альтернативно, структура двоичного дерева может применяться первой. Процедура кодирования в соответствии с настоящим раскрытием может выполняться на основе конечной единицы кодирования, которая больше не разбивается. В этом случае, наибольшая единица кодирования может использоваться как конечная единица кодирования на основе эффективности кодирования в соответствии с характеристиками изображения, или если необходимо, единица кодирования может рекурсивно разбиваться на единицы кодирования более глубокой глубины, и единица кодирования, имеющая оптимальный размер, может использоваться как конечная единица кодирования. Здесь, процедура кодирования может включать в себя процедуру предсказания, преобразования и восстановления, которые будут описаны далее. В качестве примера, процессор может дополнительно включать в себя единицу предсказания (PU) или единицу преобразования (TU). В этом случае, единица предсказания и единица преобразования могут разделяться или разбиваться из вышеупомянутой конечной единицы кодирования. Единица предсказания может представлять собой единицу предсказания выборки, и единица преобразования может представлять собой единицу для выведения коэффициента преобразования и/или единицу для выведения остаточного сигнала из коэффициента преобразования.[75] The image splitter 210 may split an input image (or picture or frame) input to the encoder 200 into one or more processors. For example, a processor may be called a coding unit (CU). In this case, the coding unit may be recursively partitioned according to a quadtree-binary-tree-ternary (QTBTTT) structure from a coding tree unit (CTU) or a largest coding unit (LCU). For example, one encoding unit may be decomposed into multiple encoding units of greater depth based on a quadtree structure, a binary tree structure, and/or a ternary tree structure. In this case, for example, the quadtree structure may be applied first, and the binary tree structure and/or ternary tree structure may be applied later. Alternatively, the binary tree structure may be applied first. The encoding procedure in accordance with the present disclosure may be performed based on a final encoding unit that is no longer split. In this case, the largest coding unit can be used as the final coding unit based on the coding efficiency according to the characteristics of the image, or if necessary, the coding unit can be recursively divided into coding units of deeper depth, and the coding unit having the optimal size can be used as the final unit of coding. Here, the encoding procedure may include a prediction, transformation and reconstruction procedure, which will be described later. As an example, the processor may further include a prediction unit (PU) or a transformation unit (TU). In this case, the prediction unit and the transformation unit may be separated or split from the above-mentioned final encoding unit. The prediction unit may be a sample prediction unit, and the transformation unit may be a unit for deriving a transform coefficient and/or a unit for deriving a residual signal from the transform coefficient.

[76] Единица может использоваться взаимозаменяемо с терминами, такими как блок или область в некоторых случаях. В общем случае, блок M×N может представлять набор выборок или коэффициентов преобразования, состоящих из M столбцов и N строк. Выборка может, в общем, представлять пиксел или значение пиксела, может представлять только пиксел/значение пиксела компонента яркости или представлять только пиксел/значение пиксела компонента цветности. Выборка может использоваться как термин, соответствующий одной картинке (или изображению) для пиксела или пела.[76] Unit may be used interchangeably with terms such as block or area in some cases. In general, an M×N block can represent a set of samples or transform coefficients consisting of M columns and N rows. The sample may generally represent a pixel or pixel value, may represent only a luma component pixel/pixel value, or may represent only a chrominance component pixel/pixel value. Sampling can be used as a term corresponding to a single picture (or image) for a pixel or pel.

[77] В устройстве 200 кодирования, сигнал предсказания (предсказанный блок, массив выборок предсказания), выведенный из интер-предсказателя 221 или интра-предсказателя 222, вычитается из входного сигнала изображения (исходного блока, исходного массива выборок), чтобы сгенерировать остаточный сигнал (остаточный блок, остаточный массив выборок), и сгенерированный остаточный сигнал передается на преобразователь 232. В этом случае, как показано, модуль для вычитания сигнала предсказания (предсказанного блока, массива выборок предсказания) из входного сигнала изображения (исходного блока, исходного массива выборок) в кодере 200 может называться вычитателем 231. Предсказатель может выполнять предсказание на блоке, подлежащем обработке (далее называемом текущим блоком), и генерировать предсказанный блок, включающий в себя выборки предсказания для текущего блока. Предсказатель может определять, применяется ли интра-предсказание или интер-предсказание на текущем блоке или на основе CU. Как описано далее в описании каждого режима предсказания, предсказатель может генерировать различную информацию, относящуюся к предсказанию, такую как информация режима предсказания, и передавать сгенерированную информацию на энтропийный кодер 240. Информация о предсказании может кодироваться в энтропийном кодере 240 и выводиться в форме битового потока.[77] In the encoding apparatus 200, the prediction signal (predicted block, prediction sample array) output from the inter-predictor 221 or intra-predictor 222 is subtracted from the input image signal (original block, original sample array) to generate a residual signal ( residual block, residual sample array), and the generated residual signal is transmitted to converter 232. In this case, as shown, a module for subtracting a prediction signal (predicted block, prediction sample array) from an input image signal (original block, original sample array) into encoder 200 may be referred to as subtractor 231. The predictor may perform prediction on a block to be processed (hereinafter referred to as a current block) and generate a predicted block including prediction samples for the current block. The predictor can determine whether intra-prediction or inter-prediction is applied on the current block or on a CU basis. As described later in the description of each prediction mode, the predictor can generate various prediction-related information, such as prediction mode information, and transmit the generated information to the entropy encoder 240. The prediction information can be encoded in the entropy encoder 240 and output in the form of a bit stream.

[78] Интра-предсказатель 222 может предсказывать текущий блок путем ссылки на выборки в текущей картинке. Указанные выборки могут быть расположены по соседству с текущим блоком или могут быть разнесены в соответствии с режимом предсказания. В интра-предсказании, режимы предсказания могут включать в себя множество ненаправленных режимов и множество направленных режимов. Ненаправленный режим может включать в себя, например, режим DC и планарный режим. Направленный режим может включать в себя, например, 33 направленных режима предсказания или 65 направленных режимов предсказания в соответствии со степенью детализации направления предсказания. Однако это только пример, больше или меньше направленных режимов предсказания могут использоваться в зависимости от настроек. Интра-предсказатель 222 может определять режим предсказания, применяемый к текущему блоку, путем использования режима предсказания, применяемого к соседнему блоку.[78] Intra predictor 222 may predict the current block by reference to samples in the current picture. These samples may be located adjacent to the current block or may be spaced apart according to the prediction mode. In intra-prediction, prediction modes may include a plurality of undirected modes and a plurality of directed modes. The omnidirectional mode may include, for example, a DC mode and a planar mode. The directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes according to the granularity of the prediction direction. However, this is just an example, more or less directional prediction modes may be used depending on the settings. Intra predictor 222 may determine the prediction mode applied to the current block by using the prediction mode applied to the adjacent block.

[79] Интер-предсказатель 221 может выводить предсказанный блок для текущего блока на основе опорного блока (опорного массива выборок), специфицированного вектором движения на опорной картинке. Здесь, чтобы уменьшить количество информации движения, передаваемой в режиме интер-предсказания, информация движения может предсказываться в единицах блоков, подблоков или выборках на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорной картинки. Информация движения может дополнительно включать в себя информацию направления интер-предсказания (предсказание L0, предсказание L1, Bi-предсказание и т.д.). В случае интер-предсказания, соседний блок может включать в себя пространственный соседний блок, представленный в текущей картинке, и временной соседний блок, представленный в опорной картинке. Опорная картинка, включающая в себя опорный блок, и опорная картинка, включающая в себя временной соседний блок, могут быть одинаковыми или разными. Временной соседний блок может называться совместно расположенным опорным блоком, co-located CU (colCU) и т.п., и опорная картинка, включающая в себя временной соседний блок, может называться совместно расположенной картинкой (colPic). Например, интер-предсказатель 221 может конфигурировать список кандидатов информации движения на основе соседних блоков и генерировать информацию, указывающую, какой кандидат используется, чтобы вывести вектор движения и/или индекс опорной картинки текущего блока. Интер-предсказание может выполняться на основе различных режимов предсказания. Например, в случае режима пропуска и режима объединения, интер-предсказатель 221 может использовать информацию движения соседнего блока как информацию движения текущего блока. В режиме пропуска, в отличие от режима объединения, остаточный сигнал может не передаваться. В случае режима предсказания вектора движения (MVP), вектор движения соседнего блока может использоваться как предсказатель вектора движения, и вектор движения текущего блока может указываться путем сигнализации разности векторов движения.[79] The inter-predictor 221 may output a predicted block for the current block based on a reference block (reference sample array) specified by a motion vector in the reference picture. Here, in order to reduce the amount of motion information transmitted in the inter-prediction mode, motion information may be predicted in units of blocks, sub-blocks, or samples based on the correlation of motion information between a neighboring block and the current block. The motion information may include a motion vector and a reference picture index. The motion information may further include inter-prediction direction information (L0 prediction, L1 prediction, Bi prediction, etc.). In the case of inter-prediction, the neighbor block may include a spatial neighbor block represented in the current picture and a temporal neighbor block represented in the reference picture. The reference picture including the reference block and the reference picture including the temporary adjacent block may be the same or different. A temporary neighbor block may be called a co-located reference block, a co-located CU (colCU), etc., and a reference picture including a temporary neighboring block may be called a co-located picture (colPic). For example, inter-predictor 221 may configure a list of motion information candidates based on neighboring blocks and generate information indicating which candidate is used to output the motion vector and/or reference picture index of the current block. Inter-prediction can be performed based on various prediction modes. For example, in the case of the skip mode and the merge mode, the inter-predictor 221 may use the motion information of a neighboring block as the motion information of the current block. In the skip mode, unlike the combine mode, the residual signal may not be transmitted. In the case of a motion vector prediction (MVP) mode, the motion vector of an adjacent block can be used as a motion vector predictor, and the motion vector of the current block can be indicated by signaling a motion vector difference.

[80] Предсказатель 220 может генерировать сигнал предсказания на основе различных способов предсказания, описанных ниже. Например, предсказатель может не только применять интра-предсказание или интер-предсказание, чтобы предсказать один блок, но также одновременно применять как интра-предсказание, так и интер-предсказание. Это может называться комбинированным интер- и интра-предсказанием (CIIP). К тому же предсказатель может быть основан на режиме предсказания внутри-блочного копирования (IBC) или режиме палитры для предсказания блока. Режим предсказания IBC или режим палитры могут использоваться для кодирования контента изображения/видео игры или тому подобного, например, кодирования контента экрана (SCC). IBC в основном выполняет предсказание в текущей картинке, но может выполняться аналогично интер-предсказанию тем, что опорный блок выводится в текущей картинке. То есть, IBC может использовать по меньшей мере один из методов интер-предсказания, описанных в настоящем раскрытии. Режим палитры может рассматриваться как пример интра-кодирования или интра-предсказания. Когда режим палитры применяется, значение выборки в пределах картинки может сигнализироваться на основе информации о таблице палитры и индексе палитры.[80] Predictor 220 may generate a prediction signal based on various prediction methods described below. For example, a predictor may not only apply intra-prediction or inter-prediction to predict one block, but also simultaneously apply both intra-prediction and inter-prediction. This may be called combined inter- and intra-prediction (CIIP). In addition, the predictor may be based on an intra-block copy (IBC) prediction mode or a palette mode for block prediction. The IBC prediction mode or the palette mode can be used to encode the content of an image/video game or the like, such as screen content coding (SCC). IBC primarily performs prediction in the current picture, but can be performed similarly to inter-prediction in that the reference block is output in the current picture. That is, the IBC may use at least one of the inter-prediction methods described in the present disclosure. Palette mode can be considered an example of intra-encoding or intra-prediction. When a palette mode is applied, a sample value within a picture can be signaled based on information about the palette table and palette index.

[81] Сигнал предсказания, сгенерированный предсказателем (включающим в себя интер-предсказатель 221 и/или интра-предсказатель 222), может использоваться, чтобы генерировать восстановленный сигнал или чтобы генерировать остаточный сигнал. Преобразователь 232 может генерировать коэффициенты преобразования путем применения метода преобразования к остаточному сигналу. Например, метод преобразования может включать в себя по меньшей мере одно из дискретного косинусного преобразования (DCT), дискретного синусного преобразования (DST), преобразования Карунена-Лоэва (KLT), преобразования на основе графа (GBT) или условно-нелинейного преобразования (CNT). Здесь, GBT означает преобразование, полученное из графа, когда информация отношения между пикселами представлена графом. CNT относится к преобразованию, сгенерированному на основе сигнала предсказания, сгенерированного с использованием всех ранее восстановленных пикселов. К тому же процесс преобразования может применяться к квадратным блокам пикселов, имеющим одинаковый размер, или может применяться к блокам, имеющим переменный размер, а не квадратным.[81] The prediction signal generated by the predictor (including inter-predictor 221 and/or intra-predictor 222) may be used to generate a reconstructed signal or to generate a residual signal. Converter 232 may generate transform coefficients by applying a transform method to the residual signal. For example, the transform method may include at least one of a discrete cosine transform (DCT), a discrete sine transform (DST), a Karhunen-Loeve transform (KLT), a graph-based transform (GBT), or a conditional nonlinear transform (CNT). . Here, GBT means the transformation obtained from a graph when the relation information between pixels is represented by the graph. CNT refers to the transform generated based on the prediction signal generated using all the previously reconstructed pixels. In addition, the transformation process can be applied to square blocks of pixels that are the same size, or can be applied to blocks that are variable in size rather than square.

[82] Квантователь 233 может квантовать коэффициенты преобразования и передавать их на энтропийный кодер 240, и энтропийный кодер 240 может кодировать квантованный сигнал (информацию о квантованных коэффициентах преобразования) и выводить битовый поток. Информация о квантованных коэффициентах преобразования может называться информацией остатка. Квантователь 233 может переупорядочивать квантованные коэффициенты преобразования типа блока в форму одномерного вектора на основе порядка сканирования коэффициентов и генерировать информацию о квантованных коэффициентах преобразования на основе квантованных коэффициентов преобразования в форме одномерного вектора. Информация о коэффициентах преобразования может генерироваться. Энтропийный кодер 240 может выполнять различные способы кодирования, такие как, например, экспоненциальное кодирование Голомба, контекстно-адаптивное кодирование с переменной длиной (CAVLC), контекстно-адаптивное двоичное арифметическое кодирование (CABAC) и тому подобное. Энтропийный кодер 240 может кодировать информацию, необходимую для восстановления видео/изображения, отличную от квантованных коэффициентов преобразования (например, значения синтаксических элементов и т.д.), вместе или отдельно. Закодированная информация (например, закодированная информация видео/изображения) может передаваться или сохраняться в единицах NAL (уровень сетевой абстракции) в форме битового потока. Информация видео/изображения может дополнительно включать в себя информацию о различных наборах параметров, таких как набор параметров адаптации (APS), набор параметров картинки (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). К тому же информация видео/изображения может дополнительно включать в себя общую информацию ограничения. В настоящем раскрытии, информация и/или синтаксические элементы, передаваемые/сигнализируемые от устройства кодирования на устройство декодирования, могут быть включены в информацию видео/картинки. Информация видео/изображения может кодироваться посредством вышеописанной процедуры кодирования и включаться в битовый поток. Битовый поток может передаваться по сети или может сохраняться в цифровом носителе хранения. Сеть может включать в себя сеть вещания и/или сеть связи, и цифровой носитель хранения может включать в себя различные носители хранения, такие как USB, SD, CD, DVD, Blu-ray, HDD, SSD и тому подобное. Передатчик (не показан), передающий сигнал, выведенный из энтропийного кодера 240, и/или модуль хранения (не показан), хранящий сигнал, могут быть включены как внутренний/внешний элемент устройства 200 кодирования, и альтернативно, передатчик может быть включен в энтропийный кодер 240.[82] Quantizer 233 may quantize transform coefficients and transmit them to entropy encoder 240, and entropy encoder 240 may encode the quantized signal (quantized transform coefficient information) and output a bit stream. Information about the quantized transform coefficients may be called remainder information. Quantizer 233 may reorder the quantized block type transform coefficients into one-dimensional vector form based on the scanning order of the coefficients, and generate information about the quantized transform coefficients based on the quantized transform coefficients in one-dimensional vector form. Information about conversion coefficients can be generated. Entropy encoder 240 may perform various encoding techniques, such as, for example, exponential Golomb coding, context adaptive variable length coding (CAVLC), context adaptive binary arithmetic coding (CABAC), and the like. Entropy encoder 240 may encode information needed for video/image reconstruction other than quantized transform coefficients (eg, syntax element values, etc.) together or separately. Encoded information (eg, encoded video/image information) may be transmitted or stored in NAL (Network Abstraction Layer) units in the form of a bitstream. The video/image information may further include information about various parameter sets, such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS). In addition, the video/image information may further include general restriction information. In the present disclosure, information and/or syntax elements transmitted/signaled from an encoding device to a decoding device may be included in the video/picture information. The video/image information may be encoded by the above-described encoding procedure and included in the bit stream. The bitstream may be transmitted over a network or may be stored in a digital storage medium. The network may include a broadcast network and/or a communications network, and the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD and the like. A transmitter (not shown) transmitting the signal output from the entropy encoder 240 and/or a storage module (not shown) storing the signal may be included as an internal/external element of the encoding device 200, and alternatively, the transmitter may be included in the entropy encoder 240.

[83] Квантованные коэффициенты преобразования, выведенные из квантователя 233, могут использоваться, чтобы генерировать сигнал предсказания. Например, остаточный сигнал (остаточный блок или остаточные выборки) может восстанавливаться путем применения деквантования и обратного преобразования к квантованным коэффициентам преобразования деквантователем 234 и обратным преобразователем 235. Сумматор 250 добавляет восстановленный остаточный сигнал к сигналу предсказания, выведенному из интер-предсказателя 221 или интра-предсказателя 222, чтобы сгенерировать восстановленный сигнал (восстановленную картинку, восстановленный блок, восстановленный массив выборок). Если отсутствует остаток для блока, подлежащего обработке, например, в случае, где применяется режим пропуска, предсказанный блок может использоваться как восстановленный блок. Сумматор 250 может называться реконструктором или генератором восстановленного блока. Сгенерированный восстановленный сигнал может использоваться для интра-предсказания следующего блока, подлежащего обработке, в текущей картинке и может использоваться для интер-предсказания следующей картинки посредством фильтрации, как описано ниже.[83] The quantized transform coefficients output from quantizer 233 can be used to generate a prediction signal. For example, a residual signal (residual block or residual samples) may be recovered by applying dequantization and inverse transform to the quantized transform coefficients by dequantizer 234 and inverse transformer 235. Adder 250 adds the reconstructed residual signal to the prediction signal output from inter-predictor 221 or intra-predictor 222 to generate a reconstructed signal (reconstructed picture, reconstructed block, reconstructed sample array). If there is no remainder for a block to be processed, for example in a case where a skip mode is applied, the predicted block can be used as a reconstructed block. The adder 250 may be referred to as a reconstructor or reconstructed block generator. The generated reconstructed signal can be used to intra-predict the next block to be processed in the current picture, and can be used to inter-predict the next picture by filtering, as described below.

[84] Между тем отображение яркости с масштабированием цветности (LMCS) может применяться во время кодирования и/или восстановления картинки.[84] Meanwhile, luminance chroma scaling (LMCS) mapping can be applied during picture encoding and/or reconstruction.

[85] Фильтр 260 может улучшать субъективное/объективное качество изображения путем применения фильтрации к восстановленному сигналу. Например, фильтр 260 может генерировать модифицированную восстановленную картинку путем применения различных способов фильтрации к восстановленной картинке и сохранять модифицированную восстановленную картинку в памяти 270, конкретно, DPB памяти 270. Различные способы фильтрации могут включать в себя, например, фильтрацию деблокирования, адаптивное смещение выборки, адаптивный контурный фильтр, двунаправленный фильтр и тому подобное. Фильтр 260 может генерировать различную информацию, относящуюся к фильтрации, и передавать сгенерированную информацию на энтропийный кодер 240, как описано далее в описании каждого способа фильтрации. Информация, относящаяся к фильтрации, может кодироваться энтропийным кодером 240 и выводиться в форме битового потока.[85] Filter 260 may improve subjective/objective image quality by applying filtering to the reconstructed signal. For example, filter 260 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture and store the modified reconstructed picture in memory 270, specifically DPB memory 270. Various filtering methods may include, for example, deblocking filtering, adaptive sample shift, adaptive loop filter, bidirectional filter and the like. Filter 260 may generate various filtering-related information and transmit the generated information to entropy encoder 240, as described later in the description of each filtering method. Filtering-related information may be encoded by entropy encoder 240 and output in the form of a bit stream.

[86] Модифицированная восстановленная картинка, передаваемая в память 270, может использоваться как опорная картинка в интер-предсказателе 221. Когда интер-предсказание применяется посредством устройства кодирования, можно избежать рассогласования предсказания между устройством 200 кодирования и устройством 300 декодирования, и эффективность кодирования может улучшаться.[86] The modified reconstructed picture supplied to the memory 270 can be used as a reference picture in the inter-predictor 221. When inter-prediction is applied by the encoding device, prediction mismatch between the encoding device 200 and the decoding device 300 can be avoided, and encoding efficiency can be improved. .

[87] DPB памяти 270 DPB может хранить модифицированную восстановленную картинку для использования в качестве опорной картинки в интер-предсказателе 221. Память 270 может хранить информацию движения блока, из которой выводится (или кодируется) информация движения в текущей картинке, и/или информацию движения блоков в картинке, которые уже были восстановлены. Сохраненная информация движения может передаваться на интер-предсказатель 221 и использоваться как информация движения пространственного соседнего блока или информация движения временного соседнего блока. Память 270 может хранить восстановленные выборки восстановленных блоков в текущей картинке и может переносить восстановленные выборки на интра-предсказатель 222.[87] DPB memory 270 The DPB may store a modified reconstructed picture for use as a reference picture in the inter-predictor 221. Memory 270 may store block motion information from which motion information in the current picture is derived (or encoded) and/or motion information blocks in the picture that have already been restored. The stored motion information may be transmitted to the inter-predictor 221 and used as spatial neighbor motion information or temporal neighbor motion information. Memory 270 may store reconstructed samples of reconstructed blocks in the current picture and may transfer the reconstructed samples to intra-predictor 222.

[88] Фиг. 3 является схематичной диаграммой, иллюстрирующей конфигурацию устройства декодирования видео/изображения, к которой может применяться вариант(ы) осуществления настоящего раскрытия.[88] FIG. 3 is a schematic diagram illustrating the configuration of a video/image decoding apparatus to which embodiment(s) of the present disclosure may be applied.

[89] Со ссылкой на фиг. 3, устройство 300 декодирования может включать в себя энтропийный декодер 310, процессор 320 остатка, предсказатель 330, сумматор 340, фильтр 350, память 360. Предсказатель 330 может включать в себя интер-предсказатель 331 и интра-предсказатель 332. Процессор 320 остатка может включать в себя деквантователь 321 и обратный преобразователь 321. Энтропийный декодер 310, процессор 320 остатка, предсказатель 330, сумматор 340 и фильтр 350 могут быть сконфигурированы компонентом аппаратных средств (например, чипсетом декодера или процессором) в соответствии с вариантом осуществления. К тому же память 360 может включать в себя буфер декодированной картинки (DPB) или может быть сконфигурирована цифровым носителем хранения. Компонент аппаратных средств может дополнительно включать в себя память 360 как внутренний/внешний компонент.[89] With reference to FIG. 3, decoding apparatus 300 may include an entropy decoder 310, a residual processor 320, a predictor 330, an adder 340, a filter 350, a memory 360. The predictor 330 may include an inter-predictor 331 and an intra-predictor 332. A residual processor 320 may include including a dequantizer 321 and an inverse converter 321. The entropy decoder 310, residual processor 320, predictor 330, adder 340, and filter 350 may be configured by a hardware component (eg, a decoder chipset or processor) in accordance with an embodiment. In addition, memory 360 may include a decoded picture buffer (DPB) or may be configured with a digital storage medium. The hardware component may further include memory 360 as an internal/external component.

[90] Когда битовый поток, включающий в себя информацию видео/изображения, вводится, устройство 300 декодирования может восстанавливать изображение, соответствующее процессу, в котором информация видео/изображения обрабатывается в устройстве кодирования согласно фиг. 2. Например, устройство 300 декодирования может выводить единицы/блоки на основе информации, относящейся к разбиению блока, полученной из битового потока. Устройство 300 декодирования может выполнять декодирование с использованием процессора, применяемого к устройству кодирования. Таким образом, процессор декодирования может представлять собой единицу кодирования, например, и единица кодирования может разбиваться в соответствии со структурой квадродерева, структурой двоичного дерева и/или структурой троичного дерева из единицы дерева кодирования или наибольшей единицы кодирования. Одна или более единиц преобразования могут выводиться из единицы кодирования. Восстановленный сигнал изображения, декодированный и выведенный посредством устройства 300 декодирования, может воспроизводиться посредством устройства воспроизведения.[90] When a bitstream including video/image information is input, the decoding apparatus 300 can reconstruct an image corresponding to the process in which the video/image information is processed in the encoding apparatus according to FIG. 2. For example, the decoding apparatus 300 may output units/blocks based on the block division related information obtained from the bit stream. The decoding apparatus 300 may perform decoding using a processor applied to the encoding apparatus. Thus, the decoding processor may be an encoding unit, for example, and the encoding unit may be partitioned according to a quadtree structure, a binary tree structure, and/or a ternary tree structure from an encoding tree unit or a largest encoding unit. One or more transformation units may be derived from a coding unit. The reconstructed image signal decoded and output by the decoding device 300 can be reproduced by the playback device.

[91] Устройство 300 декодирования может принимать сигнал, выведенный из устройства кодирования согласно фиг. 2 в форме битового потока, и принятый сигнал может декодироваться посредством энтропийного декодера 310. Например, энтропийный декодер 310 может выполнять синтаксический анализ битового потока, чтобы вывести информацию (например, информацию видео/изображения), необходимую для восстановления изображения (или восстановления картинки). Информация видео/изображения может дополнительно включать в себя информацию о различных наборах параметров, таких как набор параметров адаптации (APS), набор параметров картинки (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). К тому же информация видео/изображения может дополнительно включать в себя общую информацию ограничения. Устройство декодирования может дополнительно декодировать картинку на основе информации о наборе параметров и/или общей информации ограничения. Сигнализированная/принятая информация и/или синтаксические элементы, описанные далее в настоящем раскрытии, могут быть декодированы для декодирования процедуры декодирования и получены из битового потока. Например, энтропийный декодер кодирует информацию в битовом потоке на основе способа кодирования, такого как экспоненциальное кодирование Голомба, CAVLC или CABAC, и выводит синтаксические элементы, требуемые для восстановления изображения, и квантованные значения коэффициентов преобразования для остатка. Более конкретно, способ энтропийного декодирования CABAC может принимать бин, соответствующий каждому синтаксическому элементу в битовом потоке, определять контекстную модель с использованием информации декодирования целевого синтаксического элемента, информации декодирования для декодирования целевого блока или информации символа/бина, декодированного на предыдущей стадии, и выполнять арифметическое декодирование на бине путем предсказания вероятности появления бина в соответствии с определенной контекстной моделью, и генерировать символ, соответствующую значению каждого синтаксического элемента. В этом случае, способ энтропийного декодирования CABAC может обновлять контекстную модель с использованием информации декодированного символа/бина для контекстной модели следующего символа/бина после определения контекстной модели. Информация, относящаяся к предсказанию, среди информации, декодированной энтропийным декодером 310, может предоставляться на предсказатель (интер-предсказатель 332 и интра-предсказатель 331), и значение остатка, на котором энтропийное декодирование было выполнено в энтропийном декодере 310, то есть квантованные коэффициенты преобразования и связанная информация параметров, может вводиться в процессор 320 остатка. Процессор 320 остатка может выводить остаточный сигнал (остаточный блок, остаточные выборки, остаточный массив выборок). К тому же информация о фильтрации среди информации, декодированной энтропийным декодером 310, может предоставляться на фильтр 350. Между тем приемник (не показан) для приема сигнала, выведенного из устройства кодирования, может быть дополнительно сконфигурирован как внутренний/внешний элемент устройства 300 декодирования, или приемник может быть компонентом энтропийного декодера 310. Между тем устройство декодирования в соответствии с настоящим раскрытием может называться устройством декодирования видео/изображения/картинки, и устройство декодирования может классифицироваться на декодер информации (декодер информации видео/изображения/картинки) и декодер выборки (декодер выборки видео/изображения/картинки). Декодер информации может включать в себя энтропийный декодер 310, и декодер выборки может включать в себя по меньшей мере одно из деквантователя 321, обратного преобразователя 322, сумматора 340, фильтра 350, памяти 360, интер-предсказателя 332 и интра-предсказателя 331.[91] The decoding apparatus 300 may receive a signal output from the encoding apparatus according to FIG. 2 in the form of a bit stream, and the received signal may be decoded by entropy decoder 310. For example, entropy decoder 310 may parse the bit stream to output information (eg, video/image information) necessary for image reconstruction (or picture reconstruction). The video/image information may further include information about various parameter sets, such as an adaptation parameter set (APS), a picture parameter set (PPS), a sequence parameter set (SPS), or a video parameter set (VPS). In addition, the video/image information may further include general restriction information. The decoding apparatus may further decode the picture based on the parameter set information and/or general constraint information. The signaled/received information and/or syntax elements described later in the present disclosure may be decoded to decode a decoding procedure and obtained from the bit stream. For example, an entropy decoder encodes information in a bit stream based on an encoding method such as exponential Golomb coding, CAVLC, or CABAC, and outputs the syntactic elements required to reconstruct the image and the quantized values of the transform coefficients for the remainder. More specifically, the CABAC entropy decoding method may receive a bin corresponding to each syntactic element in a bit stream, determine a context model using decoding information of a target syntactic element, decoding information for decoding a target block, or information of a symbol/bin decoded in a previous stage, and perform arithmetic decoding on a bin by predicting the probability of occurrence of the bin according to a certain context model, and generating a symbol corresponding to the meaning of each syntactic element. In this case, the CABAC entropy decoding method can update the context model using the decoded symbol/bin information for the context model of the next symbol/bin after determining the context model. The prediction-related information, among the information decoded by the entropy decoder 310, may be provided to the predictor (inter-predictor 332 and intra-predictor 331), and the residual value on which entropy decoding was performed in the entropy decoder 310, that is, quantized transform coefficients and associated parameter information may be input to residual processor 320. Residual processor 320 may output a residual signal (residual block, residual samples, residual sample array). In addition, filtering information among the information decoded by the entropy decoder 310 may be provided to the filter 350. Meanwhile, a receiver (not shown) for receiving a signal output from the encoding device may be further configured as an internal/external element of the decoding device 300, or the receiver may be a component of the entropy decoder 310. Meanwhile, the decoding device according to the present disclosure may be called a video/image/picture decoding device, and the decoding device may be classified into an information decoder (video/image/picture information decoder) and a sampling decoder (sampling decoder). videos/images/pictures). The information decoder may include an entropy decoder 310, and the sample decoder may include at least one of a dequantizer 321, an inverse converter 322, an adder 340, a filter 350, a memory 360, an inter-predictor 332, and an intra-predictor 331.

[92] Деквантователь 321 может деквантовать квантованные коэффициенты преобразования и выводить коэффициенты преобразования. Деквантователь 321 может переупорядочивать квантованные коэффициенты преобразования в форме двумерного блока. В этом случае, переупорядочивание может выполняться на основе порядка сканирования коэффициентов, выполняемого в устройстве кодирования. Деквантователь 321 может выполнять деквантование на квантованных коэффициентах преобразования с использованием параметра квантования (например, информации размера этапа квантования) и получать коэффициенты преобразования.[92] The dequantizer 321 may dequantize the quantized transform coefficients and output the transform coefficients. The dequantizer 321 may reorder the quantized transform coefficients in the form of a two-dimensional block. In this case, reordering may be performed based on the order of coefficient scanning performed in the encoder. The dequantizer 321 may perform dequantization on the quantized transform coefficients using a quantization parameter (eg, quantization step size information) and obtain the transform coefficients.

[93] Обратный преобразователь 322 обратно преобразует коэффициенты преобразования, чтобы получить остаточный сигнал (остаточный блок, остаточный массив выборок).[93] The inverse converter 322 inversely converts the transform coefficients to obtain a residual signal (residual block, residual sample array).

[94] Предсказатель может выполнять предсказание на текущем блоке и генерировать предсказанный блок, включающий в себя выборки предсказания для текущего блока. Предсказатель может определять, применяется ли интра-предсказание или интер-предсказание к текущему блоку, на основе информации о предсказании, выведенной из энтропийного декодера 310, и может определять конкретный режим интра/интер-предсказания.[94] The predictor may perform prediction on the current block and generate a predicted block including prediction samples for the current block. The predictor can determine whether intra-prediction or inter-prediction is applied to the current block based on the prediction information output from the entropy decoder 310, and can determine a particular intra/inter-prediction mode.

[95] Предсказатель 320 может генерировать сигнал предсказания на основе различных способов предсказания, описанных ниже. Например, предсказатель может не только применять интра-предсказание или интер-предсказание, чтобы предсказывать один блок, но также одновременно применять интра-предсказание и интер-предсказание. Это может называться комбинированным интер- и интра-предсказанием (CIIP). К тому же предсказатель может быть основан на режиме предсказания внутри-блочного копирования (IBC) или режиме палитры для предсказания блока. Режим предсказания IBC или режим палитры могут использоваться для кодирования контента изображения/видео игры или тому подобного, например, кодирования контента экрана (SCC). IBC в основном выполняет предсказание в текущей картинке, но может выполняться аналогично интер-предсказанию тем, что опорный блок выводится в текущей картинке. То есть IBC может использовать по меньшей мере один из методов интер-предсказания, описанных в настоящем раскрытии. Режим палитры может рассматриваться как пример интра-кодирования или интра-предсказания. Когда режим палитры применяется, значение выборки в пределах картинки может сигнализироваться на основе информации о таблице палитры и индексе палитры. [95] Predictor 320 may generate a prediction signal based on various prediction methods described below. For example, a predictor may not only apply intra-prediction or inter-prediction to predict one block, but also simultaneously apply intra-prediction and inter-prediction. This may be called combined inter- and intra-prediction (CIIP). In addition, the predictor may be based on an intra-block copy (IBC) prediction mode or a palette mode for block prediction. The IBC prediction mode or the palette mode can be used to encode the content of an image/video game or the like, such as screen content coding (SCC). IBC primarily performs prediction in the current picture, but can be performed similarly to inter-prediction in that the reference block is output in the current picture. That is, the IBC may use at least one of the inter-prediction methods described in the present disclosure. Palette mode can be considered an example of intra-encoding or intra-prediction. When a palette mode is applied, a sample value within a picture can be signaled based on information about the palette table and palette index.

[96] Интра-предсказатель 331 может предсказывать текущий блок путем ссылки на выборки в текущей картинке. Указанные выборки могут быть расположены по соседству с текущим блоком или могут быть разнесены в соответствии с режимом предсказания. В интра-предсказании, режимы предсказания могут включать в себя множество ненаправленных режимов и множество направленных режимов. Интра-предсказатель 331 может определять режим предсказания, применяемый к текущему блоку, с использованием режима предсказания, применяемого к соседнему блоку.[96] Intra predictor 331 may predict the current block by reference to samples in the current picture. These samples may be located adjacent to the current block or may be spaced apart according to the prediction mode. In intra-prediction, prediction modes may include a plurality of undirected modes and a plurality of directed modes. Intra predictor 331 may determine the prediction mode applied to the current block using the prediction mode applied to the adjacent block.

[97] Интер-предсказатель 332 может выводить предсказанный блок для текущего блока на основе опорного блока (опорного массива выборок), специфицированного вектором движения на опорной картинке. В этом случае, чтобы уменьшить количество информации движения, передаваемой в режиме интер-предсказания, информация движения может предсказываться в единицах блоков, подблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорной картинки. Информация движения может дополнительно включать в себя информацию направления интер-предсказания (предсказание L0, предсказание L1, Bi-предсказание и т.д.). В случае интер-предсказания, соседний блок может включать в себя пространственный соседний блок, представленный в текущей картинке, и временной соседний блок, представленный в опорной картинке. Например, интер-предсказатель 332 может конфигурировать список кандидатов информации движения на основе соседних блоков и выводить вектор движения текущего блока и/или индекс опорной картинки на основе принятой информации выбора кандидата. Интер-предсказание может выполняться на основе различных режимов предсказания, и информация о предсказании может включать в себя информацию, указывающую режим интер-предсказания для текущего блока.[97] Inter predictor 332 may output a predicted block for the current block based on a reference block (reference sample array) specified by a motion vector in the reference picture. In this case, in order to reduce the amount of motion information transmitted in the inter-prediction mode, the motion information may be predicted in units of blocks, sub-blocks, or samples based on the correlation of the motion information between a neighboring block and the current block. The motion information may include a motion vector and a reference picture index. The motion information may further include inter-prediction direction information (L0 prediction, L1 prediction, Bi prediction, etc.). In the case of inter-prediction, the neighbor block may include a spatial neighbor block represented in the current picture and a temporal neighbor block represented in the reference picture. For example, the inter-predictor 332 may configure a motion information candidate list based on neighboring blocks and output a motion vector of the current block and/or a reference picture index based on the received candidate selection information. Inter-prediction may be performed based on various prediction modes, and the prediction information may include information indicating an inter-prediction mode for the current block.

[98] Сумматор 340 может генерировать восстановленный сигнал (восстановленную картинку, восстановленный блок, восстановленный массив выборок) путем добавления полученного остаточного сигнала к сигналу предсказания (предсказанному блоку, предсказанному массиву выборок), выведенному из предсказателя (включающего в себя интер-предсказатель 332 и/или интра-предсказатель 331). Если отсутствует остаток для блока, подлежащего обработке, например, когда применяется режим пропуска, предсказанный блок может использоваться как восстановленный блок.[98] The adder 340 may generate a reconstructed signal (reconstructed picture, reconstructed block, reconstructed sample array) by adding the resulting residual signal to the prediction signal (predicted block, predicted sample array) output from the predictor (including inter-predictor 332 and/or or intra-predictor 331). If there is no remainder for a block to be processed, for example when a skip mode is applied, the predicted block can be used as a reconstructed block.

[99] Сумматор 340 может называться реконструктором или генератором восстановленного блока. Сгенерированный восстановленный сигнал может использоваться для интра-предсказания следующего блока, подлежащего обработке в текущей картинке, может выводиться посредством фильтрации, как описано ниже, или может использоваться для интер-предсказания следующей картинки.[99] The adder 340 may be referred to as a reconstructor or reconstructed block generator. The generated reconstructed signal may be used to intra-predict the next block to be processed in the current picture, may be output by filtering as described below, or may be used to inter-predict the next picture.

[100] Между тем отображение яркости с масштабированием цветности (LMCS) может применяться в процессе декодирования картинки.[100] Meanwhile, luminance chroma scaling (LMCS) display can be applied in the picture decoding process.

[101] Фильтр 350 может улучшать субъективное/объективное качество изображения путем применения фильтрации к восстановленному сигналу. Например, фильтр 350 может генерировать модифицированную восстановленную картинку путем применения различных способов фильтрации к восстановленной картинке и сохранять модифицированную восстановленную картинку в памяти 360, конкретно, DPB памяти 360. Различные способы фильтрации могут включать в себя, например, фильтрацию устранения блочности, адаптивное смещение выборки, адаптивный контурный фильтр, двунаправленный фильтр и тому подобное.[101] Filter 350 may improve subjective/objective image quality by applying filtering to the reconstructed signal. For example, filter 350 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture and store the modified reconstructed picture in memory 360, specifically DPB memory 360. Various filtering methods may include, for example, deblocking filtering, adaptive sampling offset, adaptive loop filter, bidirectional filter and the like.

[102] (Модифицированная) восстановленная картинка, хранящаяся в DPB памяти 360, может использоваться как опорная картинка в интер-предсказателе 332. Память 360 может хранить информацию движения блока, из которого выводится (или декодируется) информация движения в текущей картинке, и/или информацию движения блоков в картинке, которые уже были восстановлены. Сохраненная информация движения может передаваться на интер-предсказатель 260 для использования в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Память 360 может хранить восстановленные выборки восстановленных блоков в текущей картинке и переносить восстановленные выборки на интра-предсказатель 331.[102] The (modified) reconstructed picture stored in the DPB memory 360 may be used as a reference picture in the inter-predictor 332. The memory 360 may store motion information of a block from which motion information in the current picture is derived (or decoded), and/or information about the movement of blocks in the picture that have already been restored. The stored motion information may be transmitted to the inter-predictor 260 for use as spatial neighbor motion information or temporal neighbor motion information. Memory 360 may store reconstructed samples of reconstructed blocks in the current picture and transfer the reconstructed samples to intra-predictor 331.

[103] В настоящем документе, варианты осуществления, описанные в фильтре 260, интер-предсказателе 221 и интра-предсказателе 222 устройства 200 кодирования, могут быть теми же самыми или соответственно применяться, чтобы соответствовать фильтру 350, интер-предсказателю 332 и интра-предсказателю 331 устройства 300 декодирования. То же может также применяться к модулю 332 и интра-предсказателю 331.[103] Herein, the embodiments described in the filter 260, inter-predictor 221 and intra-predictor 222 of the encoder 200 may be the same or respectively applied to correspond to the filter 350, inter-predictor 332 and intra-predictor 331 decoding devices 300. The same may also apply to module 332 and intra-predictor 331.

[104] Как описано выше, в кодировании видео, предсказание выполняется, чтобы повысить эффективность сжатия. Посредством этого, возможно сгенерировать предсказанный блок, включающий в себя выборки предсказания для текущего блока, который является блоком, подлежащим кодированию. Здесь, предсказанный блок включает в себя выборки предсказания в пространственной области (или области пикселов). Предсказанный блок выводится одинаково из устройства кодирования и устройства декодирования, и устройство кодирования декодирует информацию (информацию остатка) об остатке между исходным блоком и предсказанным блоком, а не исходное значение выборки самого исходного блока. Путем сигнализации на устройство, эффективность кодирования изображения может быть повышена. Устройство декодирования может выводить остаточный блок, включающий в себя остаточные выборки, на основе информации остатка, и генерировать восстановленный блок, включающий в себя восстановленные выборки, путем суммирования остаточного блока и предсказанного блока, и генерировать восстановленную картинку, включающую в себя восстановленные блоки.[104] As described above, in video encoding, prediction is performed to improve compression efficiency. By doing this, it is possible to generate a predicted block including prediction samples for the current block, which is the block to be encoded. Here, the predicted block includes prediction samples in a spatial domain (or pixel domain). The predicted block is output equally from the encoding apparatus and the decoding apparatus, and the encoding apparatus decodes information (residue information) about the remainder between the original block and the predicted block, rather than the original sample value of the original block itself. By signaling to the device, the image encoding efficiency can be improved. The decoding apparatus may output a residual block including residual samples based on the residual information, and generate a reconstructed block including the reconstructed samples by summing the residual block and the predicted block, and generate a reconstructed picture including the reconstructed blocks.

[105] Информация остатка может генерироваться в процессах преобразования и квантования. Например, устройство кодирования может выводить остаточный блок между исходным блоком и предсказанным блоком и выполнять процесс преобразования на остаточных выборках (остаточном массиве выборок), включенных в остаточный блок, чтобы вывести коэффициенты преобразования, и затем, путем выполнения процесса квантования на коэффициентах преобразования, выводить квантованные коэффициенты преобразования, чтобы сигнализировать остаток, относящийся к информации, на устройство декодирования (посредством битового потока). Здесь, информация остатка может включать в себя информацию местоположения, метод преобразования, ядро преобразования и параметр квантования, информацию значения квантованных коэффициентов преобразования и т.д. Устройство декодирования может выполнять процесс деквантования/обратного преобразования на основе информации остатка и выводить остаточные выборки (или остаточные блоки). Устройство декодирования может генерировать восстановленную картинку на основе предсказанного блока и остаточного блока. Устройство кодирования может также деквантовать/обратно преобразовывать квантованные коэффициенты преобразования для ссылки для интер-предсказания более поздней картинки, чтобы вывести остаточный блок и сгенерировать на его основе восстановленную картинку.[105] Residual information can be generated by transform and quantization processes. For example, an encoding device may output a residual block between an original block and a predicted block, and perform a transform process on the residual samples (residual array of samples) included in the residual block to output transform coefficients, and then, by performing a quantization process on the transform coefficients, output the quantized transformation coefficients to signal the remainder related to the information to the decoding device (via the bitstream). Here, the residual information may include location information, a transformation method, a transformation kernel and quantization parameter, value information of quantized transformation coefficients, etc. The decoding apparatus may perform a dequantization/deconversion process based on the residual information and output residual samples (or residual blocks). The decoding apparatus can generate a reconstructed picture based on the predicted block and the residual block. The encoder may also dequantize/de-quantize the quantized transform coefficients for the inter-prediction link of the later picture to output the residual block and generate a reconstructed picture from it.

[106] В настоящем документе, по меньшей мере одно из квантования/деквантования и/или преобразования/обратного преобразования может опускаться. Когда квантование/деквантование опускается, квантованный коэффициент преобразования может называться коэффициентом преобразования. Когда преобразование/ обратное преобразование опускается, коэффициенты преобразования могут называться коэффициентами или остаточными коэффициентами или могут по-прежнему называться коэффициентами преобразования для единообразия выражения.[106] Herein, at least one of quantization/dequantization and/or transform/de-transform may be omitted. When quantization/dequantization is omitted, the quantized conversion coefficient may be referred to as the conversion coefficient. When the transform/inverse transform is omitted, the transform coefficients may be called coefficients or residual coefficients, or may still be called transform coefficients for consistency of expression.

[107] В настоящем документе, квантованный коэффициент преобразования и коэффициент преобразования могут называться коэффициентом преобразования и масштабированным коэффициентом преобразования, соответственно. В этом случае, информация остатка может включать в себя информацию о коэффициенте(ах) преобразования, и информация о коэффициенте(ах) преобразования может сигнализироваться через синтаксис кодирования остатка. Коэффициенты преобразования могут выводиться на основе информации остатка (или информации о коэффициенте(ах) преобразования), и масштабированные коэффициенты преобразования могут выводиться через обратное преобразование (масштабирование) на коэффициентах преобразования. Остаточные выборки могут выводиться на основе обратного преобразования (преобразования) масштабированных коэффициентов преобразования. Это может быть применено/выражено также в других частях настоящего документа.[107] Herein, the quantized transform coefficient and the transform coefficient may be referred to as the transform coefficient and the scaled transform coefficient, respectively. In this case, the remainder information may include information about the transformation coefficient(s), and the information about the transformation coefficient(s) may be signaled through a residue encoding syntax. Transformation coefficients may be derived based on the residual information (or information about the transform coefficient(s)), and scaled transform coefficients may be derived by inversely transforming (scaling) the transform coefficients. Residual samples can be inferred based on the inverse transform (transform) of the scaled transform coefficients. This may be applied/expressed in other parts of this document as well.

[108] Интра-предсказание может относиться к предсказанию, которое генерирует выборки предсказания для текущего блока на основе опорных выборок в картинке, которой принадлежит текущий блок (далее называемой текущей картинкой). Когда интра-предсказание применяется к текущему блоку, соседние опорные выборки, подлежащие использованию для интра-предсказания текущего блока, могут выводиться. Соседние опорные выборки текущего блока могут включать в себя выборки, смежные с левой границей текущего блока, имеющего размер nW×nH, и всего 2×nH выборок, соседних снизу-слева, выборки, смежные с верхней границей текущего блока, и всего 2×nW выборок, соседних сверху-справа, и одну выборку, соседнюю сверху-слева от текущего блока. Альтернативно, соседние опорные выборки текущего блока могут включать в себя множество верхних соседних выборок и множество левых соседних выборок. К тому же соседние опорные выборки текущего блока могут включать в себя всего nH выборок, смежных с правой границей текущего блока, имеющего размер nW×nH, всего nW выборок, смежных с нижней границей текущего блока, и одну выборку, соседнюю снизу-справа от текущего блока.[108] Intra prediction may refer to a prediction that generates prediction samples for the current block based on reference samples in the picture to which the current block belongs (hereinafter referred to as the current picture). When intra-prediction is applied to the current block, adjacent reference samples to be used for intra-prediction of the current block may be output. The current block's adjacent reference samples may include samples adjacent to the left boundary of the current block of size nW×nH and a total of 2×nH bottom-left adjacent samples, samples adjacent to the top boundary of the current block, and a total of 2×nW samples adjacent to the top right, and one sample adjacent to the top left of the current block. Alternatively, the neighboring reference samples of the current block may include a plurality of top neighboring samples and a plurality of left neighboring samples. In addition, the adjacent reference samples of the current block may include a total of nH samples adjacent to the right border of the current block of size nW×nH, a total of nW samples adjacent to the bottom border of the current block, and one sample adjacent to the bottom-right of the current block.

[109] Однако, некоторые из соседних опорных выборок текущего блока могут еще не быть декодированными или доступными. В этом случае, декодер может конфигурировать соседние опорные выборки для использования для предсказания путем замены выборок, которые недоступны, на доступные выборки. Альтернативно, соседние опорные выборки, подлежащие использованию для предсказания, могут быть сконфигурированы через интерполяцию доступных выборок.[109] However, some of the adjacent reference samples of the current block may not yet be decoded or available. In this case, the decoder can configure adjacent reference samples to use for prediction by replacing samples that are unavailable with available samples. Alternatively, neighboring reference samples to be used for prediction can be configured through interpolation of the available samples.

[110] Когда соседние опорные выборки выводятся, (i) выборка предсказания может выводиться на основе среднего или интерполяции соседних опорных выборок текущего блока, и (ii) выборка предсказания может выводиться на основе опорной выборки, представленной в конкретном направлении (предсказания), для выборки предсказания среди периферийных опорных выборок текущего блока. Случай (i) может называться ненаправленным режимом или не-угловым режимом, и случай (ii) может называться направленным режимом или угловым режимом. [110] When adjacent reference samples are output, (i) a prediction sample may be output based on the average or interpolation of adjacent reference samples of the current block, and (ii) a prediction sample may be output based on a reference sample presented in a particular direction (prediction) for the sample predictions among peripheral reference samples of the current block. Case (i) may be called non-directional mode or non-angular mode, and case (ii) may be called directional mode or angular mode.

[111] Более того, выборка предсказания может также генерироваться посредством интерполяции между второй соседней выборкой и первой соседней выборкой, расположенными в направлении, противоположном направлению предсказания режима интра-предсказания текущего блока, на основе выборки предсказания текущего блока среди соседних опорных выборок. Случай выше может называться интра-предсказанием линейной интерполяции (LIP). К тому же выборки предсказания цветности могут генерироваться на основе выборок яркости с использованием линейной модели. Этот случай может называться режимом LM. [111] Moreover, the prediction sample may also be generated by interpolation between the second adjacent sample and the first adjacent sample located in the opposite direction to the prediction direction of the intra-prediction mode of the current block, based on the prediction sample of the current block among the adjacent reference samples. The case above can be called linear interpolation intra-prediction (LIP). In addition, chrominance prediction samples can be generated from luminance samples using a linear model. This case may be called LM mode.

[112] К тому же временная выборка предсказания текущего блока может выводиться на основе отфильтрованных соседних опорных выборок, и по меньшей мере одна опорная выборка, выведенная в соответствии с режимом интра-предсказания среди существующих соседних опорных выборок, то есть, неотфильтрованных соседних опорных выборок, и временная выборка предсказания могут взвешенно суммироваться, чтобы вывести выборку предсказания текущего блока. Случай выше может называться зависимым от положения интра-предсказанием (PDPC). [112] In addition, the prediction time sample of the current block may be output based on filtered neighboring reference samples, and at least one reference sample output in accordance with the intra-prediction mode among existing neighboring reference samples, that is, unfiltered neighboring reference samples, and the prediction time sample may be weighted together to output the prediction sample of the current block. The case above can be called position-dependent intra-prediction (PDPC).

[113] К тому же линия опорной выборки, имеющая самую высокую точность предсказания среди соседних линий множества опорных выборок текущего блока, может выбираться, чтобы вывести выборку предсказания с использованием опорной выборки, расположенной в направлении предсказания на соответствующей линии, и затем линия опорной выборки, используемая здесь, может указываться (сигнализироваться) на устройство декодирования, тем самым выполняя кодирование интра-предсказания. Случай выше может называться интра-предсказанием с множеством опорных линий (MRL) или интра-предсказанием на основе MRL.[113] In addition, a reference sample line having the highest prediction accuracy among neighboring lines of a plurality of reference samples of the current block may be selected to output a prediction sample using a reference sample located in the prediction direction on the corresponding line, and then a reference sample line used here may be indicated (signaled) to a decoding device, thereby performing intra-prediction encoding. The case above may be called multi-reference line (MRL) intra-prediction or MRL-based intra-prediction.

[114] К тому же интра-предсказание может выполняться на основе одного и того же режима интра-предсказания путем деления текущего блока на вертикальные или горизонтальные подразбиения, и соседние опорные выборки могут выводиться и использоваться в единице подразбиения. То есть, в этом случае, режим интра-предсказания для текущего блока равным образом применяется к подразбиениям, и выполнение интра-предсказания может быть улучшено в некоторых случаях путем выведения и использования соседних опорных выборок в единице подразбиения. Такой способ предсказания может называться интра-подразбиениями (ISP) или интра-предсказанием на основе ISP. [114] In addition, intra-prediction can be performed based on the same intra-prediction mode by dividing the current block into vertical or horizontal subdivisions, and adjacent reference samples can be output and used in the subdivision unit. That is, in this case, the intra-prediction mode for the current block is equally applied to the subdivisions, and the intra-prediction performance can be improved in some cases by deriving and using adjacent reference samples in the subdivision unit. This prediction method can be called intra-subpartitioning (ISP) or ISP-based intra-prediction.

[115] Вышеописанные способы интра-предсказания могут называться типом интра-предсказания отдельно от режима интра-предсказания. Тип интра-предсказания может называться различными терминами, такими как метод интра-предсказания или дополнительный режим интра-предсказания. Например, тип интра-предсказания (или дополнительный режим интра-предсказания) может включать в себя по меньшей мере одно из вышеописанных LIP, PDPC, MRL и ISP. Общий способ интра-предсказания за исключением специального типа интра-предсказания, такого как LIP, PDPC, MRL или ISP, может называться нормальным типом интра-предсказания. Нормальный тип интра-предсказания может, в общем, применяться, когда специальный тип интра-предсказания не применяется, и предсказание может выполняться на основе режима интра-предсказания, описанного выше. Между тем пост-фильтрация может выполняться на выведенной предсказанной выборке по мере необходимости.[115] The above-described intra-prediction methods may be referred to as an intra-prediction type separately from an intra-prediction mode. The intra-prediction type may be referred to by various terms, such as intra-prediction method or additional intra-prediction mode. For example, the intra-prediction type (or additional intra-prediction mode) may include at least one of the above-described LIP, PDPC, MRL, and ISP. A general intra-prediction method excluding a special intra-prediction type such as LIP, PDPC, MRL or ISP may be called a normal intra-prediction type. The normal intra-prediction type can generally be applied when the special intra-prediction type is not applied, and prediction can be performed based on the intra-prediction mode described above. Meanwhile, post-filtering can be performed on the output predicted sample as needed.

[116] Конкретно, процедура интра-предсказания может включать в себя этап определения режима/типа интра-предсказания, этап вывода соседней опорной выборки и этап вывода выборки предсказания на основе режима/типа интра-предсказания. К тому же этап пост-фильтрации может выполняться на выведенной предсказанной выборке, по мере необходимости.[116] Specifically, the intra-prediction procedure may include a step of determining an intra-prediction mode/type, a step of deriving a neighboring reference sample, and a step of deriving a prediction sample based on the intra-prediction mode/type. In addition, a post-filtering step can be performed on the output predicted sample as needed.

[117] Когда применяется интра-предсказание, режим интра-предсказания, применяемый к текущему блоку, может определяться с использованием режима интра-предсказания соседнего блока. Например, устройство декодирования может выбирать один из наиболее вероятных кандидатов режима (mpm) из списка mpm, выведенного на основе режима интра-предсказания соседнего блока (например, левого и/или верхнего соседних блоков) текущего блока на основе принятого индекса mpm, и выбирать один из других оставшихся режимов интра-предсказания, не включенных в кандидаты mpm (и планарный режим), на основе оставшейся информации режима интра-предсказания. Список mpm может быть сконфигурирован, чтобы включать или не включать в себя планарный режим в качестве кандидата. Например, если список mpm включает в себя планарный режим в качестве кандидата, список mpm может иметь шесть кандидатов. Если список mpm не включает в себя планарный режим в качестве кандидата, список mpm может иметь три кандидата. Когда список mpm не включает в себя планарный режим в качестве кандидата, флаг не-планарный (например, intra_luma_not_planar_flag), указывающий, не является ли режим интра-предсказания текущего блока планарным режимом, может сигнализироваться. Например, флаг mpm может сигнализироваться первым, и индекс mpm и флаг не-планарный могут сигнализироваться, когда значение флага mpm равно 1. К тому же индекс mpm может сигнализироваться, когда значение флага не-планарный равно 1. Здесь, список mpm сконфигурирован не включать в себя планарный режим в качестве кандидата, не должен сигнализировать сначала флаг не-планарный, чтобы проверить, является ли он планарным режимом, поскольку планарный режим всегда рассматривается как mpm. [117] When intra prediction is applied, the intra prediction mode applied to the current block can be determined using the intra prediction mode of the adjacent block. For example, the decoder may select one of the most probable mode candidates (mpm) from a list of mpm inferred based on the intra-prediction mode of an adjacent block (e.g., left and/or upper adjacent blocks) of the current block based on the received mpm index, and select one from the other remaining intra-prediction modes not included in the mpm candidates (and planar mode), based on the remaining intra-prediction mode information. The mpm list can be configured to include or not include planar mode as a candidate. For example, if the mpm list includes planar mode as a candidate, the mpm list may have six candidates. If the mpm list does not include planar mode as a candidate, the mpm list may have three candidates. When the mpm list does not include a planar mode as a candidate, a non-planar flag (eg, intra_luma_not_planar_flag) indicating whether the intra-prediction mode of the current block is not a planar mode may be signaled. For example, the mpm flag may be signaled first, and the mpm index and the non-planar flag may be signaled when the value of the mpm flag is 1. Additionally, the mpm index may be signaled when the value of the non-planar flag is 1. Here, the mpm list is configured not to include including a planar mode as a candidate does not need to signal the non-planar flag first to check whether it is a planar mode, since planar mode is always treated as mpm.

[118] Например, то, находится ли режим интра-предсказания, применяемый к текущему блоку, в кандидатах mpm (и планарном режиме) или в оставшемся режиме, может указываться на основе флага mpm (например, Intra_luma_mpm_flag). Значение 1 флага mpm может указывать, что режим интра-предсказания для текущего блока находится в кандидатах mpm (и планарном режиме), и значение 0 флага mpm может указывать, что режим интра-предсказания для текущего блока не находится в кандидатах mpm (и планарном режиме). Значение 0 флага не-планарный (например, Intra_luma_not_planar_flag) может указывать, что режим интра-предсказания для текущего блока является планарным режимом, и значение 1 флага не-планарный может указывать, что режим интра-предсказания для текущего блока не является планарным режимом. Индекс mpm может сигнализироваться в форме синтаксического элемента mpm_idx или intra_luma_mpm_idx, и оставшаяся информация режима интра-предсказания может сигнализироваться в форме синтаксического элемента rem_intra_luma_pred_mode или intra_luma_mpm_remainder. Например, оставшаяся информация режима интра-предсказания может индексировать оставшиеся режимы интра-предсказания, не включенные в кандидаты mpm (и планарный режим), среди всех режимов интра-предсказания по порядку числа режимов предсказания, чтобы указать один из них. Режим интра-предсказания может представлять собой режим интра-предсказания для компонента (выборки) яркости. Далее, информация режима интра-предсказания может включать в себя по меньшей мере одно из флага mpm (например, Intra_luma_mpm_flag), флага не-планарный (например, Intra_luma_not_planar_flag), индекса mpm (например, mpm_idx или intra_luma_mpm_idx) и оставшейся информации режима интра-предсказания (rem_intra_luma_pred_mode или intra_luma_mpm_remainder). В настоящем документе, список mpm может называться различными терминами, такими как список кандидатов MPM и candModeList. Когда MIP применяется к текущему блоку, отдельный флаг mpm (например, intra_mip_mpm_flag), индекс mpm (например, intra_mip_mpm_idx) и оставшаяся информация режима интра-предсказания (например, intra_mip_mpm_remainder) для MIP могут сигнализироваться, а флаг не-планарный не сигнализируется.[118] For example, whether the intra-prediction mode applied to the current block is in the mpm candidates (and planar mode) or the remaining mode can be indicated based on the mpm flag (eg, Intra_luma_mpm_flag). A value of 1 for the mpm flag may indicate that the intra-prediction mode for the current block is in mpm candidates (and planar mode), and a value of 0 for the mpm flag may indicate that the intra-prediction mode for the current block is not in mpm candidates (and planar mode). ). A value of 0 for the non-planar flag (eg, Intra_luma_not_planar_flag) may indicate that the intra-prediction mode for the current block is a planar mode, and a value of 1 for the non-planar flag may indicate that the intra-prediction mode for the current block is not a planar mode. The mpm index may be signaled in the form of an mpm_idx or intra_luma_mpm_idx syntax element, and the remaining intra-prediction mode information may be signaled in the form of a rem_intra_luma_pred_mode or intra_luma_mpm_remainder syntax element. For example, the remaining intra-prediction mode information may index the remaining intra-prediction modes not included in the mpm candidates (and planar mode) among all intra-prediction modes in order of the number of prediction modes to indicate one of them. The intra-prediction mode may be an intra-prediction mode for the luminance component (sample). Further, the intra-prediction mode information may include at least one of an mpm flag (eg, Intra_luma_mpm_flag), a non-planar flag (eg, Intra_luma_not_planar_flag), an mpm index (eg, mpm_idx or intra_luma_mpm_idx), and remaining intra-prediction mode information (rem_intra_luma_pred_mode or intra_luma_mpm_remainder). In this document, the mpm list may be referred to by various terms such as MPM candidate list and candModeList. When a MIP is applied to the current block, the individual mpm flag (eg, intra_mip_mpm_flag), mpm index (eg, intra_mip_mpm_idx), and remaining intra-prediction mode information (eg, intra_mip_mpm_remainder) for the MIP may be signaled, but the non-planar flag is not signaled.

[119] Другими словами, в общем, когда разделение блока выполняется на изображении, текущий блок и соседний блок, подлежащие кодированию, имеют аналогичные характеристики изображения. Поэтому, текущий блок и соседний блок с высокой вероятностью имеют один и тот же или аналогичный режим интра-предсказания. Таким образом, кодер может использовать режим интра-предсказания соседнего блока, чтобы кодировать режим интра-предсказания текущего блока.[119] In other words, in general, when block division is performed on an image, the current block and the adjacent block to be encoded have similar image characteristics. Therefore, the current block and the neighboring block have a high probability of having the same or similar intra-prediction mode. Thus, the encoder can use the intra-prediction mode of an adjacent block to encode the intra-prediction mode of the current block.

[120] Например, кодер/декодер может конфигурировать список наиболее вероятных режимов (MPM) для текущего блока. Список МРМ может также называться списком кандидатов MPM. Здесь, MPM может относиться к режиму, используемому, чтобы улучшать эффективность кодирования с учетом сходства между текущим блоком и соседним блоком в кодировании режима интра-предсказания. Как описано выше, список МРМ может быть сконфигурирован, чтобы включать в себя планарный режим, или может быть сконфигурирован, чтобы исключать планарный режим. Например, когда список МРМ включает в себя планарный режим, число кандидатов в списке МРМ может составлять 6. И, если список МРМ не включает в себя планарный режим, число кандидатов в списке МРМ может составлять 5.[120] For example, the encoder/decoder may configure a list of most probable modes (MPM) for the current block. The MPM list may also be referred to as the MPM candidate list. Here, MPM may refer to a mode used to improve coding efficiency by taking into account the similarity between the current block and a neighboring block in intra-prediction mode coding. As described above, the MPM list may be configured to include planar mode, or may be configured to exclude planar mode. For example, when the MPM list includes a planar mode, the number of candidates in the MPM list may be 6. And, if the MPM list does not include a planar mode, the number of candidates in the MPM list may be 5.

[121] Кодер/декодер может конфигурировать список МРМ, включающий в себя 5 или 6 MPM.[121] The encoder/decoder may configure an MPM list including 5 or 6 MPM.

[122] Чтобы сконфигурировать список МРМ, могут рассматриваться три типа режимов: интра-режимы по умолчанию, соседние интра-режимы и выведенные интра-режимы.[122] To configure the MPM list, three types of modes can be considered: default intra-modes, adjacent intra-modes and derived intra-modes.

[123] Для соседних интра-режимов, могут рассматриваться два соседних блока, т.е. левый соседний блок и верхний соседний блок.[123] For adjacent intra-modes, two adjacent blocks can be considered, i.e. left adjacent block and top adjacent block.

[124] Как описано выше, если список МРМ сконфигурирован не включать в себя планарный режим, планарный режим исключается из списка, и число кандидатов списка МРМ может устанавливаться в 5.[124] As described above, if the MPM list is configured not to include a planar mode, the planar mode is excluded from the list, and the number of MPM list candidates may be set to 5.

[125] К тому же ненаправленный режим (или не-угловой режим) среди режимов интра-предсказания может включать в себя режим DC на основе среднего соседних опорных выборок текущего блока или планарный режим на основе интерполяции.[125] In addition, the non-directional mode (or non-angular mode) among the intra-prediction modes may include a DC mode based on the average of neighboring reference samples of the current block or a planar mode based on interpolation.

[126] Когда интер-предсказание применяется, предсказатель устройства кодирования/устройства декодирования может выводить выборку предсказания путем выполнения интер-предсказания в единицах блоков. Интер-предсказание может представлять собой предсказание, выводимое способом, который зависит от элементов данных (например, значений выборки или информации движения) картинки(ок), отличной от текущей картинки. Когда интер-предсказание применяется к текущему блоку, предсказанный блок (массив выборок предсказания) для текущего блока может выводиться на основе опорного блока (опорного массива выборок), специфицированного вектором движения на опорной картинке, указанной индексом опорной картинки. Здесь, чтобы уменьшить количество информации движения, передаваемой в режиме интер-предсказания, информация движения текущего блока может предсказываться в единицах блоков, подблоков или выборках на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорной картинки. Информация движения может дополнительно включать в себя информацию типа интер-предсказания (предсказание L0, предсказание L1, Bi-предсказание и т.д.). В случае интер-предсказания, соседний блок может включать в себя пространственный соседний блок, представленный в текущей картинке, и временной соседний блок, представленный в опорной картинке. Опорная картинка, включающая в себя опорный блок, и опорная картинка, включающая в себя временной соседний блок, могут быть одинаковыми или разными. Временной соседний блок может называться совместно расположенным опорным блоком, совместно расположенной CU (colCU) и т.п., и опорная картинка, включающая в себя временной соседний блок, может называться совместно расположенной картинкой (colPic). Например, список кандидатов информации движения может быть сконфигурирован на основе соседних блоков текущего блока, и информация флага или индекса, указывающая, какой кандидат выбран (используется), может сигнализироваться, чтобы вывести вектор движения и/или индекс опорной картинки текущего блока. Интер-предсказание может выполняться на основе различных режимов предсказания. Например, в случае режима пропуска и режима объединения, информация движения текущего блока может быть той же самой, что и информация движения соседнего блока. В режиме пропуска, в отличие от режима объединения, остаточный сигнал может не передаваться. В случае режима предсказания вектора движения (MVP), вектор движения выбранного соседнего блока может использоваться как предсказатель вектора движения, и вектор движения текущего блока может сигнализироваться. В этом случае, вектор движения текущего блока может выводиться с использованием суммы предсказателя вектора движения и разности векторов движения.[126] When inter-prediction is applied, the encoder/decoder device predictor can output a prediction sample by performing inter-prediction in units of blocks. An inter-prediction may be a prediction derived in a manner that depends on data elements (eg, sample values or motion information) of picture(s) other than the current picture. When inter-prediction is applied to the current block, the predicted block (prediction sample array) for the current block may be output based on the reference block (reference sample array) specified by the motion vector on the reference picture indicated by the reference picture index. Here, in order to reduce the amount of motion information transmitted in the inter-prediction mode, the motion information of the current block may be predicted in units of blocks, sub-blocks, or samples based on the correlation of the motion information between a neighboring block and the current block. The motion information may include a motion vector and a reference picture index. The motion information may further include inter-prediction type information (L0 prediction, L1 prediction, Bi-prediction, etc.). In the case of inter-prediction, the neighbor block may include a spatial neighbor block represented in the current picture and a temporal neighbor block represented in the reference picture. The reference picture including the reference block and the reference picture including the temporary adjacent block may be the same or different. A temporary neighbor block may be called a co-located reference block, a co-located CU (colCU), etc., and a reference picture including a temporary neighboring block may be called a co-located picture (colPic). For example, a motion information candidate list may be configured based on neighboring blocks of the current block, and flag or index information indicating which candidate is selected (used) may be signaled to output the motion vector and/or reference picture index of the current block. Inter-prediction can be performed based on various prediction modes. For example, in the case of the skip mode and the merge mode, the motion information of the current block may be the same as the motion information of the adjacent block. In the skip mode, unlike the combine mode, the residual signal may not be transmitted. In the case of motion vector prediction (MVP) mode, the motion vector of the selected neighboring block can be used as a motion vector predictor, and the motion vector of the current block can be signaled. In this case, the motion vector of the current block can be output using the sum of the motion vector predictor and the motion vector difference.

[127] Информация движения может включать в себя информацию движения L0 и/или информацию движения L1 в соответствии с типом интер-предсказания (предсказание L0, предсказание L1, Bi-предсказание и т.д.). Вектор движения в направлении L0 может называться вектором движения L0 или MVL0, и вектор движения в направлении L1 может называться вектором движения L1 или MVL1. Предсказание на основе вектора движения L0 может называться предсказанием L0, предсказание на основе вектора движения L1 может называться предсказанием L1, и предсказание на основе вектора движения L0 и вектора движения L1, может называться bi-предсказанием. Здесь, вектор движения L0 может указывать вектор движения, ассоциированный со списком L0 опорных картинок (L0), и вектор движения L1 может указывать вектор движения, ассоциированный со списком L1 опорных картинок (L1). Список L0 опорных картинок может включать в себя картинки, которые являются более ранними в порядке вывода, чем текущая картинка, как опорные картинки, и список L1 опорных картинок может включать в себя картинки, которые являются более поздними в порядке вывода, чем текущая картинка. Предыдущие картинки могут называться прямыми (опорными) картинками, и последующие картинки могут называться обратными (опорными) картинками. Список L0 опорных картинок может дополнительно включать в себя картинки, которые являются более поздними в порядке вывода, чем текущая картинка, как опорные картинки. В этом случае, предыдущие картинки могут индексироваться первыми в списке L0 опорных картинок, и последующие картинки могут индексироваться позже. Список L1 опорных картинок может дополнительно включать в себя картинки, предшествующие в порядке вывода текущей картинке, как опорные картинки. В этом случае, последующие картинки могут индексироваться первыми в списке 1 опорных картинок, и предыдущие картинки могут индексироваться позже. Порядок вывода может соответствовать порядку подсчета порядка картинок (POC).[127] The motion information may include L0 motion information and/or L1 motion information according to the type of inter-prediction (L0 prediction, L1 prediction, Bi-prediction, etc.). The motion vector in the L0 direction may be referred to as the L0 motion vector or MVL0, and the motion vector in the L1 direction may be referred to as the L1 motion vector or MVL1. The prediction based on the motion vector L0 may be referred to as the L0 prediction, the prediction based on the motion vector L1 may be referred to as the L1 prediction, and the prediction based on the motion vector L0 and the motion vector L1 may be referred to as bi-prediction. Here, the motion vector L0 may indicate a motion vector associated with the reference picture list L0, and the motion vector L1 may indicate a motion vector associated with the reference picture list L1. The reference picture list L0 may include pictures that are earlier in the output order than the current picture as reference pictures, and the reference picture list L1 may include pictures that are later in the output order than the current picture. Previous pictures may be called forward (reference) pictures, and subsequent pictures may be called reverse (reference) pictures. The reference picture list L0 may further include pictures that are later in the output order than the current picture as reference pictures. In this case, previous pictures may be indexed first in the reference picture list L0, and subsequent pictures may be indexed later. The reference picture list L1 may further include pictures preceding the current picture in output order as reference pictures. In this case, subsequent pictures may be indexed first in the reference picture list 1, and previous pictures may be indexed later. The order of output can correspond to the order of picture order counting (POC).

[128] Фиг. 4 показывает пример способа кодирования видео/изображения на основе интер-предсказания.[128] FIG. 4 shows an example of a video/image encoding method based on inter-prediction.

[129] Устройство кодирования выполняет интер-предсказание на текущем блоке (S400). Устройство кодирования может выводить режим интер-предсказания и информацию движения текущего блока и генерировать выборки предсказания текущего блока. Здесь, определение режима интер-предсказания, вывод информации движения и процедура генерации выборок предсказания могут выполняться одновременно, или одна процедура может выполняться до другой. Например, интер-предсказатель устройства кодирования может включать в себя определитель режима предсказания, модуль вывода информации движения и модуль вывода выборок предсказания. Определитель режима предсказания может определять режим предсказания для текущего блока, модуль вывода информации движения может выводить информацию движения текущего блока, и модуль вывода выборок предсказания может выводить выборки движения текущего блока. Например, интер-предсказатель устройства кодирования может выполнять поиск блока, аналогичного текущему блоку, в предопределенной области (области поиска) опорных картинок посредством оценки движения и выводить опорный блок, у которого разность с текущим блоком является минимальной или предопределенной опорной или меньше. На основе этого, интер-предсказатель может выводить индекс опорной картинки, указывающий опорную картинку, в которой расположен опорный блок, и выводить вектор движения на основе разности положений между опорным блоком и текущим блоком. Устройство кодирования может определять режим, применяемый к текущему блоку, среди различных режимов предсказания. Устройство кодирования может сравнивать стоимость RD для различных режимов предсказания и определять оптимальный режим предсказания для текущего блока.[129] The encoder performs inter-prediction on the current block (S400). The encoding device can output inter-prediction mode and motion information of the current block and generate prediction samples of the current block. Here, inter-prediction mode determination, motion information output, and prediction sample generation procedure may be performed simultaneously, or one procedure may be performed before the other. For example, the inter-predictor of the encoding device may include a prediction mode determiner, a motion information output unit, and a prediction sample output unit. The prediction mode determiner may determine the prediction mode for the current block, the motion information output unit may output motion information of the current block, and the prediction sample output unit may output motion samples of the current block. For example, the inter-predictor of the encoder may search for a block similar to the current block in a predetermined region (search region) of reference pictures by motion estimation, and output a reference block whose difference with the current block is minimal or the predetermined reference or less. Based on this, the inter-predictor can output a reference picture index indicating the reference picture in which the reference block is located, and output a motion vector based on the position difference between the reference block and the current block. The encoding device may determine a mode applied to the current block among various prediction modes. The encoder may compare the RD cost for different prediction modes and determine the optimal prediction mode for the current block.

[130] Например, когда режим пропуска или режим объединения применяется к текущему блоку, устройство кодирования может конфигурировать список кандидатов объединения, который будет описан далее, и выводить опорный блок, у которого разность с текущим блоком является минимальной или предопределенной опорной или меньше, среди опорных блоков, указанных кандидатами объединения, включенными в список кандидатов объединения. В этом случае, кандидат объединения, ассоциированный с выведенным опорным блоком, может выбираться, и информация индекса объединения, указывающая выбранный кандидат объединения, может генерироваться и сигнализироваться на устройство декодирования. Информация движения текущего блока может выводиться с использованием информации движения выбранного кандидата объединения.[130] For example, when a skip mode or a merge mode is applied to a current block, the encoding device may configure a merge candidate list, which will be described later, and output a reference block whose difference with the current block is the minimum or a predetermined reference or less among the references blocks specified by merge candidates included in the list of merge candidates. In this case, a merge candidate associated with the derived reference block can be selected, and combine index information indicating the selected merge candidate can be generated and signaled to the decoding device. The motion information of the current block may be output using the motion information of the selected merge candidate.

[131] В качестве примера, когда режим (A)MVP применяется к текущему блоку, устройство кодирования может конфигурировать список кандидатов (A)MVP, который будет описан далее, и использовать вектор движения кандидата mvp, выбранного из кандидатов mvp (предсказателя вектора движения), включенных в список кандидатов (A)MVP, как mvp текущего блока. В этом случае, например, вектор движения, указывающий опорный блок, выведенный посредством вышеописанной оценки движения, может использоваться как вектор движения текущего блока, и кандидат mvp, имеющий вектор движения, у которого разность с вектором движения текущего блока, среди кандидатов mvp, является наименьшей, может выбираться как кандидат mvp. Разность векторов движения (MVP), которая является разностью, из которой mvp был вычтен, может выводиться из вектора движения текущего блока. В этом случае, информация о MVD может сигнализироваться на устройство декодирования. К тому же когда применяется режим (A)MVP, значение индекса опорной картинки может быть сконфигурировано как информация индекса опорной картинки и отдельно сигнализироваться на устройство декодирования.[131] As an example, when the (A)MVP mode is applied to the current block, the encoder may configure the (A)MVP candidate list to be described later, and use the motion vector of the mvp candidate selected from the mvp (motion vector predictor) candidates. , included in the (A)MVP candidate list, as the mvp of the current block. In this case, for example, the motion vector indicating the reference block output by the above-described motion estimation can be used as the motion vector of the current block, and the mvp candidate having the motion vector whose difference with the motion vector of the current block among the mvp candidates is the smallest , can be selected as a mvp candidate. A motion vector difference (MVP), which is the difference from which mvp has been subtracted, can be output from the motion vector of the current block. In this case, the MVD information may be signaled to the decoding device. In addition, when the (A)MVP mode is applied, the reference picture index value can be configured as the reference picture index information and separately signaled to the decoding device.

[132] Устройство кодирования может выводить остаточные выборки на основе выборок предсказания (S410). Устройство кодирования может выводить остаточные выборки путем сравнения исходных выборок текущего блока с выборками предсказания.[132] The encoder may output residual samples based on the prediction samples (S410). The encoder may output residual samples by comparing the original samples of the current block with the prediction samples.

[133] Устройство кодирования кодирует информацию изображения, включающую в себя информацию предсказания и информацию остатка (S420). Устройство кодирования может выводить закодированную информацию изображения в форме битового потока. Информация предсказания может включать в себя информацию режима предсказания (например, флаг пропуска, флаг объединения или индекс режима) и информацию об информации движения как информацию, относящуюся к процедуре предсказания. Информация об информации движения может включать в себя информацию выбора кандидата (например, индекс объединения, флаг mvp или индекс mvp), которая является информацией для вывода вектора движения. К тому же информация об информации движения может включать в себя информацию о MVD и/или информацию индекса опорной картинки, описанную выше. Информация об информации движения может включать в себя информацию, указывающую, применяется ли предсказание L0, предсказание L1 или bi-предсказание. Информация остатка является информацией об остаточных выборках. Информация остатка может включать в себя информацию о квантованных коэффициентах преобразования для остаточных выборок.[133] The encoding device encodes image information including prediction information and residual information (S420). The encoding apparatus may output encoded image information in the form of a bit stream. The prediction information may include prediction mode information (eg, a skip flag, a combine flag, or a mode index) and information about the motion information as information related to the prediction procedure. The motion information information may include candidate selection information (eg, a pooling index, an mvp flag, or an mvp index), which is information for outputting a motion vector. In addition, the motion information information may include MVD information and/or reference picture index information described above. The motion information information may include information indicating whether L0 prediction, L1 prediction, or bi-prediction is applied. Residual information is information about residual samples. The residual information may include information about quantized transform coefficients for the residual samples.

[134] Выведенный битовый поток может сохраняться в (цифровом) носителе хранения и доставляться на устройство декодирования или может доставляться на устройство декодирования посредством сети.[134] The output bitstream may be stored in a (digital) storage medium and delivered to a decoding device, or may be delivered to the decoding device via a network.

[135] Между тем как описано выше, устройство кодирования может генерировать восстановленную картинку (включающую в себя восстановленные выборки и восстановленный блок) на основе опорных выборок и остаточных выборок. Это необходимо, чтобы вывести тот же самый результат предсказания в устройстве кодирования, что и результат, выполняемый в устройстве декодирования, и поскольку эффективность кодирования может быть повышена. Поэтому, устройство кодирования может хранить восстановленную картинку (или восстановленные выборки, восстановленный блок) в памяти и использовать ее в качестве опорной картинки для интер-предсказания. Как описано выше, процедура внутриконтурной фильтрации может дополнительно применяться к восстановленной картинке.[135] Meanwhile, as described above, the encoding device can generate a reconstructed picture (including reconstructed samples and a reconstructed block) based on the reference samples and residual samples. This is necessary in order to output the same prediction result in the encoding apparatus as that performed in the decoding apparatus, and so that encoding efficiency can be improved. Therefore, the encoder can store the reconstructed picture (or reconstructed samples, reconstructed block) in memory and use it as a reference picture for inter-prediction. As described above, the in-loop filtering procedure can be additionally applied to the reconstructed image.

[136] Процедура декодирования видео/изображения на основе интер-предсказания и интер-предсказателя устройства декодирования может включать в себя, например, следующее.[136] A video/image decoding procedure based on inter-prediction and an inter-predictor of the decoding device may include, for example, the following.

[137] Фиг. 5 показывает пример способа декодирования видео/изображения на основе интер-предсказания.[137] FIG. 5 shows an example of a video/image decoding method based on inter-prediction.

[138] Со ссылкой на Фиг. 5, устройство декодирования может выполнять операцию, соответствующую операции, выполняемой в устройстве кодирования. Устройство декодирования может выполнять предсказание на текущем блоке на основе принятой информации предсказания и выводить выборки предсказания.[138] With reference to FIG. 5, the decoding device can perform an operation corresponding to an operation performed in the encoding device. The decoding apparatus may perform prediction on the current block based on the received prediction information and output prediction samples.

[139] Конкретно, устройство декодирования может определять режим предсказания для текущего блока на основе принятой информации предсказания (S500). Устройство декодирования может определять, какой режим интер-предсказания применяется к текущему блоку, на основе информации режима предсказания в информации предсказания.[139] Specifically, the decoding apparatus may determine a prediction mode for the current block based on the received prediction information (S500). The decoding apparatus can determine which inter-prediction mode is applied to the current block based on the prediction mode information in the prediction information.

[140] Например, устройство декодирования может определять, применяется ли режим объединения к текущему блоку, или определен ли режим (A)MVP на основе флага объединения. Альтернативно, один из различных кандидатов режима интер-предсказания может выбираться на основе индекса режима. Кандидаты режима интер-предсказания могут включать в себя режим пропуска, режим объединения и/или режим (A)MVP или могут включать в себя различные режимы интер-предсказания, описанные ниже.[140] For example, the decoding apparatus may determine whether the combining mode is applied to the current block, or whether the (A)MVP mode is determined based on the combining flag. Alternatively, one of the various inter-prediction mode candidates may be selected based on the mode index. Inter-prediction mode candidates may include a skip mode, an aggregation mode, and/or an (A)MVP mode, or may include various inter-prediction modes described below.

[141] Устройство декодирования выводит информацию движения текущего блока на основе определенного режима интер-предсказания (S510). Например, когда режим пропуска или режим объединения применяется к текущему блоку, устройство декодирования может конфигурировать список кандидатов объединения, который будет описан далее, и выбирать один из кандидатов объединения, включенных в список кандидатов объединения. Выбор может выполняться на основе информации выбора (индекса объединения) выше. Информация движения текущего блока может выводиться с использованием информации движения выбранного кандидата объединения. Информация движения выбранного кандидата объединения может использоваться как информация движения текущего блока.[141] The decoding apparatus outputs motion information of the current block based on the determined inter-prediction mode (S510). For example, when a skip mode or a combine mode is applied to the current block, the decoding apparatus may configure a merge candidate list, which will be described later, and select one of the merge candidates included in the merge candidate list. The selection may be made based on the selection information (merging index) above. The motion information of the current block may be output using the motion information of the selected merge candidate. The motion information of the selected merge candidate can be used as the motion information of the current block.

[142] В качестве другого примера, когда режим (A)MVP применяется к текущему блоку, устройство декодирования может конфигурировать список кандидатов (A)MVP, который будет описан далее, и использовать вектор движения кандидата mvp, выбранного из кандидатов mvp, включенных в список кандидатов (A)MVP, как mvp текущего блока. Выбор может выполняться на основе вышеописанной информации выбора (флага mvp или индекса mvp). В этом случае, MVD текущего блока может выводиться на основе информации о MVD, и вектор движения текущего блока может выводиться на основе mvp и MVD текущего блока. К тому же индекс опорной картинки текущего блока может выводиться на основе информации индекса опорной картинки. Картинка, указанная индексом опорной картинки в списке опорных картинок для текущего блока, может выводиться как опорная картинка, на которую ссылаются для интер-предсказания текущего блока.[142] As another example, when the (A)MVP mode is applied to the current block, the decoding device may configure a list of (A)MVP candidates, which will be described later, and use the motion vector of the mvp candidate selected from the mvp candidates included in the list (A)MVP candidates as mvp of the current block. The selection may be made based on the selection information (mvp flag or mvp index) described above. In this case, the MVD of the current block can be output based on the MVD information, and the motion vector of the current block can be output based on the mvp and MVD of the current block. In addition, the reference picture index of the current block may be derived based on the reference picture index information. The picture indicated by the reference picture index in the list of reference pictures for the current block may be output as a reference picture referred to for inter-prediction of the current block.

[143] Между тем, как описано ниже, информация движения текущего блока может выводиться без конфигурирования списка кандидатов, и в этом случае, информация движения текущего блока может выводиться в соответствии с процедурой, раскрытой в режиме предсказания, которая будет описана далее. В этом случае, конфигурация списка кандидатов, как описано выше, может опускаться.[143] Meanwhile, as described below, the motion information of the current block can be output without configuring the candidate list, in which case, the motion information of the current block can be output in accordance with the procedure disclosed in the prediction mode, which will be described later. In this case, the candidate list configuration as described above may be omitted.

[144] Устройство декодирования может генерировать выборки предсказания для текущего блока на основе информации движения текущего блока (S520). В этом случае, опорная картинка может выводиться на основе индекса опорной картинки текущего блока, и выборки предсказания текущего блока могут выводиться с использованием выборок опорного блока, указанного вектором движения текущего блока на опорной картинке. В этом случае, как описано ниже, процедура фильтрации выборок предсказания может дополнительно выполняться на всех или некоторых из выборок предсказания текущего блока.[144] The decoding apparatus may generate prediction samples for the current block based on motion information of the current block (S520). In this case, the reference picture may be output based on the index of the reference picture of the current block, and the prediction samples of the current block may be output using the samples of the reference block indicated by the motion vector of the current block on the reference picture. In this case, as described below, the prediction sample filtering procedure may further be performed on all or some of the prediction samples of the current block.

[145] Например, интер-предсказатель устройства декодирования может включать в себя определитель режима предсказания, модуль вывода информации движения и модуль вывода выборок предсказания. Режим предсказания для текущего блока может определяться на основе информации режима предсказания, принятой от определителя режима предсказания, информация движения (вектор движения и/или индекс опорной картинки и т.д.) текущего блока может выводиться на основе информации об информации движения, принятой от устройства вывода информации движения, и модуль вывода выборок предсказания может выводить выборки предсказания текущего блока.[145] For example, the inter-predictor of the decoding device may include a prediction mode determiner, a motion information output unit, and a prediction sample output unit. The prediction mode for the current block can be determined based on the prediction mode information received from the prediction mode determiner, the motion information (motion vector and/or reference picture index, etc.) of the current block can be output based on the motion information information received from the device output motion information, and the prediction sample output unit may output prediction samples of the current block.

[146] Устройство декодирования генерирует остаточные выборки для текущего блока на основе принятой информации остатка (S530). Устройство декодирования может генерировать восстановленные выборки для текущего блока на основе выборок предсказания и остаточных выборок и генерировать восстановленную картинку на основе восстановленных выборок (S540). После этого может дополнительно применяться процедура внутриконтурной фильтрации или тому подобное, как описано выше.[146] The decoding apparatus generates residual samples for the current block based on the received residual information (S530). The decoding apparatus may generate reconstructed samples for the current block based on the prediction samples and residual samples, and generate a reconstructed picture based on the reconstructed samples (S540). Thereafter, an in-loop filtration procedure or the like may further be applied as described above.

[147] Фиг. 6 показывает примерный процесс интер-предсказания.[147] FIG. 6 shows an example inter-prediction process.

[148] Со ссылкой на фиг. 6, как описано выше, процесс интер-предсказания может включать в себя определение режима интер-предсказания, вывод информации движения в соответствии с определенным режимом предсказания и выполнение предсказания на основе выведенной информации движения (генерацию выборки предсказания). Процесс интер-предсказания может выполняться устройством кодирования и устройством декодирования, как описано выше. В настоящем документе, устройство кодирования может включать в себя устройство кодирования и/или устройство декодирования.[148] With reference to FIG. 6, as described above, the inter-prediction process may include determining an inter-prediction mode, outputting motion information according to the determined prediction mode, and performing prediction based on the outputted motion information (prediction sample generation). The inter-prediction process may be performed by the encoding device and the decoding device as described above. Herein, the encoding device may include an encoding device and/or a decoding device.

[149] Со ссылкой на фиг. 6, устройство кодирования определяет режим интер-предсказания для текущего блока (S600). Различные режимы интер-предсказания могут использоваться для предсказания текущего блока в картинке. Например, различные режимы, такие как режим объединения, режим пропуска, режим предсказания вектора движения (MVP), аффинный режим, режим объединения подблоков и режим объединения с MVD (MMVD) и тому подобное, могут использоваться. Режим уточнения вектора движения стороны декодера (DMVR), режим адаптивного разрешения вектора движения (AMVR), bi-предсказание с весом уровня CU (BCW), двунаправленный оптический поток (BDOF) и тому подобное могут также использоваться как дополнительные режимы дополнительно или вместо них. Аффинный режим может называться режимом предсказания аффинного движения. Режим MVP может называться режимом расширенного предсказания вектора движения (AMVP). В настоящем документе, некоторые режимы и/или кандидаты информации движения, выведенные некоторыми режимами, могут быть включены как один из кандидатов информации движения других режимов. Например, кандидат HMVP может добавляться как кандидат объединения в режиме объединения/пропуска или может добавляться как кандидат mvp в режиме MVP. Когда кандидат HMVP используется как кандидат информации движения в режиме объединения или режиме пропуска, кандидат HMVP может называться кандидатом объединения HMVP.[149] With reference to FIG. 6, the encoder determines the inter-prediction mode for the current block (S600). Various inter-prediction modes can be used to predict the current block in the picture. For example, various modes such as a merging mode, a skip mode, a motion vector prediction (MVP) mode, an affine mode, a sub-block merging mode, and a MVD merging mode (MMVD) and the like may be used. Decoder side motion vector refinement (DMVR) mode, adaptive motion vector resolution (AMVR) mode, bi-prediction with CU weight (BCW), bidirectional optical flow (BDOF) and the like can also be used as additional modes in addition to or instead of them. The affine mode may be called the affine motion prediction mode. MVP mode may be called Advanced Motion Vector Prediction (AMVP) mode. Herein, some modes and/or motion information candidates output by some modes may be included as one of the motion information candidates of other modes. For example, an HMVP candidate may be added as a join candidate in join/skip mode, or may be added as an mvp candidate in MVP mode. When an HMVP candidate is used as a traffic information candidate in a combining mode or a skip mode, the HMVP candidate may be referred to as an HMVP combining candidate.

[150] Информация режима предсказания, указывающая режим интер-предсказания текущего блока, может сигнализироваться от устройства кодирования на устройство декодирования. Информация режима предсказания может быть включена в битовый поток и приниматься устройством декодирования. Информация режима предсказания может включать в себя информацию индекса, указывающую один из множества режимов-кандидатов. Альтернативно, режим интер-предсказания может указываться через иерархическую сигнализацию информации флага. В этом случае, информация режима предсказания может включать в себя один или более флагов. Например, флаг пропуска может сигнализироваться, чтобы указать, применяется ли режим пропуска, и, если режим пропуска не применяется, флаг объединения может сигнализироваться, чтобы указать, применяется ли режим объединения, и, если режим объединения не применяется, указывается применить режим MVP, или флаг для дополнительной классификации может дополнительно сигнализироваться. Аффинный режим может сигнализироваться в независимом режиме или может сигнализироваться в режиме, зависимом от режима объединения или режима MVP. Например, аффинный режим может включать в себя аффинный режим объединения и аффинный режим MVP.[150] Prediction mode information indicating the inter-prediction mode of the current block may be signaled from the encoding device to the decoding device. Prediction mode information may be included in the bitstream and received by a decoder. The prediction mode information may include index information indicating one of a plurality of candidate modes. Alternatively, the inter-prediction mode may be indicated via hierarchical flag information signaling. In this case, the prediction mode information may include one or more flags. For example, a skip flag may be signaled to indicate whether the skip mode is applied, and, if the skip mode is not applied, a merge flag may be signaled to indicate whether the merge mode is applied, and, if the merge mode is not applied, the MVP mode is indicated to apply, or a flag for additional classification may be additionally signaled. The affine mode may be signaled in an independent mode or may be signaled in a mode dependent on the pooling mode or the MVP mode. For example, the affine mode may include a union affine mode and an MVP affine mode.

[151] Между тем информация, указывающая, используется ли предсказание list0 (L0), предсказание list1 (L1) или bi-предсказание, описанные выше, в текущем блоке (текущей единице кодирования), может сигнализироваться в текущем блоке. Информация может называться информацией направления предсказания движения, информацией направления интер-предсказания или информацией указания интер-предсказания и может быть сконфигурирована/закодирована/сигнализирована в форме, например, синтаксического элемента inter_pred_idc. То есть, синтаксический элемент inter_pred_idc может указывать, используется ли вышеупомянутое предсказание list0 (L0), предсказание list1 (L1) или bi-предсказание для текущего блока (текущей единицы кодирования). В настоящем документе, для удобства описания, тип интер-предсказания (предсказание L0, предсказание L1 или bi-предсказание), указанные синтаксическим элементом inter_pred_idc, могут указываться как направление предсказания движения. Предсказание L0 может быть представлено как pred_L0, предсказание L1 как pred_L1, и bi-предсказание как pred_BI.[151] Meanwhile, information indicating whether the list0 prediction (L0), list1 prediction (L1) or bi-prediction described above is used in the current block (current coding unit) may be signaled in the current block. The information may be called motion prediction direction information, inter-prediction direction information, or inter-prediction indication information, and may be configured/encoded/signaled in the form of, for example, an inter_pred_idc syntax element. That is, the inter_pred_idc syntax element may indicate whether the above-mentioned list0 prediction (L0), list1 prediction (L1), or bi-prediction is used for the current block (current encoding unit). Herein, for convenience of description, the inter-prediction type (L0 prediction, L1 prediction, or bi-prediction) indicated by the inter_pred_idc syntax element may be indicated as the motion prediction direction. The L0 prediction can be represented as pred_L0, the L1 prediction as pred_L1, and the bi-prediction as pred_BI.

[152] [Таблица 1][152] [Table 1]

[153] Как описано выше, одна картинка может включать в себя одну или несколько вырезок. Вырезка может иметь один из типов вырезки, включая интра- (I) вырезку, предиктивную (P) вырезку и bi-предиктивную (B) вырезку. Тип вырезки может указываться на основе информации типа вырезки. Для блоков в вырезке I, интер-предсказание может не использоваться для предсказания, и только интра-предсказание может использоваться. Разумеется, даже в этом случае исходное значение выборки может кодироваться и сигнализироваться без предсказания. Интра-предсказание или интер-предсказание могут использоваться для блоков в вырезке P, и может использоваться только uni-(однонаправленное) предсказание, когда используется интер-предсказание. Между тем интра-предсказание или интер-предсказание могут использоваться для блоков в вырезке B, и вплоть до bi-предсказания может использоваться, когда используется интер-предсказание.[153] As described above, one picture may include one or more cutouts. The cut may be one of a variety of cut types, including intra-(I) cut, predictive (P) cut, and bi-predictive (B) cut. The cut type may be indicated based on the cut type information. For blocks in cut I, inter-prediction may not be used for prediction, and only intra-prediction may be used. Of course, even in this case, the original sample value may be encoded and signaled without prediction. Intra-prediction or inter-prediction can be used for blocks in the P slice, and only uni-prediction can be used when inter-prediction is used. Meanwhile, intra-prediction or inter-prediction can be used for blocks in slice B, and up to bi-prediction can be used when inter-prediction is used.

[154] L0 и L1 могут включать в себя опорные картинки, которые являются ранее закодированными/декодированными до текущей картинки. Например, L0 может включать в себя опорные картинки до и/или после текущей картинки в порядке POC, и L1 может включать в себя опорные картинки до и/или после текущей картинки в порядке POC. В этом случае, L0 может назначаться более низкий индекс опорной картинки относительно предыдущих опорных картинок в порядке POC, чем текущие опорные картинки, и L1 может назначаться более низкий индекс опорной картинки относительно предыдущих опорных картинок в порядке POC, чем текущая картинка. В случае вырезки B, может применяться bi-предсказание, и в этом случае может применяться однонаправленное bi-предсказание или двунаправленное bi-предсказание. Двунаправленное bi-предсказание может называться истинным bi-предсказанием. [154] L0 and L1 may include reference pictures that are previously encoded/decoded before the current picture. For example, L0 may include reference pictures before and/or after the current picture in POC order, and L1 may include reference pictures before and/or after the current picture in POC order. In this case, L0 may be assigned a lower reference picture index relative to previous reference pictures in POC order than the current reference pictures, and L1 may be assigned a lower reference picture index relative to previous reference pictures in POC order than the current picture. In the case of cut B, bi-prediction may be applied, in which case unidirectional bi-prediction or bidirectional bi-prediction may be applied. A bidirectional bi-prediction may be called a true bi-prediction.

[155] Устройство кодирования выводит информацию движения для текущего блока (S610). Вывод информации движения может выводиться на основе режима интер-предсказания.[155] The encoder outputs motion information for the current block (S610). The motion information output may be output based on the inter-prediction mode.

[156] Устройство кодирования может выполнять интер-предсказание с использованием информации движения текущего блока. Устройство кодирования может выводить информацию оптимального движения для текущего блока через процесс оценки движения. Например, устройство кодирования может выполнять поиск аналогичного опорного блока с высокой корреляцией в пределах предопределенного диапазона поиска в опорной картинке с использованием исходного блока в исходной картинке для текущего блока в дробных единицах пиксела, и затем устройство кодирования может выводить информацию движения. Сходство блоков может выводиться на основе разности между значениями выборки на основе фазы. Например, сходство блоков может вычисляться на основе SAD между текущим блоком (или шаблоном текущего блока) и опорным блоком (или шаблоном опорного блока). В этом случае, информация движения может выводиться на основе опорного блока с наименьшим SAD в области поиска. Выведенная информация движения может сигнализироваться на устройство декодирования в соответствии с различными способами на основе режима интер-предсказания.[156] The encoding device may perform inter-prediction using motion information of the current block. The encoding device may output optimal motion information for the current block through a motion estimation process. For example, the encoding apparatus may search for a similar reference block with high correlation within a predetermined search range in the reference picture using the original block in the source picture for the current block in fractional pixel units, and then the encoding apparatus may output motion information. Block similarity can be inferred based on the difference between phase-based sample values. For example, block similarity may be calculated based on the SAD between the current block (or current block template) and the reference block (or reference block template). In this case, motion information can be output based on the reference block with the smallest SAD in the search area. The output motion information may be signaled to the decoding apparatus in accordance with various methods based on the inter-prediction mode.

[157] Устройство кодирования выполняет интер-предсказание на основе информации движения о текущем блоке (S620). Устройство кодирования может выводить выборку(и) предсказания для текущего блока на основе информации движения. Текущий блок, включающий в себя выборки предсказания, может называться предсказанным блоком.[157] The encoding device performs inter-prediction based on motion information about the current block (S620). The encoder may output prediction sample(s) for the current block based on the motion information. The current block including the prediction samples may be referred to as a predicted block.

[158] Когда применяется режим объединения, информация движения текущего блока предсказания не передается непосредственно, а информация движения текущего блока предсказания выводится с использованием информации движения соседнего блока предсказания. Соответственно, информация движения текущего блока предсказания может указываться путем передачи информации флага, указывающей, что режим объединения используется, и индекса объединения, указывающего, какой блок предсказания используется. Режим объединения может называться регулярным режимом объединения.[158] When the combining mode is applied, the motion information of the current prediction block is not transmitted directly, but the motion information of the current prediction block is output using the motion information of the adjacent prediction block. Accordingly, motion information of the current prediction block may be indicated by transmitting flag information indicating that the combining mode is used and a combining index indicating which prediction block is being used. The merging mode may be called the regular merging mode.

[159] Чтобы выполнить режим объединения, кодер должен выполнить поиск блока кандидата объединения, используемого, чтобы выводить информацию движения текущего блока предсказания. Например, до пяти блоков кандидата объединения могут использоваться, но варианты осуществления настоящего документа не ограничены этим. К тому же максимальное число блоков кандидата объединения может передаваться в заголовке вырезки или заголовке группы мозаичных элементов. После обнаружения блоков кандидата объединения, кодер может генерировать список кандидатов объединения и может выбирать блок кандидата объединения, имеющий наименьшие затраты, как итоговый блок кандидата объединения.[159] To perform the combining mode, the encoder must search for a combining candidate block used to output motion information of the current prediction block. For example, up to five merge candidate blocks may be used, but embodiments of the present document are not limited to this. In addition, a maximum number of merge candidate blocks may be carried in a slice header or a tile group header. After detecting the merge candidate blocks, the encoder may generate a list of merge candidates and may select the merge candidate block having the lowest cost as the final merge candidate block.

[160] Список кандидатов объединения может использовать, например, пять блоков кандидата объединения. Например, могут использоваться четыре пространственных кандидата объединения и один временной кандидат объединения. Далее, пространственный кандидат объединения или пространственный кандидат MVP, который будет описан ниже, может называться SMVP, и временной кандидат объединения или временной кандидат MVP, который будет описан ниже, может называться TMVP.[160] The merge candidate list may use, for example, five merge candidate blocks. For example, four spatial join candidates and one temporal join candidate may be used. Further, a spatial merge candidate or spatial MVP candidate, which will be described below, may be referred to as SMVP, and a temporal merge candidate or temporal MVP candidate, which will be described below, may be referred to as TMVP.

[161] Фиг. 7 примерно показывает иерархическую структуру для закодированного изображения/видео.[161] FIG. 7 approximately shows the hierarchical structure for an encoded image/video.

[162] Со ссылкой на фиг. 7, закодированное изображение/видео делится на уровень кодирования видео (VCL), который проводит процесс декодирования изображения/видео, подсистему, которая передает и сохраняет закодированную информацию, и NAL (уровень сетевой абстракции), отвечающий за функцию и представленный между VCL и подсистемой.[162] With reference to FIG. 7, the encoded image/video is divided into a video coding layer (VCL) that carries out the image/video decoding process, a subsystem that transmits and stores the encoded information, and a NAL (Network Abstraction Layer) that is responsible for the function and is represented between the VCL and the subsystem.

[163] В VCL, генерируются данные VCL, включающие в себя данные сжатого изображения (данные вырезки), или могут генерироваться набор параметров, включающий в себя набор параметров картинки (PSP), набор параметров последовательности (SPS) и набор параметров видео (VPS) или сообщение информации дополнительной оптимизации (SEI), дополнительно требуемое для процесса декодирования изображения.[163] In VCL, VCL data including compressed image data (cut data) is generated, or a parameter set including a picture parameter set (PSP), a sequence parameter set (SPS), and a video parameter set (VPS) can be generated. or an additional optimization information (SEI) message further required for the image decoding process.

[164] В NAL, единица NAL может генерироваться путем добавления информации заголовка (заголовка единицы NAL) к полезной нагрузке последовательности необработанных байтов (RBSP), генерируемой в VCL. В этом случае, RBSP относится к данным вырезки, набору параметров, сообщению SEI и т.д., генерируемыми в VCL. Заголовок единицы NAL может включать в себя информацию типа единицы NAL, специфицированную в соответствии с данными RBSP, включенными в соответствующую единицу NAL.[164] In NAL, a NAL unit can be generated by adding header information (NAL unit header) to the raw byte sequence payload (RBSP) generated in the VCL. In this case, RBSP refers to the slice data, parameter set, SEI message, etc. generated in the VCL. The NAL unit header may include NAL unit type information specified in accordance with the RBSP data included in the corresponding NAL unit.

[165] Как показано на чертеже, единица NAL может классифицироваться на единицу VCL NAL и единицу не-VCL NAL в соответствии с RBSP, сгенерированным в VCL. Единица VCL NAL может означать единицу NAL, которая включает в себя информацию об изображении (данные вырезки) об изображении, и единица не-VCL NAL может означать единицу NAL, которая включает в себя информацию (набор параметров или сообщение SEI), требуемую для декодирования изображения.[165] As shown in the drawing, a NAL unit can be classified into a VCL NAL unit and a non-VCL NAL unit according to the RBSP generated in the VCL. A VCL NAL unit may mean a NAL unit that includes picture information (cut data) about a picture, and a non-VCL NAL unit may mean a NAL unit that includes information (a parameter set or SEI message) required for decoding the picture .

[166] Вышеописанные единица VCL NAL и единица не-VCL NAL могут передаваться через сеть путем прикрепления информации заголовка в соответствии со стандартом данных подсистемы. Например, единица NAL может быть преобразована в формат данных предопределенного стандарта, такой как формат файла H.266/VVC, транспортный протокол в реальном времени (RTP), транспортный поток (TS) и т.д., и передаваться через различные сети.[166] The above-described VCL NAL unit and non-VCL NAL unit can be transmitted through the network by attaching header information in accordance with the subsystem data standard. For example, a NAL unit may be converted to a predefined standard data format, such as H.266/VVC file format, Real Time Transport Protocol (RTP), Transport Stream (TS), etc., and transmitted over various networks.

[167] Как описано выше, единица NAL может быть специфицирована при помощи типа единицы NAL в соответствии со структурой данных RBSP, включенной в соответствующую единицу NAL, и информация о типе единицы NAL может храниться и сигнализироваться в заголовке единицы NAL.[167] As described above, a NAL unit may be specified by a NAL unit type in accordance with an RBSP data structure included in the corresponding NAL unit, and information about the NAL unit type may be stored and signaled in a header of the NAL unit.

[168] Например, единица NAL может классифицироваться на тип единицы VCL NAL и тип единицы не-VCL NAL в соответствии с тем, включает ли в себя единица NAL информацию (данные вырезки) об изображении. Тип единицы VCL NAL может классифицироваться в соответствии с характером и типом картинок, включенных в единицу VCL NAL, и тип единицы не-VCL NAL может классифицироваться в соответствии с типами наборов параметров.[168] For example, a NAL unit may be classified into a VCL NAL unit type and a non-VCL NAL unit type according to whether the NAL unit includes information (cut data) about an image. The VCL NAL unit type may be classified according to the nature and type of pictures included in the VCL NAL unit, and the non-VCL NAL unit type may be classified according to the parameter set types.

[169] Описанное далее представляет собой пример типа единицы NAL, специфицированной в соответствии с типом набора параметров, включенного в тип единицы не-VCL NAL.[169] What is described below is an example of a NAL unit type specified in accordance with a parameter set type included in a non-VCL NAL unit type.

[170] - Единица NAL APS (набор параметров адаптации): Тип для единицы NAL, включающей в себя APS[170] - NAL unit APS (Adaptation Parameter Set): Type for a NAL unit including an APS

[171] - Единица NAL DPS (набор параметров декодирования): Тип для единицы NAL, включающей в себя DPS[171] - NAL DPS Unit (Decode Parameter Set): Type for a NAL unit including DPS

[172] - Единица NAL VPS (набор параметров видео): Тип для единицы NAL, включающей в себя VPS[172] - VPS NAL Unit (Video Parameter Set): Type for a NAL unit including a VPS

[173] - Единица NAL SPS (набор параметров последовательности): Тип для единицы NAL, включающей в себя SPS[173] - NAL unit SPS (sequence parameter set): Type for a NAL unit including an SPS

[174] - Единица NAL PPS (набор параметров картинки) NAL: Тип для единицы NAL, включающей в себя PPS[174] - NAL PPS unit (Picture Parameter Set) NAL: Type for NAL unit including PPS

[175] - Единица NAL PH (заголовок картинки): Тип для единицы NAL, включающей в себя PH[175] - NAL PH unit (picture title): Type for NAL unit including PH

[176] Вышеупомянутые типы единицы NAL могут иметь синтаксическую информацию для типов единицы NAL, и синтаксическая информация может храниться и сигнализироваться в заголовке единицы NAL. Например, синтаксическая информация может представлять собой nal_unit_type, и типы единицы NAL могут быть специфицированы значением nal_unit_type.[176] The above NAL unit types may have syntax information for the NAL unit types, and the syntax information may be stored and signaled in a NAL unit header. For example, the syntax information may be nal_unit_type, and NAL unit types may be specified by the value nal_unit_type.

[177] Между тем как описано выше, одна картинка может включать в себя множество вырезок, и одна вырезка может включать в себя заголовок вырезки и данные вырезки. В этом случае, один заголовок картинки может дополнительно добавляться к множеству вырезок (набору заголовка вырезки и данных вырезки) в одной картинке. Заголовок картинки (синтаксис заголовка картинки) может включать в себя информацию/параметры, обычно применяемые к картинке. В настоящем документе, вырезка может быть смешана или заменена на группу мозаичных элементов. Также в настоящем документе заголовок вырезки может быть смешан или заменен на заголовок группы мозаичных элементов.[177] Meanwhile, as described above, one picture may include a plurality of cutouts, and one cutout may include a cutout title and cutout data. In this case, one picture title may be further added to a plurality of slices (a set of slice title and slice data) in one picture. The picture title (picture title syntax) may include information/parameters typically applied to the picture. Herein, the clipping may be mixed or replaced with a group of tiles. Also herein, a cut title may be mixed or replaced with a tile group title.

[178] Заголовок вырезки (синтаксис заголовка вырезки) может включать в себя информацию/параметры, которые могут обычно применяться к вырезке. APS (синтаксис APS) или PPS (синтаксис PPS) может включать в себя информацию/параметры, которые могут обычно применяться к одной или более вырезкам или картинкам. SPS (синтаксис SPS) может включать в себя информацию/параметры, которые могут обычно применяться к одной или более последовательностям. VPS (синтаксис VPS) может включать в себя информацию/параметры, которые могут обычно применяться ко множеству уровней. DPS (синтаксис DPS) может включать в себя информацию/параметры, которые могут обычно применяться ко всему видео. DPS может включать в себя информацию/параметры, относящиеся к конкатенации закодированной последовательности видео (CVS). Синтаксис высокого уровня (HLS) в настоящем документе может включать в себя по меньшей мере одно из синтаксиса APS, синтаксиса PPS, синтаксиса SPS, синтаксиса VPS, синтаксиса DPS и синтаксиса заголовка вырезки.[178] The cut header (cut header syntax) may include information/parameters that may generally apply to the cut. APS (APS syntax) or PPS (PPS syntax) may include information/parameters that can typically be applied to one or more clippings or pictures. SPS (SPS syntax) may include information/parameters that may typically apply to one or more sequences. VPS (VPS syntax) may include information/parameters that may generally apply to multiple layers. DPS (DPS syntax) may include information/parameters that may generally apply to the entire video. The DPS may include information/parameters related to concatenation of a coded video sequence (CVS). The high level syntax (HLS) herein may include at least one of APS syntax, PPS syntax, SPS syntax, VPS syntax, DPS syntax, and cut header syntax.

[179] В настоящем документе, изображение/информация изображения, закодированные устройством кодирования и сигнализированные на устройство декодирования в форме битового потока, включают в себя не только информацию, относящуюся к разбиению в картинке, информацию интер/интра-предсказания, информацию остатка, информацию внутриконтурной фильтрации и т.д., но также информацию, включенную в заголовок вырезки, информацию, включенную в APS, информацию, включенную в PPS, информацию, включенную в SPS, и/или информацию, включенную в VPS.[179] Herein, the image/image information encoded by the encoding device and signaled to the decoding device in the form of a bit stream includes not only information related to the division in the picture, inter/intra-prediction information, residual information, intra-circuit information filtering, etc., but also information included in the cut header, information included in the APS, information included in the PPS, information included in the SPS, and/or information included in the VPS.

[180] Между тем, чтобы скомпенсировать разницу между исходным изображением и восстановленным изображением вследствие ошибки, возникающей в процессе кодирования сжатия, таком как квантование, процесс внутриконтурной фильтрации может выполняться на восстановленных выборках или восстановленных картинках, как описано выше. Как описано выше, внутриконтурная фильтрация может выполняться фильтром устройства кодирования и фильтром устройства декодирования, и могут применяться фильтр устранения блочности, SAO и/или адаптивный контурный фильтр (ALF). Например, процесс ALF может выполняться после того, как завершены процесс фильтрации устранения блочности и/или процесс SAO. Однако, даже в этом случае, процесс фильтрации устранения блочности и/или процесс SAO могут опускаться.[180] Meanwhile, in order to compensate for the difference between the original image and the reconstructed image due to an error occurring in a compression encoding process such as quantization, an in-loop filtering process may be performed on the reconstructed samples or reconstructed pictures as described above. As described above, in-loop filtering may be performed by an encoder filter and a decoder filter, and a deblocking filter, SAO, and/or an adaptive loop filter (ALF) may be applied. For example, the ALF process may be executed after the deblocking filtering process and/or the SAO process are completed. However, even in this case, the deblocking filtering process and/or the SAO process may be omitted.

[181] Между тем, чтобы повысить эффективность кодирования, отображение яркости с масштабированием цветности (LMCS) может применяться, как описано выше. LMCS может упоминаться как контурный формирователь (повторное формирование). Чтобы повысить эффективность кодирования, управление LMCS и/или сигнализация относящейся к LMCS информации могут выполняться иерархически.[181] Meanwhile, in order to improve coding efficiency, luma display with chroma scaling (LMCS) can be applied as described above. LMCS may be referred to as a contour shaper (re-shaping). To improve coding efficiency, LMCS control and/or signaling of LMCS-related information may be performed hierarchically.

[182] Фиг. 8 примерно иллюстрирует иерархическую структуру CVS в соответствии с вариантом осуществления настоящего документа. Закодированная последовательность видео (CVS) может включать в себя набор параметров последовательности (SPS), набор параметров картинки (PPS), заголовок группы мозаичных элементов, данные мозаичного элемента и/или CTU. Здесь, заголовок группы мозаичных элементов и данные мозаичного элемента могут называться заголовком вырезки и данными вырезки, соответственно.[182] FIG. 8 approximately illustrates the hierarchical structure of CVS in accordance with an embodiment of the present document. The encoded video sequence (CVS) may include a sequence parameter set (SPS), a picture parameter set (PPS), a tile group header, tile data and/or a CTU. Here, the tile group header and tile data may be called slice header and slice data, respectively.

[183] SPS может включать в себя флаги, предназначенные для задействования инструментов, подлежащих использованию в CVS. К тому же к SPS можно обращаться при помощи PPS, включающего в себя информацию о параметрах, которые меняются для каждой картинки. Каждая из закодированных картинок может включать в себя один или более закодированных мозаичных элементов прямоугольной области. Мозаичные элементы могут группироваться на растровые сканирования, образующие группы мозаичных элементов. Каждая группа мозаичных элементов инкапсулирована с информацией заголовка, называемой заголовком группы мозаичных элементов. Каждый мозаичный элемент состоит из CTU, содержащей закодированные данные. Здесь данные могут включать в себя значения исходной выборки, значения выборки предсказания и его компоненты яркости и цветности (значения выборок предсказания яркости и значения выборок предсказания цветности).[183] The SPS may include flags to enable tools to be used by CVS. In addition, SPS can be accessed using PPS, which includes information about the parameters that change for each picture. Each of the encoded pictures may include one or more encoded rectangular area tiles. Tile elements can be grouped into raster scans that form groups of tiles. Each tile group is encapsulated with header information called a tile group header. Each tile consists of a CTU containing encoded data. Here, the data may include original sample values, prediction sample values, and its luminance and chrominance components (luminance prediction sample values and chrominance prediction sample values).

[184] Фиг. 9 иллюстрирует примерную структуру LMCS в соответствии с вариантом осуществления настоящего документа. Структура 900 LMCS на фиг. 9 включает в себя часть 910 внутриконтурного отображения компонентов яркости на основе адаптивных кусочно-линейных (адаптивных PWL) моделей и часть 920 зависимого от яркости остаточного масштабирования цветности для компонентов цветности. Блоки деквантования и обратного преобразования 911, восстановления 912 и интра-предсказания 913 части 910 внутриконтурного отображения представляют процессы, применяемые в отображаемой (переформированной) области. Блоки контурных фильтров 915, компенсации движения или интер-предсказания 917 части 910 внутриконтурного отображения и блоки восстановления 922, интра-предсказания 923, компенсации движения или интер-предсказания 924, контурных фильтров 925 части 920 остаточного масштабирования цветности представляют процессы, применяемые в исходной (не-отображенной, не-переформированной) области.[184] FIG. 9 illustrates an exemplary LMCS structure in accordance with an embodiment of the present document. The LMCS structure 900 in FIG. 9 includes an in-loop mapping portion of luminance components based on adaptive piecewise linear (adaptive PWL) models 910 and a luminance-dependent residual chroma scaling portion 920 for chrominance components. The dequantization and deconversion 911, reconstruction 912, and intra-prediction 913 blocks of the in-loop mapping portion 910 represent processes applied to the imaged (reshaped) region. The contour filter blocks 915, motion compensation or inter-prediction 917 of the intra-loop mapping portion 910, and the reconstruction blocks 922, intra-prediction 923, motion compensation or inter-prediction 924, contour filters 925 of the residual chroma scaling portion 920 represent the processes used in the original (not -mapped, non-reformed) area.

[185] Как проиллюстрировано на фиг. 9, когда LMCS включено, по меньшей мере один из процесса 914 обратного отображения (повторного формирования), процесса 918 прямого отображения (повторного формирования) и процесса 921 масштабирования цветности может применяться. Например, процесс обратного отображения может применяться к (восстановленной) выборке яркости (или выборкам яркости или массиву выборок яркости) в восстановленной картинке. Процесс обратного отображения может выполняться на основе кусочного индекса (обратной) функции выборки яркости. Кусочный индекс (обратной) функции может идентифицировать фрагмент, которому принадлежит выборка яркости. Выводом процесса обратного отображения является модифицированная (восстановленная) выборка яркости (или модифицированные выборки яркости или массив модифицированных выборок яркости). LMCS может включаться или выключаться на уровне группы мозаичных элементов (или вырезки), картинки или выше.[185] As illustrated in FIG. 9, when LMCS is enabled, at least one of a demapping process 914, a forward mapping process 918, and a chroma scaling process 921 may be applied. For example, the demapping process may be applied to the (reconstructed) luminance sample (or luminance samples or array of luminance samples) in the reconstructed picture. The inverse mapping process may be performed based on the piecewise index of the (inverse) luminance sampling function. The piecewise index of the (inverse) function can identify the fragment to which the brightness sample belongs. The output of the inverse mapping process is a modified (restored) luminance sample (or modified luminance samples or an array of modified luminance samples). LMCS can be turned on or off at the tile group (or clipping) level, picture level, or higher.

[186] Процесс прямого отображения и/или процесс масштабирования цветности могут применяться, чтобы сгенерировать восстановленную картинку. Картинка может содержать выборки яркости и выборки цветности. Восстановленная картинка с выборками яркости может называться восстановленной картинкой яркости, и восстановленная картинка с выборками цветности может называться восстановленной картинкой цветности. Комбинация восстановленной картинки яркости и восстановленной картинки цветности может называться восстановленной картинкой. Восстановленная картинка яркости может генерироваться на основе процесса прямого отображения. Например, если интер-предсказание применяется к текущему блоку, прямое отображение применяется к выборке предсказания яркости, выведенной на основе (восстановленной) выборки яркости в опорной картинке. Поскольку (восстановленная) выборка яркости в опорной картинке генерируется на основе процесса обратного отображения, прямое отображение может применяться к выборке предсказания яркости, таким образом, может выводиться отображенная (переформированная) выборка предсказания яркости. Процесс прямого отображения может выполняться на основе кусочного индекса функции выборки предсказания яркости. Кусочный индекс функции может выводиться на основе значения выборки предсказания яркости или значения выборки яркости в опорной картинке, используемой для интер-предсказания. Если интра-предсказание (или внутриблочное копирование (IBC)) применяется к текущему блоку, прямое отображение не является обязательным, поскольку процесс обратного отображения еще не применялся к восстановленным выборкам в текущей картинке. (Восстановленная) выборка яркости в восстановленной картинке яркости генерируется на основе отображенной выборки предсказания яркости и соответствующей остаточной выборки яркости.[186] A direct mapping process and/or a chroma scaling process may be used to generate a reconstructed picture. A picture may contain brightness samples and chrominance samples. The reconstructed picture with luma samples may be called a reconstructed luma picture, and the reconstructed picture with chroma samples may be called a reconstructed chrominance picture. The combination of the restored luma picture and the restored chrominance picture may be called a restored picture. The reconstructed luminance picture can be generated based on the direct mapping process. For example, if inter-prediction is applied to the current block, forward mapping is applied to the luminance prediction sample derived from the (reconstructed) luminance sample in the reference picture. Since the (reconstructed) luminance sample in the reference picture is generated based on the inverse mapping process, forward mapping can be applied to the luminance prediction sample, thus the mapped (remapped) luminance prediction sample can be output. The forward mapping process may be performed based on the piecewise index of the brightness prediction sampling function. The piecewise index of the function may be derived based on the luminance prediction sample value or the luminance sample value in the reference picture used for inter-prediction. If intra-prediction (or intra-block copying (IBC)) is applied to the current block, forward mapping is not necessary because the inverse mapping process has not yet been applied to the reconstructed samples in the current picture. The (reconstructed) luminance sample in the reconstructed luminance picture is generated based on the mapped luminance prediction sample and the corresponding residual luminance sample.

[187] Восстановленная картинка цветности может генерироваться на основе процесса масштабирования цветности. Например, (восстановленная) выборка цветности в восстановленной картинке цветности может выводиться на основе выборки цветности предсказания и остаточной выборки цветности (c_res) в текущем блоке. Остаточная выборка цветности (c_res) выводится на основе (масштабированной) остаточной выборки цветности (c_resScale), и коэффициента остаточного масштабирования цветности (cScaleInv может упоминаться как varScale) для текущего блока. Коэффициент остаточного масштабирования цветности может вычисляться на основе значений переформированной выборки предсказания яркости для текущего блока. Например, коэффициент масштабирования может вычисляться на основе среднего значения ave(Y'_pred) яркости значений Y'_pred переформированной выборки предсказания яркости. Для ссылки, на фиг. 9, (масштабированная) остаточная выборка цветности, выведенная на основе обратного преобразования/ деквантования, может упоминаться как c_resScale, и остаточная выборка цветности, выведенная путем выполнения процесса (обратного) масштабирования в (масштабированную) остаточную выборку цветности, может упоминаться как c_res.[187] A reconstructed chrominance picture can be generated based on a chrominance scaling process. For example, the (reconstructed) chrominance sample in the reconstructed chrominance picture may be derived based on the prediction chroma sample and the residual chrominance sample (c _res ) in the current block. The chroma residual sample (cr _res ) is derived based on the (scaled) chroma residual sample (c _resScale ) and the chroma residual scaling factor (cScaleInv may be referred to as varScale) for the current block. The residual chroma scaling factor may be calculated based on the values of the regenerated luminance prediction sample for the current block. For example, the scaling factor may be calculated based on the average luminance value ave(Y' _pred ) of the Y' _pred values of the resampled luminance prediction sample. For reference, FIG. 9, the (scaled) residual chroma sample output based on inverse transform/dequantization may be referred to as c _resScale , and the residual chroma sample output by performing the (inverse) scaling process into a (scaled) residual chrominance sample may be referred to as _cres .

[188] Фиг. 10 иллюстрирует структуру LMCS в соответствии с другим вариантом осуществления настоящего документа. Фиг. 10 описана со ссылкой на фиг. 9. Здесь, главным образом, описана разница между структурой LMCS по фиг. 10 и структурой 900 LMCS по фиг. 9. Часть внутриконтурного отображения и часть зависимого от яркости остаточного масштабирования цветности на фиг. 10 могут работать так же (аналогично), как и часть 910 внутриконтурного отображения и часть 920 зависимого от яркости остаточного масштабирования цветности на фиг. 9.[188] FIG. 10 illustrates a structure of an LMCS in accordance with another embodiment of the present document. Fig. 10 is described with reference to FIG. 9. Here, the difference between the LMCS structure of FIG. 10 and the LMCS structure 900 of FIG. 9. Part of the in-line mapping and part of the luminance-dependent residual chroma scaling in FIG. 10 may operate in the same way as the in-edge mapping portion 910 and the luminance-dependent residual chroma scaling portion 920 of FIG. 9.

[189] Со ссылкой на фиг. 10, коэффициент остаточного масштабирования цветности может выводиться на основе восстановленных выборок яркости. В этом случае, среднее значение (avgYr) яркости может быть получено (выведено) на основе соседних восстановленных выборок яркости вне восстановленного блока, а не внутренних восстановленных выборок яркости восстановленного блока, и коэффициент остаточного масштабирования цветности выводится на основе среднего значения (avgYr) яркости. Здесь, соседние восстановленные выборки яркости могут быть соседними восстановленными выборками яркости текущего блока или могут быть соседними восстановленными выборками яркости единиц данных виртуального конвейера (VPDU), включающих в себя текущий блок. Например, когда интра-предсказание применяется к целевому блоку, восстановленные выборки могут выводиться на основе выборок предсказания, которые выводятся на основе интра-предсказания. В другом примере, когда интер-предсказание применяется к целевому блоку, прямое отображение применяется к выборкам предсказания, которые выведены на основе интер-предсказания, и восстановленные выборки генерируются (выводятся) на основе переформированных (или прямо отображенных) выборок предсказания яркости.[189] With reference to FIG. 10, the residual chroma scaling factor can be derived based on the reconstructed luminance samples. In this case, the average luminance value (avgYr) can be obtained (inferred) based on the neighboring reconstructed luminance samples outside the reconstructed block rather than the internal reconstructed luminance samples of the reconstructed block, and the residual chroma scaling factor is derived based on the average luminance value (avgYr). Here, the adjacent reconstructed luminance samples may be adjacent reconstructed luminance samples of the current block or may be adjacent reconstructed luminance samples of virtual pipeline data units (VPDUs) including the current block. For example, when intra-prediction is applied to a target block, the reconstructed samples may be output based on the prediction samples that are output based on the intra-prediction. In another example, when inter-prediction is applied to a target block, forward mapping is applied to prediction samples that are inferred based on the inter-prediction, and reconstructed samples are generated (output) based on the remapped (or forward-mapped) brightness prediction samples.

[190] Информация видео/изображения, сигнализированная через битовый поток, может включать в себя параметры LMCS (информацию о LMCS). Параметры LMCS могут быть сконфигурированы как синтаксис высокого уровня (HLS, включающий в себя синтаксис заголовка вырезки) или тому подобное. Подробное описание и конфигурация параметров LMCS будут описаны далее. Как описано выше, синтаксические таблицы, описанные в настоящем документе (и последующих вариантах осуществления), могут быть сконфигурированы/закодированы на стороне кодера и сигнализироваться на сторону декодера посредством битового потока. Декодер может выполнять синтаксический анализ/ декодировать информацию о LMCS (в форме синтаксических компонентов) в синтаксических таблицах. Один или более вариантов осуществления, которые будут описаны ниже, могут комбинироваться. Кодер может кодировать текущую картинку на основе информации о LMCS, и декодер может декодировать текущую картинку на основе информации о LMCS.[190] The video/image information signaled via the bitstream may include LMCS parameters (LMCS information). LMCS parameters may be configured as high level syntax (HLS, including slice header syntax) or the like. The detailed description and configuration of LMCS parameters will be described below. As described above, the syntax tables described herein (and subsequent embodiments) may be configured/encoded on the encoder side and signaled to the decoder side via a bit stream. The decoder can parse/decode LMCS information (in the form of syntax components) in syntax tables. One or more embodiments that will be described below may be combined. The encoder may encode the current picture based on the LMCS information, and the decoder may decode the current picture based on the LMCS information.

[191] Внутриконтурное отображение компонентов яркости может регулировать динамический диапазон сигнала ввода путем перераспределения кодовых слов по динамическому диапазону, чтобы улучшить эффективность сжатия. Для отображения яркости, могут использоваться функция прямого отображения (повторного формирования) (FwdMap) и функция обратного отображения (повторного формирования) (InvMap), соответствующая функции прямого отображения (FwdMap). Функция FwdMap может сигнализироваться с использованием кусочно-линейных моделей, например, кусочно-линейная модель может иметь 16 фрагментов или бинов. Фрагменты могут иметь равную длину. В одном примере, функция InvMap не должна сигнализироваться и вместо этого выводится из функции FwdMap. То есть обратное отображение может быть функцией прямого отображения. Например, функция обратного отображения может быть математически построена как симметричная функция прямого отображения, как отражается линией y=x.[191] In-loop luminance component mapping can adjust the dynamic range of the input signal by redistributing codewords across the dynamic range to improve compression efficiency. To display brightness, a forward mapping function (FwdMap) and an inverse mapping function (InvMap) corresponding to the forward mapping function (FwdMap) can be used. The FwdMap function can be signaled using piecewise linear models, for example a piecewise linear model can have 16 fragments or bins. Fragments can be of equal length. In one example, the InvMap function should not be signaled and is instead derived from the FwdMap function. That is, the inverse mapping can be a function of the forward mapping. For example, the inverse mapping function can be mathematically constructed as a symmetric forward mapping function, as reflected by the line y=x.

[192] Внутриконтурное повторное формирование (яркости) может использоваться, чтобы отображать входные (выборки) значения яркости на измененные значения в переформированной области. Переформированные значения могут кодироваться и затем отображаться обратно на исходную (не-отображенную, не-переформированную) область после восстановления. Чтобы скомпенсировать взаимодействие между сигналом яркости и сигналом цветности, может применяться остаточное масштабирование цветности. Внутриконтурное повторное формирование выполняется путем специфицирования синтаксиса высокого уровня для модели формирователя. Синтаксис модели формирователя может сигнализировать кусочно-линейную модель (модель PWL). Например, синтаксис модели формирователя может сигнализировать модель PWL с 16 бинами или фрагментами равной длины. Прямая поисковая таблица (FwdLUT) и/или обратная поисковая таблица (InvLUT) могут выводиться на основе кусочно-линейной модели. Например, модель PWL предварительно вычисляет прямую (FwdLUT) и обратную (InvLUT) поисковые таблицы (LUT) с 1024 записями. В качестве примера, когда прямая поисковая таблица FwdLUT выведена, обратная поисковая таблица InvLUT может выводиться на основе прямой поисковой таблицы FwdLUT. Прямая поисковая таблица FwdLUT может отображать входные значения Yi яркости на измененные значения Yr, и обратная поисковая таблица InvLUT может отображать измененные значения Yr на восстановленные значения Y'i. Восстановленные значения Y′i могут выводиться на основе входных значений яркости Yi.[192] In-loop (luminance) reshaping can be used to map input (sampled) luminance values to modified values in the reshaped region. The re-mapped values can be encoded and then mapped back to the original (un-mapped, non-re-mapped) area after reconstruction. To compensate for the interaction between the luma signal and the chrominance signal, residual chroma scaling can be applied. In-loop reshaping is performed by specifying high-level syntax for the shaper model. The shaper model syntax can signal a piecewise linear model (PWL model). For example, the shaper model syntax might signal a PWL model with 16 bins or equal-length chunks. A forward lookup table (FwdLUT) and/or an inverse lookup table (InvLUT) can be derived based on a piecewise linear model. For example, the PWL model precomputes forward (FwdLUT) and inverse (InvLUT) lookup tables (LUTs) with 1024 entries. As an example, when the forward lookup table FwdLUT is output, the reverse lookup table InvLUT may be output based on the forward lookup table FwdLUT. The forward lookup table FwdLUT may map the input luminance values Yi to the modified Yr values, and the reverse lookup table InvLUT may map the modified Yr values to the reconstructed Y'i values. The reconstructed Y′i values can be output based on the input luminance values Yi.

[193] В одном примере, SPS может включать в себя синтаксис Таблицы 1 ниже. Синтаксис Таблицы 1 может включать в себя sps_reshaper_enabled_flag как инструмент, обеспечивающий флаг. Здесь, sps_reshaper_enabled_flag может использоваться, чтобы специфицировать, используется ли формирователь в закодированной последовательности видео (CVS). То есть, sps_reshaper_enabled_flag может быть флагом для обеспечения повторного формирования в SPS. В одном примере, синтаксис Таблицы 2 может быть частью SPS. [193] In one example, the SPS may include the syntax of Table 1 below. Table 1 syntax may include sps_reshaper_enabled_flag as a tool that provides the flag. Here, sps_reshaper_enabled_flag can be used to specify whether the shaper is used in the coded video sequence (CVS). That is, sps_reshaper_enabled_flag can be a flag to enable reshaping in the SPS. In one example, the syntax of Table 2 may be part of the SPS.

[194] [Таблица 2][194] [Table 2]

[195] В одном примере, семантика синтаксических элементов sps_seq_parameter_set_id и sps_reshaper_enabled_flag может быть такой, как показано в Таблице 3 ниже.[195] In one example, the semantics of the sps_seq_parameter_set_id and sps_reshaper_enabled_flag syntax elements may be as shown in Table 3 below.

[196] [Таблица 3][196] [Table 3]

[197] В одном примере, заголовок группы мозаичных элементов или заголовок вырезки может включать в себя синтаксис Таблицы 4 или Таблицы 5 ниже.[197] In one example, the tile group title or cut title may include the syntax of Table 4 or Table 5 below.

[198] [Таблица 4][198] [Table 4]

[199] [Таблица 5][199] [Table 5]

[200] Семантика синтаксических элементов, включенных в синтаксис Таблицы 4 или Таблицы 5, может включать в себя, например, содержимое, раскрытое в следующих таблицах.[200] The semantics of syntactic elements included in the syntax of Table 4 or Table 5 may include, for example, content disclosed in the following tables.

[201] [Таблица 6][201] [Table 6]

[202] [Таблица 7][202] [Table 7]

[203] В качестве одного примера, когда флаг, задействующий повторное формирование (т.е. sps_reshaper_enabled_flag), синтаксически анализируется в SPS, заголовок группы мозаичных элементов может синтаксически анализировать дополнительные данные (т.е. информацию, включенную в Таблицу 6 или 7), которые используются для создания поисковых таблиц (FwdLUT и/или InvLUT). Для этого, статус флага (sps_reshaper_enabled_flag) формирователя SPS может сначала проверяться в заголовке вырезки или заголовке группы мозаичных элементов. Когда sps_reshaper_enabled_flag истинно (или 1), дополнительный флаг, т.е. tile_group_reshaper_model_present_flag (или slice_reshaper_model_present_flag) может синтаксически анализироваться. Цель tile_group_reshaper_model_present_flag (или slice_reshaper_model_present_flag) может состоять в том, чтобы указывать наличие модели повторного формирования. Например, когда tile_group_reshaper_model_present_flag (или slice_reshaper_model_present_flag) истинно (или 1), может указываться, что формирователь представлен для текущей группы мозаичных элементов (или текущей вырезки). Когда tile_group_reshaper_model_present_flag (или slice_reshaper_model_present_flag) ложно (или 0), может указываться, что формирователь не представлен для текущей группы мозаичных элементов (или текущей вырезки).[203] As one example, when a flag enabling reshaping (i.e., sps_reshaper_enabled_flag) is parsed in the SPS, the tile group header may parse additional data (i.e., information included in Table 6 or 7) , which are used to create lookup tables (FwdLUT and/or InvLUT). To do this, the status of the flag (sps_reshaper_enabled_flag) of the SPS shaper may first be checked in the slice header or tile group header. When sps_reshaper_enabled_flag is true (or 1), the additional flag, i.e. tile_group_reshaper_model_present_flag (or slice_reshaper_model_present_flag) can be parsed. The purpose of tile_group_reshaper_model_present_flag (or slice_reshaper_model_present_flag) could be to indicate the presence of a reshaping model. For example, when tile_group_reshaper_model_present_flag (or slice_reshaper_model_present_flag) is true (or 1), it may indicate that a shaper is presented for the current tile group (or current slice). When tile_group_reshaper_model_present_flag (or slice_reshaper_model_present_flag) is false (or 0), it may indicate that a shaper is not present for the current tile group (or current slice).

[204] Если формирователь представлен и формирователь включен в текущей группе мозаичных элементов (или текущей вырезке), модель формирователя (т.е. tile_group_reshaper_model() или slice_reshaper_model()) может обрабатываться. В дополнение к этому, дополнительный флаг, tile_group_reshaper_enable_flag (или slice_reshaper_enable_flag) может также синтаксически анализироваться. tile_group_reshaper_enable_flag (или slice_reshaper_enable_flag) может указывать, используется ли модель повторного формирования для текущей группы мозаичных элементов (или вырезки). Например, если tile_group_reshaper_enable_flag (или slice_reshaper_enable_flag) равен 0 (или ложно), может указываться, что модель повторного формирования не используется для текущей группы мозаичных элементов (или текущей вырезки). Если tile_group_reshaper_enable_flag (или slice_reshaper_enable_flag) равен 1 (или истинно), может указываться, что модель повторного формирования используется для текущей группы мозаичных элементов (или вырезки).[204] If a shaper is presented and the shaper is enabled in the current tile group (or current slice), the shaper model (ie, tile_group_reshaper_model() or slice_reshaper_model()) can be processed. In addition to this, an additional flag, tile_group_reshaper_enable_flag (or slice_reshaper_enable_flag) can also be parsed. tile_group_reshaper_enable_flag (or slice_reshaper_enable_flag) can indicate whether the reshaper model is used for the current tile group (or slice). For example, if tile_group_reshaper_enable_flag (or slice_reshaper_enable_flag) is 0 (or false), it may indicate that the reshaping model is not being used for the current tile group (or current slice). If tile_group_reshaper_enable_flag (or slice_reshaper_enable_flag) is 1 (or true), it may indicate that the reshaping model is being used for the current tile group (or slice).

[205] В качестве одного примера, tile_group_reshaper_model_present_flag (или slice_reshaper_model_present_flag) может быть истинно (или 1), и tile_group_reshaper_enable_flag (или slice_reshaper_enable_flag) может быть ложно (или 0). Это означает, что модель повторного формирования представлена, но не используется в текущей группе мозаичных элементов (или вырезке). В этом случае, модель повторного формирования может использоваться в будущих группах мозаичных элементов (или вырезках). В качестве примера, tile_group_reshaper_enable_flag может быть истинно (или 1), и tile_group_reshaper_model_present_flag может быть ложно (или 0). В таком случае, декодер использует формирователь из предыдущей инициализации.[205] As one example, tile_group_reshaper_model_present_flag (or slice_reshaper_model_present_flag) may be true (or 1), and tile_group_reshaper_enable_flag (or slice_reshaper_enable_flag) may be false (or 0). This means that the reshaping model is present but not used in the current tile group (or clipping). In this case, the reshaping model can be used in future tile groups (or cuts). As an example, tile_group_reshaper_enable_flag may be true (or 1), and tile_group_reshaper_model_present_flag may be false (or 0). In this case, the decoder uses the shaper from the previous initialization.

[206] Когда модель повторного формирования (т.е. tile_group_reshaper_model() или slice_reshaper_model()) и tile_group_reshaper_enable_flag (или slice_reshaper_enable_flag) синтаксически проанализированы, может определяться (оцениваться), представлены ли условия, необходимые для масштабирования цветности. Условия выше включают в себя условие 1 (текущая группа мозаичных элементов/вырезка не была интра-закодирована) и/или условие 2 (текущая группа мозаичных элементов/вырезка не была разбита на две отдельных структуры квадродерева кодирования для яркости и цветности, т.е. структура блока для текущей группы мозаичных элементов/вырезки не является структурой двойного дерева). Если условие 1 и/или условие 2 истинно и/или tile_group_reshaper_enable_flag (или slice_reshaper_enable_flag) истинно (или 1), то tile_group_reshaper_chroma_residual_scale_flag (или slice_reshaper_chroma_residual_scale_flag) может синтаксически анализироваться. Когда tile_group_reshaper_chroma_residual_scale_flag (или slice_reshaper_chroma_residual_scale_flag) включено (если 1 или истинно), может указываться, что остаточное масштабирование цветности включено для текущей группы мозаичных элементов (или вырезки). Когда tile_group_reshaper_chroma_residual_scale_flag (или slice_reshaper_chroma_residual_scale_flag) выключено (если 0 или ложно), может указываться, что остаточное масштабирование цветности отключено для текущей группы мозаичных элементов (или вырезки).[206] When the reshaping model (i.e., tile_group_reshaper_model() or slice_reshaper_model()) and tile_group_reshaper_enable_flag (or slice_reshaper_enable_flag) are parsed, it can be determined (evaluated) whether the conditions necessary for chroma scaling are represented. The conditions above include condition 1 (the current tileset/clipping was not intra-encoded) and/or condition 2 (the current tileset/clipping was not split into two separate encoding quadtree structures for luma and chrominance, i.e. The block structure for the current tile/cut group is not a double tree structure). If condition 1 and/or condition 2 is true and/or tile_group_reshaper_enable_flag (or slice_reshaper_enable_flag) is true (or 1), then tile_group_reshaper_chroma_residual_scale_flag (or slice_reshaper_chroma_residual_scale_flag) can be parsed. When tile_group_reshaper_chroma_residual_scale_flag (or slice_reshaper_chroma_residual_scale_flag) is enabled (if 1 or true), it can indicate that residual chroma scaling is enabled for the current tile group (or slice). When tile_group_reshaper_chroma_residual_scale_flag (or slice_reshaper_chroma_residual_scale_flag) is disabled (if 0 or false), it can indicate that residual chroma scaling is disabled for the current tile group (or slice).

[207] Цель модели повторного формирования группы мозаичных элементов состоит в том, чтобы синтаксически анализировать данные, которые будут необходимы для создания поисковых таблиц (LUT). Эти LUT создаются на основе идеи, что распределение допустимого диапазона значений яркости может быть разделено на множество бинов (например, 16 бинов), которые могут быть представлены с использованием набора системы 16 PWL уравнений. Поэтому, любое значение яркости, которое лежит в пределах данного бина, может отображаться на измененное значение яркости.[207] The purpose of the re-tile model is to parse the data that will be needed to create lookup tables (LUTs). These LUTs are created based on the idea that the distribution of a valid range of luminance values can be divided into many bins (eg, 16 bins), which can be represented using a set of 16 PWL equations. Therefore, any luminance value that lies within a given bin can be mapped to a modified luminance value.

[208] Фиг. 11 показывает график, представляющий примерное прямое отображение. На фиг. 11, пять бинов проиллюстрированы в качестве примера.[208] FIG. 11 shows a graph representing an exemplary forward mapping. In fig. 11, five bins are illustrated as an example.

[209] Со ссылкой на фиг. 11, ось x представляет входные значения яркости, и ось y представляет измененные выходные значения яркости. Ось x делится на 5 бинов или вырезок, каждый бин имеет длину L. То есть пять бинов, отображаемых на измененные значения яркости, имеют одну и ту же длину. Прямая поисковая таблица (FwdLUT) может создаваться с использованием данных (т.е. данных формирователя), доступных из заголовка группы мозаичных элементов, и поэтому отображение может облегчаться.[209] With reference to FIG. 11, the x-axis represents the input luminance values, and the y-axis represents the modified output luminance values. The x-axis is divided into 5 bins or slices, each bin has a length L. That is, the five bins mapped to the changed luminance values have the same length. A forward lookup table (FwdLUT) can be created using data (ie, builder data) available from the tile group header, and therefore display can be made easier.

[210] В одном варианте осуществления, могут вычисляться выходные точки поворота, ассоциированные с индексами бинов. Выходные точки поворота могут устанавливать (маркировать) минимальную и максимальную границы диапазона вывода повторного формирования кодового слова яркости. Процесс вычисления выходных точек поворота может выполняться путем вычисления кусочно-кумулятивной функции распределения (CDF) числа кодовых слов. Выходной диапазон поворота может сегментироваться на основе максимального числа бинов, подлежащих использованию, и размера поисковой таблицы (FwdLUT или InvLUT). В качестве одного примера, выходной диапазон поворота может сегментироваться на основе произведения максимального числа бинов и размера поисковой таблицы (размер LUT * максимальное число индексов бинов). Например, если произведение максимального числа бинов и размеров поисковой таблицы составляет 1024, выходной диапазон поворота может сегментироваться в 1024 входов. Этот зубец выходного диапазона поворота может выполняться (применяться или достигаться) на основе (с использованием) коэффициента масштабирования. В одном примере, коэффициент масштабирования может выводиться на основе Уравнения 1 ниже.[210] In one embodiment, output turning points associated with bin indices may be calculated. The output turning points may set (mark) the minimum and maximum limits of the luminance codeword regeneration output range. The process of calculating output turning points can be performed by calculating a piecewise cumulative distribution function (CDF) of the number of codewords. The output rotation range can be segmented based on the maximum number of bins to be used and the size of the lookup table (FwdLUT or InvLUT). As one example, the output rotation range may be segmented based on the product of the maximum number of bins and the size of the lookup table (LUT size * maximum number of bin indexes). For example, if the product of the maximum number of bins and the lookup table size is 1024, the output rotation range can be segmented into 1024 inputs. This output rotation range cog can be performed (applied or achieved) based on (using) the scaling factor. In one example, the scaling factor may be derived based on Equation 1 below.

[211] [Уравнение 1][211] [Equation 1]

[212] В Уравнении 1, SF обозначает коэффициент масштабирования, и y1 и y2 обозначают выходные точки поворота, соответствующие каждому бину. Также FP_PREC и c могут быть предопределенными постоянными. Коэффициент масштабирования, определенный на основе Уравнения 1, может называться коэффициентом масштабирования для прямого повторного формирования.[212] In Equation 1, SF denotes the scaling factor, and y1 and y2 denote the output turning points corresponding to each bin. Also FP_PREC and c can be predefined constants. The scaling factor determined based on Equation 1 may be called the direct reshaping scaling factor.

[213] В другом варианте осуществления, в отношении обратного повторного формирования (обратного отображения), для определенного диапазона бинов, подлежащих использованию (т.е. от reshaper_model_min_bin_idx до reshape_model_max_bin_idx), введенные переформированные точки поворота, которые соответствуют отображаемым точкам поворота прямого LUT, и отображаемые обратные выходные точки поворота (заданные индексом бина с учетом * числа исходных кодовых слов), выводятся. В другом примере, коэффициент SF масштабирования может выводиться на основе Уравнения 2 ниже.[213] In another embodiment, with respect to reverse reshaping (remapping), for a certain range of bins to be used (i.e., reshaper_model_min_bin_idx to reshape_model_max_bin_idx), reshape turning points are input that correspond to the mapped turning points of the forward LUT, and the displayed inverse output turning points (given by the bin index, taking into account * the number of original codewords) are output. In another example, the scaling factor SF may be derived based on Equation 2 below.

[214] [Уравнение 2][214] [Equation 2]

[215] В Уравнении 2, SF обозначает коэффициент масштабирования, x1 и x2 обозначают входные точки поворота, и y1 и y2 обозначают выходные точки поворота, соответствующие каждому фрагменту (бину) (выходные точки поворота обратного отображения). Здесь, входные точки поворота могут представлять точки поворота, отображаемые на основе прямой поисковой таблицы (FwdLUT), и выходные точки поворота могут представлять точки поворота, обратно отображенные на основе обратной поисковой таблицы (InvLUT). Также, FP_PREC может быть предопределенным постоянным значением. FP_PREC из Уравнения 2 может быть тем же или отличным от FP_PREC из Уравнения 1. Коэффициент масштабирования, определенный на основе Уравнения 2, может называться коэффициентом масштабирования для обратного повторного формирования. При обратном повторном формировании, разбиение входных точек поворота может выполняться на основе коэффициента масштабирования Уравнения 2. Коэффициент SF масштабирования используется для сегментации диапазона входных точек поворота. На основе сегментированных входных точек поворота, индексам бинов в диапазоне от 0 до минимального индекса бина (reshaper_model_min_bin_idx) и/или от минимального индекса бина (reshaper_model_min_bin_idx) до максимального индекса бина (reshape_model_max_bin_idx) назначаются значения поворота соответственно минимальному и максимальному значениям бинов.[215] In Equation 2, SF denotes the scaling factor, x1 and x2 denote the input turning points, and y1 and y2 denote the output turning points corresponding to each bin (inverse mapping output turning points). Here, the input turning points may represent turning points mapped based on a forward lookup table (FwdLUT), and the output turning points may represent turning points inversely mapped based on an inverse lookup table (InvLUT). Also, FP_PREC can be a predefined constant value. FP_PREC from Equation 2 may be the same or different from FP_PREC from Equation 1. The scaling factor determined based on Equation 2 may be called the inverse reshaping scaling factor. In inverse reshaping, partitioning of the input turning points can be performed based on the scaling factor of Equation 2. The scaling factor SF is used to segment a range of input turning points. Based on the segmented input rotation points, bin indices ranging from 0 to the minimum bin index (reshaper_model_min_bin_idx) and/or from the minimum bin index (reshaper_model_min_bin_idx) to the maximum bin index (reshape_model_max_bin_idx) are assigned rotation values according to the minimum and maximum values of the bins.

[216] Таблица 8 ниже показывает синтаксис модели формирователя в соответствии с вариантом осуществления. Модель формирователя может называться моделью повторного формирования или моделью LMCS. Здесь, модель формирователя была описана для примера как формирователь группы мозаичных элементов, но настоящий документ не ограничен этим вариантом осуществления. Например, модель формирователя может быть включена в APS, или модель формирователя группы мозаичных элементов может называться моделью формирователя вырезки или данными LMCS. Также, префикс reshaper_model или Rsp может использоваться взаимозаменяемо с lmcs. Например, в следующих таблицах и описании ниже, reshaper_model_min_bin_idx, reshaper_model_delta_max_bin_idx, reshaper_model_max_bin_idx, RspCW, RsepDeltaCW могут использоваться взаимозаменяемо с lmcs_min_bin_idx, lmcs_delta_cs_bin_idx, lmx, lmcs_delta_csDcselta_idx, lmx, соответственно.[216] Table 8 below shows the syntax of the driver model in accordance with the embodiment. The shaper model may be called the reshaping model or the LMCS model. Here, the driver model has been described as an example as a tile group driver, but the present document is not limited to this embodiment. For example, a generator model may be included in the APS, or a tile group generator model may be referred to as a cut generator model or LMCS data. Also, the reshaper_model or Rsp prefix can be used interchangeably with lmcs. For example, in the following tables and description below, reshaper_model_min_bin_idx, reshaper_model_delta_max_bin_idx, reshaper_model_max_bin_idx, RspCW, RsepDeltaCW can be used interchangeably with lmcs_min_bin_idx, lmcs_delta_cs_bin_idx, lmx, lmcs_delta_csDcselta_id x, lmx, respectively.

[217] [Таблица 8][217] [Table 8]

[218] Семантика синтаксических элементов, включенных в синтаксис Таблицы 8, может включать в себя, например, содержимое, раскрытое в следующей таблице.[218] The semantics of the syntactic elements included in the syntax of Table 8 may include, for example, the content disclosed in the following table.

[219] [Таблица 9][219] [Table 9]

[220] [220]

[221] Процесс обратного отображения для выборки яркости в соответствии с настоящим документом может быть описан в форме документа стандарта, как показано в Таблице ниже.[221] The demapping process for luminance sampling according to this document can be described in the form of a standard document, as shown in the Table below.

[222] [Таблица 10][222] [Table 10]

[223] Идентификация процесса кусочного индекса функции для выборки яркости в соответствии с настоящим документом может быть описана в форме документа стандарта, как показано в Таблице ниже. В Таблице 11 idxYInv может называться индексом обратного отображения, и индекс обратного отображения может выводиться на основе восстановленных выборок яркости (lumaSample).[223] The identification of the piecewise index function process for luminance sampling according to the present document can be described in the form of a standard document, as shown in the Table below. In Table 11, idxYInv may be called an inverse mapping index, and the inverse mapping index may be derived based on the reconstructed lumaSample.

[224] [Таблица 11][224] [Table 11]

[225] Отображение яркости может выполняться на основе вышеописанных вариантов осуществления и примеров, и вышеописанные синтаксис и компоненты, включенные в них, могут быть только примерными представлениями, и варианты осуществления в настоящем документе не ограничены вышеупомянутыми таблицами или уравнениями. Далее описан способ для выполнения остаточного масштабирования цветности (масштабирования для компонентов цветности остаточных выборок) на основе отображения яркости.[225] Brightness display can be performed based on the above-described embodiments and examples, and the above-described syntax and components included therein may only be exemplary representations, and the embodiments herein are not limited to the above-mentioned tables or equations. The following describes a method for performing residual chroma scaling (scaling for the chrominance components of residual samples) based on the luma mapping.

[226] (Зависимое от яркости) остаточное масштабирование цветности предназначено для компенсации взаимодействия между сигналом яркости и его соответствующими сигналами цветности. Например, то, включено ли или нет остаточное масштабирование цветности, также сигнализируется на уровне группы мозаичных элементов. В одном примере, если отображение яркости включено и если разбиение двойного дерева (также известное как отдельное дерево цветности) не применяется к текущей группе мозаичных элементов, дополнительная метка сигнализируется, чтобы указывать, включено или нет зависимое от яркости остаточное масштабирование цветности. В другом примере, когда отображение яркости не используется или когда разбиение двойного дерева используется в текущей группе мозаичных элементов, зависимое от яркости остаточное масштабирование цветности выключено. В другом примере, зависимое от яркости остаточное масштабирование цветности всегда выключено для блоков цветности, у которых площадь меньше или равна 4.[226] (Luma-dependent) residual chroma scaling is designed to compensate for the interaction between the luminance signal and its corresponding chrominance signals. For example, whether residual chroma scaling is enabled or not is also signaled at the tile group level. In one example, if luminance mapping is enabled and if a dual tree split (also known as a separate chroma tree) is not applied to the current tile group, an additional flag is signaled to indicate whether luminance-dependent residual chroma scaling is enabled or not. In another example, when luminance mapping is not used or when bi-tree splitting is used in the current tile group, luminance-dependent residual chroma scaling is disabled. In another example, luminance-dependent residual chroma scaling is always turned off for chroma blocks that have an area less than or equal to 4.

[227] Остаточное масштабирование цветности может быть основано на среднем значении соответствующего блока предсказания яркости (компонента яркости блока предсказания, к которому применяется режим интра-предсказания и/или режим интер-предсказания). Операции масштабирования на стороне кодера и/или стороне декодера могут быть реализованы при помощи целочисленной арифметики с фиксированной запятой на основе Уравнения 3 ниже.[227] The residual chroma scaling may be based on the average value of the corresponding luminance prediction block (the luminance component of the prediction block to which the intra-prediction mode and/or inter-prediction mode is applied). Scaling operations on the encoder side and/or decoder side can be implemented using fixed-point integer arithmetic based on Equation 3 below.

[228] [Уравнение 3][228] [Equation 3]

[229] В Уравнении 3, c обозначает остаток цветности (остаточную выборку цветности, компонент цветности остаточной выборки), c' обозначает масштабированную остаточную выборку цветности (масштабированный компонент цветности остаточной выборки), s обозначает коэффициент остаточного масштабирования цветности, и CSCALE_FP_PREC обозначает (предопределенное) постоянное значение, чтобы специфицировать степень точности. Например, CSCALE_FP_PREC может составлять 11. Коэффициент масштаба остатка цветности вычисляется из ChromaScaleCoef[idxS], где idxS определяется соответствующим средним значением яркости TU в переформированной области.[229] In Equation 3, c denotes the chroma residual (chroma residual sample, chroma component of the residual sample), c' denotes the scaled chroma residual sample (scaled chroma component of the residual sample), s denotes the chroma residual scaling factor, and CSCALE_FP_PREC denotes (predefined) a constant value to specify the degree of accuracy. For example, CSCALE_FP_PREC could be 11. The chroma residual scale factor is calculated from ChromaScaleCoef[idxS], where idxS is determined by the corresponding average TU luminance value in the reshaped region.

[230] Фиг. 12 является блок-схемой последовательности операций, иллюстрирующей способ для вывода индекса остаточного масштабирования цветности в соответствии с вариантом осуществления настоящего документа. Способ на фиг. 12 может выполняться на основе фиг. 9, и таблиц, уравнений, переменных, массивов и функций, включенных в описание, относящееся к фиг. 9.[230] FIG. 12 is a flowchart illustrating a method for outputting a residual chroma scaling index in accordance with an embodiment of the present document. The method in Fig. 12 may be based on FIG. 9, and the tables, equations, variables, arrays and functions included in the description relating to FIG. 9.

[231] На этапе S1210, может определяться, является ли режим предсказания для текущего блока режимом интра-предсказания или режимом интер-предсказания, на основе информации режима предсказания. Если режим предсказания является режимом интра-предсказания, текущий блок или выборки предсказания текущего блока рассматриваются как находящиеся в переформированной (отображенной) области. Если режим предсказания является режимом интер-предсказания, текущий блок или выборки предсказания текущего блока рассматриваются как находящиеся в исходной (не-отображенной, не-переформированной) области.[231] In step S1210, it can be determined whether the prediction mode for the current block is an intra-prediction mode or an inter-prediction mode based on the prediction mode information. If the prediction mode is an intra-prediction mode, the current block or prediction samples of the current block are considered to be in the remapped region. If the prediction mode is an inter-prediction mode, the current block or prediction samples of the current block are considered to be in the original (non-mapped, non-reframed) region.

[232] На этапе S1220, когда режим предсказания является режимом интра-предсказания, среднее текущего блока (или выборки предсказания яркости текущего блока) могут вычисляться (выводиться). То есть, среднее текущего блока в уже переформированной области вычисляется непосредственно. Среднее может также называться средним значением, средним или усредненным значением.[232] In step S1220, when the prediction mode is the intra-prediction mode, the average of the current block (or the luminance prediction samples of the current block) can be calculated (output). That is, the average of the current block in the already reformed area is calculated directly. The mean may also be called the mean, average, or mean.

[233] На этапе S1221, когда режим предсказания является режимом интер-предсказания, прямое повторное формирование (прямое отображение) может выполняться (применяться) на выборках предсказания яркости текущего блока. Через прямое повторное формирование, выборки предсказания яркости на основе режима интер-предсказания могут отображаться из исходной области в переформированную область. В одном примере, прямое повторное формирование выборок предсказания яркости может выполняться на основе модели повторного формирования, описанной при помощи Таблицы 8 выше.[233] In step S1221, when the prediction mode is the inter-prediction mode, direct regeneration (direct mapping) can be performed (applied) on the luminance prediction samples of the current block. Through direct reshaping, brightness prediction samples based on the inter-prediction mode can be mapped from the original region to the reshaped region. In one example, direct brightness prediction resampling may be performed based on the resampling model described using Table 8 above.

[234] На этапе S1222, среднее прямых переформированных (прямых отображенных) выборок предсказания яркости может вычисляться (выводиться). То есть может выполняться процесс усреднения для прямого переформированного результата.[234] In step S1222, the average of the forward reformatted (direct mapped) brightness prediction samples may be calculated (output). That is, an averaging process can be performed on the direct reformatted result.

[235] На этапе S1230, может вычисляться индекс остаточного масштабирования цветности. Когда режим предсказания является режимом интра-предсказания, индекс остаточного масштабирования цветности может вычисляться на основе среднего выборок предсказания яркости. Когда режим предсказания является режимом интер-предсказания, индекс остаточного масштабирования цветности может вычисляться на основе среднего прямых переформированных выборок предсказания яркости.[235] In step S1230, the residual chroma scaling index may be calculated. When the prediction mode is an intra-prediction mode, the residual chrominance scaling index may be calculated based on the average of the luminance prediction samples. When the prediction mode is an inter-prediction mode, the residual chroma scaling index may be calculated based on the average of the forward resampled luminance prediction samples.

[236] В варианте осуществления, индекс остаточного масштабирования цветности может вычисляться на основе контурного синтаксиса. Таблица ниже показывает пример для контура синтаксиса для вывода (вычисления) индекса остаточного масштабирования цветности.[236] In an embodiment, the residual chroma scaling index may be calculated based on the contour syntax. The table below shows an example for the syntax loop for deriving (calculating) the residual chroma scaling index.

[237] [Таблица 12][237] [Table 12]

[238] В Таблице 12, idxS представляет индекс остаточного масштабирования цветности, idxFound представляет индекс, идентифицирующий, получен ли индекс остаточного масштабирования цветности, удовлетворяющий условию оператора if, S представляет предопределенное постоянное значение, и MaxBinIdx представляет максимальный разрешенный индекс бина. ReshapPivot[idxS+1] может выводиться на основе Таблицы 8 и/или 9, описанной выше.[238] In Table 12, idxS represents a residual chroma scaling index, idxFound represents an index identifying whether a residual chroma scaling index satisfying the condition of the if statement is obtained, S represents a predefined constant value, and MaxBinIdx represents the maximum allowed bin index. ReshapPivot[idxS+1] may be derived based on Table 8 and/or 9 described above.

[239] В варианте осуществления, коэффициент остаточного масштабирования цветности может выводиться на основе индекса остаточного масштабирования цветности. Уравнение 4 является примером для вывода коэффициента остаточного масштабирования цветности.[239] In an embodiment, the chroma residual scaling factor may be derived based on the chroma residual scaling index. Equation 4 is an example for deriving the residual chroma scaling factor.

[240] [Уравнение 4][240] [Equation 4]

[241] В Уравнении 4, s представляет коэффициент остаточного масштабирования цветности, и ChromaScaleCoef может быть переменной (или массивом), выведенной на основе Таблицы 8 и/или 9, описанной выше.[241] In Equation 4, s represents the residual chroma scaling coefficient, and ChromaScaleCoef may be a variable (or array) derived based on Table 8 and/or 9 described above.

[242] Как описано выше, может быть получено среднее значение яркости опорных выборок, и коэффициент остаточного масштабирования цветности может выводиться на основе среднего значения яркости. Как описано выше, остаточная выборка компонента цветности может масштабироваться на основе коэффициента остаточного масштабирования цветности, и выборка восстановления компонента цветности может генерироваться на основе масштабированной остаточной выборки компонента цветности.[242] As described above, the average luminance value of the reference samples can be obtained, and the residual chroma scaling factor can be derived based on the average luminance value. As described above, the chrominance component residual sample may be scaled based on the chroma residual scaling factor, and the chroma component restoration sample may be generated based on the scaled chrominance component residual sample.

[243] В одном варианте осуществления настоящего документа, предложена структура сигнализации для эффективного применения вышеописанного LMCS. В соответствии с этим вариантом осуществления настоящего документа, например, данные LMCS могут быть включены в HLS (т.е. APS), и через информацию заголовка (т.е. заголовок картинки, заголовок вырезки), которая представляет собой более низкий уровень APS, модель LMCS (модель формирователя) может адаптивно выводиться путем сигнализации ID APS, которое называется информацией заголовка. Модель LMCS может выводиться на основе параметров LMCS. Также, например, множество APS ID может сигнализироваться через информацию заголовка, и посредством этого, разные модели LMCS могут применяться в единицах блоков в пределах одной и той же картинки/вырезки.[243] In one embodiment of the present document, a signaling structure is proposed to effectively implement the above-described LMCS. According to this embodiment of the present document, for example, LMCS data may be included in HLS (i.e., APS), and through header information (i.e., picture title, slice title) which represents a lower layer of the APS, The LMCS model (former model) can be adaptively derived by signaling the APS ID, which is called header information. The LMCS model can be derived based on the LMCS parameters. Also, for example, multiple APS IDs can be signaled through header information, and through this, different LMCS models can be applied in block units within the same picture/cut.

[244] В одном варианте осуществления в соответствии с настоящим документом, предложен способ для эффективного выполнения операции, требуемой для LMCS. В соответствии с семантикой, описанной выше в Таблице 8, операция деления на длину фрагмента lmcsCW[i] (также обозначаемого RspCW[i] в настоящем документе) требуется для выведения InvScaleCoeff[i]. Длина фрагмента обратного отображения может не быть степенью 2, что означает, что деление не может выполняться посредством битового сдвига.[244] In one embodiment according to the present document, a method is provided for efficiently performing an operation required for an LMCS. According to the semantics described in Table 8 above, a division by fragment length lmcsCW[i] (also referred to as RspCW[i] herein) is required to derive InvScaleCoeff[i]. The length of the demapping fragment may not be a power of 2, which means division cannot be performed by bit shifting.

[245] Например, вычисление InvScaleCoeff может требовать до 16 делений на вырезку. В соответствии с Таблицей 9, описанной выше, для кодирования 10 битов, диапазон lmcsCW[i] составляет от 8 до 511, поэтому, чтобы реализовать операцию деления на lmcsCW[i] с использованием LUT, размер LUT должен составлять 504. Также, для кодирования 12 битов, диапазон lmcsCW[i] составляет от 32 до 2047, поэтому размер LUT должен составлять 2016, чтобы реализовать операцию деления на lmcsCW[i] с использованием LUT. То есть деление является затратным в аппаратной реализации, поэтому желательно по возможности избегать деления.[245] For example, calculating InvScaleCoeff may require up to 16 divisions per cut. According to Table 9 described above, for encoding 10 bits, the range of lmcsCW[i] is from 8 to 511, so to implement the division operation by lmcsCW[i] using LUT, the size of LUT should be 504. Also, for encoding 12 bits, lmcsCW[i] range is from 32 to 2047, so the LUT size should be 2016 to implement the division operation by lmcsCW[i] using LUT. That is, division is expensive to implement in hardware, so it is advisable to avoid division whenever possible.

[246] В одном аспекте этого варианта осуществления, lmcsCW[i] может быть ограничено как кратное фиксированного числа (или предварительно определенного числа). Соответственно, поисковая таблица (LUT) (емкость или размер LUT) для деления может быть уменьшена. Например, если lmcsCW[i] становится кратным 2, размер LUT для замены процесса деления может уменьшаться вполовину.[246] In one aspect of this embodiment, lmcsCW[i] may be limited to be a multiple of a fixed number (or a predetermined number). Accordingly, the lookup table (LUT) (capacity or size of the LUT) for division can be reduced. For example, if lmcsCW[i] becomes a multiple of 2, the size of the LUT to replace the division process may be reduced by half.

[247] В другом аспекте этого варианта осуществления, предложено, что для кодирования с кодированием более высокой внутренней битовой глубины, в дополнение к существующим ограничениям “значение lmcsCW[i] должно находиться в диапазоне от (OrgCW>>3) до (OrgCW<<3−1)”, дополнительным ограничением должно быть то, что lmcsCW[i] кратно 1<<(BitDepthY-10), если битовая глубина кодирования выше чем 10. Здесь, BitDepthY может представлять собой битовую глубину яркости. Соответственно, возможное число lmcsCW[i] не будет меняться с битовой глубиной кодирования, и размер LUT, необходимый для вычисления InvScaleCoeff, не увеличивается для более высокой глубины кодирования. Например, для внутренней битовой глубины кодирования 12 битов, ограничение lmcsCW[i] является кратным 4, тогда LUT для замены процесса деления будет той же самой, что и LUT, подлежащая использованию для кодирования 10 битов. Этот аспект может быть реализован отдельно, но он может также быть реализован в комбинации с вышеупомянутым аспектом.[247] In another aspect of this embodiment, it is proposed that for encoding with higher internal bit depth encoding, in addition to the existing restrictions, “the value of lmcsCW[i] must be in the range from (OrgCW>>3) to (OrgCW<< 3−1)”, the additional constraint shall be that lmcsCW[i] is a multiple of 1<<(BitDepthY-10) if the encoding bit depth is higher than 10. Here, BitDepthY may represent the luminance bit depth. Accordingly, the possible number of lmcsCW[i] will not change with bit depth, and the size of the LUT required to calculate InvScaleCoeff does not increase for higher coding depth. For example, for an internal encoding bit depth of 12 bits, the lmcsCW[i] constraint is a multiple of 4, then the LUT to replace the division process will be the same as the LUT to be used to encode 10 bits. This aspect may be implemented alone, but it may also be implemented in combination with the above aspect.

[248] В другом аспекте этого варианта осуществления, lmcsCW[i] может быть ограничено более узким диапазоном. Например, lmcsCW[i] может быть ограничено в пределах диапазона от (OrgCW>>1) до (OrgCW<<1)-1. Тогда для кодирования 10 битов, диапазон lmcsCW[i] может составлять [32, 127], и поэтому необходима только LUT, имеющая размер 96, для вычисления InvScaleCoeff.[248] In another aspect of this embodiment, lmcsCW[i] may be limited to a narrower range. For example, lmcsCW[i] can be limited to the range from (OrgCW>>1) to (OrgCW<<1)-1. Then, to encode 10 bits, the range of lmcsCW[i] could be [32, 127], and therefore only a LUT of size 96 is needed to calculate InvScaleCoeff.

[249] В другом аспекте настоящего варианта осуществления, lmcsCW[i] аппроксимироваться ближайшими числами, являющимися степенью 2, и использоваться при разработке формирователя. Соответственно, деление в обратном отображении может выполняться (и заменяться) битовым сдвигом.[249] In another aspect of the present embodiment, lmcsCW[i] is approximated by the nearest numbers that are a power of 2 and used in the design of the driver. Accordingly, division in the inverse map can be performed (and replaced) by a bit shift.

[250] В одном варианте осуществления в соответствии с настоящим документом, предложено ограничение диапазона кодовых слов LMCS. В соответствии с Таблицей 9, описанной выше, значения кодовых слов LMCS находятся в диапазоне от (OrgCW>>3) до (OrgCW<<3)-1. Этот диапазон кодовых слов является слишком широким. Это может приводить к проблеме визуального артефакта, когда существуют большие разности между RspCW [i] и OrgCW.[250] In one embodiment, in accordance with this document, limiting the range of LMCS codewords is proposed. According to Table 9 described above, the values of LMCS codewords are in the range from (OrgCW>>3) to (OrgCW<<3)-1. This range of codewords is too wide. This can lead to a visual artifact problem when there are large differences between RspCW[i] and OrgCW.

[251] В соответствии с одним вариантом осуществления согласно настоящему документу, предложено ограничивать кодовое слово отображения LMCS PWL более узким диапазоном. Например, диапазон lmcsCW[i] может находиться в диапазоне от (OrgCW>>1) до (OrgCW<<1)-1.[251] In accordance with one embodiment according to the present document, it is proposed to limit the LMCS PWL mapping codeword to a narrower range. For example, the range lmcsCW[i] can be in the range from (OrgCW>>1) to (OrgCW<<1)-1.

[252] В одном варианте осуществления в соответствии с настоящим документом, использование одного коэффициента остаточного масштабирования цветности предложено для остаточного масштабирования цветности в LMCS. Существующий способ для вывода коэффициента остаточного масштабирования цветности использует среднее значение соответствующего блока яркости и выводит наклон каждого фрагмента обратного отображения яркости как соответствующий коэффициент масштабирования. К тому же процесс для идентификации кусочного индекса требует доступности соответствующего блока яркости, это приводит к проблеме задержки. Это нежелательно для аппаратной реализации. В соответствии с этим вариантом осуществления настоящего документа, масштабирование в блоке цветности может не зависеть от значения блока яркости, и может не требоваться идентифицировать кусочный индекс. Поэтому процесс остаточного масштабирования цветности в LMCS может выполняться без проблемы задержки.[252] In one embodiment according to this document, the use of a single residual chroma scaling factor is proposed for residual chroma scaling in LMCS. The existing method for outputting the chrominance residual scaling factor uses the average value of the corresponding luminance block and outputs the slope of each luminance inverse mapping fragment as the corresponding scaling factor. In addition, the process for identifying a piecewise index requires the availability of a corresponding luma block, which leads to a latency problem. This is not desirable for hardware implementation. According to this embodiment of the present document, the scaling in the chroma block may not depend on the value of the luma block, and there may be no need to identify the piecewise index. Therefore, the residual chroma scaling process in LMCS can be performed without the latency problem.

[253] В одном варианте осуществления в соответствии с настоящим документом, один коэффициент масштабирования цветности может выводиться как из кодера, так и декодера на основе информации яркости LMCS. Когда модель яркости LMCS принята, коэффициент остаточного масштабирования цветности может обновляться. Например, когда модель LMCS обновляется, один коэффициент остаточного масштабирования цветности может обновляться.[253] In one embodiment according to this document, a single chroma scaling factor may be output from both the encoder and the decoder based on the LMCS luma information. When the LMCS luma model is adopted, the residual chroma scaling factor can be updated. For example, when the LMCS model is updated, one residual chroma scaling factor may be updated.

[254] Таблица ниже показывает пример для получения одного коэффициента масштабирования цветности в соответствии с настоящим вариантом осуществления.[254] The table below shows an example for obtaining one chroma scaling factor in accordance with the present embodiment.

[255] [Таблица 13][255] [Table 13]

[256] Со ссылкой на Таблицу 13, один коэффициент масштабирования цветности (например, ChromaScaleCoeff или ChromaScaleCoeffSingle) может быть получен путем усреднения наклонов обратного отображения яркости всех фрагментов в пределах lmcs_min_bin_idx и lmcs_max_bin_idx.[256] Referring to Table 13, a single chroma scaling factor (eg, ChromaScaleCoeff or ChromaScaleCoeffSingle) can be obtained by averaging the inverse luminance mapping slopes of all tiles within lmcs_min_bin_idx and lmcs_max_bin_idx.

[257] Фиг. 13 иллюстрирует линейную аппроксимацию точек поворота в соответствии с вариантом осуществления настоящего документа. На фиг. 13, показаны точки P1, Ps и P2 поворота. Следующие варианты осуществления или их примеры будут описаны при помощи фиг. 13.[257] FIG. 13 illustrates a linear approximation of turning points in accordance with an embodiment of the present document. In fig. 13, turning points P1, Ps and P2 are shown. The following embodiments or examples thereof will be described using FIGS. 13.

[258] В примере этого варианта осуществления, один коэффициент масштабирования цветности может быть получен на основе линейного приближения отображения яркости PWL между точками lmcs_min_bin_idx и lmcs_max_bin_idx+1 поворота. То есть, обратный наклон линейного отображения может использоваться как коэффициент остаточного масштабирования цветности. Например, линейная линия 1 на фиг. 13 может быть прямой линией, соединяющей точки P1 и P2 поворота. Со ссылкой на фиг. 13, в P1, входное значение составляет x1, и отображенное значение составляет 0, и в P2, входное значение составляет x2, и отображенное значение составляет y2. Обратный наклон (обратный масштаб) линейной линии 1 составляет (x2-x1)/y2, и один коэффициент ChromaScaleCoeffSingle масштабирования цветности может вычисляться на основе входных значений и отображенных значений точек P1, P2 поворота и следующего уравнения.[258] In an example of this embodiment, one chroma scaling factor can be obtained based on a linear approximation of the PWL luminance mapping between the lmcs_min_bin_idx and lmcs_max_bin_idx+1 rotation points. That is, the inverse slope of the linear mapping can be used as a residual chroma scaling factor. For example, linear line 1 in FIG. 13 may be a straight line connecting turning points P1 and P2. With reference to FIG. 13, in P1, the input value is x1 and the displayed value is 0, and in P2, the input value is x2 and the displayed value is y2. The inverse slope (inverse scale) of linear line 1 is (x2-x1)/y2, and one chroma scaling factor ChromaScaleCoeffSingle can be calculated based on the input values and mapped values of the turning points P1, P2 and the following equation.

[259] [Уравнение 5][259] [Equation 5]

[260] В Уравнении 5, CSCALE_FP_PREC представляет коэффициент сдвига, например, CSCALE_FP_PREC может представлять собой предопределенное постоянное значение. В одном примере, CSCALE_FP_PREC может составлять 11.[260] In Equation 5, CSCALE_FP_PREC represents a shift coefficient, for example, CSCALE_FP_PREC may represent a predetermined constant value. In one example, CSCALE_FP_PREC could be 11.

[261] В другом примере в соответствии с этим вариантом осуществления, со ссылкой на фиг. 13, входное значение в точке поворота Ps составляет min_bin_idx+1, и отображенное значение в точке поворота Ps составляет ys. Соответственно, обратный наклон (обратный масштаб) линейной линии 1 может вычисляться как (xs-x1)/ys, и один коэффициент ChromaScaleCoeffSingle масштабирования цветности может вычисляться на основе входных значений и отображенных значений точек поворота P1, Ps и следующего уравнения.[261] In another example in accordance with this embodiment, with reference to FIG. 13, the input value at the turning point Ps is min_bin_idx+1, and the displayed value at the turning point Ps is ys. Accordingly, the inverse slope (inverse scale) of linear line 1 can be calculated as (xs-x1)/ys, and one chroma scaling factor ChromaScaleCoeffSingle can be calculated based on the input values and mapped values of the turning points P1, Ps and the following equation.

[262] [Уравнение 6][262] [Equation 6]

[263] В Уравнении 6, CSCALE_FP_PREC представляет коэффициент сдвига (коэффициент для битового сдвига), например, CSCALE_FP_PREC может представлять собой предопределенное постоянное значение. В одном примере, CSCALE_FP_PREC может составлять 11, и битовый сдвиг для обратного масштаба может выполняться на основе CSCALE_FP_PREC.[263] In Equation 6, CSCALE_FP_PREC represents a shift coefficient (coefficient for bit shifting), for example, CSCALE_FP_PREC may represent a predefined constant value. In one example, CSCALE_FP_PREC may be 11, and the bit shift for the inverse scale may be performed based on CSCALE_FP_PREC.

[264] В другом примере в соответствии с этим вариантом осуществления, один коэффициент остаточного масштабирования цветности может выводиться на основе линии линейной аппроксимации. Пример для вывода линии линейной аппроксимации может включать в себя линейное соединение точек поворота (т.е. lmcs_min_bin_idx, lmcs_max_bin_idx+1). Например, результат линейной аппроксимации может быть представлен кодовыми словами отображения PWL. Отображенное значение y2 в P2 может быть суммой кодовых слов всех бинов (фрагментов), и разность между входным значением в P2 и входным значением в P1 (x2-x1) составляет OrgCW*(lmcs_max_bin_idx-lmcs_min_bin_idx+1) (для OrgCW, см. Таблицу 9 выше). Таблица ниже показывает пример получения одного коэффициента масштабирования цветности в соответствии с вышеописанным вариантом осуществления.[264] In another example according to this embodiment, one residual chroma scaling factor may be derived based on the linear approximation line. An example for deriving a linear fit line could include a linear connection of the turning points (ie lmcs_min_bin_idx, lmcs_max_bin_idx+1). For example, the result of a linear approximation may be represented by PWL mapping codewords. The mapped value y2 in P2 can be the sum of the codewords of all bins (fragments), and the difference between the input value in P2 and the input value in P1 (x2-x1) is OrgCW*(lmcs_max_bin_idx-lmcs_min_bin_idx+1) (for OrgCW, see Table 9 above). The table below shows an example of obtaining one chroma scaling factor in accordance with the above-described embodiment.

[265] [Таблица 14][265] [Table 14]

[266] Со ссылкой на Таблицу 14, один коэффициент масштабирования цветности (например, ChromaScaleCoeffSingle) может быть получен из двух точек поворота (т.е. lmcs_min_bin_idx, lmcs_max_bin_idx). Например, обратный наклон линейного отображения может использоваться как коэффициент масштабирования цветности.[266] With reference to Table 14, one chroma scaling factor (eg, ChromaScaleCoeffSingle) can be obtained from two turning points (ie, lmcs_min_bin_idx, lmcs_max_bin_idx). For example, the inverse slope of a linear mapping can be used as a chroma scaling factor.

[267] В другом примере этого варианта осуществления, один коэффициент масштабирования цветности может быть получен путем линейной аппроксимации точек поворота, чтобы минимизировать ошибку (или среднеквадратичную ошибку) между линейной аппроксимацией и существующим отображением PWL. Этот пример может быть более точным, чем просто соединение двух точек поворота в lmcs_min_bin_idx и lmcs_max_bin_idx. Существует много способов найти оптимальное линейное отображение, и такой пример описан ниже.[267] In another example of this embodiment, one chroma scaling factor can be obtained by linearly approximating the turning points to minimize the error (or root mean square error) between the linear approximation and the existing PWL mapping. This example may be more precise than simply connecting the two turning points in lmcs_min_bin_idx and lmcs_max_bin_idx. There are many ways to find the optimal linear mapping, and such an example is described below.

[268] В одном примере, параметры b1 и b0 уравнения y=b1*x+b0 линейной аппроксимации для минимизации суммы наименьшей квадратичной ошибки могут вычисляться на основе Уравнений 7 и/или 8 ниже.[268] In one example, the parameters b1 and b0 of the linear approximation equation y=b1*x+b0 for minimizing the sum of the least squared error may be calculated based on Equations 7 and/or 8 below.

[269] [Уравнение 7][269] [Equation 7]

[270] [Уравнение 8][270] [Equation 8]

[271] В Уравнении 7 и 8, x является исходными значениями яркости, и y является переформированными значениями яркости, и и являются средним x и y, и x_i и y_i представляют значения i-ой точки поворота.[271] In Equation 7 and 8, x is the original luminance values, and y is the reformatted luminance values, and And are the average of x and y, and x _i and y _i represent the values of the i-th turning point.

[272] Со ссылкой на фиг. 13, другая простая аппроксимация для идентификации линейного отображения задается следующим образом:[272] With reference to FIG. 13, another simple approximation for linear mapping identification is given as follows:

[273] - Получить линейную линию 1 путем соединения точек поворота отображения PWL в lmcs_min_bin_idx и lmcs_max_bin_idx+1, вычисленных lmcs_pivots_linear[i] этой линейной линии при входных значениях кратных OrgW[273] - Obtain linear line 1 by connecting the turning points of the PWL mapping in lmcs_min_bin_idx and lmcs_max_bin_idx+1, calculated by lmcs_pivots_linear[i] of this linear line with input values that are multiples of OrgW

[274] - Суммировать разности между отображенными значениями точек поворота с использованием линейной линии 1 и с использованием отображения PWL. [274] - Sum the differences between the displayed turning point values using linear line 1 and using the PWL display.

[275] - Получить среднюю разность avgDiff.[275] - Get the average difference avgDiff.

[276] - Отрегулировать последнюю точку поворота линейной линии в соответствии со средней разностью, например, 2*avgDiff[276] - Adjust the last turning point of the linear line according to the average difference, for example 2*avgDiff

[277] - Использовать обратный наклон отрегулированной линейной линии как масштаб остатка цветности.[277] - Use the inverse slope of the adjusted linear line as the chroma residual scale.

[278] В соответствии с вышеописанной линейной аппроксимацией, коэффициент масштабирования цветности (т.е. обратный наклон прямого отображения) может выводиться (получаться) на основе Уравнения 9 или 10 ниже.[278] According to the above-described linear approximation, the chroma scaling factor (ie, the inverse slope of the forward mapping) can be derived based on Equation 9 or 10 below.

[279] [Уравнение 9][279] [Equation 9]

[280] [Уравнение 10][280] [Equation 10]

[281] В вышеописанных уравнениях, lmcs_pivots_lienar[i] может представлять собой отображенные значения линейного отображения. При линейном отображении, все фрагменты отображения PWL между минимальным и максимальным индексами бинов могут иметь одно и то же кодовое слово LMCS (lmcsCW). То есть lmcs_pivots_linear[lmcs_min_bin_idx+1] может быть тем же самым, что и lmcsCW[lmcs_min_bin_idx].[281] In the above equations, lmcs_pivots_lienar[i] may represent the mapped values of the linear mapping. With a linear mapping, all PWL mapping fragments between the minimum and maximum bin indices can have the same LMCS codeword (lmcsCW). That is, lmcs_pivots_linear[lmcs_min_bin_idx+1] can be the same as lmcsCW[lmcs_min_bin_idx].

[282] Также, в Уравнениях 9 и 10, CSCALE_FP_PREC представляет коэффициент сдвига (коэффициент для битового сдвига), например, CSCALE_FP_PREC может представлять собой предопределенное постоянное значение. В одном примере, CSCALE_FP_PREC может составлять 11.[282] Also, in Equations 9 and 10, CSCALE_FP_PREC represents a shift factor (coefficient for a bit shift), for example, CSCALE_FP_PREC may represent a predefined constant value. In one example, CSCALE_FP_PREC could be 11.

[283] С одним коэффициентом остаточного масштабирования цветности (ChromaScaleCoeffSingle), больше нет необходимости вычислять среднее соответствующего блока яркости, находить индекс в линейном отображении PWL, чтобы получить коэффициент остаточного масштабирования цветности. Соответственно, эффективность кодирования с использованием остаточного масштабирования цветности может быть повышена. Это не только устраняет зависимость от соответствующего блока яркости, решает проблему задержки, но также уменьшает сложность.[283] With a single residual chroma scaling factor (ChromaScaleCoeffSingle), it is no longer necessary to calculate the average of the corresponding luminance block, find the index in the linear PWL mapping to obtain the residual chroma scaling coefficient. Accordingly, coding efficiency using residual chroma scaling can be improved. This not only eliminates the dependency on the corresponding brightness block, solving the latency problem, but also reduces complexity.

[284] В другом варианте осуществления настоящего документа, кодер может определять параметры, относящиеся к одному коэффициенту масштабирования цветности, и сигнализировать параметры на декодер. При сигнализации, кодер может использовать другую информацию, доступную в кодере, чтобы вывести коэффициент масштабирования цветности. Этот вариант осуществления нацелен на устранение проблемы задержки остаточного масштабирования цветности.[284] In another embodiment of this document, an encoder may determine parameters related to one chroma scaling factor and signal the parameters to a decoder. When signaling, the encoder may use other information available in the encoder to derive the chroma scaling factor. This embodiment aims to eliminate the problem of residual chroma scaling delay.

[285] Например, другой пример для идентификации линейного отображения, подлежащего использованию для определения остаточного коэффициента масштабирования цветности, задается следующим образом:[285] For example, another example for identifying a linear mapping to be used to determine the residual chroma scaling factor is given as follows:

[286] - Путем соединения точек поворота отображения PWL в lcs_min_bin_idx и lmcs_max_bin_idx+1, вычисленных lmcs_pivots_linear[i] из этой линейной линия при входных значениях, кратных OrgW[286] - By connecting the PWL mapping turning points in lcs_min_bin_idx and lmcs_max_bin_idx+1, calculated by lmcs_pivots_linear[i] from this linear line at input values that are multiples of OrgW

[287] - Получить взвешенную сумму разностей между отображенными значениями точек поворота с использованием линейной линии 1 и значениями отображения яркости PWL. Вес может быть основан на статистике кодера, такой как гистограмма бина. [287] - Obtain the weighted sum of the differences between the turning point display values using linear line 1 and the PWL luminance display values. The weight may be based on encoder statistics such as a bin histogram.

[288] - Получить взвешенную усредненную разность avgDiff.[288] - Get the weighted average difference avgDiff.

[289] - Отрегулировать последнюю точку поворота линейной линии 1 в соответствии с взвешенной усредненной разностью, например, 2*avgDiff[289] - Adjust the last turning point of linear line 1 according to the weighted average difference, e.g. 2*avgDiff

[290] - Использовать обратный наклон отрегулированной линейной линии, чтобы вычислить масштаб остатка цветности.[290] - Use the inverse slope of the adjusted linear line to calculate the scale of the chroma residual.

[291] Таблица ниже показывает примеры синтаксисов для сигнализации значения y для вывода коэффициента масштабирования цветности.[291] The table below shows example syntaxes for signaling the y value for chroma scaling factor output.

[292] [Таблица 15][292] [Table 15]

[293] В Таблице 15, синтаксический элемент lmcs_chroma_scale может специфицировать один коэффициент (остаточного) масштабирования цветности, используемый для остаточного масштабирования цветности LMCS (ChromaScaleCoeffSingle=lmcs_chroma_scale). То есть информация о коэффициенте остаточного масштабирования цветности может непосредственно сигнализироваться, и сигнализированная информация может выводиться как коэффициент остаточного масштабирования цветности. Другими словами, значение сигнализированной информации о коэффициенте остаточного масштабирования цветности может (непосредственно) выводиться как значение одного коэффициента остаточного масштабирования цветности. Здесь, синтаксический элемент lmcs_chroma_scale может сигнализироваться вместе с другими данными LMCS (т.е. синтаксическим элементом, относящимся к абсолютному значению и знаку кодового слова, и т.д.).[293] In Table 15, the lmcs_chroma_scale syntax element may specify a single (residual) chroma scaling coefficient used for residual LMCS chroma scaling (ChromaScaleCoeffSingle=lmcs_chroma_scale). That is, information about the chroma residual scaling factor can be directly signaled, and the signaled information can be output as a chroma residual scaling factor. In other words, the value of the signaled chroma residual scaling factor information may be (directly) output as the value of one chroma residual scaling factor. Here, the lmcs_chroma_scale syntax element may be signaled along with other LMCS data (ie, syntax element related to the absolute value and sign of the codeword, etc.).

[294] Альтернативно, кодер может сигнализировать только необходимые параметры, чтобы вывести коэффициент остаточного масштабирования цветности в декодере. Чтобы вывести коэффициент остаточного масштабирования цветности в декодере, требуется входное значение x и отображенное значение y. Поскольку значение x является длиной бина и является известным числом, его не нужно сигнализировать. В сущности, только значение y должно сигнализироваться, чтобы вывести коэффициент остаточного масштабирования цветности. Здесь, значение y может быть отображенным значением любой точки поворота в линейном отображении (т.е. отображенные значения P2 или Ps на фиг. 13).[294] Alternatively, the encoder may signal only the necessary parameters to output the residual chroma scaling factor at the decoder. To output the residual chroma scaling factor at the decoder, an input x value and a mapped y value are required. Since the value x is the length of the bin and is a known number, it does not need to be signaled. In essence, only the y value must be signaled to output the residual chroma scaling factor. Here, the y-value may be the mapped value of any turning point in the linear display (ie, the mapped values P2 or Ps in FIG. 13).

[295] Следующие таблицы показывают примеры сигнализации отображенных значений для вывода коэффициента остаточного масштабирования цветности.[295] The following tables show examples of display value signaling for chroma residual scaling factor output.

[296] [Таблица 16][296] [Table 16]

[297] [Таблица 17][297] [Table 17]

[298] Один из синтаксисов Таблиц 16 и 17, описанных выше, может использоваться, чтобы сигнализировать значение y в любых линейных точках поворота, специфицированных кодером и декодером. То есть кодер и декодер могут выводить значение y с использованием одного и того же синтаксиса.[298] One of the syntaxes of Tables 16 and 17 described above can be used to signal the y value at any linear turning points specified by the encoder and decoder. That is, the encoder and decoder can output the value of y using the same syntax.

[299] Сначала, описан вариант осуществления в соответствии с Таблицей 16. В Таблице 16, lmcs_cw_linear может обозначать отображенное значение при Ps или P2. То есть, в варианте осуществления в соответствии с Таблицей 16, фиксированное число может сигнализироваться через lmcs_cw_linear.[299] First, an embodiment will be described in accordance with Table 16. In Table 16, lmcs_cw_linear may denote a mapped value at Ps or P2. That is, in the embodiment according to Table 16, the fixed number may be signaled through lmcs_cw_linear.

[300] В примере в соответствии с этим вариантом осуществления, если lmcs_cw_linear обозначает отображенное значение одного бина (т.е. lmcs_pivots_linear[lmcs_min_bin_idx+1] в Ps согласно фиг. 13), коэффициент масштабирования цветности может выводиться на основе следующего уравнения.[300] In an example according to this embodiment, if lmcs_cw_linear denotes the mapped value of one bin (ie, lmcs_pivots_linear[lmcs_min_bin_idx+1] in Ps according to FIG. 13), the chroma scaling factor can be derived based on the following equation.

[301] [Уравнение 11][301] [Equation 11]

[302] В другом примере в соответствии с этим вариантом осуществления, если lmcs_cw_linear обозначает lmcs_max_bin_idx+1 (т.е. lmcs_pivots_linear[lmcs_max_bin_idx+1] в P2 согласно фиг. 13), коэффициент масштабирования цветности может выводиться на основе следующего уравнения.[302] In another example according to this embodiment, if lmcs_cw_linear denotes lmcs_max_bin_idx+1 (ie, lmcs_pivots_linear[lmcs_max_bin_idx+1] in P2 according to FIG. 13), the chroma scaling factor can be derived based on the following equation.

[303] [Уравнение 12][303] [Equation 12]

[304] В вышеописанных уравнениях, CSCALE_FP_PREC представляет коэффициент сдвига (коэффициент для битового сдвига), например, CSCALE_FP_PREC может представлять собой предопределенное постоянное значение. В одном примере, CSCALE_FP_PREC может составлять 11.[304] In the above equations, CSCALE_FP_PREC represents a shift coefficient (coefficient for a bit shift), for example, CSCALE_FP_PREC may represent a predetermined constant value. In one example, CSCALE_FP_PREC could be 11.

[305] Далее, описан вариант осуществления в соответствии с Таблицей 17. В этом варианте осуществления, lmcs_cw_linear может сигнализироваться как значение дельта относительно фиксированного числа (т.е. lmcs_delta_abs_cw_linear, lmcs_delta_sign_cw_linear_flag). В примере этого варианта осуществления, когда lmcs_cw_linear представляет отображенное значение в lmcs_pivots_linear[lmcs_min_bin_idx+1] (т.е. Ps согласно фиг. 13), lmcs_cw_linear_delta и lmcs_cw_linear могут выводиться на основе следующих уравнений.[305] Next, an embodiment is described in accordance with Table 17. In this embodiment, lmcs_cw_linear may be signaled as a delta value relative to a fixed number (ie, lmcs_delta_abs_cw_linear, lmcs_delta_sign_cw_linear_flag). In the example of this embodiment, when lmcs_cw_linear represents the mapped value in lmcs_pivots_linear[lmcs_min_bin_idx+1] (ie, Ps according to FIG. 13), lmcs_cw_linear_delta and lmcs_cw_linear can be derived based on the following equations.

[306] [Уравнение 13][306] [Equation 13]

[307] [Уравнение 14][307] [Equation 14]

[308] В другом примере этого варианта осуществления, когда lmcs_cw_linear представляет отображенное значение в lmcs_pivots_linear[lmcs_max_bin_idx+1] (т.е. P2 согласно фиг. 13), lmcs_cw_linear_delta и lmcs_cw_linear могут выводиться на основе следующих уравнений.[308] In another example of this embodiment, when lmcs_cw_linear represents the mapped value in lmcs_pivots_linear[lmcs_max_bin_idx+1] (ie, P2 according to FIG. 13), lmcs_cw_linear_delta and lmcs_cw_linear can be derived based on the following equations.

[309] [Уравнение 15][309] [Equation 15]

[310] [Уравнение 16][310] [Equation 16]

[311] В вышеописанных уравнениях, OrgCW может представлять собой значение, выведенное на основе Таблицы 9, описанной выше.[311] In the above-described equations, OrgCW may be a value derived based on Table 9 described above.

[312] Фиг. 14 иллюстрирует один пример линейного повторного формирования (или линейного переформирования, линейного отображения) в соответствии с вариантом осуществления настоящего документа. То есть, в этом варианте осуществления, предложено использование линейного формирователя в LMCS. Например, пример на фиг. 14 может относиться к прямому линейному повторному формированию (отображению).[312] FIG. 14 illustrates one example of linear reshaping (or linear reshaping, linear mapping) in accordance with an embodiment of the present document. That is, in this embodiment, the use of a line driver in the LMCS is proposed. For example, the example in FIG. 14 may refer to direct linear reshaping (mapping).

[313] В существующем примере, LMCS может использовать кусочно-линейное отображение с фиксированными 16 фрагментами. Это усложняет схему формирователя, поскольку резкий переход между точками поворота может вызывать нежелательный артефакт. Также, для обратного отображения яркости формирователя, необходимо идентифицировать кусочный индекс функции. Процесс идентификации кусочного индекса функции является процессом итерации с множеством сравнений. Более того, для остаточного масштабирования цветности с использованием соответствующего среднего блока яркости, также необходим такой процесс идентификации кусочного индекса яркости. Это не только имеет проблему сложности, это также вызывает задержку остаточного масштабирования цветности в зависимости от восстановления всего блока яркости. Чтобы решить эту проблему, использование линейного формирователя предложено для LMCS.[313] In the existing example, LMCS may use a piecewise linear mapping with a fixed 16 slices. This complicates the driver design, since abrupt transitions between turning points can cause unwanted artifacts. Also, to inversely display the brightness of the shaper, it is necessary to identify the piecewise index of the function. The process of identifying a piecewise index of a function is an iterative process with many comparisons. Moreover, for residual chrominance scaling using an appropriate average luminance block, such a piecewise luminance index identification process is also necessary. Not only does this have a complexity issue, it also causes a delay in residual chroma scaling depending on the recovery of the entire luminance block. To solve this problem, the use of a line driver is proposed for LMCS.

[314] Со ссылкой на фиг. 14, линейный формирователь может включать в себя две точки поворота т.е. P1 и P2. P1 и P2 могут представлять входное и отображенное значения, например, P1 может составлять (min_input, 0) и P2 может составлять (max_input, max_mapped). Здесь, min_input представляет минимальное входное значение, и max_input представляет максимальное входное значение. Любые входные значения, меньшие или равные min_input, отображаются в 0, любые входные значения, большие max_input, отображаются в max_mapped. Любые входные значения яркости в пределах min_input и max_input линейно отображаются в другие значения. Фиг. 14 показывает пример отображения. Точки P1, P2 поворота могут определяться в кодере, и линейная аппроксимация может использоваться, чтобы аппроксимировать кусочно-линейное отображение.[314] With reference to FIG. 14, the linear driver may include two pivot points i.e. P1 and P2. P1 and P2 can represent the input and mapped values, for example, P1 can be (min_input, 0) and P2 can be (max_input, max_mapped). Here, min_input represents the minimum input value and max_input represents the maximum input value. Any input values less than or equal to min_input are mapped to 0, any input values greater than max_input are mapped to max_mapped. Any brightness input values within min_input and max_input are mapped linearly to other values. Fig. 14 shows an example display. The turning points P1, P2 can be determined in the encoder, and a linear approximation can be used to approximate the piecewise linear mapping.

[315] Существует много способов сигнализировать линейный формирователь. В примере способа сигнализации линейного формирователя, исходный диапазон яркости может делиться на равное число бинов. То есть, отображение яркости между минимальным и максимальным бинами может равномерно распределяться. Например, все бины могут иметь одно и то же кодовое слово LMCS (lmcsCW). По этой причине, минимальный и максимальный индексы бинов могут сигнализироваться. Поэтому должен сигнализироваться только один набор reshape_model_bin_delta_abs_CW (или reshaper_model_delta_abs_CW, lmcs_delta_abs_CW) и reshaper_model_bin_delta_sign_CW_flag (или reshaper_model_delta_sign_CW_flag_sign_CW_flag).[315] There are many ways to signal a line driver. In an example of a line driver signaling method, the original luminance range may be divided into an equal number of bins. That is, the brightness display between the minimum and maximum bins can be evenly distributed. For example, all bins may have the same LMCS codeword (lmcsCW). For this reason, the minimum and maximum bin indices may be signaled. Therefore, only one set of reshape_model_bin_delta_abs_CW (or reshaper_model_delta_abs_CW, lmcs_delta_abs_CW) and reshaper_model_bin_delta_sign_CW_flag (or reshaper_model_delta_sign_CW_flag_sign_CW_flag) should be signaled.

[316] Следующие таблицы показывают примерный синтаксис и семантику сигнализации линейного формирователя в соответствии с этим примером.[316] The following tables show example syntax and semantics for line driver signaling according to this example.

[317] [Таблица 18][317] [Table 18]

[318] [Таблица 19][318] [Table 19]

[319] Со ссылкой на Таблицы 18 и 19, синтаксический элемент log2_lmcs_num_bins_minus4 может представлять собой информацию о числе бинов. На основе этой информации, число бинов может сигнализироваться, чтобы разрешать лучшее управление минимальной и максимальной точками поворота. В другом существующем примере, кодер и/или декодер может выводить (специфицировать) (фиксированное) число бинов без сигнализации, например, число бинов выводится как 16 или 32. Однако, в соответствии с примерами Таблиц 18 и 19, log2_lmcs_num_bins_minus4 plus 4 может представлять двоичный логарифм числа бинов. Число бинов, выведенное на основе синтаксического элемента, может быть в диапазоне от 4 до значения битовой глубины яркости BitDepthY.[319] Referring to Tables 18 and 19, the log2_lmcs_num_bins_minus4 syntax element may represent information about the number of bins. Based on this information, a number of bins can be signaled to allow better control of the minimum and maximum turning points. In another existing example, the encoder and/or decoder may output (specify) a (fixed) number of bins without signaling, for example, the number of bins is output as 16 or 32. However, according to the examples of Tables 18 and 19, log2_lmcs_num_bins_minus4 plus 4 may represent the binary logarithm of the number of bins. The number of bins inferred from the syntax element can range from 4 to the brightness bit depth value BitDepthY.

[320] В Таблице 19, ScaleCoeffSingle может упоминаться как один коэффициент прямого масштабирования яркости, и InvScaleCoeffSingle может упоминаться как один коэффициент обратного масштабирования яркости. (Прямое) отображение на предсказании выборки яркости может выполняться на основе одного коэффициента прямого масштабирования яркости, и (обратное) отображение на восстановленных выборках яркости может выполняться на основе одного коэффициента обратного масштабирования яркости. ChromaScaleCoeffSingle, как описано выше, может упоминаться как один коэффициент остаточного масштабирования цветности. ScaleCoeffSingle, InvScaleCoeffSingle и ChromaScaleCoeffSingle могут использоваться для прямого отображения яркости, обратного отображения яркости и остаточного масштабирования цветности, соответственно. ScaleCoeffSingle, InvScaleCoeffSingle и ChromaScaleCoeffSingle могут одинаково применяться ко всем бинам (отображениям PWL 16 бинов) как один коэффициент.[320] In Table 19, ScaleCoeffSingle may be referred to as one forward luma scaling factor, and InvScaleCoeffSingle may be referred to as one inverse luma scaling factor. The (forward) mapping on the predicted luminance samples may be performed based on a single forward luminance scaling factor, and the (backward) mapping on the reconstructed luminance samples may be performed based on a single inverse luminance scaling factor. ChromaScaleCoeffSingle, as described above, may be referred to as a single residual chroma scaling factor. ScaleCoeffSingle, InvScaleCoeffSingle, and ChromaScaleCoeffSingle can be used for forward luminance mapping, inverse luminance mapping, and residual chroma scaling, respectively. ScaleCoeffSingle, InvScaleCoeffSingle and ChromaScaleCoeffSingle can be applied equally to all bins (PWL mappings of 16 bins) as one coefficient.

[321] Со ссылкой на Таблицу 19, FP_PREC и CSCALE_FP_PREC могут быть постоянными значениями для битового сдвига. FP_PREC и CSCALE_FP_PREC могут или не могут быть одинаковыми. Например, FP_PREC может быть больше или равно CSCALE_FP_PREC. В одном примере, FP_PREC и CSCALE_FP_PREC могут оба составлять 11. В другом примере, FP_PREC может составлять 15, и CSCALE_FP_PREC может составлять 11.[321] With reference to Table 19, FP_PREC and CSCALE_FP_PREC may be constant values for the bit shift. FP_PREC and CSCALE_FP_PREC may or may not be the same. For example, FP_PREC may be greater than or equal to CSCALE_FP_PREC. In one example, FP_PREC and CSCALE_FP_PREC may both be 11. In another example, FP_PREC may be 15 and CSCALE_FP_PREC may be 11.

[322] В другом примере способа сигнализации линейного формирователя, кодовое слово LMCS (lmcsCWlinearALL) может выводиться на основе следующих уравнений в Таблице 20. Также в этом примере, могут использоваться синтаксические элементы линейного повторного формирования в Таблице 18. Следующая таблица показывает пример семантики, описанной в соответствии с этим примером.[322] In another example of a linear generator signaling method, the LMCS codeword (lmcsCWlinearALL) may be derived based on the following equations in Table 20. Also in this example, the linear reshaping syntax elements in Table 18 may be used. The following table shows an example of the semantics described according to this example.

[323] [Таблица 20][323] [Table 20]

[324] Со ссылкой на Таблицу 20, FP_PREC и CSCALE_FP_PREC могут быть постоянными значениями для битового сдвига. FP_PREC и CSCALE_FP_PREC могут или не могут быть одинаковыми. Например, FP_PREC может быть больше или равным CSCALE_FP_PREC. В одном примере, FP_PREC и CSCALE_FP_PREC могут оба составлять 11. В другом примере, FP_PREC может составлять 15, и CSCALE_FP_PREC может составлять 11.8[324] With reference to Table 20, FP_PREC and CSCALE_FP_PREC may be constant values for the bit shift. FP_PREC and CSCALE_FP_PREC may or may not be the same. For example, FP_PREC may be greater than or equal to CSCALE_FP_PREC. In one example, FP_PREC and CSCALE_FP_PREC may both be 11. In another example, FP_PREC may be 15 and CSCALE_FP_PREC may be 11.8

[325] В Таблице 20, lmcs_max_bin_idx может использоваться взаимозаменяемо с LmcsMaxBinIdx. lmcs_max_bin_idx и LmcsMaxBinIdx могут выводиться на основе lmcs_delta_max_bin_idx синтаксиса Таблиц 18 и 19, описанных выше. Например, Таблица 20 может интерпретироваться со ссылкой на Таблицу 19.[325] In Table 20, lmcs_max_bin_idx can be used interchangeably with LmcsMaxBinIdx. lmcs_max_bin_idx and LmcsMaxBinIdx can be derived based on the lmcs_delta_max_bin_idx syntax of Tables 18 and 19 described above. For example, Table 20 may be interpreted by reference to Table 19.

[326] В другом варианте осуществления в соответствии с настоящим документом, может быть предложен другой пример способа для сигнализации линейного формирователя. Точки P1, P2 поворота модели линейного формирователя могут сигнализироваться явно. Следующие таблицы показывают пример синтаксиса и семантики для явной сигнализации модели линейного формирователя в соответствии с этим примером.[326] In another embodiment according to the present document, another example of a method for line driver signaling may be proposed. The turning points P1, P2 of the linear driver model can be signaled explicitly. The following tables show an example of the syntax and semantics for explicitly signaling a line driver model according to this example.

[327] [Таблица 21][327] [Table 21]

[328] [Таблица 22][328] [Table 22]

[329] Со ссылкой на Таблицы 21 и 22, входное значение первой точки поворота может выводиться на основе синтаксического элемента lmcs_min_input, и входное значение второй точки поворота может выводиться на основе синтаксического элемента lmcs_max_input. Отображенное значение первой точки поворота может представлять собой предопределенное значение (значение, известное кодеру и декодеру), например, отображенное значение первой точки поворота равно 0. Отображенное значение второй точки поворота может выводиться на основе синтаксического элемента lmcs_max_mapped. То есть модель линейного формирователя может явно (непосредственно) сигнализироваться на основе информации, сигнализированной в синтаксисе Таблицы 21.[329] Referring to Tables 21 and 22, the first turning point input value may be output based on the lmcs_min_input syntax element, and the second turning point input value can be output based on the lmcs_max_input syntax element. The mapped value of the first turning point may be a predefined value (a value known to the encoder and decoder), for example, the mapped value of the first turning point is 0. The mapped value of the second turning point may be derived based on the lmcs_max_mapped syntax element. That is, the line driver model may be explicitly signaled based on the information signaled in the syntax of Table 21.

[330] Альтернативно, lmcs_max_input и lmcs_max_mapped могут сигнализироваться как значения дельта. Следующие таблицы показывают пример синтаксиса и семантики для сигнализации модели линейного формирователя как значений дельта.[330] Alternatively, lmcs_max_input and lmcs_max_mapped may be signaled as delta values. The following tables show an example of the syntax and semantics for signaling the linear driver model as delta values.

[331] [Таблица 23][331] [Table 23]

[332] [Таблица 24][332] [Table 24]

[333] Со ссылкой на Таблицу 24, входное значение первой точки поворота может выводиться на основе синтаксического элемента lmcs_min_input. Например, lmcs_min_input может иметь отображенное значение 0. lmcs_max_input_delta может специфицировать разность между входным значением второй точки поворота и максимальным значением яркости (т.е. (1<<bitdepthY)-1). lmcs_max_mapped_delta может специфицировать разность между отображенным значением второй точки поворота и максимальным значением яркости (т.е. (1<<bitdepthY)-1).[333] Referring to Table 24, the input value of the first turning point may be derived based on the lmcs_min_input syntax element. For example, lmcs_min_input may have a mapped value of 0. lmcs_max_input_delta may specify the difference between the second turning point input value and the maximum brightness value (ie (1<<bitdepthY)-1). lmcs_max_mapped_delta may specify the difference between the mapped value of the second turning point and the maximum luminance value (ie (1<<bitdepthY)-1).

[334] В соответствии с вариантом осуществления настоящего документа, прямое отображение для выборки предсказания яркости, обратное отображение для выборок восстановления яркости и остаточное масштабирование цветности могут выполняться на основе вышеописанных примеров линейного формирователя. В одном примере, только один обратный коэффициент масштабирования может требоваться для обратного масштабирования для (восстановленных) выборок (пикселов) яркости в обратном отображении на основе линейного формирователя. Это также истинно для прямого отображения и остаточного масштабирования цветности. То есть, этапы для определения ScaleCoeff[i], InvScaleCoeff[i] и ChromaScaleCoeff[i], где i является индексом бина, могут быть заменены на только один коэффициент. Здесь, один коэффициент является представлением фиксированной точки (прямого) наклона или обратного наклона линейного отображения. В одном примере, коэффициент масштабирования обратного отображения яркости (коэффициент обратного масштабирования в обратном отображении для выборок восстановления яркости) может выводиться на основе по меньшей мере одного из следующих уравнений.[334] According to an embodiment of the present document, forward mapping for luminance prediction samples, backward mapping for luminance restoration samples, and residual chrominance scaling can be performed based on the above-described linear driver examples. In one example, only one inverse scaling factor may be required to inversely scale the (reconstructed) luminance samples (pixels) in the linear driver-based inverse mapping. This is also true for direct mapping and residual chroma scaling. That is, the steps to determine ScaleCoeff[i], InvScaleCoeff[i], and ChromaScaleCoeff[i], where i is the bin index, can be replaced by only one coefficient. Here, one coefficient is a fixed-point representation of the (forward) slope or inverse slope of the linear display. In one example, the inverse luminance mapping scaling factor (the inverse scaling factor in the inverse mapping for luminance restoration samples) may be derived based on at least one of the following equations.

[335] [Уравнение 17][335] [Equation 17]

[336] [Уравнение 18][336] [Equation 18]

[337] [Уравнение 19][337] [Equation 19]

[338] lmcsCWLinear Уравнения 17 может выводиться из Таблиц 18 и 19, описанных выше. lmcsCWLinearALL Уравнений 18 и 19 может выводиться из по меньшей мере одной из Таблиц 20-24, описанных выше. В Уравнении 17 или 18, OrgCW может выводиться из Таблицы 9 или 19.[338] lmcsCWLinear Equation 17 can be derived from Tables 18 and 19 described above. lmcsCWLinearALL Equations 18 and 19 may be derived from at least one of Tables 20-24 described above. In Equation 17 or 18, OrgCW can be derived from Table 9 or 19.

[339] Следующие таблицы описывают уравнения и синтаксис (условные утверждения), указывающие процесс прямого отображения для выборок яркости (т.е. выборок предсказания яркости) в восстановлении картинки. В следующих таблицах и уравнениях, FP_PREC является постоянным значением для битового сдвига и может быть предопределенным значением. Например, FP_PREC может составлять 11 или 15.[339] The following tables describe the equations and syntax (conditional statements) indicating the forward mapping process for luminance samples (ie, luminance prediction samples) in picture reconstruction. In the following tables and equations, FP_PREC is a constant value for the bit shift and can be a predefined value. For example, FP_PREC could be 11 or 15.

[340] [Таблица 25][340] [Table 25]

[341] [Таблица 26][341] [Table 26]

[342] Таблица 25 может быть предназначена для вывода прямых отображенных выборок яркости в процессе отображения яркости на основе Таблицы 8 и 9, описанных выше. То есть Таблица 25 может быть описана вместе с Таблицами 8 и 9. В Таблице 25, прямые отображенные выборки (предсказания) яркости PredMAPSamples[i][j] в качестве выхода могут выводиться из выборок (предсказания) яркости predSamples[i][j] в качестве входа. idxY Таблицы 25 может называться индексом (прямого) отображения, и индекс отображения может выводиться на основе выборок яркости предсказания.[342] Table 25 may be configured to output directly displayed luminance samples during the luminance display process based on Tables 8 and 9 described above. That is, Table 25 can be described together with Tables 8 and 9. In Table 25, direct mapped brightness samples PredMAPSamples[i][j] as an output can be derived from brightness samples predSamples[i][j] as an input. idxY of Table 25 may be called a (direct) mapping index, and the mapping index may be derived based on the prediction luminance samples.

[343] Таблица 26 может быть предназначена для вывода прямых отображенных выборок яркости в отображении яркости на основе линейного формирователя. Например, lmcs_min_input, lmcs_max_input, lmcs_max_mapped и ScaleCoeffSingle Таблицы 26 могут выводиться по меньшей мере из одной из Таблиц 21-24. В Таблице 26, в случае ‘lmcs_min_input < predSamples[i][j] < lmcs_max_input’, прямые отображенные выборки (предсказания) яркости PredMAPSamples[i][j] могут выводиться как выход из входа, выборки (предсказания) яркости predSamples[i][j]. В сравнении между Таблицей 25 и Таблицей 26, изменение от существующего LMCS в соответствии с применением линейного формирователя можно видеть с точки зрения прямого отображения.[343] Table 26 may be configured to output direct displayed luminance samples in a line driver-based luminance display. For example, lmcs_min_input, lmcs_max_input, lmcs_max_mapped, and ScaleCoeffSingle Tables 26 may be derived from at least one of Tables 21-24. In Table 26, in the case of 'lmcs_min_input < predSamples[i][j] < lmcs_max_input', the direct mapped luminance samples PredMAPSamples[i][j] can be output as the output from the input luminance samples predSamples[i] [j]. In comparison between Table 25 and Table 26, the change from the existing LMCS according to the application of the linear driver can be seen in terms of direct mapping.

[344] Следующие уравнения описывают процесс обратного отображения для выборок яркости (т.е. выборок восстановления яркости). В следующих уравнениях, ‘lumaSample’ как вход может представлять собой выборку восстановления яркости до обратного отображения (до модификации). ‘invSample’ как вход может представлять собой обратную отображенную (модифицированную) выборку восстановления яркости. В других случаях, усеченное invSample может упоминаться как модифицированная выборка восстановления яркости.[344] The following equations describe the demapping process for luminance samples (ie, luminance reconstruction samples). In the following equations, 'lumaSample' as an input can be a pre-reversal luma restoration sample (before modification). 'invSample' as an input can be an inverse mapped (modified) luma restoration sample. In other cases, the truncated invSample may be referred to as a modified luma restoration sample.

[345] [Уравнение 20][345] [Equation 20]

[346] [Уравнение 21][346] [Equation 21]

[347] Со ссылкой на Уравнение 20, индекс idxInv может выводиться на основе Таблицы 11, описанной выше. То есть Уравнение 20 может быть предназначено для вывода обратных отображенных выборок яркости в процессе отображения яркости на основе Таблиц 8 и 9, описанных выше. Уравнение 20 может быть описано вместе с Таблицей 10, описанной выше.[347] With reference to Equation 20, the index idxInv can be derived based on Table 11 described above. That is, Equation 20 may be designed to output the inverse displayed luminance samples in the luminance display process based on Tables 8 and 9 described above. Equation 20 can be described in conjunction with Table 10 described above.

[348] Уравнение 21 может быть предназначено для вывода обратно отображенных выборок яркости в отображении яркости на основе линейного формирователя. Например, lmcs_min_input из Уравнения 21 может выводиться в соответствии с по меньшей мере одной из Таблиц 21-24. В сравнении между Уравнением 20 и Уравнением 21, изменение от существующего LMCS в соответствии с применением линейного формирователя можно видеть с точки зрения прямого отображения.[348] Equation 21 may be designed to output the back-mapped luminance samples in a line driver-based luminance display. For example, lmcs_min_input from Equation 21 may be derived in accordance with at least one of Tables 21-24. In comparison between Equation 20 and Equation 21, the change from the existing LMCS according to the application of the linear driver can be seen from a direct mapping perspective.

[349] На основе вышеописанных примеров линейного формирователя, процесс идентификации кусочного индекса может опускаться. То есть, в настоящих примерах, поскольку существует только один фрагмент, имеющий действительные переформированные пикселы яркости, процесс идентификации кусочного индекса, используемый для обратного отображения яркости и остаточного масштабирования цветности, может быть устранен. Соответственно, сложность обратного отображения яркости может быть уменьшена. К тому же проблемы задержки, вызываемые зависимостью от идентификации кусочного индекса яркости во время остаточного масштабирования цветности, могут быть устранены. [349] Based on the above-described linear generator examples, the piecewise index identification process can be omitted. That is, in the present examples, since there is only one fragment having actual reshaped luminance pixels, the piecewise index identification process used for luminance inverse mapping and residual chroma scaling can be eliminated. Accordingly, the complexity of luminance inverse mapping can be reduced. In addition, delay problems caused by dependence on piecewise luminance index identification during residual chroma scaling can be eliminated.

[350] В соответствии с вариантом осуществления использования линейного формирователя, описанным выше, следующие преимущества могут быть обеспечены для LMCS: i) можно упростить схему формирователя кодера, предотвращая возможный артефакт, вызванный резкими изменениями между кусочными линейными фрагментами, ii) процесс обратного отображения декодера, в котором процесс идентификации кусочного индекса может быть удален, может упрощаться за счет устранения процесса идентификации кусочного индекса, iii) путем устранения процесса идентификации кусочного индекса, можно устранить проблему задержки в остаточном масштабировании цветности, вызываемую зависимостью от соответствующих блоков яркости, iv) можно уменьшить перекрытие сигнализации и сделать частое обновление формирователя более рациональным, v) для множества мест, которые требовались для контура из 16 фрагментов, контур можно устранить. Например, чтобы вывести InvScaleCoeff[i], число операций деления на lmcsCW[i] может быть уменьшено до 1.[350] According to the linear driver embodiment described above, the following advantages can be provided to LMCS: i) the encoder driver circuit can be simplified, preventing possible artifact caused by abrupt changes between piecewise linear fragments, ii) the decoder demapping process, in which the piecewise index identification process can be eliminated can be simplified by eliminating the piecewise index identification process, iii) by eliminating the piecewise index identification process, the delay problem in residual chroma scaling caused by the dependence on the corresponding luma blocks can be eliminated, iv) overlap can be reduced alarms and make frequent driver updates more rational, v) for many places that were required for a 16-piece circuit, the circuit can be eliminated. For example, to output InvScaleCoeff[i], the number of division operations by lmcsCW[i] can be reduced to 1.

[351] В другом варианте осуществления в соответствии с настоящим документом, предложен LMCS на основе гибких бинов. Здесь, гибкие бины могут относиться к числу бинов, не фиксированному на предопределенное (предварительно определенное, конкретное) число. В существующем варианте осуществления, число бинов в LMCS фиксировано в 16, и 16 бинов равномерно распределены для входных значений выборки. В этом варианте осуществления, предложено гибкое число бинов, и фрагменты (бины) могут не распределяться равным образом с точки зрения исходных значений пикселов.[351] In another embodiment, in accordance with the present document, a flexible bean-based LMCS is proposed. Here, flexible bins may refer to the number of bins not fixed to a predefined (predetermined, specific) number. In the existing embodiment, the number of bins in the LMCS is fixed at 16, and 16 bins are uniformly distributed across the input sample values. In this embodiment, a flexible number of bins is proposed, and the fragments (bins) may not be distributed equally in terms of the original pixel values.

[352] Следующие таблицы показывают примерный синтаксис для данных LMCS (поля данных) в соответствии с этим вариантом осуществления и семантику для синтаксических элементов, включенных в него.[352] The following tables show exemplary syntax for LMCS data (data fields) in accordance with this embodiment and semantics for syntactic elements included therein.

[353] [Таблица 27][353] [Table 27]

[354] [Таблица 28][354] [Table 28]

[355] Со ссылкой на Таблицу 27, информация о числе бинов lmcs_num_bins_minus1 может сигнализироваться. Со ссылкой на Таблицу 28, lmcs_num_bins_minus1+1 может быть равно числу бинов, из которого число бинов может находиться в диапазоне от 1 до (1<<BitDepthY)-1. Например, lmcs_num_bins_minus1 или lmcs_num_bins_minus1+1 могут быть кратны степени 2.[355] With reference to Table 27, information about the number of bins lmcs_num_bins_minus1 may be signaled. With reference to Table 28, lmcs_num_bins_minus1+1 may be equal to the number of bins, of which the number of bins may be in the range from 1 to (1<<BitDepthY)-1. For example, lmcs_num_bins_minus1 or lmcs_num_bins_minus1+1 can be a power of 2.

[356] В варианте осуществления, описанном вместе с таблицами 27 и 28, число точек поворота может выводиться на основе lmcs_num_bins_minus1 (информации о числе бинов), независимо от того, является ли формирователь линейным или нет (сигнализация lmcs_num_bins_minus1), и входные значения и отображенные значения точек поворота (LmcsPivot_input[i], LmcsPivot_mapped[i]) могут выводиться на основе суммирования сигнализированных значений кодовых слов (lmcs_delta_input_cw[i], lmcs_delta_mapped_cw[i]) (здесь, исходное входное значение LmcsPivot_input[0] и исходное выходное значение LmcsPivot_mapped[0] равны 0).[356] In the embodiment described in conjunction with Tables 27 and 28, the number of turning points may be output based on lmcs_num_bins_minus1 (bin number information), regardless of whether the driver is linear or not (lmcs_num_bins_minus1 signaling), and the input values and displayed Pivot point values (LmcsPivot_input[i], LmcsPivot_mapped[i]) can be derived based on the summation of the signaled codeword values (lmcs_delta_input_cw[i], lmcs_delta_mapped_cw[i]) (here, the original input value LmcsPivot_input[0] and the original output value LmcsPivot_mapped[ 0] are equal to 0).

[357] Фиг. 15 показывает пример линейного прямого отображения в варианте осуществления настоящего документа. Фиг. 16 показывает пример обратного прямого отображения в варианте осуществления настоящего документа. [357] FIG. 15 shows an example of a linear forward mapping in an embodiment of the present document. Fig. 16 shows an example of inverse forward mapping in an embodiment of the present document.

[358] В варианте осуществления в соответствии с фиг. 15 и фиг. 16, предложен способ для поддержки как регулярного LMCS, так и линейного LMCS. В примере в соответствии с этим вариантом осуществления, регулярное LMCS и/или линейное LMCS может указываться на основе синтаксического элемента lmcs_is_linear. В кодере, после того как линия линейного LMCS определена, отображенное значение (т.е. отображенное значение в pL на фиг. 15 и фиг. 16) может делиться на равные фрагменты (т.е. LmcsMaxBinIdx-lmcs_min_bin_idx+1). Кодовое слово в бине LmcsMaxBinIdx может сигнализироваться с использованием синтаксисов для данных lmcs или режима формирователя, описанных выше.[358] In the embodiment of FIG. 15 and fig. 16, a method is proposed to support both regular LMCS and linear LMCS. In an example according to this embodiment, a regular LMCS and/or a linear LMCS may be specified based on the lmcs_is_linear syntax element. In the encoder, after the linear LMCS line is determined, the mapped value (ie, the mapped value in pL in FIG. 15 and FIG. 16) may be divided into equal chunks (ie, LmcsMaxBinIdx-lmcs_min_bin_idx+1). The codeword in the LmcsMaxBinIdx bin may be signaled using the lmcs data or driver mode syntaxes described above.

[359] Следующие таблицы показывают примерный синтаксис для данных LMCS (поля данных) и семантику для синтаксических элементов, включенных в него, в соответствии с примером этого варианта осуществления.[359] The following tables show exemplary syntax for LMCS data (data fields) and semantics for syntactic elements included therein, in accordance with an example of this embodiment.

[360] [Таблица 29][360] [Table 29]

[361] [Таблица 30][361] [Table 30]

[362] [362]

[363] Следующие таблицы примерно показывают синтаксис для данных LMCS (поля данных) и семантику для синтаксических элементов, включенных в него, в соответствии с другим примером этого варианта осуществления.[363] The following tables approximately show the syntax for LMCS data (data fields) and semantics for syntactic elements included therein, in accordance with another example of this embodiment.

[364] [Таблица 31][364] [Table 31]

[365] [Таблица 32][365] [Table 32]

[366] [366]

[367] Со ссылкой на Таблицы 29-32, когда lmcs_is_linear_flag истинно, все lmcsDeltaCW[i] между lmcs_min_bin_idx и LmcsMaxBinIdx могут иметь одинаковые значения. То есть, lmcsCW[i] всех фрагментов между lmcs_min_bin_idx и LmcsMaxBinIdx может иметь одинаковые значения. Масштабирование и обратное масштабирование и масштабирование цветности всех фрагментов между lmcs_min_bin_idx и lmcsMaxBinIdx могут быть одинаковыми. Тогда, если линейный формирователь является истинным, то нет необходимости выводить индекс фрагмента, можно использовать масштабирование, обратное масштабирование из только одного из фрагментов.[367] With reference to Tables 29-32, when lmcs_is_linear_flag is true, all lmcsDeltaCW[i] between lmcs_min_bin_idx and LmcsMaxBinIdx can have the same value. That is, lmcsCW[i] of all fragments between lmcs_min_bin_idx and LmcsMaxBinIdx can have the same values. The scaling and inverse scaling and chroma scaling of all fragments between lmcs_min_bin_idx and lmcsMaxBinIdx can be the same. Then, if the linear generator is true, then there is no need to output the index of the fragment, one can use scaling, inverse scaling from only one of the fragments.

[368] Следующая таблица показывает примерный процесс идентификации кусочного индекса в соответствии с настоящим вариантом осуществления.[368] The following table shows an exemplary process for identifying a piecewise index in accordance with the present embodiment.

[369] [Таблица 33][369] [Table 33]

[370] В соответствии с другим вариантом осуществления настоящего документа, применение регулярного 16-кусочного PWL LMCS и линейного LMCS может зависеть от синтаксиса более высокого уровня (т.е. уровня последовательности).[370] According to another embodiment of the present document, the use of regular 16-piece PWL LMCS and linear LMCS may depend on higher level syntax (ie, sequence level).

[371] Следующие таблицы показывают синтаксис для SPS в соответствии с настоящим вариантом осуществления и семантику для синтаксических элементов, включенных в него.[371] The following tables show the syntax for the SPS in accordance with the present embodiment and the semantics for the syntactic elements included therein.

[372] [Таблица 34][372] [Table 34]

[373] [Таблица 35][373] [Table 35]

[374] Со ссылкой на Таблицы 34 и 35, включение регулярного LMCS и/или линейного LMCS может определяться (сигнализироваться) синтаксическим элементом, включенным в SPS. Со ссылкой на Таблицу 35, на основе синтаксического элемента sps_linear_lmcs_enabled_flag, одно из регулярного LMCS или линейного LMCS может использоваться в единицах последовательности.[374] With reference to Tables 34 and 35, the inclusion of a regular LMCS and/or a linear LMCS may be determined (signaled) by a syntax element included in the SPS. With reference to Table 35, based on the sps_linear_lmcs_enabled_flag syntax element, one of regular LMCS or linear LMCS may be used in sequence units.

[375] К тому же то, следует ли включить только линейное LMCS или регулярное LMCS или оба, может также зависеть от уровня профиля. В одном примере, для конкретного профиля (т.е. профиля SDR), может быть разрешено только линейное LMCS, для другого профиля (т.е. профиля HDR), может быть разрешено только регулярное LMCS, и для другого профиля, могут быть разрешены регулярное LMCS и/или линейное LMCS.[375] In addition, whether to enable only linear LMCS or regular LMCS or both may also depend on the profile level. In one example, for a particular profile (i.e., an SDR profile), only linear LMCS may be enabled, for another profile (i.e., an HDR profile), only regular LMCS may be enabled, and for another profile, only regular LMCS may be enabled. regular LMCS and/or linear LMCS.

[376] В соответствии с другим вариантом осуществления настоящего документа, процесс идентификации кусочного индекса LMCS может использоваться в обратном отображении яркости и остаточном масштабировании цветности. В этом варианте осуществления, процесс идентификации кусочного индекса может использоваться для блоков с включенным остаточным масштабированием цветности и также вызываться для всех выборок яркости в переформированной (отображенной) области. Настоящий вариант осуществления нацелен на поддержание сложности низкой.[376] According to another embodiment of the present document, the LMCS piecewise index identification process may be used in luma inverse mapping and chroma residual scaling. In this embodiment, the piecewise index identification process can be used for blocks with residual chroma scaling enabled and also invoked for all luma samples in the reshaped (mapped) region. The present embodiment aims to keep complexity low.

[377] Следующая таблица показывает процесс идентификации (процесс выведения) существующего кусочного индекса функции.[377] The following table shows the identification process (derivative process) of an existing piecewise function index.

[378] [Таблица 36][378] [Table 36]

[379] В примере, в процессе идентификации кусочного индекса, входные выборки могут классифицироваться на по меньшей мере две категории. Например, входные выборки могут классифицироваться на три категории, первую, вторую и третью категории. Например, первая категория может представлять выборки (их значения), меньшие, чем LmcsPivot[lmcs_min_bin_idx+1], и вторая категория может представлять выборки (их значения), большие или равные (значениям) LmcsPivot[LmcsMaxBinIdx], третья категория может указывать выборки (их значения) между LmcsPivot[lmcs_min_bin_idx+1] и LmcsPivot[LmcsMaxBinIdx].[379] In an example, during the piecewise index identification process, the input samples may be classified into at least two categories. For example, input samples can be classified into three categories, first, second and third categories. For example, the first category may represent samples (their values) smaller than LmcsPivot[lmcs_min_bin_idx+1], and the second category may represent samples (their values) greater than or equal to (the values of) LmcsPivot[LmcsMaxBinIdx], the third category may indicate samples ( their values) between LmcsPivot[lmcs_min_bin_idx+1] and LmcsPivot[LmcsMaxBinIdx].

[380] В этом варианте осуществления, предложено оптимизировать процесс идентификации путем устранения классификаций на категории. То есть, поскольку входом в процесс идентификации кусочного индекса являются значения яркости в переформированной (отображенной) области, не должно быть значений помимо отображенных значений в точках поворота lmcs_min_bin_idx и LmcsMaxBinIdx+1. Соответственно, условный процесс для классификации выборок на категории в существующем процессе идентификации кусочного индекса не нужен. Что касается деталей, конкретные примеры будут описаны ниже при помощи таблиц.[380] In this embodiment, it is proposed to optimize the identification process by eliminating category classifications. That is, since the input to the piecewise index identification process is the brightness values in the reshaped (mapped) region, there should be no values other than the mapped values at the turning points lmcs_min_bin_idx and LmcsMaxBinIdx+1. Accordingly, a conditional process for classifying samples into categories is not needed in the existing piecewise index identification process. In terms of details, specific examples will be described below using tables.

[381] В примере в соответствии с этим вариантом осуществления, процесс идентификации, включенный в Таблицу 36, может заменяться на процесс Таблиц 37 или 38 ниже. Со ссылкой на Таблицы 37 и 38, первые две категории Таблицы 36 могут быть удалены, и для последней категории, граничное значение (второе граничное значение или конечная точка) в итерации для контура изменяется с LmcsMaxBinIdx на LmcsMaxBinIdx+1. То есть, процесс идентификации может быть упрощен, и сложность для вывода кусочного индекса может быть уменьшена. Соответственно, связанное с LMCS кодирование может эффективно выполняться в соответствии с настоящим вариантом осуществления.[381] In an example according to this embodiment, the identification process included in Table 36 may be replaced by the process of Tables 37 or 38 below. With reference to Tables 37 and 38, the first two categories of Table 36 can be removed, and for the last category, the boundary value (second boundary value or end point) in the loop iteration changes from LmcsMaxBinIdx to LmcsMaxBinIdx+1. That is, the identification process can be simplified, and the complexity for deriving the piecewise index can be reduced. Accordingly, LMCS-related encoding can be efficiently performed in accordance with the present embodiment.

[382] [Таблица 37][382] [Table 37]

[383] [Таблица 38][383] [Table 38]

[384] Со ссылкой на Таблицу 37, процесс сравнения, соответствующий условию оператора if (уравнению, соответствующему условию оператора if), может повторно выполняться на всех индексах бинов от минимального индекса бина до максимального индекса бина. Индекс бина, в случае, где уравнение, соответствующее условию оператора if, истинно, может выводиться как индекс обратного отображения для обратного отображения яркости (или индекс обратного масштабирования для остаточного масштабирования цветности). На основе индекса обратного отображения, могут выводиться модифицированные восстановленные выборки яркости (или масштабированные остаточные выборки цветности).[384] Referring to Table 37, the comparison process corresponding to the condition of the if statement (the equation corresponding to the condition of the if statement) may be repeatedly performed on all bin indices from the minimum bin index to the maximum bin index. The bin index, in the case where the equation corresponding to the condition of the if statement is true, can be output as an inverse mapping index for luma inverse mapping (or an inverse scaling index for residual chroma scaling). Based on the inverse mapping index, modified reconstructed luma samples (or scaled residual chroma samples) can be output.

[385] Следующие чертежи поясняют конкретные примеры настоящей спецификации. Поскольку названия конкретных устройств, приведенные на чертежах, или названия конкретных сигналов/сообщений/полей представлены в качестве примера, технические признаки настоящей спецификации не ограничены конкретными названиями, используемыми в следующих чертежах.[385] The following drawings illustrate specific examples of this specification. Since the names of specific devices shown in the drawings or the names of specific signals/messages/fields are provided by way of example, the technical features of this specification are not limited to the specific names used in the following drawings.

[386] Фиг. 17 и фиг. 18 схематично показывают пример способа кодирования видео/изображения и связанные компоненты в соответствии с вариантом(ами) осуществления настоящего документа. Способ, раскрытый на фиг. 17, может выполняться устройством кодирования, раскрытым на фиг. 2. Конкретно, например, S1700 и S1710 на фиг. 17 могут выполняться предсказателем 220 устройства кодирования, S1720 может выполняться процессором 230 остатка устройства кодирования, S1730 может выполняться предсказателем 220 или процессором 230 остатка устройства кодирования, S1740 может выполняться процессором 230 остатка или сумматором 250 устройства кодирования, S1750 может выполняться процессором 230 остатка устройства кодирования, и S1760 может выполняться энтропийным кодером 240 устройства кодирования. Способ, раскрытый на фиг. 17, может включать в себя варианты осуществления, описанные выше в настоящем документе.[386] FIG. 17 and fig. 18 schematically shows an example of a video/image encoding method and related components in accordance with embodiment(s) of the present document. The method disclosed in FIG. 17 may be performed by the encoding device disclosed in FIG. 2. Specifically, for example, S1700 and S1710 in FIG. 17 may be executed by the encoder predictor 220, S1720 may be executed by the encoder remainder processor 230, S1730 may be executed by the encoder remainder predictor 220 or the encoder processor 230, S1740 may be executed by the encoder remainder processor 230 or the encoder adder 250, S1750 may be executed by the encoder remainder processor 230, and S1760 may be performed by the entropy encoder 240 of the encoding device. The method disclosed in FIG. 17 may include the embodiments described above herein.

[387] Со ссылкой на фиг. 17, устройство кодирования может выводить режим интер-предсказания для текущего блока в текущей картинке (S1700). Устройство кодирования может выводить по меньшей мере один из различных режимов, раскрытых в настоящем документе, среди режимов интер-предсказания.[387] With reference to FIG. 17, the encoding device may output an inter-prediction mode for the current block in the current picture (S1700). The encoder may output at least one of the various modes disclosed herein among the inter-prediction modes.

[388] Устройство кодирования может генерировать выборки яркости предсказания на основе режима интер-предсказания (S1710). Устройство кодирования может генерировать выборки яркости предсказания путем выполнения предсказания на исходных выборках, включенных в текущий блок.[388] The encoding device may generate prediction luminance samples based on the inter-prediction mode (S1710). The encoder may generate prediction luminance samples by performing prediction on the original samples included in the current block.

[389] Устройство кодирования может выводить выборки цветности предсказания. Устройство кодирования может выводить остаточные выборки цветности на основе исходных выборок цветности и выборок цветности предсказания текущего блока. Например, устройство кодирования может выводить остаточные выборки цветности на основе разности между выборками цветности предсказания и исходными выборками цветности.[389] The encoder may output prediction chroma samples. The encoder may output residual chroma samples based on the original chroma samples and the prediction chroma samples of the current block. For example, the encoder may output residual chroma samples based on the difference between the prediction chroma samples and the original chroma samples.

[390] Устройство кодирования может выводить бины для отображения яркости и кодовые слова LMCS. Устройство кодирования может выводить бины и/или кодовые слова LMCS на основе SDR или HDR.[390] The encoder may output luminance display bins and LMCS codewords. The encoder may output SDR or HDR based LMCS bins and/or codewords.

[391] Устройство кодирования может выводить связанную с LMCS информацию (S1720). Связанная с LMCS информация может включать в себя бины для отображения яркости и кодовые слова LMCS.[391] The encoder may output LMCS-related information (S1720). LMCS-related information may include luminance display bins and LMCS codewords.

[392] Устройство кодирования может генерировать отображаемые выборки яркости предсказания на основе процесса отображения для выборок яркости (S1730). Устройство кодирования может генерировать отображаемые выборки яркости предсказания на основе бинов для отображения яркости и/или кодовых слов LMCS. Например, устройство кодирования может выводить входные значения и отображенные значения (выходные значения) точек поворота для отображения яркости и может генерировать отображенные выборки яркости предсказания на основе входных значений и отображенных значений. В одном примере, устройство кодирования может выводить индекс отображения (idxY) на основе первой выборки предсказания яркости и может генерировать первую отображенную выборку предсказания яркости на основе входного значения и отображенного значения точки поворота, соответствующей индексу отображения. В другом примере, линейное отображение (линейное повторное формирование, линейное LMCS) может использоваться, и отображенные выборки яркости предсказания могут генерироваться на основе коэффициента масштабирования прямого отображения, выведенного из двух точек поворота в линейном отображении, таким образом, процесс вывода индекса может опускаться вследствие линейного отображения.[392] The encoding device may generate display prediction luminance samples based on the display process for luminance samples (S1730). The encoder may generate display prediction luminance samples based on bins for luminance mapping and/or LMCS codewords. For example, the encoder may output input values and mapped values (output values) of turning points for luminance mapping, and may generate mapped prediction luminance samples based on the input values and mapped values. In one example, the encoder may output a display index (idxY) based on the first luminance prediction sample, and may generate a first map luminance prediction sample based on the input value and the mapped value of the turning point corresponding to the display index. In another example, linear mapping (linear reshaping, linear LMCS) can be used, and mapped prediction luminance samples can be generated based on the forward mapping scaling factor derived from two turning points in the linear mapping, thus the index derivation process can be omitted due to linear display.

[393] Устройство кодирования может генерировать масштабированные остаточные выборки цветности. Конкретно, устройство кодирования может выводить коэффициент остаточного масштабирования цветности и генерировать масштабированные остаточные выборки цветности на основе коэффициента остаточного масштабирования цветности. Здесь, остаточное масштабирование цветности стадии кодирования может называться прямым остаточным масштабированием цветности. Соответственно, коэффициент остаточного масштабирования цветности, выведенный устройством кодирования, может называться прямым коэффициентом остаточного масштабирования цветности, и могут генерироваться прямые масштабированные остаточные выборки цветности.[393] The encoder may generate scaled chroma residual samples. Specifically, the encoding device may output a chroma residual scaling factor and generate scaled chroma residual samples based on the chroma residual scaling factor. Here, the residual chroma scaling of the encoding stage may be called direct residual chrominance scaling. Accordingly, the chroma residual scaling factor output by the encoding device may be called a forward chroma residual scaling factor, and direct scaled chroma residual samples can be generated.

[394] Устройство кодирования может генерировать восстановленные выборки яркости. Устройство кодирования может генерировать восстановленные выборки яркости на основе отображенных выборок яркости предсказания. Конкретно, устройство кодирования может суммировать вышеописанные остаточные выборки яркости с отображенными выборками яркости предсказания и может генерировать восстановленные выборки яркости на основе результата суммирования.[394] The encoder may generate reconstructed luminance samples. The encoder may generate reconstructed luminance samples based on the mapped prediction luminance samples. Specifically, the encoder can add the above-described residual luminance samples with the mapped prediction luminance samples, and can generate reconstructed luminance samples based on the result of the summation.

[395] Устройство кодирования может генерировать модифицированные восстановленные выборки яркости на основе процесса обратного отображения для выборок яркости (S1740). Устройство кодирования может генерировать модифицированные восстановленные выборки яркости на основе бинов для отображения яркости, кодовых слов LMCS и восстановленных выборок яркости. Устройство кодирования может генерировать модифицированные восстановленные выборки яркости с помощью процесса обратного отображения для восстановленных выборок яркости. Например, устройство кодирования может выводить индекс обратного отображения (т.е. invYIdx) на основе восстановленных выборок яркости и/или значений отображения (т.е. LmcsPivot[i], i=lmcs_min_bin_idx…LmcsMaxBinIdx+1), распределенных каждому из индексов бинов в процессе обратного отображения. Устройство кодирования может генерировать модифицированные восстановленные выборки яркости на основе значений отображения (LmcsPivot[invYIdx]), распределенных индексу обратного отображения.[395] The encoding device may generate modified reconstructed luminance samples based on the luminance sample demapping process (S1740). The encoder may generate modified reconstructed luminance samples based on bins for luminance mapping, LMCS codewords, and reconstructed luminance samples. The encoder may generate modified reconstructed luminance samples using a demapping process for the reconstructed luminance samples. For example, the encoder may output a reverse mapping index (i.e., invYIdx) based on the reconstructed luma samples and/or mapping values (i.e., LmcsPivot[i], i=lmcs_min_bin_idx...LmcsMaxBinIdx+1) allocated to each of the bin indices during the reverse mapping process. The encoder may generate modified reconstructed luma samples based on the mapping values (LmcsPivot[invYIdx]) allocated to the inverse mapping index.

[396] Устройство кодирования может генерировать остаточные выборки яркости на основе отображенных выборок яркости предсказания. Например, устройство кодирования может выводить остаточные выборки яркости на основе разности между отображенными выборками яркости предсказания и исходными выборками яркости.[396] The encoder may generate residual luminance samples based on the mapped prediction luminance samples. For example, the encoder may output residual luminance samples based on the difference between the mapped prediction luminance samples and the original luminance samples.

[397] Устройство кодирования может выводить информацию остатка (S1750). В одном примере, устройство кодирования может генерировать информацию остатка на основе отображенных выборок яркости предсказания и модифицированных восстановленных выборок яркости. Например, устройство кодирования может выводить информацию остатка на основе масштабированных остаточных выборок цветности и/или остаточных выборок яркости. Устройство кодирования может выводить коэффициенты преобразования на основе масштабированных остаточных выборок цветности и/или процесса преобразования для остаточных выборок яркости. Например, процесс преобразования может включать в себя по меньшей мере одно из DCT, DST, GBT или CNT. Устройство кодирования может выводить квантованные коэффициенты преобразования на основе процесса квантования для коэффициентов преобразования. Квантованные коэффициенты преобразования могут иметь форму одномерного вектора на основе порядка сканирования коэффициентов. Устройство кодирования может генерировать информацию остатка, специфицирующую квантованные коэффициенты преобразования. Информация остатка может генерироваться посредством различных способов кодирования, такие как экспоненциальное кодирование Голомба, CAVLC, CABAC и тому подобное.[397] The encoding device may output remainder information (S1750). In one example, the encoder may generate residual information based on the mapped prediction luminance samples and the modified reconstructed luminance samples. For example, the encoder may output residual information based on the scaled chroma residual samples and/or luma residual samples. The encoder may derive transform coefficients based on the scaled chroma residual samples and/or a transform process for the luma residual samples. For example, the conversion process may include at least one of DCT, DST, GBT or CNT. The encoding device may output quantized transform coefficients based on a quantization process for the transform coefficients. The quantized transform coefficients can be in the form of a one-dimensional vector based on the scanning order of the coefficients. The encoder may generate remainder information specifying the quantized transform coefficients. The remainder information can be generated through various encoding methods, such as exponential Golomb encoding, CAVLC, CABAC and the like.

[398] Устройство кодирования может кодировать информацию изображения/видео (S1760). Информация изображения может включать в себя информацию о данных LMCS и/или информацию остатка. Например, связанная с LMCS информация может включать в себя информацию о линейном LMCS. В одном примере, по меньшей мере одно кодовое слово LMCS может выводиться на основе информации о линейном LMCS. Закодированная информация видео/изображения может выводиться в форме битового потока. Битовый поток может передаваться на устройство декодирования через сеть или носитель хранения.[398] The encoding device can encode image/video information (S1760). The image information may include LMCS data information and/or residual information. For example, the LMCS-related information may include information about the linear LMCS. In one example, the at least one LMCS codeword may be derived based on the linear LMCS information. The encoded video/image information may be output in the form of a bitstream. The bit stream may be transmitted to the decoding device via a network or storage medium.

[399] Информация изображения/видео может включать в себя различную информацию в соответствии с вариантом осуществления настоящего документа. Например, информация изображения/видео может включать в себя информацию, раскрытую в по меньшей мере одной из Таблиц 1-38, описанных выше.[399] The image/video information may include various information in accordance with an embodiment of the present document. For example, the image/video information may include information disclosed in at least one of Tables 1-38 described above.

[400] В одном варианте осуществления, минимальный индекс бина и максимальный индекс бина могут выводиться на основе информации о бинах. Например, значения отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина могут выводиться на основе информации о кодовых словах LMCS. Значения отображения могут включать в себя первое значение отображения (т.е. LmcsPivot[idxY]) и второе значение отображения (т.е. LmcsPivot[idxYInv]). В процессе отображения для выборок яркости, индекс отображения может выводиться на основе выборок яркости предсказания, и отображенные выборки яркости предсказания могут генерироваться с использованием первого значения отображения на основе индекса отображения. В процессе обратного отображения для выборок яркости, индекс обратного отображения выводится на основе значений отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина. Модифицированные восстановленные выборки яркости могут генерироваться с использованием второго значения отображения на основе индекса обратного отображения.[400] In one embodiment, the minimum bin index and maximum bin index may be inferred based on the bin information. For example, mapping values based on bin indices from the minimum bin index to the maximum bin index may be derived based on the LMCS codeword information. The mapping values may include a first mapping value (ie, LmcsPivot[idxY]) and a second mapping value (ie, LmcsPivot[idxYInv]). In the display process for the luminance samples, a display index may be output based on the prediction luminance samples, and displayed prediction luminance samples may be generated using the first display value based on the display index. In the demapping process for luminance samples, the demapping index is derived based on the mapping values based on the bin indices from the minimum bin index to the maximum bin index. Modified reconstructed luminance samples may be generated using the second mapping value based on the inverse mapping index.

[401] В одном варианте осуществления, значения отображения на основе индексов бинов от наименьшего индекса бина до наибольшего индекса бина могут выводиться на основе кодовых слов LMCS. Например, отображенные выборки яркости предсказания и модифицированные восстановленные выборки яркости могут генерироваться на основе значений отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина.[401] In one embodiment, mapping values based on bin indices from the smallest bin index to the largest bin index may be derived based on the LMCS codewords. For example, mapped prediction luminance samples and modified reconstructed luminance samples may be generated based on mapping values based on bin indices from the minimum bin index to the maximum bin index.

[402] В одном варианте осуществления, индекс обратного отображения может выводиться на основе сравнения между значениями отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина и значений восстановленных выборок яркости.[402] In one embodiment, the inverse mapping index may be inferred based on a comparison between bin index-based mapping values from the minimum bin index to the maximum bin index and the values of the reconstructed luminance samples.

[403] В одном варианте осуществления, индексы бинов включают в себя первый индекс бина, указывающий первое отображенное значение. Первый индекс бина может выводиться на основе отображенных значений на основе индексов бинов от минимального индекса бина до максимального индекса бина и сравнения между значениями восстановленных выборок яркости. По меньшей мере одна из модифицированных восстановленных выборок яркости может выводиться на основе восстановленных выборок яркости и первого отображенного значения.[403] In one embodiment, the bin indices include a first bin index indicating the first mapped value. The first bin index may be inferred from the mapped values based on the bin indices from the minimum bin index to the maximum bin index and the comparison between the values of the reconstructed luminance samples. At least one of the modified reconstructed luminance samples may be output based on the reconstructed luminance samples and the first displayed value.

[404] В одном варианте осуществления, индексы бинов включают в себя первый индекс бина, указывающий первое отображенное значение, и первый индекс бина может выводиться на основе сравнения уравнений, включенных в Таблицу 37 (lumaSample<LmcsPivot[idxYInv+1]). Например, в уравнении выше, lumaSample представляет значение целевой выборки яркости среди восстановленных выборок яркости, idxYInv представляет один из индексов бинов, и LmcsPivot[idxYinv+1] представляет одно из отображенных значений на основе индексов бинов от минимального индекса бина до максимального бина. По меньшей мере одна из восстановленных выборок яркости может выводиться на основе восстановленных выборок яркости и первого значения отображения. В одном примере, индекс бина, в случае, где уравнение сравнения (lumaSample<LmcsPivot[idxYInv+1]) истинно, может выводиться как индекс обратного отображения.[404] In one embodiment, the bin indices include a first bin index indicating the first mapped value, and the first bin index may be derived based on a comparison of the equations included in Table 37 (lumaSample<LmcsPivot[idxYInv+1]). For example, in the equation above, lumaSample represents the value of the target luma sample among the reconstructed luma samples, idxYInv represents one of the bin indices, and LmcsPivot[idxYinv+1] represents one of the mapped values based on the bin indices from the minimum bin index to the maximum bin. At least one of the reconstructed luminance samples may be output based on the reconstructed luminance samples and the first display value. In one example, the bin index, in the case where the comparison equation (lumaSample<LmcsPivot[idxYInv+1]) is true, can be output as the inverse mapping index.

[405] В одном варианте осуществления, процесс сравнения (lumaSample<LmcsPivot[idxYInv+1]), включенный в Таблицу 37, может выполняться на всех из индексов бинов от минимального индекса бина до максимального индекса бина.[405] In one embodiment, the comparison process (lumaSample<LmcsPivot[idxYInv+1]) included in Table 37 may be performed on all of the bin indices from the minimum bin index to the maximum bin index.

[406] В одном варианте осуществления, информация изображения включает в себя информацию остатка. Остаточные выборки цветности генерируются на основе информации остатка. Индекс обратного масштабирования идентифицируется на основе связанной с LMCS информацией, и коэффициент остаточного масштабирования цветности может выводиться на основе индекса обратного масштабирования. Масштабированные остаточные выборки цветности могут генерироваться на основе остаточных выборок цветности и коэффициента остаточного масштабирования цветности.[406] In one embodiment, the image information includes residual information. Residual chroma samples are generated based on the residual information. The inverse scaling index is identified based on the LMCS related information, and the residual chroma scaling factor may be derived based on the inverse scaling index. Scaled chroma residual samples can be generated based on the chroma residual samples and the chroma residual scaling factor.

[407] В одном варианте осуществления, остаточные выборки цветности могут генерироваться на основе информации остатка. Индексы бинов могут включать в себя первый индекс бина, указывающий первое значение отображения. Первый индекс бина может выводиться на основе сравнения между значениями отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина и значений восстановленных выборок яркости. Коэффициент остаточного масштабирования цветности может выводиться на основе первого индекса бина. Масштабированные остаточные выборки цветности могут генерироваться на основе остаточных выборок цветности и коэффициента остаточного масштабирования цветности. Восстановленные выборки цветности могут генерироваться на основе масштабированных остаточных выборок цветности.[407] In one embodiment, residual chroma samples can be generated based on the residual information. The bin indices may include a first bin index indicating a first display value. The first bin index may be derived based on a comparison between the bin index-based mapping values from the minimum bin index to the maximum bin index and the values of the reconstructed luminance samples. The residual chroma scaling factor may be derived based on the first bin index. Scaled chroma residual samples can be generated based on the chroma residual samples and the chroma residual scaling factor. Reconstructed chroma samples can be generated from the scaled residual chroma samples.

[408] В одном варианте осуществления, информация изображения включает в себя информацию о линейном LMCS, информация о данных LMCS включает в себя флаг линейного LMCS, указывающую, применяется ли линейное LMCS, и значение флага линейного LMCS может составлять 1, когда отображенные выборки яркости предсказания генерируются на основе информации о линейном LMCS.[408] In one embodiment, the image information includes linear LMCS information, the LMCS data information includes a linear LMCS flag indicating whether linear LMCS is applied, and the value of the linear LMCS flag may be 1 when the mapped prediction luminance samples are generated based on linear LMCS information.

[409] В одном варианте осуществления, информация о линейном LMCS включает в себя информацию о первой точке поворота (т.е. P1 на фиг. 12) и информацию о второй точке поворота (т.е. P2 на фиг. 12). Например, входное значение и отображенное значение первой точки поворота являются минимальным входным значением и минимальным отображенным значением, соответственно. Входное значение и отображенное значение второй точки поворота являются максимальным входным значением и максимальным отображенным значением, соответственно. Входные значения между минимальным входным значением и максимальным входным значением линейно отображаются.[409] In one embodiment, the linear LMCS information includes information about a first pivot point (ie, P1 in FIG. 12) and information about a second pivot point (ie, P2 in FIG. 12). For example, the input value and the mapped value of the first turning point are the minimum input value and the minimum mapped value, respectively. The input value and the displayed value of the second turning point are the maximum input value and the maximum displayed value, respectively. Input values between the minimum input value and the maximum input value are mapped linearly.

[410] В одном варианте осуществления, информация изображения может включать в себя набор параметров последовательности (SPS). SPS может включать в себя включенный флаг линейного LMCS, специфицирующий, включено ли линейное LMCS.[410] In one embodiment, the image information may include a sequence parameter set (SPS). The SPS may include a linear LMCS enabled flag specifying whether linear LMCS is enabled.

[411] В одном варианте осуществления, минимальный индекс бина (т.е. lmcs_min_bin_idx) и/или максимальный индекс бина (т.е. LmcsMaxBinIdx) могут выводиться на основе связанной с LMCS информации. Первое значение отображения (LmcsPivot[lmcs_min_bin_idx]) может выводиться на основе минимального индекса бина. Второе значение отображения (LmcsPivot[LmcsMaxBinIdx] или LmcsPivot[LmcsMaxBinIdx+1]) может выводиться на основе максимального индекса бина. Значения восстановленных выборок яркости (т.е. lumaSample Таблицы 37 или 38) могут находиться в диапазоне от первого значения отображения до второго значения отображения. В одном примере, значения всех восстановленных выборок яркости могут находиться в диапазоне от первого значения отображения до второго значения отображения. В другом примере, значения некоторых из восстановленных выборок яркости могут находиться в диапазоне от первого значения отображения до второго значения отображения.[411] In one embodiment, the minimum bin index (ie, lmcs_min_bin_idx) and/or the maximum bin index (ie, LmcsMaxBinIdx) may be inferred based on the LMCS-related information. The first mapping value (LmcsPivot[lmcs_min_bin_idx]) can be derived based on the minimum bin index. The second mapping value (LmcsPivot[LmcsMaxBinIdx] or LmcsPivot[LmcsMaxBinIdx+1]) can be derived based on the maximum bin index. The values of the reconstructed luma samples (ie, lumaSample of Tables 37 or 38) may range from the first display value to the second display value. In one example, the values of all reconstructed luminance samples may range from the first display value to the second display value. In another example, the values of some of the reconstructed luminance samples may range from the first display value to the second display value.

[412] В одном варианте осуществления, устройство кодирования может генерировать (выводить) кусочный индекс для остаточного масштабирования цветности. Устройство кодирования может выводить коэффициент остаточного масштабирования цветности на основе кусочного индекса. Устройство кодирования может генерировать масштабированные остаточные выборки цветности на основе остаточных выборок цветности и коэффициента остаточного масштабирования цветности.[412] In one embodiment, the encoder may generate (output) a piecewise index for residual chroma scaling. The encoder may output a residual chroma scaling factor based on the piecewise index. The encoder may generate scaled chroma residual samples based on the chroma residual samples and the chroma residual scaling factor.

[413] В одном варианте осуществления, коэффициент остаточного масштабирования цветности может представлять собой один коэффициент остаточного масштабирования цветности.[413] In one embodiment, the chroma residual scaling factor may be a single chroma residual scaling factor.

[414] В одном варианте осуществления, связанная с LMCS информация может включать в себя поле данных LMCS и информацию о линейном LMCS. Информация о линейном LMCS может называться информацией о линейном отображении. Поле данных LMCS может включать в себя флаг линейного LMCS, указывающий, применяется ли линейное LMCS. Когда значение флага линейного LMCS равно 1, отображенные выборки яркости предсказания могут генерироваться на основе информации о линейном LMCS.[414] In one embodiment, the LMCS-related information may include an LMCS data field and linear LMCS information. The linear LMCS information may be referred to as linear mapping information. The LMCS data field may include a linear LMCS flag indicating whether linear LMCS is applied. When the value of the linear LMCS flag is 1, mapped prediction luminance samples can be generated based on the linear LMCS information.

[415] В одном варианте осуществления, информация изображения включает в себя информацию о максимальном входном значении и информацию о максимальном отображенном значении. Максимальное входное значение равно значению информации о максимальном входном значении (т.е. lmcs_max_input в Таблице 21). Максимальное отображенное значение равно значению информации о максимальном отображенном значении (т.е. lmcs_max_mapped в Таблице 21).[415] In one embodiment, the image information includes information about a maximum input value and information about a maximum displayed value. The maximum input value is equal to the value of the maximum input value information (ie lmcs_max_input in Table 21). The maximum mapped value is equal to the value of the maximum mapped value information (ie, lmcs_max_mapped in Table 21).

[416] В одном варианте осуществления, информация о линейном отображении включает в себя информацию о входном значении дельта второй точки поворота (т.е. lmcs_max_input_delta в Таблице 23) и информацию об отображенном значении дельта второй точки поворота (т.е. lmcs_max_mapped_delta в Таблице 23). Максимальное входное значение может выводиться на основе входного значения дельта второй точки поворота, и максимальное отображенное значение может выводиться на основе отображенного значения дельта второй точки поворота.[416] In one embodiment, the linear mapping information includes information about the second pivot point input delta value (i.e., lmcs_max_input_delta in Table 23) and information about the mapped second pivot point delta value (i.e., lmcs_max_mapped_delta in Table 23). The maximum input value may be output based on the input delta value of the second pivot point, and the maximum displayed value may be output based on the displayed delta value of the second pivot point.

[417] В одном варианте осуществления, максимальное входное значение и максимальное отображенное значение могут выводиться на основе по меньшей мере одного уравнения, включенного в Таблицу 24, описанную выше.[417] In one embodiment, the maximum input value and the maximum displayed value may be derived based on at least one equation included in Table 24 described above.

[418] В одном варианте осуществления, генерация отображенных выборок яркости предсказания содержит вывод коэффициента масштабирования прямого отображения (т.е. ScaleCoeffSingle) для выборок яркости предсказания и генерацию отображенных выборок яркости предсказания на основе коэффициента масштабирования прямого отображения. Коэффициент масштабирования прямого отображения может представлять собой один коэффициент для выборок яркости предсказания.[418] In one embodiment, generating mapped prediction luminance samples comprises outputting a forward mapping scaling factor (ie, ScaleCoeffSingle) for the prediction luminance samples and generating mapped prediction luminance samples based on the forward mapping scaling factor. The forward mapping scaling factor may be a single factor for the prediction luminance samples.

[419] В одном варианте осуществления, коэффициент масштабирования прямого отображения может выводиться на основе по меньшей мере одного уравнения, включенного в Таблицы 22 и/или 24, описанные выше.[419] In one embodiment, the forward mapping scaling factor may be derived based on at least one equation included in Tables 22 and/or 24 described above.

[420] В одном варианте осуществления, отображенные выборки яркости предсказания могут выводиться на основе по меньшей мере одного уравнения, включенного в Таблицу 26, описанную выше.[420] In one embodiment, the mapped prediction luminance samples may be derived based on at least one equation included in Table 26 described above.

[421] В одном варианте осуществления, устройство кодирования может выводить коэффициент масштабирования обратного отображения (т.е. InvScaleCoeffSingle) для восстановленных выборок яркости (т.е. lumaSample). Также, устройство кодирования может генерировать модифицированные восстановленные выборки яркости (т.е. invSample) на основе восстановленных выборок яркости и коэффициента масштабирования обратного отображения. Коэффициент масштабирования обратного отображения может представлять собой один коэффициент для восстановленных выборок яркости.[421] In one embodiment, the encoder may output an inverse mapping scaling factor (ie, InvScaleCoeffSingle) for the reconstructed luma samples (ie, lumaSample). Also, the encoder may generate modified reconstructed luminance samples (ie, invSample) based on the reconstructed luminance samples and the inverse mapping scaling factor. The demapping scaling factor may be a single factor for the reconstructed luminance samples.

[422] В одном варианте осуществления, коэффициент масштабирования обратного отображения может выводиться с использованием кусочного индекса, выведенного на основе восстановленных выборок яркости.[422] In one embodiment, the inverse mapping scaling factor may be derived using a piecewise index derived from the reconstructed luminance samples.

[423] В одном варианте осуществления, кусочный индекс может выводиться на основе Таблицы 36, описанной выше. То есть, процесс сравнения, включенный в Таблицу 37 (lumaSample<LmcsPivot[idxYInv+1]), может многократно выполняться от кусочного индекса, который является минимальным индексом бина, до кусочного индекса, который является максимальным индексом бина.[423] In one embodiment, the piecewise index may be derived based on Table 36 described above. That is, the comparison process included in Table 37 (lumaSample<LmcsPivot[idxYInv+1]) may be repeatedly performed from the piecewise index, which is the minimum index of the bin, to the piecewise index, which is the maximum index of the bin.

[424] В одном варианте осуществления, коэффициент масштабирования обратного отображения может выводиться на основе по меньшей мере одного из Уравнений, включенных в Таблицы 19, 20, 22 и 24, или Уравнения 11 или 12, описанных выше.[424] In one embodiment, the inverse mapping scaling factor may be derived based on at least one of the Equations included in Tables 19, 20, 22 and 24, or Equations 11 or 12 described above.

[425] В одном варианте осуществления, модифицированные восстановленные выборки яркости могут выводиться на основе Уравнения 21, описанного выше.[425] In one embodiment, the modified reconstructed luminance samples may be output based on Equation 21 described above.

[426] В одном варианте осуществления, связанная с LMCS информация может включать в себя информацию о числе бинов для вывода отображенных выборок яркости предсказания (т.е. lmcs_num_bins_minus1 в Таблице 27). Например, число точек поворота для отображения яркости может быть установлено равным числу бинов. В одном примере, устройство кодирования может генерировать входные значения дельта и отображенные значения дельта точек поворота по числу бинов, соответственно. В одном примере, входные значения и отображенные значения точек поворота выводятся на основе входных значений дельта (т.е. lmcs_delta_input_cw[i] в Таблице 27) и отображенных значений дельта (т.е. lmcs_delta_mapped_cw[i] в Таблице 28), и отображенные выборки яркости предсказания могут генерироваться на основе входных значений (т.е. LmcsPivot_input[i] Таблицы 28 или InputPivot[i] Таблицы 10) и отображенных значений (т.е. LmcsPivot_mapped[i] Таблицы 28 или LmcsPivot[i] Таблицы 10).[426] In one embodiment, the LMCS-related information may include information about the number of bins to output mapped prediction luminance samples (ie, lmcs_num_bins_minus1 in Table 27). For example, the number of turning points for the brightness display can be set to the number of bins. In one example, an encoder may generate input delta values and mapped turning point delta values by number of bins, respectively. In one example, the input values and mapped turning point values are derived based on the input delta values (i.e., lmcs_delta_input_cw[i] in Table 27) and mapped delta values (i.e., lmcs_delta_mapped_cw[i] in Table 28), and the mapped Prediction brightness samples can be generated based on input values (i.e. LmcsPivot_input[i] Table 28 or InputPivot[i] Table 10) and mapped values (i.e. LmcsPivot_mapped[i] Table 28 or LmcsPivot[i] Table 10) .

[427] В одном варианте осуществления, устройство кодирования может выводить кодовое слово дельта LMCS на основе по меньшей мере одного кодового слова LMCS и исходного кодового слова (OrgCW), включенных в связанную с LMCS информацию, и отображенные выборки предсказания яркости могут выводиться на основе по меньшей мере одного кодового слова LMCS и исходного кодового слова. В одном примере, информация о линейном отображении может включать в себя информацию о кодовом слове дельта LMCS.[427] In one embodiment, the encoder may output an LMCS delta codeword based on at least one LMCS codeword and an original codeword (OrgCW) included in the LMCS associated information, and the mapped luminance prediction samples may be output based on at least one LMCS codeword and a source codeword. In one example, the line mapping information may include LMCS delta codeword information.

[428] В одном варианте осуществления, по меньшей мере одно кодовое слово LMCS может выводиться на основе суммирования кодового слова дельта LMCS и OrgCW, например, OrgCW составляет (1<<BitDepthY)/16, где BitDepthY представляет битовую глубину яркости. Этот вариант осуществления может быть основан на Уравнении 12.[428] In one embodiment, the at least one LMCS codeword may be derived based on the summation of the LMCS delta codeword and OrgCW, for example, OrgCW is (1<<BitDepthY)/16, where BitDepthY represents the luminance bit depth. This embodiment may be based on Equation 12.

[429] В одном варианте осуществления, по меньшей мере одно кодовое слово LMCS может выводиться на основе суммирования кодового слова дельта LMCS и OrgCW*(lmcs_max_bin_idx-lmcs_min_bin_idx+1), например, lmcs_max_bin_idx и lmcs_min_bin_idx являются максимальным индексом бина и минимальным индексом бина, соответственно, и OrgCW может составлять (1<<BitDepthY)/16. Этот вариант осуществления может быть основан на Уравнениях 15 и 16.[429] In one embodiment, the at least one LMCS codeword may be derived based on the summation of the LMCS delta codeword and OrgCW*(lmcs_max_bin_idx-lmcs_min_bin_idx+1), for example, lmcs_max_bin_idx and lmcs_min_bin_idx are the maximum bin index and the minimum bin index, respectively , and OrgCW can be (1<<BitDepthY)/16. This embodiment may be based on Equations 15 and 16.

[430] В одном варианте осуществления, по меньшей мере одно кодовое слово LMCS может быть кратно двум.[430] In one embodiment, at least one LMCS codeword may be a multiple of two.

[431] В одном варианте осуществления, когда битовая глубина яркости (BitDepthY) восстановленных выборок яркости выше 10, по меньшей мере одно кодовое слово LMCS может быть кратно 1<<(BitDepthY-10).[431] In one embodiment, when the luminance bit depth (BitDepthY) of the reconstructed luminance samples is greater than 10, the at least one LMCS codeword may be a multiple of 1<<(BitDepthY-10).

[432] В одном варианте осуществления, по меньшей мере одно кодовое слово LMCS может находиться в диапазоне от (OrgCW>>1) до (OrgCW<<1)-1.[432] In one embodiment, the at least one LMCS codeword may be in the range of (OrgCW>>1) to (OrgCW<<1)-1.

[433] Фиг. 19 и фиг. 20 схематично показывают пример способа декодирования изображения/видео и связанные компоненты в соответствии с вариантом осуществления настоящего документа. Способ, раскрытый на фиг. 19, может выполняться устройством декодирования, проиллюстрированным на фиг. 3. Конкретно, например, S1900 фиг. 19 может выполняться энтропийным декодером 310 устройства декодирования, S1910, S1920 могут выполняться предсказателем 330 устройства декодирования, S1930 может выполняться процессором 320 остатка или предсказателем 330 устройства декодирования, и S1940 может выполняться процессором 320 остатка, предсказателем 330 и/или сумматором 340 устройства декодирования. Способ, раскрытый на фиг. 19, может включать в себя варианты осуществления, описанные выше в настоящем документе.[433] FIG. 19 and fig. 20 schematically shows an example of an image/video decoding method and related components in accordance with an embodiment of the present document. The method disclosed in FIG. 19 may be performed by the decoding apparatus illustrated in FIG. 3. Specifically, for example, S1900 FIG. 19 may be performed by the decoder entropy decoder 310, S1910, S1920 may be performed by the decoder predictor 330, S1930 may be performed by the remainder processor 320 or the decoder predictor 330, and S1940 may be performed by the remainder processor 320, predictor 330, and/or decoder adder 340. The method disclosed in FIG. 19 may include the embodiments described above herein.

[434] Со ссылкой на фиг. 19, устройство декодирования может принимать/получать информацию видео/изображения (S1900). Информация видео/изображения может включать в себя информацию режима предсказания, связанную с LMCS информацию и/или информацию остатка. Например, связанная с LMCS информация может включать в себя информацию об отображении яркости (т.е. прямом отображении, обратном отображении, линейном отображении), информацию об остаточном масштабировании цветности и/или индексы (т.е. максимальный индекс бина, минимальный индекс бина, индекс отображения), относящиеся к LMCS (или повторному формированию, формирователю). Устройство декодирования может принимать/ получать информацию изображения/видео через битовый поток.[434] With reference to FIG. 19, the decoding device can receive/receive video/image information (S1900). The video/image information may include prediction mode information, LMCS related information, and/or residual information. For example, LMCS-related information may include luma mapping information (i.e., forward mapping, reverse mapping, linear mapping), residual chroma scaling information, and/or indices (i.e., maximum bin index, minimum bin index ,mapping index) related to the LMCS (or reshaping ,shaper). The decoding device can receive/receive image/video information via a bitstream.

[435] Информация изображения/видео может включать в себя различную информацию в соответствии с вариантом осуществления настоящего документа. Например, информация изображения/видео может включать в себя информацию, раскрытую в по меньшей мере одной из Таблиц 1-38, описанных выше.[435] The image/video information may include various information in accordance with an embodiment of the present document. For example, the image/video information may include information disclosed in at least one of Tables 1-38 described above.

[436] Устройство декодирования может выводить режим предсказания для текущего блока в текущей картинке на основе информации режима предсказания (S1910). Устройство декодирования может выводить по меньшей мере один из различных режимов, раскрытых в настоящем документе, среди режимов интер-предсказания.[436] The decoding apparatus may output a prediction mode for the current block in the current picture based on the prediction mode information (S1910). The decoding apparatus may output at least one of the various modes disclosed herein among the inter-prediction modes.

[437] Устройство декодирования может генерировать выборки яркости предсказания (S1920). Устройство декодирования может выводить выборки яркости предсказания текущего блока на основе режима предсказания. Устройство декодирования может генерировать выборки яркости предсказания путем выполнения предсказания для исходных выборок, включенных в текущий блок.[437] The decoding apparatus may generate prediction luminance samples (S1920). The decoding apparatus may output prediction luminance samples of the current block based on the prediction mode. The decoding apparatus may generate prediction luminance samples by performing prediction on the original samples included in the current block.

[438] Устройство декодирования может генерировать отображенные выборки яркости предсказания (S1930). Устройство декодирования может генерировать отображенные выборки яркости предсказания на основе процесса отображения для выборок яркости. Например, устройство декодирования может выводить входные значения и отображенные значения (выходные значения) точек поворота для отображения яркости и может генерировать отображенные выборки яркости предсказания на основе входных значений и отображенных значений. В одном примере, устройство декодирования может выводить (прямой) индекс отображения (idxY) на основе первой выборки яркости предсказания, и первая отображенная выборка яркости предсказания может генерироваться на основе входного значения и отображенного значения точки поворота, соответствующей индексу отображения. В другом примере, линейное отображение (линейное повторное формирование, линейное LMCS) может использоваться, и отображенные выборки яркости предсказания могут генерироваться на основе коэффициента масштабирования прямого отображения, выведенного из двух точек поворота в линейном отображении, таким образом, процесс вывода индекса может опускаться вследствие линейного отображения.[438] The decoding apparatus may generate mapped prediction luminance samples (S1930). The decoding apparatus may generate mapped prediction luminance samples based on a mapping process for the luminance samples. For example, a decoding apparatus may output input values and mapped values (output values) of turning points for luminance mapping, and may generate mapped prediction luminance samples based on the input values and mapped values. In one example, the decoding device may output a (direct) display index (idxY) based on the first prediction luminance sample, and the first mapped prediction luminance sample may be generated based on the input value and the mapped value of the turning point corresponding to the display index. In another example, linear mapping (linear reshaping, linear LMCS) can be used, and mapped prediction luminance samples can be generated based on the forward mapping scaling factor derived from two turning points in the linear mapping, thus the index derivation process can be omitted due to linear display.

[439] Устройство декодирования может генерировать остаточные выборки цветности и/или остаточные выборки яркости на основе информации остатка. Например, устройство декодирования может выводить квантованные коэффициенты преобразования на основе информации остатка. Квантованные коэффициенты преобразования могут иметь форму одномерного вектора на основе порядка сканирования коэффициентов. Устройство декодирования может выводить коэффициенты преобразования на основе процесса деквантования для квантованных коэффициентов преобразования. Устройство декодирования может выводить остаточные выборки на основе обратного процесса преобразования для коэффициентов преобразования. Остаточные выборки могут включать в себя остаточные выборки яркости и/или остаточные выборки цветности.[439] The decoding apparatus may generate residual chroma samples and/or residual luma samples based on the residual information. For example, the decoding apparatus may output quantized transform coefficients based on the residual information. The quantized transform coefficients can be in the form of a one-dimensional vector based on the scanning order of the coefficients. The decoding apparatus may output transform coefficients based on a dequantization process for the quantized transform coefficients. The decoding apparatus may output residual samples based on an inverse transform process for the transform coefficients. The residual samples may include luma residual samples and/or chroma residual samples.

[440] Устройство декодирования может генерировать восстановленные выборки яркости. Устройство декодирования может генерировать восстановленные выборки яркости на основе отображенных выборок яркости предсказания. Конкретно, устройство декодирования может суммировать остаточные выборки яркости с отображенными выборками яркости предсказания и может генерировать восстановленные выборки яркости на основе результата суммирования.[440] The decoder may generate reconstructed luminance samples. The decoding apparatus may generate reconstructed luminance samples based on the mapped prediction luminance samples. Specifically, the decoding apparatus may add the residual luminance samples with the mapped prediction luminance samples, and may generate reconstructed luminance samples based on the result of the summation.

[441] Устройство декодирования может генерировать модифицированные восстановленные выборки яркости. Устройство декодирования может генерировать модифицированные восстановленные выборки яркости на основе процесса обратного отображения для выборок яркости. Устройство декодирования может генерировать модифицированные восстановленные выборки яркости на основе информации о данных LMCS и восстановленных выборок яркости (S1940). Устройство декодирования может генерировать модифицированные восстановленные выборки яркости через процесс обратного отображения для восстановленных выборок яркости.[441] The decoder may generate modified reconstructed luminance samples. The decoding apparatus may generate modified reconstructed luminance samples based on a demapping process for the luminance samples. The decoding apparatus may generate modified reconstructed luminance samples based on information about the LMCS data and the reconstructed luminance samples (S1940). The decoding apparatus may generate modified reconstructed luminance samples through a demapping process for the reconstructed luminance samples.

[442] Устройство декодирования может генерировать масштабированные остаточные выборки цветности. Конкретно, устройство декодирования может выводить коэффициент остаточного масштабирования цветности и генерировать масштабированные остаточные выборки цветности на основе коэффициента остаточного масштабирования цветности. Здесь, остаточное масштабирование цветности стороны декодирования может называться обратным остаточным масштабированием цветности, в противоположность стороне кодирования. Соответственно, коэффициент остаточного масштабирования цветности, выведенный устройством декодирования, может называться обратным коэффициентом остаточного масштабирования цветности, и могут генерироваться обратные масштабированные остаточные выборки цветности.[442] The decoder may generate scaled chroma residual samples. Specifically, the decoding device may output a chroma residual scaling factor and generate scaled chroma residual samples based on the chroma residual scaling factor. Here, the residual chrominance scaling of the decoding side may be called inverse residual chrominance scaling, as opposed to the encoding side. Accordingly, the chroma residual scaling factor output by the decoding device may be called an inverse chroma residual scaling factor, and inverse scaled chroma residual samples can be generated.

[443] Устройство декодирования может генерировать восстановленные выборки цветности. Устройство декодирования может генерировать восстановленные выборки цветности на основе масштабированных остаточных выборок цветности. Конкретно, устройство декодирования может выполнять процесс предсказания для компонента цветности и может генерировать выборки цветности предсказания. Устройство декодирования может генерировать восстановленные выборки цветности на основе суммирования выборок цветности предсказания и масштабированных остаточных выборок цветности.[443] The decoder may generate reconstructed chroma samples. The decoder may generate reconstructed chroma samples based on the scaled residual chroma samples. Specifically, the decoding apparatus may perform a prediction process for the chroma component and may generate prediction chroma samples. The decoding apparatus may generate reconstructed chroma samples based on the summation of the prediction chroma samples and the scaled residual chroma samples.

[444] В одном варианте осуществления, значения отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина могут выводиться на основе кодовых слов LMCS. Например, отображенные выборки яркости предсказания и модифицированные восстановленные выборки яркости могут генерироваться на основе значений отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина.[444] In one embodiment, mapping values based on bin indices from the minimum bin index to the maximum bin index may be derived based on the LMCS codewords. For example, mapped prediction luminance samples and modified reconstructed luminance samples may be generated based on mapping values based on bin indices from the minimum bin index to the maximum bin index.

[445] В одном варианте осуществления, связанная с LMCS информация может включать в себя информацию о бинах для отображения и обратного отображения и информацию о кодовых словах LMCS. Например, минимальный индекс бина и максимальный индекс бина могут выводиться на основе информации о бинах. Значения отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина могут выводиться на основе информации о кодовых словах LMCS. Значения отображения могут включать в себя первое значение отображения (т.е. LmcsPivot[idxY]) и второе значение отображения (т.е. LmcsPivot[idxYInv]). В процессе отображения для выборок яркости, индекс отображения (т.е. idxY) может выводиться на основе выборок яркости предсказания, и отображенные выборки яркости предсказания могут генерироваться с использованием первого значения отображения на основе индекса отображения. В процессе обратного отображения для выборок яркости, индекс обратного отображения (т.е. idxY) выводится на основе значений отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина. Модифицированные восстановленные выборки яркости могут генерироваться с использованием второго значения отображения на основе индекса обратного отображения.[445] In one embodiment, LMCS-related information may include information about bins to map and demap and information about LMCS codewords. For example, a minimum bin index and a maximum bin index may be inferred based on the bin information. Bin index-based mapping values from a minimum bin index to a maximum bin index may be derived based on the LMCS codeword information. The mapping values may include a first mapping value (ie, LmcsPivot[idxY]) and a second mapping value (ie, LmcsPivot[idxYInv]). In the display process for the luminance samples, a display index (ie, idxY) may be output based on the prediction luminance samples, and mapped prediction luminance samples may be generated using the first display value based on the display index. During the demapping process for luminance samples, the demapping index (ie, idxY) is derived based on the mapping values based on the bin indices from the minimum bin index to the maximum bin index. Modified reconstructed luminance samples may be generated using the second mapping value based on the inverse mapping index.

[446] В одном варианте осуществления, информация изображения может включать в себя набор параметров последовательности (SPS). SPS может включать в себя флаг включенного линейного LMCS, специфицирующий, включено ли линейное LMCS.[446] In one embodiment, the image information may include a sequence parameter set (SPS). The SPS may include a linear LMCS enabled flag specifying whether linear LMCS is enabled.

[447] В одном варианте осуществления, индексы бинов включают в себя первый индекс бина, указывающий первое отображенное значение. Первый индекс бина может выводиться на основе отображенных значений на основе индексов бинов от минимального индекса бина до максимального индекса бина и сравнения между значениями восстановленных выборок яркости. По меньшей мере одна из модифицированных восстановленных выборок яркости может выводиться на основе восстановленных выборок яркости и первого отображенного значения.[447] In one embodiment, the bin indices include a first bin index indicating the first mapped value. The first bin index may be inferred from the mapped values based on the bin indices from the minimum bin index to the maximum bin index and the comparison between the values of the reconstructed luminance samples. At least one of the modified reconstructed luminance samples may be output based on the reconstructed luminance samples and the first displayed value.

[448] В одном варианте осуществления, индексы бинов включают в себя первый индекс бина, указывающий первое отображенное значение, и первый индекс бина может выводиться на основе уравнения сравнения, включенного в Таблицу 37 (lumaSample<LmcsPivot[idxYInv+1]). Например, в уравнении выше, lumaSample представляет значение целевой выборки яркости среди восстановленных выборок яркости, idxYInv представляет один из индексов бинов, и LmcsPivot[idxYinv+1] представляет одно из отображенных значений на основе индексов бинов от минимального индекса бина до максимального бина. По меньшей мере одна из восстановленных выборок яркости может выводиться на основе восстановленных выборок яркости и первого значения отображения. В одном примере, индекс бина, в случае, где уравнение сравнения (lumaSample<LmcsPivot[idxYInv+1]) истинно, может выводиться как индекс обратного отображения.[448] In one embodiment, the bin indices include a first bin index indicating the first mapped value, and the first bin index may be derived based on the comparison equation included in Table 37 (lumaSample<LmcsPivot[idxYInv+1]). For example, in the equation above, lumaSample represents the value of the target luma sample among the reconstructed luma samples, idxYInv represents one of the bin indices, and LmcsPivot[idxYinv+1] represents one of the mapped values based on the bin indices from the minimum bin index to the maximum bin. At least one of the reconstructed luminance samples may be output based on the reconstructed luminance samples and the first display value. In one example, the bin index, in the case where the comparison equation (lumaSample<LmcsPivot[idxYInv+1]) is true, can be output as the inverse mapping index.

[449] В одном варианте осуществления, процесс сравнения (lumaSample<LmcsPivot[idxYInv+1]), включенный в Таблицу 37, может выполняться на всех из индексов бинов от минимального индекса бина до максимального индекса бина.[449] In one embodiment, the comparison process (lumaSample<LmcsPivot[idxYInv+1]) included in Table 37 may be performed on all of the bin indices from the minimum bin index to the maximum bin index.

[450] В одном варианте осуществления, информация изображения включает в себя информацию остатка. Остаточные выборки цветности генерируются на основе информации остатка. Индекс обратного масштабирования идентифицируется на основе связанной с LMCS информации, и коэффициент остаточного масштабирования цветности может выводиться на основе индекса обратного масштабирования. Масштабированные остаточные выборки цветности могут генерироваться на основе остаточных выборок цветности и коэффициента остаточного масштабирования цветности.[450] In one embodiment, the image information includes residual information. Residual chroma samples are generated based on the residual information. The inverse scaling index is identified based on the LMCS related information, and the residual chroma scaling factor may be derived based on the inverse scaling index. Scaled chroma residual samples can be generated based on the chroma residual samples and the chroma residual scaling factor.

[451] В одном варианте осуществления, остаточные выборки цветности могут генерироваться на основе информации остатка. Индексы бинов могут включать в себя первый индекс бина, указывающий первое значение отображения. Первый индекс бина может выводиться на основе сравнения между значениями отображения на основе индексов бинов от минимального индекса бина до максимального индекса бина и значений восстановленных выборок яркости. Коэффициент остаточного масштабирования цветности может выводиться на основе первого индекса бина. Масштабированные остаточные выборки цветности могут генерироваться на основе остаточных выборок цветности и коэффициента остаточного масштабирования цветности. Восстановленные выборки цветности могут генерироваться на основе масштабированных остаточных выборок цветности.[451] In one embodiment, residual chroma samples may be generated based on the residual information. The bin indices may include a first bin index indicating a first display value. The first bin index may be derived based on a comparison between the bin index-based mapping values from the minimum bin index to the maximum bin index and the values of the reconstructed luminance samples. The residual chroma scaling factor may be derived based on the first bin index. Scaled chroma residual samples can be generated based on the chroma residual samples and the chroma residual scaling factor. Reconstructed chroma samples can be generated from the scaled residual chroma samples.

[452] В одном варианте осуществления, информация о данных LMCS может включать в себя информацию о линейном LMCS. Информация о линейном LMCS может называться информацией о линейном отображении. Информация о данных LMCS может включать в себя флаг линейного LMCS, указывающий, применяется ли линейное LMCS. Когда значение флага линейного LMCS равно 1, отображенные выборки яркости предсказания могут генерироваться на основе информации о линейном LMCS.[452] In one embodiment, the LMCS data information may include linear LMCS information. The linear LMCS information may be referred to as linear mapping information. The LMCS data information may include a linear LMCS flag indicating whether linear LMCS is applied. When the value of the linear LMCS flag is 1, mapped prediction luminance samples can be generated based on the linear LMCS information.

[453] В одном варианте осуществления, информация о линейном LMCS включает в себя информацию о первой точке поворота (т.е. P1 на фиг. 12) и информацию о второй точке поворота (т.е. P2 на фиг. 12). Например, входное значение и отображенное значение первой точки поворота являются минимальным входным значением и минимальным отображенным значением, соответственно. Входное значение и отображенное значение второй точки поворота являются максимальным входным значением и максимальным отображенным значением, соответственно. Входные значения между минимальным входным значением и максимальным входным значением линейно отображаются.[453] In one embodiment, the linear LMCS information includes information about a first pivot point (ie, P1 in FIG. 12) and information about a second pivot point (ie, P2 in FIG. 12). For example, the input value and the mapped value of the first turning point are the minimum input value and the minimum mapped value, respectively. The input value and the displayed value of the second turning point are the maximum input value and the maximum displayed value, respectively. Input values between the minimum input value and the maximum input value are mapped linearly.

[454] В одном варианте осуществления, минимальный индекс бина (т.е. lmcs_min_bin_idx) и/или максимальный индекс бина (т.е. LmcsMaxBinIdx) могут выводиться на основе связанной с LMCS информации. Первое значение отображения (LmcsPivot[lmcs_min_bin_idx]) может выводиться на основе минимального индекса бина. Второе значение отображения (LmcsPivot[LmcsMaxBinIdx] или LmcsPivot[LmcsMaxBinIdx+1]) может выводиться на основе максимального индекса бина. Значения восстановленных выборок яркости (т.е. lumaSample Таблицы 37 или 38) могут находиться в диапазоне от первого значения отображения до второго значения отображения. В одном примере, значения всех восстановленных выборок яркости могут находиться в диапазоне от первого значения отображения до второго значения отображения. В другом примере, значения некоторых из восстановленных выборок яркости могут находиться в диапазоне от первого значения отображения до второго значения отображения.[454] In one embodiment, the minimum bin index (ie, lmcs_min_bin_idx) and/or the maximum bin index (ie, LmcsMaxBinIdx) may be inferred based on the LMCS-related information. The first mapping value (LmcsPivot[lmcs_min_bin_idx]) can be derived based on the minimum bin index. The second mapping value (LmcsPivot[LmcsMaxBinIdx] or LmcsPivot[LmcsMaxBinIdx+1]) can be derived based on the maximum bin index. The values of the reconstructed luma samples (ie, lumaSample of Tables 37 or 38) may range from the first display value to the second display value. In one example, the values of all reconstructed luminance samples may range from the first display value to the second display value. In another example, the values of some of the reconstructed luminance samples may range from the first display value to the second display value.

[455] В одном варианте осуществления, кусочный индекс (т.е. idxYInv в Таблицах 35, 36 или 37) может идентифицироваться на основе связанной с LMCS информации. Устройство декодирования может выводить коэффициент остаточного масштабирования цветности на основе кусочного индекса. Устройство декодирования может генерировать масштабированные остаточные выборки цветности на основе остаточных выборок цветности и коэффициента остаточного масштабирования цветности.[455] In one embodiment, a piecewise index (ie, idxYInv in Tables 35, 36, or 37) may be identified based on LMCS-related information. The decoding apparatus may output a residual chroma scaling factor based on the piecewise index. The decoding apparatus may generate scaled chroma residual samples based on the chroma residual samples and the chroma residual scaling factor.

[456] В одном варианте осуществления, коэффициент остаточного масштабирования цветности может представлять собой один коэффициент остаточного масштабирования цветности.[456] In one embodiment, the chroma residual scaling factor may be a single chroma residual scaling factor.

[457] В одном варианте осуществления, информация изображения включает в себя информацию о максимальном входном значении и информацию о максимальном отображенном значении. Максимальное входное значение равно значению информации о максимальном входном значении (т.е. lmcs_max_input в Таблице 21). Максимальное отображенное значение равно значению информации о максимальном отображенном значении (т.е. lmcs_max_mapped в Таблице 21).[457] In one embodiment, the image information includes information about a maximum input value and information about a maximum displayed value. The maximum input value is equal to the value of the maximum input value information (ie lmcs_max_input in Table 21). The maximum mapped value is equal to the value of the maximum mapped value information (ie, lmcs_max_mapped in Table 21).

[458] В одном варианте осуществления, информация о линейном отображении включает в себя информацию о входном значении дельта второй точки поворота (т.е. lmcs_max_input_delta в Таблице 23) и информацию об отображенном значении дельта второй точки поворота (т.е. lmcs_max_mapped_delta в Таблице 23). Максимальное входное значение может выводиться на основе входного значения дельта второй точки поворота, и максимальное отображенное значение может выводиться на основе отображенного значения дельта второй точки поворота.[458] In one embodiment, the linear mapping information includes information about the input delta value of the second pivot point (i.e., lmcs_max_input_delta in Table 23) and information about the mapped delta value of the second pivot point (i.e., lmcs_max_mapped_delta in Table 23). The maximum input value may be output based on the input delta value of the second pivot point, and the maximum displayed value may be output based on the displayed delta value of the second pivot point.

[459] В одном варианте осуществления, максимальное входное значение и максимальное отображенное значение могут выводиться на основе по меньшей мере одного уравнения, включенного в Таблицу 24, описанную выше.[459] In one embodiment, the maximum input value and the maximum displayed value may be derived based on at least one equation included in Table 24 described above.

[460] В одном варианте осуществления, генерация отображенных выборок яркости предсказания содержит вывод коэффициента масштабирования прямого отображения (т.е. ScaleCoeffSingle) для выборок яркости предсказания и генерацию отображенных выборок яркости предсказания на основе коэффициента масштабирования прямого отображения. Коэффициент масштабирования прямого отображения может представлять собой один коэффициент для выборок яркости предсказания.[460] In one embodiment, generating mapped prediction luminance samples comprises outputting a forward mapping scaling factor (ie, ScaleCoeffSingle) for the prediction luminance samples and generating mapped prediction luminance samples based on the forward mapping scaling factor. The forward mapping scaling factor may be a single factor for the prediction luminance samples.

[461] В одном варианте осуществления, коэффициент масштабирования обратного отображения может выводиться с использованием кусочного индекса, выведенного на основе восстановленных выборок яркости.[461] In one embodiment, the inverse mapping scaling factor may be derived using a piecewise index derived from the reconstructed luminance samples.

[462] В одном варианте осуществления, кусочный индекс может выводиться на основе Таблицы 36, описанной выше. То есть, процесс сравнения, включенный в Таблицу 37 (lumaSample<LmcsPivot[idxYInv+1]), может многократно выполняться от кусочного индекса, который является минимальным индексом бина, до кусочного индекса, который является максимальным индексом бина.[462] In one embodiment, the piecewise index may be derived based on Table 36 described above. That is, the comparison process included in Table 37 (lumaSample<LmcsPivot[idxYInv+1]) may be repeatedly performed from the piecewise index, which is the minimum index of the bin, to the piecewise index, which is the maximum index of the bin.

[463] В одном варианте осуществления, коэффициент масштабирования прямого отображения может выводиться на основе по меньшей мере одного уравнения, включенного в Таблицы 22 и/или 24, описанные выше.[463] In one embodiment, the forward mapping scaling factor may be derived based on at least one equation included in Tables 22 and/or 24 described above.

[464] В одном варианте осуществления, отображенные выборки яркости предсказания могут выводиться на основе по меньшей мере одного уравнения, включенного в Таблицу 26, описанную выше.[464] In one embodiment, the mapped prediction luminance samples may be derived based on at least one equation included in Table 26 described above.

[465] В одном варианте осуществления, устройство декодирования может выводить коэффициент масштабирования обратного отображения (т.е. InvScaleCoeffSingle) для восстановленных выборок яркости (т.е. lumaSample). Также устройство декодирования может генерировать модифицированные восстановленные выборки яркости (т.е. invSample) на основе восстановленных выборок яркости и коэффициента масштабирования обратного отображения. Коэффициент масштабирования обратного отображения может представлять собой один коэффициент для восстановленных выборок яркости.[465] In one embodiment, the decoder may output an inverse mapping scaling factor (ie, InvScaleCoeffSingle) for the reconstructed luma samples (ie, lumaSample). Also, the decoder may generate modified reconstructed luminance samples (ie, invSample) based on the reconstructed luminance samples and the inverse mapping scaling factor. The demapping scaling factor may be a single factor for the reconstructed luminance samples.

[466] В одном варианте осуществления, коэффициент масштабирования обратного отображения может выводиться на основе по меньшей мере одного из Уравнений, включенных в Таблицы 19, 20, 22 и 24, или Уравнения 11 или 12, описанных выше.[466] In one embodiment, the inverse mapping scaling factor may be derived based on at least one of the Equations included in Tables 19, 20, 22 and 24, or Equations 11 or 12 described above.

[467] В одном варианте осуществления, модифицированные восстановленные выборки яркости могут выводиться на основе Уравнения 21, описанного выше.[467] In one embodiment, the modified reconstructed luminance samples may be output based on Equation 21 described above.

[468] В одном варианте осуществления, связанная с LMCS информация может включать в себя информацию о числе бинов для вывода отображенных выборок яркости предсказания (т.е. lmcs_num_bins_minus1 в Таблице 27). Например, число точек поворота для отображения яркости может быть установлено равным числу бинов. В одном примере, устройство кодирования может генерировать входные значения дельта и отображенные значения дельта точек поворота на число бинов, соответственно. В одном примере, входные значения и отображенные значения точек поворота выводятся на основе входных значений дельта (т.е. lmcs_delta_input_cw[i] в Таблице 27) и отображенных значений дельта (т.е. lmcs_delta_mapped_cw[i] в Таблице 28), и отображенные выборки яркости предсказания могут генерироваться на основе входных значений (т.е. LmcsPivot_input[i] Таблицы 28 или InputPivot[i] Таблицы 10) и отображенных значений (т.е. LmcsPivot_mapped[i] Таблицы 28 или LmcsPivot[i] Таблицы 10).[468] In one embodiment, the LMCS-related information may include information about the number of bins to output mapped prediction luminance samples (ie, lmcs_num_bins_minus1 in Table 27). For example, the number of turning points for the brightness display can be set to the number of bins. In one example, an encoder may generate input delta values and mapped turning point delta values per number of bins, respectively. In one example, the input values and mapped turning point values are derived based on the input delta values (i.e., lmcs_delta_input_cw[i] in Table 27) and mapped delta values (i.e., lmcs_delta_mapped_cw[i] in Table 28), and the mapped Prediction brightness samples can be generated based on input values (i.e. LmcsPivot_input[i] Table 28 or InputPivot[i] Table 10) and mapped values (i.e. LmcsPivot_mapped[i] Table 28 or LmcsPivot[i] Table 10) .

[469] В одном варианте осуществления, устройство декодирования может выводить кодовое слово дельта LMCS на основе по меньшей мере одного кодового слова LMCS и исходного кодового слова (OrgCW), включенных в связанную с LMCS информацию, и отображенные выборки предсказания яркости могут выводиться на основе по меньшей мере одного кодового слова LMCS и исходного кодового слова. В одном примере, информация о линейном отображении может включать в себя информацию о кодовом слове дельта LMCS.[469] In one embodiment, the decoding apparatus may output an LMCS delta codeword based on at least one LMCS codeword and an original codeword (OrgCW) included in the LMCS associated information, and the mapped luminance prediction samples may be output based on at least one LMCS codeword and a source codeword. In one example, the line mapping information may include LMCS delta codeword information.

[470] В одном варианте осуществления, по меньшей мере одно кодовое слово LMCS может выводиться на основе суммирования кодового слова дельта LMCS и OrgCW, например, OrgCW составляет (1<<BitDepthY)/16, где BitDepthY представляет битовую глубину яркости. Этот вариант осуществления может быть основан на Уравнении 12.[470] In one embodiment, the at least one LMCS codeword may be derived based on the summation of the LMCS delta codeword and OrgCW, for example, OrgCW is (1<<BitDepthY)/16, where BitDepthY represents the luminance bit depth. This embodiment may be based on Equation 12.

[471] В одном варианте осуществления, по меньшей мере одно кодовое слово LMCS может выводиться на основе суммирования кодового слова дельта LMCS и OrgCW*(lmcs_max_bin_idx-lmcs_min_bin_idx+1), например, lmcs_max_bin_idx и lmcs_min_bin_idx являются максимальным индексом бина и минимальным индексом бина, соответственно, и OrgCW может составлять (1<<BitDepthY)/16. Этот вариант осуществления может быть основан на Уравнениях 15 и 16.[471] In one embodiment, the at least one LMCS codeword may be derived based on the summation of the LMCS delta codeword and OrgCW*(lmcs_max_bin_idx-lmcs_min_bin_idx+1), for example, lmcs_max_bin_idx and lmcs_min_bin_idx are the maximum bin index and the minimum bin index, respectively , and OrgCW can be (1<<BitDepthY)/16. This embodiment may be based on Equations 15 and 16.

[472] В одном варианте осуществления, по меньшей мере одно кодовое слово LMCS может быть кратно двум.[472] In one embodiment, at least one LMCS codeword may be a multiple of two.

[473] В одном варианте осуществления, когда битовая глубина яркости (BitDepthY) восстановленных выборок яркости выше 10, по меньшей мере одно кодовое слово LMCS может быть кратно 1<<(BitDepthY-10).[473] In one embodiment, when the luminance bit depth (BitDepthY) of the reconstructed luminance samples is greater than 10, the at least one LMCS codeword may be a multiple of 1<<(BitDepthY-10).

[474] В одном варианте осуществления, по меньшей мере одно кодовое слово LMCS может находиться в диапазоне от (OrgCW>>1) до (OrgCW<<1)-1.[474] In one embodiment, the at least one LMCS codeword may be in the range from (OrgCW>>1) to (OrgCW<<1)-1.

[475] В вышеописанном варианте осуществления, способы описаны на основе блок-схемы последовательности операций, имеющей последовательность этапов или блоков. Настоящее раскрытие не ограничено порядком этапов или блоков выше. Некоторые этапы или блоки могут выполняться одновременно или в другом порядке относительно других этапов или блоков, как описано выше. Дополнительно, специалисты в данной области техники поймут, что этапы, показанные в блок-схеме последовательности операций выше, не являются исключительными, что дополнительные этапы могут быть включены или что один или несколько этапов в блок-схеме последовательности операций могут быть удалены без влияния на объем настоящего раскрытия.[475] In the above-described embodiment, the methods are described on the basis of a flowchart having a sequence of steps or blocks. The present disclosure is not limited to the order of the steps or blocks above. Some steps or blocks may be performed simultaneously or in a different order from other steps or blocks, as described above. Additionally, those skilled in the art will appreciate that the steps shown in the flowchart above are not exclusive, that additional steps may be included or that one or more steps in the flowchart may be deleted without affecting the volume of this disclosure.

[476] Способ в соответствии с вышеописанными вариантами осуществления настоящего документа может быть реализован в форме программного обеспечения, и устройство кодирования и/или устройство декодирования в соответствии с настоящим документом, например, может быть включено в устройство, которое выполняет обработку изображения телевизора, компьютера, смартфона, телевизионной приставки, устройства отображения и т.д.[476] The method according to the above-described embodiments of this document may be implemented in the form of software, and an encoding device and/or a decoding device according to this document, for example, may be included in a device that performs image processing of a television, a computer, smartphone, set-top box, display device, etc.

[477] Когда варианты осуществления в настоящем документе реализованы в программном обеспечении, вышеописанный способ может быть реализован как модуль (процесс, функция и т.д.), который выполняет вышеописанную функцию. Модуль может храниться в памяти и исполняться процессором. Память может быть внутренней или внешней по отношению к процессору и может быть соединена с процессором различными хорошо известными средствами. Процессор может включать в себя специализированную интегральную схему (ASIC), другие чипсеты, логические схемы и/или устройства обработки данных. Память может включать в себя постоянную память (ROM), память с произвольным доступом (RAM), флэш-память, карты памяти, носители хранения и/или другие устройства хранения. То есть, варианты осуществления, описанные в настоящем документе, могут реализовываться и выполняться на процессоре, микропроцессоре, контроллере или чипе. Например, функциональные блоки, показанные на каждом чертеже, могут быть реализованы и выполняться на компьютере, процессоре, микропроцессоре, контроллере или чипе. В этом случае, информация об инструкциях или алгоритм для реализации могут храниться в цифровом носителе хранения.[477] When the embodiments herein are implemented in software, the above-described method may be implemented as a module (process, function, etc.) that performs the above-described function. The module can be stored in memory and executed by the processor. The memory may be internal or external to the processor and may be coupled to the processor by various well known means. The processor may include an application specific integrated circuit (ASIC), other chipsets, logic circuits, and/or processing devices. Memory may include read only memory (ROM), random access memory (RAM), flash memory, memory cards, storage media, and/or other storage devices. That is, the embodiments described herein may be implemented and executed on a processor, microprocessor, controller, or chip. For example, the functional blocks shown in each drawing may be implemented and executed on a computer, processor, microprocessor, controller, or chip. In this case, information about instructions or an algorithm for implementation may be stored in a digital storage medium.

[478] К тому же устройство декодирования и устройство кодирования, к которым применяется настоящее раскрытие, могут быть включены в устройство передачи/приема мультимедийного вещания, мобильный терминал связи, устройство домашнего кинотеатра, устройство цифрового кинотеатра, камеру наблюдения, устройство для разговора по видео, устройство связи в реальном времени, такой как видеосвязь, мобильное устройство стриминга, носитель хранения, камеру-регистратор, устройство обеспечения услуги VoD, устройство доставки видео непосредственно от провайдера контента (OTT), устройство обеспечения услуги Интернет-стриминга, устройство трехмерного (3D) видео, устройство видео-телеконференции, пользовательское оборудование на транспорте (т.е. пользовательское оборудование наземного транспортного средства, пользовательское оборудование самолета, пользовательское оборудование корабля и т.д.) и медицинское видео-устройство, и могут использоваться, чтобы обрабатывать сигналы видео и сигналы данных. Например, видео-устройство OTT может включать в себя игровую консоль, проигрыватель blue-ray, телевизор с Интернет-доступом, систему домашнего кинотеатра, смартфон, планшетный PC, цифровой рекордер видео (DVR) и тому подобное.[478] In addition, the decoding device and the encoding device to which the present disclosure applies may be included in a multimedia broadcast transmitting/receiving device, a mobile communication terminal, a home theater device, a digital cinema device, a surveillance camera, a video talking device, real-time communication device such as video communication, mobile streaming device, storage medium, camera recorder, VoD service device, over-the-top (OTT) video delivery device, Internet streaming service device, three-dimensional (3D) video device , video teleconferencing device, transportation user equipment (ie, ground vehicle user equipment, aircraft user equipment, ship user equipment, etc.) and medical video device, and can be used to process video signals and signals data. For example, an OTT video device may include a gaming console, blue-ray player, Internet-enabled television, home theater system, smartphone, tablet PC, digital video recorder (DVR), and the like.

[479] Более того, способ обработки, к которому применяется настоящий документ, может выполняться в форме программы, которая подлежит исполнению компьютером, и может храниться в считываемом компьютером носителе записи. Мультимедийные данные, имеющие структуру данных в соответствии с настоящим раскрытием, могут также храниться в считываемых компьютером носителях записи. Считываемые компьютером носители записи включают в себя все типы устройств хранения, в которых хранятся данные, считываемые компьютерной системой. Считываемые компьютером носители записи могут включать в себя BD, универсальную последовательную шину (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, магнитную ленту, флоппи-диск и устройство оптического хранения данных, например. Более того, считываемые компьютером носители записи включают в себя носители, реализуемые в форме несущей волны (т.е. передача через Интернет). К тому же битовый поток, сгенерированный способом кодирования, может храниться в считываемом компьютером носителе записи или может передаваться по сетям проводной/беспроводной связи.[479] Moreover, the processing method to which this document applies may be in the form of a program that is executable by a computer and may be stored in a computer-readable recording medium. Multimedia data having a data structure in accordance with the present disclosure may also be stored in computer-readable recording media. Computer-readable recording media includes all types of storage devices that store data readable by a computer system. Computer-readable recording media may include BD, universal serial bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical storage device, for example. Moreover, computer-readable recording media include media implemented in the form of a carrier wave (ie, transmission over the Internet). In addition, the bit stream generated by the encoding method may be stored in a computer-readable recording medium or transmitted over wired/wireless communication networks.

[480] К тому же варианты осуществления настоящего документа могут быть реализованы при помощи компьютерного программного продукта в соответствии с программными кодами, и программные коды могут выполняться в компьютере посредством вариантов осуществления настоящего документа. Программные коды могут храниться на носителе, который может считываться компьютером.[480] In addition, embodiments of the present document may be implemented by a computer program product in accordance with program codes, and the program codes may be executed on a computer by embodiments of the present document. Program codes may be stored on a medium that can be read by a computer.

[481] Фиг. 21 показывает пример системы стриминга контента, к которой могут применяться варианты осуществления, раскрытые в настоящем документе.[481] FIG. 21 shows an example of a content streaming system to which the embodiments disclosed herein may be applied.

[482] Со ссылкой на фиг. 21, система стриминга контента, к которой применяется вариант(ы) осуществления настоящего документа, может в широком смысле включать в себя сервер кодирования, стриминговый сервер, веб-сервер, медиа-хранилище, устройство пользователя и устройство мультимедийного ввода.[482] With reference to FIG. 21, a content streaming system to which the embodiment(s) of this document applies may broadly include an encoding server, a streaming server, a web server, a media storage device, a user device, and a media input device.

[483] Сервер кодирования сжимает контент, введенный из устройств мультимедийного ввода, таких как смартфон, камера, камера-регистратор и т.д. в цифровые данные, чтобы сгенерировать битовый поток и передать битовый поток на стриминговый сервер. В качестве примера, когда устройства мультимедийного ввода, такие как смартфоны, камеры, камеры-регистраторы и т.д., непосредственно генерируют битовый поток, сервер кодирования может опускаться.[483] The encoding server compresses content input from media input devices such as a smartphone, camera, dash cam, etc. into digital data to generate a bitstream and transmit the bitstream to the streaming server. As an example, when multimedia input devices such as smartphones, cameras, dash cams, etc. directly generate a bitstream, the encoding server may be omitted.

[484] Битовый поток может генерироваться способом кодирования или способом генерации битового потока, к которым применяется вариант(ы) осуществления настоящего раскрытия, и стриминговый сервер может временно хранить битовый поток в процессе передачи или приема битового потока.[484] The bitstream may be generated by an encoding method or a bitstream generation method to which the embodiment(s) of the present disclosure applies, and the streaming server may temporarily store the bitstream while transmitting or receiving the bitstream.

[485] Стриминговый сервер передает мультимедийные данные на устройство пользователя на основе запроса пользователя через веб-сервер, и веб-сервер служит как носитель для информирования пользователя об услуге. Когда пользователь запрашивает желаемую услугу от веб-сервера, веб-сервер доставляет ее на стриминговый сервер, и стриминговый сервер передает мультимедийные данные пользователю. В этом случае, система стриминга контента может включать в себя отдельный сервер управления. В этом случае, сервер управления служит, чтобы управлять командой/откликом между устройствами в системе стриминга контента.[485] The streaming server transmits multimedia data to the user's device based on the user's request through the web server, and the web server serves as a medium for informing the user about the service. When a user requests a desired service from a web server, the web server delivers it to the streaming server and the streaming server transmits the media data to the user. In this case, the content streaming system may include a separate control server. In this case, the control server serves to manage the command/response between devices in the content streaming system.

[486] Стриминговый сервер может принимать контент от хранения медиа и/или сервера кодирования. Например, когда контент принимается от сервера кодирования, контент может приниматься в реальном времени. В этом случае, чтобы обеспечить мягкую стриминговую услугу, стриминговый сервер может хранить битовый поток в течение предопределенного времени.[486] The streaming server may receive content from a media storage and/or encoding server. For example, when content is received from an encoding server, the content may be received in real time. In this case, to provide a soft streaming service, the streaming server may store the bitstream for a predetermined time.

[487] Примеры устройств пользователя могут включать в себя мобильный телефон, смартфон, ноутбук, цифровой терминал вещания, персональный цифровой помощник (PDA), портативный мультимедийный проигрыватель (PMP), навигатор, тонкий PC, планшетные PC, ультрабуки, носимые устройства (например, умные часы, умные очки, наголовные дисплеи), цифровые телевизоры, настольный компьютер, цифровые указатели и тому подобное. Каждый сервер в системе стриминга контента может применяться как распределенный сервер, в этом случае, данные, принятые от каждого сервера, могут распределяться.[487] Examples of user devices may include a mobile phone, smartphone, laptop, digital broadcast terminal, personal digital assistant (PDA), portable media player (PMP), navigation device, slim PC, tablet PCs, ultrabooks, wearable devices (e.g. smart watches, smart glasses, head-mounted displays), digital TVs, desktop computer, digital signs and the like. Each server in a content streaming system can be used as a distributed server, in which case, the data received from each server can be distributed.

[488] Каждый сервер в системе стриминга контента может применяться как распределенный сервер, и в этом случае, данные, принятые от каждого сервера, могут распределяться и обрабатываться.[488] Each server in a content streaming system may be used as a distributed server, in which case, data received from each server may be distributed and processed.

[489] Пункты формулы изобретения, описанные здесь, могут комбинироваться различными способами. Например, технические признаки пунктов формулы на способ согласно настоящему документу могут комбинироваться и реализовываться как устройство, и технические признаки пунктов формулы на устройство согласно настоящему документу могут комбинироваться и реализовываться как способ. К тому же технические признаки пунктов формулы на способ согласно настоящему документу и технические признаки пунктов формулы на устройство могут комбинироваться для реализации как устройство, и технические признаки пунктов формулы на способ согласно настоящему документу и технические признаки пунктов формулы на устройство могут комбинироваться и реализовываться как способ.[489] The claims described herein may be combined in various ways. For example, the technical features of the method claims of this document may be combined and implemented as a device, and the technical features of the device claims of this document may be combined and implemented as a method. In addition, the technical features of the method claims according to this document and the technical features of the device claims can be combined for implementation as a device, and the technical features of the method claims according to this document and the technical features of the device claims can be combined and implemented as a method.

Claims

1. Способ декодирования изображения, выполняемый устройством декодирования, причем способ содержит:1. A method for decoding an image performed by a decoding device, the method comprising:

получение информации изображения, включающей в себя информацию режима предсказания, информацию остатка и информацию, связанную с отображением яркости с масштабированием цветности (LMCS), из битового потока;obtaining image information including prediction mode information, residual information, and luminance scaling display (LMCS) related information from the bit stream;

вывод режима интер-предсказания для текущего блока в текущей картинке на основе информации режима предсказания;outputting an inter-prediction mode for the current block in the current picture based on the prediction mode information;

вывод информации движения для текущего блока на основе режима интер-предсказания;outputting motion information for the current block based on the inter-prediction mode;

генерацию выборки яркости предсказания для текущего блока на основе информации движения для текущего блока;generating a prediction luminance sample for the current block based on the motion information for the current block;

генерацию отображенной выборки яркости предсказания на основе процесса отображения для выборки яркости предсказания; generating a mapped prediction luminance sample based on the mapping process for the prediction luminance sample;

генерацию остаточной выборки яркости для текущего блока на основе информацию остатка; generating a residual luminance sample for the current block based on the residual information;

генерацию восстановленной выборки яркости на основе отображенной выборки яркости предсказания и остаточной выборки яркости; иgenerating a reconstructed luminance sample based on the mapped prediction luminance sample and the residual luminance sample; And

генерацию модифицированной восстановленной выборки яркости на основе процесса обратного отображения для восстановленной выборки яркости,generating a modified reconstructed luminance sample based on a demapping process for the reconstructed luminance sample,

причем связанная с LMCS информация включает в себя информацию о бинах для отображения и обратного отображения и информацию о кодовых словах LMCS,wherein the LMCS-related information includes information about bins for mapping and demapping and information about LMCS codewords,

причем минимальный индекс бина и максимальный индекс бина выводятся на основе информации о бинах,wherein the minimum bin index and maximum bin index are derived based on the bin information,

причем кодовые слова LMCS выводят на основе информации о кодовых словах LMCS,wherein the LMCS codewords are derived based on the information about the LMCS codewords,

причем отображенные значения, индексированные по индексам бинов от минимального индекса бина до максимального индекса бина, выводятся на основе информации о кодовых словах LMCS,wherein the mapped values, indexed by bin indices from the minimum bin index to the maximum bin index, are output based on the LMCS codeword information,

причем в процессе отображения для выборки яркости предсказания, индекс отображения выводится на основе выборки яркости предсказания, и отображенная выборка яркости предсказания генерируется с использованием отображенного значения, индексированного индексом отображения,wherein in the display process for the prediction luminance sample, a display index is output based on the prediction luminance sample, and a displayed prediction luminance sample is generated using the displayed value indexed by the display index,

причем в процессе обратного отображения для восстановленной выборки яркости, индекс обратного отображения выводится на основе отображенных значений, индексированных по индексам бинов от минимального индекса бина до максимального индекса бина, и модифицированная восстановленная выборка яркости генерируется с использованием отображенного значения, индексированного индексом обратного отображения,wherein in the demapping process for the reconstructed luminance sample, the demapping index is derived based on the mapped values indexed by bin indices from the minimum bin index to the maximum bin index, and the modified reconstructed luminance sample is generated using the mapped value indexed by the demapping index,

причем для вывода индекса обратного отображения, процесс обратного отображения для восстановленной выборки яркости содержит:wherein to output the demapping index, the demapping process for the reconstructed luminance sample comprises:

определение того, является ли отображенное значение, в случае, когда индекс обратного отображения равен минимальному индексу бина, больше значения восстановленной выборки яркости;determining whether the mapped value, in the case where the inverse map index is equal to the minimum bin index, is greater than the value of the reconstructed luminance sample;

определение того, является ли отображенное значение, в случае, когда индекс обратного отображения равен максимальному индексу бина -1, больше значения восстановленной выборки яркости; иdetermining whether the mapped value, in the case where the inverse map index is equal to the maximum bin index of -1, is greater than the value of the reconstructed luminance sample; And

определение того, является ли отображенное значение, в случае, когда индекс обратного отображения равен максимальному индексу бина, больше значения восстановленной выборки яркости на основе определения того, что отображенное значение, в случае, когда индекс обратного отображения равен максимальному индексу бина -1, не больше значения восстановленной выборки яркости.determining whether the mapped value, in the case where the inverse mapping index is equal to the maximum bin index, is greater than the value of the reconstructed luminance sample based on determining that the mapped value, in the case where the inverse mapping index is equal to the maximum bin index -1, is not greater than values of the reconstructed brightness sample.

2. Способ кодирования изображения, выполняемый устройством кодирования, причем способ содержит:2. An image encoding method performed by an encoding device, the method comprising:

вывод режима интер-предсказания;inter-prediction mode output;

генерацию информации движения для текущего блока на основе режима интер-предсказания;generating motion information for the current block based on the inter-prediction mode;

генерацию информации, связанной с отображением яркости с масштабированием цветности (LMCS), на основе отображенной выборки яркости предсказания;generating luminance scaling (LMCS) related information based on the displayed prediction luminance sample;

генерацию остаточной выборки яркости на основе отображенной выборки предсказания; generating a residual luminance sample based on the mapped prediction sample;

генерацию информации остатка на основе остаточной выборки яркости;generating residual information based on the residual brightness sample;

генерацию восстановленной выборки яркости на основе отображенной выборки яркости предсказания и остаточной выборки яркости; generating a reconstructed luminance sample based on the mapped prediction luminance sample and the residual luminance sample;

генерацию модифицированной восстановленной выборки яркости на основе процесса обратного отображения для восстановленной выборки яркости; иgenerating a modified reconstructed luminance sample based on a demapping process for the reconstructed luminance sample; And

кодирование информации изображения, включающей в себя связанную с LMCS информацию и информацию остатка,encoding image information including LMCS related information and residual information,

определение того, является ли отображенное значение, в случае, когда индекс обратного отображения равен максимальному индексу бина -1, больше значения восстановленной выборки яркости, на основе определения, что отображенное значение, в случае, когда индекс обратного отображения равен максимальному индексу бина -1, не больше значения восстановленной выборки яркости.determining whether the mapped value, in the case where the demapping index is equal to the maximum bin index -1, is greater than the value of the reconstructed luma sample, based on determining that the mapped value, in the case where the demapping index is equal to the maximum bin index -1, no more than the value of the reconstructed brightness sample.

3. Считываемый компьютером цифровой носитель хранения, хранящий инструкции, которые при исполнении приводят к выполнению способа кодирования изображения по п. 2.3. A computer-readable digital storage medium storing instructions that, when executed, result in the execution of the image encoding method of claim 2.

4. Способ передачи данных для информации изображения, содержащий:4. A data transmission method for image information, comprising:

получение битового потока информации изображения, включающей в себя информацию, связанную с отображением яркости с масштабированием цветности (LMCS), и информацию остатка, причем битовый поток генерируется на основе вывода режима интер-предсказания, генерацию информации движения для текущего блока на основе режима интер-предсказания, генерацию выборки яркости предсказания для текущего блока на основе информации движения для текущего блока, генерацию отображенной выборки яркости предсказания на основе процесса отображения для выборки яркости предсказания, генерацию информации, связанной с LMCS на основе отображенной выборки яркости предсказания, генерацию остаточной выборки яркости на основе отображенной выборки предсказания, генерацию остаточной информации на основе остаточной выборки яркости, генерацию восстановленной выборки яркости на основе отображенной выборки яркости предсказания и остаточной выборки яркости, генерацию модифицированной восстановленной выборки яркости на основе процесса обратного отображения для восстановленной выборки яркости, и кодирование информации изображения, включающей в себя связанную с LMCS информацию и информацию остатка; иobtaining a bit stream of image information including luma display with chroma scaling (LMCS) related information and residual information, wherein the bit stream is generated based on the output of the inter-prediction mode, generating motion information for the current block based on the inter-prediction mode , generating a prediction luminance sample for the current block based on the motion information for the current block, generating a mapped prediction luminance sample based on a mapping process for the prediction luminance sample, generating LMCS related information based on the mapped prediction luminance sample, generating a residual luminance sample based on the mapped prediction samples, generating residual information based on the residual luminance sample, generating a reconstructed luminance sample based on the mapped prediction luminance sample and the residual luminance sample, generating a modified reconstructed luminance sample based on a demapping process for the reconstructed luminance sample, and encoding image information including LMCS-related information and residual information; And

передачу данных, содержащих битовый поток информации изображения, включающей в себя связанную с LMCS информацию и информацию остатка,transmitting data containing a bitstream of image information including LMCS-related information and residual information,