RU2772313C2 - Method and apparatus for filtering images with adaptive multiplier coefficients - Google Patents

Abstract

FIELD: image data processing.

SUBSTANCE: invention relates to the field of technology for encoding video images and/or static images. Proposed are an apparatus and method for filtering restored images, in particular, video images, using adaptive multiplicative filters.

EFFECT: efficiency of the filtering operation is increased due to the limitation of the acceptable values of the filter coefficients to those with only a limited amount of "units" in the binary representation.

14 cl, 11 dwg

Description

Варианты осуществления изобретения относятся к области обработки изображений, например к кодированию видеоизображений и/или статических изображений. Предоставляются новые способы и устройства для фильтрации изображений с помощью фильтра, имеющего коэффициенты множителя адаптивного фильтра.Embodiments of the invention relate to the field of image processing, such as encoding video and/or still images. New methods and apparatus are provided for filtering images with a filter having adaptive filter multiplier coefficients.

Уровень техникиState of the art

Кодирование видео (кодирование и декодирование видео) используется в широком диапазоне приложений цифрового видео, например, в широковещательном цифровом телевидении, передаче видео через интернет и мобильные сети, в диалоговых приложениях в реальном времени, таких как видеочат, видеоконференцсвязь, DVD и Blu- Ray диски, системы сбора и редактирования видеоконтента и видеокамеры приложений безопасности.Video encoding (video encoding and decoding) is used in a wide range of digital video applications, such as digital television broadcast, video transmission over the Internet and mobile networks, real-time conversational applications such as video chat, video conferencing, DVD and Blu-ray discs. , video content collection and editing systems and video camera security applications.

С момента разработки в 1990 году блочного гибридного подхода к кодированию видео в стандарте H.261 были внедрены новые способы и инструменты кодирования видео, которые легли в основу новых стандартов кодирования видео. Одной из задач большинства стандартов кодирования видео было снижение скорости передачи данных по сравнению с его предшествующим стандартом без ущерба качества изображения. Дополнительные стандарты кодирования видео содержат MPEG-1 видео, MPEG-2 видео, ITU-T H.262/MPEG-2, ITU-T H.263, ITU-T H.264/MPEG-4, часть 10, усовершенствованное кодирование видео (Advanced Video Coding, AVC), ITU-T H.265, высокоэффективное кодирование видео (High Efficiency Video Coding, HEVC) и расширения, например, масштабируемость и/или трехмерные (three-dimensional, 3D) расширения этих стандартов.Since the development of the block hybrid approach to video coding in H.261 in 1990, new video coding methods and tools have been introduced, which form the basis of new video coding standards. One of the goals of most video coding standards was to reduce the bit rate compared to its predecessor standard without sacrificing image quality. Additional video coding standards include MPEG-1 video, MPEG-2 video, ITU-T H.262/MPEG-2, ITU-T H.263, ITU-T H.264/MPEG-4 Part 10 Advanced Video Coding (Advanced Video Coding, AVC), ITU-T H.265, High Efficiency Video Coding (HEVC) and extensions such as scalability and/or three-dimensional (3D) extensions of these standards.

На фиг.1 показана блок-схема, иллюстрирующая вариант осуществления системы 300 кодирования, которая будет описана более подробно ниже.1 is a block diagram illustrating an embodiment of an encoding system 300, which will be described in more detail below.

Фиг.2 представляет собой блок-схему, показывающую примерную структуру видеокодера, в котором может быть реализовано изобретение, и который также будет описан более подробно ниже.2 is a block diagram showing an exemplary structure of a video encoder in which the invention may be implemented, and which will also be described in more detail below.

В частности, проиллюстрированный кодер 100 включает в себя «контурный фильтр» 120, в котором может применяться операция фильтрации согласно изобретению. Однако, в более общем смысле, операция фильтрации применима в других местах кодека, например, в интерполяционном фильтре. Еще в более широком смысле изобретение применимо не только к видео, но также и к кодированию статических изображений.In particular, the illustrated encoder 100 includes a "loop filter" 120 in which the filtering operation of the invention may be applied. However, more generally, the filtering operation is applicable elsewhere in the codec, such as in an interpolation filter. In an even broader sense, the invention is applicable not only to video, but also to the encoding of still images.

Фиг.3 является блок-схемой, показывающей примерную структуру видеодекодера, в котором может быть реализовано изобретение, и который также будет описан более подробно ниже. В частности, изобретение применимо, например, в контурном фильтре 220.3 is a block diagram showing an exemplary structure of a video decoder in which the invention may be implemented, and which will also be described in more detail below. In particular, the invention is applicable, for example, in the loop filter 220.

Далее будет обобщена некоторая справочная информация об адаптивной фильтрации.In the following, some background information about adaptive filtering will be summarized.

Адаптивная фильтрация для кодирования видео служит для минимизации среднеквадратической ошибки между оригинальными и декодированными выборками с помощью адаптивного фильтра Винера. В частности, предлагаемый адаптивный контурный фильтр (Adaptive Loop Filter, ALF) находится на последнем этапе обработки каждого изображения и может рассматриваться как инструмент для обнаружения и исправления артефактов предшествующих этапов. Подходящие коэффициенты фильтра определяются кодером и явно сообщаются декодеру.Adaptive filtering for video coding serves to minimize the mean square error between the original and decoded samples using an adaptive Wiener filter. In particular, the proposed adaptive loop filter (ALF) is at the last stage of processing each image and can be considered as a tool for detecting and correcting artifacts of previous stages. Suitable filter coefficients are determined by the encoder and explicitly communicated to the decoder.

Общая информация об адаптивной фильтрации изложена в статье «Адаптивная контурная фильтрация для кодирования видео» Chia-Yang Tsai, Ching-Yeh Chen, Tomoo Yamakage, In Suk Chong, Yu-Wen Huang, Chin-Ming Fu, Takayuki Itoh, Takayuki Watanabe, Takeshi Chujoh, Marta Karczewicz и Shaw-Min Lei, опубликованной в: IEEE Journal of Selected Topics in Signal Processing (Volume: 7, Issue: 6, Dec. 2013).For general information about adaptive filtering, see the article "Adaptive Loop Filtering for Video Coding" Chia-Yang Tsai, Ching-Yeh Chen, Tomoo Yamakage, In Suk Chong, Yu-Wen Huang, Chin-Ming Fu, Takayuki Itoh, Takayuki Watanabe, Takeshi Chujoh, Marta Karczewicz, and Shaw-Min Lei, published in: IEEE Journal of Selected Topics in Signal Processing (Volume: 7, Issue: 6, Dec. 2013).

Описание, приведенное в вышеуказанном документе, раскрывает конкретную реализацию операции фильтрации с адаптивными коэффициентами фильтрации. Общие принципы работы можно описать следующим образом.The description given in the above document discloses a specific implementation of a filtering operation with adaptive filter coefficients. The general operating principles can be described as follows.

Как правило, уравнение фильтрации выглядит следующим образом:As a rule, the filtering equation looks like this:

Здесь R (i, j) является выборкой в кадре изображения до фильтрации по координате (i, j).Here R(i, j) is the sample in the image frame before filtering on coordinate (i, j).

R’(i, j) является выборкой в кадре изображения после фильтрации, f (k, l) является коэффициентами фильтра.R'(i, j) is the sample in the image frame after filtering, f(k, l) are the filter coefficients.

На фиг. 4 показан пример ядра фильтра. В этом примере C20 является центральной координатой ядра фильтра (k = 0, l = 0), и L равно 8.In FIG. 4 shows an example of a filter kernel. In this example, C20 is the center coordinate of the filter kernel (k = 0, l = 0) and L is 8.

В этом примере ядро фильтра симметрично относительно центра. Но, в общем, данное утверждение неверно.In this example, the filter kernel is symmetrical about the center. But, in general, this statement is false.

В случае использования целочисленной арифметики уравнение фильтрации можно записать как:In the case of using integer arithmetic, the filtering equation can be written as:

Здесь N является числом сдвига бита выходного сигнала, то есть выходной сигнал делится на коэффициент нормализации. В частности, N может быть заранее определен. «Смещение» является скалярной величиной для компенсации потерь в целочисленной арифметике. В случае сдвига бита на N, смещение может быть 2^(N-1). В приведенном выше уравнении коэффициенты f (k, l) фильтрации могут иметь только целые значения, а не дробные. Реализация уравнения фильтрации в соответствии с целочисленной арифметикой важна для обеспечения точной реализации в оборудовании. Операция сдвига вправо «>> N» имеет эффект деления на 2^N с последующей операцией округления в меньшую сторону.Here N is the bit shift number of the output signal, that is, the output signal is divided by the normalization factor. In particular, N may be predetermined. "Offset" is a scalar value to compensate for losses in integer arithmetic. In the case of a bit shift by N, the offset can be 2 ^(N-1) . In the equation above, the filter coefficients f(k, l) can only have integer values, not fractional ones. The implementation of the filtering equation according to integer arithmetic is important to ensure an accurate implementation in hardware. The right shift operation ">>N" has the effect of dividing by 2 ^N followed by a rounding down operation.

Обычно (но не обязательно) следующее уравнение выполняется, если не требуется изменение среднего уровня освещенности.Usually (but not necessarily) the following equation holds if no change in average light level is required.

В кодере коэффициенты фильтра оцениваются путем минимизации ожидаемого значения ошибки между исходным и отфильтрованным пикселями:In the encoder, the filter coefficients are estimated by minimizing the expected error value between the original and filtered pixels:

В приведенном выше уравнении O (i, j) обозначает выборку исходного изображения.In the equation above, O(i, j) denotes a sample of the original image.

На фиг. 5 показаны некоторые типичные примерные формы фильтров для адаптивных фильтров. На чертеже слева показан ромбовидный фильтр 5×5 (фильтр с 13 отводами с 7 уникальными коэффициентами), на среднем чертеже показан ромбовидный фильтр 7x7 (фильтр с 25 отводами с 13 уникальными коэффициентами) и на чертеже справа показан ромбовидный фильтр 9×9 (фильтр с 41 отводами с 21 уникальными коэффициентами).In FIG. 5 shows some exemplary filter shapes for adaptive filters. The drawing on the left shows a 5×5 diamond filter (13-tap filter with 7 unique coefficients), the middle drawing shows a 7x7 diamond filter (25-tap filter with 13 unique coefficients), and the right drawing shows a 9×9 diamond filter (filter with 41 taps with 21 unique coefficients).

Термин «адаптивная» фильтрация относится к тому факту, что процесс фильтрации может регулироваться кодером. Это касается, например, формы фильтра, размера фильтра, количества коэффициентов фильтрации и значений коэффициентов фильтрации. Эти данные, также известные как «подсказки фильтра», передаются декодеру.The term "adaptive" filtering refers to the fact that the filtering process can be adjusted by the encoder. This concerns, for example, the shape of the filter, the size of the filter, the number of filter coefficients and the values of the filter coefficients. This data, also known as "filter hints", is passed to the decoder.

Адаптивная фильтрация подразумевает решение следующих технических задач при применении к реализациям фильтрации, которые включают в себя умножение, то есть, в которых коэффициенты фильтра являются так называемыми мультипликативными коэффициентами или коэффициентами множителя. Другими словами, следующая техническая задача, которую намеревается решить изобретение, относится к фильтрации с адаптивными коэффициентами фильтра, в котором коэффициенты фильтра, которые используются в операции умножения, могут быть индивидуально адаптированы (изменены). В этой связи индивидуально означает для каждого изображения (изображения, кадра) и/или для каждого пикселя, и/или для каждого коэффициента.Adaptive filtering involves solving the following technical problems when applied to filtering implementations that involve multiplication, that is, in which the filter coefficients are so-called multiplicative coefficients or multiplier coefficients. In other words, the next technical problem that the invention intends to solve relates to filtering with adaptive filter coefficients, in which the filter coefficients that are used in the multiplication operation can be individually adapted (changed). In this regard, individually means for each image (image, frame) and/or for each pixel, and/or for each coefficient.

Техническая задача заключается в том, что реализация операции умножения является дорогостоящей, особенно в специализированных аппаратных реализациях. Применение фильтра требует сравнительно большого числа операций умножения фильтрации (например, 41 умножения на пиксель в случае фильтра в форме ромба 9 × 9, как показано на фиг.4).The technical problem is that the implementation of the multiplication operation is expensive, especially in specialized hardware implementations. Applying the filter requires a relatively large number of filter multiplications (eg, 41 multiplications per pixel in the case of a 9×9 diamond filter as shown in FIG. 4).

Это более подробно проиллюстрировано ниже.This is illustrated in more detail below.

Предположим, мы хотим умножить два беззнаковых восьмибитных целых числа. Коэффициент фильтра равен C и выборка пикселя равна A.Suppose we want to multiply two unsigned eight-bit integers. The filter factor is C and the pixel sampling is A.

Процесс умножения можно разложить на 8 однобитовых умножений, каждое из которых может быть реализовано как операция сдвига бита в двоичной арифметике, и 7 операций сложения, как показано ниже. Следовательно, примерно 1 умножение эквивалентно 7 сложениям.The multiplication process can be decomposed into 8 one-bit multiplications, each of which can be implemented as a bit shift operation in binary arithmetic, and 7 addition operations, as shown below. Therefore, approximately 1 multiplication is equivalent to 7 additions.

Задача заключается в том, что процесс умножения требует большого объема вычислений. Следовательно, реализация на специализированном оборудовании требует больших затрат.The problem is that the multiplication process requires a large amount of calculations. Therefore, implementation on specialized equipment is costly.

Здесь 8-битный беззнаковый коэффициент С фильтра показан в двоичном представлении, где C [0] является младшим битом коэффициента C, и C [7] является старшим битом. Аналогично, A [7], A [6], … A [0] являются битами, соответствующие от старшего бита к младшему биту по порядку. Представлена операция P = C * A в двоичной арифметике, и результат отображается в самой нижней строке.Here, the 8-bit unsigned filter coefficient C is shown in binary, where C[0] is the least significant bit of the coefficient C and C[7] is the most significant bit. Similarly, A[7], A[6], ... A[0] are the bits corresponding from the most significant bit to the least significant bit in order. The operation P = C * A in binary arithmetic is presented, and the result is displayed on the very bottom line.

В примере на фиг.4 ядро фильтра включает в себя 41 отвод фильтра, что означает, что для обработки выборки пикселей необходима 41 операция умножения.In the example of FIG. 4, the filter core includes 41 filter taps, which means that 41 multiplication operations are needed to process the pixel sample.

Следует отметить, что изобретение и описанная выше техническая задача, которую оно решает, конкретно относятся к адаптивной фильтрации с коэффициентами множителя фильтра. Задача не относится к фиксированным фильтрам и, в частности, к операциям фильтрации, использующим несколько фиксированных фильтров.It should be noted that the invention and the technical problem it solves described above specifically relate to adaptive filtering with filter multiplier coefficients. The task does not apply to fixed filters and, in particular, to filtering operations using multiple fixed filters.

Примером использования нескольких фиксированных фильтров является интерполяционная фильтрация для интерполяции на позициях дробных пикселей при внешнем предсказании, что проиллюстрировано на фиг.6.An example of using multiple fixed filters is interpolation filtering for interpolation at fractional pixel positions in inter prediction, as illustrated in FIG.

Многие известные кодеки применяют интерполяционную фильтрацию с использованием фиксированных интерполяционных фильтров. Хотя коэффициенты фильтра фиксированы для фильтра, существует множество фильтров для различных дробных позиций (позиция половины пикселя и четверти пикселя на чертеже). В этом примере весь набор фильтров адаптируется на основе вектора движения, но коэффициенты фильтра индивидуально не адаптируются.Many known codecs apply interpolation filtering using fixed interpolation filters. Although the filter coefficients are fixed per filter, there are many filters for different fractional positions (half pixel position and quarter pixel position in the drawing). In this example, the entire filter bank is adapted based on the motion vector, but the filter coefficients are not individually adapted.

На чертеже большие окружности соответствуют фактическим позициям выборки в изображении, и меньшие окружности представляют собой дробные позиции, которые генерируются применением операции интерполяционной фильтрации. В конкретном примере есть 3 дробных позиции (левая четверть пикселя, половина пикселя и правая четверть пикселя) между двумя фактическими позициями выборки изображения. В левой части чертежа показан интерполяционный фильтр, применяемый для интерполяции позиций полу-пикселя (half-pel). Правая сторона чертежа иллюстрирует интерполяционный фильтр, который будет использоваться для позиций четверти пикселя (quartet-pel). Хотя эти фильтры отличаются друг от друга, каждый интерполяционный фильтр является фиксированным. Как указано, пример на фиг. 6 предоставлен только для иллюстративных целей и не является частью изобретения.In the drawing, the larger circles correspond to the actual sample positions in the image, and the smaller circles represent the fractional positions that are generated by applying the interpolation filtering operation. In the specific example, there are 3 fractional positions (left quarter pixel, half pixel, and right quarter pixel) between two actual image sampling positions. The left side of the figure shows the interpolation filter used to interpolate half-pel positions. The right side of the drawing illustrates the interpolation filter to be used for quartet-pel positions. Although these filters are different, each interpolation filter is fixed. As indicated, the example in FIG. 6 is provided for illustrative purposes only and does not form part of the invention.

Изобретение направлено на обеспечение улучшенной концепции мультипликативной адаптивной фильтрации, которая может упростить операцию умножения и снизить затраты операции умножения.The invention is directed to providing an improved multiplicative adaptive filtering concept that can simplify the multiplication operation and reduce the multiplication operation cost.

Раскрытие сущности изобретенияDisclosure of the essence of the invention

Варианты осуществления изобретения определяются признаками независимых пунктов формулы изобретения, и дополнительные преимущественные реализации вариантов осуществления определены признаками зависимых пунктов формулы изобретения.Embodiments of the invention are defined by the features of the independent claims, and additional advantageous implementations of the embodiments are defined by the features of the dependent claims.

Согласно первому аспекту изобретения обеспечивается устройство фильтрации набора выборок изображения с использованием фильтра с адаптивными коэффициентами множителя, представленными целыми числами. Устройство содержит схему обработки, которая выполнена с возможностью определять значение по меньшей мере одного коэффициента множителя фильтра так, чтобы оно находилось в пределах набора допустимых значений, так что двоичное представление абсолютного значения, по меньшей мере, одного коэффициента множителя с заранее определенным числом L цифр включает в себя по меньшей мере один «ноль» и фильтрует набор выборок изображения с помощью фильтра.According to a first aspect of the invention, there is provided an apparatus for filtering a set of image samples using a filter with adaptive multiplier coefficients represented by integers. The device comprises a processing circuit that is configured to determine the value of at least one filter multiplier factor so that it is within a set of allowable values, so that the binary representation of the absolute value of at least one multiplier factor with a predetermined number L of digits includes into itself at least one "zero" and filters the set of image samples using the filter.

Согласно второму аспекту изобретения обеспечивается способ фильтрации набора выборок изображения с использованием фильтра с адаптивными коэффициентами множителя, представленными целыми числами. Способ содержит этап определения значения по меньшей мере одного коэффициента множителя фильтра так, чтобы оно находилось в пределах набора допустимых значений, так что двоичное представление абсолютного значения по меньшей мере одного коэффициента множителя с заранее определенным числом L цифр включает в себя по меньшей мере один «ноль» и этап фильтрации набора выборок изображения с помощью фильтра.According to a second aspect of the invention, there is provided a method for filtering a set of image samples using a filter with adaptive multiplier coefficients represented by integers. The method comprises the step of determining the value of at least one filter multiplier factor so that it is within the set of allowed values, such that the binary representation of the absolute value of at least one multiplier factor with a predetermined number L of digits includes at least one "zero » and the step of filtering the set of image samples using the filter.

Согласно настоящему раскрытию, набор выборок изображения может, например, быть выборкой видеосигнала или сигнала неподвижного изображения. Схема обработки может быть реализована с помощью любой комбинации программного обеспечения и/или аппаратного обеспечения. Набор допустимых значений может, в частности, быть заранее определенным набором допустимых значений. Как правило, изобретение также применимо к другим наборам выборок сигнала, чем изображения, например, к сигналам, включающим в себя аудиоданные.According to the present disclosure, the set of image samples may, for example, be a video or still image sample. The processing scheme may be implemented using any combination of software and/or hardware. The set of allowed values may in particular be a predefined set of allowed values. Generally, the invention is also applicable to other signal sample sets than images, such as signals including audio data.

Особый подход изобретения состоит в том, чтобы ограничить значения, которые могут быть приняты коэффициентами фильтра адаптивного фильтра множителя, таким образом, что операция умножения упрощается. В частности, допустимые значения коэффициентов фильтра ограничены, так что в пределах заранее определенного количества двоичных цифр для выражения абсолютных значений разрешено только ограниченное количество «единиц». Это позволяет упростить операции умножения для фильтрации и, таким образом, делает операцию фильтрации более эффективной.A particular approach of the invention is to limit the values that can be taken by the filter coefficients of the adaptive multiplier filter, such that the multiplication operation is simplified. In particular, the allowed values of the filter coefficients are limited, so that within a predetermined number of binary digits, only a limited number of "ones" are allowed to express absolute values. This makes it possible to simplify the multiplication operations for filtering and thus makes the filtering operation more efficient.

Как будет показано ниже, чем меньше количество допустимых «единиц» в заранее определенном общем количестве двоичных цифр, тем выше эффективность выполнения операции фильтрации. Например, наилучшего повышения эффективности можно достичь, если любое значение, которое может быть принято значениями коэффициентов, включает в себя только до одной «1», то есть, не более одной «1».As will be shown below, the smaller the number of allowed "ones" in the predetermined total number of binary digits, the more efficient the filtering operation is. For example, the best performance improvement can be achieved if any value that can be taken by the values of the coefficients includes only up to one "1", that is, no more than one "1".

В соответствии с вариантами осуществления наивысшее абсолютное значение набора допустимых значений ограничено заранее определенным максимальным значением N_max.In accordance with embodiments, the highest absolute value of the set of allowable values is limited to a predetermined maximum value N _max .

В соответствии с вариантами осуществления двоичное представление абсолютного значения, по меньшей мере, одного коэффициента множителя включает в себя не более двух «единиц». Более конкретно, двоичное представление абсолютного значения, по меньшей мере, одного коэффициента множителя включает в себя не более одной «единицы». Как указано выше и как будет подробно описано ниже, упрощение выполнения операции умножения для фильтрации и, таким образом, повышение эффективности обработки тем выше, чем больше нулей (следовательно: чем меньше единиц) имеется в двоичном представлении допустимых значений коэффициента. Таким образом, наиболее эффективным случаем является тот, в котором есть только одна «единица», тогда как, например, две разрешенные «единицы» по-прежнему дают хороший результат. Конечно, то, что приносит пользу, во многом зависит от деталей ситуации, и, в частности, для больших фильтров также может оказаться полезным наличие трех или более «единиц».In accordance with embodiments, the binary representation of the absolute value of at least one multiplier factor includes no more than two "ones". More specifically, the binary representation of the absolute value of at least one multiplier includes at most one "one". As mentioned above and as will be described in detail below, the simplification of the multiplication operation for filtering, and thus the increase in processing efficiency, is greater the more zeros (hence: the fewer ones) there are in the binary representation of the allowable coefficient values. So the most efficient case is one where there is only one "one", while for example two allowed "ones" still give a good result. Of course, what is beneficial depends a lot on the details of the situation, and large filters in particular can also benefit from having three or more "ones".

Как правило, набор допустимых значений применим, по меньшей мере, к одному коэффициенту множителя фильтра.Typically, the set of allowable values applies to at least one filter multiplier.

В соответствии с вариантами осуществления набор допустимых значений применяется ко всем коэффициентам множителя фильтра.According to embodiments, the set of allowable values applies to all filter multiplier coefficients.

В соответствии с альтернативными вариантами осуществления коэффициенты множителя дополнительно группируются, по меньшей мере, в две группы, и коэффициенты множителя одной из групп ограничиваются набором допустимых значений. Коэффициенты множителя в другой группе или группах могут, например, принимать все значения в пределах заранее определенного диапазона или могут быть ограничены в соответствии с другими заранее определенными правилами. Более конкретно, коэффициенты множителя другой одной из групп, например, могут принимать все значения в пределах диапазона, определенного заранее определенным максимумом абсолютного значения.In accordance with alternative embodiments, the multiplier coefficients are further grouped into at least two groups, and the multiplier coefficients of one of the groups are limited to a set of allowable values. The multiplier coefficients in another group or groups may, for example, take on all values within a predetermined range, or may be limited according to other predetermined rules. More specifically, the multiplier coefficients of another one of the groups, for example, may take on all values within a range defined by a predetermined maximum absolute value.

В соответствии с вариантами осуществления, набор выборок изображения означает набор выборок видеоизображения. Более конкретно, устройство может быть выполнено с возможностью индивидуальной адаптации коэффициентов множителя для каждого изображения и каждого пикселя.According to embodiments, a set of image samples means a set of video samples. More specifically, the device may be configured to individually adapt multiplier factors for each image and each pixel.

В соответствии с дополнительным конкретным аспектом изобретения обеспечивается устройство для кодирования текущего набора выборок изображения, включающего в себя множество пикселей. Устройство содержит кодер с декодером для восстановления текущего набора и устройство согласно первому аспекту изобретения для фильтрации восстановленного набора.In accordance with a further specific aspect of the invention, an apparatus is provided for encoding a current set of image samples including a plurality of pixels. The apparatus comprises an encoder with a decoder for recovering the current set and an apparatus according to the first aspect of the invention for filtering the recovered set.

В соответствии с вариантами осуществления упомянутое устройство кодирования дополнительно содержит схему обработки, которая выполнена с возможностью отображать значения коэффициентов множителя на двоичные кодовые слова и добавлять кодовые слова в битовый поток для передачи в устройство декодирования.According to embodiments, said encoder further comprises a processing circuit that is configured to map multiplier values to binary codewords and add codewords to a bitstream for transmission to a decoder.

Более конкретно, длина кодовых слов зависит от количества различных значений коэффициента множителя. Другими словами, существует столько кодовых слов, сколько возможных значений коэффициентов фильтра. Отображение кодового слова на значение (которое является отображением «один-к-одному») может быть фиксированным отображением или может изменяться в зависимости от переданной дополнительной информации.More specifically, the length of the codewords depends on the number of different values of the multiplier. In other words, there are as many codewords as there are possible filter coefficient values. The codeword-to-value mapping (which is a one-to-one mapping) may be a fixed mapping or may vary depending on the side information transmitted.

В соответствии с вариантами осуществления схема обработки дополнительно выполнена с возможностью выполнять предсказание коэффициентов множителя фильтра и определять остаточные коэффициенты множителя путем сравнения фактически определенных значений с предсказанными значениями, полученными в результате предсказания. Затем применяется отображение двоичных кодовых слов на остаточные коэффициенты множителя. В этом случае информация управления предсказания может быть дополнительно включена в битовый поток, чтобы устройство декодирования, принимающее битовый поток, знало о применяемом способе предсказания и могло восстанавливать коэффициенты множителя фильтра из закодированных остаточных коэффициентов множителя. В качестве альтернативы применяемый способ предсказания может быть заранее определен, следовательно, применяться таким же образом в кодере и декодере без какой-либо переданной дополнительной информации. Возможные способы предсказания могут включать в себя, но не ограничиваются этим, предсказание с использованием заданных предикторов фильтра и предсказание на основе ранее сообщенных коэффициентов фильтра. Поскольку значения остаточных коэффициентов фильтра, выражающие разницу между фактическим коэффициентом фильтрации и соответствующим предсказанным коэффициентом фильтра, обычно меньше по абсолютной величине, чем фактические коэффициенты, количество и, следовательно, размер кодовых слов могут быть меньше, что дополнительно уменьшает объем сигнализируемой информации в декодер.According to embodiments, the processing circuitry is further configured to perform prediction of the filter multiplier coefficients and determine the residual coefficients of the multiplier by comparing the actually determined values with the predicted values resulting from the prediction. The mapping of the binary codewords to the residual coefficients of the multiplier is then applied. In this case, prediction control information may be further included in the bitstream so that the decoder receiving the bitstream is aware of the prediction method being used and can recover the filter multiplier coefficients from the encoded residual multiplier coefficients. Alternatively, the applied prediction method may be predetermined, hence applied in the same way in the encoder and decoder without any additional information transmitted. Possible prediction methods may include, but are not limited to, prediction using predetermined filter predictors and prediction based on previously reported filter coefficients. Since the values of the residual filter coefficients, expressing the difference between the actual filter coefficient and the corresponding predicted filter coefficient, are usually smaller in absolute value than the actual coefficients, the number and hence the size of codewords can be smaller, which further reduces the amount of signaled information to the decoder.

В качестве альтернативы отображение коэффициентов множителя на кодовые слова для включения в битовый поток, может выполняться на коэффициентах множителя, определенных согласно первому аспекту изобретения, без выполнения обработки предсказания.Alternatively, the mapping of the multiplier coefficients to codewords for inclusion in the bitstream may be performed on the multiplier coefficients determined according to the first aspect of the invention without performing prediction processing.

В соответствии с еще одним дополнительным аспектом изобретения обеспечивается устройство для декодирования текущего кодированного набора выборок изображения, включающего в себя множество пикселей. Устройство содержит декодер для восстановления текущего набора и устройство согласно первому аспекту изобретения для фильтрации восстановленного набора.In accordance with another additional aspect of the invention, an apparatus is provided for decoding a current encoded set of image samples including a plurality of pixels. The apparatus comprises a decoder for recovering the current set and an apparatus according to the first aspect of the invention for filtering the recovered set.

В соответствии с вариантами осуществления схема обработки устройства согласно первому аспекту изобретения дополнительно выполнена с возможностью получать коэффициенты множителя из двоичных кодовых слов, включенных в принятый битовый поток, путем применения операции отображения.According to embodiments, the device processing circuit according to the first aspect of the invention is further configured to derive multiplier coefficients from binary codewords included in the received bitstream by applying a mapping operation.

В частности, полученные коэффициенты множителя могут быть коэффициентами фильтра, которые будут использоваться для фильтрации. В качестве альтернативы, полученные коэффициенты множителя могут быть остаточными коэффициентами множителя, представляющими разность между фактическими значениями коэффициентов и коэффициентами множителя, предсказанными согласно схеме предсказания. Схема предсказания может быть указана информацией управления предсказания, дополнительно включенной в принятый битовый поток. В этом случае схема обработки дополнительно выполнена с возможностью определять значения коэффициентов фильтра путем их восстановления из полученных остаточных коэффициентов множителя и информации управления предсказания. В качестве альтернативы схема предсказания (способ предсказания) может быть заранее определена и, следовательно, применяться таким же образом в кодере и декодере без какой-либо передаваемой информации управления предсказания. Затем схема обработки определяет значения коэффициентов фильтра, восстанавливая их из полученных остаточных коэффициентов множителя.In particular, the resulting multiplier coefficients may be filter coefficients to be used for filtering. Alternatively, the resulting multiplier coefficients may be residual multiplier coefficients representing the difference between the actual coefficient values and the multiplier coefficients predicted by the prediction scheme. The prediction scheme may be indicated by prediction control information further included in the received bitstream. In this case, the processing circuit is further configured to determine filter coefficient values by recovering them from the obtained residual multiplier coefficients and prediction control information. Alternatively, the prediction scheme (prediction method) may be predetermined and therefore applied in the same manner in the encoder and decoder without any prediction control information to be transmitted. The processing circuit then determines the values of the filter coefficients by recovering them from the resulting residual multiplier coefficients.

В соответствии с вариантами осуществления определение схемой обработки дополнительно включает в себя выполнение определения того, находится ли в наборе действительных значений определенное значение, по меньшей мере, одного коэффициента множителя, полученное непосредственно из принятого битового потока посредством операции отображения или путем восстановления из полученных остаточных коэффициентов множителя и, если нет, преобразование определенного значения в ближайшее значение, которое находится в пределах набора действительных значений.In accordance with embodiments, determining by the processing circuit further includes performing a determination as to whether a certain value of at least one multiplier coefficient is in the set of real values, obtained directly from the received bitstream through a mapping operation or by recovering from the obtained residual multiplier coefficients. and, if not, converting the determined value to the nearest value that is within the set of real values.

Таким образом, гарантируется, что коэффициенты фильтра, которые применяются к выборкам восстановленного изображения, подчиняются правилам согласно изобретению.Thus, it is guaranteed that the filter coefficients that are applied to the samples of the reconstructed image obey the rules according to the invention.

Подробности одного или более вариантов осуществления изложены на прилагаемых чертежах и в приведенном ниже описании. Другие признаки, объекты и преимущества будут очевидны из описания, чертежей и формулы изобретения.Details of one or more embodiments are set forth in the accompanying drawings and in the description below. Other features, objects and advantages will be apparent from the description, drawings and claims.

Краткое описание чертежейBrief description of the drawings

Далее варианты осуществления изобретения описаны более подробно со ссылкой на прилагаемые чертежи, на которых:Further embodiments of the invention are described in more detail with reference to the accompanying drawings, in which:

Фиг.1 является блок-схемой, показывающей пример системы кодирования видео, выполненной с возможностью реализации вариантов осуществления изобретения;1 is a block diagram showing an example of a video coding system capable of implementing embodiments of the invention;

Фиг.2 является блок-схемой, показывающей пример видеокодера, выполненного с возможностью реализации вариантов осуществления изобретения;2 is a block diagram showing an example of a video encoder capable of implementing embodiments of the invention;

Фиг.3 является блок-схемой, показывающей примерную структуру видеодекодера, выполненного с возможностью реализации вариантов осуществления изобретения;3 is a block diagram showing an exemplary structure of a video decoder capable of implementing embodiments of the invention;

Фиг.4 показывает пример ядра фильтра, к которому может быть применено изобретение;4 shows an example of a filter core to which the invention can be applied;

Фиг.5 показывает примеры типовых форм фильтров для адаптивных фильтров, к которым может применяться изобретение;5 shows exemplary filter shapes for adaptive filters to which the invention may be applied;

Фиг.6 показывает пример множества фиксированных фильтров, которые должны применяться при интерполяционной фильтрации, в качестве сравнительного примера;6 shows an example of a plurality of fixed filters to be applied in interpolation filtering as a comparative example;

Фиг.7 иллюстрирует конкретный пример реализации варианта осуществления изобретения;Fig.7 illustrates a specific example of the implementation of an embodiment of the invention;

Фиг.8A иллюстрирует примерную обработку на стороне кодера для кодирования и сигнализации коэффициентов фильтра;8A illustrates exemplary encoder-side processing for encoding and signaling filter coefficients;

Фиг.8B иллюстрирует примерную обработку на стороне декодера для декодирования и восстановления коэффициентов фильтра;8B illustrates exemplary decoder-side processing for decoding and recovering filter coefficients;

Фиг.9 иллюстрирует конкретный пример реализации другого варианта осуществления изобретения;Fig.9 illustrates a specific example of the implementation of another embodiment of the invention;

Фиг.10 иллюстрирует конкретный пример реализации еще одного варианта осуществления изобретения и служит для иллюстрации полученного эффекта изобретения; иFig. 10 illustrates a specific example of another embodiment of the invention and serves to illustrate the obtained effect of the invention; and

Фиг.11 иллюстрирует дополнительный пример ядра фильтра, к которому может быть применено изобретение.11 illustrates a further example of a filter core to which the invention may be applied.

На чертежах идентичные ссылочные позиции относятся к идентичным или, по меньшей мере, функционально эквивалентным признакам.In the drawings, identical reference numerals refer to identical or at least functionally equivalent features.

Осуществление изобретенияImplementation of the invention

В нижеследующем описании сделана ссылка на сопроводительные чертежи, которые составляют часть настоящего изобретения и на которых показаны в качестве иллюстрации конкретные аспекты вариантов осуществления изобретения или конкретные аспекты, в которых могут использоваться варианты осуществления изобретения. Понятно, что варианты осуществления изобретения могут использоваться в других аспектах и содержать структурные или логические изменения, не изображенные на чертежах. Поэтому нижеследующее подробное описание не следует рассматривать в ограничивающем смысле, и объем изобретения определяется прилагаемой формулой изобретения.In the following description, reference is made to the accompanying drawings, which form part of the present invention and which show, by way of illustration, specific aspects of embodiments of the invention or specific aspects in which embodiments of the invention may be used. It is clear that embodiments of the invention can be used in other aspects and contain structural or logical changes not shown in the drawings. Therefore, the following detailed description should not be construed in a limiting sense, and the scope of the invention is defined by the appended claims.

Например, понятно, что описанный способ настоящего изобретения также может быть применен для соответствующего устройства или системы, выполненной с возможностью выполнять способ и наоборот. Например, если описан один или множество конкретных этапов способа, соответствующее устройство может включать в себя один или множество блоков, например, функциональные блоки для выполнения описанного одного или множества этапов способа (например, один блок, выполняющий один или множество этапов, или множество блоков, каждый из которых выполняет один или несколько из множества этапов), даже если такой один или несколько блоков явно не описаны или не проиллюстрированы на чертежах. С другой стороны, например, если конкретное устройство описывается на основе одного или множества блоков, например, функциональных блоков, соответствующий способ может включать в себя один этап для выполнения функциональных возможностей одного или множества блоков (например, одного этапа, выполняющий функциональные возможности одного или множества блоков, или множества этапов, каждый из которых выполняет функциональные возможности одного или более из множества блоков), даже если такой один или множество этапов явно не описаны или не проиллюстрированы на чертежах. Кроме того, следует понимать, что признаки различных примерных вариантов осуществления и/или аспектов, описанных в данном документе, могут быть объединены друг с другом, если специально не указано иное.For example, it is clear that the described method of the present invention can also be applied to a corresponding device or system configured to perform the method and vice versa. For example, if one or more specific method steps are described, the corresponding apparatus may include one or more blocks, such as functional blocks for performing the one or more method steps described (for example, one block performing one or more steps, or a plurality of blocks each of which performs one or more of a plurality of steps), even if such one or more units are not explicitly described or illustrated in the drawings. On the other hand, for example, if a particular device is described in terms of one or more blocks, such as functional blocks, the corresponding method may include one step for performing the functionality of one or more blocks (for example, one step that performs the functionality of one or more blocks). blocks, or a plurality of steps, each of which performs the functionality of one or more of the plurality of blocks), even if such one or more steps are not explicitly described or illustrated in the drawings. In addition, it should be understood that features of the various exemplary embodiments and/or aspects described herein may be combined with each other unless specifically noted otherwise.

Кодирование видео обычно относится к обработке последовательности изображений, которые образуют видео или видеопоследовательность. Вместо термина «изображение» термины «кадр» или «изображение» могут использоваться как синонимы в области кодирования видео. Кодирование видео содержит две части: кодирования видео и декодирования видео. Кодирование видео выполняется на стороне источника, обычно содержащее обработку (например, путем сжатия) исходных видеоизображений для уменьшения объема данных, необходимых для представления видеоизображений (для более эффективного хранения и/или передачи). Декодирование видео выполняется на стороне назначения и обычно содержит обратную обработку по сравнению с кодером для восстановления видеоизображений. Варианты осуществления, относящиеся к «кодированию» видеоизображений (или изображений в целом, как будет объяснено позже), следует понимать как относящиеся как к «кодированию», так и «декодированию» видеоизображений. Комбинация части кодирования и части декодирования также называется CODEC (COding and DECoding).Video coding generally refers to the processing of a sequence of images that form a video or video sequence. Instead of the term "picture", the terms "frame" or "picture" may be used interchangeably in the field of video coding. Video encoding contains two parts: video encoding and video decoding. Video encoding is performed at the source side, typically involving processing (eg, by compressing) the source video images to reduce the amount of data needed to represent the video images (for more efficient storage and/or transmission). Video decoding is performed on the destination side and usually contains inverse processing compared to the encoder for recovering video images. Embodiments relating to "coding" of video images (or images in general, as will be explained later) should be understood to refer to both "coding" and "decoding" of video images. The combination of an encoding part and a decoding part is also called CODEC (COding and DECoding).

В случае кодирования видео без потерь исходные видеоизображения могут быть восстановлены, т.е. восстановленные видеоизображения имеют то же качество, что и исходные видеоизображения (при условии отсутствия потерь при передаче или других потерь данных во время хранения или передачи). В случае кодирования видео с потерями выполняется дополнительное сжатие, например, путем квантования, для уменьшения объема данных, представляющих видеоизображения, которые не могут быть полностью восстановлены в декодере, т.е. качество восстановленных видеоизображений ниже или хуже по сравнению с качеством исходных видеоизображений.In the case of lossless video coding, the original video images can be reconstructed, i.e. the restored video images have the same quality as the original video images (assuming no transmission loss or other data loss during storage or transmission). In the case of lossy video coding, additional compression is performed, for example by quantization, to reduce the amount of data representing video images that cannot be completely reconstructed in the decoder, i.e. the quality of the restored video images is lower or worse than the quality of the original video images.

Несколько стандартов кодирования видео, начиная с H.261, принадлежат к группе «гибридных видеокодеков с потерями» (т.е. объединяют пространственное и временное предсказание в области выборки и кодирование с двумерным преобразованием для применения квантования в области преобразования). Каждое изображение видеопоследовательности обычно разделяется на набор неперекрывающихся блоков, и кодирование обычно выполняется на уровне блоков. Другими словами, в кодере видео обычно обрабатывается, то есть, кодируется на уровне блока (video block), например, с использованием пространственного (внутреннее изображение) предсказания и временного (внешнего) предсказания для генерирования блока предсказания, вычитая блок предсказания из текущего блока (блок, который в настоящее время обрабатывается/должен быть обработан) для получения остаточного блока, выполняется преобразование остаточного блока и квантование остаточного блока в области преобразования, чтобы уменьшить объем данных, которые должны быть переданы (сжатие), тогда как в декодере обработка, обратная по сравнению с кодером, применяется к кодированному или сжатому блоку для восстановления текущего блока для представления. Кроме того, кодер дублирует цикл обработки декодера, так что оба будут генерировать идентичные предсказания (например, внутреннее и внешнее предсказания) и/или восстановление для обработки, то есть, кодирования, последующих блоков.Several video coding standards, starting with H.261, belong to the group of "hybrid lossy video codecs" (ie, combine spatial and temporal sample-domain prediction and 2D transform coding to apply transform-domain quantization). Each picture of a video sequence is usually divided into a set of non-overlapping blocks, and encoding is usually done at the block level. In other words, in the encoder, video is usually processed, that is, encoded at the block level (video block), for example, using spatial (inner image) prediction and temporal (outer) prediction to generate a prediction block by subtracting the prediction block from the current block (block currently being processed/to be processed) to obtain a residual block, a transformation of the residual block is performed and quantization of the residual block in the transformation domain to reduce the amount of data to be transmitted (compression), while in the decoder, the processing is inverse compared to with an encoder, applied to an encoded or compressed block to reconstruct the current block for presentation. In addition, the encoder duplicates the processing cycle of the decoder so that both will generate identical predictions (eg, intra and inter predictions) and/or reconstruction for processing, i.e. encoding, subsequent blocks.

При обработке видеоизображения (также называемая обработкой движущегося изображения) и обработке неподвижного изображения (термин «обработка» содержит кодирование) применяют много общих концепций и технологий или инструментов, в последующем описании термин «изображение» или «кадр» и эквивалентном термине «данные изображения» или «данные кадра» используются для ссылки на видеоизображение в видеопоследовательности (как объяснено выше) и/или на неподвижное изображение, чтобы избежать ненужных повторов и различий между видеоизображениями и неподвижными изображениями, где это не обязательно. Если описание относится только к неподвижным изображениям (или неподвижным кадрам), следует использовать термин «неподвижное изображение».In video image processing (also called moving image processing) and still image processing (the term "processing" includes encoding), many common concepts and technologies or tools are used, in the following description, the term "image" or "frame" and the equivalent term "image data" or "frame data" is used to refer to a video image in a video sequence (as explained above) and/or a still image to avoid unnecessary repetition and differences between video images and still images where this is not necessary. If the description refers only to still images (or still frames), the term "still image" should be used.

В следующих вариантах осуществления со ссылкой на фиг.1-3 приведено описание кодера 100, декодера 200 и системы 300 кодирования (перед более подробным описанием вариантов осуществления изобретения на основе фиг.7-9).In the following embodiments, the encoder 100, decoder 200, and encoding system 300 will be described with reference to FIGS. 1-3 (before a more detailed description of the embodiments of the invention based on FIGS. 7-9).

Фиг.1 представляет собой концептуальную или схематическую блок-схему, иллюстрирующую вариант осуществления системы 300 кодирования, например, системы 300 кодирования изображений, в которой система 300 кодирования содержит устройство 310 источника, выполненное с возможностью предоставлять кодированные данные 330, например, кодированное изображение 330, например, в устройство 320 назначения для декодирования закодированных данных 330.1 is a conceptual or schematic block diagram illustrating an embodiment of an encoding system 300, such as an image encoding system 300, in which the encoding system 300 comprises a source device 310 configured to provide encoded data 330, such as an encoded image 330, for example, to the destination device 320 to decode the encoded data 330.

Устройство 310 источника содержит кодер 100 или блок 100 кодирования и может дополнительно, т.е. возможно, содержать источник 312 изображения, блок 314 предварительной обработки, например, блок 314 предварительной обработки изображения, и интерфейс связи или блок 318 связи.Source device 310 includes encoder 100 or encoder 100 and may additionally, i.e. optionally comprise an image source 312, a pre-processor 314, such as an image pre-processor 314, and a communication interface or communication unit 318.

Источник 312 изображения может содержать или быть устройством захвата изображения любого типа, например, для захвата реального изображения и/или устройством формирования изображения любого типа, например процессором компьютерной графики для генерирования компьютерного анимированного изображения, или устройством любого типа для получения и/или предоставления реального изображения, компьютерного анимированного изображения (например, экранного контента, изображения виртуальной реальности (virtual reality, VR) и/или любой их комбинации (например, изображения дополненной реальности (augmented reality, AR). В дальнейшем все эти виды изображений или изображений, а также любой другой вид изображения или изображения будут называться «изображение», «кадр», «данные изображения» или «данные кадра», если специально не указано иное, в то время как предшествующие пояснения, касающиеся терминов «изображение» или «кадр», охватывающие «видеоизображения» и «неподвижные изображения», все еще остаются в силе, если явно не указано иное.Image source 312 may comprise or be any type of image capture device, such as for capturing a real image, and/or any type of imaging device, such as a computer graphics processor for generating a computer animated image, or any type of device for capturing and/or rendering a real image. , computer animated image (for example, screen content, virtual reality image (virtual reality, VR) and / or any combination of them (for example, images of augmented reality (augmented reality, AR). In the future, all these types of images or images, as well as any other kind of image or image will be referred to as "image", "frame", "image data" or "frame data" unless specifically stated otherwise, while the foregoing explanations regarding the terms "image" or "frame" covering " video images" and "still images" are still in the le, unless expressly stated otherwise.

(Цифровое) изображение представляет собой или может рассматриваться как двумерный массив или матрица выборок со значениями интенсивности. Выборка в массиве также может называться пикселем (сокращенная форма элемента изображения) или элементом. Количество выборок в горизонтальном и вертикальном направлении (или по оси) массива или изображения определяет размер и/или разрешение изображения. Для представления цвета обычно используются три цветовых компонента, то есть, изображение может быть представлено или включать в себя три массива выборок. В формате RGB или цветовом пространстве изображение содержит соответствующий массив выборок красного, зеленого и синего цветов. Однако при кодировании видео каждый пиксель обычно представлен в формате яркости/цветности или цветовом пространстве, например, YCbCr, который содержит компонент яркости, обозначенный Y (иногда вместо него также используется L), и два компонента цветности, обозначенные Cb и Cr. Компонент Y яркости (или краткости, яркости) представляет яркость или уровень интенсивности серого (например, как в полутоновом изображении), в то время как два компонента цветности (или, для краткости, цветности) Cb и Cr представляют компоненты цветности или информацию о цвете. Соответственно, изображение в формате YCbCr содержит массив выборок яркости значений (Y) выборок яркости и два массива выборок цветности значений (Cb и Cr) цветности. Изображения в формате RGB могут быть преобразованы или трансформированы в формат YCbCr и наоборот, этот процесс также известен как преобразование цвета или трансформация. Если изображение является монохромным, оно может содержать только массив выборок яркости.A (digital) image is, or can be viewed as, a two-dimensional array or matrix of samples with intensity values. A selection in an array can also be called a pixel (short for picture element) or an element. The number of samples in the horizontal and vertical direction (or axis) of the array or image determines the size and/or resolution of the image. Three color components are typically used to represent a color, that is, an image can be represented by or include three arrays of samples. In RGB format or color space, an image contains a corresponding array of red, green, and blue color samples. However, in video coding, each pixel is typically represented in a luma/chrominance format or color space, such as YCbCr, which contains a luma component labeled Y (sometimes L is also used instead) and two chrominance components labeled Cb and Cr. The Y component of luminance (or brevity, luminance) represents the brightness or gray intensity level (eg, as in a grayscale image), while the two chrominance (or chroma for short) components Cb and Cr represent chrominance components or color information. Accordingly, an image in YCbCr format contains an array of luminance samples of values (Y) of luminance samples and two arrays of chrominance samples of chrominance values (Cb and Cr). RGB images can be converted or transformed to YCbCr format and vice versa, this process is also known as color conversion or transformation. If the image is monochrome, it can only contain an array of brightness samples.

Источник 312 изображения может быть, например, камерой для захвата изображения, памятью, например, памятью изображений, содержащей или хранящей ранее захваченное или сгенерированное изображение, и/или интерфейс любого типа (внутренний или внешний) для получения или приема изображения. Камера может быть, например, локальной или интегрированной камерой, интегрированной в исходное устройство, память может быть локальной или интегрированной памятью, например, интегрированной в устройство источника. Интерфейс может быть, например, внешним интерфейсом для приема изображения от внешнего источника видео, например внешнего устройства захвата изображения, такого как камера, внешней памяти, или внешнего устройства для генерирования изображения, например, внешнего процессора компьютерного графического адаптера, компьютера или сервера. Интерфейс может быть интерфейсом любого типа, например, проводным или беспроводным интерфейсом, оптическим интерфейсом в соответствии с любым частным или стандартизованным протоколом интерфейса. Интерфейс для получения данных 313 изображения может быть тем же интерфейсом, что и интерфейс 318 связи, или его частью.Image source 312 may be, for example, a camera for capturing an image, a memory, such as an image memory containing or storing a previously captured or generated image, and/or any type of interface (internal or external) for acquiring or receiving an image. The camera may be, for example, a local or integrated camera integrated in the source device, the memory may be local or integrated memory, for example, integrated in the source device. The interface may be, for example, an external interface for receiving an image from an external video source, such as an external image capture device such as a camera, external memory, or an external image generating device, such as an external computer graphics adapter processor, computer, or server. The interface may be any type of interface, such as a wired or wireless interface, an optical interface according to any proprietary or standardized interface protocol. The interface for obtaining image data 313 may be the same interface as the communication interface 318, or part of it.

Интерфейсы между блоками внутри каждого устройства включают в себя кабельные соединения, интерфейсы USB, интерфейсы 318 и 322 связи между устройством 310 источника и устройством 320 назначения включают в себя кабельные соединения, интерфейсы USB, радиоинтерфейсы.Interfaces between units within each device include cable connections, USB interfaces, communication interfaces 318 and 322 between source device 310 and destination device 320 include cable connections, USB interfaces, radio interfaces.

В отличие от блока 314 предварительной обработки и обработки, выполняемой блоком 314 предварительной обработки, изображение или данные 313 изображения также могут называться необработанным изображением или данными 313 необработанного изображения.Unlike the preprocessor 314 and the processing performed by the preprocessor 314, the image or image data 313 may also be referred to as a raw image or raw image data 313.

Блок 314 предварительной обработки выполнен с возможностью принимать (необработанные) данные 313 изображения и выполнять предварительную обработку данных 313 изображения для получения предварительно обработанного изображения 315 или предварительно обработанных данных 315 изображения. Предварительная обработка, выполняемая блоком 314 предварительной обработки, может, например, содержать обрезку, преобразование цветового формата (например, из RGB в YCbCr), цветокоррекцию или устранение шумов.The pre-processor 314 is configured to receive (raw) image data 313 and perform pre-processing of the image data 313 to obtain a pre-processed image 315 or pre-processed image data 315. The pre-processing performed by the pre-processor 314 may, for example, include cropping, color format conversion (eg, from RGB to YCbCr), color correction, or denoising.

Кодер 100 выполнен с возможностью принимать предварительно обработанные данные 315 изображения и предоставлять кодированные данные 171 изображения (дополнительные подробности будут описаны, например, со ссылкой на фиг. 2).The encoder 100 is configured to receive pre-processed image data 315 and provide encoded image data 171 (more details will be described, for example, with reference to FIG. 2).

Интерфейс 318 связи устройства 310 источника может быть выполнен с возможностью принимать кодированные данные 171 изображения и непосредственно передавать их другому устройству, например, устройству 320 назначения или любому другому устройству, для хранения или прямого восстановления или для обработки данных 171 кодированного изображения для, соответственно, перед сохранением закодированных данных 330 и/или передачей закодированных данных 330 в другое устройство, например, в устройство 320 назначения или любое другое устройство для декодирования или сохранения.The communication interface 318 of source device 310 may be configured to receive encoded image data 171 and directly transmit it to another device, such as destination device 320 or any other device, for storage or direct retrieval, or for processing encoded image data 171 for, respectively, storing the encoded data 330 and/or transmitting the encoded data 330 to another device, such as a destination device 320 or any other device for decoding or storage.

Устройство 320 назначения содержит декодер 200 или блок 200 декодирования и может дополнительно, т.е. возможно, содержать интерфейс связи или блок 322 связи, блок 326 постобработки и устройство 328 отображения.Destination device 320 includes decoder 200 or decoder 200 and may additionally, i.e. possibly contain a communication interface or a communication unit 322, a post-processing unit 326, and a display device 328.

Интерфейс 322 связи устройства 320 назначения выполнено с возможностью принимать кодированные данные 171 изображения или кодированные данные 330, например, непосредственно из устройства 310 источника или из любого другого источника, например памяти, например, памяти данных кодированного изображения. The communication interface 322 of the destination device 320 is configured to receive the encoded image data 171 or the encoded data 330, for example, directly from the source device 310 or from any other source, such as a memory, such as an encoded image data memory.

Интерфейс 318 связи и интерфейс 322 связи могут быть выполнены с возможностью передавать, соответственно, принимать кодированные данные 171 изображения или кодированные данные 330 через прямую линию связи между устройством 310 источника и устройством 320 назначения, например, прямое проводное или беспроводное соединение, включающее в себя оптическое соединение или через любой вид сети, например, проводную или беспроводную сеть или любую их комбинацию, или любой вид частной и публичной сети, или любую их комбинацию.Communication interface 318 and communication interface 322 may be configured to transmit, respectively, receive encoded image data 171 or encoded data 330 via a direct link between source device 310 and destination device 320, such as a direct wired or wireless connection including an optical connection or through any kind of network, such as a wired or wireless network, or any combination thereof, or any kind of private and public network, or any combination thereof.

Интерфейс 318 связи может быть, например, выполнен с возможностью упаковывать кодированные данные 171 изображения в соответствующий формат, например, пакеты, для передачи по каналу связи или сети связи, и может дополнительно содержать защиту от потери данных.The communication interface 318 may, for example, be configured to package the encoded image data 171 into an appropriate format, such as packets, for transmission over a communication channel or network, and may further comprise data loss protection.

Интерфейс 322 связи, образующий аналог интерфейса 318 связи, может быть, например, выполнен с возможностью распаковывать закодированные данные 330 для получения кодированных данных 171 изображения, а также может быть выполнен с возможностью выполнять защиту от потери данных и восстанавливать данные после потери, например, содержащую маскировку ошибок.Communication interface 322, analogous to communication interface 318, may be, for example, configured to decompress encoded data 330 to obtain encoded image data 171, and may also be configured to perform data loss protection and recover data after loss, for example, comprising error masking.

Как интерфейс 318 связи, так и интерфейс 322 связи могут быть выполнены как однонаправленные интерфейсы связи, как показано стрелкой, для кодированных данных 330 изображения на фиг.1, указывающей от устройства 310 источника к устройству 320 назначения, или как интерфейсы двунаправленной связи, и может быть выполнен с возможностью, например, отправлять и принимать сообщения, например, для установки соединения, для подтверждения и/или повторной отправки потерянных или задержанных данных, включающие в себя данные изображения, и осуществлять обмен любой другой информацией, относящейся к каналу связи, и/или передавать данные, например, передача кодированных данных изображения.Both the communication interface 318 and the communication interface 322 can be implemented as unidirectional communication interfaces, as indicated by the arrow, for the encoded image data 330 in FIG. 1 pointing from source device 310 to destination device 320, or as bidirectional communication interfaces, and can be configured, for example, to send and receive messages, for example, to establish a connection, to acknowledge and/or resend lost or delayed data, including image data, and to exchange any other information related to the communication channel, and/ or transmit data, such as transmitting encoded image data.

Декодер 200 выполнен с возможностью принимать кодированные данные 171 изображения и предоставлять декодированные данные 231 изображения или декодированное изображение 231 (дополнительные подробности будут описаны, например, со ссылкой на фиг. 9).The decoder 200 is configured to receive encoded image data 171 and provide decoded image data 231 or decoded image 231 (more details will be described, for example, with reference to FIG. 9).

Процессор 326 постобработки устройства 320 назначения выполнен с возможностью пост-обработки декодированных данных 231 изображения, например, декодированного изображения 231, для получения данных 327 постобработанного изображения, например, постобработанного изображения 327. Постобработка, выполняемая блоком 326 постобработки, может содержать, например, преобразование цветового формата (например, из YCbCr в RGB), цветокоррекцию, обрезку или повторную выборку, или любую другую обработку, например, для подготовки декодированных данных 231 изображения для отображения, например, с помощью устройства 328 отображения.The post-processing processor 326 of the destination device 320 is configured to post-process the decoded image data 231, such as the decoded image 231, to obtain post-processed image data 327, such as the post-processed image 327. The post-processing performed by the post-processing unit 326 may include, for example, color conversion format (for example, from YCbCr to RGB), color correction, cropping or resampling, or any other processing, for example, to prepare the decoded image data 231 for display, for example, using the display device 328.

Устройство 328 отображения устройства 320 назначения выполнено с возможностью принимать данные 327 постобработанного изображения для отображения изображения, например, пользователю или зрителю. Устройство 328 отображения может быть или содержать любой вид дисплея для представления восстановленного изображения, например, интегрированный или внешний дисплей или монитор. Дисплеи могут, например, содержать электронно-лучевые трубки (cathode ray tubes, CRT), жидкокристаллические дисплеи (liquid crystal displays, LCD), плазменные дисплеи, дисплеи на органических светодиодах (organic light emitting diodes, OLED) или любой другой дисплей, такой как проекторы, голографические дисплеи, устройства для генерации голограмм.The display device 328 of the destination device 320 is configured to receive post-processed image data 327 for displaying the image to, for example, a user or viewer. The display device 328 may be or comprise any kind of display for presenting the reconstructed image, such as an integrated or external display or monitor. The displays may, for example, comprise cathode ray tubes (CRTs), liquid crystal displays (LCDs), plasma displays, organic light emitting diodes (OLED) displays, or any other display such as projectors, holographic displays, devices for generating holograms.

Хотя фиг. 1 изображает устройство 310 источника и устройство 320 назначения как отдельные устройства, варианты осуществления устройств также могут содержать оба или обе функциональные возможности устройства 310 источника или соответствующие функциональные возможности устройства 320 назначения. В таких вариантах осуществления устройство 310 источника или соответствующие функциональные возможности и устройство 320 назначения или соответствующие функциональные возможности могут быть реализованы с использованием одного и того же аппаратного и/или программного обеспечения или с помощью отдельных аппаратных средств и/или программного обеспечения или любой их комбинации.Although FIG. 1 depicts source device 310 and destination device 320 as separate devices, device embodiments may also contain both or both functionality of source device 310 or corresponding functionality of destination device 320. In such embodiments, source device 310 or related functionality and destination device 320 or related functionality may be implemented using the same hardware and/or software, or using separate hardware and/or software, or any combination thereof.

Как будет очевидно для специалиста в данной области техники на основании описания, наличие и (точное) разделение функциональных возможностей различных блоков или функций в устройстве 310 источника и/или устройстве 320 назначения, как показано на фиг.1, может варьироваться в зависимости от фактического устройства и применения.As will be apparent to one skilled in the art based on the description, the presence and (exact) separation of functionality of various blocks or functions in source device 310 and/or destination device 320 as shown in FIG. 1 may vary depending on the actual device. and applications.

Далее будут представлены несколько неограничивающих примеров для системы 300 кодирования, устройства 310 источника и/или устройства 320 назначения.In the following, several non-limiting examples will be presented for encoding system 300, source device 310, and/or destination device 320.

Различные электронные изделия, такие как смартфон, планшет или портативная камера со встроенным дисплеем, могут рассматриваться как примеры системы 300 кодирования. Они содержат устройство 328 отображения и большинство из них содержат встроенную камеру, то есть, источник 312 изображения. Данные изображения, снятые встроенной камерой, обрабатываются и отображаются. Обработка может включать в себя внутреннее кодирование и декодирование данных изображения. Кроме того, кодированные данные изображения могут храниться во встроенной памяти.Various electronic products such as a smartphone, tablet, or portable camera with an integrated display can be considered as examples of the encoding system 300. They contain a display device 328 and most of them contain a built-in camera, that is, an image source 312. Image data captured by the built-in camera is processed and displayed. The processing may include intra-coding and decoding of image data. In addition, the encoded image data may be stored in the built-in memory.

В качестве альтернативы, эти электронные изделия могут иметь проводные или беспроводные интерфейсы для приема данных изображения из внешних источников, таких как интернет или внешние камеры, или для передачи закодированных данных изображения на внешние дисплеи или устройства хранения.Alternatively, these electronic products may have wired or wireless interfaces for receiving image data from external sources such as the Internet or external cameras, or for transmitting encoded image data to external displays or storage devices.

С другой стороны, телевизионные приставки не содержат встроенную камеру или дисплей, но выполняют обработку изображений полученных данных изображения для отображения на внешнем устройстве отображения. Такая приставка может быть реализована, например, в виде набора микросхем.On the other hand, set-top boxes do not include a built-in camera or display, but perform image processing of the acquired image data for display on an external display device. Such a prefix can be implemented, for example, in the form of a chipset.

В качестве альтернативы устройство, подобное телевизионной приставке, может быть включено в устройство отображения, такое как телевизор со встроенным дисплеем.Alternatively, a device like a set-top box may be included in a display device such as a television with an integrated display.

Камеры наблюдения без встроенного дисплея представляют собой дополнительный пример таковых изделий. Они представляют собой устройство источника с интерфейсом для передачи данных захваченного и закодированного изображения на внешнее устройство отображения или внешнее устройство хранения.Surveillance cameras without built-in display are an additional example of such products. They are a source device with an interface for transferring captured and encoded image data to an external display device or external storage device.

Напротив, такие устройства, как интеллектуальные очки или 3D-очки, например, используемые для AR или VR, представляют собой устройство 320 назначения. Они принимают закодированные данные изображения и их отображают.In contrast, devices such as smart glasses or 3D glasses, such as those used for AR or VR, are the destination device 320. They receive encoded image data and display it.

Следовательно, устройство 310 источника и устройство 320 назначения, как показано на фиг.1, представляют собой просто примерные варианты осуществления изобретения, и варианты осуществления изобретения не ограничиваются теми, которые показаны на фиг.1.Therefore, source device 310 and destination device 320 as shown in FIG. 1 are merely exemplary embodiments of the invention, and the embodiments of the invention are not limited to those shown in FIG.

Устройство 310 источника и устройство 320 назначения могут включать в себя любое из широкого диапазона устройств, включающие в себя любые виды портативных или стационарных устройств, например, портативные или носимые компьютеры, мобильные телефоны, смартфоны, планшеты или планшетные компьютеры, камеры, настольные компьютеры, приставки, телевизоры, устройства отображения, цифровые медиаплееры, игровые приставки, устройства потоковой передачи видео, устройство широковещательного приемника и т.п. Для крупномасштабного профессионального кодирования и декодирования устройство 310 источника и/или устройство 320 назначения может дополнительно содержать серверы и рабочие станции, которые могут быть использованы в больших сетях. Эти устройства могут использовать или не использовать операционную систему любого типа.Source device 310 and destination device 320 may include any of a wide range of devices, including any kind of portable or stationary devices, such as portable or wearable computers, mobile phones, smartphones, tablets or tablet computers, cameras, desktop computers, set-top boxes. , televisions, display devices, digital media players, game consoles, video streaming devices, broadcast receiver device, etc. For large-scale professional encoding and decoding, source device 310 and/or destination device 320 may further comprise servers and workstations that can be used in large networks. These devices may or may not use any type of operating system.

КОДЕР И СПОСОБ КОДИРОВАНИЯENCODER AND METHOD OF ENCODING

На фиг.2 показана схематическая/концептуальная блок-схема варианта осуществления кодера 100, например, кодера 100 изображения, который содержит ввод 102, блок 104 вычисления остаточной величины, блок 106 преобразования, блок 108 квантования, блок 110 обратного квантования и блок 112 обратного преобразования, блок 114 восстановления, буфер 116, контурный фильтр 120, буфер 130 декодированных изображений (decoded picture buffer, DPB), блок 160 предсказания, который включает в себя блок 142 внешней оценки, блок 144 внешнего предсказания, блок 152 внутренней оценки, блок 154 внутреннего предсказания и блок 162 выбора режима, блок 170 энтропийного кодирования и вывод 172. Видеокодер 100, показанный на фиг. 2, также может называться гибридным видеокодером или видеокодером согласно гибридному видеокодеку. Каждый блок может содержать процессор и энергонезависимую память, чтобы выполнять свои этапы обработки, выполняя код, хранящийся в энергонезависимой памяти, процессором.2 shows a schematic/conceptual block diagram of an embodiment of an encoder 100, such as an image encoder 100, which includes an input 102, a residual calculation unit 104, a transform unit 106, a quantizer unit 108, an inverse quantizer unit 110, and an inverse transform unit 112 , a reconstruction block 114, a buffer 116, a loop filter 120, a decoded picture buffer (DPB) buffer 130, a prediction block 160 which includes an external estimator 142, an external prediction block 144, an internal estimator 152, an internal estimator 154 prediction and mode selector 162, entropy coding block 170, and output 172. Video encoder 100 shown in FIG. 2 may also be referred to as a hybrid video encoder or a video encoder according to a hybrid video codec. Each block may contain a processor and non-volatile memory to perform its processing steps by executing code stored in non-volatile memory by the processor.

Например, блок 104 вычисления остаточной величины, блок 106 преобразования, блок 108 квантования и блок 170 энтропийного кодирования образуют прямой тракт сигнала кодера 100, тогда как, например, блок 110 обратного квантования, блок 112 обратного преобразования, блок 114 восстановления, буфер 116, контурный фильтр 120, буфер 130 декодированных изображений (decoded picture buffer, DPB), блок 144 внешнего предсказания и блок 154 внутреннего предсказания образуют обратный тракт сигнала кодера, при этом, обратный тракт сигнала кодера соответствует тракту сигнала декодера, чтобы обеспечить обратную обработку для идентичного восстановления и предсказания (см. декодер 200 на фиг. 3).For example, the residual value calculation unit 104, the transform unit 106, the quantizer 108, and the entropy encoding unit 170 form the forward signal path of the encoder 100, while, for example, the inverse quantizer 110, the inverse transform unit 112, the reconstruction unit 114, the loop buffer 116 filter 120, decoded picture buffer (DPB) 130, inter predictor 144, and intra predictor 154 form an encoder reverse signal path, wherein the encoder reverse signal path corresponds to the decoder signal path to provide inverse processing for identical reconstruction and prediction (see decoder 200 in FIG. 3).

Кодер выполнен с возможностью принимать, например, путем ввода 102 изображения 101 или блока 103 изображения 101, например, изображения последовательности изображений, образующих видео или видеопоследовательность. Блок 103 изображения также может упоминаться как текущий блок изображения или блок изображения, подлежащий кодированию, и изображение 101, как текущее изображение или изображение, которое нужно кодировать (в частности, при кодировании видео, чтобы отличать текущее изображение от других изображений, например, ранее кодированные и/или декодированные изображения одной и той же видеопоследовательности, т.е. видеопоследовательности, которая также включает в себя текущее изображение).The encoder is configured to receive, for example, by inputting 102 an image 101 or a block 103 of an image 101, for example, images of a sequence of images constituting a video or video sequence. Image block 103 may also be referred to as the current image block or image block to be encoded, and image 101 as the current image or image to be encoded (particularly in video encoding, to distinguish the current image from other images, such as previously encoded and/or decoded pictures of the same video sequence, i.e. a video sequence that also includes the current picture).

РАЗДЕЛЕНИЕSEPARATION

Варианты осуществления кодера 100 могут содержать блок разделения (не изображенный на фиг.2), например, который также может называться блоком разделения изображения, выполненный с возможностью разделять изображения 103 на множество блоков, например, блоки, подобные блоку 103, как правило, на множество неперекрывающихся блоков. Блок разделения может быть выполнен с возможностью использовать один и тот же размер блока для всех изображений видеопоследовательности и соответствующей сетки, определяющей размер блока, или для изменения размера блока между изображениями или подмножествами или группами изображений, а также для разделения каждого изображения на соответствующие блоки.Embodiments of encoder 100 may comprise a splitter (not shown in FIG. 2), for example, which may also be referred to as a picture splitter, configured to split images 103 into multiple blocks, such as blocks like block 103, typically into multiple non-overlapping blocks. The partition block may be configured to use the same block size for all images of the video sequence and the corresponding grid defining the block size, or to change the block size between images or subsets or groups of images, and to divide each image into appropriate blocks.

Каждый блок множества блоков может иметь квадратные размеры или более общие прямоугольные размеры. Блоки, являющиеся областями изображения непрямоугольной формы, могут не отображаться.Each block of the plurality of blocks may have square dimensions, or more generally rectangular dimensions. Blocks that are non-rectangular image areas may not be displayed.

Подобно изображению 101, блок 103 снова является или может рассматриваться как двумерный массив или матрица выборок со значениями интенсивности (значениями выборок), хотя и меньшего размера, чем изображение 101. Другими словами, блок 103 может содержать, например, один массив выборок (например, массив яркости в случае монохромного изображения 101) или три массива выборок (например, массивы яркости и два массива цветности в случае цветного изображения 101) или любое другое количество и/или вид массивов в зависимости от применяемого цветового формата. Количество выборок в горизонтальном и вертикальном направлении (или по оси) блока 103 определяет размер блока 103.Like image 101, block 103 is again, or can be viewed as, a two-dimensional array or matrix of samples with intensity values (sample values), albeit smaller than image 101. In other words, block 103 may contain, for example, one array of samples (for example, a luma array in the case of a monochrome image 101) or three arrays of samples (eg, luma arrays and two chrominance arrays in the case of a color image 101) or any other number and/or type of arrays depending on the color format used. The number of samples in the horizontal and vertical direction (or axis) of block 103 determines the size of block 103.

Кодер 100, как показано на фиг.2, выполнен с возможностью кодировать изображение 101 блок за блоком, например, кодирование и предсказание выполняется для каждого блока 103.The encoder 100, as shown in FIG. 2, is configured to encode the image 101 block by block, for example, encoding and prediction is performed for each block 103.

ВЫЧИСЛЕННИЕ ОСТАТОЧНОЧНОЙ ВЕЛИЧИНЫRESIDUAL CALCULATION

Блок 104 вычисления остаточной величины выполнен с возможностью вычислять остаточный блок 105 на основании блока 103 изображения и блока 165 предсказания (дополнительные подробности о блоке 165 предсказания предоставлены позже), например, путем вычитания значений выборки блока 165 предсказания из выборки значения блока 103 изображения, выборка за выборкой (пиксель за пикселем) для получения остаточного блока 105 в области выборки.The residual calculation unit 104 is configured to calculate the residual block 105 based on the image block 103 and the prediction unit 165 (more details about the prediction unit 165 are provided later), for example, by subtracting the sample values of the prediction unit 165 from the value sample of the image block 103, sample per sampling (pixel by pixel) to obtain a residual block 105 in the sampling region.

ПРЕОБРАЗОВАНИЕTRANSFORMATION

Блок 106 преобразования выполнен с возможностью применять преобразование, например, пространственно-частотное преобразование или линейное пространственное преобразование, например, дискретное косинусное преобразование (discrete cosine transform, DCT) или дискретное синусоидальное преобразование (discrete sine transform, DST), к значениям выборок остаточного блока 105, чтобы получить преобразованные коэффициенты 107 в области преобразования. Преобразованные коэффициенты 107 могут также называться преобразованными остаточными коэффициентами и представлять остаточный блок 105 в области преобразования.The transform block 106 is configured to apply a transform, such as a space-frequency transform or a linear spatial transform, such as a discrete cosine transform (DCT) or a discrete sine transform (DST), to the sample values of the residual block 105 to get the converted coefficients 107 in the transform area. The transformed coefficients 107 may also be referred to as transformed residual coefficients and represent the residual block 105 in the transform region.

Блок 106 преобразования может быть выполнен с возможностью применять целочисленные аппроксимации DCT/DST, такие как базовые преобразования, определенные для HEVC/H.265. По сравнению с ортонормированным преобразованием DCT, такие целочисленные аппроксимации обычно масштабируются с определенным коэффициентом. Чтобы сохранить норму остаточного блока, который обрабатывается прямым и обратным преобразованиями, применяются дополнительные коэффициенты масштабирования как часть процесса преобразования. Коэффициенты масштабирования обычно выбираются на основании определенных ограничений, таких как коэффициенты масштабирования, которые являются степенью два для операции сдвига, битовая глубина преобразованных коэффициентов, компромисс между точностью и затратами на реализацию и т.д. Конкретные коэффициенты масштабирования, например, указываются для обратного преобразования, например, с помощью блока 212 обратного преобразования в декодере 200 (и соответствующее обратному преобразованию, например, с помощью блока 112 обратного преобразования в кодере 100) и могут быть указаны соответственно соответствующие коэффициенты масштабирования для прямого преобразования, например, с помощью блока 106 преобразования в кодере 100.Transform block 106 may be configured to apply DCT/DST integer approximations, such as the base transforms defined for HEVC/H.265. Compared to the orthonormal DCT, such integer approximations are usually scaled by a certain factor. To preserve the norm of the residual block that is processed by forward and backward transforms, additional scaling factors are applied as part of the transform process. The scaling factors are usually chosen based on certain constraints, such as the scaling factors that are a power of two for the shift operation, the bit depth of the transformed coefficients, the trade-off between accuracy and implementation cost, and so on. Specific scaling factors are, for example, indicated for the inverse transform, for example, by the inverse transform block 212 in the decoder 200 (and the corresponding inverse transform, for example, by the inverse transform block 112 in the encoder 100), and corresponding scaling factors for the forward transform can be specified, respectively. transformations, for example, using the transformation block 106 in the encoder 100.

КВАНТОВАНИЕQUANTIZATION

Блок 108 квантования выполнен с возможностью квантовать преобразованные коэффициенты 107 для получения квантованных коэффициентов 109, например, путем применения скалярного квантования или векторного квантования. Квантованные коэффициенты 109 также могут называться квантованными остаточными коэффициентами 109. Например, для скалярного квантования может применяться другое масштабирование для достижения более тонкого или более грубого квантования. Меньшие размеры этапов квантования соответствуют более тонкому квантованию, тогда как большие размеры этапов квантования соответствуют более грубому квантованию. Применимый размер этапа квантования может быть указан параметром квантования (quantization parameter, QP). Параметр квантования может, например, быть индексом для заранее определенного набора применимых размеров этапа квантования. Например, малые параметры квантования могут соответствовать точному квантованию (малые размеры этапов квантования), и большие параметры квантования могут соответствовать грубому квантованию (большие размеры этапов квантования) или наоборот. Квантование может включать в себя деление на размер этапа квантования и соответствующее или обратное деквантование, например, посредством обратного квантования 110, может включать в себя умножение на размер этапа квантования. Варианты осуществления согласно высокоэффективному кодированию видео (High-Efficiency Video Coding, HEVC) могут быть выполнены с возможностью использовать параметр квантования для определения размера этапа квантования. Как правило, размер этапа квантования может быть вычислен на основании параметра квантования с использованием аппроксимации с фиксированной точкой уравнения, включающее в себя деление. Дополнительные коэффициенты масштабирования могут быть введены для квантования и деквантования, чтобы восстановить норму остаточного блока, который может быть изменен из-за масштабирования, используемого в приближении фиксированной точки уравнения для размера этапа квантования и параметра квантования. В одной примерной реализации масштабирование обратного преобразования и деквантование могут быть объединены. В качестве альтернативы могут использоваться сконфигурированные таблицы квантования, и кодер может передавать их в декодер, например, в битовом потоке. Квантование является операцией с потерями, в котором потери возрастают с увеличением размеров этапов квантования.Quantizer 108 is configured to quantize the transformed coefficients 107 to obtain quantized coefficients 109, for example by applying scalar quantization or vector quantization. The quantized coefficients 109 may also be referred to as quantized residual coefficients 109. For example, a different scaling may be applied to scalar quantization to achieve finer or coarser quantization. Smaller quantization step sizes correspond to finer quantization, while larger quantization step sizes correspond to coarser quantization. The usable quantization step size may be indicated by a quantization parameter (QP). The quantization parameter may, for example, be an index to a predetermined set of applicable quantization step sizes. For example, small quantization parameters may correspond to fine quantization (small quantization step sizes), and large quantization parameters may correspond to coarse quantization (large quantization step sizes), or vice versa. Quantization may include dividing by the size of the quantization step and corresponding or inverse dequantization, for example by inverse quantization 110, may include multiplying by the size of the quantization step. High-Efficiency Video Coding (HEVC) embodiments may be configured to use a quantization parameter to determine the quantization step size. Typically, the quantization step size can be calculated based on the quantization parameter using a fixed-point approximation of an equation involving division. Additional scaling factors may be introduced for quantization and dequantization to recover the residual block rate, which may be changed due to the scaling used in the fixed-point approximation of the equation for quantization step size and quantization parameter. In one exemplary implementation, inverse transform scaling and dequantization may be combined. Alternatively, configured quantization tables may be used and the encoder may transmit them to the decoder, for example, in a bitstream. Quantization is a lossy operation in which the loss increases as the size of the quantization steps increases.

Варианты осуществления кодера 100 (или, соответственно, блока 108 квантования) могут быть выполнены с возможностью выводить установки квантования, включающие в себя схему квантования и размер этапа квантования, например, посредством соответствующего параметра квантования, так что декодер 200 может принимать и применять соответствующее обратное квантование. Варианты осуществления кодера 100 (или блока 108 квантования) могут быть выполнены с возможностью выводить схемы квантования и размер этапа квантования, например, напрямую или энтропийно закодированных через блок 170 энтропийного кодирования или любой другой блок энтропийного кодирования.Embodiments of the encoder 100 (or quantizer 108, respectively) may be configured to output quantization settings including a quantization scheme and a quantization step size, for example, via an appropriate quantization parameter, so that the decoder 200 can receive and apply the appropriate inverse quantization. . Embodiments of encoder 100 (or quantizer 108) may be configured to output quantization schemes and quantization step sizes, such as directly or entropy encoded via entropy coding unit 170 or any other entropy coding unit.

Блок 110 обратного квантования выполнен с возможностью применять обратное квантование блока 108 квантования к квантованным коэффициентам для получения деквантованных коэффициентов 111, например, путем применения обратной схемы квантования, применяемой блоком 108 квантования, на основе или с использованием того же размера этапа квантования в качестве блока 108 квантования. Деквантованные коэффициенты 111 также могут упоминаться как деквантованные остаточные коэффициенты 111 и соответствуют, хотя обычно не идентичны преобразованным коэффициентам из-за потерь при квантовании, преобразованным коэффициентам 108.The inverse quantizer 110 is configured to apply the inverse quantization of the quantizer 108 to the quantized coefficients to obtain the dequantized coefficients 111, for example, by applying the inverse quantization scheme applied by the quantizer 108 based on or using the same quantization step size as the quantizer 108 . The dequantized coefficients 111 may also be referred to as the dequantized residual coefficients 111 and correspond, although usually not identical to the transformed coefficients due to quantization loss, to the transformed coefficients 108.

Блок 112 обратного преобразования выполнен с возможностью применять обратное преобразование, применяемое блоком 106 преобразования, например, обратное дискретное косинусное преобразование (discrete cosine transform, DCT) или обратное дискретное синусоидальное преобразование (discrete sine transform, DST), чтобы получить блок 113 обратного преобразования в области выборки. Блок 113 обратного преобразования также может упоминаться как деквантованный блок 113 обратного преобразования или остаточный блок 113 обратного преобразования.The inverse transform block 112 is configured to apply an inverse transform applied by the transform block 106, such as an inverse discrete cosine transform (DCT) or an inverse discrete sine transform (DST), to obtain an inverse transform block 113 in the domain samples. The inverse transform block 113 may also be referred to as the dequantized inverse transform block 113 or the residual inverse transform block 113 .

Блок 114 восстановления выполнен с возможностью объединять блок 113 обратного преобразования и блок 165 предсказания для получения восстановленного блока 115 в области выборки, например, путем последовательного добавления значений выборок декодированного остаточного блока 113 и значений выборок блока 165 предсказания.The restorer 114 is configured to combine the inverse transform block 113 and the predictor 165 to obtain a reconstructed block 115 in the sample area, for example, by sequentially adding the sample values of the decoded residual block 113 and the sample values of the prediction block 165.

Блок 116 буфера (или для краткости «буфер» 116), например, буфер 116 линии связи выполнен с возможностью буферизации или хранения восстановленного блока и соответствующих значений выборок, например, для внутренней оценки и/или внутреннего предсказания. В дополнительных вариантах осуществления кодер может быть выполнен с возможностью использовать нефильтрованные восстановленные блоки и/или соответствующие значения выборок, хранящиеся в блоке 116 буфера, для любого вида оценки и/или предсказания.Buffer block 116 (or "buffer" 116 for short), eg, link buffer 116, is configured to buffer or store the reconstructed block and associated sample values, eg, for intra-estimation and/or intra-prediction. In additional embodiments, the encoder may be configured to use the unfiltered reconstructed blocks and/or corresponding sample values stored in buffer block 116 for any kind of estimation and/or prediction.

Варианты осуществления кодера 100 могут быть выполнены таким образом, что, например, блок 116 буфера используется не только для хранения восстановленных блоков 115 для внутренней оценки 152 и/или внутреннего предсказания 154, но также для блока 120 контурного фильтра и/или, например, блок 116 буфера и блок 130 буфера декодированного изображения образуют один буфер. Дополнительные варианты осуществления могут быть выполнены с возможностью использовать фильтрованные блоки 121 и/или блоки или выборки из буфера 130 декодированного изображения (оба не показаны на фиг.2) в качестве входных данных или основы для внутренней оценки 152 и/или внутреннего предсказания 154.Embodiments of encoder 100 may be configured such that, for example, buffer block 116 is used not only to store reconstructed blocks 115 for intra estimation 152 and/or intra prediction 154, but also for loop filter block 120 and/or, for example, block The buffer 116 and the decoded picture buffer block 130 form one buffer. Additional embodiments may be configured to use filtered blocks 121 and/or blocks or samples from decoded image buffer 130 (both not shown in FIG. 2) as input or basis for intra estimation 152 and/or intra prediction 154.

Блок 120 контурного фильтра (для краткости, «контурный фильтр» 120) выполнен с возможностью фильтрации восстановленного блока 115 для получения фильтрованного блока 121, например, путем применения фильтра удаления блочности адаптивного к выборке смещения (sample-adaptive offset, SAO) или других фильтров, например, фильтры повышения резкости или сглаживания или совместные фильтры. Отфильтрованный блок 121 также может называться фильтрованным восстановленным блоком 121.The loop filter block 120 (for short, "loop filter" 120) is configured to filter the reconstructed block 115 to obtain a filtered block 121, for example, by applying a sample-adaptive offset (SAO) deblocking filter or other filters, for example, sharpening or anti-aliasing filters or collaborative filters. The filtered block 121 may also be referred to as the filtered reconstructed block 121.

Варианты осуществления блока 120 контурного фильтра могут содержать блок анализа фильтра и блок фактического фильтра, в котором блок анализа фильтра выполнен с возможностью определять параметры контурного фильтра для фактического фильтра. Блок анализа фильтра может быть выполнен с возможностью применять фиксированные заранее определенные параметры фильтра к фактическому контурному фильтру, адаптивно выбирать параметры фильтра из набора заранее определенных параметров фильтра или адаптивно вычислять параметры фильтра для фактического контурного фильтра.Embodiments of the loop filter block 120 may include a filter analysis block and an actual filter block, in which the filter analysis block is configured to determine the loop filter parameters for the actual filter. The filter parser may be configured to apply fixed predetermined filter parameters to the actual loop filter, adaptively select filter parameters from a set of predefined filter parameters, or adaptively calculate filter parameters for the actual loop filter.

Варианты осуществления блока 120 контурного фильтра могут содержать (не показаны на фиг. 2) один или множество фильтров (таких как компоненты контурного фильтра и/или субфильтры), например, один или несколько различных видов или типов фильтров, например, которые соединены последовательно или параллельно или в любой их комбинации, в котором каждый из фильтров может содержать отдельно или совместно с другими фильтрами множества фильтров блок анализа фильтра для определения соответствующих параметров контурного фильтра, например, как описано в предшествующем абзаце.Embodiments of the loop filter unit 120 may comprise (not shown in FIG. 2) one or a plurality of filters (such as loop filter components and/or sub-filters), for example one or more different kinds or types of filters, for example, that are connected in series or in parallel. or in any combination of them, in which each of the filters may contain separately or together with other filters of the plurality of filters a filter analysis unit for determining the corresponding parameters of the loop filter, for example, as described in the previous paragraph.

Варианты осуществления кодера 100 (соответственно, блока 120 контурного фильтра) могут быть выполнены с возможностью выводить параметры контурного фильтра, например, непосредственно или энтропийного кодирования через блок 170 энтропийного кодирования или любой другой блок энтропийного кодирования, так что, например, декодер 200 может получать и применять одни и те же параметры контурного фильтра для декодирования.Embodiments of encoder 100 (respectively, loop filter unit 120) may be configured to output the loop filter parameters, for example, directly or entropy encoding via entropy encoding unit 170 or any other entropy encoding unit, so that, for example, decoder 200 may receive and apply the same loop filter parameters for decoding.

Буфер 130 декодированных изображений (decoded picture buffer, DPB) выполнен с возможностью принимать и хранить отфильтрованный блок 121. Буфер 130 декодированных изображений может быть дополнительно выполнен с возможностью хранить другие ранее отфильтрованные блоки, например, ранее восстановленные и отфильтрованные блоки 121 того же текущего изображения или различных изображений, например, ранее восстановленных изображений, и может предоставлять полные ранее восстановленные, то есть, декодированные изображения (и соответствующие опорные блоки и выборки) и/или частично восстановленное текущее изображение (и соответствующие опорные блоки и выборки), например, для оценки и/или внешнего предсказания.A decoded picture buffer (DPB) 130 is configured to receive and store a filtered block 121. The decoded picture buffer 130 may be further configured to store other previously filtered blocks, such as previously restored and filtered blocks 121 of the same current picture, or various images, such as previously reconstructed images, and may provide complete previously reconstructed, i.e., decoded, images (and corresponding reference blocks and samples) and/or partially reconstructed current image (and corresponding reference blocks and samples), for example, for estimation and /or external prediction.

Дополнительные варианты осуществления изобретения также могут быть выполнены с возможностью использовать ранее отфильтрованные блоки и соответствующие отфильтрованные значения выборок буфера 130 декодированных изображений для любого вида оценки или предсказания, например, внутренней оценки и предсказания, а также внешней оценки и предсказания.Additional embodiments of the invention may also be configured to use previously filtered blocks and corresponding filtered sample values of decoded picture buffer 130 for any kind of estimation or prediction, such as intra estimation and prediction as well as external estimation and prediction.

Блок 160 предсказания, также называемый блоком 160 предсказания блока, выполнен с возможностью принимать или получать блок 103 изображения (блок 103 текущего изображения текущего изображения 101) и декодированные или, по меньшей мере, восстановленные данные изображения, например, опорных выборок одно и то же (текущего) изображения из буфера 116 и/или данные 231 декодированного изображения из одного или множества ранее декодированных изображений из буфера 130 декодированных изображений, и обрабатывать такие данные для предсказания, то есть, для обеспечения блока 165 предсказания, который может быть блоком 145 внешнего предсказания или блоком 155 внутреннего предсказания.The predictor 160, also referred to as the block predictor 160, is configured to receive or obtain an image block 103 (the current image block 103 of the current image 101) and decoded or at least reconstructed image data, for example, reference samples of the same ( current) image from buffer 116 and/or decoded image data 231 from one or a plurality of previously decoded images from decoded image buffer 130, and process such data for prediction, that is, to provide prediction block 165, which may be inter prediction block 145 or block 155 intra prediction.

Блок 162 выбора режима может быть выполнен с возможностью выбирать режим предсказания (например, режим внутреннего или внешнего предсказания) и/или соответствующего блока 145 или 155 предсказания, который будет использоваться в качестве блока 165 предсказания для вычисления остаточного блока 105 и для восстановления восстановленного блока 115.Mode selector 162 may be configured to select a prediction mode (eg, intra or inter prediction mode) and/or a corresponding predictor 145 or 155 to be used as predictor 165 to calculate residual block 105 and to recover reconstructed block 115 .

Варианты осуществления блока 162 выбора режима могут быть выполнены с возможностью выбирать режим предсказания (например, из тех, которые поддерживаются блоком 160 предсказания), который обеспечивает наилучшее совпадение или, другими словами, минимальную остаточную величину (минимальная остаточная величина означает лучшее сжатие для передачи или хранения) или минимальные накладные расходы на сигнализацию (минимальные накладные расходы на сигнализацию означают лучшее сжатие для передачи или хранения), или учитывает или уравновешивает и то, и другое. Блок 162 выбора режима может быть выполнен с возможностью определять режим предсказания на основании оптимизации искажения и скорости (rate distortion optimization, RDO), то есть, выбор режима предсказания, который обеспечивает оптимизацию искажения с минимальной скоростью или которое ассоциированное искажение скорости, по меньшей мере, удовлетворяет критерию выбора режима предсказания.Embodiments of mode selector 162 may be configured to select a prediction mode (e.g., from those supported by predictor 160) that provides the best match or, in other words, minimum residual (minimum residual means better compression for transmission or storage). ) or minimal signaling overhead (minimum signaling overhead means better compression for transmission or storage), or takes into account or balances both. The mode selector 162 may be configured to determine a prediction mode based on rate distortion optimization (RDO), i.e., selecting a prediction mode that provides minimum rate distortion optimization or that the associated rate distortion is at least satisfies the prediction mode selection criterion.

Далее будет более подробно описан процесс обработки предсказания (например, блок 160 предсказания) и выбор режима (например, блоком 162 выбора режима), выполняемые примерным кодером 100. Next, the prediction processing (eg, predictor 160) and mode selection (eg, mode selector 162) performed by the exemplary encoder 100 will be described in more detail.

Как описано выше, кодер 100 выполнен с возможностью определять или выбирать наилучший или оптимальный режим предсказания из набора (заранее определенных) режимов предсказания. Набор режимов предсказания может содержать, например, режимы внутреннего предсказания и/или режимы внешнего предсказания.As described above, encoder 100 is configured to determine or select the best or optimal prediction mode from a set of (predetermined) prediction modes. The set of prediction modes may include, for example, intra prediction modes and/or inter prediction modes.

Набор режимов внутреннего предсказания может содержать 32 различных режимов внутреннего предсказания, например, ненаправленные режимы, такие как DC режим (или средний) и планарный режим, или направленные режимы, например, как определено в H.264, или может содержать 65 различных режимов внутреннего предсказания, например, ненаправленные режимы, такие как DC режим (или средний) и планарный режим, или направленные режимы, например, как определено в H.265.The intra prediction mode set may contain 32 different intra prediction modes, such as non-directional modes such as DC (or average) mode and planar mode, or directional modes such as defined in H.264, or may contain 65 different intra prediction modes eg, non-directional modes such as DC (or medium) mode and planar mode, or directional modes, eg as defined in H.265.

Набор (или возможно) режимов внешнего предсказания зависят от доступных опорных изображений (т.е. предшествующих, по меньшей мере, частично декодированных изображений, например, хранятся в DPB 230) и других параметров внешнего предсказания, например, будь то все опорное изображение или только часть, например, окно поиска области вокруг области текущего блока опорного изображения используется для поиска наилучшего соответствия опорного блока и/или, например, применяется ли пиксель интерполяции, например, половина/пол пикселя и/или четверть пиксельная интерполяция, или нет.The set (or possibly) inter prediction modes depend on the available reference pictures (i.e., previous at least partially decoded pictures, e.g. stored in DPB 230) and other inter prediction parameters, e.g. a portion, such as a region search box around the area of the current reference image block, is used to search for the best match of the reference block and/or, for example, whether pixel interpolation, such as half/half a pixel and/or quarter pixel interpolation, is applied or not.

В дополнение к вышеупомянутым режимам предсказания могут применяться режим пропуска и/или прямой режим.In addition to the aforementioned prediction modes, a skip mode and/or a direct mode may be applied.

Блок 160 предсказания может быть дополнительно выполнен с возможностью разделять блок 103 на более мелкие блоки или подблоки, например, итеративно с использованием квадратичного разделения (quad-tree-partitioning, QT), двоичного разделения (binary partitioning, BT) или разделение троичного дерева (triple-tree-partitioning, TT) или любой их комбинации, а также для выполнения, например, предсказания для каждого из разделенного блока или подблоков блока, при этом выбор режима содержит выбор древовидной структуры разделенного блока 103 и режимов предсказания, применяемых к каждому из разделенных блоков или подблоков.The predictor 160 may be further configured to partition the block 103 into smaller blocks or subblocks, for example, iteratively using quad-tree-partitioning (QT), binary partitioning (BT), or ternary tree partitioning (triple -tree-partitioning, TT) or any combination thereof, as well as to perform, for example, prediction for each of the partitioned block or subblocks of the block, the mode selection comprising selecting the tree structure of the partitioned block 103 and the prediction modes applied to each of the partitioned blocks or subblocks.

Блок 142 внешней оценки, также называемый блоком 142 внешней оценки изображения, выполнен с возможностью принимать или получать блок 103 изображения (текущий блок 103 изображения текущего изображения 101) и декодированного изображения 231 или, по меньшей мере, одного или множества ранее восстановленных блоков, например, восстановленных блоков одного или множества других/различных ранее декодированных изображений 231, для внешней оценки (или «внешней оценки изображения»). Например, видеопоследовательность может содержать текущее изображение и ранее декодированные изображения 231 или, другими словами, текущее изображение и ранее декодированные изображения 231 могут быть частью или формировать последовательность изображений, образующих видеопоследовательность.An external estimator 142, also referred to as an external image estimator 142, is configured to receive or obtain an image block 103 (the current image block 103 of the current image 101) and a decoded image 231 or at least one or a plurality of previously reconstructed blocks, for example, of reconstructed blocks of one or a plurality of other/different previously decoded pictures 231, for external evaluation (or "external image estimation"). For example, the video sequence may comprise the current picture and previously decoded pictures 231 or, in other words, the current picture and previously decoded pictures 231 may be part of or form a sequence of pictures that make up the video sequence.

Кодер 100 может, например, быть выполнен с возможностью выбирать (получать/определять) опорный блок из множества опорных блоков одинаковых или различных изображений из множества других изображений и обеспечивать опорное изображение (или индекс опорного изображения, ...) и/или смещение (пространственное смещение) между позицией (X, Y координаты) опорным блоком и позицией текущего блока в качестве параметров 143 внешней оценки в блок 144 внешнего предсказания. Смещение также называется вектором движения (MV). Внешняя оценка также называется оценкой движения (motion estimation, ME), и внешнее предсказание также называется предсказанием движения (motion estimation, MP).The encoder 100 may, for example, be configured to select (obtain/determine) a reference block from a plurality of reference blocks of the same or different pictures from a plurality of other pictures and provide a reference picture (or reference picture index, ...) and/or offset (spatial offset) between the position (X, Y coordinates) of the reference block and the position of the current block as external estimation parameters 143 to the external prediction block 144 . Displacement is also called motion vector (MV). The extrinsic estimation is also called motion estimation (ME), and the extrinsic prediction is also called motion estimation (MP).

Блок 144 внешнего предсказания выполнен с возможностью принимать, например, параметр 143 внешнего предсказания и выполнять внешнее предсказание на основании или с использованием параметра 143 внешнего предсказания для получения блока 145 внешнего предсказания.Inter prediction block 144 is configured to receive, for example, inter prediction parameter 143 and perform inter prediction based on or using inter prediction parameter 143 to obtain inter prediction block 145.

Хотя на фиг.2 показаны два отдельных блока (или этапы) для внешнего кодирования, а именно, внешняя оценка 142 и внешнее предсказание 152, обе функции могут выполняться как одна (внешняя оценка обычно требует/содержит вычисление/блок внешнего предсказания, т. е. или «вид» внешнего предсказания 154), например, путем итеративного тестирования всех возможных или заранее определенного подмножества возможных режимов внешнего предсказания, сохраняя при этом лучший в настоящее время режим внешнего предсказания и соответствующий блок внешнего предсказания, и используя текущий лучший режим внешнего предсказания и соответствующий блок внешнего предсказания в качестве (окончательного) параметра 143 внешнего предсказания и блок 145 внешнего предсказания без выполнения другого внешнего предсказания 144.Although Figure 2 shows two separate blocks (or steps) for inter-coding, namely, inter-estimation 142 and inter-prediction 152, both functions can be performed as one (inter-estimation usually requires/contains an inter prediction calculation/block, i.e. . or "kind" of inter prediction 154), for example, by iteratively testing all possible or a predetermined subset of possible inter prediction modes while keeping the currently best inter prediction mode and corresponding inter prediction block, and using the current best inter prediction mode, and the corresponding inter prediction block as the (final) inter prediction parameter 143 and the inter prediction block 145 without performing another inter prediction 144.

Блок 152 внутренней оценки выполнен с возможностью принимать, например, блок 103 изображения (текущий блок изображения) и одного или множества ранее восстановленных блоков, например, восстановленных соседних блоков, одного и того же изображения для внутренней оценки. Кодер 100 может, например, быть выполнен с возможностью выбирать (получать/определять) режим внутреннего предсказания из множества режимов внутреннего предсказания и предоставлять его в качестве параметра 153 внутренней оценки в блок 154 внутреннего предсказания.The internal estimator 152 is configured to receive, for example, an image block 103 (the current image block) and one or a plurality of previously reconstructed blocks, such as reconstructed neighboring blocks, of the same image for internal evaluation. The encoder 100 may, for example, be configured to select (obtain/determine) an intra prediction mode from a plurality of intra prediction modes and provide it as an intra estimation parameter 153 to the intra prediction block 154 .

Варианты осуществления кодера 100 могут быть выполнены с возможностью выбирать режим внутреннего предсказания на основании критерия оптимизации, например, минимальной остаточной величины (например, режим внутреннего предсказания, обеспечивающий блок 155 предсказания, наиболее похожий на текущий блок 103 изображения) или минимальное искажение.Embodiments of encoder 100 may be configured to select an intra prediction mode based on an optimization criterion, such as a minimum residual (eg, an intra prediction mode providing prediction block 155 most similar to current image block 103) or minimum distortion.

Блок 154 внутреннего предсказания выполнен с возможностью определять на основе параметра 153 внутреннего предсказания, например, выбранный режим 153 внутреннего предсказания блока 155 внутреннего предсказания.The intra prediction block 154 is configured to determine, based on the intra prediction parameter 153, for example, the selected intra prediction mode 153 of the intra prediction block 155.

Хотя на фиг.2 показаны два отдельных блока (или этапы) для внутреннего кодирования, а именно, внутренняя оценка 152 и внутреннее предсказание 154, обе функции могут выполняться как одна (внутренняя оценка обычно требует/содержит вычисление блока внутреннего предсказания, т.е. или «вид» внутреннего предсказания 154), например, путем итеративного тестирования всех возможных или заранее заданного подмножества возможных режимов внутреннего предсказания с сохранением лучшего в настоящее время режима внутреннего предсказания и соответствующего блока внутреннего предсказания, и с использованием лучшего в настоящее время режима внутреннего предсказания и соответствующего блока внутреннего предсказания в качестве (окончательного) параметра 153 внутреннего предсказания и блок 155 внутреннего предсказания без выполнения другого внутреннего предсказания 154.Although FIG. 2 shows two separate blocks (or steps) for intra coding, namely intra estimation 152 and intra prediction 154, both functions can be performed as one (intra estimation typically requires/contains intra prediction block calculation, i.e. or "kind" of intra prediction 154), for example, by iteratively testing all possible or a predetermined subset of possible intra prediction modes while maintaining the currently best intra prediction mode and the corresponding intra prediction block, and using the currently best intra prediction mode, and corresponding intra prediction block as the (final) intra prediction parameter 153 and intra prediction block 155 without performing another intra prediction 154.

Блок 170 энтропийного кодирования выполнен с возможностью применять алгоритм или схему энтропийного кодирования (например, схема кодирования с переменной длиной (variable length coding, VLC), контекстно-адаптивная схема VLC (context adaptive VLC, CALVC), схема арифметического кодирования, схема контекстно-адаптивного двоичного арифметического кодирования (context adaptive binary arithmetic coding, CABAC)) на квантованных остаточных коэффициентах 109, параметрах 143 внешнего предсказания, параметре 153 внутреннего предсказания и/или параметрах контурного фильтра, по отдельности или совместно (или ничего), чтобы получить данные 171 кодированного изображения, которые могут выводиться посредством вывода 172, например, в виде кодированного битового потока 171.The entropy encoding unit 170 is configured to apply an entropy coding algorithm or scheme (e.g., variable length coding (VLC) scheme, context adaptive VLC (CALVC), arithmetic coding scheme, context adaptive binary arithmetic coding (context adaptive binary arithmetic coding (CABAC)) on the quantized residual coefficients 109, inter prediction parameters 143, intra prediction parameter 153, and/or loop filter parameters, individually or together (or none) to obtain encoded image data 171 , which can be output by output 172, for example, as an encoded bitstream 171.

ДЕКОДЕРDECODER

Фиг.3 показывает примерный видеодекодер 200, выполненный с возможностью принимать кодированные данные 171 изображения (например, закодированный битовый поток), например, закодированные кодером 100, для получения декодированного изображения 231.3 shows an exemplary video decoder 200 configured to receive encoded image data 171 (eg, an encoded bitstream), such as encoded by encoder 100, to obtain a decoded image 231.

Декодер 200 содержит ввод 202, блок 204 энтропийного декодирования, блок 210 обратного квантования, блок 212 обратного преобразования, блок 214 восстановления, буфер 216, контурный фильтр 220, буфер 230 декодированных изображений, блок 260 предсказания, который включает в себя блок 244 внешнего предсказания, блок 254 внутреннего предсказания и блок 260 выбора режима и вывод 232.The decoder 200 includes an input 202, an entropy decoding block 204, an inverse quantizer 210, an inverse transform block 212, a reconstruction block 214, a buffer 216, a loop filter 220, a decoded picture buffer 230, a prediction block 260 which includes an inter prediction block 244, block 254 intra prediction and block 260 mode selector and output 232.

Блок 204 энтропийного декодирования выполнен с возможностью выполнять энтропийное декодирование кодированных данных 171 изображения для получения, например, квантованных коэффициентов 209 и/или декодированных параметров кодирования (не показаны на фиг. 3), например, (декодированных) любых или всех параметров 143 предсказания, параметр 153 внутреннего предсказания и/или параметры контурного фильтра.The entropy decoding unit 204 is configured to perform entropy decoding of the encoded image data 171 to obtain, for example, quantized coefficients 209 and/or decoded coding parameters (not shown in FIG. 3), for example, (decoded) any or all of the prediction parameters 143, parameter 153 intra prediction and/or loop filter parameters.

В вариантах осуществления декодера 200 блок 210 обратного квантования, блок 212 обратного преобразования, блок 214 восстановления, буфер 216, контурный фильтр 220, буфер 230 декодированных изображений, блок 260 предсказания и блок 260 выбора режима выполнены с возможностью выполнять обратную обработку кодера 100 (и соответствующих функциональных блоков) для декодирования данных 171 кодированного изображения.In embodiments of decoder 200, inverse quantizer 210, inverse transform 212, restorer 214, buffer 216, loop filter 220, decoded picture buffer 230, predictor 260, and mode selector 260 are configured to inversely process encoder 100 (and corresponding function blocks) to decode the encoded image data 171 .

В частности, блок 210 обратного квантования может быть идентичен по функциям блоку 110 обратного квантования, блок 212 обратного преобразования может быть идентичен по функциям блоку 112 обратного преобразования, блок 214 восстановления может быть идентичным по функции блоку 114 восстановления, буфер 216 может быть идентичен по функциям буферу 116, контурный фильтр 220 может быть идентичен по функции контурному фильтру 220 (что касается фактического контурного фильтра, поскольку контурный фильтр 220 обычно не содержит блок анализа фильтра для определения параметров фильтра на основании исходного изображения 101 или блока 103, но принимает (явно или неявно) или получает параметры фильтра, используемые для кодирования, например, из блока 204 энтропийного декодирования), и буфер 230 декодированных изображений может быть идентичен по функциям буфера 130 декодированных изображений.In particular, inverse quantizer 210 may be identical in function to inverse quantizer 110, inverse transform 212 may be identical in function to inverse transform 112, restorer 214 may be identical in function to restorer 114, buffer 216 may be identical in function. buffer 116, the loop filter 220 may be identical in function to the loop filter 220 (with respect to the actual loop filter, since the loop filter 220 typically does not include a filter parser to determine filter parameters based on the original image 101 or block 103, but accepts (explicitly or implicitly ) or obtains the filter parameters used for encoding, for example, from entropy decoding block 204), and the decoded picture buffer 230 may be identical in function to the decoded picture buffer 130.

Блок 260 предсказания может содержать блок 244 внешнего предсказания и блок 254 внутреннего предсказания, в котором блок 244 внешнего предсказания может быть идентичен по функциям блоку 144 внешнего предсказания и блок 254 внутреннего предсказания может быть идентичным по функциям блоку 154 внутреннего предсказания. Блок 260 предсказания и блок 262 выбора режима обычно выполнены с возможностью выполнять предсказания блока и/или получать предсказанный блок 265 только из кодированных данных 171 (без какой-либо дополнительной информации об исходном изображении 101) и принимать или получать (явно или неявно) параметры 143 или 153 предсказания и/или информацию о выбранном режиме предсказания, например, из блока 204 энтропийного декодирования.Prediction block 260 may comprise inter prediction block 244 and intra prediction block 254, in which inter prediction block 244 may be identical in function to inter prediction block 144 and intra prediction block 254 may be identical in function to intra prediction block 154. Predictor 260 and mode selector 262 are typically configured to perform block predictions and/or obtain predicted block 265 from encoded data 171 only (without any additional information about original image 101) and receive or obtain (explicitly or implicitly) parameters 143 or 153 predictions and/or information about the selected prediction mode, for example, from block 204 entropy decoding.

Декодер 200 выполнен с возможностью выводить декодированное изображение 231, например, через вывод 232, для представления или просмотра пользователю.The decoder 200 is configured to output the decoded image 231, such as through output 232, for presentation or viewing to a user.

Возвращаясь к фиг.1, декодированное изображение 231, выводимое из декодера 200, может подвергаться постобработке в процессоре 326 постобработки. Результирующее постобработанное изображение 327 может быть передано во внутреннее или внешнее устройство 328 отображения и отображено.Returning to Fig.1, the decoded image 231 output from the decoder 200 may be post-processed in the processor 326 post-processing. The resulting post-processed image 327 may be transferred to an internal or external display device 328 and displayed.

ДЕТАЛИ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯDETAILS OF EMBODIMENTS

Изобретение ограничивает значения, которые могут быть использованы коэффициентами фильтра адаптивного мультипликативного фильтра, таким образом, что операция умножения упрощается. При фильтрации набора выборок сигнала изображения используется фильтр с адаптивными коэффициентами множителя, где коэффициенты множителя представлены целыми числами. Учитывая, что максимальное значение абсолютного значения коэффициента C равно N, для двоичного представления N требуется L = ceil (log₂ (N)) двоичных цифр. Другими словами, L двоичные цифры могут быть выражены абсолютными значениями коэффициентов от нуля (L «нулей») до 2^L-1 (L «единиц») (знак коэффициента представлен отдельным битом знака, который здесь не обсуждается). В соответствии с конкретным подходом изобретения этот набор значений ограничен, так что любое значение, которое может быть принято коэффициентом C, включает в себя самое большее число P<L «единиц» («1») в двоичном представлении. Например, исключен случай всех «единиц» (L «единиц»).The invention limits the values that can be used by the filter coefficients of the adaptive multiplicative filter so that the multiplication operation is simplified. When filtering a set of image signal samples, a filter with adaptive multiplier coefficients is used, where the multiplier coefficients are represented by integers. Given that the maximum value of the absolute value of the coefficient C is N, the binary representation of N requires L = ceil(log ₂ (N)) binary digits. In other words, L binary digits can be expressed as absolute coefficient values from zero (L "zeros") to 2 ^L -1 (L "ones") (the sign of the coefficient is represented by a separate sign bit, which is not discussed here). In accordance with a particular approach of the invention, this set of values is limited such that any value that can be taken by the coefficient C includes at most P<L "ones"("1") in binary representation. For example, the case of all "ones" (L "ones") is excluded.

Как будет показано ниже, чем меньше количество P разрешенных «единиц», тем выше эффективность и производительность операции фильтрации. Например, лучший выигрыш в эффективности может быть достигнут, если любое значение, которое может быть принято коэффициентом C, включает в себя только до одной «1», то есть, не более одной «1».As will be shown below, the smaller the number P of allowed "units", the higher the efficiency and throughput of the filtering operation. For example, a better efficiency gain can be achieved if any value that can be taken by the coefficient C includes only up to one "1", that is, no more than one "1".

Далее будут подробно описаны конкретные варианты осуществления изобретения.Next, specific embodiments of the invention will be described in detail.

Следует отметить, что примерные значения параметров, приведенные ниже, предназначены только для иллюстративных целей, и специалисту известно, что они могут быть заменены любыми другими возможными значениями, которые находятся в пределах объема прилагаемой формулы изобретения.It should be noted that the exemplary parameter values given below are for illustrative purposes only, and those skilled in the art will recognize that they may be replaced by any other possible values that fall within the scope of the appended claims.

Обычно коэффициенты фильтра реализуются с использованием конечной точности. Коэффициент фильтра представлен с помощью L битов вместе с необязательным битом знака. Количество битов L зависит от максимального абсолютного значения коэффициента. В частности, учитывая, что наибольшее значение абсолютного значения коэффициента C равно N, для двоичного представления N требуется L = ceil (log₂ (N)) двоичных цифр.Typically, filter coefficients are implemented using finite precision. The filter coefficient is represented using L bits along with an optional sign bit. The number of bits L depends on the maximum absolute value of the coefficient. In particular, given that the largest absolute value of the coefficient C is N, the binary representation of N requires L = ceil(log ₂ (N)) binary digits.

Функция ceil (x), также обозначаемая как

или максимум (x), отображает x на наименьшее целое число, большее или равное x.The ceil(x) function, also denoted as

or max(x), maps x to the smallest integer greater than or equal to x.

Согласно первому примерному варианту осуществления изобретения максимум один из L битов (т.е. исключая знаковый бит) коэффициента фильтра может быть одновременно «единицей» («1»). Другие возможности не допускаются.According to the first exemplary embodiment of the invention, at most one of the L bits (ie, excluding the sign bit) of the filter coefficient can be "one" ("1") at the same time. Other possibilities are not allowed.

Например:For example:

Предположим, L = 6, и один бит (крайний левый бит) используется для указания знака коэффициента.Assume L = 6 and one bit (leftmost bit) is used to indicate the sign of the coefficient.

Например, допустимы следующие коэффициенты фильтра: 0 (0000000), 1 (0000001), -1 (1000001), 2 (0000010), -2 (1000010), 4 (0000100), -4 (1000100), 8 (0001000), -8 (1001000), 16 (0010000) …, -32 (1100000).For example, the following filter coefficients are valid: 0 (0000000), 1 (0000001), -1 (1000001), 2 (0000010), -2 (1000010), 4 (0000100), -4 (1000100), 8 (0001000), -8 (1001000), 16 (0010000) ..., -32 (1100000).

Например, недопустимы следующие коэффициенты фильтра: 3 (0000011), -15 (1001111), 31 (0011111) …For example, the following filter coefficients are invalid: 3 (0000011), -15 (1001111), 31 (0011111) ...

В этом случае достигается преимущество, поскольку ограничение позволяет реализовать умножение как операцию сдвига одного бита.In this case, an advantage is achieved, since the restriction allows the multiplication to be implemented as a single bit shift operation.

Операция сдвига бита может быть математически представлена как: f (X, M) = X * 2^M, где M является целым числом, большее или равное 0. В соответствии с обобщением вышеуказанного варианта осуществления не более M из L битов коэффициента фильтра может быть «1» одновременно. Другие возможности не допускаются.The bit shift operation can be mathematically represented as: f (X, M) = X * 2 ^M , where M is an integer greater than or equal to 0. In accordance with the generalization of the above embodiment, at most M of the L bits of the filter coefficient can be "1" at the same time. Other possibilities are not allowed.

Например:For example:

Предположим, L = 6, M = 2, и один бит используется для указания знака коэффициента.Assume L = 6, M = 2, and one bit is used to indicate the sign of the coefficient.

Например, разрешены следующие коэффициенты фильтра: 0 (0000000), 3 (0000011), 9 (0001001), -4 (1000100), -9 (1001001), 18 (0010010), 33 (0100001) …For example, the following filter coefficients are allowed: 0 (0000000), 3 (0000011), 9 (0001001), -4 (1000100), -9 (1001001), 18 (0010010), 33 (0100001) ...

Например, недопустимы следующие коэффициенты фильтра: 7 (0000111), -19 (1010011), 31 (0011111) …For example, the following filter coefficients are invalid: 7 (0000111), -19 (1010011), 31 (0011111) ...

В этом случае ограничение позволяет реализовать умножение с помощью двух операций сдвига битов и одной операции сложения.In this case, the constraint allows the multiplication to be implemented using two bit shift operations and one addition operation.

В более общем случае, описанном выше, при общем M<L, достигается преимущество, поскольку ограничение позволяет выполнять умножение с помощью операций сдвига M бит и сложения M-1.In the more general case described above, with a general M<L, an advantage is achieved, since the constraint allows multiplication with M bit shift and M-1 addition operations.

В приведенных выше примерах предполагается, что ограниченный набор абсолютных значений применяется ко всем коэффициентам фильтра умножения адаптивного фильтра.The above examples assume that a limited set of absolute values are applied to all adaptive filter multiplication filter coefficients.

Далее будет описан более сложный примерный вариант осуществления со ссылкой на фиг. 7, на котором применяется ограничение согласно изобретению, но не ко всем коэффициентам фильтра рассматриваемого фильтра.Next, a more complex exemplary embodiment will be described with reference to FIG. 7, where the limitation according to the invention is applied, but not to all the filter coefficients of the considered filter.

В примере на первом этапе коэффициенты группируются в две группы. На чертеже первая группа соответствует позициям коэффициентов, обозначенные бесцветными кружками в центральной части фильтра, и вторая группа соответствует позициям коэффициентов, обозначенным на чертеже закрашенными черными кружками, в периферийной части фильтра.In the example, at the first stage, the coefficients are grouped into two groups. In the drawing, the first group corresponds to the positions of the coefficients, indicated by colorless circles in the central part of the filter, and the second group corresponds to the positions of the coefficients, indicated in the drawing by solid black circles, in the peripheral part of the filter.

Коэффициенты фильтра в первой группе могут принимать любое значение в заранее определенном диапазоне. В проиллюстрированном примере предполагается, что диапазон соответствует набору «S1», где S1 = [-511, …, 511]. Это соответствует общему количеству битов (исключая знаковый бит) L = 9.The filter coefficients in the first group can take on any value within a predetermined range. In the illustrated example, the range is assumed to correspond to the set "S1", where S1 = [-511, ..., 511]. This corresponds to a total number of bits (excluding the sign bit) L = 9.

Коэффициенты фильтра во второй группе могут принимать любое значение в наборе «S2», где S2 является подмножеством S1. Более конкретно, в примере набор S2 определяется как S2 = [-32, -16, -8, -4, -2, -1,0,1,2,4,8,16,32]. Соответственно, допустимые значения в наборе S2 ограничиваются теми, которые могут быть представлены с помощью одной «1» в двоичном представлении. Кроме того, максимально допустимое абсолютное значение ограничено 32, то есть, дополнительно предполагается, что число L ограничено до L = 6. В общем, следует отметить, что число L может быть установлено отдельно и по-разному для каждой группы. Более того, конкретная группировка и определение наборов допустимых значений может изменяться от изображения к изображению (от кадра к кадру). В качестве альтернативы группировка и определение наборов могут быть разными для разных форм фильтров (например, ромб 5x5, ромб 7x7, ромб 9x9, как показано на фиг.5). В качестве альтернативы группировка и определения могут быть предопределены.The filter coefficients in the second group can take on any value in the set "S2", where S2 is a subset of S1. More specifically, in the example, the set S2 is defined as S2 = [-32, -16, -8, -4, -2, -1,0,1,2,4,8,16,32]. Accordingly, valid values in set S2 are limited to those that can be represented with a single "1" in binary representation. In addition, the maximum allowed absolute value is limited to 32, that is, it is further assumed that the number L is limited to L = 6. In general, it should be noted that the number L can be set separately and differently for each group. Moreover, the specific grouping and definition of allowable value sets may vary from image to image (frame to frame). Alternatively, the grouping and definition of sets may be different for different filter shapes (eg, 5x5 diamond, 7x7 diamond, 9x9 diamond, as shown in FIG. 5). Alternatively, the grouping and definitions may be predefined.

В этом примере преимущество состоит в том, что вместо 9-битного умножения для набора S2 используется сдвиг на 1 бит.In this example, the advantage is that instead of a 9-bit multiplication for S2, a 1-bit shift is used.

Соответствующие данные должны быть включены в битовый поток в кодере и сообщены декодеру, чтобы коэффициенты фильтра также могли быть правильно определены в декодере. Конечно, применение ограниченного набора допустимых значений коэффициентов приводит к уменьшению объема служебной сигнализации и, таким образом, к более эффективному кодированию, поскольку для представления коэффициентов, которые должны сигнализироваться в потоке битов, что необходимо меньше битов.Appropriate data must be included in the bitstream at the encoder and reported to the decoder so that the filter coefficients can also be correctly determined at the decoder. Of course, the use of a limited set of allowed coefficient values results in less overhead and thus more efficient coding since fewer bits are needed to represent the coefficients to be signaled in the bit stream.

Более конкретно, значение коэффициентов фильтра, которые применяются кодером, необходимо закодировать и передать в декодер. На стороне кодера значения коэффициентов фильтра преобразуются в двоичные кодовые слова (из значения фильтра в кодовое слово) через таблицу отображения или функцию отображения. Та же самая операция отображения должна применяться в декодере (от кодового слова к значению коэффициента фильтра), чтобы правильно интерпретировать коэффициенты фильтра.More specifically, the value of the filter coefficients that are applied by the encoder needs to be encoded and transmitted to the decoder. On the encoder side, the filter coefficient values are converted to binary codewords (from filter value to codeword) via a mapping table or a mapping function. The same mapping operation must be applied at the decoder (from codeword to filter coefficient value) in order to correctly interpret the filter coefficients.

Функция отображения или таблица могут отличаться для S1 и S2. Пример операций отображения приведены ниже для наборов коэффициентов фильтрации S1 и S2.The display function or table may be different for S1 and S2. An example of mapping operations are given below for sets of filter coefficients S1 and S2.

В приведенном ниже примере S1 задается как {0,1, …, 511}, и S2 задается {0,2,4,8,16,32} (рассматриваются только абсолютные значения).In the example below, S1 is given as {0,1, ..., 511} and S2 is given as {0,2,4,8,16,32} (only absolute values are considered).

S1S1 S2S2 Значение коэффициента фильтраFilter coefficient value Кодовое словоA codeword Значение коэффициента фильтраFilter coefficient value Кодовое словоA codeword 00 000000000000000000 00 000000 1one 000000001000000001 22 001001 22 000000010000000010 44 010010 33 000000011000000011 8eight 011011 44 000000100000000100 16sixteen 100100 55 000000101000000101 3232 101101 66 000000110000000110 ……

Операции прямого (в кодере) и обратного (в декодере) преобразования должны использоваться в кодере и декодере, чтобы декодер мог правильно интерпретировать значения коэффициентов фильтра. В приведенном выше примере операция отображения коэффициентов фильтра отличается для S2 и S1, поскольку количество различных значений в S2 намного меньше, и представлять коэффициенты фильтра S2 с использованием отображения S1 расточительно. Следовательно, изобретение приводит к уменьшению объема служебной сигнализации и, таким образом, к более эффективному кодированию, поскольку необходимо меньше битов для представления коэффициентов, которые должны сигнализироваться в потоке битов.The forward (in the encoder) and inverse (in the decoder) transform operations must be used in the encoder and decoder in order for the decoder to correctly interpret the values of the filter coefficients. In the above example, the filter coefficient mapping operation is different for S2 and S1 because the number of distinct values in S2 is much smaller, and it is wasteful to represent the filter coefficients of S2 using the S1 mapping. Therefore, the invention results in a reduction in overhead and thus more efficient coding since fewer bits are needed to represent the coefficients to be signaled in the bit stream.

Далее будет дан общий обзор сигнализации коэффициентов фильтра со ссылкой на фиг. 8. Фиг. 8A иллюстрирует обработку на стороне кодера, и фиг. 8B иллюстрирует обработку на стороне декодера.Next, an overview of filter coefficient signaling will be given with reference to FIG. 8. FIG. 8A illustrates processing on the encoder side, and FIG. 8B illustrates processing on the decoder side.

В кодере коэффициенты фильтра, которые должны применяться к восстановленным выборкам, определяются в соответствии с допустимыми значениями коэффициентов, как определено конкретным подходом изобретения (этап S80).At the encoder, the filter coefficients to be applied to the reconstructed samples are determined according to the allowable values of the coefficients, as determined by the particular approach of the invention (step S80).

Определенные коэффициенты фильтра используются для фильтрации выборок восстановленного изображения (этап S82). Согласно изобретению, коэффициенты фильтра, которые применяются к выборкам восстановленного изображения, должны подчиняться правилам, изложенным в соответствии с изобретением.The determined filter coefficients are used to filter the reconstructed image samples (step S82). According to the invention, the filter coefficients that are applied to the reconstructed image samples must obey the rules set forth in accordance with the invention.

Следующий этап предсказания коэффициентов фильтра (этап S84) является возможным. Предсказание коэффициента фильтра может применяться дополнительно для уменьшения объема информации, передаваемой в декодер. Возможные способы предсказания представляют собой предсказание с использованием заданных предикторов фильтра и предсказание на основе ранее сообщенных коэффициентов фильтра. Однако способы предсказания не ограничиваются приведенными в качестве примера в настоящем документе, и может применяться любой подходящий способ предсказания, о котором знает квалифицированный специалист.The next filter coefficient prediction step (step S84) is possible. Filter coefficient prediction may be applied further to reduce the amount of information transmitted to the decoder. Possible prediction methods are prediction using predetermined filter predictors and prediction based on previously reported filter coefficients. However, the prediction methods are not limited to those exemplified herein, and any suitable prediction method known to those skilled in the art may be used.

На следующем этапе (S86) выполняется отображение остаточных коэффициентов на двоичные кодовые слова. Поскольку вышеупомянутый этап предсказания S84 является возможным, следует отметить, что в качестве альтернативы отображение применяется непосредственно к коэффициентам фильтра, определенным на этапе S80.In the next step (S86), mapping of the residual coefficients to binary codewords is performed. Since the above prediction step S84 is possible, it should be noted that, alternatively, the mapping is applied directly to the filter coefficients determined in step S80.

Более конкретно, каждый целочисленный коэффициент фильтра (остаточный коэффициент фильтра) преобразуется в двоичное кодовое слово перед включением в битовый поток. Существует столько кодовых слов, сколько возможно значений коэффициентов фильтра (остаточных значений коэффициентов фильтра). Отображение кодового слова на значение (которое является отображением «один к одному») может быть фиксированным отображением или может изменяться в зависимости от сигнализируемой дополнительной информации.More specifically, each integer filter coefficient (residual filter coefficient) is converted into a binary codeword before being included in the bitstream. There are as many codewords as possible filter coefficient values (residual filter coefficient values). The codeword-to-value mapping (which is a one-to-one mapping) may be a fixed mapping or may vary depending on the additional information being signaled.

На последнем этапе S88 преобразованные в двоичную форму (возможно остаточные) коэффициенты фильтра, то есть, кодовые слова, на которые они были отображены, включаются в поток битов. В случае, если предсказание выполняется на этапе S84, дополнительно необходимо сгенерировать информацию управления предсказания и включить упомянутую информацию управления предсказания в поток битов, чтобы сигнализировать декодеру необходимую информацию об обработке предсказания, чтобы иметь возможность выполнить восстановление.In the last step S88, the binarized (possibly residual) filter coefficients, that is, the codewords to which they have been mapped, are included in the bitstream. In case prediction is performed in step S84, it is further necessary to generate prediction control information and include said prediction control information in the bit stream to signal necessary prediction processing information to the decoder to be able to perform recovery.

Обычно операции, применяемые в кодере, применяются в декодере в обратном порядке. Это будет объяснено более подробно ниже со ссылкой на фиг. 8B.Typically, the operations applied in the encoder are applied in the decoder in reverse order. This will be explained in more detail below with reference to FIG. 8B.

На начальном этапе S90 выполняется синтаксический анализ принятого битового потока. Результирующие преобразованные в двоичную форму коэффициенты фильтра (т.е. переданные кодовые слова) возможно представляют остаточные коэффициенты фильтра (если предсказание применялось на стороне кодера). На это указывает дополнительное получение информации управления предсказания из проанализированного битового потока.In an initial step S90, the received bitstream is parsed. The resulting binarized filter coefficients (ie, transmitted codewords) possibly represent the residual filter coefficients (if prediction was applied at the encoder side). This is indicated by additionally obtaining prediction control information from the parsed bitstream.

В любом случае двоичные кодовые слова отображаются с помощью процедуры обратного преобразования (по сравнению с кодером) на коэффициенты фильтра (или остаточные коэффициенты фильтра) на этапе S92.In any case, the binary codewords are mapped by an inverse transform procedure (compared to the encoder) to the filter coefficients (or residual filter coefficients) in step S92.

В результате коэффициенты фильтра определяются (восстанавливаются) на стороне декодера (этап S94). Если предсказание было применено, так что коэффициенты фильтра, полученные на этапе S92, являются остаточными коэффициентами фильтра, восстановление дополнительно включает в себя выполнение предсказания, как указано в информации управления предсказания, и добавление результата предсказания к остаточным коэффициентам фильтра для получения восстановленных коэффициентов фильтра.As a result, the filter coefficients are determined (recovered) at the decoder side (step S94). If prediction has been applied such that the filter coefficients obtained in step S92 are the residual filter coefficients, the recovery further includes performing the prediction as specified in the prediction control information and adding the prediction result to the residual filter coefficients to obtain the recovered filter coefficients.

После того, как коэффициенты фильтра восстановлены (если применимо, путем объединения информации предиктора и остаточных значений фильтра), они применяются к выборкам восстановленного изображения (этап S96).After the filter coefficients are recovered (if applicable, by combining the predictor information and filter residuals), they are applied to the reconstructed image samples (step S96).

Согласно изобретению, коэффициенты фильтра, которые применяются к выборкам восстановленного изображения, должны подчиняться правилам, определенным согласно изобретению.According to the invention, the filter coefficients that are applied to the reconstructed image samples must obey the rules defined according to the invention.

Соответственно, если коэффициент фильтра, полученный в результате восстановления (в частности: из объединения результатов предсказания и остаточных результатов), не имеет допустимого значения коэффициента фильтра согласно правилам изобретения (значение коэффициента фильтра, которое не входит в набор допустимых значений), процесс восстановления коэффициентов фильтра дополнительно выполняет операцию округления. В частности, операция округления может преобразовывать входное значение коэффициента фильтра в ближайшее допустимое значение коэффициента.Accordingly, if the filter coefficient obtained as a result of the reconstruction (in particular: from the combination of the prediction results and the residual results) does not have a valid filter coefficient value according to the rules of the invention (a filter coefficient value that is not included in the set of valid values), the filter coefficient reconstruction process additionally performs a rounding operation. In particular, the rounding operation may convert the input filter coefficient value to the nearest valid coefficient value.

Если применяется предсказание коэффициента фильтра, коэффициенты фильтра, которые должны применяться к выборкам восстановленного изображения с целью фильтрации, получаются путем сложения результата предсказания («предиктор») и остаточных коэффициентов фильтра (как объяснено в предшествующих абзацах из кодера и декодера, соответственно). Очевидно, что возможно, что остаточные коэффициенты фильтра могут отсутствовать (равны 0), особенно если предсказание близко к идеальному (коэффициенты фильтра, которые должны быть предсказаны, очень похожи на предиктор). В этом случае, согласно изобретению, применяется одна из следующих двух опций:If filter coefficient prediction is applied, the filter coefficients to be applied to the reconstructed image samples for filtering are obtained by adding the result of the prediction ("predictor") and the residual filter coefficients (as explained in the preceding paragraphs from the encoder and decoder, respectively). Obviously, it is possible that there may be no residual filter coefficients (equal to 0), especially if the prediction is close to ideal (the filter coefficients to be predicted are very similar to the predictor). In this case, according to the invention, one of the following two options applies:

1. Значения коэффициентов, полученные путем предсказания, должны подчиняться правилам, определенным в соответствии с изобретением. Например, в случае предсказания на основе предопределенных фильтров, коэффициенты фильтров предопределенных фильтров должны подчиняться правилам, определенным согласно изобретению.1. The coefficient values obtained by prediction must obey the rules defined in accordance with the invention. For example, in the case of prediction based on predefined filters, the filter coefficients of the predefined filters must obey the rules defined according to the invention.

2. Коэффициенты фильтра, полученные после предсказания, необходимо округлить до ближайшего допустимого значения коэффициента.2. The filter coefficients obtained after the prediction must be rounded to the nearest acceptable coefficient value.

Далее следует отметить, что разделение на несколько двух групп было объяснено здесь только для простоты, но также возможно более двух групп, в котором, по меньшей мере, для одной группы набор допустимых значений определяется согласно изобретению, т.е. только ограниченное количество «единиц» в пределах заранее определенного общего количества двоичных цифр.Further, it should be noted that the division into several two groups has been explained here only for simplicity, but more than two groups are also possible, in which, for at least one group, the set of allowable values is determined according to the invention, i.e. only a limited number of "ones" within a predetermined total number of binary digits.

Например, фиг.9 иллюстрирует случай, когда коэффициенты фильтра сгруппированы в три группы.For example, FIG. 9 illustrates the case where the filter coefficients are grouped into three groups.

Первая группа коэффициентов, расположенная близко к центру ядра фильтра, определяет значения коэффициентов фильтра в наборе S1 = [-511, …, 511].The first group of coefficients, located close to the center of the filter kernel, determines the values of the filter coefficients in the set S1 = [-511, ..., 511].

Вторая группа коэффициентов фильтрации, расположенная на периферии ядра и обозначенная пунктирными кружками, позволяет значениям коэффициентов фильтрации находиться в пределах модифицированного ограниченного набора S2, в котором S2 здесь S2 = [-128, -64, -32, -16, -8, -4, -2, -1,0,1,2,4,8,16,32,64,128]. Это набор всех значений коэффициентов, которые могут быть представлены L = 8 двоичными цифрами, только с одной «единицей».The second group of filtration coefficients, located on the periphery of the kernel and indicated by dotted circles, allows the values of the filtration coefficients to be within the modified limited set S2, in which S2 here S2 = [-128, -64, -32, -16, -8, -4 , -2, -1,0,1,2,4,8,16,32,64,128]. This is the set of all coefficient values that can be represented by L = 8 binary digits, with only one "one".

Третья группа коэффициентов фильтрации, расположенная между первой и второй группами и обозначенная закрашенными кружками, позволяет значениям коэффициентов фильтрации находиться в пределах другого ограниченного набора S3, в которомThe third group of filter coefficients, located between the first and second groups and indicated by filled circles, allows the values of the filter coefficients to be within another limited set S3, in which

S3 = [-64, -48, -40, …, 0,1,2,3,4,5,6,8,9,10,12,16,17,18,20,24,32,33, 34,36,40,48,64].S3 = [-64, -48, -40, …, 0,1,2,3,4,5,6,8,9,10,12,16,17,18,20,24,32,33, 34,36,40,48,64].

Другими словами, набор S3 является набором всех коэффициентов, которые могут быть представлены с помощью L = 7 двоичных цифр, в котором не более двух битов равны «единице» в абсолютном значении коэффициента, и применяется дополнительное ограничение, заключающееся в том, что максимальное абсолютное значение установлено на 64. (В противном случае, например, также должно быть разрешено абсолютное значение 96, поскольку оно может быть выражено двумя ведущими «единицами» в 7 двоичных цифрах).In other words, the set S3 is the set of all coefficients that can be represented by L = 7 binary digits, in which at most two bits are equal to "one" in the absolute value of the coefficient, and the additional constraint is that the maximum absolute value set to 64. (Otherwise, for example, the absolute value 96 must also be allowed, since it can be expressed by two leading "ones" in 7 binary digits).

Далее, со ссылкой на фиг.10, показан другой примерный вариант осуществления конкретного преимущества изобретения.Next, with reference to FIG. 10, another exemplary embodiment of a particular advantage of the invention is shown.

В примере на фиг.10 группировка выполняется так же, как на фиг.7.In the example of Fig. 10, the grouping is performed in the same way as in Fig. 7.

Коэффициенты фильтра в первой группе могут принимать любые значения с девятью битами полного диапазона и битом знака, то есть, вышеупомянутый набор S1 = [-511, 511].The filter coefficients in the first group can take any value with nine full range bits and a sign bit, that is, the above set S1 = [-511, 511].

Коэффициенты фильтра во второй группе могут принимать ограниченный набор значений S2, в котором S2 здесь S2 = [-128, -64, -32, -16, -8, -4, -2, -1,0,1, 2,4,8,16,32,64,128]. Это соответствует тем значениям, которые могут быть представлены одной «1» в двоичном представлении. Более того, максимально допустимое абсолютное значение ограничено 128, т.е. дополнительно предполагается, что число L ограничено до L = 8.The filter coefficients in the second group can take a limited set of values S2, in which S2 here S2 = [-128, -64, -32, -16, -8, -4, -2, -1,0.1, 2.4 ,8,16,32,64,128]. This corresponds to those values that can be represented by a single "1" in binary representation. Moreover, the maximum allowed absolute value is limited to 128, i.e. additionally, it is assumed that the number L is limited to L = 8.

Другими словами, размер фильтра соответствует тому, который был показан на фиг.4, то есть, ромбовидному фильтру 9 × 9. Как было указано в разделе «Уровень техники», обычно требуется 41 умножение 9-битными коэффициентами фильтра. Поскольку одно умножение эквивалентно 8 двоичным сложениям, как упоминалось в разделе «Уровень техники», количество дополнительных операций на пиксель составляет 48 * 8 = 328 операций сложения.In other words, the filter size corresponds to that shown in Fig. 4, that is, a 9×9 diamond filter. As noted in the Background section, 41 multiplications by 9-bit filter coefficients are typically required. Since one multiplication is equivalent to 8 binary additions, as mentioned in the Background section, the number of additional operations per pixel is 48 * 8 = 328 addition operations.

Согласно изобретению периферийные 28 коэффициенты (то есть, коэффициенты во второй группе) могут быть реализованы как единичная операция сдвига бита. Реализация операции сдвига бита имеет очень незначительную аппаратную сложность и, таким образом, может быть опущена при вычислении.According to the invention, the peripheral 28 coefficients (ie, the coefficients in the second group) can be implemented as a single bit shift operation. The implementation of the bit shift operation has very little hardware complexity and thus can be omitted from the calculation.

Тринадцать операций умножения 9-битными коэффициентами равны 13 * 8 = 104 сложения на пиксель. Количество операций на пиксель снижено на 68%.Thirteen multiplication operations by 9-bit coefficients equals 13 * 8 = 104 additions per pixel. The number of operations per pixel is reduced by 68%.

Приведенные выше числа являются приблизительными оценками, и точное значение снижения сложности зависит от фактической реализации.The above numbers are rough estimates and the exact amount of complexity reduction depends on the actual implementation.

Далее объясняется дополнительное преимущество реализаций, использующих, по меньшей мере, две группы коэффициентов.The following explains the additional advantage of implementations using at least two groups of coefficients.

Согласно изобретению, не все коэффициенты фильтра квантованы грубо, и коэффициенты фильтра в первой группе имеют более точное квантование.According to the invention, not all filter coefficients are roughly quantized, and the filter coefficients in the first group are more finely quantized.

Обычно грубое квантование коэффициентов фильтра вызывает потерю кодирования. Однако наличие первой группы коэффициентов фильтра, допускающих принятие большого набора значений, может использоваться для компенсации потерь кодирования кодером.Typically, coarse quantization of the filter coefficients causes loss of coding. However, having a first group of filter coefficients capable of accepting a large set of values can be used to compensate for coding loss by the encoder.

Возможная реализация кодера представляет собой. В нижеследующем описании используются метки коэффициентов фильтра, указанные на фиг.11, которые могут отличаться от меток, ранее использовавшихся в связи с другими чертежами:A possible implementation of the encoder is. In the following description, the labels of the filter coefficients indicated in Fig. 11 are used, which may differ from the labels previously used in connection with other drawings:

Этап 1: получить все коэффициенты фильтра (C₀, …, C₂₀) с использованием способа наименьших квадратов, предполагая отсутствие ограничений значений коэффициентов.Step 1: Obtain all filter coefficients (C ₀ , ..., C ₂₀ ) using the least squares method, assuming no constraints on coefficient values.

Этап 2: установить ограничение, округляя коэффициенты (C₇, …, C₂₀) до ближайшего допустимого значения.Step 2: set the limit by rounding the coefficients (C ₇ , …, C ₂₀ ) to the nearest acceptable value.

Этот этап вводит шум квантования в коэффициенты фильтра и, таким образом, снижает выигрыш кодирования.This step introduces quantization noise into the filter coefficients and thus reduces the coding gain.

Этап 3: переоценить свободно выбираемые коэффициенты фильтра (C₀, …, C₆) для компенсации ошибки квантования. На этом третьем этапе можно восстановить большую часть потерь кодирования, которые вносятся на этапе 2.Step 3: Re-estimate freely selectable filter coefficients (C ₀ , ..., C ₆ ) to compensate for quantization error. In this third step, most of the coding loss introduced in step 2 can be recovered.

Более детально:In more detail:

На первом этапе приведенное ниже уравнение решается для фильтра 41 ответвлений (с 21 уникальными коэффициентами):In the first step, the equation below is solved for a 41-tap filter (with 21 unique coefficients):

Вышеприведенное уравнение называется уравнением наименьших квадратов и используется для нахождения коэффициентов Cx фильтра в кодере.The above equation is called the least squares equation and is used to find the filter coefficients Cx in the encoder.

Элемент X_x,y представляет собой ожидаемое значение R (i + k, j + l) * R (i + m, j+n), корреляция между двумя восстановленными выборками перед фильтрацией. Индексы k, l, m и n выбираются в соответствии с формой применяемого фильтра.The element X _x,y is the expected value R(i + k, j + l) * R(i + m, j+n), the correlation between the two reconstructed samples before filtering. The indices k, l, m and n are chosen according to the shape of the applied filter.

Элемент P_x обозначает ожидаемое значение R (i + k, j + l) * O (i, j).The element P _x denotes the expected value R(i + k, j + l) * O(i, j).

На втором этапе для коэффициентов фильтра от C₇ до C₂₀ находятся наиболее близкие приближенные коэффициенты, которые удовлетворяют ограничениям:At the second stage, for the filter coefficients from C ₇ to C ₂₀ , the closest approximate coefficients are found that satisfy the constraints:

Коэффициенты от C₇’ до C₂₀’ подчиняются правилам, установленным изобретением. Обратите внимание, что функция f (), описанная выше, вносит шум квантования в коэффициенты фильтра от C₇ до C₂₀, которые были ранее получены путем решения уравнения наименьших квадратов.The coefficients from C ₇ ' to C ₂₀ ' obey the rules established by the invention. Note that the f() function described above introduces quantization noise into the filter coefficients C ₇ to C ₂₀ that were previously obtained by solving the least squares equation.

Ожидается, что шум квантования, введенный на втором этапе, снизит производительность операции фильтрации. Эффективность фильтрации обычно измеряется таким показателем, как отношение пикового сигнала к шуму (Peak signal-to-noise ratio, PSNR), поэтому после этапа 2, PSNR фильтрованного изображения будет уменьшено.It is expected that the quantization noise introduced in the second step will degrade the performance of the filtering operation. Filtering efficiency is usually measured by Peak signal-to-noise ratio (PSNR), so after step 2, the PSNR of the filtered image will be reduced.

На третьем этапе приведенное ниже уравнение решается для фильтра с 13 ответвлениями (с 7 уникальными коэффициентами):In the third step, the equation below is solved for a 13-tap filter (with 7 unique coefficients):

На третьем этапе коэффициенты фильтрации от C₀ до C₇ вычисляются снова с учетом шума квантования, введенного на втором этапе. Третий этап преимущественно уменьшает снижение эффективности фильтрации, вызванное применением этапа 2.In the third step, the filtering coefficients from C ₀ to C ₇ are calculated again, taking into account the quantization noise introduced in the second step. The third stage advantageously reduces the reduction in filtration efficiency caused by the application of stage 2.

Следует отметить, что в целом применение операции фильтрации с коэффициентами адаптивного мультипликативного фильтра не ограничивается выборками восстановленных изображений. Как описано на фиг.2 и фиг.3, восстановленный блок обычно соответствует блоку изображения, который получается после комбинации блока обратного преобразования и блока предсказания. Как очевидно для специалиста в данной области техники, операция фильтрации с адаптивными коэффициентами фильтра также может применяться на других этапах операций кодирования и декодирования, например, к блоку (265, 165) предсказания, блоку (213, 113) обратного преобразования, квантованным коэффициентам (209, 109), деквантованным коэффициентам (111, 211) или декодированному изображению (231). В этом случае изобретение применяется к коэффициентам фильтра операции фильтрации.It should be noted that, in general, the application of the filtering operation with adaptive multiplicative filter coefficients is not limited to samples of reconstructed images. As described in FIG. 2 and FIG. 3, the reconstructed block generally corresponds to the image block that is obtained after the combination of the inverse transform block and the prediction block. As will be appreciated by one skilled in the art, the filtering operation with adaptive filter coefficients can also be applied to other steps of the encoding and decoding operations, e.g., prediction block (265, 165), inverse transform block (213, 113), quantized coefficients (209 , 109), dequantized coefficients (111, 211) or decoded image (231). In this case, the invention applies to the filter coefficients of the filtering operation.

Таким образом, изобретение относится к усовершенствованному устройству и способу фильтрации восстановленных изображений, в частности, видеоизображений с помощью адаптивных мультипликативных фильтров. Эффективность операции фильтрации повышается за счет ограничения допустимых значений коэффициентов фильтрации теми, которые имеют только ограниченное количество «единиц» в двоичном представлении.Thus, the invention relates to an improved device and method for filtering reconstructed images, in particular video images, using adaptive multiplicative filters. The efficiency of the filtering operation is improved by limiting the allowed values of the filter coefficients to those that have only a limited number of "ones" in binary representation.

Обратите внимание, что эта спецификация предоставляет объяснения для изображений (кадров), но поля заменяются изображениями в случае сигнала чересстрочного изображения.Note that this specification provides explanations for images (frames), but fields are replaced by images in the case of an interlaced image signal.

Хотя варианты осуществления изобретения были в основном описаны на основе кодирования видео, следует отметить, что варианты осуществления кодера 100 и декодера 200 (и, соответственно, системы 300) также могут быть выполнены с возможностью обработки или кодирования неподвижных изображений, то есть, обработки или кодирования отдельного изображения независимо от любого предшествующего или последующего изображения, как при кодировании видео. В общем, если кодирование обработки изображения ограничено одним изображением 101, то в этом случае не являются доступными только внешняя оценка 142, внешнее предсказание 144, 242. Большинство, если не все другие функции (также называемые инструментами или технологиями) видеокодера 100 и видеодекодера 200 могут в равной степени использоваться для неподвижных изображений, например, для разделения, преобразования (масштабирования) 106, квантования 108, обратного квантования 110, обратного преобразования 112, внутренней оценки 142, внутреннего предсказания 154, 254 и/или контурного фильтра 120, 220 и энтропийного кодирования 170 и энтропийного декодирования 204.Although embodiments of the invention have been primarily described in terms of video encoding, it should be noted that embodiments of encoder 100 and decoder 200 (and system 300, respectively) can also be configured to process or encode still pictures, i.e., process or encode a single image, independent of any preceding or subsequent image, as in video encoding. In general, if image processing coding is limited to a single image 101, then only extrinsic estimate 142, extrinsic prediction 144, 242 are not available in that case. equally usable for still pictures, e.g. for splitting, transforming (scaling) 106, quantizing 108, inverse quantizing 110, inverse transform 112, internal estimation 142, intra prediction 154, 254 and/or loop filter 120, 220 and entropy coding 170 and entropy decoding 204.

Везде, где варианты осуществления и описание относятся к термину «память», термин «память» следует понимать и/или должен содержать магнитный диск, оптический диск, твердотельный накопитель (solid state drive, SSD), постоянное запоминающее устройство (Read- Only Memory, ROM), память с произвольным доступом (Random Access Memory, RAM), флэш-накопитель USB или любой другой подходящий тип памяти, если явно не указано иное.Wherever the embodiments and description refer to the term "memory", the term "memory" should be understood and/or should include magnetic disk, optical disk, solid state drive (SSD), read-only memory, ROM), Random Access Memory (RAM), USB flash drive, or any other suitable type of memory unless otherwise noted.

Везде, где варианты осуществления и описание относятся к термину «сеть», термин «сеть» должен пониматься и/или должен содержать любой вид беспроводной или проводной сети, такой как локальная сеть (Local Area Network, LAN), глобальная беспроводная локальная сеть (Wireless LAN, WLAN), сеть (Wide Area Network, WAN), Ethernet, интернет, мобильные сети и т.д., если явно не указано иное.Wherever the embodiments and description refer to the term "network", the term "network" shall be understood and/or shall include any kind of wireless or wired network, such as Local Area Network (LAN), Wide Area Network (Wireless LAN, WLAN), network (Wide Area Network, WAN), Ethernet, Internet, mobile networks, etc., unless otherwise specified.

Специалист в данной области техники поймет, что «блоки» («блоки» или «модули») на различных чертежах (способах и устройствах) представляют или описывают функциональные возможности вариантов осуществления изобретения (а не обязательно отдельные «блоки» в аппаратных средствах или программном обеспечении) и, таким образом, в равной степени описывают функции или признаки вариантов осуществления устройства, а также вариантов осуществления способа (блок = этапу).One skilled in the art will appreciate that the "blocks" ("blocks" or "modules") in the various drawings (methods and devices) represent or describe the functionality of embodiments of the invention (and not necessarily individual "blocks" in hardware or software). ) and thus equally describe the functions or features of device embodiments as well as method embodiments (block = step).

Терминология «блоки» используется просто для иллюстративных целей функциональных возможностей вариантов осуществления кодера/декодера и не предназначена для ограничения настоящего изобретения.The terminology "blocks" is used merely for illustrative purposes of the functionality of encoder/decoder embodiments and is not intended to limit the present invention.

В нескольких вариантах осуществления, представленных в настоящем изобретении, следует понимать, что раскрытые система, устройство и способ могут быть реализованы другими способами. Например, описанный вариант осуществления устройства является просто примерным. Например, разделение на блоки является просто разделением логических функций и может быть другим разделением в реальной реализации. Например, множество блоков или компонентов могут быть объединены или интегрированы в другую систему, или некоторые функции могут игнорироваться или не выполняться. Дополнительно, отображаемые или обсуждаемые взаимные связи или прямые связи или коммуникационные соединения могут быть реализованы с использованием некоторых интерфейсов. Непрямые связи или коммуникационные соединения между устройствами или блоками могут быть реализованы в электронной, механической или других формах.In several embodiments presented in the present invention, it should be understood that the disclosed system, device and method can be implemented in other ways. For example, the device embodiment described is merely exemplary. For example, the division into blocks is simply a division of logical functions and may be another division in the actual implementation. For example, many blocks or components may be combined or integrated into another system, or certain functions may be ignored or not performed. Additionally, displayed or discussed reciprocal links or direct links or communication connections can be implemented using some interfaces. Indirect connections or communication connections between devices or units may be implemented in electronic, mechanical or other forms.

Блоки, описанные как отдельные части, могут быть или не могут быть физически отдельными, и части, отображаемые как блоки, могут быть или не быть физическими блоками, могут быть расположены в одной позиции или могут быть распределены по множеству сетевых блоков. Некоторые или все блоки могут быть выбраны в соответствии с фактическими потребностями для достижения целей решений вариантов осуществления.Blocks described as separate parts may or may not be physically separate, and parts displayed as blocks may or may not be physical blocks, may be located in the same position, or may be distributed over multiple network blocks. Some or all of the blocks may be selected according to actual needs in order to achieve the goals of the solutions of the embodiments.

Дополнительно, функциональные блоки в вариантах осуществления изобретения могут быть интегрированы в один блок обработки, или каждый из блоков может существовать отдельно физически, или два или более блоков объединены в один блок.Additionally, functional blocks in embodiments of the invention may be integrated into a single processing unit, or each of the units may exist separately physically, or two or more units may be combined into one unit.

Варианты осуществления изобретения могут дополнительно содержать устройство, например, кодер и/или декодер, которое содержит схему обработки, выполненную с возможностью выполнять любой из способов и/или процессов, описанных в данном документе.Embodiments of the invention may further comprise an apparatus, such as an encoder and/or decoder, that includes a processing circuit configured to perform any of the methods and/or processes described herein.

Варианты осуществления кодера 100 и/или декодера 200 могут быть реализованы как аппаратное обеспечение, встроенное программное обеспечение, программное обеспечение или любая их комбинация. Например, функциональность кодера/кодирования или декодера/декодирования может выполняться схемой обработки с встроенным программным обеспечением или программным обеспечением или без них, например процессором, микроконтроллером, процессором цифровых сигналов (digital signal processor, DSP), программируемой пользователем вентильной матрицей (field programmable gate array, FPGA), специализированной интегральной схемой (application-specific integrated circuit, ASIC) или тому подобное.Embodiments of encoder 100 and/or decoder 200 may be implemented as hardware, firmware, software, or any combination thereof. For example, encoder/encoder or decoder/decoder functionality may be performed by a processing circuit with or without firmware or software, such as a processor, microcontroller, digital signal processor (DSP), field programmable gate array , FPGA), application-specific integrated circuit (ASIC), or the like.

Функциональные возможности кодера 100 (и соответствующего способа 100 кодирования) и/или декодера 200 (и соответствующего способа 200 декодирования) могут быть реализованы с помощью программных инструкций, сохраненных на машиночитаемом носителе. Программные инструкции при исполнении побуждают схему обработки, компьютер, процессор и т.п. выполнять этапы способов кодирования и/или декодирования. Машиночитаемый носитель может быть любым носителем, включающий в себя энергонезависимый носитель, на котором хранится программа, например, диск Blu-ray, DVD, CD, USB (флэш-накопитель), жесткий диск, серверное хранилище, доступное через сеть и т.д.The functionality of encoder 100 (and corresponding encoding method 100) and/or decoder 200 (and corresponding decoding method 200) may be implemented using program instructions stored on a computer-readable medium. Program instructions, when executed, cause a processing circuit, a computer, a processor, or the like. perform steps of encoding and/or decoding methods. The computer-readable medium may be any medium including a non-volatile medium on which a program is stored, such as a Blu-ray disc, DVD, CD, USB (flash drive), hard disk, server storage accessible via a network, etc.

Вариант осуществления изобретения содержит или представляет собой компьютерную программу, содержащую программный код для выполнения любого из описанных здесь способов, при исполнении на компьютере.An embodiment of the invention comprises or is a computer program containing program code for performing any of the methods described herein when executed on a computer.

Вариант осуществления изобретения содержит или представляет собой машиночитаемый носитель, содержащий программный код, который при исполнении процессором, побуждает компьютерную систему выполнять любой из описанных в настоящем документе способов.An embodiment of the invention comprises or is a computer-readable medium containing program code that, when executed by a processor, causes a computer system to perform any of the methods described herein.

Вариант осуществления изобретения содержит или представляет собой набор микросхем, выполняющий любой из описанных в настоящем документе способов.An embodiment of the invention comprises or is a chipset that performs any of the methods described herein.

ПЕРЕЧЕНЬ ССЫЛОЧНЫХ ПОЗИЦИЙLIST OF REFERENCES

100 кодер100 encoder

102 ввод (например, порт ввода, входной интерфейс)102 input (such as input port, input interface)

103 блок изображения103 image block

104 вычисление остаточной величины [блок или этап]104 calculation of residual value [block or step]

105 остаточный блок105 residual block

106 преобразование (например, дополнительно содержащее масштабирование) [блок или этап]106 transformation (eg, further comprising scaling) [block or step]

107 преобразованные коэффициенты107 converted odds

108 квантование [блок или этап]108 quantize [block or step]

109 квантованные коэффициенты109 quantized coefficients

110 обратное квантование [блок или этап]110 inverse quantization [block or step]

111 деквантованные коэффициенты111 dequantized coefficients

112 обратное преобразование (например, дополнительно содержащее масштабирование) [блок или этап]112 inverse transform (eg, additionally containing scaling) [block or step]

113 обратно преобразованный блок113 back converted block

114 восстановление [блок или этап]114 recovery [block or stage]

115 восстановленный блок115 restored block

116 (линейный) буфер [блок или этап]116 (linear) buffer [block or stage]

117 опорные выборки117 reference samples

120 контурный фильтр [блок или этап]120 loop filter [block or stage]

121 отфильтрованный блок121 filtered blocks

130 буфер декодированных изображений (Decoded picture buffer, DPB) [блок или этап]130 Decoded picture buffer (DPB) [block or step]

142 внешняя оценка (или внешняя оценка изображения) [блок или этап]142 external evaluation (or external image evaluation) [block or step]

143 параметры внешней оценки (например, опорное изображение/индекс опорного изображения, вектор движения/смещение)143 external evaluation parameters (e.g. reference picture/reference picture index, motion vector/displacement)

144 внешнее предсказание (или внешнее предсказание изображения) [блок или этап]144 inter-prediction (or inter-picture prediction) [block or step]

145 блок внешнего предсказания145 inter prediction block

152 внутренняя оценка (или внутренняя оценка изображения) [блок или этап]152 internal evaluation (or internal image evaluation) [block or step]

153 параметры внутреннего предсказания (например, режим внутреннего предсказания)153 intra prediction parameters (such as intra prediction mode)

154 внутреннее предсказание (внутреннее предсказание кадра/изображения) [блок или этап]154 intra prediction (frame/picture intra prediction) [block or step]

155 блок внутреннего предсказания155 intra prediction block

162 выбор режима [блок или этап]162 mode selection [block or step]

165 блок предсказания (либо блок 145 внешнего предсказания, либо блок 155 внутреннего предсказания)165 prediction block (either inter prediction block 145 or intra prediction block 155)

170 энтропийное кодирование [блок или этап]170 entropy coding [block or step]

171 данные закодированного изображения (например, битовый поток)171 encoded image data (e.g. bitstream)

172 вывод (порт вывода, выходной интерфейс)172 output (output port, output interface)

200 декодер200 decoder

202 ввод (порт/интерфейс)202 input (port/interface)

204 энтропийное декодирование204 entropy decoding

209 квантованные коэффициенты209 quantized coefficients

210 обратное квантование210 inverse quantization

211 деквантованные коэффициенты211 dequantized coefficients

212 обратное преобразование (масштабирование)212 inverse transformation (scaling)

213 обратно преобразованный блок213 back converted block

214 восстановление (блок)214 recovery (block)

215 восстановленный блок215 restored block

216 (линейный) буфер216 (linear) buffer

217 опорные выборки217 reference samples

220 контурный фильтр (в контурном фильтре)220 loop filter (in loop filter)

221 отфильтрованный блок221 filtered blocks

230 буфер декодированных изображений (Decoded picture buffer, DPB)230 Decoded picture buffer (DPB)

231 декодированное изображение231 decoded pictures

232 вывод (порт/интерфейс)232 pin (port/interface)

244 внешнее предсказание (внешнее предсказание изображения/кадра)244 inter-prediction (inter-picture/frame prediction)

245 блок внешнего предсказания245 inter prediction block

254 внутреннее предсказание (внутреннее предсказание изображения/кадра)254 intra prediction (image/frame intra prediction)

255 блок внутреннего предсказания255 intra prediction block

260 выбор режима260 mode selection

265 блок предсказания (блок 245 внешнего предсказания или блок 255 внутреннего предсказания)265 prediction block (inter prediction block 245 or intra prediction block 255)

300 система кодирования300 coding system

310 устройство источника310 source device

312 изображение источника312 source image

313 (необработанные) данные изображения313 (raw) image data

314 препроцессор/блок предварительной обработки314 preprocessor/preprocessor

315 данные предварительно обработанного изображения315 preprocessed image data

318 блок/интерфейс связи318 block/communication interface

320 устройство назначения320 destination device

322 блок/интерфейс связи322 communication block/interface

326 постпроцессор/блок постобработки326 postprocessor/postprocessor

327 данные постобработанного изображения327 post-processed image data

328 устройство/блок отображения328 device/display unit

330 данные переданных/принятых/сообщенных (закодированных) изображений330 transmitted/received/reported (encoded) image data

Claims (37)

1. Устройство фильтрации набора выборок (115; 215) изображения с использованием фильтра (120; 220) с адаптивными коэффициентами множителя, представленными целыми числами, содержащее схему обработки, выполненную с возможностью1. A device for filtering a set of samples (115; 215) of an image using a filter (120; 220) with adaptive multiplier coefficients represented by integers, containing a processing circuit configured to определения значения каждого коэффициента множителя фильтра (120; 220) так, что оно находится в пределах набора допустимых значений, при этом двоичное представление абсолютного значения упомянутого каждого коэффициента множителя с заранее определенным количеством L цифр включает в себя по меньшей мере один «ноль», иdetermining the value of each filter multiplier coefficient (120; 220) so that it is within the set of allowed values, wherein the binary representation of the absolute value of said each multiplier coefficient with a predetermined number L of digits includes at least one "zero", and осуществления фильтрации набора выборок (115; 215) изображения с помощью фильтра (120; 220).filtering the set of samples (115; 215) of the image using the filter (120; 220). 2. Устройство по п.1, в котором максимальное абсолютное значение набора ограничено заданным максимальным значением N_max.2. The apparatus of claim 1, wherein the maximum absolute value of the set is limited to a predetermined maximum value N _max . 3. Устройство по п.1 или 2, в котором двоичное представление абсолютного значения упомянутого каждого коэффициента множителя включает в себя не более двух «единиц» или двоичное представление абсолютного значения упомянутого каждого коэффициента множителя включает в себя не более одной «единицы».3. The apparatus of claim 1 or 2, wherein the binary representation of the absolute value of said each multiplier factor includes at most two "ones", or the binary representation of the absolute value of said each multiplier factor includes at most one "one". 4. Устройство по п.1 или 2, в котором 4. The device according to claim 1 or 2, in which схема обработки дополнительно выполнена с возможностью группировки коэффициентов множителя упомянутого фильтра (120; 220) по меньшей мере в две группы, иthe processing circuit is additionally configured to group the multiplier coefficients of said filter (120; 220) into at least two groups, and коэффициенты множителя одной из групп ограничены упомянутым набором допустимых значений; при этомthe multiplier coefficients of one of the groups are limited by the mentioned set of allowable values; wherein коэффициенты множителя другой одной из упомянутых групп могут принимать все значения в пределах диапазона, определенного заданным максимумом абсолютного значения.the coefficients of the multiplier of the other one of the mentioned groups can take on all values within the range defined by the given maximum of the absolute value. 5. Устройство по п.1 или 2, в котором набор выборок изображения представляет собой набор выборок (115; 215) видеоизображения.5. The apparatus of claim 1 or 2, wherein the set of image samples is a set of video samples (115; 215). 6. Устройство по п.5, в котором упомянутое устройство выполнено с возможностью индивидуальной адаптации коэффициентов множителя для каждого изображения и каждого пикселя.6. The device according to claim 5, wherein said device is configured to individually adapt the multiplier coefficients for each image and each pixel. 7. Способ фильтрации набора выборок (115; 215) изображения с использованием фильтра (120; 220) с адаптивными коэффициентами множителя, представленными целыми числами, содержащий этапы, на которых:7. A method for filtering a set of samples (115; 215) of an image using a filter (120; 220) with adaptive multiplier coefficients represented by integers, comprising the steps of: определяют (S80; S92, S94) значение каждого коэффициента множителя фильтра (120; 220) так, что оно находится в пределах набора допустимых значений, при этом двоичное представление абсолютного значения упомянутого каждого коэффициента множителя с заданным количеством L цифр включает в себя по меньшей мере один «ноль», иdetermine (S80; S92, S94) the value of each filter multiplier coefficient (120; 220) so that it is within the set of valid values, while the binary representation of the absolute value of said each multiplier coefficient with a given number L of digits includes at least one "zero", and осуществляют фильтрацию (S82; S96) набора выборок (115; 215) изображения с помощью фильтра (120; 220).performing filtering (S82; S96) of the set of samples (115; 215) of the image using the filter (120; 220). 8. Устройство кодирования текущего набора выборок (103) изображения, включающего в себя множество пикселей, содержащее:8. A device for encoding the current set of samples (103) of an image, including a plurality of pixels, containing: кодер с декодером (110, 112, 114) для восстановления текущего набора, иan encoder with a decoder (110, 112, 114) to restore the current set, and устройство по любому из пп.1-6 для фильтрации восстановленного набора (115).a device according to any one of claims 1 to 6 for filtering the recovered set (115). 9. Устройство по п.8, дополнительно содержащее схему обработки, выполненную с возможностью9. The apparatus of claim 8, further comprising a processing circuit configured to отображения значения коэффициентов множителя на двоичные кодовые слова; иdisplaying the value of the coefficients of the multiplier on the binary code words; and добавления кодовых слов в битовый поток (330) для передачи на устройство (200) декодирования; при этомadding code words to the bit stream (330) for transmission to the decoding device (200); wherein длина упомянутых кодовых слов зависит от количества различных значений коэффициента множителя.the length of said codewords depends on the number of different values of the multiplier. 10. Устройство по п.9, в котором схема обработки дополнительно выполнена с возможностью10. The apparatus of claim 9, wherein the processing circuitry is further configured to выполнения предсказания коэффициентов множителя фильтра (120); иperforming prediction of the coefficients of the filter multiplier (120); and определения коэффициентов остаточного множителя посредством сравнения фактически определенных значений с предсказанными значениями, полученными в результате предсказания, при этом отображение на двоичные кодовые слова применяется к остаточным коэффициентам множителя; при этомdetermining coefficients of the residual multiplier by comparing the actually determined values with the predicted values obtained as a result of the prediction, wherein the mapping to binary codewords is applied to the residual coefficients of the multiplier; wherein схема обработки дополнительно выполнена с возможностью генерирования информации управления предсказания и добавления информации управления предсказания в битовый поток (330).the processing circuit is further configured to generate prediction control information and add prediction control information to the bitstream (330). 11. Устройство декодирования кодированного текущего набора выборок (171) изображения, включающего в себя множество пикселей, содержащее:11. The device for decoding the encoded current set of samples (171) of the image, including a plurality of pixels, containing: декодер (204, 210, 212, 214) для восстановления текущего набора, иdecoder (204, 210, 212, 214) to restore the current set, and устройство по любому из пп.1-6 для фильтрации восстановленного набора (215).device according to any one of claims 1-6 for filtering the recovered set (215). 12. Устройство по п.11, в котором упомянутая схема обработки дополнительно выполнена с возможностью получения коэффициентов множителя из двоичных кодовых слов, включенных в принятый битовый поток (330), посредством применения операции отображения; при этом12. The apparatus of claim 11, wherein said processing circuit is further configured to obtain multiplier coefficients from binary codewords included in the received bitstream (330) by applying a mapping operation; wherein упомянутые полученные коэффициенты множителя являются остаточными коэффициентами множителя, представляющими разность между фактическими значениями коэффициентов и коэффициентами множителя, предсказанными согласно схеме предсказания; аsaid obtained multiplier coefficients are residual multiplier coefficients representing the difference between the actual coefficient values and the multiplier coefficients predicted according to the prediction scheme; a схема обработки выполнена с возможностью определения значения коэффициентов множителя фильтра (220) посредством их восстановления из полученных остаточных коэффициентов множителя.the processing circuit is configured to determine the value of the coefficients of the filter multiplier (220) by reconstructing them from the obtained residual coefficients of the multiplier. 13. Устройство по п.12, в котором13. The device according to claim 12, in which схема предсказания указывается информацией управления предсказания, дополнительно включенной в принятый битовый поток (330); при этомthe prediction scheme is indicated by prediction control information further included in the received bitstream (330); wherein схема обработки выполнена с возможностью, дополнительно, использования информации управления предсказания при восстановлении.the processing circuit is configured to further use the prediction control information in the recovery. 14. Устройство по п.12 или 13, в котором этап определения, с помощью схемы обработки, дополнительно включает в себя14. The device according to claim 12 or 13, wherein the step of determining, using the processing circuit, further includes выполнение определения, находится ли определенное значение каждого коэффициента множителя, полученное непосредственно из принятого битового потока (330), посредством операции отображения или посредством восстановления из полученных остаточных коэффициентов множителя, в пределах набора допустимых значений; и, если нет,determining whether a determined value of each multiplier obtained directly from the received bitstream (330) by a mapping operation or by recovering from the obtained residual multiplier coefficients is within a set of allowable values; and if not, преобразование определенного значения в ближайшее значение, находящееся в наборе допустимых значений.converting a specified value to the closest value in the set of valid values.

Images