RU2772313C2 - Method and apparatus for filtering images with adaptive multiplier coefficients - Google Patents
Method and apparatus for filtering images with adaptive multiplier coefficients Download PDFInfo
- Publication number
- RU2772313C2 RU2772313C2 RU2020133183A RU2020133183A RU2772313C2 RU 2772313 C2 RU2772313 C2 RU 2772313C2 RU 2020133183 A RU2020133183 A RU 2020133183A RU 2020133183 A RU2020133183 A RU 2020133183A RU 2772313 C2 RU2772313 C2 RU 2772313C2
- Authority
- RU
- Russia
- Prior art keywords
- coefficients
- multiplier
- filter
- image
- block
- Prior art date
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 59
- 230000003044 adaptive Effects 0.000 title claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 230000003068 static Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000000875 corresponding Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 23
- 238000000034 method Methods 0.000 description 14
- 239000000203 mixture Substances 0.000 description 11
- 230000001131 transforming Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 229910003460 diamond Inorganic materials 0.000 description 8
- 239000010432 diamond Substances 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003287 optical Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003190 augmentative Effects 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 210000002381 Plasma Anatomy 0.000 description 1
- 230000002457 bidirectional Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed Effects 0.000 description 1
- 230000001419 dependent Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Abstract
Description
Варианты осуществления изобретения относятся к области обработки изображений, например к кодированию видеоизображений и/или статических изображений. Предоставляются новые способы и устройства для фильтрации изображений с помощью фильтра, имеющего коэффициенты множителя адаптивного фильтра.Embodiments of the invention relate to the field of image processing, such as encoding video and/or still images. New methods and apparatus are provided for filtering images with a filter having adaptive filter multiplier coefficients.
Уровень техникиState of the art
Кодирование видео (кодирование и декодирование видео) используется в широком диапазоне приложений цифрового видео, например, в широковещательном цифровом телевидении, передаче видео через интернет и мобильные сети, в диалоговых приложениях в реальном времени, таких как видеочат, видеоконференцсвязь, DVD и Blu- Ray диски, системы сбора и редактирования видеоконтента и видеокамеры приложений безопасности.Video encoding (video encoding and decoding) is used in a wide range of digital video applications, such as digital television broadcast, video transmission over the Internet and mobile networks, real-time conversational applications such as video chat, video conferencing, DVD and Blu-ray discs. , video content collection and editing systems and video camera security applications.
С момента разработки в 1990 году блочного гибридного подхода к кодированию видео в стандарте H.261 были внедрены новые способы и инструменты кодирования видео, которые легли в основу новых стандартов кодирования видео. Одной из задач большинства стандартов кодирования видео было снижение скорости передачи данных по сравнению с его предшествующим стандартом без ущерба качества изображения. Дополнительные стандарты кодирования видео содержат MPEG-1 видео, MPEG-2 видео, ITU-T H.262/MPEG-2, ITU-T H.263, ITU-T H.264/MPEG-4, часть 10, усовершенствованное кодирование видео (Advanced Video Coding, AVC), ITU-T H.265, высокоэффективное кодирование видео (High Efficiency Video Coding, HEVC) и расширения, например, масштабируемость и/или трехмерные (three-dimensional, 3D) расширения этих стандартов.Since the development of the block hybrid approach to video coding in H.261 in 1990, new video coding methods and tools have been introduced, which form the basis of new video coding standards. One of the goals of most video coding standards was to reduce the bit rate compared to its predecessor standard without sacrificing image quality. Additional video coding standards include MPEG-1 video, MPEG-2 video, ITU-T H.262/MPEG-2, ITU-T H.263, ITU-T H.264/MPEG-4 Part 10 Advanced Video Coding (Advanced Video Coding, AVC), ITU-T H.265, High Efficiency Video Coding (HEVC) and extensions such as scalability and/or three-dimensional (3D) extensions of these standards.
На фиг.1 показана блок-схема, иллюстрирующая вариант осуществления системы 300 кодирования, которая будет описана более подробно ниже.1 is a block diagram illustrating an embodiment of an
Фиг.2 представляет собой блок-схему, показывающую примерную структуру видеокодера, в котором может быть реализовано изобретение, и который также будет описан более подробно ниже.2 is a block diagram showing an exemplary structure of a video encoder in which the invention may be implemented, and which will also be described in more detail below.
В частности, проиллюстрированный кодер 100 включает в себя «контурный фильтр» 120, в котором может применяться операция фильтрации согласно изобретению. Однако, в более общем смысле, операция фильтрации применима в других местах кодека, например, в интерполяционном фильтре. Еще в более широком смысле изобретение применимо не только к видео, но также и к кодированию статических изображений.In particular, the illustrated encoder 100 includes a "loop filter" 120 in which the filtering operation of the invention may be applied. However, more generally, the filtering operation is applicable elsewhere in the codec, such as in an interpolation filter. In an even broader sense, the invention is applicable not only to video, but also to the encoding of still images.
Фиг.3 является блок-схемой, показывающей примерную структуру видеодекодера, в котором может быть реализовано изобретение, и который также будет описан более подробно ниже. В частности, изобретение применимо, например, в контурном фильтре 220.3 is a block diagram showing an exemplary structure of a video decoder in which the invention may be implemented, and which will also be described in more detail below. In particular, the invention is applicable, for example, in the
Далее будет обобщена некоторая справочная информация об адаптивной фильтрации.In the following, some background information about adaptive filtering will be summarized.
Адаптивная фильтрация для кодирования видео служит для минимизации среднеквадратической ошибки между оригинальными и декодированными выборками с помощью адаптивного фильтра Винера. В частности, предлагаемый адаптивный контурный фильтр (Adaptive Loop Filter, ALF) находится на последнем этапе обработки каждого изображения и может рассматриваться как инструмент для обнаружения и исправления артефактов предшествующих этапов. Подходящие коэффициенты фильтра определяются кодером и явно сообщаются декодеру.Adaptive filtering for video coding serves to minimize the mean square error between the original and decoded samples using an adaptive Wiener filter. In particular, the proposed adaptive loop filter (ALF) is at the last stage of processing each image and can be considered as a tool for detecting and correcting artifacts of previous stages. Suitable filter coefficients are determined by the encoder and explicitly communicated to the decoder.
Общая информация об адаптивной фильтрации изложена в статье «Адаптивная контурная фильтрация для кодирования видео» Chia-Yang Tsai, Ching-Yeh Chen, Tomoo Yamakage, In Suk Chong, Yu-Wen Huang, Chin-Ming Fu, Takayuki Itoh, Takayuki Watanabe, Takeshi Chujoh, Marta Karczewicz и Shaw-Min Lei, опубликованной в: IEEE Journal of Selected Topics in Signal Processing (Volume: 7, Issue: 6, Dec. 2013).For general information about adaptive filtering, see the article "Adaptive Loop Filtering for Video Coding" Chia-Yang Tsai, Ching-Yeh Chen, Tomoo Yamakage, In Suk Chong, Yu-Wen Huang, Chin-Ming Fu, Takayuki Itoh, Takayuki Watanabe, Takeshi Chujoh, Marta Karczewicz, and Shaw-Min Lei, published in: IEEE Journal of Selected Topics in Signal Processing (Volume: 7, Issue: 6, Dec. 2013).
Описание, приведенное в вышеуказанном документе, раскрывает конкретную реализацию операции фильтрации с адаптивными коэффициентами фильтрации. Общие принципы работы можно описать следующим образом.The description given in the above document discloses a specific implementation of a filtering operation with adaptive filter coefficients. The general operating principles can be described as follows.
Как правило, уравнение фильтрации выглядит следующим образом:As a rule, the filtering equation looks like this:
Здесь R (i, j) является выборкой в кадре изображения до фильтрации по координате (i, j).Here R(i, j) is the sample in the image frame before filtering on coordinate (i, j).
R’(i, j) является выборкой в кадре изображения после фильтрации, f (k, l) является коэффициентами фильтра.R'(i, j) is the sample in the image frame after filtering, f(k, l) are the filter coefficients.
На фиг. 4 показан пример ядра фильтра. В этом примере C20 является центральной координатой ядра фильтра (k = 0, l = 0), и L равно 8.In FIG. 4 shows an example of a filter kernel. In this example, C20 is the center coordinate of the filter kernel (k = 0, l = 0) and L is 8.
В этом примере ядро фильтра симметрично относительно центра. Но, в общем, данное утверждение неверно.In this example, the filter kernel is symmetrical about the center. But, in general, this statement is false.
В случае использования целочисленной арифметики уравнение фильтрации можно записать как:In the case of using integer arithmetic, the filtering equation can be written as:
Здесь N является числом сдвига бита выходного сигнала, то есть выходной сигнал делится на коэффициент нормализации. В частности, N может быть заранее определен. «Смещение» является скалярной величиной для компенсации потерь в целочисленной арифметике. В случае сдвига бита на N, смещение может быть 2(N-1). В приведенном выше уравнении коэффициенты f (k, l) фильтрации могут иметь только целые значения, а не дробные. Реализация уравнения фильтрации в соответствии с целочисленной арифметикой важна для обеспечения точной реализации в оборудовании. Операция сдвига вправо «>> N» имеет эффект деления на 2N с последующей операцией округления в меньшую сторону.Here N is the bit shift number of the output signal, that is, the output signal is divided by the normalization factor. In particular, N may be predetermined. "Offset" is a scalar value to compensate for losses in integer arithmetic. In the case of a bit shift by N, the offset can be 2 (N-1) . In the equation above, the filter coefficients f(k, l) can only have integer values, not fractional ones. The implementation of the filtering equation according to integer arithmetic is important to ensure an accurate implementation in hardware. The right shift operation ">>N" has the effect of dividing by 2 N followed by a rounding down operation.
Обычно (но не обязательно) следующее уравнение выполняется, если не требуется изменение среднего уровня освещенности.Usually (but not necessarily) the following equation holds if no change in average light level is required.
В кодере коэффициенты фильтра оцениваются путем минимизации ожидаемого значения ошибки между исходным и отфильтрованным пикселями:In the encoder, the filter coefficients are estimated by minimizing the expected error value between the original and filtered pixels:
В приведенном выше уравнении O (i, j) обозначает выборку исходного изображения.In the equation above, O(i, j) denotes a sample of the original image.
На фиг. 5 показаны некоторые типичные примерные формы фильтров для адаптивных фильтров. На чертеже слева показан ромбовидный фильтр 5×5 (фильтр с 13 отводами с 7 уникальными коэффициентами), на среднем чертеже показан ромбовидный фильтр 7x7 (фильтр с 25 отводами с 13 уникальными коэффициентами) и на чертеже справа показан ромбовидный фильтр 9×9 (фильтр с 41 отводами с 21 уникальными коэффициентами).In FIG. 5 shows some exemplary filter shapes for adaptive filters. The drawing on the left shows a 5×5 diamond filter (13-tap filter with 7 unique coefficients), the middle drawing shows a 7x7 diamond filter (25-tap filter with 13 unique coefficients), and the right drawing shows a 9×9 diamond filter (filter with 41 taps with 21 unique coefficients).
Термин «адаптивная» фильтрация относится к тому факту, что процесс фильтрации может регулироваться кодером. Это касается, например, формы фильтра, размера фильтра, количества коэффициентов фильтрации и значений коэффициентов фильтрации. Эти данные, также известные как «подсказки фильтра», передаются декодеру.The term "adaptive" filtering refers to the fact that the filtering process can be adjusted by the encoder. This concerns, for example, the shape of the filter, the size of the filter, the number of filter coefficients and the values of the filter coefficients. This data, also known as "filter hints", is passed to the decoder.
Адаптивная фильтрация подразумевает решение следующих технических задач при применении к реализациям фильтрации, которые включают в себя умножение, то есть, в которых коэффициенты фильтра являются так называемыми мультипликативными коэффициентами или коэффициентами множителя. Другими словами, следующая техническая задача, которую намеревается решить изобретение, относится к фильтрации с адаптивными коэффициентами фильтра, в котором коэффициенты фильтра, которые используются в операции умножения, могут быть индивидуально адаптированы (изменены). В этой связи индивидуально означает для каждого изображения (изображения, кадра) и/или для каждого пикселя, и/или для каждого коэффициента.Adaptive filtering involves solving the following technical problems when applied to filtering implementations that involve multiplication, that is, in which the filter coefficients are so-called multiplicative coefficients or multiplier coefficients. In other words, the next technical problem that the invention intends to solve relates to filtering with adaptive filter coefficients, in which the filter coefficients that are used in the multiplication operation can be individually adapted (changed). In this regard, individually means for each image (image, frame) and/or for each pixel, and/or for each coefficient.
Техническая задача заключается в том, что реализация операции умножения является дорогостоящей, особенно в специализированных аппаратных реализациях. Применение фильтра требует сравнительно большого числа операций умножения фильтрации (например, 41 умножения на пиксель в случае фильтра в форме ромба 9 × 9, как показано на фиг.4).The technical problem is that the implementation of the multiplication operation is expensive, especially in specialized hardware implementations. Applying the filter requires a relatively large number of filter multiplications (eg, 41 multiplications per pixel in the case of a 9×9 diamond filter as shown in FIG. 4).
Это более подробно проиллюстрировано ниже.This is illustrated in more detail below.
Предположим, мы хотим умножить два беззнаковых восьмибитных целых числа. Коэффициент фильтра равен C и выборка пикселя равна A.Suppose we want to multiply two unsigned eight-bit integers. The filter factor is C and the pixel sampling is A.
Процесс умножения можно разложить на 8 однобитовых умножений, каждое из которых может быть реализовано как операция сдвига бита в двоичной арифметике, и 7 операций сложения, как показано ниже. Следовательно, примерно 1 умножение эквивалентно 7 сложениям.The multiplication process can be decomposed into 8 one-bit multiplications, each of which can be implemented as a bit shift operation in binary arithmetic, and 7 addition operations, as shown below. Therefore, approximately 1 multiplication is equivalent to 7 additions.
Задача заключается в том, что процесс умножения требует большого объема вычислений. Следовательно, реализация на специализированном оборудовании требует больших затрат.The problem is that the multiplication process requires a large amount of calculations. Therefore, implementation on specialized equipment is costly.
Здесь 8-битный беззнаковый коэффициент С фильтра показан в двоичном представлении, где C [0] является младшим битом коэффициента C, и C [7] является старшим битом. Аналогично, A [7], A [6], … A [0] являются битами, соответствующие от старшего бита к младшему биту по порядку. Представлена операция P = C * A в двоичной арифметике, и результат отображается в самой нижней строке.Here, the 8-bit unsigned filter coefficient C is shown in binary, where C[0] is the least significant bit of the coefficient C and C[7] is the most significant bit. Similarly, A[7], A[6], ... A[0] are the bits corresponding from the most significant bit to the least significant bit in order. The operation P = C * A in binary arithmetic is presented, and the result is displayed on the very bottom line.
В примере на фиг.4 ядро фильтра включает в себя 41 отвод фильтра, что означает, что для обработки выборки пикселей необходима 41 операция умножения.In the example of FIG. 4, the filter core includes 41 filter taps, which means that 41 multiplication operations are needed to process the pixel sample.
Следует отметить, что изобретение и описанная выше техническая задача, которую оно решает, конкретно относятся к адаптивной фильтрации с коэффициентами множителя фильтра. Задача не относится к фиксированным фильтрам и, в частности, к операциям фильтрации, использующим несколько фиксированных фильтров.It should be noted that the invention and the technical problem it solves described above specifically relate to adaptive filtering with filter multiplier coefficients. The task does not apply to fixed filters and, in particular, to filtering operations using multiple fixed filters.
Примером использования нескольких фиксированных фильтров является интерполяционная фильтрация для интерполяции на позициях дробных пикселей при внешнем предсказании, что проиллюстрировано на фиг.6.An example of using multiple fixed filters is interpolation filtering for interpolation at fractional pixel positions in inter prediction, as illustrated in FIG.
Многие известные кодеки применяют интерполяционную фильтрацию с использованием фиксированных интерполяционных фильтров. Хотя коэффициенты фильтра фиксированы для фильтра, существует множество фильтров для различных дробных позиций (позиция половины пикселя и четверти пикселя на чертеже). В этом примере весь набор фильтров адаптируется на основе вектора движения, но коэффициенты фильтра индивидуально не адаптируются.Many known codecs apply interpolation filtering using fixed interpolation filters. Although the filter coefficients are fixed per filter, there are many filters for different fractional positions (half pixel position and quarter pixel position in the drawing). In this example, the entire filter bank is adapted based on the motion vector, but the filter coefficients are not individually adapted.
На чертеже большие окружности соответствуют фактическим позициям выборки в изображении, и меньшие окружности представляют собой дробные позиции, которые генерируются применением операции интерполяционной фильтрации. В конкретном примере есть 3 дробных позиции (левая четверть пикселя, половина пикселя и правая четверть пикселя) между двумя фактическими позициями выборки изображения. В левой части чертежа показан интерполяционный фильтр, применяемый для интерполяции позиций полу-пикселя (half-pel). Правая сторона чертежа иллюстрирует интерполяционный фильтр, который будет использоваться для позиций четверти пикселя (quartet-pel). Хотя эти фильтры отличаются друг от друга, каждый интерполяционный фильтр является фиксированным. Как указано, пример на фиг. 6 предоставлен только для иллюстративных целей и не является частью изобретения.In the drawing, the larger circles correspond to the actual sample positions in the image, and the smaller circles represent the fractional positions that are generated by applying the interpolation filtering operation. In the specific example, there are 3 fractional positions (left quarter pixel, half pixel, and right quarter pixel) between two actual image sampling positions. The left side of the figure shows the interpolation filter used to interpolate half-pel positions. The right side of the drawing illustrates the interpolation filter to be used for quartet-pel positions. Although these filters are different, each interpolation filter is fixed. As indicated, the example in FIG. 6 is provided for illustrative purposes only and does not form part of the invention.
Изобретение направлено на обеспечение улучшенной концепции мультипликативной адаптивной фильтрации, которая может упростить операцию умножения и снизить затраты операции умножения.The invention is directed to providing an improved multiplicative adaptive filtering concept that can simplify the multiplication operation and reduce the multiplication operation cost.
Раскрытие сущности изобретенияDisclosure of the essence of the invention
Варианты осуществления изобретения определяются признаками независимых пунктов формулы изобретения, и дополнительные преимущественные реализации вариантов осуществления определены признаками зависимых пунктов формулы изобретения.Embodiments of the invention are defined by the features of the independent claims, and additional advantageous implementations of the embodiments are defined by the features of the dependent claims.
Согласно первому аспекту изобретения обеспечивается устройство фильтрации набора выборок изображения с использованием фильтра с адаптивными коэффициентами множителя, представленными целыми числами. Устройство содержит схему обработки, которая выполнена с возможностью определять значение по меньшей мере одного коэффициента множителя фильтра так, чтобы оно находилось в пределах набора допустимых значений, так что двоичное представление абсолютного значения, по меньшей мере, одного коэффициента множителя с заранее определенным числом L цифр включает в себя по меньшей мере один «ноль» и фильтрует набор выборок изображения с помощью фильтра.According to a first aspect of the invention, there is provided an apparatus for filtering a set of image samples using a filter with adaptive multiplier coefficients represented by integers. The device comprises a processing circuit that is configured to determine the value of at least one filter multiplier factor so that it is within a set of allowable values, so that the binary representation of the absolute value of at least one multiplier factor with a predetermined number L of digits includes into itself at least one "zero" and filters the set of image samples using the filter.
Согласно второму аспекту изобретения обеспечивается способ фильтрации набора выборок изображения с использованием фильтра с адаптивными коэффициентами множителя, представленными целыми числами. Способ содержит этап определения значения по меньшей мере одного коэффициента множителя фильтра так, чтобы оно находилось в пределах набора допустимых значений, так что двоичное представление абсолютного значения по меньшей мере одного коэффициента множителя с заранее определенным числом L цифр включает в себя по меньшей мере один «ноль» и этап фильтрации набора выборок изображения с помощью фильтра.According to a second aspect of the invention, there is provided a method for filtering a set of image samples using a filter with adaptive multiplier coefficients represented by integers. The method comprises the step of determining the value of at least one filter multiplier factor so that it is within the set of allowed values, such that the binary representation of the absolute value of at least one multiplier factor with a predetermined number L of digits includes at least one "zero » and the step of filtering the set of image samples using the filter.
Согласно настоящему раскрытию, набор выборок изображения может, например, быть выборкой видеосигнала или сигнала неподвижного изображения. Схема обработки может быть реализована с помощью любой комбинации программного обеспечения и/или аппаратного обеспечения. Набор допустимых значений может, в частности, быть заранее определенным набором допустимых значений. Как правило, изобретение также применимо к другим наборам выборок сигнала, чем изображения, например, к сигналам, включающим в себя аудиоданные.According to the present disclosure, the set of image samples may, for example, be a video or still image sample. The processing scheme may be implemented using any combination of software and/or hardware. The set of allowed values may in particular be a predefined set of allowed values. Generally, the invention is also applicable to other signal sample sets than images, such as signals including audio data.
Особый подход изобретения состоит в том, чтобы ограничить значения, которые могут быть приняты коэффициентами фильтра адаптивного фильтра множителя, таким образом, что операция умножения упрощается. В частности, допустимые значения коэффициентов фильтра ограничены, так что в пределах заранее определенного количества двоичных цифр для выражения абсолютных значений разрешено только ограниченное количество «единиц». Это позволяет упростить операции умножения для фильтрации и, таким образом, делает операцию фильтрации более эффективной.A particular approach of the invention is to limit the values that can be taken by the filter coefficients of the adaptive multiplier filter, such that the multiplication operation is simplified. In particular, the allowed values of the filter coefficients are limited, so that within a predetermined number of binary digits, only a limited number of "ones" are allowed to express absolute values. This makes it possible to simplify the multiplication operations for filtering and thus makes the filtering operation more efficient.
Как будет показано ниже, чем меньше количество допустимых «единиц» в заранее определенном общем количестве двоичных цифр, тем выше эффективность выполнения операции фильтрации. Например, наилучшего повышения эффективности можно достичь, если любое значение, которое может быть принято значениями коэффициентов, включает в себя только до одной «1», то есть, не более одной «1».As will be shown below, the smaller the number of allowed "ones" in the predetermined total number of binary digits, the more efficient the filtering operation is. For example, the best performance improvement can be achieved if any value that can be taken by the values of the coefficients includes only up to one "1", that is, no more than one "1".
В соответствии с вариантами осуществления наивысшее абсолютное значение набора допустимых значений ограничено заранее определенным максимальным значением Nmax.In accordance with embodiments, the highest absolute value of the set of allowable values is limited to a predetermined maximum value N max .
В соответствии с вариантами осуществления двоичное представление абсолютного значения, по меньшей мере, одного коэффициента множителя включает в себя не более двух «единиц». Более конкретно, двоичное представление абсолютного значения, по меньшей мере, одного коэффициента множителя включает в себя не более одной «единицы». Как указано выше и как будет подробно описано ниже, упрощение выполнения операции умножения для фильтрации и, таким образом, повышение эффективности обработки тем выше, чем больше нулей (следовательно: чем меньше единиц) имеется в двоичном представлении допустимых значений коэффициента. Таким образом, наиболее эффективным случаем является тот, в котором есть только одна «единица», тогда как, например, две разрешенные «единицы» по-прежнему дают хороший результат. Конечно, то, что приносит пользу, во многом зависит от деталей ситуации, и, в частности, для больших фильтров также может оказаться полезным наличие трех или более «единиц».In accordance with embodiments, the binary representation of the absolute value of at least one multiplier factor includes no more than two "ones". More specifically, the binary representation of the absolute value of at least one multiplier includes at most one "one". As mentioned above and as will be described in detail below, the simplification of the multiplication operation for filtering, and thus the increase in processing efficiency, is greater the more zeros (hence: the fewer ones) there are in the binary representation of the allowable coefficient values. So the most efficient case is one where there is only one "one", while for example two allowed "ones" still give a good result. Of course, what is beneficial depends a lot on the details of the situation, and large filters in particular can also benefit from having three or more "ones".
Как правило, набор допустимых значений применим, по меньшей мере, к одному коэффициенту множителя фильтра.Typically, the set of allowable values applies to at least one filter multiplier.
В соответствии с вариантами осуществления набор допустимых значений применяется ко всем коэффициентам множителя фильтра.According to embodiments, the set of allowable values applies to all filter multiplier coefficients.
В соответствии с альтернативными вариантами осуществления коэффициенты множителя дополнительно группируются, по меньшей мере, в две группы, и коэффициенты множителя одной из групп ограничиваются набором допустимых значений. Коэффициенты множителя в другой группе или группах могут, например, принимать все значения в пределах заранее определенного диапазона или могут быть ограничены в соответствии с другими заранее определенными правилами. Более конкретно, коэффициенты множителя другой одной из групп, например, могут принимать все значения в пределах диапазона, определенного заранее определенным максимумом абсолютного значения.In accordance with alternative embodiments, the multiplier coefficients are further grouped into at least two groups, and the multiplier coefficients of one of the groups are limited to a set of allowable values. The multiplier coefficients in another group or groups may, for example, take on all values within a predetermined range, or may be limited according to other predetermined rules. More specifically, the multiplier coefficients of another one of the groups, for example, may take on all values within a range defined by a predetermined maximum absolute value.
В соответствии с вариантами осуществления, набор выборок изображения означает набор выборок видеоизображения. Более конкретно, устройство может быть выполнено с возможностью индивидуальной адаптации коэффициентов множителя для каждого изображения и каждого пикселя.According to embodiments, a set of image samples means a set of video samples. More specifically, the device may be configured to individually adapt multiplier factors for each image and each pixel.
В соответствии с дополнительным конкретным аспектом изобретения обеспечивается устройство для кодирования текущего набора выборок изображения, включающего в себя множество пикселей. Устройство содержит кодер с декодером для восстановления текущего набора и устройство согласно первому аспекту изобретения для фильтрации восстановленного набора.In accordance with a further specific aspect of the invention, an apparatus is provided for encoding a current set of image samples including a plurality of pixels. The apparatus comprises an encoder with a decoder for recovering the current set and an apparatus according to the first aspect of the invention for filtering the recovered set.
В соответствии с вариантами осуществления упомянутое устройство кодирования дополнительно содержит схему обработки, которая выполнена с возможностью отображать значения коэффициентов множителя на двоичные кодовые слова и добавлять кодовые слова в битовый поток для передачи в устройство декодирования.According to embodiments, said encoder further comprises a processing circuit that is configured to map multiplier values to binary codewords and add codewords to a bitstream for transmission to a decoder.
Более конкретно, длина кодовых слов зависит от количества различных значений коэффициента множителя. Другими словами, существует столько кодовых слов, сколько возможных значений коэффициентов фильтра. Отображение кодового слова на значение (которое является отображением «один-к-одному») может быть фиксированным отображением или может изменяться в зависимости от переданной дополнительной информации.More specifically, the length of the codewords depends on the number of different values of the multiplier. In other words, there are as many codewords as there are possible filter coefficient values. The codeword-to-value mapping (which is a one-to-one mapping) may be a fixed mapping or may vary depending on the side information transmitted.
В соответствии с вариантами осуществления схема обработки дополнительно выполнена с возможностью выполнять предсказание коэффициентов множителя фильтра и определять остаточные коэффициенты множителя путем сравнения фактически определенных значений с предсказанными значениями, полученными в результате предсказания. Затем применяется отображение двоичных кодовых слов на остаточные коэффициенты множителя. В этом случае информация управления предсказания может быть дополнительно включена в битовый поток, чтобы устройство декодирования, принимающее битовый поток, знало о применяемом способе предсказания и могло восстанавливать коэффициенты множителя фильтра из закодированных остаточных коэффициентов множителя. В качестве альтернативы применяемый способ предсказания может быть заранее определен, следовательно, применяться таким же образом в кодере и декодере без какой-либо переданной дополнительной информации. Возможные способы предсказания могут включать в себя, но не ограничиваются этим, предсказание с использованием заданных предикторов фильтра и предсказание на основе ранее сообщенных коэффициентов фильтра. Поскольку значения остаточных коэффициентов фильтра, выражающие разницу между фактическим коэффициентом фильтрации и соответствующим предсказанным коэффициентом фильтра, обычно меньше по абсолютной величине, чем фактические коэффициенты, количество и, следовательно, размер кодовых слов могут быть меньше, что дополнительно уменьшает объем сигнализируемой информации в декодер.According to embodiments, the processing circuitry is further configured to perform prediction of the filter multiplier coefficients and determine the residual coefficients of the multiplier by comparing the actually determined values with the predicted values resulting from the prediction. The mapping of the binary codewords to the residual coefficients of the multiplier is then applied. In this case, prediction control information may be further included in the bitstream so that the decoder receiving the bitstream is aware of the prediction method being used and can recover the filter multiplier coefficients from the encoded residual multiplier coefficients. Alternatively, the applied prediction method may be predetermined, hence applied in the same way in the encoder and decoder without any additional information transmitted. Possible prediction methods may include, but are not limited to, prediction using predetermined filter predictors and prediction based on previously reported filter coefficients. Since the values of the residual filter coefficients, expressing the difference between the actual filter coefficient and the corresponding predicted filter coefficient, are usually smaller in absolute value than the actual coefficients, the number and hence the size of codewords can be smaller, which further reduces the amount of signaled information to the decoder.
В качестве альтернативы отображение коэффициентов множителя на кодовые слова для включения в битовый поток, может выполняться на коэффициентах множителя, определенных согласно первому аспекту изобретения, без выполнения обработки предсказания.Alternatively, the mapping of the multiplier coefficients to codewords for inclusion in the bitstream may be performed on the multiplier coefficients determined according to the first aspect of the invention without performing prediction processing.
В соответствии с еще одним дополнительным аспектом изобретения обеспечивается устройство для декодирования текущего кодированного набора выборок изображения, включающего в себя множество пикселей. Устройство содержит декодер для восстановления текущего набора и устройство согласно первому аспекту изобретения для фильтрации восстановленного набора.In accordance with another additional aspect of the invention, an apparatus is provided for decoding a current encoded set of image samples including a plurality of pixels. The apparatus comprises a decoder for recovering the current set and an apparatus according to the first aspect of the invention for filtering the recovered set.
В соответствии с вариантами осуществления схема обработки устройства согласно первому аспекту изобретения дополнительно выполнена с возможностью получать коэффициенты множителя из двоичных кодовых слов, включенных в принятый битовый поток, путем применения операции отображения.According to embodiments, the device processing circuit according to the first aspect of the invention is further configured to derive multiplier coefficients from binary codewords included in the received bitstream by applying a mapping operation.
В частности, полученные коэффициенты множителя могут быть коэффициентами фильтра, которые будут использоваться для фильтрации. В качестве альтернативы, полученные коэффициенты множителя могут быть остаточными коэффициентами множителя, представляющими разность между фактическими значениями коэффициентов и коэффициентами множителя, предсказанными согласно схеме предсказания. Схема предсказания может быть указана информацией управления предсказания, дополнительно включенной в принятый битовый поток. В этом случае схема обработки дополнительно выполнена с возможностью определять значения коэффициентов фильтра путем их восстановления из полученных остаточных коэффициентов множителя и информации управления предсказания. В качестве альтернативы схема предсказания (способ предсказания) может быть заранее определена и, следовательно, применяться таким же образом в кодере и декодере без какой-либо передаваемой информации управления предсказания. Затем схема обработки определяет значения коэффициентов фильтра, восстанавливая их из полученных остаточных коэффициентов множителя.In particular, the resulting multiplier coefficients may be filter coefficients to be used for filtering. Alternatively, the resulting multiplier coefficients may be residual multiplier coefficients representing the difference between the actual coefficient values and the multiplier coefficients predicted by the prediction scheme. The prediction scheme may be indicated by prediction control information further included in the received bitstream. In this case, the processing circuit is further configured to determine filter coefficient values by recovering them from the obtained residual multiplier coefficients and prediction control information. Alternatively, the prediction scheme (prediction method) may be predetermined and therefore applied in the same manner in the encoder and decoder without any prediction control information to be transmitted. The processing circuit then determines the values of the filter coefficients by recovering them from the resulting residual multiplier coefficients.
В соответствии с вариантами осуществления определение схемой обработки дополнительно включает в себя выполнение определения того, находится ли в наборе действительных значений определенное значение, по меньшей мере, одного коэффициента множителя, полученное непосредственно из принятого битового потока посредством операции отображения или путем восстановления из полученных остаточных коэффициентов множителя и, если нет, преобразование определенного значения в ближайшее значение, которое находится в пределах набора действительных значений.In accordance with embodiments, determining by the processing circuit further includes performing a determination as to whether a certain value of at least one multiplier coefficient is in the set of real values, obtained directly from the received bitstream through a mapping operation or by recovering from the obtained residual multiplier coefficients. and, if not, converting the determined value to the nearest value that is within the set of real values.
Таким образом, гарантируется, что коэффициенты фильтра, которые применяются к выборкам восстановленного изображения, подчиняются правилам согласно изобретению.Thus, it is guaranteed that the filter coefficients that are applied to the samples of the reconstructed image obey the rules according to the invention.
Подробности одного или более вариантов осуществления изложены на прилагаемых чертежах и в приведенном ниже описании. Другие признаки, объекты и преимущества будут очевидны из описания, чертежей и формулы изобретения.Details of one or more embodiments are set forth in the accompanying drawings and in the description below. Other features, objects and advantages will be apparent from the description, drawings and claims.
Краткое описание чертежейBrief description of the drawings
Далее варианты осуществления изобретения описаны более подробно со ссылкой на прилагаемые чертежи, на которых:Further embodiments of the invention are described in more detail with reference to the accompanying drawings, in which:
Фиг.1 является блок-схемой, показывающей пример системы кодирования видео, выполненной с возможностью реализации вариантов осуществления изобретения;1 is a block diagram showing an example of a video coding system capable of implementing embodiments of the invention;
Фиг.2 является блок-схемой, показывающей пример видеокодера, выполненного с возможностью реализации вариантов осуществления изобретения;2 is a block diagram showing an example of a video encoder capable of implementing embodiments of the invention;
Фиг.3 является блок-схемой, показывающей примерную структуру видеодекодера, выполненного с возможностью реализации вариантов осуществления изобретения;3 is a block diagram showing an exemplary structure of a video decoder capable of implementing embodiments of the invention;
Фиг.4 показывает пример ядра фильтра, к которому может быть применено изобретение;4 shows an example of a filter core to which the invention can be applied;
Фиг.5 показывает примеры типовых форм фильтров для адаптивных фильтров, к которым может применяться изобретение;5 shows exemplary filter shapes for adaptive filters to which the invention may be applied;
Фиг.6 показывает пример множества фиксированных фильтров, которые должны применяться при интерполяционной фильтрации, в качестве сравнительного примера;6 shows an example of a plurality of fixed filters to be applied in interpolation filtering as a comparative example;
Фиг.7 иллюстрирует конкретный пример реализации варианта осуществления изобретения;Fig.7 illustrates a specific example of the implementation of an embodiment of the invention;
Фиг.8A иллюстрирует примерную обработку на стороне кодера для кодирования и сигнализации коэффициентов фильтра;8A illustrates exemplary encoder-side processing for encoding and signaling filter coefficients;
Фиг.8B иллюстрирует примерную обработку на стороне декодера для декодирования и восстановления коэффициентов фильтра;8B illustrates exemplary decoder-side processing for decoding and recovering filter coefficients;
Фиг.9 иллюстрирует конкретный пример реализации другого варианта осуществления изобретения;Fig.9 illustrates a specific example of the implementation of another embodiment of the invention;
Фиг.10 иллюстрирует конкретный пример реализации еще одного варианта осуществления изобретения и служит для иллюстрации полученного эффекта изобретения; иFig. 10 illustrates a specific example of another embodiment of the invention and serves to illustrate the obtained effect of the invention; and
Фиг.11 иллюстрирует дополнительный пример ядра фильтра, к которому может быть применено изобретение.11 illustrates a further example of a filter core to which the invention may be applied.
На чертежах идентичные ссылочные позиции относятся к идентичным или, по меньшей мере, функционально эквивалентным признакам.In the drawings, identical reference numerals refer to identical or at least functionally equivalent features.
Осуществление изобретенияImplementation of the invention
В нижеследующем описании сделана ссылка на сопроводительные чертежи, которые составляют часть настоящего изобретения и на которых показаны в качестве иллюстрации конкретные аспекты вариантов осуществления изобретения или конкретные аспекты, в которых могут использоваться варианты осуществления изобретения. Понятно, что варианты осуществления изобретения могут использоваться в других аспектах и содержать структурные или логические изменения, не изображенные на чертежах. Поэтому нижеследующее подробное описание не следует рассматривать в ограничивающем смысле, и объем изобретения определяется прилагаемой формулой изобретения.In the following description, reference is made to the accompanying drawings, which form part of the present invention and which show, by way of illustration, specific aspects of embodiments of the invention or specific aspects in which embodiments of the invention may be used. It is clear that embodiments of the invention can be used in other aspects and contain structural or logical changes not shown in the drawings. Therefore, the following detailed description should not be construed in a limiting sense, and the scope of the invention is defined by the appended claims.
Например, понятно, что описанный способ настоящего изобретения также может быть применен для соответствующего устройства или системы, выполненной с возможностью выполнять способ и наоборот. Например, если описан один или множество конкретных этапов способа, соответствующее устройство может включать в себя один или множество блоков, например, функциональные блоки для выполнения описанного одного или множества этапов способа (например, один блок, выполняющий один или множество этапов, или множество блоков, каждый из которых выполняет один или несколько из множества этапов), даже если такой один или несколько блоков явно не описаны или не проиллюстрированы на чертежах. С другой стороны, например, если конкретное устройство описывается на основе одного или множества блоков, например, функциональных блоков, соответствующий способ может включать в себя один этап для выполнения функциональных возможностей одного или множества блоков (например, одного этапа, выполняющий функциональные возможности одного или множества блоков, или множества этапов, каждый из которых выполняет функциональные возможности одного или более из множества блоков), даже если такой один или множество этапов явно не описаны или не проиллюстрированы на чертежах. Кроме того, следует понимать, что признаки различных примерных вариантов осуществления и/или аспектов, описанных в данном документе, могут быть объединены друг с другом, если специально не указано иное.For example, it is clear that the described method of the present invention can also be applied to a corresponding device or system configured to perform the method and vice versa. For example, if one or more specific method steps are described, the corresponding apparatus may include one or more blocks, such as functional blocks for performing the one or more method steps described (for example, one block performing one or more steps, or a plurality of blocks each of which performs one or more of a plurality of steps), even if such one or more units are not explicitly described or illustrated in the drawings. On the other hand, for example, if a particular device is described in terms of one or more blocks, such as functional blocks, the corresponding method may include one step for performing the functionality of one or more blocks (for example, one step that performs the functionality of one or more blocks). blocks, or a plurality of steps, each of which performs the functionality of one or more of the plurality of blocks), even if such one or more steps are not explicitly described or illustrated in the drawings. In addition, it should be understood that features of the various exemplary embodiments and/or aspects described herein may be combined with each other unless specifically noted otherwise.
Кодирование видео обычно относится к обработке последовательности изображений, которые образуют видео или видеопоследовательность. Вместо термина «изображение» термины «кадр» или «изображение» могут использоваться как синонимы в области кодирования видео. Кодирование видео содержит две части: кодирования видео и декодирования видео. Кодирование видео выполняется на стороне источника, обычно содержащее обработку (например, путем сжатия) исходных видеоизображений для уменьшения объема данных, необходимых для представления видеоизображений (для более эффективного хранения и/или передачи). Декодирование видео выполняется на стороне назначения и обычно содержит обратную обработку по сравнению с кодером для восстановления видеоизображений. Варианты осуществления, относящиеся к «кодированию» видеоизображений (или изображений в целом, как будет объяснено позже), следует понимать как относящиеся как к «кодированию», так и «декодированию» видеоизображений. Комбинация части кодирования и части декодирования также называется CODEC (COding and DECoding).Video coding generally refers to the processing of a sequence of images that form a video or video sequence. Instead of the term "picture", the terms "frame" or "picture" may be used interchangeably in the field of video coding. Video encoding contains two parts: video encoding and video decoding. Video encoding is performed at the source side, typically involving processing (eg, by compressing) the source video images to reduce the amount of data needed to represent the video images (for more efficient storage and/or transmission). Video decoding is performed on the destination side and usually contains inverse processing compared to the encoder for recovering video images. Embodiments relating to "coding" of video images (or images in general, as will be explained later) should be understood to refer to both "coding" and "decoding" of video images. The combination of an encoding part and a decoding part is also called CODEC (COding and DECoding).
В случае кодирования видео без потерь исходные видеоизображения могут быть восстановлены, т.е. восстановленные видеоизображения имеют то же качество, что и исходные видеоизображения (при условии отсутствия потерь при передаче или других потерь данных во время хранения или передачи). В случае кодирования видео с потерями выполняется дополнительное сжатие, например, путем квантования, для уменьшения объема данных, представляющих видеоизображения, которые не могут быть полностью восстановлены в декодере, т.е. качество восстановленных видеоизображений ниже или хуже по сравнению с качеством исходных видеоизображений.In the case of lossless video coding, the original video images can be reconstructed, i.e. the restored video images have the same quality as the original video images (assuming no transmission loss or other data loss during storage or transmission). In the case of lossy video coding, additional compression is performed, for example by quantization, to reduce the amount of data representing video images that cannot be completely reconstructed in the decoder, i.e. the quality of the restored video images is lower or worse than the quality of the original video images.
Несколько стандартов кодирования видео, начиная с H.261, принадлежат к группе «гибридных видеокодеков с потерями» (т.е. объединяют пространственное и временное предсказание в области выборки и кодирование с двумерным преобразованием для применения квантования в области преобразования). Каждое изображение видеопоследовательности обычно разделяется на набор неперекрывающихся блоков, и кодирование обычно выполняется на уровне блоков. Другими словами, в кодере видео обычно обрабатывается, то есть, кодируется на уровне блока (video block), например, с использованием пространственного (внутреннее изображение) предсказания и временного (внешнего) предсказания для генерирования блока предсказания, вычитая блок предсказания из текущего блока (блок, который в настоящее время обрабатывается/должен быть обработан) для получения остаточного блока, выполняется преобразование остаточного блока и квантование остаточного блока в области преобразования, чтобы уменьшить объем данных, которые должны быть переданы (сжатие), тогда как в декодере обработка, обратная по сравнению с кодером, применяется к кодированному или сжатому блоку для восстановления текущего блока для представления. Кроме того, кодер дублирует цикл обработки декодера, так что оба будут генерировать идентичные предсказания (например, внутреннее и внешнее предсказания) и/или восстановление для обработки, то есть, кодирования, последующих блоков.Several video coding standards, starting with H.261, belong to the group of "hybrid lossy video codecs" (ie, combine spatial and temporal sample-domain prediction and 2D transform coding to apply transform-domain quantization). Each picture of a video sequence is usually divided into a set of non-overlapping blocks, and encoding is usually done at the block level. In other words, in the encoder, video is usually processed, that is, encoded at the block level (video block), for example, using spatial (inner image) prediction and temporal (outer) prediction to generate a prediction block by subtracting the prediction block from the current block (block currently being processed/to be processed) to obtain a residual block, a transformation of the residual block is performed and quantization of the residual block in the transformation domain to reduce the amount of data to be transmitted (compression), while in the decoder, the processing is inverse compared to with an encoder, applied to an encoded or compressed block to reconstruct the current block for presentation. In addition, the encoder duplicates the processing cycle of the decoder so that both will generate identical predictions (eg, intra and inter predictions) and/or reconstruction for processing, i.e. encoding, subsequent blocks.
При обработке видеоизображения (также называемая обработкой движущегося изображения) и обработке неподвижного изображения (термин «обработка» содержит кодирование) применяют много общих концепций и технологий или инструментов, в последующем описании термин «изображение» или «кадр» и эквивалентном термине «данные изображения» или «данные кадра» используются для ссылки на видеоизображение в видеопоследовательности (как объяснено выше) и/или на неподвижное изображение, чтобы избежать ненужных повторов и различий между видеоизображениями и неподвижными изображениями, где это не обязательно. Если описание относится только к неподвижным изображениям (или неподвижным кадрам), следует использовать термин «неподвижное изображение».In video image processing (also called moving image processing) and still image processing (the term "processing" includes encoding), many common concepts and technologies or tools are used, in the following description, the term "image" or "frame" and the equivalent term "image data" or "frame data" is used to refer to a video image in a video sequence (as explained above) and/or a still image to avoid unnecessary repetition and differences between video images and still images where this is not necessary. If the description refers only to still images (or still frames), the term "still image" should be used.
В следующих вариантах осуществления со ссылкой на фиг.1-3 приведено описание кодера 100, декодера 200 и системы 300 кодирования (перед более подробным описанием вариантов осуществления изобретения на основе фиг.7-9).In the following embodiments, the encoder 100, decoder 200, and
Фиг.1 представляет собой концептуальную или схематическую блок-схему, иллюстрирующую вариант осуществления системы 300 кодирования, например, системы 300 кодирования изображений, в которой система 300 кодирования содержит устройство 310 источника, выполненное с возможностью предоставлять кодированные данные 330, например, кодированное изображение 330, например, в устройство 320 назначения для декодирования закодированных данных 330.1 is a conceptual or schematic block diagram illustrating an embodiment of an
Устройство 310 источника содержит кодер 100 или блок 100 кодирования и может дополнительно, т.е. возможно, содержать источник 312 изображения, блок 314 предварительной обработки, например, блок 314 предварительной обработки изображения, и интерфейс связи или блок 318 связи.
Источник 312 изображения может содержать или быть устройством захвата изображения любого типа, например, для захвата реального изображения и/или устройством формирования изображения любого типа, например процессором компьютерной графики для генерирования компьютерного анимированного изображения, или устройством любого типа для получения и/или предоставления реального изображения, компьютерного анимированного изображения (например, экранного контента, изображения виртуальной реальности (virtual reality, VR) и/или любой их комбинации (например, изображения дополненной реальности (augmented reality, AR). В дальнейшем все эти виды изображений или изображений, а также любой другой вид изображения или изображения будут называться «изображение», «кадр», «данные изображения» или «данные кадра», если специально не указано иное, в то время как предшествующие пояснения, касающиеся терминов «изображение» или «кадр», охватывающие «видеоизображения» и «неподвижные изображения», все еще остаются в силе, если явно не указано иное.Image source 312 may comprise or be any type of image capture device, such as for capturing a real image, and/or any type of imaging device, such as a computer graphics processor for generating a computer animated image, or any type of device for capturing and/or rendering a real image. , computer animated image (for example, screen content, virtual reality image (virtual reality, VR) and / or any combination of them (for example, images of augmented reality (augmented reality, AR). In the future, all these types of images or images, as well as any other kind of image or image will be referred to as "image", "frame", "image data" or "frame data" unless specifically stated otherwise, while the foregoing explanations regarding the terms "image" or "frame" covering " video images" and "still images" are still in the le, unless expressly stated otherwise.
(Цифровое) изображение представляет собой или может рассматриваться как двумерный массив или матрица выборок со значениями интенсивности. Выборка в массиве также может называться пикселем (сокращенная форма элемента изображения) или элементом. Количество выборок в горизонтальном и вертикальном направлении (или по оси) массива или изображения определяет размер и/или разрешение изображения. Для представления цвета обычно используются три цветовых компонента, то есть, изображение может быть представлено или включать в себя три массива выборок. В формате RGB или цветовом пространстве изображение содержит соответствующий массив выборок красного, зеленого и синего цветов. Однако при кодировании видео каждый пиксель обычно представлен в формате яркости/цветности или цветовом пространстве, например, YCbCr, который содержит компонент яркости, обозначенный Y (иногда вместо него также используется L), и два компонента цветности, обозначенные Cb и Cr. Компонент Y яркости (или краткости, яркости) представляет яркость или уровень интенсивности серого (например, как в полутоновом изображении), в то время как два компонента цветности (или, для краткости, цветности) Cb и Cr представляют компоненты цветности или информацию о цвете. Соответственно, изображение в формате YCbCr содержит массив выборок яркости значений (Y) выборок яркости и два массива выборок цветности значений (Cb и Cr) цветности. Изображения в формате RGB могут быть преобразованы или трансформированы в формат YCbCr и наоборот, этот процесс также известен как преобразование цвета или трансформация. Если изображение является монохромным, оно может содержать только массив выборок яркости.A (digital) image is, or can be viewed as, a two-dimensional array or matrix of samples with intensity values. A selection in an array can also be called a pixel (short for picture element) or an element. The number of samples in the horizontal and vertical direction (or axis) of the array or image determines the size and/or resolution of the image. Three color components are typically used to represent a color, that is, an image can be represented by or include three arrays of samples. In RGB format or color space, an image contains a corresponding array of red, green, and blue color samples. However, in video coding, each pixel is typically represented in a luma/chrominance format or color space, such as YCbCr, which contains a luma component labeled Y (sometimes L is also used instead) and two chrominance components labeled Cb and Cr. The Y component of luminance (or brevity, luminance) represents the brightness or gray intensity level (eg, as in a grayscale image), while the two chrominance (or chroma for short) components Cb and Cr represent chrominance components or color information. Accordingly, an image in YCbCr format contains an array of luminance samples of values (Y) of luminance samples and two arrays of chrominance samples of chrominance values (Cb and Cr). RGB images can be converted or transformed to YCbCr format and vice versa, this process is also known as color conversion or transformation. If the image is monochrome, it can only contain an array of brightness samples.
Источник 312 изображения может быть, например, камерой для захвата изображения, памятью, например, памятью изображений, содержащей или хранящей ранее захваченное или сгенерированное изображение, и/или интерфейс любого типа (внутренний или внешний) для получения или приема изображения. Камера может быть, например, локальной или интегрированной камерой, интегрированной в исходное устройство, память может быть локальной или интегрированной памятью, например, интегрированной в устройство источника. Интерфейс может быть, например, внешним интерфейсом для приема изображения от внешнего источника видео, например внешнего устройства захвата изображения, такого как камера, внешней памяти, или внешнего устройства для генерирования изображения, например, внешнего процессора компьютерного графического адаптера, компьютера или сервера. Интерфейс может быть интерфейсом любого типа, например, проводным или беспроводным интерфейсом, оптическим интерфейсом в соответствии с любым частным или стандартизованным протоколом интерфейса. Интерфейс для получения данных 313 изображения может быть тем же интерфейсом, что и интерфейс 318 связи, или его частью.Image source 312 may be, for example, a camera for capturing an image, a memory, such as an image memory containing or storing a previously captured or generated image, and/or any type of interface (internal or external) for acquiring or receiving an image. The camera may be, for example, a local or integrated camera integrated in the source device, the memory may be local or integrated memory, for example, integrated in the source device. The interface may be, for example, an external interface for receiving an image from an external video source, such as an external image capture device such as a camera, external memory, or an external image generating device, such as an external computer graphics adapter processor, computer, or server. The interface may be any type of interface, such as a wired or wireless interface, an optical interface according to any proprietary or standardized interface protocol. The interface for obtaining image data 313 may be the same interface as the communication interface 318, or part of it.
Интерфейсы между блоками внутри каждого устройства включают в себя кабельные соединения, интерфейсы USB, интерфейсы 318 и 322 связи между устройством 310 источника и устройством 320 назначения включают в себя кабельные соединения, интерфейсы USB, радиоинтерфейсы.Interfaces between units within each device include cable connections, USB interfaces, communication interfaces 318 and 322 between
В отличие от блока 314 предварительной обработки и обработки, выполняемой блоком 314 предварительной обработки, изображение или данные 313 изображения также могут называться необработанным изображением или данными 313 необработанного изображения.Unlike the preprocessor 314 and the processing performed by the preprocessor 314, the image or image data 313 may also be referred to as a raw image or raw image data 313.
Блок 314 предварительной обработки выполнен с возможностью принимать (необработанные) данные 313 изображения и выполнять предварительную обработку данных 313 изображения для получения предварительно обработанного изображения 315 или предварительно обработанных данных 315 изображения. Предварительная обработка, выполняемая блоком 314 предварительной обработки, может, например, содержать обрезку, преобразование цветового формата (например, из RGB в YCbCr), цветокоррекцию или устранение шумов.The pre-processor 314 is configured to receive (raw) image data 313 and perform pre-processing of the image data 313 to obtain a
Кодер 100 выполнен с возможностью принимать предварительно обработанные данные 315 изображения и предоставлять кодированные данные 171 изображения (дополнительные подробности будут описаны, например, со ссылкой на фиг. 2).The encoder 100 is configured to receive
Интерфейс 318 связи устройства 310 источника может быть выполнен с возможностью принимать кодированные данные 171 изображения и непосредственно передавать их другому устройству, например, устройству 320 назначения или любому другому устройству, для хранения или прямого восстановления или для обработки данных 171 кодированного изображения для, соответственно, перед сохранением закодированных данных 330 и/или передачей закодированных данных 330 в другое устройство, например, в устройство 320 назначения или любое другое устройство для декодирования или сохранения.The communication interface 318 of
Устройство 320 назначения содержит декодер 200 или блок 200 декодирования и может дополнительно, т.е. возможно, содержать интерфейс связи или блок 322 связи, блок 326 постобработки и устройство 328 отображения.
Интерфейс 322 связи устройства 320 назначения выполнено с возможностью принимать кодированные данные 171 изображения или кодированные данные 330, например, непосредственно из устройства 310 источника или из любого другого источника, например памяти, например, памяти данных кодированного изображения. The
Интерфейс 318 связи и интерфейс 322 связи могут быть выполнены с возможностью передавать, соответственно, принимать кодированные данные 171 изображения или кодированные данные 330 через прямую линию связи между устройством 310 источника и устройством 320 назначения, например, прямое проводное или беспроводное соединение, включающее в себя оптическое соединение или через любой вид сети, например, проводную или беспроводную сеть или любую их комбинацию, или любой вид частной и публичной сети, или любую их комбинацию.Communication interface 318 and
Интерфейс 318 связи может быть, например, выполнен с возможностью упаковывать кодированные данные 171 изображения в соответствующий формат, например, пакеты, для передачи по каналу связи или сети связи, и может дополнительно содержать защиту от потери данных.The communication interface 318 may, for example, be configured to package the encoded
Интерфейс 322 связи, образующий аналог интерфейса 318 связи, может быть, например, выполнен с возможностью распаковывать закодированные данные 330 для получения кодированных данных 171 изображения, а также может быть выполнен с возможностью выполнять защиту от потери данных и восстанавливать данные после потери, например, содержащую маскировку ошибок.
Как интерфейс 318 связи, так и интерфейс 322 связи могут быть выполнены как однонаправленные интерфейсы связи, как показано стрелкой, для кодированных данных 330 изображения на фиг.1, указывающей от устройства 310 источника к устройству 320 назначения, или как интерфейсы двунаправленной связи, и может быть выполнен с возможностью, например, отправлять и принимать сообщения, например, для установки соединения, для подтверждения и/или повторной отправки потерянных или задержанных данных, включающие в себя данные изображения, и осуществлять обмен любой другой информацией, относящейся к каналу связи, и/или передавать данные, например, передача кодированных данных изображения.Both the communication interface 318 and the
Декодер 200 выполнен с возможностью принимать кодированные данные 171 изображения и предоставлять декодированные данные 231 изображения или декодированное изображение 231 (дополнительные подробности будут описаны, например, со ссылкой на фиг. 9).The decoder 200 is configured to receive encoded
Процессор 326 постобработки устройства 320 назначения выполнен с возможностью пост-обработки декодированных данных 231 изображения, например, декодированного изображения 231, для получения данных 327 постобработанного изображения, например, постобработанного изображения 327. Постобработка, выполняемая блоком 326 постобработки, может содержать, например, преобразование цветового формата (например, из YCbCr в RGB), цветокоррекцию, обрезку или повторную выборку, или любую другую обработку, например, для подготовки декодированных данных 231 изображения для отображения, например, с помощью устройства 328 отображения.The post-processing processor 326 of the
Устройство 328 отображения устройства 320 назначения выполнено с возможностью принимать данные 327 постобработанного изображения для отображения изображения, например, пользователю или зрителю. Устройство 328 отображения может быть или содержать любой вид дисплея для представления восстановленного изображения, например, интегрированный или внешний дисплей или монитор. Дисплеи могут, например, содержать электронно-лучевые трубки (cathode ray tubes, CRT), жидкокристаллические дисплеи (liquid crystal displays, LCD), плазменные дисплеи, дисплеи на органических светодиодах (organic light emitting diodes, OLED) или любой другой дисплей, такой как проекторы, голографические дисплеи, устройства для генерации голограмм.The display device 328 of the
Хотя фиг. 1 изображает устройство 310 источника и устройство 320 назначения как отдельные устройства, варианты осуществления устройств также могут содержать оба или обе функциональные возможности устройства 310 источника или соответствующие функциональные возможности устройства 320 назначения. В таких вариантах осуществления устройство 310 источника или соответствующие функциональные возможности и устройство 320 назначения или соответствующие функциональные возможности могут быть реализованы с использованием одного и того же аппаратного и/или программного обеспечения или с помощью отдельных аппаратных средств и/или программного обеспечения или любой их комбинации.Although FIG. 1 depicts
Как будет очевидно для специалиста в данной области техники на основании описания, наличие и (точное) разделение функциональных возможностей различных блоков или функций в устройстве 310 источника и/или устройстве 320 назначения, как показано на фиг.1, может варьироваться в зависимости от фактического устройства и применения.As will be apparent to one skilled in the art based on the description, the presence and (exact) separation of functionality of various blocks or functions in
Далее будут представлены несколько неограничивающих примеров для системы 300 кодирования, устройства 310 источника и/или устройства 320 назначения.In the following, several non-limiting examples will be presented for
Различные электронные изделия, такие как смартфон, планшет или портативная камера со встроенным дисплеем, могут рассматриваться как примеры системы 300 кодирования. Они содержат устройство 328 отображения и большинство из них содержат встроенную камеру, то есть, источник 312 изображения. Данные изображения, снятые встроенной камерой, обрабатываются и отображаются. Обработка может включать в себя внутреннее кодирование и декодирование данных изображения. Кроме того, кодированные данные изображения могут храниться во встроенной памяти.Various electronic products such as a smartphone, tablet, or portable camera with an integrated display can be considered as examples of the
В качестве альтернативы, эти электронные изделия могут иметь проводные или беспроводные интерфейсы для приема данных изображения из внешних источников, таких как интернет или внешние камеры, или для передачи закодированных данных изображения на внешние дисплеи или устройства хранения.Alternatively, these electronic products may have wired or wireless interfaces for receiving image data from external sources such as the Internet or external cameras, or for transmitting encoded image data to external displays or storage devices.
С другой стороны, телевизионные приставки не содержат встроенную камеру или дисплей, но выполняют обработку изображений полученных данных изображения для отображения на внешнем устройстве отображения. Такая приставка может быть реализована, например, в виде набора микросхем.On the other hand, set-top boxes do not include a built-in camera or display, but perform image processing of the acquired image data for display on an external display device. Such a prefix can be implemented, for example, in the form of a chipset.
В качестве альтернативы устройство, подобное телевизионной приставке, может быть включено в устройство отображения, такое как телевизор со встроенным дисплеем.Alternatively, a device like a set-top box may be included in a display device such as a television with an integrated display.
Камеры наблюдения без встроенного дисплея представляют собой дополнительный пример таковых изделий. Они представляют собой устройство источника с интерфейсом для передачи данных захваченного и закодированного изображения на внешнее устройство отображения или внешнее устройство хранения.Surveillance cameras without built-in display are an additional example of such products. They are a source device with an interface for transferring captured and encoded image data to an external display device or external storage device.
Напротив, такие устройства, как интеллектуальные очки или 3D-очки, например, используемые для AR или VR, представляют собой устройство 320 назначения. Они принимают закодированные данные изображения и их отображают.In contrast, devices such as smart glasses or 3D glasses, such as those used for AR or VR, are the
Следовательно, устройство 310 источника и устройство 320 назначения, как показано на фиг.1, представляют собой просто примерные варианты осуществления изобретения, и варианты осуществления изобретения не ограничиваются теми, которые показаны на фиг.1.Therefore,
Устройство 310 источника и устройство 320 назначения могут включать в себя любое из широкого диапазона устройств, включающие в себя любые виды портативных или стационарных устройств, например, портативные или носимые компьютеры, мобильные телефоны, смартфоны, планшеты или планшетные компьютеры, камеры, настольные компьютеры, приставки, телевизоры, устройства отображения, цифровые медиаплееры, игровые приставки, устройства потоковой передачи видео, устройство широковещательного приемника и т.п. Для крупномасштабного профессионального кодирования и декодирования устройство 310 источника и/или устройство 320 назначения может дополнительно содержать серверы и рабочие станции, которые могут быть использованы в больших сетях. Эти устройства могут использовать или не использовать операционную систему любого типа.
КОДЕР И СПОСОБ КОДИРОВАНИЯENCODER AND METHOD OF ENCODING
На фиг.2 показана схематическая/концептуальная блок-схема варианта осуществления кодера 100, например, кодера 100 изображения, который содержит ввод 102, блок 104 вычисления остаточной величины, блок 106 преобразования, блок 108 квантования, блок 110 обратного квантования и блок 112 обратного преобразования, блок 114 восстановления, буфер 116, контурный фильтр 120, буфер 130 декодированных изображений (decoded picture buffer, DPB), блок 160 предсказания, который включает в себя блок 142 внешней оценки, блок 144 внешнего предсказания, блок 152 внутренней оценки, блок 154 внутреннего предсказания и блок 162 выбора режима, блок 170 энтропийного кодирования и вывод 172. Видеокодер 100, показанный на фиг. 2, также может называться гибридным видеокодером или видеокодером согласно гибридному видеокодеку. Каждый блок может содержать процессор и энергонезависимую память, чтобы выполнять свои этапы обработки, выполняя код, хранящийся в энергонезависимой памяти, процессором.2 shows a schematic/conceptual block diagram of an embodiment of an encoder 100, such as an image encoder 100, which includes an input 102, a residual calculation unit 104, a transform unit 106, a
Например, блок 104 вычисления остаточной величины, блок 106 преобразования, блок 108 квантования и блок 170 энтропийного кодирования образуют прямой тракт сигнала кодера 100, тогда как, например, блок 110 обратного квантования, блок 112 обратного преобразования, блок 114 восстановления, буфер 116, контурный фильтр 120, буфер 130 декодированных изображений (decoded picture buffer, DPB), блок 144 внешнего предсказания и блок 154 внутреннего предсказания образуют обратный тракт сигнала кодера, при этом, обратный тракт сигнала кодера соответствует тракту сигнала декодера, чтобы обеспечить обратную обработку для идентичного восстановления и предсказания (см. декодер 200 на фиг. 3).For example, the residual value calculation unit 104, the transform unit 106, the
Кодер выполнен с возможностью принимать, например, путем ввода 102 изображения 101 или блока 103 изображения 101, например, изображения последовательности изображений, образующих видео или видеопоследовательность. Блок 103 изображения также может упоминаться как текущий блок изображения или блок изображения, подлежащий кодированию, и изображение 101, как текущее изображение или изображение, которое нужно кодировать (в частности, при кодировании видео, чтобы отличать текущее изображение от других изображений, например, ранее кодированные и/или декодированные изображения одной и той же видеопоследовательности, т.е. видеопоследовательности, которая также включает в себя текущее изображение).The encoder is configured to receive, for example, by inputting 102 an image 101 or a block 103 of an image 101, for example, images of a sequence of images constituting a video or video sequence. Image block 103 may also be referred to as the current image block or image block to be encoded, and image 101 as the current image or image to be encoded (particularly in video encoding, to distinguish the current image from other images, such as previously encoded and/or decoded pictures of the same video sequence, i.e. a video sequence that also includes the current picture).
РАЗДЕЛЕНИЕSEPARATION
Варианты осуществления кодера 100 могут содержать блок разделения (не изображенный на фиг.2), например, который также может называться блоком разделения изображения, выполненный с возможностью разделять изображения 103 на множество блоков, например, блоки, подобные блоку 103, как правило, на множество неперекрывающихся блоков. Блок разделения может быть выполнен с возможностью использовать один и тот же размер блока для всех изображений видеопоследовательности и соответствующей сетки, определяющей размер блока, или для изменения размера блока между изображениями или подмножествами или группами изображений, а также для разделения каждого изображения на соответствующие блоки.Embodiments of encoder 100 may comprise a splitter (not shown in FIG. 2), for example, which may also be referred to as a picture splitter, configured to split images 103 into multiple blocks, such as blocks like block 103, typically into multiple non-overlapping blocks. The partition block may be configured to use the same block size for all images of the video sequence and the corresponding grid defining the block size, or to change the block size between images or subsets or groups of images, and to divide each image into appropriate blocks.
Каждый блок множества блоков может иметь квадратные размеры или более общие прямоугольные размеры. Блоки, являющиеся областями изображения непрямоугольной формы, могут не отображаться.Each block of the plurality of blocks may have square dimensions, or more generally rectangular dimensions. Blocks that are non-rectangular image areas may not be displayed.
Подобно изображению 101, блок 103 снова является или может рассматриваться как двумерный массив или матрица выборок со значениями интенсивности (значениями выборок), хотя и меньшего размера, чем изображение 101. Другими словами, блок 103 может содержать, например, один массив выборок (например, массив яркости в случае монохромного изображения 101) или три массива выборок (например, массивы яркости и два массива цветности в случае цветного изображения 101) или любое другое количество и/или вид массивов в зависимости от применяемого цветового формата. Количество выборок в горизонтальном и вертикальном направлении (или по оси) блока 103 определяет размер блока 103.Like image 101, block 103 is again, or can be viewed as, a two-dimensional array or matrix of samples with intensity values (sample values), albeit smaller than image 101. In other words, block 103 may contain, for example, one array of samples (for example, a luma array in the case of a monochrome image 101) or three arrays of samples (eg, luma arrays and two chrominance arrays in the case of a color image 101) or any other number and/or type of arrays depending on the color format used. The number of samples in the horizontal and vertical direction (or axis) of block 103 determines the size of block 103.
Кодер 100, как показано на фиг.2, выполнен с возможностью кодировать изображение 101 блок за блоком, например, кодирование и предсказание выполняется для каждого блока 103.The encoder 100, as shown in FIG. 2, is configured to encode the image 101 block by block, for example, encoding and prediction is performed for each block 103.
ВЫЧИСЛЕННИЕ ОСТАТОЧНОЧНОЙ ВЕЛИЧИНЫRESIDUAL CALCULATION
Блок 104 вычисления остаточной величины выполнен с возможностью вычислять остаточный блок 105 на основании блока 103 изображения и блока 165 предсказания (дополнительные подробности о блоке 165 предсказания предоставлены позже), например, путем вычитания значений выборки блока 165 предсказания из выборки значения блока 103 изображения, выборка за выборкой (пиксель за пикселем) для получения остаточного блока 105 в области выборки.The residual calculation unit 104 is configured to calculate the residual block 105 based on the image block 103 and the prediction unit 165 (more details about the prediction unit 165 are provided later), for example, by subtracting the sample values of the prediction unit 165 from the value sample of the image block 103, sample per sampling (pixel by pixel) to obtain a residual block 105 in the sampling region.
ПРЕОБРАЗОВАНИЕTRANSFORMATION
Блок 106 преобразования выполнен с возможностью применять преобразование, например, пространственно-частотное преобразование или линейное пространственное преобразование, например, дискретное косинусное преобразование (discrete cosine transform, DCT) или дискретное синусоидальное преобразование (discrete sine transform, DST), к значениям выборок остаточного блока 105, чтобы получить преобразованные коэффициенты 107 в области преобразования. Преобразованные коэффициенты 107 могут также называться преобразованными остаточными коэффициентами и представлять остаточный блок 105 в области преобразования.The transform block 106 is configured to apply a transform, such as a space-frequency transform or a linear spatial transform, such as a discrete cosine transform (DCT) or a discrete sine transform (DST), to the sample values of the residual block 105 to get the converted coefficients 107 in the transform area. The transformed coefficients 107 may also be referred to as transformed residual coefficients and represent the residual block 105 in the transform region.
Блок 106 преобразования может быть выполнен с возможностью применять целочисленные аппроксимации DCT/DST, такие как базовые преобразования, определенные для HEVC/H.265. По сравнению с ортонормированным преобразованием DCT, такие целочисленные аппроксимации обычно масштабируются с определенным коэффициентом. Чтобы сохранить норму остаточного блока, который обрабатывается прямым и обратным преобразованиями, применяются дополнительные коэффициенты масштабирования как часть процесса преобразования. Коэффициенты масштабирования обычно выбираются на основании определенных ограничений, таких как коэффициенты масштабирования, которые являются степенью два для операции сдвига, битовая глубина преобразованных коэффициентов, компромисс между точностью и затратами на реализацию и т.д. Конкретные коэффициенты масштабирования, например, указываются для обратного преобразования, например, с помощью блока 212 обратного преобразования в декодере 200 (и соответствующее обратному преобразованию, например, с помощью блока 112 обратного преобразования в кодере 100) и могут быть указаны соответственно соответствующие коэффициенты масштабирования для прямого преобразования, например, с помощью блока 106 преобразования в кодере 100.Transform block 106 may be configured to apply DCT/DST integer approximations, such as the base transforms defined for HEVC/H.265. Compared to the orthonormal DCT, such integer approximations are usually scaled by a certain factor. To preserve the norm of the residual block that is processed by forward and backward transforms, additional scaling factors are applied as part of the transform process. The scaling factors are usually chosen based on certain constraints, such as the scaling factors that are a power of two for the shift operation, the bit depth of the transformed coefficients, the trade-off between accuracy and implementation cost, and so on. Specific scaling factors are, for example, indicated for the inverse transform, for example, by the
КВАНТОВАНИЕQUANTIZATION
Блок 108 квантования выполнен с возможностью квантовать преобразованные коэффициенты 107 для получения квантованных коэффициентов 109, например, путем применения скалярного квантования или векторного квантования. Квантованные коэффициенты 109 также могут называться квантованными остаточными коэффициентами 109. Например, для скалярного квантования может применяться другое масштабирование для достижения более тонкого или более грубого квантования. Меньшие размеры этапов квантования соответствуют более тонкому квантованию, тогда как большие размеры этапов квантования соответствуют более грубому квантованию. Применимый размер этапа квантования может быть указан параметром квантования (quantization parameter, QP). Параметр квантования может, например, быть индексом для заранее определенного набора применимых размеров этапа квантования. Например, малые параметры квантования могут соответствовать точному квантованию (малые размеры этапов квантования), и большие параметры квантования могут соответствовать грубому квантованию (большие размеры этапов квантования) или наоборот. Квантование может включать в себя деление на размер этапа квантования и соответствующее или обратное деквантование, например, посредством обратного квантования 110, может включать в себя умножение на размер этапа квантования. Варианты осуществления согласно высокоэффективному кодированию видео (High-Efficiency Video Coding, HEVC) могут быть выполнены с возможностью использовать параметр квантования для определения размера этапа квантования. Как правило, размер этапа квантования может быть вычислен на основании параметра квантования с использованием аппроксимации с фиксированной точкой уравнения, включающее в себя деление. Дополнительные коэффициенты масштабирования могут быть введены для квантования и деквантования, чтобы восстановить норму остаточного блока, который может быть изменен из-за масштабирования, используемого в приближении фиксированной точки уравнения для размера этапа квантования и параметра квантования. В одной примерной реализации масштабирование обратного преобразования и деквантование могут быть объединены. В качестве альтернативы могут использоваться сконфигурированные таблицы квантования, и кодер может передавать их в декодер, например, в битовом потоке. Квантование является операцией с потерями, в котором потери возрастают с увеличением размеров этапов квантования.
Варианты осуществления кодера 100 (или, соответственно, блока 108 квантования) могут быть выполнены с возможностью выводить установки квантования, включающие в себя схему квантования и размер этапа квантования, например, посредством соответствующего параметра квантования, так что декодер 200 может принимать и применять соответствующее обратное квантование. Варианты осуществления кодера 100 (или блока 108 квантования) могут быть выполнены с возможностью выводить схемы квантования и размер этапа квантования, например, напрямую или энтропийно закодированных через блок 170 энтропийного кодирования или любой другой блок энтропийного кодирования.Embodiments of the encoder 100 (or
Блок 110 обратного квантования выполнен с возможностью применять обратное квантование блока 108 квантования к квантованным коэффициентам для получения деквантованных коэффициентов 111, например, путем применения обратной схемы квантования, применяемой блоком 108 квантования, на основе или с использованием того же размера этапа квантования в качестве блока 108 квантования. Деквантованные коэффициенты 111 также могут упоминаться как деквантованные остаточные коэффициенты 111 и соответствуют, хотя обычно не идентичны преобразованным коэффициентам из-за потерь при квантовании, преобразованным коэффициентам 108.The
Блок 112 обратного преобразования выполнен с возможностью применять обратное преобразование, применяемое блоком 106 преобразования, например, обратное дискретное косинусное преобразование (discrete cosine transform, DCT) или обратное дискретное синусоидальное преобразование (discrete sine transform, DST), чтобы получить блок 113 обратного преобразования в области выборки. Блок 113 обратного преобразования также может упоминаться как деквантованный блок 113 обратного преобразования или остаточный блок 113 обратного преобразования.The
Блок 114 восстановления выполнен с возможностью объединять блок 113 обратного преобразования и блок 165 предсказания для получения восстановленного блока 115 в области выборки, например, путем последовательного добавления значений выборок декодированного остаточного блока 113 и значений выборок блока 165 предсказания.The restorer 114 is configured to combine the inverse transform block 113 and the predictor 165 to obtain a reconstructed block 115 in the sample area, for example, by sequentially adding the sample values of the decoded residual block 113 and the sample values of the prediction block 165.
Блок 116 буфера (или для краткости «буфер» 116), например, буфер 116 линии связи выполнен с возможностью буферизации или хранения восстановленного блока и соответствующих значений выборок, например, для внутренней оценки и/или внутреннего предсказания. В дополнительных вариантах осуществления кодер может быть выполнен с возможностью использовать нефильтрованные восстановленные блоки и/или соответствующие значения выборок, хранящиеся в блоке 116 буфера, для любого вида оценки и/или предсказания.Buffer block 116 (or "buffer" 116 for short), eg,
Варианты осуществления кодера 100 могут быть выполнены таким образом, что, например, блок 116 буфера используется не только для хранения восстановленных блоков 115 для внутренней оценки 152 и/или внутреннего предсказания 154, но также для блока 120 контурного фильтра и/или, например, блок 116 буфера и блок 130 буфера декодированного изображения образуют один буфер. Дополнительные варианты осуществления могут быть выполнены с возможностью использовать фильтрованные блоки 121 и/или блоки или выборки из буфера 130 декодированного изображения (оба не показаны на фиг.2) в качестве входных данных или основы для внутренней оценки 152 и/или внутреннего предсказания 154.Embodiments of encoder 100 may be configured such that, for example,
Блок 120 контурного фильтра (для краткости, «контурный фильтр» 120) выполнен с возможностью фильтрации восстановленного блока 115 для получения фильтрованного блока 121, например, путем применения фильтра удаления блочности адаптивного к выборке смещения (sample-adaptive offset, SAO) или других фильтров, например, фильтры повышения резкости или сглаживания или совместные фильтры. Отфильтрованный блок 121 также может называться фильтрованным восстановленным блоком 121.The loop filter block 120 (for short, "loop filter" 120) is configured to filter the reconstructed block 115 to obtain a filtered block 121, for example, by applying a sample-adaptive offset (SAO) deblocking filter or other filters, for example, sharpening or anti-aliasing filters or collaborative filters. The filtered block 121 may also be referred to as the filtered reconstructed block 121.
Варианты осуществления блока 120 контурного фильтра могут содержать блок анализа фильтра и блок фактического фильтра, в котором блок анализа фильтра выполнен с возможностью определять параметры контурного фильтра для фактического фильтра. Блок анализа фильтра может быть выполнен с возможностью применять фиксированные заранее определенные параметры фильтра к фактическому контурному фильтру, адаптивно выбирать параметры фильтра из набора заранее определенных параметров фильтра или адаптивно вычислять параметры фильтра для фактического контурного фильтра.Embodiments of the
Варианты осуществления блока 120 контурного фильтра могут содержать (не показаны на фиг. 2) один или множество фильтров (таких как компоненты контурного фильтра и/или субфильтры), например, один или несколько различных видов или типов фильтров, например, которые соединены последовательно или параллельно или в любой их комбинации, в котором каждый из фильтров может содержать отдельно или совместно с другими фильтрами множества фильтров блок анализа фильтра для определения соответствующих параметров контурного фильтра, например, как описано в предшествующем абзаце.Embodiments of the
Варианты осуществления кодера 100 (соответственно, блока 120 контурного фильтра) могут быть выполнены с возможностью выводить параметры контурного фильтра, например, непосредственно или энтропийного кодирования через блок 170 энтропийного кодирования или любой другой блок энтропийного кодирования, так что, например, декодер 200 может получать и применять одни и те же параметры контурного фильтра для декодирования.Embodiments of encoder 100 (respectively, loop filter unit 120) may be configured to output the loop filter parameters, for example, directly or entropy encoding via entropy encoding unit 170 or any other entropy encoding unit, so that, for example, decoder 200 may receive and apply the same loop filter parameters for decoding.
Буфер 130 декодированных изображений (decoded picture buffer, DPB) выполнен с возможностью принимать и хранить отфильтрованный блок 121. Буфер 130 декодированных изображений может быть дополнительно выполнен с возможностью хранить другие ранее отфильтрованные блоки, например, ранее восстановленные и отфильтрованные блоки 121 того же текущего изображения или различных изображений, например, ранее восстановленных изображений, и может предоставлять полные ранее восстановленные, то есть, декодированные изображения (и соответствующие опорные блоки и выборки) и/или частично восстановленное текущее изображение (и соответствующие опорные блоки и выборки), например, для оценки и/или внешнего предсказания.A decoded picture buffer (DPB) 130 is configured to receive and store a filtered block 121. The decoded
Дополнительные варианты осуществления изобретения также могут быть выполнены с возможностью использовать ранее отфильтрованные блоки и соответствующие отфильтрованные значения выборок буфера 130 декодированных изображений для любого вида оценки или предсказания, например, внутренней оценки и предсказания, а также внешней оценки и предсказания.Additional embodiments of the invention may also be configured to use previously filtered blocks and corresponding filtered sample values of decoded
Блок 160 предсказания, также называемый блоком 160 предсказания блока, выполнен с возможностью принимать или получать блок 103 изображения (блок 103 текущего изображения текущего изображения 101) и декодированные или, по меньшей мере, восстановленные данные изображения, например, опорных выборок одно и то же (текущего) изображения из буфера 116 и/или данные 231 декодированного изображения из одного или множества ранее декодированных изображений из буфера 130 декодированных изображений, и обрабатывать такие данные для предсказания, то есть, для обеспечения блока 165 предсказания, который может быть блоком 145 внешнего предсказания или блоком 155 внутреннего предсказания.The
Блок 162 выбора режима может быть выполнен с возможностью выбирать режим предсказания (например, режим внутреннего или внешнего предсказания) и/или соответствующего блока 145 или 155 предсказания, который будет использоваться в качестве блока 165 предсказания для вычисления остаточного блока 105 и для восстановления восстановленного блока 115.
Варианты осуществления блока 162 выбора режима могут быть выполнены с возможностью выбирать режим предсказания (например, из тех, которые поддерживаются блоком 160 предсказания), который обеспечивает наилучшее совпадение или, другими словами, минимальную остаточную величину (минимальная остаточная величина означает лучшее сжатие для передачи или хранения) или минимальные накладные расходы на сигнализацию (минимальные накладные расходы на сигнализацию означают лучшее сжатие для передачи или хранения), или учитывает или уравновешивает и то, и другое. Блок 162 выбора режима может быть выполнен с возможностью определять режим предсказания на основании оптимизации искажения и скорости (rate distortion optimization, RDO), то есть, выбор режима предсказания, который обеспечивает оптимизацию искажения с минимальной скоростью или которое ассоциированное искажение скорости, по меньшей мере, удовлетворяет критерию выбора режима предсказания.Embodiments of
Далее будет более подробно описан процесс обработки предсказания (например, блок 160 предсказания) и выбор режима (например, блоком 162 выбора режима), выполняемые примерным кодером 100. Next, the prediction processing (eg, predictor 160) and mode selection (eg, mode selector 162) performed by the exemplary encoder 100 will be described in more detail.
Как описано выше, кодер 100 выполнен с возможностью определять или выбирать наилучший или оптимальный режим предсказания из набора (заранее определенных) режимов предсказания. Набор режимов предсказания может содержать, например, режимы внутреннего предсказания и/или режимы внешнего предсказания.As described above, encoder 100 is configured to determine or select the best or optimal prediction mode from a set of (predetermined) prediction modes. The set of prediction modes may include, for example, intra prediction modes and/or inter prediction modes.
Набор режимов внутреннего предсказания может содержать 32 различных режимов внутреннего предсказания, например, ненаправленные режимы, такие как DC режим (или средний) и планарный режим, или направленные режимы, например, как определено в H.264, или может содержать 65 различных режимов внутреннего предсказания, например, ненаправленные режимы, такие как DC режим (или средний) и планарный режим, или направленные режимы, например, как определено в H.265.The intra prediction mode set may contain 32 different intra prediction modes, such as non-directional modes such as DC (or average) mode and planar mode, or directional modes such as defined in H.264, or may contain 65 different intra prediction modes eg, non-directional modes such as DC (or medium) mode and planar mode, or directional modes, eg as defined in H.265.
Набор (или возможно) режимов внешнего предсказания зависят от доступных опорных изображений (т.е. предшествующих, по меньшей мере, частично декодированных изображений, например, хранятся в DPB 230) и других параметров внешнего предсказания, например, будь то все опорное изображение или только часть, например, окно поиска области вокруг области текущего блока опорного изображения используется для поиска наилучшего соответствия опорного блока и/или, например, применяется ли пиксель интерполяции, например, половина/пол пикселя и/или четверть пиксельная интерполяция, или нет.The set (or possibly) inter prediction modes depend on the available reference pictures (i.e., previous at least partially decoded pictures, e.g. stored in DPB 230) and other inter prediction parameters, e.g. a portion, such as a region search box around the area of the current reference image block, is used to search for the best match of the reference block and/or, for example, whether pixel interpolation, such as half/half a pixel and/or quarter pixel interpolation, is applied or not.
В дополнение к вышеупомянутым режимам предсказания могут применяться режим пропуска и/или прямой режим.In addition to the aforementioned prediction modes, a skip mode and/or a direct mode may be applied.
Блок 160 предсказания может быть дополнительно выполнен с возможностью разделять блок 103 на более мелкие блоки или подблоки, например, итеративно с использованием квадратичного разделения (quad-tree-partitioning, QT), двоичного разделения (binary partitioning, BT) или разделение троичного дерева (triple-tree-partitioning, TT) или любой их комбинации, а также для выполнения, например, предсказания для каждого из разделенного блока или подблоков блока, при этом выбор режима содержит выбор древовидной структуры разделенного блока 103 и режимов предсказания, применяемых к каждому из разделенных блоков или подблоков.The
Блок 142 внешней оценки, также называемый блоком 142 внешней оценки изображения, выполнен с возможностью принимать или получать блок 103 изображения (текущий блок 103 изображения текущего изображения 101) и декодированного изображения 231 или, по меньшей мере, одного или множества ранее восстановленных блоков, например, восстановленных блоков одного или множества других/различных ранее декодированных изображений 231, для внешней оценки (или «внешней оценки изображения»). Например, видеопоследовательность может содержать текущее изображение и ранее декодированные изображения 231 или, другими словами, текущее изображение и ранее декодированные изображения 231 могут быть частью или формировать последовательность изображений, образующих видеопоследовательность.An
Кодер 100 может, например, быть выполнен с возможностью выбирать (получать/определять) опорный блок из множества опорных блоков одинаковых или различных изображений из множества других изображений и обеспечивать опорное изображение (или индекс опорного изображения, ...) и/или смещение (пространственное смещение) между позицией (X, Y координаты) опорным блоком и позицией текущего блока в качестве параметров 143 внешней оценки в блок 144 внешнего предсказания. Смещение также называется вектором движения (MV). Внешняя оценка также называется оценкой движения (motion estimation, ME), и внешнее предсказание также называется предсказанием движения (motion estimation, MP).The encoder 100 may, for example, be configured to select (obtain/determine) a reference block from a plurality of reference blocks of the same or different pictures from a plurality of other pictures and provide a reference picture (or reference picture index, ...) and/or offset (spatial offset) between the position (X, Y coordinates) of the reference block and the position of the current block as
Блок 144 внешнего предсказания выполнен с возможностью принимать, например, параметр 143 внешнего предсказания и выполнять внешнее предсказание на основании или с использованием параметра 143 внешнего предсказания для получения блока 145 внешнего предсказания.
Хотя на фиг.2 показаны два отдельных блока (или этапы) для внешнего кодирования, а именно, внешняя оценка 142 и внешнее предсказание 152, обе функции могут выполняться как одна (внешняя оценка обычно требует/содержит вычисление/блок внешнего предсказания, т. е. или «вид» внешнего предсказания 154), например, путем итеративного тестирования всех возможных или заранее определенного подмножества возможных режимов внешнего предсказания, сохраняя при этом лучший в настоящее время режим внешнего предсказания и соответствующий блок внешнего предсказания, и используя текущий лучший режим внешнего предсказания и соответствующий блок внешнего предсказания в качестве (окончательного) параметра 143 внешнего предсказания и блок 145 внешнего предсказания без выполнения другого внешнего предсказания 144.Although Figure 2 shows two separate blocks (or steps) for inter-coding, namely,
Блок 152 внутренней оценки выполнен с возможностью принимать, например, блок 103 изображения (текущий блок изображения) и одного или множества ранее восстановленных блоков, например, восстановленных соседних блоков, одного и того же изображения для внутренней оценки. Кодер 100 может, например, быть выполнен с возможностью выбирать (получать/определять) режим внутреннего предсказания из множества режимов внутреннего предсказания и предоставлять его в качестве параметра 153 внутренней оценки в блок 154 внутреннего предсказания.The internal estimator 152 is configured to receive, for example, an image block 103 (the current image block) and one or a plurality of previously reconstructed blocks, such as reconstructed neighboring blocks, of the same image for internal evaluation. The encoder 100 may, for example, be configured to select (obtain/determine) an intra prediction mode from a plurality of intra prediction modes and provide it as an
Варианты осуществления кодера 100 могут быть выполнены с возможностью выбирать режим внутреннего предсказания на основании критерия оптимизации, например, минимальной остаточной величины (например, режим внутреннего предсказания, обеспечивающий блок 155 предсказания, наиболее похожий на текущий блок 103 изображения) или минимальное искажение.Embodiments of encoder 100 may be configured to select an intra prediction mode based on an optimization criterion, such as a minimum residual (eg, an intra prediction mode providing
Блок 154 внутреннего предсказания выполнен с возможностью определять на основе параметра 153 внутреннего предсказания, например, выбранный режим 153 внутреннего предсказания блока 155 внутреннего предсказания.The
Хотя на фиг.2 показаны два отдельных блока (или этапы) для внутреннего кодирования, а именно, внутренняя оценка 152 и внутреннее предсказание 154, обе функции могут выполняться как одна (внутренняя оценка обычно требует/содержит вычисление блока внутреннего предсказания, т.е. или «вид» внутреннего предсказания 154), например, путем итеративного тестирования всех возможных или заранее заданного подмножества возможных режимов внутреннего предсказания с сохранением лучшего в настоящее время режима внутреннего предсказания и соответствующего блока внутреннего предсказания, и с использованием лучшего в настоящее время режима внутреннего предсказания и соответствующего блока внутреннего предсказания в качестве (окончательного) параметра 153 внутреннего предсказания и блок 155 внутреннего предсказания без выполнения другого внутреннего предсказания 154.Although FIG. 2 shows two separate blocks (or steps) for intra coding, namely intra estimation 152 and
Блок 170 энтропийного кодирования выполнен с возможностью применять алгоритм или схему энтропийного кодирования (например, схема кодирования с переменной длиной (variable length coding, VLC), контекстно-адаптивная схема VLC (context adaptive VLC, CALVC), схема арифметического кодирования, схема контекстно-адаптивного двоичного арифметического кодирования (context adaptive binary arithmetic coding, CABAC)) на квантованных остаточных коэффициентах 109, параметрах 143 внешнего предсказания, параметре 153 внутреннего предсказания и/или параметрах контурного фильтра, по отдельности или совместно (или ничего), чтобы получить данные 171 кодированного изображения, которые могут выводиться посредством вывода 172, например, в виде кодированного битового потока 171.The entropy encoding unit 170 is configured to apply an entropy coding algorithm or scheme (e.g., variable length coding (VLC) scheme, context adaptive VLC (CALVC), arithmetic coding scheme, context adaptive binary arithmetic coding (context adaptive binary arithmetic coding (CABAC)) on the quantized residual coefficients 109,
ДЕКОДЕРDECODER
Фиг.3 показывает примерный видеодекодер 200, выполненный с возможностью принимать кодированные данные 171 изображения (например, закодированный битовый поток), например, закодированные кодером 100, для получения декодированного изображения 231.3 shows an exemplary video decoder 200 configured to receive encoded image data 171 (eg, an encoded bitstream), such as encoded by encoder 100, to obtain a decoded
Декодер 200 содержит ввод 202, блок 204 энтропийного декодирования, блок 210 обратного квантования, блок 212 обратного преобразования, блок 214 восстановления, буфер 216, контурный фильтр 220, буфер 230 декодированных изображений, блок 260 предсказания, который включает в себя блок 244 внешнего предсказания, блок 254 внутреннего предсказания и блок 260 выбора режима и вывод 232.The decoder 200 includes an
Блок 204 энтропийного декодирования выполнен с возможностью выполнять энтропийное декодирование кодированных данных 171 изображения для получения, например, квантованных коэффициентов 209 и/или декодированных параметров кодирования (не показаны на фиг. 3), например, (декодированных) любых или всех параметров 143 предсказания, параметр 153 внутреннего предсказания и/или параметры контурного фильтра.The
В вариантах осуществления декодера 200 блок 210 обратного квантования, блок 212 обратного преобразования, блок 214 восстановления, буфер 216, контурный фильтр 220, буфер 230 декодированных изображений, блок 260 предсказания и блок 260 выбора режима выполнены с возможностью выполнять обратную обработку кодера 100 (и соответствующих функциональных блоков) для декодирования данных 171 кодированного изображения.In embodiments of decoder 200,
В частности, блок 210 обратного квантования может быть идентичен по функциям блоку 110 обратного квантования, блок 212 обратного преобразования может быть идентичен по функциям блоку 112 обратного преобразования, блок 214 восстановления может быть идентичным по функции блоку 114 восстановления, буфер 216 может быть идентичен по функциям буферу 116, контурный фильтр 220 может быть идентичен по функции контурному фильтру 220 (что касается фактического контурного фильтра, поскольку контурный фильтр 220 обычно не содержит блок анализа фильтра для определения параметров фильтра на основании исходного изображения 101 или блока 103, но принимает (явно или неявно) или получает параметры фильтра, используемые для кодирования, например, из блока 204 энтропийного декодирования), и буфер 230 декодированных изображений может быть идентичен по функциям буфера 130 декодированных изображений.In particular,
Блок 260 предсказания может содержать блок 244 внешнего предсказания и блок 254 внутреннего предсказания, в котором блок 244 внешнего предсказания может быть идентичен по функциям блоку 144 внешнего предсказания и блок 254 внутреннего предсказания может быть идентичным по функциям блоку 154 внутреннего предсказания. Блок 260 предсказания и блок 262 выбора режима обычно выполнены с возможностью выполнять предсказания блока и/или получать предсказанный блок 265 только из кодированных данных 171 (без какой-либо дополнительной информации об исходном изображении 101) и принимать или получать (явно или неявно) параметры 143 или 153 предсказания и/или информацию о выбранном режиме предсказания, например, из блока 204 энтропийного декодирования.
Декодер 200 выполнен с возможностью выводить декодированное изображение 231, например, через вывод 232, для представления или просмотра пользователю.The decoder 200 is configured to output the decoded
Возвращаясь к фиг.1, декодированное изображение 231, выводимое из декодера 200, может подвергаться постобработке в процессоре 326 постобработки. Результирующее постобработанное изображение 327 может быть передано во внутреннее или внешнее устройство 328 отображения и отображено.Returning to Fig.1, the decoded
ДЕТАЛИ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯDETAILS OF EMBODIMENTS
Изобретение ограничивает значения, которые могут быть использованы коэффициентами фильтра адаптивного мультипликативного фильтра, таким образом, что операция умножения упрощается. При фильтрации набора выборок сигнала изображения используется фильтр с адаптивными коэффициентами множителя, где коэффициенты множителя представлены целыми числами. Учитывая, что максимальное значение абсолютного значения коэффициента C равно N, для двоичного представления N требуется L = ceil (log2 (N)) двоичных цифр. Другими словами, L двоичные цифры могут быть выражены абсолютными значениями коэффициентов от нуля (L «нулей») до 2L-1 (L «единиц») (знак коэффициента представлен отдельным битом знака, который здесь не обсуждается). В соответствии с конкретным подходом изобретения этот набор значений ограничен, так что любое значение, которое может быть принято коэффициентом C, включает в себя самое большее число P<L «единиц» («1») в двоичном представлении. Например, исключен случай всех «единиц» (L «единиц»).The invention limits the values that can be used by the filter coefficients of the adaptive multiplicative filter so that the multiplication operation is simplified. When filtering a set of image signal samples, a filter with adaptive multiplier coefficients is used, where the multiplier coefficients are represented by integers. Given that the maximum value of the absolute value of the coefficient C is N, the binary representation of N requires L = ceil(log 2 (N)) binary digits. In other words, L binary digits can be expressed as absolute coefficient values from zero (L "zeros") to 2 L -1 (L "ones") (the sign of the coefficient is represented by a separate sign bit, which is not discussed here). In accordance with a particular approach of the invention, this set of values is limited such that any value that can be taken by the coefficient C includes at most P<L "ones"("1") in binary representation. For example, the case of all "ones" (L "ones") is excluded.
Как будет показано ниже, чем меньше количество P разрешенных «единиц», тем выше эффективность и производительность операции фильтрации. Например, лучший выигрыш в эффективности может быть достигнут, если любое значение, которое может быть принято коэффициентом C, включает в себя только до одной «1», то есть, не более одной «1».As will be shown below, the smaller the number P of allowed "units", the higher the efficiency and throughput of the filtering operation. For example, a better efficiency gain can be achieved if any value that can be taken by the coefficient C includes only up to one "1", that is, no more than one "1".
Далее будут подробно описаны конкретные варианты осуществления изобретения.Next, specific embodiments of the invention will be described in detail.
Следует отметить, что примерные значения параметров, приведенные ниже, предназначены только для иллюстративных целей, и специалисту известно, что они могут быть заменены любыми другими возможными значениями, которые находятся в пределах объема прилагаемой формулы изобретения.It should be noted that the exemplary parameter values given below are for illustrative purposes only, and those skilled in the art will recognize that they may be replaced by any other possible values that fall within the scope of the appended claims.
Обычно коэффициенты фильтра реализуются с использованием конечной точности. Коэффициент фильтра представлен с помощью L битов вместе с необязательным битом знака. Количество битов L зависит от максимального абсолютного значения коэффициента. В частности, учитывая, что наибольшее значение абсолютного значения коэффициента C равно N, для двоичного представления N требуется L = ceil (log2 (N)) двоичных цифр.Typically, filter coefficients are implemented using finite precision. The filter coefficient is represented using L bits along with an optional sign bit. The number of bits L depends on the maximum absolute value of the coefficient. In particular, given that the largest absolute value of the coefficient C is N, the binary representation of N requires L = ceil(log 2 (N)) binary digits.
Функция ceil (x), также обозначаемая как или максимум (x), отображает x на наименьшее целое число, большее или равное x.The ceil(x) function, also denoted as or max(x), maps x to the smallest integer greater than or equal to x.
Согласно первому примерному варианту осуществления изобретения максимум один из L битов (т.е. исключая знаковый бит) коэффициента фильтра может быть одновременно «единицей» («1»). Другие возможности не допускаются.According to the first exemplary embodiment of the invention, at most one of the L bits (ie, excluding the sign bit) of the filter coefficient can be "one" ("1") at the same time. Other possibilities are not allowed.
Например:For example:
Предположим, L = 6, и один бит (крайний левый бит) используется для указания знака коэффициента.Assume L = 6 and one bit (leftmost bit) is used to indicate the sign of the coefficient.
Например, допустимы следующие коэффициенты фильтра: 0 (0000000), 1 (0000001), -1 (1000001), 2 (0000010), -2 (1000010), 4 (0000100), -4 (1000100), 8 (0001000), -8 (1001000), 16 (0010000) …, -32 (1100000).For example, the following filter coefficients are valid: 0 (0000000), 1 (0000001), -1 (1000001), 2 (0000010), -2 (1000010), 4 (0000100), -4 (1000100), 8 (0001000), -8 (1001000), 16 (0010000) ..., -32 (1100000).
Например, недопустимы следующие коэффициенты фильтра: 3 (0000011), -15 (1001111), 31 (0011111) …For example, the following filter coefficients are invalid: 3 (0000011), -15 (1001111), 31 (0011111) ...
В этом случае достигается преимущество, поскольку ограничение позволяет реализовать умножение как операцию сдвига одного бита.In this case, an advantage is achieved, since the restriction allows the multiplication to be implemented as a single bit shift operation.
Операция сдвига бита может быть математически представлена как: f (X, M) = X * 2M, где M является целым числом, большее или равное 0. В соответствии с обобщением вышеуказанного варианта осуществления не более M из L битов коэффициента фильтра может быть «1» одновременно. Другие возможности не допускаются.The bit shift operation can be mathematically represented as: f (X, M) = X * 2 M , where M is an integer greater than or equal to 0. In accordance with the generalization of the above embodiment, at most M of the L bits of the filter coefficient can be "1" at the same time. Other possibilities are not allowed.
Например:For example:
Предположим, L = 6, M = 2, и один бит используется для указания знака коэффициента.Assume L = 6, M = 2, and one bit is used to indicate the sign of the coefficient.
Например, разрешены следующие коэффициенты фильтра: 0 (0000000), 3 (0000011), 9 (0001001), -4 (1000100), -9 (1001001), 18 (0010010), 33 (0100001) …For example, the following filter coefficients are allowed: 0 (0000000), 3 (0000011), 9 (0001001), -4 (1000100), -9 (1001001), 18 (0010010), 33 (0100001) ...
Например, недопустимы следующие коэффициенты фильтра: 7 (0000111), -19 (1010011), 31 (0011111) …For example, the following filter coefficients are invalid: 7 (0000111), -19 (1010011), 31 (0011111) ...
В этом случае ограничение позволяет реализовать умножение с помощью двух операций сдвига битов и одной операции сложения.In this case, the constraint allows the multiplication to be implemented using two bit shift operations and one addition operation.
В более общем случае, описанном выше, при общем M<L, достигается преимущество, поскольку ограничение позволяет выполнять умножение с помощью операций сдвига M бит и сложения M-1.In the more general case described above, with a general M<L, an advantage is achieved, since the constraint allows multiplication with M bit shift and M-1 addition operations.
В приведенных выше примерах предполагается, что ограниченный набор абсолютных значений применяется ко всем коэффициентам фильтра умножения адаптивного фильтра.The above examples assume that a limited set of absolute values are applied to all adaptive filter multiplication filter coefficients.
Далее будет описан более сложный примерный вариант осуществления со ссылкой на фиг. 7, на котором применяется ограничение согласно изобретению, но не ко всем коэффициентам фильтра рассматриваемого фильтра.Next, a more complex exemplary embodiment will be described with reference to FIG. 7, where the limitation according to the invention is applied, but not to all the filter coefficients of the considered filter.
В примере на первом этапе коэффициенты группируются в две группы. На чертеже первая группа соответствует позициям коэффициентов, обозначенные бесцветными кружками в центральной части фильтра, и вторая группа соответствует позициям коэффициентов, обозначенным на чертеже закрашенными черными кружками, в периферийной части фильтра.In the example, at the first stage, the coefficients are grouped into two groups. In the drawing, the first group corresponds to the positions of the coefficients, indicated by colorless circles in the central part of the filter, and the second group corresponds to the positions of the coefficients, indicated in the drawing by solid black circles, in the peripheral part of the filter.
Коэффициенты фильтра в первой группе могут принимать любое значение в заранее определенном диапазоне. В проиллюстрированном примере предполагается, что диапазон соответствует набору «S1», где S1 = [-511, …, 511]. Это соответствует общему количеству битов (исключая знаковый бит) L = 9.The filter coefficients in the first group can take on any value within a predetermined range. In the illustrated example, the range is assumed to correspond to the set "S1", where S1 = [-511, ..., 511]. This corresponds to a total number of bits (excluding the sign bit) L = 9.
Коэффициенты фильтра во второй группе могут принимать любое значение в наборе «S2», где S2 является подмножеством S1. Более конкретно, в примере набор S2 определяется как S2 = [-32, -16, -8, -4, -2, -1,0,1,2,4,8,16,32]. Соответственно, допустимые значения в наборе S2 ограничиваются теми, которые могут быть представлены с помощью одной «1» в двоичном представлении. Кроме того, максимально допустимое абсолютное значение ограничено 32, то есть, дополнительно предполагается, что число L ограничено до L = 6. В общем, следует отметить, что число L может быть установлено отдельно и по-разному для каждой группы. Более того, конкретная группировка и определение наборов допустимых значений может изменяться от изображения к изображению (от кадра к кадру). В качестве альтернативы группировка и определение наборов могут быть разными для разных форм фильтров (например, ромб 5x5, ромб 7x7, ромб 9x9, как показано на фиг.5). В качестве альтернативы группировка и определения могут быть предопределены.The filter coefficients in the second group can take on any value in the set "S2", where S2 is a subset of S1. More specifically, in the example, the set S2 is defined as S2 = [-32, -16, -8, -4, -2, -1,0,1,2,4,8,16,32]. Accordingly, valid values in set S2 are limited to those that can be represented with a single "1" in binary representation. In addition, the maximum allowed absolute value is limited to 32, that is, it is further assumed that the number L is limited to L = 6. In general, it should be noted that the number L can be set separately and differently for each group. Moreover, the specific grouping and definition of allowable value sets may vary from image to image (frame to frame). Alternatively, the grouping and definition of sets may be different for different filter shapes (eg, 5x5 diamond, 7x7 diamond, 9x9 diamond, as shown in FIG. 5). Alternatively, the grouping and definitions may be predefined.
В этом примере преимущество состоит в том, что вместо 9-битного умножения для набора S2 используется сдвиг на 1 бит.In this example, the advantage is that instead of a 9-bit multiplication for S2, a 1-bit shift is used.
Соответствующие данные должны быть включены в битовый поток в кодере и сообщены декодеру, чтобы коэффициенты фильтра также могли быть правильно определены в декодере. Конечно, применение ограниченного набора допустимых значений коэффициентов приводит к уменьшению объема служебной сигнализации и, таким образом, к более эффективному кодированию, поскольку для представления коэффициентов, которые должны сигнализироваться в потоке битов, что необходимо меньше битов.Appropriate data must be included in the bitstream at the encoder and reported to the decoder so that the filter coefficients can also be correctly determined at the decoder. Of course, the use of a limited set of allowed coefficient values results in less overhead and thus more efficient coding since fewer bits are needed to represent the coefficients to be signaled in the bit stream.
Более конкретно, значение коэффициентов фильтра, которые применяются кодером, необходимо закодировать и передать в декодер. На стороне кодера значения коэффициентов фильтра преобразуются в двоичные кодовые слова (из значения фильтра в кодовое слово) через таблицу отображения или функцию отображения. Та же самая операция отображения должна применяться в декодере (от кодового слова к значению коэффициента фильтра), чтобы правильно интерпретировать коэффициенты фильтра.More specifically, the value of the filter coefficients that are applied by the encoder needs to be encoded and transmitted to the decoder. On the encoder side, the filter coefficient values are converted to binary codewords (from filter value to codeword) via a mapping table or a mapping function. The same mapping operation must be applied at the decoder (from codeword to filter coefficient value) in order to correctly interpret the filter coefficients.
Функция отображения или таблица могут отличаться для S1 и S2. Пример операций отображения приведены ниже для наборов коэффициентов фильтрации S1 и S2.The display function or table may be different for S1 and S2. An example of mapping operations are given below for sets of filter coefficients S1 and S2.
В приведенном ниже примере S1 задается как {0,1, …, 511}, и S2 задается {0,2,4,8,16,32} (рассматриваются только абсолютные значения).In the example below, S1 is given as {0,1, ..., 511} and S2 is given as {0,2,4,8,16,32} (only absolute values are considered).
Операции прямого (в кодере) и обратного (в декодере) преобразования должны использоваться в кодере и декодере, чтобы декодер мог правильно интерпретировать значения коэффициентов фильтра. В приведенном выше примере операция отображения коэффициентов фильтра отличается для S2 и S1, поскольку количество различных значений в S2 намного меньше, и представлять коэффициенты фильтра S2 с использованием отображения S1 расточительно. Следовательно, изобретение приводит к уменьшению объема служебной сигнализации и, таким образом, к более эффективному кодированию, поскольку необходимо меньше битов для представления коэффициентов, которые должны сигнализироваться в потоке битов.The forward (in the encoder) and inverse (in the decoder) transform operations must be used in the encoder and decoder in order for the decoder to correctly interpret the values of the filter coefficients. In the above example, the filter coefficient mapping operation is different for S2 and S1 because the number of distinct values in S2 is much smaller, and it is wasteful to represent the filter coefficients of S2 using the S1 mapping. Therefore, the invention results in a reduction in overhead and thus more efficient coding since fewer bits are needed to represent the coefficients to be signaled in the bit stream.
Далее будет дан общий обзор сигнализации коэффициентов фильтра со ссылкой на фиг. 8. Фиг. 8A иллюстрирует обработку на стороне кодера, и фиг. 8B иллюстрирует обработку на стороне декодера.Next, an overview of filter coefficient signaling will be given with reference to FIG. 8. FIG. 8A illustrates processing on the encoder side, and FIG. 8B illustrates processing on the decoder side.
В кодере коэффициенты фильтра, которые должны применяться к восстановленным выборкам, определяются в соответствии с допустимыми значениями коэффициентов, как определено конкретным подходом изобретения (этап S80).At the encoder, the filter coefficients to be applied to the reconstructed samples are determined according to the allowable values of the coefficients, as determined by the particular approach of the invention (step S80).
Определенные коэффициенты фильтра используются для фильтрации выборок восстановленного изображения (этап S82). Согласно изобретению, коэффициенты фильтра, которые применяются к выборкам восстановленного изображения, должны подчиняться правилам, изложенным в соответствии с изобретением.The determined filter coefficients are used to filter the reconstructed image samples (step S82). According to the invention, the filter coefficients that are applied to the reconstructed image samples must obey the rules set forth in accordance with the invention.
Следующий этап предсказания коэффициентов фильтра (этап S84) является возможным. Предсказание коэффициента фильтра может применяться дополнительно для уменьшения объема информации, передаваемой в декодер. Возможные способы предсказания представляют собой предсказание с использованием заданных предикторов фильтра и предсказание на основе ранее сообщенных коэффициентов фильтра. Однако способы предсказания не ограничиваются приведенными в качестве примера в настоящем документе, и может применяться любой подходящий способ предсказания, о котором знает квалифицированный специалист.The next filter coefficient prediction step (step S84) is possible. Filter coefficient prediction may be applied further to reduce the amount of information transmitted to the decoder. Possible prediction methods are prediction using predetermined filter predictors and prediction based on previously reported filter coefficients. However, the prediction methods are not limited to those exemplified herein, and any suitable prediction method known to those skilled in the art may be used.
На следующем этапе (S86) выполняется отображение остаточных коэффициентов на двоичные кодовые слова. Поскольку вышеупомянутый этап предсказания S84 является возможным, следует отметить, что в качестве альтернативы отображение применяется непосредственно к коэффициентам фильтра, определенным на этапе S80.In the next step (S86), mapping of the residual coefficients to binary codewords is performed. Since the above prediction step S84 is possible, it should be noted that, alternatively, the mapping is applied directly to the filter coefficients determined in step S80.
Более конкретно, каждый целочисленный коэффициент фильтра (остаточный коэффициент фильтра) преобразуется в двоичное кодовое слово перед включением в битовый поток. Существует столько кодовых слов, сколько возможно значений коэффициентов фильтра (остаточных значений коэффициентов фильтра). Отображение кодового слова на значение (которое является отображением «один к одному») может быть фиксированным отображением или может изменяться в зависимости от сигнализируемой дополнительной информации.More specifically, each integer filter coefficient (residual filter coefficient) is converted into a binary codeword before being included in the bitstream. There are as many codewords as possible filter coefficient values (residual filter coefficient values). The codeword-to-value mapping (which is a one-to-one mapping) may be a fixed mapping or may vary depending on the additional information being signaled.
На последнем этапе S88 преобразованные в двоичную форму (возможно остаточные) коэффициенты фильтра, то есть, кодовые слова, на которые они были отображены, включаются в поток битов. В случае, если предсказание выполняется на этапе S84, дополнительно необходимо сгенерировать информацию управления предсказания и включить упомянутую информацию управления предсказания в поток битов, чтобы сигнализировать декодеру необходимую информацию об обработке предсказания, чтобы иметь возможность выполнить восстановление.In the last step S88, the binarized (possibly residual) filter coefficients, that is, the codewords to which they have been mapped, are included in the bitstream. In case prediction is performed in step S84, it is further necessary to generate prediction control information and include said prediction control information in the bit stream to signal necessary prediction processing information to the decoder to be able to perform recovery.
Обычно операции, применяемые в кодере, применяются в декодере в обратном порядке. Это будет объяснено более подробно ниже со ссылкой на фиг. 8B.Typically, the operations applied in the encoder are applied in the decoder in reverse order. This will be explained in more detail below with reference to FIG. 8B.
На начальном этапе S90 выполняется синтаксический анализ принятого битового потока. Результирующие преобразованные в двоичную форму коэффициенты фильтра (т.е. переданные кодовые слова) возможно представляют остаточные коэффициенты фильтра (если предсказание применялось на стороне кодера). На это указывает дополнительное получение информации управления предсказания из проанализированного битового потока.In an initial step S90, the received bitstream is parsed. The resulting binarized filter coefficients (ie, transmitted codewords) possibly represent the residual filter coefficients (if prediction was applied at the encoder side). This is indicated by additionally obtaining prediction control information from the parsed bitstream.
В любом случае двоичные кодовые слова отображаются с помощью процедуры обратного преобразования (по сравнению с кодером) на коэффициенты фильтра (или остаточные коэффициенты фильтра) на этапе S92.In any case, the binary codewords are mapped by an inverse transform procedure (compared to the encoder) to the filter coefficients (or residual filter coefficients) in step S92.
В результате коэффициенты фильтра определяются (восстанавливаются) на стороне декодера (этап S94). Если предсказание было применено, так что коэффициенты фильтра, полученные на этапе S92, являются остаточными коэффициентами фильтра, восстановление дополнительно включает в себя выполнение предсказания, как указано в информации управления предсказания, и добавление результата предсказания к остаточным коэффициентам фильтра для получения восстановленных коэффициентов фильтра.As a result, the filter coefficients are determined (recovered) at the decoder side (step S94). If prediction has been applied such that the filter coefficients obtained in step S92 are the residual filter coefficients, the recovery further includes performing the prediction as specified in the prediction control information and adding the prediction result to the residual filter coefficients to obtain the recovered filter coefficients.
После того, как коэффициенты фильтра восстановлены (если применимо, путем объединения информации предиктора и остаточных значений фильтра), они применяются к выборкам восстановленного изображения (этап S96).After the filter coefficients are recovered (if applicable, by combining the predictor information and filter residuals), they are applied to the reconstructed image samples (step S96).
Согласно изобретению, коэффициенты фильтра, которые применяются к выборкам восстановленного изображения, должны подчиняться правилам, определенным согласно изобретению.According to the invention, the filter coefficients that are applied to the reconstructed image samples must obey the rules defined according to the invention.
Соответственно, если коэффициент фильтра, полученный в результате восстановления (в частности: из объединения результатов предсказания и остаточных результатов), не имеет допустимого значения коэффициента фильтра согласно правилам изобретения (значение коэффициента фильтра, которое не входит в набор допустимых значений), процесс восстановления коэффициентов фильтра дополнительно выполняет операцию округления. В частности, операция округления может преобразовывать входное значение коэффициента фильтра в ближайшее допустимое значение коэффициента.Accordingly, if the filter coefficient obtained as a result of the reconstruction (in particular: from the combination of the prediction results and the residual results) does not have a valid filter coefficient value according to the rules of the invention (a filter coefficient value that is not included in the set of valid values), the filter coefficient reconstruction process additionally performs a rounding operation. In particular, the rounding operation may convert the input filter coefficient value to the nearest valid coefficient value.
Если применяется предсказание коэффициента фильтра, коэффициенты фильтра, которые должны применяться к выборкам восстановленного изображения с целью фильтрации, получаются путем сложения результата предсказания («предиктор») и остаточных коэффициентов фильтра (как объяснено в предшествующих абзацах из кодера и декодера, соответственно). Очевидно, что возможно, что остаточные коэффициенты фильтра могут отсутствовать (равны 0), особенно если предсказание близко к идеальному (коэффициенты фильтра, которые должны быть предсказаны, очень похожи на предиктор). В этом случае, согласно изобретению, применяется одна из следующих двух опций:If filter coefficient prediction is applied, the filter coefficients to be applied to the reconstructed image samples for filtering are obtained by adding the result of the prediction ("predictor") and the residual filter coefficients (as explained in the preceding paragraphs from the encoder and decoder, respectively). Obviously, it is possible that there may be no residual filter coefficients (equal to 0), especially if the prediction is close to ideal (the filter coefficients to be predicted are very similar to the predictor). In this case, according to the invention, one of the following two options applies:
1. Значения коэффициентов, полученные путем предсказания, должны подчиняться правилам, определенным в соответствии с изобретением. Например, в случае предсказания на основе предопределенных фильтров, коэффициенты фильтров предопределенных фильтров должны подчиняться правилам, определенным согласно изобретению.1. The coefficient values obtained by prediction must obey the rules defined in accordance with the invention. For example, in the case of prediction based on predefined filters, the filter coefficients of the predefined filters must obey the rules defined according to the invention.
2. Коэффициенты фильтра, полученные после предсказания, необходимо округлить до ближайшего допустимого значения коэффициента.2. The filter coefficients obtained after the prediction must be rounded to the nearest acceptable coefficient value.
Далее следует отметить, что разделение на несколько двух групп было объяснено здесь только для простоты, но также возможно более двух групп, в котором, по меньшей мере, для одной группы набор допустимых значений определяется согласно изобретению, т.е. только ограниченное количество «единиц» в пределах заранее определенного общего количества двоичных цифр.Further, it should be noted that the division into several two groups has been explained here only for simplicity, but more than two groups are also possible, in which, for at least one group, the set of allowable values is determined according to the invention, i.e. only a limited number of "ones" within a predetermined total number of binary digits.
Например, фиг.9 иллюстрирует случай, когда коэффициенты фильтра сгруппированы в три группы.For example, FIG. 9 illustrates the case where the filter coefficients are grouped into three groups.
Первая группа коэффициентов, расположенная близко к центру ядра фильтра, определяет значения коэффициентов фильтра в наборе S1 = [-511, …, 511].The first group of coefficients, located close to the center of the filter kernel, determines the values of the filter coefficients in the set S1 = [-511, ..., 511].
Вторая группа коэффициентов фильтрации, расположенная на периферии ядра и обозначенная пунктирными кружками, позволяет значениям коэффициентов фильтрации находиться в пределах модифицированного ограниченного набора S2, в котором S2 здесь S2 = [-128, -64, -32, -16, -8, -4, -2, -1,0,1,2,4,8,16,32,64,128]. Это набор всех значений коэффициентов, которые могут быть представлены L = 8 двоичными цифрами, только с одной «единицей».The second group of filtration coefficients, located on the periphery of the kernel and indicated by dotted circles, allows the values of the filtration coefficients to be within the modified limited set S2, in which S2 here S2 = [-128, -64, -32, -16, -8, -4 , -2, -1,0,1,2,4,8,16,32,64,128]. This is the set of all coefficient values that can be represented by L = 8 binary digits, with only one "one".
Третья группа коэффициентов фильтрации, расположенная между первой и второй группами и обозначенная закрашенными кружками, позволяет значениям коэффициентов фильтрации находиться в пределах другого ограниченного набора S3, в которомThe third group of filter coefficients, located between the first and second groups and indicated by filled circles, allows the values of the filter coefficients to be within another limited set S3, in which
S3 = [-64, -48, -40, …, 0,1,2,3,4,5,6,8,9,10,12,16,17,18,20,24,32,33, 34,36,40,48,64].S3 = [-64, -48, -40, …, 0,1,2,3,4,5,6,8,9,10,12,16,17,18,20,24,32,33, 34,36,40,48,64].
Другими словами, набор S3 является набором всех коэффициентов, которые могут быть представлены с помощью L = 7 двоичных цифр, в котором не более двух битов равны «единице» в абсолютном значении коэффициента, и применяется дополнительное ограничение, заключающееся в том, что максимальное абсолютное значение установлено на 64. (В противном случае, например, также должно быть разрешено абсолютное значение 96, поскольку оно может быть выражено двумя ведущими «единицами» в 7 двоичных цифрах).In other words, the set S3 is the set of all coefficients that can be represented by L = 7 binary digits, in which at most two bits are equal to "one" in the absolute value of the coefficient, and the additional constraint is that the maximum absolute value set to 64. (Otherwise, for example, the absolute value 96 must also be allowed, since it can be expressed by two leading "ones" in 7 binary digits).
Далее, со ссылкой на фиг.10, показан другой примерный вариант осуществления конкретного преимущества изобретения.Next, with reference to FIG. 10, another exemplary embodiment of a particular advantage of the invention is shown.
В примере на фиг.10 группировка выполняется так же, как на фиг.7.In the example of Fig. 10, the grouping is performed in the same way as in Fig. 7.
Коэффициенты фильтра в первой группе могут принимать любые значения с девятью битами полного диапазона и битом знака, то есть, вышеупомянутый набор S1 = [-511, 511].The filter coefficients in the first group can take any value with nine full range bits and a sign bit, that is, the above set S1 = [-511, 511].
Коэффициенты фильтра во второй группе могут принимать ограниченный набор значений S2, в котором S2 здесь S2 = [-128, -64, -32, -16, -8, -4, -2, -1,0,1, 2,4,8,16,32,64,128]. Это соответствует тем значениям, которые могут быть представлены одной «1» в двоичном представлении. Более того, максимально допустимое абсолютное значение ограничено 128, т.е. дополнительно предполагается, что число L ограничено до L = 8.The filter coefficients in the second group can take a limited set of values S2, in which S2 here S2 = [-128, -64, -32, -16, -8, -4, -2, -1,0.1, 2.4 ,8,16,32,64,128]. This corresponds to those values that can be represented by a single "1" in binary representation. Moreover, the maximum allowed absolute value is limited to 128, i.e. additionally, it is assumed that the number L is limited to L = 8.
Другими словами, размер фильтра соответствует тому, который был показан на фиг.4, то есть, ромбовидному фильтру 9 × 9. Как было указано в разделе «Уровень техники», обычно требуется 41 умножение 9-битными коэффициентами фильтра. Поскольку одно умножение эквивалентно 8 двоичным сложениям, как упоминалось в разделе «Уровень техники», количество дополнительных операций на пиксель составляет 48 * 8 = 328 операций сложения.In other words, the filter size corresponds to that shown in Fig. 4, that is, a 9×9 diamond filter. As noted in the Background section, 41 multiplications by 9-bit filter coefficients are typically required. Since one multiplication is equivalent to 8 binary additions, as mentioned in the Background section, the number of additional operations per pixel is 48 * 8 = 328 addition operations.
Согласно изобретению периферийные 28 коэффициенты (то есть, коэффициенты во второй группе) могут быть реализованы как единичная операция сдвига бита. Реализация операции сдвига бита имеет очень незначительную аппаратную сложность и, таким образом, может быть опущена при вычислении.According to the invention, the peripheral 28 coefficients (ie, the coefficients in the second group) can be implemented as a single bit shift operation. The implementation of the bit shift operation has very little hardware complexity and thus can be omitted from the calculation.
Тринадцать операций умножения 9-битными коэффициентами равны 13 * 8 = 104 сложения на пиксель. Количество операций на пиксель снижено на 68%.Thirteen multiplication operations by 9-bit coefficients equals 13 * 8 = 104 additions per pixel. The number of operations per pixel is reduced by 68%.
Приведенные выше числа являются приблизительными оценками, и точное значение снижения сложности зависит от фактической реализации.The above numbers are rough estimates and the exact amount of complexity reduction depends on the actual implementation.
Далее объясняется дополнительное преимущество реализаций, использующих, по меньшей мере, две группы коэффициентов.The following explains the additional advantage of implementations using at least two groups of coefficients.
Согласно изобретению, не все коэффициенты фильтра квантованы грубо, и коэффициенты фильтра в первой группе имеют более точное квантование.According to the invention, not all filter coefficients are roughly quantized, and the filter coefficients in the first group are more finely quantized.
Обычно грубое квантование коэффициентов фильтра вызывает потерю кодирования. Однако наличие первой группы коэффициентов фильтра, допускающих принятие большого набора значений, может использоваться для компенсации потерь кодирования кодером.Typically, coarse quantization of the filter coefficients causes loss of coding. However, having a first group of filter coefficients capable of accepting a large set of values can be used to compensate for coding loss by the encoder.
Возможная реализация кодера представляет собой. В нижеследующем описании используются метки коэффициентов фильтра, указанные на фиг.11, которые могут отличаться от меток, ранее использовавшихся в связи с другими чертежами:A possible implementation of the encoder is. In the following description, the labels of the filter coefficients indicated in Fig. 11 are used, which may differ from the labels previously used in connection with other drawings:
Этап 1: получить все коэффициенты фильтра (C0, …, C20) с использованием способа наименьших квадратов, предполагая отсутствие ограничений значений коэффициентов.Step 1: Obtain all filter coefficients (C 0 , ..., C 20 ) using the least squares method, assuming no constraints on coefficient values.
Этап 2: установить ограничение, округляя коэффициенты (C7, …, C20) до ближайшего допустимого значения.Step 2: set the limit by rounding the coefficients (C 7 , …, C 20 ) to the nearest acceptable value.
Этот этап вводит шум квантования в коэффициенты фильтра и, таким образом, снижает выигрыш кодирования.This step introduces quantization noise into the filter coefficients and thus reduces the coding gain.
Этап 3: переоценить свободно выбираемые коэффициенты фильтра (C0, …, C6) для компенсации ошибки квантования. На этом третьем этапе можно восстановить большую часть потерь кодирования, которые вносятся на этапе 2.Step 3: Re-estimate freely selectable filter coefficients (C 0 , ..., C 6 ) to compensate for quantization error. In this third step, most of the coding loss introduced in step 2 can be recovered.
Более детально:In more detail:
На первом этапе приведенное ниже уравнение решается для фильтра 41 ответвлений (с 21 уникальными коэффициентами):In the first step, the equation below is solved for a 41-tap filter (with 21 unique coefficients):
Вышеприведенное уравнение называется уравнением наименьших квадратов и используется для нахождения коэффициентов Cx фильтра в кодере.The above equation is called the least squares equation and is used to find the filter coefficients Cx in the encoder.
Элемент Xx,y представляет собой ожидаемое значение R (i + k, j + l) * R (i + m, j+n), корреляция между двумя восстановленными выборками перед фильтрацией. Индексы k, l, m и n выбираются в соответствии с формой применяемого фильтра.The element X x,y is the expected value R(i + k, j + l) * R(i + m, j+n), the correlation between the two reconstructed samples before filtering. The indices k, l, m and n are chosen according to the shape of the applied filter.
Элемент Px обозначает ожидаемое значение R (i + k, j + l) * O (i, j).The element P x denotes the expected value R(i + k, j + l) * O(i, j).
На втором этапе для коэффициентов фильтра от C7 до C20 находятся наиболее близкие приближенные коэффициенты, которые удовлетворяют ограничениям:At the second stage, for the filter coefficients from C 7 to C 20 , the closest approximate coefficients are found that satisfy the constraints:
Коэффициенты от C7’ до C20’ подчиняются правилам, установленным изобретением. Обратите внимание, что функция f (), описанная выше, вносит шум квантования в коэффициенты фильтра от C7 до C20, которые были ранее получены путем решения уравнения наименьших квадратов.The coefficients from C 7 ' to C 20 ' obey the rules established by the invention. Note that the f() function described above introduces quantization noise into the filter coefficients C 7 to C 20 that were previously obtained by solving the least squares equation.
Ожидается, что шум квантования, введенный на втором этапе, снизит производительность операции фильтрации. Эффективность фильтрации обычно измеряется таким показателем, как отношение пикового сигнала к шуму (Peak signal-to-noise ratio, PSNR), поэтому после этапа 2, PSNR фильтрованного изображения будет уменьшено.It is expected that the quantization noise introduced in the second step will degrade the performance of the filtering operation. Filtering efficiency is usually measured by Peak signal-to-noise ratio (PSNR), so after step 2, the PSNR of the filtered image will be reduced.
На третьем этапе приведенное ниже уравнение решается для фильтра с 13 ответвлениями (с 7 уникальными коэффициентами):In the third step, the equation below is solved for a 13-tap filter (with 7 unique coefficients):
На третьем этапе коэффициенты фильтрации от C0 до C7 вычисляются снова с учетом шума квантования, введенного на втором этапе. Третий этап преимущественно уменьшает снижение эффективности фильтрации, вызванное применением этапа 2.In the third step, the filtering coefficients from C 0 to C 7 are calculated again, taking into account the quantization noise introduced in the second step. The third stage advantageously reduces the reduction in filtration efficiency caused by the application of stage 2.
Следует отметить, что в целом применение операции фильтрации с коэффициентами адаптивного мультипликативного фильтра не ограничивается выборками восстановленных изображений. Как описано на фиг.2 и фиг.3, восстановленный блок обычно соответствует блоку изображения, который получается после комбинации блока обратного преобразования и блока предсказания. Как очевидно для специалиста в данной области техники, операция фильтрации с адаптивными коэффициентами фильтра также может применяться на других этапах операций кодирования и декодирования, например, к блоку (265, 165) предсказания, блоку (213, 113) обратного преобразования, квантованным коэффициентам (209, 109), деквантованным коэффициентам (111, 211) или декодированному изображению (231). В этом случае изобретение применяется к коэффициентам фильтра операции фильтрации.It should be noted that, in general, the application of the filtering operation with adaptive multiplicative filter coefficients is not limited to samples of reconstructed images. As described in FIG. 2 and FIG. 3, the reconstructed block generally corresponds to the image block that is obtained after the combination of the inverse transform block and the prediction block. As will be appreciated by one skilled in the art, the filtering operation with adaptive filter coefficients can also be applied to other steps of the encoding and decoding operations, e.g., prediction block (265, 165), inverse transform block (213, 113), quantized coefficients (209 , 109), dequantized coefficients (111, 211) or decoded image (231). In this case, the invention applies to the filter coefficients of the filtering operation.
Таким образом, изобретение относится к усовершенствованному устройству и способу фильтрации восстановленных изображений, в частности, видеоизображений с помощью адаптивных мультипликативных фильтров. Эффективность операции фильтрации повышается за счет ограничения допустимых значений коэффициентов фильтрации теми, которые имеют только ограниченное количество «единиц» в двоичном представлении.Thus, the invention relates to an improved device and method for filtering reconstructed images, in particular video images, using adaptive multiplicative filters. The efficiency of the filtering operation is improved by limiting the allowed values of the filter coefficients to those that have only a limited number of "ones" in binary representation.
Обратите внимание, что эта спецификация предоставляет объяснения для изображений (кадров), но поля заменяются изображениями в случае сигнала чересстрочного изображения.Note that this specification provides explanations for images (frames), but fields are replaced by images in the case of an interlaced image signal.
Хотя варианты осуществления изобретения были в основном описаны на основе кодирования видео, следует отметить, что варианты осуществления кодера 100 и декодера 200 (и, соответственно, системы 300) также могут быть выполнены с возможностью обработки или кодирования неподвижных изображений, то есть, обработки или кодирования отдельного изображения независимо от любого предшествующего или последующего изображения, как при кодировании видео. В общем, если кодирование обработки изображения ограничено одним изображением 101, то в этом случае не являются доступными только внешняя оценка 142, внешнее предсказание 144, 242. Большинство, если не все другие функции (также называемые инструментами или технологиями) видеокодера 100 и видеодекодера 200 могут в равной степени использоваться для неподвижных изображений, например, для разделения, преобразования (масштабирования) 106, квантования 108, обратного квантования 110, обратного преобразования 112, внутренней оценки 142, внутреннего предсказания 154, 254 и/или контурного фильтра 120, 220 и энтропийного кодирования 170 и энтропийного декодирования 204.Although embodiments of the invention have been primarily described in terms of video encoding, it should be noted that embodiments of encoder 100 and decoder 200 (and
Везде, где варианты осуществления и описание относятся к термину «память», термин «память» следует понимать и/или должен содержать магнитный диск, оптический диск, твердотельный накопитель (solid state drive, SSD), постоянное запоминающее устройство (Read- Only Memory, ROM), память с произвольным доступом (Random Access Memory, RAM), флэш-накопитель USB или любой другой подходящий тип памяти, если явно не указано иное.Wherever the embodiments and description refer to the term "memory", the term "memory" should be understood and/or should include magnetic disk, optical disk, solid state drive (SSD), read-only memory, ROM), Random Access Memory (RAM), USB flash drive, or any other suitable type of memory unless otherwise noted.
Везде, где варианты осуществления и описание относятся к термину «сеть», термин «сеть» должен пониматься и/или должен содержать любой вид беспроводной или проводной сети, такой как локальная сеть (Local Area Network, LAN), глобальная беспроводная локальная сеть (Wireless LAN, WLAN), сеть (Wide Area Network, WAN), Ethernet, интернет, мобильные сети и т.д., если явно не указано иное.Wherever the embodiments and description refer to the term "network", the term "network" shall be understood and/or shall include any kind of wireless or wired network, such as Local Area Network (LAN), Wide Area Network (Wireless LAN, WLAN), network (Wide Area Network, WAN), Ethernet, Internet, mobile networks, etc., unless otherwise specified.
Специалист в данной области техники поймет, что «блоки» («блоки» или «модули») на различных чертежах (способах и устройствах) представляют или описывают функциональные возможности вариантов осуществления изобретения (а не обязательно отдельные «блоки» в аппаратных средствах или программном обеспечении) и, таким образом, в равной степени описывают функции или признаки вариантов осуществления устройства, а также вариантов осуществления способа (блок = этапу).One skilled in the art will appreciate that the "blocks" ("blocks" or "modules") in the various drawings (methods and devices) represent or describe the functionality of embodiments of the invention (and not necessarily individual "blocks" in hardware or software). ) and thus equally describe the functions or features of device embodiments as well as method embodiments (block = step).
Терминология «блоки» используется просто для иллюстративных целей функциональных возможностей вариантов осуществления кодера/декодера и не предназначена для ограничения настоящего изобретения.The terminology "blocks" is used merely for illustrative purposes of the functionality of encoder/decoder embodiments and is not intended to limit the present invention.
В нескольких вариантах осуществления, представленных в настоящем изобретении, следует понимать, что раскрытые система, устройство и способ могут быть реализованы другими способами. Например, описанный вариант осуществления устройства является просто примерным. Например, разделение на блоки является просто разделением логических функций и может быть другим разделением в реальной реализации. Например, множество блоков или компонентов могут быть объединены или интегрированы в другую систему, или некоторые функции могут игнорироваться или не выполняться. Дополнительно, отображаемые или обсуждаемые взаимные связи или прямые связи или коммуникационные соединения могут быть реализованы с использованием некоторых интерфейсов. Непрямые связи или коммуникационные соединения между устройствами или блоками могут быть реализованы в электронной, механической или других формах.In several embodiments presented in the present invention, it should be understood that the disclosed system, device and method can be implemented in other ways. For example, the device embodiment described is merely exemplary. For example, the division into blocks is simply a division of logical functions and may be another division in the actual implementation. For example, many blocks or components may be combined or integrated into another system, or certain functions may be ignored or not performed. Additionally, displayed or discussed reciprocal links or direct links or communication connections can be implemented using some interfaces. Indirect connections or communication connections between devices or units may be implemented in electronic, mechanical or other forms.
Блоки, описанные как отдельные части, могут быть или не могут быть физически отдельными, и части, отображаемые как блоки, могут быть или не быть физическими блоками, могут быть расположены в одной позиции или могут быть распределены по множеству сетевых блоков. Некоторые или все блоки могут быть выбраны в соответствии с фактическими потребностями для достижения целей решений вариантов осуществления.Blocks described as separate parts may or may not be physically separate, and parts displayed as blocks may or may not be physical blocks, may be located in the same position, or may be distributed over multiple network blocks. Some or all of the blocks may be selected according to actual needs in order to achieve the goals of the solutions of the embodiments.
Дополнительно, функциональные блоки в вариантах осуществления изобретения могут быть интегрированы в один блок обработки, или каждый из блоков может существовать отдельно физически, или два или более блоков объединены в один блок.Additionally, functional blocks in embodiments of the invention may be integrated into a single processing unit, or each of the units may exist separately physically, or two or more units may be combined into one unit.
Варианты осуществления изобретения могут дополнительно содержать устройство, например, кодер и/или декодер, которое содержит схему обработки, выполненную с возможностью выполнять любой из способов и/или процессов, описанных в данном документе.Embodiments of the invention may further comprise an apparatus, such as an encoder and/or decoder, that includes a processing circuit configured to perform any of the methods and/or processes described herein.
Варианты осуществления кодера 100 и/или декодера 200 могут быть реализованы как аппаратное обеспечение, встроенное программное обеспечение, программное обеспечение или любая их комбинация. Например, функциональность кодера/кодирования или декодера/декодирования может выполняться схемой обработки с встроенным программным обеспечением или программным обеспечением или без них, например процессором, микроконтроллером, процессором цифровых сигналов (digital signal processor, DSP), программируемой пользователем вентильной матрицей (field programmable gate array, FPGA), специализированной интегральной схемой (application-specific integrated circuit, ASIC) или тому подобное.Embodiments of encoder 100 and/or decoder 200 may be implemented as hardware, firmware, software, or any combination thereof. For example, encoder/encoder or decoder/decoder functionality may be performed by a processing circuit with or without firmware or software, such as a processor, microcontroller, digital signal processor (DSP), field programmable gate array , FPGA), application-specific integrated circuit (ASIC), or the like.
Функциональные возможности кодера 100 (и соответствующего способа 100 кодирования) и/или декодера 200 (и соответствующего способа 200 декодирования) могут быть реализованы с помощью программных инструкций, сохраненных на машиночитаемом носителе. Программные инструкции при исполнении побуждают схему обработки, компьютер, процессор и т.п. выполнять этапы способов кодирования и/или декодирования. Машиночитаемый носитель может быть любым носителем, включающий в себя энергонезависимый носитель, на котором хранится программа, например, диск Blu-ray, DVD, CD, USB (флэш-накопитель), жесткий диск, серверное хранилище, доступное через сеть и т.д.The functionality of encoder 100 (and corresponding encoding method 100) and/or decoder 200 (and corresponding decoding method 200) may be implemented using program instructions stored on a computer-readable medium. Program instructions, when executed, cause a processing circuit, a computer, a processor, or the like. perform steps of encoding and/or decoding methods. The computer-readable medium may be any medium including a non-volatile medium on which a program is stored, such as a Blu-ray disc, DVD, CD, USB (flash drive), hard disk, server storage accessible via a network, etc.
Вариант осуществления изобретения содержит или представляет собой компьютерную программу, содержащую программный код для выполнения любого из описанных здесь способов, при исполнении на компьютере.An embodiment of the invention comprises or is a computer program containing program code for performing any of the methods described herein when executed on a computer.
Вариант осуществления изобретения содержит или представляет собой машиночитаемый носитель, содержащий программный код, который при исполнении процессором, побуждает компьютерную систему выполнять любой из описанных в настоящем документе способов.An embodiment of the invention comprises or is a computer-readable medium containing program code that, when executed by a processor, causes a computer system to perform any of the methods described herein.
Вариант осуществления изобретения содержит или представляет собой набор микросхем, выполняющий любой из описанных в настоящем документе способов.An embodiment of the invention comprises or is a chipset that performs any of the methods described herein.
ПЕРЕЧЕНЬ ССЫЛОЧНЫХ ПОЗИЦИЙLIST OF REFERENCES
100 кодер100 encoder
102 ввод (например, порт ввода, входной интерфейс)102 input (such as input port, input interface)
103 блок изображения103 image block
104 вычисление остаточной величины [блок или этап]104 calculation of residual value [block or step]
105 остаточный блок105 residual block
106 преобразование (например, дополнительно содержащее масштабирование) [блок или этап]106 transformation (eg, further comprising scaling) [block or step]
107 преобразованные коэффициенты107 converted odds
108 квантование [блок или этап]108 quantize [block or step]
109 квантованные коэффициенты109 quantized coefficients
110 обратное квантование [блок или этап]110 inverse quantization [block or step]
111 деквантованные коэффициенты111 dequantized coefficients
112 обратное преобразование (например, дополнительно содержащее масштабирование) [блок или этап]112 inverse transform (eg, additionally containing scaling) [block or step]
113 обратно преобразованный блок113 back converted block
114 восстановление [блок или этап]114 recovery [block or stage]
115 восстановленный блок115 restored block
116 (линейный) буфер [блок или этап]116 (linear) buffer [block or stage]
117 опорные выборки117 reference samples
120 контурный фильтр [блок или этап]120 loop filter [block or stage]
121 отфильтрованный блок121 filtered blocks
130 буфер декодированных изображений (Decoded picture buffer, DPB) [блок или этап]130 Decoded picture buffer (DPB) [block or step]
142 внешняя оценка (или внешняя оценка изображения) [блок или этап]142 external evaluation (or external image evaluation) [block or step]
143 параметры внешней оценки (например, опорное изображение/индекс опорного изображения, вектор движения/смещение)143 external evaluation parameters (e.g. reference picture/reference picture index, motion vector/displacement)
144 внешнее предсказание (или внешнее предсказание изображения) [блок или этап]144 inter-prediction (or inter-picture prediction) [block or step]
145 блок внешнего предсказания145 inter prediction block
152 внутренняя оценка (или внутренняя оценка изображения) [блок или этап]152 internal evaluation (or internal image evaluation) [block or step]
153 параметры внутреннего предсказания (например, режим внутреннего предсказания)153 intra prediction parameters (such as intra prediction mode)
154 внутреннее предсказание (внутреннее предсказание кадра/изображения) [блок или этап]154 intra prediction (frame/picture intra prediction) [block or step]
155 блок внутреннего предсказания155 intra prediction block
162 выбор режима [блок или этап]162 mode selection [block or step]
165 блок предсказания (либо блок 145 внешнего предсказания, либо блок 155 внутреннего предсказания)165 prediction block (either
170 энтропийное кодирование [блок или этап]170 entropy coding [block or step]
171 данные закодированного изображения (например, битовый поток)171 encoded image data (e.g. bitstream)
172 вывод (порт вывода, выходной интерфейс)172 output (output port, output interface)
200 декодер200 decoder
202 ввод (порт/интерфейс)202 input (port/interface)
204 энтропийное декодирование204 entropy decoding
209 квантованные коэффициенты209 quantized coefficients
210 обратное квантование210 inverse quantization
211 деквантованные коэффициенты211 dequantized coefficients
212 обратное преобразование (масштабирование)212 inverse transformation (scaling)
213 обратно преобразованный блок213 back converted block
214 восстановление (блок)214 recovery (block)
215 восстановленный блок215 restored block
216 (линейный) буфер216 (linear) buffer
217 опорные выборки217 reference samples
220 контурный фильтр (в контурном фильтре)220 loop filter (in loop filter)
221 отфильтрованный блок221 filtered blocks
230 буфер декодированных изображений (Decoded picture buffer, DPB)230 Decoded picture buffer (DPB)
231 декодированное изображение231 decoded pictures
232 вывод (порт/интерфейс)232 pin (port/interface)
244 внешнее предсказание (внешнее предсказание изображения/кадра)244 inter-prediction (inter-picture/frame prediction)
245 блок внешнего предсказания245 inter prediction block
254 внутреннее предсказание (внутреннее предсказание изображения/кадра)254 intra prediction (image/frame intra prediction)
255 блок внутреннего предсказания255 intra prediction block
260 выбор режима260 mode selection
265 блок предсказания (блок 245 внешнего предсказания или блок 255 внутреннего предсказания)265 prediction block (
300 система кодирования300 coding system
310 устройство источника310 source device
312 изображение источника312 source image
313 (необработанные) данные изображения313 (raw) image data
314 препроцессор/блок предварительной обработки314 preprocessor/preprocessor
315 данные предварительно обработанного изображения315 preprocessed image data
318 блок/интерфейс связи318 block/communication interface
320 устройство назначения320 destination device
322 блок/интерфейс связи322 communication block/interface
326 постпроцессор/блок постобработки326 postprocessor/postprocessor
327 данные постобработанного изображения327 post-processed image data
328 устройство/блок отображения328 device/display unit
330 данные переданных/принятых/сообщенных (закодированных) изображений330 transmitted/received/reported (encoded) image data
Claims (37)
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP2018055979 | 2018-03-09 | ||
EPPCT/EP2018/055979 | 2018-03-09 | ||
PCT/EP2018/058090 WO2019170258A1 (en) | 2018-03-09 | 2018-03-29 | Method and apparatus for image filtering with adaptive multiplier coefficients |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2022109274A Division RU2022109274A (en) | 2018-03-09 | 2018-03-29 | METHOD AND DEVICE FOR IMAGE FILTERING WITH ADAPTIVE MULTIPLIER COEFFICIENTS |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2020133183A3 RU2020133183A3 (en) | 2022-04-11 |
RU2020133183A RU2020133183A (en) | 2022-04-11 |
RU2772313C2 true RU2772313C2 (en) | 2022-05-18 |
Family
ID=
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1626499A1 (en) * | 2003-05-15 | 2006-02-15 | Neuro Solution Corp. | Digital filter, design method thereof, design device, and digital filter design program |
RU2010119176A (en) * | 2007-10-14 | 2011-11-20 | Нокиа Корпорейшн (Fi) | IMPLEMENTATION OF ADAPTIVE FILTER OF IMAGES WITH FIXED POINT WITH HIGH EFFICIENCY OF ENCODING |
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1626499A1 (en) * | 2003-05-15 | 2006-02-15 | Neuro Solution Corp. | Digital filter, design method thereof, design device, and digital filter design program |
RU2010119176A (en) * | 2007-10-14 | 2011-11-20 | Нокиа Корпорейшн (Fi) | IMPLEMENTATION OF ADAPTIVE FILTER OF IMAGES WITH FIXED POINT WITH HIGH EFFICIENCY OF ENCODING |
Non-Patent Citations (3)
Title |
---|
FAOUZI KOSSENTINI et аl., An Adaptive Interpolation Filtering Technique, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-E284, 5th Meeting: Geneva, 16-23 March, 2011. * |
K. Ugur et аl., Efficient Implementation of Adaptive Interpolation Filters for Low Complexity Video Coding, IEEE Transactions on Consumer Electronics, New York, 2009. * |
VATIS Y. et аl., Coding of coefficients of two-dimensional non-separable adaptive Wiener interpolation filter, Visual Communications and Image Processing 2005, Proc. of SPIE, vol.5960, Bellingham, 2005. * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102419112B1 (en) | Residual sign prediction method and apparatus in transform domain | |
US11533480B2 (en) | Method and apparatus for image filtering with adaptive multiplier coefficients | |
JP7384974B2 (en) | Method and apparatus for image filtering using adaptive multiplication coefficients | |
EP3741127A1 (en) | Loop filter apparatus and method for video coding | |
JP2023085337A (en) | Method and apparatus of cross-component linear modeling for intra prediction, decoder, encoder, and program | |
RU2772313C2 (en) | Method and apparatus for filtering images with adaptive multiplier coefficients | |
RU2779474C1 (en) | Image processing device and method for performing effective deblocks | |
RU2787217C1 (en) | Method and device for interpolation filtration for encoding with prediction | |
WO2020001566A1 (en) | In-loop deblocking filter apparatus and method for video coding |