EA043315B1 - DECODING BIT STREAM - Google Patents
DECODING BIT STREAM Download PDFInfo
- Publication number
- EA043315B1 EA043315B1 EA202191421 EA043315B1 EA 043315 B1 EA043315 B1 EA 043315B1 EA 202191421 EA202191421 EA 202191421 EA 043315 B1 EA043315 B1 EA 043315B1
- Authority
- EA
- Eurasian Patent Office
- Prior art keywords
- intra prediction
- samples
- prediction mode
- block
- hypothesis
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 61
- 239000000523 sample Substances 0.000 claims description 27
- 239000013074 reference sample Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Description
Область техники, к которой относится изобретениеField of technology to which the invention relates
Изобретение относится к кодированию и декодированию изображений, и, в частности, изобретение относится к способу декодирования потока битов для того, чтобы получать изображение.The invention relates to image encoding and decoding, and in particular, the invention relates to a method for decoding a bit stream in order to obtain an image.
Уровень техникиState of the art
В кодеке изображений или видео использование пространственных избыточностей обеспечивает более эффективное кодирование изображения. Одна из самых успешных схем внутреннего предсказания состоит в выполнении, так называемого, направленного внутреннего предсказания. Каждое предсказание формируется в качестве среднего взвешенного одной или более опорных выборок; выбор того, какие опорные выборки следует использовать, а также весовые коэффициенты, применяемые, чтобы вычислять среднее, зависят от конкретного направления внутреннего предсказания. Также существуют ненаправленные режимы внутреннего предсказания. Это раскрытие сущности относится к внутреннему предсказанию, и нижеприведенное использование терминов предсказание и т.п. должно пониматься соответствующим образом.In an image or video codec, the use of spatial redundancies allows for more efficient image encoding. One of the most successful intra prediction schemes is to perform what is called directed intra prediction. Each prediction is formed as a weighted average of one or more reference samples; the choice of which reference samples to use, as well as the weights applied to calculate the average, depend on the particular direction of the intra prediction. There are also non-directional intra prediction modes. This disclosure refers to internal prediction, and the following uses of the terms prediction and the like. must be understood accordingly.
Сущность изобретенияThe essence of the invention
В соответствии с первым аспектом настоящего изобретения, предусмотрен способ декодирования в декодере потока битов, представляющего изображение, при этом поток битов содержит множество блоков остаточных выборок, и один или более восстановленных кадров изображения упомянутого изображения получаются посредством добавления соответствующего блока остаточных выборок к блоку комбинированных гипотез внутренних предсказаний, причем блок комбинированных гипотез внутренних предсказаний формируется посредством применения способа, содержащего:According to a first aspect of the present invention, there is provided a method for decoding, in a decoder, a bit stream representing an image, wherein the bit stream contains a plurality of blocks of residual samples, and one or more reconstructed image frames of said image are obtained by adding a corresponding block of residual samples to a block of combined internal hypotheses. predictions, and a block of combined hypotheses of internal predictions is formed by applying a method containing:
прием потока битов;bit stream reception;
для каждого блока остаточных выборок:for each block of residual samples:
определение, указывается и/или логически выводится ли комбинированная гипотеза внутреннего предсказания из потока битов, и если да:determining whether or not the combined intra prediction hypothesis is indicated and/or inferred from the bitstream, and if so:
для каждого блока остаточных выборок блока, для которого указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания:for each block of residual samples of the block for which the combined internal prediction hypothesis is specified and/or inferred:
определение первого режима внутреннего предсказания из информации, извлекаемой из потока битов;determining a first intra prediction mode from information extracted from the bit stream;
определение или логический вывод, по меньшей мере, второго отличающегося режима внутреннего предсказания;determining or inferring at least a second different intra prediction mode;
применение первого режима внутреннего предсказания, по меньшей мере, к одной опорной выборке, чтобы формировать первую выборку предсказания гипотезы;applying a first intra prediction mode to at least one reference sample to generate a first hypothesis prediction sample;
применение по меньшей мере одного второго режима внутреннего предсказания к упомянутой по меньшей мере одной опорной выборке, чтобы формировать вторую выборку предсказания (прогнозную выборку) гипотезы; и формирование упомянутого блока комбинированных гипотез предсказаний посредством комбинирования первой и второй выборок предсказания (прогнозных выборок) гипотезы, сформированных для блока.applying at least one second intra prediction mode to said at least one reference sample to generate a second prediction sample (prediction sample) of the hypothesis; and generating said block of combined prediction hypotheses by combining the first and second prediction samples (prediction samples) of the hypothesis generated for the block.
В некотором примерном варианте осуществления изобретения, для одного или более блоков остаточных выборок для блока, для которого указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания, способ формирования блока комбинированных гипотез внутренних предсказаний содержит, для каждой остаточной выборки блока, применение первого режима внутреннего предсказания к опорной выборке, применение второго режима внутреннего предсказания к той же опорной выборке и комбинирование результирующих первой и второй выборок внутреннего предсказания гипотезы, чтобы формировать выборку предсказания комбинированных гипотез, при этом способ дополнительно содержит комбинирование выборок предсказания комбинированных гипотез, таким образом полученных для блока, чтобы формировать упомянутый блок комбинированных гипотез внутренних предсказаний.In some exemplary embodiment of the invention, for one or more blocks of residual samples for a block for which a combined intra prediction hypothesis is indicated and/or inferred, a method for generating a block of combined intra prediction hypotheses comprises, for each residual sample of the block, applying a first intra prediction mode to the reference sample, applying a second intra prediction mode to the same reference sample, and combining the resulting first and second intra hypothesis prediction samples to form a combination hypothesis prediction sample, the method further comprising combining the combination hypothesis prediction samples thus obtained for the block so as form the mentioned block of combined hypotheses of internal predictions.
В других примерных вариантах осуществления изобретения, для одного или более блоков остаточных выборок, для которых указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания, способ формирования блока комбинированных гипотез внутренних предсказаний содержит применение упомянутого первого режима внутреннего предсказания ко всем из опорных выборок упомянутого блока, чтобы формировать множество первых выборок предсказания гипотезы, применение второго режима внутреннего предсказания ко всем из опорных выборок упомянутого блока, чтобы формировать множество вторых выборок предсказания гипотезы, и комбинирование первой и второй выборок предсказания гипотезы, чтобы формировать упомянутый блок комбинированных гипотез внутренних предсказаний.In other exemplary embodiments of the invention, for one or more blocks of residual samples for which a combined intra prediction hypothesis is indicated and/or inferred, a method for generating a block of combined intra prediction hypotheses comprises applying said first intra prediction mode to all of the reference samples of said block, to generate a plurality of first hypothesis prediction samples, applying a second intra prediction mode to all of the reference samples of said block to generate a plurality of second hypothesis prediction samples, and combining the first and second hypothesis prediction samples to form said block of combined intra prediction hypotheses.
Необязательно, определение второго режима внутреннего предсказания содержит логический вывод второго режима внутреннего предсказания на основе первого режима внутреннего предсказания. В этом случае, логический вывод второго режима внутреннего предсказания может содержать логический вывод того, что второй режим внутреннего предсказания представляет собой режим планарного внутреннего предсказания, если первый режим предсказания не представляет собой режим планарного внут- 1 043315 реннего предсказания.Optionally, the definition of the second intra prediction mode includes inferring the second intra prediction mode based on the first intra prediction mode. In this case, the inference of the second intra prediction mode may include the inference that the second intra prediction mode is a planar intra prediction mode if the first prediction mode is not a planar intra prediction mode.
Второй режим внутреннего предсказания может определяться на основе индикатора в потоке битов.The second intra prediction mode may be determined based on an indicator in the bit stream.
Способ некоторых вариантов осуществления дополнительно может содержать определение того, представляет ли собой первый режим внутреннего предсказания режим планарного внутреннего предсказания; и логический вывод комбинированной гипотезы внутреннего предсказания только, если первый режим предсказания не представляет собой режим планарного предсказания.The method of some embodiments may further comprise determining whether the first intra prediction mode is a planar intra prediction mode; and inferring the combined intra prediction hypothesis only if the first prediction mode is not a planar prediction mode.
В некоторых вариантах осуществления, комбинирование первой и второй выборок внутреннего предсказания комбинированных гипотез, чтобы формировать упомянутый блок комбинированных гипотез предсказаний, может содержать суммирование упомянутых первой и второй выборок предсказания гипотезы с соответствующими упомянутыми остаточными выборками. В некоторых вариантах осуществления, комбинирование первой и второй выборок внутреннего предсказания гипотез для того, чтобы формировать упомянутый блок комбинированных гипотез предсказаний, может содержать вычисление среднего взвешенного первой и второй выборок внутреннего предсказания комбинированных гипотез.In some embodiments, combining the first and second internal prediction samples of the combined hypotheses to form said block of combined prediction hypotheses may comprise adding the first and second hypothesis prediction samples with the corresponding said residual samples. In some embodiments, combining the first and second intra-hypothesis prediction samples to form said block of combined prediction hypotheses may comprise calculating a weighted average of the first and second intra-prediction samples of the combined hypotheses.
В некоторых вариантах осуществления, комбинирование первой и второй выборок внутреннего предсказания гипотез, чтобы формировать упомянутый блок комбинированных гипотез предсказаний, может содержать определение взвешиваний, которые должны применяться к первой и/или второй выборкам гипотезы, с их комбинированием для того, чтобы формировать упомянутый блок комбинированных гипотез внутренних предсказаний. В некоторых вариантах осуществления, комбинирование первой и второй выборок внутреннего предсказания гипотез содержит добавление их взвешенной комбинации с соответствующими остаточными выборками. Взвешивания, применяемые к первой и/или второй выборкам внутреннего предсказания гипотез гипотезы, могут необязательно определяться на основе значений битов в потоке битов или посредством запроса в таблице поиска либо могут, по меньшей мере, частично логически выводиться с использованием информации, извлеченной из соседних блоков.In some embodiments, combining the first and second internal hypothesis prediction samples to form said block of combined prediction hypotheses may comprise defining weights to be applied to the first and/or second hypothesis samples, combining them to form said block of combined predictions. internal prediction hypotheses. In some embodiments, combining the first and second intrahypothesis prediction samples comprises adding a weighted combination thereof with corresponding residual samples. The weightings applied to the first and/or second intrahypothesis prediction samples may optionally be determined based on the values of bits in the bit stream or by a query in a lookup table, or may be at least partially inferred using information extracted from adjacent blocks.
Необязательно по меньшей мере один из первого режима внутреннего предсказания и второго режима внутреннего предсказания может представлять собой режим планарного внутреннего предсказания или режим внутреннего DC-предсказания, или режим направленного внутреннего предсказания.Optionally, at least one of the first intra prediction mode and the second intra prediction mode may be a planar intra prediction mode or a DC intra prediction mode or a directed intra prediction mode.
В некоторых вариантах осуществления, поток битов может содержать один или более битов, указывающих должен ли применяться второй режим направленного внутреннего предсказания. В некоторых вариантах осуществления, поток битов может содержать один или более битов, указывающих первый режим внутреннего предсказания и/или второй режим внутреннего предсказания, который должен применяться. В этом случае, определение первого режима внутреннего предсказания и/или второго режима внутреннего предсказания может, необязательно, содержать запрос в таблице поиска.In some embodiments, the bitstream may include one or more bits indicating whether the second directed intra prediction mode should be applied. In some embodiments, the bitstream may comprise one or more bits indicating a first intra prediction mode and/or a second intra prediction mode to be applied. In this case, the definition of the first intra prediction mode and/or the second intra prediction mode may optionally comprise a query in the lookup table.
В некоторых примерных вариантах осуществления, способ дополнительно может содержать, в отношении блока, для которого указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания: определение третьего режима внутреннего предсказания; и применение третьего режима внутреннего предсказания к одной или более опорных выборок, чтобы формировать третью выборку внутреннего предсказания гипотезы, и комбинирование первой, второй и третьей выборок предсказания гипотезы, сформированных для блока, чтобы создавать упомянутый блок комбинированных гипотез предсказаний.In some exemplary embodiments, the method may further comprise, with respect to the block for which the combined intra prediction hypothesis is indicated and/or inferred: determining a third intra prediction mode; and applying a third intra prediction mode to one or more reference samples to form a third intra hypothesis prediction sample, and combining the first, second and third hypothesis prediction samples generated for the block to create said combined prediction hypothesis block.
В соответствии с другим аспектом изобретения, предусмотрен компьютерный программный продукт, выполненный с возможностью инструктировать программируемому оборудованию реализовывать способ по существу как описано выше.In accordance with another aspect of the invention, there is provided a computer program product configured to instruct programmable hardware to implement a method substantially as described above.
В соответствии с другим аспектом изобретения, предусмотрен способ декодирования изображений в потоке видео с использованием способа по существу как описано выше.In accordance with another aspect of the invention, there is provided a method for decoding images in a video stream using a method essentially as described above.
В соответствии с еще одним другим аспектом настоящего изобретения, предусмотрен способ декодирования потока битов видео, содержащий этапы:In accordance with yet another aspect of the present invention, there is provided a method for decoding a video bit stream, comprising the steps of:
приема потока битов, представляющего блоки остаточных выборок и данные, указывающие гипотезы внутреннего предсказания, используемые при формировании выборок предсказания;receiving a stream of bits representing blocks of residual samples and data indicating intra prediction hypotheses used in generating the prediction samples;
использования упомянутых данных, указывающих упомянутые гипотезы внутреннего предсказания, чтобы формировать соответствующие блоки выборок предсказания; и суммирования упомянутых блоков выборок предсказания с соответствующими упомянутыми блоками остаточных выборок, чтобы восстанавливать изображения, отличающийся посредством:using said data indicating said intra prediction hypotheses to generate corresponding blocks of prediction samples; and adding said blocks of prediction samples with corresponding said blocks of residual samples to reconstruct images distinguished by:
для каждого блока остаточных выборок:for each block of residual samples:
определения, указывается и/или логически выводится либо нет комбинированная гипотеза внутреннего предсказания из потока битов, и если да:definitions, whether or not a combined intra prediction hypothesis is specified and/or inferred from the bit stream, and if so:
для каждого блока остаточных выборок блока, для которого указывается и/или логически выводится комбинированная гипотеза внутреннего предсказания:for each block of residual samples of the block for which the combined internal prediction hypothesis is specified and/or inferred:
определения первого режима внутреннего предсказания из информации, извлекаемой из потока битов;determining a first intra prediction mode from information extracted from the bit stream;
определения или логического вывода по меньшей мере второго отличающегося режима внутреннего предсказания;determining or inferring at least a second different intra prediction mode;
- 2 043315 применения первого режима внутреннего предсказания по меньшей мере к одной опорной выборке, чтобы формировать первую выборку предсказания гипотезы;- 2043315 applying a first intra prediction mode to at least one reference sample to generate a first hypothesis prediction sample;
применения по меньшей мере одного второго режима внутреннего предсказания к упомянутой по меньшей мере одной опорной выборке, чтобы формировать вторую выборку предсказания гипотезы; и формирования упомянутого блока комбинированных гипотез предсказаний посредством комбинирования первой и второй выборок предсказания гипотезы, сформированных для блока.applying at least one second intra prediction mode to said at least one reference sample to generate a second hypothesis prediction sample; and generating said block of combined prediction hypotheses by combining the first and second hypothesis prediction samples generated for the block.
В соответствии с дополнительным аспектом изобретения, предусмотрен способ кодирования потока битов видео, содержащий этапы:In accordance with a further aspect of the invention, there is provided a method for encoding a video bit stream, comprising the steps of:
формирования блоков выборок предсказания с использованием блоков внутренних предсказаний и восстановленных выборок изображений;generating blocks of prediction samples using blocks of internal predictions and reconstructed image samples;
вычитания блоков выборок предсказания из блоков выборок изображений, чтобы формировать блоки остаточных выборок; и формирования потока битов, представляющего блоки остаточных выборок и данные, представляющие блоки внутренних предсказаний, используемые для того, чтобы формировать соответствующие выборки предсказания;subtracting blocks of prediction samples from blocks of image samples to form blocks of residual samples; and generating a bitstream representing blocks of residual samples and data representing blocks of intra predictions used to generate corresponding prediction samples;
при этом по меньшей мере один из блоков выборок предсказания формируется с использованием блока комбинированных гипотез предсказаний, сформированного посредством:wherein at least one of the blocks of prediction samples is generated using a block of combined prediction hypotheses generated by:
применения первого режима внутреннего предсказания к восстановленным выборкам изображений соответствующего блока для того, чтобы формировать первые выборки предсказания и множество соответствующих первых остаточных выборок;applying a first intra prediction mode to the reconstructed image samples of the corresponding block to generate first prediction samples and a plurality of corresponding first residual samples;
применения второго отличающегося режима внутреннего предсказания к восстановленным выборкам изображений упомянутого соответствующего блока для того, чтобы формировать вторые выборки предсказания и множество соответствующих вторых остаточных выборок; и формирования блока остаточных выборок посредством комбинирования первой и второй остаточных выборок.applying a second different intra prediction mode to the reconstructed image samples of said corresponding block to generate second prediction samples and a plurality of corresponding second residual samples; and generating a block of residual samples by combining the first and second residual samples.
Любой признак в одном аспекте раскрытия сущности может применяться к другим аспектам раскрытия сущности в любой соответствующей комбинации. В частности, аспекты способа могут применяться к аспектам оборудования, и наоборот.Any feature in one aspect of the disclosure may be applied to other aspects of the disclosure in any suitable combination. In particular, aspects of the method may be applied to aspects of the equipment, and vice versa.
Кроме того, признаки, реализованные в аппаратных средствах, могут реализовываться в программном обеспечении, и наоборот. Все ссылки на программные и аппаратные признаки в данном документе должны истолковываться надлежащим образом.In addition, features implemented in hardware can be implemented in software, and vice versa. All references to software and hardware features in this document are to be construed as such.
Любой признак оборудования, описанный в данном документе, также может предоставляться в качестве признака способа, и наоборот. При использовании в данном документе, признаки средство плюс функция могут выражаться альтернативно с точки зрения их соответствующей структуры, к примеру, как надлежащим образом программируемый процессор и ассоциированное запоминающее устройство.Any equipment feature described herein may also be provided as a method feature, and vice versa. As used herein, the means plus function features may be expressed alternatively in terms of their respective structure, for example, as a suitably programmable processor and associated storage device.
Также следует принимать во внимание, что конкретные комбинации различных признаков, описанных и заданных в любых аспектах раскрытия сущности, могут реализовываться и/или предоставляться, и/или использоваться независимо.It should also be appreciated that specific combinations of various features described and defined in any aspects of the disclosure may be implemented and/or provided and/or used independently.
Раскрытие сущности также предоставляет компьютерную программу и компьютерный программный продукт, содержащий программный код, выполненный, при выполнении в оборудовании обработки данных, с возможностью осуществлять любой из способов, описанных в данном документе, включающих в себя любые из их компонентных этапов.The disclosure also provides a computer program and computer program product comprising program code configured, when executed in data processing equipment, to implement any of the methods described herein, including any of their component steps.
Раскрытие сущности также предоставляет компьютерную программу и компьютерный программный продукт, содержащий программный код, который, при выполнении в оборудовании обработки данных, содержит любой из признаков оборудования, описанных в данном документе.The disclosure also provides a computer program and computer program product containing program code that, when executed in data processing hardware, contains any of the hardware features described herein.
Раскрытие сущности также предоставляет компьютерную программу и компьютерный программный продукт, имеющий операционную систему, которая поддерживает компьютерную программу для осуществления любого из способов, описанных в данном документе, и/или для осуществления любого из признаков оборудования, описанных в данном документе.The disclosure also provides a computer program and a computer program product having an operating system that supports a computer program for implementing any of the methods described herein and/or for implementing any of the hardware features described herein.
Раскрытие сущности также предоставляет машиночитаемый носитель, имеющий сохраненную компьютерную программу, как указано выше.The disclosure also provides a computer-readable medium having a stored computer program as described above.
Раскрытие сущности также предоставляет сигнал, переносящий компьютерную программу, как указано выше, и способ передачи такого сигнала.The disclosure also provides a signal carrying a computer program, as stated above, and a method for transmitting such a signal.
Раскрытие сущности относится к способам и оборудованию, фактически описанным в данном документе со ссылкой на прилагаемые чертежи.The disclosure relates to the methods and equipment actually described herein with reference to the accompanying drawings.
Краткое описание чертежейBrief description of drawings
Далее изобретение описывается, в качестве примера, со ссылкой на прилагаемые чертежи, на которых:The invention is described below, by way of example, with reference to the accompanying drawings, in which:
фиг. 1 показывает декодер потока битов видео;fig. 1 shows a video bitstream decoder;
фиг. 2(а)-(b) показывают примерное блочное предсказание с использованием одного режима внутреннего предсказания;fig. 2(a)-(b) show exemplary block prediction using one intra prediction mode;
фиг. 3 показывает примерное блочное предсказание с использованием нескольких режимов внут- 3 043315 реннего предсказания;fig. 3 shows exemplary block prediction using several intra prediction modes;
фиг. 4 является блок-схемой последовательности операций для способа использования двух режимов внутреннего предсказания;fig. 4 is a flowchart for a method of using two intra prediction modes;
фиг. 5 является блок-схемой последовательности операций способа для подробного примерного способа логического вывода второго режима внутреннего предсказания;fig. 5 is a flowchart for a detailed exemplary second intra prediction mode inference method;
фиг. 6 показывает видеокодер.fig. 6 shows the video encoder.
Подробное описание вариантов осуществленияDetailed Description of Embodiments
На фиг. 1 показан типичный декодер, в котором поток битов, представляющий видеоизображения, принимается и обрабатывается для того, чтобы получать поток видео. Декодер содержит каскад 102 энтропийного декодирования, каскад 104 обратного квантования и каскад 106 обратного преобразования, через которые принимаемый поток битов обычно последовательно обрабатывается для того, чтобы получать остатки.In fig. 1 shows a typical decoder in which a bit stream representing video images is received and processed to obtain a video stream. The decoder includes an entropy decoding stage 102, an inverse quantization stage 104, and an inverse transform stage 106, through which the received bit stream is typically sequentially processed to produce residuals.
Остатки суммируются с соответствующими предсказаниями для того, чтобы получать выходные изображения, которые формируют выходной поток видео.The residuals are summed with the corresponding predictions to produce output images, which form the video output stream.
В случае внешнего предсказания, предыдущее изображение или изображения, которые становятся доступными в буфере 110 декодированных картинок, подвергаются компенсации 112 движения, с использованием информации движения, указанной согласно информации, извлекаемой из потока битов. Например, векторы движения могут передаваться в служебных сигналах в потоке битов. Однако такая информация движения может вычисляться множеством альтернативных способов, как должно быть известно специалистам в данной области техники.In the case of inter prediction, the previous picture or pictures that become available in the decoded picture buffer 110 are subject to motion compensation 112 using motion information indicated according to information extracted from the bit stream. For example, motion vectors may be signaled in a bit stream. However, such motion information can be calculated in a variety of alternative ways, as will be known to those skilled in the art.
В случае внутреннего предсказания, ранее восстановленные выборки, извлеченные из текущего кадра, используются для того, чтобы формировать предсказание.In the case of intra prediction, previously reconstructed samples extracted from the current frame are used to generate the prediction.
Это раскрытие сущности относится к блоку 108 внутреннего предсказания, который традиционно использует режим внутреннего предсказания, указываемый с использованием информации, извлеченной из потока битов, как подробнее описано со ссылкой на фиг. 2.This disclosure relates to intra prediction block 108, which traditionally uses an intra prediction mode indicated using information extracted from the bit stream, as described in more detail with reference to FIG. 2.
Фиг. 2 показывает использование одного режима внутреннего предсказания. Значения каждой выборки в блоке типично (хотя не обязательно всегда) предсказываются в качестве среднего взвешенного опорных выборок, извлеченных из буфера опорных выборок. Выбор того, какие опорные выборки следует использовать, а также весовые коэффициенты, применяемые к каждой опорной выборке, зависят от режима внутреннего предсказания, указываемого с использованием информации, извлеченной из потока битов. Режим предсказания, используемый на фиг. 2а, представляет собой режим направленного внутреннего предсказания; режим предсказания, используемый на фиг. 2b, представляет собой режим планарного предсказания. В качестве пояснения, при использовании планарного внутреннего предсказания, четыре опорных выборки используются для того, чтобы предсказывать каждую выборку в блоке; две билинейных интерполяции вычисляются с использованием двух пар опорных выборок, соответственно, при этом весовые коэффициенты, используемые в интерполяции, зависят от местоположения каждой выборки в блоке. Значения, получающиеся в результате этих двух интерполяций, после этого усредняются между собой, чтобы формировать конечную предсказанную выборку.Fig. 2 shows the use of one intra prediction mode. The values of each sample in a block are typically (though not necessarily always) predicted as a weighted average of the reference samples drawn from the reference sample buffer. The choice of which reference samples to use, as well as the weights applied to each reference sample, depends on the intra prediction mode specified using the information extracted from the bit stream. The prediction mode used in FIG. 2a is a directional intra prediction mode; prediction mode used in FIG. 2b is a planar prediction mode. By way of explanation, when using planar intra prediction, four reference samples are used to predict each sample in a block; two bilinear interpolations are calculated using two pairs of reference samples, respectively, with the weights used in the interpolation depending on the location of each sample in the block. The values resulting from these two interpolations are then averaged together to form the final predicted sample.
Также может использоваться ряд других направленных режимов, например, чисто горизонтальные и/или ненаправленные режимы внутреннего предсказания, такие как DC-режим на основе стандарта высокоэффективного кодирования видео (HEVC). Информация, требуемая для того, чтобы корректно выбирать режим, который следует использовать, передается в служебных сигналах в потоке битов, связанном с каждым блоком. Вышеуказанные режимы предсказания относятся главным образом к следующему:A number of other directional modes may also be used, such as pure horizontal and/or omnidirectional intra prediction modes such as DC mode based on the High Efficiency Video Coding (HEVC) standard. The information required to correctly select which mode to use is signaled in the bit stream associated with each block. The above prediction modes mainly refer to the following:
планарное предсказание, которое состоит в получении каждой опорной выборки в качестве среднего двух билинейных интерполяций между двумя парами выборок, извлеченных из соседних выборок в строке сверху и в столбце слева от текущего блока;planar prediction, which consists of taking each reference sample as the average of two bilinear interpolations between two pairs of samples drawn from adjacent samples in the row above and column to the left of the current block;
DC-предсказание, которое состоит в предсказании выборок в блоке со средним опорных выборок, доступных в окрестности текущего блока; и направленное предсказание, которое состоит в экстраполяции выборок внутри блока предсказания посредством билинейной интерполяции, при этом используемые весовые коэффициенты и выборки зависят от направления предсказания.DC prediction, which consists of predicting the samples in a block with the average of the reference samples available in the neighborhood of the current block; and directional prediction, which consists of extrapolating samples within a prediction block through bilinear interpolation, with the weights and samples used depending on the direction of the prediction.
В качестве более конкретного примера, выборка X в текущем блоке на фиг. 2а предсказывается с использованием среднего взвешенного опорных выборок А и В, которые в этом примере извлекаются из блоков выше текущего блока. Согласно направлению, указываемому посредством режима внутреннего предсказания, выборка А может иметь большее влияние при предсказании, что означает, что ее весовой коэффициент должен быть выше весового коэффициента, применяемого к В при вычислении среднего.As a more specific example, the sample X in the current block in FIG. 2a is predicted using the weighted average of reference samples A and B, which in this example are drawn from the blocks above the current block. According to the direction indicated by the intra prediction mode, sample A may have more influence in prediction, which means that its weight should be higher than the weight applied to B in calculating the average.
Опорные выборки здесь показаны как извлеченные из одной строки сверху и одного столбца слева от текущего блока. В некоторых вариантах осуществления, набор опорных выборок может быть большим, например, может быть предусмотрено две или более опорных строки или столбца. В некоторых вариантах осуществления, набор опорных выборок может фильтроваться с использованием предварительно заданных операций фильтрации до использования для внутреннего предсказания. Опорные вы- 4 043315 борки типично получаются из блоков, которые уже восстановлены в декодере и таким образом являются доступными для того, чтобы предсказывать текущий блок. Такие блоки традиционно иллюстрируются как находящиеся над или слева от текущего блока. Это не исключает работы при других схемах сканирования блоков либо степенях параллельной работы.The reference samples here are shown as being drawn from one row at the top and one column to the left of the current block. In some embodiments, the set of reference samples may be large, for example, two or more reference rows or columns may be provided. In some embodiments, the set of reference samples may be filtered using predefined filtering operations before being used for intra prediction. The reference samples are typically obtained from blocks that have already been reconstructed in the decoder and are thus available for predicting the current block. Such blocks are traditionally illustrated as being above or to the left of the current block. This does not exclude operation with other block scanning schemes or degrees of parallel operation.
Традиционное внутреннее предсказание использует одиночный режим, применяемый к опорным выборкам для того, чтобы предсказывать текущий блок, что приводит к предсказанию, представляющему собой, например, одно из предсказания X, показанного на фиг. 2а и 2b. Каждое из этих предсказаний существенно отличается от фактического контента блока, и фиг. 2а и 2b показывают только два из некоторого числа различных предсказаний X, получаемых с использованием любых из некоторого числа различных одиночных режимов.Traditional intra prediction uses a single mode applied to reference samples to predict the current block, resulting in a prediction that is, for example, one of the X predictions shown in FIG. 2a and 2b. Each of these predictions differs significantly from the actual content of the block, and FIG. 2a and 2b show only two of a number of different predictions of X obtained using any of a number of different single modes.
В некоторых случаях, в системах предшествующего уровня техники, использование одного режима внутреннего предсказания может не предоставлять оптимальное предсказание контента блока. В соответствии с аспектами настоящего изобретения, решение этой проблемы находится посредством использования множества различных гипотез внутреннего предсказания и затем комбинирования этих гипотез между собой, чтобы формировать блок внутреннего предсказания комбинированных гипотез, который может предоставлять более точное предсказание, по меньшей мере, некоторых блоков в потоке битов, чем может получаться с использованием способов предшествующего уровня техники, которые используют каждый из режимов внутреннего предсказания в развязке.In some cases, in prior art systems, use of a single intra prediction mode may not provide optimal prediction of block content. In accordance with aspects of the present invention, a solution to this problem is found by using a plurality of different intra prediction hypotheses and then combining these hypotheses with each other to form a combined hypothesis intra prediction block that can provide a more accurate prediction of at least some blocks in the bit stream. , than can be obtained using prior art methods that use each of the intra prediction modes in decoupling.
Фиг. 3 показывает способ внутреннего предсказания, за счет которого два различных режима предсказания комбинируются, чтобы предсказывать значения в блоке. Этот способ может использоваться для того, чтобы получать лучшее предсказание фактических значений блока. Предпочтительно, параметры, необходимые для того, чтобы выполнять это комбинирование, по меньшей мере, частично извлекаются из потока битов, чтобы улучшать сжатие изображений. В этом примере, вертикальные и планарные режимы, описанные со ссылкой на фиг. 2b, комбинируются, чтобы получать лучшее предсказание, чем любой из этих режимов, используемых отдельно.Fig. 3 shows an intra prediction method whereby two different prediction modes are combined to predict values in a block. This method can be used to obtain a better prediction of the actual block values. Preferably, the parameters necessary to perform this combining are at least partially extracted from the bit stream in order to improve image compression. In this example, the vertical and planar modes described with reference to FIG. 2b are combined to produce a better prediction than either of these modes used alone.
Фиг. 4 является блок-схемой последовательности операций, иллюстрирующей способ применения нескольких режимов внутреннего предсказания для того, чтобы получать комбинированное предсказание.Fig. 4 is a flowchart illustrating a method of applying multiple intra prediction modes to obtain a combined prediction.
На первом этапе 402, первый режим внутреннего предсказания обнаруживается. В этом варианте осуществления, это содержит обнаружение режима внутреннего предсказания, указываемого в потоке битов.In a first step 402, a first intra prediction mode is detected. In this embodiment, this comprises detecting an intra prediction mode indicated in the bit stream.
На втором этапе 404, второй режим внутреннего предсказания обнаруживается. В других вариантах осуществления, этот второй режим может обнаруживаться из индикатора, передаваемого в служебных сигналах в потоке битов, и/или посредством логического вывода из признака потока битов, к примеру, первого режима внутреннего предсказания. Способ логического вывода второго режима внутреннего предсказания описывается со ссылкой на фиг. 5.In a second step 404, a second intra prediction mode is detected. In other embodiments, this second mode may be detected from an indicator signaled in the bitstream and/or by inference from an indication of the bitstream, for example, the first intra prediction mode. The inference method of the second intra prediction mode is described with reference to FIG. 5.
На третьем этапе 406, определяются взвешивания, которые являются применимыми для того, чтобы комбинировать предсказания, выявляемые из применения первого режима обнаружения и второго режима обнаружения. В различных вариантах осуществления, предсказания, полученные из использования каждого режима предсказания, комбинируются в одиночное предсказание, либо посредством простого усреднения, например, взвешиваний, каждое из которых составляет 0,5, либо посредством параметрического преобразования, к примеру, предсказания со взвешиванием. В некоторых вариантах осуществления, могут использоваться различные параметрические преобразования, к примеру, линейные или квадратичные интерполяции, при этом коэффициенты интерполяции могут извлекаться из потока битов и/или логически выводиться посредством процесса логического вывода. Параметры преобразования, например, весовые коэффициенты, могут, по меньшей мере, частично извлекаться из потока битов, могут задаваться посредством используемого режима внутреннего предсказания либо могут быть предварительно установлены в декодере.In a third step 406, weightings that are applicable to combine the predictions resulting from application of the first detection mode and the second detection mode are determined. In various embodiments, predictions obtained from use of each prediction mode are combined into a single prediction, either through simple averaging, eg, weightings each of 0.5, or through parametric transformation, eg, weighted prediction. In some embodiments, various parametric transformations, such as linear or quadratic interpolations, may be used, and interpolation coefficients may be extracted from the bit stream and/or inferred through an inference process. Transformation parameters, such as weights, may be at least partially extracted from the bit stream, may be specified by the intra prediction mode used, or may be preset in the decoder.
В некоторых вариантах осуществления, взвешивания и/или способ комбинирования, который следует использовать, определяются с использованием таблицы поиска, при этом индекс, который должен использоваться при обращении к этой таблице поиска, указывается в потоке битов. Таблица поиска, которая должна использоваться, в некоторых вариантах осуществления зависит от используемых режимов предсказания.In some embodiments, the weightings and/or combining method to be used are determined using a lookup table, wherein the index to be used when accessing the lookup table is indicated in the bit stream. The lookup table to be used, in some embodiments, depends on the prediction modes used.
На четвертом этапе 408, предсказания, выявляемые с использованием каждого режима предсказания, комбинируются с использованием определенных взвешиваний. Эти предсказания затем могут комбинироваться с остаточными значениями, извлеченными из потока битов, чтобы получать восстановленные выборки изображений. Типично, после того, как кадр восстанавливается, применяются некоторые фильтры (например, удаление блочности, удаление размытости и т.д.). Изображение выводится после этого на основе этих восстановленных выборок. В случае декодирования видео, это изображение представляет собой кадр внутри видео.In a fourth step 408, the predictions identified using each prediction mode are combined using certain weightings. These predictions can then be combined with residuals extracted from the bitstream to produce reconstructed image samples. Typically, after the frame is reconstructed, some filters are applied (eg deblocking, deblurring, etc.). The image is then output based on these reconstructed samples. In the case of video decoding, this image represents a frame within the video.
Таким образом, в соответствии с аспектами настоящего изобретения, предсказания комбинируются до того, как комбинированное предсказание суммируется с остаточными значениями.Thus, in accordance with aspects of the present invention, the predictions are combined before the combined prediction is added to the residual values.
- 5 043315- 5 043315
Фиг. 5 иллюстрирует способ согласно примерному варианту осуществления изобретения, в котором второй режим внутреннего предсказания и использование второго режима внутреннего предсказания логически выводятся из первого режима внутреннего предсказания.Fig. 5 illustrates a method according to an exemplary embodiment of the invention, in which the second intra prediction mode and the use of the second intra prediction mode are inferred from the first intra prediction mode.
На первом этапе 402 первый режим внутреннего предсказания обнаруживается.In a first step 402, the first intra prediction mode is detected.
На втором этапе 502 определяется то, является или нет первый режим внутреннего предсказания планарным.In a second step 502, it is determined whether or not the first intra prediction mode is planar.
Если первый режим внутреннего предсказания не является планарным, на третьем этапе 504 определяется, задается или нет флаг нескольких режимов внутреннего предсказания.If the first intra prediction mode is not planar, a third step 504 determines whether or not the multiple intra prediction mode flag is set.
Если флаг нескольких режимов внутреннего предсказания задается, на четвертом этапе 505, второй режим внутреннего предсказания логически выводится как предварительно указанный режим внутреннего предсказания, отличающийся от первого режима внутреннего предсказания. В этом примерном варианте осуществления, второй режим внутреннего предсказания логически выводится как планарный, если первый режим внутреннего предсказания не является планарным, и флаг нескольких (или комбинированного) внутренних предсказаний задается. Затем, на этапе 506, осуществляется способ внутреннего предсказания комбинированных гипотез, как описано выше.If the multiple intra prediction mode flag is set, in the fourth step 505, the second intra prediction mode is logically output as a pre-specified intra prediction mode different from the first intra prediction mode. In this exemplary embodiment, the second intra prediction mode is inferred to be planar if the first intra prediction mode is not planar and the multiple (or combined) intra prediction flag is set. Next, at step 506, the internal prediction method for the combined hypotheses is performed as described above.
Если первый режим внутреннего предсказания является планарным, или флаг нескольких внутренних предсказаний не задается, на альтернативном этапе 512, традиционное внутреннее предсказание выполняется с использованием обнаруженного первого режима внутреннего предсказания.If the first intra prediction mode is planar, or the multiple intra prediction flag is not set, at alternative step 512, conventional intra prediction is performed using the detected first intra prediction mode.
Хотя в этом варианте осуществления описывается логический вывод режима планарного внутреннего предсказания в качестве второго режима внутреннего предсказания, аналогичные режимы также могут логически выводиться. Аналогично, хотя в этом варианте осуществления на втором этапе 502 помечается флаг того, является ли первый режим внутреннего предсказания планарным, в других вариантах осуществления, другие режимы могут использоваться для того, чтобы определять, должен или нет помечаться флаг нескольких режимов внутреннего предсказания.Although this embodiment describes the inference of a planar intra prediction mode as a second intra prediction mode, similar modes can also be inferred. Likewise, although in this embodiment, a flag as to whether the first intra prediction mode is planar is flagged in the second step 502, in other embodiments, other modes may be used to determine whether or not the multiple intra prediction modes flag should be flagged.
В некоторых вариантах осуществления, определение, что первый режим внутреннего предсказания не представляет собой конкретный режим, например, планарный, используется, чтобы логически выводить непосредственно второй режим предсказания. Таким образом, третий этап 504 эффективно пропускается. Если обобщить, определение типа (например, планарный, направленный, влево по вертикали) первого режима внутреннего предсказания может использоваться, чтобы логически выводить либо то, что второй режим внутреннего предсказания должен или не должен использоваться, либо тип второго режима внутреннего предсказания, который должен использоваться.In some embodiments, the determination that the first intra prediction mode is not a particular mode, such as planar, is used to infer the second prediction mode directly. Thus, the third step 504 is effectively skipped. More generally, determining the type (eg, planar, directional, vertical left) of the first intra prediction mode can be used to infer either that the second intra prediction mode should or should not be used, or the type of the second intra prediction mode that should be used .
В некоторых вариантах осуществления, предусмотрен возможный или предпочтительный второй режим внутреннего предсказания либо некоторое число возможных или предпочтительных режимов внутреннего предсказания для каждого первого режима внутреннего предсказания. На практике, второй режим внутреннего предсказания может логически выводиться на основе первого режима внутреннего предсказания и присутствия дополнительной информации потока битов (где, например, первый режим является направленным, и задание флага может подразумевать планарный второй режим, тогда как первый режим является DC, и задание флага может подразумевать второй режим влево по вертикали). Если обобщить, может быть предусмотрена таблица поиска или другое опорное средство, которое является применимым, чтобы определять второй режим предсказания, при этом используемая таблица поиска может зависеть от первого режима предсказания. В некоторых вариантах осуществления, второй режим предсказания может непосредственно извлекаться из потока битов посредством процесса, аналогичного или идентичного процессу, используемому, чтобы извлекать первый режим внутреннего предсказания.In some embodiments, a possible or preferred second intra prediction mode, or a number of possible or preferred intra prediction modes, is provided for each first intra prediction mode. In practice, the second intra prediction mode may be inferred based on the first intra prediction mode and the presence of additional bitstream information (where, for example, the first mode is directional and the flag setting may imply a planar second mode, whereas the first mode is DC and the setting flag may imply a second mode to the vertical left). More generally, a lookup table or other reference means may be provided that is useful to determine a second prediction mode, wherein the lookup table used may depend on the first prediction mode. In some embodiments, the second prediction mode may be directly extracted from the bit stream through a process similar or identical to the process used to extract the first intra prediction mode.
В некоторых вариантах осуществления, используемый способ кодирования зависит от первого режима предсказания, в котором форма кодирования, сравнимая с кодированием кодом Хаффмана, используется таким образом, что длина кодирования, необходимая для того, чтобы указывать второй режим предсказания, связана с тем, насколько вероятно, что второй режим предсказания должен представляет собой оптимальный режим предсказания (причем эта вероятность предварительно определяется до того, как декодер/кодер компонуется).In some embodiments, the encoding method used depends on the first prediction mode, in which a form of encoding comparable to Huffman code encoding is used such that the encoding length required to indicate the second prediction mode is related to how likely that the second prediction mode should represent the optimal prediction mode (with this probability being predetermined before the decoder/encoder is assembled).
В предпочтительных вариантах осуществления, один из режимов представляет собой либо планарный режим, либо DC-режим, при этом, в частности, передача в служебных сигналах того, что один из этих режимов не представляет собой первый режим предсказания, в некоторых вариантах осуществления, используется для того, чтобы логически выводить использование другого режима в качестве второго режима предсказания. Однако это ни в коей мере не является существенно важным. В некоторых вариантах осуществления, поток битов может просто содержать требуемую информацию, чтобы извлекать два (или более) различных режимов внутреннего предсказания, и инструкцию для того, чтобы комбинировать два предсказания, полученные за счет этого, между собой, чтобы формировать одно (комбинированное) предсказание, которое должно суммироваться с соответствующей остаточной выборкой(ами).In preferred embodiments, one of the modes is either a planar mode or a DC mode, wherein, in particular, signaling that one of these modes is not the first prediction mode is, in some embodiments, used to in order to logically deduce the use of another mode as the second prediction mode. However, this is by no means essential. In some embodiments, the bit stream may simply contain the required information to extract two (or more) different intra prediction modes, and instructions to combine the two predictions obtained thereby together to form a single (combined) prediction , which must be summed with the corresponding residual sample(s).
Во всех случаях, процесс формирования комбинированного предсказания может выполняться рядом различных способов. Например, он может выполняться на основе каждой выборки. В этом случае, первое предсказание формируется для данной выборки с использованием первого режима внутреннего предсказания, после чего второе предсказание формируется для идентичной остаточной выборки с ис- 6 043315 пользованием второго отличающегося режима внутреннего предсказания. В завершение, комбинированное предсказание формируется для этой остаточной выборки посредством комбинирования первого и второго предсказаний, и процесс переходит к следующей остаточной выборке в блоке, в которой процесс повторяется. В альтернативных вариантах осуществления, процесс может выполняться на поблочной основе. В этом случае, первый режим внутреннего предсказания применяется ко всем остаточным выборкам в блоке, чтобы формировать первый блок предсказаний, после чего второй режим внутреннего предсказания применяется ко всем остаточным выборкам в идентичном блоке, чтобы формировать второй блок предсказаний. В завершение, первый и второй блок предсказаний комбинируются между собой, чтобы формировать один блок предсказания комбинированных гипотез, и этот блок суммируется с остаточными выборками в блоке, чтобы восстанавливать данные изображений.In all cases, the process of generating the combined prediction can be performed in a number of different ways. For example, it can be performed on a sample-by-sample basis. In this case, a first prediction is generated for a given sample using a first intra prediction mode, after which a second prediction is generated for an identical residual sample using a second different intra prediction mode. Finally, a combined prediction is generated for this residual sample by combining the first and second predictions, and the process proceeds to the next residual sample in the block, where the process is repeated. In alternative embodiments, the process may be performed on a block-by-block basis. In this case, the first intra prediction mode is applied to all residual samples in the block to form the first prediction block, after which the second intra prediction mode is applied to all residual samples in the identical block to form the second prediction block. Finally, the first and second prediction blocks are combined to form one combined hypothesis prediction block, and this block is summed with the residual samples in the block to recover the image data.
Фиг. 6 показывает кодер 6, который может использоваться для того, чтобы получать поток битов, который является считываемым посредством декодера 1, описанного со ссылкой на фиг. 1.Fig. 6 shows an encoder 6 that can be used to obtain a bit stream that is read by the decoder 1 described with reference to FIG. 1.
Входной поток видео имеет выполняемые оценку 602 внутреннего предсказания и/или оценку 606 движения, которые идентифицируют пространственную и/или временную избыточность. Они приводят к внутреннему предсказанию 604 и предсказанию 608 движения, при этом предсказание движения зависит от кинокадра из буфера 610 картинок, который хранит кинокадр, эквивалентный предыдущему кадру, кодированному посредством кодера 6.The input video stream has an intra prediction estimate 602 and/or a motion estimate 606 performed that identifies spatial and/or temporal redundancy. These result in an internal prediction 604 and a motion prediction 608, wherein the motion prediction depends on a movie frame from picture buffer 610, which stores a movie frame equivalent to the previous frame encoded by encoder 6.
Внутреннее предсказание 604 и/или предсказание 608 движения комбинируются с входным видео и затем преобразуются 612, квантуются 614 и энтропийно кодируются 616 для того, чтобы получать поток битов. Преобразованный 612 и квантованный 614 поток данных типично подвергается обратному квантованию 618 и обратному преобразованию 620, чтобы получать опорный кадр, который используется посредством буфера 610 картинок для последующих кадров, хотя в некоторых вариантах осуществления, один или оба из этих этапов могут не быть существенно важными.Intra prediction 604 and/or motion prediction 608 are combined with the input video and then transformed 612, quantized 614, and entropy encoded 616 to produce a bitstream. The transformed 612 and quantized 614 data stream typically undergoes inverse quantization 618 and inversion 620 to produce a reference frame that is used by picture buffer 610 for subsequent frames, although in some embodiments, one or both of these steps may not be essential.
В различных вариантах осуществления каскад внутреннего предсказания содержит одно или более из следующего: бит, который указывает то, используются или нет несколько режимов внутреннего предсказания; секция, которая указывает, по меньшей мере, один из режимов первого и второго предсказания, который следует использовать; секция, которая указывает взвешивания первого и второго режимов предсказания. Индикатор режимов, которые следует использовать, и/или взвешиваний, которые следует использовать, в некоторых вариантах осуществления, представляет собой ссылку на индекс таблицы поиска. Таблица поиска, которую следует использовать, предпочтительно определяется посредством характеристики текущего кадра (например, текущего блока или предыдущего блока) либо предыдущего кадра.In various embodiments, the intra prediction stage comprises one or more of the following: a bit that indicates whether or not multiple intra prediction modes are used; a section that indicates at least one of the first and second prediction modes to be used; section that indicates the weightings of the first and second prediction modes. The indicator of modes to be used and/or weightings to be used, in some embodiments, is a reference to a lookup table index. The lookup table to be used is preferably determined by a characteristic of the current frame (eg, the current block or the previous block) or the previous frame.
В кодере рассматривается список возможных режимов внутреннего предсказания, в котором используется именно комбинация режимов, которая приводит к наименьшим остаточным значениям, либо используется одиночный режим, если он достигает наименьших остатков. В некоторых вариантах осуществления, рассматривается ограниченное число возможных режимов, например, один из нескольких режимов предсказания может всегда быть планарным. В некоторых вариантах осуществления, некоторое улучшение по сравнению с использованием одного режима предсказания требуется до того, как несколько режимов внутреннего предсказания используются.The encoder considers a list of possible intra prediction modes, using the combination of modes that results in the smallest residuals, or using a single mode if it achieves the smallest residuals. In some embodiments, a limited number of possible modes are considered, for example, one of several prediction modes may always be planar. In some embodiments, some improvement over using a single prediction mode is required before multiple intra prediction modes are used.
Аналогично, взвешивания определяются с использованием предварительно определенной технологии, например, процесса принятия решений, который состоит в выборе взвешиваний, приводящих к минимальному остаточному значению. Специалисты в данной области техники должны принимать во внимание, что могут использоваться другие процессы принятия решений.Likewise, weightings are determined using a predetermined technique, such as a decision process that consists of selecting the weightings that result in the minimum residual value. Those skilled in the art will appreciate that other decision processes may be used.
Альтернативы и модификацииAlternatives and modifications
В различных вариантах осуществления, блок при использовании в данном документе означает единицу предсказания (PU), единицу кодирования (CU) и/или единицу преобразования (TU), например, как задано в стандарте HEVC/H.265 версия 5 от 13 февраля 2018 года. Если обобщить, блок может означать любую группу пикселов. Предпочтительно, блок означает группу соединенных пикселов, в которой они могут пространственно соединяться.In various embodiments, a block, as used herein, means a prediction unit (PU), a coding unit (CU), and/or a transformation unit (TU), for example, as defined in the HEVC/H.265 standard version 5 dated February 13, 2018 . To generalize, a block can mean any group of pixels. Preferably, a block means a group of connected pixels in which they can be spatially connected.
В некоторых вариантах осуществления, блок связан с группой пикселов, которые совместно используют общие опорные выборки для целей внутреннего предсказания. Это не требует предсказания каждого пиксельного значения в блоке непосредственно из опорных выборок; в некоторых вариантах осуществления, пиксельные значения в блоке могут предсказываться с использованием других пиксельных значений в идентичном блоке, причем эти другие пиксельные значения предсказываются с использованием общих опорных выборок. В этих вариантах осуществления, предсказанные пиксельные значения могут рассматриваться как извлекаемые из опорных выборок.In some embodiments, a block is associated with a group of pixels that share common reference samples for intra prediction purposes. This does not require predicting every pixel value in the block directly from the reference samples; in some embodiments, pixel values in a block may be predicted using other pixel values in an identical block, wherein those other pixel values are predicted using common reference samples. In these embodiments, the predicted pixel values may be considered to be derived from the reference samples.
Хотя способ описывается со ссылкой на использование для кадров в потоке видео, он может аналогично использоваться для неподвижных изображений, таких как неподвижные изображения, которые соответствуют стандартам Объединенной экспертной группы по фотографии (JPEG).Although the method is described with reference to use for frames in a video stream, it can similarly be used for still images, such as still images that conform to Joint Photographic Experts Group (JPEG) standards.
Хотя подробное описание главным образом относится к использованию двух режимов предсказания, этот способ может аналогично применяться к любому числу (двум или более) режимов предсказания, при этом число используемых режимов и/или используемые режимы могут указываться посредством информации, включенной в релевантный поток битов.Although the detailed description primarily relates to the use of two prediction modes, the method may similarly be applied to any number (two or more) prediction modes, wherein the number of modes used and/or the modes used may be indicated by information included in the relevant bit stream.
- 7 043315- 7 043315
Следует понимать, что настоящее изобретение описано выше просто в качестве примера, и модификации подробностей могут осуществляться в пределах объема изобретения.It should be understood that the present invention has been described above merely by way of example, and modifications to the details may be made within the scope of the invention.
Ссылки с номерами, появляющиеся в формуле изобретения, служат только в качестве иллюстрации и не должны иметь ограничивающего влияния на объем формулы изобретения.Reference numbers appearing in the claims are for illustrative purposes only and are not intended to have a limiting effect on the scope of the claims.
Claims (15)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1820724.1 | 2018-12-19 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EA043315B1 true EA043315B1 (en) | 2023-05-12 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9973756B2 (en) | Video encoder and video encoding method | |
| US20230239468A1 (en) | Method and apparatus for processing intra-prediction-based video signal | |
| KR101769937B1 (en) | Apparatus and method for image coding and decoding | |
| US9058659B2 (en) | Methods and apparatuses for encoding/decoding high resolution images | |
| US8098731B2 (en) | Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus | |
| JP4724061B2 (en) | Video encoding device | |
| US20240244230A1 (en) | Image encoding/decoding method and device | |
| CN110832862B (en) | Error tolerant and parallel processing of motion vector derivation at decoding end | |
| US11849142B2 (en) | Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement | |
| CN116601957A (en) | Intra-frame prediction method and device, decoder and encoder | |
| JP2023063506A (en) | Method for deriving constructed affine merge candidate | |
| CN113395520B (en) | Decoding prediction method, device and computer storage medium | |
| US11616950B2 (en) | Bitstream decoder | |
| EA043315B1 (en) | DECODING BIT STREAM | |
| US20210306662A1 (en) | Bitstream decoder | |
| KR20170122351A (en) | Video coding method and apparatus using adaptive coding order according to direction of intra prediction | |
| US20180109796A1 (en) | Method and Apparatus of Constrained Sequence Header | |
| US20080107183A1 (en) | Method and apparatus for detecting zero coefficients | |
| EA043161B1 (en) | BITSTREAM DECODER |