RU2628198C1

RU2628198C1 - Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения

Info

Publication number: RU2628198C1
Application number: RU2016119756A
Authority: RU
Inventors: Роман Вадимович АРЗУМАНЯН
Original assignee: Самсунг Электроникс Ко., Лтд.
Priority date: 2016-05-23
Filing date: 2016-05-23
Publication date: 2017-08-15

Abstract

Группа изобретений относится к технологиям сжатия цифровых видео сигналов, в частности к сжатию многоканального видео, каналы которого сняты устройствами съемки с различными углами зрения. Техническим результатом является повышение визуального качества сжатого видеосигнала за счет того, что каждому из каналов соответствует свой угол зрения. Предложен способ кодирования кадров многоканального видео, использующий межканальное предсказание, причем многоканальное видео снято устройствами с различными углами зрения. Способ содержит этап, на котором получают множество входных кадров и соответствующих им углов зрения. Далее, осуществляют поиск кадра-предиктора из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор. 2 н. и 6 з.п. ф-лы, 6 ил.

Description

ОБЛАСТЬ ТЕХНИКИ

Заявленное изобретение относится к способам сжатия цифровых видео сигналов, в частности к сжатию многоканального видео (МВ), каналы которого сняты устройствами съемки (например, физическими и/или виртуальными камерами) с различными углами зрения.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

Сжатие видео (в частности, МВ) представляет собой актуальную задачу, т.к. видеосигнал, даже после сжатия, требует большого количества информации для представления. Передача видеосигнала по сети (в проводных и беспроводных сетях передачи данных, кабельных ТВ сетях и пр.) предъявляет серьезные требования к пропускной способности сети (10-16 Мбит/с в случае потоковой передачи для сервиса Google, Youtube, 18-25 Мбит/с для передачи видеоматериалов высокого качества при разрешении 1920х1080 с применением кодека H.264) и представляет собой сильную нагрузку на сеть и/или сетевое оборудование - если пропускной способности сети/сетевого оборудования недостаточно, то пользователь не будет своевременно получать видеосигнал, или будет обслужено меньшее количество абонентов из-за исчерпания пропускной способности сети и/или сетевого оборудования. В то же время, при хранении сжатого видеосигнала на устройствах хранения данных, видеофайлы занимают значительный объем памяти этих устройств (от 8-10 Гбайт для хранения полнометражного фильма в разрешении 1920х1080 точек с применением кодека H.264). Точный размер, занимаемый сжатым видеофайлом на носителе, может быть получен умножением бит-рейта (частоты следования битов) на продолжительность. Данные для значений бит-рейта приведены в указании требований к пропускной способности сети. Таким образом, повышение степени сжатия МВ позволяет снизить нагрузку на сети и сетевое оборудование, уменьшить использование памяти при локальном хранении сжатых видеофайлов и/или позволяет повысить визуальное качество сжатого видеосигнала при неизменной нагрузке на сеть и сетевое оборудование.

На данный момент известны кодеки (стандарты H.264, H.265 (HEVC) и пр.), способные осуществлять сжатие (компрессию) многоканального видео, которые могут быть использованы на всех устройствах, совместимых с данными форматами. Однако указанные кодеки не предназначены для сжатия многоканального видео, снятого устройствами съемки c различными углами зрения (УЗ), так как не учитывают такой возможности на уровне процессов сжатия: один и тот же объект (например, футболист), изображенный на кадрах из разных каналов МВ, которым соответствуют различные УЗ, может иметь различный масштаб и искажения перспективы в зависимости от УЗ устройства съемки, которые необходимо компенсировать для осуществления эффективного межканального предсказания, что позволяет улучшить сжатие МВ. Под улучшением сжатия здесь и далее понимается меньшее количество данных, необходимое для представления сжатого видеосигнала при неизменном визуальном качестве, определенном по метрике PSNR (Peak Signal to Noise Ratio - пиковое соотношение «сигнал - шум»), или более высокое визуальное качество по метрике PSNR при неизменном количестве данных, необходимых для представления сжатого видеосигнала. Перечисленные выше стандарты такими возможностями не обладают, в связи с чем требуют большего количества данных для представления сжатого видеосигнала с таким же уровнем визуального качества по метрике PSNR, либо осуществляют сжатие с меньшим визуальным качеством при неизменном количестве данных, необходимых для представления сжатого видеосигнала.

Патентная заявка US 2010/0142614 A1 (опубл. 10.06.2010) раскрывает способ и устройство для предсказания между различными уровнями масштабируемости многомасштабного видео с использованием предиктора, разрешение которого отличается от разрешения кодируемого кадра. В данном решении улучшение сжатия видео достигается за счет использования предиктора из другого уровня масштабируемости, обладающего не меньшим разрешением, чем кодируемый кадр. Однако данное техническое решение имеет следующие недостатки:

- Техническое решение применимо только к многомасштабному видео, но не к МВ, снятому устройствами съемки c различными углами зрения.

- Невозможно использовать изображение с меньшим уровнем масштабируемости в качестве предиктора для изображения с большим уровнем масштабируемости.

Патентная заявка US 2014/0078250 A1 (опубл. 20.03.2014) раскрывает способ предсказания остатков кодирования для масштабируемого кодека с использованием межканального предсказания. В данном решении улучшение сжатия достигается за счет предсказания остатков кодирования текущего кадра из других каналов МВ. Однако данное техническое решение применимо только для предсказания остатков кодирования текущего кадра и не предусматривает возможность компенсации межканальной разницы с учетом различия УЗ устройств съемки.

Наиболее близкое решение к заявленному изобретению раскрыто в патентной заявке US 2008/0170753 A1 (опубл. 17.07.2008), которая раскрывает способ межканального предсказания, в том числе с использованием предикторов, обладающих временной разницей. В данном решении улучшение сжатия достигается за счет формирования предиктора для текущего кадра с использованием частей изображений, полученных из кадров, принадлежащих другим каналам МВ, а также кадров, обладающих временной разницей с текущим кадром. Однако в данном техническом решении также не предусмотрена возможность компенсации межканальной разницы с учетом различия УЗ устройств съемки.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Заявленное изобретение позволяет выполнить межканальное предсказание и межканальную реконструкцию для многоканального видео, снятого устройствами с различными углами зрения, повысить визуальное качество сжатого видеосигнала и/или уменьшить количество данных, необходимых для его представления. Это сокращает время приема/передачи данных и объем, занимаемый сжатым видеосигналом на устройствах хранения данных.

Два устройства съемки обладают различными углами зрения, например, в том случае, если они оснащены объективами с различными углами зрения (в том числе, несколькими объективами одновременно) в случае физических камер, или если их проекционные матрицы отличаются в случае виртуальных камер.

Под каналом многоканального видео (МВ) в данной заявке понимается множество изображений, снятых одним устройством съёмки с некоторым УЗ. Примером многоканального видео может быть съемка футбольного матча несколькими камерами с разных ракурсов, например, съемка общего плана - камерой с широкоугольным объективом, и съемка крупного плана - камерой с телеобъективом, т.е. с объективами с разными углами зрения.

Заявленное изобретение решает задачу повышения качества изображения за счет использования изображений из различных каналов МВ, в качестве предиктора(ов) для текущего кадра, при этом каждому из упомянутых различных каналов МВ соответствует свой УЗ.

При этом для минимизации межканальной разницы применяется компенсация УЗ для изображений из других каналов, которая уменьшает межкадровую разницу за счет компенсации разницы масштабов изображений и искажений перспективы, вызванных использованием устройств съемки с различными УЗ для записи такого МВ. Уменьшение межканальной разницы позволяет сжимать меньшее количество информации, что является улучшением сжатия.

Настоящее изобретение обеспечивает возможность эффективного межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения, благодаря компенсации разницы в углах-зрения между кадром-предиктором и текущим кодируемым или декодируемым кадром.

Таким образом, настоящее изобретение повышает качество изображения многоканального видео, снятого устройствами съемки с различными углами зрения при неизменном количестве данных, используемых для представления сжатого видеосигнала, или сокращает количество данных, используемых для представления сжатого видеосигнала при неизменном визуальном качестве изображения. На Фиг.4 представлены графики, наглядно демонстрирующие эффективность работы настоящего изобретения в сравнении с известными способами.

Другими словами, в настоящей заявке предусмотрен более совершенный способ предсказания межканальной разницы МВ, который позволяет компенсировать разницу УЗ устройств съемки, использованных для съемки МВ.

В первом аспекте настоящего изобретения обеспечен способ межканального предсказания для кодирования кадров многоканального видео, снятого устройствами с различными углами зрения, содержащий этапы, на которых: получают множество входных кадров и соответствующих им углов зрения, причем каждому кадру соответствует угол зрения из по меньшей мере двух разных углов зрения; осуществляют поиск кадра-предиктора из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор; модифицируют найденный кадр-предиктор для компенсации разницы в угле зрения, соответствующем кадру-предиктору, и угле зрения, соответствующем упомянутому кодируемому кадру, и получают указатель, указывающий тип выполненной модификации; и осуществляют межканальное предсказание по меньшей мере одного пиксела кодируемого кадра из по меньшей мере одного пиксела модифицированного кадра-предиктора, при этом осуществление межканального предсказания содержит: поиск схожих частей кодируемого кадра и модифицированного кадра-предиктора; определение разности положений найденных схожих частей; и запись определенной разности положений и упомянутых указателей в битовый поток.

Во втором аспекте настоящего изобретения обеспечен способ межканальной реконструкции для декодирования кадров многоканального видео, снятого устройствами с различными углами зрения, содержащий этапы, на которых: принимают битовый поток; декодируют по меньшей мере один кадр для получения по меньшей мере одного кадра-предиктора; извлекают из битового потока: - по меньшей мере один указатель, указывающий тип модификации упомянутого по меньшей мере одного кадра-предиктора; - первый угол зрения, соответствующий упомянутому по меньшей мере одному кадру-предиктору; - второй угол зрения, соответствующий текущему декодируемому кадру; и - разность положений между модифицируемым упомянутым по меньшей мере одним кадром-предиктором и текущим декодируемым кадром; осуществляют модификацию упомянутого по меньшей мере одного кадра-предиктора, которая указывается упомянутым указателем, указывающим тип модификации, для компенсации разницы между упомянутым первым углом зрения и вторым углом зрения, соответствующим текущему декодируемому кадру, и получения модифицированного по меньшей мере одного кадра-предиктора; осуществляют межканальную реконструкцию по меньшей мере одного пиксела текущего декодируемого кадра из по меньшей мере одного пиксела модифицированного по меньшей мере одного кадра-предиктора с использованием разности между их положениями.

В третьем аспекте настоящего изобретения предусмотрен способ кодирования, содержащий этапы способа межканального предсказания согласно первому аспекту настоящего изобретения.

В четвертом аспекте настоящего изобретения предусмотрен способ декодирования, содержащий этапы способа межканальной реконструкции согласно первому аспекту настоящего изобретения.

В пятом аспекте настоящего изобретения предусмотрено устройство кодирования изображений, реализующее способ кодирования согласно третьему аспекту настоящего изобретения.

В шестом аспекте настоящего изобретения предусмотрено устройство декодирования изображений, реализующее способ декодирования согласно четвертому аспекту настоящего изобретения.

В седьмом аспекте настоящего изобретения предусмотрен компьютерный программный продукт, содержащий компьютерную программу, имеющую исполняемые компьютером инструкции, которые при исполнении процессором выполняют способ по любому одному из первого, второго, третьего и четвертого аспектов настоящего изобретения.

В восьмом аспекте настоящего изобретения предусмотрен считываемый компьютером носитель, содержащий компьютерную программу, имеющую исполняемые компьютером инструкции, которые при исполнении процессором выполняют способ по любому одному из первого, второго, третьего и четвертого аспектов настоящего изобретения. Считываемый компьютером носитель может быть долговременным в одном из вариантов осуществления.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Другие особенности и преимущества настоящего изобретения станут понятны специалисту в данной области после изучения нижеследующего подробного описания вместе с приложенными фигурами, на которых:

Фиг.1а: представляет иллюстративное взаимное положение устройств съемки с различными УЗ и снимаемой сцены согласно варианту осуществления настоящего изобретения.

Фиг.1б: представляет пример кадров МВ в прямоугольной проекции согласно варианту осуществления настоящего изобретения.

Фиг.1в: представляет пример кадров МВ в прямоугольной проекции с частичным попаданием снимаемой сцены в поле зрения одного из устройств съемки согласно варианту осуществления настоящего изобретения.

Фиг.2: представляет блок-схему способа межканального предсказания для кодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.

Фиг.3: представляет блок-схему способа межканальной реконструкции для декодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.

Фиг.4: Графики, наглядно демонстрирующие технический результат работы настоящего изобретения в сравнении с известными способами.

ПОБРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

На Фиг.1а представлено иллюстративное взаимное положение устройств съемки 102, 103 с различными УЗ и снимаемой сцены согласно варианту осуществления настоящего изобретения. На данной фигуре показана схема съемки объекта сцены 101 с по меньшей мере двух устройств 102, 103 съемки с разными УЗ согласно варианту осуществления настоящего изобретения. Расстояние между устройствами 102, 103 съемки и сценой 101 не обязательно должно быть равным. Для работы описываемых далее способов предпочтительно, чтобы в поле зрения устройств съемки 102, 103 находились одни и те же объекты снимаемой сцены - полностью или частично (см. описание фиг. 1в). Необходимым условием применимости описываемых далее способов является наличие по меньшей мере двух устройств съемки, которые осуществляют съемку c разными УЗ. Во время съемки объекта 101 сцены по меньшей мере двумя устройствами 102, 103 съемки осуществляется захват, соответственно, кадров 104, 105, содержащих, соответственно, изображения 106а, 106б сцены. Из-за разных технических характеристик устройств 102, 103 съемки с разными УЗ, кадры 104, 105 могут иметь различное соотношение сторон и разрешение. Вследствие разницы в углах зрения, положении устройств 102, 103 съемки по отношению к объекту 101 сцены, разрешении кадров 104, 105 и соотношении их сторон, изображения 106а и 106б могут иметь различные искажения перспективы, пропорции и размеры относительно соответствующих кадров 104, 105. Описываемый способ может быть использован для сжатия МВ, каналы которого имеют различное разрешение, соотношение сторон, различные настройки цветовых гамм (баланса белого цвета) для изображений, принадлежащих к разным каналам в случае цветного изображения, и уровня интенсивности в случае черно-белого изображения. Следует отметить, что настоящее изобретение не ограниченно конкретной показанной на Фиг.1а схемой съемки. В качестве примера, специалисту в данной области должно быть понятно, что количество используемых устройств съемки может быть больше двух, снимаемая сцена может содержать множество объектов, и взаимное расположение устройств съемки и сцены может отличаться от показанного на Фиг.1а расположения. Кроме того, технические характеристики, за исключением углов зрения, устройств съемки могут по меньшей мере частично совпадать.

На Фиг.1б представлен пример кадров МВ в прямоугольной проекции согласно варианту осуществления настоящего изобретения. Кадры 104, 105 содержат, соответственно, изображения 106а, 106б сцены. Показанные кадры 104, 105 являются кадрами с устройств 102, 103 съемки с разными УЗ в прямоугольной проекции в том виде, в котором они попадают на вход кодеку (кодеру/декодеру), в котором реализован описываемый способ. Изображение сцены в каждом из кадров 104, 105, представлено полностью, т.е. охватывает все поле зрения соответствующего устройства съемки. Кроме того, как показано на Фиг.1б, объект 101 сцены попадает в поле зрения обоих устройств съемки полностью. Данный случай не ограничивает настоящее изобретение, но является наиболее благоприятным для него, поскольку после компенсации разницы УЗ, компенсацию межканальной разницы можно будет произвести наиболее эффективно. В качестве примера, на следующей Фиг.1в, которая будет подробно описана ниже по тексту, показан другой вариант осуществления настоящего изобретения, в котором объект 101 сцены попадает в поле зрения одного устройства съемки частично. Кроме того, следует отметить, что настоящее изобретение не ограничено конкретным, показанным на Фиг.1б вариантом осуществления также и в других аспектах. Например, специалисту в данной области должно быть понятно, что количество объектов сцены может быть более одного, а также, что расположение объектов в сцене может отличаться от конкретного, показанного на Фиг.1б.

На Фиг.1в представлен пример кадров МВ в прямоугольной проекции с частичным попаданием снимаемой сцены в поле зрения одного из устройств съемки согласно варианту осуществления настоящего изобретения. Кадры 104, 105 содержат, соответственно, изображения 106а, 106б сцены. Показанные кадры 104, 105 являются кадрами с устройств 102, 103 съемки с разными УЗ в прямоугольной проекции в том виде, в котором они попадают на вход к кодеку, в котором реализован описываемый способ. Изображение сцены 101 в каждом из кадров 104, 105 представлено полностью, т.е. охватывает все поле зрения соответствующего устройства съемки. Отличием данного варианта осуществления от варианта осуществления, показанного на Фиг.1б, является то, что объект сцены 101, имеющийся в изображении 106а, попадает в поле зрения устройства 102 съемки частично. Данный вариант осуществления не является наиболее благоприятным для описываемого изобретения, поскольку после компенсации разницы УЗ устройств съемки можно будет произвести межканальную компенсацию меньшей части изображения, представленной в кадрах 104, 105 по сравнению со случаем, описанным со ссылкой на Фиг.1б, но все же позволяет осуществить компенсацию межканальной разницы более эффективным образом, нежели в решениях, известных из уровня техники. Кроме того, следует отметить, что настоящее изобретение не ограниченно конкретным показанным на Фиг.1в вариантом осуществления также и в других аспектах. Например, специалисту в данной области должно быть понятно, что частичное попадание объекта сцены может иметь место в другом изображении, например, в изображении 106б, а также, что попадающая в изображение часть объекта сцены может отличаться от конкретной попадающей части объекта сцены, показанной в изображении 106а на Фиг.1в.

На Фиг.2 представлена блок-схема способа межканального предсказания для кодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.

Способ начинается с этапа S201.

На этапе S201 получают множество входных кадров и соответствующих им углов зрения, причем каждому кадру соответствует угол зрения из по меньшей мере двух разных углов зрения.

представляет собой множество входных кадров на момент кодирования текущего кадра, где

, т.е. на момент кодирования текущего кодируемого кадра, должно быть, по меньшей мере 2 входных кадра. Множество

может пополняться новыми входными кадрами по мере их поступления.

представляет собой множество различных углов зрения, каждое из которых соответствует соответствующему входному кадру из упомянутого множества

, где

, т.е. на момент кодирования текущего кодируемого кадра должно быть как минимум 2 различных УЗ. По мере поступления новых входных кадров и соответствующих им значений углов зрения, множество

может пополняться новыми элементами.

представляет собой множество входных кадров и соответствующих им углов зрения на момент кодирования текущего кадра, где

- текущий кодируемый кадр

и соответствующий ему угол зрения

,

.

На этапе S202 осуществляют поиск кадра-предиктора

из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор.

- текущий кодируемый кадр

и соответствующий ему угол зрения

,

- кадр-предиктор

с соответствующим ему углом зрения

, отличным от угла зрения

, соответствующего текущему кодируемому кадру

,

.

На этапе S203 модифицируют найденный кадр-предиктор для компенсации разницы в угле зрения, соответствующем кадру-предиктору, и угле зрения, соответствующем упомянутому кодируемому кадру, и получают указатель, указывающий тип выполненной модификации. Выходом данного этапа является модифицированный кадр-предиктор

.

представляет собой множество модификаций, которым может быть подвергнут кадр-предиктор. Состав данного множества указан в стандарте или спецификации кодека и не может быть изменён в процессе кодирования.

представляет собой модификацию, выбираемую кодеком для найденного кадра-предиктора с указателем модификации

. Критерий выбора

зависит от углов зрения

и

текущего кодируемого кадра

и найденного кадра-предиктора

. Модификация

применяется для уменьшения межкадровой разницы между текущим кодируемым кадром

и найденным кадром-предиктором

представляет собой модифицированный найденный кадр-предиктор

, к которому была применена модификация

с указателем модификации

.

Затем на этапах S204 - S205 - S206 осуществляют межканальное предсказание по меньшей мере одного пиксела кодируемого кадра из по меньшей мере одного пиксела модифицированного кадра-предиктора.

На этапе S204 осуществляют поиск схожих частей кодируемого кадра и модифицированного кадра-предиктора

.

представляют собой множества частей текущего кодируемого кадра

и модифицированного кадра-предиктора

, между которыми найдено соответствие. Алгоритм поиска соответствия раскрыт в стандарте или спецификации кодека и не модифицируется каким-либо образом для использования с настоящим изобретением.

представляет собой множество частей текущего кодируемого кадра

, для которых найдено соответствие в найденном модифицированном кадре-предикторе

, где

, каждый элемент

содержит по меньшей мере 1 пиксел.

представляет собой множество частей найденного модифицированного кадра-предиктора

, из которых будет осуществлено межканальное предсказание множества частей

текущего кодируемого кадра

.

На этапе S205 осуществляют определение разности положений

найденных схожих частей. На данном этапе осуществляется определение множества разностей положений

, которое определяет взаимно-однозначное соответствие между множествами

и

частей текущего кодируемого кадра

и найденного модифицированного кадра-предиктора

.

На этапе S206 осуществляется запись определенной разности положений и указателей, указывающих найденный кадр-предиктор и тип выполненной модификации, в битовый поток. На данном этапе осуществляется запись в битовый поток указателя

найденного кадра-предиктора

, указателя

модификации

, которой подвергнут найденный кадр-предиктор

для получения найденного модифицированного кадра-предиктора

, а также в другом варианте осуществления, множества разности положений

между частями текущего кодируемого кадра

и частями найденного модифицированного кадра-предиктора

для осуществления межканального предсказания для кодирования кадра

многоканального видео, снятого устройствами с различными углами зрения.

На Фиг.3 представлена блок-схема способа межканальной реконструкции для декодирования кадров многоканального видео, снятого устройствами с различными углами зрения, согласно варианту осуществления настоящего изобретения.

Способ начинается с этапа S301.

На этапе S301 осуществляется прием битового потока. Битовый поток содержит сжатый видеосигнал и принимается устройством декодирования изображения.

На этапе S302 осуществляют декодирование по меньшей мере одного кадра для получения по меньшей мере одного кадра-предиктора, т.е. для получения, на момент декодирования текущего декодируемого кадра, одного уже декодированного кадра-предиктора.

представляет собой множество уже декодированных кадров на момент декодирования текущего декодируемого кадра, где

- на момент декодирования текущего декодируемого кадра, по меньшей мере 1 кадр уже должен быть декодирован. По мере декодирования кадров, множество

может пополняться новыми элементами. В одном варианте осуществления декодирование, осуществляемое на данном этапе S302, выполняется с помощью известных из уровня техники способов декодирования. Различным кадрам из множества кадров

на момент декодирования текущего декодируемого кадра соответствуют соответствующие различные углы зрения из множества

, представляющего собой множество различных УЗ. По мере декодирования кадров, множество

может пополняться новыми элементами.

На этапе S303 осуществляется извлечение из принятого битового потока информации, необходимой для декодирования текущего декодируемого кадра:

1)

- угол зрения, соответствующий текущему декодируемому кадру

,

;

2) указатель

на

- кадр-предиктор и соответствующий ему угол зрения, при условии отличия угла зрения, соответствующего кадру-предиктору и угла зрения, соответствующего текущему декодируемому кадру

,

и условии вхождения кадра

во множество

уже декодированных кадров на момент декодирования текущего декодируемого кадра:

;

3) указатель

на модификацию

, которой необходимо подвергнуть кадр-предиктор

для получения модифицированного кадра-предиктора

;

4) множество разности положений

между частями текущего декодируемого кадра и модифицируемого кадра-предиктора

;

На этапе S304 осуществляют модификацию кадра-предиктора

. Для этого кодек подвергает кадр

модификации

, указываемой указателем

, извлеченным из принятого битового потока с учётом угла зрения

, соответствующего текущему декодируемому кадру, и угла зрения

, соответствующего модифицируемому кадру-предиктору

.

На этапе S305 осуществляется межканальная реконструкция частей

текущего декодируемого кадра

из частей

модифицированного кадра-предиктора

. Для установления взаимно однозначного соответствия между множествами

и

используется множество разности положений

между частями текущего декодируемого кадра и модифицированного кадра-предиктора

, извлеченное из битового потока. Выходом данного этапа является текущий декодируемый кадр

, части

которого реконструированы из частей

модифицированного кадра-предиктора

.

На Фиг.4 показаны графики, наглядно демонстрирующие эффективность работы настоящего изобретения в сравнении с известными способами.

График 401 представляет собой график кривой «Скорость кодирования - Искажение» для МВ, сжатого при использовании кодека HEVC HM 13.1 с использованием настоящего изобретения. Упомянутое сжатие МВ осуществляется с использованием межканального предсказания с учетом разницы УЗ, и сжатое МВ записывается в единый выходной поток. В данном эксперименте, сжатый видеосигнал имеет на 7% - 36% меньший размер по сравнению с результатом, представленным на графиках 402 и 403 при равных показателях метрики визуального качества PSNR.

График 402 представляет собой график кривой «Скорость кодирования - Искажение» для МВ, сжатого при использовании кодека HEVC HM-13.1 с использованием набора настроек кодирования «Simulcast». Данный набор настроек осуществляет компрессию отдельных каналов МВ в отдельные сжатые видеосигналы без использования межканального предсказания.

График 402 представляет собой график кривой «Скорость кодирования - Искажение» для МВ, сжатого при использовании кодека HEVC HM-13.1 с использованием набора настроек кодирования «MVC». Данный набор настроек осуществляет компрессию МВ с использованием межканального предсказания, и записывает результат в единый сжатый видеосигнал с несколькими каналами.

Варианты реализации заявленного изобретения

Способ может быть реализован как составная часть кодека, предназначенного для сжатия МВ, снятого устройствами съемки с разными УЗ. Кодек может быть реализован как программное или аппаратное обеспечение. При программной реализации инструкции для исполнения вышеописанных способов могут быть записаны на считываемый компьютером носитель, который может быть долговременным.

Описанное изобретение также представляет встроенную функциональность, когда способ реализован в виде компонента, встроенного в устройство программного и/или аппаратного кодека таким образом, что пользователь, осуществляющий съемку этим устройством, получает на выходе сжатое МВ. Примеры таких устройств: телефон, планшетный компьютер, фото/видеокамера, оснащенные двумя и более устройствами съемки, снимающими МВ с разными УЗ; несколько виртуальных камер с различными УЗ, осуществляющие захват изображения трехмерной компьютерной сцены.

Кроме того, описанное изобретение представляет отдельную функциональность, когда способ реализован в виде компонента программного и/или аппаратного кодека в составе отдельного устройства и/или службы, которые осуществляют сжатие МВ, поступающего извне посредством проводной и/или беспроводной передачи данных, например, но без ограничения упомянутым, с локальных и/или удаленных устройств хранения данных, по сети и т.п.

Способ может быть реализован в виде компонента программного и/или аппаратного кодека/кодера в составе устройства, обладающего встроенной и/или отдельной функциональностью.

Реализация способа может быть применена в составе программного и/или аппаратного кодека на устройствах, осуществляющих съемку и сжатие МВ, а также в составе отдельного программного и/или аппаратного кодека, осуществляющего сжатие. Примером первого сценария является устройство, оснащенное камерой (камерами), и способное проводить съемку МВ с различными УЗ: смартфон или планшетный компьютер с несколькими камерами, фото- или видеокамера с несколькими объективами, обеспечивающими стереоизображение, а также устройство виртуальной или дополненной реальности, снабженное камерами с разными УЗ. Данный список приведен для иллюстрации и не является исчерпывающим. Примером второго сценария использования может быть программный кодек, установленный на рабочую станцию/сервер, и/или аппаратный кодек в виде отдельного устройства и/или платы расширения, который осуществляет (транс)кодирование поступающего на него МВ.

Кроме того, устройства кодирования и декодирования изображений могут быть реализованы посредством процессора, интегральной схемы специального назначения (ASIC), программируемой пользователем вентильной матрицы (FPGA), или - в некоторых вариантах осуществления - как система на кристалле (SoC). Вышеуказанные способы согласно первому и второму аспектам настоящего изобретения могут быть реализованы как часть способов согласно, соответственно, третьему и четвертому аспектам настоящего изобретения.

Другие варианты и последовательности выполнения этапов раскрытых способов, а также компоновки раскрытых устройств, будут очевидны специалистам в данной области техники из этого описания, при его рассмотрении вместе с приложенными фигурами. Все такие варианты, последовательности и компоновки находятся в рамках объема нижеследующей формулы изобретения.

Claims

1. Способ кодирования кадров многоканального видео, использующий межканальное предсказание, причем многоканальное видео снято устройствами с различными углами зрения, содержащий этапы, на которых:

получают множество входных кадров и соответствующих им углов зрения;

осуществляют поиск кадра-предиктора из упомянутого множества входных кадров для кодируемого кадра так, чтобы угол зрения, соответствующий кадру-предиктору, отличался от угла зрения, соответствующего упомянутому кодируемому кадру, и получают указатель, указывающий найденный кадр-предиктор;

модифицируют найденный кадр-предиктор для компенсации разницы в угле зрения, соответствующем кадру-предиктору, и угле зрения, соответствующем упомянутому кодируемому кадру, и получают указатель, указывающий тип выполненной модификации;

осуществляют межканальное предсказание по меньшей мере одного пиксела кодируемого кадра из по меньшей мере одного пиксела модифицированного кадра-предиктора; и

осуществляют кодирование кадра многоканального видео;

при этом осуществление межканального предсказания содержит:

поиск схожих частей кодируемого кадра и модифицированного кадра-предиктора;

определение разности положений найденных схожих частей; и

запись определенной разности положений и упомянутых указателей в битовый поток.

2. Способ по п.1, в котором каждому кадру соответствует угол зрения из по меньшей мере двух разных углов зрения.

3. Способ по п.1, в котором:

входные кадры имеют различное разрешение, соотношение сторон, различные настройки цветовой гаммы для цветных изображений, различные настройки уровня интенсивности для черно-белых изображений.

4. Способ по п.1, в котором этап, на котором осуществляют модификацию найденного кадра-предиктора, дополнительно содержит этап, на котором применяют преобразование, содержащее по меньшей мере одно из масштабирования, кадрирования, сверточного преобразования, к найденному кадру-предиктору.

5. Способ по п.1, в котором на этапе записи в битовый поток дополнительно записывают определенные разности положений найденных схожих частей между частями кодируемого кадра и частями модифицированного кадра-предиктора.

6. Способ декодирования кадров многоканального видео, использующий межканальную реконструкцию, причем многоканальное видео снято устройствами с различными углами зрения, содержащий этапы, на которых:

принимают битовый поток;

декодируют по меньшей мере один кадр для получения по меньшей мере одного кадра-предиктора;

извлекают из битового потока:

- по меньшей мере один указатель, указывающий тип модификации упомянутого по меньшей мере одного кадра-предиктора;

- первый угол зрения, соответствующий упомянутому по меньшей мере одному кадру-предиктору;

- второй угол зрения, соответствующий текущему декодируемому кадру; и

- разность положений между модифицируемым упомянутым по меньшей мере одним кадром-предиктором и текущим декодируемым кадром;

осуществляют модификацию упомянутого по меньшей мере одного кадра-предиктора, которая указывается упомянутым указателем, указывающим тип модификации, для компенсации разницы между упомянутым первым углом зрения и вторым углом зрения, соответствующим текущему декодируемому кадру, и получения модифицированного по меньшей мере одного кадра-предиктора;

осуществляют межканальную реконструкцию по меньшей мере одного пиксела текущего декодируемого кадра из по меньшей мере одного пиксела модифицированного по меньшей мере одного кадра-предиктора с использованием разности между их положениями.

7. Способ по п.6, при этом первый угол зрения отличается от второго угла зрения.

8. Способ по п.6, при этом этап, на котором осуществляют извлечение из битового потока, дополнительно содержит этап, на котором извлекают

- по меньшей мере один указатель, указывающий упомянутый по меньшей мере один кадр-предиктор.