RU2374786C1 - Способ кодирования и способ декодирования видео, устройство, программа и носители данных для хранения программ - Google Patents

Способ кодирования и способ декодирования видео, устройство, программа и носители данных для хранения программ Download PDF

Info

Publication number
RU2374786C1
RU2374786C1 RU2008125846A RU2008125846A RU2374786C1 RU 2374786 C1 RU2374786 C1 RU 2374786C1 RU 2008125846 A RU2008125846 A RU 2008125846A RU 2008125846 A RU2008125846 A RU 2008125846A RU 2374786 C1 RU2374786 C1 RU 2374786C1
Authority
RU
Russia
Prior art keywords
parallax
data
parameters
reference image
video
Prior art date
Application number
RU2008125846A
Other languages
English (en)
Inventor
Масаки КИТАХАРА (JP)
Масаки КИТАХАРА
Хидеаки КИМАТА (JP)
Хидеаки КИМАТА
Синья СИМИЗУ (JP)
Синья СИМИЗУ
Казуто КАМИКУРА (JP)
Казуто КАМИКУРА
Йосиюки ЯСИМА (JP)
Йосиюки ЯСИМА
Масаюки ТАНИМОТО (JP)
Масаюки ТАНИМОТО
Тосиаки ФУДЗИИ (JP)
Тосиаки ФУДЗИИ
Кендзи ЯМАМОТО (JP)
Кендзи ЯМАМОТО
Original Assignee
Ниппон Телеграф Энд Телефон Корпорейшн
Нэшнл Юниверсити Корпорейшн Нагоя Юниверсити
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38228291&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=RU2374786(C1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Ниппон Телеграф Энд Телефон Корпорейшн, Нэшнл Юниверсити Корпорейшн Нагоя Юниверсити filed Critical Ниппон Телеграф Энд Телефон Корпорейшн
Application granted granted Critical
Publication of RU2374786C1 publication Critical patent/RU2374786C1/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Изобретение относится к способам кодирования и декодирования видеоизображений со многими точками обзора. Техническим результатом является управление степенью свободы при компенсации параллакса в соответствии с характеристикой каждого опорного изображения, повышение точности компенсации параллакса и эффективности кодирования. Предложен способ кодирования/декодирования видеоизображений в качестве отдельного видеоизображения посредством использования компенсации параллакса, которая выполняет предсказание посредством использования параллакса между видеоизображениями. Число параметров в качестве данных параллакса, используемых для компенсации параллакса, выбирается и устанавливается для каждого опорного изображения. Кодируются данные установленного числа параметров, и кодируются данные параллакса в соответствии с числом параметров. Во время декодирования декодируются данные о числе параметров параллакса, которые включены в кодированные данные и обозначают число параметров в качестве данных параллакса для каждого опорного изображения, и декодируются данные параллакса в соответствии с числом параметров, где данные параллакса включены в кодированные данные. 6 н. и 14 з.п. ф-лы, 16 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к методам кодирования и декодирования видеоизображений со многими точками обзора.
Приоритет испрашивается по заявке на патент Японии № 2006-000394, поданной 5 января 2006 г., содержимое которой включено в данный документ по ссылке.
УРОВЕНЬ ТЕХНИКИ
Видеоизображения со многими точками обзора представляют собой видеоизображения, полученные фотографированием одного и того же предмета и его заднего плана посредством использования множества камер в различных положениях. Ниже видеоизображение, полученное одной камерой, называется «двумерным видеоизображением», и набор двумерных видеоизображений, полученных фотографированием одного и того же предмета и его заднего плана, называется «видеоизображением со многими точками обзора». Существует тесная взаимосвязь между двумерными изображениями (различных камер), включенными в видеоизображение со многими точками обзора. Если камеры синхронизированы друг с другом, кадры (камер), соответствующие одному и тому же моменту времени, фиксируют предмет и его задний план совершенно в одном и том же состоянии, так что существует тесная взаимосвязь между камерами.
Сначала будут показаны обычные методы, относящиеся к кодированию двумерных видеоизображений. Во многих известных способах кодирования двумерных изображений, таких как Н.264, MREG-4, MREG-2 (которые представляют собой международные стандарты кодирования), и подобных им высокоэффективное кодирование выполняется посредством компенсации движения, ортогонального преобразования, квантования, энтропийного кодирования и т.п. Например, в Н.264, каждый I-кадр может кодироваться посредством внутрикадровой корреляции; каждый P-кадр может кодироваться посредством межкадровой корреляции вместе со множеством прошедших кадров; и каждый B-кадр может кодироваться посредством межкадровой корреляции вместе со множеством прошедших или будущих кадров.
Хотя непатентный документ 1 подробно описывает методы Н.264, ниже описываются его основные принципы. В каждом I-кадре кадр делится на блоки (называемые «макроблоки», при этом размер каждого блока составляет 16×16 (пикселов)), и внутрикадровое предсказание (внутреннее предсказание) выполняется в каждом макроблоке. При внутреннем предсказании каждый макроблок дополнительно делится на меньшие блоки (называемые ниже «субблоки»), и способ индивидуального внутреннего кодирования может применяться к каждому субблоку.
В каждом Р-кадре внутреннее предсказание или внешнее предсказание (межкадровое предсказание) может выполняться в каждом макроблоке. Внутреннее предсказание, применяемое к Р-кадру, аналогично предсказанию, применяемому к I-кадру. При внешнем предсказании выполняется компенсация движения. Также при компенсации движения каждый макроблок делится на меньшие блоки и каждый субблок может иметь индивидуальный вектор движения и индивидуальное опорное изображение.
Также в каждом B-кадре может выполняться внутреннее предсказание или внешнее предсказание. При внешнем предсказании B-кадра в дополнение к прошедшему кадру будущий кадр может упоминаться как опорное изображение при компенсации движения. Например, при кодировании последовательности кадров «I→B→B→P» кадры могут кодироваться в порядке «I→P→B→B». Также в каждом B-кадре компенсация движения может выполняться со ссылкой на I-кадр или P-кадр. Кроме того, аналогично P-кадру каждый субблок (полученный в результате деления макроблока) может иметь индивидуальный вектор движения.
При выполнении внутреннего или внешнего предсказания получается остаток предсказания. В каждом макроблоке блок остатка предсказания подвергается дискретному косинусному преобразованию (DCT), чтобы выполнить квантование. Полученные квантованные значения коэффициентов DCT затем подвергаются кодированию с изменяемой длиной кодов. В каждом P-кадре или B-кадре опорное изображение может выбираться для каждого субблока, указывается числовым значением, называемым «индексом опорного изображения», и подвергается кодированию с изменяемой длиной кодов. В Н.264 чем меньше индекс опорного изображения, тем короче код, используемый при кодировании с изменяемой длиной кодов. Поэтому в Н.264 индекс опорного изображения явно изменяется для каждого кадра. Следовательно, чем выше частота использования опорного изображения, тем меньше индекс опорного изображения, назначенный опорному изображению, таким образом, эффективно кодируя индекс опорного изображения.
В известном способе кодирования видеоизображений со многими точками обзора видеоизображения со многими точками обзора кодируются с высокой эффективностью посредством «компенсации параллакса», при которой компенсация движения применяется к изображениям, полученным различными камерами в один и тот же момент времени. В данном случае «параллакс» представляет собой разность между положениями, в которые проецируется одна и та же точка на предмете, на плоскости изображения камер, которые расположены в различных положениях.
Фиг.13 представляет собой схематический вид, изображающий понятие параллакса, создаваемого между такими камерами. На схематическом виде плоскость изображения камер, оптические оси которых параллельны друг другу, рассматривается вертикально вниз. Как правило, такие точки, на которые проецируется одна и та же точка на предмете, на плоскости изображения различных камер называются «соответствующими точками». При компенсации параллакса соответствующая точка на изображении опорной камеры, которая соответствует целевому пикселу в изображении целевой камеры для относящегося кодирования, оценивается с использованием опорного изображения, и значение пиксела целевого пиксела предсказывается с использованием значения пиксела, назначенного соответствующей точке. Ниже такой «оцененный параллакс» также называется «параллаксом» для удобства объяснения, и в таком способе кодируются данные параллакса и каждый остаток предсказания.
Во многих способах параллакс представляется вектором (то есть вектором параллакса (или несоответствия)) на плоскости изображения. Например, в способе, описанном в непатентном документе 2, компенсация параллакса выполняется для каждого блока в качестве структурной единицы, где такой параллакс для каждого блока структурной единицы представляется с использованием двумерного вектора, то есть посредством использования двух параметров (то есть компоненты х и компоненты y). Фиг.14 представляет собой схематический вид, изображающий вектор параллакса. То есть в данном способе кодируются данные параллакса, образованные двумя параметрами, и кодируется относящийся остаток предсказания. Так как данный способ не использует параметры камеры при кодировании, он эффективен, когда параметры камеры неизвестны.
С другой стороны, непатентный документ 3 описывает способ кодирования изображений со многими точками обзора (то есть статические изображения). В способе параметры камеры используются для кодирования, и каждый вектор параллакса представляется одномерными данными, основанными на ограничении эпиполярной геометрии, таким образом, эффективно кодируя изображения со многими точками обзора.
Фиг.15 представляет собой схематический вид, изображающий принцип ограничения эпиполярной геометрии. Согласно ограничению эпиполярной геометрии в двух изображениях, полученных двумя камерами (то есть «камерой 1» и «камерой 2»), точка m' (назначенная точке М на предмете) в одном из изображений, которая соответствует точке m в другом изображении, ограничивается на прямой линии, называемой «эпиполярной линией». В способе непатентного документа 3 параллакс относительно каждого опорного изображения представляется с использованием одного параметра, то есть положения на одномерной эпиполярной линии. То есть в данном способе кодируются данные параллакса, которые представляются одним параметром, и относящийся остаток предсказания.
Даже если существует два или более опорных изображений (полученных различными камерами), параллакс для каждого опорного изображения может быть представлен с использованием одного параметра посредством ограничения эпиполярной геометрии. Например, когда известен параллакс на эпиполярной линии для опорного изображения, тогда может быть восстановлен параллакс для опорного изображения, полученного другой камерой.
Кроме того, когда существует множество опорных изображений, полученных различными камерами, компенсация параллакса может выполняться с использованием метода изображения с произвольными точками обзора. Непатентный документ 4 описывает компенсацию параллакса, используя метод изображения с произвольными точками обзора. Более конкретно, каждое значение пиксела изображения, полученного целевой камерой для относящегося кодирования, предсказывается посредством интерполяции, используя значения пикселов соответствующих точек (принадлежащих различным камерам), которые соответствуют относящему пикселу. Фиг.16 представляет собой схематический вид, изображающий такую интерполяцию. При интерполяции значение пиксела m в целевом изображении, подлежащем кодированию, предсказывается посредством выполнения интерполяции между пикселами m' и m" опорных изображений 1 и 2, где пикселы m' и m" соответствуют пикселу m.
Непатентный документ 1: ITU-T Rec.H.264/ISO/IEC 11496-10, «Advanced Video Coding», Final Committee Draft, Document JVT-E022, сентябрь 2002 г.
Непатентный документ 2: Hideaki Kimata and Masaki Kitahara. «Preliminary results on multiple view video coding (3DAV)», document M10976 MPEG Redmond Meeting, июль 2004 г.
Непатентный документ 3: Koichi Hata, Minoru Etoh and Kunihiro Chihara. «Coding of Multi-Viewpoint Images». IEICE transactions, Vol.J82-D-II, №11, pp. 1921-1929 (1999 г.)
Непатентный документ 4: Masayuki Tanimoto, Toshiaki Fujii. «Response to Call for Evidence on Multi-View Video Coding», document Мххххх MPEG Hong Kong Meeting, январь 2005 г.
В обычных способах кодирования видеоизображений со многими точками обзора, когда параметры камеры известны, данные параллакса для каждого опорного изображения могут быть представлены одним параметром независимо от числа опорных изображений посредством ограничения эпиполярной геометрии, таким образом, эффективно кодируя данные параллакса.
Однако когда видеоизображение со многими точками обзора, полученное фактическими камерами, представляет собой целевое изображение, подлежащее кодированию, и компенсация параллакса выполняется посредством ограничения параллакса на эпиполярной линии, тогда эффективность предсказания может ухудшаться вследствие ошибки в измеренных параметрах камеры. Кроме того, так как каждое опорное изображение включает в себя искажение из-за кодирования, эффективность предсказания также может ухудшаться при выполнении компенсации параллакса посредством ограничения параллакса на эпиполярной линии. Такое ухудшение эффективности предсказания вызывает увеличение величины кода относящегося остатка предсказания, так что ухудшается общая эффективность кодирования.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Чтобы решить вышеупомянутую проблему при кодировании видеоизображений со многими точками обзора, задачей настоящего изобретения является управление степенью свободы при компенсации параллакса в соответствии с характеристикой каждого опорного изображения и повышение точности компенсации параллакса, даже когда существует искажение кодирования в опорном изображении или ошибка в измеренных параметрах камеры, чтобы получить более высокую эффективность кодирования по сравнению с обычными методами.
Наиболее отличительным признаком настоящего изобретения в сравнении с обычными методами является то, что число параметров в качестве данных параллакса является изменяемым так, чтобы управлять степенью свободы при компенсации параллакса в соответствии с характеристикой каждого опорного изображения и чтобы данные о числе параметров параллакса или индексные данные, которые указывают число параметров, кодировались для включения в кодированные данные.
В дополнение к числу параметров в качестве данных параллакса данные для указания каждого опорного изображения, используемого для компенсации параллакса, также могут включаться в индексные данные, и в них также могут включаться другие данные.
Более конкретно, в первом режиме способов кодирования и декодирования видео настоящего изобретения выполняется процесс кодирования или декодирования числа параметров параллакса, где число параметров параллакса обозначает число параметров в качестве данных параллакса, используемых для компенсации параллакса, в соответствии с характеристикой данных видеоизображения.
Данные числа параметров параллакса могут обозначать размерность вектора параллакса для каждого опорного изображения. Когда существует два опорных изображения (А и В), возможно следующее назначение значения:
(i) pNum=0: оба опорных изображения А и В имеют одномерный вектор параллакса;
(ii) pNum=1: опорное изображение А имеет одномерный вектор параллакса, и опорное изображение В имеет двумерный вектор параллакса;
(iii) pNum=2: опорное изображение А имеет двумерный вектор параллакса, и опорное изображение В имеет одномерный вектор параллакса;
(iv) pNum=3: оба опорных изображения А и В имеют двумерный вектор параллакса.
Вышеупомянутые индексные данные pNum могут определяться в качестве данных о числе параметров параллакса.
Сначала на стороне кодирования видео число параметров для представления данных параллакса устанавливается на этапе установления числа параметров параллакса. Затем данные о числе параметров параллакса в отношении числа параметров, установленных на этапе установления числа параметров параллакса, кодируются на этапе кодирования данных о числе параметров параллакса. Кроме того, данные параллакса, которые представляются с использованием числа параметров, установленных на этапе установления числа параметров параллакса, кодируются на этапе кодирования данных параллакса.
С другой стороны, на стороне декодирования видео данные о числе параметров параллакса сначала декодируются на этапе декодирования данных о числе параметров параллакса. Затем данные параллакса о числе параметров, которые обозначаются декодированными данными о числе параметров параллакса, декодируются на этапе декодирования данных параллакса.
Во втором режиме способов кодирования и декодирования видео настоящего изобретения опорные изображения, которые могут использоваться для компенсации параллакса, назначаются каждому значению индекса опорного изображения. Например, когда два опорных изображения используются для генерирования предсказываемого изображения компенсации параллакса и три опорных изображения (А, В и С), которые могут использоваться, запоминаются в памяти опорных изображений, тогда возможно следующее назначение значений:
(i) refIdx=0: опорные изображения А и В;
(ii) refIdx=1: опорные изображения В и С;
(iii) refIdx=2: опорные изображения А и С.
Здесь refIdx представляет собой индекс опорного изображения. В дополнение к вышесказанному может определяться индекс (значение) опорного изображения, соответствующий каждому декодированному изображению целевой камеры для относящегося кодирования.
На стороне кодирования видео в дополнение к процессу, выполняемому в вышеупомянутом первом режиме, выполняется этап установления опорного изображения для определения опорного изображения, используемого при компенсации параллакса, и этап кодирования индекса опорного изображения для кодирования индекса опорного изображения. На стороне декодирования видео выполняется этап декодирования индекса опорного изображения.
Когда такой способ объединяется с вышеописанным обычным способом изменения числа индекса опорного изображения в Н.264, каждое значение индекса может устанавливаться в соответствии с характеристикой относящегося видеоизображения таким образом, что малое значение назначается опорному изображению, посредством которого может генерироваться предсказываемое изображение высокого качества, тем самым повышая эффективность кодирования.
В третьем режиме способов кодирования и декодирования видео настоящего изобретения данные о числе параметров параллакса, которые могут использоваться, назначаются каждому индексу (значению) опорного изображения. Например, когда два опорных изображения используются для генерирования предсказываемого изображения компенсации параллакса, три опорных изображения (А, В и С), которые могут использоваться, запоминаются в памяти опорных изображений и данные pNum о числе параметров параллакса имеют два значения (то есть pNum=0 или 1), тогда возможно следующее назначение значений:
(i) refIdx=0: опорные изображения А и В, pNum=0;
(ii) refIdx=1: опорные изображения А и В, pNum=1;
(iii) refIdx=2: опорные изображения В и С, pNum=0;
(iv) refIdx=3: опорные изображения В и С, pNum=1;
(v) refIdx=4: опорные изображения А и С, pNum=0;
(vi) refIdx=5: опорные изображения А и С, pNum=1.
В данном случае на стороне кодирования видео выполняется этап кодирования индекса опорного изображения для кодирования индекса опорного изображения, где данные о числе параметров параллакса кодируются на данном этапе. На стороне декодирования видео выполняется этап декодирования индекса опорного изображения для декодирования индекса опорного изображения, где данные о числе параметров параллакса декодируются на данном этапе.
Когда такой способ объединяется с вышеописанным обычным способом изменения числа индекса опорного изображения в Н.264, длина кода с изменяемой длиной, назначаемого данным о числе параметров параллакса, может изменяться в соответствии с характеристикой относящегося видеоизображения, таким образом, эффективно кодируя данные о числе параметров параллакса.
При компенсации параллакса, используемой для кодирования видеоизображений со многими точками обзора, (i) если ухудшается эффективность предсказания, когда предсказание выполняется в соответствии с ограничением эпиполярной геометрии, из-за ошибки измерения в параметрах камеры или искажений кодирования в каждом опорном изображении, тогда число параметров для данных параллакса увеличивается, чтобы выполнить предсказание, имеющее высокую степень свободы, и (ii) если эффективность предсказания достаточна, даже когда предсказание выполняется в соответствии с ограничением эпиполярной геометрии, тогда выполняется предсказание, которое представляет параллакс посредством использования одного параметра. Такой выбор может адаптивно управляться в соответствии с характеристикой каждого кадра или блока (в качестве структурной единицы) в относящемся декодированном изображении. Поэтому может быть получена более высокая эффективность кодирования по сравнению с обычными методами.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг.1 представляет собой схему, изображающую устройство кодирования видео в качестве первого варианта осуществления настоящего изобретения.
Фиг.2 представляет собой схему, изображающую опорные зависимости между камерами в первом варианте осуществления.
Фиг.3 представляет собой схему, изображающую расположение камер в первом варианте осуществления.
Фиг.4 представляет собой блок-схему последовательности операций кодирования в первом варианте осуществления.
Фиг.5 представляет собой схему, изображающую устройство декодирования видео в первом варианте осуществления.
Фиг.6 представляет собой блок-схему последовательности операций декодирования в первом варианте осуществления.
Фиг.7 представляет собой схему, изображающую опорные зависимости между камерами во втором варианте осуществления настоящего изобретения.
Фиг.8 представляет собой схему, изображающую устройство кодирования видео во втором варианте осуществления.
Фиг.9 представляет собой блок-схему последовательности операций кодирования во втором варианте осуществления.
Фиг.10 представляет собой подробную блок-схему последовательности операций этапа S304 на фиг.9.
Фиг.11 представляет собой схему, изображающую устройство декодирования видео во втором варианте осуществления.
Фиг.12 представляет собой блок-схему последовательности операций декодирования во втором варианте осуществления.
Фиг.13 представляет собой схематический вид, изображающий принцип параллакса, создаваемого между камерами.
Фиг.14 представляет собой схематический вид, изображающий вектор параллакса.
Фиг.15 представляет собой схематический вид, изображающий принцип ограничения эпиполярной геометрии.
Фиг.16 представляет собой схематический вид, изображающий интерполяцию значения пиксела.
НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Первый вариант осуществления
Объясняется первый вариант осуществления. Фиг.1 представляет собой схему, изображающую структуру устройства кодирования видео первого варианта осуществления.
Устройство 100 кодирования видео включает в себя узел 101 ввода изображения, в который вводится каждое исходное изображение камеры С (то есть целевое изображение, подлежащее кодированию); узел 102 ввода опорного изображения, в который вводятся декодированные изображения (в качестве опорных изображений) камер А и В; память 103 опорных изображений для хранения каждого опорного изображения; узел 104 установления числа параметров параллакса для установления числа параметров параллакса для представления данных параллакса, которые используются для компенсации параллакса; узел 105 кодирования данных о числе параметров параллакса для кодирования данных о числе параметров параллакса; узел 106 кодирования данных параллакса для кодирования данных параллакса и узел 107 кодирования остатка предсказания для кодирования остатка предсказания, сгенерированного при компенсации параллакса.
Фиг.2 представляет собой схему, изображающую опорные зависимости между камерами в первом варианте осуществления. Как показано на фиг.2, в настоящем варианте осуществления для кодирования видеоизображений со многими точками обзора, полученных тремя камерами, видеоизображения камеры С кодируются с использованием декодированных изображений камер А и В в качестве опорных изображений.
Стрелки на фиг.2 представляют опорные зависимости при компенсации параллакса. Чтобы кодировать каждое изображение камеры С, декодированные изображения (камер А и В), имеющие такое же время отображения, кодируются в качестве опорных изображений. В соответствующем процессе предсказываемое изображение генерируется посредством вычисления среднего значения из значений пикселов соответствующих точек, принадлежащих камерам А и В.
Фиг.3 представляет собой схему, изображающую расположение камер в первом варианте осуществления. В настоящем варианте осуществления точки обзора трех камер выстраиваются по прямой линии через регулярные интервалы, и их оптические оси перпендикулярны прямой линии. То есть оптические оси трех камер параллельны друг другу.
Кроме того, система координат x-y на относящейся плоскости изображения может быть получена посредством параллельного переноса (не выполняется вращение или что-то подобное) относительно прямой линии, на которой расположены камеры, и пикселы формируются посредством деления каждой из осей x и y плоскости изображения через регулярные интервалы для каждой камеры. То есть каждая камера имеет одинаковое разрешение, и параллакс Р пикселей между камерами С и А соответствует параллаксу Р пикселей между камерами С и В.
Фиг.4 представляет собой блок-схему последовательности операций кодирования в первом варианте осуществления.
Блок-схема последовательности операций изображает процессы, выполняемые при кодировании изображения, полученного камерой С, и кодирование видеоизображения выполняется посредством повторения процессов для каждого изображения.
В настоящем варианте осуществления способ представления данных параллакса адаптивно переключается при компенсации параллакса между (i) способом представления параллакса между опорными изображениями камер А и В посредством использования данных параллакса, которые указывают положение на эпиполярной линии для камеры А посредством использования одного параметра (то есть значение индекса «pNum» равно 0), и (ii) параллакс для опорного изображения, принадлежащего каждой из камер А и В, представляется двумерным вектором, и относящиеся данные параллакса представляются посредством использования четырех параметров (то есть значение индекса «pNum» равно 1), где pNum представляет собой индекс для указания данных, относящихся к числу параметров параллакса.
Такое переключение числа параметров параллакса выполняется для каждого блока (в качестве структурной единицы), имеющего N×N пикселов как по оси Х, так и по оси Y, полученного посредством деления каждого изображения на блоки. То есть для каждого N×N блока один (pNum=0) или четыре (pNum=1) параметра кодируются в качестве данных параллакса.
При вышеупомянутых условиях операция кодирования объясняется в соответствии с блок-схемой последовательности операций по фиг.4.
Сначала изображение камеры С вводится в узел 101 ввода изображения (этап S101), где декодированные изображения, которые принадлежат камерам А и В и имеют такое же время отображения, были сохранены в памяти 103 опорных изображений при помощи узла 102 ввода опорного изображения.
В настоящей блок-схеме последовательности операций «blk» представляет собой индекс, который указывает каждый из N×N блоков, полученных посредством деления относящегося изображения, и «maxBlk» указывает общее число блоков, определенных в каждом изображении.
После того как индекс blk для каждого N×N блока инициализируется в нуль (этап S102), следующие этапы (S103-S116) многократно применяются к каждому N×N блоку, в то же время «1» добавляется к индексу blk (этап S115) до тех пор, пока индекс blk не достигнет общего числа maxBlk блоков (этап S116).
Сначала в узле 104 установления числа параметров параллакса считываются данные целевого блока, подлежащего кодированию (в изображении С), который соответствует индексу blk, и опорные изображения, соответствующие камерам А и В, считываются из памяти 103 опорных изображений. Также в узле 104 установления числа параметров параллакса выполняется процесс поиска параллакса для каждого из случаев pNum=0 и pNum=1 (этапы S104-S106).
Поиск параллакса выполняется таким образом, что минимизируется стоимость «cost» «скорость-искажение» на основе (i) общей суммы «SAD» абсолютных значений остатков предсказания в соответствующем N×N блоке, которые получаются при компенсации параллакса, и (ii) оцененного значения Rdisp величины кодов, назначенных данным параллакса. В данном случае «cost» вычисляется по следующей формуле:
Figure 00000001
где λ представляет собой неопределенный множитель Лагранжа и представляет собой предварительно определенное значение. Кроме того, чтобы вычислить Rdisp, данные параллакса подвергаются кодированию с изменяемой длиной кодов для вычисления относящейся величины кодов.
Для каждого из случаев pNum=0 и pNum=1 вычисляется минимальное значение pCost для «cost» и данные параллакса для получения pCost, и данные параллакса, соответствующие меньшему pCost, определяются для использования для кодирования (этапы S107-S110).
На блок-схеме последовательности операций на фиг.4 «minPcost» представляет собой переменную для хранения минимального значения pCost и устанавливается на «maxPCost» (то есть для инициализации), которое имеет произвольное значение больше, чем возможное максимальное значение pCost, когда обрабатывается блок «blk».
Когда pNum=0, следующий процесс выполняется на этапе 105.
То есть поиск параллакса выполняется в предварительно определенном диапазоне. При расположении камер настоящего варианта осуществления, следуя ограничению эпиполярной геометрии, параллакс камеры А относительно пиксела (x, y) камеры С равен (x+dx, y), где dx≥0, и соответствующий параллакс камеры В равен (x-dx, y). В данном случае в системе координат на плоскости изображения, имеющей I×I пикселов в горизонтальном и вертикальном направлениях, верхний левый пиксел определяется как (0,0), верхний правый пиксел определяется как (I-1,0), нижний левый пиксел определяется как (0,I-1). В настоящем варианте осуществления диапазон для поиска составляет от dx=0 до Р. Поэтому SAD[dx] вычисляется в диапазоне «от dx=0 до Р» по следующей формуле:
Figure 00000002
где Σi представляет собой относящуюся общую сумму, когда i=0 - N-1, и Σj представляет собой относящуюся общую сумму, когда j=0 - N-1. «ABS()» указывает вычисление абсолютного значения элемента в круглых скобках. «DECA[x,y]» и «DECB[x,y]» указывает соответственно значения яркости пиксела (x,y) в каждом декодированном изображении камер А и В. «IMGC[x,y]» указывает значение яркости пиксела (x,y) в исходном изображении камеры С. В данном случае (x,y) указывают координаты верхнего левого пиксела в соответствующем N×N блоке на плоскости изображения.
Кроме того, вычисляется оцененное значение Rdisp[dx] величины кода, назначенного данным параллакса (когда параллакс равен dx), и стоимость «скорость-искажение» «cost[dx]» для параллакса dx вычисляется с использованием вышеупомянутой формулы (1). Параллакс, который представляет собой минимизированную cost[dx], определяется как «bestDispPNum0», и соответствующий код определяется как «pCost».
Затем, когда «minPcost» будет установлено в pCost и «bestPnum» для хранения оптимального pNum будет установлено в 0, работа переходит на процесс, выполняемый при pNum=1.
Когда pNum=1, следующий процесс выполняется на этапе 106.
То есть ограничение эпиполярной геометрии не учитывается, когда pNum=1, и выполняется поиск двумерного параллакса. Более конкретно, соответствующие диапазоны для поиска по оси Х для камер А и В определяются как «dx,A,dx,B=от -P до Р» (то есть диапазон «от -Р до Р» для каждого из dx,A и dx,B), и соответствующие диапазоны для поиска по оси Y для камер А и В определяются как «dy,A,dy,B=от -P до Р» (то есть диапазон «от -Р до Р» для каждого из dy,A и dy,B). Для каждой комбинации между (dx,A, dx,B, dy,A, dy,B) вычисляется следующий SAD[dx,A, dx,B, dy,A, dy,B]:
Figure 00000003
Кроме того, вычисляется оцененное значение Rdisp [dx,A, dx,B, dy,A, dy,B] величины кода, назначенного данным параллакса (когда параллакс равен (dx,A, dx,B, dy,A, dy,B), и стоимость «скорость-искажение» «cost[dx,A, dx,B, dy,A, dy,B]» для параллакса вычисляется с использованием вышеупомянутой формулы (1). Параллакс, который соответствует минимизированной cost[dx,A, dx,B, dy,A, dy,B], определяется как «bestDispPNum1», и соответствующая стоимость определяется как «pCost».
Если pCost<minPcost (этап S107), minPcost устанавливается в pCost, и bestPNum, в котором сохраняется оптимальное pNum, устанавливается в 1 (этап S108).
Затем в узле 105 кодирования данных о числе параметров параллакса bestPNum подвергается кодированию с изменяемой длиной кодов (этап S111). Кроме того, в узле 106 кодирования данных параллакса кодируются данные параллакса. Когда bestPNum=0, данные dx подвергаются кодированию с изменяемой длиной кодов. Когда bestPNum=1, данные «dx,A, dx,B, dy,A, dy,B» подвергаются кодированию с изменяемой длиной кодов. Наконец, в узле 107 кодирования остатка предсказания кодируется остаток предсказания (этапы S112-S114).
Фиг.5 изображает устройство декодирования видео, используемое в первом варианте осуществления. Устройство 200 декодирования видео включает в себя узел 201 декодирования данных о числе параметров параллакса для декодирования данных о числе параметров параллакса (то есть данных о числе параметров параллакса); узел 202 декодирования данных параллакса для декодирования данных параллакса, соответствующих данным о числе параметров параллакса; узел 203 декодирования остатка предсказания для декодирования остатка предсказания; узел 204 компенсации параллакса и память 205 опорных изображений.
Фиг.6 представляет собой блок-схему последовательности операций декодирования настоящего варианта осуществления. Данная блок-схема последовательности операций изображает принцип действия декодирования одного кадра камеры С и подробно объясняется ниже.
После того как индекс «blk» для каждого N×N блока инициализируется равным «0» (этап S201), следующие этапы S202-S208 повторяются для каждого N×N блока в относящемся одном кадре (число блоков в одном кадре равно «maxBlk»), декодируется один кадр камеры С. В данном случае кадры, имеющие одинаковое время камер А и В, уже были декодированы, и декодированные изображения были сохранены в памяти 205 опорных изображений.
Сначала узел 201 декодирования данных о числе параметров параллакса декодирует данные «bestPNum» о числе параметров параллакса (этап S202). В соответствии со значением bestPNum (этап S203) выполняется следующий процесс.
Когда bestPNum=0, в узле 202 декодирования данных параллакса декодируются данные dx параллакса. Затем в узел 204 компенсации параллакса вводятся данные bestPNum о числе параметров и данныме dx параллакса, и N×N блоков камер А и В, которые соответствуют данным dx параллакса, также вводятся из памяти 205 опорных изображений. Когда положение каждого пиксела в целевом N×N блоке (для кодирования) указывается в виде (x,y), предсказываемое изображение PRED[x+i, y+j] генерируется по следующей формуле (этап S204):
Figure 00000004
где i=0, 1, …, N-1, и j=0, 1, …, N-1.
Когда bestPNum=1, в узле 202 декодирования данных параллакса декодируются данные (dx,A, dx,B, dy,A, dy,B) параллакса. Затем в узел 204 компенсации параллакса вводятся данные bestPNum о числе параметров параллакса и данные (dx,A, dx,B, dy,A, dy,B) параллакса, и N×N блоков камер А и В, которые соответствуют данным dx параллакса, также вводятся из памяти 205 опорных изображений. Когда положение каждого пиксела в целевом N×N блоке (для кодирования) указывается в виде (x,y), предсказываемое изображение PRED[x+i, y+j] генерируется по следующей формуле (этап S205):
Figure 00000005
где i=0, 1, …, N-1, и j=0, 1, …, N-1.
Затем в узле 203 декодирования остатка предсказания, в который был введен кодированный остаток предсказания, декодируется N×N блок «RES[x+i, y+j]» остатка предсказания. Блок остатка предсказания вводится в узел 204 компенсации параллакса, и сумма блока остатка предсказания и предсказываемого изображения вычисляется по следующей формуле для получения декодированного изображения DECC[x+i, y+j] (этап S206):
Figure 00000006
Вышеупомянутый процесс выполняется многократно, в то же время «1» добавляется к индексу blk (этап S207) до тех пор, пока индекс blk не достигнет числа maxBlk блоков в одном кадре, таким образом, получая декодированное изображение камеры С.
Второй вариант осуществления
Ниже описывается второй вариант осуществления.
В настоящем варианте осуществления, как показано посредством опорных зависимостей между камерами на фиг.7, кодируются видеоизображения со многими точками обзора, причем видеоизображение камеры С кодируется с использованием декодированных изображений камер А, В, D и Е в качестве опорных изображений.
В вышеописанном первом варианте осуществления каждое изображение камеры С кодируется только с использованием компенсации параллакса. Однако в настоящем варианте осуществления кодирование выполняется посредством исполнения с возможностью переключения одной из компенсаций движения и компенсации параллакса для каждого блока в качестве структурной единицы. Стрелки на фиг.7 указывают опорные зависимости, когда выполняется компенсация движения или компенсация параллакса.
При компенсации параллакса предсказываемые изображения генерируются посредством множества пар, выбранных из камер А, В, D и Е (в данном случае три пары «А и В», «А и D» и «В и Е»). Способ генерирования каждого предсказываемого изображения подобен первому варианту осуществления, то есть предсказываемое изображение генерируется с использованием среднего значения значений пикселов соответствующих точек между относящимися двумя камерами.
Аналогично первому варианту осуществления в настоящем варианте осуществления точки обзора пяти камер выровнены по прямой линии через регулярные интервалы, и оптические оси камер перпендикулярны этой прямой линии. То есть пять камер имеют зависимости, как показано на фиг.3, и их оптические оси параллельны друг другу.
Фиг.8 представляет собой схему, изображающую конструкцию устройства кодирования видео второго варианта осуществления.
Устройство 300 кодирования видео включает в себя узел 301 ввода изображений, в который вводится каждое исходное изображение камеры С, узел 302 ввода опорного изображения, в который вводятся декодированные изображения камер А, В, D и F, память 303 опорных изображений для хранения каждого опорного изображения, узел 304 компенсации параллакса для выполнения компенсации параллакса, узел 305 компенсации движения для выполнения компенсации движения, узел 306 установления опорных изображений, узел 307 кодирования индекса опорного изображения, узел 308 кодирования данных движения, узел 309 кодирования данных параллакса, узел 310 кодирования остатка предсказания и узел 311 локального декодирования.
Фиг.9 представляет собой блок-схему последовательности операций кодирования, выполняемого в настоящем варианте осуществления. Фиг.10 представляет собой подробную блок-схему последовательности операций этапа S304 на фиг.9.
Блок-схемы последовательности операций изображают операцию, выполняемую тогда, когда кодируется изображение камеры С, и кодирование видео выполняется посредством повторения операции. В настоящем варианте осуществления кодирование выполняется посредством исполнения адаптивного переключения между следующими процессами:
(i) компенсация движения с использованием прошедшего декодированного изображения камеры С: refIdx=0, 1;
(ii) компенсация параллакса с использованием опорных изображений камер А и В (pNum=0): refIdx=2;
(iii) компенсация параллакса с использованием опорных изображений камер А и В (pNum=1): refIdx=3;
(iv) компенсация параллакса с использованием опорных изображений камер А и D (pNum=0): refIdx=4;
(v) компенсация параллакса с использованием опорных изображений камер А и D (pNum=1): refIdx=5;
(vi) компенсация параллакса с использованием опорных изображений камер B и E (pNum=0): refIdx=6;
(vii) компенсация параллакса с использованием опорных изображений камер B и E (pNum=1): refIdx=7,
где «refIdx» представляет собой индекс опорного изображения.
Что касается «refIdx=0, 1», то «refIdx=0» указывает декодированное изображение (камеры С), которое находится за один кадр до настоящего кадра, и «refIdx=1» указывает декодированное изображение (камеры С), которое находится за два кадра до настоящего кадра.
В настоящем варианте осуществления при кодировании кодируется индекс опорного изображения, который соответствует способу и опорному изображению, используемому для каждого блока, и при декодировании значения пикселов каждого блока декодируются с использованием индекса опорного изображения.
Вышеупомянутое назначение значения (i)-(vii) индекса опорного изображения используется, чтобы кодировать изображение «С» на третьем кадре и после него.
Для первого кадра, так как нет декодированного изображения камеры С, индекс опорного изображения не может назначаться для компенсации движения, и значение, меньшее, чем вышеупомянутое назначенное значение на 2, назначается для каждого случая ((iii)-(vii)) компенсации параллакса (например, для «компенсации параллакса с использованием опорных изображений камер А и В (pNum=0)» refIdx устанавливается на 0 посредством назначения значения индекса опорного изображения).
Для второго кадра, так как только «refIdx=0» эффективно для компенсации движения, значение, меньшее, чем вышеупомянутое назначенное значение на 1, назначается для каждого случая ((iii)-(vii)) компенсации параллакса (например, для «компенсации параллакса с использованием опорных изображений камер А и В (pNum=0)» refIdx устанавливается на 1 посредством назначения значения индекса опорного изображения).
При вышеописанных условиях операция кодирования объясняется со ссылкой на блок-схему последовательности операций по фиг.9, причем настоящая операция применяется к камере С на третьем кадре и после него.
Сначала изображение камеры С вводится в узел 301 ввода изображения (этап S301), где декодированные изображения, которые принадлежат камерам А, В, D и Е и имеют одинаковое время отображения, были сохранены в памяти 303 опорных изображений при помощи узла 302 ввода опорного изображения. Кроме того, декодированные изображения камеры С, которые находятся на один кадр и два кадра перед настоящим кадром и были декодированы узлом 311 локального декодирования, были введены в память 303 опорных изображений.
На настоящей блок-схеме последовательности операций «blk» представляет собой индекс, который указывает каждый из N×N блоков, полученных посредством деления относящегося изображения, и «maxBlk» указывает общее число блоков, определенных в каждом изображении. После того как индекс blk для каждого N×N блока инициализируется в нуль (этап S302), следующие этапы (S303-S312) многократно применяются к каждому N×N блоку, в то же время «1» добавляется к индексу blk (этап S311) до тех пор, пока индекс blk не достигнет общего числа maxBlk блоков (этап S312).
Сначала индекс «refIdx» опорного изображения инициализируется так, что имеет значение «0», и переменная «minRefCost» для хранения минимального значения значения «refCost» стоимости инициализируется так, чтобы иметь произвольное значение «maxRefCost», которое больше, чем возможное максимальное значение refCost при обработке блока «blk» (этап S303).
В каждом N×N блоке, указанном индексом «blk», выполняется процесс предсказания, соответствующий относящемуся индексу «refIdx» опорного изображения (этап S304). В процессе предсказания вычисляется значение refCost стоимости, соответствующее относящемуся индексу «refIdx» опорного изображения, и индекс «refIdx» опорного изображения, соответствующий минимальной refCost, используется для кодирования настоящего N×N блока (этапы S305 и S306).
Ниже объясняется процесс, соответствующий каждому индексу «refIdx» опорного изображения на этапе S304, со ссылкой на блок-схему последовательности операций на фиг.10. При нижеследующем выполняется компенсация движения или компенсация параллакса. В любом случае данные движения или параллакса получаются посредством минимизирования «cost», которая вычисляется по следующей формуле:
Figure 00000007
где Rvec представляет собой оцененное значение величины кодов, назначенных относящимся данным движения или параллакса, и SAD представляет собой общую сумму абсолютных значений остатков предсказания.
Когда refIdx равен 2 или больше, это соответствует компенсации параллакса (этап S3041). Поэтому декодированные изображения двух камер, соответствующие refIdx, считываются в качестве опорных изображений узлом 304 компенсации параллакса для выполнения компенсации параллакса.
Также, когда refIdx равен 2 или более, он имеет соответствующие данные pNum о числе параметров, которые равны 0 или 1. Следовательно, выполняется процесс компенсации параллакса, назначенный pNum=0 или pNum=1, аналогично первому варианту осуществления.
То есть когда число параметров параллакса (то есть pNum) равно 1 (этап S3042), выполняется поиск параллакса на относящейся эпиполярной линии в отношении двух опорных изображений, соответствующих индексу «refIdx» опорного изображения, чтобы минимизировать стоимость «скорость-искажение», и минимальное значение стоимости сохраняется в качестве «refCost» (этап S3043).
Когда данные (pNum) о числе параметров не равны 1 (этап S3042), выполняется поиск параллакса на относящейся плоскости изображения в отношении двух опорных изображений, соответствующих индексу «refIdx» опорного изображения, чтобы минимизировать стоимость «скорость-искажение», и минимальное значение стоимости сохраняется в качестве «refCost» (этап S3044).
В каждом из вышеупомянутых этапов S3043 и S3044 refCost окончательно определяется посредством добавления оцененной величины кодов для кодирования индекса «refIdx» опорного изображения к вычисленному минимальному значению (refCost) стоимости.
Когда refIdx равен 0 или 1, это соответствует компенсации движения и операция переходит на этап S3045. В данном случае декодированное изображение камеры С, соответствующее относящемуся refIdx, считывается в качестве опорного изображения узлом 305 компенсации движения для выполнения компенсации движения. Конкретно, компенсация движения выполняется посредством минимизирования «cost», которая вычисляется по формуле (7). В данном случае refCost определяется посредством добавления оцененной величины кодов для кодирования индекса «refIdx» опорного изображения к вычисленному минимальному значению «cost» (этап S3045).
Если вычисленное refCost меньше, чем «minRefCost» для хранения настоящего минимального значения (этап S305), minRefCost устанавливается в refCost и соответствующее refIdx сохраняется в качестве «bestRefIdx» (этап S306). Вышеупомянутый процесс повторяется, в то же время «1» добавляется к refIdx до тех пор, пока refIdx не достигнет «maxRefNum», которое представляет собой общее число значений индекса (этапы S307 и S308).
После того как вышеописанная операция будет применена к каждому опорному изображению, индекс опорного изображения, который представляет собой минимизированное refCost (то есть bestRefIdx), получается узлом 306 установления опорного изображения, так что определяется индекс опорного изображения, используемый для кодирования.
Затем bestRefIdx кодируется узлом 307 кодирования индекса опорного изображения (этап S309), относящиеся данные движения или параллакса кодируются узлом 308 кодирования данных движения или узлом 309 кодирования данных параллакса, и остаток предсказания кодируется узлом 310 кодирования остатка предсказания (этап S310).
Затем 1 добавляется к индексу «blk» (этап S311), и вышеупомянутая операция повторяется до тех пор, пока «blk» не достигнет общего числа maxBlk блоков (этап S312), таким образом, кодируя один кадр камеры С.
Фиг.11 изображает устройство декодирования видео, используемое во втором варианте осуществления. Устройство 400 декодирования видео включает в себя узел 401 декодирования индекса опорного изображения для декодирования индекса опорного изображения; узел 402 декодирования данных параллакса для декодирования данных параллакса, узел 403 декодирования данных движения для декодирования данных движения; узел 404 декодирования остатка предсказания для декодирования остатка предсказания, память 405 опорных изображений для хранения каждого опорного изображения, узел 406 компенсации параллакса для выполнения компенсации параллакса и узел 407 компенсации движения для выполнения компенсации движения.
Фиг.12 представляет собой блок-схему последовательности операций декодирования настоящего варианта осуществления. Данная блок-схема последовательности операций изображает операцию для декодирования одного кадра камеры С и подробно объясняется ниже.
После того как индекс blk для каждого N×N блока будет инициализирован в «0» (этап S401), следующие этапы S402-S410 повторяются для каждого N×N блока, в то же время «1» добавляется к индексу «blk» (этап S409) до тех пор, пока blk не достигнет общего числа maxBlk блоков (этап S410). Следовательно, декодируется один кадр камеры С. В данном случае (i) декодированные изображения кадров, имеющих одно и то же время, камер А, В, Е и D, и (ii) декодированные изображения прошедших кадров, которые находятся соответственно за один кадр или два кадра перед настоящим кадром, камеры С были уже сохранены в памяти 405 опорных изображений.
Сначала узел 401 декодирования индекса опорного изображения декодирует индекс «bestRefIdx» опорного изображения (этап S402). В соответствии со значением bestRefIdx (этапы S403 и S404) выполняется следующий процесс.
Когда bestRefIdx=0 или 1, это индекс опорного изображения, соответствующий компенсации движения, и данные движения декодируются узлом 403 декодирования данных движения. Затем опорное изображение, соответствующее bestRefIdx (0 или 1), считывается узлом 407 компенсации движения для генерирования предсказываемого изображения (этап S407).
Узел 404 декодирования остатка предсказания декодирует остаток предсказания, и узел 407 компенсации движения добавляет предсказываемое изображение к остатку предсказания (этап S408), таким образом, генерируя декодированное изображение соответствующего N×N блока.
Когда bestRefIdx равен 2 или более, это индекс опорного изображения, соответствующий компенсации параллакса, и считываются опорные изображения, принадлежащие двум камерам, которые соответствуют индексу bestRefIdx опорного изображения, и декодирование выполняется посредством компенсации параллакса.
В данном случае, так как значение данных pNum о числе параметров параллакса назначается индексу bestRefIdx опорного изображения, выполняется процесс, соответствующий pNum. Процесс компенсации параллакса аналогичен первому варианту осуществления (этапы S404-S406). Узел 404 декодирования остатка предсказания декодирует остаток предсказания, и узел 407 компенсации движения добавляет предсказываемое изображение к остатку предсказания (этап S408), таким образом, генерируя декодированное изображение соответствующего N×N блока.
Затем «1» добавляется к индексу «blk» (этап S409), и вышеупомянутая операция повторяется до тех пор, пока blk не достигнет общего числа maxBlk блоков (этап S410), таким образом, декодируя один кадр камеры С.
Вышеописанное соответствие между индексом опорного изображения и «данными для указания, какая из компенсации движения и компенсации параллакса используется, опорного изображения и данных о числе параметров параллакса» представляет собой просто пример, и такое соответствие представляет собой вопрос конструирования, который может быть произвольно определен, когда реализуется настоящее изобретение.
Вышеописанные процессы кодирования и декодирования видео могут быть реализованы посредством использования компьютера и программы программного обеспечения. Такая программа может обеспечиваться посредством сохранения ее на считываемом компьютером носителе записи или по сети.
Промышленная применимость
При компенсации параллакса, используемой для кодирования видеоизображений со многими точками обзора, (i) если эффективность предсказания снижается, когда предсказание выполняется в соответствии с ограничением эпиполярной геометрии, из-за ошибки измерения в параметрах камеры или искажения кодирования в каждом опорном изображении, тогда число параметров для данных параллакса увеличивается, чтобы выполнить предсказание, имеющее высокую степень свободы, и (ii) если эффективность предсказания является достаточной, даже когда предсказание выполняется в соответствии с ограничением эпиполярной геометрии, тогда выполняется предсказание, которое представляет параллакс посредством использования одного параметра. Такой выбор может адаптивно управляться в соответствии с характеристикой каждого кадра или блока (в качестве структурной единицы) в относящемся декодированном изображении. Поэтому может быть получена более высокая эффективность кодирования по сравнению с обычными методами.

Claims (20)

1. Способ кодирования видео для кодирования видеоизображений в качестве отдельного видеоизображения посредством использования компенсации параллакса, которая выполняет предсказание посредством использования параллакса между видеоизображениями, причем способ содержит этап установления числа параметров параллакса для выбора и установления числа параметров в качестве данных параллакса, используемых для компенсации параллакса для каждого опорного изображения; этап кодирования данных о числе параметров параллакса для кодирования данных о числе параметров, которое устанавливается на этапе установления числа параметров параллакса; и этап кодирования данных параллакса для кодирования данных параллакса, соответствующих числу параметров; причем число параметров, установленных на этапе установления числа параметров параллакса, включает в себя первое число параметров, которое указывает режим, в котором генерируется каждый параллакс для опорного изображения, назначенного каждой камере, посредством которой получается опорное изображение, используя предварительно определенные данные параллакса; и второе число параметров, которое указывает режим, который использует данные параллакса для указания каждого параллакса для опорного изображения, назначенного каждой камере, посредством которой получается опорное изображение; когда выбирается первое число параметров, предсказываемое изображение генерируется на основе сгенерированного параллакса для опорного изображения, назначенного каждой камере, и значений пикселов относящихся опорных изображений, и на этапе кодирования данных параллакса кодируются только предварительно определенные данные параллакса; и когда выбирается второе число параметров, предсказываемое изображение генерируется на основе данных параллакса для указания каждого параллакса и значений пикселов относящихся опорных изображений, и на этапе кодирования данных параллакса кодируются данные параллакса для указания каждого параллакса.
2. Способ кодирования видео по п.1, дополнительно содержащий этап установления опорного изображения для выбора и определения каждого опорного изображения, используемого при компенсации параллакса; и этап кодирования индекса опорного изображения для выбора одного из множества индексов опорного изображения, каждому из которых заранее назначается опорное изображение, используемое при компенсации параллакса, причем выбранный индекс опорного изображения соответствует опорному изображению, определенному на этапе установления опорного изображения, и кодирования выбранного индекса опорного изображения.
3. Способ кодирования видео по п.1, в котором предварительно определенные данные параллакса, используемые, когда выбирается первое число параметров, представляют собой данные параллакса в отношении предварительно определенной камеры.
4. Способ кодирования видео по п.1, в котором данные параллакса, используемые, когда выбирается второе число параметров, представляют собой данные, использующие двумерный вектор.
5. Способ кодирования видео по п.1, в котором, когда используется множество опорных изображений, два и более чисел выбираются в качестве числа параметров.
6. Способ декодирования видео для декодирования видеоизображений в качестве отдельного видеоизображения посредством использования компенсации параллакса, которая выполняет предсказание посредством использования параллакса между видеоизображениями, причем способ содержит этап декодирования данных о числе параметров параллакса для декодирования данных о числе параметров параллакса, которые включены в кодированные данные и указывают число параметров в качестве данных параллакса для каждого опорного изображения; этап декодирования данных параллакса для декодирования данных параллакса, которые включены в кодированные данные и соответствуют числу параметров; и этап компенсации параллакса для выполнения компенсации параллакса посредством использования декодированных данных параллакса; причем указанное число параметров включает в себя первое число параметров, которое указывает режим, в котором генерируется каждый параллакс для опорного изображения, назначенного каждой камере, посредством которой получается опорное изображение, используя предварительно определенные данные параллакса; и второе число параметров, которое указывает режим, который использует данные параллакса для указания каждого параллакса для опорного изображения, назначенного каждой камере, посредством которой получается опорное изображение; когда выбирается первое число параметров, тогда на этапе декодирования данных параллакса декодируются только предварительно определенные данные параллакса, и предсказываемое изображение генерируется на основе сгенерированного параллакса для опорного изображения, назначенного каждой камере, и значений пикселов относящихся опорных изображений; и когда выбирается второе число параметров, тогда на этапе декодирования данных параллакса декодируются данные параллакса для указания каждого параллакса, и предсказываемое изображение генерируется на основе данных параллакса для указания каждого параллакса и значений пикселов относящихся опорных изображений.
7. Способ декодирования видео по п.6, дополнительно содержащий этап декодирования индекса опорного изображения для декодирования индекса опорного изображения, включенного в кодированные данные, причем индекс опорного изображения представляет собой один из индексов опорного изображения, каждому из которых заранее назначается опорное изображение, используемое при компенсации параллакса, причем на этапе компенсации параллакса компенсация параллакса выполняется посредством использования опорного изображения, указанного декодированным индексом опорного изображения.
8. Способ декодирования видео по п.6, в котором предварительно определенные данные параллакса, используемые, когда выбирается первое число параметров, представляют собой данные параллакса в отношении предварительно определенной камеры.
9. Способ декодирования видео по п.6, в котором данные параллакса, используемые, когда выбирается второе число параметров, представляют собой данные, использующие двумерный вектор.
10. Способ декодирования видео по п.6, в котором, когда используется множество опорных изображений, имеется два или более чисел в качестве указанного числа параметров.
11. Устройство кодирования видео для кодирования видеоизображений в качестве отдельного видеоизображения посредством использования компенсации параллакса, которая выполняет предсказание посредством использования параллакса между видеоизображениями, причем устройство содержит модуль установления числа параметров параллакса для выбора и установления числа параметров в качестве данных параллакса, используемых для компенсации параллакса для каждого опорного изображения; модуль кодирования данных о числе параметров параллакса для кодирования данных о числе параметров, которые устанавливаются модулем установления числа параметров параллакса; и модуль кодирования данных параллакса для кодирования данных параллакса, соответствующих числу параметров; причем число параметров, которое устанавливается модулем установления числа параметров параллакса, включает в себя первое число параметров, которое указывает режим, в котором генерируется каждый параллакс для опорного изображения, назначенного каждой камере, посредством которой получается опорное изображение, используя предварительно определенные данные параллакса; и второе число параметров, которое указывает режим, который использует данные параллакса для указания каждого параллакса для опорного изображения, назначенного каждой камере, посредством которой получается опорное изображение; когда выбирается первое число параметров, предсказываемое изображение генерируется на основе сгенерированного параллакса для опорного изображения, назначенного каждой камере, и значений пикселов относящихся опорных изображений, и модуль кодирования данных параллакса кодирует только предварительно определенные данные параллакса; и когда выбирается второе число параметров, предсказываемое изображение генерируется на основе данных параллакса для указания каждого параллакса и значений пикселов относящихся опорных изображений, и модуль кодирования данных параллакса кодирует данные параллакса для указания каждого параллакса.
12. Устройство кодирования видео по п.11, в котором предварительно определенные данные параллакса, используемые, когда выбирается первое число параметров, представляют собой данные параллакса в отношении предварительно определенной камеры.
13. Устройство кодирования видео по п.11, в котором данные параллакса, используемые, когда выбирается второе число параметров, представляют собой данные, использующие двумерный вектор.
14. Устройство кодирования видео по п.11, в котором, когда используется множество опорных изображений, два и более чисел выбираются в качестве числа параметров.
15. Устройство декодирования видео для декодирования видеоизображений в качестве отдельного видеоизображения посредством использования компенсации параллакса, которая выполняет предсказание посредством использования параллакса между видеоизображениями, причем устройство содержит модуль декодирования данных о числе параметров параллакса для декодирования данных о числе параметров параллакса, которые включены в кодированные данные и указывают число параметров в качестве данных параллакса для каждого опорного изображения; модуль декодирования данных параллакса для декодирования данных параллакса, которые включены в кодированные данные и соответствуют числу параметров; и модуль компенсации параллакса для выполнения компенсации параллакса посредством использования декодированных данных параллакса; причем указанное число параметров включает в себя первое число параметров, которое указывает режим, в котором генерируется каждый параллакс для опорного изображения, назначенного каждой камере, посредством которой получается опорное изображение, используя предварительно определенные данные параллакса; и второе число параметров, которое указывает режим, который использует данные параллакса для указания каждого параллакса для опорного изображения, назначенного каждой камере, посредством которой получается опорное изображение; когда выбирается первое число параметров, тогда модуль декодирования данных параллакса декодирует только предварительно определенные данные параллакса, и предсказываемое изображение генерируется на основе сгенерированного параллакса для опорного изображения, назначенного каждой камере, и значений пикселов относящихся опорных изображений; и когда выбирается второе число параметров, тогда модуль декодирования данных параллакса декодирует данные параллакса для указания каждого параллакса, и предсказываемое изображение генерируется на основе данных параллакса для указания каждого параллакса и значений пикселов относящихся опорных изображений.
16. Устройство декодирования видео по п.15, в котором предварительно определенные данные параллакса, используемые, когда выбирается первое число параметров, представляют собой данные параллакса в отношении предварительно определенной камеры.
17. Устройство декодирования видео по п.15, в котором данные параллакса, используемые, когда выбирается второе число параметров, представляют собой данные, использующие двумерный вектор.
18. Устройство декодирования видео по п.15, в котором, когда используется множество опорных изображений, имеется два или более чисел в качестве указанного числа параметров.
19. Считываемый компьютером носитель данных, который хранит программу кодирования видео для исполнения компьютером способа кодирования видео по п.1.
20. Считываемый компьютером носитель данных, который хранит программу декодирования видео для исполнения компьютером способа декодирования видео по п.6.
RU2008125846A 2006-01-05 2006-12-29 Способ кодирования и способ декодирования видео, устройство, программа и носители данных для хранения программ RU2374786C1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006000394 2006-01-05
JP2006-000394 2006-01-05

Publications (1)

Publication Number Publication Date
RU2374786C1 true RU2374786C1 (ru) 2009-11-27

Family

ID=38228291

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2008125846A RU2374786C1 (ru) 2006-01-05 2006-12-29 Способ кодирования и способ декодирования видео, устройство, программа и носители данных для хранения программ

Country Status (10)

Country Link
US (1) US8548064B2 (ru)
EP (1) EP1971154A4 (ru)
JP (1) JP5234586B2 (ru)
KR (1) KR100968920B1 (ru)
CN (1) CN101346998B (ru)
BR (1) BRPI0620645B8 (ru)
CA (2) CA2633637C (ru)
RU (1) RU2374786C1 (ru)
TW (1) TW200737990A (ru)
WO (1) WO2007077942A1 (ru)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2543552C2 (ru) * 2010-10-01 2015-03-10 Квэлкомм Инкорпорейтед Фильтр с внутренним сглаживанием для кодирования видео
RU2578375C2 (ru) * 2011-06-30 2016-03-27 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
RU2589347C2 (ru) * 2011-07-28 2016-07-10 Квэлкомм Инкорпорейтед Многоракурсное видеокодирование
RU2595592C2 (ru) * 2010-12-28 2016-08-27 Сан Пэтент Траст Способ декодирования движущегося изображения, способ кодирования движущегося изображения, устройство декодирования движущегося изображения, устройство кодирования движущегося изображения и устройство кодирования и декодирования движущегося изображения
RU2601134C2 (ru) * 2010-03-17 2016-10-27 Нтт Докомо, Инк. Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
US9491455B2 (en) 2011-08-01 2016-11-08 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
RU2603531C2 (ru) * 2012-04-13 2016-11-27 ДжиИ Видео Компрешн, ЭлЭлСи Кодирование изображений с малой задержкой
RU2610291C2 (ru) * 2012-01-20 2017-02-08 ДжиИ Видео Компрешн, ЭлЭлСи Принцип кодирования, делающий возможной параллельную обработку, транспортный демультиплексор и битовый поток видео
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
RU2639679C2 (ru) * 2012-09-26 2017-12-21 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения
US9973781B2 (en) 2012-06-29 2018-05-15 Ge Video Compression, Llc Video data stream concept
RU2773795C2 (ru) * 2012-01-20 2022-06-09 ДжиИ Видео Компрешн, ЭлЭлСи Принцип кодирования, делающий возможной параллельную обработку, транспортный демультиплексор и битовый поток видео

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4999854B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101031624B1 (ko) * 2006-09-20 2011-04-27 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체
EP2277318B1 (fr) * 2008-04-15 2020-11-04 Orange Codage et decodage d'une image ou d'une sequence d'images decoupees selon des partitions de pixels de forme lineaire
CN102656891B (zh) * 2009-10-20 2015-11-18 瑞典爱立信有限公司 用于多视野视频压缩的方法和装置
JP4927928B2 (ja) * 2009-11-30 2012-05-09 パナソニック株式会社 多視点動画像復号装置及び多視点動画像復号方法
JP4837772B2 (ja) * 2009-12-15 2011-12-14 パナソニック株式会社 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路
US8284307B1 (en) * 2010-11-01 2012-10-09 Marseille Networks, Inc. Method for processing digital video fields
JPWO2012131895A1 (ja) * 2011-03-29 2014-07-24 株式会社東芝 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
CN105187834B (zh) * 2011-06-17 2017-06-27 Jvc建伍株式会社 图像解码装置、图像解码方法及接收装置、接收方法
WO2012176405A1 (ja) * 2011-06-20 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
CN103828359B (zh) 2011-09-29 2016-06-22 杜比实验室特许公司 用于产生场景的视图的方法、编码***以及解码***
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JPWO2013136365A1 (ja) * 2012-03-14 2015-07-30 株式会社東芝 多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法
WO2013136365A1 (ja) * 2012-03-14 2013-09-19 株式会社 東芝 多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
WO2014168238A1 (ja) * 2013-04-12 2014-10-16 日本電信電話株式会社 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム
CN105247860B (zh) * 2013-06-05 2017-12-19 索尼公司 图像处理设备及图像处理方法
EP3080991B1 (en) * 2013-12-10 2020-02-12 Canon Kabushiki Kaisha Improved palette mode in hevc
JP6465890B2 (ja) 2013-12-10 2019-02-06 キヤノン株式会社 画素ブロックの符号化または復号の方法および装置
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
EP3610647B1 (en) 2017-04-26 2021-12-08 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a panoramic video signal
WO2018231087A1 (en) 2017-06-14 2018-12-20 Huawei Technologies Co., Ltd. Intra-prediction for video coding using perspective information
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1665545A1 (ru) 1988-07-21 1991-07-23 Винницкий политехнический институт Телевизионное устройство селекции изображений объектов
RU2030119C1 (ru) 1991-04-19 1995-02-27 Смирнов Александр Иванович Устройство формирования стереотелевизионного изображения подвижного объекта
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
JPH09261653A (ja) 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP4013286B2 (ja) 1997-01-22 2007-11-28 松下電器産業株式会社 画像符号化装置と画像復号化装置
JPH11239351A (ja) 1998-02-23 1999-08-31 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体
JP3519594B2 (ja) 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
US6519358B1 (en) 1998-10-07 2003-02-11 Sony Corporation Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
JP4608136B2 (ja) 2001-06-22 2011-01-05 オリンパス株式会社 動きベクトル及び視差ベクトル検出装置
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
JP4213646B2 (ja) 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP2006000394A (ja) 2004-06-17 2006-01-05 Tokai Kiki Kogyo Co Ltd 畳側面の縫着方法及び畳用縫着装置
KR100679740B1 (ko) 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP4363295B2 (ja) * 2004-10-01 2009-11-11 オムロン株式会社 ステレオ画像による平面推定方法
KR100738867B1 (ko) * 2005-04-13 2007-07-12 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
НАТА К. et al. Tashiten Gazo no Ко Noritsu Fugoka. The transactions of the Institute of electronics, information and communication engineers. Vol.J82-D-II, no.11, November 1999, c.1921-1929. *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2601134C2 (ru) * 2010-03-17 2016-10-27 Нтт Докомо, Инк. Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
RU2628260C1 (ru) * 2010-03-17 2017-08-15 Нтт Докомо, Инк. Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
RU2543552C2 (ru) * 2010-10-01 2015-03-10 Квэлкомм Инкорпорейтед Фильтр с внутренним сглаживанием для кодирования видео
RU2595592C2 (ru) * 2010-12-28 2016-08-27 Сан Пэтент Траст Способ декодирования движущегося изображения, способ кодирования движущегося изображения, устройство декодирования движущегося изображения, устройство кодирования движущегося изображения и устройство кодирования и декодирования движущегося изображения
RU2578375C2 (ru) * 2011-06-30 2016-03-27 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
RU2600529C2 (ru) * 2011-06-30 2016-10-20 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
RU2602794C2 (ru) * 2011-06-30 2016-11-20 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
RU2589347C2 (ru) * 2011-07-28 2016-07-10 Квэлкомм Инкорпорейтед Многоракурсное видеокодирование
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9491455B2 (en) 2011-08-01 2016-11-08 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
US10880577B2 (en) 2012-01-20 2020-12-29 Ge Video Compression, Llc Coding concept allowing parallel processing, transport demultiplexer and video bitstream
US10873766B2 (en) 2012-01-20 2020-12-22 Ge Video Compression, Llc Coding concept allowing parallel processing, transport demultiplexer and video bitstream
US11997319B2 (en) 2012-01-20 2024-05-28 Ge Video Compression, Llc Coding concept allowing parallel processing, transport demultiplexer and video bitstream
US9930368B2 (en) 2012-01-20 2018-03-27 Ge Video Compression, Llc Coding concept allowing parallel processing, transport demultiplexer and video bitstream
RU2773795C2 (ru) * 2012-01-20 2022-06-09 ДжиИ Видео Компрешн, ЭлЭлСи Принцип кодирования, делающий возможной параллельную обработку, транспортный демультиплексор и битовый поток видео
US10887625B2 (en) 2012-01-20 2021-01-05 Ge Video Compression, Llc Coding concept allowing parallel processing, transport demultiplexer and video bitstream
US10880578B2 (en) 2012-01-20 2020-12-29 Ge Video Compression, Llc Coding concept allowing parallel processing, transport demultiplexer and video bitstream
RU2610291C2 (ru) * 2012-01-20 2017-02-08 ДжиИ Видео Компрешн, ЭлЭлСи Принцип кодирования, делающий возможной параллельную обработку, транспортный демультиплексор и битовый поток видео
RU2679551C2 (ru) * 2012-01-20 2019-02-11 ДжиИ Видео Компрешн, ЭлЭлСи Принцип кодирования, делающий возможной параллельную обработку, транспортный демультиплексор и битовый поток видео
US10880579B2 (en) 2012-01-20 2020-12-29 Ge Video Compression, Llc Coding concept allowing parallel processing, transport demultiplexer and video bitstream
US20190045201A1 (en) 2012-04-13 2019-02-07 Ge Video Compression, Llc Low delay picture coding
US11122278B2 (en) 2012-04-13 2021-09-14 Ge Video Compression, Llc Low delay picture coding
US11876985B2 (en) 2012-04-13 2024-01-16 Ge Video Compression, Llc Scalable data stream and network entity
US10674164B2 (en) 2012-04-13 2020-06-02 Ge Video Compression, Llc Low delay picture coding
US11343517B2 (en) 2012-04-13 2022-05-24 Ge Video Compression, Llc Low delay picture coding
US10123006B2 (en) 2012-04-13 2018-11-06 Ge Video Compression, Llc Low delay picture coding
RU2603531C2 (ru) * 2012-04-13 2016-11-27 ДжиИ Видео Компрешн, ЭлЭлСи Кодирование изображений с малой задержкой
US10045017B2 (en) 2012-04-13 2018-08-07 Ge Video Compression, Llc Scalable data stream and network entity
US11259034B2 (en) 2012-04-13 2022-02-22 Ge Video Compression, Llc Scalable data stream and network entity
US10694198B2 (en) 2012-04-13 2020-06-23 Ge Video Compression, Llc Scalable data stream and network entity
US11025958B2 (en) 2012-06-29 2021-06-01 Ge Video Compression, Llc Video data stream concept
US10484716B2 (en) 2012-06-29 2019-11-19 Ge Video Compression, Llc Video data stream concept
US9973781B2 (en) 2012-06-29 2018-05-15 Ge Video Compression, Llc Video data stream concept
US11856229B2 (en) 2012-06-29 2023-12-26 Ge Video Compression, Llc Video data stream concept
US10743030B2 (en) 2012-06-29 2020-08-11 Ge Video Compression, Llc Video data stream concept
US11956472B2 (en) 2012-06-29 2024-04-09 Ge Video Compression, Llc Video data stream concept
RU2639679C2 (ru) * 2012-09-26 2017-12-21 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения

Also Published As

Publication number Publication date
EP1971154A4 (en) 2010-10-27
TWI335185B (ru) 2010-12-21
KR100968920B1 (ko) 2010-07-14
JP5234586B2 (ja) 2013-07-10
BRPI0620645B8 (pt) 2022-06-14
CA2633637C (en) 2014-06-17
KR20080076974A (ko) 2008-08-20
US8548064B2 (en) 2013-10-01
TW200737990A (en) 2007-10-01
CA2845591A1 (en) 2007-07-12
CA2633637A1 (en) 2007-07-12
WO2007077942A1 (ja) 2007-07-12
CN101346998A (zh) 2009-01-14
CN101346998B (zh) 2012-01-11
CA2845591C (en) 2015-12-08
JPWO2007077942A1 (ja) 2009-06-11
BRPI0620645A2 (pt) 2011-11-16
BRPI0620645B1 (pt) 2020-09-15
US20090028248A1 (en) 2009-01-29
EP1971154A1 (en) 2008-09-17

Similar Documents

Publication Publication Date Title
RU2374786C1 (ru) Способ кодирования и способ декодирования видео, устройство, программа и носители данных для хранения программ
KR100977255B1 (ko) 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체
US8385628B2 (en) Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
EP1835747B1 (en) Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the program
CA2663672C (en) Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
KR20090084829A (ko) 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체
CN101690234A (zh) 视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质
KR101550680B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치 및 그 프로그램