RU2329616C2 - Способ управления расходом битов и устройство для нормализации качества визуального изображения - Google Patents
Способ управления расходом битов и устройство для нормализации качества визуального изображения Download PDFInfo
- Publication number
- RU2329616C2 RU2329616C2 RU2006117352/09A RU2006117352A RU2329616C2 RU 2329616 C2 RU2329616 C2 RU 2329616C2 RU 2006117352/09 A RU2006117352/09 A RU 2006117352/09A RU 2006117352 A RU2006117352 A RU 2006117352A RU 2329616 C2 RU2329616 C2 RU 2329616C2
- Authority
- RU
- Russia
- Prior art keywords
- bits
- bit rate
- bit
- function
- visual image
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000006872 improvement Effects 0.000 title description 2
- 230000005540 biological transmission Effects 0.000 title 1
- 238000004590 computer program Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000009499 grossing Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 claims 1
- 239000006185 dispersion Substances 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Изобретение относится к кодированию видеоинформации. Технический результат заключается в снижении дисперсии пикового отношения уровня сигнала к шуму в основанном на вейвлетах масштабируемом видеокодировании. Способ содержит определение количества битов для каждого из множества блоков кодирования из потока битов, генерируемого посредством кодирования исходной движущейся картинки, чтобы обеспечить однородное качество визуального изображения движущейся картинки относительно ее блоков кодирования, и извлечение потока битов, имеющего это количество битов, посредством отбрасывания части потока битов на основании упомянутого определенного количества битов. 4 н. и 14 з.п. ф-лы, 10 ил., 2 табл.
Description
Область техники, к которой относится изобретение
Настоящее изобретение относится к кодированию видеоинформации. Более конкретно настоящее изобретение относится к способу и устройству для управления расходом битов (битрейтом) при помощи информации, доступной для устройства предварительного декодирования, чтобы снизить до минимума дисперсию пикового отношения уровня сигнала к шуму (PSNR) в основанном на вейвлетах масштабируемом видеокодировании, используя устройство предварительного декодирования.
Предшествующий уровень техники
Масштабируемое видеокодирование (обеспечивающее возможность частичного декодирования при различных разрешающих способностях, уровня качества и временных уровнях из единого сжатого потока битов) широко считается перспективной технологией для эффективного представления и передачи сигналов в неоднородных средах. Хотя стандарт масштабируемости качества (FGS) MPEG-4 (Экспертной группы по вопросам движущегося изображения) установлен как стандарт видеокодирования, масштабируемого по отношению сигнал-шум (SNR) и времени, множество схем основанного на вейвлетах масштабируемого видеокодирования уже демонстрировали свой потенциал в плане масштабируемости по SNR, пространству и времени. Детализированная информация относительно FGS MPEG-4 может быть получена из доклада, опубликованного W.Li, "Overview of fine granularity scalability in MPEG-4 video standard", (IEEE Trans. Circuits Syst. Video Technol, том.11, стр.301-317, март 2001 г.).
Фиг.1 представляет блок-схему, иллюстрирующую полную конфигурацию видеокодека, основанного на обычном подходе оптимизации расхода в зависимости от искажения (R-D). Видеокодек 100 включает в себя модуль 130 управления расходом, который выбирает оптимальный шаг квантования или количество оптимальных битов для каждого блока кодирования, кодер 110, который генерирует поток 40 битов, полоса пропускания которого ограничена, и декодер 120, который восстанавливает последовательности 20 изображений из потока 40 битов ограниченной полосы пропускания. В предшествующем уровне техники управление расходом выполняется только в кодере 110.
Фиг.2 представляет блок-схему, иллюстрирующую рабочую конфигурацию основанного на вейвлетах масштабируемого видеокодека согласно предшествующему уровню техники.
Хотя алгоритмы управления расходом в общем улучшают функциональные характеристики R-D, все известные способы используют информацию о погрешности предсказания, которая используется только на стадии кодирования, и это подразумевает, что управление расходом должно быть выполнено в кодере 210. Для большинства прикладных программ, для которых требуются полностью масштабируемые видеокодеры, кодер 210 должен генерировать достаточно большой поток 35 битов для того, чтобы устройство предварительного декодирования или транскодер 220 извлекал надлежащее количество битов 40 из потока битов, принимая во внимание требования к качеству, временные и пространственные требования. Условия для извлечения соответствующей величины потока битов, согласующиеся с требованиями к качеству, временными и пространственными требованиями, упоминаются как условия масштабируемости. Тогда декодер 230 может восстанавливать видеопоследовательность 20 из усеченного потока 40 битов.
Управление расходом должно выполняться вместо кодера в устройстве 220 предварительного декодирования, потому что фактический битрейт определяется в устройстве 220 предварительного декодирования. Были проведены некоторые исследования относительно алгоритмов управления расходом в устройстве 220 предварительного декодирования, и большая часть исследований была сконцентрирована на схеме постоянного расхода битов (CBR). Однако г-н Хсианг (Mr. Hsiang) предлагает схему изменяемого расхода битов (VBR) в его диссертации доктора философии, "Highly scalable subband/wavelet image and video coding" (Rensselaer Polytechnic Institute, Нью-Йорк, январь 2002 г.), которую можно также использовать в устройстве предварительного декодирования (в дальнейшем упоминаемую как "схема Хсианга"). В этой схеме вейвлетные битовые плоскости элементарной волны, используемые в устройстве предварительного декодирования, идентичны по количеству, с целью улучшения функциональных характеристик обычной схемы CBR.
Ниже схема Хсианга будет подробно описана.
В последующем описании передаваемая видеоинформация может быть разбита на множество групп картинок (GOP), где каждая GOP имеет множество кадров. Это может упростить алгоритм выделения расходов, поскольку каждая GOP закодирована отдельно. Таким образом, каждая GOP является независимой от других, однако, каждый из кадров в GOP сильно связан с другими. Если Вт представляет суммарные биты для всей видеопоследовательности, которая состоит из N GOP, проблема выделения расходов может быть сформулирована как
где R(i) - выделенные биты для i-й GOP, a D(i) - абсолютная разность между исходными и декодированными кадрами. Фундаментальный аспект способа VBR заключается в выделении большего количества битов относительно сложным сценам и меньшего количества битов остальным, чтобы достигать лучших функциональных характеристик R-D или качества визуального изображения. Если мы определяем сложность сцены как степень трудности для кодирования данного кадра изображения, количество выделенных битов для GOP, с постоянным количеством используемых вейвлетных битовых плоскостей, является сильно в высокой степени коррелированным с относительной сложностью сцены среди групп GOP. Из этого факта вытекает, что схема Хсианга предлагает, чтобы схема VBR уравнивала количество битовых плоскостей, используемых для всех кадров.
Если b(i, j) - количество закодированных битов для i-й GOP и j-й битовой плоскости, a B(i, k) представляет количество накопленных закодированных битов, использующих k битовых плоскостей, то B(i, k) определяется как
Если количество используемых битовых плоскостей является постоянной величиной К для всех кадров, то B(i, К) дает некоторую статистику сложности сцены для i-ro кадра с общим количеством выделенных битов, А(К), задаваемых формулой
где N - общее количество GOP. Если К* представляет целое число битовых плоскостей, общее количество выделенных битов которых близко к ВТ, окончательные выделенные биты для i-й GOP, R0(i), можно задавать выражением
где
При использовании метода линейной интерполяции может оказаться возможным получить более точную статистику сложности сцены, делая суммарно количество закодированных битов равными ВТ.
Раскрытие сущности изобретения
Техническая проблема
Основанное на вейвлетах масштабируемое видеокодирование по существу использует свойство внедрения, и таким образом, оно является подходящим для использования в алгоритме изменяемого расхода битов (VBR). В этом отношении, хотя схема Хсианга проста и эффективна, необходимо ее дальнейшее усовершенствование, чтобы снизить разброс значений PSNR, поскольку она концентрируется просто на снижении до минимума меры объективных погрешностей. Даже если среднее PSNR является достаточно высоким, в кадрах с низким PSNR могут наблюдаться заметные визуальные артефакты, если дисперсия PSNR высока. Поэтому полезно иметь схему выделения битов, которая снижает до минимума дисперсию PSNR.
Техническое решение
Ввиду вышеизложенного обеспечен способ выделения битов с использованием информации, доступной на стороне устройства предварительного декодирования, чтобы обеспечить возможность стороне декодера иметь оптимальное качество.
Также обеспечен способ выделения изменяемых расходов битов, чтобы снизить до минимума дисперсию PSNR в основанном на вейвлетах масштабируемом видеокодировании.
Согласно аспекту настоящего изобретения обеспечен способ управления расходом битов визуального изображения движущейся картинки, содержащий первый этап определения количества битов для каждого блока кодирования из потока битов, генерируемого посредством кодирования исходной движущейся картинки, чтобы обеспечить однородное качество визуального изображения движущейся картинки относительно ее блоков кодирования; и второй этап извлечения потока битов, имеющего требующееся количество битов, посредством отбрасывания части потока битов на основании упомянутого определенного количества битов.
Согласно другому аспекту настоящего изобретения обеспечено устройство управления расходом битов визуального изображения движущейся картинки, содержащее первое средство для определения количества битов для каждого блока кодирования из потока битов, генерируемого посредством кодирования исходной движущейся картинки, чтобы сделать качество визуального изображения движущейся картинки однородным относительно ее блоков кодирования; и второе средство для извлечения потока битов, имеющего требующееся количество битов, посредством отбрасывания части потока битов на основании упомянутого определенного количества битов.
Согласно еще одному аспекту настоящего изобретения обеспечен машиночитаемый носитель записи, на котором записан код компьютерной программы для обеспечения на компьютере способа согласно настоящему изобретению.
Перечень чертежей
Вышеупомянутые и другие цели, признаки и преимущества настоящего изобретения станут очевидными из последующего подробного описания примерных вариантов осуществления, приведенного в связи с прилагаемыми чертежами, на которых:
фиг.1 - блок-схема, иллюстрирующая полную конфигурацию видеокодека, основанного на подходе оптимизации битрейта в зависимости от искажения;
фиг.2 - блок-схема, иллюстрирующая рабочую конфигурацию основанного на вейвлетах масштабируемого видеокодека согласно предшествующему уровню техники;
фиг.3 - блок-схема, иллюстрирующая рабочую конфигурацию основанного на вейвлетах масштабируемого видеокодека согласно примерному варианту осуществления настоящего изобретения;
фиг.4 - график, иллюстрирующий сравнение D(i)/D и B(i, К*) в закодированной последовательности QCIF (вариант общего формата обмена сжатыми видеоданными с вчетверо уменьшенным разрешением) Сапоа;
фиг.5 - график, иллюстрирующий битрейт, выделенный для каждой GOP в последовательности QCIF Football;
фиг.6 - график, иллюстрирующий среднее PSNR для каждой GOP в последовательности QCIF Football;
фиг.7 и 8 - примеры 92-го кадра последовательности QCIF Foreman, закодированной для VBR-D и VBR-N соответственно; и
фиг.9 и 10 - примеры 106-го кадра последовательности QCIF Foreman, закодированной для VBR-D и VBR-N соответственно.
Вариант осуществления изобретения
В дальнейшем будет подробно описан примерный вариант осуществления настоящего изобретения со ссылкой на прилагаемые чертежи.
Фиг.3 представляет блок-схему, иллюстрирующую рабочую конфигурацию основанного на вейвлетах масштабируемого видеокодека согласно примерному варианту осуществления настоящего изобретения.
Масштабируемый видеокодек 300 включает в себя кодер 310, который кодирует исходную движущуюся картинку 10, чтобы генерировать достаточно большой поток 35 битов; модуль 340 управления расходом, который выделяет оптимальное количество битов для каждого блока кодирования, основываясь на битрейте 30, требуемом потребителем; устройство 320 предварительного декодирования, которое принимает поток 35 битов и извлекает поток 40 битов, имеющий соответствующее количество битов, посредством отбрасывания части принимаемого потока 35 битов на основании оптимального количества битов, выбираемых в модуле 340 управления расходом; и декодер 330, который декодирует последовательности изображений движущейся картинки из извлеченного потока 40 битов, чтобы восстанавливать исходную движущуюся картинку.
В частности, настоящее изобретение сосредоточено на операции, выполняемой в модуле 340 управления расходом. Модуль 340 управления расходом содержит четыре этапа и исполняет этап задания функции расхода битов, доступной для использования в устройстве 320 предварительного декодирования, посредством использования распределения битов и функции искажения с постоянным количеством битовых плоскостей, этап предварительного суммирования расхода битов посредством модифицирования функции расхода битов, чтобы таким образом получать однородное качество визуального изображения, этап аппроксимирования функции искажения с использованием распределения битов, для определения функции искажения, и этап нормализации модифицированной функции расхода битов, чтобы обеспечить общие выделенные расходы битов равными целевому расходу битов. Поскольку оцениваемое качество визуального изображения картинки в общем основано на PSNR, PSNR также используется в настоящем изобретении в качестве критерия для оценки качества. Кроме того, информация о среднем абсолютном распределении (MAD), используемая в известном кодере, заменена распределением битов постоянного количества битовых плоскостей в качестве функции сложности сцены.
Теперь будет описан этап задания функции расхода битов, доступной для использования в устройстве предварительного декодирования, посредством использования распределения битов и функции искажения с постоянным количеством битовых плоскостей. Подобно формуле 6, предположим, что исходная статистика подчиняется распределению Лапласа.
где α - константа.
Если в качестве меры искажения используется другая функция, то для функции искажения расхода имеется решение в аналитическом виде, как получено в формуле 7. D(i) обозначает функцию искажения, указывая различие между исходным изображением и окончательным изображением после разуплотнения.
Функцию R-D можно дополнительно модифицировать, вводя два новых параметра: MAD и нетекстурные служебные данные, формула 8.
В формуле 8 H(i) обозначает биты, используемые для информации заголовка и векторов движения, a M(i) обозначает MAD, вычисленное с использованием остатка, в отношении которого выполнена компенсация движения, для компонента яркости. MAD включено в функцию R-D, чтобы учитывать сложность сцены, поскольку должно использоваться большее количество битов для относительно сложных кадров и меньшее количество битов для других кадров при одном и том же ограничении целевого расхода битов.
Хотя в обычной схеме VBR используется B(i, К*) в качестве выделенных битов, настоящее изобретение использует B(i, К*) для замены M(i), поскольку B(i, К*) в высокой степени коррелировано со сложностью сцены для i-й GOP. Заменяя M(i) на B(i, К*), получим следующее
Для простоты обозначений нетекстурные служебные данные, H(i), в формуле 9 и остальной части текста этого описания не рассматриваются, поскольку это является тривиальной проблемой. В предварительных экспериментах, выполненных изобретателями, было показано, что при выборе оптимального значения α эта замена является приемлемой для многих комбинаций битрейтов, разрешающей способности и последовательностей.
Этап предварительного суммирования расхода битов получает однородное качество визуального изображения посредством модифицирования функции расхода битов, и теперь он будет описан.
Если D является средним значением D(i) для всех GOP, то прибавление ln(D(i)/D) к обеим сторонам формулы 9 дает
где
Поскольку правая сторона формулы 10 представляет собой постоянную величину, из этого следует, что выделение R′(i) битов для i-й GOP приводит к постоянному искажению. Для получения R′(i) следует вычислить R(i) и ln(D(i)/D), как показано в формуле 11. Однако это может быть трудной проблемой, поскольку в устройстве предварительного декодирования фактическое искажение D(i) не может быть определено.
Теперь будет описан этап аппроксимирования функции искажения при помощи распределения битов, чтобы определить функцию искажения.
Для решения вышеупомянутой проблемы начальное выделение R(i) битов сначала устанавливается равным R0(i), как описано выше, и D(i)/D оценивается с помощью некоторых аппроксимаций. В формуле 11 D(i)/D представляет собой отношение относительной величины искажения к среднему искажению. Поскольку относительная величина искажения увеличивается с увеличением сложности сцены, полагается, что D(i)/D может быть представлено в виде функции сложности сцены, B(i, К*), как представлено
где
и r - экспериментальная константа, используемая для компенсирования нелинейности между фактическим искажением и выделенными битами. Фиг.4 показывает график сравнения D(i)/D и B(i, К*)/В в последовательности QCIF Canoa, закодированной при 512 кбит/с со значением r=0,4. Как показано на фиг.4, D(i)/D может быть грубо смоделировано с помощью относительной сложности сцены, B(i, К*)r/В. Кроме того, всесторонние предварительные эксперименты показали, что значение r=0,4 является удовлетворительным почти для всех условий испытаний.
Подставляя формулу 12 в формулу 11, получим
Теперь будет описан этап нормализации модифицированной функции расхода битов с целью обеспечения того, чтобы суммарные выделенные расходы битов были равны целевому расходу битов.
Поскольку R′(i) модифицировано из R(i) без учета ограничения расхода битов, R′(i) должно быть нормализовано, чтобы удовлетворять необходимому условию целевого расхода битов. Простая нормализация дает окончательное уравнение, определенное как
где Rn(i) _ выделенные биты для i-й GOP, которые могут сглаживать искажение.
CBR указывает, что обычная схема для постоянного выделения расходов битов, VBR-D, показывает изменяемое выделение расходов в соответствии со схемой Хсианга, a VBR-N показывает изменяемое выделение расходов в соответствии с настоящим изобретением. Как показано в таблице 1, схема VBR-N явно превосходит по функциональным характеристикам схемы CBR QCIF Foreman и QCIF Canoa до 0,9 и 0,6 дБ соответственно благодаря эффективной реализации схемы VBR-N адаптивного способа выделения битов. Кроме того, все интервалы функциональных характеристик между VBR-D и VBR-N ограничены в пределах приблизительно 0,2 дБ для обеих последовательностей.
| Таблица 1 | |||
| Битрейт (кбит/с) | CBR | VBR-D | VBR-N |
| Foreman QCIF при 30 Гц | |||
| 64 | 27,57 | 27,98 | 27,80 |
| 128 | 32,30 | 32,93 | 32,71 |
| 256 | 36,40 | 37,05 | 36,90 |
| 384 | 38,91 | 39,40 | 39,31 |
| 512 | 40,73 | 41,21 | 41,17 |
| 768 | 43,63 | 43,97 | 43,91 |
| Canoa QCIF при 30 Гц | |||
| 64 | 23,43 | 23,59 | 23,54 |
| 128 | 26,34 | 26,48 | 26,41 |
| 256 | 29,26 | 29,42 | 29,40 |
| 384 | 31,39 | 31,53 | 31,50 |
| 512 | 33,27 | 33,44 | 33,40 |
| 768 | 36,31 | 36,48 | 36,46 |
Таблица 2 показывает стандартное отклонение значений PSNR с использованием CBR, VBR-D и VBR-N. Во-первых, эта таблица выявляет, что схемы VBR-D и VBR-N снижают стандартное отклонение PSNR больше, чем схема CBR. В стандартном отклонении PSNR, получаемого на каждый кадр, VBR-N снижает его на величину от 23 до 50,8% по сравнению с VBR-D, хотя это явно не показано. Поскольку VBR-N использует методику оптимизации, основанную на GOP, процент снижения становится очень большим, в стандартном отклонении PSNR, получаемого каждой GOP, так называемое стандартное отклонение среднего по GOP PSNR. Это демонстрирует, что схема VBR-N более эффективна в создании пологой кривой суммарного PSNR. Что касается таблицы 2, то в ней VBR-N снижает стандартное отклонение среднего по GOP PSNR на 26,1-89,7% по сравнению с VBR-D.
| Таблица 2 | ||||
| Битрейт (кбит/с) | CBR | VBR-D | VBR-N | 1-VBR-N/VBR-D(%) |
| Foreman QCIF при 30 Гц | ||||
| 64 | 1,93 | 1,51 | 0,73 | 51,7 |
| 128 | 2,44 | 1,92 | 1,00 | 47,7 |
| 256 | 2,33 | 1,69 | 0,48 | 71,3 |
| 384 | 2,06 | 1,34 | 0,26 | 80,9 |
| 512 | 1,89 | 1,19 | 0,25 | 79,4 |
| 768 | 1,61 | 0,97 | 0,32 | 67,5 |
| Canoa QCIF при 30 Гц | ||||
| 64 | 1,29 | 1,10 | 0,81 | 26,1 |
| 128 | 1,23 | 0,98 | 0,50 | 49,1 |
| 256 | 1,22 | 0,88 | 0,23 | 74,0 |
| 384 | 1,17 | 0,75 | 0,08 | 89,7 |
| 512 | 1,14 | 0,76 | 0,10 | 87,4 |
| 768 | 1, 12 | 0,69 | 0,21 | 69,2 |
Фиг.5 представляет график, иллюстрирующий битрейт, выделенный для каждой GOP в последовательности QCIF Football, a фиг.6 представляет график, иллюстрирующий среднее PSNR для каждой GOP в последовательности QCIF Football. QCIF Football закодирована при среднем битрейте 512 кбит/с. Кроме того, мы иллюстрируем усредненное по GOP PSNR вместо PSNR кадра, чтобы исследовать общую пологость кривой PSNR. На фиг.5 битрейты CBR почти постоянные, а битрейты -D и VBR-N сильно изменяются, поскольку они оптимизированы в соответствии с характеристиками сцены, которые сильно изменяются. С другой стороны, кривая усредненного по GOP PSNR для VBR-N является значительно более пологой, чем кривые для CBR и VBR-D.
Фиг.7, 8, 9 и 10 иллюстрируют несколько примеров кодирования последовательности QCIF Foreman.
Фиг.7 иллюстрирует 92-й кадр (PSNR=38,02), генерируемый VBR-D, а фиг.8 иллюстрирует 92-й кадр (PSNR=39,94), генерируемый VBR-N в той же самой позиции.
Как показано на этих фигурах, VBR-N значительно снижает помехи изображения. Это является естественным результатом, поскольку VBR-N может сглаживать кривую PSNR со слегка меньшим средним PSNR, таким образом, минимальное значение PSNR значительно увеличивается.
Фиг.9 иллюстрирует 106-й кадр (PSNR=44,05), генерируемый VBR-D, а фиг.10 иллюстрирует 106-й кадр (PSNR=44,02), генерируемый VBR-N.
Как показано на этих фигурах, хотя значение PSNR VBR-D выше, чем значение PSNR VBR-N, фактическое качество визуального изображения почти одинаковое, потому что оба значения PSNR являются достаточно высокими, чтобы делать артефакты кодирования незаметными. Это свойство очень полезно для субъективного качества визуального изображения, потому что качеством визуального изображения можно управлять с большим акцентом на восприятие посредством улучшения PSNR кадров низкого качества, принося в жертву PSNR кадров очень хорошего качества.
Промышленная применимость
Согласно настоящему изобретению стандартное отклонение PSNR может быть значительно снижено при поддержании фактически почти среднего PSNR. Это свойство очень полезно для субъективного качества визуального изображения, потому что качеством визуального изображения можно управлять с большим акцентом на восприятие посредством улучшения PSNR кадров низкого качества, принося в жертву PSNR кадров очень хорошего качества.
Согласно настоящему изобретению поскольку используется информация, доступная только на стороне устройства предварительного декодирования, устройство предварительного декодирования не нуждается ни в какой дополнительной информации.
Хотя настоящее изобретение было описано в связи с предпочтительным вариантом осуществления настоящего изобретения, специалистам в данной области техники будет очевидно, что в нем можно делать различные модификации и изменения, не выходя при этом за рамки объема и сущности данного изобретения. Поэтому должно быть понятно, что приведенный выше вариант осуществления является не ограничительным, а иллюстративным во всех аспектах. Объем настоящего изобретения определен скорее прилагаемой формулой изобретения, чем подробным описанием изобретения. Все модификации и изменения, полученные из объема, определяемого формулой изобретения и ее эквивалентами, должны рассматриваться как включенные в объем настоящего изобретения.
Claims (18)
1. Способ управления расходом битов визуального изображения движущейся картинки, содержащий
определение количества битов для каждого из множества блоков кодирования из потока битов, генерируемого посредством кодирования исходной движущейся картинки, чтобы обеспечить однородное качество визуального изображения движущейся картинки относительно ее блоков кодирования, и
извлечение потока битов, имеющего это количество битов, посредством отбрасывания части потока битов на основании упомянутого определенного количества битов.
2. Способ по п.1, в котором для измерения качества визуального изображения в качестве опорного уровня используется пиковое отношение сигнала к шуму (PSNR).
3. Способ по п.1, в котором поток битов, генерируемый кодером, соответствует схеме основанного на вейвлетах видеокодирования и модифицируется адаптивно к условию масштабируемости устройством предварительного декодирования.
4. Способ по п.2, в котором сглаживание опорного уровня измерения качества выполняется посредством увеличения количества битов, выделяемых для первого блока кодирования, и уменьшения количества битов, выделяемых для второго блока кодирования, и при этом первый блок кодирования имеет изображение более низкого качества, чем второй блок кодирования.
5. Способ по п.1, в котором определение количества битов включает в себя
задание функции скорости передачи в битах, доступной в устройстве предварительного декодирования, используя распределение битов и функцию искажения с постоянным количеством битовых плоскостей, и
установление расхода битов посредством модифицирования функции расхода битов, чтобы получить однородное качество визуального изображения.
6. Способ по п.5, в котором определение количества битов дополнительно включает в себя первоначальную аппроксимацию функции искажения, с использованием упомянутого распределения битов, для определения функции искажения с помощью информации, используемой в устройстве предварительного декодирования.
7. Способ по п.6, в котором определение количества битов дополнительно включает в себя нормализацию функции расхода битов посредством модифицирования функции расхода битов так, чтобы суммарный выделенный расход битов был равен целевому расходу битов.
8. Устройство управления расходом битов визуального изображения движущейся картинки, содержащее
первое средство для определения количества битов для каждого из множества блоков кодирования из потока битов, генерируемого посредством кодирования исходной движущейся картинки, чтобы сделать качество визуального изображения движущейся картинки однородным относительно ее блоков кодирования, и
второе средство для извлечения потока битов, имеющего это количество битов, посредством отбрасывания части потока битов на основании упомянутого определенного количества битов.
9. Устройство по п.8, в котором поток битов, создаваемый кодером, который соответствует схеме основанного на вейвлетах видеокодирования, модифицируется адаптивно к условию масштабируемости устройством предварительного декодирования.
10. Устройство по п.8, в котором первое средство включает в себя средство для задания функции расхода битов, доступной в устройстве предварительного декодирования, используя распределение битов и функцию искажения с постоянным количеством битовых плоскостей, и установления расхода битов посредством модифицирования функции расхода битов, чтобы получить однородное качество визуального изображения.
11. Устройство по п.10, в котором первое средство дополнительно включает в себя средство для первоначальной аппроксимации функции искажения, с использованием упомянутого распределения битов, для определения функции искажения с помощью информации, используемой в устройстве предварительного декодирования.
12. Устройство по п.10, в котором первое средство дополнительно включает в себя средство для нормализации функции расхода битов посредством модифицирования функции расхода битов так, чтобы суммарный выделенный расход битов равнялся целевому расходу битов.
13. Машиночитаемый носитель записи, на котором записан код компьютерной программы для обеспечения на компьютере способа управления расходом битов визуального изображения движущейся картинки, содержащего
определение количества битов для каждого из множества блоков кодирования из потока битов, генерируемого посредством кодирования исходной движущейся картинки, чтобы обеспечивать однородное качество визуального изображения движущейся картинки относительно ее блоков кодирования, и
извлечение потока битов, имеющего это количество битов, посредством отбрасывания части потока битов на основании упомянутого определенного количества битов.
14. Устройство управления расходом битов визуального изображения движущейся картинки, содержащее
модуль определения, определяющий количество битов для каждого из множества блоков кодирования из потока битов, генерируемого посредством кодирования исходной движущейся картинки, чтобы сделать качество визуального изображения движущейся картинки однородным относительно ее блоков кодирования, и
модуль извлечения, извлекающий поток битов, имеющий это количество битов, посредством отбрасывания части потока битов на основании упомянутого определенного количества битов.
15. Устройство по п.14, в котором поток битов, создаваемый кодером, соответствует схеме основанного на вейвлетах видеокодирования и модифицируется адаптивно к условию масштабируемости устройством предварительного декодирования.
16. Устройство по п.14, в котором модуль определения включает в себя модуль задания, задающий функцию расхода битов, доступную в устройстве предварительного декодирования, используя распределение битов и функцию искажения с постоянным количеством битовых плоскостей, и модуль предварительного суммирования, модифицирующий функцию расхода битов, чтобы получить однородное качество визуального изображения.
17. Устройство по п.16, в котором модуль определения дополнительно включает в себя модуль аппроксимирования, который первоначально аппроксимирует функцию искажения, с использованием упомянутого распределения битов, чтобы определять функцию искажения с помощью информации, используемой в устройстве предварительного декодирования.
18. Устройство по п.16, в котором модуль определения дополнительно включает в себя модуль нормализации, нормализующий функцию расхода битов посредством модифицирования функции расхода битов так, чтобы суммарный выделенный расход битов равнялся целевому расходу битов.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US51219603P | 2003-10-20 | 2003-10-20 | |
| US60/512,196 | 2003-10-20 | ||
| KR1020030083338A KR20050049644A (ko) | 2003-11-22 | 2003-11-22 | 시각적 화질을 균일하게 하는 비트 레이트 컨트롤 방법 및장치 |
| KR10-2003-0083338 | 2003-11-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2006117352A RU2006117352A (ru) | 2007-11-27 |
| RU2329616C2 true RU2329616C2 (ru) | 2008-07-20 |
Family
ID=36390051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2006117352/09A RU2329616C2 (ru) | 2003-10-20 | 2004-10-14 | Способ управления расходом битов и устройство для нормализации качества визуального изображения |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20050084015A1 (ru) |
| EP (1) | EP1680922A1 (ru) |
| JP (1) | JP2007509525A (ru) |
| CN (1) | CN1871858A (ru) |
| AU (1) | AU2004307036B2 (ru) |
| RU (1) | RU2329616C2 (ru) |
| WO (1) | WO2005039184A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9300957B2 (en) | 2010-09-30 | 2016-03-29 | Samsung Electronics Co., Ltd. | Video encoding method for encoding hierarchical-structure symbols and a device therefor, and video decoding method for decoding hierarchical-structure symbols and a device therefor |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9325998B2 (en) | 2003-09-30 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
| KR100621581B1 (ko) * | 2004-07-15 | 2006-09-13 | 삼성전자주식회사 | 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치 |
| US8356327B2 (en) | 2004-10-30 | 2013-01-15 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
| US7974341B2 (en) * | 2005-05-03 | 2011-07-05 | Qualcomm, Incorporated | Rate control for multi-layer video design |
| US9544602B2 (en) | 2005-12-30 | 2017-01-10 | Sharp Laboratories Of America, Inc. | Wireless video transmission system |
| US8325800B2 (en) | 2008-05-07 | 2012-12-04 | Microsoft Corporation | Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers |
| US8379851B2 (en) | 2008-05-12 | 2013-02-19 | Microsoft Corporation | Optimized client side rate control and indexed file layout for streaming media |
| US8370887B2 (en) | 2008-05-30 | 2013-02-05 | Microsoft Corporation | Media streaming with enhanced seek operation |
| US8265140B2 (en) * | 2008-09-30 | 2012-09-11 | Microsoft Corporation | Fine-grained client-side control of scalable media delivery |
| US8897370B1 (en) * | 2009-11-30 | 2014-11-25 | Google Inc. | Bitrate video transcoding based on video coding complexity estimation |
| CN102340657B (zh) * | 2010-07-16 | 2013-03-20 | 北京大学 | 一种视频资源的调度包截取方法及装置 |
| EP2472868A1 (en) * | 2010-12-29 | 2012-07-04 | British Telecommunications Public Limited Company | Video coding |
| KR102001415B1 (ko) | 2012-06-01 | 2019-07-18 | 삼성전자주식회사 | 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템 |
| KR102161741B1 (ko) | 2013-05-02 | 2020-10-06 | 삼성전자주식회사 | ＨＥＶＣ(high efficiency video coding)에서 코딩 유닛에 대한 양자화 파라미터를 변화시키는 방법과 장치, 및 시스템 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6160846A (en) * | 1995-10-25 | 2000-12-12 | Sarnoff Corporation | Apparatus and method for optimizing the rate control in a coding system |
| US6043844A (en) * | 1997-02-18 | 2000-03-28 | Conexant Systems, Inc. | Perceptually motivated trellis based rate control method and apparatus for low bit rate video coding |
| AU4338800A (en) * | 1999-12-22 | 2001-07-03 | General Instrument Corporation | Video compression for multicast environments using spatial scalability and simulcast coding |
| US7206453B2 (en) * | 2001-05-03 | 2007-04-17 | Microsoft Corporation | Dynamic filtering for lossy compression |
| US6925120B2 (en) * | 2001-09-24 | 2005-08-02 | Mitsubishi Electric Research Labs, Inc. | Transcoder for scalable multi-layer constant quality video bitstreams |
| US20030156637A1 (en) * | 2002-02-15 | 2003-08-21 | Koninklijke Philips Electronics N.V. | Memory-bandwidth efficient FGS encoder |
| US20040179606A1 (en) * | 2003-02-21 | 2004-09-16 | Jian Zhou | Method for transcoding fine-granular-scalability enhancement layer of video to minimized spatial variations |
-
2004
- 2004-10-14 EP EP04793485A patent/EP1680922A1/en not_active Withdrawn
- 2004-10-14 CN CN200480031027.1A patent/CN1871858A/zh active Pending
- 2004-10-14 AU AU2004307036A patent/AU2004307036B2/en not_active Ceased
- 2004-10-14 WO PCT/KR2004/002623 patent/WO2005039184A1/en active Application Filing
- 2004-10-14 RU RU2006117352/09A patent/RU2329616C2/ru not_active IP Right Cessation
- 2004-10-14 JP JP2006535263A patent/JP2007509525A/ja not_active Withdrawn
- 2004-10-20 US US10/968,491 patent/US20050084015A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9300957B2 (en) | 2010-09-30 | 2016-03-29 | Samsung Electronics Co., Ltd. | Video encoding method for encoding hierarchical-structure symbols and a device therefor, and video decoding method for decoding hierarchical-structure symbols and a device therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2005039184A1 (en) | 2005-04-28 |
| EP1680922A1 (en) | 2006-07-19 |
| AU2004307036B2 (en) | 2008-01-10 |
| RU2006117352A (ru) | 2007-11-27 |
| US20050084015A1 (en) | 2005-04-21 |
| AU2004307036A1 (en) | 2005-04-28 |
| JP2007509525A (ja) | 2007-04-12 |
| CN1871858A (zh) | 2006-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8175149B2 (en) | Method and apparatus for controlling bitrate of scalable video stream | |
| JP4187405B2 (ja) | 符号化方式におけるオブジェクトベースのレート制御装置及びその方法 | |
| US5969764A (en) | Adaptive video coding method | |
| US8351513B2 (en) | Intelligent video signal encoding utilizing regions of interest information | |
| US7653129B2 (en) | Method and apparatus for providing intra coding frame bit budget | |
| US6917719B2 (en) | Method and apparatus for region-based allocation of processing resources and control of input image formation | |
| RU2329616C2 (ru) | Способ управления расходом битов и устройство для нормализации качества визуального изображения | |
| US8406297B2 (en) | System and method for bit-allocation in video coding | |
| EP1439712A1 (en) | Method of selecting among "Spatial Video CODEC's" the optimum CODEC for a same input signal | |
| WO2000000932A1 (en) | Method and apparatus for block classification and adaptive bit allocation | |
| WO1998037701A1 (en) | Apparatus and method for optimizing the rate control in a coding system | |
| EP1012778A1 (en) | Apparatus and method for macroblock based rate control in a coding system | |
| AU2004302413B2 (en) | Scalable video coding method and apparatus using pre-decoder | |
| JP2005530423A (ja) | 画像鮮鋭度を符号化中に最適化する方法及びシステム | |
| KR20050049644A (ko) | 시각적 화질을 균일하게 하는 비트 레이트 컨트롤 방법 및장치 | |
| JP2000092489A (ja) | 画像符号化装置および画像符号化方法およびプログラムを記録した媒体 | |
| Jiang et al. | Bit allocation scheme for low-delay H. 264/AVC rate control | |
| KR20050038732A (ko) | 프리디코더를 이용하는 스케일러블 비디오 코딩 방법 및장치 | |
| Zhang et al. | A bit-allocation model using on-line rate-distortion optimization in MPEG-4 rate control | |
| JP2003009152A (ja) | ビデオ符号化におけるエッジブロックを検出して利用する方法および装置 | |
| Khamiss et al. | Constant Bit Rate For Video Streaming Over Packet Switching Networks | |
| Abdullah et al. | Constant Bit Rate For Video Streaming Over Packet Switching Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20191015 |