RU2380853C2 - Операция по распаковке блоков интерполированных кадров в приложении по повышающему преобразованию скорости передачи кадров - Google Patents
Операция по распаковке блоков интерполированных кадров в приложении по повышающему преобразованию скорости передачи кадров Download PDFInfo
- Publication number
- RU2380853C2 RU2380853C2 RU2007137519/09A RU2007137519A RU2380853C2 RU 2380853 C2 RU2380853 C2 RU 2380853C2 RU 2007137519/09 A RU2007137519/09 A RU 2007137519/09A RU 2007137519 A RU2007137519 A RU 2007137519A RU 2380853 C2 RU2380853 C2 RU 2380853C2
- Authority
- RU
- Russia
- Prior art keywords
- block
- motion vector
- reference block
- vector refers
- determining
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к сжатию данных и, в частности, к понижению уровня шума обработанного видео. Техническим результатом является понижение шума интерполированных данных и уменьшение искажения интерполяции. Указанный результат достигается тем, что фильтр нижних частот используется для фильтрования интерполированных видеоданных, причем степень фильтрования фильтра нижних частот определяется на основе значения прочности границ, определяемого для интерполируемых видеоданных и прилегающих видеоданных (интерполируемых и/или не интерполируемых). Прочность границ определяется на основе близости контрольных видеоданных для интерполируемых видеоданных и смежных видеоданных. 5 н. и 40 з.п. ф-лы, 12 ил.
Description
ПРИОРИТЕТ ЗАЯВКИ ПО §119 U.S.C.
Настоящая заявка на патент испрашивает приоритет за предварительной заявкой №60/660,909, зарегистрированной 10 марта, 2005 г. и отнесенной к ее патентообладателю, и, таким образом, явно включенной в данный документ по ссылке.
Область техники, к которой относится изобретение
Изобретение относится к сжатию данных в общем и к понижению уровня шума обработанного видео в частности.
Уровень техники
Сжатие, основанное на блоках, может сопровождаться искажениями между границами блоков, особенно, если связь между границами блоков не рассматривается.
Масштабируемый видеокод является достижением, широко используемым в приложениях с низкой битовой скоростью, особенно в гетерогенных сетях с изменяющимися полосами пропускания (например, Интернет и беспроводной поток). Масштабируемое видеокодирование дает возможность передавать кодированное видео как множественные уровни - типично, базовый уровень содержит наиболее значимую информацию и занимает наименьшую полосу пропускания (наименьшая битовая скорость для видео) и улучшенные уровни предлагают усовершенствования по сравнению с базовым уровнем. Наиболее масштабируемые методики сжатия видео используют обстоятельство, что пользовательская визуальная система является менее восприимчивой к шуму (из-за сжатия) в областях с высокой частотой изображения, чем более плоские участки с низкой частотой. Отсюда базовый уровень преимущественно содержит низкочастотную информацию, и высокочастотная информация передается в улучшенных уровнях. Когда полосы пропускания сети не хватает, существует более высокая вероятность приема только базового уровня кодированного видео (нет улучшенных уровней).
Если информация видео улучшенного уровня или базового уровня потеряна из-за условий канала или удалена, чтобы сохранить заряд аккумулятора, любые из нескольких типов методик интерполяции могут использоваться для замещения отсутствующих данных. Например, если кадр уровня улучшения потерян, тогда другой кадр, представляющий данные, например, кадр базового уровня, может использоваться для интерполяции данных для замещения отсутствующих данных улучшенного уровня. Интерполяция может содержать данные расчета компенсированного интерполирующего перемещения. Видеоданные замещения могут обычно подвергаться искажениям из-за несовершенной интерполяции.
Как результат, существует необходимость в алгоритмах последующей обработки для понижения шума интерполированных данных, так чтобы уменьшить и/или устранить искажения интерполяции.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Предлагается способ обработки видеоданных. Способ включает в себя интерполированные видеоданные и понижение шума интерполированных видеоданных. С одной стороны, интерполированные видеоданные содержат первый и второй блоки и способ включает в себя определение значения граничной силы изображения (также упоминаемого ниже как значение прочности границ), ассоциативно связанного с первым и вторым блоками и понижение шума первого и второго блоков использованием определяемого значения прочности границ.
Предлагается процессор для обработки видеоданных. Процессор конфигурируется для интерполяции видеоданных и для понижения шума интерполированных видеоданных. С одной стороны, интерполированные видеоданные включают в себя первый и второй блоки и процессор конфигурируется для определения значения прочности границ, ассоциативно связанного с первым и вторым блоками и понижение шума первого и второго блоков с помощью использования определяемого значения прочности границ.
Предлагается устройство для обработки видеоданных. Устройство включает в себя интерполятор для интерполяции видеоданных и блок понижения шума для понижения шума интерполированных видеоданных. С одной стороны, интерполированные видеоданные содержат первый и второй блоки, и устройство включает в себя блок определения, чтобы определять значение прочности границ, ассоциативно связанного с первым и вторым блоками, и блок понижения шума понижает шум первого и второго блоков с помощью использования определяемого значения прочности границ.
Предлагается устройство для обработки видеоданных. Устройство включает в себя средство для интерполирования данных и средство для понижения шума интерполированных видеоданных. С одной стороны, интерполированные видеоданные включают в себя первый и второй блоки и устройство включает в себя средство для определения значения прочности границ, ассоциативно связанного с первым и вторым блоками и средство для понижения шума первого и второго блоков с помощью использования определяемого значения прочности границ.
Предлагается машиночитаемый носитель, который реализует способ обработки видеоданных. Способ включает в себя интерполирование видеоданных и понижение шума интерполируемых видеоданных. С одной стороны, интерполированные видеоданные содержат первый и второй блоки и способ включает определение значения прочности границ, ассоциативно связанного с первым и вторым блоками, и понижение шума первого и второго блоков, используя определяемое значение прочности границ.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг.1 является иллюстрацией примера системы видеодекодера для декодирования и отображения потокового видео.
Фиг.2 является блок-схемой последовательности операций способа, которая иллюстрирует пример обработки для выполнения понижения шума интерполированных видеоданных, которые необходимо отразить на устройстве отображения.
Фиг.3А показывает пример интерполяции вектора движения, используемой в некоторых вариантах осуществления обработки на фиг.1.
Фиг.3В показывает пример пространственной интерполяции, используемой в некоторых вариантах осуществления обработки на фиг.1.
Фиг.4 является иллюстрацией пикселей, смежных с вертикальными и горизонтальными границами блоков 4×4.
Фиг.5А, 5В и 5С иллюстрируют положения ссылочных (контрольных) блоков, используемые в определении значений прочности границ в некоторых вариантах осуществления обработки на фиг.1.
Фиг.6А и 6В являются блок-схемами последовательности операций способа, которые иллюстрируют примеры обработок для определения значений прочности границ.
Фиг.7 иллюстрирует пример способа для обработки видеоданных.
Фиг.8 иллюстрирует примерное устройство для обработки видеоданных.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Описываются способ и устройство для улучшения качества интерполируемого видео, создаваемого из развернутых видеоданных, которые выполняют понижение шума интерполированных видеоданных. Фильтр нижних частот используется для фильтрования интерполированных видеоданных. В одном примере уровень фильтрования фильтра нижних частот определяется на основе значения прочности границ, определяемого для интерполируемых видеоданных и прилегающих видеоданных (интерполируемых и/или не интерполируемых). В частности, значение прочности определяется на основе близости контрольных видеоданных для интерполируемых видеоданных и прилегающих видеоданных. В последующем описании даны конкретные подробности для предоставления полного понимания вариантов осуществления. Однако обычный специалист в данной области техники может понять, что варианты осуществления могут быть применены без этих конкретных подробностей. Например, электрические компоненты могут быть показаны на блок-схемах для того, чтобы не скрывать варианты осуществления в ненужных подробностях. В других примерах подобные компоненты, другие структуры и методики могут быть показаны подробно, чтобы дополнительно пояснять варианты осуществления. Опытным специалистам также понятно, что электрические компоненты, которые показаны на отдельных блоках, могут быть расположены по-другому и/или объединены в один компонент.
Следует также заметить, что некоторые варианты осуществления могут быть описаны как процесс, который изображен на блок-схеме последовательности операций способа, блок-схеме, структурной диаграмме или блок-схеме. Хотя блок-схема последовательности операций способа может описывать операции как последовательный процесс, многие из операций могут выполняться параллельно или одновременно, и процесс может повторяться. Кроме того, порядок операций может быть переупорядочен. Процесс прерывается, когда его операции завершены. Процесс может соответствовать способу, функции, процедуре, подпроцедуре, подпрограмме и т.д. Когда процесс соответствует функции, его прерывание соответствует возвращению функции к функции вызова или главной функции.
Фиг.1 является блок-схемой системы видеодекодера для декодирования потоковых данных. Система 100 включает в себя устройство 110 декодера, сеть 150, внешнее запоминающее устройство 185 и устройство 190 отображения. Устройство 110 декодера включает в себя видеоинтерполятор 155, блок 160 понижения видеошума, блок 165 определения прочности границ, блок 170 определения функции границы, компонент 175 запоминающего устройства и процессор 180. Процессор 180 в целом управляет общим функционированием примерного устройства 110 декодера. Один или более элементов могут быть добавлены, переупорядочены или объединены в устройстве 110 декодера. Например, процессор 180 может являться внешним по отношению к устройству 110 декодера.
Фиг.2 является блок-схемой последовательности операций способа, которая иллюстрирует пример обработки для выполнения понижения шума интерполируемых видеоданных, которые необходимо отобразить на устройстве отображения. Со ссылкой на Фиг.1 и 2 обработка 300 начинается на этапе 305 с приема кодированных видеоданных. Процессор 180 может принимать кодированные видеоданные (например, MPEG-4 или сжатые видеоданные Н.264) от сети 150 или источника изображения, например, компонента 175 внутреннего запоминающего устройства или внешнего запоминающего устройства 185. Кодированные видеоданные могут являться сжатыми видеоданными MPEG-4 или Н.264. Отсюда, компонент 175 внутреннего запоминающего устройства и/или внешнее запоминающее устройство 185 может являться цифровым видеодиском (DVD) или накопителем на жестком диске, который содержит кодированные видеоданные.
Сеть 150 может являться частью проводной системы, например, телефона, кабеля и оптического волокна или беспроводной системы. В случае беспроводных систем связи сеть 150 может содержать, например, часть системы связи с кодовым разделением каналов с многостанционным доступом (CDMA или CDMA2000) или альтернативно, система может являться системой многостанционного доступа с частотным разделением (FDMA), системой с ортогональным многостанционным доступом с частотным разделением (OFDMA), системой многостанционного доступа с временным разделением каналов (TDMA), например, GSM/GPRS (система пакетной радиосвязи общего пользования)/EDGE(улучшенный GSM для передачи данных) или технологией мобильного телефона TETRA (наземная радиосвязь с автоматическим перераспределением каналов) для обслуживающей отрасли, широкополосный CDMA (WCDMA), системы с высокой скоростью (1xEV-DO или 1xEV-DO эталонная многоабонентская доставка сообщений) или в целом любой системой беспроводной связи, использующей сочетания методик. Обработка 300 продолжается на этапе 310 с декодированием принятых видеоданных, в котором по меньшей мере некоторых из принятых видеоданных могут быть декодированы и использоваться как контрольные данные для создания интерполируемых видеоданных, как будет обсуждаться ниже. В одном примере декодированные видеоданные содержат текстовую информацию, например, значения яркости и постоянной уровня цвета пикселей. Принятые видеоданные могут являться внутрикодированными данными, где действительные видеоданные преобразуются (используя, например, дискретное косинусное преобразование, преобразование Хадамарда, дискретное преобразование элементарных волн или целочисленное преобразование, например, используемое в Н.264) или это могут быть внутрикодированные данные (например, использование прогноза с компенсированным движением), где вектор движения и остаточная ошибка преобразовываются. Подробности действий по декодированию этапа 310 известны этим специалистам в данной области техники и не будут обсуждаться в данном документе дополнительно.
Обработка 300 продолжается на этапе 315, где декодированные контрольные данные интерполируются. В одном примере интерполяция на этапе 315 содержит интерполяцию данных вектора движения из контрольных видеоданных. Для того, чтобы проиллюстрировать интерполяцию данных вектора движения, будет использоваться упрощенный пример. Фиг.3А показывает пример интерполяции вектора движения, используемого на этапе 315. Кадр 10 представляет кадр в первой временной точке в последовательности потокового видео. Кадр 20 представляет кадр во второй временной точке в последовательности потокового видео. Программы прогноза компенсированного движения, известные специалистам в данной области техники, могут использоваться для размещения части видео, которое содержит объект 25А в кадре 10, который почти соответствует части видео, которое содержит объект 35 в кадре 20. Вектор 40 движения располагает объект 25А в кадре 10 относительно объекта 35 в кадре 20 (заштрихованный контур, помеченный 25С в кадре 20 используется для иллюстрации относительного положения объектов 25А и 35). Если кадр 10 и кадр 20 расположены в промежуток времени "T" друг от друга в последовательности, тогда кадр 15, расположенный между кадрами 10 и 20, может быть интерполирован на основе декодированных видеоданных в кадре 10 и/или кадре 20. Например, если кадр 15 расположен в момент времени посреди (момент времени Т/2 от обоих) кадров 10 и 20, тогда данные пикселей объекта 35 (или объекта 25А) могут быть расположены в точке, расположенной с помощью вектора 45 движения, который может быть определен посредством интерполяции, которая является половиной размера и с тем же самым заголовком, как и вектор 40 движения (заштрихованный контур, отмеченный 25В в кадре 15, используется для иллюстрации и относительного местоположения объектов 25А и 30). Так как объект 35 был спрогнозирован на основе объекта 25А (представленный как вектор движения, указывающий на объект 25А и остаточная ошибка, добавленная к значениям пикселей объекта 25А), объект 25А и/или объект 35 могут использоваться как контрольные части для интерполирования объекта 30 в кадре 15. Как будет понятно специалистам в данной области техники, другие способы интерполирования вектора движения и/или данных остаточной ошибки одной или более контрольных частей (например, используя два вектора движения на блок, как в двунаправленном прогнозе) могут использоваться в создании интерполированных данных на этапе 315.
В другом примере интерполяция на этапе 315 содержит объединение значений пикселей, расположенных в различной пространственной области видеокадра. Фиг.3b показывает пример пространственной интерполяции, используемой на этапе 315 в обработке 300. Кадр 50 содержит видеоизображение дома 55. Область видеоданных, отмеченных 60, является отсутствующей, например, из-за повреждения данных. Пространственная интерполяция характеристик 65 и 70, которые расположены рядом с отсутствующей частью 60, могут использоваться как контрольные части для интерполирования области 60. Интерполяция может быть простой линейной интерполяцией между значениями пикселей областей 65 и 70. В другом примере значения пикселей, расположенных в различных временных кадрах из кадров, содержащих отсутствующие данные, могут быть объединены (например, с помощью усреднения) для создания данных интерполируемых пикселей. Средство интерполяции, например, видеоинтерполятор 155 Фиг.1 может выполнять действия по интерполяции этапа 315.
Кроме векторов движения могут использоваться другие способы временного прогноза, например, данные оптического потока и данные плавного преобразования изображений для интерполяции видеоданных. Интерполяция оптического потока может передавать поле скоростей пикселей в изображении с течением времени. Интерполяция может быть основана на пикселях, извлекаемых из поля оптического потока на заданный пиксель. Данные интерполяции могут содержать скорость и информацию о направлении.
Плавное преобразование изображений является методикой обработки изображений, используемой для вычисления преобразования из одного изображения в другое. Плавное преобразование изображений создает последовательность промежуточных изображений, которые, когда сопоставлены с исходными изображениями, представляет переход от одного изображения к другому. Способ определяет точки сетки исходного изображения и функции деформирования точек для нелинейной интерполяции, см. Вольберг Г. "Деформирование цифровых изображений", IEEE Computer Society Press, 1990.
Этапы 320, 325 и 330 являются этапами по выбору, используемые с некоторыми вариантами осуществления понижения уровня шума, выполняемого на этапе 335, и будут обсуждаться подробно ниже. Продолжая этап 335, в интерполированных видеоданных понижается уровень шума так, чтобы удалить помехи изображения, которые произошли из-за действий по интерполяции этапа 315. Средство понижения уровня шума, например, устройство 160 понижения видеошума Фиг.1 может выполнять действия этапа 335. Понижение уровня шума может содержать один или более способов, известных специалистам в данной области техники, включая распаковку блоков для уменьшения помех изображения по распаковке блоков, снижая колебания для уменьшения колебательных помех изображения, и способы для уменьшения размытости движений. После снижения уровня шума видеоданные с пониженным уровнем шума отображаются, например, на устройстве 190 отображения, как показано на Фиг.1.
Пример снижения уровня шума на этапе 335 содержит использование фильтра распаковки блоков, например, фильтр распаковки блоков стандарта Н.264 сжатия видео. Фильтр распаковки блоков, заданный в Н.264, требует деревьев решений, которые определяют активность по границам блоков. Как исходно было спланировано в Н.264, края блоков с активностью изображений вне установленных пороговых величин не фильтруются или слабо фильтруются, тогда как те с блоками низкой активности строго фильтруются. Используемые фильтры могут быть, например, низкочастотными фильтрами конечной импульсной характеристики (FIR) с 3 или 5-ю ответвлениями.
Фиг.4 является иллюстрацией пикселей, смежных с вертикальными и горизонтальными границами блоков 4×4 (текущий блок "q" и соседний блок "р"). Вертикальная граница 200 представляет любую границу между двумя примыкающими блоками 4×4. Пиксели 202, 204, 206 и 208, отмеченные р0, р1, р2 и р3, соответственно, лежат слева от вертикальной границы 200 (в блоке "р"), тогда как пиксели 212, 214, 216 и 218, отмеченные q0, q1, q2 and q3, соответственно, лежат справа от вертикальной границы 200 (в блоке "q"). Горизонтальная граница 220 представляет любую границу между двумя блоками 4×4, один непосредственно над другим. Пиксели 222, 224, 226 и 228, отмеченные р0, p1, р2 и р3, соответственно, лежат выше горизонтальной границы 200, в то время как пиксели 232, 234, 236 и 238, отмеченные q0, q1, q2, q3, соответственно, лежат ниже горизонтальной границы 200. В варианте осуществления распаковки блоков в Н.264 операции фильтрования влияют вплоть до трех пикселей с любой стороны, выше или ниже границы. В зависимости от квантователя, используемого для преобразованных коэффициентов, режимы кодирования блоков (внутри или межкодируемые) и плавный переход цветов эталонов изображений через границу возможны несколько результатов, варьируясь от отсутствия фильтруемых пикселей до фильтруемых пикселей р0, р1, р2, q0, q1 и q2.
Конструкции фильтров распаковки блоков для блока на основе сжатия видео преимущественно следует общему принципу измерения изменений интенсивности вдоль краев блоков, за которым следует определение силы фильтра, который необходимо использовать и затем с помощью действительной низкочастотной операции фильтрования вдоль краев блоков. Фильтры распаковки блоков уменьшают помехи изображения распаковки блоков посредством сглаживания (низкочастотное фильтрование вдоль) краев блоков.
Измерение, известное как прочность границ, определяется на этапе 320. Значение прочности границ может определяться на основе содержимого видеоданных или контекста видеоданных. С одной стороны, более высокие прочности границ выливаются в более высокие уровни фильтрования (например, большая потеря четкости). Параметры, влияющие на прочность границ, включают в себя ситуации, зависящие от контекста и/или содержимого, например, являются ли данные внутрикодируемыми или междукодируемыми, где внутрикодируемые участки в целом фильтруются тяжелее, чем междукодируемые части. Другими параметрами, влияющими на измерение прочности границ, являются образ кодированного блока (СРВ), который является функцией числа ненулевых коэффициентов в блоке пикселей 4 на 4 и параметра квантования.
Для того, чтобы избежать потерю четкости характеристиками краев в изображении, может выполняться выборочное измерение активности краев на этапе 325, и низкочастотное фильтрование (на этапе 335 понижения уровня шума) обычно используется в не крайних участках (чем ниже измерение активности края в участке, тем сильнее фильтр, используемый в понижении уровня шума на этапе 335). Подробности определения прочности границ и определения активности краев известны обычным специалистам в данной области техники, и их нет необходимости пояснять в раскрываемом способе. На этапе 330 измерение прочности границ и/или измерение активности краев используется для определения уровня понижения шума, которое необходимо выполнить на этапе 335. Посредством модификаций параметров распаковки блоков, например прочности границ и/или измерений активности краев, интерполированные области могут быть эффективно снижены по уровню шума. Обработка 300 может завершаться посредством отображения 340 интерполированных видеоданных с пониженным уровнем шума. Один или более элементов могут быть добавлены, переупорядочены или объединены в обработке 300.
Фиг.5А, 5В и 5С показывают иллюстрации положений контрольных блоков, используемые в определении значений прочности границ на этапе 320 в некоторых вариантах осуществления процесса Фиг.1, где действие по понижению уровня шума на этапе 335 содержит распаковку блоков. Сценарии, отображенные на Фиг.5, представляют прогноз с компенсированным движением с одним вектором движения на контрольный блок, как обсуждалось выше в отношении Фиг.5А. На Фиг.5А, 5В и 5С кадр 75, который интерполирован, является интерполированным на основе ссылочного (контрольного) кадра 80. Интерполированный блок 77 является интерполированным на основе контрольного блока 81 и интерполированный блок 79, который является смежным блоком к блоку 77, является интерполированным на основе контрольного блока 83. На Фиг.5А контрольные блоки 81 и 83 являются также смежными. Это служит признаком видеоизображений, которые являются неподвижными между интерполированным кадром 75 и контрольным кадром 80. В этом случае прочность границ может быть установлена низкой, так, чтобы степень понижения уровня шума была низкой. На Фиг.5В контрольные блоки 81 и 83 перекрывают друг друга так, чтобы содержать общие видеоданные. Перекрытые блоки могут служить признаком некоторого незначительного движения и прочность границ может быть установлена выше, чем для случая на Фиг.5А. На Фиг.5С контрольные блоки 81 и 83 являются отдельными друг от друга (несмежные блоки). Это указание на то, что изображения не тесно ассоциативно связаны друг с другом и помехи изображения при распаковке блоков могут быть более ощутимыми. В случае Фиг.5С прочность границ может быть установлена до значения, приводящего к большей распаковке блоков, чем сценарии Фиг.5А и 5В. Сценарий, не показанный на любой из Фиг.5, содержит контрольные блоки 81 и 83 из различных контрольных кадров. Этот случай можно рассматривать аналогичным образом случаю, показанному на Фиг.5С, или значение прочности границ может быть определено как значение, которое приводит к большей распаковке блоков, чем случай, показанный на Фиг.5С.
Фиг.6А является блок-схемой последовательности операций способа, которая иллюстрирует пример обработки для определения значений прочности границ для ситуаций, показанных на Фиг.5А, 5В и 5С с одним вектором движения на каждый блок. Процесс, показанный на Фиг.6А, может быть выполнен на этапе 320 обработки 300, показанной на Фиг.2. Со ссылкой на Фиг.5 и 6 проверка сделана в блоке 405 решения для определения, являются ли блоки 81 и 83 также смежными блоками. Если они являются смежными блоками, как показано на Фиг.5А, тогда прочность границ устанавливается на нуле на этапе 407. В этих вариантах осуществления, где смежные контрольные блоки 81 и 83 уже с пониженным уровнем шума (с распакованными блоками в этом примере), понижение уровня шума интерполированных блоков 77 и 79 на этапе 335 может быть опущено. Если контрольные блоки 81 и 83 не являются смежными контрольными блоками, тогда проверка делается в блоке 410 решения для определения того, перерыты ли контрольные блоки 81 и 83. Если контрольные блоки 81 и 83 перекрывают друг друга, как показано на Фиг.5В, тогда прочность границ устанавливается на единице на этапе 412. Если контрольные блоки не перекрывают друг друга (например, контрольные блоки 81 и 83 раздельны в том же самом кадре или в различных кадрах), тогда обработка продолжается в блоке 415 решения. Проверка делается в блоке 415 решения для определения является ли один или оба из контрольных блоков 81 и 83 внутрикодируемыми. Если один из контрольных блоков является внутрикодируемым, тогда прочность границ устанавливается до двух на этапе 417, иначе прочность границ устанавливается до трех на этапе 419. В этом примере смежные блоки являются интерполированными из контрольных блоков, которые расположены близко друг к другу, снижены по уровню шума в более низких степенях, чем блоки, интерполированные из отдельных контрольных блоков.
Интерполированные блоки могут также быть образованы из более, чем одного контрольного блока. Фиг.6 В является блок-схемой последовательности операций способа, которая иллюстрирует другой вариант осуществления обработки для определения значений прочности границ (как выполнено на этапе 320 Фиг.2) для интерполированных блоков, которые содержат два вектора движения, указывающие на два контрольных блока. Пример, показанный на Фиг.6В, предполагает, что векторы движения показывают на передний кадр и задний (предыдущий) кадр, как в двунаправленных прогнозных кадрах. Специалисты в данной области техники признают, что многочисленные контрольные кадры могут содержать многочисленные передние или также многочисленные задние контрольные кадры. Пример рассматривает передние и задние (предыдущие) векторы движения текущего блока, который интерполирован, и смежного блока в том же самом кадре. Если впереди расположенные контрольные блоки, как отображено с помощью передних векторов движения текущего блока и смежного блока, определяются как смежные блоки в блоке 420 решения, тогда обработка продолжается в блоке 425 решения для определения, являются ли задние контрольные блоки, как отображено с помощью задних векторов движения текущего блока и смежного блока, также смежными. Если и передний, и задний контрольные блоки являются смежными, тогда это показывает на очень малое движение изображения, и прочность границ устанавливается до нуля на этапе 427, который приводит к низкой степени распаковки блоков. Если один из передних или задних контрольных блоков определяется как смежный (в блоке 425 решения или блоке 430 решения), тогда прочность границ устанавливается до единицы (на этапе 429 или этапе 432), приводя к большей распаковке блоков, чем случай, где оба контрольных блока являются смежными. Если в блоке 430 решения определяется, что ни передний, ни задний контрольные блоки не являются смежными, тогда прочность границ устанавливается до двух, приводя к даже большей распаковке блоков.
Деревья решений, показанные на Фиг.6А и 6В, являются лишь примерами обработок для определения прочности границ на основе относительного положения одного или более контрольных частей интерполированных видеоданных и на основе числа векторов движения на каждый блок. Другие способы могут использоваться, как будет очевидно специалистам в данной области техники. Средство определения, например, блок 165 определения прочности границ на Фиг.1 может выполнять действия этапа 320, показанного на Фиг.2 и проиллюстрированного на Фиг.6А и 6В. Один или более элементов могут быть добавлены, переставлены или объединены в деревьях решений, показанных на Фиг.6А и 6В.
Фиг.7 иллюстрирует один примерный способ 700 обработки видеоданных в соответствии с описанием выше. В целом способ 700 содержит интерполирование 710 видеоданных и понижение 720 уровня шума интерполированных видеоданных. Понижение уровня шума интерполированных видеоданных может быть основано на значении прочности границ, как описано выше. Прочность границ может быть определена на основе содержимого и/или контекста видеоданных. Также прочность границ может быть определена на основе того, были ли интерполированы видеоданные, используя один вектор движения или более, чем один вектор движения. Если использовался один вектор движения, прочность границ может быть определена на основе того, происходят ли векторы движения из смежных блоков контрольного кадра, из перекрытых смежных блоков контрольного кадра, из не смежных блоков контрольного кадра или из различных контрольных кадров. Если использовались более, чем один векторов движения, прочность границ может быть определена на основе того, указывают ли передние векторы движения на смежные контрольные блоки, или того, указывают ли задние векторы движения на смежные контрольные блоки.
Фиг.8 показывает пример устройства 800, которое может быть реализовано для выполнения способа 700. Устройство 800 содержит интерполятор 810 и блок 820 понижения уровня шума. Интерполятор 820 может интерполировать видеоданные, и блок 820 понижения уровня шума может понижать уровень шума интерполированных видеоданных, как описано выше.
Вариант осуществления распаковки блоков, обсуждаемый выше, является лишь примером одного типа понижения уровня шума. Различные другие альтернативы будут очевидны специалистам в данной области техники. Алгоритм распаковки блоков Н.264, описанный выше, использует блоки пикселей 4 на 4. Специалистам в данной области техники будет понятно, что блоки различных размеров, например, любой N на М блок пикселей, где N и М являются целыми, может использоваться как интерполированный и/или контрольные части видеоданных.
Специалисты в данной области техники поймут, что информация и сигналы могут быть представлены с использованием любой из множества различных технологий и методик. Например, данные, инструкции, команды, информация, сигналы, разряды, символы и элементарные сигналы, которые могут быть указаны ссылкой по всему вышеприведенному описанию, могут быть представлены напряжениями, токами, электромагнитными волнами, магнитными полями или частицами, оптическими полями или частицами, или любой их комбинацией.
Обычные специалисты будут дополнительно принимать во внимание, что различные иллюстративные логические блоки, модули и этапы алгоритмов, описанные в связи с примерами, раскрытыми в материалах настоящей заявки, могут быть реализованы в виде электронных аппаратных средств, встроенного программного обеспечения, компьютерного программного обеспечения, связующего программного обеспечения, микрокода или их сочетания. Чтобы ясно проиллюстрировать эту взаимозаменяемость аппаратных средств и программного обеспечения, различные иллюстративные компоненты, блоки, модули, схемы, и этапы были описаны выше в общем смысле, в составляющих их функциональных возможностей. Реализуются ли подобные функциональные возможности как аппаратное или программное обеспечение, зависит от конкретного приложения и конструктивных ограничений, налагаемых на всю систему. Специалисты могут реализовать описанные функциональные возможности различными способами для каждого конкретного приложения, но подобные решения по реализации не должны интерпретироваться как причина отклонения от объема раскрытых способов.
Различные пояснительные логические блоки, компоненты, модули и схемы, описанные в связи с примерами, раскрытыми в материалах настоящей заявки, могут быть реализованы или выполнены с помощью процессора общего назначения, цифрового сигнального процессора (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства, дискретной вентильной или транзисторной логики, дискретных компонентов аппаратных средств или любого их сочетания, спроектированных для выполнения функций, описанных в материалах настоящей заявки. Процессор общего назначения может быть микропроцессором, но в альтернативе, процессор может быть любым традиционным процессором, контроллером, микроконтроллером или конечным автоматом. Процессор также может быть реализован как сочетание вычислительных устройств, например, объединение DSP и микропроцессора, множества микропроцессоров, одного или более микропроцессоров совместно с ядром DSP или любая другая подобная конфигурация.
Этапы способа или алгоритма, описанные в связи с примерами, раскрытыми в материалах настоящей заявки, могут быть реализованы непосредственно в аппаратных средствах, в модуле программного обеспечения, выполняемом процессором, или комбинации этих двух. Модуль программного обеспечения может находиться в памяти ОЗУ, флэш-памяти, памяти ПЗУ, памяти EPROM (электрически программируемого ПЗУ), памяти EEPROM (электрически стираемого и программируемого ПЗУ), регистрах, на жестком диске, съемном диске, CD-ROM (ПЗУ на компакт-диске) или любом другом виде носителя хранения (данных), известного в данной области техники. Примерный носитель хранения соединен с процессором из условия, что процессор может считывать информацию с и записывать информацию на носитель хранения. В альтернативе носитель хранения может быть одним целым с процессором. Процессор и носитель данных могут постоянно находиться в ASIC. ASIC может находиться в беспроводном модеме. В альтернативном варианте процессор и носитель хранения могут постоянно находиться в виде дискретных компонентов в беспроводном модеме.
Предшествующее описание раскрытых примеров осуществления предоставляется, чтобы дать возможность любому специалисту в данной области техники создавать или использовать раскрытые способы и устройство. Различные модификации в этих примерах будут явно очевидны для специалистов в данной области техники и принципы, определенные в материалах настоящей заявки, могут использоваться в других примерах и дополнительные элементы могут добавляться.
Таким образом, описаны способы и устройство для декодирования потокового мультимедиа в реальном времени, используя информацию маркировки о разрушении битов и разрушенных данных, в приложении декодера, для выполнения интеллектуального маскирования ошибок и коррекции ошибок разрушенных данных.
Claims (45)
1. Способ обработки видеоданных, содержащий этапы, на которых:
интерполируют первый блок видеоданных из первого ссылочного блока и второй блок видеоданных из второго ссылочного блока;
определяют значение граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
понижают уровень шума интерполированных видеоданных на основании определенного значения граничной силы изображения.
интерполируют первый блок видеоданных из первого ссылочного блока и второй блок видеоданных из второго ссылочного блока;
определяют значение граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
понижают уровень шума интерполированных видеоданных на основании определенного значения граничной силы изображения.
2. Способ по п.1, в котором определение значения граничной силы изображения содержит этапы, на которых: определяют значение граничной силы изображения на основе содержимого видеоданных.
3. Способ по п.1, в котором определение значения граничной силы изображения содержит этапы, на которых: определяют значение граничной силы изображения на основе контекста видеоданных.
4. Способ по п.1, в котором интерполирование содержит этапы, на которых:
интерполируют на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок смежными блоками ссылочного кадра.
интерполируют на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок смежными блоками ссылочного кадра.
5. Способ по п.1, в котором интерполирование содержит этапы, на которых:
интерполируют на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок перекрытыми смежными блоками ссылочного кадра.
интерполируют на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок перекрытыми смежными блоками ссылочного кадра.
6. Способ по п.1, в котором интерполирование содержит этапы, на которых:
интерполируют на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок несмежными блоками ссылочного кадра.
интерполируют на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок несмежными блоками ссылочного кадра.
7. Способ по п.1, в котором интерполирование содержит этапы, на которых:
интерполируют на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок из различных ссылочных кадров.
интерполируют на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок из различных ссылочных кадров.
8. Способ по п.1, в котором интерполирование содержит этапы, на которых:
интерполируют на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок смежными ссылочными блоками в переднем ссылочном кадре.
интерполируют на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок; и в котором определение значения граничной силы изображения содержит этап, на котором: определяют, являются ли первый ссылочный блок и второй ссылочный блок смежными ссылочными блоками в переднем ссылочном кадре.
9. Способ по п.1, в котором интерполирование содержит этапы, на которых:
интерполируют на основе двух векторов движения на каждый блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок, при этом предыдущий ссылочный кадр содержит третий ссылочный блок и четвертый ссылочный блок; и в котором определение значения граничной силы изображения дополнительно содержит этапы, на которых: определяют значение граничной силы изображения при определении того, являются ли третий ссылочный блок и четвертый ссылочный блок смежными ссылочными блоками в предыдущем ссылочном кадре.
интерполируют на основе двух векторов движения на каждый блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок, при этом предыдущий ссылочный кадр содержит третий ссылочный блок и четвертый ссылочный блок; и в котором определение значения граничной силы изображения дополнительно содержит этапы, на которых: определяют значение граничной силы изображения при определении того, являются ли третий ссылочный блок и четвертый ссылочный блок смежными ссылочными блоками в предыдущем ссылочном кадре.
10. Процессор для обработки видеоданных, процессор конфигурируется для:
интерполирования первого блока видеоданных из первого ссылочного блока и второго блока видеоданных из второго ссылочного блока;
определения значения граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
понижения уровня шума интерполированных видеоданных на основании определенного значения граничной силы изображения.
интерполирования первого блока видеоданных из первого ссылочного блока и второго блока видеоданных из второго ссылочного блока;
определения значения граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
понижения уровня шума интерполированных видеоданных на основании определенного значения граничной силы изображения.
11. Процессор по п.10, дополнительно конфигурируемый для: определения значения граничной силы изображения на основе содержимого видеоданных.
12. Процессор по п.10, дополнительно конфигурируемый для: определения значения граничной силы изображения на основе контекста видеоданных.
13. Процессор по п.10, дополнительно конфигурируемый для:
интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок смежными блоками ссылочного кадра.
интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок смежными блоками ссылочного кадра.
14. Процессор по п.10, дополнительно конфигурируемый для:
интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок перекрытыми смежными блоками ссылочного кадра.
интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок перекрытыми смежными блоками ссылочного кадра.
15. Процессор по п.10, дополнительно конфигурируемый для:
интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок несмежными блоками ссылочного кадра.
интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок несмежными блоками ссылочного кадра.
16. Процессор по п.10, дополнительно конфигурируемый для:
интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок из различных ссылочных кадров.
интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок из различных ссылочных кадров.
17. Процессор по п.10, дополнительно конфигурируемый для:
интерполирования на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок несмежными ссылочными блоками в переднем ссылочном кадре.
интерполирования на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок; и определения значения граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок несмежными ссылочными блоками в переднем ссылочном кадре.
18. Процессор по п.10, дополнительно конфигурируемый для:
интерполирования на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок; и при этом предыдущий ссылочный кадр содержит третий ссылочный блок и четвертый ссылочный блок; и определения значения граничной силы изображения при определении того, являются ли третий ссылочный блок и четвертый ссылочный блок смежными блоками в предыдущем ссылочном кадре.
интерполирования на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок; и при этом предыдущий ссылочный кадр содержит третий ссылочный блок и четвертый ссылочный блок; и определения значения граничной силы изображения при определении того, являются ли третий ссылочный блок и четвертый ссылочный блок смежными блоками в предыдущем ссылочном кадре.
19. Устройство для обработки видеоданных, которое содержит:
интерполятор для интерполирования первого блока видеоданных из первого ссылочного блока и второго блока видеоданных из второго ссылочного блока;
определитель для определения значения граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
блок понижения уровня шума для понижения уровня шума интерполированных видеоданных на основании определенного значения граничной силы изображения.
интерполятор для интерполирования первого блока видеоданных из первого ссылочного блока и второго блока видеоданных из второго ссылочного блока;
определитель для определения значения граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
блок понижения уровня шума для понижения уровня шума интерполированных видеоданных на основании определенного значения граничной силы изображения.
20. Устройство по п.19, в котором блок определения определяет значение граничной силы изображения на основе содержимого видеоданных.
21. Устройство по п.19, в котором блок определения определяет значение граничной силы изображения на основе контекста видеоданных.
22. Устройство по п.19, в котором интерполятор интерполирует на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором блок определения определяет значение граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок смежными блоками ссылочного кадра.
23. Устройство по п.19, в котором интерполятор интерполирует на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором блок определения определяет значение граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок перекрытыми смежными блоками ссылочных кадров.
24. Устройство по п.19, в котором интерполятор интерполирует на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором блок определения определяет значение граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок несмежными блоками ссылочных кадров.
25. Устройство по п.19, в котором интерполятор интерполирует на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором блок определения определяет значение граничной силы изображения на основе того, являются ли первый ссылочный блок и второй ссылочный блок из различных ссылочных кадров.
26. Устройство по п.19, в котором интерполятор интерполирует на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок, первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок; и в котором блок определения определяет значение граничной силы изображения на основе того, указывают ли передние векторы движения первого и второго блоков на смежные ссылочные блоки.
27. Устройство по п.19, в котором интерполятор интерполирует на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок, и при этом предыдущий ссылочный кадр содержит третий ссылочный блок и четвертый ссылочный блок;
и в котором блок определения определяет значение граничной силы изображения на основе того, являются ли третий ссылочный блок и четвертый ссылочный блок смежными ссылочными блоками в предыдущем ссылочном кадре.
и в котором блок определения определяет значение граничной силы изображения на основе того, являются ли третий ссылочный блок и четвертый ссылочный блок смежными ссылочными блоками в предыдущем ссылочном кадре.
28. Устройство для обработки видеоданных, которое содержит:
средство для интерполирования первого блока видеоданных из первого ссылочного блока и второго блока видеоданных из второго ссылочного блока;
средство для определения значения граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
средство для понижения уровня шума интерполированных видеоданных.
средство для интерполирования первого блока видеоданных из первого ссылочного блока и второго блока видеоданных из второго ссылочного блока;
средство для определения значения граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
средство для понижения уровня шума интерполированных видеоданных.
29. Устройство по п.28, в котором средство для определения значения граничной силы изображения дополнительно содержит: средство для определения значения граничной силы изображения на основе содержимого видеоданных.
30. Устройство по п.28, в котором средство для определения значения граничной силы изображения дополнительно содержит: средство для определения значения граничной силы изображения на основе контекста видеоданных.
31. Устройство по п.28, в котором средство интерполирования дополнительно содержит: средство для интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором средство для определения значения граничной силы изображения дополнительно содержит: средство для определения того, являются ли первый ссылочный блок и второй ссылочный блок смежными блоками ссылочного кадра.
32. Устройство по п.28, в котором средство интерполирования дополнительно содержит: средство для интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором средство для определения значения граничной силы изображения дополнительно содержит: средство для определения того, являются ли первый ссылочный блок и второй ссылочный блок перекрытыми смежными блоками ссылочного кадра.
33. Устройство по п.28, в котором средство интерполирования дополнительно содержит: средство для интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором средство для определения значения граничной силы изображения дополнительно содержит: средство для определения того, являются ли первый ссылочный блок и второй ссылочный блок несмежными блоками ссылочных кадров.
34. Устройство по п.28, в котором средство интерполирования дополнительно содержит: средство для интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором средство для определения значения граничной силы изображения дополнительно содержит: средство для определения того, являются ли первый ссылочный блок и второй ссылочный блок из различных ссылочных кадров.
35. Устройство по п.28, в котором средство для интерполирования дополнительно содержит: средство для интерполирования на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок; и в котором средство для определения значения граничной силы изображения дополнительно содержит: средство для определения того, является ли первый ссылочный блок и второй ссылочный блок смежными ссылочными блоками в переднем ссылочном кадре.
36. Устройство по п.28, в котором средство для интерполирования дополнительно содержит: средство для интерполирования на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок, и при этом предыдущий ссылочный кадр содержит третий ссылочный блок и четвертый ссылочный блок;
и в котором средство для определения значения граничной силы изображения содержит: средство для определения значения граничной силы изображения при определении того, являются ли третий ссылочный блок и четвертый ссылочный блок смежными ссылочными блоками в предыдущем ссылочном кадре.
и в котором средство для определения значения граничной силы изображения содержит: средство для определения значения граничной силы изображения при определении того, являются ли третий ссылочный блок и четвертый ссылочный блок смежными ссылочными блоками в предыдущем ссылочном кадре.
37. Машиночитаемый носитель с закодированными инструкциями для осуществления, при исполнении инструкций процессором, следующих этапов:
интерполирования первого блока видеоданных из первого ссылочного блока и второго блока видеоданных из второго ссылочного блока;
определение значения граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
понижение уровня шума интерполированных видеоданных.
интерполирования первого блока видеоданных из первого ссылочного блока и второго блока видеоданных из второго ссылочного блока;
определение значения граничной силы изображения, ассоциативно связанного с первым блоком и вторым блоком; и
понижение уровня шума интерполированных видеоданных.
38. Машиночитаемый носитель по п.37, в котором инструкции для определения значения граничной силы изображения содержат инструкции для:
определения значения граничной силы изображения на основе содержимого видеоданных.
определения значения граничной силы изображения на основе содержимого видеоданных.
39. Машиночитаемый носитель по п.37, в котором инструкции для определения значения граничной силы изображения содержат инструкции для:
определения значения граничной силы изображения на основе контекста видеоданных.
определения значения граничной силы изображения на основе контекста видеоданных.
40. Машиночитаемый носитель по п.37, в котором инструкции для интерполирования содержат инструкции для: интерполирования на основе вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором инструкции для определения значения граничной силы изображения содержат инструкции для:
определения того, являются ли первый ссылочный блок и второй ссылочный блок смежными блоками ссылочного кадра.
определения того, являются ли первый ссылочный блок и второй ссылочный блок смежными блоками ссылочного кадра.
41. Машиночитаемый носитель по п.37, в котором инструкции для интерполирования содержат инструкции для: интерполирования на основе вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором инструкции для определения значения граничной силы изображения содержат инструкции для:
определения того, являются ли первый ссылочный блок и второй ссылочный блок перекрытыми смежными блоками ссылочного кадра.
определения того, являются ли первый ссылочный блок и второй ссылочный блок перекрытыми смежными блоками ссылочного кадра.
42. Машиночитаемый носитель по п.37, в котором инструкции для интерполирования содержат инструкции для: интерполирования на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором инструкции для определения значения граничной силы изображения содержат инструкции для:
определения того, являются ли первый ссылочный блок и второй ссылочный блок несмежными блоками ссылочного кадра.
определения того, являются ли первый ссылочный блок и второй ссылочный блок несмежными блоками ссылочного кадра.
43. Машиночитаемый носитель по п.37, в котором инструкции для интерполирования содержат инструкции для: интерполирования, на основе одного вектора движения на каждый блок, при этом первый вектор движения ссылается на первый блок и первый ссылочный блок, и второй вектор движения ссылается на второй блок и второй ссылочный блок; и в котором инструкции для определения значения граничной силы изображения содержат инструкции для:
определения того, являются ли первый ссылочный блок и второй ссылочный блок из различных ссылочных кадров.
определения того, являются ли первый ссылочный блок и второй ссылочный блок из различных ссылочных кадров.
44. Машиночитаемый носитель по п.37, в котором инструкции для интерполирования содержат инструкции для: интерполирования на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок, первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, и второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок; и в котором инструкции для определения значения граничной силы изображения содержат инструкции для: определения того, являются ли первый ссылочный блок и второй ссылочный блок смежными ссылочными блоками в переднем ссылочном кадре.
45. Машиночитаемый носитель по п.37, в котором инструкции для интерполирования содержат инструкции для: интерполирования на основе двух векторов движения на каждый блок, при этом передние ссылочные кадры содержат первый ссылочный блок и второй ссылочный блок, при этом первый передний вектор движения ссылается на первый блок и первый ссылочный блок, второй передний вектор движения ссылается на второй блок и второй ссылочный блок; первый предыдущий вектор движения ссылается на первый блок и третий ссылочный блок, второй предыдущий вектор движения ссылается на второй блок и четвертый ссылочный блок, и при этом предыдущий ссылочный кадр содержит третий ссылочный блок и четвертый ссылочный блок; и в котором инструкции для определения значения граничной силы изображения содержат: определение значения граничной силы изображения при определении того, являются ли третий ссылочный блок и четвертый ссылочный блок смежными ссылочными блоками в предыдущем ссылочном кадре.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US66090905P | 2005-03-10 | 2005-03-10 | |
US60/660,909 | 2005-03-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2007137519A RU2007137519A (ru) | 2009-04-20 |
RU2380853C2 true RU2380853C2 (ru) | 2010-01-27 |
Family
ID=36581794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2007137519/09A RU2380853C2 (ru) | 2005-03-10 | 2006-03-10 | Операция по распаковке блоков интерполированных кадров в приложении по повышающему преобразованию скорости передачи кадров |
Country Status (13)
Country | Link |
---|---|
US (1) | US20060233253A1 (ru) |
EP (1) | EP1864503A1 (ru) |
JP (1) | JP4927812B2 (ru) |
KR (2) | KR100938568B1 (ru) |
CN (1) | CN101167369B (ru) |
AU (1) | AU2006223192A1 (ru) |
BR (1) | BRPI0608283A2 (ru) |
CA (1) | CA2600476A1 (ru) |
IL (1) | IL185822A0 (ru) |
MX (1) | MX2007011099A (ru) |
NO (1) | NO20075126L (ru) |
RU (1) | RU2380853C2 (ru) |
WO (1) | WO2006099321A1 (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2640298C1 (ru) * | 2015-10-12 | 2017-12-27 | Общество С Ограниченной Ответственностью "Яндекс" | Способ обработки и хранения изображений |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100703744B1 (ko) * | 2005-01-19 | 2007-04-05 | 삼성전자주식회사 | 디블록을 제어하는 fgs 기반의 비디오 인코딩 및디코딩 방법 및 장치 |
KR100870115B1 (ko) * | 2005-12-21 | 2008-12-10 | 주식회사 메디슨 | 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법 |
JP4771539B2 (ja) * | 2006-07-26 | 2011-09-14 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
KR100819289B1 (ko) * | 2006-10-20 | 2008-04-02 | 삼성전자주식회사 | 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터 |
CN105392005A (zh) | 2006-11-08 | 2016-03-09 | 汤姆逊许可证公司 | 用于环内去伪影滤波的方法和设备 |
KR101366244B1 (ko) * | 2007-04-24 | 2014-02-21 | 삼성전자주식회사 | 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치 |
US8433159B1 (en) * | 2007-05-16 | 2013-04-30 | Varian Medical Systems International Ag | Compressed target movement model using interpolation |
US8325271B2 (en) * | 2007-06-12 | 2012-12-04 | Himax Technologies Limited | Method of frame interpolation for frame rate up-conversion |
TWI335764B (en) * | 2007-07-10 | 2011-01-01 | Faraday Tech Corp | In-loop deblocking filtering method and apparatus applied in video codec |
US8514939B2 (en) * | 2007-10-31 | 2013-08-20 | Broadcom Corporation | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing |
US8767831B2 (en) | 2007-10-31 | 2014-07-01 | Broadcom Corporation | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream |
US8953685B2 (en) * | 2007-12-10 | 2015-02-10 | Qualcomm Incorporated | Resource-adaptive video interpolation or extrapolation with motion level analysis |
EP2263381A1 (en) * | 2008-04-11 | 2010-12-22 | Thomson Licensing | Deblocking filtering for displaced intra prediction and template matching |
US8208563B2 (en) * | 2008-04-23 | 2012-06-26 | Qualcomm Incorporated | Boundary artifact correction within video units |
CN101477412B (zh) * | 2008-06-27 | 2011-12-14 | 北京希格玛和芯微电子技术有限公司 | 子像素级精度的运动感知方法 |
US8724694B2 (en) | 2008-10-14 | 2014-05-13 | Nvidia Corporation | On-the spot deblocker in a decoding pipeline |
US8861586B2 (en) | 2008-10-14 | 2014-10-14 | Nvidia Corporation | Adaptive deblocking in a decoding pipeline |
US8867605B2 (en) | 2008-10-14 | 2014-10-21 | Nvidia Corporation | Second deblocker in a decoding pipeline |
US9179166B2 (en) | 2008-12-05 | 2015-11-03 | Nvidia Corporation | Multi-protocol deblock engine core system and method |
US8761538B2 (en) | 2008-12-10 | 2014-06-24 | Nvidia Corporation | Measurement-based and scalable deblock filtering of image data |
CN102265615B (zh) * | 2008-12-22 | 2015-08-05 | 法国电信公司 | 使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码 |
JP5490404B2 (ja) * | 2008-12-25 | 2014-05-14 | シャープ株式会社 | 画像復号装置 |
JP5583992B2 (ja) * | 2010-03-09 | 2014-09-03 | パナソニック株式会社 | 信号処理装置 |
US9930366B2 (en) * | 2011-01-28 | 2018-03-27 | Qualcomm Incorporated | Pixel level adaptive intra-smoothing |
US9942573B2 (en) * | 2011-06-22 | 2018-04-10 | Texas Instruments Incorporated | Systems and methods for reducing blocking artifacts |
US10440373B2 (en) * | 2011-07-12 | 2019-10-08 | Texas Instruments Incorporated | Method and apparatus for coding unit partitioning |
JP5159927B2 (ja) * | 2011-07-28 | 2013-03-13 | 株式会社東芝 | 動画像復号装置及び動画像復号方法 |
EP2775711B1 (en) * | 2011-11-04 | 2020-01-01 | LG Electronics Inc. | Method and apparatus for encoding/decoding image information |
US9443281B2 (en) * | 2014-06-27 | 2016-09-13 | Intel Corporation | Pixel-based warping and scaling accelerator |
WO2017188566A1 (ko) * | 2016-04-25 | 2017-11-02 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인터 예측 방법 및 장치 |
US10368107B2 (en) * | 2016-08-15 | 2019-07-30 | Qualcomm Incorporated | Intra video coding using a decoupled tree structure |
CN109845255A (zh) * | 2016-10-03 | 2019-06-04 | 夏普株式会社 | 用于将解块滤波器应用于重构视频数据的***和方法 |
US11778195B2 (en) * | 2017-07-07 | 2023-10-03 | Kakadu R & D Pty Ltd. | Fast, high quality optical flow estimation from coded video |
US10659788B2 (en) | 2017-11-20 | 2020-05-19 | Google Llc | Block-based optical flow estimation for motion compensated prediction in video coding |
US11917128B2 (en) * | 2017-08-22 | 2024-02-27 | Google Llc | Motion field estimation based on motion trajectory derivation |
WO2019087905A1 (ja) * | 2017-10-31 | 2019-05-09 | シャープ株式会社 | 画像フィルタ装置、画像復号装置、および画像符号化装置 |
KR102581186B1 (ko) * | 2018-10-12 | 2023-09-21 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR920009609B1 (ko) * | 1989-09-07 | 1992-10-21 | 삼성전자 주식회사 | 인터폴레이션을 이용한 영상신호의 화질개선 회로 |
JPH05244468A (ja) * | 1992-02-28 | 1993-09-21 | Mitsubishi Electric Corp | 画像受信装置 |
EP0957367A1 (en) * | 1998-04-14 | 1999-11-17 | THOMSON multimedia | Method for estimating the noise level in a video sequence |
KR100696333B1 (ko) * | 1999-08-31 | 2007-03-21 | 유티스타콤코리아 유한회사 | 디지털 라디오 시스템에서의 다양한 인터폴레이션 레이트를 지원하는 안티이미징 필터 |
US6717245B1 (en) * | 2000-06-02 | 2004-04-06 | Micron Technology, Inc. | Chip scale packages performed by wafer level processing |
US7450641B2 (en) * | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
US6909750B2 (en) * | 2001-05-01 | 2005-06-21 | Koninklijke Philips Electronics N.V. | Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing |
KR100441509B1 (ko) * | 2002-02-25 | 2004-07-23 | 삼성전자주식회사 | 주사포맷변환장치 및 방법 |
EP1422928A3 (en) * | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
AU2003248858A1 (en) * | 2003-01-10 | 2004-08-10 | Thomson Licensing S.A. | Decoder apparatus and method for smoothing artifacts created during error concealment |
KR100750110B1 (ko) * | 2003-04-22 | 2007-08-17 | 삼성전자주식회사 | 4×4인트라 휘도 예측 모드 결정방법 및 장치 |
JP2004343451A (ja) * | 2003-05-15 | 2004-12-02 | Matsushita Electric Ind Co Ltd | 動画像復号化方法および動画像復号化装置 |
KR100936034B1 (ko) | 2003-08-11 | 2010-01-11 | 삼성전자주식회사 | 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치 |
ATE441283T1 (de) * | 2003-12-01 | 2009-09-15 | Koninkl Philips Electronics Nv | Bewegungskompensierte invers-filterung mit bandpassfiltern für die bewegungsverschmierungsreduktion |
US8369405B2 (en) * | 2004-05-04 | 2013-02-05 | Qualcomm Incorporated | Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video |
US20060062311A1 (en) * | 2004-09-20 | 2006-03-23 | Sharp Laboratories Of America, Inc. | Graceful degradation of loop filter for real-time video decoder |
US7574060B2 (en) * | 2004-11-22 | 2009-08-11 | Broadcom Corporation | Deblocker for postprocess deblocking |
-
2006
- 2006-03-09 US US11/372,939 patent/US20060233253A1/en not_active Abandoned
- 2006-03-10 WO PCT/US2006/008946 patent/WO2006099321A1/en active Application Filing
- 2006-03-10 MX MX2007011099A patent/MX2007011099A/es not_active Application Discontinuation
- 2006-03-10 BR BRPI0608283-1A patent/BRPI0608283A2/pt not_active IP Right Cessation
- 2006-03-10 AU AU2006223192A patent/AU2006223192A1/en not_active Abandoned
- 2006-03-10 RU RU2007137519/09A patent/RU2380853C2/ru not_active IP Right Cessation
- 2006-03-10 JP JP2008501031A patent/JP4927812B2/ja not_active Expired - Fee Related
- 2006-03-10 KR KR1020077023112A patent/KR100938568B1/ko not_active IP Right Cessation
- 2006-03-10 EP EP06738053A patent/EP1864503A1/en not_active Withdrawn
- 2006-03-10 CA CA002600476A patent/CA2600476A1/en not_active Abandoned
- 2006-03-10 KR KR1020077023217A patent/KR20070118636A/ko not_active Application Discontinuation
- 2006-03-10 CN CN2006800146933A patent/CN101167369B/zh not_active Expired - Fee Related
-
2007
- 2007-09-09 IL IL185822A patent/IL185822A0/en unknown
- 2007-10-09 NO NO20075126A patent/NO20075126L/no not_active Application Discontinuation
Non-Patent Citations (2)
Title |
---|
ATZORI L. et al, A Spatio-Temporal Concealment Technique Using Boundary Matching Algorithm and Mesh-Based Warping (BMA-MBW), IEEE Transactions on multimedia, vol.3, №3, 2001, c.326-338. * |
Comer, M.L. Reduced resolution update video coding with interblock filtering of prediction error residuals, IEEE International Conference on Image Processing, 2005. ICIP 2005, 11-14 Sept.2005, Vol.3, c.c.III-61-4. YIN P. Et al, A New Intra Prediction Method for RRU, ITU-T VIDEO CODING EXPERTS GROUP (ITU-T SG16 Q.6) 14TH MEETING: HONG KONG, DOCUMENT VCEG-Y17, 12 January 2005, c.1-4. РИЧАРДСОН ЯН. Видеокодирование Н.264 и MPEG-4 стандарты нового поколения. Техносфера. - М., 2005, перевод издания 2003, с.228-243 ШАПИРО Л., СТОКМАН ДЖ. Компьютерное зрение. - М.: Бином. Лаборатория знаний, 2006, подписано в печать 04.03.2005, с.177-201, 383-402. * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2640298C1 (ru) * | 2015-10-12 | 2017-12-27 | Общество С Ограниченной Ответственностью "Яндекс" | Способ обработки и хранения изображений |
US10244129B2 (en) | 2015-10-12 | 2019-03-26 | Yandex Europe Ag | Method of processing and storing images |
Also Published As
Publication number | Publication date |
---|---|
KR20070118636A (ko) | 2007-12-17 |
NO20075126L (no) | 2007-10-09 |
KR20070110543A (ko) | 2007-11-19 |
US20060233253A1 (en) | 2006-10-19 |
CN101167369B (zh) | 2012-11-21 |
EP1864503A1 (en) | 2007-12-12 |
IL185822A0 (en) | 2008-01-06 |
CA2600476A1 (en) | 2006-09-21 |
CN101167369A (zh) | 2008-04-23 |
JP4927812B2 (ja) | 2012-05-09 |
KR100938568B1 (ko) | 2010-01-26 |
AU2006223192A1 (en) | 2006-09-21 |
BRPI0608283A2 (pt) | 2009-12-22 |
RU2007137519A (ru) | 2009-04-20 |
JP2008533863A (ja) | 2008-08-21 |
WO2006099321A1 (en) | 2006-09-21 |
MX2007011099A (es) | 2007-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2380853C2 (ru) | Операция по распаковке блоков интерполированных кадров в приложении по повышающему преобразованию скорости передачи кадров | |
US8369405B2 (en) | Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video | |
KR101670116B1 (ko) | 디블록킹 필터링 | |
US7907789B2 (en) | Reduction of block effects in spatially re-sampled image information for block-based image coding | |
US20070211800A1 (en) | Method and Apparatus for Frame Rate Up Conversion with Multiple Reference Frames and Variable Block Sizes | |
US8848801B2 (en) | Apparatus, a method and a computer program for video processing | |
JP6352173B2 (ja) | プリプロセッサ方法および装置 | |
US8160132B2 (en) | Reducing key picture popping effects in video | |
JP2006513633A (ja) | エラー隠蔽中に生成されるアーチファクトをスムージングするデコーダ装置及び方法 | |
CN110545433B (zh) | 视频编解码方法和装置及存储介质 | |
US20090174812A1 (en) | Motion-compressed temporal interpolation | |
CN110636312A (zh) | 视频编解码方法和装置及存储介质 | |
JP2006310934A (ja) | プリフィルタ | |
CN110582022B (zh) | 视频编解码方法和装置及存储介质 | |
US8526506B1 (en) | System and method for transcoding with quality enhancement | |
Zeng | Adaptive spatial–temporal error concealment with embedded side information | |
JP2005312072A (ja) | 映像信号復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20110311 |