RU2621635C1 - Метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки - Google Patents

Метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки Download PDF

Info

Publication number
RU2621635C1
RU2621635C1 RU2015150533A RU2015150533A RU2621635C1 RU 2621635 C1 RU2621635 C1 RU 2621635C1 RU 2015150533 A RU2015150533 A RU 2015150533A RU 2015150533 A RU2015150533 A RU 2015150533A RU 2621635 C1 RU2621635 C1 RU 2621635C1
Authority
RU
Russia
Prior art keywords
image
regularity
video data
pixels
pixel
Prior art date
Application number
RU2015150533A
Other languages
English (en)
Inventor
Сергей Владимирович Миляев
Original Assignee
Общество с ограниченной ответственностью "ВижнЛабс"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "ВижнЛабс" filed Critical Общество с ограниченной ответственностью "ВижнЛабс"
Priority to RU2015150533A priority Critical patent/RU2621635C1/ru
Application granted granted Critical
Publication of RU2621635C1 publication Critical patent/RU2621635C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к области компьютерной техники, в частности к системам автономной навигации транспортных средств и робототехники, системам структурирования и индексирования изображений и видеоданных. Технический результат заключается в расширении арсенала технических средств предварительной обработки потоковых видеоданных. Технический результат достигается за счет определения меры регулярности каждой полученной области изображения, где мера регулярности находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой группы (2 группа) на основе анализа окрестности каждого пикселя путем оценки интегрального характера, где под анализом окрестности каждого пикселя подразумевается анализ 8 соседних значений пикселей путем сравнения их со значением центрального пикселя, которое взято в качестве порога, при этом пиксели, которые имеют значения больше, чем центральный пиксель, принимают значения «1», те которые имеют значения меньше, чем центральный пиксель, принимают значение «0», а под оценкой интегрального характера подразумевается использование интегральных картинок от бинарных масок принадлежности пикселей к одной из двух групп. 3 н. и 5 з.п. ф-лы, 6 ил., 1 табл.

Description

ОБЛАСТЬ ТЕХНИКИ
Техническое решение предназначено для интеллектуальных систем видеонаблюдения, систем автономной навигации транспортных средств и робототехники, систем структурирования и индексирования изображений и видеоданных.
УРОВЕНЬ ТЕХНИКИ
Системы видеонаблюдения, автономные устройства навигации на основе анализа регистрируемой сцены окружения, робототехнические системы должны обеспечивать стабильную работу в различных условиях. При этом вследствие использования различных устройств для регистрации сцены, разнообразия условий освещения и погоды, принятые потоковые данные могут содержать шумовую составляющую, что, в свою очередь, снижает точность работы алгоритмов детектирования объектов и событий. Поэтому для поддержания точности работы соответствующих алгоритмов необходимо применять методы шумоподавления обрабатываемых потоковых данных. Стоит отметить, что в своем большинстве предложенные алгоритмы шумоподавления были разработаны с целью улучшения визуального качества зашумленного изображения, что, в свою очередь, может даже ухудшить показатели точности работы алгоритмов детектирования объектов и событий на потоковых данных после применения фильтрации шумов с помощью этих методов. Поэтому необходима разработка алгоритмов шумоподавления потоковых данных с учетом последующего применения алгоритмов детектирования объектов и событий. Дополнительным требованием к разработке алгоритма шумоподавления является невысокие требования к вычислительным ресурсам, которые необходимы для последующей работы алгоритмов детектирования объектов и событий.
Большинство существующих походов к фильтрации шумов основаны на предположении, что основная информация в изображении регистрируемой сцены сосредоточена в низкочастотной части его спектра, в то время как шумовая составляющая занимает намного более широкую область частот спектра. Поэтому присутствие шума можно сократить за счет фильтра низких частот, который устранит высокочастотные компоненты, обусловленные наличием шума. Однако такой подход также может убрать детали изображения, не относящиеся к шуму.
Известен способ шумоподавления «Adaptive denoising filtering for object detection applications» (Milani S., Bernardini R., Rinaldo R. Image Processing (ICIP), 2012 19th IEEE Interna tional Conference on. - IEEE, 2012. - C. 1013-1016). Данный способ шумоподавления выполняет локальную обработку изображения, использует рекурсивный фильтр для подавления шума, параметры которого подбираются автоматически по степени регулярности изображения. У этого метода есть несколько особенностей:
1. Метод анализирует отдельные области изображения и стремится подобрать параметры фильтрации в соответствии с характером границ этих областей.
2. Для фильтрации используются два очень быстрых сепарабельных фильтра по горизонтальному и вертикальному направлениям с бесконечной импульсной характеристикой.
Это позволяет методу адаптивно выполнять фильтрацию, определяя области, которых содержится важная информация о текстуре с небольшим контрастом и выполняя на них фильтрацию с меньшим подавлением высоких частот. Для определения таких областей изображение разделяется на блоки размера 32 на 32 пикселя. В каждом блоке считается среднее абсолютное значение величины градиента для пикселей, содержащих значительную информацию о нем, и дисперсия суммы модулей разности ориентаций градиента. Первая характеристика является мерой контраста в блоке, вторая - мерой регулярности ориентаций границ. На основании этих характеристик выбираются блоки, которые с одной стороны обладают достаточной регулярностью границ, с другой стороны имеющие низкий контраст, поэтому сильное подавление высоких частот приведет к потере информации, связанной с регулярностью ориентаций. Поэтому эти блоки помечаются как «критичные» и обрабатываются фильтром с меньшей степенью сглаживания по сравнению с другими блоками изображения. Параметр сглаживания также зависит от коэффициента корреляции пикселей в обрабатываемом блоке.
Однако данный метод шумоподавления для повышения точности работы алгоритмов детектирования объектов различных классов имеет ряд недостатков. В первую очередь, метод определения регулярности границ на основе суммы модулей разности ориентаций градиента не является достаточно устойчивым к шуму. На Фиг. 1 (поз. а) показано исходное изображение, а на Фиг. 1 (поз. б) показана карта регулярности границ на основе суммы модулей разности ориентаций градиента. Для визуализации значения карт регулярности границ их значения были нормированы на интервал от 0 до 255. Из этой карты видно, что области, соответствующие объектам (люди и автомобили) имеют более высокую сумму модулей разности ориентаций градиента. На Фиг. 1 (поз. в-е) изображены карты регулярности границ в случае наличия Гауссова шума с нулевым средним и различными величинами среднеквадратического отклонения - 11, 16, 20, 23. Из этих карт видно, что данный метод определения регулярности границ не является достаточно устойчивым к наличию шума, и карта регулярности значительно меняется при различных уровнях шума. При этом мера регулярности областей, относящихся к объектам, может уменьшаться, в то время как для областей, относящихся к фону, может увеличиваться. Это негативно сказывается на выборе подходящих характеристик фильтров для эффективного шумоподавления. Еще одним недостатком данного подхода является использование рекурсивного фильтра. Несмотря на его простоту, при использовании такого фильтра ошибки при передаче или декодировании потоковых данных будут оказывать существенное влияние на результат шумоподавления при дальнейшей обработке изображения, создавая дополнительные искажения.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Данное техническое решение направлено на устранение недостатков, присущих существующим аналогам.
Технический результат от использования данного технического решения заключается в расширении арсенала технических средств предварительной обработки потоковых видеоданных.
Данный технический результат достигается за счет выполнения адаптивной предобработки изображения на основе анализа регулярности изображения для поиска важных областей на основе анализа окрестности каждого пикселя, выполняя вычислительно простые операции сравнения значений яркости каждого пикселя изображения и описания окрестности на основании значений этих сравнений.
Метод предварительной обработки потоковых видеоданных включает в себя следующие шаги: получают поток видеоданных и извлекают из него фрагмент видеоданных; разбивают полученный на предыдущем шаге фрагмент видеоданных на кадры как отдельные изображения; разбивают каждое изображение, полученное на предыдущем шаге, на области; определяют меру регулярности каждой полученной на предыдущем шаге области изображения, где мера регулярности находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой группы (2 группа) на основе анализа окрестности каждого пикселя путем оценки интегрального характера, где под анализом окрестности каждого пикселя подразумевается анализ 8 соседних значений пикселей путем сравнения их со значением центрального пикселя, которое взято в качестве порога, при этом пиксели, которые имеют значения больше, чем центральный пиксель, принимают значения «1», те, которые имеют значения меньше, чем центральный пиксель, принимают значение «0», а под оценкой интегрального характера подразумевается использование интегральных картинок от бинарных масок принадлежности пикселей к одной из двух групп; оценивают уровень шума на обрабатываемом изображении на основе определенных на предыдущем шаге мер регулярности областей этого изображения; определяют контрастность областей изображения; подбирают параметры билатерального фильтра для каждой области изображения исходя из найденных на предыдущих шагах меры регулярности, уровня шума, контрастности области изображения; обрабатывают изображение путем использования билатерального фильтра для каждой области изображения с использованием параметров, подобранных на предыдущем шаге, в результате чего получают отфильтрованное изображение.
Изображения, полученные из фрагмента видеоданных, могут быть цветными, и/или черно-белыми, и/или в градациях серого.
Изображение при выполнении обработки может быть разбито на равные неперекрывающиеся блоки изображения.
Изображение при выполнении обработки может быть разбито на отдельные пиксели.
В качестве области изображения могут рассматривать каждый пиксель изображения, определяя его меру регулярности по блоку изображения, центр которого с ним совпадает.
При этом могут учитывать размер отдельных областей изображения, для которых определяют меру регулярности, контрастность и параметры билатерального фильтра.
Данное техническое решение может быть выполнено в виде системы предварительной обработки потоковых видеоданных, которая включает в себя: (одно или более) устройство обработки команд, (одно или более) устройство хранения данных, (одну или более) программу, где (одна или более) программа хранится на (одном или более) устройстве хранения данных и исполняется на (одном или более) процессоре, причем (одна или более) программа включает следующие инструкции: получают поток видеоданных и извлекают из него фрагмент видеоданных; разбивают полученный на предыдущем шаге фрагмент видеоданных на кадры как отдельные изображения; разбивают каждое изображение, полученное на предыдущем шаге, на области; определяют меру регулярности каждой полученной на предыдущем шаге области изображения, где мера регулярности находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой группы (2 группа) на основе анализа окрестности каждого пикселя путем оценки интегрального характера, где под анализом окрестности каждого пикселя подразумевается анализ 8 соседних значений пикселей путем сравнения их со значением центрального пикселя, которое взято в качестве порога, при этом пиксели, которые имеют значения больше, чем центральный пиксель, принимают значения «1», те, которые имеют значения меньше, чем центральный пиксель, принимают значение «0», а под оценкой интегрального характера подразумевается использование интегральных картинок от бинарных масок принадлежности пикселей к одной из двух групп; оценивают уровень шума на обрабатываемом изображении на основе определенных на предыдущем шаге мер регулярности областей этого изображения; определяют контрастность областей изображения; подбирают параметры билатерального фильтра для каждой области изображения исходя из найденных на предыдущих шагах меры регулярности, уровня шума, контрастности области изображения; обрабатывают изображение путем использования билатерального фильтра для каждой области изображения с использованием параметров, подобранных на предыдущем шаге, в результате чего получают отфильтрованное изображение.
Изображения, полученные из фрагмента видеоданных, могут быть цветными, и/или черно-белыми, и/или в градациях серого.
Изображение при выполнении обработки может быть разбито на равные неперекрывающиеся блоки изображения.
Изображение при выполнении обработки может быть разбито на отдельные пиксели.
В качестве области изображения могут рассматривать каждый пиксель изображения, определяя его меру регулярности по блоку изображения, центр которого с ним совпадает.
При этом могут учитываться размер отдельных областей изображения, для которых определяют меру регулярности, контрастность и параметры билатерального фильтра.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - Исходное изображение (а), соответствующая ему карта регулярности границ на основе суммы модулей разности ориентаций градиента (б), аналогичные карты регулярности границ при наличии шума с величиной среднеквадратического отклонения, равного 11 (в), 16 (г), 20 (д), 23 (е);
Фиг. 2 - окрестности пикселя и его возможные бинарные описания, известные как локальные бинарные шаблоны;
Фиг. 3 - Исходное изображение (а), соответствующая ему карта предложенной меры регулярности на основе анализа окрестностей пикселей (б), аналогичные карты регулярности границ при наличии шума с величиной среднеквадратического отклонения, равного 11 (в), 16 (г), 20 (д), 23 (е);
Фиг. 4 - блок-схема возможного процесса обработки изображения;
Фиг. 5 - схема системы для реализации технического решения;
Фиг. 6 - блок-схема одного из вариантов реализации метода предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки.
ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Данное техническое решение в различных своих вариантах осуществления может быть выполнено в виде способа, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.
В некоторых вариантах реализации техническое решение может быть реализовано в виде распределенной компьютерной системы.
В данном техническом решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор, процессор, микроконтроллер), исполняющая машинные (машиночитаемые) инструкции (программы).
Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), ОЗУ, твердотельные накопители (SSD), оптические носители данных (CD-R, DVD-R, BlueRay Disk и т.п.).
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании технического решения.
Цветовая модель - математическая модель описания представления цветов в виде кортежей чисел (обычно из трех, реже - четырех значений), называемых цветовыми компонентами или цветовыми координатами. Все возможные значения цветов, задаваемые моделью, определяют цветовое пространство. Цветовая модель обычно используется для хранения и обработки цветов в дискретном виде, при представлении ее в вычислительных устройствах, в частности, ЭВМ. Цветовая модель задает соответствие между воспринимаемыми человеком цветами, хранимыми в памяти, и цветами, формируемым на устройствах вывода (возможно, при заданных условиях).
Цветовая модель YUV (модель YUV) - широко применяется в телевещании и хранении/обработке видеоданных. Яркостная компонента содержит «черно-белое» (в оттенках серого) изображение, а оставшиеся две компоненты содержат информацию для восстановления требуемого цвета. В цветовом пространстве YUV есть один компонент, который представляет яркость (сигнал яркости), и два других компонента, которые представляют цвет (сигнал цветности). В то время как яркость передается со всеми деталями, некоторые детали в компонентах цветоразностного сигнала, лишенного информации о яркости, могут быть удалены путем понижения разрешения отсчетов (фильтрация или усреднение), что может быть сделано несколькими способами (т.о. существует множество форматов для сохранения изображения в цветовом пространстве YUV).
FPS или кадровая частота, частота кадросмен (англ. Frames per Second (FPS), Frame rate, Frame frequency) - количество сменяемых кадров за единицу времени в телевидении и кинематографе.
Данное техническое решение обеспечивает повышение точности детектирования объектов для большинства классов на зашумленных изображениях (при этом техническое решение имеет низкие требования к вычислительным затратам, что позволяет использовать его в режиме реального времени при обработке потоковых данных, используя несущественную часть вычислительных ресурсов) за счет выполнения адаптивной предобработки изображения на основе анализа регулярности изображения для поиска важных областей на основе анализа окрестности каждого пикселя, выполняя вычислительно простые операции сравнения значений яркости каждого пикселя изображения и описания окрестности на основании значений этих сравнений.
Согласно предлагаемому техническому решению, метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки включает следующие шаги:
Получают поток видеоданных и извлекают фрагмент видеоданных.
Фрагмент видеоданных может быть получен из файла, оцифрованной видеозаписи, видеопотока интернет-ресурса и т.п.
Интервал фрагмента видеоданных может быть произвольным и может быть выбран такой интервал, где отсутствуют помехи, реклама, типовые заставки.
При декодировании фрагмента видеоданных может осуществляться конверсия из RGB (или другой цветовой модели) в YUV; конверсия может быть осуществлена по формулам:
Figure 00000001
где R, G, В - соответственно интенсивности цветов красного, зеленого и синего, Y - яркостная составляющая, U и V - цветоразностные составляющие.
Разбивают полученный на предыдущем шаге поток видеоданных на кадры как отдельные изображения.
Количество извлеченных кадров зависит от параметра FPS и временного интервала видеоданных и не существенно для описываемого технического решения.
Разбивают каждое изображение, полученное на предыдущем шаге, на области.
Изображение при выполнении данного действия может быть разбито на равные неперекрывающиеся блоки изображения.
Изображение при выполнении данного действия при выполнении обработки может быть разбито на отдельные пиксели, то есть в качестве области изображения могут рассматривать каждый пиксель изображения.
Определяют меру регулярности каждой полученной на предыдущем шаге области изображения на основе анализа окрестности каждого пикселя путем оценки интегрального характера.
Регулярность изображения определяется для поиска важных областей на основе анализа окрестности каждого пикселя, выполняя простые операции сравнения значений яркости каждого пикселя изображения и описания окрестности на основании значений этих сравнений. На Фиг. 2 изображены окрестности пикселя и его возможные бинарные описания, известные как локальные бинарные шаблоны. В этом подходе анализируется 8 соседних значений, используя значение центрального пикселя в качестве порога. Пиксели, которые имеют значения больше, чем центральный пиксель (или равное ему), принимают значения «1», те, которые меньше центрального, принимают значения «0», как показано на Фиг. 2, образуя восьмиразрядный бинарный код. Предлагаемая мера регулярности некоторой области изображения находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой области (вторая группа). Такая мера регулярности обладает большей устойчивостью при различных уровнях шума, например, по сравнению с дисперсией направлений градиентов, и требует малых вычислительных затрат и применяется для оценки регулярности впервые. Интегральный характер выбранного признака регулярности для областей изображения позволяет выполнять его оценку как для отдельных блоков изображения, так и для каждого пикселя без существенных вычислительных затрат с использованием интегральных картинок от бинарных масок принадлежности пикселей к одной из групп.
На Фиг. 3 (поз. а) показано исходное изображение, а на Фиг. 3 (поз. б) показана карта предложенной меры регулярности. Для визуализации значения карт регулярности границ их значения были нормированы на интервал от 0 до 255. Из этой карты видно, что области, соответствующие объектам (люди и автомобили) имеют более высокую сумму модулей разности ориентаций градиента. На Фиг. 3 (поз. в-е) изображены карты предложенной меры регулярности случае наличия Гауссова шума с нулевым средним и различными величинами среднеквадратического отклонения - 11, 16, 20, 23. Из этих карт видно, что предложенный метод определения регулярности является достаточно устойчивым к наличию шума, и карта регулярности не претерпевает значительных изменений при различных уровнях шума.
Оценивают уровень шума на обрабатываемом изображении на основе определенных на предыдущем шаге мер регулярности областей этого изображения.
Максимальное значение предложенной меры регулярности по всему изображению обратно пропорционально уровню шума, что позволяет ее использовать для оценки степени шума на обрабатываемом изображении.
Определяют контрастность областей изображения.
Исходя из найденных степеней регулярности и наличия шума контраста изображения подбираются параметры фильтра для обработки изображения. Степень сглаживания некоторой области должна быть обратно пропорциональна степени регулярности данной области, максимальной степени регулярности и степени контраста.
Подбирают параметры билатерального фильтра для каждой области изображения исходя из найденных на предыдущих шагах меры регулярности, уровня шума, контрастности области изображения.
При адаптивной обработке фильтром необходимо учитывать характер области изображения при выборе значения параметра сглаживания по яркостной составляющей. Низкий контраст требует использования небольшой степени сглаживания по яркости, иначе будет потеряна информация о границах, что ухудшит показатели работы алгоритмов интеллектуальной обработки потоковых данных. Высокая степень регулярности также показывает, что обрабатывается область с информацией текстуре, которую нужно сохранить для последующей обработки интеллектуальным алгоритмом. В свою очередь, в случае высокого уровня контраста можно использовать более сильную степень сглаживания, не боясь потерять информацию о текстуре. Также в случае малой степени регулярности в обрабатываемой области можно использовать высокую степень сглаживания для эффективного подавления шума, не боясь потерять информацию о структуре, имеющей случайный характер текстуры. Помимо этого степень сглаживания должна быть пропорциональна уровню шума. Таким степень сглаживания фильтра будет определяться следующим образом для каждого блока изображения:
Figure 00000002
где Ri - предложенная мера регулярности для обрабатываемого блока изображения, Rmax - максимальное значение предложенной меры регулярности среди всех блоков изображения, С - мера контраста в данном блоке, а - константа, значение которой подобрано эмпирическим путем. Данная константа подбирается исходя из достижения наилучших показателей алгоритмов визуального распознавания на размеченном наборе данных. Степень сглаживания может быть использована, например, в билатеральном фильтре в качестве параметра сглаживания по яркости:
Figure 00000003
где σD и σС - параметры сглаживания для геометрической и яркостной составляющей, ƒ(i,j,k) - регистрируемое значение интенсивности изображения в результате воздействия шума для k-го кадра в пикселе, имеющего пространственные координаты (i,j),
Figure 00000004
- результат фильтрации. Этот метод оценки степени сглаживания может применяться с любым типом фильтра, который имеет параметр меры сглаживания.
Обрабатывают изображение путем использования билатерального фильтра для каждой области изображения с использованием параметров, подобранных на предыдущем шаге.
Блок-схема возможного процесса обработки изображения представлена на Фиг. 4. Обрабатываемое изображение поступает на блоки определения ориентации (поз. 1) и модуля градиента (поз. 2), блок бинарного описания окрестности пикселей (поз. 3). В блоке бинарного описания окрестности выполняется кодирование пикселей на основе сравнения значений их окрестностей. Полученные коды идут в блок оценки регулярности (поз. 5), в котором может оцениваться степень регулярности как отдельных блоков изображения, так и каждого индивидуального пикселя на основании анализа окрестности, который будет быстро выполняться за счет интегральных свойств предложенной меры регулярности. Полученные меры регулярности идут в блок выбора параметров фильтрации (поз. 8), а также блок определения степени шума (поз. 6), выход которого затем идет в блок выбора параметров фильтрации (поз. 8). Выход блока определения модуля градиента (поз. 2) используется для выбора значимых значений пикселей (поз. 4). Этот выбор может быть осуществлен по статистике найденных значений модуля градиента. В блоке определения направления градиента (поз. 1) выбор направления максимальной величины градиента происходит выбором максимального модуля разности между пикселями с координатами (-1,0) и (1,0) (вертикальный градиент), (0,-1) и (0,1) (горизонтальный градиент), (-1,-1) и (1,1) (диагональный градиент под углом 45°), (-1,1) и (1,-1) (диагональный градиент под углом 135°). Полученные данные о модуле (поз. 2) и ориентации (поз. 1) градиента и значимых пикселей (поз. 4) используются в блоке определения контраста (поз. 7). Далее, по величине контраста (поз. 7), степени регулярности (поз. 5) и степени шума (поз. 6) подбираются параметры фильтрации (поз. 8), после чего выполняется фильтрация обрабатываемого изображения (поз. 9). При этом информация межпиксельных разностях, которая находится в блоках определения ориентации градиента (поз. 1) и описания окрестностей (поз. 3) может быть использована в блоке фильтрации (например, для определения весов билатерального фильтра), что позволяет сократить число операций. Эксперименты показали, что разработанная модель, реализованная в пакете математического моделирования MATLAB, обеспечивает более высокие результаты детектирования объектов на зашумленных изображениях базы PASCAL VOC Challenge 2007, точность может увеличиться на величину до 22%. Результаты представлены в таблице 1. На изображения накладывался Гауссовский шум с различной величиной среднеквадратического отклонения: 11, 16, 20, 23, 26. В качестве алгоритма обнаружения использовалась модель деформируемых частей. Оценивалась точность нахождения объектов в % согласно протоколу соревнования PASCAL VOC Challenge.
Figure 00000005
Согласно Фиг. 5, примерная система для реализации технического решения включает в себя устройство обработки данных 500. Устройство обработки данных 500 может быть сконфигурировано как клиент, сервер, мобильное устройство или любое другое вычислительное устройство, которое взаимодействует с данными в системе совместной работы, основанной на сети. В самой базовой конфигурации устройство обработки данных 500, как правило, включает в себя по меньшей мере один процессор 501 и устройство хранения данных 502. В зависимости от точной конфигурации и типа вычислительного устройства системная память 502 может быть энергозависимой (например, оперативное запоминающее устройство (ОЗУ, RAM)), энергонезависимой (например, постоянное запоминающее устройство (ПЗУ, ROM)) или некоторой их комбинацией. Устройство хранения данных 502, как правило, включает в себя одну или более прикладных программ 503 и может включать в себя данные 504 программ. Настоящее техническое решение как способ, описанное в деталях выше, реализовано в прикладных программах 503.
Устройство обработки данных 500 может иметь дополнительные особенности или функциональные возможности. Например, устройство обработки данных 500 может также включать в себя дополнительные устройства хранения данных (съемные и несъемные), такие как, например, магнитные диски, оптические диски или лента. Такие дополнительные хранилища проиллюстрированы на Фиг. 5 посредством несъемного хранилища 507 и съемного хранилища 508. Компьютерные носители данных могут включать в себя энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или при помощи любой технологии для хранения информации. Устройство хранения данных 502, несъемное хранилище 507 и съемное хранилище 508 являются примерами компьютерных носителей данных. Компьютерные носители данных включают в себя, но не в ограничительном смысле, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), электрически стираемое программируемое ПЗУ (EEPROM), флэш-память или память, выполненную по другой технологии, ПЗУ на компакт-диске (CD-ROM), универсальные цифровые диски (DVD) или другие оптические запоминающие устройства, магнитные кассеты, магнитные ленты, хранилища на магнитных дисках или другие магнитные запоминающие устройства, или любую другую среду, которая может быть использована для хранения желаемой информации и к которой может получить доступ устройство обработки данных 500. Любой такой компьютерный носитель данных может быть частью устройства 500. Устройство обработки данных 500 может также включать в себя устройство(а) 505 ввода, такие как клавиатура, мышь, перо, устройство с речевым вводом, устройство сенсорного ввода, и так далее. Устройство(а) 506 вывода, такие как дисплей, динамики, принтер и тому подобное, также могут быть включены в состав устройства.
Устройство обработки данных 500 содержит коммуникационные соединения, которые позволяют устройству связываться с другими вычислительными устройствами, например по сети. Сети включают в себя локальные сети и глобальные сети наряду с другими большими масштабируемыми сетями, включая, но не в ограничительном смысле, корпоративные сети и экстрасети. Коммуникационное соединение является примером коммуникационной среды. Как правило, коммуникационная среда может быть реализована при помощи машиночитаемых инструкций, структур данных, программных модулей или других данных в модулированном информационном сигнале, таком как несущая волна, или в другом транспортном механизме, и включает в себя любую среду доставки информации. Термин «модулированный информационный сигнал» означает сигнал, одна или более из его характеристик изменены или установлены таким образом, чтобы закодировать информацию в этом сигнале. Для примера, но без ограничения, коммуникационные среды включают в себя проводные среды, такие как проводная сеть или прямое проводное соединение, и беспроводные среды, такие как акустические, радиочастотные, инфракрасные и другие беспроводные среды. Термин «машиночитаемый носитель», как употребляется в этом документе, включает в себя как носители данных, так и коммуникационные среды.
На Фиг. 6 представлена блок-схема одного из вариантов реализации метода предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки.
Специалисту в данной области очевидно, что конкретные варианты осуществления метода предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущности объема технического решения.

Claims (19)

1. Метод предварительной обработки потоковых видеоданных, характеризующийся тем, что:
- получают поток видеоданных и извлекают из него фрагмент видеоданных;
- разбивают полученный на предыдущем шаге фрагмент видеоданных на кадры как отдельные изображения;
- разбивают каждое изображение, полученное на предыдущем шаге, на области;
- определяют меру регулярности каждой полученной на предыдущем шаге области изображения, где мера регулярности находит отношение числа пикселей, у которых есть только 2 перехода между «0» и «1» (первая группа) к числу остальных пикселей этой группы (2 группа) на основе анализа окрестности каждого пикселя путем оценки интегрального характера, где под анализом окрестности каждого пикселя подразумевается анализ 8 соседних значений пикселей путем сравнения их со значением центрального пикселя, которое взято в качестве порога, при этом пиксели, которые имеют значения больше, чем центральный пиксель, принимают значения «1», те, которые имеют значения меньше, чем центральный пиксель, принимают значение «0», а под оценкой интегрального характера подразумевается использование интегральных картинок от бинарных масок принадлежности пикселей к одной из двух групп;
- оценивают уровень шума на обрабатываемом изображении на основе определенных на предыдущем шаге мер регулярности областей этого изображения;
- определяют контрастность областей изображения;
- подбирают параметры билатерального фильтра для каждой области изображения исходя из найденных на предыдущих шагах меры регулярности, уровня шума, контрастности области изображения;
- обрабатывают изображение путем использования билатерального фильтра для каждой области изображения с использованием параметров, подобранных на предыдущем шаге, в результате чего получают отфильтрованное изображение.
2. Метод по п. 1, в котором изображения, полученные из фрагмента видеоданных, могут быть цветными, и/или черно-белыми, и/или в градациях серого.
3. Метод по п. 1, в котором изображение разбивают на равные неперекрывающиеся блоки изображения.
4. Метод по п. 3, в котором изображение разбивают на отдельные пиксели.
5. Метод по п. 4, в котором в качестве области изображения рассматривают каждый пиксель изображения, определяя его меру регулярности по блоку изображения, центр которого с ним совпадает.
6. Метод по п. 5, в котором учитывают размер отдельных областей изображения, для которых определяют меру регулярности, контрастность и параметры билатерального фильтра.
7. Система предварительной обработки потоковых видеоданных, содержащая:
- по крайней мере одно устройство обработки команд;
- по крайней мере одно устройство хранения данных;
- одну или более компьютерных программ, загружаемых в по крайней мере одно вышеупомянутое устройство хранения данных и выполняемых на по крайне мере одном из вышеупомянутых устройств обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа по любому из пп. 1-6.
8. Машиночитаемый носитель данных, содержащий исполняемые одним или более процессором машиночитаемые инструкции, которые при их исполнении реализуют выполнение метода предварительной обработки потоковых видеоданных, по любому из пп. 1-6.
RU2015150533A 2016-05-31 2016-05-31 Метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки RU2621635C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2015150533A RU2621635C1 (ru) 2016-05-31 2016-05-31 Метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2015150533A RU2621635C1 (ru) 2016-05-31 2016-05-31 Метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки

Publications (1)

Publication Number Publication Date
RU2621635C1 true RU2621635C1 (ru) 2017-06-06

Family

ID=59032007

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015150533A RU2621635C1 (ru) 2016-05-31 2016-05-31 Метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки

Country Status (1)

Country Link
RU (1) RU2621635C1 (ru)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2473138C2 (ru) * 2008-02-13 2013-01-20 Долби Лэборетериз Лайсенсинг Корпорейшн Временная фильтрация видеосигналов
US20130058587A1 (en) * 2011-09-02 2013-03-07 Jue Wang Motion Deblurring for Text Images
WO2014013405A1 (en) * 2012-07-20 2014-01-23 Koninklijke Philips N.V. Metadata for depth filtering
RU2521081C2 (ru) * 2008-07-11 2014-06-27 Квэлкомм Инкорпорейтед Фильтрация видеоданных с использованием множества фильтров
US20150326878A1 (en) * 2013-03-12 2015-11-12 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2473138C2 (ru) * 2008-02-13 2013-01-20 Долби Лэборетериз Лайсенсинг Корпорейшн Временная фильтрация видеосигналов
RU2521081C2 (ru) * 2008-07-11 2014-06-27 Квэлкомм Инкорпорейтед Фильтрация видеоданных с использованием множества фильтров
US20130058587A1 (en) * 2011-09-02 2013-03-07 Jue Wang Motion Deblurring for Text Images
WO2014013405A1 (en) * 2012-07-20 2014-01-23 Koninklijke Philips N.V. Metadata for depth filtering
US20150326878A1 (en) * 2013-03-12 2015-11-12 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression

Similar Documents

Publication Publication Date Title
CN107945125B (zh) 一种融合频谱估计法和卷积神经网络的模糊图像处理方法
CN104244015B (zh) 用于移除视频数据中的编码伪影的方法和***
JP4887544B2 (ja) 動画データのノイズ除去方法
US10521885B2 (en) Image processing device and image processing method
US8594449B2 (en) MPEG noise reduction
US20180122051A1 (en) Method and device for image haze removal
US8582915B2 (en) Image enhancement for challenging lighting conditions
US10181088B2 (en) Method for video object detection
TWI677239B (zh) 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
US20160189388A1 (en) Video segmentation method
CN111445424B (zh) 图像处理和移动终端视频处理方法、装置、设备和介质
JP5421727B2 (ja) 画像処理装置およびその制御方法
CN107767356B (zh) 一种图像处理方法和装置
CN110796615A (zh) 一种图像去噪方法、装置以及存储介质
WO2014070273A1 (en) Recursive conditional means image denoising
CN115619683B (zh) 图像处理方法、装置、设备、存储介质和计算机程序产品
Gong et al. Sub-window box filter
CN109255752B (zh) 图像自适应压缩方法、装置、终端及存储介质
WO2023226584A1 (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
US20230127009A1 (en) Joint objects image signal processing in temporal domain
KR20170133468A (ko) 비디오 향상의 시간적 평탄화
CN107886518B (zh) 图片检测方法、装置、电子设备及可读取存储介质
CN110536138B (zh) 一种有损压缩编码方法、装置和***级芯片
RU2621635C1 (ru) Метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки

Legal Events

Date Code Title Description
QB4A Licence on use of patent

Free format text: LICENCE

Effective date: 20170921

MM4A The patent is invalid due to non-payment of fees

Effective date: 20180601

NF4A Reinstatement of patent

Effective date: 20190312