RU2542876C2 - Устройство выделения высокодетализированных объектов на изображении сцены - Google Patents

Abstract

Изобретение относится к устройствам выделения высокодетализированных объектов. Технический результат заключается в выделении на изображениях и видеопоследовательностях высокодетализированных объектов на произвольном низкодетализированном фоне. Устройство содержит блок хранения входной реализации, блок управления, блок детектора границ Канни, блок определения общего коэффициента детализации, блок выбора скользящего окна, блок определения коэффициента детализации в скользящем окне, блок сравнения, блок хранения выходной реализации, генератор тактовых импульсов. 1 ил.

Description

Изобретение относится к области вычислительной техники и может быть использовано в цифровых телевизионных и фотосистемах, глобальных системах позиционирования и наблюдения.

Основная решаемая задача - выделение высокодетализированного объекта на произвольном низкодетализированном фоне.

При автоматизации информационных, радиоэлектронных и других систем, работающих с изображениями, а также для более точного анализа и принятия решений важным аспектом является прием качественного двумерного сигнала, однако в случае невозможности получения появляется необходимость в его улучшении, то есть в проведении предварительной обработки.

К предобработке относятся: отделение объекта от фона, повышение четкости контуров, фильтрация с различными параметрами. Однако ограниченный объем используемых вычислительных ресурсов ведет к повышению времени обработки сигнала либо к применению менее требовательных к вычислительным затратам методов, но в большинстве случаев не обеспечивающих достаточного качества фильтрации изображения.

Решение задачи отделения объекта от фона на изображении дает возможность выделить области с высокой детализацией объектов и области - фон, не несущие полезной информации. Поэтому задача поиска и выделения объекта или интересующих участков объекта на изображении сцены является сложной комплексной задачей, решение которой позволит:

1. Производить обработку выделенных участков методами, требующими высоких вычислительных затрат, но являющимися точными и качественными.

2. Локализовать области обработки и повысить быстродействие вычислительных систем.

Известен способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине [Патент №2426172, МПК G06K 9/34]. Изобретение относится к области распознавания и сегментации изображений, в частности к способу для выделения целевого объекта из фонового изображения с использованием маски. Техническим результатом является создание усовершенствованного способа выделения данных об изображении объекта, используя данные о глубине изображения. Указанный технический результат достигается тем, что создают скалярное изображение на основе разделения объекта и фона. Различие определяется по разности освещенности. В области, где разность освещенности ниже заранее установленного порогового значения, на основе разности цвета по результатам, полученным из предыдущего видеокадра, инициализируют маску. Там где скалярное изображение разности меньше заранее установленного порога, маску заполняют единицами, где соответствующий пиксель принадлежит объекту, и нулями в ином случае. Затем кластеризуют скалярное изображение разности и на основе нескольких кластеров и создают маску для каждого положения пикселя видеокадра. Используя центры тяжести кластеров скалярной разности и данные по глубине для текущего положения пикселя, компенсируют изменения фона сцены во времени путем обновления изображения фона на основе использования созданной маски и изображения разности. Полученный отделенный объект сохраняется для последующей обработки.

Признаки способа и системы - аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение целевого объекта из фонового изображения.

Недостатками известного способа и системы являются:

Требуется обязательное использование видеокамер.

Исследование видеопотока требует больших вычислительных затрат.

Известен способ выделения объекта на изображении на основе решения уравнений Пуассона (Poisson matting for images) [Patent USA №7636128]. Способ основан на решении системы уравнений Пуассона с граничными условиями для изображения, сегментированного на три области: передний план, фон, неизвестная область, разделяющая передний план и фон. Для разделения объектов решают уравнение Пуассона вида:

$$\alpha *=\arg \underset{\alpha }{\min }{\displaystyle \iint {}_{z\in \Omega }\Vert \nabla {\alpha }_z-\frac{1}{F_z-B_z}}\nabla I_z\Vert {}^{2}dz$$

с граничным условием Дирихле:

$$\alpha {\left|{}_{\partial \Omega }=\overline{\alpha }\right|}_{\partial \Omega },\overline{\alpha }|{}_{\partial \Omega }=\{\begin{array}{l}1,p\in {\Omega }_F\\ 0,p\in {\Omega }_B\end{array}.$$

Найденное решение системы уравнений Пуассона позволяет разделение объектов, т.е. альфа-каналом изображения, для уточнения которого применяют локальные фильтры, позволяющие вручную исправить окончательный результат с помощью решения локальных уравнений Пуассона.

Признаки способа - аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение объекта из фонового изображения.

Недостатками известного способа являются: применение локальных фильтров, исправляющие вручную окончательный результат с помощью решения локальных уравнений Пуассона, что не позволяет получить эффективной автоматизированной системы обработки.

Известно устройство выделения контуров объектов на изображении [Патент №2362210, МПК G06K 9/36, G06K 9/62, A61B 5/04]. Изобретение относится к области распознавания образов и может быть использовано в системах технического зрения при решении задач предварительной обработки изображения.

Алгоритм обработки изображений включает в себя следующие операции: фильтрацию, пространственное дифференцирование, скелетизацию и пороговую обработку.

Изображение фиксируется датчиком изображения, переводящим его в телевизионный сигнал. При появлении кадрового синхроимпульса формируется сигнал начала кадра, по которому ЦСП переходит в состояние ожидания подтверждения данных, приходящего по окончании строчного синхроимпульса, по которому ЦСП выполняет последовательное считывание строки изображения с информационного выхода АЦП в ОЗУ. Таким образом, вводится весь кадр. Обработка изображений ведется параллельно со вводом следующего кадра.

При фильтрации ЦСП передает пять смежных строк изображения в буферную память блока фильтрации. В буферную память блока фильтрации записывается пять смежных строк изображения. На основании пяти строк изображения, находящихся в буферной памяти блока фильтрации, блок фильтрации формирует результирующую строку отфильтрованного изображения по формуле:

$$f^{\prime }\left(z,y\right)=f\left(x,y\right)\cdot {\overline{T}}_D={\displaystyle \sum _{i=1}^{N_T}{\displaystyle \sum _{j=1}^{N_T}f\left(x+j-\frac{N_T}{2}-1,y+i-\frac{N_T}{2}-1\right)\cdot {\overline{t}}_{ij},{\overline{T}}_D={\Vert {\overline{t}}_{ij}\Vert }_{i={\overline{1,N_T,}}_{j=\overline{1,N_T}}},}}$$

где: N_T - размер маски, $${\overline{T}}_D$$

- маска свертки.

$${\overline{T}}_D=\left(\begin{array}{ccccc}1& 5& 7& 5& 1\\ 5& 20& 33& 20& 5\\ 7& 33& 55& 33& 7\\ 5& 20& 33& 20& 5\\ 1& 5& 7& 5& 1\end{array}\right)$$

При пространственном дифференцировании ЦСП передает три смежные строки изображения в буферную память блока пространственного дифференцирования. На основании трех строк изображения, находящихся в буферной памяти блока пространственного дифференцирования, формирующего результирующую строку обработанного изображения по формуле

$$Gr=\langle \sqrt{d_x^2+d_y^2},arctg\left(\frac{d_y}{d_x}\right)\rangle$$

где d_х(х,у), d_y(x,y)- результаты свертки изображения I′ с горизонтальной Н_х и вертикальной Н_у масками соответственно

$$d_x\left(x,y\right)=f^{\prime }\left(x,y\right)\cdot H_x={\displaystyle \sum _{i=1}^3{\displaystyle \sum _{j=1}^3{f}^{\prime }}\left(x+j-2,y+k-2\right)\cdot h_{jk}^{(x)},i=\overline{1,2,}}$$

$$d_y\left(x,y\right)=f^{\prime }\left(x,y\right)\cdot H_y={\displaystyle \sum _{i=1}^3{\displaystyle \sum _{j=1}^3{f}^{\prime }}\left(x+j-2,y+k-2\right)\cdot h_{jk}^{(y)},i=\overline{1,2,}}$$

$$H_x=\Vert \begin{array}{ccc}{h}_{12}^{(x)}& h_{12}^{(x)}& h_{13}^{(x)}\\ h_{21}^{(x)}& h_{22}^{(x)}& h_{23}^{(x)}\\ h_{31}^{(x)}& h_{32}^{(x)}& h_{33}^{(x)}\end{array}\Vert =\Vert \begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\Vert ,$$

$$H_y=\Vert \begin{array}{ccc}{h}_{12}^{(y)}& h_{12}^{(y)}& h_{13}^{(y)}\\ h_{21}^{(y)}& h_{22}^{(y)}& h_{23}^{(y)}\\ h_{31}^{(y)}& h_{32}^{(y)}& h_{33}^{(y)}\end{array}\Vert =\Vert \begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\Vert ,$$

Таким образом, вычисления, производимые блоком пространственного дифференцирования, сводятся к операциям сложения, выполняемым с помощью сумматоров и логических элементов, что позволяет реализовать данный блок на ПЛИС. Операции скелетизации и бинаризации полностью выполняются процессором.

Признаки устройства - аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение контуров объекта на изображении.

Недостатками известного устройства являются: Поиск контуров производится по анализу данных, получаемых из анализа видеопотока, и требует больших вычислительных затрат.

Наиболее близким к изобретению является способ автоматического обнаружения лица на электронном оцифрованном изображении [Patent EP 1777643 A4]. Изобретение относится к способам распознавания образов путем выделения деталей или характеристик изображения и может быть использовано для автоматического обнаружения лица на электронном оцифрованном изображении, полученного с цифровой камеры или фотоаппарата в реальных, специально неконтролируемых условиях съемки. Автоматическое обнаружение лица на изображении осуществляется в два этапа: на первом этапе производят процедуры предварительной фильтрации, которые состоят из улучшения изображения посредством усредняющих фильтров, фильтров по выявлению краев изображения, процедуры последующей фильтрации контуров - предположительно принадлежащих элементам лица: овала, глаз, рта и т.д. На следующем этапе проводится поиск элементов лица с последующим их удостоверением посредством проверки статистических соотношений между ними, отличающийся тем, что предварительно сужают область поиска лица путем определения области расположения головы с помощью предварительной фильтрации верхних фрагментов контура головы.

Фильтрация верхних фрагментов контура головы проводится путем поиска наиболее вероятных кандидатов на другие фрагменты контура головы: боковых сторон, глаз, плеч, проверки статистических соотношений между ними и последующего поиска в областях наиболее вероятного расположения с помощью шаблонов модели контура головы. Определение положения глаз на изображении в окрестности найденного положения головы проводят предварительную фильтрацию элементов лица с помощью фильтров горизонтальных и вертикальных краев.

Признаки способа - прототипа, совпадающие с признаками заявляемого технического решения, следующие: обработка двумерного цифрового сигнала, выделение объектов со сложным контуром (глаза, рот, волосы) на произвольном мало детализированном фоне (кожа лица) и их предобработка.

Недостатками известного способа и устройства, его реализующего, являются требование к правильному формированию массива шаблонов, требуемых для последующего поиска, большие вычислительные затраты на обработку.

Предлагаемое устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений позволяет выделять высокодетализированный объект на произвольном низкодетализированном фоне. Устройство реализует следующий алгоритм:

- Первый шаг осуществляется поиском на исходном изображении / границ, применяя детектор Канни (Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. - М.: Техносфера, 2006. - 616 с). Данный метод детектирования границ основан на последовательном выполнении операции сглаживания изображения с целью увеличения отношения сигнал/шум путем нахождения градиента изображения с целью подсветки области с высоким пространственным разрешением, подавления всех пикселей, которые не в максимуме (немаксимальное подавление) и уменьшения градиентного массива путем использования гистерезиса с целью отслеживания оставшихся пикселей, которые не были подавлены. Результатом фильтрации является определение пространственной функции изображения объекта с использованием оптимального по Канни оператора - гауссиана

f(x)=-x^*exp(-x²/k₂s²),

где x - переменная; s - стандартное отклонение оператора Гаусса; * - «оптимальный» линейный оператор для свертки с изображением; к₂=2.

- На втором шаге, используя полученные границы, подсчитывается общий коэффициент детализации, который определяется по формуле (1):

$$\frac{{\displaystyle \sum I\left(x,y\right)}}{i\cdot j}=P_{\text{общий}},\text{ (1)}$$

где I(х,у) - значение пикселя с координатами х и у; i - количество строк; j - количество столбцов; P - коэффициент детализации.

На третьем шаге подобным выражению (1) вычисляется коэффициент детализации в каждом скользящем окне:

$$\frac{{\displaystyle \sum I\left(x,y\right)}}{0.1\cdot i\cdot j}=P_{\text{окна}},\text{ (2)}$$

где 0,1- коэффициент усреднения, связанный с автоматическим выбором размера окна, равного 10% от общего изображения.

- На четвертом шаге коэффициенты детализации Р_общий и Р_окна сравниваются, после чего принимается решение о детализированности в данном окне, и окно сдвигается.

Устройство выделения высокодетализированных объектов на изображении сцены (фиг.1) содержит блок хранения входной реализации 1, вход которого является информационным входом устройства, выход подключен к входу блока управления 2 и первому входу блока детектора границ Канни 3, выход которого подключен к первому входу блока выбора скользящего окна 5 и первому входу блока определения общего коэффициента детализации 4, выход которого подключен к первому входу блока сравнения 7, выход которого подключен к первому входу блока хранения выходной реализации 8, выход которого является информационным выходом устройства; выход блока выбора скользящего окна 5 подключен к перовому входу блока определения коэффициента детализации в скользящем окне 6, выход которого подключен ко второму входу блока сравнения 7; выход блока управления 2 подключен ко второму входу блока детектора границ Канни 3, к второму входу блока определения общего коэффициента детализации 4, к второму входу блока выбора скользящего окна 5, к второму входу блока определения коэффициента детализации в скользящем окне 6 и к второму входу блока хранения выходной реализации 8; синхронность работы устройства обеспечивается генератором тактовых импульсов 9.

Устройство выделения высокодетализированных объектов на изображении сцены работает следующим образом: на вход блока хранения входной реализации 1 поступает исходное изображение, на котором представлен некоторый объект на произвольном фоне. С помощью блока управления 2 автоматически выбираются размеры изображения, коэффициент усреднения, связанный с автоматическим выбором размера окна, коэффициент оператора - гауссиана детектора Канни. С выхода блока хранения входной реализации 1 изображение поступает на первый вход блока детектора границ Канни 3. Значение коэффициента оператора - гауссиана поступает с выхода блока управления 2 на второй вход блока детектора границ Канни 3. В блоке детектора границ Канни 3 происходит выделение границ на исходном изображении. Полученное изображение с выделенными границами из выхода блока детектора границ Канни 3 поступает на первый вход блока определения общего коэффициента детализации 4, ко второму входу которого подключен выход блока управления 2, осуществляющий подачу величин размеров изображения. В блоке определения общего коэффициента детализации 4 происходит вычисление Р_общий, по формуле (1). Полученный в результате расчета коэффициент Р_общий подается с выхода блока определения общего коэффициента детализации 4 на вход блока сравнения 7. Одновременно с этим на первый вход блока выбора скользящего окна 5 подается изображение с выделенными границами из выхода блока детектора границ Канни 3. Ко второму входу блока выбора скользящего окна 5 подключен выход блока управления 2, осуществляющий подачу величин размеров изображения i,j, а также коэффициент усреднения, связанный с автоматическим выбором размера окна. Блок выбора скользящего окна 5 осуществляет выбор фрагмента изображения размерами данного скользящего окна. Полученный фрагмент изображения с выхода блока выбора скользящего окна 5 поступает на первый вход блока определения коэффициента детализации в скользящем окне 6, второй вход которого подключен к блоку управления 2, осуществляющий подачу величин размеров изображения i,j, а также коэффициента усреднения, связанный с автоматическим выбором размера окна. В блоке определения коэффициента детализации в скользящем окне 6 происходит вычисление P_окна согласно выражению (2). Полученный коэффициент детализации P_окна с выхода блока определения коэффициента детализации в скользящем окне 6 поступает на второй вход блока сравнения 7, где P_общий и P_окна сравниваются и принимается решение о детализированности данного скользящего окна. Полученные данные с выхода блока сравнения 7 поступают на вход блока хранения выходной реализации 8, где записываются в заданных координатах i,j, поступающих на второй вход блока хранения выходной реализации 8 с выхода блока управления 2. Выход блока хранения выходной реализации 8 является информационным выходом устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 9.

Технический результат - выделение на изображениях и видеопоследовательностях высокодетализированных объектов на произвольном низкодетализированном фоне.

Claims (1)

1. Устройство выделения высокодетализированных объектов на изображении сцены, содержащее блок хранения входной реализации, вход которого является информационным входом устройства и блока хранения выходной реализации, выход которого является информационным выходом устройства, отличающееся тем, что выход блока хранения входной реализации подключен к входу блока управления и первому входу блока детектора границ Канни, выход которого подключен к первому входу блока выбора скользящего окна и первому входу блока определения общего коэффициента детализации, выход которого подключен к первому входу блока сравнения, выход которого подключен к первому входу блока хранения выходной реализации; выход блока выбора скользящего окна подключен к первому входу блока определения коэффициента детализации в скользящем окне, выход которого подключен ко второму входу блока сравнения; выход блока управления подключен ко второму входу блока детектора границ Канни, к второму входу блока определения общего коэффициента детализации, к второму входу блока выбора скользящего окна, к второму входу блока определения коэффициента детализации в скользящем окне и к второму входу блока хранения выходной реализации; синхронность работы устройства обеспечивается генератором тактовых импульсов.