RU2661330C1 - Способ ускорения осуществления операции детектирования и распознавания объектов на изображении - Google Patents
Способ ускорения осуществления операции детектирования и распознавания объектов на изображении Download PDFInfo
- Publication number
- RU2661330C1 RU2661330C1 RU2016150901A RU2016150901A RU2661330C1 RU 2661330 C1 RU2661330 C1 RU 2661330C1 RU 2016150901 A RU2016150901 A RU 2016150901A RU 2016150901 A RU2016150901 A RU 2016150901A RU 2661330 C1 RU2661330 C1 RU 2661330C1
- Authority
- RU
- Russia
- Prior art keywords
- list
- descriptors
- region
- image
- primary
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 239000000203 mixture Substances 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract 2
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к системам автоматического поиска объектов на изображениях. Техническим результатом является обеспечение возможности быстрого построения списка областей поиска объекта на изображении и бинарной маски области интереса ROI, которая определяет область поиска объектов на изображении. Предложен способ построения списка областей поиска объекта на изображении и бинарной маски области интереса ROI, которая определяет область поиска объектов на изображении. Способ содержит этап, на котором выполняют быструю сегментацию изображения с построением списка первичных регионов. Далее, согласно способу, полученные первичные регионы после фильтрации описывают дескрипторами по определенным правилам. Формируют список дескрипторов первичных регионов, выполняют построение списка областей поиска и бинарной маски области интереса. Перед построением списка областей поиска и бинарной маски региона интереса на основе сформированного списка дескрипторов первичных регионов выполняют иерархическую итерационную процедуру фильтрации и композиции регионов и формируют выходной список дескрипторов регионов. 3 ил.
Description
Изобретение относится к системам автоматического поиска объектов на изображениях. Детектирование и распознавание объектов на изображении является сложной и ресурсоемкой вычислительной задачей. Поэтому задача ускорения детектирования и распознавания объектов на изображении является актуальной.
Известен способ быстрого обнаружения объекта интереса (US 2015235105 А1, 20.08.2015), который включает определение области объекта интереса для изображения с помощью обучающих изображений. Недостатком такого способа является необходимость заранее иметь набор обучающих изображений, что исключает задачу распознавания объектов.
Наиболее близким аналогом может служить способ обнаружения области интереса (US 2016162746 А1, 09.06.2016), в котором делят кадр на множество субрегионов, выделяют характеристический знак каждого субрегиона среди множества субрегионов, проверяют, принадлежит ли характеристический знак изображению, и на основе этого определяют данный субрегион как область интереса. Недостатком такого способа является необходимость проверки всех субрегионов, что поднимает требования к вычислимым ресурсам.
Техническая задача заявляемого изобретения состоит в разработке нового способа детектирования и распознавания объектов.
Технический результат, получаемый при реализации способа, состоит в обеспечении возможности быстрого построения списка областей поиска объекта на изображении и бинарной маски области интереса ROI, которая определяет область поиска объектов на изображении. Данный способ позволяет многократно сократить вычислительную ресурсоемкость алгоритмов поиска и распознавания объектов.
Настоящее изобретение использует возможность провести предварительные вычисления меньшей сложности, для получения описания области поиска и бинарной маски области интереса (ROI - region of interest). Рассчитанная область поиска и маска области интереса, как правило, имеют площадь, существенно меньшую, чем исходное изображение, что позволяет сократить вычисления при дальнейшем проведении детектирования и распознавания объектов на изображении.
В предлагаемом способе это достигается путем проведения следующей последовательности действий (Фиг. 1):
1) быстрая сегментация изображения. Полученные сегменты после фильтрации по определенным правилам описываются дескрипторами, формируется список дескрипторов, соответствующий списку сегментов - первичных регионов;
2) иерархическая итерационная процедура фильтрации и композиции регионов. На основе указанного выше списка дескрипторов регионов строится выходной список дескрипторов регионов;
3) построение списка областей поиска и бинарной маски ROI.
Описываемый способ может быть применен как и для многоканальных изображений, так и для одноканальных изображений различной разрядности.
На первом этапе изображение подвергается сегментации, для получаемых сегментов формируется список дескрипторов первичных регионов на основе параметров эллипсов рассеяния найденных сегментов. Сегментация изображения с одновременным расчетом параметров эллипса рассеяния сегмента производится быстрым однопроходным методом, который основан на вычислении функции близости кодов значений интенсивности соседних пикселей. Для этого используются кодировки значений интенсивности
F(Code(I(x), Code(I(y)))
где x, y - координаты соседних пикселей, I - интенсивность пикселя, Code - функция кодировки интенсивности, формирующая код интенсивности, F - функция близости кодов интенсивностей, формирующая булево значение: истина - коды близки, ложь - коды далеки.
В зависимости от специфики исходной задачи применятся различные функции близости кодов интенсивностей и функции кодировки интенсивностей. Например, функция близости кодов интенсивностей может выполнять сравнение этих кодов.
Параметры эллипсов рассеяния рассчитываются при помощи вычисления первых моментов и вторых центральных моментов сегмента. Малые сегменты при расчетах отбрасываются, что позволяет существенно сократить число первичных регионов. Дескриптор региона содержит как минимум следующую информацию:
- координаты центра сегмента;
- число пикселей;
- размеры полуосей эллипса рассеяния;
- угол наклона главной оси эллипса.
Вычисление эллипсов рассеяния - сжатых представлений входных сегментов. Пусть С - матрица вторых центральных моментов, вычисленная по всем пикселям сегмента
где
Центр эллипса рассеяния задается формулой 2. Большая а и малая b полуоси эллипса, а также его ориентация - угол Θ между большой полуосью и положительным направлением оси ОХ в системе координат входного изображения, - вычисляются по следующим формулам:
где
На втором этапе проводится иерархическая итерационная процедура фильтрации и композиции регионов, основанная на анализе их дескрипторов и строится выходной набор дескрипторов регионов.
В итеративной процедуре фильтрации и объединения на каждом шаге просматриваются все дескрипторы регионов из списка и для каждого подбирается наиболее подходящий по оценке формируемой моделью согласования дескрипторов, не просмотренных на данном шаге (Фиг. 2). На каждом шаге итерации используется своя модель согласования дескрипторов. Если наилучшая оценка согласования превышает заданный порог, то в выходной список помещается дескриптор, описывающий композицию регионов, связанных текущим дескриптором и найденным подходящим дескриптором, иначе текущий дескриптор записывается в выходной список при выполнении заданного условия сохранения, которое меняется для каждого шага процедуры. Для последующих шагов процедуры входным списком дескрипторов регионов является выходной список, полученный на предыдущем шаге. Полученный на последнем шаге набор дескрипторов регионов является выходным для описываемой процедуры. Применяются различные модели согласования дескрипторов в зависимости от специфики задачи.
На третьем этапе по полученному набору дескрипторов формируются список областей поиска и бинарная маска области интереса - ROI, которая определяет область поиска объектов.
Выходной список последнего шага процедуры формирует список дескрипторов, по которым строится список областей поиска объектов и бинарная маска ROI. Построение маски ROI производится путем отрисовки эллипсов, соответствующих дескрипторам в выходном списке регионов. Пример построения бинарной маски показан на Фиг. 3. При отрисовке эллипсов выбирается выходное разрешение, аддитивное и мультипликативное расширение эллипсов.
Заявленный способ может быть использован, например, при поиске объектов - транспортных средств на автодорогах. В этом случае предложенный способ может быть использован дважды: для ROI, содержащего дорогу, и для поиска ROI, содержащего прямоугольные объекты.
Claims (17)
- Способ построения списка областей поиска объекта на изображении и бинарной маски области интереса ROI, которая определяет область поиска объектов на изображении, включающий в себя выполнение следующих операций:
- - выполняют быструю сегментацию изображения с построением списка первичных регионов,
- - полученные первичные регионы после фильтрации описывают дескрипторами по определенным правилам,
- - формируют список дескрипторов первичных регионов,
- - выполняют построение списка областей поиска и бинарной маски области интереса, отличающийся тем, что перед построением списка областей поиска и бинарной маски региона интереса на основе сформированного списка дескрипторов первичных регионов выполняют иерархическую итерационную процедуру фильтрации и композиции регионов и формируют выходной список дескрипторов регионов, причем сегментацию изображения производят с одновременным расчетом параметров эллипса рассеяния первичного региона быстрым однопроходным методом, который основан на вычислении функции близости кодов значений интенсивности соседних пикселей, для чего используют кодировки значений интенсивности
- F(Code(I(x)),Code(I(y))),
- где x, y - координаты соседних пикселей, I - интенсивность пикселя, Code - функция кодировки интенсивности, формирующая код интенсивности, F - функция близости кодов интенсивностей, формирующая булево значение: истина - коды близки, ложь - коды далеки, список дескрипторов первичных регионов в составе координаты центра первичного региона, числа пикселей, размеров полуосей эллипса рассеяния, угла наклона главной оси эллипса формируют на основе параметров эллипсов рассеяния первичных регионов, параметры эллипсов рассеяния рассчитывают при помощи вычисления первых моментов и вторых центральных моментов первичного региона по формулам
- где a - большая и b - малая полуоси эллипса, Θ - угол между большой полуосью и положительным направлением оси 0Х в системе координат входного изображения,
- cij - элементы матрицы вторых центральных моментов, рассчитываемая как
- в итерационной процедуре фильтрации и объединения на каждом шаге используют разные модели согласования дескрипторов, просматривают все дескрипторы регионов из списка и для каждого региона в соответствии с моделью согласования данного шага подбирают наиболее подходящий по оценке согласования дескриптор, при превышении наилучшей оценки согласования заданного порога в выходной список дескрипторов регионов помещают дескриптор, описывающий композицию регионов, соответствующих текущему дескриптору и найденному подходящему дескриптору, иначе в выходной список дескрипторов записывают текущий дескриптор, процедуру фильтрации и объединения повторяют для всех заданных моделей согласования дескрипторов, построение бинарной маски области интереса производят путем отрисовки эллипсов, соответствующих дескрипторам в выходном списке регионов.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2016150901A RU2661330C1 (ru) | 2016-12-23 | 2016-12-23 | Способ ускорения осуществления операции детектирования и распознавания объектов на изображении |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2016150901A RU2661330C1 (ru) | 2016-12-23 | 2016-12-23 | Способ ускорения осуществления операции детектирования и распознавания объектов на изображении |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2661330C1 true RU2661330C1 (ru) | 2018-07-13 |
Family
ID=62916930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2016150901A RU2661330C1 (ru) | 2016-12-23 | 2016-12-23 | Способ ускорения осуществления операции детектирования и распознавания объектов на изображении |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2661330C1 (ru) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2438174C1 (ru) * | 2010-06-15 | 2011-12-27 | Общество с ограниченной ответственностью "Томсклаб" | Способ распознавания объектов |
US20120095982A1 (en) * | 2000-11-13 | 2012-04-19 | Lennington John W | Digital Media Recognition Apparatus and Methods |
RU2533441C2 (ru) * | 2009-12-30 | 2014-11-20 | Нокиа Корпорейшн | Способ и устройство для обеспечения поиска изображения по содержимому |
RU2541918C2 (ru) * | 2013-06-18 | 2015-02-20 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") | Устройство автоматизированного распознавания лиц при обработке групповой фотографии |
US20150235105A1 (en) * | 2014-02-14 | 2015-08-20 | Electronics And Telecommunications Research Institute | Apparatus and method for rapidly detecting object of interest |
US20160162746A1 (en) * | 2014-05-16 | 2016-06-09 | Mediatek Inc. | Detection devices and methods for detecting regions of interest |
-
2016
- 2016-12-23 RU RU2016150901A patent/RU2661330C1/ru not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120095982A1 (en) * | 2000-11-13 | 2012-04-19 | Lennington John W | Digital Media Recognition Apparatus and Methods |
RU2533441C2 (ru) * | 2009-12-30 | 2014-11-20 | Нокиа Корпорейшн | Способ и устройство для обеспечения поиска изображения по содержимому |
RU2438174C1 (ru) * | 2010-06-15 | 2011-12-27 | Общество с ограниченной ответственностью "Томсклаб" | Способ распознавания объектов |
RU2541918C2 (ru) * | 2013-06-18 | 2015-02-20 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") | Устройство автоматизированного распознавания лиц при обработке групповой фотографии |
US20150235105A1 (en) * | 2014-02-14 | 2015-08-20 | Electronics And Telecommunications Research Institute | Apparatus and method for rapidly detecting object of interest |
US20160162746A1 (en) * | 2014-05-16 | 2016-06-09 | Mediatek Inc. | Detection devices and methods for detecting regions of interest |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN110738125B (zh) | 利用Mask R-CNN选择检测框的方法、装置及存储介质 | |
WO2023138300A1 (zh) | 目标检测方法及应用其的移动目标跟踪方法 | |
CN109753913B (zh) | 计算高效的多模式视频语义分割方法 | |
CN109918969B (zh) | 人脸检测方法及装置、计算机装置和计算机可读存储介质 | |
US9754192B2 (en) | Object detection utilizing geometric information fused with image data | |
CN109583345B (zh) | 道路识别方法、装置、计算机装置及计算机可读存储介质 | |
KR101896357B1 (ko) | 객체를 검출하는 방법, 디바이스 및 프로그램 | |
Li et al. | Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing | |
CN110889421A (zh) | 目标物检测方法及装置 | |
CN107944437B (zh) | 一种基于神经网络和积分图像的人脸定位方法 | |
US20130342559A1 (en) | Temporally consistent superpixels | |
CN111950389B (zh) | 一种基于轻量级网络的深度二值特征人脸表情识别方法 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN111951283A (zh) | 一种基于深度学习的医学图像识别方法及*** | |
CN113971644A (zh) | 基于数据增强策略选择的图像识别方法及装置 | |
CN113297959A (zh) | 一种基于角点注意力孪生网络的目标跟踪方法及*** | |
CN112800978A (zh) | 属性识别方法、部位属性提取网络的训练方法和装置 | |
CN116310688A (zh) | 基于级联融合的目标检测模型及其构建方法、装置及应用 | |
CN117765485A (zh) | 基于改进的深度残差网络的车型识别方法、装置和设备 | |
CN111160282B (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
CN112614134A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
CN111738069A (zh) | 人脸检测方法、装置、电子设备及存储介质 | |
RU2661330C1 (ru) | Способ ускорения осуществления операции детектирования и распознавания объектов на изображении | |
KR101592087B1 (ko) | 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
QB4A | Licence on use of patent |
Free format text: LICENCE FORMERLY AGREED ON 20190513 Effective date: 20190513 |
|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20191224 |