CN112767444B - 运动目标检测方法、可读存储介质和电子设备 - Google Patents
运动目标检测方法、可读存储介质和电子设备 Download PDFInfo
- Publication number
- CN112767444B CN112767444B CN202110067612.2A CN202110067612A CN112767444B CN 112767444 B CN112767444 B CN 112767444B CN 202110067612 A CN202110067612 A CN 202110067612A CN 112767444 B CN112767444 B CN 112767444B
- Authority
- CN
- China
- Prior art keywords
- detected
- image
- target
- motion
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 238000003062 neural network model Methods 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 abstract description 14
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提出运动目标检测方法、可读存储介质和电子设备。方法包括：从视频流中获取一帧采集图像；检测所述采集图像中的各运动区域；从所述采集图像中提取包含检测到的所有运动区域的待检测图像；将所述待检测图像输入预先创建的神经网络模型，其中，所述神经网络模型用于从所述待检测图像中检测目标；获取所述神经网络模型对所述目标的检测结果；将所述检测结果中包含的目标映射在所述采集图像上。本发明实施例提高了运动目标检测的精确度。
Description
技术领域
本发明涉及目标检测技术领域，尤其涉及运动目标检测方法、可读存储介质和电子设备。
背景技术
在目前的移动区域跟踪算法中，先使用背景差分法获得移动区域，再根据移动区域的颜色直方图进行卡尔曼滤波以实现移动区域的跟踪。
该方法的缺点如下：
一、通过背景差分法获得的移动区域精确度较差，对光照和外界无关事件的干扰较为敏感。
二、使用颜色直方图来对人体建模，这种方法的精确度很低，只通过颜色直方图无法特别精确地确定该部分是人体，且时间稳定性差。
现有的目标检测技术主要有两类，一类是研究型，其主要目的在于追求极致的检测精度，而不会过多的关注检测时间、资源消耗问题，所以模型一般较大；另一类是落地型，主要目的是平衡检测精度和检测时间和资源消耗，但其应用平台算力大多也不会太差，模型为中型。
而当应用平台的算力比较低时，模型为小型，输入帧的分辨率也较低，此时目标检测的检测效果往往会出现检测距离近、误检较多等问题。
发明内容
本发明实施例提出运动目标检测方法、可读存储介质和电子设备，以提高运动目标检测的精确度。
本发明实施例的技术方案是这样实现的：
一种运动目标检测方法，该运动目标检测方法包括：
从视频流中获取一帧采集图像；
检测所述采集图像中的各运动区域；
从所述采集图像中提取包含检测到的所有运动区域的待检测图像；
将所述待检测图像输入预先创建的神经网络模型，其中，所述神经网络模型用于从所述待检测图像中检测目标；
获取所述神经网络模型对所述目标的检测结果；
将所述检测结果中包含的目标映射在所述采集图像上。
所述检测所述采集图像中的各运动区域，包括：
利用移动侦测算法检测所述采集图像中的各运动区域。
所述从所述采集图像中提取包含检测到的所有运动区域的待检测图像，包括：
利用预先设定的剪裁窗口，从所述采集图像中裁剪出包含检测到的所有运动区域的待检测图像。
所述从所述采集图像中提取包含检测到的所有运动区域的待检测图像，包括：
从所述采集图像中裁剪出包含检测到的所有运动区域的最小矩形，将该最小矩形包含的图像作为所述待检测图像。
所述利用移动侦测算法检测所述采集图像中的各运动区域，包括：
利用预设的掩码块的形状和大小，将所述采集图像划分成多个互不重叠的相交掩码块；
利用所述移动侦测算法对每个所述掩码块执行移动侦测；
将侦测到移动现象的每个掩码块分别作为一个运动区域。
所述利用所述移动侦测算法对每个所述掩码块执行移动侦测，进一步包括：
将侦测到移动现象的每个掩码块的掩码值分别设定为第一预设值，且将未侦测到移动现象的每个掩码块的掩码值分别设定为第二预设值。
所述将所述检测结果中包含的目标映射在所述采集图像上之前，进一步包括：
获取所述检测结果中包含的所述目标的置信度；且，
将所述检测结果中包含的目标映射在所述采集图像上之后，进一步包括：
对于采集图像上的每个目标，判断该目标包含的所有掩码块的掩码值是否都为第二预设值，若是，判断该目标的置信度是否小于预设阈值，若小于，则将该目标确定为误判目标，且取消该目标在所述采集图像上的映射。
所述将所述待检测图像输入预先创建的神经网络模型之前，进一步包括：
将该待检测图像的分辨率转换为与所述神经网络模型的输入图像分辨率相同。
一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上任一项所述的运动目标检测方法的步骤。
一种电子设备，包括如上所述的非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。
本发明实施例中，检测出采集图像中的运动区域后，从采集图像中提取包含检测到的所有运动区域的待检测图像，将该待检测图像输入预先创建的神经网络模型进行目标检测，然后将检测结果中包含的目标映射在采集图像上，从而先过滤掉了采集图像中未发生移动的区域，缩小了目标检测范围，则相当于提升了目标检测距离，同时提高了运动目标检测精确度。
附图说明
图1为本发明一实施例提供的运动目标检测方法流程图；
图2为本发明另一实施例提供的运动目标检测方法流程图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明一实施例提供的运动目标检测方法流程图，其具体步骤如下：
步骤101：从视频流中获取一帧采集图像。
步骤102：检测该采集图像中的各运动区域。
步骤103：从该采集图像中提取包含检测到的所有运动区域的待检测图像。
步骤104：将该待检测图像输入预先创建的神经网络模型，其中，该神经网络模型用于从该待检测图像中检测目标。
步骤105：获取该神经网络模型对目标的检测结果。
步骤106：将检测结果中包含的目标映射在采集图像上。
上述实施例中，检测出采集图像中的运动区域后，从采集图像中提取包含检测到的所有运动区域的待检测图像，将该待检测图像输入预先创建的神经网络模型进行目标检测，然后将检测结果中包含的目标映射在采集图像上，从而先过滤掉了采集图像中未发生移动的区域，缩小了运动目标检测范围，则相当于提升了运动目标检测距离，同时提高了运动目标检测精确度。
一可选实施例中，步骤102中，检测该采集图像中的各运动区域包括：利用移动侦测算法检测采集图像中的各运动区域。
移动侦测算法属于成熟算法，例如：可将采集图像与视频流中的前一帧图像进行差分计算，根据差分计算结果，确定采集图像中存在移动现象的区域，存在移动现象的区域即为运动区域。
一可选实施例中，步骤103中，从该采集图像中提取包含检测到的所有运动区域的待检测图像包括：
利用预先设定的剪裁窗口，从该采集图像中裁剪出包含检测到的所有运动区域的待检测图像。
剪裁窗口的形状可预先设定，通常为矩形。
一可选实施例中，步骤103中，从该采集图像中提取包含检测到的所有运动区域的待检测图像包括：从该采集图像中裁剪出包含检测到的所有运动区域的最小矩形，将该最小矩形包含的图像作为待检测图像。
通过该实施例，使得提取的待检测图像既包含了所有运动区域又保证了面积最小，从而最大化地提高了神经网络模型的运动目标检测结果的精确度。
一可选实施例中，利用移动侦测算法检测采集图像中的各运动区域包括：利用预设的掩码块的形状和大小，将所述采集图像划分成多个互不重叠的相交掩码块；利用移动侦测算法对每个所述掩码块执行移动侦测；将侦测到移动现象的每个掩码块分别作为一个运动区域。
一可选实施例中，利用移动侦测算法对每个掩码块执行移动侦测，进一步包括：将侦测到移动现象的每个掩码块的掩码值分别设定为第一预设值，且将未侦测到移动现象的每个掩码块的掩码值分别设定为第二预设值。
一可选实施例中，将检测结果中包含的目标映射在采集图像上之前，进一步包括：获取检测结果中包含的目标的置信度；且，
将检测结果中包含的目标映射在所述采集图像上之后，进一步包括：对于采集图像上的每个目标，判断该目标包含的所有掩码块的掩码值是否都为第二预设值，若是，判断该目标的置信度是否小于预设阈值，若小于，则将该目标确定为误判目标，且取消该目标在所述采集图像上的映射。
通过上述实施例，对于神经网络模型检测出的目标，若该目标内部未检测到移动现象，且该目标的置信度小于预设阈值，则认为该目标为误判目标，从而进一步提高了运动目标检测精确度。
一可选实施例中，步骤104中，将该待检测图像输入预先创建的神经网络模型之前，进一步包括：将该待检测图像的分辨率转换为与神经网络模型的输入图像分辨率相同。
图2为本发明另一实施例提供的运动目标检测方法流程图，其具体步骤如下：
步骤201：从视频流中获取一帧采集图像。
步骤202：利用预设的掩码块的形状和大小，将采集图像划分成多个互不重叠的相交掩码块。
掩码块通常为矩形。
步骤203：利用移动侦测算法对每个掩码块执行移动侦测，将侦测到移动现象的每个掩码块的掩码值分别设定为第一预设值，且将未侦测到移动现象的每个掩码块的掩码值分别设定为第二预设值。
第一预设值例如：1，第二预设值例如：0。
步骤204：从该采集图像中裁剪出包含所有掩码值为第一预设值的掩码块的最小矩形，将该最小矩形包含的图像作为待检测图像。
步骤205：将该待检测图像的分辨率转换为与预先创建的神经网络模型的输入图像分辨率相同。
该神经网络模型用于从该待检测图像中检测目标。
步骤206：将转换分辨率后的待检测图像输入该神经网络模型，得到该神经网络模型检测出的目标以及每个目标的置信度，将每个目标映射在采集图像上。
步骤207：对于采集图像上的每个目标，判断该目标包含的所有掩码块的掩码值是否都为第二预设值，若是，执行步骤208；否则，执行步骤210。
步骤208：判断该目标的置信度是否小于预设阈值，若是，执行步骤209；否则，执行步骤210。
预设阈值可根据经验等设定。
步骤209：将该目标确定为误判目标，且取消该目标在采集图像上的映射。
步骤210：保留该目标在采集图像上的映射。
本发明实施例尤其适用于应用平台的算力较低的场景，在该场景下，本发明实施例可以在几乎不增加原来的用于检测目标的神经网络模型的运算量的基础上，最大化地提高运动目标检测的精确度。
本发明实施例适用于任何物体的目标检测，不仅仅局限于人。
本发明实施例还提供一种非瞬时计算机可读存储介质，非瞬时计算机可读存储介质存储指令，该指令在由处理器执行时使得处理器执行如步骤101～106，或者步骤201～210所述的方法的步骤。
图3为本发明实施例提供的电子设备的结构示意图，该装置包括如上所述的非瞬时计算机可读存储介质31、以及可访问非瞬时计算机可读存储介质31的处理器32。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (9)
1.一种运动目标检测方法，其特征在于，该运动目标检测方法包括：
从视频流中获取一帧采集图像；
检测所述采集图像中的各运动区域，以得到运动区域所检测到移动现象的掩码块；
从所述采集图像中提取包含检测到的所有运动区域的待检测图像；
将所述待检测图像输入预先创建的神经网络模型，其中，所述神经网络模型用于从所述待检测图像中检测目标；
获取所述神经网络模型对所述目标的检测结果；
获取所述检测结果中包含的所述目标的置信度；
将所述检测结果中包含的目标映射在所述采集图像上；
对于采集图像上的每个目标，判断该目标包含的所有掩码块的掩码值是否都为第二预设值，若是，判断该目标的置信度是否小于预设阈值，若小于，则将该目标确定为误判目标，且取消该目标在所述采集图像上的映射；
其中，第二预设值为未侦测到移动现象的每个掩码块的掩码值。
2.根据权利要求1所述的运动目标检测方法，其特征在于，所述检测所述采集图像中的各运动区域，包括：
利用移动侦测算法检测所述采集图像中的各运动区域。
3.根据权利要求1所述的运动目标检测方法，其特征在于，所述从所述采集图像中提取包含检测到的所有运动区域的待检测图像，包括：
利用预先设定的剪裁窗口，从所述采集图像中裁剪出包含检测到的所有运动区域的待检测图像。
4.根据权利要求1所述的运动目标检测方法，其特征在于，所述从所述采集图像中提取包含检测到的所有运动区域的待检测图像，包括：
从所述采集图像中裁剪出包含检测到的所有运动区域的最小矩形，将该最小矩形包含的图像作为所述待检测图像。
5.根据权利要求2所述的运动目标检测方法，其特征在于，所述利用移动侦测算法检测所述采集图像中的各运动区域，包括：
利用预设的掩码块的形状和大小，将所述采集图像划分成多个互不重叠的相交掩码块；
利用所述移动侦测算法对每个所述掩码块执行移动侦测；
将侦测到移动现象的每个掩码块分别作为一个运动区域。
6.根据权利要求5所述的运动目标检测方法，其特征在于，所述利用所述移动侦测算法对每个所述掩码块执行移动侦测，进一步包括：
将侦测到移动现象的每个掩码块的掩码值分别设定为第一预设值，且将未侦测到移动现象的每个掩码块的掩码值分别设定为第二预设值。
7.根据权利要求1或2所述的运动目标检测方法，其特征在于，所述将所述待检测图像输入预先创建的神经网络模型之前，进一步包括：
将该待检测图像的分辨率转换为与所述神经网络模型的输入图像分辨率相同。
8.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至7中任一项所述的运动目标检测方法的步骤。
9.一种电子设备，其特征在于，包括如权利要求8所述的非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110067612.2A CN112767444B (zh) | 2021-01-19 | 2021-01-19 | 运动目标检测方法、可读存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110067612.2A CN112767444B (zh) | 2021-01-19 | 2021-01-19 | 运动目标检测方法、可读存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767444A CN112767444A (zh) | 2021-05-07 |
| CN112767444B true CN112767444B (zh) | 2024-05-14 |
Family
ID=75703022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110067612.2A Active CN112767444B (zh) | 2021-01-19 | 2021-01-19 | 运动目标检测方法、可读存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767444B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123131A (zh) * | 2017-04-10 | 2017-09-01 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的运动目标检测方法 |
| GB201911506D0 (en) * | 2018-10-12 | 2019-09-25 | Adobe Inc | Video inpainting via confidence-weighted motion estimation |
| CN110751678A (zh) * | 2018-12-12 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 运动目标的检测方法、装置和电子设备 |
| CN111582032A (zh) * | 2020-04-03 | 2020-08-25 | 普联技术有限公司 | 行人检测方法、装置、终端设备及存储介质 |
-
2021
- 2021-01-19 CN CN202110067612.2A patent/CN112767444B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123131A (zh) * | 2017-04-10 | 2017-09-01 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的运动目标检测方法 |
| GB201911506D0 (en) * | 2018-10-12 | 2019-09-25 | Adobe Inc | Video inpainting via confidence-weighted motion estimation |
| CN110751678A (zh) * | 2018-12-12 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 运动目标的检测方法、装置和电子设备 |
| CN111582032A (zh) * | 2020-04-03 | 2020-08-25 | 普联技术有限公司 | 行人检测方法、装置、终端设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| CUDA并行加速的稀疏PCNN运动目标检测算法;凌滨;邓艳;于士博;;计算机工程与设计(12);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767444A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10769480B2 (en) | Object detection method and system | |
| CN110070033B (zh) | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 | |
| CN107256225B (zh) | 一种基于视频分析的热度图生成方法及装置 | |
| CN106886216B (zh) | 基于rgbd人脸检测的机器人自动跟踪方法和*** | |
| CN109086724B (zh) | 一种加速的人脸检测方法及存储介质 | |
| CN110569754A (zh) | 图像目标检测方法、装置、存储介质及设备 | |
| JP2013196682A (ja) | 人の集団検出方法、及び人の集団検出装置 | |
| CN109359577B (zh) | 一种基于机器学习的复杂背景下人数检测*** | |
| CN105046719B (zh) | 一种视频监控方法及*** | |
| CN103903011A (zh) | 基于图像深度信息的智能轮椅手势识别控制方法 | |
| CN111027370A (zh) | 一种多目标跟踪及行为分析检测方法 | |
| US10936876B2 (en) | Content recognition method, system and storage medium thereof | |
| KR20170032033A (ko) | 전경 추출 방법 및 장치 | |
| CN104899559B (zh) | 一种基于视频监控的快速行人检测方法 | |
| CN111723656B (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
| CN108765463A (zh) | 一种结合区域提取与改进纹理特征的运动目标检测方法 | |
| CN112767444B (zh) | 运动目标检测方法、可读存储介质和电子设备 | |
| CN107358621A (zh) | 对象跟踪方法及装置 | |
| CN113947744A (zh) | 基于视频的火灾图像检测方法、***、设备及存储介质 | |
| CN114639159A (zh) | 移动行人检测方法、电子设备及机器人 | |
| CN111708907B (zh) | 一种目标人员的查询方法、装置、设备及存储介质 | |
| CN113963307A (zh) | 目标上内容的识别及视频采集方法、装置、存储介质、计算机设备 | |
| KR102150661B1 (ko) | 객체를 검출하기 위한 전처리 장치 및 방법 | |
| CN106951831B (zh) | 一种基于深度摄像机的行人检测跟踪方法 | |
| Yu et al. | Length-based vehicle classification in multi-lane traffic flow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |