CN115410060B - 面向公共安全视频的全局感知小目标智能检测方法 - Google Patents
面向公共安全视频的全局感知小目标智能检测方法 Download PDFInfo
- Publication number
- CN115410060B CN115410060B CN202211353463.7A CN202211353463A CN115410060B CN 115410060 B CN115410060 B CN 115410060B CN 202211353463 A CN202211353463 A CN 202211353463A CN 115410060 B CN115410060 B CN 115410060B
- Authority
- CN
- China
- Prior art keywords
- multiplied
- loss
- detection
- layer
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 230000008447 perception Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 17
- 230000001629 suppression Effects 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 14
- 230000001965 increasing effect Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 239000006002 Pepper Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 206010037180 Psychiatric symptoms Diseases 0.000 claims 1
- 230000000717 retained effect Effects 0.000 abstract 1
- 238000012795 verification Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于目标检测与识别技术领域,本发明提供了一种面向公共安全视频的全局感知小目标智能检测方法,包括以下步骤:图像线下预处理,样本平衡数据增强;构建模型网络结构;构建模型损失函数:在分类损失和置信度损失采用交叉熵损失,在回归损失中对于原有的回归损失基础上加入角点距离损失;使用SC非极大值抑制方法保留有效检测框;输入待检测图像检验本方法模型有效性。本发明利用全局信息提高检测小目标物体的准确率和召回率,通过多重非极大值抑制保留有效锚框,解决了目前基于锚框目标检测中小目标物体难以检测,锚框难以匹配等诸多问题。
Description
技术领域
本发明涉及一种面向公共安全视频的全局感知小目标智能检测方法,属于目标检测与识别技术领域。
背景技术
对于小目标的定义有很多,目前尚未有统一的标准,主要分为绝对尺度和相对尺度两种定义。绝对尺度小目标定义为像素值小于32×32像素的目标,相对尺度小目标定义为目标边界框的宽高与图像的宽高小于一定的比值,通常认为该比值为0.1。目标检测通用数据集COCO定义小目标为小于32×32个像素点的目标。
小目标检测在监控、空对地目标分析、行人检测、自动驾驶中交通信号检测等多种场景中具有重要的理论和现实意义。目前基于深度学***衡、语义信息少、定位精度要求高、易聚集遮挡等问题,导致小目标检测一直是目标检测领域中的一大难点问题。
发明内容
本发明目的是提供了一种面向公共安全视频的全局感知小目标智能检测方法,通过全局特征与局部特征上下文信息解决小目标检测难题。
本发明为实现上述目的,通过以下技术方案实现:
一种面向公共安全视频的全局感知小目标智能检测方法,包括以下步骤:
步骤S1. 图像线下预处理,样本平衡数据增强:
步骤S2.构建模型网络结构:
需要搭建全局注意力网络与原方法骨干网络做特征融合,再添加P2检测层专用于检测小目标;
步骤S3.构建模型损失函数:
在分类损失和置信度损失采用交叉熵损失,在回归损失中对于原有的回归损失基础上加入角点距离损失;
步骤S4.使用SC非极大值抑制方法保留有效检测框;
步骤S5.输入待检测图像检验本方法模型有效性:
将测试图片输入到本方法模型中,再与标准标注信息做对比,指标采用目标检测通用评价指标[email protected]:0.95。
所述面向公共安全视频的全局感知小目标智能检测方法优选方案,样本平衡数据增强具体公式如下:
所述面向公共安全视频的全局感知小目标智能检测方法优选方案,构建模型网络结构具体过程如下:
(1)搭建全局特征骨干网络提取全局特征
利用步骤S1数据增强后的图像裁剪或扩张成1536×1536×3大小,RGB图像经过Focus卷积将原图像通道数扩张到64,图像变为B×64×W/2×H/2,其中B为BatchSize大小;将经过Focus卷积的特征图再经过一次Conv卷积得到B×128×W/4×H/4特征图,再使用全局注意力GAM方法减少空间维度和通道维度的信息损失,放大全局维度交互特征,最终得到B×128×W/4×H/4特征图,将原方法骨干网络中卷积替换为空洞卷积,进一步增大感受野,提取全局特征;
(2)增加P2检测层
将得到包含全局信息的特征图,特征图经过4次普通卷积会形成多个特征图减小但通道维度增加的特征图,此时特征图为四层倒三角特征金字塔,利用第一个四层正三角金字塔得到的特征图再经过4次上采样和多次卷积会形成多个宽高逐步增加,通道信息逐步减小的特征图,此时形成4层正三角特征金字塔,分别连接特征图大小相同的4层正三角特征金字塔特征图和4层倒三角金字塔特征图,特征图大小分别为B×512×W/4×H/4、B×128×W/8×H/8、B×256×W/16×H/16、B×512×W/32×H/32,其中B×512×W/4×H/4特征图经过一层卷积得B×45×W/4×H/4特征图,该特征图作为检测网络中的P2层。
所述面向公共安全视频的全局感知小目标智能检测方法优选方案, 采用二元交叉熵损失函数BCEWithLogitsLoss计算分类损失和置信度损失,具体计算公式如下:
上式中代表模型预测出物体的数量 就表示每一个预测物体的置信度,代
表本方法模型预测是物体的概率,经过函数可以将映射到0到1区间,代表是否为
真实物体,如果不是真实物体取0,否则取1;作用是算出预测是物
体概率与真实物体之间差异;
最终Loss如下所示:
所述面向公共安全视频的全局感知小目标智能检测方法优选方案,步骤S4具体如下:
由步骤S4得到P2检测层,加上原方法的P3、P4、P5检测层共有四层检测层,在每个检测层分别预测,预测结果输入SC非极大值抑制方法中,
SC函数具体如下:
式中:为经过SC非极大值抑制后的预测框得分,为预测框初始得分,
为自然数,为两个预测框的交并比,为两框中心点的欧氏距离,分
别代表分数较低锚框左上、右上、左下、右下顶点,分别代表得分较高预测框
左上、右上、左下、右下顶点,考虑到了两框之间重叠面积、中心点距离、尺度对比。
所述面向公共安全视频的全局感知小目标智能检测方法优选方案,步骤S5具体过程如下:
a)训练得出最优权重,保存权重参数;
b)采集待检测图像,将图像拉伸或缩小到长为1536大小;
c)将图像输入到全局特征网络中,全局特征网络包括GAM注意力层、Conv卷积层、C3卷积层、上采样层以及SPP层;
d)按照全局特征网络结构顺序,GAM注意力层提取空间维度、通道维度、空间维度以及通道维度的特征,再将提取到的特征经过多个Conv与C3卷积层的模块形成多个长宽信息逐步变小的特征图,在经过上采样放大特征信息;
e)连接上采样和下采样长宽信息相同特征图,形成P2、P3、P4、P5检测层;
f)使用不同大小的锚框在每个检测层用滑动窗口的形式检测有无目标信息,若有给出目标类别信息、位置信息、得分信息,如果某个位置出现大量位置相近重复框,采用SC非极大值抑制算法保留有效框;
g)与标准标注信息做对比,指标采用目标检测通用评价指标[email protected]:0.95。
本发明的优点在于:
1)样本均衡数据增强平衡各类别图像数量差异,解决了训练偏差问题,提高模型的鲁棒性和泛化能力。
2)全局注意力机制提取图像全局特征,充分利用全局特征,提高小目标被检测到概率。
3)增加P2检测层检测小目标物体,不影响其他中、大目标的检测。
4)构建分类损失、置信度损失、定位损失,其中定位损失充分考虑到预测框与真实框形状和位置信息。
5)使用SC非极大值抑制方法保留有效检测框,过滤无效检测框。
6)本文发明的面向公共安全视频的全局感知小目标智能检测方法,在相关的小目标数据集中达到了优异的效果。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制;
图1为本方法的简要结构图;
图2中a、b、c为训练阶段边框损失、分类损失、物体得分损失曲线图, d、e、f为验证阶段的边框损失、分类损失、物体得分损失曲线图;
图3为原始模型与本方法的模型检测效果对比图,其中, a、b是原始模型检测的图片, c、d是本方法模型检测的图片;
图4中a、b、c、d分别为验证阶段准确率变化曲线、召回率变化曲线、mAP0.5变化曲线以及mAP0.5:0.95变化曲线;
图5为Baseline方法验证阶段PR曲线图;
图6为本方法验证阶段PR曲线图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种面向公共安全视频的全局感知小目标智能检测方法,包括以下步骤:
S1. 图像线下预处理,样本平衡数据增强各类别图像数量差异:
本发明创造了一种线下数据增强方式:样本平衡数据增强,在模型训练中,增加训练样本的数据量能够使模型的泛化能力和鲁棒性上升,现实中训练数据集样本数量往往不能满足实际训练的要求,针对这一缺点,本方法创造一种线下数据增强方式,具体过程如下:
S2.构建模型网络结构:
需要搭建全局注意力网络与原方法骨干网络做特征融合,再添加P2检测层专用于检测小目标;
S3.构建模型损失函数:
在分类损失和置信度损失采用交叉熵损失,在回归损失中对于原有的回归损失基础上加入角点距离损失;
S4.使用SC非极大值抑制方法保留有效检测框;
S5.输入待检测图像检验本方法模型有效性:
将测试图片输入到本方法模型中,再与标准标注信息做对比,指标采用目标检测通用评价指标[email protected]:0.95。
本实施例中,样本平衡数据增强具体公式如下:
本实施例中,为减少信息的损失和提高全局特征的交互,提高模型的性能构,建模型网络结构具体过程如下:
(1)搭建全局特征骨干网络提取全局特征
利用步骤S1数据增强后的图像裁剪或扩张成1536×1536×3大小,RGB图像经过Focus卷积将原图像通道数扩张到64,图像变为B×64×W/2×H/2,其中B为BatchSize大小;将经过Focus卷积的特征图再经过一次Conv卷积得到B×128×W/4×H/4(P2层)特征图,再使用全局注意力GAM方法减少空间维度和通道维度的信息损失,放大全局维度交互特征,最终得到B×128×W/4×H/4特征图,将原方法骨干网络中卷积替换为空洞卷积,进一步增大感受野,提取全局特征;
(2)增加P2检测层
针对AnchorBase目标检测器中检测层分辨率过低,缺失小目标特征信息问题设计P2检测层保留小目标特征信息,用来预测小目标物体,具体操作如下:将得到包含全局信息的特征图,特征图经过4次普通卷积会形成多个特征图减小但通道维度增加的特征图,此时特征图为四层倒三角特征金字塔,利用第一个四层正三角金字塔得到的特征图再经过4次上采样和多次卷积会形成多个宽高逐步增加,通道信息逐步减小的特征图,此时形成4层正三角特征金字塔,分别连接特征图大小相同的4层正三角特征金字塔特征图和4层倒三角金字塔特征图,特征图大小分别为B×512×W/4×H/4、B×128×W/8×H/8(P3层)、B×256×W/16×H/16(P4层)、B×512×W/32×H/32(P5层),其中B×512×W/4×H/4特征图经过一层卷积得B×45×W/4×H/4特征图,该特征图作为检测网络中的P2层。
本实施例中, 采用二元交叉熵损失函数BCEWithLogitsLoss计算分类损失和置信度损失,具体计算公式如下:
上式中代表模型预测出物体的数量 就表示每一个预测物体的置信度,代
表本方法模型预测是物体的概率,经过函数可以将映射到0到1区间,代表是否为
真实物体,如果不是真实物体取0,否则取1;作用是算出预测是物
体概率与真实物体之间差异;
最终Loss如下所示:
本实施例中,步骤S4具体如下:
由步骤S4得到P2检测层,加上原方法的P3、P4、P5检测层共有四层检测层,在每个检测层分别预测,预测结果输入SC非极大值抑制方法中,
SC函数具体如下:
式中:为经过SC非极大值抑制后的预测框得分,为预测框初始得分,
为自然数,为两个预测框的交并比,为两框中心点的欧氏距离,
分别代表分数较低锚框左上、右上、左下、右下顶点,分别代表得分较高预
测框左上、右上、左下、右下顶点,考虑到了两框之间重叠面积、中心点距离、尺度对比。
本实施例中,步骤S5具体过程如下:
a)训练得出最优权重,保存权重参数;
b)采集待检测图像,将图像拉伸或缩小到长为1536大小;
c)将图像输入到全局特征网络中,全局特征网络包括GAM注意力层、Conv卷积层、C3卷积层、上采样层以及SPP层;
d)按照全局特征网络结构顺序,GAM注意力层提取空间维度、通道维度、空间维度以及通道维度的特征,再将提取到的特征经过多个Conv与C3卷积层的模块形成多个长宽信息逐步变小的特征图,在经过上采样放大特征信息;
e)连接上采样和下采样长宽信息相同特征图,形成P2、P3、P4、P5检测层;
f)使用不同大小的锚框在每个检测层用滑动窗口的形式检测有无目标信息,若有给出目标类别信息、位置信息、得分信息,如果某个位置出现大量位置相近重复框,采用SC非极大值抑制算法保留有效框;
g)与标准标注信息做对比,指标采用目标检测通用评价指标[email protected]:0.95。
经过步骤一到五模型完成了训练,将模型的最优权重保存下来,为了证明本方法
的有效性,在空地小目标数据集VisDrone2019上进行了实验,测试数据采用的是,只有在最终1536×1536分辨率
下采用的,其余均采用部分。实验的
评价指标采用的是。其中,表示在不同IoU阈值(从0.5到
0.95,步长0.05)(0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95)上的平均准确率。在
图2、图3中可看出,训练在第验证损失接近最小,此时本方法已经收敛,取最优的
权重测试。验证阶段PR曲线如图5所示,通过观察曲线可得知最终在1536×1536分辨率下
mAP0.5:0.95在中可以到达35.72。在图3中可以看出本方法的模型对比
可以检测到更多的小目标,对比图5、图6中曲线约凸代表该类效果越好,比较可以说明了本
方法的有效性。
表一
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种面向公共安全视频的全局感知小目标智能检测方法,其特征在于,包括以下步骤:
步骤S1. 图像线下预处理,样本平衡数据增强:
步骤S2.构建模型网络结构:
需要搭建全局特征骨干网络与原方法骨干网络做特征融合,再添加P2检测层专用于检测小目标;
步骤S3.构建模型损失函数:
在分类损失和置信度损失采用交叉熵损失,在回归损失中对于原有的回归损失基础上加入角点距离损失;
步骤S4.使用SC非极大值抑制方法保留有效检测框;
步骤S5.输入待检测图像检验本方法模型有效性:
将测试图片输入到本方法模型中,再与标准标注信息做对比,指标采用目标检测通用评价指标[email protected]:0.95;
其中样本平衡数据增强具体公式如下:
步骤S4具体如下:
由步骤S2得到P2检测层,加上原方法的P3、P4、P5检测层共有四层检测层,在每个检测层分别预测,预测结果输入SC非极大值抑制方法中,
SC函数具体如下:
式中:为经过SC非极大值抑制后的预测框得分,为预测框初始得分,为自然
数,为两个预测框的交并比,为两框中心点的欧氏距离,𝜎为默认参数0.5,为两个
预测框四个顶点的欧氏距离的平方,为高斯加权,分别代表分数较低
锚框左上、右上、左下、右下顶点,分别代表得分较高预测框左上、右上、左
下、右下顶点,考虑到了两框之间重叠面积、中心点距离、尺度对比;
构建模型网络结构具体过程如下:
(1)搭建全局特征骨干网络提取全局特征
利用步骤S1数据增强后的图像裁剪或扩张成1536×1536×3大小,RGB图像经过Focus卷积将原图像通道数扩张到64,图像变为B×64×W/2×H/2,其中B为BatchSize即批尺寸大小;将经过Focus卷积的特征图再经过一次Conv卷积得到B×128×W/4×H/4特征图,再使用全局注意力GAM方法减少空间维度和通道维度的信息损失,放大全局维度交互特征,最终得到B×128×W/4×H/4特征图,将原方法骨干网络中卷积替换为空洞卷积,进一步增大感受野,提取全局特征;
(2)增加P2检测层
将得到包含全局信息的特征图,特征图经过4次普通卷积会形成多个特征图减小但通道维度增加的特征图,此时特征图为四层倒三角特征金字塔,利用第一个四层正三角金字塔得到的特征图再经过4次上采样和多次卷积会形成多个宽高逐步增加,通道信息逐步减小的特征图,此时形成4层正三角特征金字塔,分别连接特征图大小相同的4层正三角特征金字塔特征图和4层倒三角金字塔特征图,特征图大小分别为B×512×W/4×H/4、B×128×W/8×H/8、B×256×W/16×H/16、B×512×W/32×H/32,其中B×512×W/4×H/4特征图经过一层卷积得B×45×W/4×H/4特征图,该特征图作为检测网络中的P2层,B×128×W/8×H/8特征图对应于检测网络中的P3层、B×256×W/16×H/16特征图对应于P4层、B×512×W/32×H/32特征图对应于P5层;
采用二元交叉熵损失函数BCEWithLogitsLoss计算分类损失和置信度损失,具体计算公式如下:
上式中代表模型预测出物体的数量 就表示每一个预测物体的置信度,代表本
方法模型预测是物体的概率,经过函数可以将映射到0到1区间,代表是否为真实
物体,如果不是真实物体取0,否则取1;作用是算出预测是物体概
率与真实物体之间差异;
其中IoU为两个预测框的交并比,为两框中心点的欧氏距离,分
别预测框左上、右上、左下、右下顶点,分别代表真实框左上、右上、左下、
右下顶点,考虑到了两框之间重叠面积、中心点距离、尺度对比,最终Loss如下所示:
2.根据权利要求1所述的面向公共安全视频的全局感知小目标智能检测方法,其特征在于,步骤S5具体过程如下:
a)训练得出最优权重,保存权重参数;
b)采集待检测图像,将图像拉伸或缩小到长为1536大小;
c)将图像输入到全局特征网络中,全局特征网络包括GAM注意力层、Conv卷积层、C3卷积层、上采样层以及SPP层;
d)按照全局特征网络结构顺序,GAM注意力层提取空间维度、通道维度、空间维度以及通道维度的特征,再将提取到的特征经过多个Conv与C3卷积层的模块形成多个长宽信息逐步变小的特征图,在经过上采样放大特征信息;
e)连接上采样和下采样长宽信息相同特征图,形成P2、P3、P4、P5检测层;
f)使用不同大小的锚框在每个检测层用滑动窗口的形式检测有无目标信息,若有给出目标类别信息、位置信息、得分信息,如果某个位置出现大量位置相近重复框,采用SC非极大值抑制算法保留有效框;
g)与标准标注信息做对比,指标采用目标检测通用评价指标[email protected]:0.95。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211353463.7A CN115410060B (zh) | 2022-11-01 | 2022-11-01 | 面向公共安全视频的全局感知小目标智能检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211353463.7A CN115410060B (zh) | 2022-11-01 | 2022-11-01 | 面向公共安全视频的全局感知小目标智能检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115410060A CN115410060A (zh) | 2022-11-29 |
CN115410060B true CN115410060B (zh) | 2023-02-28 |
Family
ID=84167474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211353463.7A Active CN115410060B (zh) | 2022-11-01 | 2022-11-01 | 面向公共安全视频的全局感知小目标智能检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115410060B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113567984A (zh) * | 2021-07-30 | 2021-10-29 | 长沙理工大学 | 一种sar图像中人造小目标的检测方法及*** |
CN114821246A (zh) * | 2022-06-28 | 2022-07-29 | 山东省人工智能研究院 | 基于多层次残差网络感知和注意力机制的小目标检测方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309792B (zh) * | 2019-07-04 | 2022-07-01 | 电子科技大学 | 基于部件模板的室内人物检测方法 |
CN110674733A (zh) * | 2019-09-23 | 2020-01-10 | 厦门金龙联合汽车工业有限公司 | 多目标检测识别方法和辅助驾驶方法、*** |
CN110781819A (zh) * | 2019-10-25 | 2020-02-11 | 浪潮电子信息产业股份有限公司 | 一种图像目标检测方法、***、电子设备及存储介质 |
CN113591734B (zh) * | 2021-08-03 | 2024-02-20 | 中国科学院空天信息创新研究院 | 一种基于改进nms算法的目标检测方法 |
CN114022432B (zh) * | 2021-10-28 | 2024-04-30 | 湖北工业大学 | 基于改进的yolov5的绝缘子缺陷检测方法 |
-
2022
- 2022-11-01 CN CN202211353463.7A patent/CN115410060B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113567984A (zh) * | 2021-07-30 | 2021-10-29 | 长沙理工大学 | 一种sar图像中人造小目标的检测方法及*** |
CN114821246A (zh) * | 2022-06-28 | 2022-07-29 | 山东省人工智能研究院 | 基于多层次残差网络感知和注意力机制的小目标检测方法 |
Non-Patent Citations (1)
Title |
---|
《基于全局注意力的多级特征融合目标检测算法》;吴稳稳 等;《科学技术与工程》;20201130;摘要,全文第2-4页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115410060A (zh) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084095B (zh) | 车道线检测方法、车道线检测装置和计算机存储介质 | |
CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
CN111444809B (zh) | 一种基于改进YOLOv3的输电线路异常目标检测方法 | |
CN111310862B (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
CN112084869B (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
CN110956094A (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
CN112633231B (zh) | 一种火灾识别的方法和装置 | |
CN104239867B (zh) | 车牌定位方法及*** | |
CN107977620A (zh) | 一种基于全卷积网络的多方向场景文本单次检测方法 | |
CN107609470A (zh) | 野外火灾早期烟雾视频检测的方法 | |
CN111027511B (zh) | 基于感兴趣区块提取的遥感图像舰船检测方法 | |
CN110033040B (zh) | 一种火焰识别方法、***、介质和设备 | |
CN112489054A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
CN111611861B (zh) | 一种基于多尺度特征关联的图像变化检测方法 | |
CN112418165B (zh) | 基于改进型级联神经网络的小尺寸目标检测方法与装置 | |
CN112287983B (zh) | 一种基于深度学习的遥感图像目标提取***和方法 | |
CN111507416B (zh) | 一种基于深度学习的吸烟行为实时检测方法 | |
CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
CN114187520A (zh) | 一种建筑物提取模型及其应用方法 | |
CN114926826A (zh) | 场景文本检测*** | |
CN112308040A (zh) | 一种基于高清图像的河流排污口检测方法及*** | |
CN104484679B (zh) | 非制式枪射击弹头痕迹图像自动识别方法 | |
CN113989245B (zh) | 多视角多尺度图像篡改检测方法 | |
CN110046595B (zh) | 一种基于级联式多尺度的密集人脸检测方法 | |
CN113158954B (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |