CN113971775B - 一种基于优化yolov4算法的违章行为识别方法及*** - Google Patents
一种基于优化yolov4算法的违章行为识别方法及*** Download PDFInfo
- Publication number
- CN113971775B CN113971775B CN202111196412.3A CN202111196412A CN113971775B CN 113971775 B CN113971775 B CN 113971775B CN 202111196412 A CN202111196412 A CN 202111196412A CN 113971775 B CN113971775 B CN 113971775B
- Authority
- CN
- China
- Prior art keywords
- yolov
- convolution
- illegal behaviors
- algorithm
- optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000005457 optimization Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 6
- 230000000391 smoking effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于优化yolov4算法的违章行为识别方法及***,包括以下步骤:(1)通过优化yolov4算法进行模型训练,抽选出最优模型;yolov4算法的优化包括:在输入部分采用1×1卷积将前一层的输入特征图的通道数减少到原来的四分之一;使用四个不同大小的空洞卷积分支来生成不同大小感受野的输出特征;利用感受野融合结构融合四个不同分支的输出特征信息;在输出部分的卷积层采用1×1卷积来调整输出特征图的通道数;利用残差网络获得最终的输出特征图;(2)采集视频图像数据作为最优模型的输入,进行违章行为的检测;(3)根据检测结果生成实时预警信息,将实时预警信息回传。本发明能够提升了违章识别图像中目标识别精度,并且实现实时预警功能。
Description
技术领域
本发明涉及利用智能识别检测技术领域,具体是涉及一种基于优化yolov4算法的违章行为识别方法及***。
背景技术
无人机技术已经广泛应用违章识别监测作业,但实际运行过程中由人工进行实时监测,存在人力工作量大、监测效率低、违章信息掌控不及时,从而无法保障预告警报的及时性、有效性、全面性。随着人工智能技术的快速进步,现有技术开始采用人工智能技术进行违章行为的识别,因为输变电工程中违章行为数目多、形式各异,采用现有技术的识别方法,漏检率较高,不能满足监测图像高精度检测需求并且无法实现实时识别报警。
发明内容
发明目的:针对以上缺点,本发明提供一种基于优化yolov4算法的违章行为识别方法,能够提升了违章识别图像中目标识别精度,并且实现实时预警功能。同时,本发明还提供了一种基于优化yolov4算法的违章行为识别***,能够实现违章行为的识别。
技术方案:为解决上述问题,本发明所述一种基于优化yolov4算法的违章行为识别方法,包括以下步骤:
(1)收集违章行为的图像数据,建立违章行为的图像数据库;根据数据库内的图像数据,通过优化yolov4算法进行模型训练和测试,获取最优模型;
所述yolov4算法的优化包括在构建特征提取网络过程中采用自适应感受野融合模块,具体为以下步骤:
(1.1)在输入部分采用1×1卷积将前一层的输入特征图的通道数减少到原来的四分之一;
(1.2)使用四个不同大小的空洞卷积分支来生成不同大小感受野的输出特征;
(1.3)利用感受野融合结构融合四个不同分支的输出特征信息并滤除冗余信息;
(1.4)在输出部分的卷积层采用1×1卷积来调整输出特征图的通道数;
(1.5)利用残差网络获得最终的输出特征图。
(2)获取待检测的视频图像数据,将待检测的视频图像数据作为最优模型的输入,通过最优模型检测出目标的空间的位置以及违章行为的类别信息,根据空间位置坐标进行目标之间位置关系判断,判定是否属于违章行为,输出检测结果;
(3)根据获取的检测结果生成实时预警信息,将检测结果和实时预警信息传输至前端APP的网页端,供管理人员实时监测。
有益效果:本发明相对于现有技术,其显著优点是:利用1×1卷积构件轻量瓶颈结构,降低模型的计算参数量,提升模型的计算效率;利用四个不同分支的空洞卷积来生成具有不同尺度和大小的感受野模块输出的特征映射,进而通过卷积神经网络完成自适应学习不同分支感受野特征的融合权值参数值,提高模型提取特征的辨识度和鲁棒性,增强模型目标特征的表达能力,进而提升违章识别图像中目标识别精度。
进一步的,所述yolov4算法的优化还包括在构建金字塔网络过程中采用增强的上采样模块,具体为以下步骤:
(1.6)使用上采样层将低分辨率特征图大小扩展至与高分辨率特征图一致;
(1.7)利用1×1卷积将上采样输出特征图通道数调整到原来的一半;
(1.8)采用两种不同膨胀率的3×3空洞卷积来构造特征增强结构;
(1.9)使用通道维度上合并两个特征增强层输出的特征图,并使用1×1卷积层增加特征图通道,获得最终增强后的特征图。
采用上采样模块能够减少了模型的信息损失,增强特征金字塔中浅层特征图的语义信息,提高目标的检测性能。
进一步的,所述yolov4算法的优化还包括对于Yolov4模型损失函数改进,总的损失函数为:
式中,i,j分别表示第i个网格,第j个预测框;(xi,yi)表示第i个网格的第j个预测框中心点的坐标;表示第i个网格的第j个真实目标框中心点坐标;(wi,hi)表示第i个网格的第j个预测框的宽和高;/>表示第i个网格的第j个真实目标框的宽和高;为控制函数,第i个网格的第j个anchor box是否包含这个物体目标,在标签中包含物体的那些格点处,该值为1;若格点不含有物体,该值为0;Ci定义为预测框的置信度;/>表示真实值,它的取值是由第i网格中的回归框有没有负责预测某个对象决定的;如果负责取值为1,否则取值为0;S2定义为输入图像中的网格数;B定义为每个单元内产生的包围框数;∑c∈classes意为c表示类别,p(c)定义为目标属于c类的概率,/>表示分类为c的真实概率;λobj参数为预测目标中心在网格单元内置信度损失的权重;λnobj为无目标的边界框的置信度损失权重;λcls为类损失权值。
进一步的,步骤(1.2)中所述四个不同大小的空洞卷积分支为一个1×1空洞卷积、三个不同膨胀率的3×3空洞卷积。
进一步的,所述的感受野融合结构进行不同感受野分支的融合方法为:
其中(i,j)分别表示为特征向量的坐标,Xn代表多分支感受野结构,代表特征图Xn在位置(i,j)处的特征向量,Aij、Bij、Cij和Dij分别表示特征图Xn的融合权重;Yij用于表示输出特征图在位置(i,j)的特征向量。
进一步的,采用网格搜索方法来确定损失函数各部分的权值,将λobj、λnobj、λcls三个权重的搜索范围限制在[0.1,0.5,1,3,5,10]的范围内。
本发明还采用一种基于优化yolov4算法的违章行为识别***,具体包括:
视频输入模块,用于进行视频图像数据的采集;
前端APP,用于接收违章行为的检测结果;
部署在视频输入模块上的智能识别模块以及前端嵌入式硬件平台;
所述智能识别模块,用于目标数据的训练并获取最优模型;针对输入最优模型的图像数据检测出目标的空间的位置以及违章行为的类别信息,根据空间位置坐标进行目标之间位置关系判断,判定是否属于违章行为,输出检测结果;根据检测结果生成实时预警信息;
所述的前端嵌入式硬件平台为智能识别模块进行违章行为的检测、数据处理以及与智能识别模块与视频输入模块通信提供硬件支持;
前端信息交互和控制模块,用于将违章行为检测结果封装,完成智能识别模块与前端APP之间的数据发送与接收、指令解析姿态控制以及警报回传。
有益效果:本发明相对于现有技术,其显著优点是该***能够实时的识别违章行为。
进一步的,前端嵌入式硬件平台选取NVIDIA Jetson TX2。
进一步的,视频输入模块采用具有摄像功能的无人机。
附图说明
图1所示为本发明所述方法的流程图;
图2所示为本发明所述方法中自适应感受野融合模块的流程图;
图3所示为本发明所述方法中增强的上采样模块的流程图;
图4所示为本发明所述***的示意图;
图5所示为本发明所述***中Jetson TX2板载的USB接口协议原理图;
图6所示为输变电现场违章行为识别结果。
具体实施方式
下面结合附图对本发明所述的技术方案进一步说明。
如图1至图3所示,本发明所述的一种基于优化yolov4算法的违章行为识别方法,包括以下步骤:
第一步,通过收集违章行为相关图像数据,建立输变电工程违章行为的图像数据库;针对违章行为分别标注类别,例如:吸烟、吊车下站人;将数据库内的图像数据输入优化的yolov4模型,进行模型训练和测试,获取能够检测识别违章行为的最优的模型;
具体的,通过无人机航拍输变电站现场图像,共计11250张,训练过程中将数据划分为训练集8654张,验证集2596张,数据集构建格式为Pascal VOC。由于无人机拍摄的图像和视频分辨率较高,拍摄角度具有一定的多样性和随机性,考虑到数据训练时的IO瓶颈,故预先将图片进行一定的预处理,即进行以目标类别为基准进行裁剪和缩放,以减少输入图片的尺寸。
优化的yolov4模型进行模型训练需要构建特征提取网络、颈部网络、金字塔网络;所述的yolov4算法的优化具体包括在构建特征提取网络过程中采用自适应感受野融合模块,具体为以下步骤:
(1.1)构建轻量瓶颈计算结构:在输入部分采用1×1卷积将前一层低分辨率的输入特征图的通道数减少到原来的四分之一,用以减少了模型的参数量和计算量,提升模型的训练效率;
(1.2)为获取不同尺度目标的关键特征信息,建立多分支空洞卷积结构:使用一个1×1空洞卷积以及膨胀率分为为1、2、3的三个3×3的空洞卷积分支来生成不同大小感受野的输出特征;
(1.3)利用感受野融合结构融合四个不同分支的输出特征信息并滤除冗余信息;具体融合方法为:
其中(i,j)分别表示为特征向量的坐标,Xn代表多分支感受野结构,代表特征图Xn在位置(i,j)处的特征向量,Aij、Bij、Cij和Dij分别表示特征图Xn的融合权重;Yij用于表示输出特征图在位置(i,j)的特征向量;
(1.4)构建轻量瓶颈计算结构:在输出部分的卷积层采用1×1卷积来调整输出特征图的通道数,用以降低模型的信息损失和增强模型的特征表示能力;
(1.5)利用残差网络获得最终的输出特征图;
所述的yolov4算法的优化具体还包括在构建金字塔网络过程中采用增强的上采样模块,充分利用目标特征像素周围的上下文信息,增强特征金字塔中浅层特征图的语义信息,减少横向连接中上采样造成的特征信息丢失,提高特征金字塔的表示能力和小目标检测性能;具体包括以下步骤:
(1.6)使用上采样层将低分辨率特征图大小扩展至与高分辨率特征图一致;
(1.7)利用1×1卷积将上采样输出特征图通道数调整到原来的一半;
(1.8)采用两种不同膨胀率的3×3空洞卷积来构造特征增强结构;
(1.9)使用通道维度上合并两个特征增强层输出的特征图,并使用1×1卷积层增加特征图通道,获得最终增强后的特征图。
无人机输变电工程违章识别检测任务中,主要将目标分为吸烟、吊臂下站人等类别,每个类别的目标特征存在些许差异;模型在预测目标时有各种各样的错误分类,尤其在目标尺度很小时,错误分类更加明显。为了改善分类错误,针对Yolov4模型损失函数的改进,将每个尺度预测的置信度损失和分类损失乘以相应的权重,总的损失函数为:
式中,i,j分别表示第i个网格,第j个预测框;(xi,yi)表示第i个网格的第j个预测框中心点的坐标;表示第i个网格的第j个真实目标框中心点坐标;(wi,hi)表示第i个网格的第j个预测框的宽和高;/>表示第i个网格的第j个真实目标框的宽和高;为控制函数,第i个网格的第j个anchor box是否包含这个物体目标,在标签中包含物体的那些格点处,该值为1;若格点不含有物体,该值为0;Ci定义为预测框的置信度;/>表示真实值,它的取值是由第i网格中的回归框有没有负责预测某个对象决定的;如果负责取值为1,否则取值为0;S2定义为输入图像中的网格数;B定义为每个单元内产生的包围框数;∑c∈classes意为c表示类别,p(c)定义为目标属于c类的概率,/>表示分类为c的真实概率;λobj参数为预测目标中心在网格单元内置信度损失的权重,数值设定为5;λnobj为无目标的边界框的置信度损失权重,数值设定为1;λcls为类损失权值,数值设定为5。
训练过程中将学***均准确率,AvgFPS指的是每秒模型可以检测的平均帧数;检测的类别为吸烟和吊车下站人。
第二步,无人机根据前端APP发送的指令拍摄相应视频图像数据,将获取的视频图像数据作为机载AI模块内最优模型的输入,通过最优模型检测出目标的空间的位置以及违章行为的类别信息,利用空间位置坐标对检测出目标之间位置关系进行判断,判定是否属于违章行为,输出检测的结果。其中,目标之间位置关系的判断采用目标间位置关系检测的方法。例如:将待测试的图片输入最优模型,最优模型能检测出图像中的物体及其位置坐标,若检测到了吸烟行为,则能够直接判断为违章行为;若检测到吊车和人,则需要根据吊车和人的位置坐标,判定人的位置是否在吊车之下,进而判断为违章行为。
第三步,机载AI模块根据获取的检测结果生成实时预警信息,将检测结果和实时预警信息传输至前端APP的网页端,供管理人员实时监测。
依据上述的方法,进行测试的结果如下表1所示:
表1算法测试结果
如图4所示,本发明所述的一种基于优化yolov4算法的违章行为识别***,***主要包括有三个功能模块,分别为视频输入模块、智能识别模块以及前端信息交互模块;其中,视频输入模块采用具有摄像头的无人机;智能识别模块采用机载AI模块,具体如下:
具有摄像头的无人机,用于进行视频图像数据的采集;
前端APP,用于接受违章行为的检测结果;
部署在无人机上的机载AI模块以及前端嵌入式硬件平台;
所述机载AI模块,用于目标数据的训练并获取最优模型;针对输入最优模型的图像数据检测出目标的空间的位置以及违章行为的类别信息,根据空间位置坐标进行目标之间位置关系判断,判定是否属于违章行为,输出检测结果;根据检测结果生成实时预警信息;
所述的前端嵌入式硬件平台为机载AI模块进行违章行为的检测、数据处理以及与机载AI模块与无人机通信提供硬件支持;其中,选取NVIDIA Jetson TX2作为前端嵌入式硬件平台,无人机与机载AI模块之间的通信,选择通过NVIDIA Jetson TX2板载的USB3.0口进行数据发送与接收,NVIDIA Jetson TX2板载的USB接口协议详细原理如附图5所示;
前端信息交互和控制模块,用于将违章行为检测结果封装,完成机载AI模块与前端APP之间的数据发送与接收、指令解析姿态控制以及警报回传。
如图6所示,利用本发明所述的识别***,针对输变电现场进行违章行为的识别结果。
Claims (9)
1.一种基于优化yolov4算法的违章行为识别方法,其特征在于,包括以下步骤:
(1)收集违章行为的图像数据,建立违章行为的图像数据库;针对数据库内的图像数据分别标注违章行为类别,通过优化yolov4算法进行模型训练和测试,获取最优模型;
所述yolov4算法的优化包括在构建特征提取网络过程中采用自适应感受野融合模块,具体为以下步骤:
(1.1)在输入部分采用1×1卷积将前一层的输入特征图的通道数减少到原来的四分之一;
(1.2)使用四个不同大小的空洞卷积分支来生成不同大小感受野的输出特征;
(1.3)利用感受野融合结构融合四个不同分支的输出特征信息并滤除冗余信息;
(1.4)在输出部分的卷积层采用1×1卷积来调整输出特征图的通道数;
(1.5)利用残差网络获得最终的输出特征图;
(2)获取待检测的视频图像数据,将待检测的视频图像数据作为最优模型的输入,通过最优模型检测出目标的空间的位置以及违章行为的类别信息,根据空间位置坐标进行目标之间位置关系判断,判定是否属于违章行为,输出检测结果;
(3)根据检测结果生成实时预警信息,将检测结果和实时预警信息传输至前端APP的网页端,供管理人员实时监测。
2.根据权利要求1所述违章行为识别方法,其特征在于,所述yolov4算法的优化还包括在构建金字塔网络过程中采用增强的上采样模块,具体为以下步骤:
(1.6)使用上采样层将低分辨率特征图大小扩展至与高分辨率特征图一致;
(1.7)利用1×1卷积将上采样输出特征图通道数调整到原来的一半;
(1.8)采用两种不同膨胀率的3×3空洞卷积来构造特征增强结构;
(1.9)使用通道维度上合并两个特征增强层输出的特征图,并使用1×1卷积层增加特征图通道,获得最终增强后的特征图。
3.根据权利要求2所述违章行为识别方法,其特征在于,所述yolov4算法的优化还包括对于Yolov4模型损失函数改进,总的损失函数为:
式中,i,j分别表示第i个网格,第j个预测框;(xi,yi)表示第i个网格的第j个预测框中心点的坐标;表示第i个网格的第j个真实目标框中心点坐标;(wi,hi)表示第i个网格的第j个预测框的宽和高;/>表示第i个网格的第j个真实目标框的宽和高;/>为控制函数,第i个网格的第j个anchor box是否包含这个物体目标,在标签中包含物体的那些格点处,该值为1;若格点不含有物体,该值为0;Ci定义为预测框的置信度;/>表示真实值,它的取值是由第i网格中的回归框有没有负责预测某个对象决定的;如果负责取值为1,否则取值为0;S2定义为输入图像中的网格数;B定义为每个单元内产生的包围框数;∑c∈classes意为c表示类别,p(c)定义为目标属于c类的概率,/>表示分类为c的真实概率;λobj参数为预测目标中心在网格单元内置信度损失的权重;λnobj为无目标的边界框的置信度损失权重;λcls为类损失权值。
4.根据权利要求1所述违章行为识别方法,其特征在于,步骤(1.2)中所述四个不同大小的空洞卷积分支为一个1×1空洞卷积、三个不同膨胀率的3×3空洞卷积。
5.根据权利要求1所述违章行为识别方法,其特征在于,所述的感受野融合结构进行不同感受野分支的融合方法为:
其中(i,j)分别表示为特征向量的坐标,Xn代表多分支感受野结构,代表特征图Xn在位置(i,j)处的特征向量,Aij、Bij、Cij和Dij分别表示特征图Xn的融合权重;Yij用于表示输出特征图在位置(i,j)的特征向量。
6.根据权利要求3所述违章行为识别方法,其特征在于,采用网格搜索方法来确定损失函数各部分的权值,将λobj、λobj、λcls三个权重的搜索范围限制在[0.1,0.5,1,3,5,10]的范围内。
7.一种采用权利要求1所述基于优化yolov4算法的违章行为识别方法的违章行为识别***,其特征在于,具体包括:
视频输入模块,用于进行视频图像数据的采集;
前端APP,用于接收违章行为的检测结果;
部署在视频输入模块上的智能识别模块以及前端嵌入式硬件平台;
所述智能识别模块,用于目标数据的训练并获取最优模型;针对输入最优模型的图像数据检测出目标的空间的位置以及违章行为的类别信息,根据空间位置坐标进行目标之间位置关系判断,判定是否属于违章行为;根据检测结果生成实时预警信息;
所述的前端嵌入式硬件平台为智能识别模块进行违章行为的检测、数据处理以及与智能识别模块与视频输入模块通信提供硬件支持;
前端信息交互和控制模块,用于将违章行为检测结果封装,完成智能识别模块与前端APP之间的数据发送与接收、指令解析姿态控制以及警报回传。
8.根据权利要求7所述违章行为识别***,其特征在于,前端嵌入式硬件平台选取NVIDIA Jetson TX2。
9.根据权利要求7所述违章行为识别***,其特征在于,所述的视频输入模块采用具有摄像功能的无人机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111196412.3A CN113971775B (zh) | 2021-10-14 | 2021-10-14 | 一种基于优化yolov4算法的违章行为识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111196412.3A CN113971775B (zh) | 2021-10-14 | 2021-10-14 | 一种基于优化yolov4算法的违章行为识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113971775A CN113971775A (zh) | 2022-01-25 |
CN113971775B true CN113971775B (zh) | 2024-06-25 |
Family
ID=79587371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111196412.3A Active CN113971775B (zh) | 2021-10-14 | 2021-10-14 | 一种基于优化yolov4算法的违章行为识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113971775B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114830915B (zh) * | 2022-04-13 | 2023-09-26 | 华南农业大学 | 基于激光雷达导航的荔枝视觉采摘机器人及其实现方法 |
CN114677652B (zh) * | 2022-05-30 | 2022-09-16 | 武汉博观智能科技有限公司 | 一种违法行为监控方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826514A (zh) * | 2019-11-13 | 2020-02-21 | 国网青海省电力公司海东供电公司 | 一种基于深度学习的施工现场违章智能识别方法 |
CN112329793A (zh) * | 2020-11-05 | 2021-02-05 | 天津大学 | 基于结构自适应和规模自适应感受野的显著性检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040136570A1 (en) * | 2002-04-30 | 2004-07-15 | Shimon Ullman | Method and apparatus for image enhancement for the visually impaired |
CN111259930B (zh) * | 2020-01-09 | 2023-04-25 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
-
2021
- 2021-10-14 CN CN202111196412.3A patent/CN113971775B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826514A (zh) * | 2019-11-13 | 2020-02-21 | 国网青海省电力公司海东供电公司 | 一种基于深度学习的施工现场违章智能识别方法 |
CN112329793A (zh) * | 2020-11-05 | 2021-02-05 | 天津大学 | 基于结构自适应和规模自适应感受野的显著性检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113971775A (zh) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110059558B (zh) | 一种基于改进ssd网络的果园障碍物实时检测方法 | |
CN110097053B (zh) | 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法 | |
CN113971775B (zh) | 一种基于优化yolov4算法的违章行为识别方法及*** | |
CN111178206A (zh) | 一种基于改进yolo的建筑预埋件检测方法及*** | |
CN104978580A (zh) | 一种用于无人机巡检输电线路的绝缘子识别方法 | |
CN109255286A (zh) | 一种基于yolo深度学习网络框架的无人机光学快速检测识别方法 | |
CN115205264A (zh) | 一种基于改进YOLOv4的高分辨率遥感船舶检测方法 | |
CN113807464A (zh) | 基于改进yolo v5的无人机航拍图像目标检测方法 | |
CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及*** | |
CN110390308B (zh) | 一种基于时空对抗生成网络的视频行为识别方法 | |
CN113420819B (zh) | 一种基于CenterNet的轻量级水下目标检测方法 | |
CN110929646A (zh) | 一种基于无人机航拍图像的配电杆塔倒断信息快速识别方法 | |
CN113570571A (zh) | 一种工业边缘端动力电池缺陷检测方法及*** | |
CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
CN115937659A (zh) | 基于Mask-RCNN的室内复杂环境下多目标检测方法 | |
CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测*** | |
CN118038021A (zh) | 基于改进yolov4的变电站作业现场异物入侵检测方法 | |
CN113139432B (zh) | 基于人体骨架和局部图像的工业包装行为识别方法 | |
CN113887330A (zh) | 一种基于遥感图像的目标检测*** | |
CN112926415A (zh) | 一种行人避让***和行人监测方法 | |
CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
CN114241189B (zh) | 一种基于深度学习的船舶黑烟识别方法 | |
CN112435240B (zh) | 一种面向工人违规使用手机的深度视觉手机检测*** | |
CN113971755B (zh) | 基于改进yolov3模型的全天候海面目标检测方法 | |
CN115272814B (zh) | 一种远距离空间自适应多尺度的小目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |