CN114708544A - 一种基于边缘计算的违规行为智能监测头盔及其监测方法 - Google Patents

一种基于边缘计算的违规行为智能监测头盔及其监测方法 Download PDF

Info

Publication number
CN114708544A
CN114708544A CN202210248908.9A CN202210248908A CN114708544A CN 114708544 A CN114708544 A CN 114708544A CN 202210248908 A CN202210248908 A CN 202210248908A CN 114708544 A CN114708544 A CN 114708544A
Authority
CN
China
Prior art keywords
violation
scene
image
layer
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210248908.9A
Other languages
English (en)
Inventor
杨海平
陈涛
陈梦月
唐思琪
苟先太
钱照国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Jiaoda Prestressed Engineering Testing Technology Co ltd
Cscec Southwest Consulting Co ltd
Southwest Jiaotong University
Original Assignee
Sichuan Jiaoda Prestressed Engineering Testing Technology Co ltd
Cscec Southwest Consulting Co ltd
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Jiaoda Prestressed Engineering Testing Technology Co ltd, Cscec Southwest Consulting Co ltd, Southwest Jiaotong University filed Critical Sichuan Jiaoda Prestressed Engineering Testing Technology Co ltd
Priority to CN202210248908.9A priority Critical patent/CN114708544A/zh
Publication of CN114708544A publication Critical patent/CN114708544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于边缘计算的违规行为智能监测头盔及其监测方法，该头盔包括场景摄像头、场景检测模块、4G通信模块、头盔自带边缘设备，用于根据场景检测结果和远程服务器。本发明中的监测方法有效地实现了异常行为监测，当施工现场出现违规行为时，会自动触发头盔的声光报警装置，进行人员识别，达到安全生产的目的；在网络不通畅的情况下仍能完成违规行为的识别，不仅降低了头盔自带边缘自带设备的计算量，还满足了实时性的要求；可以随人员移动完成违规行为识别，提升了监测范围，降低了成本及操作人员的工作量。

Description

一种基于边缘计算的违规行为智能监测头盔及其监测方法
技术领域
本发明属于违规行为监测技术领域，具体涉及一种基于边缘计算的违规行为智能监测头盔及其监测方法。
背景技术
安全生产对于建筑工地施工而言一直都是一个严肃的话题，为了保障施工有条不紊的进行，就必须对施工现场的违规行为作为准确的识别并警告。目前已有案子在公共场所的固定摄像头用于采集视频图像，然后将视频传输至后台服务器，自动对视频中的异常行为进行识别。但该种方式存在以下缺点：
1)当采集的视频帧率较高，在传输过程中就会存在延迟，导致无法实时识别视频中的异常行为；
2)固定摄像头的监测范围较窄，若需扩大监控范围，得增加摄像头的数量，这样增大了成本；
3)当网络不通畅时无法进行行为识别。
综上，当前固定摄像头的方式无法满足工地违规行为监测的要求。
发明内容
针对现有技术中的上述不足，本发明提供的基于边缘计算的违规行为智能监测方法解决了现有的行为监测方法存在的识别延迟、监测范围窄、成本高和受限于网络状况的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于边缘计算的违规行为智能监测头盔，包括：
场景摄像头，用于采集不同场景下的施工现场图像；
场景检测模块，用于根据场景摄像头采集的施工现场图像检测是否发生场景变化；
4G通信模块，用于将当前场景检测结果对应的场景图像发送至远程服务器；
头盔自带边缘设备，用于根据场景检测结果，调用智能监测头盔内置的违规行为识别模型对当前场景图像进行违规行为识别；
远程服务器，用于根据接收到的当前场景检测结果对应的图像，调用违规行为识别模型进行违规行为识别。
进一步地，所述场景摄像头包括红外摄像头和可见光摄像头；
所述红外摄像头用于采集夜晚施工现场的图像，所述可见光摄像头用于采集白天施工现场的图像；
当4G通信模块的信号弱或场景发生变化时，通过头盔自带边缘设备调用内置违规行为识别模型进行违规行为的识别；
当4G通信模块的信号强且场景未发生变化时，通过4G通信模块将当前场景图像发送至远程服务器，调用其内置的违规行为识别模型进行违规行为的识别。
一种基于边缘计算的违规行为智能监测头盔的智能监测方法，包括以下步骤：
S1、采集施工现场的场景图像；
S2、确定当前4G通信模块的信号强弱情况；
当信号弱时，进入步骤S4；
当信号强时，进入步骤S3；
S3、根据采集的施工现场的图像，判断场景是否发生变化；
若是，则进入步骤S4；
若否，则进入步骤S5；
S4、将当前场景图像直接传输至头盔自带边缘设备，进入步骤S6；
S5、通过4G通信模块将当前场景图像发送至远程服务器，进入步骤S6；
S6、通过头盔自带边缘设备或远程服务器内置的违规行为识别模型对当前场景图像的违规行为进行识别，获取违规行为识别结果。
进一步地，所述步骤S3具体为：
S31、提取施工现场的图像的特征点；
S32、对相邻两张图像的进行特征点匹配；
S33、基于特征点匹配结果，判断
Figure BDA0003546192950000031
是否成立；
若是，则场景发生变化，进入步骤S4；
若否，则场景未发生变化，进入步骤S5；
式中，b为前后两张图像的进行匹配的特征点数量，a为前一张图像的特征点数量，k为设定的场景变化阈值。
进一步地，所述步骤S6中的违规行为识别模型包括依次连接的图像预处理层、卷积层、卷积网络层、池化层、全连接层和回归分类层；
所述全连接层的输入输出关系为：
Figure BDA0003546192950000032
式中，ai为全连接层的输出，Wij为当前输入所占的权重，bi为偏置参数，xj为全连接层的输入。
进一步地，所述步骤S6中，通过违规行为识别模型对当前场景图像的违规行为进行识别的方法具体为：
A1、通过图像预处理层采用区域合并算法提取当前场景图像的候选区域；
A2、通过卷积层提取当前场景图像的特征区域；
A3、将提取的候选区域对应的四元组坐标通过卷积网络映射到特征区域上；
A4、将取映射后的特征区域输入到池化层中，获取对应的目标特征图；
A5、将目标特征图依次输入到全连接层和回归分类层中，获取目标特征图中的结果识别框，即获得当前场景图像中的违规行为识别结果。
进一步地，所述步骤A1具体为：
A11、基于当前场景图像，生成包含两个以上区域的区域集；
A12、计算区域集中相邻两个区域的相似度；
A13、将相似度最高的两个区域合并为一个区域；
A14、判断当前区域集中的区域个数是否大于1；
若是，则返回步骤A12；
若否，则进入步骤A15；
A15，将当前区域集中的区域作为当前场景区域中的候选区域。
进一步地，所述步骤A12中计算的相似度S(ri,rj)为：
S(ri,rj)＝a1Scolor(ri,rj)+a2Stexture(ri,rj)+a3Ssize(ri,rj)+a4Sfill(ri,rj)
式中，Scolor(ri,rj)为颜色相似度，a1为对应的预定取值概率，Stexture(ri,rj)为纹理相似度，a2为对应的预定取值概率，Ssize(ri,rj)为尺寸相似度，a3为对应的预定取值概率，Sfill(ri,rj)为交叠相似度，a4为对应的预定取值概率，且a1+a2+a3+a4＝1；
其中，颜色相似度Scolor(ri,rj)为：
Figure BDA0003546192950000041
纹理相似度Stexture(ri,rj)为：
Figure BDA0003546192950000042
尺寸相似度Ssize(ri,rj)为：
Figure BDA0003546192950000043
交叠相似度Sfill(ri,rj)为：
Figure BDA0003546192950000051
式中，ri,rj为区域集中的两个相邻的区域，min(·)为最小值函数，n为区域集中的区域个数，
Figure BDA0003546192950000052
为区域ri和rj的颜色直方图，
Figure BDA0003546192950000053
为区域ri和rj的纹理直方图，size(ri)和size(rj)分别为区域ri和rj的尺寸，size(im)为当前场景图像的尺寸，size(BBij)为区域ri和rj合并后的区域尺寸。
进一步地，所述步骤A5中，所述回归分类层采用探测分类概率算法和探测边框回归算法对输入样本进行处理；
其中，采用探测分类概率算法对输入样本进行处理获得的分类输出概率Sj为：
Figure BDA0003546192950000054
式中，aj为输入样本向量中的第j个值，ak为输入样本向量的第k个值，T为类别数；
所述回归分类层中通过探测分类概率算法获得的输出结果损失L为-logSj；采用探测边框回归算法对输入样本进行处理时，对应输出图像的损失函数
Figure BDA0003546192950000055
为：
Figure BDA0003546192950000056
Figure BDA0003546192950000057
式中，ti为通过回归分类层输出的预测结果识别框的位置，
Figure BDA0003546192950000058
为与ti对应的实际结果目标框的位置，
Figure BDA0003546192950000059
为损失函数曲线，其表达式为：
Figure BDA00035461929500000510
本发明的有益效果为：
(1)本发明提供的违规行为智能监测方法有效地实现了异常行为监测，当施工现场出现违规行为时，会自动触发头盔的声光报警装置，进行人员识别，达到安全生产的目的；
(2)本发明中的智能头盔自带行为识别模型，在网络不通畅的情况下仍能完成违规行为的识别；
(3)本发明方法可以随人员移动完成违规行为识别，提升了监测范围，降低了成本；
(4)本发明监测方法可以根据场景变化有选择地进行违规行为的识别，不仅降低了头盔自带边缘自带设备的计算量，还满足了实时性的要求；
(5)本发明方法具有自动化处理水平高的特点，极大地降低了操作人员的工作量。
附图说明
图1为本发明提供的基于边缘计算的违规行为智能头盔结构框图。
图2为本发明提供的基于边缘计算的违规行为智能头盔的监测方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1：
本发明的基本思想是根据安全头盔采集图像数据，进行包括安全帽佩戴不规范、人员进入危险区域、电焊作业时不穿戴防护用品的违规行为监测，其中的监测方式包括利用安全头盔携带的边缘计算设备和远程服务器两种方式。具体地，如图1所示，本实施例中的基于边缘计算的违规行为智能监测头盔，包括：
场景摄像头，用于采集不同场景下的施工现场图像；
场景检测模块，用于根据场景摄像头采集的施工现场图像检测是否发生场景变化；
4G通信模块，用于将当前场景检测结果对应的场景图像发送至远程服务器；
头盔自带边缘设备，用于根据场景检测结果，调用智能监测头盔内置的违规行为识别模型对当前场景图像进行违规行为识别；
远程服务器，用于根据接收到的当前场景检测结果对应的图像，调用违规行为识别模型进行违规行为识别。
具体地，本实施例中的场景摄像头包括红外摄像头和可见光摄像头；其中，红外摄像头用于采集夜晚施工现场的图像，所述可见光摄像头用于采集白天施工现场的图像；
当4G通信模块的信号弱或场景发生变化时，通过头盔自带边缘设备调用内置违规行为识别模型进行违规行为的识别；
当4G通信模块的信号强且场景未发生变化时，通过4G通信模块将当前场景图像发送至远程服务器，调用其内置的违规行为识别模型进行违规行为的识别。
实施例2：
本实施例中提供了一种基于上述智能监测头盔实现违规行为智能监测的方法，如图2所示，包括以下步骤：
S1、采集施工现场的场景图像；
S2、确定当前4G通信模块的信号强弱情况；
当信号弱时，进入步骤S4；
当信号强时，进入步骤S3；
S3、根据采集的施工现场的图像，判断场景是否发生变化；
若是，则进入步骤S4；
若否，则进入步骤S5；
S4、将当前场景图像直接传输至头盔自带边缘设备，进入步骤S6；
S5、通过4G通信模块将当前场景图像发送至远程服务器，进入步骤S6；
S6、通过头盔自带边缘设备或远程服务器内置的违规行为识别模型对当前场景图像的违规行为进行识别，获取违规行为识别结果。
本实施例的步骤S1中施工现场的场景图像包括通过红外摄像头采集的夜晚施工现场的场景图像和通过可见光摄像头采集的白天施工现场的场景图像。
本实施例的步骤S2中，通过对4G通信模块信号强弱的判断，当4G信号强度值在75dBm～-85dBm范围内属于信号强，其他情况为信号弱，以确定采用何种违规行为识别方式，提高违规行为监测时效和准确度。
本实施例的步骤S3具体为：
S31、提取施工现场的图像的特征点；
S32、对相邻两张图像的进行特征点匹配；
S33、基于特征点匹配结果，判断
Figure BDA0003546192950000081
是否成立；
若是，则场景发生变化，进入步骤S4；
若否，则场景未发生变化，进入步骤S5；
式中，b为前后两张图像的进行匹配的特征点数量，a为前一张图像的特征点数量，k为设定的场景变化阈值。
上述步骤S31包括以下步骤：
(1)构建尺度空间：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
Figure BDA0003546192950000091
D(x,y,σ)＝(G(x,y,kσ))-I(x,y)
式中，(x,y)为空间坐标，L(x,y,σ)为二维图像的尺度空间，G(x,y,σ)为尺度可变高斯函数，D(x,y,σ)为差分尺度空间，I(x,y)为实际图像，k对应不同的尺度，k∈[1,3]，σ对应图像的平滑程度，σ值越大，图像越模糊，σ＝0.5。
(2)确定特征点大小：
得到上述差分尺度空间后，将每层图像的每一个像素点与它对应的上下两层以及本层的相邻像素点的图像域和尺寸域进行比较，这样就能找到对应特征点的大小；
Figure BDA0003546192950000092
式中，D(X)为拟合函数，将差分尺度空间D(x,y,σ)代入上述并求导使其为0，即可得到特征点的大小；
(3)描述特征点：
上述过程汇总求出了特征点的大小和方向信息，旋转坐标轴为特征点方向，在特征点尺度内4×4的窗口中计算8个方向的梯度信息，用128维的特征相量表示特征点。
上述步骤S32中，考虑到特征点由128维特征向量进行表示，此处采用协方差的方式进行计算，公式如下：
Figure BDA0003546192950000093
Figure BDA0003546192950000094
式中，u,v分别为前后两张图像的特征点，ui×vi分别为两种图像的特征点第i维度向量，d(u,v)为每个特征点与匹配图像所有特征点的距离，d1和d2分别表示d(u,v)中的最小距离和次最小距离，当γ小于设定阈值时，则表明这两个特征点匹配，反之则不匹配。
上述步骤S33中设定的场景变化阈值为0.3。
在场景变化值
Figure BDA0003546192950000101
后，若在设定帧数内场景未发生变化，则利用自带的4G通信模块将这段时间内的图像数据传送至远程服务器处理，并且下一轮参与计算场景变化值的图像视频帧数增加5，最大值为20；若场景发生变化，则直接调用头盔自带的边缘计算设备在本地进行处理，进行违规行为识别。
本实施例的步骤S6中的违规行为识别模型包括依次连接的图像预处理层、卷积层、卷积网络层、池化层、全连接层和回归分类层；
上述识别模型中的图像预处理层和回归分类层是一个抽象概念，分别对应后续步骤中的A1和A5；其中，全连接层的输入输出关系为：
Figure BDA0003546192950000102
式中，ai为全连接层的输出，Wij为当前输入所占的权重，bi为偏置参数，xj为全连接层的输入。
具体地，基于上述模型结构，上述步骤S6中，通过违规行为识别模型对当前场景图像的违规行为进行识别的方法具体为：
A1、通过图像预处理层采用区域合并算法提取当前场景图像的候选区域；
A2、通过卷积层提取当前场景图像的特征区域；
A3、将提取的候选区域对应的四元组坐标通过卷积网络映射到特征区域上；
A4、将取映射后的特征区域输入到池化层中，获取对应的目标特征图；
A5、将目标特征图依次输入到全连接层和回归分类层中，获取目标特征图中的结果识别框，即获得当前场景图像中的违规行为识别结果。
上述步骤A1具体为：
A11、基于当前场景图像，生成包含两个以上区域的区域集；
A12、计算区域集中相邻两个区域的相似度；
该步骤中的相似度S(ri,rj)为：
S(ri,rj)＝a1Scolor(ri,rj)+a2Stexture(ri,rj)+a3Ssize(ri,rj)+a4Sfill(ri,rj)
式中，Scolor(ri,rj)为颜色相似度，a1为对应的预定取值概率，Stexture(ri,rj)为纹理相似度，a2为对应的预定取值概率，Ssize(ri,rj)为尺寸相似度，a3为对应的预定取值概率，Sfill(ri,rj)为交叠相似度，a4为对应的预定取值概率，且a1+a2+a3+a4＝1；
其中，颜色相似度Scolor(ri,rj)为：
Figure BDA0003546192950000111
纹理相似度Stexture(ri,rj)为：
Figure BDA0003546192950000112
尺寸相似度Ssize(ri,rj)为：
Figure BDA0003546192950000113
交叠相似度Sfill(ri,rj)为：
Figure BDA0003546192950000114
式中，ri,rj为区域集中的两个相邻的区域，min(·)为最小值函数，n为区域集中的区域个数，
Figure BDA0003546192950000115
为区域ri和rj的颜色直方图，
Figure BDA0003546192950000116
为区域ri和rj的纹理直方图，size(ri)和size(rj)分别为区域ri和rj的尺寸，size(im)为当前场景图像的尺寸，size(BBij)为区域ri和rj合并后的区域尺寸；
A13、将相似度最高的两个区域合并为一个区域；
A14、判断当前区域集中的区域个数是否大于1；
若是，则返回步骤A12；
若否，则进入步骤A15；
A15，将当前区域集中的区域作为当前场景区域中的候选区域。
上述步骤A2中，通过卷积层提取特征区域时，卷积层之间存在卷积核，首先由第一层的卷积核与输入图像做卷积操作，得到第一层的特征区域，然后由下一次的卷积核再与上一层的特征区域做卷积操作，依次类推，就可以得到多层的特征区域。
上述步骤A3中的映射方式为：将原图像的坐标系映射到通过卷积网络提取到的特征区域上，由于原始图像经过卷积层后会缩小，为了搭配使用候选区域和特征区域，需将候选区域对应的四元组坐标做出相应的映射，比如生成的特征区域缩小为原始图像的n倍，候选区域对应的四元组坐标应该除以n。
上述步骤A4中，池化层利用网格划分将映射后的特征区域划分为相同大小的部分，利用划分网格大小为k×k,经过池化层的最大池化处理之后就会获得大小为k×k的目标特征图。
上述步骤A5中，所述回归分类层采用探测分类概率算法和探测边框回归算法对输入样本进行处理；
其中，采用探测分类概率算法对输入样本进行处理获得的分类输出概率Sj为：
Figure BDA0003546192950000121
式中，aj为输入样本向量中的第j个值，ak为输入样本向量的第k个值，T为类别数；
所述回归分类层中通过探测分类概率算法获得的输出结果损失L为-logSj；
采用探测边框回归算法对输入样本进行处理时，对应输出图像的损失函数
Figure BDA0003546192950000131
为：
Figure BDA0003546192950000132
Figure BDA0003546192950000133
式中，ti为通过回归分类层输出的预测结果识别框的位置，
Figure BDA0003546192950000134
为与ti对应的实际结果目标框的位置，
Figure BDA0003546192950000135
为损失函数曲线，其表达式为：
Figure BDA0003546192950000136

Claims (9)

1.一种基于边缘计算的违规行为智能监测头盔，其特征在于，包括：
场景摄像头，用于采集不同场景下的施工现场图像；
场景检测模块，用于根据场景摄像头采集的施工现场图像检测是否发生场景变化；
4G通信模块，用于将当前场景检测结果对应的场景图像发送至远程服务器；
头盔自带边缘设备，用于根据场景检测结果，调用智能监测头盔内置的违规行为识别模型对当前场景图像进行违规行为识别；
远程服务器，用于根据接收到的当前场景检测结果对应的图像，调用违规行为识别模型进行违规行为识别。
2.根据权利要求1所述的基于边缘计算的违规行为智能监测头盔，其特征在于，所述场景摄像头包括红外摄像头和可见光摄像头；
所述红外摄像头用于采集夜晚施工现场的图像，所述可见光摄像头用于采集白天施工现场的图像；
当4G通信模块的信号弱或场景发生变化时，通过头盔自带边缘设备调用内置违规行为识别模型进行违规行为的识别；
当4G通信模块的信号强且场景未发生变化时，通过4G通信模块将当前场景图像发送至远程服务器，调用其内置的违规行为识别模型进行违规行为的识别。
3.一种基于权利要求1～2任意一条权利要求所述的基于边缘计算的违规行为智能监测头盔的智能监测方法，其特征在于，包括以下步骤：
S1、采集施工现场的场景图像；
S2、确定当前4G通信模块的信号强弱情况；
当信号弱时，进入步骤S4；
当信号强时，进入步骤S3；
S3、根据采集的施工现场的图像，判断场景是否发生变化；
若是，则进入步骤S4；
若否，则进入步骤S5；
S4、将当前场景图像直接传输至头盔自带边缘设备，进入步骤S6；
S5、通过4G通信模块将当前场景图像发送至远程服务器，进入步骤S6；
S6、通过头盔自带边缘设备或远程服务器内置的违规行为识别模型对当前场景图像的违规行为进行识别，获取违规行为识别结果。
4.根据权利要求3所述的基于边缘计算的违规行为智能监测方法，其特征在于，所述步骤S3具体为：
S31、提取施工现场的图像的特征点；
S32、对相邻两张图像的进行特征点匹配；
S33、基于特征点匹配结果，判断
Figure FDA0003546192940000021
是否成立；
若是，则场景发生变化，进入步骤S4；
若否，则场景未发生变化，进入步骤S5；
式中，b为前后两张图像的进行匹配的特征点数量，a为前一张图像的特征点数量，k为设定的场景变化阈值。
5.根据权利要求4所述的基于边缘计算的违规行为智能监测方法，其特征在于，所述步骤S6中的违规行为识别模型包括依次连接的图像预处理层、卷积层、卷积网络层、池化层、全连接层和回归分类层；
所述全连接层的输入输出关系为：
Figure FDA0003546192940000022
式中，ai为全连接层的输出，Wij为当前输入所占的权重，bi为偏置参数，xj为全连接层的输入。
6.根据权利要求5所述的基于边缘计算的违规行为智能监测方法，其特征在于，所述步骤S6中，通过违规行为识别模型对当前场景图像的违规行为进行识别的方法具体为：
A1、通过图像预处理层采用区域合并算法提取当前场景图像的候选区域；
A2、通过卷积层提取当前场景图像的特征区域；
A3、将提取的候选区域对应的四元组坐标通过卷积网络映射到特征区域上；
A4、将取映射后的特征区域输入到池化层中，获取对应的目标特征图；
A5、将目标特征图依次输入到全连接层和回归分类层中，获取目标特征图中的结果识别框，即获得当前场景图像中的违规行为识别结果。
7.根据权利要求6所述的基于边缘计算的违规行为智能监测方法，其特征在于，所述步骤A1具体为：
A11、基于当前场景图像，生成包含两个以上区域的区域集；
A12、计算区域集中相邻两个区域的相似度；
A13、将相似度最高的两个区域合并为一个区域；
A14、判断当前区域集中的区域个数是否大于1；
若是，则返回步骤A12；
若否，则进入步骤A15；
A15，将当前区域集中的区域作为当前场景区域中的候选区域。
8.根据权利要求7所述的基于边缘计算的违规行为智能监测方法，其特征在于，所述步骤A12中计算的相似度S(ri,rj)为：
S(ri,rj)＝a1Scolor(ri,rj)+a2Stexture(ri,rj)+a3Ssize(ri,rj)+a4Sfill(ri,rj)
式中，Scolor(ri,rj)为颜色相似度，a1为对应的预定取值概率，Stexture(ri,rj)为纹理相似度，a2为对应的预定取值概率，Ssize(ri,rj)为尺寸相似度，a3为对应的预定取值概率，Sfill(ri,rj)为交叠相似度，a4为对应的预定取值概率，且a1+a2+a3+a4＝1；
其中，颜色相似度Scolor(ri,rj)为：
Figure FDA0003546192940000041
纹理相似度Stexture(ri,rj)为：
Figure FDA0003546192940000042
尺寸相似度Ssize(ri,rj)为：
Figure FDA0003546192940000043
交叠相似度Sfill(ri,rj)为：
Figure FDA0003546192940000044
式中，ri,rj为区域集中的两个相邻的区域，min(·)为最小值函数，n为区域集中的区域个数，
Figure FDA0003546192940000045
为区域ri和rj的颜色直方图，
Figure FDA0003546192940000046
为区域ri和rj的纹理直方图，size(ri)和size(rj)分别为区域ri和rj的尺寸，size(im)为当前场景图像的尺寸，size(BBij)为区域ri和rj合并后的区域尺寸。
9.根据权利要求6所述的基于边缘计算的违规行为智能监测方法，其特征在于，所述步骤A5中，所述回归分类层采用探测分类概率算法和探测边框回归算法对输入样本进行处理；
其中，采用探测分类概率算法对输入样本进行处理获得的分类输出概率Sj为：
Figure FDA0003546192940000047
式中，aj为输入样本向量中的第j个值，ak为输入样本向量的第k个值，T为类别数；
所述回归分类层中通过探测分类概率算法获得的输出结果损失L为-log Sj；
采用探测边框回归算法对输入样本进行处理时，对应输出图像的损失函数
Figure FDA0003546192940000051
为：
Figure FDA0003546192940000052
Figure FDA0003546192940000053
式中，ti为通过回归分类层输出的预测结果识别框的位置，
Figure FDA0003546192940000054
为与ti对应的实际结果目标框的位置，
Figure FDA0003546192940000055
为损失函数曲线，其表达式为：
Figure FDA0003546192940000056
CN202210248908.9A 2022-03-14 2022-03-14 一种基于边缘计算的违规行为智能监测头盔及其监测方法 Pending CN114708544A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210248908.9A CN114708544A (zh) 2022-03-14 2022-03-14 一种基于边缘计算的违规行为智能监测头盔及其监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210248908.9A CN114708544A (zh) 2022-03-14 2022-03-14 一种基于边缘计算的违规行为智能监测头盔及其监测方法

Publications (1)

Publication Number Publication Date
CN114708544A true CN114708544A (zh) 2022-07-05

Family

ID=82167920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210248908.9A Pending CN114708544A (zh) 2022-03-14 2022-03-14 一种基于边缘计算的违规行为智能监测头盔及其监测方法

Country Status (1)

Country Link
CN (1) CN114708544A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562824A (zh) * 2023-05-25 2023-08-08 闽通数智安全顾问(杭州)有限公司 一种公路工程全生命周期项目管理方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562824A (zh) * 2023-05-25 2023-08-08 闽通数智安全顾问(杭州)有限公司 一种公路工程全生命周期项目管理方法及***
CN116562824B (zh) * 2023-05-25 2023-11-24 闽通数智安全顾问(杭州)有限公司 一种公路工程全生命周期项目管理方法及***

Similar Documents

Publication Publication Date Title
CN110717414B (zh) 一种目标检测追踪方法、装置及设备
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN113052876B (zh) 一种基于深度学习的视频接力跟踪方法及***
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
CN111881749B (zh) 基于rgb-d多模态数据的双向人流量统计方法
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN115171022A (zh) 一种施工场景下的安全帽佩戴检测方法及***
CN111460917B (zh) 基于多模态信息融合的机场异常行为检测***及方法
CN114648748A (zh) 一种基于深度学习的机动车违停智能识别方法及***
CN101320477B (zh) 一种人体跟踪方法及其设备
CN115346155A (zh) 一种面向视觉特征非连续性干扰的船舶图像航迹提取方法
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN114708544A (zh) 一种基于边缘计算的违规行为智能监测头盔及其监测方法
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN113076825A (zh) 一种变电站工作人员爬高安全监测方法
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
Liu et al. STCN-Net: A novel multi-feature stream fusion visibility estimation approach
CN114912536A (zh) 一种基于雷达和双光电的目标识别方法
CN111985331B (zh) 预防商业秘密被窃照的检测方法及装置
Luo et al. Occluded Insulator Detection System Based on YOLOX of Multi-Scale Feature Fusion
CN116862952B (zh) 一种用于相似背景条件下的变电站作业人员视频追踪方法
CN115546737B (zh) 一种机房监控方法
CN114979567B (zh) 一种应用于视频智能监控的物体与区域交互方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination