CN114648738A - 一种基于物联网与边缘计算的图像识别***与方法 - Google Patents
一种基于物联网与边缘计算的图像识别***与方法 Download PDFInfo
- Publication number
- CN114648738A CN114648738A CN202210149994.8A CN202210149994A CN114648738A CN 114648738 A CN114648738 A CN 114648738A CN 202210149994 A CN202210149994 A CN 202210149994A CN 114648738 A CN114648738 A CN 114648738A
- Authority
- CN
- China
- Prior art keywords
- unit
- image
- special work
- type operation
- work type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000007781 pre-processing Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 22
- 230000008054 signal transmission Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 9
- 238000003379 elimination reaction Methods 0.000 claims description 9
- 235000002566 Capsicum Nutrition 0.000 claims description 8
- 239000006002 Pepper Substances 0.000 claims description 8
- 235000016761 Piper aduncum Nutrition 0.000 claims description 8
- 235000017804 Piper guineense Nutrition 0.000 claims description 8
- 235000008184 Piper nigrum Nutrition 0.000 claims description 8
- 150000003839 salts Chemical class 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 241000722363 Piper Species 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明为图像识别技术领域，具体而言，涉及一种基于物联网与边缘计算的图像识别***与方法，该方法包括：通过图像采集单元采集监控区域内特殊工种作业车的图像，并对特殊工种作业车的图像进行预处理，将预处理后的特殊工种作业车图像传输至边缘计算节点，经边缘计算后，得到特殊工种作业车图像的计算参数，其中，图像采集单元与边缘计算节点均设置有多个，且相互对应；通过计算参数完成对图像识别网络模型的训练，且在图像识别网络模型训练完成后，将其应用于各个边缘计算节点中，各个边缘计算节点通过协作评价法对特殊工种作业车图像的识别结果进行评价，根据评价结果投票判断是否为特殊工种作业车。
Description
技术领域
本发明为图像识别技术领域，具体而言，涉及一种基于物联网与边缘计算的图像识别***与方法。
背景技术
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。近几年，随着国家道路交通的飞速发展，许多弊端也随之产生，其中，较为重要的是过去对于特殊工种作业车的管理把控不够严格，常常特殊工种作业车会出现在非指定场所区域，而此类特殊工种作业车不仅体型庞大、很重，而且常具备危险性，当此类车辆行驶在桥梁道路上的时候，由于桥梁道路的支撑重量存在极限，一旦桥梁道路的支撑重量超过设定值，极其容易发生桥梁垮塌的安全事故，造成人员伤亡。
但就目前而言，不同的特殊工种作业车通常停放在不同的监控管理区域，需要大量的摄像机进行监控，随着监控摄像的增多，且监控区域的分散，会导致上传至图像识别服务器的图像数据增长很多，造成图像识别服务器的资源被大量占用，出现网络拥堵的情况，并且，现有的图像识别服务器常常只是简单对所收集的图像进行预处理，常常会出现图像模糊而导致识别失败。
发明内容
本发明的目的在于提供一种基于物联网与边缘计算的图像识别***与方法，以改善上述问题。
为了实现上述目的，本申请实施例提供了如下技术方案：
一方面，本申请实施例提供了一种基于物联网与边缘计算的图像识别***，包括：
图像采集单元：用于对特殊工种作业车的图像进行采集，其中，特殊工种作业车位于监控区域内；
预处理单元：用于对特殊工种作业车的图像进行预处理；
信号传输单元：用于对完成预处理的特殊工种作业车图像进行信号传输；
特征提取单元：用于对完成预处理的特殊工种作业车图像进行特征提取，其中，特征提取具体通过边缘计算进行特征提取；
图像识别单元：用于对特殊工种作业车的图像特征进行识别；
所述图像采集单元与所述预处理单元连接，所述预处理单元与所述信号传输单元连接，所述信号传输单元与所述特征提取单元连接，所述特征提取单元与所述图像识别单元连接。
作为优选的，所述图像采集单元具体可应用为双目摄像机，且双目摄像机设置有多个，分别部署在监控区域的周围。
作为优选的，所述预处理单元包括：去噪单元、灰度拉伸单元、直方图均衡化单元、亮度调节单元、变换单元和二值化单元；
所述去噪单元：用于通过去噪算法对特殊工种作业车的图像进行噪声去除，其中，噪声包括高斯噪声、斑点噪声和椒盐噪声；
所述去噪算法的计算公式如下所示：
其中，
为完成去噪的特殊工种作业车图像，P(X，Y)为受到噪声污染的特殊工种作业车图像，(x，y)为完成去噪的特殊工种作业车图像某一像素点，(X，Y)为受到噪声污染的特殊工种作业车图像某一像素点，a×b为4邻域或8邻域形式的模板，Q为模板的区域；
所述灰度拉伸单元：用于对特殊工种作业车的图像进行灰度拉伸；
所述直方图均衡化单元：用于对特殊工种作业车图像的像素值与灰度级进行均衡化处理；
所述亮度调节单元：用于对特殊工种作业车的图像进行亮度调节；
所述变换单元：用于对特殊工种作业车的图像进行彩色图像至灰度图像的变换；
所述二值化单元：用于对特殊工种作业车的图像进行二值化处理，其中，二值化处理采用二值化算法，其计算公式如下所示：
其中，(x，y)为像素，f(x，y)为像素的原属性，g(x，y)为像素变化后的属性，σ为阈值点，G0与G1分别为待测图像完成二值化的颜色。
作为优选的，所述信号传输单元应用于物联网，通过物联网对完成预处理的特殊工种作业车图像进行信号传输。
作为优选的，所述特征提取单元应用于边缘计算节点单元，所述边缘计算节点单元对应所述图像采集单元，用于对对应的图像采集单元所采集的特殊工种作业车图像进行边缘计算，完成对特殊工种作业车图像的特征提取，所述边缘计算节点单元包括节点信息获取子单元、节点分析子单元和节点计算单元；
所述节点信息获取子单元：用于对边缘计算节点单元的状态信息进行获取；
所述节点分析子单元：用于对特殊工种作业车的图像进行接收与分析，并控制节点计算单元进行计算；
所述节点计算单元：用于对特殊工种作业车的图像进行计算，其中，节点计算单元内预设有图像优化算法与图像特征提取算法。
作为优选的，所述图像识别单元包括获取单元与识别单元；
所述获取单元：用于对节点计算单元的计算参数进行获取，生成与边缘计算节点单元所对应的训练集；
所述识别单元：用于通过图像识别网络模型完成对特殊工种作业车图像的识别。
作为优选的，所述分析单元包括模型构建单元、模型优化单元和模型训练单元；
所述模型构建单元：用于构建图像识别网络模型，其中，所述图像识别网络模型选用卷积网络模型，所述卷积网络模型的损失函数采用交叉熵损失函数，其计算公式如下所示：
其中，s为样本，n为样本的总数量，H为预测的输出量，
为实际的输出量；
所述模型优化单元：用于对图像识别网络模型进行优化，其中，模型优化单元内预设有Dropout算法，其计算公式如下所示：
L＝r×f(ωm+n)
rj～Bernoulli(p)
其中，f为激活函数，m为输入，r为二值掩膜矩阵，rj为概率向量，取值为0或1；
所述模型训练单元，用于通过训练集完成对图像识别网络模型的训练。
一方面，本申请实施例提供了一种基于物联网与边缘计算的图像识别方法，包括如下内容：
通过图像采集单元采集监控区域内特殊工种作业车的图像，并对特殊工种作业车的图像进行预处理，将预处理后的特殊工种作业车图像传输至边缘计算节点，经边缘计算后，得到特殊工种作业车图像的计算参数，其中，预处理包括去噪、灰度拉伸、直方图均衡化、亮度调节、彩转灰变换以及二值化，所述图像采集单元设置有多个，所述边缘计算节点设置有多个，且分别与各个图像采集单元所对应；
获取特殊工种作业车图像的计算参数，形成训练集，构建图像识别网络模型，通过训练集对图像识别网络模型进行训练，得到完成训练的图像识别网络模型，其中，在图像识别网络模型训练完成后，将其应用于各个边缘计算节点中，各个边缘计算节点通过协作评价法对特殊工种作业车图像的识别结果进行评价，根据评价结果投票判断是否为特殊工种作业车，所述图像识别网络模型采用Dropout算法进行优化，所述协作评价法，具体为：
设定边缘计算节点的总数为S，判断结果为Puo，且Puo的取值为0或1，其评价结果为P＝最大值
其中，o的取值为1或2。
一方面，本申请实施例提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述的一种基于物联网与边缘计算的图像识别方法的步骤。
最后，本申请实施例提供了一种计算机存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的一种基于物联网与边缘计算的图像识别方法的步骤。
本发明的有益效果为：
本发明中由于特殊工种作业车的体型与形态较大，需要部署多个摄像头对特殊工种作业车进行采集，而采集的数据会经物联网传输给各个摄像头所对应的边缘节点上，进行计算，大大的减少了网络拥堵。提高了后续对特殊工种作业车进行图像识别的效率；
而且，本发明中各个摄像头所采集的图像，因图像在采集过程中，不可避免的会受到例如噪声、亮度等原因的影响，导致图像出现不清楚的情况，因此，通过上述去噪、灰度拉伸、直方图均衡化、亮度调节、彩转灰变换以及二值化等方式对特殊工种作业车的图像进行预处理，大大的提高了后续对特殊工种作业车进行图像识别的效率，更避免了因为特殊工种作业车的图像模糊而导致识别失败；
另外，本发明中不同的特殊工种作业车的形态与大小均存在差异，且同种类的特殊工种作业车通常位于同一监控区域，所以可以在卷积网络模型内部***自注意力机制，重点针对特殊工种作业车图像中是否存在区域所对应的特殊工种作业车，用以提高特殊工种作业车图像识别的精度。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中所述的一种基于物联网与边缘计算的图像识别***示意图；
图2是本发明实施例中所述的Dropout算法原理比对图；
图3是本发明实施例中所述的一种基于物联网与边缘计算的图像识别方法示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
如图1所示，本实施例提供了一种基于物联网与边缘计算的图像识别***，该***包括：
图像采集单元：用于对特殊工种作业车的图像进行采集，其中，特殊工种作业车位于监控区域内；
预处理单元：用于对特殊工种作业车的图像进行预处理；
信号传输单元：用于对完成预处理的特殊工种作业车图像进行信号传输；
特征提取单元：用于对完成预处理的特殊工种作业车图像进行特征提取，其中，特征提取具体通过边缘计算进行特征提取；
图像识别单元：用于对特殊工种作业车的图像特征进行识别；
所述图像采集单元与所述预处理单元连接，所述预处理单元与所述信号传输单元连接，所述信号传输单元与所述特征提取单元连接，所述特征提取单元与所述图像识别单元连接。
在具体实施中，所述图像采集单元具体可应用为双目摄像机，且双目摄像机设置有多个，分别部署在监控区域的周围。
在具体实施中，所述预处理单元包括：去噪单元、灰度拉伸单元、直方图均衡化单元、亮度调节单元、变换单元和二值化单元；
所述去噪单元：用于通过去噪算法对特殊工种作业车的图像进行噪声去除，其中，噪声包括高斯噪声、斑点噪声和椒盐噪声；
具体的，高斯噪声为它的概率密度函数服从高斯分布的一类噪声，是一种随机噪声，其特点是不管原图像的直方图统计分布图是怎样的，噪声发生的概率密度有多大，其噪声强度的统计分布图服从正态分布，图像中既有污染幅度较大的强噪声像素，又有污染幅度较小的弱噪声像素，这种噪声主要来源于电子电路噪声和低照明度或高温带来的传感器噪声，其概率密度函数如下所示：
其中，z为图像像素的度值，μ为z的期望，σ为z的标准差。
具体的，斑点噪声声既降低了图像的画面质量，又严重影响了图像的自动分割、分类、目标检测以及其他定量专题信息的提取。
具体的，椒盐噪声为两类噪声，分别为盐噪声和胡椒噪声。其中盐噪声表现为白色，属于高灰度噪声；胡椒噪声是黑色的，属低灰度噪声。并且一般情况下这两种噪声同时出现，呈现在图像中即为黑白点。椒盐噪声是由图像传感器、传输信道、解码处理等产生的黑白相间的亮暗点噪声，这种噪声往往由图像切割引起，去除脉冲干扰及椒盐噪声最常用的算法是中值滤波。
所述去噪算法的计算公式如下所示：
其中，
为完成去噪的特殊工种作业车图像，P(X，Y)为受到噪声污染的特殊工种作业车图像，(x，y)为完成去噪的特殊工种作业车图像某一像素点，(X，Y)为受到噪声污染的特殊工种作业车图像某一像素点，a×b为4邻域或8邻域形式的模板，Q为模板的区域；
所述灰度拉伸单元：用于对特殊工种作业车的图像进行灰度拉伸；
具体的，灰度拉伸所采用的为分段线性变换，具体变换函数表达式如下：
其中，f1、G1、f2、G2为灰度拉伸变换函数图形上两个控制点的坐标，灰度拉伸用于扩展指定的灰度范围，以改善图像质量。
所述直方图均衡化单元：用于对特殊工种作业车图像的像素值与灰度级进行均衡化处理；
直方图均衡化是把图像的像素值在灰度级上重新分配，使得输入图像转换为在每一灰度级上都有大约相同像素点数的输出图像，其变换公式如下：
其中，Ni为灰度级数为i的像素个数。
所述亮度调节单元：用于对特殊工种作业车的图像进行亮度调节；
图像的亮度调节就是让图像各像素值都增加或者减少一定量，得到新的灰度值，从而实现整个图像的变化，其数学表达式如下：
Y(x)＝hx+d
其中，当k为1的时候，通过变动d的取值来调节图像的亮度，
所述变换单元：用于对特殊工种作业车的图像进行彩色图像至灰度图像的变换；
所述二值化单元：用于对特殊工种作业车的图像进行二值化处理，其中，二值化处理采用二值化算法，
图像二值化就是将图像上的点的灰度设置为0或255，也就是让整个图像呈现出明显的黑白效果。当图像趋于黑白效果或图像基本上只有背景和目标图像两种颜色时，可以在256个亮度等级中确定一个阈值点为两个颜色的分界点，对图像进行二值化处理。
图像二值化可以消除模糊，减少复杂度，减少图像色彩级别，在图像二值化以后，图像的灰度级别为两个，其层次感和真实感会被破坏，但所需要的图像信息会被突出，对于后续的图像识别起到了重要的作用，其计算公式如下所示：
其中，(x，y)为像素，f(x，y)为像素的原属性，g(x，y)为像素变化后的属性，σ为阈值点，G0与G1分别为待测图像完成二值化的颜色。
在完成对特殊工种作业车的图像进行预处理后，还可以通过Tenengrad函数对完成预处理的特殊工种作业车图像进行清晰度评价，若特殊工种作业车图像达到设定值，则执行后续的传输工作。
在具体实施中，所述信号传输单元应用于物联网，通过物联网对完成预处理的特殊工种作业车图像进行信号传输。
物联网的定义是：通过射频识别、红外感应器、全球定位***等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位与管理的一种网络。
在本文的实施例中，因特殊工种作业车的体型与形态较大，需要部署多个摄像头对特殊工种作业车进行采集，而采集的数据会经物联网传输给各个摄像头所对应的边缘节点上，进行计算，大大的减少了网络拥堵。提高了后续对特殊工种作业车进行图像识别的效率。
另外，本发明中各个摄像头所采集的图像，因图像在采集过程中，不可避免的会受到例如噪声、亮度等原因的影响，导致图像出现不清楚的情况，因此，通过上述去噪、灰度拉伸、直方图均衡化、亮度调节、彩转灰变换以及二值化等方式对特殊工种作业车的图像进行预处理，大大的提高了后续对特殊工种作业车进行图像识别的效率，更避免了因为特殊工种作业车的图像模糊而导致识别失败。
可想象的是，一旦特殊工种作业车因识别失败被不法分子或工作人员开出监测区域，行驶至道路上，所可能导致的安全事故。
在具体实施中，所述特征提取单元应用于边缘计算节点单元，所述边缘计算节点单元对应所述图像采集单元，用于对对应的图像采集单元所采集的特殊工种作业车图像进行边缘计算，完成对特殊工种作业车图像的特征提取，所述边缘计算节点单元包括节点信息获取子单元、节点分析子单元和节点计算单元；
不同边缘节点之间的计算任务相互独立，增加边缘节点的数量能够获取更多尺度与更加丰富的特征，提升图像识别的准确率，若减少节点数量还能适当减少网络中传输的图像数据量，缓解数据的传输压力。
所述节点信息获取子单元：用于对边缘计算节点单元的状态信息进行获取；
所述节点分析子单元：用于对特殊工种作业车的图像进行接收与分析，并控制节点计算单元进行计算；
所述节点计算单元：用于对特殊工种作业车的图像进行计算，其中，节点计算单元内预设有图像优化算法与图像特征提取算法。
在具体实施中，所述图像识别单元包括获取单元与识别单元；
所述获取单元：用于对节点计算单元的计算参数进行获取，生成与边缘计算节点单元所对应的训练集；
所述识别单元：用于通过图像识别网络模型完成对特殊工种作业车图像的识别。
在具体实施中，所述分析单元包括模型构建单元、模型优化单元和模型训练单元；
所述模型构建单元：用于构建图像识别网络模型，其中，所述图像识别网络模型选用卷积网络模型，所述卷积网络模型的损失函数采用交叉熵损失函数，其计算公式如下所示：
其中，s为样本，n为样本的总数量，H为预测的输出量，
为实际的输出量；
所述模型优化单元：用于对图像识别网络模型进行优化，其中，模型优化单元内预设有Dropout算法，如图2所示为采用Dropout算法的神经元之间的比对图，dropout算法为在训练过程中，随机移除部分隐藏层的神经元，同时移除掉对应的所有输入与输出。但只是暂时移除，在下一次训练时，又在所有的神经元中随机移除固定比例的神经元，在训练阶段，dropout之后神经网络会变“瘦”，这样可以避免神经网络结构太复杂，从而导致过拟合，同时在预测过程中，相当于对带有更小参数的处理之后的神经网络的预测结果进行取平均值的效果，会使预测结果更准确，其具体的计算公式如下所示：
L＝r×f(ωm+n)
rj～Bernoulli(p)
其中，f为激活函数，m为输入，r为二值掩膜矩阵，rj为概率向量，取值为0或1；
所述模型训练单元，用于通过训练集完成对图像识别网络模型的训练。
本发明中，所涉及的图像识别网络模型具体为卷积网络模型，其中，因为不同的特殊工种作业车的形态与大小均存在差异，且同种类的特殊工种作业车通常位于同一监控区域，所以可以在卷积网络模型内部***自注意力机制(自注意力机制是通过计算出图像中任意两个像素点之间的关系，从而获取图像的全局几何特征，提取图像中有价值的信息)，重点针对特殊工种作业车图像中是否存在区域所对应的特殊工种作业车，用以提高特殊工种作业车图像识别的精度。
实施例2
如图3所示，本实施例提供了一种基于物联网与边缘计算的图像识别方法，该方法包括：
通过图像采集单元采集监控区域内特殊工种作业车的图像，并对特殊工种作业车的图像进行预处理，将预处理后的特殊工种作业车图像传输至边缘计算节点，经边缘计算后，得到特殊工种作业车图像的计算参数，其中，预处理包括去噪、灰度拉伸、直方图均衡化、亮度调节、彩转灰变换以及二值化，所述图像采集单元设置有多个，所述边缘计算节点设置有多个，且分别与各个图像采集单元所对应；
获取特殊工种作业车图像的计算参数，形成训练集，构建图像识别网络模型，通过训练集对图像识别网络模型进行训练，得到完成训练的图像识别网络模型，其中，在图像识别网络模型训练完成后，将其应用于各个边缘计算节点中，各个边缘计算节点通过协作评价法对特殊工种作业车图像的识别结果进行评价，根据评价结果投票判断是否为特殊工种作业车，所述图像识别网络模型采用Dropout算法进行优化，所述协作评价法，具体为：
设定边缘计算节点的总数为S，判断结果为Puo，且Puo的取值为0或1，其评价结果为P＝最大值
其中，o的取值为1或2。
需要说明的是，关于上述实施例中的方法，其中方法中需要执行相应操作的具体***模块或单元已经在有关该***的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例，本公开实施例还提供了一种电子设备，下文描述的与上文描述的一种基于物联网与边缘计算的图像识别方法可相互对应参照。
其中，处理器用于控制电子设备的整体操作，以完成上述的一种基于物联网与边缘计算的图像识别方法中的全部或部分步骤。存储器用于存储各种类型的数据以支持在该电子设备的操作，这些数据例如可以包括用于在该电子设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。
在本实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的一种基于物联网与边缘计算的图像识别方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由电子设备的处理器执行以完成上述的一种基于物联网与边缘计算的图像识别方法。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于物联网与边缘计算的图像识别方法，其特征在于，包括如下内容：
通过图像采集单元采集监控区域内特殊工种作业车的图像，并对特殊工种作业车的图像进行预处理，将预处理后的特殊工种作业车图像传输至边缘计算节点，经边缘计算后，得到特殊工种作业车图像的计算参数，其中，预处理包括去噪、灰度拉伸、直方图均衡化、亮度调节、彩转灰变换以及二值化，所述图像采集单元设置有多个，所述边缘计算节点设置有多个，且分别与各个图像采集单元所对应；
获取特殊工种作业车图像的计算参数，形成训练集，构建图像识别网络模型，通过训练集对图像识别网络模型进行训练，得到完成训练的图像识别网络模型，其中，在图像识别网络模型训练完成后，将其应用于各个边缘计算节点中，各个边缘计算节点通过协作评价法对特殊工种作业车图像的识别结果进行评价，根据评价结果投票判断是否为特殊工种作业车，所述图像识别网络模型采用Dropout算法进行优化，所述协作评价法，具体为：
设定边缘计算节点的总数为S，判断结果为Puo，且Puo的取值为0或1，其评价结果为
其中，o的取值为1或2。
2.一种基于物联网与边缘计算的图像识别***，其特征在于，包括：
图像采集单元：用于对特殊工种作业车的图像进行采集，其中，特殊工种作业车位于监控区域内；
预处理单元：用于对特殊工种作业车的图像进行预处理；
信号传输单元：用于对完成预处理的特殊工种作业车图像进行信号传输；
特征提取单元：用于对完成预处理的特殊工种作业车图像进行特征提取，其中，特征提取具体通过边缘计算进行特征提取；
图像识别单元：用于对特殊工种作业车的图像特征进行识别；
所述图像采集单元与所述预处理单元连接，所述预处理单元与所述信号传输单元连接，所述信号传输单元与所述特征提取单元连接，所述特征提取单元与所述图像识别单元连接。
3.根据权利要求1所述的一种基于物联网与边缘计算的图像识别***，其特征在于，所述图像采集单元具体可应用为双目摄像机，且双目摄像机设置有多个，分别部署在监控区域的周围。
4.根据权利要求1所述的一种基于物联网与边缘计算的图像识别***，其特征在于，所述预处理单元包括：去噪单元、灰度拉伸单元、直方图均衡化单元、亮度调节单元、变换单元和二值化单元；
所述去噪单元：用于通过去噪算法对特殊工种作业车的图像进行噪声去除，其中，噪声包括高斯噪声、斑点噪声和椒盐噪声；
所述去噪算法的计算公式如下所示：
其中，
为完成去噪的特殊工种作业车图像，P(X，Y)为受到噪声污染的特殊工种作业车图像，(x，y)为完成去噪的特殊工种作业车图像某一像素点，(X，Y)为受到噪声污染的特殊工种作业车图像某一像素点，a×b为4邻域或8邻域形式的模板，Q为模板的区域；
所述灰度拉伸单元：用于对特殊工种作业车的图像进行灰度拉伸；
所述直方图均衡化单元：用于对特殊工种作业车图像的像素值与灰度级进行均衡化处理；
所述亮度调节单元：用于对特殊工种作业车的图像进行亮度调节；
所述变换单元：用于对特殊工种作业车的图像进行彩色图像至灰度图像的变换；
所述二值化单元：用于对特殊工种作业车的图像进行二值化处理，其中，二值化处理采用二值化算法，其计算公式如下所示：
其中，(x，y)为像素，f(x，y)为像素的原属性，g(x，y)为像素变化后的属性，σ为阈值点，G0与G1分别为待测图像完成二值化的颜色。
5.根据权利要求1所述的一种基于物联网与边缘计算的图像识别***，其特征在于，所述信号传输单元应用于物联网，通过物联网对完成预处理的特殊工种作业车图像进行信号传输。
6.根据权利要求1所述的一种基于物联网与边缘计算的图像识别***，其特征在于，所述特征提取单元应用于边缘计算节点单元，所述边缘计算节点单元对应所述图像采集单元，用于对对应的图像采集单元所采集的特殊工种作业车图像进行边缘计算，完成对特殊工种作业车图像的特征提取，所述边缘计算节点单元包括节点信息获取子单元、节点分析子单元和节点计算单元；
所述节点信息获取子单元：用于对边缘计算节点单元的状态信息进行获取；
所述节点分析子单元：用于对特殊工种作业车的图像进行接收与分析，并控制节点计算单元进行计算；
所述节点计算单元：用于对特殊工种作业车的图像进行计算，其中，节点计算单元内预设有图像优化算法与图像特征提取算法。
7.根据权利要求6所述的一种基于物联网与边缘计算的图像识别***，其特征在于，所述图像识别单元包括获取单元与识别单元；
所述获取单元：用于对节点计算单元的计算参数进行获取，生成与边缘计算节点单元所对应的训练集；
所述识别单元：用于通过图像识别网络模型完成对特殊工种作业车图像的识别。
8.根据权利要求7所述的一种基于物联网与边缘计算的图像识别***，其特征在于，所述分析单元包括模型构建单元、模型优化单元和模型训练单元；
所述模型构建单元：用于构建图像识别网络模型，其中，所述图像识别网络模型选用卷积网络模型，所述卷积网络模型的损失函数采用交叉熵损失函数，其计算公式如下所示：
其中，s为样本，n为样本的总数量，H为预测的输出量，
为实际的输出量；
所述模型优化单元：用于对图像识别网络模型进行优化，其中，模型优化单元内预设有Dropout算法，其计算公式如下所示：
L＝r×f(ωm+n)
rj～Bernoulli(p)
其中，f为激活函数，m为输入，r为二值掩膜矩阵，rj为概率向量，取值为0或1；
所述模型训练单元，用于通过训练集完成对图像识别网络模型的训练。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1所述的一种基于物联网与边缘计算的图像识别方法的步骤。
10.一种计算机存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述的一种基于物联网与边缘计算的图像识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210149994.8A CN114648738A (zh) | 2022-02-10 | 2022-02-10 | 一种基于物联网与边缘计算的图像识别***与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210149994.8A CN114648738A (zh) | 2022-02-10 | 2022-02-10 | 一种基于物联网与边缘计算的图像识别***与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114648738A true CN114648738A (zh) | 2022-06-21 |
Family
ID=81993850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210149994.8A Pending CN114648738A (zh) | 2022-02-10 | 2022-02-10 | 一种基于物联网与边缘计算的图像识别***与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114648738A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116634638A (zh) * | 2023-05-16 | 2023-08-22 | 珠海光通智装科技有限公司 | 灯光控制策略的生成方法、灯光控制方法以及相关装置 |
-
2022
- 2022-02-10 CN CN202210149994.8A patent/CN114648738A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116634638A (zh) * | 2023-05-16 | 2023-08-22 | 珠海光通智装科技有限公司 | 灯光控制策略的生成方法、灯光控制方法以及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110033002B (zh) | 基于多任务级联卷积神经网络的车牌检测方法 | |
| CN101398894B (zh) | 机动车车牌自动识别方法及其实现装置 | |
| CN109255326B (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
| CN106096610A (zh) | 一种基于支持向量机的文档图像二值化方法 | |
| CN111896540B (zh) | 一种基于区块链的水质在线监测*** | |
| CN111209858A (zh) | 一种基于深度卷积神经网络的实时车牌检测方法 | |
| CN109598200B (zh) | 一种铁水罐罐号的图像智能识别***及方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及***、电子设备和存储介质 | |
| CN116152261B (zh) | 一种印刷制品质量的视觉检测*** | |
| CN113256624A (zh) | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN115311507A (zh) | 基于数据处理的建筑板材分类方法 | |
| CN114648738A (zh) | 一种基于物联网与边缘计算的图像识别***与方法 | |
| CN117475327A (zh) | 一种城市中基于遥感图像的多目标检测定位方法和*** | |
| CN116935293B (zh) | 一种远程视频查勘定损自动化处理方法及*** | |
| CN116311212B (zh) | 基于高速摄像机实现运动状态下的船号识别方法及装置 | |
| CN117496532A (zh) | 基于0cr的智慧识别工具 | |
| CN111160372B (zh) | 一种基于高速卷积神经网络的大目标识别方法 | |
| CN117253192A (zh) | 用于桑蚕养殖的智能***及方法 | |
| CN117152642A (zh) | 基于无人机的生态环境监管***及其方法 | |
| CN110287752B (zh) | 一种点阵码检测方法及装置 | |
| CN116778460A (zh) | 一种基于图像识别的疲劳驾驶识别方法 | |
| CN116152758A (zh) | 一种智能实时事故检测及车辆跟踪方法 | |
| CN115620121A (zh) | 一种基于数字孪生的光电目标高精度检测方法 | |
| CN115661803A (zh) | 图像清晰度检测方法、电子设备以及计算机可读存储介质 | |
| CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |