CN113033326B - 一种光伏电站施工踩踏组件监测方法 - Google Patents

一种光伏电站施工踩踏组件监测方法 Download PDF

Info

Publication number
CN113033326B
CN113033326B CN202110242583.9A CN202110242583A CN113033326B CN 113033326 B CN113033326 B CN 113033326B CN 202110242583 A CN202110242583 A CN 202110242583A CN 113033326 B CN113033326 B CN 113033326B
Authority
CN
China
Prior art keywords
model
rectangular frame
photovoltaic
pixel
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110242583.9A
Other languages
English (en)
Other versions
CN113033326A (zh
Inventor
王皓
钱志华
陆振伟
蔡佳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunworth New Energy Technology Shanghai Co ltd
Uper New Energy Technology Ningbo Co ltd
Original Assignee
Sunworth New Energy Technology Shanghai Co ltd
Uper New Energy Technology Ningbo Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunworth New Energy Technology Shanghai Co ltd, Uper New Energy Technology Ningbo Co ltd filed Critical Sunworth New Energy Technology Shanghai Co ltd
Priority to CN202110242583.9A priority Critical patent/CN113033326B/zh
Publication of CN113033326A publication Critical patent/CN113033326A/zh
Application granted granted Critical
Publication of CN113033326B publication Critical patent/CN113033326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种光伏电站施工踩踏组件监测方法，涉及光伏电站现场违章施工监督领域，该方法包括以下步骤：采集施工现场照片；将采集到的照片通过无线网络传输到网络交换机；通过WLAN或LAN传输协议将施工现场照片上传至云服务器；云服务器端通过机器视觉算法判定照片中的场景是否存在违章踩踏组件的行为；将判定结果传输至客户端和施工现场设置的报警器模块。本发明使用了深度学习算法模型、像素级预测结果融合算法以及业务场景像素级判定算法，提升了施工现场违章行为监督的及时性和准确性，从而可以高效地监测分布式光伏电站施工过程中的违规踩踏组件的行为，大大降低了人力成本。

Description

一种光伏电站施工踩踏组件监测方法
技术领域
本发明属于光伏电站现场违章施工监督领域，尤其涉及一种光伏电站施工踩踏组件监测方法。
背景技术
太阳能光伏电站是一种利用太阳光资源，并采用太阳能电池板、逆变器等电子器件组成的发电***。其与国家电网连接，并向电网传输电能，相比火力发电减少了碳排放，是一种国家大力倡导的清洁绿色能源。
光伏电站一般分为地面(集中式)电站、分布式光伏电站和BIPV(光伏建筑一体化)等类型。地面(集中式)电站通常安装在广袤的农村、山地和沙漠等地区，施工面积较大，光伏组件通常最佳倾角安装在组件支架上。因此，人员施工时发***组件这一违规行为的可能性不高。
分布式光伏电站通常是指利用分散式资源，装机规模较小的、安装在工商业屋顶或用户附近的发电***。其发出的电能既可以全部输送到国家电网(全额上网)，也可以自身消纳，其余的发送到电网(自发自用，余电上网)。分布式屋顶光伏电站的现场工况通常是彩钢瓦屋顶或者是水泥屋顶，由于施工现场空间小，光伏组件排布较紧密，施工维护通道狭窄或者缺失，人员安全及设备物料维护意识不强，导致现场工人在施工过程中踩踏组件。在目前分布式电站施工过程中，踩踏组件是常见的施工违规操作，屡见不鲜。在国家规定的光伏电站施工规范中，明令禁止踩踏组件，但施工现场人员较多，为了施工方便，心存侥幸，同时现场监管不力，使得这一现象十分普遍，难以通过高效便捷的方式杜绝。被踩踏过的光伏组件会导致其电池片隐裂的情况发生，损害了电池组件的晶片。在光伏组件尚未投入正式运营发电之时，就已经导致发电效率降低，甚至损坏，给光伏电站的投资者造成了经济损失。
现有技术中一般通过以下两种方案来监测光伏电站施工现场违规踩踏组件的行为；
(1)安排一个现场人员人工监控违章施工的行为；
(2)通过现场设立摄像头，实时将视频传输到后台监控室，后方监控室人员使用肉眼监控视频来判定现场施工的违章行为。
现有监测方法存在如下缺点：
(1)仅人员在现场监工的方案以及后方看监控录像的方案人力成本较高，且存在人为判定会受到其他因素干扰而不客观的现象；而且全天监工以及观看监控录像会有疲劳感，影响判定准确性；
(2)视频实时监控通过无线信号传输，由于视频的数据量较大，需要很高的带宽，基础设施成本较高，传输以及数据处理的时候容易造成卡顿和数据缺失。
因此，本领域的技术人员致力于开发一种光伏电站施工踩踏组件监测方法，从而可以高效地监测分布式光伏电站施工过程中的违规踩踏组件的行为。
发明内容
本发明的目的在于提供一种光伏电站施工踩踏组件监测方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种光伏电站施工踩踏组件监测方法，该方法包括以下步骤：
步骤S1：采集施工现场照片；
步骤S2：将采集到的照片通过无线网络传输到网络交换机；
步骤S3：通过WLAN或LAN传输协议将施工现场照片上传至云服务器；
步骤S4：云服务器端通过机器视觉算法判定照片中的场景是否存在违章踩踏组件的行为；
步骤S5：将判定结果传输至客户端和施工现场设置的报警器模块。
根据上述技术方案，在步骤S1中，光伏电站施工现场安装监控摄像头，实时采集现场人员施工情况，记录方式为以一定频率拍摄的照片，比如每隔一定的时间间隔拍摄一张照片。在步骤S2中，无线网络为4G或5G无线信号；所述网络交换机的作用是与监控摄像头组成局域网，并将监控摄像头采集到的的图像数据转发到公网的云服务器。
在步骤S3中，所述云服务器的作用是存储上传的图像数据。
步骤S1、步骤S2和步骤S3均为采集照片的传输和转发，对照片本身未做处理和加工。
根据上述技术方案，在步骤S4中，所述机器视觉算法包括深度学习算法模型、像素级预测结果融合算法以及业务场景像素级判定算法；
所述深度学习算法模型、像素级预测结果融合算法以及业务场景像素级判定算法作为一个整体写入云服务器；
所述深度学习算法模型包括目标识别模型和语义分割模型；
所述深度学习算法模型均为卷积神经网络模型；
所述机器视觉算法通过训练两个深度学习算法模型，然后两个深度学习算法模型对图像预测的像素级结果通过像素级预测结果融合算法进行融合，最后基于光伏电站现场施工监测业务场景通过业务场景像素级判定算法进行像素级判定；从而对光伏电站施工过程中工人违规踩踏组件的行为进行实时监测识别；
采用深度学习算法模型中的目标识别模型，通过学习一定数量的样本图片，学习出一个模型，记为“模型1”，模型1把施工人员的“头”、“脚”以及“光伏组件”识别出来，并用矩形框标记，用矩形框中的中心点、长度和宽度来预测目标物的位置。
因为卷积神经网络目标检测的输入，卷积核都是二维矩形(方框)，因此各个卷积输出中间层和最后的输出的几个预测都是矩形。
所述模型1通过如下步骤训练得到：
步骤S4-11：收集并标定训练样本图片，形成数据集；
步骤S4-12：对数据集中的图片进行预处理；
步骤S4-13：将预处理后的数据集中的图片送入目标识别模型训练，得到模型1。
在步骤S4-11中：数据集中的训练样本图片场景为光伏电站现场，分为有人和无人两类，有人在光伏电站的场景有一定数量违章踩组件的照片，系在电站持有者允许的情况下现场试验拍摄获取。训练样本图片根据模型1要求进行人工标定，标定为3类：“头”、“脚”和“光伏组件”，用矩形框确定目标范围。
在步骤S4-12中：图片预处理包括图片尺寸变换和加入高斯白噪声；
通过对图片进行尺寸变换，使其尺寸符合模型输入项的尺寸；
图像在输入模型1之前由于输入图片尺寸大小不一，通过裁剪或者上采样的方式将图片预处理为尺寸416×416×3的图片(三个维度，前两个指的是图像长和宽的像素值，第三个维度是图像RGB三个通道)。
通过在图片上加上高斯白噪声，使样本图片以及训练的模型更具有一般性。
在步骤S4-13中：所述目标识别模型中的卷积模块由一个卷积函数conv，归一函数Batch Normalization(BN)和激活函数(Leaky relu)组成，
所述目标识别模型包括5个卷积模块，5个卷积模块组成了一个34层的残差网络(ResNet34)，它的作用是对于输入的图像进行特征提取，取得34个层次的特征。越往深层次，提取到的特征越接近于预测的目标。所述目标识别模型是一个近似于端对端的卷积神经网络学习模型，模型输出的是7×7×N的特征矩阵。
如下表1为目标识别模型中每个卷积模块输入和输出矩阵尺寸。
表1
Figure BDA0002962672550000031
Figure BDA0002962672550000041
模型输出的7×7×N的特征矩阵相当于把图像分成7×7个网格，模型1输出的是矩形框的位置、置信度(矩形框中心点x，y坐标，矩形框的长和宽，置信度)以及这个矩形框所属的3个类别。规定每个网格预测2个矩形框，“预测2个矩形框”不代表矩形框的中心点一定落在该网格里。矩形框有5个参数，类别有3类。因此，N＝5×2+3＝13。本发明模型1中间关键步骤输出的是7×7×13的特征矩阵。
对于这些网格，如果某一个预测目标的矩形框中心点落在这个网格中，则这个网格负责的是在训练过程中通过回归算法得到预测目标的矩形框和人工标定相比的置信度。该置信度表示预测目标的矩形框和人工标定矩形框重合的程度。这里使用的是图像IOU公式：
Figure BDA0002962672550000042
二是这个网格在预测新的输入时对规定得到的预测矩形框的置信度比较，取置信度最高的目标检测类别，这里就过滤了置信度较低的矩形框，得到最终的预测结果。
采用深度学习算法模型中的语义分割模型，通过学习一定数量的样本图片，学习出一个模型，记为“模型2”，
模型2和模型1所用的训练样本图片为同一套训练样本图片；对于同一套训练样本图片实施全卷积网络语义分割，根据模型2的要求标定出“施工人员”和“光伏组件”两类。方法是“施工人员”和“光伏组件”的外部轮廓，因此其所包含的像素点均标定了相应的类别。
所述模型2与所述模型1的训练步骤基本相同，区别在于将预处理后的图片输入语义分割模型进行训练，然后得到模型2，模型2预测出目标对象“施工人员”和“光伏组件”包含的所有像素点。
所述语义分割模型是将图片通过算法分割成若干组具有某种特定语义含义的像素区域，并且判定每个区域的类别，所得的输出图像的每一个像素点都被语义标注了相应的类别。图像分割只是对图像里的像素进行聚类，没有对每一个像素标以类别。而图像语义分割在进行像素聚类后对每一个像素的类别进行了识别，给出了类别语义信息。
本发明使用的基于深度学习的图像语义分割技术为全卷积神经网络FCN，以FCN的框架为基础，通过输入本业务场景并标定过的图片进行训练，得到模型2。该模型输入的是经过预处理的图像，输出的是预测的语义分割图像。模型2训练的是像素到像素的映射，端到端的映射，本发明采用的是FCN-8s模型：
输入的经过预处理的图像和模型1一致。第二层pooling后变为输入图像尺寸的1/4，第三层pooling后变为输入图像尺寸的1/8，第四层pooling后变为输入图像尺寸的1/16，第五层pooling后变为输入图像尺寸的1/32。将尺寸为输入1/32的特征图反卷积(等效于4倍上采样)，再通过第四层pooling的输出2倍反卷积补充细节以及第三层pooling的输出进行叠加，最后进行8倍反卷积还原输入图像的尺寸。
通过跳跃结果抽取不同层级的特征图进行上采样然后叠加得到的还原图要比直接从最后一层特征图直接上采样的还原图增加了语义分割的细节，提高了分割的准确率。
所述像素级预测结果融合算法是将经过模型1和模型2后输出的预测结果进行融合，得到施工人员“头”、“脚”以及“光伏组件”各自矩形框中心点、矩形框长度和宽度修正后的参数。所述像素级预测结果融合算法使光伏电站施工现场人员与光伏组件的预测更加准确。
所述像素级预测结果融合算法为：
步骤S4-21：遍历模型1中的矩形框并查看其对应的类别；
步骤S4-22：判断模型1中的矩形框是否落在模型2中对应的分割预测结果范围内；
步骤S4-23：当模型1中人的“头”或人的“脚”(两者只要有一个)的矩形框不在模型2分割预测结果范围里，删除人的“头”或人的“脚”的矩形框；
当模型1中人的“头”，人的“脚”或“光伏组件”的矩形框在模型2分割预测结果范围里，保留人的“头”，人的“脚”或“光伏组件”的矩形框；
当模型1中“光伏组件”的矩形框不在模型2分割预测结果范围里，保留“光伏组件”矩形框；
步骤S4-23：算法结束，输出的结果是优化过的模型1的结果。
所述业务场景像素级判定算法置于所述像素级预测结果融合算法之后，输入项为所述像素级预测结果融合算法模型输出的施工人员“头”、“脚”以及“光伏组件”的矩形框及其相应的位置，结合光伏电站施工现场的特定业务场景建立“踩踏组件”行为的识别与判定。
所述业务场景像素级判定算法为：
步骤S4-31：遍历找到人的“脚”的矩形框；
人的“脚”的矩形框的长度记为bh，宽度记为bw，
步骤S4-32：遍历人的“脚”的矩形框的4条边，然后再遍历每条边上的每个像素点；
步骤S4-33：从一条边上的某个像素点出发做一条垂直于这条边的延长线；
步骤S4-34：判断延长线是否与“光伏组件”的矩形框相交；
步骤S4-35：若延长线与“光伏组件”的矩形框相交，则计算该像素点到交点的距离，记为H，当H≤3*max(bh，bw)时，判定人的“脚”的矩形框的这条边与“光伏组件”矩形框存在关联，该像素点遍历结束；若H＞3*max(bh，bw)或者延长线没有“光伏组件”矩形框相交时，则判定人的“脚”的矩形框的这条边与“光伏组件”矩形框不存在关联，该像素点遍历也结束；
若人的“脚”的矩形框的这条边上有一个像素点与“光伏组件”矩形框存在关联，则这条边与“光伏组件”矩形框关联；若“光伏组件”矩形框的同一条边被第二次以及以后被关联到，不再计数；
步骤S4-36：判断人的“脚”的矩形框的这条边上的像素点是否遍历完成；
步骤S4-37：若人的“脚”的矩形框的这条边上的像素点全部遍历完成，则判断人的“脚”的矩形框的4条边是否遍历完成；若人的“脚”的矩形框的这条边上的像素点没有遍历完，则继续遍历这条边上的其他像素点；直至人的“脚”的矩形框的4条边上的像素点全部遍历完成；
步骤S4-38：若人的“脚”的矩形框的4条边中有3条边及以上关联了“光伏组件”矩形框，则判定施工人员违规踩踏了光伏组件；反之，若4条边中有小于3条边关联了“光伏组件”矩形框，则判定施工人员没有踩踏光伏组件；
步骤S4-39：算法结束。
根据上述技术方案，在步骤S5中，判定结果包括两个传输方向，其一，判定结果从云服务器通过无线网络传输到客户端，用户通过客户端查看施工现场是否有踩踏光伏组件的违规行为，如有，客户端展示判定结果图片作为依据；其二，判定结果先通过WLAN/LAN传到网络交换机，然后再通过无线网络传输到施工现场中安装的报警器模块中，提醒现场工人避免发生违规踩踏光伏组件的行为。
与现有技术相比，本发明所达到的有益效果是：
(1)使用了深度学习算法模型、像素级预测结果融合算法以及业务场景像素级判定算法，提升了施工现场违章行为监督的及时性和准确性，从而可以高效地监测分布式光伏电站施工过程中的违规踩踏组件的行为，大大降低了人力成本。
(2)由于所采集的施工现场图片是以一定频率拍摄的照片，所以以一定频率上传监控摄像拍摄的照片大大降低了传输带宽和4G/5G流量。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1为一种光伏电站施工踩踏组件监测方法的步骤示意图；
图2为一种光伏电站施工踩踏组件监测方法中机器视觉算法流程示意图；
图3为所述深度学习算法模型中目标识别模型的的框图示意图；
图4为所述语义分割模型中采用的FCN-8s模型示意图；
图5为所述像素级预测结果融合算法流程示意图；
图6为所述业务场景像素级判定算法流程示意图。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
实施例
如图1～6所示，本发明提供的技术方案如下：
一种光伏电站施工踩踏组件监测方法，该方法包括以下步骤：
步骤S1：采集施工现场照片；
步骤S2：将采集到的照片通过无线网络传输到网络交换机；
步骤S3：通过WLAN或LAN传输协议将施工现场照片上传至云服务器；
步骤S4：云服务器端通过机器视觉算法判定照片中的场景是否存在违章踩踏组件的行为；
步骤S5：将判定结果传输至客户端和施工现场设置的报警器模块。
根据上述技术方案，在步骤S1中，光伏电站施工现场安装监控摄像头，实时采集现场人员施工情况，记录方式为以一定频率拍摄的照片，比如每隔一定的时间间隔拍摄一张照片。
根据上述技术方案，在步骤S2中，无线网络为4G或5G无线信号；所述网络交换机的作用是与监控摄像头组成局域网，并将监控摄像头采集到的的图像数据转发到公网的云服务器。
在步骤S3中，所述云服务器的作用是存储上传的图像数据。
步骤S1、步骤S2和步骤S3均为采集照片的传输和转发，对照片本身未做处理和加工。
根据上述技术方案，在步骤S4中，所述机器视觉算法包括深度学习算法模型、像素级预测结果融合算法以及业务场景像素级判定算法；
所述深度学习算法模型、像素级预测结果融合算法以及业务场景像素级判定算法作为一个整体写入云服务器；
所述深度学习算法模型包括目标识别模型和语义分割模型；
所述深度学习算法模型均为卷积神经网络模型；
所述机器视觉算法通过训练两个深度学习算法模型，然后两个深度学习算法模型对图像预测的像素级结果通过像素级预测结果融合算法进行融合，最后基于光伏电站现场施工监测业务场景通过业务场景像素级判定算法进行像素级判定；从而对光伏电站施工过程中工人违规踩踏组件的行为进行实时监测识别；
采用深度学习算法模型中的目标识别模型，通过学习一定数量的样本图片，学习出一个模型，记为“模型1”，模型1把施工人员的“头”、“脚”以及“光伏组件”识别出来，并用矩形框标记，用矩形框中的中心点、长度和宽度来预测目标物的位置。
因为卷积神经网络目标检测的输入，卷积核都是二维矩形(方框)，因此各个卷积输出中间层和最后的输出的几个预测都是矩形。
所述模型1通过如下步骤训练得到：
步骤S4-11：收集并标定训练样本图片，形成数据集；
步骤S4-12：对数据集中的图片进行预处理；
步骤S4-13：将预处理后的数据集中的图片送入目标识别模型训练，得到模型1。
在步骤S4-11中：数据集中的训练样本图片场景为光伏电站现场，分为有人和无人两类，有人在光伏电站的场景有一定数量违章踩组件的照片，系在电站持有者允许的情况下现场试验拍摄获取。训练样本图片根据模型1要求进行人工标定，标定为3类：“头”、“脚”和“光伏组件”，用矩形框确定目标范围。
在步骤S4-12中：图片预处理包括图片尺寸变换和加入高斯白噪声；
通过对图片进行尺寸变换，使其尺寸符合模型输入项的尺寸；
图像在输入模型1之前由于输入图片尺寸大小不一，通过裁剪或者上采样的方式将图片预处理为尺寸416×416×3的图片(三个维度，前两个指的是图像长和宽的像素值，第三个维度是图像RGB三个通道)。
通过在图片上加上高斯白噪声，使样本图片以及训练的模型更具有一般性。
在步骤S4-13中：所述目标识别模型中的卷积模块由一个卷积函数conv，归一函数Batch Normalization(BN)和激活函数(Leaky relu)组成，
所述目标识别模型包括5个卷积模块，5个卷积模块组成了一个34层的残差网络(ResNet34)，它的作用是对于输入的图像进行特征提取，取得34个层次的特征。越往深层次，提取到的特征越接近于预测的目标。所述目标识别模型是一个近似于端对端的卷积神经网络学习模型，模型输出的是7×7×N的特征矩阵。
如下表1为目标识别模型中每个卷积模块输入和输出矩阵尺寸。
表1
卷积模块名称 输出尺寸 ResNet34
卷积模块1 112×112×64 7×7，64
卷积模块2 56×56×64 [3×3，64；3×3，64]×3
卷积模块3 28×28×128 [3×3，128；3×3，128]×4
卷积模块4 14×14×256 [3×3，256；3×3，256]×6
卷积模块5 7×7×1024 [3×3，1024；3×3，1024]×3
模型输出的7×7×N的特征矩阵相当于把图像分成7×7个网格，模型1输出的是矩形框的位置、置信度(矩形框中心点x，y坐标，矩形框的长和宽，置信度)以及这个矩形框所属的3个类别。规定每个网格预测2个矩形框，“预测2个矩形框”不代表矩形框的中心点一定落在该网格里。矩形框有5个参数，类别有3类。因此，N＝5×2+3＝13。本发明模型1中间关键步骤输出的是7×7×13的特征矩阵。
对于这些网格，如果某一个预测目标的矩形框中心点落在这个网格中，则这个网格负责的是在训练过程中通过回归算法得到预测目标的矩形框和人工标定相比的置信度。该置信度表示预测目标的矩形框和人工标定矩形框重合的程度。这里使用的是图像IOU公式：
Figure BDA0002962672550000101
二是这个网格在预测新的输入时对规定得到的预测矩形框的置信度比较，取置信度最高的目标检测类别，这里就过滤了置信度较低的矩形框，得到最终的预测结果。
采用深度学习算法模型中的语义分割模型，通过学习一定数量的样本图片，学习出一个模型，记为“模型2”，
模型2和模型1所用的训练样本图片为同一套训练样本图片；对于同一套训练样本图片实施全卷积网络语义分割，根据模型2的要求标定出“施工人员”和“光伏组件”两类。方法是“施工人员”和“光伏组件”的外部轮廓，因此其所包含的像素点均标定了相应的类别。
所述模型2与所述模型1的训练步骤基本相同，区别在于将预处理后的图片输入语义分割模型进行训练，然后得到模型2，模型2预测出目标对象“施工人员”和“光伏组件”包含的所有像素点。
所述语义分割模型是将图片通过算法分割成若干组具有某种特定语义含义的像素区域，并且判定每个区域的类别，所得的输出图像的每一个像素点都被语义标注了相应的类别。图像分割只是对图像里的像素进行聚类，没有对每一个像素标以类别。而图像语义分割在进行像素聚类后对每一个像素的类别进行了识别，给出了类别语义信息。
本发明使用的基于深度学习的图像语义分割技术为全卷积神经网络FCN，以FCN的框架为基础，通过输入本业务场景并标定过的图片进行训练，得到模型2。该模型输入的是经过预处理的图像，输出的是预测的语义分割图像。模型2训练的是像素到像素的映射，端到端的映射，本发明采用的是FCN-8s模型，如图4所示：
输入的经过预处理的图像和模型1一致。第二层pooling后变为输入图像尺寸的1/4，第三层pooling后变为输入图像尺寸的1/8，第四层pooling后变为输入图像尺寸的1/16，第五层pooling后变为输入图像尺寸的1/32。将尺寸为输入1/32的特征图反卷积(等效于4倍上采样)，再通过第四层pooling的输出2倍反卷积补充细节以及第三层pooling的输出进行叠加，最后进行8倍反卷积还原输入图像的尺寸。
通过跳跃结果抽取不同层级的特征图进行上采样然后叠加得到的还原图要比直接从最后一层特征图直接上采样的还原图增加了语义分割的细节，提高了分割的准确率。
所述像素级预测结果融合算法是将经过模型1和模型2后输出的预测结果进行融合，得到施工人员“头”、“脚”以及“光伏组件”各自矩形框中心点、矩形框长度和宽度修正后的参数。所述像素级预测结果融合算法使光伏电站施工现场人员与光伏组件的预测更加准确。
所述像素级预测结果融合算法为：
步骤S4-21：遍历模型1中的矩形框并查看其对应的类别；
步骤S4-22：判断模型1中的矩形框是否落在模型2中对应的分割预测结果范围内；
步骤S4-23：当模型1中人的“头”或人的“脚”(两者只要有一个)的矩形框不在模型2分割预测结果范围里，删除人的“头”或人的“脚”的矩形框；
当模型1中人的“头”，人的“脚”或“光伏组件”的矩形框在模型2分割预测结果范围里，保留人的“头”，人的“脚”或“光伏组件”的矩形框；
当模型1中“光伏组件”的矩形框不在模型2分割预测结果范围里，保留“光伏组件”矩形框；
步骤S4-23：算法结束，输出的结果是优化过的模型1的结果。
所述业务场景像素级判定算法置于所述像素级预测结果融合算法之后，输入项为所述像素级预测结果融合算法模型输出的施工人员“头”、“脚”以及“光伏组件”的矩形框及其相应的位置，结合光伏电站施工现场的特定业务场景建立“踩踏组件”行为的识别与判定。
所述业务场景像素级判定算法为：
步骤S4-31：遍历找到人的“脚”的矩形框；
人的“脚”的矩形框的长度记为bh，宽度记为bw，
步骤S4-32：遍历人的“脚”的矩形框的4条边，然后再遍历每条边上的每个像素点；
步骤S4-33：从一条边上的某个像素点出发做一条垂直于这条边的延长线；
步骤S4-34：判断延长线是否与“光伏组件”的矩形框相交；
步骤S4-35：若延长线与“光伏组件”的矩形框相交，则计算该像素点到交点的距离，记为H，当H≤3*max(bh，bw)时，判定人的“脚”的矩形框的这条边与“光伏组件”矩形框存在关联，该像素点遍历结束；若H>3*max(bh，bw)或者延长线没有“光伏组件”矩形框相交时，则判定人的“脚”的矩形框的这条边与“光伏组件”矩形框不存在关联，该像素点遍历也结束；
若人的“脚”的矩形框的这条边上有一个像素点与“光伏组件”矩形框存在关联，则这条边与“光伏组件”矩形框关联；若“光伏组件”矩形框的同一条边被第二次以及以后被关联到，不再计数；
步骤S4-36：判断人的“脚”的矩形框的这条边上的像素点是否遍历完成；
步骤S4-37：若人的“脚”的矩形框的这条边上的像素点全部遍历完成，则判断人的“脚”的矩形框的4条边是否遍历完成；若人的“脚”的矩形框的这条边上的像素点没有遍历完，则继续遍历这条边上的其他像素点；直至人的“脚”的矩形框的4条边上的像素点全部遍历完成；
步骤S4-38：若人的“脚”的矩形框的4条边中有3条边及以上关联了“光伏组件”矩形框，则判定施工人员违规踩踏了光伏组件；反之，若4条边中有小于3条边关联了“光伏组件”矩形框，则判定施工人员没有踩踏光伏组件；
步骤S4-39：算法结束。
根据上述技术方案，在步骤S5中，判定结果包括两个传输方向，其一，判定结果从云服务器通过wifi/4G/5G无线网络传输到客户端，用户通过客户端查看施工现场是否有踩踏光伏组件的违规行为，如有，客户端展示判定结果图片作为依据；其二，判定结果先通过WLAN/LAN传到网络交换机，然后再通过4G/5G无线网络传输到施工现场中安装的报警器模块中，提醒现场工人避免发生违规踩踏光伏组件的行为。

Claims (6)

1.一种光伏电站施工踩踏组件监测方法，其特征在于，该方法包括以下步骤：
步骤S1：采集施工现场照片；
步骤S2：将采集到的照片通过无线网络传输到网络交换机；
步骤S3：通过WLAN或LAN传输协议将施工现场照片上传至云服务器；
步骤S4：云服务器端通过机器视觉算法判定照片中的场景是否存在违章踩踏组件的行为；
步骤S5：将判定结果传输至客户端和施工现场设置的报警器模块；
在步骤S4中，所述机器视觉算法包括深度学习算法模型、像素级预测结果融合算法以及业务场景像素级判定算法；所述深度学习算法模型、像素级预测结果融合算法以及业务场景像素级判定算法作为一个整体写入云服务器；
所述深度学习算法模型包括目标识别模型和语义分割模型；
所述深度学习算法模型均为卷积神经网络模型；
采用深度学习算法模型中的目标识别模型，通过学习一定数量的样本图片，学习出一个模型，记为“模型1”，模型1把施工人员的“头”、“脚”以及“光伏组件”识别出来，并用矩形框标记；
采用深度学习算法模型中的语义分割模型，通过学习一定数量的样本图片，学习出一个模型，记为“模型2”，根据模型2的要求标定出“施工人员”和“光伏组件”两类；
所述业务场景像素级判定算法为：
步骤S4-31：遍历找到人的“脚”的矩形框；
人的“脚”的矩形框的长度记为bh，宽度记为bw，
步骤S4-32：遍历人的“脚”的矩形框的4条边，然后再遍历每条边上的每个像素点；
步骤S4-33：从一条边上的某个像素点出发做一条垂直于这条边的延长线；
步骤S4-34：判断延长线是否与“光伏组件”的矩形框相交；
步骤S4-35：若延长线与“光伏组件”的矩形框相交，则计算该像素点到交点的距离，记为H，当H≤3*max(bh,bw)时，判定人的“脚”的矩形框的这条边与“光伏组件”矩形框存在关联，该像素点遍历结束；若H＞3*max(bh,bw)或者延长线没有“光伏组件”矩形框相交时，则判定人的“脚”的矩形框的这条边与“光伏组件”矩形框不存在关联，该像素点遍历也结束；
若人的“脚”的矩形框的这条边上有一个像素点与“光伏组件”矩形框存在关联，则这条边与“光伏组件”矩形框关联；若“光伏组件”矩形框的同一条边被第二次以及以后被关联到，不再计数；
步骤S4-36：判断人的“脚”的矩形框的这条边上的像素点是否遍历完成；
步骤S4-37：若人的“脚”的矩形框的这条边上的像素点全部遍历完成，则判断人的“脚”的矩形框的4条边是否遍历完成；若人的“脚”的矩形框的这条边上的像素点没有遍历完，则继续遍历这条边上的其他像素点；直至人的“脚”的矩形框的4条边上的像素点全部遍历完成；
步骤S4-38：若人的“脚”的矩形框的4条边中有3条边及以上关联了“光伏组件”矩形框，则判定施工人员违规踩踏了光伏组件；反之，若4条边中有小于3条边关联了“光伏组件”矩形框，则判定施工人员没有踩踏光伏组件；
步骤S4-39：算法结束。
2.如权利要求1所述的光伏电站施工踩踏组件监测方法，其特征在于，所述模型1通过如下步骤训练得到：
步骤S4-11:收集并标定训练样本图片，形成数据集；
步骤S4-12:对数据集中的图片进行预处理；
步骤S4-13:将预处理后的数据集中的图片送入目标识别模型训练，得到模型1；
所述模型2与所述模型1的训练步骤基本相同，区别在于将预处理后的图片输入语义分割模型进行训练，然后得到模型2。
3.如权利要求2所述的光伏电站施工踩踏组件监测方法，其特征在于，在步骤S4-11中:训练样本图片场景为光伏电站现场，分为有人和无人两类；
在步骤S4-12中:图片预处理包括图片尺寸变换和加入高斯白噪声；
在步骤S4-13中:所述目标识别模型包括5个卷积模块，5个卷积模块组成了一个34层的残差网络，所述目标识别模型中的卷积模块由一个卷积函数conv，归一函数BatchNormalization和激活函数Leaky relu组成，所述目标识别模型输出的是7×7×13的特征矩阵。
4.如权利要求2所述的光伏电站施工踩踏组件监测方法，其特征在于，所述语义分割模型是将图片通过算法分割成若干组具有某种特定语义含义的像素区域，并且判定每个区域的类别，所得的输出图像的每一个像素点都被语义标注了相应的类别。
5.如权利要求1所述的光伏电站施工踩踏组件监测方法，其特征在于，所述像素级预测结果融合算法是将经过模型1和模型2后输出的预测结果进行融合，得到施工人员“头”、“脚”以及“光伏组件”各自矩形框中心点、矩形框长度和宽度修正后的参数；
所述像素级预测结果融合算法为：
步骤S4-21：遍历模型1中的矩形框并查看其对应的类别；
步骤S4-22：判断模型1中的矩形框是否落在模型2中对应的分割预测结果范围内；
步骤S4-23：当模型1中人的“头”或人的“脚”的矩形框不在模型2分割预测结果范围里，删除人的“头”或人的“脚”的矩形框；
当模型1中人的“头”，人的“脚”或“光伏组件”的矩形框在模型2分割预测结果范围里，保留人的“头”，人的“脚”或“光伏组件”的矩形框；
当模型1中“光伏组件”的矩形框不在模型2分割预测结果范围里，保留“光伏组件”的矩形框；
步骤S4-24：算法结束，输出的结果是优化过的模型1的结果。
6.如权利要求1所述的光伏电站施工踩踏组件监测方法，其特征在于，在步骤S5中，判定结果包括两个传输方向，其一，判定结果从云服务器通过无线网络传输到客户端，用户通过客户端查看施工现场是否有踩踏光伏组件的违规行为，如有，客户端展示判定结果图片作为依据；其二，判定结果先通过WLAN/LAN传到网络交换机，然后再通过无线网络传输到施工现场中安装的报警器模块中，提醒现场工人避免发生违规踩踏光伏组件的行为。
CN202110242583.9A 2021-03-05 2021-03-05 一种光伏电站施工踩踏组件监测方法 Active CN113033326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110242583.9A CN113033326B (zh) 2021-03-05 2021-03-05 一种光伏电站施工踩踏组件监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110242583.9A CN113033326B (zh) 2021-03-05 2021-03-05 一种光伏电站施工踩踏组件监测方法

Publications (2)

Publication Number Publication Date
CN113033326A CN113033326A (zh) 2021-06-25
CN113033326B true CN113033326B (zh) 2022-06-14

Family

ID=76468051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110242583.9A Active CN113033326B (zh) 2021-03-05 2021-03-05 一种光伏电站施工踩踏组件监测方法

Country Status (1)

Country Link
CN (1) CN113033326B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307522B (zh) * 2023-02-14 2024-01-30 广州佰仲企业管理顾问有限公司 一种分布式光伏电站物料计算方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564774A (zh) * 2018-06-01 2018-09-21 郑子哲 一种基于视频人流统计技术的智能校园防踩踏预警装置
KR20190030450A (ko) * 2017-09-14 2019-03-22 주식회사 네모엘텍 이동 설치가 가능한 iot 카메라
CN110809137A (zh) * 2019-11-18 2020-02-18 山东汇佳软件科技股份有限公司 一种校园安全防踩踏监控***及方法
CN211293956U (zh) * 2019-11-14 2020-08-18 北京国电通网络技术有限公司 基于ai的施工现场异常行为人的识别和告警***
CN111985455A (zh) * 2020-09-08 2020-11-24 国网江西省电力有限公司电力科学研究院 一种光伏组件可见光故障模型的训练和识别方法及装置
CN112288225A (zh) * 2020-09-24 2021-01-29 上海荷福人工智能科技（集团）有限公司 一种基于ai算法及超算的工程建设管理***及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030450A (ko) * 2017-09-14 2019-03-22 주식회사 네모엘텍 이동 설치가 가능한 iot 카메라
CN108564774A (zh) * 2018-06-01 2018-09-21 郑子哲 一种基于视频人流统计技术的智能校园防踩踏预警装置
CN211293956U (zh) * 2019-11-14 2020-08-18 北京国电通网络技术有限公司 基于ai的施工现场异常行为人的识别和告警***
CN110809137A (zh) * 2019-11-18 2020-02-18 山东汇佳软件科技股份有限公司 一种校园安全防踩踏监控***及方法
CN111985455A (zh) * 2020-09-08 2020-11-24 国网江西省电力有限公司电力科学研究院 一种光伏组件可见光故障模型的训练和识别方法及装置
CN112288225A (zh) * 2020-09-24 2021-01-29 上海荷福人工智能科技（集团）有限公司 一种基于ai算法及超算的工程建设管理***及方法

Also Published As

Publication number Publication date
CN113033326A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
Di Tommaso et al. A multi-stage model based on YOLOv3 for defect detection in PV panels based on IR and visible imaging by unmanned aerial vehicle
CN110070530A (zh) 一种基于深度神经网络的输电线路覆冰检测方法
CN114332020B (zh) 一种基于可见光图像的光伏板定位与缺陷检测方法及***
CN114648714A (zh) 一种基于yolo的车间规范行为的监测方法
CN113033326B (zh) 一种光伏电站施工踩踏组件监测方法
US11580659B2 (en) Method for size estimation by image recognition of specific target using given scale
CN116191680B (zh) 一种应用于光伏发电的监控管理***
CN115601197B (zh) 光伏电站的异常状态检测方法、装置
CN113485432A (zh) 一种基于无人机的光伏电站电致发光智能诊断***及方法
CN113569956A (zh) 一种基于ai算法的山火灾害勘查识别方法
CN111339927B (zh) 一种电力营业厅人员工作状态智能识别***
CN108664886A (zh) 一种适应变电站进出监控需求的人脸快速识别方法
CN117768610A (zh) 基于多目标识别的高速铁路周界入侵风险监测方法及***
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN117036825A (zh) 一种太阳能电池板检测方法、介质及***
CN116344378A (zh) 一种光伏板生产用智能检测***及其检测方法
CN116486503A (zh) 一种综合管廊用快速巡检方法及***
CN115690505A (zh) 光伏组件故障检测方法、装置、计算机设备及存储介质
CN115393900A (zh) 一种基于物联网的智慧工地***方法及***
CN113065416B (zh) 集成于变电站视频监控装置的渗漏监测装置及方法、介质
CN113284103B (zh) 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法
CN115546713A (zh) 一种基于语义分割的变电站水位监测方法及***
CN114220084A (zh) 一种基于红外图像的配电设备缺陷识别方法
CN114677667A (zh) 一种基于深度学习的变电站电气设备红外故障识别方法
CN112241694A (zh) 基于CenterNet实现的未佩戴安全带识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant