CN115588265B - 一种风电场的智能监视*** - Google Patents

Abstract

本说明书实施例提供一种风电场的智能监视***，属于风力发电领域，包括：感知层，感知层的第一数据采集单元用于采集风电厂的图像数据，第二数据采集单元用于获取风机内部的图像数据，第三数据采集单元用于获取升压站的图像数据；平台层，用于通过第一卷积神经网络模型判断风电厂是否发生入侵，通过第二卷积神经网络模型判断风机内部的电气设备的状态是否异常及判断风机内部的作业人员的作业是否安全；通过第三卷积神经网络模型判断升压站的电气设备的状态是否异常及判断升压站的作业人员的作业是否安全；应用层，用于可视化判断结果并根据判断结果发出警示信息，具有保证检测的实时性与准确率的优点。

Description

一种风电场的智能监视***

技术领域

本说明书涉及风力发电领域，特别涉及一种风电场的智能监视***。

背景技术

当前风电场的设备监测的主要技术方案是在风电场各区域或设备内安装普通视频监控***和各类传感器，通过运行人员查看实时视频及监视各类传感器数据变化，分析、判断设备是否存在缺陷。但是，由于风电场需要视频监视设备较多，每个设备视频画面在显示屏幕占很小部分，运行人员不能实时清晰监视到每个设备视频画面，运行人员劳动强度大；而且人为行为不可控因素较多，研究表明人类很难对静止画面长时间保持高度注意，一般情况下监视者在盯着监视画面20分钟后，将对监视画面里的95％以上的活动信息视而不见。因此，容易出现设备故障及异常，而人工未能及时发现等情况。

因此，需要一种风电场的智能监视***，用于通过卷积神经网络模型自动实现对场站安全、人员安全、设备运行的智能检测，保证了检测的实时性与准确率。

发明内容

为了解决现有技术中，通过人工查看实时视频及监视各类传感器数据变化，分析、判断设备是否存在缺陷，效率较低，且容易出现误判、漏判的技术问题，本说明书实施例之一提供一种风电场的智能监视***，包括：感知层，包括第一数据采集单元、第二数据采集单元及第三数据采集单元，其中，所述第一数据采集单元用于采集风电厂的图像数据，所述第二数据采集单元用于获取风机内部的图像数据，所述第三数据采集单元用于获取升压站的图像数据；平台层，用于通过第一卷积神经网络模型基于所述风电厂的图像数据判断所述风电厂是否发生入侵，还用于通过第二卷积神经网络模型基于所述风机内部的图像数据判断所述风机内部的电气设备的状态是否异常及判断所述风机内部的作业人员的作业是否安全；还用于通过第三卷积神经网络模型基于所述升压站的图像数据判断所述升压站的电气设备的状态是否异常及判断所述升压站的作业人员的作业是否安全；应用层，用于可视化所述第一卷积神经网络模型、所述第二卷积神经网络模型及所述第三卷积神经网络模型的判断结果，还用于根据所述第一卷积神经网络模型、所述第二卷积神经网络模型及所述第三卷积神经网络模型的判断结果发出警示信息。

可以理解的，上述的风电场的智能监视***通过第一卷积神经网络模型基于风电厂的图像数据判断风电厂是否发生入侵，通过第二卷积神经网络模型基于风机内部的图像数据判断风机内部的电气设备的状态是否异常及判断风机内部的作业人员的作业是否安全，通过第三卷积神经网络模型基于升压站的图像数据判断升压站的电气设备的状态是否异常及判断升压站的作业人员的作业是否安全，无需人工继续风电厂是否发生入侵、风机内部的电气设备的状态是否异常、风机内部的作业人员的作业是否安全、升压站的电气设备的状态是否异常及升压站的作业人员的作业是否安全的判断，实时性更高，且准确度更高。

在一些实施例中，所述第一数据采集单元包括多个活体感应装置、至少一个总图像采集装置及多个分图像采集装置，其中，所述多个活体感应装置和所述多个分图像采集装置分别设置在所述风电厂的不同位置，所述分图像采集装置用于获取所述风电厂的目标区域的局部图像，所述至少一个总图像采集装置用于获取所述风电厂的目标区域的整体图像；所述第一数据采集单元采集风电厂的图像数据，包括：根据所述多个活体感应装置的输出信号判断所述风电厂内是否存在活体；若判断所述风电厂内不存在活体，所述至少一个总图像采集装置按照第一图像采集频率采集所述风电厂的目标区域的整体图像；若判断所述风电厂内存在活体，所述至少一个总图像采集装置按照第二图像采集频率采集所述风电厂的目标区域的整体图像，其中，所述第二图像采集频率大于所述第一图像采集频率。

在一些实施例中，所述第一卷积神经网络模型基于所述风电厂的图像数据判断所述风电厂是否发生入侵，包括：所述第一卷积神经网络模型基于所述风电厂的目标区域的整体图像，判断所述风电厂的目标区域是否存在人体；所述第一卷积神经网络模型在判断所述风电厂的目标区域存在人体时，基于所述风电厂的目标区域的整体图像确定人体的位置；所述第一数据采集单元采集风电厂的图像数据，包括：在所述第一卷积神经网络模型基于所述风电厂的目标区域的整体图像判断所述风电厂的目标区域存在人体时，基于所述人体的位置和/或所述多个活体感应装置的输出信号从所述多个分图像采集装置中确定目标分图像采集装置；所述目标分图像采集装置获取所述目标区域的局部图像；所述第一卷积神经网络模型基于所述风电厂的图像数据判断所述风电厂是否发生入侵，还包括：根据所述目标区域的局部图像，对所述人体进行人脸识别，基于人脸识别结果判断所述风电厂是否发生入侵。

在一些实施例中，所述第一卷积神经网络模型基于所述风电厂的图像数据判断所述风电厂是否发生入侵，还包括：所述第一卷积神经网络模型基于所述人脸识别结果判断所述风电厂未发生入侵时，基于所述目标区域的局部图像对所述人体的穿着进行识别，判断所述人体的穿着是否符合预设要求。

在一些实施例中，所述第二数据采集单元包括红外热像仪、运行参数采集装置及风机内部图像采集装置，其中，所述红外热成像仪用于获取所述风机内部的电气设备的热红外线图像，所述运行参数采集装置用于获取所述风机内部的电气设备的运行参数，所述风机内部图像采集装置用于获取所述风机内部的环境图像；所述第二数据采集单元获取风机内部的图像数据，包括，获取所述风机内部的电气设备的历史运行数据，其中，所述历史运行数据包括所述风机内部的电气设备在多个历史时间点的热红外线图像、运行参数及风机内部的环境图像；基于所述历史运行数据训练得到故障预测模型；所述故障预测模型基于所述红外热成像仪在当前时间点获取的所述风机内部的电气设备的热红外线图像、所述运行参数采集装置在当前时间点获取的所述风机内部的电气设备的运行参数及所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像，确定所述风机内部在所述当前时间点的运行风险值；根据所述风机内部在所述当前时间点的运行风险值调整所述红外热像仪、所述运行参数采集装置及所述风机内部图像采集装置的数据采集频率。

在一些实施例中，所述第二卷积神经网络模型基于所述风机内部的图像数据判断所述风机内部的电气设备的状态是否异常，包括：所述第二卷积神经网络模型基于所述红外热成像仪在当前时间点获取的所述风机内部的电气设备的热红外线图像、所述运行参数采集装置在当前时间点获取的所述风机内部的电气设备的运行参数及所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像，判断所述风机内部的电气设备的状态是否异常。

在一些实施例中，所述第二数据采集装置还包括设置在安全帽上的运维图像采集装置，用于采集所述风机内部的作业人员的作业图像；所述第二卷积神经网络模型基于所述风机内部的图像数据判断所述风机内部的作业人员的作业是否安全，包括：所述第二卷积神经网络模型基于所述红外热成像仪在当前时间点获取的所述风机内部的电气设备的热红外线图像、所述运行参数采集装置在当前时间点获取的所述风机内部的电气设备的运行参数及所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像，确定所述风机内部的风险区域；所述第二卷积神经网络模型基于所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像、所述运维图像采集装置采集的所述风机内部的作业人员的作业图像及所述风机内部的风险区域，判断所述风机内部的作业人员是否位于风险区域；所述第二卷积神经网络模型基于所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像及所述运维图像采集装置采集的所述风机内部的作业人员的作业图像，判断所述风机内部的作业人员的穿着是否符合预设要求。

在一些实施例中，所述第二数据采集单元还包括叶片图像采集装置，用于获取所述风机的叶片的图像；所述第二数据采集单元还用于预测所述风机的叶片在未来时间段的覆冰厚度；所述第二数据采集单元还用于在预测的所述风机的叶片在未来时间段的覆冰厚度大于覆冰厚度阈值时，开启所述叶片图像采集装置获取所述风机的叶片的图像。

在一些实施例中，所述第二数据采集单元预测所述风机的叶片在未来时间段的覆冰厚度，包括：基于数值预报产品及微地形数据，确定所述风电厂的气象要素预报数据；基于所述叶片的高度对所述风电厂的气象要素预报数据进行修正，确定修正后的气象要素预报数据；基于所述修正后的气象要素预报数据预测所述风机的叶片在未来时间段的覆冰厚度。

在一些实施例中，所述第三卷积神经网络模型基于所述升压站的图像数据判断所述升压站的电气设备的状态是否异常及判断所述升压站的作业人员的作业是否安全，包括：所述第三卷积神经网络模型基于SSD算法，根据所述升压站的图像数据判断所述升压站的电气设备的状态是否异常及判断所述升压站的作业人员的作业是否安全。

本发明的有益效果是：

1、通过第一卷积神经网络模型基于风电厂的图像数据判断风电厂是否发生入侵，通过第二卷积神经网络模型基于风机内部的图像数据判断风机内部的电气设备的状态是否异常及判断风机内部的作业人员的作业是否安全，通过第三卷积神经网络模型基于升压站的图像数据判断升压站的电气设备的状态是否异常及判断升压站的作业人员的作业是否安全，无需人工继续风电厂是否发生入侵、风机内部的电气设备的状态是否异常、风机内部的作业人员的作业是否安全、升压站的电气设备的状态是否异常及升压站的作业人员的作业是否安全的判断，实时性更高，且准确度更高；

2、充分利用图像、视频数据，实现风电场的一体化智能监视，提高运行、值班人员的工作效率；

3、利用基于卷积神经网络的SSD算法进行场站安全、人员安全、设备运行的智能检测方法，保证了检测的实时性与准确率；

4、利用多种数据增强方法训练模型，提高SSD算法的泛化性能，检测精度；

5、结合在线学习方法，将检测的历史结果反馈给SSD算法，持续学习提高SSD算法的准确率与鲁棒性。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的风电场的智能监视***的模块示意图；

图2是根据本说明书一些实施例所示的第一数据采集单元采集风电厂的图像数据的流程示意图；

图3是根据本说明书一些实施例所示的第二数据采集单元获取风机内部的图像数据的流程示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“***”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的风电场的智能监视***的模块示意图，如图1所示，风电场的智能监视***可以包括感知层、平台层及应用层。下面依次对感知层、平台层及应用层进行说明。

如图1所示，感知层可以包括第一数据采集单元、第二数据采集单元及第三数据采集单元，其中，第一数据采集单元用于采集风电厂的图像数据，第二数据采集单元用于获取风机内部的图像数据，第三数据采集单元用于获取升压站的图像数据。

在一些实施例中，第一数据采集单元可以包括多个活体感应装置、至少一个总图像采集装置及多个分图像采集装置，其中，多个活体感应装置和多个分图像采集装置分别设置在风电厂的不同位置，分图像采集装置用于获取风电厂的目标区域的局部图像，至少一个总图像采集装置用于获取风电厂的目标区域的整体图像。

其中，目标区域可以为风电厂中禁止风电厂的工作人员以外的人员进入的区域。

在一些实施例中，活体感应装置可以包括红外热释电传感器。

图2是根据本说明书一些实施例所示的第一数据采集单元采集风电厂的图像数据的流程示意图，如图2所示，在一些实施例中，第一数据采集单元采集风电厂的图像数据，可以包括：

根据多个活体感应装置的输出信号判断风电厂内是否存在活体；

若判断风电厂内不存在活体，至少一个总图像采集装置按照第一图像采集频率采集风电厂的目标区域的整体图像；

若判断风电厂内存在活体，至少一个总图像采集装置按照第二图像采集频率采集风电厂的目标区域的整体图像。

其中，第二图像采集频率大于第一图像采集频率。

可以理解的，当至少一个活体感应装置感应到活体时，第一数据采集单元可以判断风电厂内是否存在活体。

在一些实施例，在活体感应装置感应到风电厂内存在活体时，提高总图像采集装置的采集频率，可以在短时间内获取更多的目标区域的整体图像，提高判断风电厂是否发生入侵的实时性。

平台层可以用于通过第一卷积神经网络模型基于风电厂的图像数据判断风电厂是否发生入侵。

第一卷积神经网络模型可以包括ResNext-50网络。

在一些实施例中，第一卷积神经网络模型基于风电厂的图像数据判断风电厂是否发生入侵，包括：

第一卷积神经网络模型基于风电厂的目标区域的整体图像，判断风电厂的目标区域是否存在人体；

第一卷积神经网络模型在判断风电厂的目标区域存在人体时，基于风电厂的目标区域的整体图像确定人体的位置。

在一些实施例中，第一数据采集单元采集风电厂的图像数据，包括：

在第一卷积神经网络模型基于风电厂的目标区域的整体图像判断风电厂的目标区域存在人体时，基于人体的位置和/或多个活体感应装置的输出信号从多个分图像采集装置中确定目标分图像采集装置；

目标分图像采集装置获取目标区域的局部图像；

在一些实施例中，第一数据采集单元可以将感应到活体的活体感应装置附近的分图像采集装置作为目标分图像采集装置，或将第一卷积神经网络模型基于风电厂的目标区域的整体图像确定的人体的位置附近的分图像采集装置作为目标分图像采集装置。

在一些实施例中，第一卷积神经网络模型基于风电厂的图像数据判断风电厂是否发生入侵，还包括：

根据目标区域的局部图像，对人体进行人脸识别，基于人脸识别结果判断风电厂是否发生入侵。

在一些实施例中，第一卷积神经网络模型可以从目标区域的局部图像中提取人脸图像，对人脸图像进行人脸识别，当识别出人脸为风电厂的工作人员的图像时，判断风电厂未发生入侵；当识别出人脸不为风电厂的工作人员的图像时，判断风电厂发生入侵。

可以理解的，基于人体的位置和/或多个活体感应装置的输出信号从多个分图像采集装置中确定较为靠近人体的目标分图像采集装置，通过目标分图像采集装置获取更加清晰地人体的人脸图像，提高判断风电厂是否发生入侵的准确度。

在一些实施例中，第一卷积神经网络模型基于风电厂的图像数据判断风电厂是否发生入侵，还包括：

第一卷积神经网络模型基于人脸识别结果判断风电厂未发生入侵时，基于目标区域的局部图像对人体的穿着进行识别，判断人体的穿着是否符合预设要求。

在一些实施例中，第一卷积神经网络模型可以基于目标区域的局部图像对人体的穿着进行识别，判断人体是否穿工作服及戴安全帽，当人体未穿工作服和/或未戴安全帽时，人体的穿着不符合预设要求。

在一些实施例中，第二数据采集单元包括红外热像仪、运行参数采集装置及风机内部图像采集装置，其中，红外热成像仪用于获取风机内部的电气设备的热红外线图像，运行参数采集装置用于获取风机内部的电气设备的运行参数（例如电流、电压等），风机内部图像采集装置用于获取风机内部的环境图像。

图3是根据本说明书一些实施例所示的第二数据采集单元获取风机内部的图像数据的流程示意图，如图3所示，在一些实施例中，第二数据采集单元获取风机内部的图像数据，包括，

获取风机内部的电气设备的历史运行数据，其中，历史运行数据包括风机内部的电气设备在多个历史时间点的热红外线图像、运行参数及风机内部的环境图像；

基于历史运行数据训练得到故障预测模型；

故障预测模型基于红外热成像仪在当前时间点获取的风机内部的电气设备的热红外线图像、运行参数采集装置在当前时间点获取的风机内部的电气设备的运行参数及风机内部图像采集装置在当前时间点获取的风机内部的环境图像，确定风机内部在当前时间点的运行风险值；

根据风机内部在当前时间点的运行风险值调整红外热像仪、运行参数采集装置及风机内部图像采集装置的数据采集频率。

故障预测模型可以为卷积神经网络（CNN）、深度神经网络（DNN）、循环神经网络（RNN）、多层神经网络（MLP）、对抗神经网络（GAN）等一种或其任意组合。

在一些实施例中，第二数据采集单元可以根据历史运行数据生成多个训练样本，训练样本可以包括风机内部的电气设备在一个历史时间点的热红外线图像、运行参数及风机内部的环境图像，训练样本的标签可以为风机内部的电气设备在该历史时间点的运行风险值。

在一些实施例中，红外热像仪、运行参数采集装置及风机内部图像采集装置的数据采集频率随着风机内部在当前时间点的运行风险值的增大而增大。

可以理解的，通过将红外热像仪、运行参数采集装置及风机内部图像采集装置的数据采集频率设置为随着风机内部在当前时间点的运行风险值的增大而增大，可以在风机内部的电气设备存在较大概率发生故障时，更加频繁地获取风机内部的电气设备的热红外线图像、风机内部的电气设备的运行参数及风机内部的环境图像，使得第二卷积神经网络模型能够更实时地判断风机内部的电气设备的状态。

平台层还可以用于通过第二卷积神经网络模型基于风机内部的图像数据判断风机内部的电气设备的状态是否异常及判断风机内部的作业人员的作业是否安全。

在一些实施例中，第二卷积神经网络模型基于风机内部的图像数据判断风机内部的电气设备的状态是否异常，包括：

第二卷积神经网络模型基于红外热成像仪在当前时间点获取的风机内部的电气设备的热红外线图像、运行参数采集装置在当前时间点获取的风机内部的电气设备的运行参数及风机内部图像采集装置在当前时间点获取的风机内部的环境图像，判断风机内部的电气设备的状态是否异常。

在一些实施例中，第二卷积神经网络模型可以基于风机内部的电气设备的热红外线图像确定风机内部的电气设备的温度，并可以基于风机内部的环境图像确定风机内部是否存在烟雾或者火焰，根据风机内部的电气设备的运行参数判断风机内部的电气设备的电压、电流参数是否在允许范围内，当风机内部的电气设备的温度大于温度阈值、风机内部存在烟雾或者火焰、风机内部的电气设备的电压、电流参数不在允许范围内时，第二卷积神经网络模型可以判断风机内部的电气设备的状态异常。

在一些实施例中，第二数据采集装置还包括设置在安全帽上的运维图像采集装置，用于采集风机内部的作业人员的作业图像。安全帽被佩戴时，安全帽上的运维图像采集装置才被开启，采集风机内部的作业人员的作业图像。

在一些实施例中，第二卷积神经网络模型基于风机内部的图像数据判断风机内部的作业人员的作业是否安全，包括：

第二卷积神经网络模型基于红外热成像仪在当前时间点获取的风机内部的电气设备的热红外线图像、运行参数采集装置在当前时间点获取的风机内部的电气设备的运行参数及风机内部图像采集装置在当前时间点获取的风机内部的环境图像，确定风机内部的风险区域；

第二卷积神经网络模型基于风机内部图像采集装置在当前时间点获取的风机内部的环境图像、运维图像采集装置采集的风机内部的作业人员的作业图像及风机内部的风险区域，判断风机内部的作业人员是否位于风险区域；

第二卷积神经网络模型基于风机内部图像采集装置在当前时间点获取的风机内部的环境图像及运维图像采集装置采集的风机内部的作业人员的作业图像，判断风机内部的作业人员的穿着是否符合预设要求。

风险区域可以为故障的电气设备所在区域、烟雾或火焰所在区域。

在一些实施例中，第二卷积神经网络模型基于风机内部图像采集装置在当前时间点获取的风机内部的环境图像及运维图像采集装置采集的风机内部的作业人员的作业图像，判断风机内部的作业人员的动作是否为风险动作。

在一些实施例中，当风机内部的作业人员位于风险区域、风机内部的作业人员的穿着不符合预设要求或风机内部的作业人员的动作为风险动作时，判断风机内部的作业人员的作业不安全。

在一些实施例中，第二数据采集单元还包括叶片图像采集装置，用于获取风机的叶片的图像。

在一些实施例中，第二数据采集单元还用于预测风机的叶片在未来时间段的覆冰厚度，还用于在预测的风机的叶片在未来时间段的覆冰厚度大于覆冰厚度阈值时，开启叶片图像采集装置获取风机的叶片的图像。

在一些实施例中，第二数据采集单元预测风机的叶片在未来时间段的覆冰厚度，包括：

基于数值预报产品及微地形数据，确定风电厂的气象要素预报数据；

基于叶片的高度对风电厂的气象要素预报数据进行修正，确定修正后的气象要素预报数据；

基于修正后的气象要素预报数据预测风机的叶片在未来时间段的覆冰厚度。

数值预报产品可以包括目标区域在目标时期的气温、湿度、风速、降水等。

在一些实施例中，第二数据采集单元可以基于微地形数据对数值预报产品进行修正，确定风电厂的气象要素预报数据。在一些实施例中，通过多元非线性回归模型基于微地形数据对数值预报产品进行修正，确定风电厂的气象要素预报数据。其中，多元非线性回归模型的因变量包括风电厂的气象要素预报数据，多元非线性回归模型的自变量包括微地形数据中的地理因子。多元非线性回归模型可以表达为以下公式：

；

其中，Z为气象要素，、、、、、及为系数，为海拔高度，A为坡向，B为坡度。

在一些实施例中，第二数据采集单元可以根据历史数据，建立叶片的高度与修正后的气象要素预报数据对应关系，根据叶片的高度对风电厂的气象要素预报数据进行修正，确定修正后的气象要素预报数据。

在一些实施例中，第二数据采集单元可以通过预测模型基于修正后的气象要素预报数据预测风机的叶片在未来时间段的覆冰厚度。预测模型可以为卷积神经网络（CNN）、深度神经网络（DNN）、循环神经网络（RNN）、多层神经网络（MLP）、对抗神经网络（GAN）等一种或其任意组合。

可以理解的，一旦当风机叶片出现覆冰，引起风电机组叶片性能发生变化，会导致风电机组的出力减少，在叶片旋转时还可能出现覆冰脱落引发安全事故，严重覆冰时叶片甚至会闭锁、停机，因此，在预测的风机的叶片在未来时间段的覆冰厚度大于覆冰厚度阈值时，开启叶片图像采集装置获取风机的叶片的图像，对风机的叶片的覆冰情况进行实时监控。

平台层还可以用于通过第三卷积神经网络模型基于升压站的图像数据判断升压站的电气设备的状态是否异常及判断升压站的作业人员的作业是否安全。

在一些实施例中，第三卷积神经网络模型基于升压站的图像数据判断升压站的电气设备的状态是否异常及判断升压站的作业人员的作业是否安全，包括：第三卷积神经网络模型基于SSD算法，根据升压站的图像数据判断升压站的电气设备的状态是否异常及判断升压站的作业人员的作业是否安全。

在一些实施例中，通过第三卷积神经网络模型基于升压站的图像数据判断升压站的电气设备的状态是否异常及判断升压站的作业人员的作业是否安全的方式与通过第二卷积神经网络模型基于风机内部的图像数据判断风机内部的电气设备的状态是否异常及判断风机内部的作业人员的作业是否安全的方式相似，关于通过第三卷积神经网络模型基于升压站的图像数据判断升压站的电气设备的状态是否异常及判断升压站的作业人员的作业是否安全的方式的更多描述可以参见通过第二卷积神经网络模型基于风机内部的图像数据判断风机内部的电气设备的状态是否异常及判断风机内部的作业人员的作业是否安全的相关描述。

应用层可以用于可视化第一卷积神经网络模型、第二卷积神经网络模型及第三卷积神经网络模型的判断结果，还用于根据第一卷积神经网络模型、第二卷积神经网络模型及第三卷积神经网络模型的判断结果发出警示信息。

在一些实施例中，当风电厂发生入侵、第二卷积神经网络模型基于风机内部的图像数据判断风机内部的电气设备的状态异常和/或判断风机内部的作业人员的作业不安全、第三卷积神经网络模型基于升压站的图像数据判断升压站的电气设备的状态异常和/或判断升压站的作业人员的作业不安全时，应用层可以显示警示信息，或将警示信息发送至风电厂的工作人员使用的终端，以提示风电厂的工作人员及时进行处理。

在一些实施例中，可以为风电场视频监控数据构建场站入侵检测、烟雾检测的SSD算法；为升压站视频数据与风机视频数据构建设备高温检测，设备运行安全检测，作业人员安全帽检测，作业人员安全行为检测的SSD算法。

在一些实施例中，构建所述的SSD算法，考虑到实时性的需求，基于ResNext-50的主干网络的学习率、数据量，选择适用于风电场智能监视的结构。

在一些实施例中，为解决深度学习训练数据量不足的问题，训练模型的时候采用图像旋转，图像翻转、对比度增强、亮度增强等数据增强方法，提升准确率。

在一些实施例中，结合在线学习的方法，将检测的历史结果反馈给SSD算法，持续学习提高SSD算法的准确率与鲁棒性。

在一些实施例中，可以将各视频图像传输至SSD算法，得到场站入侵检测、烟雾检测、升压站与风机设备高温检测，设备运行安全检测，作业人员安全帽检测，安全行为检测的检测结果，将检测结果存储至数据库。

在一些实施例中，风电场的智能监视***至少可以具备以下有益效果：

1、通过第一卷积神经网络模型基于风电厂的图像数据判断风电厂是否发生入侵，通过第二卷积神经网络模型基于风机内部的图像数据判断风机内部的电气设备的状态是否异常及判断风机内部的作业人员的作业是否安全，通过第三卷积神经网络模型基于升压站的图像数据判断升压站的电气设备的状态是否异常及判断升压站的作业人员的作业是否安全，无需人工继续风电厂是否发生入侵、风机内部的电气设备的状态是否异常、风机内部的作业人员的作业是否安全、升压站的电气设备的状态是否异常及升压站的作业人员的作业是否安全的判断，实时性更高，且准确度更高；

2、充分利用图像、视频数据，实现风电场的一体化智能监视，提高运行、值班人员的工作效率；

3、利用基于卷积神经网络的SSD算法进行场站安全、人员安全、设备运行的智能检测方法，保证了检测的实时性与准确率；

4、利用多种数据增强方法训练模型，提高SSD算法的泛化性能，检测精度；

5、结合在线学习方法，将检测的历史结果反馈给SSD算法，持续学习提高SSD算法的准确率与鲁棒性。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (9)

1.一种风电场的智能监视***，其特征在于，包括：

感知层，包括第一数据采集单元、第二数据采集单元及第三数据采集单元，其中，所述第一数据采集单元用于采集风电厂的图像数据，所述第二数据采集单元用于获取风机内部的图像数据，所述第三数据采集单元用于获取升压站的图像数据；

平台层，用于通过第一卷积神经网络模型基于所述风电厂的图像数据判断所述风电厂是否发生入侵，还用于通过第二卷积神经网络模型基于所述风机内部的图像数据判断所述风机内部的电气设备的状态是否异常及判断所述风机内部的作业人员的作业是否安全；还用于通过第三卷积神经网络模型基于所述升压站的图像数据判断所述升压站的电气设备的状态是否异常及判断所述升压站的作业人员的作业是否安全；

应用层，用于可视化所述第一卷积神经网络模型、所述第二卷积神经网络模型及所述第三卷积神经网络模型的判断结果，还用于根据所述第一卷积神经网络模型、所述第二卷积神经网络模型及所述第三卷积神经网络模型的判断结果发出警示信息；

所述第二数据采集单元包括红外热像仪、运行参数采集装置及风机内部图像采集装置，其中，所述红外热像仪用于获取所述风机内部的电气设备的热红外线图像，所述运行参数采集装置用于获取所述风机内部的电气设备的运行参数，所述风机内部图像采集装置用于获取所述风机内部的环境图像；

所述第二数据采集单元获取风机内部的图像数据，包括：

获取所述风机内部的电气设备的历史运行数据，其中，所述历史运行数据包括所述风机内部的电气设备在多个历史时间点的热红外线图像、运行参数及风机内部的环境图像；

基于所述历史运行数据训练得到故障预测模型；

所述故障预测模型基于所述红外热像仪在当前时间点获取的所述风机内部的电气设备的热红外线图像、所述运行参数采集装置在当前时间点获取的所述风机内部的电气设备的运行参数及所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像，确定所述风机内部在所述当前时间点的运行风险值；

根据所述风机内部在所述当前时间点的运行风险值调整所述红外热像仪、所述运行参数采集装置及所述风机内部图像采集装置的数据采集频率。

2.根据权利要求1所述的风电场的智能监视***，其特征在于，所述第一数据采集单元包括多个活体感应装置、至少一个总图像采集装置及多个分图像采集装置，其中，所述多个活体感应装置和所述多个分图像采集装置分别设置在所述风电厂的不同位置，所述分图像采集装置用于获取所述风电厂的目标区域的局部图像，所述至少一个总图像采集装置用于获取所述风电厂的目标区域的整体图像；

所述第一数据采集单元采集风电厂的图像数据，包括：

根据所述多个活体感应装置的输出信号判断所述风电厂内是否存在活体；

若判断所述风电厂内不存在活体，所述至少一个总图像采集装置按照第一图像采集频率采集所述风电厂的目标区域的整体图像；

若判断所述风电厂内存在活体，所述至少一个总图像采集装置按照第二图像采集频率采集所述风电厂的目标区域的整体图像，其中，所述第二图像采集频率大于所述第一图像采集频率。

3.根据权利要求2所述的风电场的智能监视***，其特征在于，所述第一卷积神经网络模型基于所述风电厂的图像数据判断所述风电厂是否发生入侵，包括：

所述第一卷积神经网络模型基于所述风电厂的目标区域的整体图像，判断所述风电厂的目标区域是否存在人体；

所述第一卷积神经网络模型在判断所述风电厂的目标区域存在人体时，基于所述风电厂的目标区域的整体图像确定人体的位置；

所述第一数据采集单元采集风电厂的图像数据，包括：

在所述第一卷积神经网络模型基于所述风电厂的目标区域的整体图像判断所述风电厂的目标区域存在人体时，基于所述人体的位置和/或所述多个活体感应装置的输出信号从所述多个分图像采集装置中确定目标分图像采集装置；

所述目标分图像采集装置获取所述目标区域的局部图像；

所述第一卷积神经网络模型基于所述风电厂的图像数据判断所述风电厂是否发生入侵，还包括：

根据所述目标区域的局部图像，对所述人体进行人脸识别，基于人脸识别结果判断所述风电厂是否发生入侵。

4.根据权利要求3所述的风电场的智能监视***，其特征在于，所述第一卷积神经网络模型基于所述风电厂的图像数据判断所述风电厂是否发生入侵，还包括：

所述第一卷积神经网络模型基于所述人脸识别结果判断所述风电厂未发生入侵时，基于所述目标区域的局部图像对所述人体的穿着进行识别，判断所述人体的穿着是否符合预设要求。

5.根据权利要求1所述的风电场的智能监视***，其特征在于，所述第二卷积神经网络模型基于所述风机内部的图像数据判断所述风机内部的电气设备的状态是否异常，包括：

所述第二卷积神经网络模型基于所述红外热像仪在当前时间点获取的所述风机内部的电气设备的热红外线图像、所述运行参数采集装置在当前时间点获取的所述风机内部的电气设备的运行参数及所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像，判断所述风机内部的电气设备的状态是否异常。

6.根据权利要求1所述的风电场的智能监视***，其特征在于，所述第二数据采集单元还包括设置在安全帽上的运维图像采集装置，用于采集所述风机内部的作业人员的作业图像；

所述第二卷积神经网络模型基于所述风机内部的图像数据判断所述风机内部的作业人员的作业是否安全，包括：

所述第二卷积神经网络模型基于所述红外热像仪在当前时间点获取的所述风机内部的电气设备的热红外线图像、所述运行参数采集装置在当前时间点获取的所述风机内部的电气设备的运行参数及所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像，确定所述风机内部的风险区域；

所述第二卷积神经网络模型基于所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像、所述运维图像采集装置采集的所述风机内部的作业人员的作业图像及所述风机内部的风险区域，判断所述风机内部的作业人员是否位于风险区域；

所述第二卷积神经网络模型基于所述风机内部图像采集装置在当前时间点获取的所述风机内部的环境图像及所述运维图像采集装置采集的所述风机内部的作业人员的作业图像，判断所述风机内部的作业人员的穿着是否符合预设要求。

7.根据权利要求1所述的风电场的智能监视***，其特征在于，所述第二数据采集单元还包括叶片图像采集装置，用于获取所述风机的叶片的图像；

所述第二数据采集单元还用于预测所述风机的叶片在未来时间段的覆冰厚度；

所述第二数据采集单元还用于在预测的所述风机的叶片在未来时间段的覆冰厚度大于覆冰厚度阈值时，开启所述叶片图像采集装置获取所述风机的叶片的图像。

8.根据权利要求7所述的风电场的智能监视***，其特征在于，所述第二数据采集单元预测所述风机的叶片在未来时间段的覆冰厚度，包括：

基于数值预报产品及微地形数据，确定所述风电厂的气象要素预报数据；

基于所述叶片的高度对所述风电厂的气象要素预报数据进行修正，确定修正后的气象要素预报数据；

基于所述修正后的气象要素预报数据预测所述风机的叶片在未来时间段的覆冰厚度。

9.根据权利要求1-4任意一项所述的风电场的智能监视***，其特征在于，所述第三卷积神经网络模型基于所述升压站的图像数据判断所述升压站的电气设备的状态是否异常及判断所述升压站的作业人员的作业是否安全，包括：

所述第三卷积神经网络模型基于SSD算法，根据所述升压站的图像数据判断所述升压站的电气设备的状态是否异常及判断所述升压站的作业人员的作业是否安全。

Images