CN112396116B - 一种雷电检测方法、装置、计算机设备及可读介质 - Google Patents
一种雷电检测方法、装置、计算机设备及可读介质 Download PDFInfo
- Publication number
- CN112396116B CN112396116B CN202011329977.XA CN202011329977A CN112396116B CN 112396116 B CN112396116 B CN 112396116B CN 202011329977 A CN202011329977 A CN 202011329977A CN 112396116 B CN112396116 B CN 112396116B
- Authority
- CN
- China
- Prior art keywords
- lightning
- image
- frame
- target detection
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 198
- 238000005286 illumination Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 22
- 208000025274 Lightning injury Diseases 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种雷电检测方法、装置、计算机设备及可读介质，该方法包括：确定环境光照强度，根据环境光照强度确定雷击影像装置的曝光时间；获取雷击影像装置拍摄的视频流，检测视频流中每一帧图像的色度信息，将当前帧图像的色度信息与前若干帧图像的色度均值进行比较，当比较的差值大于第三亮度阈值时，将当前帧图像输入预先训练好的雷电目标检测模型中，得到目标检测框以及对应的置信度，将置信度大于预置的目标检测阈值的当前帧图像保存为雷电图片；本发明能实现对监测图像中雷电的自动检测并保存，具备较高的识别准确率。
Description
技术领域
本发明属于雷电监测技术领域，更具体地，涉及一种雷电检测方法、装置、计算机设备及可读介质。
背景技术
雷电灾害被***列为“最严重的十种自然灾害之一”，并已成为仅次于暴雨洪涝、滑坡塌方的第三大气象灾害，严重威胁着人类的生命财产安全。其不仅会击毁建筑物、供配电***、通信设备、引起森林火灾，造成计算机信息***中断、仓储、炼油厂、油田等燃烧甚至***，危害人民财产和人身安全，对航空航天等运载工具也有很大威胁，甚至直接命中人类造成伤残或死亡。对于雷击过程光学路径形态的研究，可实现对雷击故障原因和性质的客观辨识，提高故障分析的准确性。为雷击机理的研究提供第一手数据，为雷击故障性质判别提供可靠依据。
中国专利《一种自然雷击放电通道静态照片的获取装置》(公开号：CN202488569U)提供了一种全自动记录雷击放电通道的装置，该装置通过对雷电光信号探测产生的触发电平驱动相机的电子快门开关，通过电子器件的高速响应速度实现记录雷电目的。该发明仅以光线变化作为触发源，但是由于环境中其他非雷击因素的光线变化都会引起相机的拍摄，可能导致较多的误触发，拍摄的雷击图片误报较多。
在过去的雷电检测技术中，对雷电抓拍主要是基于亮度变化，这种检测方式会出现大量的误报，准确率不高。当前，随着深度学习技术的发展，基于亮度检测和深度学习算法抓拍雷电的方法可以提高雷电抓拍的准确率。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种雷电检测方法、装置、计算机设备及可读介质，其目的在于解决现有的雷电检测方式容易出现误报、雷电检测准确率低的问题。
为实现上述目的，按照本发明的第一个方面，提供了一种雷电检测方法，该方法包括：
获取雷击影像装置拍摄的图像，根据所述图像的平均亮度确定环境光照强度；
当所述环境光照强度大于预置的第一亮度阈值时，按照预设的划分规则将所述图像划分为若干图像块并分别检测每个所述图像块的亮度值；
当任一图像块的所述亮度值大于预置的第二亮度阈值时，启动所述雷击影像装置的曝光并根据亮度值与所述第二亮度阈值之间的差值设置曝光时间；
获取开启曝光后的雷击影像装置拍摄的视频流，检测所述视频流中的每一帧图像的色度信息，将当前帧图像的色度信息与前若干帧图像的色度均值进行比较，当比较的差值大于预先配置的第三亮度阈值时，将当前帧图像输入预先训练好的雷电目标检测模型中，得到至少一个目标检测框以及对应的置信度；
当任一所述目标检测框的置信度大于预置的目标检测阈值，判定当前帧图像为雷电图片。
优选的，上述雷电检测方法中，所述雷电目标检测模型的训练过程包括：
获取雷电样本图像，所述雷电样本图像具有带方向的全局矩形标注框以及所述全局矩形标注框的尺寸、位置和目标旋转角；所述目标旋转角为全局矩形标注框相对于水平或竖直方向上偏移的角度；
根据所述雷电样本图像对具有空间旋转对齐网络的雷电目标检测模型进行训练，得到能够适应不同方向目标检测的雷电目标检测模型。
优选的，上述雷电检测方法中，根据所述雷电样本图像对具有空间旋转对齐网络的雷电目标检测模型进行训练具体包括：
通过待训练的雷电目标检测模型，根据雷电样本图像生成定向检测边框以及所述定向检测边框的尺寸、位置和预测旋转角；
计算定向检测边框的尺寸、位置和预测旋转角与全局矩形标注框的尺寸、位置和目标旋转角之间的损失函数，并根据所述损失函数反向调整所述雷电目标检测模型的模型参数；
返回至所述通过待训练的雷电目标检测模型，根据雷电样本图像生成定向检测边框的步骤继续执行，直至满足迭代停止条件，停止迭代，得到已训练好的雷电目标检测模型。
优选的，上述雷电检测方法中，所述损失函数为：
Ldet＝Lk+λsizeLsize+λoffLoff+λangLang， (3)
其中，Ldet表示损失函数；Lk表示定向检测边框的中心点位置；Lsize表示定向检测边框与全局矩形标注框之间的尺寸损失；Loff表示定向检测边框与全局矩形标注框之间的位置偏移损失；Lang表示定向检测边框与全局矩形标注框之间的旋转角度损失；λsize，λoff、λang分别表示尺寸损失、位置偏移损失、旋转角度损失的权重；θ表示全局矩形标注框的目标旋转角，
表示定向检测边框的预测旋转角；N表示正确样本数。
优选的，上述雷电检测方法中，所述定向检测边框为：
其中，Plt,Prt,Plb和Prb分别表示定向检测边框的四个角点；Mr表示旋转矩阵；(w，h)表示定向检测边框的宽度和高度；(cx,cy)表示定向检测边框的中心点坐标；(δx,δy)表示定向检测边框的中心点距离角点的偏移量。
优选的，上述雷电检测方法中，所述检测所述视频流中的每一帧图像的色度信息之前还包括：对每一帧图像进行平滑、降噪和图像增强、背景分割及形态学处理，得到由连续的单个像素点表示的闪电通道图像。
按照本发明的第二个方面，还提供了一种雷电检测装置，该装置包括：
亮度检测模块，其被配置为获取雷击影像装置拍摄的图像，根据所述图像的平均亮度确定环境光照强度；以及，当所述环境光照强度大于预置的第一亮度阈值时，按照预设的划分规则将所述图像划分为若干图像块并分别检测每个所述图像块的亮度值；
触发模块，其被配置为当任一图像块的所述亮度值大于预置的第二亮度阈值时，启动所述雷击影像装置的曝光并根据亮度值与所述第二亮度阈值之间的差值设置曝光时间；
预测模块，其被配置为获取开启曝光后的雷击影像装置拍摄的视频流，检测所述视频流中的每一帧图像的色度信息，将当前帧图像的色度信息与前若干帧图像的色度均值进行比较，当比较的差值大于预先配置的第三亮度阈值时，将当前帧图像输入预先训练好的雷电目标检测模型中，得到至少一个目标检测框以及对应的置信度；
输出模块，当任一所述目标检测框的置信度大于预置的目标检测阈值，判定当前帧图像为雷电图片。
按照本发明的第三个方面，还提供了一种计算机设备，其包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述雷电检测方法的步骤。
按照本发明的第四个方面，还提供了一种计算机可读介质，其特征在于，其存储有可由计算机设备执行的计算机程序，当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述任一项所述雷电检测方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明提供的雷电检测方案，定期根据环境光照强度设置雷击影像装置的参数，从而确保相机采集的图片具有较高的质量和清晰度；根据亮度检测初步确定疑似雷电图片，然后通过雷电目标检测模型对疑似雷电图片进行闪电目标区域的再判断，检测识别出雷电目标，剔除其他因素引起的误判，提高了雷电检测的准确率。本发明结合亮度检测与当下流行的深度学习人工智能，提高了雷电抓拍的准确率，降低了误报率。
(2)本发明提供的雷电检测方案，在对雷电目标检测模型进行训练时，采用带方向的全局矩形标注框对雷电样本图像进行标注，除了全局矩形标注框的尺寸和位置之外还标记了目标旋转角；将标注后的雷电样本图像投入具有空间旋转对齐网络的雷电目标检测模型对其进行训练，得到能够适应不同方向目标检测的雷电目标检测模型；利用该雷电目标检测模型对疑似雷电图片进行检测，能够显著提高检测的准确性。
附图说明
图1是本发明实施例提供的雷电检测***的一种组成架构示意图；
图2是本发明实施例提供的设备主机的一种组成结构示意图；
图3是本发明实施例提供的雷电检测方法的流程示意图；
图4是本发明实施例提供的图像预处理的流程图；
图5是本发明实施例提供的雷电目标检测模型的一种网络结构示意图；
图6是本发明实施例提供的雷电检测方法的工作流程图；
图7是本发明实施例提供的雷电检测装置的逻辑框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了便于理解，本文中先对本申请提供的雷电检测方案所适用的***场景进行介绍，参见图1，其示出了本申请一种雷电检测***的一种组成架构示意图。
该***中可以包括有：相机和设备主机，相机和设备主机之间通过网络实现通信连接。在一个具体示例中，相机架设在三脚架上监测雷电，拍摄雷电图像；设备主机获取相机采集的图像信息，对图像进行检测处理，确定真实的雷电图片。
其中，为了实现设备主机上相应的功能，设备主机的存储器中需要存储实现相应功能的计算机程序。为了便于理解设备主机的硬件构成，下面以设备主机为例进行介绍。如图2所示，为本申请的设备主机的一种组成结构示意图，本实施例中的设备主机可以包括：处理器201、存储器202、通信接口203、输入单元204、显示器205和通信总线206。
其中，处理器201、存储器202、通信接口203、输入单元204、显示器205、均通过通信总线206完成相互间的通信。
在本实施例中，该处理器201，可以为中央处理器(Central Processing Unit，CPU)，特定应用集成电路，数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。
该处理器201可以调用存储器202中存储的程序。具体的，处理器201可以执行以下物流社区村组预测方法的实施例中服务器侧所执行的操作。
存储器202中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令，在本申请实施例中，该存储器中至少存储有用于实现以下功能的程序：
确定环境光照强度，根据环境光照强度确定雷击影像装置的曝光时间；
获取开启曝光后的雷击影像装置拍摄的视频流，检测所述视频流中的每一帧图像的色度信息，将当前帧图像的色度信息与前若干帧图像的色度均值进行比较，当比较的差值大于预先配置的第三亮度阈值时，将当前帧图像输入预先训练好的雷电目标检测模型中，得到至少一个目标检测框以及对应的置信度；
当任一所述目标检测框的置信度大于预置的目标检测阈值，判定当前帧图像为雷电图片。
在一种可能的实现方式中，该存储器202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、以及至少一个功能(比如亮度、色度检测)所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据，比如，预测模型和雷电图像样本等等。
此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
该通信接口203可以为通信模块的接口，如GSM模块的接口。
当然，图2所示的设备主机的结构并不构成对本申请实施例中设备主机的限定，在实际应用中设备主机可以包括比图2所示的更多或更少的部件，或者组合某些部件。
结合以上共性，参见图3，本实施例示出了一种雷电检测方法的流程示意图，本实施例中的方法包括以下步骤：
步骤301，确定环境光照强度，根据所述环境光照强度设置雷击影像装置的曝光时间；
环境光照强度对相机采集的图像的清晰度具有较大的影响，因此，本实施例根据实时采集的环境光照强度调节相机的曝光时间、亮度、对比度等参数，以便于得到当前环境下的优质图像信息。
在一个具体示例中，确定环境光照强度，根据所述环境光照强度设置雷击影像装置的曝光时间具体包括：
(1)获取相机拍摄的图像，根据所述图像的平均亮度确定环境光照强度；
在一个具体的示例中，相机按照预置的时间间隔拍摄天空图像，并将拍摄的图像发送到设备主机；设备主机获取到图像后对其进行亮度检测，以获得图像的平均亮度值并将该平均亮度值作为环境的光照强度。
在一个具体的示例中，由设备主机控制相机按照预置的时间间隔拍摄图像；该预置的时间间隔可自定义，比如1小时。
(2)当环境光照强度大于预置的第一亮度阈值时，按照预设的划分规则将图像划分为若干图像块并分别检测每个所述图像块的亮度值；当任一图像块的亮度值大于预置的第二亮度阈值时，启动相机的曝光并根据亮度值与第二亮度阈值之间的差值设置曝光时间；
在一个实施例中，当设备主机检测到环境光照强度大于预置的第一亮度阈值时，按照预设的划分规则将图像划分为若干图像块并分别检测每个图像块的亮度值；所述的划分规则以及划分的图像块的数量不做具体限制；当任一图像块的亮度值大于预置的第二亮度阈值时，设备主机启动相机的曝光，并根据亮度值与第二亮度阈值之间的差值设置曝光时间；曝光时间与差值呈正相关，亮度值与第二亮度阈值之间的差值越大，曝光时间越长。第一亮度阈值、第二亮度阈值的数值可自定义，本实施例不做具体限制。
在一个具体示例中，设备主机按照预置的时间间隔采集相机拍摄的图像以获取环境的光照强度，并根据环境的光照强度自动调整相机的参数。
步骤302，获取开启曝光后的相机拍摄的视频流，检测视频流中的每一帧图像的色度信息，将当前帧图像的色度信息与前若干帧图像的色度均值进行比较，当比较的差值大于预先配置的第三亮度阈值时，将当前帧图像输入预先训练好的雷电目标检测模型中，得到至少一个目标检测框以及对应的置信度；
在一个具体示例中，参见图4，设备主机获取开启曝光后的相机拍摄的视频流，首先对视频流中的每一帧图像进行处理，包括图像预处理、图像分割、形态学处理三个部分；其中，图像预处理是将彩色RGB图像变换为灰度图像，然后采用背景差法来进行背景消除，利用雷电发生前不受放电过程影响的若干帧图像的平均作为校准图像，将待处理图像与校准图像做差值，去除背景亮度，避免背景高亮的干扰，尽可能减小背景中的云或其他较明亮物体、较明显边缘对闪电通道识别造成的干扰和影响，同时对部分图像进行增强处理，扩展图像灰度值的动态范围，提高图像的对比度，并进行滤波处理。然后对预处理后的图像进行图像分割，实现目标物闪电通道(即前景)与背景的分离，实现图像的二值化。最后，对初步实现前景背景分离的二值化图像进行形态学处理，最终提取得到由连续的单个像素点表示的闪电通道图像。
视频流中的每一帧图像进行上述处理之后，分别检测每一帧图像的色度信息，将当前帧图像的色度信息与前N帧图像的色度均值进行比较，N的取值与相机的采集速度有关，不做具体限制，在一个具体的示例中，N＝20-200；当比较的差值大于预先配置的第三亮度阈值时，表明当前帧图像很可能为雷电图片，将当前帧图像放置在队列中，否则进行下一帧图像的检测，或者继续读取相机拍摄的视频流。第二亮度阈值的数值可自定义，本实施例不做具体限制。
步骤303，依次读取队列中存储的每帧图像，将当前帧图像输入预先训练好的雷电目标检测模型中，得到至少一个目标检测框以及对应的置信度；当任一目标检测框的置信度大于预置的目标检测阈值，判定当前帧图像为雷电图片；
其中，采用预先训练好的雷电目标检测模型对队列中存储的每帧图像进行检测，预测出每帧图像对应的目标检测框以及对应的置信度；将该置信度与预置的目标检测阈值进行比较，当置信度大于目标检测阈值时，判定对应的当前帧图像为雷电图片并保存；否则，进行下一帧图像的检测，或者继续读取相机拍摄的视频流。目标检测阈值的数值可自定义，本实施例不做具体限制。
当雷电产生时，天空会产生明显的亮度变化，本实施例首先根据图像的亮度变化将该帧图像保存至队列，通过雷电目标检测模型检测队列中每帧图像，进行闪电目标区域的判断，检测识别出雷电目标，剔除其他因素引起的亮度存图。
在一个具体示例中，雷电目标检测模型的训练过程具体包括：
获取雷电样本图像，该雷电样本图像具有带方向的全局矩形标注框以及该全局矩形标注框的尺寸、位置和目标旋转角；目标旋转角为全局矩形标注框相对于水平或竖直方向上偏移的角度；全局矩形标注框的尺寸通过宽度和高度进行表征，全局矩形标注框的位置通过四个角点坐标进行表示。
在一个具体的示例中，首先采集大量的真实雷电图片形成雷电图片库(包括各种形态、背景的雷电图片)，分别对雷电图片库中的雷电图像进行标注，形成雷电样本图像。
根据雷电样本图像对具有空间旋转对齐网络的雷电目标检测模型进行训练，得到能够适应不同方向目标检测的雷电目标检测模型；具体包括：
通过待训练的雷电目标检测模型，根据雷电样本图像生成定向检测边框以及定向检测边框的尺寸、位置和预测旋转角；
计算定向检测边框的尺寸、位置和预测旋转角与全局矩形标注框的尺寸、位置和目标旋转角之间的损失函数，并根据损失函数反向调整雷电目标检测模型的模型参数；
返回至所述通过待训练的雷电目标检测模型，根据雷电样本图像生成定向检测边框的步骤继续执行，直至满足迭代停止条件，停止迭代，得到已训练好的雷电目标检测模型。迭代停止条件，比如迭代次数大于或等于迭代次数阈值，还比如单次迭代对应的损失函数已实现最小化等，在此不作具体限定。
在一个具体示例中，雷电目标检测模型输出的定向检测边框为：
其中，Plt,Prt,Plb和Prb分别表示定向检测边框的四个角点位置；Mr表示旋转矩阵(旋转矩阵中包括目标旋转角)；(w，h)表示定向检测边框的宽度和高度；(cx,cy)表示定向检测边框的中心点坐标；(δx,δy)表示定向检测边框的中心点距离角点的偏移量。
在一个具体示例中，雷电目标检测模型的损失函数定义为：
Ldet＝Lk+λsizeLsize+λoffLoff+λangLang， (3)
其中，Ldet表示损失函数；Lk表示定向检测边框的中心点位置；Lsize表示定向检测边框与全局矩形标注框之间的尺寸损失；Loff表示定向检测边框与全局矩形标注框之间的位置偏移损失；Lang表示定向检测边框与全局矩形标注框之间的旋转角度损失；λsize，λoff、λang分别表示尺寸损失、位置偏移损失、旋转角度损失的权重；θ表示全局矩形标注框的目标旋转角，
表示定向检测边框的预测旋转角；N表示正确样本数(即含有雷电图像的样本总数)。
图5是本实施例提供的雷电目标检测模型的一种网络结构示意图，参见图5，该雷电目标检测模型包括第一特征提取网络、第二特征提取网络、第一检测网络、空间旋转对齐网络和第二检测网络；
其中，第一特征提取网络用于对输入图像进行特征提取处理，得到主干网络特征图；
第二特征提取网络用于第一特征提取网络输出的主干网络特征图进行处理，得到多尺度特征图；
第一检测网络用于对第二特征提取网络输出的多尺度特征图进行回归处理，得到雷电粗定位信息；
空间旋转对齐网络包括输入层、RPN层、对齐网络层和输出层；输入层获取第一检测网络输出的雷电粗定位信息，并进行特征提取处理；RPN层获取第二特征提取网络输出的多尺度特征图，并进行区域特征提取处理；RPN层与输入层输出的特征进行融合后得到区域特征图，该区域特征图由对齐网络层进行回归处理后得到具有空间方向的特征并传递给输出层，由输出层处理后得到空间带方向特征。
第二检测网络获取第一特征提取网络输出的主干网络特征图，进行回归处理后得到检测框，将检测框与空间旋转对齐网络输出的空间带方向特征行回归处理，得到具有方向特征的检测框，从而实现对雷电目标的精准检测。
由于雷电出现在图片中的位置和方向具有随机性，因此，本实施例在对雷电样本图像进行标注时采用了带方向的全局矩形标注框，除了全局矩形标注框的尺寸和位置之外还标记了目标旋转角，该目标旋转角为全局矩形标注框相对于水平或竖直方向上偏移的角度；将标注后的雷电样本图像投入具有空间旋转对齐网络的雷电目标检测模型对其进行训练，得到能够适应不同方向目标检测的雷电目标检测模型；利用该雷电目标检测模型对疑似雷电图片进行检测，能够显著提高检测的准确性。
图6是本实施例提供的雷电检测方法的工作流程图，参见图6，具体包括如下步骤：
(1)首先对设备进行初始化；
(2)读取配置文件，获取第一～第三亮度阈值、图像块划分规则、目标检测阈值等；
(3)读取相机拍摄的图像，根据图像的平均亮度确定环境光照强度；根据环境光照强度智能调整相机的曝光时间、亮度、对比度等参数，以便于得到当前环境光照条件下的优质图像信息，为后期数据处理以及观赏提供可靠的保障；
(4)读取相机视频流，获取实时图像数据，进行图像预处理；
(5)获取当前帧色度信息；
(6)将当前帧的色度信息与前N帧进行均值比较，当比较的差值大于配置文件中的亮度阈值时，则判断当前帧为雷电图片，则将图片放置队列中，否则返回至第(4)步，继续读取相机视频流；
(7)读取队列图片；
(8)将经过图像预处理后的图片，利用具有空间旋转对齐网络的雷电目标检测模型进行检测；
(9)获取检测框与置信度；
(10)比较置信度与配置文件中的设置的目标检测阈值的大小，当大于阈值时则判定为雷电图片，保存雷电图片，否则返回至第(4)步，继续读取相机视频流；
(11)如果接收到程序退出指令则结束程序，否则返回至第(4)步，继续读取相机视频流。
在一个实施例中，如图7所示，提供了一种雷电检测装置700，包括：亮度检测模块701、触发模块702、预测模块703以及输出模块704，其中：
亮度检测模块701，其被配置为获取相机拍摄的图像，根据所述图像的平均亮度确定环境光照强度；以及，当所述环境光照强度大于预置的第一亮度阈值时，按照预设的划分规则将所述图像划分为若干图像块并分别检测每个所述图像块的亮度值；
触发模块702，其被配置为当任一图像块的亮度值大于预置的第二亮度阈值时，启动相机的曝光并根据亮度值与第二亮度阈值之间的差值设置曝光时间；
预测模块703，其被配置为获取开启曝光后的相机拍摄的视频流，检测视频流中的每一帧图像的色度信息，将当前帧图像的色度信息与前若干帧图像的色度均值进行比较，当比较的差值大于预先配置的第三亮度阈值时，将当前帧图像输入预先训练好的雷电目标检测模型中，得到至少一个目标检测框以及对应的置信度；
输出模块704，当任一目标检测框的置信度大于预置的目标检测阈值，判定当前帧图像为雷电图片。
关于雷电检测装置的具体限定可以参见上文中对于雷电检测装置方法的限定，在此不再赘述。上述雷电检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种雷电检测方法，其特征在于，包括：
确定环境光照强度，根据所述环境光照强度设置雷击影像装置的曝光时间，具体为：
获取雷击影像装置拍摄的图像，根据所述图像的平均亮度确定环境光照强度；
当所述环境光照强度大于预置的第一亮度阈值时，按照预设的划分规则将所述图像划分为若干图像块并分别检测每个所述图像块的亮度值；
当任一图像块的所述亮度值大于预置的第二亮度阈值时，启动所述雷击影像装置的曝光并根据亮度值与所述第二亮度阈值之间的差值设置曝光时间；
获取雷击影像装置拍摄的视频流，检测所述视频流中的每一帧图像的色度信息，将当前帧图像的色度信息与前若干帧图像的色度均值进行比较，当比较的差值大于预先配置的第三亮度阈值时，将当前帧图像输入预先训练好的雷电目标检测模型中，得到至少一个目标检测框以及对应的置信度；所述雷电目标检测模型的训练过程包括：
获取雷电样本图像，所述雷电样本图像具有带方向的全局矩形标注框以及所述全局矩形标注框的尺寸、位置和目标旋转角；所述目标旋转角为全局矩形标注框相对于水平或竖直方向上偏移的角度；
根据所述雷电样本图像对具有空间旋转对齐网络的雷电目标检测模型进行训练，得到能够适应不同方向目标检测的雷电目标检测模型；
当任一所述目标检测框的置信度大于预置的目标检测阈值，判定当前帧图像为雷电图片。
2.如权利要求1所述的雷电检测方法，其特征在于，根据所述雷电样本图像对具有空间旋转对齐网络的雷电目标检测模型进行训练具体包括：
通过待训练的雷电目标检测模型，根据雷电样本图像生成定向检测边框以及所述定向检测边框的尺寸、位置和预测旋转角；
计算定向检测边框的尺寸、位置和预测旋转角与全局矩形标注框的尺寸、位置和目标旋转角之间的损失函数，并根据所述损失函数反向调整所述雷电目标检测模型的模型参数；
返回至所述通过待训练的雷电目标检测模型，根据雷电样本图像生成定向检测边框的步骤继续执行，直至满足迭代停止条件，停止迭代，得到已训练好的雷电目标检测模型。
3.如权利要求2所述的雷电检测方法，其特征在于，所述损失函数为：
Ldet＝Lk+λsizeLsize+λoffLoff+λangLang
其中，Ldet表示损失函数；Lk表示定向检测边框的中心点位置；Lsize表示定向检测边框与全局矩形标注框之间的尺寸损失；Loff表示定向检测边框与全局矩形标注框之间的位置偏移损失；Lang表示定向检测边框与全局矩形标注框之间的旋转角度损失；λsize，λoff、λang分别表示尺寸损失、位置偏移损失、旋转角度损失的权重；θ表示全局矩形标注框的目标旋转角，
表示定向检测边框的预测旋转角；N表示正确样本数。
4.如权利要求2所述的雷电检测方法，其特征在于，所述定向检测边框为：
Plt＝Mr[-w/2，-h/2]T+[cx+δx，cy+δy]T，
Prt＝Mr[w/2，-h/2]T+[cx+δx，cy+δy]T，
Plb＝Mr[-w/2，+h/2]T+[cx+δx，cy+δy]T，
Prb＝Mr[+w/2，+h/2]T+[cx+δx，cy+δy]T，
其中，Plt，Prt，Plb和Prb分别表示定向检测边框的四个角点；Mr表示旋转矩阵；(w，h)表示定向检测边框的宽度和高度；(cx，cy)表示定向检测边框的中心点坐标；(δx，δy)表示定向检测边框的中心点距离角点的偏移量。
5.如权利要求1所述的雷电检测方法，其特征在于，所述检测所述视频流中的每一帧图像的色度信息之前还包括：对每一帧图像进行平滑、降噪和图像增强、背景分割及形态学处理，得到由连续的单个像素点表示的闪电通道图像。
6.一种雷电检测装置，其特征在于，该装置包括：
亮度检测模块，其被配置为获取雷击影像装置拍摄的图像，根据所述图像的平均亮度确定环境光照强度；以及，当所述环境光照强度大于预置的第一亮度阈值时，按照预设的划分规则将所述图像划分为若干图像块并分别检测每个所述图像块的亮度值；
触发模块，其被配置为当任一图像块的所述亮度值大于预置的第二亮度阈值时，启动所述雷击影像装置的曝光并根据亮度值与所述第二亮度阈值之间的差值设置曝光时间；
预测模块，其被配置为获取开启曝光后的雷击影像装置拍摄的视频流，检测所述视频流中的每一帧图像的色度信息，将当前帧图像的色度信息与前若干帧图像的色度均值进行比较，当比较的差值大于预先配置的第三亮度阈值时，将当前帧图像输入预先训练好的雷电目标检测模型中，得到至少一个目标检测框以及对应的置信度；所述雷电目标检测模型的训练过程包括：
获取雷电样本图像，所述雷电样本图像具有带方向的全局矩形标注框以及所述全局矩形标注框的尺寸、位置和目标旋转角；所述目标旋转角为全局矩形标注框相对于水平或竖直方向上偏移的角度；
根据所述雷电样本图像对具有空间旋转对齐网络的雷电目标检测模型进行训练，得到能够适应不同方向目标检测的雷电目标检测模型；
输出模块，当任一所述目标检测框的置信度大于预置的目标检测阈值，判定当前帧图像为雷电图片。
7.一种计算机设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行权利要求1～5任一项所述方法的步骤。
8.一种计算机可读介质，其特征在于，其存储有可由计算机设备执行的计算机程序，当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行权利要求1～5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011329977.XA CN112396116B (zh) | 2020-11-24 | 2020-11-24 | 一种雷电检测方法、装置、计算机设备及可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011329977.XA CN112396116B (zh) | 2020-11-24 | 2020-11-24 | 一种雷电检测方法、装置、计算机设备及可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112396116A CN112396116A (zh) | 2021-02-23 |
| CN112396116B true CN112396116B (zh) | 2021-12-07 |
Family
ID=74607701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011329977.XA Active CN112396116B (zh) | 2020-11-24 | 2020-11-24 | 一种雷电检测方法、装置、计算机设备及可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112396116B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033464B (zh) * | 2021-04-10 | 2023-11-21 | 阿波罗智联(北京)科技有限公司 | 信号灯检测方法、装置、设备以及存储介质 |
| CN113191234A (zh) * | 2021-04-22 | 2021-07-30 | 武汉菲舍控制技术有限公司 | 一种基于机器视觉的带式输送机输送带防撕裂方法及装置 |
| CN113204903B (zh) * | 2021-04-29 | 2022-04-29 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种预测雷电的方法 |
| CN113848594A (zh) * | 2021-09-23 | 2021-12-28 | 云南电网有限责任公司电力科学研究院 | 一种闪电通道光谱信息的识别方法 |
| CN114827466B (zh) * | 2022-04-20 | 2023-07-04 | 武汉三江中电科技有限责任公司 | 一种仿人眼的设备图像采集装置及图像采集方法 |
| CN114792392B (zh) * | 2022-05-18 | 2023-04-18 | 西南交通大学 | 一种基于马尔科夫链的雷电先导发展路径的模拟方法 |
| CN116910491B (zh) * | 2023-09-11 | 2024-01-23 | 四川弘和数智集团有限公司 | 一种雷电监测预警***、方法、电子设备及存储介质 |
| CN117929861A (zh) * | 2024-03-21 | 2024-04-26 | 云南能源投资股份有限公司 | 一种风电场的雷电检测方法、装置、设备及存储介质 |
| CN117934482B (zh) * | 2024-03-25 | 2024-05-28 | 云南能源投资股份有限公司 | 一种风电机的雷击概率预测方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111050069A (zh) * | 2019-12-12 | 2020-04-21 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101975894B (zh) * | 2010-09-08 | 2012-07-18 | 北京航空航天大学 | 传感网络的4d雷电采集方法 |
| CN103149458B (zh) * | 2012-11-21 | 2016-03-09 | 华中科技大学 | 一种闪电监测设备 |
| CN105635565A (zh) * | 2015-12-21 | 2016-06-01 | 华为技术有限公司 | 一种拍摄方法及设备 |
| CN106296698B (zh) * | 2016-08-15 | 2019-03-29 | 成都通甲优博科技有限责任公司 | 一种基于立体视觉的闪电三维定位方法 |
| CN109342828A (zh) * | 2018-09-05 | 2019-02-15 | 国网湖北省电力有限公司电力科学研究院 | 一种基于频域恒虚警的雷电脉冲信号检测方法 |
| CN109979468B (zh) * | 2019-03-05 | 2020-11-06 | 武汉三江中电科技有限责任公司 | 一种雷击光学路径监测***及方法 |
| CN110609178A (zh) * | 2019-10-22 | 2019-12-24 | 中国气象科学研究院 | 闪电通道双摄自动观测***及方法 |
| CN111723860B (zh) * | 2020-06-17 | 2022-11-18 | 苏宁云计算有限公司 | 一种目标检测方法及装置 |
-
2020
- 2020-11-24 CN CN202011329977.XA patent/CN112396116B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111050069A (zh) * | 2019-12-12 | 2020-04-21 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112396116A (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112396116B (zh) | 一种雷电检测方法、装置、计算机设备及可读介质 | |
| CN110276767B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US11233933B2 (en) | Method and device for processing image, and mobile terminal | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| CN112669344B (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
| CN107948465B (zh) | 一种检测摄像头被干扰的方法和装置 | |
| CN111325051B (zh) | 一种基于人脸图像roi选取的人脸识别方法及装置 | |
| CN108197604A (zh) | 基于嵌入式设备的快速人脸定位跟踪方法 | |
| US11328428B2 (en) | Technologies for detection of occlusions on a camera | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN109916415B (zh) | 道路类型确定方法、装置、设备及存储介质 | |
| CN111881853A (zh) | 一种超大桥隧中异常行为识别方法和装置 | |
| CN109508636A (zh) | 车辆属性识别方法、装置、存储介质及电子设备 | |
| KR102156024B1 (ko) | 영상 인식을 위한 그림자 제거 방법 및 이를 위한 그림자 제거 장치 | |
| CN110557628A (zh) | 一种检测摄像头遮挡的方法、装置及电子设备 | |
| KR20120035734A (ko) | 화재 검출 방법 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| EP2447912B1 (en) | Method and device for the detection of change in illumination for vision systems | |
| CN111723656A (zh) | 一种基于YOLO v3与自优化的烟雾检测方法及装置 | |
| US11605220B2 (en) | Systems and methods for video surveillance | |
| CN112766028A (zh) | 人脸模糊处理方法、装置、电子设备及存储介质 | |
| CN112291478B (zh) | 一种高空抛坠物的监测方法、装置、设备及存储介质 | |
| CN107452019B (zh) | 一种基于模型切换的目标检测方法、装置、***及存储介质 | |
| CN109727268A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| CN113505643A (zh) | 违章目标物检测方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A lightning detection method, device, computer equipment and readable medium Effective date of registration: 20220331 Granted publication date: 20211207 Pledgee: Wuhan area branch of Hubei pilot free trade zone of Bank of China Ltd. Pledgor: WUHAN SANJIANG CLP TECHNOLOGY Co.,Ltd. Registration number: Y2022420000094 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Huang Kai Inventor after: Han Junlong Inventor after: Zhang Fei Inventor after: Shu Kuan Inventor after: Lei Cheng Inventor before: Huang Kai Inventor before: Han Junlong Inventor before: Li Heng Inventor before: Zhang Fei Inventor before: Shu Kuan Inventor before: Lei Cheng |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220510 Address after: 430073 room 05, 14 / F, unit 07, skirt building, phase II R & D building, laser engineering design headquarters, No. 3, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone) Patentee after: Wuhan Zhonggu Maituo Technology Co.,Ltd. Address before: Floor 19, building F, Optics Valley World Trade Center, 41 Optics Valley Avenue, Donghu high tech, Wuhan, Hubei 430074 Patentee before: WUHAN SANJIANG CLP TECHNOLOGY Co.,Ltd. |
|
| CI03 | Correction of invention patent | ||
| CI03 | Correction of invention patent |
Correction item: Patentee|Address Correct: WUHAN SANJIANG CLP TECHNOLOGY Co.,Ltd.|Floor 19, building F, Optics Valley World Trade Center, 41 Optics Valley Avenue, Donghu high tech, Wuhan, Hubei 430074 False: Wuhan Zhonggu Maituo Technology Co.,Ltd.|430073 room 05, 14/F, unit 07, skirt building, phase II R & D building, laser engineering design headquarters, No. 3, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone) Number: 21-01 Volume: 38 Correction item: Inventor Correct: Huang Kai|Han Junlong|Li Heng|Zhang Fei|Relax|Lei Cheng False: Huang Kai|Han Junlong|Zhang Fei|Relax|Lei Cheng Number: 21-01 Volume: 38 |