CN115410136A - 一种基于卷积神经网络的激光排爆***紧急安全控制方法 - Google Patents

一种基于卷积神经网络的激光排爆***紧急安全控制方法 Download PDF

Info

Publication number
CN115410136A
CN115410136A CN202211353043.9A CN202211353043A CN115410136A CN 115410136 A CN115410136 A CN 115410136A CN 202211353043 A CN202211353043 A CN 202211353043A CN 115410136 A CN115410136 A CN 115410136A
Authority
CN
China
Prior art keywords
target
target detection
laser
area
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211353043.9A
Other languages
English (en)
Other versions
CN115410136B (zh
Inventor
姜春福
李伟
亓晓
李佳航
闫梦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jigang Defense Technology Co ltd
Original Assignee
Jigang Defense Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jigang Defense Technology Co ltd filed Critical Jigang Defense Technology Co ltd
Priority to CN202211353043.9A priority Critical patent/CN115410136B/zh
Publication of CN115410136A publication Critical patent/CN115410136A/zh
Application granted granted Critical
Publication of CN115410136B publication Critical patent/CN115410136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F42—AMMUNITION; BLASTING
    • F42D—BLASTING
    • F42D5/00—Safety arrangements
    • F42D5/04—Rendering explosive charges harmless, e.g. destroying ammunition; Rendering detonation of explosive charges harmless
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种基于卷积神经网络的激光排爆***紧急安全控制方法，为激光排爆技术领域。包括以下步骤：从实时视频中抽取视频图像，将视频图像进行分割预处理，分为目标检测区和激光光束区。将水平方向划分出的目标检测区从两侧向中部激光光束区依次输入到目标检测算法。对输入的每个目标检测区进行垂直方向分割，获得预测对象的边界框及其对应的类别的概率。对检测出的目标进行差异性验证，确定不同的目标检测区检测出的目标是否是同一目标，利用二者的灰度特征来比较两帧图像的差异性。采用专门设计的安全控制策略，激光排爆控制***根据目标检测结果控制激光排爆***。本发明为提高激光器工作安全性，降低误伤概率提供了一条新的技术途径。

Description

一种基于卷积神经网络的激光排爆***紧急安全控制方法
技术领域
本发明涉及一种基于卷积神经网络的激光排爆***紧急安全控制方法，属于激光排爆技术领域。
背景技术
利用激光排爆是当前销毁废旧弹药的一种新的技术手段。利用激光排爆***销毁废旧弹药，可以远程架设、远程控制，不需要特别的防护装备，不需要排爆人员靠近弹药，实际作业中具有明显的安全优势。同时，激光排爆***还可能承担空中清障任务，如高压线上缠绕的风筝、塑料袋，塔架影响通信安全或输电安全的鸟窝等。
当前，激光排爆***多采用激光器+摄像头的集成方案，利用平板电脑进行远程操控，操作人员通过视频图像，远程控制***出光、停光、观察目标打击情况。由于排爆现场通常比较空旷，操作人员距离目标较远，在激光器出光时，如果有人员、动物等误闯到激光光路上，会造成严重的灼伤、起火等意外情况，特别是在***调试、试验过程中，能够安排保障安全的人手少，无法对周边环境完全封控，难以杜绝无关人员和狗、猫等宠物的意外闯入，而操作人员的精力通常都集中在观察打击点的光斑情况，在遇到误侵入情况时，往往需要有一个反应时间才能完成停光操作，这种操作延迟增大了***工作时对人员或动物误伤的概率，降低了***的安全性。
发明内容
本发明目的是提供了一种基于卷积神经网络的激光排爆***紧急安全控制方法，提高激光器工作的安全性，降低误伤概率提供了一条新的技术途径。
本发明为实现上述目的，通过以下技术方案实现：
步骤1：从实时视频中抽取视频图像，将视频图像进行分割预处理，分为目标检测区和激光光束区，所述激光光束区位于视频图像中部，两侧为目标检测区；
具体分割方法如下：
水平方向分割，将图像分割为2n个目标检测区和一个激光光束区，n取值范围为n≥1的正整数，分割得到的每一块目标检测区域宽度为
Figure 426266DEST_PATH_IMAGE001
，具体计算方式如下：
Figure 389412DEST_PATH_IMAGE002
式中：TRUNC函数进行数值取整，即不论括号中的数值是正数还是负数，去掉小数后直接取整不进位；
激光光束区宽度
Figure 700307DEST_PATH_IMAGE003
为
Figure 361096DEST_PATH_IMAGE004
式中：X为视频图像宽度。
步骤2：将水平方向划分出的目标检测区从两侧向中部激光光束区依次输入到目标检测算法。
步骤3：对输入的每个目标检测区进行垂直方向分割，以目标检测区域宽度
Figure 706626DEST_PATH_IMAGE001
作为高度，延图像垂直方向将其分割为网格，对垂直方向分割区域高度不足
Figure 794668DEST_PATH_IMAGE001
的进行填充；对每个网格划定识别类别，则每个网格对应一个m维向量：
Figure 343592DEST_PATH_IMAGE005
Figure 73651DEST_PATH_IMAGE006
向量中字符代表的含义分别为：
Figure 8109DEST_PATH_IMAGE007
表示目标存在的概率，
Figure 532631DEST_PATH_IMAGE008
为检测出的目标边界框的中心x位置，
Figure 818119DEST_PATH_IMAGE009
为边界框的中心y位置，
Figure 69978DEST_PATH_IMAGE010
为边界框的高，
Figure 124521DEST_PATH_IMAGE011
为边界框的宽，
Figure 85524DEST_PATH_IMAGE012
表示目标类别。
步骤4：对每个网格应用图像分类和定位处理，获得预测对象的边界框及其对应的类别的概率。
步骤5：对检测出的目标进行差异性验证，确定不同的目标检测区检测出的目标是否是同一目标，利用二者的灰度特征来比较两帧图像的差异性。
步骤6：激光排爆控制***对视频图像左右两边的目标检测区进行检测，左侧目标检测区按照从左到右顺序，右侧目标检测区按照从右到左的顺序依次检测，检测完成一个遍历周期；根据目标检测结果激光排爆***出光。
优选的，当检测目标有多个时，在目标检测方法的识别网络添加2个不同的锚框设计，一个锚框宽度与目标检测区域宽度
Figure 858308DEST_PATH_IMAGE001
一致，高度为图像实际高度；另一个锚框宽度高度均与目标检测区域宽度
Figure 415322DEST_PATH_IMAGE001
一致。
优选的，所述
Figure 324372DEST_PATH_IMAGE001
计算还有如下方式：
Figure 190697DEST_PATH_IMAGE013
比较两种方式计算的
Figure 185198DEST_PATH_IMAGE001
值大小，选取值更小的作为目标检测区宽度。
优选的，所述利用二者的灰度特征来比较两帧图像的差异性具体步骤如下：
步骤5-1：将识别出的目标的每个像素转换为灰度直方图，并计算灰度值，计算方式如下：
Gray = R*0.299 + G*0.587 + B*0.114
式中：R、G、B为某一像素的RGB值，灰度Gray的值为0~255；
步骤5-2：根据计算出的灰度值在同一坐标系下画出其灰度图，按照识别出的目标大小，将其灰度直方图统一转换成全域百分比形式；
步骤5-3：按照识别出的目标大小，将其灰度直方图统一转换成全域百分比形式，即：设某一灰度值的点为
Figure 795171DEST_PATH_IMAGE014
个，其转换关系为：
Figure 558728DEST_PATH_IMAGE015
式中：
Figure 446738DEST_PATH_IMAGE014
表示某一灰度值的点个数，N表示某一灰度值的点数占图像所有像素之和的百分比；
步骤5-4：选取不同目标区域某一灰度值，计算目标检测区域该灰度值所占比重，通过比重计算某灰度值在前后图像中占比百分比的差的绝对值之和的平均值，与设定阈值进行比较，小于阈值的认为差异性小，前后两幅图像识别出来的对象属于同一对象，大于阈值的认为差异性大，不属于同一对象；
优选的，所述控制方法包括两种安全控制策略：红色应急响应模式和黄色应急响应模式；
所述红色应急响应模式***检测到目标，***立即发出紧急停光信号，自动停光；
所述黄色应急响应模式在任意一个遍历周期内，如果在某一个检测区检测到有目标存在，则记录每一个目标在该目标检测区的中心位置、边框大小、对象类别、目标检测区序号，并将位置坐标转换到整帧图像的坐标；具体内容如下：
1）第一个遍历周期内，目标检测区检测出有效目标，记录该目标的坐标位置、边框大小、类别和检测时间；
1-1）如果未检测到目标，则保持正常状态；
1-2）如果激光光束区相邻两侧目标检测区检测到目标，均停光；
1-3）如果除激光光束区相邻两侧目标检测区检测到一个目标，只发出告警信息，不停光；
1-4）如果除激光光束区相邻两侧目标检测区检测到多个目标，则调用差异性检测，确定结果是否为同一个目标：如果多个目标均为同一个目标，则根据位置坐标确认目标是否从外向里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警状态，不停光；如果多个目标为不同目标，则只发出告警信息，提醒操作者有人员或动物在危险区域之内，不停光；
2）第二个遍历周期内；
2-1）如果未检测到目标，无论第1个遍历周期如何，该周期内均保持正常状态，告警或紧急控制状态清零；
2-2）如果激光光束区相邻两侧目标检测区检测到目标，均紧急停光；
2-3）如果除激光光束区相邻两侧目标检测区检测到目标：
2-3-1）如果检测到一个目标，则与第1个周期对比：若第1个周期没有检测到，则只告警、不停光；
若第1个周期检测到目标，则判断与第1个周期目标类别是否相同，相同则对比前后两个周期内目标坐标的移动方向，向里运动则紧急停光，向外运动则不停光；如果与第1个周期目标类别不相同，则只告警、不停光；
2-3-2）如果检测到多个目标，则先在本周期内判断：如果多个目标均为同一个目标，则确认目标是否从外到里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警，不停光；如果在原区域保持不动，则只保持告警，不停光；
如果多个目标为不同目标，则与第1个周期的目标类别分别进行比较，相同类别且在前后两个遍历周期内，发生从外到里的横向移动的，紧急停光；相同类别为从里到外，或没有发生横向移动的，发出告警信息，提醒操作者有人员或动物在危险区域之内；不同类别的，只发出告警信息，提醒操作者有人员或动物在危险区域之内。
3）第3个遍历周期：
自第3个遍历周期开始，当前周期作为第2遍历周期；原第2遍历周期变为第1遍历周期，开始新的控制周期；当某一周期均没有检测到目标时，所有状态清零，下一周期从初始状态开始。
本发明的优点在于：本发明减小目标检测的图像大小，降低计算量；分割的图像之间存在了顺序关系，有利于判定确定物体的移动方向，更精细地判断闯入的危险程度。利用图像检测结果与分割的图像位置信息，设计危险判定策略，分不同级别，为***生成预警信息或激光器控制信号，控制激光器自动停光，避免产生误伤，提高***紧急情况下的自主安全控制能力。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明视频图像分割示意图。
图2为本发明两目标检测区图像的灰度曲线图。
图3为本发明百分比形式的两目标检测区图像的灰度曲线图。
图4为本发明目标检测算法结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于卷积神经网络的激光排爆***紧急安全控制方法，包括：
图像分割：根据激光排爆***摄像头视频图像特点、工作场景特点及人员、动物特点，设计图像分割方案，简化了神经网络的计算结构，减少了神经网络的输入元素，降低识别算法计算量，提高实时应用能力；
目标检测：对分割之后的各部分图像，利用卷积神经网络CNN对其进行目标检测，采用具有实时检测能力的YOLO方法，根据图像特点为YOLO检测设计了适用于激光排爆***图像特征的Anchor box（锚框），进一步提高***识别计算效率；
差异性验证：根据神经网络目标检测的输出结果，对前后两幅图像的检测输出进行差异性验证，确定前后两个目标是否为同一目标，由此进一步设计不同级别的安全控制策略；
安全控制策略：利用图像检测结果与分割的图像位置信息，设计危险判定策略，分不同级别，为***生成预警信息或激光器控制信号，控制激光器自动停光，避免产生误伤，提高***紧急情况下的自主安全控制能力。
本方法适用的条件是：***集成摄像头，能够提供实时视频图像；若在夜晚工作，摄像头需支持夜视功能，能够提供夜视视频图像。
具体的，包括以下步骤：
步骤1：从实时视频中抽取视频图像，将视频图像进行分割预处理，分为目标检测区和激光光束区，所述激光光束区位于视频图像中部，两侧为目标检测区；
具体分割方法如下：
水平方向分割，将图像分割为2n个目标检测区和一个激光光束区，分割得到的每一块目标检测区域宽度为
Figure 928535DEST_PATH_IMAGE016
，具体计算方式有如下两种：
Figure 342199DEST_PATH_IMAGE017
式中：TRUNC函数进行数值取整，即不论括号中的数值是正数还是负数，去掉小数后直接取整不进位；
激光光束区宽度
Figure 960262DEST_PATH_IMAGE018
为：
Figure 184701DEST_PATH_IMAGE019
式中：X为视频图像宽度；
具体的，若摄像头的分辨率X×Y=1920×1080，且整幅图片分为7部分，则根据公式计算：
Figure 153794DEST_PATH_IMAGE020
即整幅图像分成7部分后，每一个要识别的图像大小为274×1080；
除6个目标检测区图像块外，剩下的均为激光光束区，大小为1920-274×6=276。所以目标检测区宽度大小为：
Figure 839990DEST_PATH_IMAGE021
即整幅图像分成7部分后，每一个要识别的图像大小为270×1080。
两种方法计算得到的中间激光光束区的大小与其他区域大小并不一致，但这并无影响，因为中间的激光光束区域不参与后面的计算。因此，实际运用中由于分区不同，或取整而产生的少量多余像素可以全部划归到激光光束区。
步骤2：将水平方向划分出的目标检测区从两侧向中部激光光束区依次输入到目标检测算法YOLO。
步骤3：对输入的每个目标检测区进行垂直方向分割，以目标检测区域宽度
Figure 843718DEST_PATH_IMAGE016
作为高度，延图像垂直方向分割为为网格，对垂直方向分割区域高度不足
Figure 488326DEST_PATH_IMAGE016
的进行填充；
若水平方向上每个目标检测区的宽度为274像素，则垂直方向上，按照274像素一层一层分割，最后分割得到的区域有
Figure 928404DEST_PATH_IMAGE022
也就是说，垂直方向上分成了不到4个区域，前3个区域的高为274，最上面的区域高度为
Figure 683870DEST_PATH_IMAGE023
，略小于前3个区域的高度。这种不一致在神经网络训练中需要增加填充padding步骤，将其补充成与其他区域一样大小，或对它的训练集标记做相应的调整，或在涉及到YOLO中的锚框Anchor box时对锚框作专门的设置。
若水平方向上每个目标检测区的宽度为270像素，则垂直方向上，按照270像素一层一层分割，最后分割得到的区域有
Figure 10946DEST_PATH_IMAGE024
也就是说，垂直方向上分成了正好4个区域，且每个小区域正好为正方形区域，大小
Figure 826456DEST_PATH_IMAGE025
。
视频图像分割处理之后，有两个优势：
一是减小目标检测的图像大小，不需要将X×Y大小的全部图像数据都输入到CNN网络中，降低计算量；
二是分割的图像之间存在了顺序关系，有利于判定确定物体的移动方向，更精细地判断闯入的危险程度。
从摄像头视频中抽取的一帧图像，分割后共有左右两边共
Figure 770141DEST_PATH_IMAGE026
个大小完全相同的目标检测区，
Figure 80031DEST_PATH_IMAGE026
个目标检测分为左右两组同时检测，但同一组内有先后顺序，左边部分，按左1、左2……左n顺序进入CNN，右边部分按照右1、右2……右n顺序进入CNN，或记为L 1、L 2……L n、R 1、R 2……R n。这
Figure 527193DEST_PATH_IMAGE026
个目标检测图像的大小一致，完全可以采用同一个训练好的神经网络完成输入输出。
将每个输入图像划分为4×1的网格，每个网格恰好为正方形。每个网格各自负责识别4个类别，分别是人员c1、狗c2、猫c3、其他c4。因此，每个网格对应的标签为一个9维变量：
对每个网格划定识别类别，则每个网格对应一个m维向量：
Figure 248024DEST_PATH_IMAGE027
向量里有9个元素，代表的含义分别为：
Figure 413426DEST_PATH_IMAGE028
表示某一类别的目标是否存在于网格中，即目标存在的概率，
Figure 510695DEST_PATH_IMAGE029
为检测出的目标边界框的中心x位置，
Figure 592789DEST_PATH_IMAGE030
为边界框的中心y位置，
Figure 218943DEST_PATH_IMAGE031
为边界框的高，
Figure 137220DEST_PATH_IMAGE032
为边界框的宽，
Figure 772601DEST_PATH_IMAGE033
表示检测目标是人员，
Figure 194355DEST_PATH_IMAGE034
表示检测目标是狗，
Figure 273301DEST_PATH_IMAGE035
表示检测目标是猫，
Figure 147716DEST_PATH_IMAGE036
表示检测目标为其他类别。如果YOLO输出的目标类别是人员，则
Figure 852366DEST_PATH_IMAGE037
；如果输出的目标类别同时包含人、狗、猫，则
Figure 394206DEST_PATH_IMAGE038
。
目标的类别可以根据需要扩展，如增加识别车
Figure 142588DEST_PATH_IMAGE039
、鸟
Figure 504299DEST_PATH_IMAGE040
等。增加识别对象时，要注意每个网格对应的标签维数也相应增加。
模型按如图4方式进行训练。
使用上面的输入图像270×1080×3，彩色图像共有RGB三个通道，输出为4×1×9，即共输出36个元素，按顺序分别代表第1~第4个网格对应的9维变量。CNN为根据具体情况而构建的检测人员或动物的卷积神经网络，其输入的特征元素为270×1080×3个。
由于将每一个目标检测区划分为4个格子，每个格子都有对应的标签，也就是说一个目标检测区要有4个
Figure 747062DEST_PATH_IMAGE041
标签，每个
Figure 408987DEST_PATH_IMAGE041
标签里面有9个元素。这4个格子
Figure 813424DEST_PATH_IMAGE041
标签组合起来就是这张图的
Figure 678743DEST_PATH_IMAGE041
标签，即这张图的
Figure 194038DEST_PATH_IMAGE041
标签的维度是4×1×9。
步骤4：对每个网格应用图像分类和定位处理，获得预测对象的边界框及其对应的类别的概率。
步骤5：对检测出的目标进行差异性验证，确定不同的目标检测区检测出的目标是否是同一目标，利用二者的灰度特征来比较两帧图像的差异性；
通过目标检测，获得了图像中的目标类别及相关位置信息，还需要对检测出的目标进行差异性验证，以确定不同的目标检测区检测出的目标是否是同一目标，为分析其行为模式提供前提条件。
YOLO的处理速度可达到45帧/秒，相对于24-25帧/秒的视频图像来说，YOLO的处理速度能够为后续的差异性验证、方向判定等留出有足够的计算资源。确定前后两帧图像中识别出来的目标是否为同一个目标，我们设计如下差异性验证算法：
首先比较一下前后两个目标检测区的图像，有如下特点：
(1)前后两幅图像形成间隔很短，约30~40ms，环境亮度、对比度基本一致；
(2)前后两幅图像中的对象动作变化不大，经YOLO检测算法得到的对象的边框大小可能稍有不同。
由于前后识别出来的物体边框大小不同，两幅图像无法直接比较。如果将较小的图片按较大的图片扩展，将引入新的信息或杂波；若将较大的图像按较小的图片压缩，可能引起信息丢失，都会带来一定误差。因此，利用二者的灰度特征来比较两帧图像的差异性。
设某一识别出来的对象边框大小为m×n，按下式将每个像素转换成灰度直方图：
Gray = R*0.299 + G*0.587 + B*0.114
其中，R、G、B为某一像素的RGB值，灰度Gray的值为0~255。由于灰度取值范围是固定的，所以不同大小的图像，可以统一到相同坐标下画出其灰度图，具备同坐标下差异性对比的条件。根据图像的灰度直方图，统计出图像中的每一个像素的灰度值在整个图像中出现的次数画成曲线，示例如2图所示：
按照识别出的目标大小，将其灰度直方图统一转换成全域百分比形式，即：设某一灰度值的点为
Figure 710470DEST_PATH_IMAGE042
个，其转换关系为：
Figure 551387DEST_PATH_IMAGE043
上式表示图像中某一灰度值的点数占图像所有像素之和的百分比。
处理完之后，灰度曲线图变成如图3所示：
设前一幅图像中识别出的目标框中，灰度值为
Figure 887690DEST_PATH_IMAGE044
的像素在本帧图像中占比为
Figure 721523DEST_PATH_IMAGE045
，后一幅图像中识别出的目标框中，灰度值为
Figure 92462DEST_PATH_IMAGE044
的像素在本帧图像中占比为
Figure 838701DEST_PATH_IMAGE045
，则前后两帧识别出的图像的差异性由下式进行计算：
Figure 662300DEST_PATH_IMAGE046
即前后两个图像中，某灰度值在前后图像中占比百分比的差的绝对值之和的平均值。阈值根据具体***调整确定，小于阈值的认为差异性小，前后两幅图像识别出来的对象属于同一对象，大于阈值的认为差异性大，不属于同一对象。
步骤6：激光排爆控制***对视频图像左右两边的目标检测区进行检测，左侧目标检测区按照从左到右顺序，右侧目标检测区按照从右到左的顺序依次检测，检测完成一个遍历周期；根据目标检测结果激光排爆***出光。
在激光器出光前，假定操作人员已确认没有人员或动物进入。激光器出光时，激活目标检测相关功能，进入紧急安全控制状态。紧急安全控制状态的安全控制策略分2种：红色应急响应模式、黄色应急响应模式，运用时根据实际情况或个人需求选择。
红色应急响应模式
红色应急响应模式级别最高，策略最简单，但虚警率稍高。
如果***采用红色响应，***按照L 1到L n，R 1到R n的顺序依次进地检测，无论哪个目标检测区检测出人员或动物，***均立即发出紧急停光信号，自动停光，确保安全。
黄色应急响应模式
黄色应急响应模式级别稍低，策略复杂，但控制更为精细。
在任意一个遍历周期内，如果在某一个检测区检测到有目标存在，则记录每一个目标在该目标检测区的中心位置、边框大小、对象类别、目标检测区序号，并将位置坐标转换到整帧图像的坐标。
第1个遍历周期内：
一个遍历周期内，无论左、右哪个检测区检测出有效目标，都记录该目标的坐标位置、边框大小、类别和检测时间。
1）第1个遍历周期内，如果未检测到目标，则保持正常状态；
2）第1个遍历周期内，无论何种情况，只要在L n或R n检测区检测到目标，不论目标是人还是动物，均紧急停光；
3）第1个遍历周期内，如果在L n-1或R n-1以及之前的检测区检测到一个目标，只发出告警信息，不停光；
4）第1个遍历周期内，如果在L n-1或R n-1以及之前的检测区检测到多个目标，则调用差异性检测，确定结果是否为同一个目标：
4.1）如果多个目标均为同一个目标，则根据位置坐标确认目标是否从外向里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警状态，不停光；
4.2）如果多个目标为不同目标，则只发出告警信息，提醒操作者有人员或动物在危险区域之内，不停光。
第2个遍历周期内：
5）第2个遍历周期内，如果未检测到目标，则无论第1个遍历周期如何，该周期内均保持正常状态，告警或紧急控制状态清零；
6）第2个遍历周期内，无论何种情况，只要在L n 或R n 检测区检测到目标，不论目标是人还是动物，均紧急停光；
7）第2个遍历周期内，如果在L n-1或R n-1以及之前的检测区检测到目标：
7.1）如果检测到一个目标，则与第1个周期对比：
7.1.1）若第1个周期没有检测到，则只告警、不停光；
7.1.1）若第1个周期检测到目标，则判断与第1个周期目标类别是否相同，相同则对比前后两个周期内目标坐标的移动方向，向里运动则紧急停光，向外运动则不停光；如果与第1个周期目标类别不相同，则只告警、不停光；
7.2）如果检测到多个目标，则先在本周期内判断：
7.2.1）如果多个目标均为同一个目标，则确认目标是否从外到里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警，不停光；如果在原区域保持不动，则只保持告警，不停光。
7.2.2）如果多个目标为不同目标，则与第1个周期的目标类别分别进行比较，相同类别且在前后两个遍历周期内，发生从外到里的横向移动的，紧急停光；相同类别为从里到外，或没有发生横向移动的，发出告警信息，提醒操作者有人员或动物在危险区域之内；不同类别的，只发出告警信息，提醒操作者有人员或动物在危险区域之内。
第3个遍历周期：
8）自第3个遍历周期开始，当前周期作为第2遍历周期；
9）原来的第2遍历周期变为第1遍历周期；
10）回到步骤1），开始新的控制周期。
当某一周期均没有检测到目标时，所有状态清零，下一周期从初始状态开始。
特别的，当检测目标有多个时，在目标检测方法的识别网络添加2个不同的Anchorbox设计，其中，Anchor box1的大小设计为270×1080，Anchor box2的大小设计为270×270，分别负责人员、狗或猫的检测。每个网格都分配这两个Anchor box。这两个Anchor box的大小，可以根据具体***的图像大小、图像分割后目标检测区的大小等因素进行相应调整，同时注意调整训练集的标记。
增加了Anchor box的网络输出标签如下：
Figure 784977DEST_PATH_IMAGE047
前9行属于Anchor box1，其余9行属于Anchor box2。Anchor box1的形状类似于人的边界框，因此分配前9个元素负责输出对人的检测结果，后9个元素负责输出对狗或猫的检测结果。这种情况下的输出，将是4×1×16。增加两个Anchor box之后，在同一个网格中可以同时检测出一个人和一只动物，再通过坐标转换，即可获得对象在输入图像中的绝对位置，进一步可转换得到对象在完整一帧图像中的绝对位置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于卷积神经网络的激光排爆***紧急安全控制方法，其特征在于，包括以下步骤：
步骤1：从实时视频中抽取视频图像，将视频图像进行分割预处理，分为目标检测区和激光光束区，所述激光光束区位于视频图像中部，两侧为目标检测区；
具体分割方法如下：
水平方向分割，将图像分割为2n个目标检测区和一个激光光束区，n取值范围为n≥1的正整数，分割得到的每一块目标检测区域宽度为
Figure 643570DEST_PATH_IMAGE001
，具体计算方式如下：
Figure 311443DEST_PATH_IMAGE002
式中：TRUNC函数进行数值取整，即不论括号中的数值是正数还是负数，去掉小数后直接取整不进位；
激光光束区宽度
Figure 887918DEST_PATH_IMAGE003
为
Figure 548706DEST_PATH_IMAGE004
式中：X为视频图像宽度；
步骤2：将水平方向划分出的目标检测区从两侧向中部激光光束区依次输入到目标检测算法；
步骤3：对输入的每个目标检测区进行垂直方向分割，以目标检测区域宽度
Figure 628658DEST_PATH_IMAGE001
作为高度，延图像垂直方向分割为网格，对垂直方向分割区域高度不足
Figure 982279DEST_PATH_IMAGE001
的进行填充；对每个网格划定识别类别，则每个网格对应一个m维向量：
Figure 29738DEST_PATH_IMAGE005
Figure 759797DEST_PATH_IMAGE006
向量中字符代表的含义分别为：
Figure 428675DEST_PATH_IMAGE007
表示目标存在的概率，
Figure 218777DEST_PATH_IMAGE008
为检测出的目标边界框的中心x位置，
Figure 238685DEST_PATH_IMAGE009
为边界框的中心y位置，
Figure 257588DEST_PATH_IMAGE010
为边界框的高，
Figure 46553DEST_PATH_IMAGE011
为边界框的宽，
Figure 7555DEST_PATH_IMAGE012
表示目标类别；
步骤4：对每个网格应用图像分类和定位处理，获得预测对象的边界框及其对应的类别的概率；
步骤5：对检测出的目标进行差异性验证，确定不同的目标检测区检测出的目标是否是同一目标，利用二者的灰度特征来比较两帧图像的差异性；
步骤6：激光排爆控制***对视频图像左右两边的目标检测区进行检测，左侧目标检测区按照从左到右顺序，右侧目标检测区按照从右到左的顺序依次检测，检测完成一个遍历周期；根据目标检测结果激光排爆***出光。
2.根据权利要求1所述的基于卷积神经网络的激光排爆***紧急安全控制方法，其特征在于，当检测目标有多个时，在目标检测方法的识别网络添加2个不同的锚框设计，一个锚框宽度与目标检测区域宽度
Figure 514760DEST_PATH_IMAGE001
一致，高度为图像实际高度，另一个锚框宽度高度均与目标检测区域宽度
Figure 321042DEST_PATH_IMAGE001
一致。
3.根据权利要求1所述的基于卷积神经网络的激光排爆***紧急安全控制方法，其特征在于，所述
Figure 744939DEST_PATH_IMAGE001
计算还有如下方式：
Figure 345685DEST_PATH_IMAGE013
比较两种方式计算的
Figure 605765DEST_PATH_IMAGE001
值大小，选取值更小的作为目标检测区宽度。
4.根据权利要求1所述的基于卷积神经网络的激光排爆***紧急安全控制方法，其特征在于，所述利用二者的灰度特征来比较两帧图像的差异性具体步骤如下：
步骤5-1：将识别出的目标的每个像素转换为灰度直方图，并计算灰度值，计算方式如下：
Gray = R*0.299 + G*0.587 + B*0.114
式中：R、G、B为某一像素的RGB值，灰度Gray的值为0~255；
步骤5-2：根据计算出的灰度值在同一坐标系下画出其灰度图，按照识别出的目标大小，将其灰度直方图统一转换成全域百分比形式；
步骤5-3：按照识别出的目标大小，将其灰度直方图统一转换成全域百分比形式，即：设某一灰度值的点为
Figure 215738DEST_PATH_IMAGE014
个，其转换关系为：
Figure 244873DEST_PATH_IMAGE015
式中：
Figure 767253DEST_PATH_IMAGE014
表示某一灰度值的点个数，N表示某一灰度值的点数占图像所有像素之和的百分比；
步骤5-4：选取不同目标区域某一灰度值，计算目标检测区域该灰度值所占比重，通过比重计算某灰度值在前后图像中占比百分比的差的绝对值之和的平均值，与设定阈值进行比较，小于阈值的认为差异性小，前后两幅图像识别出来的对象属于同一对象，大于阈值的认为差异性大，不属于同一对象。
5.根据权利要求1所述的基于卷积神经网络的激光排爆***紧急安全控制方法，其特征在于，所述控制方法包括两种安全控制策略：红色应急响应模式和黄色应急响应模式；
所述红色应急响应模式***检测到目标，***立即发出紧急停光信号，自动停光；
所述黄色应急响应模式在任意一个遍历周期内，如果在某一个检测区检测到有目标存在，则记录每一个目标在该目标检测区的中心位置、边框大小、对象类别、目标检测区序号，并将位置坐标转换到整帧图像的坐标；具体内容如下：
1）第一个遍历周期内，目标检测区检测出有效目标，记录该目标的坐标位置、边框大小、类别和检测时间；
1-1）如果未检测到目标，则保持正常状态；
1-2）如果激光光束区相邻两侧目标检测区检测到目标，均停光；
1-3）如果除激光光束区相邻两侧目标检测区检测到一个目标，只发出告警信息，不停光；
1-4）如果除激光光束区相邻两侧目标检测区检测到多个目标，则调用差异性检测，确定结果是否为同一个目标：如果多个目标均为同一个目标，则根据位置坐标确认目标是否从外向里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警状态，不停光；如果多个目标为不同目标，则只发出告警信息，提醒操作者有人员或动物在危险区域之内，不停光；
2）第二个遍历周期内；
2-1）如果未检测到目标，无论第1个遍历周期如何，该周期内均保持正常状态，告警或紧急控制状态清零；
2-2）如果激光光束区相邻两侧目标检测区检测到目标，均紧急停光；
2-3）如果除激光光束区相邻两侧目标检测区检测到目标：
2-3-1）如果检测到一个目标，则与第1个周期对比：若第1个周期没有检测到，则只告警、不停光；
若第1个周期检测到目标，则判断与第1个周期目标类别是否相同，相同则对比前后两个周期内目标坐标的移动方向，向里运动则紧急停光，向外运动则不停光；如果与第1个周期目标类别不相同，则只告警、不停光；
2-3-2）如果检测到多个目标，则先在本周期内判断：如果多个目标均为同一个目标，则确认目标是否从外到里横向移动，如果是靠近激光区，则属危险行为，紧急停光；如果是远离激光区，则只保持告警，不停光；如果在原区域保持不动，则只保持告警，不停光；
如果多个目标为不同目标，则与第1个周期的目标类别分别进行比较，相同类别且在前后两个遍历周期内，发生从外到里的横向移动的，紧急停光；相同类别为从里到外，或没有发生横向移动的，发出告警信息，提醒操作者有人员或动物在危险区域之内；不同类别的，只发出告警信息，提醒操作者有人员或动物在危险区域之内；
3）第3个遍历周期：
自第3个遍历周期开始，当前周期作为第2遍历周期；原第2遍历周期变为第1遍历周期，开始新的控制周期；当某一周期均没有检测到目标时，所有状态清零，下一周期从初始状态开始。
CN202211353043.9A 2022-11-01 2022-11-01 一种基于卷积神经网络的激光排爆***紧急安全控制方法 Active CN115410136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211353043.9A CN115410136B (zh) 2022-11-01 2022-11-01 一种基于卷积神经网络的激光排爆***紧急安全控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211353043.9A CN115410136B (zh) 2022-11-01 2022-11-01 一种基于卷积神经网络的激光排爆***紧急安全控制方法

Publications (2)

Publication Number Publication Date
CN115410136A true CN115410136A (zh) 2022-11-29
CN115410136B CN115410136B (zh) 2023-01-13

Family

ID=84168708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211353043.9A Active CN115410136B (zh) 2022-11-01 2022-11-01 一种基于卷积神经网络的激光排爆***紧急安全控制方法

Country Status (1)

Country Link
CN (1) CN115410136B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制***和控制方法
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及***
CN109412689A (zh) * 2018-10-19 2019-03-01 苏州融萃特种机器人有限公司 一种基于图像处理的机器人激光通信***及其方法
CN109697424A (zh) * 2018-12-19 2019-04-30 浙江大学 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN111612002A (zh) * 2020-06-04 2020-09-01 广州市锲致智能技术有限公司 一种基于神经网络的多目标物体运动追踪方法
CN111695482A (zh) * 2020-06-04 2020-09-22 华油钢管有限公司 一种管道缺陷识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103271784A (zh) * 2013-06-06 2013-09-04 山东科技大学 基于双目视觉的人机交互式机械手控制***和控制方法
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及***
CN109412689A (zh) * 2018-10-19 2019-03-01 苏州融萃特种机器人有限公司 一种基于图像处理的机器人激光通信***及其方法
CN109697424A (zh) * 2018-12-19 2019-04-30 浙江大学 一种基于fpga和深度学习的高速铁路异物侵限检测装置及方法
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN111612002A (zh) * 2020-06-04 2020-09-01 广州市锲致智能技术有限公司 一种基于神经网络的多目标物体运动追踪方法
CN111695482A (zh) * 2020-06-04 2020-09-22 华油钢管有限公司 一种管道缺陷识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李欢欢 等: "基于以太网的排爆机器人测控***设计", 《测控技术》 *

Also Published As

Publication number Publication date
CN115410136B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及***
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN109636846B (zh) 基于循环注意力卷积神经网络的目标定位方法
CN112330915B (zh) 无人机森林防火预警方法、***、电子设备和存储介质
CN114140503A (zh) 基于深度学习的配电网危险区域识别装置及方法
CN111626170A (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN103945197B (zh) 基于视频运动检测技术的电力设施防外破预警方案
CN111062373A (zh) 一种基于深度学习的吊装过程危险识别方法及***
CN116311081B (zh) 一种基于图像识别的医学实验室监控图像分析方法和***
CN110532937A (zh) 基于识别模型与分类模型进行列车前向目标精准识别的方法
Zhang et al. Transmission line abnormal target detection based on machine learning yolo v3
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及***
CN116052082A (zh) 一种基于深度学习算法的配电站房异常检测方法及装置
WO2023104557A1 (en) Machine-learning for safety rule violation determination
CN115294528A (zh) 一种行人安全监控方法及装置
CN117765480B (zh) 一种道路沿线野生动物迁徙预警方法及***
Bashir et al. A deep learning approach to trespassing detection using video surveillance data
CN115410136B (zh) 一种基于卷积神经网络的激光排爆***紧急安全控制方法
KR102585665B1 (ko) 위험 상황 분석 및 위험 객체 수색 시스템
CN117649741A (zh) 基于深度学习的变电站周围高危动物实时监测***及方法
Raj et al. Wild Animals Intrusion Detection for Safe Commuting in Forest Corridors using AI Techniques
Tschürtz et al. System of systems safety analysis and evaluation in ZalaZONE
CN116030404A (zh) 一种基于人工智能的作业区域电子警戒围栏架设和安全监控方法
CN114758326A (zh) 一种交通岗位工作行为状态实时检测***
Addai et al. Power and Telecommunication Lines Detection and Avoidance for Drones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant