CN110414320B - 一种安全生产监管的方法及*** - Google Patents

一种安全生产监管的方法及*** Download PDF

Info

Publication number
CN110414320B
CN110414320B CN201910511350.7A CN201910511350A CN110414320B CN 110414320 B CN110414320 B CN 110414320B CN 201910511350 A CN201910511350 A CN 201910511350A CN 110414320 B CN110414320 B CN 110414320B
Authority
CN
China
Prior art keywords
image
label
recognition model
monitored object
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910511350.7A
Other languages
English (en)
Other versions
CN110414320A (zh
Inventor
周斯加
罗智颖
关超华
陈志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Laser and Optoelectronics Intelligent Manufacturing of Wenzhou University
Original Assignee
Institute of Laser and Optoelectronics Intelligent Manufacturing of Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Laser and Optoelectronics Intelligent Manufacturing of Wenzhou University filed Critical Institute of Laser and Optoelectronics Intelligent Manufacturing of Wenzhou University
Priority to CN201910511350.7A priority Critical patent/CN110414320B/zh
Publication of CN110414320A publication Critical patent/CN110414320A/zh
Application granted granted Critical
Publication of CN110414320B publication Critical patent/CN110414320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Emergency Management (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种安全生产监管的方法，包括获取监控对象的历史视频，并从所获取到的历史视频中按预设时间间隔提取出多个图像；对所提取的多个图像均标记有相应的标签，并对每一已有标签的图像进行图像处理及特征提取；根据图像处理及特征提取后的每一已有标签的图像，构建出基于卷积神经网络回归的图像识别模型，对图像识别模型采用误差的反向传播算法来进行训练直至收敛，得到训练好的图像识别模型；获取监控对象的当前待检图像，并将监控对象的当前待检图像导入训练好的图像识别模型中进行识别，确定出监控对象是否存在安全隐患。实施本发明，基于卷积神经网络来构建识别模型，提高了识别的可靠性，还省时省力。

Description

一种安全生产监管的方法及***
技术领域
本发明涉及安全生产检测技术领域，尤其涉及一种安全生产监管的方法。
背景技术
目前，政府安监部门需要对职责范围内的所有危险化工工艺、重点监管的危险化学品和重大危险源进行统一的智能监管，并对潜在的安全隐患进行实时预警，还能够基于大数据对安全生产的各种因素进行分析和决策。政府安监部门重点监控的对象主要包括：各加油站的卸油场所、各化工企业的危险工艺、各个危化品仓库以及其他各种具有安全隐患的危险作业现场。安监部门要求将上述各个受监管场所的实时高清视频数据导入到市智慧城市大脑平台，由专业安全生产监管人员对各种作业活动进行实时监督，提前发现潜在的安全隐患，确保所有受监管的作业人员和作业过程符合规定的作业标准和流程。
然而，现有的安全生产监管方法中，需要人工去查找及对比每一个监控对象的图像，才能识别安全隐患，不仅费时费力，还有可能出现对比错误。
发明内容
本发明实施例所要解决的技术问题在于，提供一种安全生产监管的方法及***，基于卷积神经网络来构建识别模型，提高了识别的可靠性，还省时省力。
为了解决上述技术问题，本发明实施例提供了一种安全生产监管的方法，其特征在于，所述方法包括以下步骤：
获取监控对象的历史视频，并从所获取到的历史视频中按预设时间间隔提取出多个图像；
对所提取的多个图像均标记有相应的标签，并对每一已有标签的图像进行图像处理及特征提取；其中，标签包括1和0；标签为1的图像表示存在安全隐患；标签为0的图像表示正常；
根据图像处理及特征提取后的每一已有标签的图像，构建出基于卷积神经网络回归的图像识别模型，对所述基于卷积神经网络回归的图像识别模型采用误差的反向传播算法来进行训练直至收敛，得到训练好的图像识别模型；
获取所述监控对象的当前待检图像，并将所获取到的监控对象的当前待检图像导入所得到的训练好的图像识别模型中进行识别，确定出所述监控对象是否存在安全隐患。
其中，所述监控对象包括加油站中的油罐车、卸油管、静电释放仪及消防器材，化工厂企业中的车辆、外部堆放货物、烟雾着火点及消防器材和危化品仓库中的各种危化品的规范化外包装及消防器材。
其中，所述对所提取的多个图像均标记有相应的标签，并对每一已有标签的图像进行图像处理及特征提取的具体步骤包括：
若某一张图像与预设的存在安全隐患图像的匹配度大于预设阈值时，则标记标签为1；反之，则标记标签为0；
待所有图像标签标记完成后，对每一张已有标签的图像均进行真彩色增强处理；其中，所述真彩色增强处理为图像色彩保持不变，则图像亮度增强；
基于预设的彩色图像分割方法，对每一张真彩色增强处理后的原始皮肤热成像图像均进行图像分割处理，分割出每一张已有标签的目标区域图像；
对已分割出的每一个目标区域图像的近似熵和样本熵进行提取并作为主要特征，且进一步使用颜色统计特征提取方法、灰度共生矩阵方法及局部二值化方法，对已分割出的每一个目标区域图像的颜色直方图、颜色矩、能量、对比度、纹理熵、纹理相关、图像局部二值化特征进行提取并作为补充特征。
其中，所述对每一张已有标签的图像均进行真彩色增强处理的具体步骤包括：
将每一张已有标签的图像中的R、G、B分量均对应转换为H、I、S分量来表示；
利用灰度线性变换方法，增强每一张已有标签的图像中已转换的I分量；
待每一张灰度线性变换后的图像中I分量增强后，将每一张灰度线性变换后的图像的H、I、S分量逆转换为R、G、B分量来表示，得到每一张真彩色增强处理后的图像。
其中，所述构建出基于卷积神经网络回归的图像识别模型的具体步骤为：
采用深度学习框架TensorFlow实现卷积神经网络，建立图像识别模型，以图像处理及特征提取后的每一已有标签的图像为模型特征，1和0作为模型标签，分别读入图像识别模型中，定义批次函数模块、数据读取模块、卷积神经网络CNN结构模块、模型评价指标模块、训练和测试模块；其中，卷积神经网络有两个卷积池化交替层以及两个全连接层。
本发明实施例还提供了一种安全生产监管的***，包括：
图像获取单元，用于获取监控对象的历史视频，并从所获取到的历史视频中按预设时间间隔提取出多个图像；
图像特征提取单元，用于对所提取的多个图像均标记有相应的标签，并对每一已有标签的图像进行图像处理及特征提取；其中，标签包括1和0；标签为1的图像表示存在安全隐患；标签为0的图像表示正常；
图像识别模型构建单元，用于根据图像处理及特征提取后的每一已有标签的图像，构建出基于卷积神经网络回归的图像识别模型，对所述基于卷积神经网络回归的图像识别模型采用误差的反向传播算法来进行训练直至收敛，得到训练好的图像识别模型；
图像识别单元，用于获取所述监控对象的当前待检图像，并将所获取到的监控对象的当前待检图像导入所得到的训练好的图像识别模型中进行识别，确定出所述监控对象是否存在安全隐患。
其中，所述监控对象包括加油站中的油罐车、卸油管、静电释放仪及消防器材，化工厂企业中的车辆、外部堆放货物、烟雾着火点及消防器材和危化品仓库中的各种危化品的规范化外包装及消防器材。
其中，所述图像特征提取单元包括：
对比模块，用于若某一张图像与预设的存在安全隐患图像的匹配度大于预设阈值时，则标记标签为1；反之，则标记标签为0；
处理模块，用于待所有图像标签标记完成后，对每一张已有标签的图像均进行真彩色增强处理；其中，所述真彩色增强处理为图像色彩保持不变，则图像亮度增强；
分割模块，用于基于预设的彩色图像分割方法，对每一张真彩色增强处理后的原始皮肤热成像图像均进行图像分割处理，分割出每一张已有标签的目标区域图像；
提取模块，用于对已分割出的每一个目标区域图像的近似熵和样本熵进行提取并作为主要特征，且进一步使用颜色统计特征提取方法、灰度共生矩阵方法及局部二值化方法，对已分割出的每一个目标区域图像的颜色直方图、颜色矩、能量、对比度、纹理熵、纹理相关、图像局部二值化特征进行提取并作为补充特征。
实施本发明实施例，具有如下有益效果：
本发明采集监控对象的历史图像并进行标签标记、图像处理及目标区域分割后，提取目标区域图像特征数据通过使用卷积神经网络来完成图像识别模型的构建，实现对存在安全隐患图像的识别，不仅快速便捷，而且精确度高，提高了识别的可靠性，还省时省力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明实施例提供的安全生产监管的方法的流程图；
图2为本发明实施例提供的安全生产监管的***的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明实施例中，提供的一种安全生产监管的方法，所述方法包括以下步骤：
步骤S1、获取监控对象的历史视频，并从所获取到的历史视频中按预设时间间隔提取出多个图像；
具体过程为，大量采集监控对象所在场所的历史视频数据，并从历史视频中按预设时间间隔提取出多个图像，用来作为人员特征、穿戴特征、车辆特征、消防器材特征、危险物品特征、辅助设备特征等等的机器学习的素材。视频数据或图像数据必须包括不同观察角度、距离远近、不同天气(晴天阴天雨天雪天)、白天黑夜等等各种不同的场景，素材越多越好。
监控对象包括加油站中的油罐车、卸油管、静电释放仪及消防器材，化工厂企业中的车辆、外部堆放货物、烟雾着火点及消防器材和危化品仓库中的各种危化品的规范化外包装及消防器材等等。
应当说明的是，由于许多不规范的操作会引发很大的安全事故，因此监控对象还可以进一步进行细化，具体如下：
(1)加油站卸油作业
油罐车进场识别、油罐车车牌号码识别、标识牌识别、油罐车停放位置识别、工作人员服饰识别、消防器材识别、静电释放仪连接状态识别、油管连接状态识别、油管数量识别、油罐车离场识别等等；
(2)化工企业
指定位置车辆识别、指定位置烟雾识别、外部指定位置物品堆放识别、指定位置消防器材识别、指定位置巡检人员(服饰)识别等等；
(3)危化品仓库
消防器材识别、工作人员服饰识别、标识牌识别等等。
步骤S2、对所提取的多个图像均标记有相应的标签，并对每一已有标签的图像进行图像处理及特征提取；其中，标签包括1和0；标签为1的图像表示存在安全隐患；标签为0的图像表示正常；
具体过程为，可以通过人工或图像数据库自动对比来给每一张图像标记标签，作为后续的机器学方法的训练类别，用以识别待测图像的归属，即是否为存在安全隐患的图像。应当说明的是，人工标记标签是通过专家已有的经验进行判定后，并由计算机记录存储，而图像数据库自动对比是通过图像相似度来自动判定的，并由计算机记录存储。
因此，若某一张图像与预设的存在安全隐患图像的匹配度大于预设阈值(如90％)时，则标记标签为1；反之，则标记标签为0；
待所有图像标签标记完成后，对每一张已有标签的图像均进行真彩色增强处理；其中，真彩色增强处理为图像色彩保持不变，则图像亮度增强；
基于预设的彩色图像分割方法，对每一张真彩色增强处理后的原始皮肤热成像图像均进行图像分割处理，分割出每一张已有标签的目标区域图像；
对已分割出的每一个目标区域图像的近似熵和样本熵进行提取并作为主要特征，且进一步使用颜色统计特征提取方法、灰度共生矩阵方法及局部二值化方法，对已分割出的每一个目标区域图像的颜色直方图、颜色矩、能量、对比度、纹理熵、纹理相关、图像局部二值化特征进行提取并作为补充特征。
应当说明的是，对每一张已有标签的图像均进行真彩色增强处理的具体步骤包括：将每一张已有标签的图像中的R、G、B分量均对应转换为H、I、S分量来表示；利用灰度线性变换方法，增强每一张已有标签的图像中已转换的I分量；待每一张灰度线性变换后的图像中I分量增强后，将每一张灰度线性变换后的图像的H、I、S分量逆转换为R、G、B分量来表示，得到每一张真彩色增强处理后的图像。
应当说明的是，预设的彩色图像分割方法采用基于全局阈值的图像分割算法，该算法具体如下：一幅图像，假设其灰度值取值范围在gmin和gmax之间，利用阈值方法分割该图像的步骤为：
确定热成像图像中红色区域的灰度阈值T，且gmin＜T＜gmax；原始图像灰度化处理后，归类图像中的像素。将图像中像素的灰度值与阈值比较，保留灰度值等于阈值的像素点。
步骤S3、根据图像处理及特征提取后的每一已有标签的图像，构建出基于卷积神经网络回归的图像识别模型，对所述基于卷积神经网络回归的图像识别模型采用误差的反向传播算法来进行训练直至收敛，得到训练好的图像识别模型；
具体过程为，以图像处理及特征提取后的图像为输入，其对应的已有标签作为输出，采用深度学习框架TensorFlow实现卷积神经网络，建立图像识别模型，以图像处理及特征提取后的每一已有标签的图像为模型特征，1和0作为模型标签，分别读入图像识别模型中，定义批次函数模块、数据读取模块、卷积神经网络CNN结构模块、模型评价指标模块、训练和测试模块；其中，卷积神经网络有两个卷积池化交替层以及两个全连接层。
在一个例子中，图像识别模型中采用3×3大小的卷积核，池化窗口的大小均为2×2，非线性激活函数ReLU在每一个卷积操作之后才使用，从输入向输出看，卷积神经网络CNN模型的通道数由6变为32，32变为64，64变为1024，最终输出只有1个通道。将池化层2输出的特征矩阵拉长变为一维矩阵，再输入到全连接层1中，在全连接层1的输出端使用了Dropout方法，此方法在训练阶段按概率随机舍掉网络模型中的部分神经元。
卷积神经网络的具体结构如下：
输入层
<＝1卷积层1_1(3x3x64)
<＝2非线性响应Relu层
<＝3卷积层1_2(3x3x64)
<＝4非线性响应Relu层
<＝5池化层(2x2/2)
<＝6卷积层2_1(3x3x128)
<＝7非线性响应Relu层
<＝8卷积层2_2(3x3x128)
<＝9非线性响应Relu层
<＝10池化层(2x2/2)
<＝11卷积层3_1(3x3x256)
<＝12非线性响应Relu层
<＝13卷积层3_2(3x3x256)
<＝14全局平均池化层
<＝15全连接层(256x100)s
<＝16非线性响应Relu层
<＝17全连接层(100x2)
<＝14反卷积层D1(4x4x256)
<＝19卷积层D1_1(3x3x256)
<＝20卷积层D1_2(3x3x256)
<＝21反卷积层D2(4x4x128)
<＝22卷积层D2_1(3x3x128)
<＝23卷积层D2_2(3x3x128)
<＝24卷积层D2_3(3x3x2)
其中，符号“.<＝”前面的数字为当前层数，符号“.<＝”后面的数字为输入层数；卷积层和反卷积层后面括号内均为卷积层参数，其中该卷积层参数前面的两个乘数的积为卷积核大小，该卷积层参数后面的乘数为通道数；池化层后面括号内为池化层参数，其中该池化层参数前面的两个乘数的积为池化核大小，该池化层参数后面的乘数为步长；全连接层后面括号内为全连接层参数，其中该全连接层后面参数为输出的类别；非线响应层由一个非线性的激活函数ReLU构成。
步骤S4、获取所述监控对象的当前待检图像，并将所获取到的监控对象的当前待检图像导入所得到的训练好的图像识别模型中进行识别，确定出所述监控对象是否存在安全隐患。
具体过程为，获取一张监控对象的当前待检图像并导入训练好的图像识别模型中进行识别，若输出类别为1，则确定出监控对象存在安全隐患；反之，输出类别为0，则确定出监控对象不存在安全隐患。应当说明的是，输出的类别属性是由步骤S2中的标签设定来决定的。
可以理解的是，一旦确定出监控对象存在安全隐患时，可以通过下发报警信息来提示监控人员。该报警信息包括声光报警信息和/或文字报警信息，其中，声光报警信息直接通过指示灯、蜂鸣器等进行现场报警提示，文字报警信息可以通过邮件、短信、微信、QQ等方式下发给相关人员进行报警提示。
如图2所示，为本发明实施例中，提供的一种安全生产监管的***，包括：
图像获取单元10，用于获取监控对象的历史视频，并从所获取到的历史视频中按预设时间间隔提取出多个图像；
图像特征提取单元20，用于对所提取的多个图像均标记有相应的标签，并对每一已有标签的图像进行图像处理及特征提取；其中，标签包括1和0；标签为1的图像表示存在安全隐患；标签为0的图像表示正常；
图像识别模型构建单元30，用于根据图像处理及特征提取后的每一已有标签的图像，构建出基于卷积神经网络回归的图像识别模型，对所述基于卷积神经网络回归的图像识别模型采用误差的反向传播算法来进行训练直至收敛，得到训练好的图像识别模型；
图像识别单元40，用于获取所述监控对象的当前待检图像，并将所获取到的监控对象的当前待检图像导入所得到的训练好的图像识别模型中进行识别，确定出所述监控对象是否存在安全隐患。
其中，所述监控对象包括加油站中的油罐车、卸油管、静电释放仪及消防器材，化工厂企业中的车辆、外部堆放货物、烟雾着火点及消防器材和危化品仓库中的各种危化品的规范化外包装及消防器材。
其中，所述图像特征提取单元20包括：
对比模块201，用于若某一张图像与预设的存在安全隐患图像的匹配度大于预设阈值时，则标记标签为1；反之，则标记标签为0；
处理模块202，用于待所有图像标签标记完成后，对每一张已有标签的图像均进行真彩色增强处理；其中，所述真彩色增强处理为图像色彩保持不变，则图像亮度增强；
分割模块203，用于基于预设的彩色图像分割方法，对每一张真彩色增强处理后的原始皮肤热成像图像均进行图像分割处理，分割出每一张已有标签的目标区域图像；
提取模块204，用于对已分割出的每一个目标区域图像的近似熵和样本熵进行提取并作为主要特征，且进一步使用颜色统计特征提取方法、灰度共生矩阵方法及局部二值化方法，对已分割出的每一个目标区域图像的颜色直方图、颜色矩、能量、对比度、纹理熵、纹理相关、图像局部二值化特征进行提取并作为补充特征。
实施本发明实施例，具有如下有益效果：
本发明采集监控对象的历史图像并进行标签标记、图像处理及目标区域分割后，提取目标区域图像特征数据通过使用卷积神经网络来完成图像识别模型的构建，实现对存在安全隐患图像的识别，不仅快速便捷，而且精确度高，提高了识别的可靠性，还省时省力。
值得注意的是，上述***实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (2)

1.一种安全生产监管的方法，其特征在于，所述方法包括以下步骤：
获取监控对象的历史视频，并从所获取到的历史视频中按预设时间间隔提取出多个图像；
对所提取的多个图像均标记有相应的标签，并对每一已有标签的图像进行图像处理及特征提取；其中，标签包括1和0；标签为1的图像表示存在安全隐患；标签为0的图像表示正常；
根据图像处理及特征提取后的每一已有标签的图像，构建出基于卷积神经网络回归的图像识别模型，对所述基于卷积神经网络回归的图像识别模型采用误差的反向传播算法来进行训练直至收敛，得到训练好的图像识别模型；
获取所述监控对象的当前待检图像，并将所获取到的监控对象的当前待检图像导入所得到的训练好的图像识别模型中进行识别，确定出所述监控对象是否存在安全隐患；
所述监控对象包括加油站中的油罐车、卸油管、静电释放仪及消防器材，化工厂企业中的车辆、外部堆放货物、烟雾着火点及消防器材和危化品仓库中的各种危化品的规范化外包装及消防器材；
所述对所提取的多个图像均标记有相应的标签，并对每一已有标签的图像进行图像处理及特征提取的具体步骤包括：
若某一张图像与预设的存在安全隐患图像的匹配度大于预设阈值时，则标记标签为1；反之，则标记标签为0；
待所有图像标签标记完成后，对每一张已有标签的图像均进行真彩色增强处理；其中，所述真彩色增强处理为图像色彩保持不变，则图像亮度增强；
基于预设的彩色图像分割方法，对每一张真彩色增强处理后的原始皮肤热成像图像均进行图像分割处理，分割出每一张已有标签的目标区域图像；
对已分割出的每一个目标区域图像的近似熵和样本熵进行提取并作为主要特征，且进一步使用颜色统计特征提取方法、灰度共生矩阵方法及局部二值化方法，对已分割出的每一个目标区域图像的颜色直方图、颜色矩、能量、对比度、纹理熵、纹理相关、图像局部二值化特征进行提取并作为补充特征；
所述对每一张已有标签的图像均进行真彩色增强处理的具体步骤包括：
将每一张已有标签的图像中的R、G、B分量均对应转换为H、I、S分量来表示；
利用灰度线性变换方法，增强每一张已有标签的图像中已转换的I分量；
待每一张灰度线性变换后的图像中I分量增强后，将每一张灰度线性变换后的图像的H、I、S分量逆转换为R、G、B分量来表示，得到每一张真彩色增强处理后的图像；
所述构建出基于卷积神经网络回归的图像识别模型的具体步骤为：
采用深度学习框架TensorFlow实现卷积神经网络，建立图像识别模型，以图像处理及特征提取后的每一已有标签的图像为模型特征，1和0作为模型标签，分别读入图像识别模型中，定义批次函数模块、数据读取模块、卷积神经网络CNN结构模块、模型评价指标模块、训练和测试模块；其中，卷积神经网络有两个卷积池化交替层以及两个全连接层；
所述图像识别模型中采用3×3大小的卷积核，池化窗口的大小均为2×2，非线性激活函数ReLU在每一个卷积操作之后才使用，从输入向输出看，卷积神经网络CNN模型的通道数由6变为32，32变为64，64变为1024，最终输出只有1个通道，将池化层2输出的特征矩阵拉长变为一维矩阵，再输入到全连接层1中，在全连接层1的输出端使用了Dropout方法，此方法在训练阶段按概率随机舍掉网络模型中的部分神经元。
2.一种安全生产监管的***，其特征在于，包括：
图像获取单元，用于获取监控对象的历史视频，并从所获取到的历史视频中按预设时间间隔提取出多个图像；
图像特征提取单元，用于对所提取的多个图像均标记有相应的标签，并对每一已有标签的图像进行图像处理及特征提取；其中，标签包括1和0；标签为1的图像表示存在安全隐患；标签为0的图像表示正常；
图像识别模型构建单元，用于根据图像处理及特征提取后的每一已有标签的图像，构建出基于卷积神经网络回归的图像识别模型，对所述基于卷积神经网络回归的图像识别模型采用误差的反向传播算法来进行训练直至收敛，得到训练好的图像识别模型；
图像识别单元，用于获取所述监控对象的当前待检图像，并将所获取到的监控对象的当前待检图像导入所得到的训练好的图像识别模型中进行识别，确定出所述监控对象是否存在安全隐患；
所述监控对象包括加油站中的油罐车、卸油管、静电释放仪及消防器材，化工厂企业中的车辆、外部堆放货物、烟雾着火点及消防器材和危化品仓库中的各种危化品的规范化外包装及消防器材；
所述图像特征提取单元包括：
对比模块，用于若某一张图像与预设的存在安全隐患图像的匹配度大于预设阈值时，则标记标签为1；反之，则标记标签为0；
处理模块，用于待所有图像标签标记完成后，对每一张已有标签的图像均进行真彩色增强处理；其中，所述真彩色增强处理为图像色彩保持不变，则图像亮度增强；
分割模块，用于基于预设的彩色图像分割方法，对每一张真彩色增强处理后的原始皮肤热成像图像均进行图像分割处理，分割出每一张已有标签的目标区域图像；
提取模块，用于对已分割出的每一个目标区域图像的近似熵和样本熵进行提取并作为主要特征，且进一步使用颜色统计特征提取方法、灰度共生矩阵方法及局部二值化方法，对已分割出的每一个目标区域图像的颜色直方图、颜色矩、能量、对比度、纹理熵、纹理相关、图像局部二值化特征进行提取并作为补充特征。
CN201910511350.7A 2019-06-13 2019-06-13 一种安全生产监管的方法及*** Active CN110414320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910511350.7A CN110414320B (zh) 2019-06-13 2019-06-13 一种安全生产监管的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910511350.7A CN110414320B (zh) 2019-06-13 2019-06-13 一种安全生产监管的方法及***

Publications (2)

Publication Number Publication Date
CN110414320A CN110414320A (zh) 2019-11-05
CN110414320B true CN110414320B (zh) 2021-10-22

Family

ID=68359044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910511350.7A Active CN110414320B (zh) 2019-06-13 2019-06-13 一种安全生产监管的方法及***

Country Status (1)

Country Link
CN (1) CN110414320B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091535A (zh) * 2019-11-22 2020-05-01 三一重工股份有限公司 基于深度学习图像语义分割的工厂管理方法和***
CN110910586B (zh) * 2019-11-28 2022-03-04 中国银行股份有限公司 一种防盗刷卡的方法及***
CN111274962A (zh) * 2020-01-20 2020-06-12 广州燃气集团有限公司 一种燃气安全隐患数据的处理方法、***和存储介质
CN111401131A (zh) * 2020-02-13 2020-07-10 深圳供电局有限公司 隧道管廊的图像处理方法、装置、计算机设备和存储介质
CN112183397A (zh) * 2020-09-30 2021-01-05 四川弘和通讯有限公司 基于空洞卷积神经网络的坐防护栏行为的识别方法
CN112396017B (zh) * 2020-11-27 2023-04-07 上海建科工程咨询有限公司 一种基于图像识别的工程安全隐患识别方法及***
CN112801466B (zh) * 2021-01-08 2024-03-29 温州大学激光与光电智能制造研究院 一种加油站卸油作业违规操作预警方法及***
CN113537099B (zh) * 2021-07-21 2022-11-29 招商局重庆交通科研设计院有限公司 一种公路隧道火灾烟雾动态检测方法
CN114611400B (zh) * 2022-03-18 2023-08-29 河北金锁安防工程股份有限公司 一种预警信息筛选方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置
CN106529605A (zh) * 2016-11-28 2017-03-22 东华大学 基于免疫理论的卷积神经网络模型的图像识别方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109858487A (zh) * 2018-10-29 2019-06-07 温州大学 基于分水岭算法和图像类别标签的弱监督语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250845A (zh) * 2016-07-28 2016-12-21 北京智芯原动科技有限公司 基于卷积神经网络的火焰检测方法及装置
CN106529605A (zh) * 2016-11-28 2017-03-22 东华大学 基于免疫理论的卷积神经网络模型的图像识别方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109858487A (zh) * 2018-10-29 2019-06-07 温州大学 基于分水岭算法和图像类别标签的弱监督语义分割方法

Also Published As

Publication number Publication date
CN110414320A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110414320B (zh) 一种安全生产监管的方法及***
CN111432182B (zh) 一种加油站卸油场所***方法及***
CN110188807B (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN108038424B (zh) 一种适用于高空作业的视觉自动化检测方法
CN110619277A (zh) 一种多社区智慧布控方法以及***
Kumar et al. Automatic vehicle number plate recognition system using machine learning
CN114782897A (zh) 基于机器视觉及深度学习的危险行为检测方法及***
CN109001210B (zh) 一种人防门密封胶条老化龟裂检测***及方法
CN111523397A (zh) 一种智慧灯杆视觉识别装置、方法及其***和电子设备
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及***
CN114648714A (zh) 一种基于yolo的车间规范行为的监测方法
CN116311081B (zh) 一种基于图像识别的医学实验室监控图像分析方法和***
CN114579791A (zh) 一种基于作业票的施工安全违章识别方法及***
CN112597926A (zh) 基于fod影像对飞机目标的识别方法、设备、存储介质
Vishwanath et al. Connected component analysis for Indian license plate infra-red and color image character segmentation
CN112598865B (zh) 一种电缆线路防外力破坏的监控方法及***
CN114067244A (zh) 一种安全作业违规行为视频分析方法及***
CN116310922A (zh) 石化厂区监控视频风险识别方法、***、电子设备及存储介质
CN117114420A (zh) 一种基于图像识别的工贸安全事故风险管控***和方法
CN111178198B (zh) 一种基于机器视觉的实验室危险品安全隐患自动监测方法
CN116229396B (zh) 高速路面病害识别及告警方法
CN112861701B (zh) 违章停车识别方法、装置、电子设备以及计算机可读介质
CN115311458A (zh) 基于多任务学习的实时高速公路行人闯入事件检测方法
KR102435435B1 (ko) 인공지능 기반 차량번호 및 보행자 검색 시스템 및 방법
CN114463755A (zh) 基于高精度地图采集图片中敏感信息自动检测脱敏方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant