CN112528860A - 基于图像识别的安全工器具管理方法及*** - Google Patents

基于图像识别的安全工器具管理方法及*** Download PDF

Info

Publication number
CN112528860A
CN112528860A CN202011460022.8A CN202011460022A CN112528860A CN 112528860 A CN112528860 A CN 112528860A CN 202011460022 A CN202011460022 A CN 202011460022A CN 112528860 A CN112528860 A CN 112528860A
Authority
CN
China
Prior art keywords
safety
tool
recognition
returning
tools
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011460022.8A
Other languages
English (en)
Inventor
汪立锋
曹江华
侯北平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huadian Equipment Inspection Institute
Original Assignee
Zhejiang Huadian Equipment Inspection Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huadian Equipment Inspection Institute filed Critical Zhejiang Huadian Equipment Inspection Institute
Priority to CN202011460022.8A priority Critical patent/CN112528860A/zh
Publication of CN112528860A publication Critical patent/CN112528860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像识别的安全工器具管理方法和***，包括：用户进行身份识别，登录***；选择取用操作命令/归还操作命令；对需要取用/归还的安全工器具进行图像采集；根据采集的图像，进行安全工器具的识别；识别完成后，输出识别结果，发出是否确认取用/归还的指令：当收到确认取用/归还的指令后，生成取用记录/归还记录；如果取消取用/归还指令，或者识别失败，则返回步骤。用户通过操控***客户端，实现安全工器具的智能化、信息化管理；利用该方法，还可以对工器具使用后的安全情况做出准确性判断，避免人工检查受主观因素和外界环境影响带来的误判，降低不安全工器具存在的可能性，保障工人的生命安全。

Description

基于图像识别的安全工器具管理方法及***
技术领域
本发明属于机器视觉中的图像识别和工器具管理技术领域，具体涉及一种基于图像识别的安全工器具管理方法及***。
背景技术
安全是一切电力生产工作的基础，没有安全，一切都无从谈起。人身安全更是安全生产的核心部分。安全工器具的正确管理与维护，是确保人身安全的最重要的手段之一。如果工器具的管理不规范，将会造成财产损失和人员伤亡。
目前，电力生产企业管理安全工器具的主要方法中人为管理比较多，通过设立专门库管人员进行管理或者采取工人自主管理的方式。人为管理费时费力，容易出现遗漏和错误登记的情况，难以保证工器具取用与归还的稳定性；而且安全工器具经使用后，难免会存在毁坏或破损的情况，如果上一任使用者未及时反馈使用情况，或管理人员未及时发现不安全的工器具，将会对下一位使用者造成安全隐患。
随着计算机信息技术的不断发展，图像识别这一技术在各个领域中的应用也越发的广泛和普及，甚至已经逐渐开始渗入到我们日常生活中，应当充分利用图像识别技术，解放劳动力，提供工作效率，解决实际问题。
发明内容
基于此，本发明的主要目的在于，提供一种基于图像识别的安全工器具管理方法及其***，旨在解决电力生产企业对于安全工器具管理不规范以及人工管理方式效率低的问题。
为解决上述技术问题，本发明提供的技术方案如下：
一种基于图像识别的安全工器具管理方法，包括如下步骤：
(1)用户进行身份识别，登录***；
(2)选择取用操作命令或者归还操作命令；
(3)对需要取用或归还的安全工器具进行图像采集；
(4)根据采集的图像，进行安全工器具的识别；
(5)识别完成后，输出识别结果，发出是否确认取用或归还的指令：当收到确认取用或归还的指令后，生成取用记录或归还记录；如果取消取用或归还指令，或者识别失败，则返回步骤(2)。
相关人员或用户首先通过客户端发送登录指令，经身份识别验证通过后登录***。所述客户端，一般为设置在设定位置的计算机，且一般带有显示功能的显示器，以实现人机交互。客户端收到人员登录请求后，会对人员的身份进行识别，比如可以通过面部特征或者指纹特征等进行特征识别，然后与预存的特征进行比对。面部特征可以通过设置的摄像机获取的面部图像进行提取。指纹特征可以通过现有的指纹读取器进行特征的图像的采集，然后进行特征的提取和识别。这些操作也可以在另设的服务器中完成。
本发明可以同时结合使用到位传感器(比如位移传感器、红外传感器等)，在收到用户确认归还的指令后，结合传感器的信号，进一步判断安全工器具是否归还到指定位置。如果没有成功归还到指定位置，则显示归还不成功的指令，提示用户重新进行归还操作。如果成功归还至指定位置。则给出归还成功的提示，同时生成归还记录，并上传到服务器保存。
本发明中，采用工业摄像机实现安全工器具的图像采集和人脸的图像采集等。为了保证图像采集质量，可以将待取用或者待归还安全工器具置于设定的位置，保证图像采集质量和效率。比如，在安全工器具存储室内特定位置安装摄像头，捕获人脸图像和安全工器具的图像。
客户端将工人和所述安全工器具的基本信息传输到云端服务器，将工人的人脸库、工器具的特征库和工器具的安全性检测库部署到服务器(优选可以采用云服务器)上。这样，既可以方便客户端的随时调取，也可以提高识别或者计算效率。
在进行身份识别或者安全工器具的识别时，一般直接对采集的人脸图像或安全工器具图像进行特征提取，然后将提取得到的特征与预存在服务器上的工人的人脸库或工器具的特征库进行对比，获得识别结果。
在取用安全工器具时，可以同时对多个安全工器具进行图像采集，对多个安全工器具同时进行识别和取用；在归还安全工器具时，需要逐个进行安全工器具的图像采集，逐个对待归还安全工器具进行识别和归还。
当取用所述安全工器具时，工人到安全工器具存储区选取需要的工器具，并将其放到指定的位置，工人通过识别人脸验证身份登陆***；进一步地，摄像机检测到安全工器具后，对放置工器具的位置区域进行拍照并上传至云服务器，识别出取用的工器具，对于需要进行安全性检测的工器具，同时提供安全率结果，可以让用户参考该工器具的安全率进行选择，待工人输入确认取用操作指令后，将生成的取用记录传输到云端服务器，若工人输入取消操作指令，将重新进行该步骤。
当归还所述安全工器具时，将需要归还的工器具放到指定的位置，并逐件进行归还操作，识别出归还的工器具，对于需要进行安全性检测的工器具，输出识别结果的同时，更新该工器具的安全率，并生成归还记录，待工人输入确认归还操作指令后，将生成的归还记录传输到云端服务器；若工人输入取消操作指令，将重新进行该步骤；
进一步地，归还操作时，更新该安全工器具的安全率的方法如下：
S＝aSA+bSP+cSF
其中：SA为安全工器具的外观完整性；SP为安全工器具的周期性检测期限临近参数；SF为安全工器具的使用频率；a、b、c为对应的权重系数，且a＞b＞c；所述安全率可以为S，或者是S经过简单的等价换算得到其他表示形式的数据，比如百分比，0～1之间的数值或者0～100之间的数值等等。a、b、c比值为：(5～7):(2～4):1。
为了表示方便，比如可以将安全工器具的外观完整性、周期性检测期限临近参数、使用频率分别赋予0～100分的数值表示。a+b+c＝1，这样得到的S的为0～100的数值，然后可以直接将该数值与设定阈值进行比较。
当工器具安全性检测结果处于不合格状态，或工器具的已超出使用年薪，或得出的安全率结果低于设定阈值时，向管理员发出处理请求。对于未及时处理的安全工器具，向工人发出禁止借用警告。阈值的设定一般可以根据经验设定，针对不同的工器具，其对应的使用场合不同，安全性要求也不同，则阈值设置的大小也不同。
本发明进行人脸识别或者对安全工器具进行识别时，可以采用现有的图像识别技术，比如包括：图像获取、图像预处理、图像分割(或者目标图像感兴趣区域提取)、目标特征提取、与预加载特征库进行对比、得出对比结果等。
归还操作时，对于需要进行安全性检测的安全工器具，在识别完成后，自动进行安全率检测环节；安全率检测环节可以采用深度学习模型进行识别。
作为优选，所述深度学习模型采用如下方法构建得到：
(1)采集不同磨损程度或不同磨损类型的安全工器具图像，并对图像进行预处理，构建训练样本集；
(2)对训练样本集中的图像按照磨损程度进行分类，并标记图像对应的分类标签；
(3)利用训练样本集以及对应的分类标签信息，对构建的深度学习模型进行训练，获得模型的最优参数。
本发明中，图像预处理包括但是不限于图像灰度化、图像去噪、二值化处理、形态学处理等一系列预处理操作中的一种或多种。
本发明中，所述深度学习模型可以采用VGG16深度卷积神经网络。训练阶段，直接采用训练样本集预训练模型迁移，通过卷积网络提取工器具的空间特征，然后修改网络的全连接层，使其符合对应的工器具标签分类要求，训练完模型后，得到模型的最佳运行参数。然后将需要判断的工器具图像放入训练好的模型中，预测对应的标签分类，进而输出其属于哪种磨损。
基于同一发明构思，本发明的另一方面，提供了一种基于图像识别的安全工器具管理***，该***包括：
摄像机：对用户人脸或者需要取用或归还的安全工器具进行图像采集，并将图像发送给客户端；
客户端：接收用户指令；将采集的图像上传至服务器；显示安全工器具识别结果；
服务器：对接收的图像进行处理，完成人脸识别或者安全工器具的识别，并将识别结果传送给客户端；生成取用记录或归还记录，以及计算工器具安全率。
作为优选，所述服务器根据客户端的指令，向客户端发送安全工器具的取用记录、归还记录和安全率结果。
本发明的服务器中，部署人脸库特征库、工器具特征库和工器具安全检测库，并处理人脸识别工器具识别、工器具安全性检测，以及存储所述工人(用户)和安全工器具的基本信息和历史记录，同时接收客户端的调用指令；
本发明的客户端，通过人脸识别功能辨别使用人员的身份，进入到所述客户端的操作界面；完成人机交互操作。***管理人员登录后可以查看安全工器具的使用记录和安全率结果。工人登录***后可以取用和归还安全工器具，也可以手动记录工器具的使用情况，如绝缘部分有无裂纹、老化、漆皮脱落，固定连接部分有无松动、锈蚀、断裂等现象；
本发明的基于图像识别的安全工器具管理方法及其***，使用人员通过操控***客户端，实现安全工器具的智能化、信息化管理，使用人员无需丰富的工作经验，只需简单的软件操作，即可无差错完成将安全工器具的使用情况详细记录下来，提高工器具取用和归还的稳定性；利用这种智能化安全工器具管理方法，还可以对工器具使用后的安全情况做出准确性判断，避免人工检查受主观因素和外界环境影响带来的误判，降低不安全工器具存在的可能性，保障工人的生命安全。
附图说明
图1为本发明提供的一种基于图像识别的安全工器具管理方法流程框图。
图2为本发明提供的一种基于深度学习模型检测工器具安全性的流程框图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示，一种基于图像识别的安全工器具管理方法，包括取用或/和归还步骤：
本发明的安全工器具管理方法可以仅仅包括取用操作步骤，也可以紧急包括归还操作步骤，也可以既包括取用操作步骤又同时包括归还操作步骤。本实施例中，以同时包括安全工器具取用操作步骤和归还操作步骤的管理方法进行说明。
一种安全工器具管理方法主要包括：
(1)用户登录***并进行身份识别；
(2)选择取用操作命令或者归还操作命令；
(3)对需要取用或归还的安全工器具进行图像采集；
(4)根据采集的图像，进行安全工器具的识别；
(5)识别完成后，输出识别结果，发出是否确认取用或归还的指令：当收到确认取用或归还的指令后，生成取用记录或归还记录；如果取消取用或归还指令，或者识别失败，则返回步骤(2)。
具体讲，当用户需要取用安全工器具时，通过客户端发送登录指令，经身份识别验证通过后登录***，首先选择取用操作命令，然后采集待取用的安全工器具的图像，进行工器具的识别；识别完成后，输出识别结果，发出是否确认取用的指令：当收到确认取用的指令后，生成取用记录；如果取消取用指令，或者识别失败，则返回步骤(2)；
当用户需要归还安全工器具时，登录***后，首先选择归还操作命令，然后采集待取用的安全工器具的图像，进行工器具的识别；识别完成后，输出识别结果，发出是否确认归还的指令：当收到确认归还的指令后，生成归还记录；如果取消归还指令，或者识别失败，则返回步骤(2)。
上述安全工器具管理方法可以通过具有人机交互功能(显示器)的单独设置的工业计算机完成。也可以通过远程服务器和客户端联合完成，此时客户端主要用于人机交互、图像采集、结果输出等。人脸识别、工器具识别等可以在服务器中完成，这样可以大大提高运行效率。同时大大降低了对客户端的要求。本发明以服务器和客户端联合的***进行说明。所述服务器可以为常见的公共服务器或者企业自己提供的服务器。本发明以云服务器为例进行说明。
首先预先在安全工器具存储室内特定位置安装摄像头，用于捕获人脸图像或安全工器具的图像；
用户(一般是特定的工人或技术人员等)在进行取用或归还步骤时，需要首先在客户端进行用户登录操作，在用户登录时，需要对用户身份进行识别。本实施例中，采用人脸识别方法进行用户身份识别。进行用户身份识别时，首先通过摄像头获取用户人脸图像，然后将人脸图像上传到服务器，服务器对用户的人脸特征进行提取，将提取得到的人脸特征与云服务器上预先加载的人脸特征库进行比对，完成用户身份的识别；
若用户需要取用安全工器具，则：
(1-1)客户端上用户选择取用操作命令；
(1-2)用户将待取用安全工器具置于指定位置，客户端输出指令，摄像头采集待取用安全工器具图像，这里的安全工器具可以是多种也可以是单个安全工器具；
(1-3)客户端将得到的安全工器具图像传输给服务器，在服务器中进行工器具图像的特征提取，然后将提取得到的特征与云服务器上预先加载的工器具特征库进行比对，完成安全工器具的识别，向客户端输出识别结果；
(1-4)客户端接收到识别结果后，发出是否确认取用的指令：当收到确认取用或归还的指令后，生成取用记录，并上传到服务器保存；如果取消取用指令，或者识别失败，则返回步骤(1-2)重新进行图像的采集、识别等。
对于需要进行安全性检测的工器具，预先在该工器具上加工编号，在进行工器具识别的同时识别出其对应的编号，并同时调用该编号对应的安全率信息，并将该安全率数据传送给客户端，与识别结果同时显示，供用户参考如图2所示。若用户需要归还安全工器具，则：
(2-1)客户端上用户选择归还操作命令；
(2-2)用户将待归还安全工器具置于指定位置，客户端输出指令，摄像头采集待归还工器具图像，这里的安全工器具需要进行逐一归还；
(2-3)客户端将得到的安全工器具图像传输给服务器，在服务器中进行工器具图像的特征提取，然后将提取得到的特征与云服务器上预先加载的工器具特征库进行比对，完成安全工器具的识别，向客户端输出识别结果；
(2-4)客户端接收到识别结果后，发出是否确认归还的指令：当收到确认归还的指令后，生成归还记录，并上传到服务器保存；如果取消归还指令，或者识别失败，则返回步骤(2-2)重新进行图像的采集、识别等。
对于使用后需要进行安全性检测的这类工器具，如安全帽，绝缘手套，绝缘靴等，识别工器具后给出其最新的安全率，实际检测时对于需要进行安全性检测的工器具，识别出其对应的编号后，直接进入安全性检测步骤：
即利用构建好的深度学习模型对需要进行安全性检测的工器具的外观完整性进行检测，同时综合考虑该工器具当前的周期性检测期限临近参数和使用频率，得出安全率结果。具体讲，更新该工器具的安全率的方法如下：
S＝aSA+bSP+cSF
其中：SA为安全工器具的外观完整性；SP为安全工器具的周期性检测期限临近参数；SF为安全工器具的使用频率；a、b、c为对应的权重系数，且a＞b＞c；所述安全率可以为S，或者是S经过简单的等价换算得到其他表示形式的数据；本实施例中，a＝0.6，b＝0.3，c＝0.1；
对于安全工器具的外观完整性、周期性检测期限临近参数、使用频率等均为0～100的数值。其中外观完整性结果在每次归还时由***构建的深度学习模型直接获得。周期性检测期限临近参数可以由相关人员手工录入，也可以直接通过***编程进行自动生成；比如，一个安全帽，最初管理员设定初始值的时候，由于它符合国家标准，我们设定为100分，假设检查周期为360天，所以，每过1天，我们就减0.27分，以此来加入安全率计算。至于使用频率，同样如此，即可人工输入，也可以***自动生成，比如可以根据使用次数，设定不同的份数。之所以这样做，全部来源于我们的假设，频繁的使用，降低了工器具的安全性能。使用频率可以在每次归还时，进行叠加计算，并进行更新。周期性检测期限临近参数、使用频率等原始结果不是0～100内的数据时，可以通过现有的简单的换算，将周期性检测期限临近参数、使用频率转化为100内的数值。
这样得到的安全率为0～100的数值，可以根据不同安全工器具的使用要求，安全性要求等赋予其特定的阈值，当得出的安全率结果低于设定阈值时，向管理员发出处理请求，以保证安全工器具的使用安全性。
本实施例以安全帽为例进行补充说明，但不仅仅限制于安全帽，绝缘手套、绝缘靴同样可以这样进行检测。由于安全帽的外观不足以保证安全帽的正常使用，这只是现实生活中，我们能够做到的最直接的判断方式，安全帽能否继续使用还与一些其他的性能检测有关，如基本性能和特殊性能检验(安全帽标准)，所以本发明在计算安全率时，同时考虑了周期性检测期限临近参数和使用频率等信息，进一步提高判断的准确性。
比如,a、b、c比例为6:3:1,假设安全帽完好未被使用,但过了周期性检测周期日期，则周期性检测期限临近参数为0，三个关键参数的取值为(100,0,100),可直接给出禁止借用警告。同样，对于外观完整性检测结果性达不到要求的也可直接给出禁止借用警告。如果计算得到的安全率低于设定的安全阈值(不同的安全工器具可以设置不同的阈值，如安全帽这类要求高的可以设置为80％，绝缘靴这类可以设置为70％等)。此时认为该安全帽安全率不够，需要管理人员进行及时处理。
所述深度学习模型采用如下方法构建得到：
(1)采集不同磨损程度或不同磨损类型的安全工器具图像，并对图像进行预处理，构建训练样本集；
(2)对训练样本集中的图像按照磨损程度进行分类，并标记图像对应的分类标签；
(3)利用训练样本集以及对应的分类标签信息，对构建的深度学习模型进行训练，获得模型的最优参数。
同样以安全帽为例，实际实验时，收集安全帽图片素材并进行分类整理，这里的分类是人工分类，根据安全帽外观磨损程度分为四类：1，完整且无划痕；2，完整有轻微划痕(划痕少)；3.完整有严重划痕(划痕多)；4不完整(有残缺)；根据这四类，我们给出分数段，1-100；2-90；3-70；4-50；四类安全帽,每类包含500张图片,并标注分类标签；构成训练样本集以及对应的标签数据；
然后，使用现有的VGG16深度卷积神经网络进行模型训练，先采用训练数据集进行学习,通过卷积网络提取安全帽的空间特征,然后修改网络的全连接层,使其符合我们的安全帽完整性分类要求；最终完成模型的训练；即获得模型的最佳参数；
最后，训练完模型后将需要判断的安全帽图片放入训练好的模型中,预测对应的类型。
本实施例中，人脸识别或者安全工器具识别时，可以采用如下步骤所示的方法完成识别：
a.图像获取。将需要取用或归还的安全工器具逐件放到指定的位置，摄像机拍照后并上传至云服务器；或者采集人脸图像后并上传至云服务器；
b.图像预处理。将得到的图像转换为灰度图像、并进行图像去噪、二值化处理，形态学处理等一系列预处理操作；
c.图像分割。将预处理后的图像使用分割方法将目标工器具从图像中分割出来；或者将预处理后的图像使用分割方法将人脸图像从图像中分割出来；
d.人脸、安全工器具识别。对分割处理后的人脸图像、工器具图像进行特征提取，与事先训练好的人脸特征库、工器具特征库进行数据比对，从而识别出用户身份、安全工器具，为了提高识别速度，对人脸特征库、工器具特征库要进行预加载；
同样的，对于具有编号的安全工器具，即使用后需要进行安全性检测的工器具，将提取的特征与事先训练好的工器具安全性检测库进行数据比对，给出工器具的安全性检测结果；
基于同一发明构思，本发明的另一方面，提供了一种基于图像识别的安全工器具管理***，该***包括：
(1)摄像机，实时拍摄工人的人脸图像进行人脸识别和拍摄指定区域的安全工器具图像进行工器具识别；
(2)云服务器，部署人脸库、工器具特征库和工器具安全性检测库，并处理人脸识别、工器具识别、工器具安全性检测，以及存储所述工人和安全工器具的基本信息和历史记录，同时接收客户端地调用指令；
(3)客户端，通过人脸识别功能辨别使用人员的身份，进入到所述客户端的操作界面；
其中，管理人员登录***后可以查看安全工器具的使用记录和安全率结果；
其中，工人登录***后可以取用和归还安全工器具，也可以手动记录工器具的使用情况，如绝缘部分有无裂纹、老化、漆皮脱落，固定连接部分有无松动、锈蚀、断裂等现象；
其中，服务器中，设置有图像识别模块，首先对采集的图像进行预处理，分割出要识别的物体，然后对分割后的图像进行特征提取，与事先训练好的人脸库，工器具的特征库和安全性检测库进行数据比对，获取识别结果；图像识别模块硬件可采用工业控制计算机，核心部分为进行图像识别编写的计算机软件。
其中，服务器中，设置有数值计算模块，根据工器具使用后的安全性检测结果和周期性试验记录结果以及取用次数计算安全率，数据计算模块主要依赖于工业控制计算机、核心部分为编写的计算机软件。
其中，该***支持查询历史记录，输入工人姓名和工作日期，从云端服务器提取工人取用和归还的历史记录，以及各个工器具的安全率，核心部分为编写的计算机软件。

Claims (10)

1.一种基于图像识别的安全工器具管理方法，其特征在于，包括如下步骤：
(1)用户进行身份识别，登录***；
(2)选择取用操作命令/归还操作命令；
(3)对需要取用/归还的安全工器具进行图像采集；
(4)根据采集的图像，进行安全工器具的识别；
(5)识别完成后，输出识别结果，发出是否确认取用/归还的指令：当收到确认取用/归还的指令后，生成取用记录/归还记录；如果取消取用/归还指令，或者识别失败，则返回步骤(2)。
2.根据权利要求1所述的基于图像识别的安全工器具管理方法，其特征在于，在取用安全工器具时，可以同时对多个安全工器具进行图像采集，对多个安全工器具同时进行识别和取用；在归还安全工器具时，需要逐个进行安全工器具的图像采集，逐个对待归还安全工器具进行识别和归还。
3.根据权利要求1所述的基于图像识别的安全工器具管理方法，其特征在于，在取用安全工器具时，对于不需要进行安全性检测的安全工器具，直接输出识别结果，并发出是否确认取用的指令；对于需要进行安全性检测的安全工器具，同时输出识别结果以及安全率结果，并发出是否确认取用的指令。
4.根据权利要求3所述的基于图像识别的安全工器具管理方法，其特征在于，在归还安全工器具时，对于不需要进行安全性检测的安全工器具，直接输出识别结果，并发出是否确认归还的指令；对于需要进行安全性检测的器具，输出识别结果的同时，更新该安全工器具的安全率，并发出是否确认归还的指令。
5.根据权利要求4所述的基于图像识别的安全工器具管理方法，其特征在于，利用构建好的深度学习模型对需要进行安全性检测的安全工器具的外观完整性进行检测，同时综合考虑该安全工器具当前的周期性检测期限临近参数和使用频率，得出安全率结果。
6.根据权利要求5所述的基于图像识别的安全工器具管理方法，其特征在于，更新该安全工器具的安全率的方法如下：
S＝aSA+bSP+c SF
其中：SA为安全工器具的外观完整性；SP为安全工器具的周期性检测期限临近参数；SF为安全工器具的使用频率；a、b、c为对应的权重系数，且a＞b＞c；所述安全率可以为S，或者是S经过简单的等价换算得到其他表示形式的数据；
当得出的安全率结果低于设定阈值时，向管理员发出处理请求。
7.根据权利要求5所述的基于图像识别的安全工器具管理方法，其特征在于，所述深度学习模型采用如下方法构建得到：
(1)采集不同磨损程度或不同磨损类型的安全工器具图像，并对图像进行预处理，构建训练样本集；
(2)对训练样本集中的图像按照磨损程度进行分类，并标记图像对应的分类标签；
(3)利用训练样本集以及对应的分类标签信息，对构建的深度学习模型进行训练，获得模型的最优参数。
8.根据权利要求7所述的基于图像识别的安全工器具管理方法，其特征在于，所述深度学习模型采用VGG16深度卷积神经网络。
9.一种基于图像识别的安全工器具管理***，其特征在于，包括：
摄像机，对用户人脸或者需要取用或归还的安全工器具进行图像采集，并将图像发送给客户端；
客户端：接收用户指令；将接收的图像上传至服务器；显示安全工器具识别结果；
服务器：对接收的图像进行处理，完成人脸识别或者安全工器具的识别，并将识别结果传送给客户端；生成取用或归还记录。
10.根据权利要求9所述的基于图像识别的安全工器具管理***，其特征在于，所述服务器根据客户端的指令，向客户端发送安全工器具的取用记录、归还记录和安全率结果。
CN202011460022.8A 2020-12-11 2020-12-11 基于图像识别的安全工器具管理方法及*** Pending CN112528860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011460022.8A CN112528860A (zh) 2020-12-11 2020-12-11 基于图像识别的安全工器具管理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011460022.8A CN112528860A (zh) 2020-12-11 2020-12-11 基于图像识别的安全工器具管理方法及***

Publications (1)

Publication Number Publication Date
CN112528860A true CN112528860A (zh) 2021-03-19

Family

ID=74999175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011460022.8A Pending CN112528860A (zh) 2020-12-11 2020-12-11 基于图像识别的安全工器具管理方法及***

Country Status (1)

Country Link
CN (1) CN112528860A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037096A (zh) * 2021-10-29 2022-02-11 河南格林循环电子废弃物处置有限公司 一种家电自动识别并标记的装置及其使用方法
CN116168489A (zh) * 2023-02-10 2023-05-26 深圳市智品格科技有限公司 交易物品的自助归还方法、装置、设备及存储介质
CN116663940A (zh) * 2023-08-01 2023-08-29 安徽博诺思信息科技有限公司 变电站安全工器具管理***及管理方法
CN116993274A (zh) * 2023-09-28 2023-11-03 江苏中车数字科技有限公司 车间工具管理方法和***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447856A (zh) * 2016-09-21 2017-02-22 国网江西省电力公司莲花县供电分公司 智能安全工器具柜***及其管理方法
CN107657603A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于智能视觉的工业外观检测方法
CN108830263A (zh) * 2018-08-13 2018-11-16 西安艾锐智能科技有限公司 智能化工具管理***及工具管理柜
CN109255787A (zh) * 2018-10-15 2019-01-22 杭州慧知连科技有限公司 基于深度学习和图像处理技术的丝锭划痕检测***及方法
CN110415214A (zh) * 2019-06-26 2019-11-05 北京迈格威科技有限公司 摄像头模组的外观检测方法、装置、电子设备及存储介质
CN110705662A (zh) * 2019-09-29 2020-01-17 武汉里得电力科技股份有限公司 一种基于图像识别技术的工器具管理***及方法
CN111489113A (zh) * 2020-02-28 2020-08-04 深圳市康拓普信息技术有限公司 一种安全工器具库房管理方法及***
CN111610741A (zh) * 2020-06-05 2020-09-01 上海国泉科技有限公司 一种工器具监管***及方法
CN111720013A (zh) * 2020-05-27 2020-09-29 国网安徽省电力有限公司五河县供电公司 一种安全工器具库房智能门

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447856A (zh) * 2016-09-21 2017-02-22 国网江西省电力公司莲花县供电分公司 智能安全工器具柜***及其管理方法
CN107657603A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于智能视觉的工业外观检测方法
CN108830263A (zh) * 2018-08-13 2018-11-16 西安艾锐智能科技有限公司 智能化工具管理***及工具管理柜
CN109255787A (zh) * 2018-10-15 2019-01-22 杭州慧知连科技有限公司 基于深度学习和图像处理技术的丝锭划痕检测***及方法
CN110415214A (zh) * 2019-06-26 2019-11-05 北京迈格威科技有限公司 摄像头模组的外观检测方法、装置、电子设备及存储介质
CN110705662A (zh) * 2019-09-29 2020-01-17 武汉里得电力科技股份有限公司 一种基于图像识别技术的工器具管理***及方法
CN111489113A (zh) * 2020-02-28 2020-08-04 深圳市康拓普信息技术有限公司 一种安全工器具库房管理方法及***
CN111720013A (zh) * 2020-05-27 2020-09-29 国网安徽省电力有限公司五河县供电公司 一种安全工器具库房智能门
CN111610741A (zh) * 2020-06-05 2020-09-01 上海国泉科技有限公司 一种工器具监管***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯峰等: "电力安全工器具智能管理***的研发及应用", 《宁夏电力》, no. 02, 28 April 2020 (2020-04-28) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037096A (zh) * 2021-10-29 2022-02-11 河南格林循环电子废弃物处置有限公司 一种家电自动识别并标记的装置及其使用方法
CN116168489A (zh) * 2023-02-10 2023-05-26 深圳市智品格科技有限公司 交易物品的自助归还方法、装置、设备及存储介质
CN116663940A (zh) * 2023-08-01 2023-08-29 安徽博诺思信息科技有限公司 变电站安全工器具管理***及管理方法
CN116663940B (zh) * 2023-08-01 2023-10-20 安徽博诺思信息科技有限公司 变电站安全工器具管理***及管理方法
CN116993274A (zh) * 2023-09-28 2023-11-03 江苏中车数字科技有限公司 车间工具管理方法和***
CN116993274B (zh) * 2023-09-28 2023-12-19 江苏中车数字科技有限公司 车间工具管理方法和***

Similar Documents

Publication Publication Date Title
CN112528860A (zh) 基于图像识别的安全工器具管理方法及***
CN111460889A (zh) 一种基于语音及图像特征的异常行为识别方法、装置及设备
CN108319926A (zh) 一种工地现场的安全帽佩戴检测***及检测方法
CN111814775B (zh) 目标对象异常行为识别方法、装置、终端及存储介质
CN111126217A (zh) 基于智能识别的输电线路智能运维管理***
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN115223249A (zh) 一种基于机器视觉的井下人员不安全行为快速分析与识别方法
CN111177468A (zh) 一种基于机器视觉的实验室人员不安全行为安全检查方法
CN117171694B (zh) 一种基于ai技术的配电场景安全识别***
CN117435999A (zh) 一种风险评估方法、装置、设备以及介质
CN112218044A (zh) 一种具有安检人工智能识别功能的分析***及分析方法
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN109841140A (zh) 示教器及其操作方法、计算装置和计算机可读介质
CN206741505U (zh) 识别管理设备和装置
KR102342495B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN114429677A (zh) 一种煤矿场景作业行为安全识别考核方法及***
CN114241400A (zh) 电网***的监控方法及其装置、计算机可读存储介质
CN112686156A (zh) 一种情绪监测方法、装置、计算机设备及可读存储介质
CN116579609B (zh) 一种基于巡检过程中的违规操作分析方法
CN116630752B (zh) 基于ai算法的施工现场目标对象识别方法及装置
CN110135353B (zh) 一种排除事主及相关人现场指掌纹的方法及***
CN114841656B (zh) 基于边缘计算的军用飞机故障检测方法和***
CN112347824A (zh) 佩戴物识别方法、装置、设备及存储介质
CN116740819B (zh) 基于ai算法的施工现场中施工异常行为的识别方法及装置
CN116385975B (zh) 一种基于目标检测的配电房安全监控***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.217 Taizhou Road, gongchenqiao, Hangzhou, Zhejiang, 310015

Applicant after: Zhejiang Huadian Equipment Testing Research Institute Co.,Ltd.

Address before: No.217 Taizhou Road, Gongshu District, Hangzhou City, Zhejiang Province

Applicant before: ZHEJIANG HUADIAN EQUIPMENT TESTING INSTITUTE Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210319