CN111178198B - 一种基于机器视觉的实验室危险品安全隐患自动监测方法 - Google Patents

一种基于机器视觉的实验室危险品安全隐患自动监测方法 Download PDF

Info

Publication number
CN111178198B
CN111178198B CN201911321071.0A CN201911321071A CN111178198B CN 111178198 B CN111178198 B CN 111178198B CN 201911321071 A CN201911321071 A CN 201911321071A CN 111178198 B CN111178198 B CN 111178198B
Authority
CN
China
Prior art keywords
potential safety
laboratory
key frame
image
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911321071.0A
Other languages
English (en)
Other versions
CN111178198A (zh
Inventor
姜周曙
朱立超
凌扶遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911321071.0A priority Critical patent/CN111178198B/zh
Publication of CN111178198A publication Critical patent/CN111178198A/zh
Application granted granted Critical
Publication of CN111178198B publication Critical patent/CN111178198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于机器视觉的实验室物内危险品安全隐患自动监测、识别和预警方法,用于安全隐患排查和整改方法。该方法通过对获取的图像进行物品外观特征提取,再利用物品库训练好的模型去判断该物品是否为危险品。若判断物品为危险品,再通过推理机和状态库一一匹配得出危险品是否具有安全隐患。如果有安全隐患则检索安全库得出安全条款号,人为识别以上判断是否正确,如果正确则下令整改,整改期间,持续监测。如果判断为误,则将本次物品摆放图像数据上传到物品库进行自学习。本发明具有实时,广域,高效,准确的优点。

Description

一种基于机器视觉的实验室危险品安全隐患自动监测方法
技术领域
本发明属于安全工程学科所涉实验室安全技术领域,具体涉及利用机器视觉、图像处理、模式识别和专家***技术,自动监测和识别实验室内危险品的安全隐患的方法。
背景技术
实验室内危险品存放的安全隐患本质上属于物的不安全状态。传统上,安全隐患依靠专业人员在现场或通过远端视频进行识别和监控。专业人员的识别能力取决于其经验积累和能力水平,且难以做到全时、实时、广域、准确和高效。
发明内容
本发明的目的在于提供一种基于机器视觉的实验室内危险品安全隐患自动监测、识别和预警方法,用于安全隐患排查和整改方法。
本发明的步骤如下:
步骤1:建立安全检查标准数据库和两个目标特征知识图库。两个目标特征知识图库分别为标准库和状态库。标准库中含有实验室内危险品的图像;状态库内含有实验室内物品处于不安全状态的图像。
步骤2:采集室内物品的视频流图像,并提取关键帧图像。
步骤3:对关键帧图像进行图像预处理。
步骤4:建立图像识别的算法模型,对关键帧图像进行特征提取,获取关键帧图像内各物品的特征参数;特征参数包括形状、姿态和位置。
步骤5:将经过特征参数提取的各关键帧图像内的物品图像与标准库内的图像进行搜索和比对;根据物品图像的形状,判断关键帧图像中的各物品是否为危险品。
步骤6:将经过特征参数提取的各关键帧图像内的物品图像与状态库内的图像进行搜索和比对;根据物品图像中物品的位置和姿态,判断关键帧图像中的各物品放置的位置或姿态是否处于不安全状态。
步骤7:识别出危险品的安全隐患后,在安全检查标准数据库中检索与安全隐患相对应的不安全项条款号,并输出安全检查标准数据库中记载的安全隐患的内容描述。安全隐患包括实验室中存在不能出现的危险品和实验室中有物品处于不安全状态。
作为优选,所述的安全检查标准数据库内含有经过编号的多个安全不符合项的描述。状态库内的各典型危险品安全隐患的图像与安全检查标准数据库中的安全不符合项条款号及相关内容描述相对应。
作为优选,步骤2中采集室内物品的视频流图像的图像传感器采用电荷耦合元件。
作为优选,所述的视频流图像中,每间隔n帧获取一张关键帧图像;
作为优选,步骤3中的图像预处理包括图像增强、图像分割处理。
作为优选,步骤4中,所述的特征参数还包括颜色信息;步骤五中,物品的形状和颜色共同作为判断依据,判断关键帧图像中的各物品是否为危险品。
作为优选,步骤4中共建立三个算法模型;三个算法模型分别为形状识别算法、颜色识别算法和位置识别算法。形状识别算法,用以对各关键帧图像中各个物体的形状、姿态进行识别;颜色识别算法,用以对各关键帧图像中各个物体的颜色特征参数进行提取。位置识别算法,用以对各关键帧图像中各个物体与环境的相对位置进行识别。
作为优选,所述的形状识别算法采用边界特征法和傅里叶形状描述法;颜色识别算法采用颜色直方图、颜色集、颜色矩或颜色聚合向量算法。位置识别算法采用目标检测算法。
作为优选,步骤7执行后,执行步骤8至10,过程如下:
步骤8:生成包含有序号、不安全项条款号、安全隐患的内容描述和现场照片的安全检查表;现场照片为被检查出安全隐患的关键帧图像;安全检察员根据安全检查表判断识别出的安全隐患是否正确;若安全检察员判断出安全检查表中记载的安全隐患正确,则发布限期整改通知书,并发送给实验室安全相关人员,责令在规定期限内完成隐患整改。
步骤9:整改期限内,对实验室内的危险品安全隐患进行持续监测,直至达到整改要求,使安全检查形成闭环。
步骤10:将实验室内危险品的安全隐患整改情况存储到实验室安全管理***的数据库中。
作为优选,步骤8中,若安全检察员判断出安全检查表中记载的安全隐患不正确;则根据现场照片,通过深度学习对标准库和状态库进行更新。
本发明具有的有益效果是:
1本发明先在图像传感器拍摄的视频中截取关键帧图像,然后再对关键帧图像进行识别判断比对,相对于以往依靠安全人员去检测实验室安全,可以更快的识别出安全隐患,并且做到全天无休,极大的降低实验室危险发生的概率,减少实验室安全检查的成本。
2、本发明运用近似于专家***的一整套流程去实现对实验室安全状况的自动检测,颠覆了以往需要人工去检测实验室安全,从而节省了人力,提高了正确率。
3、本发明依据安全检查表,用图像识别算法对实验室中每个物品的形状、位置、姿态、颜色进行识别;实验室中所有物品均能够被检测到,克服了“人工检测容易因疏忽大意而遗留安全隐患”的缺陷。
4、本发明只要更换数据库,就可以运用在不同的实验室,而不需要专门在其他实验室再重新开始设计。
附图说明
图1为本发明判断实验室危险品安全隐患自动监测方法总流程图。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示,一种基于机器视觉的实验室危险品安全隐患自动监测方法,具体步骤如下:
步骤1:依托实验室安全管理***,根据各种专业实验室的危险品种类和技术安全要求,建立安全检查标准数据库和两个目标特征知识图库。安全检查标准数据库内含有经过编号的多个安全不符合项的描述。两个目标特征知识图库分别为标准库和状态库。标准库中含有实验室内典型危险品的图像;状态库内含有实验室内物品处于不安全状态的图像;状态库内的各典型危险品安全隐患的图像与安全检查标准数据库中的安全不符合项条款号及相关内容描述相对应。
步骤2:用图像传感器采集室内物品的视频流图像,每间隔n帧获取一张关键帧图像,n=20;图像传感器采用电荷耦合元件(即Charge coupled Device,简称CCD)。电荷耦合元件可以获取RGB彩色图像,每一个像素都由红(R)绿(G)蓝(B)三个成分组成,表示RGB色彩空间中的一个点。
步骤3:对各关键帧图像进行图像增强、图像分割处理,划分出关键帧图像中各个物品的图像。
步骤4:建立三个算法模型;三个算法模型分别为形状识别算法、颜色识别算法和位置识别算法。形状识别算法,用以对各关键帧图像中各个物体的形状、姿态进行识别;颜色识别算法,用以对各关键帧图像中各个物体的颜色特征参数进行提取。位置识别算法,用以对各关键帧图像中各个物体与环境的相对位置进行识别。形状识别算法采用边界特征法和傅里叶形状描述法;颜色识别算法采用颜色直方图、颜色集、颜色矩或颜色聚合向量算法。位置识别算法采用目标检测算法。
步骤5:用形状识别算法,颜色识别算法和位置识别算法对各关键帧图像中物品的形状、姿态、位置、颜色进行识别。物品的形状、位置、结构和姿态是图像中的一种高级视觉特征,具有直观性和可解释性,常被用于描述目标物体的性质与信息。
步骤6:将经过特征参数提取的各关键帧图像内的物品图像与标准库内的图像通过推理机进行搜索和比对;根据物品图像的形状和颜色,判断关键帧图像中的各物品是否为危险品;若关键帧图像中存在危险品,则发出警报,并进一步确定是何种危险品;例如:通过图像传感器采集到在实验室内某一位置有气瓶,并通过淡蓝色识别出是氧气瓶(助燃气体)。
步骤7:将经过特征参数提取的各关键帧图像内的物品图像与状态库内的图像通过推理机进行搜索和比对;根据物品图像中物品的位置信息、姿态信息,判断关键帧图像中的各物品放置的位置或姿态是否处于不安全状态;若关键帧图像中有物品处于不安全状态,则发出警报,并进一步确定各危险品处于何种不安全状态;例如:被识别的氧气瓶是否在规定位置、是否有固定装置、固定位置是否合适、周边是否有淡绿色氢气瓶或棕色甲烷气瓶(可燃气体)与之混放。
步骤8:识别出危险品的安全隐患后,在安全检查标准数据库中检索与安全隐患相对应的不安全项条款号,并输出安全检查标准数据库中记载的安全隐患的内容描述。安全隐患包括实验室中存在不能出现的危险品和实验室中有物品处于不安全状态。
步骤9:生成包含有序号、不安全项条款号、安全隐患的内容描述和现场照片的安全检查表;现场照片为被检查出安全隐患的关键帧图像;安全检察员根据安全检查表判断识别出的安全隐患是否正确;若安全检察员判断出安全检查表中记载的安全隐患不正确;则根据现场照片,通过深度学习对标准库和状态库进行更新。若安全检察员判断出安全检查表中记载的安全隐患正确,则发布限期整改通知书,并发送给实验室安全相关人员,责令在规定期限内完成隐患整改。
步骤10:整改期限内,将对实验室内的危险品安全隐患进行持续监测,直至达到整改要求,使安全检查形成闭环。
步骤11:将实验室内危险品的安全隐患整改情况存储到实验室安全管理***的数据库中,使管理人员能够实时掌握实验室内危险品的安全状况。

Claims (8)

1.一种基于机器视觉的实验室危险品安全隐患自动监测方法,其特征在于:步骤1:建立安全检查标准数据库和两个目标特征知识图库;两个目标特征知识图库分别为标准库和状态库;标准库中含有实验室内危险品的图像;状态库内含有实验室内物品处于不安全状态的图像;
步骤2:采集室内物品的视频流图像,并提取关键帧图像;
步骤3:对关键帧图像进行图像预处理;
步骤4:建立图像识别的算法模型,对关键帧图像进行特征提取,获取关键帧图像内各物品的特征参数;特征参数包括形状、姿态和位置;
步骤5:将经过特征参数提取的各关键帧图像内的物品图像与标准库内的图像进行搜索和比对;根据物品图像的形状,判断关键帧图像中的各物品是否为危险品;
步骤6:将经过特征参数提取的各关键帧图像内的物品图像与状态库内的图像进行搜索和比对;根据物品图像中物品的位置和姿态,判断关键帧图像中的各物品放置的位置或姿态是否处于不安全状态;
步骤7:识别出危险品的安全隐患后,在安全检查标准数据库中检索与安全隐患相对应的不安全项条款号,并输出安全检查标准数据库中记载的安全隐患的内容描述;安全隐患包括实验室中存在不能出现的危险品和实验室中有物品处于不安全状态;所述的安全检查标准数据库内含有经过编号的多个安全不符合项的描述;状态库内的各典型危险品安全隐患的图像与安全检查标准数据库中的安全不符合项条款号及相关内容描述相对应;
步骤8:生成包含有序号、不安全项条款号、安全隐患的内容描述和现场照片的安全检查表;现场照片为被检查出安全隐患的关键帧图像;安全检察员根据安全检查表判断识别出的安全隐患是否正确;若安全检察员判断出安全检查表中记载的安全隐患正确,则发布限期整改通知书,并发送给实验室安全相关人员,责令在规定期限内完成隐患整改;
步骤9:整改期限内,对实验室内的危险品安全隐患进行持续监测,直至达到整改要求,使安全检查形成闭环;
步骤10:将实验室内危险品的安全隐患整改情况存储到实验室安全管理***的数据库中。
2.根据权利要求1所述的一种基于机器视觉的实验室危险品安全隐患自动监测方法,其特征在于:步骤2中采集室内物品的视频流图像的图像传感器采用电荷耦合元件。
3.根据权利要求1所述的一种基于机器视觉的实验室危险品安全隐患自动监测方法,其特征在于:所述的视频流图像中,每间隔n帧获取一张关键帧图像。
4.根据权利要求1所述的一种基于机器视觉的实验室危险品安全隐患自动监测方法,其特征在于:步骤3中的图像预处理包括图像增强、图像分割处理。
5.根据权利要求1所述的一种基于机器视觉的实验室危险品安全隐患自动监测方法,其特征在于:步骤4中,所述的特征参数还包括颜色信息;步骤五中,物品的形状和颜色共同作为判断依据,判断关键帧图像中的各物品是否为危险品。
6.根据权利要求1所述的一种基于机器视觉的实验室危险品安全隐患自动监测方法,其特征在于:步骤4中共建立三个算法模型;三个算法模型分别为形状识别算法、颜色识别算法和位置识别算法;形状识别算法,用以对各关键帧图像中各个物体的形状、姿态进行识别;颜色识别算法,用以对各关键帧图像中各个物体的颜色特征参数进行提取;位置识别算法,用以对各关键帧图像中各个物体与环境的相对位置进行识别。
7.根据权利要求6所述的一种基于机器视觉的实验室危险品安全隐患自动监测方法,其特征在于:所述的形状识别算法采用边界特征法和傅里叶形状描述法;颜色识别算法采用颜色直方图、颜色集、颜色矩或颜色聚合向量算法;位置识别算法采用目标检测算法。
8.根据权利要求1所述的一种基于机器视觉的实验室危险品安全隐患自动监测方法,其特征在于:步骤8中,若安全检察员判断出安全检查表中记载的安全隐患不正确;则根据现场照片,通过深度学习对标准库和状态库进行更新。
CN201911321071.0A 2019-12-19 2019-12-19 一种基于机器视觉的实验室危险品安全隐患自动监测方法 Active CN111178198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911321071.0A CN111178198B (zh) 2019-12-19 2019-12-19 一种基于机器视觉的实验室危险品安全隐患自动监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911321071.0A CN111178198B (zh) 2019-12-19 2019-12-19 一种基于机器视觉的实验室危险品安全隐患自动监测方法

Publications (2)

Publication Number Publication Date
CN111178198A CN111178198A (zh) 2020-05-19
CN111178198B true CN111178198B (zh) 2024-02-09

Family

ID=70647333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911321071.0A Active CN111178198B (zh) 2019-12-19 2019-12-19 一种基于机器视觉的实验室危险品安全隐患自动监测方法

Country Status (1)

Country Link
CN (1) CN111178198B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488376A (zh) * 2020-11-25 2021-03-12 航天信息股份有限公司 一种作业现场的安全隐患管控方法及***
CN112881600A (zh) * 2021-01-11 2021-06-01 中南民族大学 实验室危险检测方法、设备、存储介质及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101413811A (zh) * 2008-11-27 2009-04-22 河北工业大学 一种危险品目标自主辨识的方法
CN109074889A (zh) * 2016-02-22 2018-12-21 拉皮斯坎***股份有限公司 用于检测货物中的危险品和违禁品的***和方法
CN110472922A (zh) * 2018-05-09 2019-11-19 洛阳华清天木生物科技有限公司 一种基于智慧实验室安全检查的管理***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2201550B1 (de) * 2007-09-24 2013-03-27 Siemens Aktiengesellschaft Verfahren und vorrichtung zur steuerung von sich durch einen sicherheitskritischen verkehrsbereich eines strassennetzes, insbesondere durch einen strassentunnel, bewegenden verkehrsströmen mit gefahrguttransport-fahrzeugen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101413811A (zh) * 2008-11-27 2009-04-22 河北工业大学 一种危险品目标自主辨识的方法
CN109074889A (zh) * 2016-02-22 2018-12-21 拉皮斯坎***股份有限公司 用于检测货物中的危险品和违禁品的***和方法
CN110472922A (zh) * 2018-05-09 2019-11-19 洛阳华清天木生物科技有限公司 一种基于智慧实验室安全检查的管理***

Also Published As

Publication number Publication date
CN111178198A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111259892B (zh) 一种指示灯状态的巡检方法、装置、设备和介质
CN111949809B (zh) 一种输电线路红外巡检数据智能处理方法
US20190311470A1 (en) Apparel production monitoring system using image recognition
CN110414320B (zh) 一种安全生产监管的方法及***
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及***
CN108416968A (zh) 火灾预警方法和装置
CN108038424B (zh) 一种适用于高空作业的视觉自动化检测方法
CN111178198B (zh) 一种基于机器视觉的实验室危险品安全隐患自动监测方法
CN112088387A (zh) 检测成像物品缺陷的***和方法
CN112927461B (zh) 一种新能源汽车充电桩预警决策方法及装置
CN112712093B (zh) 安检图像识别方法、装置、电子设备及存储介质
CN111310844B (zh) 车辆识别模型构建方法及装置、识别方法及装置
CN111144749A (zh) 电网图像智能标注众包平台及工作方法
CN109001210B (zh) 一种人防门密封胶条老化龟裂检测***及方法
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及***
CN114494103A (zh) 缺陷检测方法及检测装置
CN115393789A (zh) 建筑工地危险区域人群聚集预警方法、***、设备及存储介质
CN112465747A (zh) 一种输电杆塔金具锈蚀的智能识别方法
CN113762115B (zh) 一种基于关键点检测的配网作业人员行为检测方法
CN116110127A (zh) 一种多联动的加油站套现行为识别***
CN116310953A (zh) 一种冷源拦截网的浮筒脱网智能检测方法
CN109858829A (zh) 一种基于区块链的隐患事故预警方法
CN114049543A (zh) 一种基于深度学习的废钢卸料变化区域自动识别方法
CN113609925A (zh) 一种lng装卸作业安全管控***及违规行为识别方法
CN117253176B (zh) 基于视频分析与计算机视觉的安全生产Al智能检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant