CN116311029B - 基于大数据的施工作业违章识别***及方法 - Google Patents

基于大数据的施工作业违章识别***及方法 Download PDF

Info

Publication number
CN116311029B
CN116311029B CN202310055287.7A CN202310055287A CN116311029B CN 116311029 B CN116311029 B CN 116311029B CN 202310055287 A CN202310055287 A CN 202310055287A CN 116311029 B CN116311029 B CN 116311029B
Authority
CN
China
Prior art keywords
view angle
distance
matching
view
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310055287.7A
Other languages
English (en)
Other versions
CN116311029A (zh
Inventor
王宏韬
马杏可
冯振源
富俐玥
宣建峰
董丽艳
蔺李凯
杨钱江
刘正中
钟宏伟
赵旭州
李嘉源
孙莹
王超超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Hengguang Power Construction Co ltd Nanhu Branch
Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Jiaxing Hengguang Power Construction Co ltd Nanhu Branch
Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Hengguang Power Construction Co ltd Nanhu Branch, Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Jiaxing Hengguang Power Construction Co ltd Nanhu Branch
Priority to CN202310055287.7A priority Critical patent/CN116311029B/zh
Publication of CN116311029A publication Critical patent/CN116311029A/zh
Application granted granted Critical
Publication of CN116311029B publication Critical patent/CN116311029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,具体涉及基于大数据的施工作业违章识别***及方法,包括:根据每个视角图像的视角距离进行匹配得到所有节点对和节点对的最佳匹配关系;根据每个时刻的最小视角距离以及节点对的最佳匹配关系相邻时刻的匹配视角距离,并获得每个时刻的第一、第二视角距离序列,进而获得每个时刻的最终变化值以及异常值,根据异常值进行违章识别。本发明个视角下视角距离的匹配和视角距离的差异获得异常值,保证安全帽佩戴不规范行为识别的准确性,达到实时准确警示的目的。

Description

基于大数据的施工作业违章识别***及方法
技术领域
本发明涉及图像处理技术领域,具体涉及基于大数据的施工作业违章识别***及方法。
背景技术
在变电站需要工人进行巡检或施工维护,为了保证工人的安全,现有的规章制度要求工人必须佩戴安全帽,如果安全帽没有佩戴好,出现松动则会被判定为违章行为,会影响工人的安全,需要对这种行为进行识别和警示。
现有方法对施工作业中的工作人员安全帽佩戴是否规范的问题往往采取训练神经网络的方法进行违章行为的识别,但是变电站工作现场环境复杂,神经网络一方面训练需要大量的标签数据,另一方面泛化性取决于训练数据质量,局限性较大。而利用简单的图像处理的一些识别技术,如连通域分析的方法,由于受到视角的干扰和工人头部自身的运动的影响,导致这种违章行为识别的不准确,导致错误警报。
发明内容
本发明提供基于大数据的施工作业违章识别***及方法,以解决现有的问题。
本发明的基于大数据的施工作业违章识别***及方法采用如下技术方案:
一方面,本发明一个实施例提供了基于大数据的施工作业违章识别方法,该方法包括以下步骤:
获取每个时刻的原图像以及原图像的所有视角图像,获取每个视角图像的视角距离,根据所有视角图像的视角距离获得所有视角距离对,分别将相邻两个时刻的所有视角距离对作为节点;
计算相邻两个时刻间任意两个节点的边值,包括:
将任意两个节点包含的所有视角距离进行两两匹配得到所有匹配关系,根据每种匹配关系中相邻时刻的两个视角距离的差异获得每种匹配关系的匹配值,所有匹配关系的最小匹配值作为任意两个节点的边值,并将最小匹配值对应的匹配关系作为任意两个节点构成的节点对的最佳匹配关系;
根据相邻时刻所有节点之间的边值进行节点匹配得到所有节点对;
获取每个时刻的最小视角距离,根据每个时刻的最小视角距离获得相邻时刻的匹配视角距离,包括:获取每个时刻的最小视角距离所属的视角距离对,获取所属的视角距离对对应的节点,获取所述对应的节点所属的节点对,根据所属的节点对的最佳匹配关系以及每个时刻的最小视角距离得到相邻时刻的匹配视角距离;
根据相邻时刻的匹配视角距离获得每个时刻的第一视角距离序列,所述第一视角距离序列中每个视角距离在视角距离对中对应的另一个视角距离构成每个时刻的第二视角距离序列,根据每个时刻的第一视角距离序列和第二视角距离序列中元素的差异获得每个时刻的最终变化值,所有时刻的最终变化值的均值记为异常值,根据异常值进行违章识别。
进一步地,所述获取每个视角图像的视角距离,包括的具体步骤如下:
获取每个视角图像中每个工人头部的矩形识别框,将所述矩形识别框区域作为掩膜对视角图像进行提取,得到头部区域图像,将头部区域的RGB图像转化到HSI空间,预先得到安全帽的色调值的区间范围,获得HSI空间中色调值属于区间范围的安全帽区域,分别获取安全帽区域中所有像素点与矩形识别框的底部边线的欧式距离,将最小欧式距离作为每个视角图像的视角距离。
进一步地,所述根据所有视角图像的视角距离获得所有视角距离对,包括的具体步骤
如下:
如果任意两个视角图像对应的两个视角角度值之和等于180度,则将所述两个视角称之为视角对,所述视角对中每个视角图像对应一个视角距离,将视角对中的两个视角距离称之为视角距离对,获得所有的视角距离对。
进一步地,所述根据每种匹配关系中相邻时刻的两个视角距离的差异获得每种匹配关
系的匹配值,包括的具体步骤如下:
所述每种匹配关系为相邻两个时刻之间两个视角距离对的构成的两组一一对应关系,计算每组一一对应关系中的两个视角距离的差值的绝对值,记为每组一一对应关系的差异,两组一一对应关系的差异求差值并取绝对值,得到的结果作为每种匹配关系的匹配值。
进一步地,所述根据所属的节点对的最佳匹配关系以及每个时刻的最小视角距离得到
相邻时刻的匹配视角距离,包括的具体步骤如下:
所述最佳匹配关系为相邻两个时刻之间两个视角距离对的构成的两组一一对应关系,最小视角距离在其中一组对应关系下对应的视角距离作为相邻时刻的匹配视角距离。
进一步地,所述根据相邻时刻的匹配视角距离获得每个时刻的第一视角距离序列,包括的具体步骤如下:
对于任意第n个时刻,得到第n个时刻相邻的第n+1个时刻和相邻的第n-1个时刻匹配视角距离,再获取第n+1个时刻相邻的第n+2个时刻的匹配视角距离,以及第n-1个时刻相邻的第n-2个时刻的匹配视角距离,以此类推,获得所有时刻的匹配视角距离,将第n个时刻的最小视角距离和所述所有时刻的匹配视角距离构成第n个时刻的第一视角距离序列。
进一步地,所述根据每个时刻的第一视角距离序列和第二视角距离序列中元素的差异
获得每个时刻的最终变化值,包括的具体步骤如下:
对第一视角距离序列中最后一个元素与第一个元素的差值绝对值作为第一视角距离序列的变化值,获得第二视角距离序列的变化值,将第一视角距离序列的变化值和第二视角距离序列的变化值的均值作为每个时刻的最终变化值。
另一方面,本发明实施例提供基于大数据的施工作业违章识别***,该***包括:
数据处理模块、警示模块;所述数据处理模块用于采集数据和处理数据得到是否存在违章,如果存在违章则发送警示信号,警示模块接受到警示信号后进行报警和语音提示;所述数据处理模块中的计算机程序执行基于大数据的施工作业违章识别方法。
本发明的技术方案的有益效果是:
由于单一视角往往无法对工作人员的安全帽佩戴状态进行精准识别,例如:某个工作人员的面部正前方位置为安全帽最低点,当相机位于该工作人员的斜后方时,此时得到的图像无法对该工作人员的安全帽状态进行准确识别,通过多个视角下的图像有助于提高状态识别准确性;由于工作人员行动过程中,安全帽每个时刻的最低点往往是未来时刻中变化最大的区域,例如:某个时刻某个工作人员的面部正前方位置为安全帽最低点,该点变化最大,而在相同时间内面部的左右两侧的变化往往没有该点的变化大,可以参考安全帽正前方为最低点,在工人行动过程中沿着最低点逐渐滑落,滑落过程中最低点的变化值往往大于其它位置的变化值,因此通过对每个时刻的最低点进行时序上的变化的检测,能够有效提高检测速度和灵敏度;由于工作人员在行动过程中头部经常发生转向,即相对于相机来说,每个时刻的当前视角与下一时刻的当前视角不一定拍摄的是安全帽的同一侧,而需要通过时序上的安全帽同一侧的变化进行异常检测,因此需要计算相邻时刻的视角的对应关系;在计算相邻时刻的视角对应关系时,由于越相近的两个视角的图像越相近,匹配过程越容易形成错误匹配,因此通过构造视角对,计算相邻时刻的视角对的对应关系,相当于增加了约束条件,可以使得计算得到的相邻时刻的匹配结果更加接近真实匹配,减少错误匹配,增加匹配精度。保证安全帽佩戴不规范行为识别的准确性,达到实时准确警示的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于大数据的施工作业违章识别方法的步骤流程图;
图2表示相邻两个时刻节点的示意图;
图3表示两个节点的匹配关系示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于大数据的施工作业违章识别***及方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于大数据的施工作业违章识别***及方法的具体方案。
本发明一个实施例提供基于大数据的施工作业违章识别***,该***包括数据处理模块、警示模块。其中数据处理模块用于采集数据和处理数据得到是否存在违章,如果存在违章则发送警示信号,警示模块接受到警示信号后进行报警和语音提示。
数据处理模块中的计算机程序执行基于大数据的施工作业违章识别方法,请参阅图1其示出了基于大数据的施工作业违章识别方法的步骤流程图,该方法包括以下步骤:
步骤S101、获得每个相机在每个时刻的采集的原图像。
需要说明的是,把本实施例目的是对变电站的没有规范佩戴安全帽的工作人员进行检测,因此首先需要采集得到每个时刻的监控图像,包括不同位置的摄像头采集到的不同时刻的海量数据,传输到云端,通过云端对大量的数据进行计算得到异常人员,即没有规范佩戴安全帽的工作人员。
因此在变电站中不同位置安装相机,使得所有相机的视野可以将变电站的所有位置全都覆盖。每个相机每个时刻采集一张RGB图像,称为原图像,所有相机实时采集的原图像传输到云端,并存储在云端大数据平台的数据库中,以便于对每个相机每个时刻采集的原图像进行读取和处理。本实施例以每隔1秒为一个时刻为例进行叙述。
步骤S102、获得每个原图像的所有视角图像,对每个视角图像进行头部检测得到每个视角图像的视角距离。
需要说明的是,如果工人的安全帽没有安全佩戴,例如:安全帽没戴紧,则在工人行动过程中安全帽会逐渐朝着某个方向偏移,即安全帽没有戴正或安全帽上的绳子松动,安全帽会逐渐偏移,较小的偏移角度会逐渐变成较大的偏移角度。由于单一视角下的图像往往只能表示安全帽一个方向的状态,例如:当安全帽向正前方倾斜时,通过右侧的图像只能得到一个倾斜角度,无法准确获得安全帽的倾斜状态,且是否倾斜与视角有关,实际的安全帽倾斜,在某些视角下是检测不到的或者这些视角的灵敏度不高,因此首先通过神经辐射场获得每个时刻多个视角下的图像,从中找到可以表征安全帽倾斜的视角图像,便于进行后续分析。同时,寻找表征视角图像也是为了减少计算量,达到实时的目的,如果对所有视角下图像均进行计算,计算量较大,而工人实地的危险可能随时都会发生,需要一种实时计算方法,及时示警,最大限度保证工人安全。
由于是对安全帽进行检测,但安全帽的状态,即是否没戴正,需要一个参考,以每个目标,即每个工人的头部作为参考。
具体方法为,将每个相机每个时刻采集到的原图像,输入到神经辐射场NeRF中,得到每个原图像的360个视角下的图像,简称为视角图像。所述360个视角分别为在相机所处的水平面上均匀等间隔的选择360个角度,其中相机所在的角度记为0度。每个视角图像用来表示原图像中的场景在不同视角下所呈现出的结果。
将每个视角图像输入到centernet网络对每个工人的头部区域进行识别,获得每个视角图像中每个工人头部的矩形识别框。
获得每个工人的头部矩形识别框后,将所述矩形识别框区域作为掩膜对视角图像进行提取,得到头部区域图像,将头部区域的RGB图像转化到HSI空间,预先得到安全帽的色调值的区间范围,用h表示,获得HSI空间中色调值属于区间范围h的连通域,即为安全帽区域,分别获取安全帽区域中所有像素点与识别框的底部边线的欧式距离,将最小欧式距离作为视角距离。识别框是一个矩形框,识别框的底部边线是矩形框的一个边,在图像坐标系中是指该边的纵坐标均值最小的那条边。
至此得到每个时刻每个视角下的视角图像,每个视角下每个工人对应得到一个视角距离,用于表示每个视角下安全帽的相对位置。
步骤S103、根据每个视角下的视角距离获得视角距离对,对相邻时刻的视角距离对进行匹配得到所有节点对,以及每个节点对的最佳匹配关系。
需要说明的是,上述的每个视角对应一个视角图像,每个视角其实表示一个视角图像的拍摄方位,且对应一个角度值。
另外,安全帽是一个近圆形,对于圆来说,总是存在两个切线斜率相同的点,当工人的安全帽由于行动导致偏移时,一方面往往是朝着一开始的最低点偏移,由于工作人员行动过程中,安全帽每个时刻的最低点往往是未来时刻中变化最大的区域,例如:某个时刻某个工作人员的面部正前方位置为安全帽最低点,该点变化最大,而在相同时间内面部的左右两侧的变化往往没有该点的变化大,可以参考安全帽正前方为最低点,在工人行动过程中沿着最低点逐渐滑落,滑落过程中最低点的变化值往往大于其它位置的变化值,因此通过对最低点进行时序上的变化检测计算异常;另一方面开始的最低点降低的同时,与该点的切率相同的点往往会升高相同高度,体现为视角距离的变化。
如果两个视角的角度值之和等于180度则将这两个视角称之为视角对,视角对中每个视角图像对应一个视角距离,将视角对中的两个视角距离称之为视角距离对。
至此每个时刻对于每个工人得到了若干视角距离对,当工人头部不转动的情况下,不同时刻上得到的视角距离对也不一样。本实施例将任意相邻的两个时刻按照时间先后顺序分别记为t0、t1,例如:t0时刻a1视角的视角距离为9,a2为a1的对称视角,a2视角的视角距离为5,则(9,5)为一个视角距离对;在工人的头部不转动的情况下,t1时刻a1视角的视角距离为11,a2视角的视角距离为3,则(11,3)为一个视角距离对。
需要说明的是,由于工人是在运动的,因此某个时刻的某个视角下的视角图像与下一时刻的该视角下的视角图像不一定是安全帽的同一侧,例如:t0时刻工人是正对相机,获得了正面视角a的图像,t1时刻工人转头,此时视角a下的图像与t0时刻的图像不是安全帽同一侧,因此要通过安全帽同一侧的距离变化对安全帽的不规范佩戴进行识别,首先要得到不同时刻的属于同一个安全帽侧面的图像,即计算不同时刻的第一视角距离对的对应关系。
具体方法为,对于同一个工人,通过相邻时刻的视角距离对的KM匹配计算得到上个时刻所有视角距离对与下个时刻所有视角距离对的对应关系,KM匹配计算过程如图2所示:左侧表示t0时刻的视角距离对作为节点,右侧表示t1时刻,即t0时刻下一个时刻的所有视角对作为节点;
t0时刻的每个节点与t1时刻的每个节点相连,任意两个节点的边值的计算方法为:,以图2中的任意两个节点,节点B和节点D为例,如图3所示,b1、b2为节点B的视角距离对中的两个视角距离,d1、d2为节点D的视角距离对中的两个视角距离,将这四个视角距离进行两两匹配,本实施例中共有两种匹配关系,如图3中的两种匹配关系,每种匹配关系表示相邻两个时刻视角距离的一一对应关系。
如图3中的左侧匹配所示,计算b1与d1的差值绝对值,然后计算b2与d2的差值绝对值,然后计算两个差值绝对值的差值绝对值,得到的结果记为左侧匹配关系的匹配值,通过相同方法进行计算可以得到每种匹配关系的匹配值,将最小匹配值作为图2中节点B和节点D的边值,其中最小匹配值对应的匹配关系记为节点B和节点D的最佳匹配关系,例如图3假设右侧就是最佳匹配关系。
图3中计算差值绝对值是由于:例如:t0时刻a1视角的视角距离为9,a2视角(a2为a1的对称视角)的视角距离为5,则(9,5)为一个视角距离对;在工人的头部不转动的情况下,t1时刻a1视角的视角距离为11,a2视角的视角距离为3,则(11,3)为一个视角距离对;虽然工人头部不可能不动,但通过距离可以得到一个信息:即相邻时刻的同一视角对中两个视角的视角距离变化值是相反相等的,例如:a1视角下从9变成11,增加了2,a2视角下从5变成了3减少了2,两个2的差值为0,因此计算差值绝对值作为图2中任意两个节点之间的边值。
上述考虑到,由于工作人员在行动过程中头部经常发生转向,即相对于相机来说,每个时刻的当前视角与下一时刻的当前视角不一定拍摄的是安全帽的同一侧,而需要通过时序上的安全帽同一侧的变化进行异常检测,因此需要计算相邻时刻的视角的对应关系,如果不计算对应关系,而是对每个时刻的同一视角下的图像作为一个时间变化,计算异常,会使得不存在异常的也被认为是异常,而确实存在异常的可能认为是异常也可能是不异常,即计算结果存在很大误差;在计算相邻时刻的视角对应关系时,由于越相近的两个视角的图像越相近,匹配过程越容易形成错误匹配,因此通过构造视角对,计算相邻时刻的视角对的对应关系,相当于增加了约束条件,可以使得计算得到的相邻时刻的匹配结果更加接近真实匹配,减少错误匹配,增加匹配精度。
在已知图2中每个节点之间的边值后,利用的KM匹配方法将图2中的二分图中的节点进行匹配,采用最小值原则进行匹配,进而可以得到最佳匹配的节点对。
至此相邻两个时刻得到了所有节点对,同时每个节点对对应一个图3所示的最佳匹配关系,例如节点B和节点D获得的一个节点对,图3中右侧的匹配关系就是该节点对的最佳匹配关系。
步骤S104、根据所有节点对以及每个节点对的最佳匹配关系获得异常值。
需要说明的是,由于安全帽在工人行动过程中安全帽会随着头部产生晃动,因此一开始的最低点不一定是每个时刻的最低点,因此不能通过最开始的最低点的时间变化来对安全帽是否佩戴规范进行计算。
接下来以一个工人为例进行叙述,具体方法为,将第一次检测到工人头部识别框的时刻称为开始时刻或第一个时刻;获取第一个时刻下工人在所有的视角图像中最小视角距离,该最小视角距离表示的就是第一个时刻安全帽在所有视角下的最低点;
根据第一个时刻的最小视角距离获得了第二个时刻的匹配视角距离,具体方法为:
获取第一个时刻的最小视角距离所属的视角距离对,获取该视角距离对对应的节点,获取该节点相匹配的节点对,根据该节点对对应的最佳匹配关系获得与第一个时刻的最小视角距离相匹配的另一个视角距离,所述的另一个视角距离就是第二个时刻的匹配视角距离。
例如第一个时刻的最小距离为b1,b1所属的视角距离对对应的节点为B,而与B匹配的节点是D,由于节点B和D构成的节点对的最佳匹配关系是图3中的右侧所示的匹配关系,在这个匹配关系中d2是与b1相匹配的视角距离,因此d2就是第二个时刻匹配视角距离。
然后同理,根据第二个时刻的匹配视角距离获得了第三个时刻的匹配视角距离,具体方法为:获取第二个时刻的匹配视角距离所属的视角距离对,获取该视角距离对对应的节点,获取该节点相匹配的节点对,根据该节点对对应的最佳匹配关系获得与第二个时刻的匹配视角距离相匹配的另一个视角距离,所述的另一个视角距离就是第三个时刻的匹配视角距离。
依次类推,从第一个时刻的最小视角距离依次得到第二个时刻的匹配视角距离、第三个时刻的匹配视角距离、…、当前时刻的匹配视角距离。将第一个时刻的视角距离和其他所有时刻的匹配视角距离构成一个序列,记为第一个时刻的第一视角距离序列,例如[911 13],第一视角距离序列中每个视角距离均对应一个视角距离对,例如第一视角距离序列[9 11 13]分别对应的视角距离对为{(9,5)、(11,3)、(13,1)},将第一视角距离序列中视角距离分别在视角距离对中对应的视角距离构成的序列记为第二视角距离序列,如[5 31]。
至此根据第一个时刻的最小视角距离获得了第一个时刻的第一视角距离序列和第一个时刻的第二视角距离序列。对第一视角距离序列中最后一个元素与第一个元素的差值绝对值作为第一视角距离序列的变化值,同理获得第二视角距离序列的变化值,将第一视角距离序列的变化值和第二视角距离序列的变化值的均值作为第一个时刻的最终变化值。
至此根据第一个时刻的最小视角距离获得了第一个时刻的最终变化值,按照同样的方法可以获得第一个时刻到当前时刻之间所有时刻的最终变化值,这些最终变化值中的最大值作为异常值。
为了叙述清楚,给出任意第n个时刻的最终变化值的获取方法:
获取第n个时刻的最小视角距离,如果存在第n+1个时刻或第n-1个时刻,根据第n个时刻的最小视角距离获取第n+1个时刻的匹配视角距离,以及根据第n个时刻的最小视角距离获取第n-1个时刻的匹配视角距离,然后再获取第n-1个时刻相邻时刻的匹配视角距离,以及第n+1个时刻相邻时刻的匹配视角距离,依次类推,直至获得所有时刻的匹配视角距离,第n个时刻的最小视角距离和所有时刻的匹配视角距离构成第n个时刻的第一视角距离序列和第n个时刻的第二视角距离序列,进而获得第n个时刻的最终变化值。
其中获取第n-1个时刻的匹配视角距离与获取第n+1个时刻的匹配视角距离的方法一样,都是先获得视角距离所属视角距离对对应的节点对,根据节点对的最佳匹配关系获得第n+1个时刻和第n-1个时刻的匹配视角距离。具体过程不再赘述。
不直接通过某个时刻的最小视角距离来计算异常值是由于该种方法计算得到异常值时,往往安全帽已经发生了较大偏移,而工厂场地较为危险,此时警示万一发生危险可能来不及警示,而通过偏移过程中的变化可以在异常较小时及时检测到安全帽的不规范,达到实时警示的目的,万一发生危险,可以及时保护头部,实时性较高。
步骤S105、根据异常值的大小进行识别发送警示信号。
上述获得了每个工人对应的异常值。将得到的异常值与预设阈值K比较,如果存在大于阈值K的异常值,说明识别出了违章行为,即安全帽佩戴不规范问题,发出警示信号。本实施例以K等于矩形识别框高度的百分之10为例进行叙述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.基于大数据的施工作业违章识别方法,其特征在于,该方法包括以下步骤:
获取每个时刻的原图像以及原图像的所有视角图像,获取每个视角图像的视角距离,根据所有视角图像的视角距离获得所有视角距离对,分别将相邻两个时刻的所有视角距离对作为节点;
计算相邻两个时刻间任意两个节点的边值,包括:
将任意两个节点包含的所有视角距离进行两两匹配得到所有匹配关系,根据每种匹配关系中相邻时刻的两个视角距离的差异获得每种匹配关系的匹配值,所有匹配关系的最小匹配值作为任意两个节点的边值,并将最小匹配值对应的匹配关系作为任意两个节点构成的节点对的最佳匹配关系;
根据相邻时刻所有节点之间的边值进行节点匹配得到所有节点对;
获取每个时刻的最小视角距离,根据每个时刻的最小视角距离获得相邻时刻的匹配视角距离,包括:获取每个时刻的最小视角距离所属的视角距离对,获取所属的视角距离对对应的节点,获取所述对应的节点所属的节点对,根据所属的节点对的最佳匹配关系以及每个时刻的最小视角距离得到相邻时刻的匹配视角距离;
根据相邻时刻的匹配视角距离获得每个时刻的第一视角距离序列,所述第一视角距离序列中每个视角距离在视角距离对中对应的另一个视角距离构成每个时刻的第二视角距离序列,根据每个时刻的第一视角距离序列和第二视角距离序列中元素的差异获得每个时刻的最终变化值,所有时刻的最终变化值的均值记为异常值,根据异常值进行违章识别;
其中,获取每个视角图像的视角距离,包括的具体步骤如下:获取每个视角图像中每个工人头部的矩形识别框,将所述矩形识别框区域作为掩膜对视角图像进行提取,得到头部区域图像,将头部区域的RGB图像转化到HSI空间,预先得到安全帽的色调值的区间范围,获得HSI空间中色调值属于区间范围的安全帽区域,分别获取安全帽区域中所有像素点与矩形识别框的底部边线的欧式距离,将最小欧式距离作为每个视角图像的视角距离;
其中,根据所有视角图像的视角距离获得所有视角距离对,包括的具体步骤如下:如果任意两个视角图像对应的两个视角角度值之和等于180度,则将所述两个视角称之为视角对,所述视角对中每个视角图像对应一个视角距离,将视角对中的两个视角距离称之为视角距离对,获得所有的视角距离对。
2.根据权利要求1所述的基于大数据的施工作业违章识别方法,其特征在于,所述根据每种匹配关系中相邻时刻的两个视角距离的差异获得每种匹配关系的匹配值,包括的具体步骤如下:
所述每种匹配关系为相邻两个时刻之间两个视角距离对的构成的两组一一对应关系,
计算每组一一对应关系中的两个视角距离的差值的绝对值,记为每组一一对应关系的差异,两组一一对应关系的差异求差值并取绝对值,得到的结果作为每种匹配关系的匹配值。
3.根据权利要求1所述的基于大数据的施工作业违章识别方法,其特征在于,所述根据所属的节点对的最佳匹配关系以及每个时刻的最小视角距离得到相邻时刻的匹配视角距离,包括的具体步骤如下:
所述最佳匹配关系为相邻两个时刻之间两个视角距离对的构成的两组一一对应关系,
最小视角距离在其中一组对应关系下对应的视角距离作为相邻时刻的匹配视角距离。
4.根据权利要求1所述的基于大数据的施工作业违章识别方法,其特征在于,所述根据相邻时刻的匹配视角距离获得每个时刻的第一视角距离序列,包括的具体步骤如下:
对于任意第n个时刻,得到第n个时刻相邻的第n+1个时刻和相邻的第n-1个时刻匹配视角距离,再获取第n+1个时刻相邻的第n+2个时刻的匹配视角距离,以及第n-1个时刻相邻的第n-2个时刻的匹配视角距离,以此类推,获得所有时刻的匹配视角距离,将第n个时刻的最小视角距离和所述所有时刻的匹配视角距离构成第n个时刻的第一视角距离序列。
5.根据权利要求1所述的基于大数据的施工作业违章识别方法,其特征在于,所述根据每个时刻的第一视角距离序列和第二视角距离序列中元素的差异获得每个时刻的最终变化值,包括的具体步骤如下:
对第一视角距离序列中最后一个元素与第一个元素的差值绝对值作为第一视角距离序列的变化值,同理获得第二视角距离序列的变化值,将第一视角距离序列的变化值和第二视角距离序列的变化值的均值作为每个时刻的最终变化值。
6.基于大数据的施工作业违章识别***,其特征在于,该***包括:
数据处理模块、警示模块;所述数据处理模块用于采集数据和处理数据得到是否存在违章,如果存在违章则发送警示信号,警示模块接受到警示信号后进行报警和语音提示;所述数据处理模块中的计算机程序执行权利要求1-5的任一方法。
CN202310055287.7A 2023-02-04 2023-02-04 基于大数据的施工作业违章识别***及方法 Active CN116311029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310055287.7A CN116311029B (zh) 2023-02-04 2023-02-04 基于大数据的施工作业违章识别***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310055287.7A CN116311029B (zh) 2023-02-04 2023-02-04 基于大数据的施工作业违章识别***及方法

Publications (2)

Publication Number Publication Date
CN116311029A CN116311029A (zh) 2023-06-23
CN116311029B true CN116311029B (zh) 2023-10-13

Family

ID=86802202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310055287.7A Active CN116311029B (zh) 2023-02-04 2023-02-04 基于大数据的施工作业违章识别***及方法

Country Status (1)

Country Link
CN (1) CN116311029B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158033A (ja) * 2016-03-01 2017-09-07 住友重機械工業株式会社 作業機械用周辺監視システム
CN108304831A (zh) * 2018-03-15 2018-07-20 广东工业大学 一种监测工人安全帽佩戴的方法及装置
CN110680040A (zh) * 2019-09-29 2020-01-14 安徽创世科技股份有限公司 一种电力安全帽检测方法及其装置
CN112839200A (zh) * 2020-12-25 2021-05-25 朗坤智慧科技股份有限公司 基于5g技术的电厂违章行为识别方法、***和网络服务端
CN115375287A (zh) * 2022-10-21 2022-11-22 安徽博诺思信息科技有限公司 一种电网运维作业违章行为监测预警管理***
CN115471911A (zh) * 2022-09-15 2022-12-13 国网江苏省电力有限公司苏州供电分公司 一种电网作业现场违章动作识别方法和***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158033A (ja) * 2016-03-01 2017-09-07 住友重機械工業株式会社 作業機械用周辺監視システム
CN108304831A (zh) * 2018-03-15 2018-07-20 广东工业大学 一种监测工人安全帽佩戴的方法及装置
CN110680040A (zh) * 2019-09-29 2020-01-14 安徽创世科技股份有限公司 一种电力安全帽检测方法及其装置
CN112839200A (zh) * 2020-12-25 2021-05-25 朗坤智慧科技股份有限公司 基于5g技术的电厂违章行为识别方法、***和网络服务端
CN115471911A (zh) * 2022-09-15 2022-12-13 国网江苏省电力有限公司苏州供电分公司 一种电网作业现场违章动作识别方法和***
CN115375287A (zh) * 2022-10-21 2022-11-22 安徽博诺思信息科技有限公司 一种电网运维作业违章行为监测预警管理***

Also Published As

Publication number Publication date
CN116311029A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN110865418B (zh) 污水违规排放监测方法、装置及计算机可读存储介质
CN115171361B (zh) 一种基于计算机视觉的危险行为智能检测预警方法
CN113076899B (zh) 一种基于目标跟踪算法的高压输电线路异物检测方法
CN117037406A (zh) 一种森林火灾智能化监控和预警***
CN110597165B (zh) 一种堆钢监测***及堆钢监测方法
CN116311029B (zh) 基于大数据的施工作业违章识别***及方法
CN113778091A (zh) 一种风电场升压站设备巡检方法
CN113408338A (zh) 一种矿工异常行为监测方法、装置及***
CN112351247A (zh) 一种基于图像处理的水电厂内电光闪光检测方法
CN116189089A (zh) 智能视频监控方法及***
CN116311034A (zh) 一种基于对比检测的机器人巡检***
CN113516091B (zh) 一种识别变电站电火花图像的方法
CN115346170A (zh) 一种燃气设施区域的智能监控方法及装置
CN115496931B (zh) 一种工业机器人健康监测方法及***
RU2743886C1 (ru) Система и способ автоматической настройки комплекса технического зрения
CN115082865B (zh) 基于视觉图像识别的桥机入侵危险行为预警方法及***
CN117474983B (zh) 一种基于光视联动的预警方法以及相关装置
CN116523321B (zh) 一种基于云平台的智能头盔安防管控***
CN113569637B (zh) 一种基于物联网的人员轨迹定位监管***
KR102244683B1 (ko) 어레이 온도센서를 활용한 열화 진단 장치 및 그 방법
CN117292242A (zh) 基于改进YOLOv7算法的输电线路鸟类检测方法
CN118229037A (zh) 一种基于物理模型的高速违法监控设施管理方法及***
CN118101899A (zh) 一种安防监控存储信息智能分析管理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant