CN111428703B - 一种电力运检人员坑洞倚靠行为检测方法 - Google Patents

一种电力运检人员坑洞倚靠行为检测方法 Download PDF

Info

Publication number
CN111428703B
CN111428703B CN202010540073.5A CN202010540073A CN111428703B CN 111428703 B CN111428703 B CN 111428703B CN 202010540073 A CN202010540073 A CN 202010540073A CN 111428703 B CN111428703 B CN 111428703B
Authority
CN
China
Prior art keywords
contour
human body
points
key point
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010540073.5A
Other languages
English (en)
Other versions
CN111428703A (zh
Inventor
苟先太
康立烨
苟瀚文
陶明江
唐鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202010540073.5A priority Critical patent/CN111428703B/zh
Publication of CN111428703A publication Critical patent/CN111428703A/zh
Application granted granted Critical
Publication of CN111428703B publication Critical patent/CN111428703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种电力运检人员坑洞倚靠行为检测方法，包括S1、加载预训练的人体关键点检测模型，采集拍摄原图像中人体的18个关键点；S2、根据检测到的所述18个关键点，构建人体个人特征属性表；S3、对原图像进行双边滤波，确定二值图像阈值T，得到二值图像，并对二值图像进行形态学处理；S4、对二值图像进行轮廓检测，得到轮廓的最小外接矩形的四个坐标点K；S5、根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓；S6、通过人体姿势选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为。

Description

一种电力运检人员坑洞倚靠行为检测方法
技术领域
本发明属于计算机视觉的技术领域，具体涉及一种电力运检人员坑洞倚靠行为检测方法。
背景技术
近年来，我国频发一些电力运检人员安全事件，存在电力运检人员坑洞倚靠行为，除了安全意识薄弱外，安全预警和监测方面也做得不到位。
随着计算机视觉的发展，图像处理技术日渐成熟，且广泛应用于各个领域，带来了巨大的经济效益。对于一般的物体，现有的图像处理技术可以很好的识别出它的轮廓，然后根据轮廓形状进行操作。而变电站坑洞并非一个三维的物体，且受光照和周围环境影响较大，只能通过颜色和形状特征进行识别。因此，传统的图像处理技术不能直接对其进行识别，需要根据坑洞特征设计特定的识别算法。
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种电力运检人员坑洞倚靠行为检测方法，以解决传统的图像处理技术不能直接对变电站坑洞进行识别的问题。
为达到上述目的，本发明采取的技术方案是：
一种电力运检人员坑洞倚靠行为检测方法，其包括：
S1、加载预训练的人体关键点检测模型，采集拍摄原图像中人体的18个关键点；
S2、根据检测到的所述18个关键点，构建人体个人特征属性表；
构建人体个人特征属性表，包括：
S2.1、构建人体关键点列表key_points：
Figure 203274DEST_PATH_IMAGE001
其中，n为关键点的数量，m为检测到的人的数量，[x mn ，y mn ]为第m个人的第n个关键点在图像中的二维坐标，即x mn 为第m个人的第n个关键点在图像中的二维坐标的横坐标值，y mn 为第m个人的第n个关键点在图像中的二维坐标的纵坐标值；
S2.2、遍历所述关键点列表key_points，对每一行分别按x和y排序，得到人体最***的四个关键点列表most_points：
Figure 526939DEST_PATH_IMAGE003
其中，
Figure 41097DEST_PATH_IMAGE004
为第m个人的其中一个关键点在图像中的二维坐标的横坐标值，
Figure 967465DEST_PATH_IMAGE005
为第m个人的其中一个关键点在图像中的二维坐标的纵坐标值；
遍历所述关键点列表most_points，得到人体的近似外接矩形的顶点列表person_rect，顶点列表person_rect的四个顶点坐标为：
Figure 686897DEST_PATH_IMAGE007
其中，m为人的数量，
Figure 40518DEST_PATH_IMAGE008
为关键点位置下标，其值为1、2、3…18；
S2.3、遍历关键点列表most_points，得到人体躯干宽度列表person_length：
Figure 979655DEST_PATH_IMAGE010
；
S2.4、遍历关键点列表key_points对人体姿势pose进行判定；
S2.5、将人体关键点列表key_points、人体的近似外接矩形的顶点列表person_rect、人体躯干宽度列表person_length、人体姿势pose整合成人体特征属性表person；
S3、对原图像进行双边滤波，确定二值图像阈值T，得到二值图像，并对二值图像进行形态学处理；
S4、对二值图像进行轮廓检测，得到轮廓的最小外接矩形的四个坐标点K；
S5、根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓；
S6、通过人体姿势选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为。
优选地，步骤S2.4中遍历关键点列表key_points对人体姿势pose进行判定，包括：
S2.4.1、计算人体的身体比例：
Figure 912976DEST_PATH_IMAGE011
其中，
Figure 113013DEST_PATH_IMAGE012
、
Figure 778481DEST_PATH_IMAGE013
、
Figure 267231DEST_PATH_IMAGE014
分别代表臀部、膝盖、肩膀部的平 均y值，平均y值为臀部、膝盖、肩膀部关键点坐标的纵坐标的平均值；body_rate代表检测到 人体的身体比例；
S2.4.2、判断膝盖是否高于臀部：
Figure 535401DEST_PATH_IMAGE016
其中，opt()代表多选一；
Figure 730890DEST_PATH_IMAGE017
分别代表右臀部、左臀部、右膝盖、左膝盖的y值，y值代表右臀部、左臀部、右膝盖、左膝盖关键点的纵坐标值；
Figure 691893DEST_PATH_IMAGE018
代表臀部关键点的y值与膝盖关键点的y值之差；
S2.4.3、计算人体躯干的角度：
Figure 667939DEST_PATH_IMAGE020
其中，
Figure 862771DEST_PATH_IMAGE021
、
Figure 302980DEST_PATH_IMAGE022
、
Figure 372567DEST_PATH_IMAGE023
、
Figure 508013DEST_PATH_IMAGE024
、
Figure 383565DEST_PATH_IMAGE025
、
Figure 615963DEST_PATH_IMAGE026
分别代表肩部关键点、臀部关键点、膝盖关键点的x和y的均值，x均值为肩部关键点、臀部关键点、膝盖关键点坐标的横坐标的平均值，y均值为肩部关键点、臀部关键点、膝盖关键点坐标的纵坐标的平均值，且x的取值在二维图像的横坐标中为从左至右数值递增，y的取值在二维图像的纵坐标中为从下至上数值递减；
Figure 59714DEST_PATH_IMAGE027
代表人体躯干的角度；臀部关键点为角度中心点；
S2.4.4、判断人体姿势：
当满足
Figure 744773DEST_PATH_IMAGE028
时，则判断为站立型姿势，即当躯干和大腿的比例满足人体正常比例，且膝盖在臀部以下，则判定为站立型姿势；
当满足
Figure 424016DEST_PATH_IMAGE029
时，则判断为蹲坐型姿势，即当存在膝盖关键点在臀部关键点以上，则判定为蹲坐型姿势；或者人体躯干有一定角度且大腿向水平方向有明显倾斜，也判定为蹲坐型姿势。
优选地，步骤S3中确定二值图像阈值T，包括：
根据变电站坑洞图像的特点是深黑色，且明显比周围颜色黑，故分割图像的深色区域，计算二值图像阈值T：
Figure 183025DEST_PATH_IMAGE030
其中，min_gray为图像的最小灰度值，avg_gray为平均灰度值。
优选地，步骤S5中根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓，包括：
S5.1、排除人体所在区域的轮廓；
S5.2、计算轮廓的凸轮廓概率，获取轮廓的凸点集合B、凹点集合P，计算相邻两个凸点之间的凹点到相邻两个凸点所组成的凸边的距离d，并计算凸轮廓的概率：
Figure 859994DEST_PATH_IMAGE032
其中，Area1为轮廓凸点集合B所组成的面积，Area2为轮廓本身点集合所组成的面积，a、b分别为轮廓的最小外接矩形的长和宽；若满足
Figure 94666DEST_PATH_IMAGE033
，则判定为凸轮廓，n为凸边的个数；
S5.3、计算轮廓的规则度和边数，对轮廓本身点集合进行抽稀，得到简化后的轮廓点集合Q，并计算轮廓的规则度r：
Figure 249704DEST_PATH_IMAGE035
其中，n为凸边的个数；m代表每条凸边对应的所述轮廓点集合Q中的点数；d ij 为第i条凸边对应的所述轮廓点集合Q中的第j个点到其该凸边的距离；d i 为第i条凸边对应的所述轮廓点集合Q中的点到该凸边的距离均值，规则度r越大，轮廓越规则，若
Figure 892913DEST_PATH_IMAGE036
为规则轮廓的阈值，则判定为规则轮廓；
若轮廓为规则轮廓，计算轮廓的边数，假设所有凸边的斜率列表为[k1,k2,...,kn]；
Figure 537521DEST_PATH_IMAGE037
其中，
Figure 197172DEST_PATH_IMAGE038
为允许的最大斜率误差，n为凸边的个数；
遍历斜率列表通过上式进行斜率融合，若满足上述不等式，则删除k i ，得到最终的斜率列表[k1,k2,...,km]，m即为轮廓的近似边数；
Figure 93584DEST_PATH_IMAGE039
其中，min n和min m代表变电站坑洞轮廓允许的最小和最大边数，若m满足不等式，则该轮廓为坑洞。
优选地，步骤S5.1排除人体所在区域的轮廓，包括：
S5.1.1、遍历顶点列表person_rect，判断所述轮廓最小外接矩形的四个坐标点K中是否有包含于人体的近似外接矩形中，若没有，则该轮廓不在人体所在的区域，不排除；若存在，则继续下一步；
S5.1.2、计算轮廓的重叠率，即两个矩形重叠的面积和轮廓的最小外接矩形的面积之比；
假设所述轮廓的最小外接矩形的四个的坐标点为（x1,y1）、（x2，y2）、（x3,y3）、（x4，y4），其中（x1,y1）、（x2，y2）在所述人体的近似外接矩形内，（x3,y3）、（x4，y4）在外；确定所述人体的近似外接矩形的切割边b和轮廓的最小外接矩形的被分割边b1、b2；计算所述切割边b和被分割边b1、b2的交点（x5,y5）、（x6，y6）；进而计算轮廓的重叠率：
Figure 889502DEST_PATH_IMAGE041
Figure 970590DEST_PATH_IMAGE043
其中，con1为人体所在区域所包含的部分轮廓的顶点集合；con2为所述轮廓的最小外接矩形的四个坐标点K集合；o_rate为重叠率，conArea为求点集包围的轮廓的面积；
S5.1.3、通过轮廓的重叠率判断轮廓是否在人体所在区域，进行轮廓排除，若满足
Figure 789642DEST_PATH_IMAGE044
，则该轮廓在人体所在区域，去除；否则进行保留。
优选地，步骤S6中通过人体姿势来选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为，包括：
S6.1、遍历人体特征属性表person，得到人体躯干宽度和基本姿势pose，根据基本姿势pose选择人体关键点W；
S6.2、分别计算所述关键点W和所述轮廓的最小外接矩形的四个坐标点K之间的欧式距离
Figure 552061DEST_PATH_IMAGE045
；
S6.3、判断是否存在坑洞倚靠行为；
Figure 530382DEST_PATH_IMAGE046
其中，L代表人体躯干宽度，c代表是否倚靠的门限距离比率；若满足上式，则判定为存在坑洞倚靠行为；否则，不存在坑洞倚靠行为。
优选地，人体关键点W的选择为：若为站立型，则选取脚踝处关键点；若为蹲坐型，则选取臀部关键点。
本发明提供的电力运检人员坑洞倚靠行为检测方法，具有以下有益效果：
本发明基于传统的图像处理技术，融入新的坑洞倚靠识别算法，可对变电站电力运检人员的行为进行安全监测，提前做出预警或进行安全评测，以免带来不必要的安全事故。有效地解决了电力运检人员坑洞倚靠行为，在靠近坑洞时做出预警，或对电力运检人员的操作行为进行安全评测，及时加强电力运检人员的安全防范意识，保证变电站的运检工作顺利进行。
附图说明
图1为电力运检人员坑洞倚靠行为检测方法的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
根据本申请的一个实施例，参考图1，本方案的电力运检人员坑洞倚靠行为检测方法，包括：
S1：加载预训练的人体关键点检测模型，采集拍摄原图像中人体的18个关键点；
S2、根据检测到的所述18个关键点，构建人体个人特征属性表；
S3、对原图像进行双边滤波，确定二值图像阈值T，得到二值图像，并对二值图像进行形态学处理；
S4、对二值图像进行轮廓检测，得到轮廓的最小外接矩形的四个坐标点K；
S5、根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓；
S6、通过人体姿势选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为。
以下将对上述步骤进行详细说明
步骤S1、加载预训练的人体关键点检测模型，对人体的18个关键点，即在图像中的位置坐标进行检测。
步骤S2、根据检测到的关键点，构建个人的特征属性表，包括：所有关键点的位置坐标、人体的近似外接矩形的四个顶点位置坐标、人体躯干宽度、人体姿势（站立型和蹲坐型），其具体步骤包括：
步骤S2.1、构建人体关键点列表key_points：
Figure 454475DEST_PATH_IMAGE047
其中，n为关键点的数量，m为检测到的人的数量，[x mn ，y mn ]为第m个人的第n个关键点在图像中的二维坐标，即x mn 为第m个人的第n个关键点在图像中的二维坐标的横坐标值，y mn 为第m个人的第n个关键点在图像中的二维坐标的纵坐标值。
步骤S2.2、遍历所述关键点列表key_points，对每一行分别按x和y排序，得到人体最***（上下左右）的四个关键点列表most_points：
Figure 26402DEST_PATH_IMAGE048
遍历所述关键点列表most_points，得到人体的近似外接矩形的顶点列表person_rect，顶点列表person_rect的四个顶点为：
Figure 326933DEST_PATH_IMAGE050
其中，m为人的数量，
Figure 425339DEST_PATH_IMAGE008
为为关键点位置下标，其值为1、2、3…18，
Figure 520334DEST_PATH_IMAGE004
为第m个人的其中一个关键点在图像中的二维坐标的横坐标值，
Figure 815443DEST_PATH_IMAGE005
为第m个人的其中一个关键点在图像中的二维坐标的横坐标值。
步骤S2.3、遍历所述关键点列表most_points，得到人体躯干宽度列表person_length：
Figure 981982DEST_PATH_IMAGE052
其中，m为人的数量。
步骤S2.4、遍历所述关键点列表key_points对人体姿势pose进行判定，人体姿势pose判定方法为：
步骤S2.4.1、计算人体的身体比例：
Figure 606998DEST_PATH_IMAGE053
其中，
Figure 76157DEST_PATH_IMAGE012
、
Figure 419414DEST_PATH_IMAGE013
、
Figure 124064DEST_PATH_IMAGE014
分别代表臀部、膝盖、肩膀部 的平均y值，平均y值为臀部、膝盖、肩膀部关键点坐标的纵坐标的平均值；body_rate代表检 测到人体的身体比例（躯干比大腿）。
步骤S2.4.2、判断膝盖是否高于臀部：
Figure 806850DEST_PATH_IMAGE054
其中，opt()代表多选一；
Figure 509226DEST_PATH_IMAGE017
分别代表右臀部、左臀部、右膝盖、左膝盖的y值，y值代表右臀部、左臀部、右膝盖、左膝盖关键点的纵坐标值；
Figure 402096DEST_PATH_IMAGE018
代表臀部关键点的y值与膝盖关键点的y值之差。
步骤S2.4.3、计算人体躯干的角度：
Figure 848121DEST_PATH_IMAGE056
其中，
Figure 119833DEST_PATH_IMAGE021
、
Figure 55428DEST_PATH_IMAGE022
、
Figure 373277DEST_PATH_IMAGE023
、
Figure 793632DEST_PATH_IMAGE024
、
Figure 513326DEST_PATH_IMAGE025
、
Figure 619823DEST_PATH_IMAGE026
分别代表肩部关键点、臀部关键点、膝盖关键点的x和y的均值，x均值为肩部关键点、臀部关键点、膝盖关键点坐标的横坐标的平均值，y均值为肩部关键点、臀部关键点、膝盖关键点坐标的纵坐标的平均值，且x的取值在二维图像的横坐标中为从左至右数值递增，y的取值在二维图像的纵坐标中为从下至上数值递减；
Figure 424968DEST_PATH_IMAGE057
代表人体躯干的角度。臀部关键点为角度中心点。
步骤S2.4.4、判断人体姿势：
Figure DEST_PATH_IMAGE058
当满足上式时，则判断为站立型姿势，即当躯干和大腿的比例满足人体正常比例，且膝盖在臀部以下，则判定为站立型姿势。
Figure 681637DEST_PATH_IMAGE059
当满足上式时，则为蹲坐型姿势，即当存在膝盖关键点在臀部关键点以上，则可判定为蹲坐型姿势；或者人体躯干有一定角度且大腿向水平方向有明显倾斜，也可判定为蹲坐型姿势。
步骤S2.5、将所述人体关键点列表key_points、人体的近似外接矩形的顶点列表person_rect、人体躯干宽度列表person_length、人体姿势pose整合成人体特征属性表person。
步骤S3、对原图像进行双边滤波，再确定其二值图像的阈值T，得到二值图像；最后进行形态学处理（先腐蚀后膨胀）；
其中，二值图像阈值T计算方法为：
由于变电站坑洞的特点是深黑色，且明显比周围颜色黑，因此采用分割图像的深色区域，二值图像阈值T的计算公式如下：
Figure 255837DEST_PATH_IMAGE060
其中，min_gray为图像的最小灰度值，avg_gray为平均灰度值。
其中，双边滤波的目的是去掉噪声的同时保留物体的边缘信息，形态学处理（先腐蚀再膨胀）的目的是消除细小物体，在纤细处分离物体和平滑较大物体边界的作用。
步骤S4、对二值图像进行轮廓检测，首先排除较小面积的轮廓，再得到轮廓的最小外接矩形的四个坐标点K。
步骤S5、根据变电站坑洞的特点（近似凸轮廓，规则多边形），对轮廓进行筛选，首先排除人所在区域的轮廓，再分别计算凸轮廓的概率、规则度和多边形边数，最后根据这些指标确定是否为坑洞，其实施方法包括：
步骤S5.1、首先排除人所在区域的轮廓（人所穿的深色衣服和该区域的阴影会影响坑洞判断，提前排除掉该区域可以提高算法的效率和准确度），方法如下：
步骤S5.1.1、遍历所述顶点列表person_rect，判断所述轮廓的最小外接矩形的四个坐标点K中是否有包含于所述人体的近似外接矩形中。若没有，则该轮廓不在人所在的区域，不用排除；若存在，则继续下一步；
步骤S5.1.2、计算轮廓的重叠率（即所述两个矩形重叠的面积和所述轮廓的最小外接矩形的面积之比）；
假设所述轮廓的最小外接矩形的四个的坐标点为（x1,y1）、（x2，y2）、（x3,y3）、（x4，y4），其中（x1,y1）、（x2，y2）在所述人体的近似外接矩形内，（x3,y3）、（x4，y4）在外。首先确定所述人体的近似外接矩形的切割边b（将所述轮廓的最小外接矩形分割为两部分）和所述轮廓的最小外接矩形的被分割边b1、b2；再计算所述切割边b和被分割边b1、b2的交点（x5,y5）、（x6，y6）；最后计算轮廓的重叠率：
Figure 408601DEST_PATH_IMAGE062
Figure 232201DEST_PATH_IMAGE064
其中，con1为人体所在区域所包含的部分轮廓的顶点集合；con2为所述轮廓的最小外接矩形的四个坐标点K集合；o_rate为重叠率，conArea为求点集包围的轮廓的面积。
步骤S5.1.3、通过轮廓的重叠率判断轮廓是否在人体所在区域，进行轮廓排除。若满足
Figure 823719DEST_PATH_IMAGE065
，则该轮廓在人体所在区域，去除；否则进行保留。
步骤S5.2、计算轮廓的凸轮廓概率（现有凸轮廓识别函数只能识别标准的凸轮廓，变电站坑洞的轮廓是一个近似凸轮廓，因此不能直接调用函数识别）。首先找到轮廓的凸点集合B、凹点集合P；再计算相邻两个凸点之间的凹点到相邻所述两个凸点所组成的凸边（这两个凸点所组成的边）的距离d，则凸轮廓的概率为：
Figure DEST_PATH_IMAGE067
其中，Area1为轮廓凸点集合B所组成的面积，Area2为轮廓本身点集合所组成的面积，a、b分别为轮廓的最小外接矩形的长和宽。若满足
Figure DEST_PATH_IMAGE068
，则判定为凸轮廓，n为凸边的个数。
步骤S5.3、计算轮廓的规则度和边数（变电站坑洞是一个规则的多边形）。首先对轮廓本身点集合进行抽稀，得到简化后的轮廓点集合Q；接着计算轮廓的规则度r：
Figure DEST_PATH_IMAGE069
其中，n代表凸边的个数；m代表每条凸边对应的所述轮廓点集合Q中的点数；d ij 代表第i条凸边对应的所述轮廓点集合Q中的第j个点到其该凸边的距离；d i 代表第i条凸边对应的所述轮廓点集合Q中的点到该凸边的距离均值。规则度r越大，轮廓越规则，若
Figure DEST_PATH_IMAGE070
（
Figure DEST_PATH_IMAGE071
为规则轮廓的阈值），则可判定为规则轮廓。
若轮廓为规则轮廓，最后计算轮廓的边数，假设所有凸边的斜率列表为[k1,k2,...,kn]（n为凸边的个数）。
Figure DEST_PATH_IMAGE072
其中，
Figure DEST_PATH_IMAGE073
为允许的最大斜率误差。
遍历所述斜率列表通过上式进行斜率融合（若满足上述不等式，则删除k i ），得到最终的斜率列表[k1,k2,...,km]，m即为轮廓的近似边数。
Figure DEST_PATH_IMAGE074
其中，min n和min m代表变电站坑洞轮廓允许的最小和最大边数，若满足上式，则该轮廓可确定为坑洞。
步骤S6、最后衡量人与坑洞之间的远近程度，通过人的姿势来选择不同的关键点，计算其与坑洞的四个坐标点K之间的最短距离（空间距离可通过与人体躯干宽度的比率衡量），判断是否存在坑洞倚靠行为，其具体步骤为：
步骤S6.1、遍历所述人体特征属性表person，得到人体躯干宽度和基本姿势pose，根据基本姿势pose选择人体关键点W（站立型选取脚踝处关键点，蹲坐型选取臀部关键点）。
步骤S6.2、分别计算所述关键点W和所述轮廓的最小外接矩形的四个坐标点K之间的欧式距离
Figure DEST_PATH_IMAGE075
。
步骤S6.3、判断是否存在坑洞倚靠行为：
Figure DEST_PATH_IMAGE076
其中，L代表人体躯干宽度，c代表是否倚靠的门限距离比率，公式说明：这里加上L为了更好地描述空间距离；若满足上式，则判定为存在坑洞倚靠行为；否则，不存在坑洞倚靠行为（正常操作）。
本专利基于人体关键点检测模型，对人体的关键点进行检测，通过对这些关键点的设计处理，得到人体关键点特征属性表，为坑洞倚靠算法提供人体的位置先验知识。通过对变电站坑洞特征（具有一定面积、黑色、凸轮廓、规则多边形）的分析，设计基于传统图像处理技术的坑洞识别算法，最后对坑洞倚靠行为进行判定。
本发明可解决了电力运检人员坑洞倚靠行为，在靠近坑洞时做出预警，或对电力运检人员的操作行为进行安全评测，及时加强电力运检人员的安全防范意识，保证变电站的运检工作顺利进行，在变电站运检领域具有重要的应用价值，将推动该领域的发展。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (7)

1.一种电力运检人员坑洞倚靠行为检测方法，其特征在于，包括：
S1、加载预训练的人体关键点检测模型，采集拍摄原图像中人体的18个关键点；
S2、根据检测到的所述18个关键点，构建人体个人特征属性表；
构建人体个人特征属性表，包括：
S2.1、构建人体关键点列表key_points：
Figure 975186DEST_PATH_IMAGE002
其中，n为关键点的数量，m为检测到的人的数量，[x mn ，y mn ]为第m个人的第n个关键点在图像中的二维坐标，即x mn 为第m个人的第n个关键点在图像中的二维坐标的横坐标值，y mn 为第m个人的第n个关键点在图像中的二维坐标的纵坐标值；
S2.2、遍历所述关键点列表key_points，对每一行分别按x和y排序，得到人体最***的四个关键点列表most_points：
Figure 361168DEST_PATH_IMAGE004
其中，
Figure 111211DEST_PATH_IMAGE005
为第m个人的其中一个关键点在图像中的二维坐标的横坐标值，
Figure 709683DEST_PATH_IMAGE006
为第m个人的其中一个关键点在图像中的二维坐标的纵坐标值；
遍历所述关键点列表most_points，得到人体的近似外接矩形的顶点列表person_rect，顶点列表person_rect的四个顶点坐标为：
Figure 789634DEST_PATH_IMAGE008
其中，m为人的数量，
Figure 80938DEST_PATH_IMAGE009
为关键点位置下标，其值为1、2、3…18；
S2.3、遍历所述关键点列表most_points，得到人体躯干宽度列表person_length：
Figure 551234DEST_PATH_IMAGE011
；
S2.4、遍历所述关键点列表key_points对人体姿势pose进行判定；
S2.5、将所述人体关键点列表key_points、人体的近似外接矩形的顶点列表person_rect、人体躯干宽度列表person_length、人体姿势pose整合成人体特征属性表person；
S3、对原图像进行双边滤波，确定二值图像阈值T，得到二值图像，并对二值图像进行形态学处理；
S4、对二值图像进行轮廓检测，得到轮廓的最小外接矩形的四个坐标点K；
S5、根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓；
S6、通过人体姿势选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为。
2.根据权利要求1所述的电力运检人员坑洞倚靠行为检测方法，其特征在于：所述S2.4中遍历所述关键点列表key_points对人体姿势pose进行判定包括：
S2.4.1、计算人体的身体比例：
Figure 15713DEST_PATH_IMAGE012
其中，
Figure 153434DEST_PATH_IMAGE013
、
Figure 350060DEST_PATH_IMAGE014
、
Figure 369968DEST_PATH_IMAGE015
分别代表臀部、膝盖、肩膀部的平均y 值，平均y值为臀部、膝盖、肩膀部关键点坐标的纵坐标的平均值；body_rate代表检测到人 体的身体比例；
S2.4.2、判断膝盖是否高于臀部：
Figure 310242DEST_PATH_IMAGE017
其中，opt()代表多选一；
Figure DEST_PATH_IMAGE018
分别代表右臀部、左臀部、右膝盖、左膝盖的y值，y值代表右臀部、左臀部、右膝盖、左膝盖关键点的纵坐标值；
Figure 568048DEST_PATH_IMAGE019
代表臀部关键点的y值与膝盖关键点的y值之差；
S2.4.3、计算人体躯干的角度：
Figure 699690DEST_PATH_IMAGE021
其中，
Figure DEST_PATH_IMAGE022
、
Figure 410157DEST_PATH_IMAGE023
、
Figure 950860DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
、
Figure 266435DEST_PATH_IMAGE026
、
Figure 867180DEST_PATH_IMAGE027
分别代表肩部关键点、臀部关键点、膝盖关键点的x和y的均值，x均值为肩部关键点、臀部关键点、膝盖关键点坐标的横坐标的平均值，y均值为肩部关键点、臀部关键点、膝盖关键点坐标的纵坐标的平均值，且x的取值在二维图像的横坐标中为从左至右数值递增，y的取值在二维图像的纵坐标中为从下至上数值递减；
Figure 799364DEST_PATH_IMAGE028
代表人体躯干的角度；臀部关键点为角度中心点；
S2.4.4、判断人体姿势：
当满足
Figure 143758DEST_PATH_IMAGE029
时，则判断为站立型姿势，即当躯干和大腿的比例满足人体正常比例，且膝盖在臀部以下，则判定为站立型姿势；
当满足
Figure 844998DEST_PATH_IMAGE030
时，则判断为蹲坐型姿势，即当存在膝盖关键点在臀部关键点以上，则判定为蹲坐型姿势；或者人体躯干有一定角度且大腿向水平方向有明显倾斜，也判定为蹲坐型姿势。
3.根据权利要求1所述的电力运检人员坑洞倚靠行为检测方法，其特征在于：所述S3中确定二值图像阈值T，包括：
根据变电站坑洞图像的特点是深黑色，且明显比周围颜色黑，故分割图像的深色区域，计算二值图像阈值T：
Figure DEST_PATH_IMAGE031
其中，min_gray为图像的最小灰度值，avg_gray为平均灰度值。
4.根据权利要求1所述的电力运检人员坑洞倚靠行为检测方法，其特征在于：所述S5中根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓，包括：
S5.1、排除人体所在区域的轮廓；
S5.2、计算轮廓的凸轮廓概率，获取轮廓的凸点集合B、凹点集合P，计算相邻两个凸点之间的凹点到相邻所述两个凸点所组成的凸边的距离d，并计算凸轮廓的概率：
Figure 351066DEST_PATH_IMAGE032
其中，Area1为轮廓凸点集合B所组成的面积，Area2为轮廓本身点集合所组成的面积，a、b分别为轮廓的最小外接矩形的长和宽；若满足
Figure 504966DEST_PATH_IMAGE033
，则判定为凸轮廓，n为凸边的个数；
S5.3、计算轮廓的规则度和边数，对轮廓本身点集合进行抽稀，得到简化后的轮廓点集合Q，并计算轮廓的规则度r：
Figure 653051DEST_PATH_IMAGE035
其中，n为凸边的个数；m代表每条凸边对应的所述轮廓点集合Q中的点数；d ij 为第i条凸边对应的所述轮廓点集合Q中的第j个点到其该凸边的距离；d i 为第i条凸边对应的所述轮廓点集合Q中的点到该凸边的距离均值，规则度r越大，轮廓越规则，若
Figure 710262DEST_PATH_IMAGE036
为规则轮廓的阈值，则判定为规则轮廓；
若轮廓为规则轮廓，计算轮廓的边数，假设所有凸边的斜率列表为[k1,k2,...,kn]；
Figure 121652DEST_PATH_IMAGE037
其中，
Figure 825166DEST_PATH_IMAGE038
为允许的最大斜率误差，n为凸边的个数；
遍历所述斜率列表通过上式进行斜率融合，若满足上述不等式，则删除k i ，得到最终的斜率列表[k1,k2,...,km]，m即为轮廓的近似边数；
Figure 449045DEST_PATH_IMAGE039
其中，min n和min m代表变电站坑洞轮廓允许的最小和最大边数，若m满足不等式，则该轮廓为坑洞。
5.根据权利要求4所述的电力运检人员坑洞倚靠行为检测方法，其特征在于：所述S5.1排除人体所在区域的轮廓，包括：
S5.1.1、遍历顶点列表person_rect，判断所述轮廓最小外接矩形的四个坐标点K中是否有包含于所述人体的近似外接矩形中，若没有，则该轮廓不在人体所在的区域，不排除；若存在，则继续下一步；
S5.1.2、计算轮廓的重叠率，即两个矩形重叠的面积和轮廓的最小外接矩形的面积之比；
假设所述轮廓的最小外接矩形的四个的坐标点为（x1,y1）、（x2，y2）、（x3,y3）、（x4，y4），其中（x1,y1）、（x2，y2）在所述人体的近似外接矩形内，（x3,y3）、（x4，y4）在外；确定所述人体的近似外接矩形的切割边b和所述轮廓的最小外接矩形的被分割边b1、b2；计算所述切割边b和被分割边b1、b2的交点（x5,y5）、（x6，y6）；进而计算轮廓的重叠率：
Figure 187194DEST_PATH_IMAGE041
Figure DEST_PATH_IMAGE043
其中，con1为人体所在区域所包含的部分轮廓的顶点集合；con2为所述轮廓的最小外接矩形的四个坐标点K集合；o_rate为重叠率，conArea为求点集包围的轮廓的面积；
S5.1.3、通过轮廓的重叠率判断轮廓是否在人体所在区域，进行轮廓排除，若满足
Figure DEST_PATH_IMAGE044
，则该轮廓在人体所在区域，去除；否则进行保留。
6.根据权利要求1所述的电力运检人员坑洞倚靠行为检测方法，其特征在于，所述S6中通过人体姿势来选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为，包括：
S6.1、遍历人体特征属性表person，得到人体躯干宽度和基本姿势pose，根据所述基本姿势pose选择人体关键点W；
S6.2、分别计算关键点W和所述轮廓的最小外接矩形的四个坐标点K之间的欧式距离
Figure DEST_PATH_IMAGE045
；
S6.3、判断是否存在坑洞倚靠行为；
Figure DEST_PATH_IMAGE046
其中，L代表人体躯干宽度，c代表是否倚靠的门限距离比率；若满足上式，则判定为存在坑洞倚靠行为；否则，不存在坑洞倚靠行为。
7.根据权利要求6所述的电力运检人员坑洞倚靠行为检测方法，其特征在于，所述人体关键点W的选择为：若为站立型，则选取脚踝处关键点；若为蹲坐型，则选取臀部关键点。
CN202010540073.5A 2020-06-15 2020-06-15 一种电力运检人员坑洞倚靠行为检测方法 Active CN111428703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540073.5A CN111428703B (zh) 2020-06-15 2020-06-15 一种电力运检人员坑洞倚靠行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540073.5A CN111428703B (zh) 2020-06-15 2020-06-15 一种电力运检人员坑洞倚靠行为检测方法

Publications (2)

Publication Number Publication Date
CN111428703A CN111428703A (zh) 2020-07-17
CN111428703B true CN111428703B (zh) 2020-09-08

Family

ID=71559087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540073.5A Active CN111428703B (zh) 2020-06-15 2020-06-15 一种电力运检人员坑洞倚靠行为检测方法

Country Status (1)

Country Link
CN (1) CN111428703B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091983A (zh) * 2023-04-10 2023-05-09 四川弘和通讯集团有限公司 一种行为检测方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020596A (zh) * 2012-12-05 2013-04-03 华北电力大学 一种基于块模型的电力生产中异常人体行为识别方法
US8837839B1 (en) * 2010-11-03 2014-09-16 Hrl Laboratories, Llc Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images
CN109002783A (zh) * 2018-07-02 2018-12-14 北京工业大学 救援环境中的人体检测以及姿态识别方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN109697830A (zh) * 2018-12-21 2019-04-30 山东大学 一种基于目标分布规律的人员异常行为检测方法
CN110096983A (zh) * 2019-04-22 2019-08-06 苏州海赛人工智能有限公司 一种基于神经网络的图像中施工工人安全服饰检测方法
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN111209814A (zh) * 2019-12-27 2020-05-29 广东德融汇科技有限公司 用于k12教育阶段的人脸识别校园区域预警方法及***
CN111275910A (zh) * 2019-11-05 2020-06-12 杭州安脉盛智能技术有限公司 一种基于高斯混合模型的扶梯越界行为检测方法及***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678284B (zh) * 2016-02-18 2019-03-29 浙江博天科技有限公司 一种固定位人体行为分析方法
CN109389041B (zh) * 2018-09-07 2020-12-01 南京航空航天大学 一种基于关节点特征的跌倒检测方法
CN109740513B (zh) * 2018-12-29 2020-11-27 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
CN110287923B (zh) * 2019-06-29 2023-09-15 腾讯科技（深圳）有限公司 人体姿态获取方法、装置、计算机设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8837839B1 (en) * 2010-11-03 2014-09-16 Hrl Laboratories, Llc Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images
CN103020596A (zh) * 2012-12-05 2013-04-03 华北电力大学 一种基于块模型的电力生产中异常人体行为识别方法
CN109002783A (zh) * 2018-07-02 2018-12-14 北京工业大学 救援环境中的人体检测以及姿态识别方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109697830A (zh) * 2018-12-21 2019-04-30 山东大学 一种基于目标分布规律的人员异常行为检测方法
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN110096983A (zh) * 2019-04-22 2019-08-06 苏州海赛人工智能有限公司 一种基于神经网络的图像中施工工人安全服饰检测方法
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN111275910A (zh) * 2019-11-05 2020-06-12 杭州安脉盛智能技术有限公司 一种基于高斯混合模型的扶梯越界行为检测方法及***
CN111209814A (zh) * 2019-12-27 2020-05-29 广东德融汇科技有限公司 用于k12教育阶段的人脸识别校园区域预警方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Danger-Pose Detection System Using Commodity Wi-Fi for Bathroom Monitoring;Zizheng Zhang 等;《Sensors》;20190220;第19卷(第4期);第1-16页 *
矿井皮带区域不安全行为识别方法的研究;陈庆峰;《中国优秀硕士学位论文全文数据库工程科技I辑》;20190915;第B021-348页 *
融合多姿势估计特征的动作识别;罗会兰 等;《中国图象图形学报》;20151130;第20卷(第11期);第1462-1472页 *

Also Published As

Publication number Publication date
CN111428703A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN110688987B (zh) 一种行人位置检测与跟踪方法及***
Chen et al. 3D free-form object recognition in range images using local surface patches
CN103886344B (zh) 一种图像型火灾火焰识别方法
CN109815850A (zh) 基于深度学习的虹膜图像分割及定位方法、***、装置
CN106960202A (zh) 一种基于可见光与红外图像融合的笑脸识别方法
CN108596930B (zh) 基于天牛须算法和数学形态学的射线图像焊缝提取方法
US20070189582A1 (en) Approaches and apparatus for eye detection in a digital image
CN111079518B (zh) 一种基于执法办案区场景下的倒地异常行为识别方法
CN108319943A (zh) 一种提高戴眼镜条件下人脸识别模型性能的方法
CN109360170A (zh) 基于高级特征的人脸修复方法
CN108491786A (zh) 一种基于分级网络和聚类合并的人脸检测方法
WO2018035814A1 (zh) 一种基于毫米波图像的人体异物检测方法及***
CN114863493B (zh) 一种低质量指纹图像和非指纹图像的检测方法及检测装置
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN109711378A (zh) 人脸表情自动识别方法
CN111428703B (zh) 一种电力运检人员坑洞倚靠行为检测方法
CN109389033A (zh) 一种新型的瞳孔快速定位方法
CN108108740B (zh) 一种主动毫米波人体图像性别识别方法
CN114973320A (zh) 一种基于深度信息的煤矿井下人员检测方法
CN115273150A (zh) 基于人体姿态估计的安全帽佩戴的新型识别方法及***
CN106909874B (zh) 一种鼻尖定位方法和装置
CN106407975B (zh) 基于空间-光谱结构约束的多尺度分层目标检测方法
CN104751513A (zh) 一种建立人体骨骼模型的方法及装置
Lim et al. Detection and estimation of circular arc segments
CN108108700A (zh) 一种基于弦轴变换的猪的特征区域识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant