CN117422754A - 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备 - Google Patents

基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备 Download PDF

Info

Publication number
CN117422754A
CN117422754A CN202311419192.5A CN202311419192A CN117422754A CN 117422754 A CN117422754 A CN 117422754A CN 202311419192 A CN202311419192 A CN 202311419192A CN 117422754 A CN117422754 A CN 117422754A
Authority
CN
China
Prior art keywords
contour
target
segmentation
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311419192.5A
Other languages
English (en)
Other versions
CN117422754B (zh
Inventor
刘金柱
高士涛
闫海洋
王石磊
张森森
刘军
于守艳
王波
黄建华
张嘉鑫
王怡玮
李智恒
宋玉存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Stein Smart Energy Technology Co ltd
State Grid Corp of China SGCC
Wuhan University WHU
Henan Power Transmission and Transformation Construction Co Ltd
Original Assignee
Nanjing Stein Smart Energy Technology Co ltd
State Grid Corp of China SGCC
Wuhan University WHU
Henan Power Transmission and Transformation Construction Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Stein Smart Energy Technology Co ltd, State Grid Corp of China SGCC, Wuhan University WHU, Henan Power Transmission and Transformation Construction Co Ltd filed Critical Nanjing Stein Smart Energy Technology Co ltd
Priority to CN202311419192.5A priority Critical patent/CN117422754B/zh
Publication of CN117422754A publication Critical patent/CN117422754A/zh
Application granted granted Critical
Publication of CN117422754B publication Critical patent/CN117422754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备，具体包括如下步骤：通过实例分割算法对目标检测得到的目标框再进行分割操作，提取物体真实轮廓。基于专利应用的项目本身特点在分割得到物体轮廓后对轮廓进行膨胀操作，基于MobileSAM的目标函数改进算法，根据本专利的特殊应用场景添加了二进制交叉熵损失，进行距离的计算，这样在保证求得最小距离的同时也保证了距离计算的实时性。本发明通过对目标框内的检测目标进行实例分割，可以得到目标的真实轮廓，本专利在原有分割算法上对目标函数进行改进，使本专利的测量精度更高，从而在保障近电作业人员生命安全的情况下尽可能进行精准测距。

Description

基于实例分割的变电站近电作业人员空间距离计算方法、可 读存储介质和电子设备
技术领域
本发明涉及技术变电站技术领域，尤其涉及一种基于实例分割的变电站近电作业人员空间距离计算方法。
背景技术
目前，现有技术中，可以使用全站仪或其他测距装置对变电站近电作业人员及作业机械的空间安全距离进行人工管控。然而，由于管控人员的主观性和无法实时监管近电作业人员与带电设备的距离，安全事件时有发生。
另一种方法是基于电场监测，通过测量人员和器械周围的电场强度，估算与带电体的安全距离。然而，高压电场易发生畸变，电场强度难以精确测量，导致该方法的距离检测误差较大。
基于定位技术的方法，利用北斗和超宽带无线通信技术等定位技术来实时监测人员和设备的位置，并计算人员与带电设备之间的距离。然而，该方法存在一些缺点，如信号受天气影响、建设成本高、建设周期长以及维护成本高等问题。
另外一种方法是基于图像测距技术的空间距离监测方法，其中涉及如下技术：
双目视觉：是一种基于双目摄像头的计算机视觉技术，用于实时测量物体在三维空间中的位置和姿态。该技术利用两个摄像头(或两个摄像头模拟的虚拟视点)同时观察同一场景，通过测量两个摄像头之间的视差(即同一物体在两个图像中的像素偏移)来计算物体的深度信息。通过结合相机的内参(摄像头的内部参数)和外参(摄像头之间的相对位置和姿态关系)，可以将像素坐标转换为三维空间中的物体坐标。现有的空间距离检测方法是通过近电作业现场三维重建得到每个图像中像素点的空间位置信息，进而得到每两个像素点的三维空间距离。
目标检测：是计算机视觉领域的一项关键技术，旨在自动检测和识别图像或视频中的特定目标或物体。现有的近电作业移动式智慧安全管控终端其轮廓的获取方法，是把目标检测算法得到的目标框当作物体轮廓。
两轮廓间最短距离计算方法：现有的近电作业移动式智慧安全管控终端距离测量方法，两目标之间的距离计算方法是计算两个目标矩形框几何中心(对角线的交点)的欧氏距离。
现有的近电作业人员及作业机械空间距离精准计算方法中基于图像测距方法的缺点是：
1.检测实时性不强：近电作业及机械作业对危险行为监控需要具有强实时性，现有的技术方案是图像数据采集再传输到后台计算，最后把报警信息传输回现场，对发现的危险行为无法做出及时制止。
2.检测目标轮廓不准确：目前已有算法是把图像中检测目标轮廓的矩形框当作检测目标的边缘，这个矩形框和真实的目标轮廓之间一定存在很多背景区域；
3.检测目标轮廓之间距离计算方法不准确：现有技术在计算两个目标之间的距离时采用的技术方案是把两个目标的直立最小外接矩找到，通过对两个矩形框中心点求距离就当作两个目标的最小距离，这是不准确的。
4.应用场景受限：基于双目视觉的距离检测主要有电线下方地物安全距离检测、电力设备尺寸测量等。主要是测量静态目标。
具体的，实际使用时，变电站近电作业人员的空间距离测量通常需要进行图像数据采集和后台计算，以提供准确的结果和报警信息。该过程涉及以下专业步骤：
1)图像数据采集：使用摄像头或传感器等设备对变电站内的近电作业人员进行监测和拍摄。这些设备可以安装在适当的位置，以获取全面且准确的图像数据。
2)数据传输：采集到的图像数据通过网络传输或无线传输等方式发送到后台***。这样可以将数据及时传递给后台进行处理和分析。
3)后台计算：后台***接收到图像数据后，使用计算机视觉和图像处理算法对数据进行处理和分析。这包括目标检测、目标跟踪和测量等技术，以计算近电作业人员与设备之间的空间安全距离。
4)报警信息生成：基于后台计算的结果，生成相应的报警信息。这可能包括近电作业人员与设备的距离、安全区域的违规情况等。根据预先设定的规则和标准，***可以判断是否存在安全风险，并生成相应的报警信息。
5)报警信息发送：生成的报警信息会发送给监管员或相关人员，以便及时采取相应措施。这可以通过监控中心的软件界面、移动设备应用程序或其他通信渠道进行。
现有技术中，整个***建设成本高、建设周期长以及维护成本高，实时性低。
其次，在目标检测过程中，通过图3可以明显看出图中的五边形物体和椭圆形物体被一个矩形框给框住了，此图是目标检测时的效果图(目标是五边形物体和椭圆形物体)。此时算法提示矩形框内是人或带电设备等实物，并标出带电设备名称。现有的算法是把矩形框当作人的外轮廓这明显是不准确的。
最后，现有技术中两轮廓间距离计算方法：通过计算两个目标框中心点当作两个检测目标之间的距离，这样对近电作业人员空间安全距离精准计算是无法实现的。如图1所示，黑色背景上有两个几乎挨着的白色矩形。每个白色的矩形内有两条对角线。现有算法的计算方式是每个矩形内的对角线的交点当作物体中心，物体之间的距离就是对角线交点之间的距离。很明显这两个矩形框是挨着的，距离几乎为0，但是按照现有算法计算出两个矩形框是存在距离的。所以说，现有算法对近电作业人员空间安全距离精准计算是无法实现的，只是粗略计算。图2是真实的五边形物体和椭圆形物体的测试效果图，中间的横线是现有技术测量两个物体之间的最短距离。
发明内容
本发明的目的是提供一种基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备，能够在保障近电作业人员生命安全的情况下，大大提高测距的精准度。
本发明采用的技术方案为：
基于实例分割的变电站近电作业人员空间距离计算方法，包括如下步骤：
第一步：采用双目摄像机对基于变电站的近电作业场景进行图像和视频采集，得到双目原始视频数据；
第二步：把采集到的双目图像数据进行立体匹配操作和对应的视差计算：
首先对图像进行预处理，即进行去噪和图像增强；图像增强使用的是左图作为模板图对右图进行归一化操作；
其次，再对图像进行高斯滤波操作，
再次，对图像进行特征提取以获得可以进行匹配的特征点或特征描述；其中特征提取方法中包括匹配代价计算、匹配代价聚合和视差计算；
第三步：利用视差和相机标定得到的相机内参、外参，并且使用三角测量法来估计场景中每个像素点的深度信息；根据深度信息和相机标定得到的相机内参、外参，将每个像素点的三维坐标计算出来(x，y，z)，从而重建整个场景的三维结构信息；
第四步：通过使用目标检测模型对原始视频数据进行计算，得到本专利需要实时检测的目标物体外轮廓；
第五步：把目标检测模型输出的结果根据矩形框的位置和尺寸信息截出所检测到的目标，记为截成目标数据；
第六步：对由步骤五得到的截成目标数据，进行图像分割操作得到物体的真实轮廓；分割后会得到真实轮廓的效果图，具体的：
6.1)通过目标检测模型得到的结果图截成目标数据：先进行裁剪处理，把检测到的目标框进行掩码处理；得到一张只有目标框内容的原始图像；
6.2)把裁剪到的图像数据送入移动式分割模型中，可以得到检测目标的轮廓信息；
6.3)对目标轮廓进行膨胀操作，根据每个带电体的危险程度或带电体量大小进行相对应的膨胀操作，越危险的带电设备，其轮廓膨胀系数越大；
第七步：提取膨胀后的轮廓数据，根据真实轮廓的效果图中的轮廓像素位置信息映射回原始视频数据帧上；
第八步：使用两轮廓最近点计算方法，得到两个检测目标轮廓的最近点，并且映射回原始视频帧上得到二维图像坐标；具体的，
通过分割模型得到检测目标轮廓；
把检测目标轮廓的边缘坐标按照顺时针进行有序排列；
每个点集以n步长进行轮廓点采样；
通过遍历计算得到两个采样后的轮廓点集的最小距离，并记录每个轮廓取最小距离的坐标点；
第九步：把各自的轮廓上得到的最近点坐标映射到双目视觉生成的三维空间中，得到每个点在空间中的位置信息即三维坐标；
第十步：通过两个三维坐标点就可以计算出两个物体的空间最近距离即欧氏距离。
所述的第八步骤中，在第一检测轮廓的起始位置顺时针选取连续的n个轮廓点和逆时针选取连续的n个轮廓点v1，同理第二检测轮廓的起始位置顺时针选取连续的n个轮廓点和逆时针选取连续的n个轮廓点v2；
所述的通过遍历计算v1点集内的每个点和v2点集内的所有点之间的欧氏距离，选择所有距离的最小值，可以得到两个轮廓之间的最小距离；
欧氏距离如公式(1)所示，三维空间的两个点坐标X2和(Z。d为计算得到的欧氏距离。
所述的步骤二的特征提取方法中，
进行匹配代价计算目的是得到左右两幅图中每个像素点的匹配程度从而选择最佳的匹配点；
进行匹配代价聚合操作通过考虑像素点周围的上下文信息以提高匹配结果的准确性；
进行视差计算操作，通过代价聚合操作得到代价图来计算每个像素的视差值。
所述的特征提取方法具体采用的是SIFT算法。
所述步骤四中，目标检测模型使用的是深度学习模型进行目标检测操作，整个模型由3部分组成：第一部分骨干网络主要工作就是对图像数据进行特征提取操作得到高级语义信息，使第一部分的输出端可以获取图片数据的所有特征数据；第二部分颈部网络目的是进一步处理和融合骨干网络提取的特征提高模型的性能和表达能力；第三部分预测网络在对目标进行分类的同时也需要对目标位置进行定位。
所述的分割模型采用的是MobileSAM移动式分割算法。
所述的Mobi leSAM移动式分割算法中的loss损失函数还包括有binary cross-entropy二进制交叉熵损失，如下式：
式中为模型预测值，y为样本的真实值；二进制交叉熵损失函数主要是处理二分类问题，而本专利的分割问题就是对已经切分好的小图进行前景和背景进行像素级的二分类。一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，使所述计算机可读存储介质所在设备执行权利要求1-7任意一项所述的基于实例分割的变电站近电作业人员空间距离计算方法。
一种电子设备，包括：存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，所述处理器执行所述程序时实现所述的基于实例分割的变电站近电作业人员空间距离计算方法。
本发明通过对目标框内的检测目标进行实例分割，可以得到目标的真实轮廓，进一步的，针对的近电作业人员和带电体的安全距离测量这一实际场景，本专利在原有分割算法上对目标函数进行改进，使本专利的测量精度更高，进一步的针对现有技术中的不足改进了轮廓之间的快速距离测量点的选择方法，通过获取两个目标轮廓的轮廓点集，求得两个轮廓之间的最近距离，从而在保障近电作业人员生命安全的情况下尽可能进行精准测距。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中两个目标框中心点当作两个检测目标之间的距离的示意图；
图2为现有技术中真实的五边形物体和椭圆形物体的测试效果图；
图3为本发明中五边形物体和椭圆形物体的目标检测模型输出的结果示意图；
图4为本发明中截成目标图像示意图；
图5为本发明图像分割后的示意图；
图6为本发明所述两轮廓最近点计算方法示意图；
图7为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1、2和3所示，本发明包括如下步骤：
第一步：采用双目摄像机对基于变电站的近电作业场景进行图像和视频采集。
第二步：把采集到的双目图像数据进行立体匹配操作和对应的视差计算。下面是对立体匹配操作和对应的视差计算的补充讲解：
进行图像预处理操作去噪和图像增强。预处理操作进行了高斯滤波操作，图像增强使用的是左图作为模板图对右图进行归一化操作。
进行特征提取以获得可以进行匹配的特征点或特征描述符本专利使用的是SIFT算法。
进行匹配代价计算目的是得到左右两幅图中每个像素点的匹配程度从而选择最佳的匹配点。
进行匹配代价聚合操作通过考虑像素点周围的上下文信息以提高匹配结果的准确性。
进行视差计算操作，通过代价聚合操作得到代价图来计算每个像素的视差值。
第三步：利用视差和相机标定得到的相机内参、外参，并且使用三角测量法来估计场景中每个点的深度信息。根据深度信息和相机标定得到的相机内参、外参，将每个像素点的三维坐标计算出来(x，y，z)，从而重建整个场景的三维结构信息。
第四步：通过使用目标检测模型对视频数据进行计算，得到本专利需要实时检测的目标物体外轮廓。目标检测模型使用的是深度学习模型进行目标检测操作。整个模型有3部分组成：第一部分骨干网络主要工作就是对图像数据进行特征提取操作得到高级语义信息，使第一部分的输出端可以获取图片数据的所有特征数据；第二部分颈部网络目的是进一步处理和融合骨干网络提取的特征提高模型的性能和表达能力；第三部分预测网络在对目标进行分类的同时也需要对目标位置进行定位。
第五步：把目标检测模型输出的结果如图3所示，根据矩形框的位置和尺寸信息截出所检测到的目标。
第六步：对截成目标(图4)，进行图像分割操作得到物体的真实轮廓。分割后会得到图5的效果图。下面是对轮廓提取模型的补充讲解：
1)通过目标识别得到的结果图先进行裁剪处理，把检测到的目标框进行掩码处理。得到一张只有目标框内容的原始图像。如图4所示。
2)把裁剪到的图像数据送入移动式分割模型中，可以得到检测目标的轮廓信息。
3)对目标轮廓进行膨胀操作，根据每个带电体的危险程度或带电体量大小进行相对应的膨胀操作。越危险的带电设备，其轮廓膨胀系数越大。
第七步：提取膨胀后的轮廓数据，根据小图中的轮廓像素位置信息映射回原始视频帧上。
第八步：使用两轮廓最近点计算方法，得到两个轮廓的最近点，并且映射回原始视频帧上得到二维图像坐标。下面是对两轮廓最近距离计算方法补充讲解：
通过分割模型得到检测目标轮廓。
把轮廓的边缘坐标按照顺时针进行有序排列。
每个点集以n步长进行轮廓点采样(目的为了减少计算次数进而提高检测速率)。
通过遍历计算得到两个采样后的轮廓点集的最小距离，并记录每个轮廓取最小距离的坐标点。
在图6的左侧轮廓和虚线相交部位的五角星附近顺时针选取连续的n个轮廓点和逆时针选取连续的n个轮廓点v1，同理右侧轮廓和虚线相交部位的三角形附近顺时针选取连续的n个轮廓点和逆时针选取连续的n个轮廓点v2。
通过遍历计算v1点集内的每个点和v2点集内的所有点之间的欧氏距离，选择所有距离的最小值，可以得到两个轮廓之间的最小距离(如图6的实线长度)。
欧氏距离如公式(1)所示，三维空间的两个点坐标(Xp，Yp，Zp)和(Xe，Ye，Ze)d为计算得到的欧氏距离。
第九步：把各自的轮廓上得到的最近点坐标映射到双目视觉生成的三维空间中，得到每个点在空间中的位置信息(三维坐标)。
第十步：通过两个三维坐标点就可以计算出两个物体的空间最近距离(欧氏距离)。
下面是创新点的详细讲解：
第一创新点轮廓提取模型的技术方案：
把裁剪到的图像数据送入移动式分割模型中，可以得到检测目标的轮廓信息。本专利的发明是针对的近电作业人员和带电体的安全距离测量这一实际场景的发明。由于本专利的研发是关乎近电作业人员的人身生命安全，针对此情况本专利在对分割后的物体轮廓进行了膨胀操作(使物体分割后的轮廓向外侧扩大了一圈)。为的是在保障近电作业人员生命安全的情况下尽可能进行精准测距。
本专利采用的分割模型是MobileSAM(移动式分割算法)，MobileSAM主要聚焦于采用更轻量型的Encoder(编码模块)替换SAM的重量级Encoder(编码模块)。原因是MobileSAM模型是基于移动端的小计算量的模型，需要快速实时的给出分割结果并且使用较小的占用计算资源。其中编码模块使用的是Vision Transformer(ViT)，ViT集合了类别向量、图像块嵌入和位置编码三者到一体的输入嵌入向量后，即可馈入Transformer Encoder。最终MobileSAM模型的编码模块只有5.78M，非常适合移动端部署。本专利在移动式分割算法MobileSAM原有的loss(损失函数)基础上加上了binary cross-entropy(二进制交叉熵损失)，如下式(2)。
式中y为模型预测值，y为样本的真实值。二进制交叉熵损失函数主要是处理二分类问题，而本专利的分割问题就是对已经切分好的小图进行前景和背景进行像素级的二分类。
原有的损失函数focal loss(焦点损失)和dice loss(骰子损失)采用的方式是线性组合，其比例是20：1：1。本专利主要是二分类任务(分割后小图像只有前景区域和背景区域，这相当于是对像素级的二分类任务)而交叉熵正是描述了两个概率分布的差异。加上损失函数后本专利所应用的项目中对近电作业人员和带电设备的分割结果有了显著提升。
本发明在实际应用时，具体操作训练使用的是pytorch框架对原始模型进行微调操作。随后使用C++进行模型部署。首先对近电作业人员和对应的带电设备进行标注；随后对模型的目标函数文件进行更改；之后进行模型微调操作以适应基于近电作业背景下的分割工作；最后进行模型部署，先把模型转换成onnx后使用opencv dnn进行推理操作。
在推理过程中需要把推理后得到的轮廓返回给轮廓边缘最近点算法进行两轮廓最近距离计算。
2)把裁剪后图像中的轮廓点集映射回原始图像，图5是本专利改进的结果图，从图5可以明显看出本专利已经把矩形框内的椭圆和五边形的轮廓已经清晰的描述出来。
实际使用时，本发明的距离测量方法如下：
1)通过分割模型得到检测目标轮廓，如图6所示轮廓就是白色区域和黑色区域的边界线。
2)把轮廓的边缘坐标按照顺时针进行有序排列。使用opencv库进行轮廓提取，得到的就是一个按照顺时针顺序进行排列的数组型数据结构。具体轮廓坐标实现流程首先从左上角开始扫描图像，并以顺时针或逆时针方向逐像素移动沿着对象边界。它搜索遇到的第一个前景像素(边界像素)。一旦找到初始的边界像素，算法通过跟踪相邻的边界像素来追踪轮廓，直到再次到达起始像素，形成一个封闭的轮廓。算法记录已访问的像素，以确保不重复访问同一像素或越过轮廓边界。
3)此时得到两个轮廓的完整的轮廓点集数据Vec1和Vec2，每个点集以n步长进行轮廓点采样(如图6，n相当于左侧轮廓的边缘上两个三角形之间轮廓点的个数)得到两个轮廓采样后的轮廓点集V1和V2(如图6，V1相当于记录了左侧轮廓上所有五角星的位置信息，同理V2记录了右侧轮廓上三角形的位置信息)。轮廓点集V1和V2中的点也是按照轮廓边缘顺时针进行排列的。
4)通过遍历计算V1点集内的每个点和V2点集内的所有点之间的欧氏距离，并记录下来欧氏距离数值放入DisV数组内，并且每个欧氏距离值都和每个轮廓上的点进行对应以方便在后面操作中找到最小距离所对应的两个轮廓上的点。遍历结束后选择所有欧式距离中的最小值，根据对应关系可以得到两个采样后的轮廓点的最小距离(如图6的虚线长度)。
5)在图6的左侧轮廓和虚线相交部位的五角星附近顺时针选取连续的n个轮廓点和逆时针选取连续的n个轮廓点v1，同理右侧轮廓和虚线相交部位的三角形附近顺时针选取连续的n个轮廓点和逆时针选取连续的n个轮廓点v2。
6)通过遍历计算v1点集内的每个点和v2点集内的所有点之间的欧氏距离，选择所有距离的最小值，可以得到两个轮廓之间的最小距离(如图6的实线长度)。
相比现有技术是通过目标检测算法对图像进行目标识别及定位通过在目标外画出矩形框来表示目标在图像中位置。矩形框内的物体是人或带电设备，并标出带电设备名称。现有的算法是把矩形框当作人或带电设备的外轮廓这明显是不准确的。本专利通过对目标框内的检测目标进行实例分割，可以得到目标的真实轮廓并且为了保证近电作业人员安全本专利对分割后的轮廓进行膨胀处理。
其次，本专利采用的深度模型的分割精度是无法满足现场需求的，本专利通过增加二进制交叉熵损失函数使分割算法更加准确、精度更高。结果是在保障近电作业人员生命安全的情况下尽可能进行精准测距。
本专利基于专利应用实例分割算法对目标检测得到的目标框再进行分割操作，提取物体真实轮廓。基于专利应用的项目本身特点在分割得到物体轮廓后对轮廓进行膨胀操作。本专利根据目标检测时得到的目标名称进行对应的膨胀操作(每个物体都有对应的膨胀系数大小)，自适应调参(参数是膨胀系数)。基于MobileSAM(移动式分割算法)的目标函数改进算法，根据本专利的特殊应用场景添加了二进制交叉熵损失。两轮廓最近距离计算方法，首先通过步长为n的轮廓点进行遍历，随后在进行精细遍历(在已经找到相对最小距离的轮廓点附近进行遍历操作)。这样在保证求得最小距离的同时也保证了距离计算的实时性。本发明通过获取两个目标轮廓的轮廓点集，改进了轮廓之间的快速距离测量点的选择方法。最终通过两轮廓最近距离计算方法得到两个轮廓之间最短距离。在保障了使用实时性的同时也保证了算法的准确性。
本发明是根据近电作业人员及作业机械，如吊车和斗臂车等空间距离精准计算方法使用场景的特点，专门设计基于实例分割的空间距离计算方法。能够快速给出实时检测结果：本专利的检测目标是近电作业人员及作业机械，直接在移动端部署计算单元，摒弃了因数据传输到后台带来的时间延迟。根据距离结果来判断电力作业人员或作业机械是否处于危险距离。而且轮廓提取更精准：本专利可以把直立矩形所包围的物体通过图像实例分割，可以得到图像的外轮廓。轮廓之间计算方法更精准：通过遍历两个轮廓上的像素点求得两个物体的最小距离。
在本发明的描述中，需要说明的是，对于方位词，如有术语“中心”，“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为限制本发明的具体保护范围。
需要说明的是，本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
注意，上述仅为本发明的较佳实施例及运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行较详细的说明，但本发明不限于这里所述的特定实施例，在不脱离本发明构思的情况下，还可以包括更多其他等有效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.基于实例分割的变电站近电作业人员空间距离计算方法，其特征在于：包括如下步骤：
第一步：采用双目摄像机对基于变电站的近电作业场景进行图像和视频采集，得到双目原始视频数据；
第二步：把采集到的双目图像数据进行立体匹配操作和对应的视差计算：
首先对图像进行预处理，即进行去噪和图像增强；图像增强使用的是左图作为模板图对右图进行归一化操作；
其次，再对图像进行高斯滤波操作，
再次，对图像进行特征提取以获得可以进行匹配的特征点或特征描述；其中特征提取方法中包括匹配代价计算、匹配代价聚合和视差计算；
第三步：利用视差和相机标定得到的相机内参、外参，并且使用三角测量法来估计场景中每个像素点的深度信息；根据深度信息和相机标定得到的相机内参、外参，将每个像素点的三维坐标计算出来(x，y，z)，从而重建整个场景的三维结构信息；
第四步：通过使用目标检测模型对原始视频数据进行计算，得到本专利需要实时检测的目标物体外轮廓；
第五步：把目标检测模型输出的结果根据矩形框的位置和尺寸信息截出所检测到的目标，记为截成目标数据；
第六步：对由步骤五得到的截成目标数据，进行图像分割操作得到物体的真实轮廓；分割后会得到真实轮廓的效果图，具体的：
6.1)通过目标检测模型得到的结果图截成目标数据：先进行裁剪处理，把检测到的目标框进行掩码处理；得到一张只有目标框内容的原始图像；
6.2)把裁剪到的图像数据送入移动式分割模型中，可以得到检测目标的轮廓信息；
6.3)对目标轮廓进行膨胀操作，根据每个带电体的危险程度或带电体量大小进行相对应的膨胀操作，越危险的带电设备，其轮廓膨胀系数越大；
第七步：提取膨胀后的轮廓数据，根据真实轮廓的效果图中的轮廓像素位置信息映射回原始视频数据帧上；
第八步：使用两轮廓最近点计算方法，得到两个检测目标轮廓的最近点，并且映射回原始视频帧上得到二维图像坐标；具体的，
通过分割模型得到检测目标轮廓；
把检测目标轮廓的边缘坐标按照顺时针进行有序排列；
每个点集以n步长进行轮廓点采样；
通过遍历计算得到两个采样后的轮廓点集的最小距离，并记录每个轮廓取最小距离的坐标点；
第九步：把各自的轮廓上得到的最近点坐标映射到双目视觉生成的三维空间中，得到每个点在空间中的位置信息即三维坐标；
第十步：通过两个三维坐标点就可以计算出两个物体的空间最近距离即欧氏距离。
2.根据权利要求1所述的基于实例分割的变电站近电作业人员空间距离计算方法，其特征在于：所述的第八步骤中，在第一检测轮廓的起始位置顺时针选取连续的n个轮廓点和逆时针选取连续的n个轮廓点v1，同理第二检测轮廓的起始位置顺时针选取连续的n个轮廓点和逆时针选取连续的n个轮廓点v2；所述的通过遍历计算v1点集内的每个点和v2点集内的所有点之间的欧氏距离，选择所有距离的最小值，可以得到两个轮廓之间的最小距离；
欧氏距离如公式(1)所示，三维空间的两个点坐标(Xp，Yp，Zp)和(Xe，Ye，Ze)，d为计算得到的欧氏距离。
3.根据权利要求1所述的基于实例分割的变电站近电作业人员空间距离计算方法，其特征在于：所述的步骤二的特征提取方法中，
进行匹配代价计算目的是得到左右两幅图中每个像素点的匹配程度从而选择最佳的匹配点；
进行匹配代价聚合操作通过考虑像素点周围的上下文信息以提高匹配结果的准确性；
进行视差计算操作，通过代价聚合操作得到代价图来计算每个像素的视差值。
4.根据权利要求1所述的基于实例分割的变电站近电作业人员空间距离计算方法，其特征在于：所述的特征提取方法具体采用的是SIFT算法。
5.根据权利要求1所述的基于实例分割的变电站近电作业人员空间距离计算方法，其特征在于：所述步骤四中，目标检测模型使用的是深度学习模型进行目标检测操作，整个模型由3部分组成：第一部分骨干网络主要工作就是对图像数据进行特征提取操作得到高级语义信息，使第一部分的输出端可以获取图片数据的所有特征数据；第二部分颈部网络目的是进一步处理和融合骨干网络提取的特征提高模型的性能和表达能力；第三部分预测网络在对目标进行分类的同时也需要对目标位置进行定位。
6.根据权利要求1所述的基于实例分割的变电站近电作业人员空间距离计算方法，其特征在于：所述的分割模型采用的是MobileSAM移动式分割算法。
7.根据权利要求1所述的基于实例分割的变电站近电作业人员空间距离计算方法，其特征在于：所述的MobileSAM移动式分割算法中的loss损失函数还包括有binary cross-entropy二进制交叉熵损失，如下式：
式中为模型预测值，y为样本的真实值；二进制交叉熵损失函数主要是处理二分类问题，而本专利的分割问题就是对已经切分好的小图进行前景和背景进行像素级的二分类。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时，使所述计算机可读存储介质所在设备执行权利要求1-7任意一项所述的基于实例分割的变电站近电作业人员空间距离计算方法。
9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-7任一所述的基于实例分割的变电站近电作业人员空间距离计算方法。
CN202311419192.5A 2023-10-30 2023-10-30 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备 Active CN117422754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311419192.5A CN117422754B (zh) 2023-10-30 2023-10-30 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311419192.5A CN117422754B (zh) 2023-10-30 2023-10-30 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN117422754A true CN117422754A (zh) 2024-01-19
CN117422754B CN117422754B (zh) 2024-05-28

Family

ID=89532204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311419192.5A Active CN117422754B (zh) 2023-10-30 2023-10-30 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN117422754B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738676A (zh) * 2019-09-17 2020-01-31 湖南大学 一种结合RGBD数据的GrabCut自动分割算法
CN115661337A (zh) * 2022-09-23 2023-01-31 安徽南瑞继远电网技术有限公司 一种基于双目视觉的变电站作业人员三维重建的方法
CN116563386A (zh) * 2023-04-22 2023-08-08 武汉大学 一种基于双目视觉的变电作业人员近电距离检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738676A (zh) * 2019-09-17 2020-01-31 湖南大学 一种结合RGBD数据的GrabCut自动分割算法
CN115661337A (zh) * 2022-09-23 2023-01-31 安徽南瑞继远电网技术有限公司 一种基于双目视觉的变电站作业人员三维重建的方法
CN116563386A (zh) * 2023-04-22 2023-08-08 武汉大学 一种基于双目视觉的变电作业人员近电距离检测方法

Also Published As

Publication number Publication date
CN117422754B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
US11151734B2 (en) Method and system for generating synthetic point cloud data using a generative model
CN105279484B (zh) 对象检测方法和对象检测装置
US10521694B2 (en) 3D building extraction apparatus, method and system
WO2018028103A1 (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN107818326A (zh) 一种基于场景多维特征的船只检测方法及***
CN106709436A (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪***
CN110799989A (zh) 一种障碍物检测方法、设备、可移动平台及存储介质
CN108648169A (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN109816780B (zh) 一种双目序列影像的输电线路三维点云生成方法及装置
CN113240887A (zh) 边坡落石崩塌监测方法、装置及设备
Nair Camera-based object detection, identification and distance estimation
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
Shokri et al. A robust and efficient method for power lines extraction from mobile LiDAR point clouds
CN115965578A (zh) 一种基于通道注意力机制的双目立体匹配检测方法及装置
CN112637550A (zh) 多路4k准实时拼接视频的ptz动目标跟踪方法
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
Yao et al. Automated detection of 3D individual trees along urban road corridors by mobile laser scanning systems
CN113935379A (zh) 一种基于毫米波雷达信号的人体活动分割方法及***
CN117422754B (zh) 基于实例分割的变电站近电作业人员空间距离计算方法、可读存储介质和电子设备
CN110992291A (zh) 基于三目视觉的测距方法、***及存储介质
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其***
Rong et al. A joint faster RCNN and stereovision algorithm for vegetation encroachment detection in power line corridors
CN114219073A (zh) 属性信息的确定方法、装置、存储介质及电子装置
CN112199984B (zh) 一种大尺度遥感图像的目标快速检测方法
CN109241811B (zh) 基于图像螺旋线的场景分析方法及使用该方法的场景目标监控***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant