CN116500631A - 一种基于三维点云和视觉融合的目标测距方法及装置 - Google Patents
一种基于三维点云和视觉融合的目标测距方法及装置 Download PDFInfo
- Publication number
- CN116500631A CN116500631A CN202211680944.9A CN202211680944A CN116500631A CN 116500631 A CN116500631 A CN 116500631A CN 202211680944 A CN202211680944 A CN 202211680944A CN 116500631 A CN116500631 A CN 116500631A
- Authority
- CN
- China
- Prior art keywords
- coordinates
- dimensional
- coordinate system
- image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 66
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 18
- 238000007689 inspection Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提供一种基于三维点云和视觉融合的目标测距方法及装置，所述目标测距方法包括实时获取输电线路上的二维视频影像，根据二维视频影像识别目标区域图像，利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标，并基于雷达坐标系‑观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离；其中，利用无人机采集三维点云样本数据和二维视频样本影像来训练匹配坐标提取网络。本发明可以解决了三维点云和二维图像数据匹配的问题，提高图像目标测距的精度。
Description
技术领域
本发明涉及三维测量技术领域，具体的说，涉及了一种基于三维点云和视觉融合的目标测距方法及装置。
背景技术
输电线路是电网***的重要组成部分，是电能传输的重要通道，保障输电线路稳定运行至关重要。但输电线路分布广、线路长、长期暴露在自然环境中运行，不仅要经受正常机械载荷和电力负荷的作用，而且还受到各方面外来因素的干扰，尤其是随着城市的建设，施工现场越来越多，大型施工机械由于与附近线路安全距离不足，经常造成导线放电引发停电和安全事故，这些隐患因素如不及时发现和消除，将会严重威胁电网***稳定运行。因此需要高精度的目标检测和测距方法。
传统的输电线路巡视多为步行巡视、乘车巡视、靠人现场蹲守的粗放型管理方法，每年投入大量人力和物力，但收效甚微。从视频图像监控的角度去加大监管力度，有效节约人力和物力成本。目前有些线路区段采用抓拍图片AI识别方式，一定程度上提高了巡视效率，但缺少目标距离的预测，无意义的报警多，处理报警工作量大。
电网用户本身对管辖的线路进行三维激光点云数据建模，用于线路数据建档或无人机巡航，例如CN115240093A给出了一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，通过三维点云分割，直接获取隐患的坐标。然而，三维点云分割算法获取目标的准确度比图像目标检测算法的准确度低，且每次巡检都需要专业的无人机飞手控制无人机巡飞一次，成本高，且不能全时间段监测。因此，如何最大化利旧点云数据进行应用创新和管理提升是电网用户业务探索的一个重要方向。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供了一种基于三维点云和视觉融合的目标测距方法及装置。
为了实现上述目的，本发明所采用的技术方案是：一种基于三维点云和视觉融合的目标测距方法，包括以下步骤：
实时获取输电线路上的二维视频影像，根据二维视频影像识别目标区域图像，利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；
对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标，并基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离；
其中，匹配坐标提取网络的训练步骤如下：
利用无人机采集三维点云样本数据和二维视频样本影像，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标；
基于二维视频样本影像和标注坐标生成二维图像融合数据；
基于标注坐标和二维图像融合数据对GAN网络架构进行训练，得到匹配坐标提取网络模型。
基于上述，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标的具体步骤如下：
获得三维点云样本数据[Pi,XL,YL,ZL]和二维视频样本影像后，对二维视频样本影像进行变换处理，得到二维图像样本数据[Pi,U,V,R,G,B]；
其中，Pi,i∈[1,n]表示无人机的某一位姿,n为采集数据中无人机的飞行位姿数目总和，XL,YL,ZL表示位姿Pi下以雷达坐标系为基座标系下的点坐标；U,V表示以像素坐标系为基座标系下的点坐标，R,G,B为U,V坐标对应的像素值；
以雷达坐标系为世界坐标系，将三维点云样本数据中的XL,YL,ZL变换为像素坐标系中的点U′,V′，变换关系为：
式中，f是相机物理焦距，dx和dy表示每个像素在x和y方向的实际大小，u0和v0表示图像对称中心在像素坐标系中的位置,td为激光雷达和可见光摄像机在水平方向上的距离；
令U′＝U,V′＝V，得到二维图像样本数据的U,V与三维点云样本数据的XL,YL,ZL的映射关系，并基于映射关系得到无人机的位姿Pi下,三维点云样本数据与二维视频样本影像的标注坐标[Pi,U,V,XL,YL,ZL]。
基于上述，基于二维视频样本影像和标注坐标生成二维图像融合数据时采用的融合公式为：
其中，Ifuse为二维图像融合数据，为位姿Pi-1下采集的二维视频样本影像，/>为位姿Pi下采集的二维视频样本影像，/>为位姿Pi+1下采集的二维视频样本影像；Mki-1为对应的标注坐标，Mki为/>对应的标注坐标，Mki+1为/>对应的标注坐标。
基于上述，所述GAN网络架构包括生成器和鉴别器，所述生成器的网络结构包括浅层特征提取模块、深层特征提取模块、特征融合模块和结果输出模块，所述浅层特征提取模块包括两个卷积层，所述深层特征提取模块包括13个级联的残差模块，每个残差模块包括两个卷积层和一个Relu激活函数；所述特征融合模块为element-wise sum算子模块；所述结果输出模块包括两个CBL模块、两个上采样模块和一个1×1卷积层；
所述鉴别器包含8个卷积层、2个FC层和一个Sigmoid激活函数。
进一步的，本发明还提供一种基于三维点云和视觉融合的目标测距装置，所述目标测距装置包括：
目标区域识别模块，用于基于输入的二维视频影像识别目标区域图像；
匹配坐标提取网络训练模块，用于获取三维点云样本数据和二维视频样本影像，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标，基于二维视频样本影像和标注坐标生成二维图像融合数据；并基于标注坐标和二维图像融合数据对GAN网络架构进行训练，得到匹配坐标提取网络模型；
匹配坐标提取模块，用于利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；
坐标恢复模块，用于对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标；
观测距离获取模块，用于基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离。
进一步的，本发明还提供一种输电线路巡视***，包括无人机、挂载在无人机上的激光雷达和可见光摄像机、位于输电线路上的多个网络相机以及前述的目标测距装置；
所述无人机按照内置航迹飞行，并调整位姿；
所述激光雷达采集不同位姿下的三维点云数据；
所述可见光摄像机采集不同位姿下的二维视频影像；
所述目标测距装置分别与所述激光雷达和所述可见光摄像机连接，根据三维点云数据和二维视频影像训练得到匹配坐标提取网络模型；
所述网络相机，用于实时采集输电线路上的二维视频影像；
所述目标测距装置还与网络相机连接，用于根据二维视频影像识别目标区域图像，利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标，并基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明预先控制无人机巡航以获取三维点云样本数据和二维视频样本影像，或者直接利用历史无人机巡航数据获取的旧三维点云样本数据和二维视频样本影像，来训练匹配坐标提取网络模型，解决了三维点云和二维图像数据的一对一匹配问题，使得后期进行隐患目标检测时只需获得二维视频影像，即可直接得到每个像素点在观察坐标系下的观测距离，提高图像目标测距的精度；
同时由于网络相机可以对输电线路进行全时间段监测，目标测距装置对网络相机获得的全时间段二维视频影像进行实时计算后，可以在第一时间发现安全隐患，解决了现有的输电线路巡检均采用无人机巡航的方式进行固定地点与固定时间段监测，不能及时发现安全隐患的问题，操作过程方便，适用于对已有的无人机输电线路巡检的改进。
附图说明
图1为本发明实施例1中的目标测距方法的流程示意图。
图2为本发明实施例1中GAN训练网络框架图。
图3为本发明实施例1中LRB残差模块图。
图4为本发明实施例1生成器结果输出层图。
图5为本发明实施例1的目标测距方法的流程示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
实施例1
如图1所示，本实施例提供一种基于三维点云和视觉融合的目标测距方法，包括以下步骤：
实时获取输电线路上的二维视频影像，根据二维视频影像识别目标区域图像，利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；
其中，匹配坐标提取网络的训练步骤如下：
利用无人机采集三维点云样本数据和二维视频样本影像，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标；
基于二维视频样本影像和标注坐标生成二维图像融合数据；
基于标注坐标和二维图像融合数据对GAN网络架构进行训练，得到匹配坐标提取网络模型；
对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标，并基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离。
在具体实施时，根据二维视频影像数据识别目标区域图像的具体步骤如下：将二维视频图像输入到训练好的目标检测网络中进行目标检测，获得目标区域图像。其中，目标检测网络可以采用yolov5目标检测网络，也可以采用其他的目标检测网络，实际使用时，可根据不同关注目标选用不同的检测网络。
可以理解，这里需要检测的目标可以是大型施工机械，也可以是其他会威胁电网***稳定运行的设备、动物以及人等。
进一步的，在具体实施时，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标的具体步骤如下：
获得三维点云样本数据[Pi,XL,YL,ZL]和二维视频样本影像后，对二维视频样本影像进行变换处理，得到二维图像样本数据[Pi,U,V,R,G,B]；
其中，Pi,i∈[1,n]表示无人机的某一位姿,n为采集数据中无人机的飞行位姿数目总和，XL,YL,ZL表示位姿Pi下以雷达坐标系为基座标系下的点坐标；U,V表示以像素坐标系为基座标系下的点坐标，R,G,B为U,V坐标对应的像素值；
以雷达坐标系为世界坐标系，将三维点云样本数据中的XL,YL,ZL(单位：米)变换为像素坐标系中的点U′,V′(单位：像素)，变换关系为：
式中，f是相机物理焦距，dx和dy表示每个像素在x和y方向的实际大小，u0和v0表示图像对称中心在像素坐标系中的位置,td为激光雷达和可见光摄像机在水平方向上的距离；
这是因为采集数据的无人机激光雷达和可见光摄像机的硬件结构，决定了雷达坐标系变换到摄像机图像对应的像素坐标系，只有平移变换关系，没有旋转变换关系；
令U′＝U,V′＝V，得到二维图像样本数据的U,V与三维点云样本数据的XL,YL,ZL的映射关系，并基于映射关系得到无人机的位姿Pi下,三维点云样本数据与二维视频样本影像的标注坐标[Pi,U,V,XL,YL,ZL]。
可以理解，三维点云样本数据与二维视频样本影像的标注坐标是多对一关系，因此还需要进一步利用GAN网络架构训练数据，以寻找到与标注坐标分布保持一致的二维与三维的匹配坐标。
需要注意的是，在利用GAN网络架构进行训练之前，还需要先基于二维视频样本影像和标注坐标生成二维图像融合数据，具体的，融合公式为：
其中，Ifuse为二维图像融合数据，为位姿Pi-1下采集的二维视频样本影像，/>为位姿Pi下采集的二维视频样本影像，/>为位姿Pi+1下采集的二维视频样本影像；Mki-1为对应的标注坐标，Mki为/>对应的标注坐标，Mki+1为/>对应的标注坐标。
之后，将标注坐标和二维图像融合数据输入至GAN网络架构进行训练，以得到匹配坐标提取网络模型，使得三维点云样本数据与二维视频样本影像的标注坐标是一对一关系。
在具体实施时，如图2所示，所述GAN网络架构包括生成器G和鉴别器D，所述生成器G的网络结构包括浅层特征提取模块、深层特征提取模块、特征融合模块和结果输出模块，所述浅层特征提取模块包括两个卷积层，用于提取浅层特征；所述深层特征提取模块包括13个级联的残差模块和一个卷积层，用于提取深层特征；如图4所示，每个残差模块包括两个卷积层和一个Relu激活函数；所述特征融合模块为element-wise sum算子模块，用于以元素相加方式将浅层特征和深层特征进行融合；所述结果输出模块包括两个CBL模块、两个上采样模块和一个1×1卷积层，其中，所述CBL模块包括conv+BN+relu。
所述鉴别器D包含8个卷积层、2个FC层和一个Sigmoid激活函数，其中，8个卷积层用于提取特征，两个FC层用于聚合特征，所述Sigmoid激活函数用于输出判别概率。
使用时，把标注坐标和二维图像融合数据输入到所述GAN网络架构的生成器G中，生成与标注坐标分布保持一致的二维与三维的匹配坐标；
将标注坐标和匹配坐标输入到所述GAN网络架构的鉴别器D中，判断输入的匹配坐标或标注坐标的正确性，并输出鉴别结果；
使用鉴别结果对所述GAN网络架构的生成器G和生成器D进行优化训练，得到的最终生成器即为匹配坐标提取网络模型。
进一步的，所述生成器G生成与标注坐标分布保持一致的二维与三维的匹配坐标的具体步骤为：
其中，是生成器函数，θG表示G的网络参数，其输入是二维图像融合数据输出是匹配坐标表示深度堆叠(concat)操作，h和w表示二维图像的高和宽。
具体的，生成器函数由浅层特征提取模块的提取函数、深层特征提取模块的提取函数以及结果输出模块的输出函数组成。
在本实施例中，所述浅层特征提取模块的提取函数为：
Fshall＝f1(Ifuse)＝Relu1(W1*Ifuse)+Relu2(W2*Relu1(W1*Ifuse))
其中，Ifuse是输入的二维图像融合数据，Fshall表示提取的浅层特征，f1(·)表示浅层特征提取函数，Relu1(·)，Relu1(·)表示每一个卷积层的Relu激活函数，W1，W2表示浅层特征提取模块中每一个卷积层的权重参数。
进一步的，所述深层特征提取模块由13个级联的LRB块提取二维图像融合数据的深度特征，因此其提取函数为：
Fdeep＝Wd*(f13(f12(…f1(Ishall)…)))
其中，Fdeep表示深层特征，Wd表示本模块最后一个卷积层的权重参数；
具体的，每个LRB块的结构图如图3所示，提取公式为：
其中，input和分别表示第i(i＝1,2,...,13)个LRP块的输入和输出，fi(·)表示第i个LRB块的特征提取函数；/>表示第i-1个LRP块的输出。
在获得所述浅层特征以及所述深层特征后，还需要进一步进行深浅层特征融合，以获得深浅层融合特征，具体的，深浅层特征融合的过程表达式为：
F＝Fshall+Fdeep
其中，F表示深浅层融合特征。
在获得深浅层融合特征后，还需将所述深浅层融合特征送入到所述结果输出层，以获得最终匹配坐标。
具体的，所述结果输出层的结构图如图5所示，所述结果输出层的输出函数为：
Mt＝W1×1(up(CBL(up(CBL(F)))))
其中，CBL(·)表示conv+BN+relu操作层，up(·)表示上采样卷积层，W1×1(·)表示1×1卷积层的权重。
可以理解，生成器G的目的是生成最大限度接近标注坐标的匹配坐标，鉴别器D目的是鉴别匹配坐标的正确性，因此，鉴别器D用鉴别结果来优化网络参数，生成器G由鉴别结果、标注标注和匹配坐标来优化网络参数。
具体的，生成器G的优化求解公式为:
G的目标是趋近于1；/>是生成器函数，θG表示G的网络参数。
可以理解，鉴别器D的输出是一个概率值，D(·)∈[0,1]，其中，D(·)＝1表示匹配坐标输入是正确的匹配信息；D(·)＝0表示匹配坐标输入是错误的匹配信息；D(·)＝0.5表示匹配坐标输入是无法判断正确性。
具体的，鉴别器D的优化求解公式为：
鉴别器D的目标是希望趋近于1，/>趋近于0，其中，/>是鉴别器函数，θD表示D的网络参数。
由于利用训练好的匹配坐标提取网络提取的是每个像素点的匹配坐标，为便于观测者了解观测距离，还要基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离；其中，观察坐标系是以人所在的位置为坐标原点的坐标系。
在具体实施时，雷达坐标系-观察坐标系的转换公式为：
其中，xo,yo,zo表示观察坐标系下的坐标，dx,dy,dz表示平移变化量；ω,k表示旋转角度，旋转矩阵R，是以雷达坐标系的原点为旋转点，在x,y,z三个维度上分别按/>ω,k旋转得到。
综上所述，本实施例利用旧的三维点云样本数据和二维视频样本影像训练匹配坐标提取网络模型，使得后期只需获得二维视频影像，并用匹配坐标提取网络模型提取二维视频影像中的目标区域图像中每个像素点的匹配坐标，并通过坐标恢复操作以及坐标转换操作，直接得到每个像素点在观察坐标系下的观测距离，从而解决了三维点云和二维图像数据匹配的问题，提高图像目标测距的精度，且操作过程方便，适用于对已有的无人机输电线路巡检的改进。
且本发明无需无人机定时定点进行巡检，只需利用可见光摄像机进行全时间段监测，实时计算，就可以在第一时间发现安全隐患，解决了现有的输电线路巡检均采用无人机巡航的方式进行固定地点与固定时间段监测，不能及时发现安全隐患的问题。
实施例2
由于二维坐标对应三维坐标是一对多的关系，因此实施例1中通过训练匹配坐标提取网络模型来找出一对一的标注坐标，但找出的标注坐标有可能不是正确的二维与三维的对应，因此需要将错误的标注坐标找出来。具体的，目标区域图像坐标是相邻的，对应的三维坐标也应是相邻，如果一个点与这些相邻的点的距离远，就是异常点。
进一步的，为了剔除这些异常点，如图5所示，本实施例在利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标后，还使用基于数据中心的异常点筛选方法剔除匹配坐标的异常点，获得有效匹配坐标，然后在对有效匹配坐标在物理坐标系的三个维度上分别做加权平均。
在具体实施时，使用基于数据中心的异常点筛选方法剔除匹配坐标中的异常点的具体步骤为：
从匹配坐标Mt＝[U,V,XL,YL,ZL]中取出Mt＝[XL,YL,ZL]矩阵数据，数据大小为MtU,V＝h×w；
使用Kmeans聚类方法获得聚类中心向量C＝[C1,C2,C3]，其中C1、C2以及C3为聚类中心的三个坐标值；
令矩阵Mt每一行的数据分别与其对应的聚类中心向量做差，得到矩阵H＝[XL-C1,YL-C2,ZL-C3]；
对矩阵H的每一行做q阶范数运算，得到q|Hi|q<∞；
对向量Hi的属性值做约束处理，令
选择阈值α，依据阈值α将向量中元素大于阈值α的剔除。
可以理解，通过对异常点的筛选和去除，可以降低异常点对目标测距的干扰，提高目标测距的准确度。
实施例3
本实施例提供一种基于三维点云和视觉融合的目标测距装置，包括：
目标区域识别模块，用于基于输入的二维视频影像识别目标区域图像；
匹配坐标提取网络训练模块，用于获取三维点云样本数据和二维视频样本影像，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标，基于二维视频样本影像和标注坐标生成二维图像融合数据；并基于标注坐标和二维图像融合数据对GAN网络架构进行训练，得到匹配坐标提取网络模型；
匹配坐标提取模块，用于利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；
坐标恢复模块，用于对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标；
观测距离获取模块，用于基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离。
具体的，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标的具体步骤如下：
获得三维点云样本数据[Pi,XL,YL,ZL]和二维视频样本影像后，对二维视频样本影像进行变换处理，得到二维图像样本数据[Pi,U,V,R,G,B]；
其中，Pi,i∈[1,n]表示无人机的某一位姿,n为采集数据中无人机的飞行位姿数目总和，XL,YL,ZL表示位姿Pi下以雷达坐标系为基座标系下的点坐标；U,V表示以像素坐标系为基座标系下的点坐标，R,G,B为U,V坐标对应的像素值；
以雷达坐标系为世界坐标系，将三维点云样本数据中的VL,YL,ZL变换为像素坐标系中的点U′,V′，变换关系为：
式中，f是相机物理焦距，dx和dy表示每个像素在x和y方向的实际大小，u0和v0表示图像对称中心在像素坐标系中的位置,td为激光雷达和可见光摄像机在水平方向上的距离；
令U′＝U,V′＝V，得到二维图像样本数据的U,V与三维点云样本数据的XL,YL,ZL的映射关系，并基于映射关系得到无人机的位姿Pi下,三维点云样本数据与二维视频样本影像的标注坐标[Pi,U,V,XL,YL,ZL]。
在具体实施时，基于二维视频样本影像和标注坐标生成二维图像融合数据时采用的融合公式为：
其中，Ifuse为二维图像融合数据，为位姿Pi-1下采集的二维视频样本影像，/>为位姿Pi下采集的二维视频样本影像，/>为位姿Pi+1下采集的二维视频样本影像；Mki-1为对应的标注坐标，Mki为/>对应的标注坐标，Mki+1为/>对应的标注坐标。
在具体实施时，所述GAN网络架构包括生成器和鉴别器，所述生成器的网络结构包括浅层特征提取模块、深层特征提取模块、特征融合模块和结果输出模块，所述浅层特征提取模块包括两个卷积层，所述深层特征提取模块包括13个级联的残差模块，每个残差模块包括两个卷积层和一个Relu激活函数；所述特征融合模块为element-wise sum算子模块；所述结果输出模块包括两个CBL模块、两个上采样模块和一个1×1卷积层；
所述鉴别器包含8个卷积层、2个FC层和一个Sigmoid激活函数。
实施例4
本实施例提供一种输电线路巡视***，包括无人机、挂载在无人机上的激光雷达和可见光摄像机、位于输电线路上的多个网络相机以及实施例3所述的基于三维点云和视觉融合的目标测距装置；
所述无人机按照内置航迹飞行，并调整位姿；
所述激光雷达采集不同位姿下的三维点云数据；
所述可见光摄像机采集不同位姿下的二维视频影像；
所述目标测距装置分别与所述激光雷达和所述可见光摄像机连接，根据三维点云数据和二维视频影像训练得到匹配坐标提取网络模型；
所述网络相机，用于全时间段采集输电线路上的二维视频影像；
所述目标测距装置还与网络相机连接，用于根据二维视频影像识别目标区域图像，利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标，并基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。
Claims (10)
1.一种基于三维点云和视觉融合的目标测距方法，其特征在于，包括以下步骤：
实时获取输电线路上的二维视频影像，根据二维视频影像识别目标区域图像，利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；
对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标，并基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离；
其中，匹配坐标提取网络的训练步骤如下：
利用无人机采集三维点云样本数据和二维视频样本影像，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标；
基于二维视频样本影像和标注坐标生成二维图像融合数据；
基于标注坐标和二维图像融合数据对GAN网络架构进行训练，得到匹配坐标提取网络模型。
2.根据权利要求1所述的目标测距方法，其特征在于，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标的具体步骤如下：
获得三维点云样本数据[Oi,XL,YL,ZL]和二维视频样本影像后，对二维视频样本影像进行变换处理，得到二维图像样本数据[Pi,U,V,R,H,B]；
其中，Pi,i∈[1,n]表示无人机的某一位姿,n为采集数据中无人机的飞行位姿数目总和，XL,YL,PL表示位姿Pi下以雷达坐标系为基座标系下的点坐标；U,V表示以像素坐标系为基座标系下的点坐标，R,G,B为U,V坐标对应的像素值；
以雷达坐标系为世界坐标系，将三维点云样本数据中的XL,YL,ZL变换为像素坐标系中的点U′,V′，变换关系为：
式中，f是相机物理焦距，dx和dy表示每个像素在x和y方向的实际大小，u0和v0表示图像对称中心在像素坐标系中的位置,td为激光雷达和可见光摄像机在水平方向上的距离；
令U′＝U,V′＝V，得到二维图像样本数据的U,V与三维点云样本数据的XL,YL,ZL的映射关系，并基于映射关系得到无人机的位姿Pi下,三维点云样本数据与二维视频样本影像的标注坐标[Pi,U,V,XL,YL,ZL]。
3.根据权利要求2所述的目标测距方法，其特征在于，基于二维视频样本影像和标注坐标生成二维图像融合数据时采用的融合公式为：
其中，Ifuse为二维图像融合数据，为位姿Pi-1下采集的二维视频样本影像，/>为位姿Pi下采集的二维视频样本影像，/>为位姿Pi+1下采集的二维视频样本影像；Mki-1为对应的标注坐标，Mki为/>对应的标注坐标，Mki+1为/>对应的标注坐标。
4.根据权利要求1所述的目标测距方法，其特征在于：所述GAN网络架构包括生成器和鉴别器，所述生成器的网络结构包括浅层特征提取模块、深层特征提取模块、特征融合模块和结果输出模块，所述浅层特征提取模块包括两个卷积层，所述深层特征提取模块包括13个级联的残差模块，每个残差模块包括两个卷积层和一个Relu激活函数；所述特征融合模块为element-wise sum算子模块；所述结果输出模块包括两个CBL模块、两个上采样模块和一个1×1卷积层；
所述鉴别器包含8个卷积层、2个FC层和一个Sigmoid激活函数。
5.根据权利要求1所述的目标测距方法，其特征在于，根据二维视频影像识别目标区域图像的具体步骤如下：将二维视频图像输入到训练好的目标检测网络中进行目标检测，获得目标区域图像。
6.根据权利要求1所述的目标测距方法，其特征在于：在利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标后，还使用基于数据中心的异常点筛选方法剔除匹配坐标的异常点，获得有效匹配坐标，然后在对有效匹配坐标在物理坐标系的三个维度上分别做加权平均。
7.根据权利要求6所述的目标测距方法，其特征在于，使用基于数据中心的异常点筛选方法剔除匹配坐标中的异常点的具体步骤为：
从匹配坐标Mt＝[U,V,XL,YL,ZL]中取出Mt＝[XL,YL,ZL]矩阵数据，数据大小为MtU,V＝h×w；
使用Kmeans聚类方法获得聚类中心向量C＝[C1,32,C3]，其中C1、C2以及C3为聚类中心的三个坐标值；
令矩阵Mt每一行的数据分别与其对应的聚类中心向量做差，得到矩阵H＝[XL-C1,YL-C2,ZL-C3]；
对矩阵H的每一行做q阶范数运算，得到对向量Hi的属性值做约束处理，令/>
选择阈值α，依据阈值α将向量中元素大于阈值α的剔除。
8.根据权利要求1所述的目标测距方法，其特征在于，雷达坐标系-观察坐标系的转换公式为：
其中，xo,yo,zo表示观察坐标系下的坐标，dx,dy,dz表示平移变化量；ω,k表示旋转角度，旋转矩阵R，是以雷达坐标系的原点为旋转点，在x,y,z三个维度上分别按/>ω,k旋转得到。
9.一种基于三维点云和视觉融合的目标测距装置，其特征在于，包括：
目标区域识别模块，用于基于输入的二维视频影像识别目标区域图像；
匹配坐标提取网络训练模块，用于获取三维点云样本数据和二维视频样本影像，基于三维点云样本数据和二维视频样本影像的映射关系获得标注坐标，基于二维视频样本影像和标注坐标生成二维图像融合数据；并基于标注坐标和二维图像融合数据对GAN网络架构进行训练，得到匹配坐标提取网络模型；
匹配坐标提取模块，用于利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；
坐标恢复模块，用于对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标；
观测距离获取模块，用于基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离。
10.一种输电线路巡视***，其特征在于：包括无人机、挂载在无人机上的激光雷达和可见光摄像机、位于输电线路上的多个网络相机以及权利要求9所述的目标测距装置；
所述无人机按照内置航迹飞行，并调整位姿；
所述激光雷达采集不同位姿下的三维点云数据；
所述可见光摄像机采集不同位姿下的二维视频影像；
所述目标测距装置分别与所述激光雷达和所述可见光摄像机连接，根据三维点云数据和二维视频影像训练得到匹配坐标提取网络模型；
所述网络相机，用于实时采集输电线路上的二维视频影像；
所述目标测距装置还与网络相机连接，用于根据二维视频影像识别目标区域图像，利用训练好的匹配坐标提取网络提取目标区域图像中每个像素点的匹配坐标；对匹配坐标在物理坐标系的三个维度上分别做加权平均，得到每个像素点在雷达坐标系下的坐标，并基于雷达坐标系-观察坐标系的转换，得到每个像素点在观察坐标系下的观测距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211680944.9A CN116500631A (zh) | 2022-12-26 | 2022-12-26 | 一种基于三维点云和视觉融合的目标测距方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211680944.9A CN116500631A (zh) | 2022-12-26 | 2022-12-26 | 一种基于三维点云和视觉融合的目标测距方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116500631A true CN116500631A (zh) | 2023-07-28 |
Family
ID=87325540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211680944.9A Pending CN116500631A (zh) | 2022-12-26 | 2022-12-26 | 一种基于三维点云和视觉融合的目标测距方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116500631A (zh) |
-
2022
- 2022-12-26 CN CN202211680944.9A patent/CN116500631A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Geraldes et al. | UAV-based situational awareness system using deep learning | |
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN112884931B (zh) | 一种用于变电站的无人机巡检方法及*** | |
| CN112633535A (zh) | 一种基于无人机图像的光伏电站智能巡检方法及*** | |
| CN109376605B (zh) | 一种电力巡检图像防鸟刺故障检测方法 | |
| CN112990310A (zh) | 服务于电力机器人的人工智能***及方法 | |
| CN104091168A (zh) | 基于无人机影像的电力线自动提取定位方法 | |
| CN115240093B (zh) | 基于可见光和激光雷达点云融合的输电通道自动巡检方法 | |
| CN110910440B (zh) | 一种基于电力影像数据的输电线路长度确定方法和*** | |
| CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
| CN111582069B (zh) | 一种空基监视平台的轨道障碍物零样本分类方法及装置 | |
| CN113569956A (zh) | 一种基于ai算法的山火灾害勘查识别方法 | |
| CN115220479A (zh) | 动静协同的输电线路精细化巡检方法与*** | |
| WO2020239088A1 (zh) | 一种保险理赔处理方法及装置 | |
| CN110276379B (zh) | 一种基于视频图像分析的灾情信息快速提取方法 | |
| CN115082254A (zh) | 一种变电站精益管控数字孪生*** | |
| CN111354028B (zh) | 基于双目视觉的输电通道隐患物识别追踪方法 | |
| CN116258980A (zh) | 一种基于视觉的无人机分布式光伏电站巡检方法 | |
| CN109684914A (zh) | 基于无人机影像智能识别方法 | |
| CN112487894A (zh) | 基于人工智能的轨道交通保护区自动巡查方法及装置 | |
| CN109359545B (zh) | 复杂低空环境下一种协同监视方法与装置 | |
| Kim et al. | Vision-based analysis of utility poles using drones and digital twin modeling in the context of power distribution infrastructure systems | |
| JP2024514175A (ja) | 鳥の検出および種決定 | |
| Kerle et al. | UAV-based structural damage mapping–Results from 6 years of research in two European projects | |
| Rong et al. | A joint faster RCNN and stereovision algorithm for vegetation encroachment detection in power line corridors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |