CN115542362A - 电力作业现场的高精度空间定位方法、***、设备及介质 - Google Patents
电力作业现场的高精度空间定位方法、***、设备及介质 Download PDFInfo
- Publication number
- CN115542362A CN115542362A CN202211524412.6A CN202211524412A CN115542362A CN 115542362 A CN115542362 A CN 115542362A CN 202211524412 A CN202211524412 A CN 202211524412A CN 115542362 A CN115542362 A CN 115542362A
- Authority
- CN
- China
- Prior art keywords
- positioning
- power operation
- uwb
- model
- moving target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 56
- 238000005516 engineering process Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000010191 image analysis Methods 0.000 claims abstract description 5
- 238000007670 refining Methods 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 6
- 125000004432 carbon atom Chemical group C* 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 230000005477 standard model Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000007619 statistical method Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 description 12
- 238000012423 maintenance Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- JXASPPWQHFOWPL-UHFFFAOYSA-N Tamarixin Natural products C1=C(O)C(OC)=CC=C1C1=C(OC2C(C(O)C(O)C(CO)O2)O)C(=O)C2=C(O)C=C(O)C=C2O1 JXASPPWQHFOWPL-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了电力作业现场的高精度空间定位方法、***、设备及介质,本发明属于空间定位技术领域,包括基于视觉定位技术,获取电力作业运动目标的定位;根据电力作业运动目标的定位,对电力作业运动目标进行图像分析,得到电力作业运动目标的特征信息并构建电力作业运动目标的三维模型;根据特征信息细化电力作业运动目标的三维模型,得到高精度三维模型并实时更新所述高精度三维模型在三维场景中的定位。通过在动态目标上配带UWB或北斗定位标签,在运动目标定位的基础上进行图像处理,实现运动目标在三维场景中的精细化重构,从而获得动态目标的实时位置信息并在三维场景中实时更新动态目标模型位置状态。
Description
技术领域
本发明涉及空间定位技术领域,具体涉及电力作业现场的高精度空间定位方法、***、设备及介质。
背景技术
基于视觉的目标检测、识别与跟踪算法的研究是人工智能领域的热点,近年来随着深度学习的广泛应用取得了巨大的进步。深度学习技术已逐步应用于电力生产环境中,实现绝缘子、架空弧线、变电站异物、设备温度等一些目标的识别,但变电站场景复杂,实现电力作业各个环节的关键目标识别还有待深入研究。
将真实场景视频信息融合到三维虚拟模型中是虚拟现实技术的一个分支,或者说是虚拟现实的一个发展阶段。三维视频融合技术是指把一个或多个由摄像机图像序列的视频和与之相关的三维虚拟场景加以匹配、融合,生成一个新的关于此场景的动态虚拟场景或模型,实现虚拟场景与实时视频的融合。三维视频融合技术,可依托于单独的三维引擎,实现小范围或局部的三维场景与视频等资源的融合应用,也可依托于三维地理信息***,实现全球广域范围内的三维地理信息可视化融合应用。
在电力作业现场,对作业人员的位置进行准确有效的定位是预防意外发生、保障工作人员安全的重要依据。目前对电力作业现场的作业人员进行位置定位的手段多采用GPS、北斗定位***和UWB定位***实现,但是仅仅依靠于GPS、北斗定位***和UWB定位***无法提取精确的空间位置信息,同时在电力作业现场存在遮挡、目标姿态变化、光照等问题,也会影响在电力作业现场对于作业目标的定位。
综上所述,基于视觉的目标检测、识别和跟踪算法的研究取得了一定的研究进展,但如何处理遮挡、目标姿态变化、光照等问题的影响仍然是研究的重点。现有的视觉定位算法处理的视频图像数据是目标从三维空间到二维空间的投影,无法提取精确的空间位置信息。
现有技术存在的问题如下:
现有用于电力作业现场的视觉定位算法处理的视频图像数据是目标从三维空间到二维空间的投影,无法提取三维空间精确的空间位置信息。
发明内容
本申请所要解决的技术问题是现有用于电力作业现场的视觉定位算法处理的视频图像数据是目标从三维空间到二维空间的投影,无法提取三维空间精确的空间位置信息,目的在于提供电力作业现场的高精度空间定位方法、***、设备及介质,通过在动态目标上配带UWB或北斗定位标签,在运动目标定位的基础上,对其进行图像处理,实现运动目标在三维场景中的精细化重构,从而获得动态目标的实时位置信息并在三维场景中实时更新动态目标模型位置状态,解决了现有的视觉定位算法无法提取三维空间精确的空间位置信息问题。
本申请通过下述技术方案实现:
本申请第一方面提供电力作业现场的高精度空间定位方法,包括
S1、基于视觉定位技术,获取电力作业运动目标的定位;其中,对室内的电力作业运动目标采用UWB辅助视觉定位技术,对室外的电力作业运动目标采用北斗辅助视觉定位技术;UWB辅助视觉定位技术包括UWB辅助的被动视频定位;
S2、根据电力作业运动目标的定位,对电力作业运动目标进行图像分析,得到电力作业运动目标的特征信息并构建电力作业运动目标的三维模型;
S3、根据特征信息细化电力作业运动目标的三维模型,得到高精度三维模型并实时更新所述高精度三维模型在三维场景中的定位。
在上述技术方案中,对室内的电力作业运动目标采用UWB辅助视觉定位技术,对室外的电力作业运动目标采用北斗辅助视觉定位技术,通过将单纯的UWB定位技术、北斗定位技术与视觉定位技术相结合,可以获取电力作业运动目标在三维空间中的定位,减小电力作业场景干扰、遮挡等问题,从而实现厘米级定位。通过在电力作业运动目标上佩戴UWB标签或北斗定位标签,在运动目标定位的基础上对运动目标进行图像分析,实现运动目标在三维场景中的精细化重构,从而获得运动目标的实时位置信息并在三维场景中实时更新运动目标模型位置状态,从而获得三维空间中电力作业运动目标的精确定位。
在一种可选实施例中,所述UWB辅助的被动视频定位的方法包括:
通过两个相机形成的双目视觉***对电力作业运动目标进行定位,获得电力作业运动目标在空间中的位置信息;
基于UWB模型对电力作业运动目标进行定位,获得电力作业运动目标的UWB定位信息;
综合电力作业运动目标在空间中的位置信息和电力作业运动目标的UWB定位信息,获得电力作业运动目标的定位。
在一种可选实施例中,综合电力作业运动目标在空间中的位置信息和电力作业运动目标的UWB定位信息的方法如下:
将双目视觉***测得的位置、航向和UWB模型测得的位置作为观测值,建立UWB/视觉融合观测方程;UWB/视觉融合观测方程如下:
上式中,表示双目视觉***vision测量的平面坐标,表示UWB测量的平面坐标,表示双目视觉***的位置测量误差,表示 UWB 位置测量误差,表示双目视觉***测量的平面坐标与UWB测量的平面坐标之间的偏转角,表示中间矩阵。
在一种可选实施例中,UWB模型的构建方法如下:
建立改进的抗差EKF模型,并采用改进的抗差EKF模型作为UWB模型的标准模型;
采用统计方法判断改进的抗差EKF模型是否存在粗差;
如果存在粗差,调用鲁棒EKF模型作为改进的抗差EKF模型;
如果不存在粗差,调用EKF模型作为改进的抗差EKF模型。
在一种可选实施例中,北斗辅助视觉定位技术的定位方法包括:
基于卡尔曼滤波模型和作业边界线预测位置,获取感兴趣区域;
对感兴趣区域进行图像边缘检测,获取定位区域;
通过多目视觉传感器构建多目视觉测量模型,通过多目视觉测量模型在定位区域中构建多目视觉坐标;
基于加权LM算法,对通过多目视觉测量模型在定位区域中构建的多目视觉坐标进行优化,得到优化多目视觉坐标;
基于北斗定位技术,将优化多目视觉坐标转化为全球定位***的坐标。
在一种可选实施例中,基于卡尔曼滤波模型,通过多个视觉传感器动态获取感兴趣区域的方法如下:
基于卡尔曼滤波预测当前直线位置,获得第一动态感兴趣区;
基于投影法预测作业边界线在图像坐标中所在列号,以该列号为基准,结合当前摄像头调用情况,获得第二动态感兴趣区。
在一种可选实施例中,基于加权LM算法,对通过多目视觉测量模型在定位区域中构建的多目视觉坐标进行优化的方法如下:
采用最小化重投影误差对物点变换至第i个多目视觉传感器后得到的图像坐标进行非线性优化;
将多目视觉传感器到物体的距离进行归一化处理,并将归一化处理后的距离的倒数转化为加权因子;
通过加权因子构建目标函数,将多目视觉坐标代入目标函数进行计算,得到优化多目视觉坐标。
本申请第二方面提供电力作业现场的高精度空间定位***,包括
UWB辅助视频定位模块,所述UWB辅助主动视频定位模块用于获取室内电力作业运动目标的定位,所述UWB辅助主动视频定位模块包括用于初始化环境图像和IMU数据的初始化单元、用于获取视觉坐标的视觉/惯性组合单元和用于获取UWB坐标的超宽带单元;
北斗辅助视觉定位模块,所述北斗辅助视觉定位模块用于获取室外电力作业运动目标的定位,所述北斗辅助视觉定位模块包括用于减少环境因素对作业边界线提取的动态感兴趣区域模块、用于构建多目视觉区域坐标的多目视觉模块和用于将多目视觉区域坐标转化为全球定位***坐标的北斗定位模块。
本申请第三方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时用于实现电力作业现场的高精度空间定位方法。
本申请第四方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于实现电力作业现场的高精度空间定位方法。
本申请与现有技术相比,具有如下的优点和有益效果:
通过在动态目标上配带UWB或北斗定位标签,在运动目标定位的基础上,对其进行图像处理,实现运动目标在三维场景中的精细化重构,从而获得动态目标的实时位置信息并在三维场景中实时更新动态目标模型位置状态,通过验证实验证明重构的动态模型与实际尺寸的误差小于1%。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。在附图中:
图1为本申请一实施例提供的电力作业现场的高精度空间定位方法的流程示意图;
图2为本申请一实施例提供的多目视觉融合北斗定位的坐标变换示意图;
图3为本申请一实施例提供的速度为0.4m/s时试验场地中的辅助导航追踪结果图;
图4为本申请一实施例提供的速度为0.8m/s时试验场地中的辅助导航追踪结果图;
图5为本申请一实施例提供的速度为1.2m/s时试验场地中的辅助导航追踪结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1
本实施例提供了一种电力作业现场的高精度空间定位方法,其方法的流程如图1所示,包括:
步骤S1、基于视觉定位技术,获取电力作业运动目标的定位信息。
其中,对室内的电力作业运动目标采用UWB辅助视觉定位技术,对室外的电力作业运动目标采用北斗辅助视觉定位技术;UWB辅助视觉定位技术包括UWB辅助的主动视频定位和UWB辅助的被动视频定位。
其中,对于未配置视觉***的穿戴设备,可通过变电站安装的摄像机结合UWB技术实现运动目标的定位。
其中,采用改进的抗差EKF模型作为UWB模型的标准模型。
在改进抗差EKF定位模型中,抗差EKF增益矩阵构造如下:
为了提高定位的角度,构建顾及视觉尺度因子和初始方向的视觉/UWB融合EKF定位模型,状态与量测方程分别表示为:
根据视觉和UWB的误差方程,对应的状态模型为:
如果将视觉测得的位置、航向和 UWB 测得的位置作为观测值,则 UWB/视觉融合观测方程可表示为:
上式中,表示双目视觉***vision测量的平面坐标,表示UWB测量的平面坐标,表示双目视觉***的位置测量误差,表示 UWB 位置测量误差,表示双目视觉***测量的平面坐标与UWB测量的平面坐标之间的偏转角。
在一种可选实施例中,对于室外的电力作业运动目标,可以采用北斗辅助视觉定位技术。受制于北斗定位精度和现场作业施工设备运动、地理环境限制,目前单纯依靠北斗定位仅可实现米级精度定位,无法满足动态电力作业场景的厘米级高精度定位需求。故将北斗定位技术与多目视觉辅助定位技术相结合以提供定位精度。
如图2所示,该图中的坐标系为建立在优化过的加权LM算法迭代后的坐标系,取坐标系中一点,已知行驶航线上的一点P在坐标系下的坐标为、G点在坐标系下的坐标为,以G点为原点建立坐标系,则P点在坐标系下的坐标为
以相机上固定点C为原点建立坐标系,可测得C点到地面G点得水平距离为l 1为2.5m,可知P点O c在坐标系下的坐标为:
施工机械安装有北斗定位导航装置,通过解算可以得出车辆控制点M点在大地平面坐标系O中的单位为m的坐标及车辆的航向角。以M点为原点建立坐标系O m,测得和相机上固定点O c的距离为l 2,P点在O m坐标系下的坐标为:
通过定位***可知M在大地坐标系O中的坐标为(x w,y w),通过计算可得P点在大地坐标系下的坐标(x o,y o),即:
综上所述,已知航线路径上一点P的图像坐标(x p,y p),可得其在全球定位***中的坐标(x o,y o),即:
在多目视觉测量***中,通常采用最小化重投影误差的方式进行非线性优化,即
上式中:表示调整前物点变换至第i个相机后得到的图像坐标,表示调整后的物点变换至第i个相机后得到的图像坐标。当各相机参数、测量环境等因素均相同时,相机到物点的距离对成像噪声影响较为明显,距离越远,噪声越大,反之噪声越小。在设计目标函数时,将相机到物点距离的倒数转化为加权因子,同时为了增加不同相机之间的可比性,对距离信息进行归一化处理。
上式中,雅可比矩阵J里面的值分别为Fui、Fvi关于xw、yw、zw方向的一阶偏导数。将上式代入下式中,可得增量为
上式中,μ为更新后的阻尼系数。因此,采用加权LM算法对通过多目视觉测量模型在定位区域中构建的坐标进行优化,具体计算步骤如下:
(1)根据正交投影法计算物点坐标初值 ,设置迭代终止常量为e、实际下降效果阈值为ε、迭代次数为k,并初始化μ;
(3)计算增量ΔP;
(4)计算ρ,评估当前下降效果;
(5)若ρ<ε,则μ=0.5μ,并返回步骤(3),否则 ,继续执行步骤(6);
为了对作业边界线提取算法实时性进行分析,本实施例统计了100幅施工过程图片在算法改进前后的各图像处理步骤,以及整个图像处理过程的平均时间,其结果如下表所示:
由上表中数据可知,平均每幅图像处理时间由算法改进前的0.176087s缩短至0.064547s,比原处理时间缩短了63.3%,算法改进后的图像处理时间能较好地满足导航***对图像处理时间的需求。
速度为0.4m/s时,场地中的辅助导航追踪结果图如图3所示,速度为0.4m/s时田间地块中的辅助导航结果如下表所示:
由图3和上表可知,施工机械以0.4m/s的速度在试验场地中进行直线作业时,在初始偏差为30cm的情况下,首次作业至横向偏差至0后,最大横向偏差为6.5cm,平均值为0.49cm,标准差为3.05cm。其结果表明施工机械在试验场地可以在有较大初始偏差的情况下通过不断更新北斗定位数据和视觉图片信息,***仿真轨迹与施工机械实际位置趋同。随着作业跟踪时间延长,仿真作业定位精度越发稳定,辅助导航效果可以很好满足要求。
速度为0.8m/s时,场地中的辅助导航追踪结果图如图4所示,速度为0.8m/s时田间地块中的辅助导航结果如下表所示:
由图4和上表可知,施工机械以0.8m/s的速度在试验场地中进行直线作业时,在初始偏差为30cm的情况下,首次作业至横向偏差至0后,最大横向偏差为13.7cm,平均值为0.82cm,标准差为5.98cm。在有较大初始偏差的情况下调节施工机械位姿,使得施工机械按照预计的轨迹行走。其结果表明施工机械在试验场地可以在有较大初始偏差的情况下通过不断更新北斗定位数据和视觉图片信息,***仿真轨迹与施工机械实际位置趋同。随着作业跟踪时间延长,仿真作业定位精度越发稳定,辅助导航效果可以很好满足设计要求。
速度为1.2m/s时,场地中的辅助导航追踪结果图如图5所示,速度为0.8m/s时田间地块中的辅助导航结果如下表所示:
由图5和上表可知,施工机械以1.2m/s的速度在试验场地中进行直线作业时,在初始偏差为30cm的情况下,首次作业至横向偏差至0后,最大横向偏差为19.2cm,平均值为1.40cm,标准差为7.06cm。其结果可基本满足辅助导航设计要求,但在辅助导航过程中出现小范围明显的波动,后续通过车轮印记分析,是施工机械在形式过程中刹车转向导致,该偏差不影响仿北斗辅助视觉定位技术在仿真***中的应用效果。
场地试验结果表明,施工机械分别以0.4m/s、0.8m/s、1.2m/s 的速度行进实验时,横向偏差的最大值分别为 6.5cm、13.7cm、19.2cm,偏差平均值分别为0.49cm,0.87cm,1.40cm,偏差标准差分别为3.05cm,5.98cm,7.06cm,定位精度高于单纯依靠北斗导航定位精度,可满足电力作业环境下,仿真***辅助导航的定位精度要求。
步骤S2、通过对该定位上的电力作业运动目标进行图像分析,获得电力作业运动目标的特征信息并构建电力作业运动目标的三维模型。
采用实景三维模型扫描技术、点云融合技术、精细化建模技术对多种检修车、作业人员进行建模,还原其真实结构、纹理。检修车模型按型号命名,与作业人员模型形成动态目标精细化模型库。
对于检修车,通过图像识别技术识别出其型号编码,将其型号编码作为特征信息。
具体而言,步骤如下:
A、采用动态采集的方式,从监控视频的实时视频流图像中采集车辆信息。
B、对采集到检修车型号编码图像进行噪声过滤、对比度增强、图像缩放等预处理。
C、依据牌照纹理特征、颜色特征和形状特征等信息,采用投影分析、连通域分析、机器学***和垂直方向的投影分析来定位检修车型号编码。
连通域分析根据检修车型号编码中的每个字符都是一个连通域且这些连通域的结构和颜色都一致的特征,通过检测并合并这些连通域来定位检修车型号编码。
D、提取出检修车型号编码区域后,需要再对检修车型号编码区域以一个字符为单位进行分割。
E、对分割后的字符的灰度图像进行归一化处理,特征提取,然后经过机器学习或与字符数据库模板进行匹配,最后选取匹配度最高的结果作为识别结果。
对于作业人员,通过图像识别技术识别出具有个体代表性的外貌表观特征和几何特征作为特征信息。
具体而言,步骤如下:
A、建立人脸图像数据库。
B、根据人脸特征信息,提取人脸图像数据库中的人脸图像特征。
步骤S3、根据特征信息细化电力作业运动目标的三维模型,获取高精度三维模型以及该高精度三维模型在三维场景定位更新。
动态目标精细化模型库中包含各种检修车模型、作业人员模型。对于检修车,通过识别到的型号编码在数据库中进行提取;对于作业人员,通过识别到的人员姓名进行提取,并根据作业人员信息中的身高,调整三维模型。
通过在动态目标上配带UWB或北斗定位标签,在运动目标定位的基础上,采用括图像采集、预处理、型号编码定位、字符分割、字符识别、结果输出等一系列算法运算,实现运动目标在三维场景中的精细化重构,从而获得动态目标的实时位置信息并在三维场景中实时更新动态目标模型位置状态,通过验证实验证明重构的动态模型与实际尺寸的误差小于1%。
实施例2
本实施例在实施例1的基础上提供了一种电力作业现场的高精度空间定位***,包括:
UWB辅助视频定位模块,UWB辅助视频定位模块用于获取室内电力作业运动目标的定位,所述UWB辅助视频定位模块包括用于初始化环境图像和IMU数据的初始化单元、用于获取视觉坐标的视觉/惯性组合单元和用于获取UWB坐标的超宽带单元;
北斗辅助视觉定位模块,北斗辅助视觉定位模块用于获取室外电力作业运动目标的定位,所述北斗辅助视觉定位模块包括用于减少环境因素对作业边界线提取的动态感兴趣区域模块、用于构建多目视觉区域坐标的多目视觉模块和用于将多目视觉区域坐标转化为全球定位***坐标的北斗定位模块。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.电力作业现场的高精度空间定位方法,其特征在于,包括:
S1、基于视觉定位技术,获取电力作业运动目标的定位;其中,对室内的电力作业运动目标采用UWB辅助视觉定位技术,对室外的电力作业运动目标采用北斗辅助视觉定位技术;UWB辅助视觉定位技术包括UWB辅助的被动视频定位;
S2、根据电力作业运动目标的定位,对电力作业运动目标进行图像分析,得到电力作业运动目标的特征信息并构建电力作业运动目标的三维模型;
S3、根据特征信息细化电力作业运动目标的三维模型,得到高精度三维模型并实时更新所述高精度三维模型在三维场景中的定位。
2.根据权利要求1所述的电力作业现场的高精度空间定位方法,其特征在于,所述UWB辅助的被动视频定位的方法包括:
通过两个相机形成的双目视觉***对电力作业运动目标进行定位,获得电力作业运动目标在空间中的位置信息;
基于UWB模型对电力作业运动目标进行定位,获得电力作业运动目标的UWB定位信息;
综合电力作业运动目标在空间中的位置信息和电力作业运动目标的UWB定位信息,获得电力作业运动目标的定位。
4.根据权利要求3所述的电力作业现场的高精度空间定位方法,其特征在于,UWB模型的构建方法如下:
建立改进的抗差EKF模型,并采用改进的抗差EKF模型作为UWB模型的标准模型;
采用统计方法判断改进的抗差EKF模型是否存在粗差;
如果存在粗差,则调用鲁棒EKF模型作为改进的抗差EKF模型。
5.根据权利要求1所述的电力作业现场的高精度空间定位方法,其特征在于,北斗辅助视觉定位技术的定位方法包括:
基于卡尔曼滤波模型和作业边界线预测位置,获取感兴趣区域;
对感兴趣区域进行图像边缘检测,获取定位区域;
通过多目视觉传感器构建多目视觉测量模型,通过多目视觉测量模型在定位区域中构建多目视觉坐标;
基于加权LM算法,对通过多目视觉测量模型在定位区域中构建的多目视觉坐标进行优化,得到优化多目视觉坐标;
基于北斗定位技术,将优化多目视觉坐标转化为全球定位***的坐标。
6.根据权利要求5所述的电力作业现场的高精度空间定位方法,其特征在于,基于卡尔曼滤波模型,通过多个视觉传感器动态获取感兴趣区域的方法如下:
基于卡尔曼滤波预测当前直线位置,获得第一动态感兴趣区;
基于投影法预测作业边界线在图像坐标中所在列号,以该列号为基准,结合当前摄像头调用情况,获得第二动态感兴趣区。
7.根据权利要求5所述的电力作业现场的高精度空间定位方法,其特征在于,基于加权LM算法,对通过多目视觉测量模型在定位区域中构建的多目视觉坐标进行优化的方法如下:
采用最小化重投影误差对物点变换至第i个多目视觉传感器后得到的图像坐标进行非线性优化;
将多目视觉传感器到物体的距离进行归一化处理,并将归一化处理后的距离的倒数转化为加权因子;
通过加权因子构建目标函数,将多目视觉坐标代入目标函数进行计算,得到优化多目视觉坐标。
8.电力作业现场的高精度空间定位***,其特征在于,包括:
UWB辅助视频定位模块,所述UWB辅助视频定位模块用于获取室内电力作业运动目标的定位,所述UWB辅助视频定位模块包括用于初始化环境图像和IMU数据的初始化单元、用于获取视觉坐标的视觉/惯性组合单元和用于获取UWB坐标的超宽带单元;
北斗辅助视觉定位模块,所述北斗辅助视觉定位模块用于获取室外电力作业运动目标的定位,所述北斗辅助视觉定位模块包括用于减少环境因素对作业边界线提取的动态感兴趣区域模块、用于构建多目视觉区域坐标的多目视觉模块和用于将多目视觉区域坐标转化为全球定位***坐标的北斗定位模块。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述的电力作业现场的高精度空间定位方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7任一项所述的电力作业现场的高精度空间定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211524412.6A CN115542362A (zh) | 2022-12-01 | 2022-12-01 | 电力作业现场的高精度空间定位方法、***、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211524412.6A CN115542362A (zh) | 2022-12-01 | 2022-12-01 | 电力作业现场的高精度空间定位方法、***、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115542362A true CN115542362A (zh) | 2022-12-30 |
Family
ID=84722565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211524412.6A Pending CN115542362A (zh) | 2022-12-01 | 2022-12-01 | 电力作业现场的高精度空间定位方法、***、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115542362A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118102233A (zh) * | 2024-04-22 | 2024-05-28 | 南方电网调峰调频发电有限公司 | 抽水蓄能基建工程多场景的对象定位方法和装置 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077539A (zh) * | 2013-01-23 | 2013-05-01 | 上海交通大学 | 一种复杂背景及遮挡条件下的运动目标跟踪方法 |
CN104715252A (zh) * | 2015-03-12 | 2015-06-17 | 电子科技大学 | 一种动态模板结合像素点的车牌字符分割方法 |
CN106647784A (zh) * | 2016-11-15 | 2017-05-10 | 天津大学 | 基于北斗导航***的微小型无人飞行器定位与导航方法 |
CN107133563A (zh) * | 2017-03-17 | 2017-09-05 | 深圳市能信安科技股份有限公司 | 一种基于公安领域的视频分析***及方法 |
CN107967473A (zh) * | 2016-10-20 | 2018-04-27 | 南京万云信息技术有限公司 | 基于图文识别和语义的机器人自主定位和导航 |
CN108012325A (zh) * | 2017-10-30 | 2018-05-08 | 上海神添实业有限公司 | 一种基于uwb和双目视觉的导航定位方法 |
CN108549771A (zh) * | 2018-04-13 | 2018-09-18 | 山东天星北斗信息科技有限公司 | 一种挖掘机辅助施工***及方法 |
CN109002744A (zh) * | 2017-06-06 | 2018-12-14 | 中兴通讯股份有限公司 | 图像识别方法、装置和视频监控设备 |
CN109489629A (zh) * | 2018-12-07 | 2019-03-19 | 国网四川省电力公司电力科学研究院 | 一种输电线路杆塔的安全监测方法 |
CN111401364A (zh) * | 2020-03-18 | 2020-07-10 | 深圳市市政设计研究院有限公司 | 一种基于颜色特征和模板匹配相结合的车牌定位算法 |
CN111476233A (zh) * | 2020-03-12 | 2020-07-31 | 广州杰赛科技股份有限公司 | 一种车牌号码的定位方法和装置 |
CN111508006A (zh) * | 2020-04-23 | 2020-08-07 | 南开大学 | 一种基于深度学习的运动目标同步检测、识别与跟踪方法 |
CN112101343A (zh) * | 2020-08-17 | 2020-12-18 | 广东工业大学 | 一种车牌字符分割与识别方法 |
CN112465401A (zh) * | 2020-12-17 | 2021-03-09 | 国网四川省电力公司电力科学研究院 | 基于多维信息融合的电力作业安全管控***及其管控方法 |
CN112560745A (zh) * | 2020-12-23 | 2021-03-26 | 南方电网电力科技股份有限公司 | 一种电力作业现场人员甄别方法及相关装置 |
CN113392839A (zh) * | 2021-05-18 | 2021-09-14 | 浙江大华技术股份有限公司 | 非机动车车牌识别方法、装置、计算机设备和存储介质 |
CN114092875A (zh) * | 2021-11-01 | 2022-02-25 | 南方电网深圳数字电网研究院有限公司 | 基于机器学习的作业现场***方法及装置 |
CN114723824A (zh) * | 2022-04-01 | 2022-07-08 | 浙江工业大学 | 基于双目摄像头和超宽带融合的室内单人定位方法 |
CN115326053A (zh) * | 2022-08-18 | 2022-11-11 | 华南理工大学 | 一种基于双层视觉的移动机器人多传感器融合定位方法 |
CN115412846A (zh) * | 2022-08-31 | 2022-11-29 | 常熟理工学院 | 一种地下多场景的身份检测定位方法、***及存储介质 |
-
2022
- 2022-12-01 CN CN202211524412.6A patent/CN115542362A/zh active Pending
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077539A (zh) * | 2013-01-23 | 2013-05-01 | 上海交通大学 | 一种复杂背景及遮挡条件下的运动目标跟踪方法 |
CN104715252A (zh) * | 2015-03-12 | 2015-06-17 | 电子科技大学 | 一种动态模板结合像素点的车牌字符分割方法 |
CN107967473A (zh) * | 2016-10-20 | 2018-04-27 | 南京万云信息技术有限公司 | 基于图文识别和语义的机器人自主定位和导航 |
CN106647784A (zh) * | 2016-11-15 | 2017-05-10 | 天津大学 | 基于北斗导航***的微小型无人飞行器定位与导航方法 |
CN107133563A (zh) * | 2017-03-17 | 2017-09-05 | 深圳市能信安科技股份有限公司 | 一种基于公安领域的视频分析***及方法 |
CN109002744A (zh) * | 2017-06-06 | 2018-12-14 | 中兴通讯股份有限公司 | 图像识别方法、装置和视频监控设备 |
CN108012325A (zh) * | 2017-10-30 | 2018-05-08 | 上海神添实业有限公司 | 一种基于uwb和双目视觉的导航定位方法 |
CN108549771A (zh) * | 2018-04-13 | 2018-09-18 | 山东天星北斗信息科技有限公司 | 一种挖掘机辅助施工***及方法 |
CN109489629A (zh) * | 2018-12-07 | 2019-03-19 | 国网四川省电力公司电力科学研究院 | 一种输电线路杆塔的安全监测方法 |
CN111476233A (zh) * | 2020-03-12 | 2020-07-31 | 广州杰赛科技股份有限公司 | 一种车牌号码的定位方法和装置 |
CN111401364A (zh) * | 2020-03-18 | 2020-07-10 | 深圳市市政设计研究院有限公司 | 一种基于颜色特征和模板匹配相结合的车牌定位算法 |
CN111508006A (zh) * | 2020-04-23 | 2020-08-07 | 南开大学 | 一种基于深度学习的运动目标同步检测、识别与跟踪方法 |
CN112101343A (zh) * | 2020-08-17 | 2020-12-18 | 广东工业大学 | 一种车牌字符分割与识别方法 |
CN112465401A (zh) * | 2020-12-17 | 2021-03-09 | 国网四川省电力公司电力科学研究院 | 基于多维信息融合的电力作业安全管控***及其管控方法 |
CN112560745A (zh) * | 2020-12-23 | 2021-03-26 | 南方电网电力科技股份有限公司 | 一种电力作业现场人员甄别方法及相关装置 |
CN113392839A (zh) * | 2021-05-18 | 2021-09-14 | 浙江大华技术股份有限公司 | 非机动车车牌识别方法、装置、计算机设备和存储介质 |
CN114092875A (zh) * | 2021-11-01 | 2022-02-25 | 南方电网深圳数字电网研究院有限公司 | 基于机器学习的作业现场***方法及装置 |
CN114723824A (zh) * | 2022-04-01 | 2022-07-08 | 浙江工业大学 | 基于双目摄像头和超宽带融合的室内单人定位方法 |
CN115326053A (zh) * | 2022-08-18 | 2022-11-11 | 华南理工大学 | 一种基于双层视觉的移动机器人多传感器融合定位方法 |
CN115412846A (zh) * | 2022-08-31 | 2022-11-29 | 常熟理工学院 | 一种地下多场景的身份检测定位方法、***及存储介质 |
Non-Patent Citations (13)
Title |
---|
刘德辉: ""基于双目视觉里程计辅助的UWB/GNSS室内外定位算法研究"" * |
刘德辉: ""基于双目视觉里程计辅助的UWB/GNSS室内外定位算法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
刘飞: ""多传感器融合的高精度无缝定位模型与方法研究"" * |
周爱国 等: ""基于加权 Levenberg-Marquardt的多目视觉同名物点定位算法"" * |
周爱国 等: ""基于加权 Levenberg-Marquardt的多目视觉同名物点定位算法"", 《激光与光电子学进展》 * |
张明军 等: ""一种基于机器学习的车牌识别***的设计"" * |
李鹏 等: ""改进自适应抗差容积卡尔曼滤波多源室内定位"", 《导航定位与授时》 * |
杨博: ""视觉/惯性/超宽带组合定位***关键技术研究"" * |
王璇: ""基于视觉的电力***输电线检测与跟踪"" * |
王璇: ""基于视觉的电力***输电线检测与跟踪"", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
申炳琦 等: ""移动机器人 UWB 与 VIO 组合室内定位算法"" * |
申炳琦 等: ""移动机器人 UWB 与 VIO 组合室内定位算法"", 《计算机应用》 * |
郑顾平 等: ""基于机器学习的多车牌识别算法应用研究"" * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118102233A (zh) * | 2024-04-22 | 2024-05-28 | 南方电网调峰调频发电有限公司 | 抽水蓄能基建工程多场景的对象定位方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及*** | |
Dhiman et al. | Pothole detection using computer vision and learning | |
CN110531759B (zh) | 机器人探索路径生成方法、装置、计算机设备和存储介质 | |
CN111429574B (zh) | 基于三维点云和视觉融合的移动机器人定位方法和*** | |
Zhao et al. | Detection, tracking, and geolocation of moving vehicle from uav using monocular camera | |
CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及*** | |
WO2021021862A1 (en) | Mapping and localization system for autonomous vehicles | |
CN114140761A (zh) | 点云配准方法、装置、计算机设备和存储介质 | |
CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
CN114463932B (zh) | 非接触式施工安全距离主动动态识别预警***及方法 | |
CN115542362A (zh) | 电力作业现场的高精度空间定位方法、***、设备及介质 | |
Yu et al. | Accurate and robust visual localization system in large-scale appearance-changing environments | |
Wang et al. | 3D-LIDAR based branch estimation and intersection location for autonomous vehicles | |
CN114721008A (zh) | 一种障碍物检测方法、装置、计算机设备和存储介质 | |
Kampker et al. | Concept study for vehicle self-localization using neural networks for detection of pole-like landmarks | |
CN114549549A (zh) | 一种动态环境下基于实例分割的动态目标建模跟踪方法 | |
CN114049362A (zh) | 一种基于transformer的点云实例分割方法 | |
Sun et al. | Real-time and fast RGB-D based people detection and tracking for service robots | |
Suzuki et al. | SLAM using ICP and graph optimization considering physical properties of environment | |
CN116188417A (zh) | 基于slam和图像处理的裂缝检测及其三维定位方法 | |
CN115497086A (zh) | 一种自动驾驶中基于细粒度识别的3d场景流估计的方法 | |
CN115761265A (zh) | 一种用于提取激光雷达点云中变电站设备的方法及装置 | |
Kim et al. | 3D pose estimation and localization of construction equipment from single camera images by virtual model integration | |
CN112146647B (zh) | 一种地面纹理的双目视觉定位方法及芯片 | |
Zhang et al. | Vision-based uav positioning method assisted by relative attitude classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221230 |