CN113034590B - 基于视觉融合的auv动态对接定位方法 - Google Patents
基于视觉融合的auv动态对接定位方法 Download PDFInfo
- Publication number
- CN113034590B CN113034590B CN202110232184.4A CN202110232184A CN113034590B CN 113034590 B CN113034590 B CN 113034590B CN 202110232184 A CN202110232184 A CN 202110232184A CN 113034590 B CN113034590 B CN 113034590B
- Authority
- CN
- China
- Prior art keywords
- auv
- image
- marker
- docking
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003032 molecular docking Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims description 18
- 239000003550 marker Substances 0.000 claims abstract description 95
- 210000001503 joint Anatomy 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 201000004569 Blindness Diseases 0.000 abstract description 2
- 230000004393 visual impairment Effects 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000178 monomer Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明一种基于视觉融合的AUV动态对接定位方法,首先在水下环境中,对接AUV利用自身前部安装的双目视觉***中的两个单目摄像头,分别获取目标AUV后部标志物图像,分为左图像和右图像;根据左图像和右图像,利用双目视觉算法,解算得到标志物尺寸;在水下对接过程中,对接AUV利用自身前部安装的双目视觉***中的两个单目摄像头,分别获取目标AUV后部标志物图像,并依据解算得到的标志物尺寸,分别利用单目视觉定位算法,解算得到两组定位结果;对得到的两组定位结果进行加权融合,得到最终的AUV动态对接定位结果。本发明既保证了单目的精度又解决了双目视觉丢失率高的问题,为动态对接的控制提供了较为准确的定位信息。
Description
技术领域
本发明涉及AUV动态对接技术领域,具体为一种基于视觉融合的AUV动态对接定位方法。
背景技术
在对水底地形的勘测和水下机械作业中,AUV是其重要的运载平台,单独的AUV个体可以在水下实现探测和机械作业功能。但其突出缺点是在面对复杂的水下环境的时候,单个独立的AUV受到了体积和长度的限制从而没有办法完成复杂的功能。小体积AUV携带的有效载荷有限,大体积AUV无法穿越复杂的水下空间。多AUV的出现解决了这问题,将小体积和具有不同功能的AUV使用串联方式对接,满足了功能的多样性和作业的机动性。
对接技术分为静态对接和动态对接。经典的回收对接属于静态对接,静态对接应用在水下充电和信息交换领域,其对接装置固定在确定的位置。动态对接相对静态对接更为复杂,每个单体之间需要在运动的状态下实现对接。动态对接应用于水下搜寻,协同任务等。分体式多AUV通过串联方法组成单体AUV。小AUV之间通过动态对接技术完成彼此的分解和组合。在到达作业区执行任务时分解成小的AUV,来应对水下复杂的环境,穿越狭小的空间,提高整体水下探测的效率和作业的机动性,结束作业后组合成一个单体AUV。
在水下动态对接的技术中,实现小AUV之间的定位是关键。定位是指获取对接AUV和目标AUV之间的距离和相对姿态。在动态对接的过程中将两个AUV之间的距离缩小到零同时保证姿态保持一致。动态对接定位的误差对动态对接结果具有较大的影响。当定位的误差较大时,就会出现对接失败和反复对接的情况,最终无法实现对接。
目前获取相对定位信息的方法较为成熟的是使用声学设备。但是在近距离使用声学设备获取相对定位信息时,因近距离声学的噪声较大,具有较大的误差,无法实现精准的相对定位,进而影响到动态对接的效果。视觉的补充使用可以弥补声学的缺陷,通过视觉获取定位信息的技术中,目前使用单目视觉的方法较多。单目视觉可以满足静态对接的要求,但是在动态对接中,目标AUV与对接AUV均处于运动状态,视觉定位的有效帧数减小,且视觉角度有限,导致单目视觉定位精度下降,无法满足动态对接的要求。
另外,在采用单目视觉进行定位时,需要利用标志物尺寸解算相对距离和角度,现有方法中,对于标志物尺寸都是在岸上环境下预先测量后,作为已知量输入到单目视觉定位方法中,但申请人在研究过程中发现,在水下实际环境中,在岸上测量的标志物尺寸直接应用到水下后,存在***误差,导致采用岸上环境测量的标志物尺寸应用到单目视觉定位方法中后,无法得到精确的定位结果。这种***误差对于静态对接的影响上课接受,但对于动态对接则影响较大,且单目视觉方法本身也无法解算标志物的尺寸,导致目前在水下环境中使用单目视觉方法进行动态对接时,因定位精度不足,而难以动态对接成功。
发明内容
动态对接过程中,单目视觉的有效帧数较小,丢失标志物的情况较多,而双目视觉的有效帧数更少,因此单纯采用单目视觉或双目视觉方法进行动态定位均不能满足动态对接要求。为提高AUV通过视觉获取相对定位信息的精度和容错率,尤其是在动态对接过程中的定位精度,解决依靠声学获取相对定位过程中噪声的干扰问题以及单纯采用单目视觉或双目视觉方法存在误差较大和容错率小的问题,本发明提出了一种基于视觉融合的AUV动态对接定位方法,采用双目视觉解算出水下环境下能够抵消***误差的标志物尺寸,并将双目视觉分解为两个单目视觉,分别通过PNP算法计算得出的两组相对定位信息进行信息加权融合,通过信息融合的方式,得到最终的相对定位信息,这样不仅提高了视觉的覆盖范围,同时提高了相对定位信息获取的精度和容错率,既保证了单目的精度又解决了双目视觉丢失率高的问题。
本发明的技术方案为:
所述一种基于视觉融合的AUV动态对接定位方法,包括以下步骤:
步骤1:在水下环境中,对接AUV利用自身前部安装的双目视觉***中的两个单目摄像头,分别获取目标AUV后部标志物图像,分为左图像和右图像;根据左图像和右图像,利用双目视觉算法,解算得到标志物尺寸;
步骤2:在水下对接过程中,对接AUV利用自身前部安装的双目视觉***中的两个单目摄像头,分别获取目标AUV后部标志物图像,并依据步骤1解算得到的标志物尺寸,分别利用单目视觉定位算法,解算得到两组定位结果;
步骤3:对步骤2得到的两组定位结果进行加权融合,得到最终的AUV动态对接定位结果。
进一步的,步骤1中,采用双目视觉相似三角形算法,解算得到标志物尺寸。
进一步的,步骤2中,分别利用单目视觉PNP定位算法,解算得到两组定位结果。
进一步的,步骤3中,最终的定位结果包括距离矩阵R和旋转矩阵T:
其中R1,T1为利用左侧单目摄像头拍摄图像,通过单目视觉定位算法解算出的定位结果,R2,T2为利用右侧单目摄像头拍摄图像,通过单目视觉定位算法解算出的定位结果;ρ1,ρ2为两组定位结果的权重。
进一步的,目标AUV后部标志物包括二维码标志物和矩阵光信标标志物;所述二维码标志物由黑白二维码和辅助照明设备构成;所述矩阵光信标标志物由四个发光灯球构成,四个发光灯球组成矩形,且三个灯球颜色相同,另一个灯球颜色与所述三个灯球颜色不同。
进一步的,步骤3中,按照动态对接阶段确定两组定位结果的权重:
步骤3.1:根据两组定位结果中的距离矩阵确定所属动态对接阶段,其中第一阶段为距离小于S1的对接阶段,第二阶段为距离处于S1~S2范围内的对接阶段,第三阶段为距离大于S2的对接阶段;
步骤3.2:若所属动态对接阶段为第一阶段,则利用二维码标志物,采用四点平均法分别解算左右两组定位结果的权重:
对左侧图像中的二维码标志物解算得到二维码四个角点在图像坐标系下的横坐标为xl1,xl2,xl3,xl4,纵坐标为yl1,yl2,yl3,yl4,图像中心坐标为(xl0,yl0),则左侧图像二维码标志物的权重标量值ρ1=(xm-xl0)2+(ym-yl0)2,其中
对右侧图像中的二维码标志物解算得到二维码四个角点在图像坐标系下的横坐标为xr1,xr2,xr3,xr4,纵坐标为yr1,yr2,yr3,yr4,图像中心坐标为(xr0,yr0),则右侧图像二维码标志物的权重标量值ρ2=(xn-xr0)2+(yn-yr0)2,其中
若所属动态对接阶段为第二阶段,则利用二维码标志物,采用起点距离加权法分别解算左右两组定位结果的权重:
其中λ1为二维码标志物起始角点权重,λ2=λ3=λ4为二维码标志物剩余三个角点的权重,且λ1>λ2=λ3=λ4;
若所属动态对接阶段为第三阶段,则利用矩阵光信标标志物,采用起点向量加权法分别解算左右两组定位结果的权重:
以图像中矩阵光信标标志物内独立颜色灯球作为1号点,其余三个灯球分别为2,3,4号点;
对于左侧图像的1,2,3,4号点,在图像坐标系下的横坐标分别为x′l1,x′l2,x′l3,x′l4,纵坐标为y′l1,y′l2,y′l3,y′l4,并利用公式进行坐标放大:
对于右侧图像的1,2,3,4号点,在图像坐标系下的横坐标分别为x′r1,x′r2,x′r3,x′r4,纵坐标为y′r1,y′r2,y′r3,y′r4,并利用公式进行坐标放大:
其中K大于1;
则左侧图像矩阵光信标标志物的权重标量值ρ1=(x″m-x′l0)2+(y″m-y′l0)2,其中
左侧图像中心坐标为(x′l0,y′l0);
而右侧图像矩阵光信标标志物的权重标量值ρ2=(xn″-x′r0)2+(yn″-y′r0)2,其中
右侧图像中心坐标为(x′r0,y′r0)。
进一步的,S1取值为2m,S2取值为5m
进一步的,利用1号点以及其余三个灯球的坐标,计算得到满足条件
|l24|>|l34|>|l23|
|l34|>|l23|
l13·l24<0
的向量l13,l23,l24,l34,下标为向量的起点和终点,从而确定其余三个灯球的编号,从而得到1,2,3,4号点。
进一步的,步骤3.1中,根据两组定位结果中的距离矩阵分别确定对接AUV与目标AUV的距离,取平均值后,依据平均值确定所属动态对接阶段。
进一步的,对接AUV自身前部安装的双目视觉***中的两个单目摄像头光轴平行。
有益效果
本发明提出的基于视觉融合的AUV动态对接定位方法,采用双目视觉解算出水下环境下能够抵消***误差的标志物尺寸,提高了相对定位的计算精度;而且将双目视觉分解为两个单目视觉,分别通过PNP算法计算得出的两组相对定位信息进行信息加权融合,通过信息融合的方式,得到最终的相对定位信息,其中还优选将对接过程分为三个阶段,每个阶段对应相应的融合权重,这样不仅提高了视觉的覆盖范围,同时提高了相对定位信息获取的精度和容错率,既保证了单目的精度又解决了双目视觉丢失率高的问题,为动态对接的控制提供了较为准确的定位信息。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1:本发明的算法示意图;
图2:AUV动态对接三个阶段对应的融合方法示意图;
图3:起点向量加权法中确定灯球编号示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
本发明提出的基于视觉融合的AUV动态对接定位方法,它包含了获取标志物尺寸和两组单目视觉融合两个过程。
在使用单目视觉识别标志物和获取相对定位信息的过程中,需要明确知道标志物的尺寸,在算法解算过程中这个尺寸是没有办法修正的;在实际水下环境中,受到水下光照等因素影响,导致岸上测量的标志物物理尺寸与水下环境中需要应用的标志物尺寸之间存在***误差,从而对整体定位产生影响。
本发明中,首先采用双目视觉和基于视差的方法,获取水下环境中较为精准的标志物尺寸信息。而后将双目视觉和单目视觉定位算法相结合,即将双目视觉看做是两个单目视觉,分别使用单目PNP解算方法,得到两组定位信息。
由于标志物在成像后图像中的位置是不同的,获得的两组定位信息的准确度和误差也是不一样。考虑图像采集设备的特性,存在鱼眼等多种效应,对图像的干扰程度也是不同的。因此根据标志物分别在两个单目视觉图像中的成像位置,确定两组定位信息的加权求和比例。在AUV动态对接的不同阶段采用不同的加权算法,0到2m近距离获取的视觉信息可以忽略标志物内部成像的误差,使用第一种加权方法。标志物四个角点坐标求中心点,计算中心点到成像的像素中心点的距离,根据距离的不同,计算对应的权重比。而2到20m(设定的对接起始距离),不能忽略标志物内部成像的误差,由于标志物成像的原点(标志物的左上角)在单目视觉获取定位信息(PNP)的计算过程中起到标识的作用,标志物原点准确性影响到获取相对定位获取的精度,所以在计算双目权重之间进行标志物四个角点的权重计算。第二种加权方法,分别求取四个角点分别到成像像素中心点的距离。其中起始角点的距离权重大于其余角点的距离权重,例如起始角点的距离权重取2,其余角点的距离权重为1,第二种加权方法适合AUV对接在距离2到5m内,以二维码作为主要识别标志物。第三种加权方法,AUV动态对接距离在5到20m,距离较远,二维码识别困难,因此以矩阵光信标作为主要标志物。
具体步骤如下:
步骤1:在水下环境中,对接AUV利用自身前部安装的双目视觉***中的两个单目摄像头,分别获取目标AUV后部标志物图像,分为左图像和右图像;根据左图像和右图像,利用双目视觉算法,解算得到标志物尺寸。此步骤在定位方法中执行一次,得到标志物尺寸后,如果水下环境无较大变化,就可以不再重复执行。
本实施例中,对接AUV的头端安装的双目视觉***由两个单目摄像头组成,两个单目摄像头的光轴保持平行,且使用相机标定板对双目视觉***中的摄像头进行标定,获得摄像头的内参和外参。
目标AUV尾端安装的标志物包括二维码标志物和矩阵光信标标志物;所述二维码标志物由黑白二维码和辅助照明设备构成;所述矩阵光信标标志物由四个发光LED灯球构成,四个发光LED灯球组成矩形,矩形的左上角使用蓝色LED,其余三个位置使用绿色LED。
本实施例中,对接AUV头端两个摄像头获取目标AUV尾端标志物图像,获取到左图像和右图像,根据左图像和右图像,利用双目视觉相似三角形算法,解算得到标志物尺寸,包括二维码的长宽和光信标矩形的长宽。
步骤2:在水下对接过程中,对接AUV利用自身前部安装的双目视觉***中的两个单目摄像头,分别获取目标AUV后部标志物图像,并依据步骤1解算得到的标志物尺寸,分别利用单目视觉PNP定位算法,解算得到两组定位结果。
步骤3:对步骤2得到的两组定位结果进行加权融合,得到最终的AUV动态对接定位结果。
步骤3中,最终的定位结果包括距离矩阵R和旋转矩阵T:
其中R1,T1为利用左侧单目摄像头拍摄图像,通过单目视觉定位算法解算出的定位结果,R2,T2为利用右侧单目摄像头拍摄图像,通过单目视觉定位算法解算出的定位结果;ρ1,ρ2为两组定位结果的权重,该权重按照动态对接阶段确定:
步骤3.1:根据两组定位结果中的距离矩阵分别确定对接AUV与目标AUV的距离,取平均值后,依据平均值确定所属动态对接阶段;其中第一阶段为距离小于2m的对接阶段,第二阶段为距离处于2m~5m范围内的对接阶段,第三阶段为距离大于5m的对接阶段。
步骤3.2:若所属动态对接阶段为第一阶段,该阶段为近距离阶段,所以利用二维码标志物,采用四点平均法分别解算左右两组定位结果的权重:
图像越靠近中心产生的畸变越小,得到的结果越准确,四点平均法即将四个点的横坐标X和纵坐标Y相加以后求取平均数,计算新坐标距离图像中心的距离。
通过对左侧图像中的二维码标志物解算得到二维码四个角点在图像坐标系下的横坐标为xl1,xl2,xl3,xl4,纵坐标为yl1,yl2,yl3,yl4,图像中心坐标为(xl0,yl0),则左侧图像二维码标志物的权重标量值ρ1=(xm-xl0)2+(ym-yl0)2,其中
而对右侧图像中的二维码标志物解算得到二维码四个角点在图像坐标系下的横坐标为xr1,xr2,xr3,xr4,纵坐标为yr1,yr2,yr3,yr4,图像中心坐标为(xr0,yr0),则右侧图像二维码标志物的权重标量值ρ2=(xn-xr0)2+(yn-yr0)2,其中
若所属动态对接阶段为第二阶段,也利用二维码标志物,采用起点距离加权法分别解算左右两组定位结果的权重;考虑到在计算定位过程中需要频繁使用二维码起始角点的坐标,起始角点坐标的准确性对于最后结果具有重要的影响,因此在求取图像中心点到标志物四个点的距离后,使用距离加权提升起始角点的权重比,λ1为二维码标志物起始角点权重,λ2=λ3=λ4为二维码标志物剩余三个角点的权重,本实施例中根据二维码标志物的长宽和成像的图像长宽,选取起始角点的权重提高倍数为λ1=2,也可以根据实际实验结果进行调整。而左右侧图像中标志物权重
若所属动态对接阶段为第三阶段,距离较远,利用矩阵光信标标志物,采用起点向量加权法分别解算左右两组定位结果的权重:
对标志物在图像中成像的四个像素点进行向量转换,提高起点的权重比,确定光信标的起点的时候,因光信标采用两种不同的颜色,确定左上角绿色LED灯球为1号点,而其余三个光球因距离较远,并不容易确认光球的编号,因此,这里基于光信标构成的形状是矩形,使用直角三角形斜边大于直角边的特性确定2,3,4号点。如图3所示,l12表示起点是1号点终点是2号点的向量,|l12|表示向量l12的模长,同理可得向量l13,l23,l24,l34,下标表示向量的起点和终点。通过四个灯球的坐标,计算得到满足条件
|l24|>|l34|>|l23|
|l34|>|l23|
l13·l24<0
的向量l13,l23,l24,l34,从而确定其余三个灯球的编号,从而得到1,2,3,4号点。
对于左侧图像的1,2,3,4号点,在图像坐标系下的横坐标分别为x′l1,x′l2,x′l3,x′l4,纵坐标为y′l1,y′l2,y′l3,y′l4,并利用公式进行坐标放大:
对于右侧图像的1,2,3,4号点,在图像坐标系下的横坐标分别为x′r1,x′r2,x′r3,x′r4,纵坐标为y′r1,y′r2,y′r3,y′r4,并利用公式进行坐标放大:
其中K大于1,本实施例中取2;
则左侧图像矩阵光信标标志物的权重标量值ρ1=(x″m-x″l0)2+(y″m-y′l0)2,其中
左侧图像中心坐标为(x′l0,y′l0);
而右侧图像矩阵光信标标志物的权重标量值ρ2=(xn″-x′r0)2+(yn″-y′r0)2,其中
右侧图像中心坐标为(x′r0,y′r0)。
获得两组定位结果的权重后,即可根据加权计算公式得到最终的动态对接定位结果。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (7)
1.一种基于视觉融合的AUV动态对接定位方法,其特征在于:包括以下步骤:
步骤1:在水下环境中,对接AUV利用自身前部安装的双目视觉***中的两个单目摄像头,分别获取目标AUV后部标志物图像,分为左图像和右图像;根据左图像和右图像,利用双目视觉算法,解算得到标志物尺寸;
所述目标AUV后部标志物包括二维码标志物和矩阵光信标标志物;所述二维码标志物由黑白二维码和辅助照明设备构成;所述矩阵光信标标志物由四个发光灯球构成,四个发光灯球组成矩形,且三个灯球颜色相同,另一个灯球颜色与所述三个灯球颜色不同;
步骤2:在水下对接过程中,对接AUV利用自身前部安装的双目视觉***中的两个单目摄像头,分别获取目标AUV后部标志物图像,并依据步骤1解算得到的标志物尺寸,分别利用单目视觉定位算法,解算得到两组定位结果;
步骤3:对步骤2得到的两组定位结果进行加权融合,得到最终的AUV动态对接定位结果;
最终的定位结果包括距离矩阵R和旋转矩阵T:
其中R1,T1为利用左侧单目摄像头拍摄图像,通过单目视觉定位算法解算出的定位结果,R2,T2为利用右侧单目摄像头拍摄图像,通过单目视觉定位算法解算出的定位结果;ρ1,ρ2为两组定位结果的权重;
按照动态对接阶段确定两组定位结果的权重:
步骤3.1:根据两组定位结果中的距离矩阵确定所属动态对接阶段,其中第一阶段为距离小于S1的对接阶段,第二阶段为距离处于S1~S2范围内的对接阶段,第三阶段为距离大于S2的对接阶段;
步骤3.2:若所属动态对接阶段为第一阶段,则利用二维码标志物,采用四点平均法分别解算左右两组定位结果的权重:
对左侧图像中的二维码标志物解算得到二维码四个角点在图像坐标系下的横坐标为xl1,xl2,xl3,xl4,纵坐标为yl1,yl2,yl3,yl4,图像中心坐标为(xl0,yl0),则左侧图像二维码标志物的权重标量值ρ1=(xm-xl0)2+(ym-yl0)2,其中
对右侧图像中的二维码标志物解算得到二维码四个角点在图像坐标系下的横坐标为xr1,xr2,xr3,xr4,纵坐标为yr1,yr2,yr3,yr4,图像中心坐标为(xr0,yr0),则右侧图像二维码标志物的权重标量值ρ2=(xn-xr0)2+(yn-yr0)2,其中
若所属动态对接阶段为第二阶段,则利用二维码标志物,采用起点距离加权法分别解算左右两组定位结果的权重:
其中λ1为二维码标志物起始角点权重,λ2=λ3=λ4为二维码标志物剩余三个角点的权重,且λ1>λ2=λ3=λ4;
若所属动态对接阶段为第三阶段,则利用矩阵光信标标志物,采用起点向量加权法分别解算左右两组定位结果的权重:
以图像中矩阵光信标标志物内独立颜色灯球作为1号点,其余三个灯球分别为2,3,4号点;
对于左侧图像的1,2,3,4号点,在图像坐标系下的横坐标分别为x′l1,x′l2,x′l3,x′l4,纵坐标为y′l1,y′l2,y′l3,y′l4,并利用公式进行坐标放大:
对于右侧图像的1,2,3,4号点,在图像坐标系下的横坐标分别为x′r1,x′r2,x′r3,x′r4,纵坐标为y′r1,y′r2,y′r3,y′r4,并利用公式进行坐标放大:
其中K大于1;
则左侧图像矩阵光信标标志物的权重标量值ρ1=(x″m-x′l0)2+(y″m-y′l0)2,其中
左侧图像中心坐标为(x′l0,y′l0);
而右侧图像矩阵光信标标志物的权重标量值ρ2=(x″n-x′r0)2+(y″n-y′r0)2,其中
右侧图像中心坐标为(x′r0,y′r0)。
2.根据权利要求1所述一种基于视觉融合的AUV动态对接定位方法,其特征在于:步骤1中,采用双目视觉相似三角形算法,解算得到标志物尺寸。
3.根据权利要求2所述一种基于视觉融合的AUV动态对接定位方法,其特征在于:步骤2中,分别利用单目视觉PNP定位算法,解算得到两组定位结果。
4.根据权利要求3所述一种基于视觉融合的AUV动态对接定位方法,其特征在于:S1取值为2m,S2取值为5m。
5.根据权利要求4所述一种基于视觉融合的AUV动态对接定位方法,其特征在于:
利用1号点以及其余三个灯球的坐标,计算得到满足条件
|l24|>|l34|>|l23|
|l34|>|l23|
l13·l24<0
的向量l13,l23,l24,l34,下标为向量的起点和终点,从而确定其余三个灯球的编号,从而得到1,2,3,4号点。
6.根据权利要求5所述一种基于视觉融合的AUV动态对接定位方法,其特征在于:步骤3.1中,根据两组定位结果中的距离矩阵分别确定对接AUV与目标AUV的距离,取平均值后,依据平均值确定所属动态对接阶段。
7.根据权利要求6所述一种基于视觉融合的AUV动态对接定位方法,其特征在于:对接AUV自身前部安装的双目视觉***中的两个单目摄像头光轴平行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110232184.4A CN113034590B (zh) | 2021-03-02 | 2021-03-02 | 基于视觉融合的auv动态对接定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110232184.4A CN113034590B (zh) | 2021-03-02 | 2021-03-02 | 基于视觉融合的auv动态对接定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113034590A CN113034590A (zh) | 2021-06-25 |
CN113034590B true CN113034590B (zh) | 2024-01-09 |
Family
ID=76465529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110232184.4A Active CN113034590B (zh) | 2021-03-02 | 2021-03-02 | 基于视觉融合的auv动态对接定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113034590B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113460274B (zh) * | 2021-08-06 | 2022-11-25 | 哈尔滨工程大学 | 一种auv自主回收/布放装置及其实现方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104359461A (zh) * | 2014-11-06 | 2015-02-18 | 中国人民解放军装备学院 | 一种可变结构的双目视觉测量***及参数确定方法 |
CN105843166A (zh) * | 2016-05-23 | 2016-08-10 | 北京理工大学 | 一种特型多自由度自动对接装置及其工作方法 |
CN106934809A (zh) * | 2017-03-29 | 2017-07-07 | 厦门大学 | 基于双目视觉的无人机空中自主加油快速对接导航方法 |
-
2021
- 2021-03-02 CN CN202110232184.4A patent/CN113034590B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104359461A (zh) * | 2014-11-06 | 2015-02-18 | 中国人民解放军装备学院 | 一种可变结构的双目视觉测量***及参数确定方法 |
CN105843166A (zh) * | 2016-05-23 | 2016-08-10 | 北京理工大学 | 一种特型多自由度自动对接装置及其工作方法 |
CN106934809A (zh) * | 2017-03-29 | 2017-07-07 | 厦门大学 | 基于双目视觉的无人机空中自主加油快速对接导航方法 |
Non-Patent Citations (3)
Title |
---|
Deep eyes: binocular depth-from-focus on focal stack pairs;Zhouchen Lin;Pattern Recognition and Computer Vision;全文 * |
一种适用于 SINS 动基座初始对准的新算法;严恭敏;《***工程与电子技术》;第31卷(第3期);全文 * |
面向回收控制的水下机器视觉研究;刘和祥;《中国博士学位论文全文数据库 信息科技辑》(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113034590A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109509230B (zh) | 一种应用于多镜头组合式全景相机的slam方法 | |
CN109767474B (zh) | 一种多目相机标定方法、装置及存储介质 | |
CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
CN106934809B (zh) | 基于双目视觉的无人机空中自主加油快速对接导航方法 | |
CN110555878B (zh) | 物体空间位置形态的确定方法、装置、存储介质及机器人 | |
JP5999615B2 (ja) | カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム | |
CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
CN104835158B (zh) | 基于格雷码结构光与极线约束的三维点云获取方法 | |
CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
CN107154014A (zh) | 一种实时彩色及深度全景图像拼接方法 | |
CN111105460B (zh) | 一种室内场景三维重建的rgb-d相机位姿估计方法 | |
CN112907573B (zh) | 一种基于3d卷积的深度补全方法 | |
CN108154536A (zh) | 二维平面迭代的相机标定法 | |
CN111650968B (zh) | 一种云台定位误差测定方法 | |
CN113034590B (zh) | 基于视觉融合的auv动态对接定位方法 | |
CN116468786B (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
CN109785373A (zh) | 一种基于散斑的六自由度位姿估计***及方法 | |
CN105513074B (zh) | 一种羽毛球机器人相机以及车身到世界坐标系的标定方法 | |
CN108269234A (zh) | 一种全景相机镜头姿态估计方法及全景相机 | |
CN116087982A (zh) | 一种融合视觉和雷达***的海上落水人员识别及定位方法 | |
CN116787432A (zh) | 一种机器人视觉引导抓取方法 | |
CN110060212B (zh) | 一种基于深度学习的多光谱光度立体表面法向恢复方法 | |
CN109815966A (zh) | 一种基于改进sift算法的移动机器人视觉里程计实现方法 | |
CN114463444A (zh) | 非接触式相对位姿检测方法及*** | |
CN110533702B (zh) | 一种基于光场多层折射模型的水下双目视觉立体匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |