CN112734921A - 一种基于声呐和视觉图像拼接的水下三维地图构建方法 - Google Patents
一种基于声呐和视觉图像拼接的水下三维地图构建方法 Download PDFInfo
- Publication number
- CN112734921A CN112734921A CN202110031436.7A CN202110031436A CN112734921A CN 112734921 A CN112734921 A CN 112734921A CN 202110031436 A CN202110031436 A CN 202110031436A CN 112734921 A CN112734921 A CN 112734921A
- Authority
- CN
- China
- Prior art keywords
- sonar
- image
- underwater
- splicing
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 37
- 238000005070 sampling Methods 0.000 claims description 28
- 230000004927 fusion Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012800 visualization Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 241000764238 Isis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明提出一种基于声呐和视觉图像拼接的水下三维地图构建方法,包括:利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集;关联声呐测距数据与视觉成像数据,对每帧图像进行扩维,在二维地形图像的基础上,加入声呐测距数据构建三维立体地图;采用基于点线特征和网格的局部单应矩阵模型的图像拼接算法,进行多帧图像扩展拼接,实现三维全景地图合成。本发明采用多传感器构建水下地图,互补性强,克服了使用广角相机存在边缘畸变严重的问题,构建具有高可视化效果和准确度的三维全景地图。
Description
技术领域
本发明属于水下机器人技术领域,尤其涉及一种基于声呐和视觉图像拼接的水下三维地图构建方法。
背景技术
随着海洋资源越来越为人类所需要,海洋开发需求的日益增大,在许多广袤的海域和复杂水下环境中,人类无法到达,需要依靠水下机器人完成水下环境的探测及作业任务。由于水下环境的复杂性,雷达,激光传感器在水中的应用被极大的限制,电磁波信号在水下环境中会快速衰减,无法进行有效侦测。视觉成像在水下环境探测中扮演重要作用,可代替人类实现水下地形的观察和记录,声波在水中可以进行远距离传输、观测和测量,具有得天独厚的条件优势。水下机器人作业时,如果无法获知环境信息,极易与地形或障碍物发生碰撞。构建有效的实时水下环境地图,对机器人的定位的路径规划水下作业极为重要。水下机器人的实时定位和地图构建仍是当前研究重点和难点,迫切需要一种有效和稳定的水下地图构建方法。
现有技术中,公开号为CN111292418A的专利申请公开了一种浑浊水体三维地图构建方法,该方法以水下机器人为载体,利用单目相机对浑浊水体环境进行图像采集,并利用图像增强算法生成增强图像,进而完成水下三维地图的构建。该方案仅仅采用相机构建水下地图,在浑浊水体中相机的视距有限,可视范围小,适应性不强,无法构建出高精度三维地图。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种适应性强,精准度高的基于声呐和视觉图像拼接的水下三维地图构建方法。
为实现上述目的,采用了以下技术方案:
一种基于声呐和视觉图像拼接融合的水下三维地图构建方法,该方法包括以下步骤:
步骤1:利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集;
步骤2:关联声呐测距数据与单帧图片成像数据,对每帧图像进行扩维,在二维地形图像的基础上,结合声呐探测数据构建三维立体地图;其中,关联声呐测距数据与单帧图片成像数据,对每帧图像进行扩维,包括:采用双线性插值法,对非测距采样点的测距值进行近似,对于图像边缘的非采样点,以距离该点最近的采样点的测距值作为其测距值;
步骤3:采用基于点线特征融合的图像拼接算法,进行多帧图像扩展拼接,实现三维全景地图合成。
进一步地,利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集之前,还包括:
对相机视场与声呐扫描范围标定,包括:调整声呐在水平角度为垂直角度为2θv的矩形范围内扫描,使得声呐扫描范围中心点与相机成像中心点所在位置重合,保证声呐扫描区域与相机成像区域一致;利用使相机成像具有nl*nv个同样大小栅格的标定板,计算每个θ(j,k)值:
其中,θ(j,k)表示第(j,k)个栅格中心点和相机镜头的连线l(j,k)与标定板中心和相机镜头中心的连线之间的夹角,其中,j,k均为整数且j∈[1,nl],k∈[1,nv];h表示相机到标定板的距离,(j,k)表示第j行,第k列的栅格中心;
设计声呐扫描轨迹,包括:声呐每轮扫过的范围,完整覆盖整个相机成像区域。
进一步地,对水下环境进行声呐测距数据采集,包括:
声呐根据扫描轨迹测距n次,即完成第i轮的n次测距过程,同时相机成像第i帧,水下机器人在世界坐标系下(xi,yi,zi)点视觉图像及图像中设定n个采样点的声呐测距数据采集结束;采集的声呐测距数据包括水下机器人位置(xi,yi,zi)和运动坐标系下偏航角ψ,图像帧i及该帧图像中n个采样点的测距值L(j,k),每帧采集过程中水下机器人在(xi,yi,zi)点处于静止状态;
对采集到的声呐测距值L(j,k)进行数据处理,得到每个采样点的实际测距值m(j,k);
m(j,k)=L(j,k)*cosθ(j,k)。
进一步地,采用双线性插值法,对非测距采样点的测距值进行近似,包括:
在第i帧图像中的非测距采样点p(x,y),其处在以其相邻的四个测距采样点为顶点构成的最小矩形中,四个顶点分别为p1(x1,y1),p2(x2,y2),p3(x3,y3),p4(x4,y4),对应测距值分别为m1,m2,m3,m4;则非测距采样点p(x,y)的测距值m近似为:
其中:
进一步地,利用模板匹配算法快速检测多帧图像之间的重叠区域,包括:
S2:使用归一化相关系数方法找到与参考图片中的模板图像R1最相似的区域R2,Rl是R2的左上角的水平坐标值;
S4:通过使用归一化相关方法找到区域R4与目标图像中的模板图像R3最相似,Rr是R4的右下角的水平坐标值;
S5:输出重叠区域的左右边界范围[Rl,Rr]。
进一步地,采用基于点线特征融合的图像拼接算法,进行多帧图像扩展拼接,实现三维全景地图合成,包括:
利用模板匹配算法快速检测多帧图像之间的重叠区域,并且根据匹配的重叠区域,确定各帧图像之间的相对位置;
提取重叠区域的点特征和线段特征,并分别进行点特征、线特征匹配;
求出图像之间的特征匹配之后,建立投影变换模型,利用该投影变换模型将互相之间有重叠的图像通过几何变换映射到公共的坐标系,使得重叠部分被配准到相同的位置;利用线段约束和基于网格的局部单应矩阵模型,减小拼接后的投影变形,完成图像配准;拼接重叠部分的测距值取重叠帧原始测距值的平均值,得到公共坐标系下的全景拼接地图。
与现有技术相比,本发明的优点在于:
1、基于声呐和视觉图像拼接的水下三维地图构建方法实现多传感器之间的性能优势互补,摆脱了仅基于相机构建地图时精度低的限制,提高水下机器人地图构建的精准度和稳定性。
2、基于网格的局部单应矩阵模型的图像拼接技术实现了全景视野构建,克服了广角摄像机成像边缘畸变严重的问题,对应比例构建地图,提高了地图的可视化效果和准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种基于前视声呐和图像拼接技术融合的实时水下地图构建方法的流程图;
图2是本发明实施例中设定的一种声呐扫描轨迹示意图;
图3是本发明实施例中重叠区域检测方法示意图;
图4是本发明实施例中图像拼接算法原理图;
图5是本发明实施例中搭载相机和声呐的水下机器人海域部署示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明提出了一种基于前视声呐和图像拼接技术融合的实时水下地图构建方法,涉及水下机器人技术,SLAM技术,声呐测距技术,图像处理技术。为了实现高质量的地图构建效果,对机器人在水下的运动控制、视觉和声呐传感器的性能具有较高的要求。同时,本发明的实现依赖于计算机图像数据处理软件的应用。
参见图1,其示出了本发明实施例中一种基于前视声呐和图像拼接技术融合的实时水下地图构建方法的流程图,本发明实施例中,水下机器人同时搭载相机和声呐传感器,机器人行进中传感器扫描水域地形,同步采集图像和声呐测距数据。该方法包括:
步骤一:对单目相机与声呐扫描参数进行设定及标定,并设计声呐每轮测距轨迹。
本实施例中,采用定焦相机水平视场角50°,垂直视场角30°,设定声呐水平扫描次数为5次,垂直扫描次数为3次,则声呐水平扫描间隔角和垂直扫描间隔角均为10°,单帧成像时声呐扫描测距总次数n=15。
(2)相机视场与声呐扫描范围标定:调整声呐在水平角度为垂直角度为2θv的矩形范围内扫描,使得声呐扫描范围中心点与相机成像中心点所在位置重合,保证声呐扫描区域与相机成像区域一致。利用使相机成像具有nl*nv个同样大小栅格的标定板,计算每个θ(j,k)值,θ(j,k)表示第(j,k)个栅格中心点和相机镜头的连线l(j,k)与标定板中心和相机镜头中心的连线之间的夹角,其中,j,k均为整数且j∈[1,nl],k∈[1,nv];
式中,h表示相机到标定板的距离,(j,k)表示第j行,第k列的栅格中心。
本实施例中,利用使相机成像具有5*3个同样大小栅格的标定板,计算每个θ(j,k)值,θ(3,1)=0°。
(3)设计声呐扫描轨迹:声呐每轮扫过的范围,完整覆盖整个相机成像区域。本实施例中,设计的声呐扫描轨迹如图2所示。
步骤二:水下图像及测距数据采集
如图5所示,其示出了本发明实施例中搭载相机和声呐的水下机器人海域部署示意图,水下机器人按照巡航轨迹进行定点巡航,如在巡航点1对水下环境图像和测距数据进行采集,行进至巡航点2之后再次对水下环境图像和测距数据进行采集,两个巡航点之间的视场部分重叠。
水下机器人进行定点巡航,对水下环境图像和测距数据进行采集。具体地,声呐根据扫描轨迹测距n次,即完成第i轮的n次测距过程,同时相机成像第i帧,机器人在世界坐标系下(xi,yi,zi)点视觉图像及图像中设定n个采样点的声呐测距数据采集结束。数据包括机器人位置(xi,yi,zi)和运动坐标系下偏航角ψ,图像帧i及该帧图像中n个采样点的测距值L(j,k),采集过程中机器人在(xi,yi,zi)点处于静止状态。
由于声呐测距数据并非垂直距离,所以对于采集到的测距值L(j,k)需要进行数据处理,得到实际测距值m(j,k),具体地,每个采样点的实际测距值:
m(j,k)=L(j,k)*cosθ(j,k)。
在每次声呐测距完成后,将测距数据处理后的实际测距值m(j,k)与采样点进行关联。
步骤三:关联声呐测距数据与视觉成像数据,对每帧图像进行扩维,在二维地形图像的基础上,加入声呐测距数据构建三维立体地图。
在具体实施时,采用双线性插值法,通过式(2),式(3),式(4)对非采样点测距值进行近似计算并实现数据关联,完成单帧图像数据扩维,将平面图像扩展为具有深度信息的三维地形图。
采用双线性插值法,对非测距采样点的测距值进行近似,方法如下:
在第i帧图像中的非测距采样点p(x,y),其处在以其相邻的四个测距采样点为顶点构成的最小矩形中,四个顶点分别为p1(x1,y1),p2(x2,y2),p3(x3,y3),p4(x4,y4),对应测距值分别为m1,m2,m3,m4。则非测距采样点p(x,y)的测距值m近似为:
其中:
对于图像边缘的非采样点,其测距值无法由四个采样点通过双线性插值法近似计算,以距离该点最近的采样点的测距值定义其测距值。
步骤四:采用基于点线特征和网格的局部单应矩阵的图像拼接算法,进行多帧图像扩展拼接,实现三维全景地图合成。
在进行图像拼接与数据融合之后,还包括判断数据是否有效,如果有效,则判断水下机器人的巡航任务是否完全,如果完成,则生成三维全景地图,如果未完成,则继续执行水下机器人定点巡航,如果数据无效,则返回执行图像与测距数据采集。
在具体实施时,多帧图像扩展拼接具体包括以下步骤:
(A)重叠区域检测:图像拼接基于多帧图像之间的重叠部分,为了减小图像拼接过程中计算成本和特征匹配的异常值,首先利用模板匹配算法快速检测输入的多帧图像之间的重叠区域,并且根据匹配的重叠区域,确定各帧图像之间的相对位置。
如图3所示,图像1为参考图像,图像2为目标图像,两条竖线之间部分为两张图片重叠区域。
重叠区域检测的步骤如下:
S2:使用归一化相关系数方法找到与参考图片中的模板图像R1最相似的区域R2,Rl是R2的左上角的水平坐标值。
S4:通过使用归一化相关方法找到区域R4与目标图像中的模板图像R3最相似,Rr是R4的右下角的水平坐标值。
S5:最后,输出重叠区域的左右边界范围[Rl,Rr]。
(B)特征匹配:提取重叠区域的点特征和线段特征,并进行点、线特征匹配,线特征匹配可以减小甚至消除图像拼接过程中非重叠区域的畸变,消除未匹配成功的特征信息以减小干扰特征对于投影变换的影响。
(C)图像配准:求出图像之间的特征匹配之后,建立投影变换模型,利用该投影变换模型将互相之间有重叠的图像,通过几何变换映射到公共的坐标系,使得重叠部分被配准到相同的位置,然后,利用线段约束与基于网格的局部单应矩阵模型,减小拼接后的投影变形,完成图像配准。
(D)图像配准之后,拼接重叠部分的测距值取重叠帧原始测距值的平均值,从而得到公共坐标系下的全景拼接地图。
本发明实施例的优点在于:
1、基于声呐和视觉图像拼接的水下三维地图构建方法实现多传感器之间的性能优势互补,摆脱了仅基于相机构建地图时精度低的限制,提高水下机器人地图构建的精准度和稳定性。
2、基于网格的局部单应矩阵模型的图像拼接技术实现了全景视野构建,克服了广角摄像机成像边缘畸变严重的问题,对应比例构建地图,提高了地图的可视化效果和准确度。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种基于声呐和视觉图像拼接融合的水下三维地图构建方法,其特征在于,该方法包括以下步骤:
步骤1:利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集;
步骤2:关联声呐测距数据与单帧图片成像数据,对每帧图像进行扩维,在二维地形图像的基础上,结合声呐探测数据构建三维立体地图;其中,关联声呐测距数据与单帧图片成像数据,对每帧图像进行扩维,包括:采用双线性插值法,对非测距采样点的测距值进行近似,对于图像边缘的非采样点,以距离该点最近的采样点的测距值作为其测距值;
步骤3:采用基于点线特征融合的图像拼接算法,进行多帧图像扩展拼接,实现三维全景地图合成。
2.根据权利要求1所述的一种基于声呐和视觉图像拼接融合的水下三维地图构建方法,其特征在于,利用搭载有机械扫描测距声呐和单目相机的水下机器人同时对水下环境进行视觉图像和声呐测距数据采集之前,还包括:
对相机视场与声呐扫描范围标定,包括:调整声呐在水平角度为垂直角度为2θv的矩形范围内扫描,使得声呐扫描范围中心点与相机成像中心点所在位置重合,保证声呐扫描区域与相机成像区域一致;利用使相机成像具有nl*nv个同样大小栅格的标定板,计算每个θ(j,k)值:
其中,θ(j,k)表示第(j,k)个栅格中心点和相机镜头的连线l(j,k)与标定板中心和相机镜头中心的连线之间的夹角,其中,j,k均为整数且j∈[1,nl],k∈[1,nv];h表示相机到标定板的距离,(j,k)表示第j行,第k列的栅格中心;
设计声呐扫描轨迹,包括:声呐每轮扫过的范围,完整覆盖整个相机成像区域。
3.根据权利要求2所述的一种基于声呐和视觉图像拼接融合的水下三维地图构建方法,其特征在于,对水下环境进行声呐测距数据采集,包括:
声呐根据扫描轨迹测距n次,即完成第i轮的n次测距过程,同时相机成像第i帧,水下机器人在世界坐标系下(xi,yi,zi)点视觉图像及图像中设定n个采样点的声呐测距数据采集结束;采集的声呐测距数据包括水下机器人位置(xi,yi,zi)和运动坐标系下偏航角ψ,图像帧i及该帧图像中n个采样点的测距值L(j,k),每帧采集过程中水下机器人在(xi,yi,zi)点处于静止状态;
对采集到的声呐测距值L(j,k)进行数据处理,得到每个采样点的实际测距值m(j,k);
m(j,k)=L(j,k)*cosθ(j,k)。
5.根据权利要求1所述的一种基于声呐和视觉图像拼接融合的水下三维地图构建方法,其特征在于,利用模板匹配算法快速检测多帧图像之间的重叠区域,包括:
S2:使用归一化相关系数方法找到与参考图片中的模板图像R1最相似的区域R2,Rl是R2的左上角的水平坐标值;
S4:通过使用归一化相关方法找到区域R4与目标图像中的模板图像R3最相似,Rr是R4的右下角的水平坐标值;
S5:输出重叠区域的左右边界范围[Rl,Rr]。
6.根据权利要求1所述的一种基于声呐和视觉图像拼接融合的水下三维地图构建方法,其特征在于,采用基于点线特征融合的图像拼接算法,进行多帧图像扩展拼接,实现三维全景地图合成,包括:
利用模板匹配算法快速检测多帧图像之间的重叠区域,并且根据匹配的重叠区域,确定各帧图像之间的相对位置;
提取重叠区域的点特征和线段特征,并分别进行点特征、线特征匹配;
求出图像之间的特征匹配之后,建立投影变换模型,利用该投影变换模型将互相之间有重叠的图像通过几何变换映射到公共的坐标系,使得重叠部分被配准到相同的位置;利用线段约束和基于网格的局部单应矩阵模型,减小拼接后的投影变形,完成图像配准;拼接重叠部分的测距值取重叠帧原始测距值的平均值,得到公共坐标系下的全景拼接地图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110031436.7A CN112734921B (zh) | 2021-01-11 | 2021-01-11 | 一种基于声呐和视觉图像拼接的水下三维地图构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110031436.7A CN112734921B (zh) | 2021-01-11 | 2021-01-11 | 一种基于声呐和视觉图像拼接的水下三维地图构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112734921A true CN112734921A (zh) | 2021-04-30 |
CN112734921B CN112734921B (zh) | 2022-07-19 |
Family
ID=75590388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110031436.7A Active CN112734921B (zh) | 2021-01-11 | 2021-01-11 | 一种基于声呐和视觉图像拼接的水下三维地图构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112734921B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113253285A (zh) * | 2021-05-11 | 2021-08-13 | 水利部交通运输部国家能源局南京水利科学研究院 | 定点式三维全景成像声呐***升级为走航式***的方法 |
CN115100298A (zh) * | 2022-08-25 | 2022-09-23 | 青岛杰瑞工控技术有限公司 | 一种用于深远海视觉养殖的光-声图像融合方法 |
CN115272217A (zh) * | 2022-07-22 | 2022-11-01 | 湖北工业大学 | 一种基于声呐图像的水下机器人定位方法 |
CN115303451A (zh) * | 2022-07-22 | 2022-11-08 | 深圳鳍源科技有限公司 | 水下设备以及水下作业*** |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101672916A (zh) * | 2009-09-17 | 2010-03-17 | 中国海洋大学 | 机械扫描式成像声呐的运动失真补偿方法 |
CN102829763A (zh) * | 2012-07-30 | 2012-12-19 | 中国人民解放军国防科学技术大学 | 基于单目视觉定位的路面图像采集方法及采集*** |
CN105488852A (zh) * | 2015-12-23 | 2016-04-13 | 中国船舶重工集团公司第七一五研究所 | 一种基于地理编码和多维校准的三维图像拼接方法 |
CN107665503A (zh) * | 2017-08-28 | 2018-02-06 | 汕头大学 | 一种构建多楼层三维地图的方法 |
CN108389157A (zh) * | 2018-01-11 | 2018-08-10 | 江苏四点灵机器人有限公司 | 一种三维全景图像快速拼接方法 |
CN108827252A (zh) * | 2018-04-19 | 2018-11-16 | 深圳鳍源科技有限公司 | 绘制水下实景地图的方法、装置、设备、***及存储介质 |
CN109239719A (zh) * | 2018-10-19 | 2019-01-18 | 武汉理工大学 | 一种融合多帧信息的多波束前视声呐障碍区域提取方法 |
CN109857123A (zh) * | 2019-03-21 | 2019-06-07 | 郑州大学 | 一种基于视觉感知和激光探测的室内slam地图的融合方法 |
CN110243375A (zh) * | 2019-06-26 | 2019-09-17 | 汕头大学 | 一种同时构建二维地图和三维地图的方法 |
CN110412584A (zh) * | 2019-05-31 | 2019-11-05 | 上海大学 | 一种水下前视声呐移动快速拼接*** |
CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
CN111461963A (zh) * | 2020-03-30 | 2020-07-28 | 南京泓众电子科技有限公司 | 一种鱼眼图像拼接方法及装置 |
US20200348414A1 (en) * | 2019-05-03 | 2020-11-05 | Seagate Technology Llc | Underwater imaging system with multiple connected autonomous underwater vehicles |
CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
-
2021
- 2021-01-11 CN CN202110031436.7A patent/CN112734921B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101672916A (zh) * | 2009-09-17 | 2010-03-17 | 中国海洋大学 | 机械扫描式成像声呐的运动失真补偿方法 |
CN102829763A (zh) * | 2012-07-30 | 2012-12-19 | 中国人民解放军国防科学技术大学 | 基于单目视觉定位的路面图像采集方法及采集*** |
CN105488852A (zh) * | 2015-12-23 | 2016-04-13 | 中国船舶重工集团公司第七一五研究所 | 一种基于地理编码和多维校准的三维图像拼接方法 |
CN107665503A (zh) * | 2017-08-28 | 2018-02-06 | 汕头大学 | 一种构建多楼层三维地图的方法 |
CN108389157A (zh) * | 2018-01-11 | 2018-08-10 | 江苏四点灵机器人有限公司 | 一种三维全景图像快速拼接方法 |
CN108827252A (zh) * | 2018-04-19 | 2018-11-16 | 深圳鳍源科技有限公司 | 绘制水下实景地图的方法、装置、设备、***及存储介质 |
CN109239719A (zh) * | 2018-10-19 | 2019-01-18 | 武汉理工大学 | 一种融合多帧信息的多波束前视声呐障碍区域提取方法 |
CN109857123A (zh) * | 2019-03-21 | 2019-06-07 | 郑州大学 | 一种基于视觉感知和激光探测的室内slam地图的融合方法 |
US20200348414A1 (en) * | 2019-05-03 | 2020-11-05 | Seagate Technology Llc | Underwater imaging system with multiple connected autonomous underwater vehicles |
CN110412584A (zh) * | 2019-05-31 | 2019-11-05 | 上海大学 | 一种水下前视声呐移动快速拼接*** |
CN110243375A (zh) * | 2019-06-26 | 2019-09-17 | 汕头大学 | 一种同时构建二维地图和三维地图的方法 |
CN110568447A (zh) * | 2019-07-29 | 2019-12-13 | 广东星舆科技有限公司 | 视觉定位的方法、装置及计算机可读介质 |
CN111461963A (zh) * | 2020-03-30 | 2020-07-28 | 南京泓众电子科技有限公司 | 一种鱼眼图像拼接方法及装置 |
CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
Non-Patent Citations (1)
Title |
---|
赵建邦: ""声呐数据与可见光图像融合方法研究"", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113253285A (zh) * | 2021-05-11 | 2021-08-13 | 水利部交通运输部国家能源局南京水利科学研究院 | 定点式三维全景成像声呐***升级为走航式***的方法 |
CN113253285B (zh) * | 2021-05-11 | 2022-07-05 | 水利部交通运输部国家能源局南京水利科学研究院 | 定点式三维全景成像声呐***升级为走航式***的方法 |
CN115272217A (zh) * | 2022-07-22 | 2022-11-01 | 湖北工业大学 | 一种基于声呐图像的水下机器人定位方法 |
CN115303451A (zh) * | 2022-07-22 | 2022-11-08 | 深圳鳍源科技有限公司 | 水下设备以及水下作业*** |
CN115100298A (zh) * | 2022-08-25 | 2022-09-23 | 青岛杰瑞工控技术有限公司 | 一种用于深远海视觉养殖的光-声图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112734921B (zh) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112734921B (zh) | 一种基于声呐和视觉图像拼接的水下三维地图构建方法 | |
CN105758426B (zh) | 移动机器人的多传感器的联合标定方法 | |
CN112669393B (zh) | 一种激光雷达与相机联合标定方法 | |
EP0782100B1 (en) | Three-dimensional shape extraction apparatus and method | |
CN109658457B (zh) | 一种激光与相机任意相对位姿关系的标定方法 | |
CN112017248B (zh) | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 | |
JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
CN113643436B (zh) | 一种深度数据拼接融合方法及装置 | |
CN112233188A (zh) | 一种基于激光雷达的车顶全景相机及其标定方法 | |
CN112580683B (zh) | 一种基于互相关的多传感器数据时间对齐***及其方法 | |
CN109410234A (zh) | 一种基于双目视觉避障的控制方法及控制*** | |
CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
CN112946660A (zh) | 一种基于多波束前视声呐的同时定位与建图方法 | |
CN116205961A (zh) | 多镜头组合影像和激光雷达点云的自动配准方法及其*** | |
Salvi et al. | Visual SLAM for 3D large-scale seabed acquisition employing underwater vehicles | |
JP2000028332A (ja) | 3次元計測装置及び3次元計測方法 | |
CN107941241B (zh) | 一种用于航空摄影测量质量评价的分辨率板及其使用方法 | |
CN114066795A (zh) | Df-sas高低频声呐图像精细配准融合方法 | |
CN109798877A (zh) | 一种仿生水下机器鱼双目立体测距方法 | |
CN115719320A (zh) | 基于遥感影像的倾斜校正稠密匹配方法 | |
Thoms et al. | Tightly coupled, graph-based dvl/imu fusion and decoupled mapping for slam-centric maritime infrastructure inspection | |
CN115588127A (zh) | 一种机载激光点云与多光谱影像融合的方法 | |
CN112288824B (zh) | 一种基于现实场景的长焦相机标定装置及标定方法 | |
CN114187409A (zh) | 基于视频图像与激光雷达点云融合建立船舶模型的方法 | |
Wei et al. | Beam-domain image mosaic of forward-looking sonar using expression domain mapping model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |