CN117408879B - 一种侧扫声呐图像拼接方法和装置 - Google Patents

一种侧扫声呐图像拼接方法和装置 Download PDF

Info

Publication number
CN117408879B
CN117408879B CN202311402148.3A CN202311402148A CN117408879B CN 117408879 B CN117408879 B CN 117408879B CN 202311402148 A CN202311402148 A CN 202311402148A CN 117408879 B CN117408879 B CN 117408879B
Authority
CN
China
Prior art keywords
scan sonar
image
point set
coordinate point
track coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311402148.3A
Other languages
English (en)
Other versions
CN117408879A (zh
Inventor
王业桂
范开国
牛文栋
胡旭辉
徐东洋
***
王留根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
32021 Army Of Chinese Pla
Tianjin University
Original Assignee
32021 Army Of Chinese Pla
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 32021 Army Of Chinese Pla, Tianjin University filed Critical 32021 Army Of Chinese Pla
Priority to CN202311402148.3A priority Critical patent/CN117408879B/zh
Publication of CN117408879A publication Critical patent/CN117408879A/zh
Application granted granted Critical
Publication of CN117408879B publication Critical patent/CN117408879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种侧扫声呐图像拼接方法和装置，该方法包括：获取多幅第一侧扫声呐图像；对第一侧扫声呐图像进行斜距校正，得到斜距校正数据；对每一幅第一侧扫声呐图像对应的第一航迹坐标点集合进行滤波，得到第二航迹坐标点集合；对第二航迹坐标点集合进行平滑，得到第三航迹坐标点集合；基于斜距校正数据和第三航迹坐标点集合，生成多幅第二侧扫声呐图像；分别计算相邻两幅第二侧扫声呐图像重叠区域的第四航迹坐标点集合；识别第四航迹坐标点集合范围内的图像区域中的关键目标，得到关键目标坐标点集合；以及基于关键目标坐标点集合，将多幅第二侧扫声呐图像拼接融合成第三侧扫声呐图像。本发明能够获得连续、完整的水下地形图像。

Description

一种侧扫声呐图像拼接方法和装置
技术领域
本发明涉及侧扫声呐图像拼接技术领域，更具体地，特别是指一种用于海洋探测和水下地质调查领域的侧扫声呐图像拼接方法和装置。
背景技术
侧扫声呐是一种常用于获取水下地形和目标信息的技术。它通过发射声波信号并接收回波信号来生成水下图像。然而，由于海洋环境的复杂性，得到的侧扫声呐图像通常是局部的、片段化的。侧扫声呐图像条带式扫测，需要进行自动对准和拼接，最终实现区域完整图样的输出，方便图像解译和判读。
在海洋调查和水下勘探中，获取连续、完整的水下地形图像是非常重要的。目前，为了获取更全面的信息，常常需要对多个侧扫声呐图像进行拼接。然而，传统的拼接方法存在一些问题，如航迹信息的噪声影响匹配结果、航迹抖动造成显示错误、不能自动进行重叠区域判断、无法自动提取图像特征和匹配等问题。虽然一些现有的侧扫声呐图像拼接融合技术(例如CN113284048B号发明专利)针对图像变形严重、灰度畸变、图像特征点匹配困难、存在阴影区域问题提出了相应的解决方案，但其并不能很好地解决上述传统拼接方法所存在的问题，并且这些现有方案的计算过程复杂。
针对上述现有技术的缺陷，本领域亟待需要一种新的侧扫声呐图像自动对准和拼接方案。
发明内容
有鉴于此，本发明实施例的目的在于提出一种侧扫声呐图像拼接方法和装置，能够解决上述现有技术存在的问题，以获得连续、完整的水下地形图像。
基于上述目的，本发明实施例的一方面提供了一种侧扫声呐图像拼接方法，包括以下步骤：
步骤1、获取多幅第一侧扫声呐图像；
步骤2、对所述第一侧扫声呐图像进行斜距校正，得到斜距校正数据；
步骤3、对每一幅第一侧扫声呐图像对应的第一航迹坐标点集合进行滤波，得到每一幅第一侧扫声呐图像对应的第二航迹坐标点集合；
步骤4、对每一幅第一侧扫声呐图像对应的所述第二航迹坐标点集合进行平滑，得到每一幅第一侧扫声呐图像对应的第三航迹坐标点集合；
步骤5、基于所述斜距校正数据和所述第三航迹坐标点集合，生成多幅与所述第一侧扫声呐图像对应的第二侧扫声呐图像；
步骤6、分别计算相邻两幅第二侧扫声呐图像重叠区域的第四航迹坐标点集合；
步骤7、识别所述第四航迹坐标点集合范围内的图像区域中的关键目标，得到关键目标坐标点集合；以及
步骤8、基于所述关键目标坐标点集合，将多幅第二侧扫声呐图像拼接融合成第三侧扫声呐图像。
在一些实施方式中，上述步骤3进一步包括：
对于任意一幅第一侧扫声呐图像对应的第一航迹坐标点集合(xi,yi)(i＝0,1,...,n)，取滤波窗口大小k进行中值滤波，具体地：首先对每一个距离点di，计算中值d_midi，其中，d_midi＝median(di-k,di-k+1,...,di+k-1,di+k)，然后按照规则/>进行滤波，其中，t为阈值，滤波后保留的航迹坐标点集合为(xi,yi)(i＝0,1,...,m)；
对所述滤波后保留的航迹坐标点集合(xi,yi)(i＝0,1,...,m)进行插值，得到所述第二航迹坐标点集合(x′i,y′i)(i＝0,1,...,n)。
在一些实施方式中，对所述滤波后保留的航迹坐标点集合(xi,yi)(i＝0,1,...,m)进行插值，进一步包括：
计算点间距
对于第i个插值点，计算其索引其中/>为向下取整；以及按照下式进行插值
x′i＝xj+(xj+1-xj)(i·d0-j)
y′i＝yj+(yj+1-yj)(i·d0-j)。
在一些实施方式中，在上述步骤4中，定义平滑窗口大小为2k+1，其中k为非负整数，平滑后的坐标记作(xsi,ysi)，则平滑处理的计算式为
在一些实施方式中，所述斜距校正数据包括修正后海底目标物到侧扫声呐的水平距离和修正后的图像灰度信息。
在一些实施方式中，上述步骤5进一步包括：
利用所述修正后海底目标物到侧扫声呐的水平距离和所述第三航迹坐标点集合计算与所述第三航迹坐标点集合对应的实际地理坐标；
按照所述实际地理坐标，利用所述修正后的图像灰度信息生成所述第二侧扫声呐图像。
在一些实施方式中，上述步骤8进一步包括：
对于每一个关键目标坐标点集合，分别提取图像匹配特征，得到相应的匹配点对；
利用所述匹配点对计算单应性矩阵；
采用最小二乘法计算每一个单应性矩阵的解析解，从而得到完成特征匹配变换的图像序列；以及
将所述图像序列融合成所述第三侧扫声呐图像。
基于上述目的，本发明实施例的另一方面提供了一种侧扫声呐图像拼接装置，包括：
处理器；和
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行如上所述任意一项中的方法。
本发明具有以下有益技术效果：
本发明实施例提供的侧扫声呐图像拼接方法和装置，首先对多幅原始侧扫声呐图像进行斜距校正、航迹滤波、航迹平滑处理；然后并非是在处理得到的侧扫声呐图像数据基础上直接进行拼接融合，而是先使用卷积神经网络(CNN)模型对相邻两幅侧扫声呐图像重叠区域中的岩石、地形拐点等关键目标进行提取，得到关键目标坐标点集合，再基于所述关键目标坐标点集合，进行侧扫声呐图像的特征匹配和拼接融合。因此，本发明的侧扫声呐图像拼接方法和装置避免了航迹信息的噪声对匹配结果造成影响，也能够消除航迹抖动造成的影响，实现了相邻图像重叠区域关键特征点的自动识别和后续图像的特征匹配，从而能够获得连续、完整的水下地形图像，并且本发明技术方案的计算过程简便，极大地提高了侧扫声呐图像拼接的准确性和效率，有利于推广实施。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明一个实施例的侧扫声呐图像拼接方法的示意性流程图；
图2为根据本发明另一个实施例的侧扫声呐图像拼接装置的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”、“第二”等的表述均是为了区分多个相同名称非相同的实体或者非相同的参量，可见“第一”、“第二”等仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明一个实施例提出了一种侧扫声呐图像拼接方法。图1示出的是该方法的示意性流程图。总体而言，本发明提出的方法首先对多幅原始侧扫声呐图像进行斜距校正、航迹滤波、航迹平滑处理；然后并非是在处理得到的侧扫声呐图像数据基础上直接进行拼接融合，而是先使用卷积神经网络(CNN)模型对相邻两幅侧扫声呐图像重叠区域中的岩石、地形拐点等关键目标进行提取，得到关键目标坐标点集合，再基于所述关键目标坐标点集合，进行侧扫声呐图像的特征匹配和拼接融合。
具体而言，如图1中所示，该侧扫声呐图像拼接方法包括以下步骤：
步骤S1、获取多幅第一侧扫声呐图像。
在此步骤中，通过侧扫声呐设备的连续扫测，获得多幅原始条带式侧扫声呐图像，该条带式侧扫声呐图像是局部的、片段化的，需要对其进行拼接，最终得到区域完整的水下地形图像。每幅原始条带式侧扫声呐图像表示不同位置或不同方向的水下地形信息。每幅原始条带式侧扫声呐图像为多Ping数据的集合，每Ping数据包含声呐所处经纬度坐标信息G和图像灰度信息数组I(L)，其中L为垂直航迹方向上海底目标物到声呐的距离。
步骤S2、对所述第一侧扫声呐图像进行斜距校正，得到斜距校正数据。
侧扫声呐工作时，由换能器发射一个声脉冲，该脉冲以球面波的形式向外扩散，遇到目标物后沿原路返回由接收换能器接收。由于侧扫声呐工作的特性，声呐记录的距离由脉冲从发射到接收的时间乘以声速计算得到,因而侧扫声呐图像上的目标物在横向上尺度不同，因此为正确表征海底目标物的真实形状及大小,需要对原始条带式侧扫声呐图像进行斜距校正。需要将各Ping的图像灰度信息数组I(L)进行矫正。
在一个优选实施例中，斜距校正的具体计算过程如下：
假定通过探底设备或者图像识别得到的声呐距海底垂直距离为Z0，则修正后海底目标物到侧扫声呐的水平距离为修正后的图像灰度信息为I(L')。
步骤S3、对每一幅第一侧扫声呐图像对应的第一航迹坐标点集合进行滤波，得到每一幅第一侧扫声呐图像对应的第二航迹坐标点集合。
这里，第一航迹坐标点集合即为原始条带式侧扫声呐图像对应的原始航迹坐标点集合，第二航迹坐标点集合即为滤波后的航迹坐标点集合。
步骤S4、对每一幅第一侧扫声呐图像对应的所述第二航迹坐标点集合进行平滑，得到每一幅第一侧扫声呐图像对应的第三航迹坐标点集合。
这里，第三航迹坐标点集合即为平滑后的航迹坐标点集合。
步骤S5、基于所述斜距校正数据和所述第三航迹坐标点集合，生成多幅与所述第一侧扫声呐图像对应的第二侧扫声呐图像。
在此步骤中，由于侧扫声呐各Ping数据均为垂直于航迹方向，通过上述处理完成航迹坐标的滤波、平滑后,可以将每Ping的数据按照垂直于航迹方向进行贴图。
步骤S6、分别计算相邻两幅第二侧扫声呐图像重叠区域的第四航迹坐标点集合。
在此步骤中，假设相邻两幅图像各Ping的航迹坐标集合分别为(x1i,y1i)(i＝0,1,...,m)和(x2j,y2j)(j＝0,1,...,n)，遍历两个集合，计算两两间的距离如果间距小于两倍的声呐探测距离Lrange，即dimg＜2Lrange，则存在重叠，因此可以计算出重叠区域的第四航迹坐标点集合。
步骤S7、识别所述第四航迹坐标点集合范围内的图像区域中的关键目标，得到关键目标坐标点集合。
对于均匀的背景图像很难进行特征提取和匹配，因此可以对声呐图像中的特定目标，如岩石、地形拐点等关键特征进行提取。例如，使用卷积神经网络(CNN)方法对声呐图像中的岩石目标、地形拐点目标进行提取。通过历史的侧扫声呐图像数据，构建卷积神经网络模型，并进行训练，通过有效的CNN模型识别出关键目标的坐标点集合，这样对上述步骤S6中位于第四航迹坐标点集合范围内的图像进行识别，可得到包含岩石、地形拐点等关键特征点坐标点集合。
对本领域技术人员而言，显而易见的是，本发明所使用的识别模型除了CNN之外，也可以是能够实现本发明目的的其他神经网络模型，这里对卷积神经网络模型的结构和训练过程不再予以赘述。
步骤S8、基于所述关键目标坐标点集合，将多幅第二侧扫声呐图像拼接融合成第三侧扫声呐图像。
在一个优选实施例中，步骤S3进一步包括：
利用坐标转换工具将声呐的经纬度坐标G转换为UTM平面坐标，转换后的东坐标为x，北坐标为y，则对于任意一幅第一侧扫声呐图像对应的各Ping的第一航迹坐标点集合(xi,yi)(i＝0,1,...,n)，取滤波窗口大小k进行中值滤波，具体地：首先对每一个距离点di，计算中值d_midi，其中，d_midi＝median(di-k,di-k+1,...,di+k-1,di+k)，然后按照规则/>进行滤波，其中，t为阈值，可以根据需要适当调整，例如k＝10，t＝5，滤波后保留的航迹坐标点集合为(xi,yi)(i＝0,1,...,m)；
对所述滤波后保留的航迹坐标点集合(xi,yi)(i＝0,1,...,m)进行插值，得到所述第二航迹坐标点集合(x′i,y′i)(i＝0,1,...,n)。
进一步地，对所述滤波后保留的航迹坐标点集合(xi,yi)(i＝0,1,...,m)进行插值，包括：
计算点间距
对于第i个插值点，计算其索引其中/>为向下取整；以及按照下式进行插值
从而得到和滤波前等长的航迹坐标点集合(x′i,y′i)(i＝0,1,...,n)，替换掉原始的航迹数据。
在一个优选实施例中，在步骤S4中，定义平滑窗口大小为2k+1，其中k为非负整数，表示窗口的宽度，优选地，k＝10，对于第i个数据点(x′i,y′i)，其平滑后的坐标记作(xsi,ysi)，则平滑处理的计算式为
在一个优选实施例中，所述斜距校正数据包括修正后海底目标物到侧扫声呐的水平距离和修正后的图像灰度信息。步骤S5进一步包括：利用所述修正后海底目标物到侧扫声呐的水平距离和所述第三航迹坐标点集合计算与所述第三航迹坐标点集合对应的实际地理坐标；按照所述实际地理坐标，利用所述修正后的图像灰度信息生成所述第二侧扫声呐图像。
具体地，对于指定的某个航迹点(xsi,ysi)，其航迹方向为根据上述步骤S2中的斜距校正数据，假定该航迹点对应的Ping，其中任意一点的数据，其距离声呐的水平距离为L'，则其实际地理坐标为(xsi+L'tanθ,ysi+L'cotθ)，按照该坐标，将像素点的灰度值I(L')，贴图到图像平面上，生成所述第二侧扫声呐图像。
在一个优选实施例中，步骤S8进一步包括：对于每一个关键目标坐标点集合，分别提取图像匹配特征，得到相应的匹配点对；利用所述匹配点对计算单应性矩阵；采用最小二乘法计算每一个单应性矩阵的解析解，从而得到完成特征匹配变换的图像序列；以及将所述图像序列融合成所述第三侧扫声呐图像。
具体地，在上述关键目标坐标点集合对应的区域，进行手动指定或者按照特征点算法提取两幅图像的匹配特征，得到匹配点对，即原图像中的特征点坐标(x,y)映射到目标图像的特征点坐标(x',y')；
利用匹配点对计算单应性矩阵，即将源图像中的像素坐标映射到目标图像中的像素坐标的变换矩阵，使得:
其中，H为3x3的变换矩阵，即单应性矩阵；
使用最小二乘法计算单应性矩阵:
其中(xm,ym),(x′m,y′m)分别表示匹配点对源图像和目标图像的像素坐标。通过对上述公式进行求导，可以得到单应性矩阵H的解析解。从而将两幅图像按照特征点映射到同一个坐标体系下；
按照上述的方法对各个节点的扫测图像进行处理，可以得到完成特征匹配变换的图像序列I1,I2,I3,...IN，接着按照如下方法进行图像融合：
其中，Ifuse为最终融合结果图像，(x,y)表示像素坐标，表示第i副图像在(x,y)处的权值，权值可以根据关注的图像细节情况手工指定，默认情况下取/>
需要说明的是，本领域普通技术人员可以理解实现上述实施例操作中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述操作的实施例的流程。所述计算机程序可以达到与之对应的前述操作实施例相同或者相类似的效果。
基于上述目的，本发明实施例的第二个方面，提出了一种侧扫声呐图像拼接装置的一个实施例。该侧扫声呐图像拼接装置可以包括：处理器；和存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行上述任意实施例的方法。
如图2中所示，为本发明提供的执行上述侧扫声呐图像拼接方法的装置的一个实施例的硬件结构示意图。
以如图2所示的装置为例，在该装置中包括处理器201以及存储器202，并还可以包括：输入装置203和输出装置204。
处理器201、存储器202、输入装置203和输出装置204可以通过总线或者其他方式连接，图2中以通过总线连接为例。
存储器202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的方法。
存储器202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据上述方法的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器202可选包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置203可接收输入的数字或字符信息，以及产生与***的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
所述方法对应的程序指令/模块存储在所述存储器202中，当被所述处理器201执行时，执行上述任意方法实施例中的方法。
所述装置的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外，应该明白的是，实现本发明的操作所采用的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例，上述本发明实施例公开的顺序仅仅为了描述，不代表实施例的优劣。但是应当注意，以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

Claims (7)

1.一种侧扫声呐图像拼接方法，其特征在于，包括以下步骤：
步骤1、获取多幅第一侧扫声呐图像；
步骤2、对所述第一侧扫声呐图像进行斜距校正，得到斜距校正数据；
步骤3、对每一幅第一侧扫声呐图像对应的第一航迹坐标点集合进行滤波，得到每一幅第一侧扫声呐图像对应的第二航迹坐标点集合；
步骤4、对每一幅第一侧扫声呐图像对应的所述第二航迹坐标点集合进行平滑，得到每一幅第一侧扫声呐图像对应的第三航迹坐标点集合；
步骤5、基于所述斜距校正数据和所述第三航迹坐标点集合，生成多幅与所述第一侧扫声呐图像对应的第二侧扫声呐图像；
步骤6、分别计算相邻两幅第二侧扫声呐图像重叠区域的第四航迹坐标点集合；
步骤7、识别所述第四航迹坐标点集合范围内的图像区域中的关键目标，得到关键目标坐标点集合；以及
步骤8、基于所述关键目标坐标点集合，将多幅第二侧扫声呐图像拼接融合成第三侧扫声呐图像；
所述步骤3进一步包括：
对于任意一幅第一侧扫声呐图像对应的第一航迹坐标点集合(xi,yi)(i＝0,1,...,n)，取滤波窗口大小k进行中值滤波，具体地：首先对每一个距离点di，计算中值d_midi，其中，
d_midi＝median(di-k,di-k+1,...,di+k-1,di+k)，然后按照规则进行滤波，其中，t为阈值，滤波后保留的航迹坐标点集合为(xi,yi)(i＝0,1,...,m)；
对所述滤波后保留的航迹坐标点集合(xi,yi)(i＝0,1,...,m)进行插值，得到所述第二航迹坐标点集合(x'i,y'i)(i＝0,1,...,n)。
2.根据权利要求1所述的侧扫声呐图像拼接方法，其特征在于，对所述滤波后保留的航迹坐标点集合(xi,yi)(i＝0,1,...,m)进行插值，进一步包括：
计算点间距
对于第i个插值点，计算其索引其中/>为向下取整；以及
按照下式进行插值
3.根据权利要求2所述的侧扫声呐图像拼接方法，其特征在于，在步骤4中，定义平滑窗口大小为2k+1，其中k为非负整数，平滑后的坐标记作(xsi,ysi)，则平滑处理的计算式为
4.根据权利要求1所述的侧扫声呐图像拼接方法，其特征在于，所述斜距校正数据包括修正后海底目标物到侧扫声呐的水平距离和修正后的图像灰度信息。
5.根据权利要求4所述的侧扫声呐图像拼接方法，其特征在于，步骤5进一步包括：
利用所述修正后海底目标物到侧扫声呐的水平距离和所述第三航迹坐标点集合计算与所述第三航迹坐标点集合对应的实际地理坐标；
按照所述实际地理坐标，利用所述修正后的图像灰度信息生成所述第二侧扫声呐图像。
6.根据权利要求1所述的侧扫声呐图像拼接方法，其特征在于，步骤8进一步包括：
对于每一个关键目标坐标点集合，分别提取图像匹配特征，得到相应的匹配点对；
利用所述匹配点对计算单应性矩阵；
采用最小二乘法计算每一个单应性矩阵的解析解，从而得到完成特征匹配变换的图像序列；以及
将所述图像序列融合成所述第三侧扫声呐图像。
7.一种侧扫声呐图像拼接装置，包括：
处理器；和
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-6中任意一项所述的方法。
CN202311402148.3A 2023-10-26 2023-10-26 一种侧扫声呐图像拼接方法和装置 Active CN117408879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311402148.3A CN117408879B (zh) 2023-10-26 2023-10-26 一种侧扫声呐图像拼接方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311402148.3A CN117408879B (zh) 2023-10-26 2023-10-26 一种侧扫声呐图像拼接方法和装置

Publications (2)

Publication Number Publication Date
CN117408879A CN117408879A (zh) 2024-01-16
CN117408879B true CN117408879B (zh) 2024-05-10

Family

ID=89495732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311402148.3A Active CN117408879B (zh) 2023-10-26 2023-10-26 一种侧扫声呐图像拼接方法和装置

Country Status (1)

Country Link
CN (1) CN117408879B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101592731A (zh) * 2009-07-09 2009-12-02 浙江大学 一种基于航迹线文件的侧扫声纳拖鱼航迹处理方法
CN111028154A (zh) * 2019-11-18 2020-04-17 哈尔滨工程大学 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法
CN114693524A (zh) * 2022-04-01 2022-07-01 杭州职业技术学院 侧扫声呐图像准确匹配快速拼接方法、设备及存储介质
WO2022166097A1 (zh) * 2021-02-08 2022-08-11 中国科学院声学研究所 一种侧扫声呐的水下目标多模式成像方法
CN116559883A (zh) * 2023-03-09 2023-08-08 浙江省水利河口研究院(浙江省海洋规划设计研究院) 一种侧扫声呐图像的纠正方法以及侧扫声呐镶嵌影像
CN116907509A (zh) * 2023-07-18 2023-10-20 中山大学 基于图像匹配的auv水下辅助导航方法、***、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101592731A (zh) * 2009-07-09 2009-12-02 浙江大学 一种基于航迹线文件的侧扫声纳拖鱼航迹处理方法
CN111028154A (zh) * 2019-11-18 2020-04-17 哈尔滨工程大学 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法
WO2022166097A1 (zh) * 2021-02-08 2022-08-11 中国科学院声学研究所 一种侧扫声呐的水下目标多模式成像方法
CN114693524A (zh) * 2022-04-01 2022-07-01 杭州职业技术学院 侧扫声呐图像准确匹配快速拼接方法、设备及存储介质
CN116559883A (zh) * 2023-03-09 2023-08-08 浙江省水利河口研究院(浙江省海洋规划设计研究院) 一种侧扫声呐图像的纠正方法以及侧扫声呐镶嵌影像
CN116907509A (zh) * 2023-07-18 2023-10-20 中山大学 基于图像匹配的auv水下辅助导航方法、***、设备及介质

Also Published As

Publication number Publication date
CN117408879A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
US10885352B2 (en) Method, apparatus, and device for determining lane line on road
Kim et al. High-speed drone detection based on yolo-v8
CN110570433B (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
KR102279350B1 (ko) 자율 주행 상황에서 장애물 검출을 위한 cnn 학습용 이미지 데이터 세트의 생성 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111028154B (zh) 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法
US10565476B1 (en) Method and computing device for generating image data set for learning to be used for detection of obstruction in autonomous driving circumstances and learning method and learning device using the same
JP2020003379A (ja) データ生成装置、画像識別装置、データ生成方法及びプログラム
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
CN115100423B (zh) 一种基于视图采集数据实现实时定位***及方法
CN100372089C (zh) 图形评价装置、图形评价方法
CN114841927A (zh) 一种页岩储层裂缝识别方法、装置、设备及存储介质
JP7224592B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN117408879B (zh) 一种侧扫声呐图像拼接方法和装置
CN111488280B (zh) 数据处理方法、装置、存储介质及电子设备
CN117152733B (zh) 一种地质材料材质识别方法、***及可读存储介质
CN116091706B (zh) 多模态遥感影像深度学习匹配的三维重建方法
CN110363863B (zh) 一种神经网络的输入数据生成方法和***
CN113960654B (zh) 地震数据处理方法及***
US20130039578A1 (en) Precision improving device for three dimensional topographical data, precision improving method for three dimensional topographical data and recording medium
KR102420571B1 (ko) 딥러닝 기반의 공동 예측 시스템 및 방법
KR102420573B1 (ko) 신호 증폭 필터를 이용한 공동 예측 시스템 및 방법
KR102420580B1 (ko) 로컬 평균 차감을 통한 공동 예측 시스템 및 방법
KR102420578B1 (ko) 노이즈 제거 필터를 이용한 공동 예측 시스템 및 방법
WO2020133206A1 (zh) 雷达仿真方法及装置
JP2022072228A (ja) 学習装置、学習方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant