CN111983620A - 一种面向水下机器人搜寻探摸的目标定位方法 - Google Patents

一种面向水下机器人搜寻探摸的目标定位方法 Download PDF

Info

Publication number
CN111983620A
CN111983620A CN202011065672.2A CN202011065672A CN111983620A CN 111983620 A CN111983620 A CN 111983620A CN 202011065672 A CN202011065672 A CN 202011065672A CN 111983620 A CN111983620 A CN 111983620A
Authority
CN
China
Prior art keywords
target
underwater
underwater robot
layer
elevation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011065672.2A
Other languages
English (en)
Other versions
CN111983620B (zh
Inventor
马杰
余逸飞
尉浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Publication of CN111983620A publication Critical patent/CN111983620A/zh
Application granted granted Critical
Publication of CN111983620B publication Critical patent/CN111983620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种面向水下机器人搜寻探摸的目标定位方法，包括以下步骤：提取并识别水下目标声呐图像的A‑KAZE特征点；测算水下目标相对于水下机器人的二维方位；测算目标的仰角；测算水下目标相对于水下机器人的三维方位；修正目标的仰角，进而修正水下目标点相对于水下机器人的三维方位。本发明面向水下机器人搜寻探摸的目标定位方法，基于前视声呐数据，运用深度卷积神经网络对水下目标特征点进行自动提取和识别，结合水下机器人姿态，实现了水下目标的精准定位，便于搜寻人员对于水下目标的位置进行精细化探测，实现水下搜寻探摸作业的可靠化、高效化、智能化，此发明用于水下目标搜寻探摸技术领域。

Description

一种面向水下机器人搜寻探摸的目标定位方法
技术领域
本发明涉及水下目标搜寻探摸技术领域，特别是涉及一种面向水下机器人搜寻探摸的目标定位方法。
背景技术
在对海洋进行科学研究时，水下机器人是最重要的研究工具，用于代替人类长时间水下作业或者在恶劣水下环境中工作。在复杂的水下环境中，最为可靠有效的探测手段是水声探测，也是水下机器人应用最为广泛的水下探测手段。综合利用现代声呐探测技术对遇难事故海域水下展开搜寻探摸，获取水下搜寻目标的关键特征点，同时结合目标特征点和探摸机器人的姿态信息，实现水下目标的准确定位。
现有的水下目标搜寻探摸方法获得的水下目标位置的精细化及准确性不高，研究水下目标搜寻探摸定位方法是而今乃至未来很长一段时间的科学研究中的焦点问题。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种面向水下机器人搜寻探摸的目标定位方法，能够实现水下目标的精确定位。
根据本发明的实施例，提供一种面向水下机器人搜寻探摸的目标定位方法，包括以下步骤：
S1.通过水下机器人的前视声呐采集的声纳图像提取水下目标的A-KAZE特征点；
S2.将带有A-KAZE特征的声呐图像输入卷积神经网络方法识别声呐图像中目标的A-KAZE特征点；
S3.运用目标特征点与前置声呐的几何关系测算水下目标相对于水下机器人的二维方位；
S4.将水下目标特征点二维方位和水下机器人的姿态结合测算目标的仰角θ，通过得到的仰角θ测算水下目标相对于水下机器人的三维方位；
S5.修正目标的仰角θ，进而修正水下目标点相对于水下机器人的三维方位。
根据本发明实施例所述的面向水下机器人搜寻探摸的目标定位方法，所述步骤S1中提取水下目标的A-KAZE特征点包括以下步骤：
S101.定义一组演化时间构建非线性尺度空间；
S102.将像素单位中的离散集转换为时间单位；
S103.给定输入图像和对比度因子，使用快速显式扩散方法；
S104.将快速显式扩散方法嵌入从粗到细的金字塔方法中；
S105.为每个声呐图像计算海森行列式；
S106.使用级联沙尔滤波器计算二阶导数。
根据本发明实施例所述的面向水下机器人搜寻探摸的目标定位方法，所述步骤S2的具体实现包括以下子步骤：
S201.使用GoogLeNet架构在声呐图像数据集上训练卷积神经网络。
根据本发明实施例所述的面向水下机器人搜寻探摸的目标定位方法，所述GoogLeNet架构包括五层，第一层和第二层为卷积层和最大池化层，第三层为inception层，第四层为特征层，是完全连接的层，第四层将先前的输出映射到Dim×1向量，第五层是完全连接的层，第五层将先前的特征层映射为3×1向量，并将映射为3×1向量的特征层与使用欧式损失的位置标签进行比较。
根据本发明实施例所述的面向水下机器人搜寻探摸的目标定位方法，所述步骤S3的具体实现包括以下子步骤：
S301.局部笛卡尔声呐坐标系与球面参数坐标系相互转化。
根据本发明实施例所述的面向水下机器人搜寻探摸的目标定位方法，所述步骤S4的具体实现包括以下子步骤：
S401.将水下目标特征点和水下机器人的姿态公式化为非线性最小二乘因子图优化，对于每个姿态Xt，包含以下6个参数(xo，yo，zo，yaw，pitch，roll)，对于每个特征点，包含以下3个参数(x，y，z)；
S402.将因子图求解为非线性优化；
S403.将特征点lj＝(x，y，z)转换为声呐帧，获得局部坐标(xs，ys，zs)的方位角和距离；
S404.利用对数函数的单调性，通过声呐测量值的反投影找到特征点的初始估计；
S405.将未知仰角θ设置为0，然后使用水下机器人姿态Xt将点从声纳直角坐标(xs，ys，zs)转换为世界直角坐标(x，y，z)，用作初始猜测特征点的三维方位；
S406.根据基本姿态Xb，相应的方位和距离的测量值mb计算目标点的仰角θ。
根据本发明实施例所述的面向水下机器人搜寻探摸的目标定位方法，所述步骤S5中，采用约束不足或约束充足的特征点迭代计算修正目标仰角θ，进而修正水下目标点相对于水下机器人的三维方位。
根据本发明实施例所述的面向水下机器人搜寻探摸的目标定位方法，所述步骤S5的具体实现包括以下子步骤：
S501.通过不同姿态观察目标特征点的仰角；
S502.将观察到的特征点分类为约束不足或约束充足的要素；
S503.为了确定点特征点是否受到充足约束，使用三自由度球面参数化；
S504.以特征点l0的初始估计为线性化点，使用测量函数的泰勒级数展开；
S505.将优化简化为线性最小二乘问题；
S506.确定优化是否受到测量约束；
S507.从状态向量中完全删除约束不足的特征点；
S508.仅从状态向量中完全删除约束不足的特征点的仰角，然后将约束不足的特征点建模为因子图中的二维方位距离点。
根据本发明实施例所述的面向水下机器人搜寻探摸的目标定位方法，所述步骤S5中，采用蒙特卡洛方法在目标特征点仰角范围内随机采样计算，以最小化位置误差为目标修正目标的仰角θ，进而修正水下目标点相对于水下机器人的三维方位。
根据本发明实施例所述的面向水下机器人搜寻探摸的目标定位方法，所述步骤S5的具体实现包括以下子步骤：
S501.通过不同姿态获取目标特征点的仰角；
S502.运用蒙特卡洛方法在目标特征点仰角范围内随机采样；
S503.采用优化损失函数的方法修正目标的仰角θ；
S504.使用蒙特卡洛算法生成声呐中目标特征点滚动前后的空间位置信息，并利用圆弧约束l0；
S505.将优化简化为线性最小二乘问题；
S506.确定优化是否受到测量约束；
S507.使用损失函数修正特征点。
有益效果：本面向水下机器人搜寻探摸的目标定位方法，基于前视声呐数据，运用深度卷积神经网络对水下目标特征点进行自动提取和识别，结合水下机器人姿态，实现了水下目标的精准定位，便于搜寻人员对于水下目标的位置进行精细化探测，实现水下搜寻探摸作业的可靠化、高效化、智能化，此发明用于水下目标搜寻探摸技术领域。
附图说明
下面结合附图对本发明作进一步说明：
图1是本发明实施例步骤S5采用约束不足或约束充足的特征点迭代计算修正目标仰角时的步骤框图；
图2是本发明实施例步骤S5采用蒙特卡洛方法修正目标仰角时的步骤框图；
图3是本发明实施例目标特征点与前置声呐的几何关系图；
图4是本发明实施例的因子图模型；
图5是本发明实施例水下目标的三维位置图；
图6是本发明实施例水下机器人绕z轴旋转的示意图；
图7是本发明实施例的因子图修正模型；
图8是本发明实施例水下机器人绕x轴旋转的示意图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1和图2，本发明实施例提供一种面向水下机器人搜寻探摸的目标定位方法，包括以下步骤：
S1.通过水下机器人的前视声呐采集的声纳图像提取水下目标的A-KAZE特征点，提取水下目标的A-KAZE特征点具体实现包括以下子步骤：
S101.定义一组演化时间构建非线性尺度空间，
σi(o,s)＝2o+s/S,o∈[0…O-1]，s∈[0…S-1]，i∈[0…M]，
其中O为经不同高斯核模糊的图像的集合，S为离散化的层，σ为像素M，是声呐图像的总数。
S102.将像素单位σi中的离散集转换为时间单位，
Figure BDA0002713692220000051
S103：给定输入图像和对比度因子，使用快速显式扩散方法，使用M-1个外部快速显式扩散循环，并为每个循环计算最小内部步数n(n<<M)。
S104.为了加快非线性尺度空间的计算，将快速显式扩散方法嵌入从粗到细的金字塔方法中。
快速显式扩散方法被嵌入从粗到细的金字塔分解中。为了尽可能快地达到稳态，级联快速显式扩散将解决从粗略级到精细级传播。对图像进行2倍降采样，并将该降采样后的图像用作下一个集合中下一个快速扩散周期的起始图像。
S105.为每个声呐图像Li计算海森行列式，
Figure BDA0002713692220000052
S106.为了计算二阶导数使用步长为σi,norm的级联沙尔滤波器。
在每个i处，检查响应值是否高于预先设定的阈值。然后对于每个可能的最大值，分别在大小为σi*σi像素的窗口中，检查在i+1和i-1中其他关键点的最大值是否分别为正上和正下。最后通过在3*3像素邻域中拟合二次函数到海森响应值，并找到其最大值，以亚像素精度估算关键点的二维位置。
S2.将带有A-KAZE特征的声呐图像输入卷积神经网络方法识别声呐图像中目标的A-KAZE特征点，具体实现包括以下子步骤：
S201.使用GoogLeNet架构在声呐图像数据集上训练卷积神经网(CNN)；
原始的GoogLeNet架构分为五层，第一、二层为卷积层和最大池化层，第三、四、五层为inception层。
为使原始网络适应本发明进行了两项改进：
(1)倒数第二层(即第四层)是完全连接的层，该层将先前的输出映射到Dim×1向量，称为特征层。
(2)最后一层(即第五层)是一个完全连接的层，该层将先前的特征层映射为3×1向量，并将其与使用欧式损失的位置标签进行比较。
S3.运用目标特征点与前置声呐的几何关系测算水下目标相对于水下机器人的二维方位，具体实现包括以下子步骤：
S301.在局部笛卡尔声呐坐标系中参数化的点C＝[x y z]T。该点也可以使用球面参数化表示为Q，两者之间的转换为，
Figure BDA0002713692220000061
Figure BDA0002713692220000062
其中
Figure BDA0002713692220000063
是方位角，r是距离，θ是仰角。
r由发射的时间和水中的声速决定。收发器阵列允许将接收到的反射的方位角
Figure BDA0002713692220000066
计算为准确度<1°以内。同时这些测量没有提供关于仰角θ的任何信息。
从位于同一仰角弧上的曲面块反射的检测到的声呐反射将投射到最终成像声呐图像中的同一像素，如图3所示。
在声呐视野范围内编译所有测量结果将得到灰度级极坐标图像，其中二维矩阵中的列对应于离散方位角空间，行对应于离散范围空间。
对于单位像素σ，令
Figure BDA0002713692220000064
表示从像素空间到方位范围空间的转换。像素的强度对应于在指定的方位角和范围内从仰角反射的声音的强度。
S4.将水下目标特征点二维方位和水下机器人的姿态结合测算目标的仰角θ，通过得到的仰角θ测算水下目标相对于水下机器人的三维方位，具体实现包括以下子步骤：
S401.将水下目标特征点和水下机器人的姿态公式化为非线性最小二乘因子图优化，对于每个姿态Xt，都有以下6个参数(xo，yo，zo，yaw，pitch，roll)，对于每个特征点，都有以下3个参数(x，y，z)。
因子图是一个二分图，其中待优化未知变量的变量节点连接到测量值的因子节点，如图4所示。
在每个时间t处，姿态Xt与里程表测量位置值ut-1一起作为新节点添加到因子图中，后者提供Xt-1和Xt之间的运动估计。将第j个特征点的方位和距离
Figure BDA0002713692220000065
的测量值mk添加到图形中，从而将特征点lj连接到观察其的姿态。使用“基本姿态Xb”(观察到的特征点的第一个姿态)的框架的球面坐标，首先假设0°仰角生成特征点三维位置的初始估计。
S402.将因子图求解为非线性优化，
Figure BDA0002713692220000071
其中状态向量X＝[X0,X1,…,L0,L1,…]T包含所有未知变量：姿态和特征点。
第i个因子指定了预测函数hi(X)，测量值
Figure BDA0002713692220000072
和测量不确定度∑i。
在从姿态Xt测量特征点j的方位和距离
Figure BDA0002713692220000073
的情况下，预测函数：
Figure BDA0002713692220000074
Figure BDA0002713692220000075
S403.hi(X)首先根据姿态Xt将特征点lj＝(x，y，z)根据绝对坐标(xo，yo，zo)转换为声呐帧，获得局部坐标(xs，ys，zs)的方位角
Figure BDA0002713692220000076
和距离r，如图5所示，由以下公式获得；
xs＝x+xo[cos(yaw)-sin(yaw)]，
ys＝y+yo[sin(yaw)+cos(yaw)]，
zs＝z+zo，
Figure BDA0002713692220000077
Figure BDA0002713692220000078
S404.利用对数函数的单调性，通过声呐测量值的反投影找到特征点的初始估计。使用每个特征的第一个观察值，包括距离r和方位角
Figure BDA0002713692220000079
测量值，
Figure BDA00027136922200000710
S405.将未知仰角θ设置为0，然后使用水下机器人姿态Xt将点从声纳直角坐标(xs，ys，zs)转换为世界直角坐标(x，y，z)，用作初始猜测特征点的三维方位。
S406.根据基本姿态Xb，相应的方位
Figure BDA0002713692220000081
和距离rb的测量值mb计算目标点的仰角θ，如图5所示；
S5.修正目标的仰角θ，进而修正水下目标点相对于水下机器人的三维方位。
具体地，修正目标的仰角θ，可以采用考虑约束不足和约束充足的特征点迭代计算修正目标的仰角，或者采用蒙特卡洛方法在特征点仰角范围内采样算位置误差修正目标的仰角。
其中，采用约束不足或约束充足的特征点迭代计算修正目标仰角θ，具体实现包括以下子步骤：
S501.通过不同姿态观察目标特征点的仰角。
控制水下机器人绕z轴作纯偏航旋转，旋转角度为yaw，前视声呐接收到的反射的方位角
Figure BDA0002713692220000082
特征点参数(x，y，z)参数转换：
Figure BDA0002713692220000083
如图6所示，当姿态通过纯偏航旋转分开时，仰角弧线具有最小的重叠。
从多个姿势中测量了该特征点，该点的仰角需要经过以下步骤进行修正。
S502.将观察到的特征点分类为约束不足或约束充足的要素。查看测量结果是否足以约束其仰角，如果是这样，则使用标准参数化将其作为约束充足的特征点添加到因子图中；
S503.为了确定点特征点是否受到充足约束，使用三自由度球面参数化，其中状态仅由特征点lj组成，
Figure BDA0002713692220000084
由于传感器的姿态不是状态变量，因此将它们视为常量，并且预测函数hi(lj)使用可从总体因子图状态估计中获得的最新估计。
S504.以特征点l0的初始估计为线性化点，使用测量函数的泰勒级数展开，
Figure BDA0002713692220000085
Figure BDA0002713692220000086
S505.将优化简化为线性最小二乘问题，
Figure BDA0002713692220000087
其中：
Figure BDA0002713692220000091
其中A和b：
Ai＝∑i -1/2Hi，
Figure BDA0002713692220000092
线性化点
Figure BDA0002713692220000093
被视为在零仰角处反投影的第一个方位和距离测量值。
S506.确定优化是否受到测量约束，其中检查ATA是确定优化是否受到测量约束的关键。
如果仰角完全不受约束，则3×3矩阵ATA的秩将不足随着仰角的约束越来越大，ATA的最小特征值λ3的幅度将相对于前两个特征值λ1和λ2增大。因此，特征点必须满足标准
Figure BDA0002713692220000094
才能被认为具有充足的约束力，其中ρ是用户定义的可调阈值。如果不符合标准，则将特征点分类为约束不足。
S507.从状态向量中删除约束不足的特征点，以使它们的位置不会在优化中明确建模。如图7所示，将与特征点lj对应的测量值收集到一个非参数因子fj中。该因子将特征点从其基本姿态Xb获得的第一个方位距离测量值mb视为常量，从而确定了特征点的两个球面坐标；
在优化的每次迭代中，该因子都会通过以均匀的增量采样仰角在可行的仰角范围内进行搜索，并选择总重投影误差最低的仰角作为当前预测值：
Figure BDA0002713692220000095
其中Θ＝{θmin,θmin+Δθ,…,θmax-Δθ,θmax}，
使用测量不确定度∑k，将重投影误差计算为特征点到姿态xk的投影与测量值mk之间的距离函数。
然后，此因子的成本函数是在最佳仰角下评估的总重投影误差：
Figure BDA0002713692220000096
S508.仅从状态向量中删除约束不足的特征点的仰角，然后将约束不足的特征点建模为因子图中的二维方位距离点。
如图4所示，约束不足的特征点lj的所有测量值都组合为单个联合测量因子sj。该联合测量因子与非参数因子fj相似，不同之处在于它在计算重投影误差时使用了特征点的方位和距离估计，而不是基础姿态的测量值。
另外，采用蒙特卡洛方法在目标特征点仰角范围内随机采样计算，以最小化位置误差为目标修正目标的仰角θ，具体实现包括以下子步骤：
S501.通过不同姿态观察目标特征点的仰角。
控制水下机器人绕x轴作纯滚动旋转，旋转角度为roll，前视声呐接收到的反射的方位角,
Figure BDA0002713692220000101
r′＝r+Δr。
特征点参数(x，y，z)参数转换：
Figure BDA0002713692220000102
如图8所示，当姿态通过纯滚动旋转分开时，仰角弧线具有最小的重叠。
从多个姿势中测量了该特征点，该点的仰角需要经过以下步骤进行修正。
S502.运用蒙特卡洛方法在目标特征点仰角范围内随机采样。利用损失函数迭代减小生成的目标点和真实目标点的距离，将具有最小距离的特征点添加到因子图中；
S503.损失函数使用非线性损失，其中状态仅由特征点lj组成其中δ＝20，
Figure BDA0002713692220000103
由于传感器的姿态不是状态变量，因此将它们视为常量，并且预测函数hi(lj)使用可从总体因子图状态估计中获得的最新估计。
S504.使用蒙特卡洛算法生成声呐中目标特征点滚动前后的空间位置信息，并利用圆弧来约束l0
Figure BDA0002713692220000104
Figure BDA0002713692220000105
ln组成的圆弧可以约束l0的空间位置信息,其中c为圆弧的解析函数：
Figure BDA0002713692220000106
S505.将预测优化简化为线性损失优化问题，
Figure BDA0002713692220000111
其中
Figure BDA0002713692220000112
其中α和β表示优化系数：
Figure BDA0002713692220000113
点
Figure BDA0002713692220000114
被视为在仰角为零处的反投影的第一个方位和距离测量值。
S506.通过比较预测值hi(lj)与初始估计值
Figure BDA0002713692220000115
之间的距离来确定仰角的约束程度。如果hi(lj)与
Figure BDA0002713692220000116
的差值较大，则说明优化不足，需要继续进行迭代优化，因此，特征点必须满足标准
Figure BDA0002713692220000117
才能被认为具有充足的优化，此时可以认为预测,值其中τ是由用户定义的值。
S507.通过损失函数优化预测的目标点和真实的目标点的距离，将最小距离的预测目标点填入因子图中如图7所示，将与特征点lj对应的测量值收集到一个非参数因子f中。该因子将特征点从其基本姿态Xb获得的第一个方位距离测量值mb视为常量，从而确定了特征点的两个球面坐标；
在每次损失值迭代中，该因子都会通过以均匀的增量在可行的仰角范围内进行搜索，并选择误差最低的仰角作为当前预测值：
Figure BDA0002713692220000118
使用测量不确定度∑k，将误差计算为特征点到姿态xk的投影与测量值mk之间的距离函数。
然后，此成本函数是在最佳仰角下评估的总误差：
Figure BDA0002713692220000119
上述的两种方法中，采用考虑约束不足和约束充足的特征点迭代计算修正目标的仰角θ，由于声呐测量投影的非线性转换导致计算过程复杂，而蒙特卡洛方法具有计算过程简单的特点，且不会因为特征点约束的增多而增加计算复杂度，因此这里优先选择蒙特卡洛方法。由于特征点仰角范围往往较小，可减少蒙特卡洛方法计算量，进一步提高计算速度。
应当理解的是，本说明书未详细阐述的部分属于现有技术。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种面向水下机器人搜寻探摸的目标定位方法，其特征在于，包括以下步骤：
S1.通过水下机器人的前视声呐采集的声纳图像提取水下目标的A-KAZE特征点；
S2.将带有A-KAZE特征的声呐图像输入卷积神经网络方法识别声呐图像中目标的A-KAZE特征点；
S3.运用目标特征点与前置声呐的几何关系测算水下目标相对于水下机器人的二维方位；
S4.将水下目标特征点二维方位和水下机器人的姿态结合测算目标的仰角θ，通过得到的仰角θ测算水下目标相对于水下机器人的三维方位；
S5.修正目标的仰角θ，进而修正水下目标点相对于水下机器人的三维方位。
2.根据权利要求1所述的面向水下机器人搜寻探摸的目标定位方法，其特征在于，所述步骤S1中提取水下目标的A-KAZE特征点包括以下步骤：
S101.定义一组演化时间构建非线性尺度空间；
S102.将像素单位中的离散集转换为时间单位；
S103.给定输入图像和对比度因子，使用快速显式扩散方法；
S104.将快速显式扩散方法嵌入从粗到细的金字塔方法中；
S105.为每个声呐图像计算海森行列式；
S106.使用级联沙尔滤波器计算二阶导数。
3.根据权利要求1所述的面向水下机器人搜寻探摸的目标定位方法，其特征在于，所述步骤S2的具体实现包括以下子步骤：
S201.使用GoogLeNet架构在声呐图像数据集上训练卷积神经网络。
4.根据权利要求3所述的面向水下机器人搜寻探摸的目标定位方法，其特征在于：所述GoogLeNet架构包括五层，第一层和第二层为卷积层和最大池化层，第三层为inception层，第四层为特征层，是完全连接的层，第四层将先前的输出映射到Dim×1向量，第五层是完全连接的层，第五层将先前的特征层映射为3×1向量，并将映射为3×1向量的特征层与使用欧式损失的位置标签进行比较。
5.根据权利要求1所述的面向水下机器人搜寻探摸的目标定位方法，其特征在于，所述步骤S3的具体实现包括以下子步骤：
S301.局部笛卡尔声呐坐标系与球面参数坐标系相互转化。
6.根据权利要求1所述的面向水下机器人搜寻探摸的目标定位方法，其特征在于，所述步骤S4的具体实现包括以下子步骤：
S401.将水下目标特征点和水下机器人的姿态公式化为非线性最小二乘因子图优化，对于每个姿态Xt，包含以下6个参数(xo，yo，zo，yaw，pitch，roll)，对于每个特征点，包含以下3个参数(x，y，z)；
S402.将因子图求解为非线性优化；
S403.将特征点lj＝(x，y，z)转换为声呐帧，获得局部坐标(xs，ys，zs)的方位角和距离；
S404.利用对数函数的单调性，通过声呐测量值的反投影找到特征点的初始估计；
S405.将未知仰角θ设置为0，然后使用水下机器人姿态Xt将点从声纳直角坐标(xs，ys，zs)转换为世界直角坐标(x，y，z)，用作初始猜测特征点的三维方位；
S406.根据基本姿态Xb，相应的方位和距离的测量值mb计算目标点的仰角θ。
7.根据权利要求1所述的面向水下机器人搜寻探摸的目标定位方法，其特征在于：所述步骤S5中，采用约束不足或约束充足的特征点迭代计算修正目标仰角θ，进而修正水下目标点相对于水下机器人的三维方位。
8.根据权利要求7所述的面向水下机器人搜寻探摸的目标定位方法，其特征在于，所述步骤S5的具体实现包括以下子步骤：
S501.通过不同姿态观察目标特征点的仰角；
S502.将观察到的特征点分类为约束不足或约束充足的要素；
S503.为了确定点特征点是否受到充足约束，使用三自由度球面参数化；
S504.以特征点l0的初始估计为线性化点，使用测量函数的泰勒级数展开；
S505.将优化简化为线性最小二乘问题；
S506.确定优化是否受到测量约束；
S507.从状态向量中完全删除约束不足的特征点；
S508.仅从状态向量中完全删除约束不足的特征点的仰角，然后将约束不足的特征点建模为因子图中的二维方位距离点。
9.根据权利要求1所述的面向水下机器人搜寻探摸的目标定位方法，其特征在于：所述步骤S5中，采用蒙特卡洛方法在目标特征点仰角范围内随机采样计算，以最小化位置误差为目标修正目标的仰角θ，进而修正水下目标点相对于水下机器人的三维方位。
10.根据权利要求9所述的面向水下机器人搜寻探摸的目标定位方法，其特征在于，所述步骤S5的具体实现包括以下子步骤：
S501.通过不同姿态获取目标特征点的仰角；
S502.运用蒙特卡洛方法在目标特征点仰角范围内随机采样；
S503.采用优化损失函数的方法修正目标的仰角θ；
S504.使用蒙特卡洛算法生成声呐中目标特征点滚动前后的空间位置信息，并利用圆弧约束l0；
S505.将优化简化为线性最小二乘问题；
S506.确定优化是否受到测量约束；
S507.使用损失函数修正特征点。
CN202011065672.2A 2020-03-04 2020-09-30 一种面向水下机器人搜寻探摸的目标定位方法 Active CN111983620B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010143341.XA CN111413698A (zh) 2020-03-04 2020-03-04 一种面向水下机器人搜寻探摸的目标定位方法
CN202010143341X 2020-03-04

Publications (2)

Publication Number Publication Date
CN111983620A true CN111983620A (zh) 2020-11-24
CN111983620B CN111983620B (zh) 2024-02-20

Family

ID=71489211

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010143341.XA Pending CN111413698A (zh) 2020-03-04 2020-03-04 一种面向水下机器人搜寻探摸的目标定位方法
CN202011065672.2A Active CN111983620B (zh) 2020-03-04 2020-09-30 一种面向水下机器人搜寻探摸的目标定位方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010143341.XA Pending CN111413698A (zh) 2020-03-04 2020-03-04 一种面向水下机器人搜寻探摸的目标定位方法

Country Status (1)

Country Link
CN (2) CN111413698A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529072A (zh) * 2020-12-07 2021-03-19 中国船舶重工集团公司七五0试验场 一种基于声呐图像处理的水下沉埋物识别与定位方法
CN112859807A (zh) * 2021-01-10 2021-05-28 西北工业大学 基于态势模拟和蒙特卡罗的水下航行器协同搜索效能评估方法
CN113379710A (zh) * 2021-06-18 2021-09-10 上海大学 一种水下目标声呐精准测量***和方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801191B (zh) * 2021-02-02 2023-11-21 中国石油大学(北京) 管道事故处置的智能推荐方法、装置及设备
CN114283327B (zh) * 2021-12-24 2024-04-05 杭州电子科技大学 一种基于水下搜寻机器人的目标搜寻与抵近方法
CN116243720B (zh) * 2023-04-25 2023-08-22 广东工业大学 一种基于5g网联的auv水下寻物方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869824A (zh) * 2014-03-05 2014-06-18 河海大学常州校区 基于生物触角模型的多机器人水下目标搜寻方法及装置
KR20160073462A (ko) * 2014-12-16 2016-06-27 아진산업(주) 수중탐사로봇 모니터링 방법
RU2625349C1 (ru) * 2016-06-28 2017-07-13 Акционерное общество "Научно-исследовательский институт "Вектор" Способ определения пространственных угловых координат радиосигнала в амплитудных моноимпульсных пеленгационных системах
US20180259339A1 (en) * 2015-11-13 2018-09-13 FLIR Belgium BVBA Video sensor fusion and model based virtual and augmented reality systems and methods
CN109676604A (zh) * 2018-12-26 2019-04-26 清华大学 机器人曲面运动定位方法及其运动定位***
CN110246151A (zh) * 2019-06-03 2019-09-17 南京工程学院 一种基于深度学习和单目视觉的水下机器人目标跟踪方法
CN110275169A (zh) * 2019-06-12 2019-09-24 上海大学 一种水下机器人近场检测感知***
CN110383284A (zh) * 2017-03-06 2019-10-25 微软技术许可有限责任公司 基于超声波的手势识别
KR20190121275A (ko) * 2019-10-07 2019-10-25 엘지전자 주식회사 실내 측위 시스템, 장치 및 방법
CN110568407A (zh) * 2019-09-05 2019-12-13 武汉理工大学 一种基于超短基线和航位推算的水下导航定位方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869824A (zh) * 2014-03-05 2014-06-18 河海大学常州校区 基于生物触角模型的多机器人水下目标搜寻方法及装置
KR20160073462A (ko) * 2014-12-16 2016-06-27 아진산업(주) 수중탐사로봇 모니터링 방법
US20180259339A1 (en) * 2015-11-13 2018-09-13 FLIR Belgium BVBA Video sensor fusion and model based virtual and augmented reality systems and methods
RU2625349C1 (ru) * 2016-06-28 2017-07-13 Акционерное общество "Научно-исследовательский институт "Вектор" Способ определения пространственных угловых координат радиосигнала в амплитудных моноимпульсных пеленгационных системах
CN110383284A (zh) * 2017-03-06 2019-10-25 微软技术许可有限责任公司 基于超声波的手势识别
CN109676604A (zh) * 2018-12-26 2019-04-26 清华大学 机器人曲面运动定位方法及其运动定位***
CN110246151A (zh) * 2019-06-03 2019-09-17 南京工程学院 一种基于深度学习和单目视觉的水下机器人目标跟踪方法
CN110275169A (zh) * 2019-06-12 2019-09-24 上海大学 一种水下机器人近场检测感知***
CN110568407A (zh) * 2019-09-05 2019-12-13 武汉理工大学 一种基于超短基线和航位推算的水下导航定位方法
KR20190121275A (ko) * 2019-10-07 2019-10-25 엘지전자 주식회사 실내 측위 시스템, 장치 및 방법

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BAOQING GUO: "Novel registration and fusion algorithm for multimodal railway images with different field of views", 《JOURNAL OF ADVANCED TRANSPORTATION 》, pages 1 - 17 *
R. DEBORTOLI, F. LI AND G. A. HOLLINGER: "ElevateNet: A Convolutional Neural Network for Estimating the Missing Dimension in 2D Underwater Sonar Images", 《2019 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》, pages 8040 - 8047 *
彭向阳: "利用卷积神经网络进行绝缘子自动定位", 《武汉大学学报(信息科学版)》, pages 563 - 569 *
江国来: "共融移动服务机器人导航与交互关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》, pages 1 - 117 *
王强军: "基于反卷积神经网络的图像融合算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 1 - 97 *
王玉杰: "多目偏振视觉仿生导航方法研究", 《中国博士学位论文全文数据库 基础科学辑》, pages 1 - 150 *
马杰;刘琪;张春玮;刘克中;张煜: "基于AIS的数据时空分析及船舶会遇态势提取方法", 《中国安全科学学报》, pages 111 - 116 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529072A (zh) * 2020-12-07 2021-03-19 中国船舶重工集团公司七五0试验场 一种基于声呐图像处理的水下沉埋物识别与定位方法
CN112859807A (zh) * 2021-01-10 2021-05-28 西北工业大学 基于态势模拟和蒙特卡罗的水下航行器协同搜索效能评估方法
CN112859807B (zh) * 2021-01-10 2022-03-22 西北工业大学 基于态势模拟和蒙特卡罗的水下航行器协同搜索效能评估方法
CN113379710A (zh) * 2021-06-18 2021-09-10 上海大学 一种水下目标声呐精准测量***和方法
CN113379710B (zh) * 2021-06-18 2024-02-02 上海大学 一种水下目标声呐精准测量***和方法

Also Published As

Publication number Publication date
CN111413698A (zh) 2020-07-14
CN111983620B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN111983620B (zh) 一种面向水下机器人搜寻探摸的目标定位方法
Sharma et al. Neural network-based pose estimation for noncooperative spacecraft rendezvous
Wu et al. Hand-eye calibration: 4-D procrustes analysis approach
CN110880189B (zh) 联合标定方法及其联合标定装置和电子设备
JP5987823B2 (ja) 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム
Sweeney et al. Solving for relative pose with a partially known rotation is a quadratic eigenvalue problem
JP5627325B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
Heller et al. Structure-from-motion based hand-eye calibration using L∞ minimization
CN112184824B (zh) 一种相机外参标定方法、装置
Dong-Si et al. Estimator initialization in vision-aided inertial navigation with unknown camera-IMU calibration
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
JP7300550B2 (ja) 視覚標識に基づき標識マップを構築する方法、装置
JP2008014691A (ja) ステレオ画像計測方法とそれを実施する装置
Miao et al. UniVIO: Unified direct and feature-based underwater stereo visual-inertial odometry
CN112444246A (zh) 高精度的数字孪生场景中的激光融合定位方法
EP3745310A1 (en) Method for calibrating a multi-sensor system using an artificial neural network
WO2018233514A1 (zh) 一种位姿测量方法、设备及存储介质
CN112629565B (zh) 像机与惯性测量单元旋转关系校准方法、装置和设备
US20240134033A1 (en) Method for determining a movement state of a rigid body
CN112991445B (zh) 模型训练方法、姿态预测方法、装置、设备及存储介质
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN115311353A (zh) 一种多传感器多手柄控制器图优化紧耦合追踪方法及***
CN116079727A (zh) 基于3d人体姿态估计的人形机器人动作模仿方法及装置
CN111504276B (zh) 一种基于视觉投影尺度因子集的联合目标函数多推进器姿态角获取方法
CN112183171B (zh) 一种基于视觉信标建立信标地图方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant