CN110188696A - 一种水面无人装备多源感知方法及*** - Google Patents

一种水面无人装备多源感知方法及*** Download PDF

Info

Publication number
CN110188696A
CN110188696A CN201910467501.3A CN201910467501A CN110188696A CN 110188696 A CN110188696 A CN 110188696A CN 201910467501 A CN201910467501 A CN 201910467501A CN 110188696 A CN110188696 A CN 110188696A
Authority
CN
China
Prior art keywords
water surface
information
image
coordinate
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910467501.3A
Other languages
English (en)
Other versions
CN110188696B (zh
Inventor
洪晓斌
朱坤才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910467501.3A priority Critical patent/CN110188696B/zh
Priority to PCT/CN2019/089748 priority patent/WO2020237693A1/zh
Publication of CN110188696A publication Critical patent/CN110188696A/zh
Application granted granted Critical
Publication of CN110188696B publication Critical patent/CN110188696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种水面无人装备多源感知方法及***，方法包括获取水面无人装备的环境信息；对预先采集到的水面图像进行标定，利用标定好的数据集对Deeplab模型和Faster RCNN模型进行训练并保存网络模型参数；通过Deeplab模型将实时输入的水面图像分割为背景、陆地和水面，根据水面区域的***轮廓提取水面边界线；通过Faster RCNN网络模型提取水面障碍物的预测框，计算预测框与图像语义分割网络输出的水面区域之间的交并比，剔除无意义的障碍物检测结果；进行相机标定，获取相机内参和外参，进行三维激光雷达和相机的联合标定，结合标定结果获取雷达和相机之间的坐标转换关系；将激光雷达获得的三维点云数据根据坐标转换关系投影到相机获得的图像上，向图像添加深度信息，再通过相机坐标系‑世界坐标系的坐标转换最终得到障碍物和水面边界线的世界坐标。

Description

一种水面无人装备多源感知方法及***
技术领域
本发明涉及水面无人装备智能化研究的技术领域，特别涉及一种水面无人 装备多源感知方法及***。
背景技术
水面无人装备是具备高度非线性动力学特征，能在无人干预的情况下在各 种复杂未知的水面环境下执行任务的新型载体，其具有体型小、智能化、自主 化等优点，常被用来执行危险系数高、作业环境恶劣的任务，在军事作战、海 域巡逻、岛礁补给等领域具有广泛的应用需求。由于水面无人装备的智能化实 现过程首先依赖于其环境感知能力的好坏，好的环境感知方法及***能够为水 面无人装备的自主智能化决策过程提供及其重要的环境先验信息，从而维持其 作业的安全性、准确性和可靠性。因此，研究一种水面无人装备多源感知方法 及***，对于推进水面无人装备的自主智能化研究进展，实现水面无人装备的有效作业具有重要的意义。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种水面无人装备多 源感知方法及***。本发明针对水面无人装备的多源感知问题，通过构建水面 图像数据集对Deeplab和Faster RCNN网络模型进行训练，从而实现水面边界 线和水面障碍物的识别。根据相机和三维激光雷达之间的联合标定结果，将激 光雷达获得的三维点云数据投影到相机获得的图像上，向图像添加深度信息， 再通过相机坐标系—世界坐标系的坐标转换最终得到障碍物和水面边界线的世 界坐标信息，并通过ROS(Robot Operating System)的话题通信机制将该信息 实时传递到应用模块，从而为无人装备下一步的决策提供先验环境信息。本发 明的目的通过以下的技术方案实现：
一种水面无人装备多源感知方法，包含以下步骤：
S1、实时采集水面无人装备多源感知***的传感参量，获取水面环境的视 觉信息和三维点云信息；
S2、对预先采集到的水面图像进行人工标定，利用人工标定好的数据集对Deeplab模型和Faster RCNN模型进行训练并保存网络模型参数；
S3、通过Deeplab模型将实时输入的水面图像分割为背景、陆地和水面三 类，根据水面区域的***轮廓提取水面边界线；
S4、通过Faster RCNN网络模型提取水面障碍物的预测框，分别计算船只 和漂浮物预测框与图像语义分割网络输出的水面区域之间的交并比，剔除无意 义的障碍物检测结果；
S5、进行相机标定，获取相机内参和外参，然后进行三维激光雷达和相机 的联合标定，结合标定结果获取雷达和相机之间的坐标转换关系；
S6、将激光雷达获得的三维点云数据根据坐标转换关系投影到相机获得的 图像上，向图像添加深度信息，再通过相机坐标系-世界坐标系的坐标转换最终 得到障碍物和水面边界线的世界坐标。
进一步地，所述步骤S1具体为：使用相机实时获取水面图像的视觉信息， 使用三维激光雷达对无人装备前向扇形区域进行实时扫描，获取水面环境的三 维点云信息；
进一步地，所述步骤S2具体为：将预先采集到的水面图像从上到下像素级 标定为背景、陆地和水面三类，用于Deeplab网络模型训练。将水面图像中的 障碍物候选框标定为船只和漂浮物两类，用于Faster RCNN网络模型训练，从 而构建水面图像数据集。将用于训练的图像数据集分别输入Deeplab网络和 Faster RCNN网络，反复迭代至收敛并保存网络模型的权重分布和偏置值；
进一步地，所述步骤S3具体为：输入实时采集到的水面图像至训练好的 Deeplab网络,参见图2，原始图像输入通过多重的卷积层和池化层得到一个特 征图像，为了获得与输出图像相同大小的输出图像，通过反卷积将特征图像放 大，最后采用完全连接的条件随机场(CRF)提高模型捕获细节的能力，保证了陆 地和水面的像素级别的分割。对于获得的语义分割结果，通过图像处理获得水 面分界线处的像素坐标值，并将水面分界线处的像素坐标集传输到信息融合节 点。
进一步地，所述步骤S4具体为：输入实时采集到的水面图像至训练好的 FasterRCNN网络，通过前向传播依次通过共享卷积层、RPN网络、ROI池化层 和全连接层，最终输出图像的目标检测结果，将输入图像存在的障碍物分为船 只和漂浮物两类，计算FasterRCNN网络输出的预测框与图像语义分割网络输 出的水面区域之间的交并比，对于分类为漂浮物的预测框，设定阈值为0.8，低 于此阈值的结果将给予剔除；对于分类为船只的预测框，设定阈值为0.1，低于 此阈值的结果将给予剔除；；
进一步地，所述步骤S5具体为采用棋盘格标定法，在不同角度不同位置分 别选取棋盘格上的若干个角点，确定这些角点的相机坐标系中的坐标、世界坐 标系中的坐标和雷达坐标系中的坐标，将对应坐标代入相机标定和联合标定的 数学模型中，联立求解得到相机—雷达坐标转换方程中的三个旋转参数(旋转 矩阵)、三个平移参数(平移矩阵)和一个尺度因子，以及相机—世界坐标转换 方程中的旋转矩阵和平移矩阵，从而确定坐标转换方程的具体形式。
进一步地，所述步骤S6具体为：在信息融合节点中，根据激光雷达坐标系 和相机坐标系的转换方程，将激光雷达获得的点云坐标转换为相机坐标，再通 过相机坐标系与像素坐标系之间的转换关系，将点云投影到成像平面，使得图 像具有深度信息。最后将Faster RCNN输出的预测框和Deeplab模型输出的水 面边界线的像素坐标信息和深度信息结合起来生成三维坐标，根据相机标定得 到的相机外参转换为对应的世界坐标，从而确定障碍物和水面分界线在世界坐 标系中的具***置。
一种基于ROS的水面无人装备多源感知***，包括感知和应用两部分：
感知部分通过ROS的节点机制建立了点云信息处理节点、图像信息处理节 点和信息融合节点。图像信息处理节点内部包含了Faster RCNN和Deeplab模 型两个卷积网络模型，图像通过卷积神经网络处理可以获得障碍物预测框和水 面边界线的像素坐标信息，该信息通过ROS的话题订阅机制传输到信息融合节 点等待下一步的处理；点云信息处理节点将点云信息转换为激光雷达坐标系下 的标准坐标格式，并通过话题通信机制将点云坐标信息传输到信息融合节点。 在信息融合节点，根据激光雷达坐标系和相机坐标系的转换方程，将点云坐标 转换为相机坐标，再通过相机坐标系与像素坐标系之间的转换关系，将点云投 影到成像平面，使得图像具有深度信息，由此获得图像的三维坐标；最后将根 据相机外参将图像三维坐标转换为对应的世界坐标，从而确定障碍物和水面分 界线的在世界坐标系中的具***置。
应用部分包括ROS不同类型功能节点，包括避障节点、跟踪节点和路径规 划节点等。避障节点通过订阅信息融合节点发布的话题来获取障碍物和水面边 界线的世界坐标信息，并通过VFH+避障算法建立向量场直方图，通过该直方图 可以确定当前可行避障方向。跟踪节点通过订阅图像话题和目标检测话题来获 取视频序列和障碍物预测框在图像上的像素坐标信息，通过手动框选确定跟踪 目标后，激活CF目标跟踪算法，通过该跟踪算法的特征匹配和滤波处理后可以 实时输出框选目标在每一帧图像中的坐标信息，从而实现跟踪功能。路径规划 节点订阅语义分割话题和信息融合话题，通过分割图像获取水面和障碍物像素 坐标，然后再根据信息融合话题获得其大致的世界坐标信息，通过该信息可以建立一个局部地图，在该地图上使用RRT搜索算法，获取当前局部地图的可行 通行路径。
本发明与现有技术相比，具有如下优点和有益效果：
本发明采用Deeplab网络模型实现水面边界线的提取，与传统海天线检测 方法相比受水面环境变化的影响较小，具有更好的***泛化能力，既适应具有 明显直线特征的海天线检测，也适用于海岸几何特征复杂的海岸线检测；采用 Faster RCNN网络模型进行障碍物候选框的粗提取，并与激光雷达实时获取的三 维点云数据进行融合，能够在传感参量冗余检测的情况下实现对障碍物更为精 准的三维描述；通过ROS的分布式通信机制，能保证传感融合信息更新后第一 时间被感知***获取并进行实时处理；通过相机和三维激光雷达之间的联合标 定结果，建立视觉识别结果与世界坐标之间的对应关系，为水面无人装备后续 的智能化决策提供先验信息。本发明提出的多源感知方法及***实现了水面无 人装备对水面环境关键信息的完整描述，可广泛适用于各种水面无人装备的智 能化导航与控制。
附图说明
图1为一种水面无人装备多源感知方法的方法流程图；
图2为实施例中基于VGG16的Deeplab网络架构；
图3为实施例中基于AlexNet的Faster RCNN网络架构；
图4为一种基于ROS的水面无人装备多源感知***原理图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方 式不限于此。
实施例：
参见图1，种水面无人装备多源感知方法，包括以下步骤：
步骤10实时采集水面无人装备多源感知***的传感参量，获取水面图像的 视觉信息和水面环境的三维点云信息；
步骤20对预先采集到的水面图像进行人工标定，利用标定好的数据集对 Deeplab模型和Faster RCNN模型进行训练并保存网络模型参数；
步骤30通过Deeplab模型将实时输入的水面图像分割为背景、陆地和水面 三类，根据水面区域的***轮廓提取水面边界线；
步骤40通过Faster RCNN网络模型提取水面障碍物的预测框，分别计算船 只和漂浮物预测框与图像语义分割网络输出的水面区域之间的交并比，剔除无 意义的障碍物检测结果；
步骤50进行相机标定，获取相机内参和外参，然后进行三维激光雷达和相 机的联合标定，结合标定结果获取雷达和相机之间的坐标转换关系；
步骤60将激光雷达获得的三维点云数据根据坐标转换关系投影到相机获得 的图像上，向图像添加深度信息，再通过相机坐标系-世界坐标系的坐标转换最 终得到障碍物和水面边界线的世界坐标。
上述步骤20具体包括将预先采集到的水面图像从上到下像素级标定为背 景、陆地和水面三个大类，用于Deeplab网络模型训练。将水面图像中的障碍 物候选框标定为船只和漂浮物两个大类，用于Faster RCNN网络模型训练，从 而构建水面图像数据集。将用于训练的图像数据集分别输入Deeplab网络和 Faster RCNN网络，反复迭代至收敛并保存网络模型的权重分布和偏置值；
上述步骤30具体包括输入实时采集到的水面图像至训练好的Deeplab网络, 参见图2，原始图像输入通过卷积层提取图像特征获得对应的特征图，然后再通 过池化层压缩特征图来提取主要特征，通过多层卷积层和池化层的特征提取和 特征压缩后，可获得深层次的特征图。Deeplab通过将第四层和第五层的池化层 改为无下采样池化层，可以保证特征图的大小保持不变，与此同时，将这两层 池化层后面的卷积层改为空洞卷积层，从而保证池化后的神经元感受野不发生 变化。最后，通过反卷积将特征图像放大至原输入图像大小，然后采用完全连 接的条件随机场(CRF)提高模型捕获细节的能力，保证了陆地和水面的像素级别 的分割。对于获得的语义分割结果，通过图像处理获得水面分界线处的像素坐标值，并将水面分界线处的像素坐标集传输到信息融合节点。
Deeplab网络模型基于VGG16进行构建，首先去掉VGG16最后两个池化层的 下采样，然后将这两个池化层后面的卷积核改为空洞卷积，最后将VGG16的三 个全连接层替换为卷积层，实现Deeplab模型的全卷积结构。为了获得与原图 相同尺寸的输出，采用反卷积的方法对池化和卷积处理后得到的特征图进行反 卷积，从而获得一个与输入图像尺寸大小相同的分割图像，最后使用全连接随 机条件场对水陆分割图像进行细节优化，从而获得一个水面边界线边缘精细的 分割图像。
上述步骤40具体包括输入实时采集到的水面图像至训练好的Faster RCNN 网络，Faster RCNN网络模型基于AlexNet卷积神经网络进行构建，具体由Fast RCNN网络和RPN网络两大部分构成，其中Fast RCNN网络和RPN网络的共享卷 积层由AlexNet的前五层卷积神经网络构成，AlexNet的第三个池化层修改为 ROI池化层，保留AlexNet的两层全连接层，将最后一层Softmax分类器修改为 用于框选水面障碍物的线性回归器和用于船只和漂浮物分类的线性回归器 +Softmax分类器层。参见图3，水面图像首先通过共享卷积层提取原图像的特 征图，其后将原图像的特征图送入RPN网络结构。对于共享卷积层输出的特征 图，通过3*3的卷积核进行卷积滑动产生滑动窗口，并且在每一个滑动窗口的 中心点生成9个锚点框。据滑动窗口与原图像特征图之间的映射关系，可以从 原图像中得到每一个锚点框的特征图，将这些特征图通过前向传播进入全连接 层进而生成特征向量。随后将特征向量分别送入Softmax分类器和线性回归器 来进行目标分类和定位。精简锚点框，选择区域得分高的锚点框为建议区域。 将RPN网络输出的建议区域和原图特征图同时输入ROI池化层，提取建议区域 对应位置的特征图，通过前向传播进入全连接层生成特征向量，最后通过Softmax分类器和线性回归器生成最终的区域分类得分和回归后的目标预测框， 从而将输入图像存在的障碍物分为船只和漂浮物两个大类。计算Faster RCNN 网络输出的预测框与图像语义分割网络输出的水面区域之间的交并比，对于分 类为漂浮物的预测框，设定阈值为0.8，低于此阈值的结果将给予剔除；对于分 类为船只的预测框，设定阈值为0.1，低于此阈值的结果将给予剔除；
上述步骤50具体包括采用棋盘格标定法，在不同角度不同位置分别选取棋 盘格上的若干个角点，确定这些角点的相机坐标系中的坐标、世界坐标系中的 坐标和雷达坐标系中的坐标，将对应坐标代入相机标定和联合标定的数学模型 中，联立求解得到相机—雷达坐标转换方程中的三个旋转参数(既旋转矩阵)、 三个平移参数(既平移矩阵)和一个尺度因子，以及相机—世界坐标转换方程 中的旋转矩阵和平移矩阵，从而确定坐标转换方程的具体形式。
上述步骤60具体包括在信息融合节点中，根据激光雷达坐标系和相机坐标 系的转换方程，将激光雷达获得的点云坐标转换为相机坐标，再通过相机坐标 系与像素坐标系之间的转换关系，将点云投影到成像平面，使得图像具有深度 信息。最后将Faster RCNN输出的预测框和Deeplab模型输出的水面边界线的 像素坐标信息和深度信息结合起来生成三维坐标，根据相机标定得到的相机外 参转换为对应的世界坐标，从而确定障碍物和水面分界线在世界坐标系中的具 ***置。
参见图4，一种基于ROS的水面无人装备多源感知***，ROS信息处理模块 包括感知和应用两部分。
感知部分通过ROS的节点机制建立了三个节点，分别是点云信息处理节点、 图像信息处理节点和信息融合节点。图像信息处理节点内部包含了Faster RCNN 和Deeplab模型两个卷积网络模型，图像通过卷积神经网络处理可以获得障碍 物预测框和水面边界线的像素坐标信息，该信息通过ROS的话题订阅机制传输 到信息融合节点等待下一步的处理；点云信息处理节点将点云信息转换为激光 雷达坐标系下的标准坐标格式，并通过话题通信机制将点云坐标信息传输到信 息融合节点。在信息融合节点，根据激光雷达坐标系和相机坐标系的转换方程， 将点云坐标转换为相机坐标，再通过相机坐标系与像素坐标系之间的转换关系， 将点云投影到成像平面，使得图像具有深度信息，由此获得图像的三维坐标； 最后将根据相机外参将图像三维坐标转换为对应的世界坐标，从而确定障碍物 和水面分界线的在世界坐标系中的具***置。
应用部分包括ROS不同类型功能节点，包括避障节点、跟踪节点和路径规 划节点等。避障节点通过订阅信息融合节点发布的话题来获取障碍物和水面边 界线的世界坐标信息，并通过VFH+避障算法建立向量场直方图，通过该直方图 可以确定当前可行避障方向。跟踪节点通过订阅图像话题和目标检测话题来获 取视频序列和障碍物预测框在图像上的像素坐标信息，通过手动框选确定跟踪 目标后，激活CF目标跟踪算法，通过该跟踪算法的特征匹配和滤波处理后可以 实时输出框选目标在每一帧图像中的坐标信息，从而实现跟踪功能。路径规划 节点订阅语义分割话题和信息融合话题，通过分割图像获取水面和障碍物像素 坐标，然后再根据信息融合话题获得其大致的世界坐标信息，通过该信息可以建立一个局部地图，在该地图上使用RRT搜索算法，获取当前局部地图的可行 通行路径。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种水面无人装备多源感知方法，其特征在于，包括以下步骤：
S1、实时采集水面无人装备多源感知***的传感参量，获取水面图像的视觉信息和水面环境的三维点云信息；
S2、对预先采集到的水面图像进行人工标定，利用标定好的数据集对Deeplab模型和Faster RCNN模型进行训练并保存网络模型参数；
S3、通过Deeplab模型将实时输入的水面图像分割为背景、陆地和水面三类，根据水面区域的***轮廓提取水面边界线；
S4、通过Faster RCNN网络模型提取水面障碍物的预测框，分别计算船只和漂浮物预测框与图像语义分割网络输出的水面区域之间的交并比，剔除无意义的障碍物检测结果；
S5、进行相机标定，获取相机内参和外参，然后进行三维激光雷达和相机的联合标定，结合标定结果获取雷达和相机之间的坐标转换关系；
S6、将激光雷达获得的三维点云数据根据坐标转换关系投影到相机获得的图像上，向图像添加深度信息，再通过相机坐标系-世界坐标系的坐标转换最终得到障碍物和水面边界线的世界坐标。
2.根据权利要求1所述的水面无人装备多源感知方法，其特征在于，所述步骤S2中的标定具体为：将水面图像从上到下像素级标定为背景、陆地和水面三类，用于Deeplab网络模型训练；将水面图像中的障碍物候选框标定为船只和漂浮物两类，用于Faster RCNN网络模型训练。
3.根据权利要求1所述的水面无人装备多源感知方法，其特征在于，所述步骤S3中Deeplab网络模型基于VGG16进行构建，首先去掉VGG16最后两个池化层的下采样，然后将这两个池化层后面的卷积核改为空洞卷积，最后将VGG16的三个全连接层替换为卷积层，实现Deeplab模型的全卷积结构；为了获得与原图相同尺寸的输出，采用反卷积的方法对池化和卷积处理后得到的特征图进行反卷积，从而获得一个与输入图像尺寸大小相同的分割图像，最后使用全连接随机条件场对水陆分割图像进行细节优化，从而获得一个水面边界线边缘精细的分割图像。
4.根据权利要求1所述的水面无人装备多源感知方法，其特征在于，所述步骤S4中Faster RCNN网络模型基于AlexNet卷积神经网络进行构建，具体由Fast RCNN网络和RPN网络构成，其中Fast RCNN网络和RPN网络的共享卷积层由AlexNet的前五层卷积神经网络构成，AlexNet的第三个池化层修改为ROI池化层，保留AlexNet的两层全连接层，将最后一层Softmax分类器修改为用于框选水面障碍物的线性回归器和用于船只和漂浮物分类的线性回归器+Softmax分类器层；而在RPN网络中，添加一层卷积核为3*3的卷积层来提取滑动窗口，其后接全连接层提取特征向量，最后是对输入特征向量进行区域评价的Softmax分类器层和边框回归层。
5.根据权利要求1所述的水面无人装备多源感知方法，其特征在于，所述步骤S4中对无意义检测结果的剔除过程具体为：以障碍物预测框与水面区域的交集占整个矩形框的比值作为指标来评判检测结果的合理性；对于分类为漂浮物的预测框，设定阈值为0.8，低于此阈值的结果将给予剔除；对于分类为船只的预测框，设定阈值为0.1，低于此阈值的结果将给予剔除。
6.根据权利要求1所述的水面无人装备多源感知方法，其特征在于，所述步骤S6具体为：根据激光雷达坐标系和相机坐标系的转换方程，将激光雷达获得的点云坐标转换为相机坐标，再通过相机坐标系与像素坐标系之间的转换关系，将点云投影到成像平面，使得图像具有深度信息；最后将Faster RCNN输出的预测框和Deeplab模型输出的水面边界线的像素坐标信息和深度信息结合起来生成三维坐标，根据相机标定得到的相机外参转换为对应的世界坐标，从而确定障碍物和水面分界线在世界坐标系中的具***置。
7.一种水面无人装备多源感知***，其特征在于，所述感知***以ROS处理模块为核心，涵盖了水面无人装备信息传递、信息融合和信息输出功能的一个集成模块,所述ROS信息处理模块包括感知和应用两部分。
8.根据权利要求1所述的水面无人装备多源感知***，其特征在于，所述感知部分通过ROS的节点机制建立了三个节点，分别是点云信息处理节点、图像信息处理节点和信息融合节点；
所述点云信息处理节点通过网口获取点云信息，并将点云信息转换为激光雷达坐标系下的标准坐标格式，最后通过话题通信机制将点云坐标信息传输到信息融合节点；
所述图像信息处理节点通过串口读取图像信息，该节点内部结合Faster RCNN和Deeplab模型两个卷积网络模型，图像通过卷积神经网络处理可以获得障碍物预测框和水面边界线的像素坐标信息，该信息通过ROS的话题订阅机制传输到其他节点等待下一步的处理；
所述信息融合节点通过订阅点云节点话题和图像话题获得对应的点云信息和图像信息，根据激光雷达坐标系和相机坐标系的转换方程，将点云坐标转换为相机坐标，再通过相机坐标系与像素坐标系之间的转换关系，将点云投影到成像平面，使得图像具有深度信息，由此获得图像的三维坐标，最后将根据相机外参将图像三维坐标转换为对应的世界坐标，从而确定障碍物和水面分界线的在世界坐标系中的具***置。
9.根据权利要求1所述的水面无人装备多源感知***，其特征在于，所述应用部分涵盖ROS不同类型功能节点，包括避障节点、跟踪节点与路径规划节点，各节点通过ROS的分布式通信机制进行通信；ROS通过节点管理器获得水面无人装备***的所有节点信息与话题信息，并通过订阅与发布机制保证融合信息更新后能立刻被订阅节点所感知以获取最新信息，从而满足了水面无人装备的实时性避障与路径规划要求；通过应用ROS的话题通信机制，将感知部分获得的传感信息融合后实时上传到对应的话题并发布出去，应用节点订阅该话题，通过限定消息队列为1，在话题的消息文件更新时第一时间获取融合信息，并根据该信息进行对应的避障和路径规划动作，保证无人装备面对环境的变化以第一时间感知并做出快速反应动作。
CN201910467501.3A 2019-05-31 2019-05-31 一种水面无人装备多源感知方法及*** Active CN110188696B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910467501.3A CN110188696B (zh) 2019-05-31 2019-05-31 一种水面无人装备多源感知方法及***
PCT/CN2019/089748 WO2020237693A1 (zh) 2019-05-31 2019-06-03 一种水面无人装备多源感知方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910467501.3A CN110188696B (zh) 2019-05-31 2019-05-31 一种水面无人装备多源感知方法及***

Publications (2)

Publication Number Publication Date
CN110188696A true CN110188696A (zh) 2019-08-30
CN110188696B CN110188696B (zh) 2023-04-18

Family

ID=67719245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910467501.3A Active CN110188696B (zh) 2019-05-31 2019-05-31 一种水面无人装备多源感知方法及***

Country Status (2)

Country Link
CN (1) CN110188696B (zh)
WO (1) WO2020237693A1 (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705623A (zh) * 2019-09-26 2020-01-17 哈尔滨工程大学 基于全卷积神经网络的海天线在线检测方法
CN110763306A (zh) * 2019-09-30 2020-02-07 中国科学院西安光学精密机械研究所 一种基于单目视觉的液位测量***及方法
CN111144208A (zh) * 2019-11-22 2020-05-12 北京航天控制仪器研究所 一种海上船舶目标的自动检测和识别方法及目标检测器
CN111179300A (zh) * 2019-12-16 2020-05-19 新奇点企业管理集团有限公司 障碍物检测的方法、装置、***、设备以及存储介质
CN111354045A (zh) * 2020-03-02 2020-06-30 清华大学 一种基于红外热成像的视觉语义与位置感知方法和***
CN111583663A (zh) * 2020-04-26 2020-08-25 宁波吉利汽车研究开发有限公司 基于稀疏点云的单目感知修正方法、装置及存储介质
CN111881932A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种军用飞机的FasterRCNN目标检测算法
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN112529072A (zh) * 2020-12-07 2021-03-19 中国船舶重工集团公司七五0试验场 一种基于声呐图像处理的水下沉埋物识别与定位方法
CN112541886A (zh) * 2020-11-27 2021-03-23 北京佳力诚义科技有限公司 一种激光雷达和相机融合人工智能矿石识别方法和装置
CN112567383A (zh) * 2020-03-06 2021-03-26 深圳市大疆创新科技有限公司 物体检测方法、可移动平台、设备和存储介质
CN112652064A (zh) * 2020-12-07 2021-04-13 中国自然资源航空物探遥感中心 海陆一体三维模型构建方法、装置、存储介质和电子设备
CN112666534A (zh) * 2020-12-31 2021-04-16 武汉理工大学 基于激光雷达识别算法的无人船路线规划方法和装置
CN112733753A (zh) * 2021-01-14 2021-04-30 江苏恒澄交科信息科技股份有限公司 结合卷积神经网络和数据融合的大桥方位识别方法及***
CN112927237A (zh) * 2021-03-10 2021-06-08 太原理工大学 基于改进SCB-Unet网络的蜂窝肺病灶分割方法
CN113033572A (zh) * 2021-04-23 2021-06-25 上海海事大学 一种基于usv的障碍物分割网络及其生成方法
CN113159042A (zh) * 2021-03-30 2021-07-23 苏州市卫航智能技术有限公司 一种激光视觉融合的无人船桥洞通行方法及***
CN113362395A (zh) * 2021-06-15 2021-09-07 上海追势科技有限公司 一种基于传感器融合的环境感知方法
CN113485375A (zh) * 2021-08-13 2021-10-08 苏州大学 一种基于启发式偏置采样的室内环境机器人探索方法
CN113936198A (zh) * 2021-11-22 2022-01-14 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN114332647A (zh) * 2021-12-31 2022-04-12 合肥工业大学 一种用于无人船的河道边界检测与跟踪方法及***
CN114527468A (zh) * 2021-12-28 2022-05-24 湖北三江航天红峰控制有限公司 一种基于激光雷达的特殊场景人员检测***
CN114692731A (zh) * 2022-03-09 2022-07-01 华南理工大学 基于单目视觉与激光测距阵列的环境感知融合方法及***
CN114863258A (zh) * 2022-07-06 2022-08-05 四川迪晟新达类脑智能技术有限公司 海天线场景中基于视角转换检测小目标的方法
CN115015911A (zh) * 2022-08-03 2022-09-06 深圳安德空间技术有限公司 一种基于雷达图像的导航地图制作和使用方法及***
CN116310999A (zh) * 2023-05-05 2023-06-23 贵州中水能源股份有限公司 一种水力发电站库区大型漂浮物检测方法

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258590B (zh) * 2020-12-08 2021-04-27 杭州迦智科技有限公司 一种基于激光的深度相机外参标定方法、设备及其存储介质
CN112819737B (zh) * 2021-01-13 2023-04-07 西北大学 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN114764906A (zh) * 2021-01-13 2022-07-19 长沙中车智驭新能源科技有限公司 用于自动驾驶的多传感器后融合方法、电子设备及车辆
CN112861653B (zh) * 2021-01-20 2024-01-23 上海西井科技股份有限公司 融合图像和点云信息的检测方法、***、设备及存储介质
CN112801194B (zh) * 2021-02-03 2023-08-25 大连海事大学 基于改进AlexNet的船用雷达降雨分析方法
CN113075683B (zh) * 2021-03-05 2022-08-23 上海交通大学 一种环境三维重构方法、装置及***
CN113052066B (zh) * 2021-03-24 2022-09-02 中国科学技术大学 三维目标检测中基于多视图和图像分割的多模态融合方法
CN113093746B (zh) * 2021-03-31 2024-01-23 上海三一重机股份有限公司 作业机械环境感知方法、装置、***及作业机械
CN113111751B (zh) * 2021-04-01 2024-06-04 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法
CN113093254A (zh) * 2021-04-12 2021-07-09 南京速度软件技术有限公司 基于多传感器融合的地图特征的高架桥中的车辆定位方法
CN113160316B (zh) * 2021-04-25 2023-01-06 华南理工大学 非刚体三维形状的扇形卷积特征提取方法与***
CN113177593B (zh) * 2021-04-29 2023-10-27 上海海事大学 一种水上交通环境中雷达点云与影像数据的融合方法
CN113281723B (zh) * 2021-05-07 2022-07-22 北京航空航天大学 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法
CN113160217A (zh) * 2021-05-12 2021-07-23 北京京东乾石科技有限公司 一种线路异物的检测方法、装置、设备及存储介质
CN113686314B (zh) * 2021-07-28 2024-02-27 武汉科技大学 船载摄像头的单目水面目标分割及单目测距方法
CN113696178B (zh) * 2021-07-29 2023-04-07 大箴(杭州)科技有限公司 一种机器人智能抓取的控制方法及***、介质、设备
CN113587933B (zh) * 2021-07-29 2024-02-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113532424B (zh) * 2021-08-10 2024-02-20 广东师大维智信息科技有限公司 一种获取多维信息的一体化设备与协同测量方法
CN113850304B (zh) * 2021-09-07 2024-06-18 辽宁科技大学 一种高准确率的点云数据分类分割改进方法
CN113808219B (zh) * 2021-09-17 2024-05-14 西安电子科技大学 基于深度学习的雷达辅助相机标定方法
CN113970753B (zh) * 2021-09-30 2024-04-30 南京理工大学 一种基于激光雷达和视觉检测的无人机定位控制方法及***
CN113984037B (zh) * 2021-09-30 2023-09-12 电子科技大学长三角研究院(湖州) 一种基于任意方向目标候选框的语义地图构建方法
CN114067353B (zh) * 2021-10-12 2024-04-02 北京控制与电子技术研究所 一种采用多功能加固处理机实现多源数据融合的方法
CN113989350B (zh) * 2021-10-29 2024-04-02 大连海事大学 无人船自主探索和未知环境三维重构的监控***
CN114088082B (zh) * 2021-11-01 2024-04-16 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114063619B (zh) * 2021-11-15 2023-09-19 浙江大学湖州研究院 一种基于地毯式扫描方式的无人船探破障方法
CN114089675B (zh) * 2021-11-23 2023-06-09 长春工业大学 一种基于人机距离的机器控制方法及控制***
CN114359181B (zh) * 2021-12-17 2024-01-26 上海应用技术大学 一种基于图像和点云的智慧交通目标融合检测方法及***
CN114359861B (zh) * 2021-12-20 2024-07-02 尚元智行(宁波)科技有限公司 基于视觉和激光雷达的智能车辆障碍物识别深度学习方法
CN114112945A (zh) * 2021-12-31 2022-03-01 安徽大学 一种新型巢湖蓝藻水华监测***
CN114403114B (zh) * 2022-01-26 2022-11-08 安徽农业大学 一种高地隙植保机车身姿态平衡控制***及方法
CN114648579A (zh) * 2022-02-15 2022-06-21 浙江零跑科技股份有限公司 一种多分支输入的激光雷达目标检测方法
CN114677531B (zh) * 2022-03-23 2024-07-09 东南大学 一种融合多模态信息的水面无人艇目标检测与定位方法
CN114779275B (zh) * 2022-03-24 2024-06-11 南京理工大学 基于AprilTag与激光雷达的移动机器人自动跟随避障方法
CN114879685B (zh) * 2022-05-25 2023-04-28 合肥工业大学 一种用于无人船的河岸线检测及自主巡航方法
CN115115595B (zh) * 2022-06-30 2023-03-03 东北林业大学 一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法
CN114862973B (zh) * 2022-07-11 2022-09-16 中铁电气化局集团有限公司 基于固定点位的空间定位方法、装置、设备及存储介质
CN115342814B (zh) * 2022-07-26 2024-03-19 江苏科技大学 一种基于多传感器数据融合的无人船定位方法
CN115187743B (zh) * 2022-07-29 2024-07-05 江西科骏实业有限公司 一种地铁站内部环境布置预测和白模采集方法及***
CN115049825B (zh) * 2022-08-16 2022-11-01 北京大学 水面清洁方法、装置、设备及计算机可读存储介质
CN115097442B (zh) * 2022-08-24 2022-11-22 陕西欧卡电子智能科技有限公司 基于毫米波雷达的水面环境地图构建方法
CN115496923B (zh) * 2022-09-14 2023-10-20 北京化工大学 一种基于不确定性感知的多模态融合目标检测方法及装置
CN115641434B (zh) * 2022-12-26 2023-04-14 浙江天铂云科光电股份有限公司 电力设备定位方法、***、终端及存储介质
CN116030023A (zh) * 2023-02-02 2023-04-28 泉州装备制造研究所 一种点云检测方法及***
CN116524017B (zh) * 2023-03-13 2023-09-19 明创慧远科技集团有限公司 一种用于矿山井下检测识别定位***
CN116106899B (zh) * 2023-04-14 2023-06-23 青岛杰瑞工控技术有限公司 一种基于机器学习的港口航道小目标识别方法
CN116338628B (zh) * 2023-05-16 2023-09-15 中国地质大学（武汉） 一种基于学习架构的激光雷达测深方法、装置及电子设备
CN117788302B (zh) * 2024-02-26 2024-05-14 山东全维地信科技有限公司 一种测绘图形处理***
CN117975769B (zh) * 2024-03-29 2024-06-07 交通运输部水运科学研究所 一种基于多源数据融合的智能航行安全管理方法及***
CN117994797B (zh) * 2024-04-02 2024-06-21 杭州海康威视数字技术股份有限公司 一种水尺读数方法、装置、存储介质和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932736A (zh) * 2018-05-30 2018-12-04 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486543B1 (ko) * 2013-05-31 2015-01-26 한국과학기술원 3차원 객체 인식을 위한 rgb-d 영상 기반 객체 구역화 및 인식 방법 및 장치
CN106709568B (zh) * 2016-12-16 2019-03-22 北京工业大学 基于深层卷积网络的rgb-d图像的物体检测和语义分割方法
CN106843209A (zh) * 2017-01-10 2017-06-13 上海华测导航技术股份有限公司 一种基于开源控制***的无人驾驶船
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉***及控制方法
CN108469817B (zh) * 2018-03-09 2021-04-27 武汉理工大学 基于fpga和信息融合的无人船避障控制***
CN109444911B (zh) * 2018-10-18 2023-05-05 哈尔滨工程大学 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932736A (zh) * 2018-05-30 2018-12-04 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张丹 等: "《无人***之"眼"——计算机视觉技术与应用浅析》", 《无人***技术》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705623A (zh) * 2019-09-26 2020-01-17 哈尔滨工程大学 基于全卷积神经网络的海天线在线检测方法
CN110705623B (zh) * 2019-09-26 2022-08-02 哈尔滨工程大学 基于全卷积神经网络的海天线在线检测方法
CN110763306A (zh) * 2019-09-30 2020-02-07 中国科学院西安光学精密机械研究所 一种基于单目视觉的液位测量***及方法
CN111144208A (zh) * 2019-11-22 2020-05-12 北京航天控制仪器研究所 一种海上船舶目标的自动检测和识别方法及目标检测器
CN111179300A (zh) * 2019-12-16 2020-05-19 新奇点企业管理集团有限公司 障碍物检测的方法、装置、***、设备以及存储介质
CN111354045A (zh) * 2020-03-02 2020-06-30 清华大学 一种基于红外热成像的视觉语义与位置感知方法和***
CN112567383A (zh) * 2020-03-06 2021-03-26 深圳市大疆创新科技有限公司 物体检测方法、可移动平台、设备和存储介质
CN111583663A (zh) * 2020-04-26 2020-08-25 宁波吉利汽车研究开发有限公司 基于稀疏点云的单目感知修正方法、装置及存储介质
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法
CN111881932A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种军用飞机的FasterRCNN目标检测算法
CN111881932B (zh) * 2020-06-11 2023-09-15 中国人民解放军战略支援部队信息工程大学 一种军用飞机的FasterRCNN目标检测算法
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN112541886A (zh) * 2020-11-27 2021-03-23 北京佳力诚义科技有限公司 一种激光雷达和相机融合人工智能矿石识别方法和装置
CN112652064A (zh) * 2020-12-07 2021-04-13 中国自然资源航空物探遥感中心 海陆一体三维模型构建方法、装置、存储介质和电子设备
CN112652064B (zh) * 2020-12-07 2024-02-23 中国自然资源航空物探遥感中心 海陆一体三维模型构建方法、装置、存储介质和电子设备
CN112529072A (zh) * 2020-12-07 2021-03-19 中国船舶重工集团公司七五0试验场 一种基于声呐图像处理的水下沉埋物识别与定位方法
CN112666534A (zh) * 2020-12-31 2021-04-16 武汉理工大学 基于激光雷达识别算法的无人船路线规划方法和装置
CN112733753A (zh) * 2021-01-14 2021-04-30 江苏恒澄交科信息科技股份有限公司 结合卷积神经网络和数据融合的大桥方位识别方法及***
CN112733753B (zh) * 2021-01-14 2024-04-30 江苏恒澄交科信息科技股份有限公司 结合卷积神经网络和数据融合的大桥方位识别方法及***
CN112927237A (zh) * 2021-03-10 2021-06-08 太原理工大学 基于改进SCB-Unet网络的蜂窝肺病灶分割方法
CN113159042A (zh) * 2021-03-30 2021-07-23 苏州市卫航智能技术有限公司 一种激光视觉融合的无人船桥洞通行方法及***
CN113033572A (zh) * 2021-04-23 2021-06-25 上海海事大学 一种基于usv的障碍物分割网络及其生成方法
CN113033572B (zh) * 2021-04-23 2024-04-05 上海海事大学 一种基于usv的障碍物分割网络及其生成方法
CN113362395A (zh) * 2021-06-15 2021-09-07 上海追势科技有限公司 一种基于传感器融合的环境感知方法
CN113485375B (zh) * 2021-08-13 2023-03-24 苏州大学 一种基于启发式偏置采样的室内环境机器人探索方法
CN113485375A (zh) * 2021-08-13 2021-10-08 苏州大学 一种基于启发式偏置采样的室内环境机器人探索方法
CN113936198B (zh) * 2021-11-22 2024-03-22 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN113936198A (zh) * 2021-11-22 2022-01-14 桂林电子科技大学 低线束激光雷达与相机融合方法、存储介质及装置
CN114527468A (zh) * 2021-12-28 2022-05-24 湖北三江航天红峰控制有限公司 一种基于激光雷达的特殊场景人员检测***
CN114332647A (zh) * 2021-12-31 2022-04-12 合肥工业大学 一种用于无人船的河道边界检测与跟踪方法及***
CN114692731B (zh) * 2022-03-09 2024-05-28 华南理工大学 基于单目视觉与激光测距阵列的环境感知融合方法及***
CN114692731A (zh) * 2022-03-09 2022-07-01 华南理工大学 基于单目视觉与激光测距阵列的环境感知融合方法及***
CN114863258A (zh) * 2022-07-06 2022-08-05 四川迪晟新达类脑智能技术有限公司 海天线场景中基于视角转换检测小目标的方法
CN115015911B (zh) * 2022-08-03 2022-10-25 深圳安德空间技术有限公司 一种基于雷达图像的导航地图制作和使用方法及***
CN115015911A (zh) * 2022-08-03 2022-09-06 深圳安德空间技术有限公司 一种基于雷达图像的导航地图制作和使用方法及***
CN116310999B (zh) * 2023-05-05 2023-07-21 贵州中水能源股份有限公司 一种水力发电站库区大型漂浮物检测方法
CN116310999A (zh) * 2023-05-05 2023-06-23 贵州中水能源股份有限公司 一种水力发电站库区大型漂浮物检测方法

Also Published As

Publication number Publication date
CN110188696B (zh) 2023-04-18
WO2020237693A1 (zh) 2020-12-03

Similar Documents

Publication Publication Date Title
CN110188696A (zh) 一种水面无人装备多源感知方法及***
WO2021142902A1 (zh) 基于DANet的无人机海岸线漂浮垃圾巡检***
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN105405165B (zh) 一种通用型无人机飞行中地貌分析及迫降区域提取仿真***
CN107690840B (zh) 无人机视觉辅助导航方法及***
CN109597087A (zh) 一种基于点云数据的3d目标检测方法
CN109146889A (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN109086668A (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN110443201A (zh) 基于多源影像联合形状分析与多属性融合的目标识别方法
AU2020365115A1 (en) Geospatial object geometry extraction from imagery
CN110070025A (zh) 基于单目图像的三维目标检测***及方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
Xing et al. Multi-UAV cooperative system for search and rescue based on YOLOv5
CN107194343B (zh) 基于位置相关的卷积与Fire模型的红绿灯检测方法
CN109919026A (zh) 一种水面无人艇局部路径规划方法
CN110060273A (zh) 基于深度神经网络的遥感影像滑坡测图方法
CN107507202A (zh) 一种面向高分辨率遥感影像的植被环岛自动化提取方法
CN109492606A (zh) 多光谱矢量图获取方法及***、三维单体化方法及***
CN114926739A (zh) 内河航道水上水下地理空间信息无人化协同采集处理方法
CN107731011A (zh) 一种港口泊船监测方法、***及电子设备
Zhang et al. Research on unmanned surface vehicles environment perception based on the fusion of vision and lidar
Gao et al. Road extraction using a dual attention dilated-linknet based on satellite images and floating vehicle trajectory data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant