CN116630901B - 一种基于潜在图预测无监督学习框架的视觉里程计方法 - Google Patents

一种基于潜在图预测无监督学习框架的视觉里程计方法 Download PDF

Info

Publication number
CN116630901B
CN116630901B CN202310905815.3A CN202310905815A CN116630901B CN 116630901 B CN116630901 B CN 116630901B CN 202310905815 A CN202310905815 A CN 202310905815A CN 116630901 B CN116630901 B CN 116630901B
Authority
CN
China
Prior art keywords
image
working environment
rgb image
latent
potential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310905815.3A
Other languages
English (en)
Other versions
CN116630901A (zh
Inventor
黄懿涵
谢非
柏思齐
高知临
周笑羽
唐俊秋
刘沁阳
江如月
陈莘艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN202310905815.3A priority Critical patent/CN116630901B/zh
Publication of CN116630901A publication Critical patent/CN116630901A/zh
Application granted granted Critical
Publication of CN116630901B publication Critical patent/CN116630901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于潜在图预测无监督学习框架的视觉里程计方法，首先获取当前作业环境的RGB图像，并进行预处理，获得预处理后图像；然后进行改进的潜在图预测处理，通过潜在图预测模型处理后，进行潜在图预测损失优化，得到潜在图预测后图像；再进行图像分层，并逐层执行数据增强和伪标签算法处理，最后通过区域增长算法剔除动态目标的类点云信息，实现潜在图预测无监督学习框架下的视觉里程计。通过在潜在图预测时进行损失优化，对重合节点的嵌入进行了有效度量，通过对图像进行分层后再进行伪标签算法处理，采用了轻量化的分层聚类，使得该算法的抗环境干扰能力强得到了强化，鲁棒性得到了提升，可针对不用目标进行有效精准识别分割。

Description

一种基于潜在图预测无监督学习框架的视觉里程计方法
技术领域
本发明涉及即时定位与地图构建，具体是涉及一种基于潜在图预测无监督学习框架的视觉里程计方法。
背景技术
在即时定位与地图构建的过程中，动态障碍物（如：移动的车辆、行人等）会或多或少地劣化即时定位与地图构建中的两个方面：点云的配准和点云地图的构建。动态障碍物对点云地图的构建的影响在于其会在最终生成的地图中产生“鬼影”，而若简单使用在第一种情况中提到的特征点云构建地图的话，会错误地滤除掉很多实际需要的物体信息，而这些情况传统滤波方法是没有办法解决的。
当前视觉里程计动态点云滤除方法大多数针对单一的特定的动态目标识别分割及点云滤除，对于多元的通用的动态目标识别分割及点云滤除并未涉及。
发明内容
发明目的：针对以上缺点，本发明提供一种动态点云滤除精准的抗环境干扰能力强的基于潜在图预测无监督学习框架的视觉里程计方法。
技术方案：为解决上述问题，本发明采用一种基于潜在图预测无监督学习框架的视觉里程计方法，包括以下步骤：
（1）获取当前作业环境的RGB图像，并进行预处理，获得预处理后作业环境的RGB图像；
（2）对预处理后作业环境的RGB图像进行改进的潜在图预测处理，通过潜在图预测模型处理后，进行潜在图预测损失优化，得到潜在图预测后作业环境的RGB图像；
（3）对潜在图预测后作业环境的RGB图像进行图像分层，并逐层执行数据增强和伪标签算法处理，得到潜在图预测无监督学习框架下含作业环境的RGB图像；
（4）根据所述的潜在图预测无监督学习框架下含作业环境的RGB图像，通过区域增长算法剔除动态目标的类点云信息，实现潜在图预测无监督学习框架下的视觉里程计。
进一步的，所述步骤（1）中对当前作业环境的RGB图像进行预处理包括畸变矫正和畸变矫正后的高斯滤波；对当前作业环境的RGB图像进行畸变矫正具体为：根据畸变模型解二元高阶非线性方程组，通过牛顿叠代法得到畸变矫正后的当前作业环境的RGB图像；畸变模型的公式如下:
；
；
；
；
；
其中，为相机坐标系空间一点在当前作业环境的RGB图像投影中畸变系数迭算后的横坐标值；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中畸变系数迭算后的纵坐标值；/>为当前作业环境的RGB图像的一阶径向和切向畸变系数；为当前作业环境的RGB图像的二阶径向和切向畸变系数；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的横坐标与纵坐标平方和的平方根；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的横坐标；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的纵坐标；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的横坐标的牛顿法函数；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的纵坐标的牛顿法函数；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的横坐标值；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的纵坐标值；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的横坐标值；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的纵坐标值；/>为雅可比式在点处的值。
进一步的，对畸变矫正后的当前作业环境的RGB图像进行高斯滤波具体为：通过预设大小的高斯卷积核扫描RGB图像中的每一个像素，将得到的每一个像素的高斯卷积核做归一化处理，计算高斯滤波后高斯卷积核内中心点的值，即获得预处理后作业环境的RGB图像；高斯卷积核公式为：
，
其中：为二维高斯函数；/>为畸变矫正后的当前作业环境的RGB图像的高斯卷积核内一点的横坐标；/>为畸变矫正后的当前作业环境的RGB图像的高斯卷积核内一点的纵坐标；/>为畸变矫正后的当前作业环境的RGB图像的像素标准差。
进一步的，所述步骤（2）中潜在图预测模型的公式如下：
，
，
，
，
，
，
其中：为预处理后作业环境的RGB图像的图矩阵数据；/>为预处理后作业环境的RGB图像的潜在图矩阵数据的邻接矩阵；/>为预处理后作业环境的RGB图像潜在图矩阵数据的特征矩阵；/>为预处理后作业环境的RGB图像的潜在图矩阵数据；/>为潜在图预测模型处理后作业环境的RGB图像的特征矩阵；/>为潜在图预测模型处理后作业环境的RGB图像的节点嵌入；/>为预处理后作业环境的RGB图像的潜在图矩阵数据的邻接矩阵与特征矩阵的联合节点集；/>为潜在图预测模型处理后作业环境的RGB图像的重合节点嵌入；为预处理后作业环境的RGB图像的潜在图矩阵数据的邻接矩阵与潜在图预测模型处理后作业环境的RGB图像的特征矩阵的联合节点集；/>为预处理后作业环境的RGB图像的图矩阵数据与特征矩阵编码结果最小值；/>为潜在图预测模型的解码器函数；/>为潜在图预测模型的编码器函数；/>为潜在图预测模型处理后作业环境的RGB图像的元素均方差；为潜在图预测模型处理后作业环境的RGB图像的归属节点；/>为潜在图预测模型处理后作业环境的RGB图像的元素集合。
进一步的，所述步骤（2）中潜在图预测损失优化的公式如下：
，
，
，
其中：为潜在图损失优化编码器系数；/>为潜在图损失优化解码器系数；为潜在图损失优化编码权重；/>为潜在图预测模型处理后作业环境的RGB图像的总节点数；/>为潜在图预测模型处理后作业环境的RGB图像的矩阵数量；/>为潜在图预测模型的编码器函数；/>为潜在图预测模型处理后作业环境的RGB图像的第/>个邻接矩阵；/>为潜在图预测模型处理后作业环境的RGB图像的第/>个特征矩阵；/>为潜在图预测模型处理后作业环境的RGB图像的第/>个归属节点；/>为潜在图损失优化解码权重；/>为潜在图预测模型的解码器函数；/>为潜在图预测模型处理后作业环境的RGB图像的元素集合；/>为潜在图损失优化。
进一步的，所述步骤（3）中数据增强的公式为：
，
，
其中，为数据增强函数，/>为潜在图预测后作业环境的RGB图像的图像块，/>为潜在图预测后作业环境的RGB图像的图像块的均值，/>为数据增强后作业环境的RGB图像的图像块，/>为数据增强后作业环境的RGB图像的图像块的均值，/>为数据增强后作业环境的RGB图像的图像块的均值权重参数，/>为潜在图预测后作业环境的RGB图像的图像块与数据增强后作业环境的RGB图像的图像块的协方差，/>为潜在图预测后作业环境的RGB图像的图像块的标准差，/>为数据增强后作业环境的RGB图像的图像块的标准差，/>为数据增强后作业环境的RGB图像的图像块的方差权重参数。
进一步的，所述伪标签算法处理针对潜在图预测输出的联合节点集合，进行联合特征集的提取，对联合特征集使用聚类算法生成伪标签；联合特征集及聚类算法公式如下：
，
，
，
，
，
其中，为潜在图预测输出的联合节点集合，/>为潜在图预测输出的联合节点数，为潜在图预测输出的第/>个联合节点，/>为潜在图预测无监督学习框架下含作业环境的RGB图像的伪标签集，/>为潜在图预测无监督学习框架下含作业环境的RGB图像的第/>个伪标签，/>为潜在图预测输出的第/>个联合节点与第/>个联合节点之间的距离，/>为潜在图预测输出的联合节点横向数量，/>为潜在图预测输出的联合节点纵向数量，/>为潜在图预测输出的第/>个联合节点中的联合特征集，/>为潜在图预测输出的第/>个联合节点中的联合特征集，/>为/>和/>的欧氏距离，/>为聚类算法函数，/>为潜在图预测输出的联合节点中的联合特征集，/>为聚类个数，/>为潜在图预测输出的联合特征集，/>为潜在图预测输出的联合特征集中第I/>个簇，/>为潜在图预测输出的联合特征集中簇的集合的元素。
进一步的，所述步骤（4）中通过潜在图预测无监督学习框架下含作业环境的RGB图像获得动态目标的点云，区域增长算法对获得的动态目标的点云进行扫描，得到作业环境中的动态点云以及与其相邻的非动态点云，并确定生长点，基于局部特征描述子的边缘特征提取确立生长边界，局部特征描述子采用点特征直方图，点特征直方图通过描述点云表面的特征信息从而进行特征点提取，对参与构网的种子点向外扩展延伸，确定原始点云的外边界，从边界各向外扩展一层新的虚拟网格，扩展的虚拟网格与边界内的网格具有相同的尺寸，在每个扩展的网格中心内插一个虚拟种子点，搜索虚拟种子点的邻近格网，确定种子点，根据种子点信息的边界阈值，对区域增长内的动态点云进行滤除，实现潜在图预测无监督学习框架下的视觉里程计。
有益效果：本发明相对于现有技术，其显著优点是通过在潜在图预测时进行损失优化，对重合节点的嵌入进行了有效度量，通过对图像进行分层后再进行伪标签算法处理，伪标签生成算法采用了轻量化的分层聚类，使得该算法的抗环境干扰能力强得到了强化，鲁棒性得到了提升，在动态目标的识别分割过程中，可针对不用目标进行有效精准识别分割。在图像的预处理过程中，所采用的预处理可有效解决图像因大光度变化、图像畸变不良因素的影响；在动态目标的识别分割过程中，所采用的潜在图预测的无监督学习模型可针对不用目标进行有效精准识别分割；在动态目标的点云滤除过程中所采用的区域增长算法可高效实现种子搜索及边界处理。本方法具有视觉里程计准确、动态点云滤除精准、抗环境干扰能力强的优点，对于无人驾驶、多源导航等领域的技术研究具有重要意义。
附图说明
图1是本发明视觉里程计方法的流程图。
图2是本发明中获取的强光线干扰下作业环境的RGB图像。
图3是本发明中预处理后作业环境的RGB图像。
图4是本发明中潜在图预测后的作业环境的RGB图像。
图5是本发明中潜在图预测无监督学习框架下含作业环境的RGB图像。
图6是采用现有技术进行即时定位与地图构建结果的示意图。
图7是采用本发明进行即时定位与地图构建结果的示意图。
图8是本发明中视觉里程计结果示意图。
图9是现有技术中的ORBSLAM2视觉里程计精度偏差曲线图。
图10是本发明中的视觉里程计精度偏差曲线图。
实施方式
如图1所示，本实施例中一种基于潜在图预测无监督学习框架的视觉里程计方法，其特征在于，包括以下步骤：
（1）通过摄像头采集并保存当前作业环境的RGB图像，对获取的当前作业环境的RGB图像采用畸变矫正模型及高斯滤波进行预处理，获得预处理后作业环境的RGB图像；获得如图2所示的强光线干扰下作业环境的RGB图像，进行畸变矫正模型及高斯滤波预处理后得到如图3所示的预处理后作业环境的RGB图像。可有效解决图像因大光度变化、图像畸变不良因素的影响。
（1.1）对获取的当前作业环境的RGB图像采用畸变矫正模型进行畸变矫正，根据畸变模型解二元高阶非线性方程组牛顿叠代法得到矫正畸变后的RGB图像，畸变模型的公式如下：
；
；
；
；
；
其中，为相机坐标系空间一点在当前作业环境的RGB图像投影中畸变系数迭算后的横坐标值；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中畸变系数迭算后的纵坐标值；/>为当前作业环境的RGB图像的一阶径向和切向畸变系数；为当前作业环境的RGB图像的二阶径向和切向畸变系数；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的横坐标与纵坐标平方和的平方根；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的横坐标；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的纵坐标；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的横坐标的牛顿法函数；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的纵坐标的牛顿法函数；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的横坐标值；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的纵坐标值；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的横坐标值；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的纵坐标值；/>为雅可比式在点处的值。
（1.2）采用高斯滤波方法处理畸变矫正后的当前作业环境的RGB图像，高斯滤波方法主要包括用3×3高斯卷积核扫描图像中的每一个像素，将邻域内各个像素值与对应位置的权值相称并求和。将得到的高斯卷积核做归一化处理，中心点以及周边8个点，每个点乘以预设的权重值并求和，即为高斯滤波后中心点的值，即获得预处理后作业环境的RGB图像。高斯卷积核公式为：
，
其中：为二维高斯函数；/>为畸变矫正后的当前作业环境的RGB图像的高斯卷积核内一点的横坐标；/>为畸变矫正后的当前作业环境的RGB图像的高斯卷积核内一点的纵坐标；/>为畸变矫正后的当前作业环境的RGB图像的像素标准差。
（2）对预处理后作业环境的RGB图像进行改进的潜在图预测处理，如图4所示，改进的潜在图预测的处理包括潜在图预测模型与潜在图损失优化两部分，可有效输出潜在图预测的联合节点集，通过潜在图预测模型处理后，进行潜在图预测损失优化，得到潜在图预测后作业环境的RGB图像。可针对不用目标进行有效精准识别分割。
潜在图预测模型的公式如下：
：
，
，
，
，
，
，
其中：为预处理后作业环境的RGB图像的图矩阵数据；/>为预处理后作业环境的RGB图像的潜在图矩阵数据的邻接矩阵；/>为预处理后作业环境的RGB图像潜在图矩阵数据的特征矩阵；/>为预处理后作业环境的RGB图像的潜在图矩阵数据；/>为潜在图预测模型处理后作业环境的RGB图像的特征矩阵；/>为潜在图预测模型处理后作业环境的RGB图像的节点嵌入；/>为预处理后作业环境的RGB图像的潜在图矩阵数据的邻接矩阵与特征矩阵的联合节点集；/>为潜在图预测模型处理后作业环境的RGB图像的重合节点嵌入；为预处理后作业环境的RGB图像的潜在图矩阵数据的邻接矩阵与潜在图预测模型处理后作业环境的RGB图像的特征矩阵的联合节点集；/>为预处理后作业环境的RGB图像的图矩阵数据与特征矩阵编码结果最小值；/>为潜在图预测模型的解码器函数；/>为潜在图预测模型的编码器函数；/>为潜在图预测模型处理后作业环境的RGB图像的元素均方差；为潜在图预测模型处理后作业环境的RGB图像的归属节点；/>为潜在图预测模型处理后作业环境的RGB图像的元素集合。
潜在图预测损失优化的公式如下：
，
，
，
其中：为潜在图损失优化编码器系数；/>为潜在图损失优化解码器系数；为潜在图损失优化编码权重；/>为潜在图预测模型处理后作业环境的RGB图像的总节点数；/>为潜在图预测模型处理后作业环境的RGB图像的矩阵数量；/>为潜在图预测模型的编码器函数；/>为潜在图预测模型处理后作业环境的RGB图像的第/>个邻接矩阵；/>为潜在图预测模型处理后作业环境的RGB图像的第/>个特征矩阵；/>为潜在图预测模型处理后作业环境的RGB图像的第/>个归属节点；/>为潜在图损失优化解码权重；/>为潜在图预测模型的解码器函数；/>为潜在图预测模型处理后作业环境的RGB图像的元素集合；/>为潜在图损失优化。
（3）对潜在图预测后作业环境的RGB图像进行图像分层，并逐层执行数据增强和伪标签算法处理，伪标签生成算法针对潜在图预测输出的联合节点集合，进行联合特征集的提取，对联合特征集使用聚类算法生成伪标签，得到潜在图预测无监督学习框架下含作业环境的RGB图像，如图5所示。
数据增强的公式为：
，
，
其中，为数据增强函数，/>为潜在图预测后作业环境的RGB图像的图像块，/>为潜在图预测后作业环境的RGB图像的图像块的均值，/>为数据增强后作业环境的RGB图像的图像块，/>为数据增强后作业环境的RGB图像的图像块的均值，/>为数据增强后作业环境的RGB图像的图像块的均值权重参数，/>为潜在图预测后作业环境的RGB图像的图像块与数据增强后作业环境的RGB图像的图像块的协方差，/>为潜在图预测后作业环境的RGB图像的图像块的标准差，/>为数据增强后作业环境的RGB图像的图像块的标准差，/>为数据增强后作业环境的RGB图像的图像块的方差权重参数。
伪标签算法处理针对潜在图预测输出的联合节点集合，进行联合特征集的提取，对联合特征集使用聚类算法生成伪标签；联合特征集及聚类算法公式如下：
，
，
，
，
，
其中，为潜在图预测输出的联合节点集合，/>为潜在图预测输出的联合节点数，为潜在图预测输出的第/>个联合节点，/>为潜在图预测无监督学习框架下含作业环境的RGB图像的伪标签集，/>为潜在图预测无监督学习框架下含作业环境的RGB图像的第/>个伪标签，/>为潜在图预测输出的第/>个联合节点与第/>个联合节点之间的距离，/>为潜在图预测输出的联合节点横向数量，/>为潜在图预测输出的联合节点纵向数量，/>为潜在图预测输出的第/>个联合节点中的联合特征集，/>为潜在图预测输出的第/>个联合节点中的联合特征集，/>为/>和/>的欧氏距离，/>为聚类算法函数，/>为潜在图预测输出的联合节点中的联合特征集，/>为聚类个数，/>为潜在图预测输出的联合特征集，/>为潜在图预测输出的联合特征集中第I/>个簇，/>为潜在图预测输出的联合特征集中簇的集合的元素。
（4）根据所述的潜在图预测无监督学习框架下含作业环境的RGB图像，考虑到动态点云的分布不具有普遍的规律性且易出现点云的堆叠重合的问题，即时定位与地图构建如图6所示，通过区域增长算法剔除动态目标的类点云信息，即时定位与地图构建如图7所示，实现潜在图预测无监督学习框架下的视觉里程计。可高效实现种子搜索及边界处理。
通过对潜在图预测无监督学***均曲率来编码查询点的最近邻点的几何特性，以此描述采样表面的变化和局部几何结构，实现点云边缘特征提取。点特征直方图具有一定的判别性和鲁棒性。进而，对参与构网的种子点向外扩展延伸，大矩形内侧的虚线为原始点云的外边界，从边界各向外扩展一层新网格，扩展的虚拟网格与边界内的网格具有相同的尺寸，在每个扩展的网格中心内插一个虚拟种子点，搜索虚拟种子点的邻近格网，确定种子点。
对区域生长算法处理后动态目标的种子信息，根据种子信息的边界阈值，对区域增长内的动态点云进行滤除，实现潜在图预测无监督学习框架下的视觉里程计。

Claims (7)

1.一种基于潜在图预测无监督学习框架的视觉里程计方法，其特征在于，包括以下步骤：
（1）获取当前作业环境的RGB图像，并进行预处理，获得预处理后作业环境的RGB图像；
（2）对预处理后作业环境的RGB图像进行改进的潜在图预测处理，通过潜在图预测模型处理后，进行潜在图预测损失优化，得到潜在图预测后作业环境的RGB图像；潜在图预测模型的公式如下：
，
，
，
，
，
，
其中：为预处理后作业环境的RGB图像的图矩阵数据；/>为预处理后作业环境的RGB图像的潜在图矩阵数据的邻接矩阵；/>为预处理后作业环境的RGB图像潜在图矩阵数据的特征矩阵；/>为预处理后作业环境的RGB图像的潜在图矩阵数据；/>为潜在图预测模型处理后作业环境的RGB图像的特征矩阵；/>为潜在图预测模型处理后作业环境的RGB图像的节点嵌入；/>为预处理后作业环境的RGB图像的潜在图矩阵数据的邻接矩阵与特征矩阵的联合节点集；/>为潜在图预测模型处理后作业环境的RGB图像的重合节点嵌入；/>为预处理后作业环境的RGB图像的潜在图矩阵数据的邻接矩阵与潜在图预测模型处理后作业环境的RGB图像的特征矩阵的联合节点集；/>为预处理后作业环境的RGB图像的图矩阵数据与特征矩阵编码结果最小值；/>为潜在图预测模型的解码器函数；/>为潜在图预测模型的编码器函数；/>为潜在图预测模型处理后作业环境的RGB图像的元素均方差；/>为潜在图预测模型处理后作业环境的RGB图像的归属节点；/>为潜在图预测模型处理后作业环境的RGB图像的元素集合；
（3）对潜在图预测后作业环境的RGB图像进行图像分层，并逐层执行数据增强和伪标签算法处理，得到潜在图预测无监督学习框架下含作业环境的RGB图像；数据增强的公式为：
，
，
其中，为数据增强函数，/>为潜在图预测后作业环境的RGB图像的图像块，/>为潜在图预测后作业环境的RGB图像的图像块的均值，/>为数据增强后作业环境的RGB图像的图像块，/>为数据增强后作业环境的RGB图像的图像块的均值，/>为数据增强后作业环境的RGB图像的图像块的均值权重参数，/>为潜在图预测后作业环境的RGB图像的图像块与数据增强后作业环境的RGB图像的图像块的协方差，/>为潜在图预测后作业环境的RGB图像的图像块的标准差，/>为数据增强后作业环境的RGB图像的图像块的标准差，/>为数据增强后作业环境的RGB图像的图像块的方差权重参数；
所述伪标签算法处理针对潜在图预测输出的联合节点集合，进行联合特征集的提取，对联合特征集使用聚类算法生成伪标签；联合特征集及聚类算法公式如下：
，
，
，
，
，
其中，为潜在图预测输出的联合节点集合，/>为潜在图预测输出的联合节点数，/>为潜在图预测输出的第/>个联合节点，/>为潜在图预测无监督学习框架下含作业环境的RGB图像的伪标签集，/>为潜在图预测无监督学习框架下含作业环境的RGB图像的第/>个伪标签，/>为潜在图预测输出的第/>个联合节点与第/>个联合节点之间的距离，/>为潜在图预测输出的联合节点横向数量，/>为潜在图预测输出的联合节点纵向数量，/>为潜在图预测输出的第/>个联合节点中的联合特征集，/>为潜在图预测输出的第/>个联合节点中的联合特征集，/>为/>和/>的欧氏距离，/>为聚类算法函数，/>为潜在图预测输出的联合节点中的联合特征集，/>为聚类个数，/>为潜在图预测输出的联合特征集，/>为潜在图预测输出的联合特征集中第I/>个簇，/>为潜在图预测输出的联合特征集中簇的集合的元素；
（4）根据所述的潜在图预测无监督学习框架下含作业环境的RGB图像，通过区域增长算法剔除动态目标的类点云信息，实现潜在图预测无监督学习框架下的视觉里程计。
2.根据权利要求1所述的视觉里程计方法，其特征在于，所述步骤（1）中对当前作业环境的RGB图像进行预处理包括畸变矫正和畸变矫正后的高斯滤波；对当前作业环境的RGB图像进行畸变矫正具体为：根据畸变模型解二元高阶非线性方程组，通过牛顿叠代法得到畸变矫正后的当前作业环境的RGB图像；畸变模型的公式如下:
；
；
；
；
；
其中，为相机坐标系空间一点在当前作业环境的RGB图像投影中畸变系数迭算后的横坐标值；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中畸变系数迭算后的纵坐标值；/>为当前作业环境的RGB图像的一阶径向和切向畸变系数；/>为当前作业环境的RGB图像的二阶径向和切向畸变系数；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的横坐标与纵坐标平方和的平方根；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的横坐标；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的纵坐标；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的横坐标的牛顿法函数；/>为相机坐标系空间一点在当前作业环境的RGB图像投影中的纵坐标的牛顿法函数；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的横坐标值；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的纵坐标值；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的横坐标值；/>为畸变矫正后的当前作业环境的RGB图像投影中第/>个像素点的纵坐标值；/>为雅可比式在点/>处的值。
3.根据权利要求2所述的视觉里程计方法，其特征在于，对畸变矫正后的当前作业环境的RGB图像进行高斯滤波具体为：通过预设大小的高斯卷积核扫描RGB图像中的每一个像素，将得到的每一个像素的高斯卷积核做归一化处理，计算高斯滤波后高斯卷积核内中心点的值，即获得预处理后作业环境的RGB图像；高斯卷积核公式为：
，
其中：为二维高斯函数；/>为畸变矫正后的当前作业环境的RGB图像的高斯卷积核内一点的横坐标；/>为畸变矫正后的当前作业环境的RGB图像的高斯卷积核内一点的纵坐标；/>为畸变矫正后的当前作业环境的RGB图像的像素标准差。
4.根据权利要求3所述的视觉里程计方法，其特征在于，所述步骤（2）中潜在图预测损失优化的公式如下：
，
，
，
其中：为潜在图损失优化编码器系数；/>为潜在图损失优化解码器系数；/>为潜在图损失优化编码权重；/>为潜在图预测模型处理后作业环境的RGB图像的总节点数；/>为潜在图预测模型处理后作业环境的RGB图像的矩阵数量；/>为潜在图预测模型的编码器函数；/>为潜在图预测模型处理后作业环境的RGB图像的第/>个邻接矩阵；/>为潜在图预测模型处理后作业环境的RGB图像的第/>个特征矩阵；/>为潜在图预测模型处理后作业环境的RGB图像的第/>个归属节点；/>为潜在图损失优化解码权重；/>为潜在图预测模型的解码器函数；/>为潜在图预测模型处理后作业环境的RGB图像的元素集合；/>为潜在图损失优化。
5.根据权利要求4所述的视觉里程计方法，其特征在于，所述步骤（4）中通过潜在图预测无监督学习框架下含作业环境的RGB图像获得动态目标的点云，区域增长算法对获得的动态目标的点云进行扫描，得到作业环境中的动态点云以及与其相邻的非动态点云，并确定生长点，基于局部特征描述子的边缘特征提取确立生长边界，局部特征描述子采用点特征直方图，点特征直方图通过描述点云表面的特征信息从而进行特征点提取，对参与构网的种子点向外扩展延伸，确定原始点云的外边界，从边界各向外扩展一层新的虚拟网格，扩展的虚拟网格与边界内的网格具有相同的尺寸，在每个扩展的网格中心内插一个虚拟种子点，搜索虚拟种子点的邻近格网，确定种子点，根据种子点信息的边界阈值，对区域增长内的动态点云进行滤除，实现潜在图预测无监督学习框架下的视觉里程计。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202310905815.3A 2023-07-24 2023-07-24 一种基于潜在图预测无监督学习框架的视觉里程计方法 Active CN116630901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310905815.3A CN116630901B (zh) 2023-07-24 2023-07-24 一种基于潜在图预测无监督学习框架的视觉里程计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310905815.3A CN116630901B (zh) 2023-07-24 2023-07-24 一种基于潜在图预测无监督学习框架的视觉里程计方法

Publications (2)

Publication Number Publication Date
CN116630901A CN116630901A (zh) 2023-08-22
CN116630901B true CN116630901B (zh) 2023-09-22

Family

ID=87590621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310905815.3A Active CN116630901B (zh) 2023-07-24 2023-07-24 一种基于潜在图预测无监督学习框架的视觉里程计方法

Country Status (1)

Country Link
CN (1) CN116630901B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
WO2020161118A1 (en) * 2019-02-05 2020-08-13 Siemens Aktiengesellschaft Adversarial joint image and pose distribution learning for camera pose regression and refinement
CN113012197A (zh) * 2021-03-19 2021-06-22 华南理工大学 一种适用于动态交通场景的双目视觉里程计定位方法
CN113532420A (zh) * 2021-06-29 2021-10-22 浙江大学 一种融合点线特征的视觉惯性里程计方法
WO2022001159A1 (zh) * 2020-06-29 2022-01-06 西南电子技术研究所（中国电子科技集团公司第十研究所） 无监督高光谱图像隐低秩投影学习特征提取方法
CN115439743A (zh) * 2022-08-23 2022-12-06 华南理工大学 一种泊车场景下精确提取视觉slam静态特征的方法
CN115836325A (zh) * 2020-08-25 2023-03-21 联邦科学和工业研究组织 多智能体地图生成

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298014B (zh) * 2021-06-09 2021-12-17 安徽工程大学 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020161118A1 (en) * 2019-02-05 2020-08-13 Siemens Aktiengesellschaft Adversarial joint image and pose distribution learning for camera pose regression and refinement
CN111325794A (zh) * 2020-02-23 2020-06-23 哈尔滨工业大学 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
WO2022001159A1 (zh) * 2020-06-29 2022-01-06 西南电子技术研究所（中国电子科技集团公司第十研究所） 无监督高光谱图像隐低秩投影学习特征提取方法
CN115836325A (zh) * 2020-08-25 2023-03-21 联邦科学和工业研究组织 多智能体地图生成
CN113012197A (zh) * 2021-03-19 2021-06-22 华南理工大学 一种适用于动态交通场景的双目视觉里程计定位方法
CN113532420A (zh) * 2021-06-29 2021-10-22 浙江大学 一种融合点线特征的视觉惯性里程计方法
CN115439743A (zh) * 2022-08-23 2022-12-06 华南理工大学 一种泊车场景下精确提取视觉slam静态特征的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep Unsupervised Learning Based Visual Odometry with Multi-scale Matching and Latent Feature Constraint;Zhenzhen Liang 等;《2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;2239-2246 *
Self-Supervised Representation Learning via Latent Graph Prediction;Yaochen Xie 等;《arXiv》;1-18 *
基于深度学习的视觉惯性里程计技术综述;王文森 等;《计算机科学与探索》;1-12 *
面向温室移动机器人的无监督视觉里程估计方法;吴雄伟 等;《农业工程学报》;第39卷(第10期);163-174 *

Also Published As

Publication number Publication date
CN116630901A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN109410321B (zh) 基于卷积神经网络的三维重建方法
CN109146948B (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN108107444A (zh) 基于激光数据的变电站异物识别方法
CN112686935A (zh) 基于特征融合的机载测深雷达与多光谱卫星影像配准方法
CN111797744B (zh) 一种基于共现滤波算法的多模态遥感图像匹配方法
CN113128610A (zh) 一种工业零件位姿估计方法及***
CN109214246B (zh) 基于全局方向信息的指纹检索方法
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
CN116503705B (zh) 一种数字城市多源数据的融合方法
CN116343048A (zh) 针对平原作物类型复杂区地块边界精准提取方法及***
Kok et al. Obscured tree branches segmentation and 3D reconstruction using deep learning and geometrical constraints
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN117541786A (zh) 一种融合多源点云数据的单株植被精细化分割方法
CN116630901B (zh) 一种基于潜在图预测无监督学习框架的视觉里程计方法
CN110969650B (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法
CN116958264A (zh) 一种基于三维视觉的螺栓孔定位及位姿估计方法
CN114413882B (zh) 一种基于多假设跟踪的全局初定位方法和装置
CN116630610A (zh) 基于语义分割模型和条件随机场的roi区域提取方法
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
CN113096048B (zh) 一种广义云驱动与几何协同遥感影像辐射校正方法及***
CN112200850B (zh) 一种基于成熟特征点的orb提取方法
CN114648704A (zh) 一种农田边界高精度提取方法及***
CN114742849A (zh) 一种基于图像增强的水准仪距离测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant