CN111047620A - 一种基于深度点线特征的无人机视觉里程计方法 - Google Patents

一种基于深度点线特征的无人机视觉里程计方法 Download PDF

Info

Publication number
CN111047620A
CN111047620A CN201911122317.1A CN201911122317A CN111047620A CN 111047620 A CN111047620 A CN 111047620A CN 201911122317 A CN201911122317 A CN 201911122317A CN 111047620 A CN111047620 A CN 111047620A
Authority
CN
China
Prior art keywords
points
point
visual image
line
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911122317.1A
Other languages
English (en)
Inventor
邱彬
孟伟
鲁仁全
付敏跃
蔡倩倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201911122317.1A priority Critical patent/CN111047620A/zh
Publication of CN111047620A publication Critical patent/CN111047620A/zh
Priority to JP2020168211A priority patent/JP6852936B1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度点线特征的无人机视觉里程计方法，包括以下步骤：S1：进行深度相机的标定，获取深度相机的内参矩阵和畸变系数；S2：利用深度相机获取视觉图像，提取视觉图像的关键点特征，并将关键点的像素坐标转化为三维坐标；S3：提取视觉图像的线特征；S4：利用平均视差法和跟踪质量法在视觉图像中提取当前的关键帧；S5：利用已提取的关键点特征和线特征对视觉图像相邻帧进行特征匹配，利用ICP算法估计设备的运动位姿；S6：对估计的运动位姿进行局部优化，输出位姿。本发明提高了无人机位姿估计的准确度。

Description

一种基于深度点线特征的无人机视觉里程计方法
技术领域
本发明涉及机器人视觉技术领域，更具体地，涉及一种基于深度点线特征的无人机视觉里程计方法。
背景技术
机器人在无GPS的未知环境下，通过传感器(如激光、摄像头等)搜集到的距离或者图像等信息来估计机器人的运动并把地图建立起来，这样机器人就能在未知的领域完成自主运动，即SLAM(Simultaneous Localization and Mapping)。它是近几十年来机器人领域最活跃的研究方向，应用于军事和生活的各个方面，如扫地机器人，电网巡视监管无人机等。根据传感器的不同分为激光SLAM和视觉SLAM。在视觉SLAM中，当前开源了许多优秀算法，如ORB SLAM(特征点法的代表)，VINS-MONO(用的光流法跟踪和融合IMU)，RGBD SLAM等等。
激光SLAM目前已经非常成熟，已经有大量实地应用。相对于激光SLAM，视觉SLAM由于相机价格更低廉、能收集到更多的信息，越来越受到研究者们的关注，当然视觉图像里面也提供了许多无用的信息，导致了处理起来困难，需要占用大量的计算资源。基于特征点的SLAM由于需要大量的时间计算特征点，还未能很好的应用于实践。在现有的基于特征点的SLAM算法中，由于相机提取的特征点受到外部环境的影响(如动态环境，光照变化明显的室外，特征点较少的平面墙壁，天花板等等)，***很容易导致跟踪特征点失败、出现误匹配和特征跟丢的情况，从而整个SLAM***精度下降甚至无法工作。
当前，无人机在特征点较少的场景和快速移动下会出现的特征误匹配、特征点跟丢的缺点，从而导致估计位姿不准确。
发明内容
本发明为克服上述现有技术中无人机在特征点较少的场景和快速移动下出现的特征误匹配、特征点跟丢导致位姿估计不准确的缺陷，提供一种基于深度点线特征的无人机视觉里程计方法。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
一种基于深度点线特征的无人机视觉里程计方法，包括以下步骤：
S1：进行深度相机的标定，获取深度相机的内参矩阵和畸变系数；
S2：利用深度相机获取视觉图像，提取视觉图像的关键点特征，并将关键点的像素坐标转化为三维坐标；
S3：提取视觉图像的线特征；
S4：利用平均视差法和跟踪质量法在视觉图像中提取当前的关键帧；
S5：利用已提取的关键点特征和线特征对视觉图像相邻帧进行特征匹配，利用ICP算法估计设备的运动位姿；
S6：对估计的运动位姿进行局部优化，输出位姿。
进一步地，步骤S2的具体步骤为：
S201：将视觉图像进行灰度化处理，得到灰度图像并对灰度图像构建高斯金字塔，按照高斯金字塔每层图像的比例因子确定每层图像的特征点个数，根据特征点的个数提取关键点；
S202：利用灰度质心法计算关键点的质心像素坐标，计算公式如下：
Figure BDA0002275780650000021
Figure BDA0002275780650000022
其中，f是灰度值，当像素灰度值小于阈值T时为0，大于阈值T时为f；
S203：计算关键点的BRIEF描述子，利用BRIEF描述子对特征点进行排序，BRIEF描述子计算过程为：设定P为关键点，在关键点P的周围选取N个点对，把N个点对组合起来作为描述子，P1(A,B),P2(A,B),.PN(A,B),其中，A和B代表一个点对中的两个像素点，当A的灰度大于B时，值为1，反之为0；
S204：利用深度相机测得的视觉图像的深度将关键点的像素坐标转化为三维坐标。
进一步地，步骤S3提取线特征的具体步骤为：
S301：利用线段检测器LSD对视觉图像灰度图进行线性切割，提取出视觉图像上的线段S＝{Si,i＝1,2,3,…,}，其中Si＝[Ai,Bi]，Ai，Bi分别是线段两个端点的像素坐标；
S302：设置采样点个数，对线段S进行采样，其中采样点的个数为n,n＝min(100,
Figure BDA0002275780650000023
)，其中‖s‖表示线段S的长度，
Figure BDA0002275780650000024
表示不大于S长度的最大整数，采样得到的点通过其对应的深度和相机内参矩阵转换到空间三维坐标；
S303：利用随机采样一致性的方法剔除采样点中的误差点，得到误差点剔除后的点集合记为n'，将点集合n'中点进行直线拟合，计算选取点集合n'中点到拟合直线的马氏距离，得到最优3D点，利用最优3D点拟合直线。
进一步地，所述利用马氏距离公式得到最优3D点，具体过程为：
若误差剔除后的采样点的个数与原采样点的个数的比值大于设定阈值，则计算采样点的马氏距离，计算公式如下：
Figure BDA0002275780650000031
其中P是三维空间点，∑p是协方差，L是由若干个点构成的线，Q是L上任意一点；
将Q＝A+ω(B-A)代入马氏距离计算公式：
Figure BDA0002275780650000032
将ω的最优解代入即求得马氏距离的最优解。
进一步地，步骤S4所述的平均视差法为：若在当前视觉图像帧和上一关键帧之前跟踪的特征点平均视差超出阈值T，则将当前视觉图像帧设为新的关键帧；
所述跟踪质量法为：如果当前视觉图像帧跟踪的特征点数量小于预设数量阈值，则将当前视觉图像帧设为关键帧。
进一步地，步骤S5利用已提取的关键点特征和线特征对视觉图像相邻帧进行特征匹配，利用ICP算法估计设备的运动位姿；具体步骤为：
若匹配中只检测到点特征没有检测到线特征，则将检测到的点转化为3D点，并利用ICP算法估计相机运动；
若匹配中只检测到线特征没有检测到特征点，则在检测到的线上随机选择点，并将所选的点利用ICP算法估计相机运动；
若匹配中同时检测到点特征和线特征，则对检测到的点利用ICP算法估计相机运动。
进一步地，步骤S6所述对估计的运动位姿进行局部优化是采用滑动窗口的位姿图进行优化，具体过程为：设置滑动窗口的大小为M帧，M为正整数，每一次对M帧的位姿进行局部的非线性优化，构建最小二乘模型，利用深度相机的观测像素值，内参矩阵，并采用列文伯格-马夸尔特方法求解最优位姿。
与现有技术相比，本发明技术方案的有益效果是：
本发明通过分别提取视觉图像的点特征和线特征，根据点特征和线特征的不同匹配进行关键帧的选取，克服了无人机在特征点较少的场景和快速移动下出现的特征误匹配、特征点跟丢导致位姿估计不准确的缺陷，提高了位姿估计的准确度。
附图说明
图1为本发明方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示一种基于深度点线特征的无人机视觉里程计方法，包括以下步骤：
S1：进行深度相机的标定，获取深度相机的内参矩阵和畸变系数；
在一个具体的实施例中，用ros(机器人操作***)的camera_calibration功能包进行深度相机的标定，获得相机的内参矩阵(fx、fy、cx、cy)和外参(畸变系数)。
S2：利用深度相机获取视觉图像，提取视觉图像的关键点特征，并将关键点的像素坐标转化为三维坐标；
更具体地，步骤S2的具体步骤为：
S201：将视觉图像进行灰度化处理，得到灰度图像并对灰度图像构建高斯金字塔，按照高斯金字塔每层图像的比例因子确定每层图像的特征点个数，根据特征点的个数提取关键点；
需要说明的是，在一个具体的实施例中，所述高斯金字塔可以为7层，所述关键点为fast关键点。
S202：利用灰度质心法计算关键点的质心像素坐标，计算公式如下：
Figure BDA0002275780650000051
Figure BDA0002275780650000052
其中，f是灰度值，当像素灰度值小于阈值T时为0，大于阈值T是为f；
S203：计算关键点的BRIEF描述子，利用BRIEF描述子对特征点进行排序去掉密集的点，使特征点分布均匀，进行匹配。具体描述子计算过程为：设定P为关键点，在关键点P的周围选取N个点对，把N个点对组合起来作为描述子，P1(A,B),P2(A,B),.PN(A,B),其中，A和B代表一个点对中的两个像素点，当A的灰度大于B时，值为1，反之为0。
S204：利用深度相机测得的视觉图像的深度将关键点的像素坐标转化为三维坐标。计算公式如下：
Figure BDA0002275780650000053
其中，u表示像素的横坐标，v表示像素的纵坐标，d表示视觉图像的深度，P表示关键点，(fx、fy、cx、cy)为深度相机的内参矩阵。
S3：提取视觉图像的线特征；
步骤S3提取线特征的具体步骤为：
S301：利用线段检测器LSD对视觉图像灰度图进行线性切割，提取出视觉图像上的线段S＝{Si,i＝1,2,3,…,}，其中Si＝[Ai,Bi]，Ai，Bi分别是线段两个端点的像素坐标；
S302：设置采样点个数，对线段S进行采样，其中采样点的个数为n,n＝min(100,
Figure BDA0002275780650000054
)，其中‖s‖表示线段S的长度，
Figure BDA0002275780650000055
表示不大于S长度的最大整数，采样得到的点通过其对应的深度和相机内参矩阵转换到空间三维坐标；
S303：利用随机采样一致性的方法剔除采样点中的误差点，得到误差点剔除后的点集合记为n'，将点集合n'中点进行直线拟合，计算选取点集合n'中点到拟合直线的马氏距离，得到最优3D点，利用最优3D点拟合直线。
进一步地，所述利用马氏距离公式得到最优3D点，具体过程为：
若误差剔除后的采样点的个数与原采样点的个数的比值大于设定阈值，则计算采样点的马氏距离，计算公式如下：
Figure BDA0002275780650000061
其中，P是三维空间点，∑p是协方差，L是由若干个点构成的线，Q是L上任意一点；
将Q＝A+ω(B-A)代入马氏距离计算公式：
Figure BDA0002275780650000062
将ω的最优解代入即求得马氏距离的最优解。
S4：利用平均视差法和跟踪质量法在视觉图像中提取当前的关键帧；
步骤S4所述的平均视差法为：若在当前视觉图像帧和上一关键帧之前跟踪的特征点平均视差超出阈值T，则将当前视觉图像帧设为新的关键帧；
所述跟踪质量法为：如果当前视觉图像帧跟踪的特征点数量小于预设数量阈值，则将当前视觉图像帧设为关键帧。
S5：利用已提取的关键点特征和线特征对视觉图像相邻帧进行特征匹配，利用ICP算法估计设备的运动位姿；
步骤S5利用已提取的关键点特征和线特征对视觉图像相邻帧进行特征匹配，利用ICP算法估计设备的运动位姿；具体步骤为：
若匹配中只检测到点特征没有检测到线特征，则将检测到的点转化为3D点，并利用ICP算法估计相机运动；
若匹配中只检测到线特征没有检测到特征点，则在检测到的线上随机选择点，并将所选的点利用ICP算法估计相机运动；
若匹配中同时检测到点特征和线特征，则对检测到的点利用ICP算法估计相机运动。
S6：对估计的运动位姿进行局部优化，输出位姿。
更具体地，步骤S6所述对估计的运动位姿进行局部优化是采用滑动窗口的位姿图进行优化，具体过程为：设置滑动窗口的大小为M帧，M为正整数，每一次对M帧的位姿进行局部的非线性优化，构建最小二乘模型，利用深度相机的观测像素值，内参矩阵，并采用列文伯格-马夸尔特方法求解最优位姿。
例如，当前关键帧序列为{k1,k2,…,k10}，当新加入一个关键帧k11时，就舍去最前面一帧k1，此时的滑动窗口帧序列为{k2,k3,…,k11}，每次对这10帧的位姿进行局部的非线性优化，构建最小二乘模型为
Figure BDA0002275780650000071
其中z是相机的观测像素值
Figure BDA0002275780650000072
k是步骤1标定的相机的内参矩阵，ξ是所求的位姿的李代数表示，采用列文伯格-马夸尔特方法求解最优位姿。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于深度点线特征的无人机视觉里程计方法，其特征在于，包括以下步骤：
S1：进行深度相机的标定，获取深度相机的内参矩阵和畸变系数；
S2：利用深度相机获取视觉图像，提取视觉图像的关键点特征，并将关键点的像素坐标转化为三维坐标；
S3：提取视觉图像的线特征；
S4：利用平均视差法和跟踪质量法在视觉图像中提取当前的关键帧；
S5：利用已提取的关键点特征和线特征对视觉图像相邻帧进行特征匹配，利用ICP算法估计设备的运动位姿；
S6：对估计的运动位姿进行局部优化，输出位姿。
2.根据权利要求1所述的一种基于深度点线特征的无人机视觉里程计方法，其特征在于，步骤S2的具体步骤为：
S201：将视觉图像进行灰度化处理，得到灰度图像并对灰度图像构建高斯金字塔，按照高斯金字塔每层图像的比例因子确定每层图像的特征点个数，根据特征点的个数提取关键点；
S202：利用灰度质心法计算关键点的质心像素坐标，计算公式如下：
Figure FDA0002275780640000011
Figure FDA0002275780640000012
其中，f是灰度值，当像素灰度值小于阈值T时为0，大于阈值T时为f；
S203：计算关键点的BRIEF描述子，利用BRIEF描述子对特征点进行排序，BRIEF描述子计算过程为：设定P为关键点，在关键点P的周围选取N个点对，把N个点对组合起来作为描述子，P1(A,B),P2(A,B),.PN(A,B),其中，A和B代表一个点对中的两个像素点，当A的灰度大于B时，值为1，反之为0；
S204：利用深度相机测得的视觉图像的深度将关键点的像素坐标转化为三维坐标。
3.根据权利要求1所述的一种基于深度点线特征的无人机视觉里程计方法，其特征在于，步骤S3提取线特征的具体步骤为：
S301：利用线段检测器LSD对视觉图像灰度图进行线性切割，提取出视觉图像上的线段S＝{Si,i＝1,2,3,…,}，其中Si＝[Ai,Bi]，Ai，Bi分别是线段两个端点的像素坐标；
S302：设置采样点个数，对线段S进行采样，其中采样点的个数为n,
Figure FDA0002275780640000023
其中‖s‖表示线段S的长度，
Figure FDA0002275780640000024
表示不大于S长度的最大整数，采样得到的点通过其对应的深度和相机内参矩阵转换到空间三维坐标；
S303：利用随机采样一致性的方法剔除采样点中的误差点，得到误差点剔除后的点集合记为n'，将点集合n'中点进行直线拟合，计算选取点集合n'中点到拟合直线的马氏距离，得到最优3D点，利用最优3D点拟合直线。
4.根据权利要求3所述的一种基于深度点线特征的无人机视觉里程计方法，其特征在于，所述利用利用马氏距离公式得到最优3D点，具体过程为：
若点集合n'中点的个数与原采样点的个数的比值大于设定阈值，则计算采样点的马氏距离，计算公式如下：
Figure FDA0002275780640000021
其中P是三维空间点，∑p是协方差，L是由若干个点构成的线，Q是L上任意一点；
将Q＝A+ω(B-A)代入马氏距离计算公式：
Figure FDA0002275780640000022
将ω的最优解代入即求得马氏距离的最优解。
5.根据权利要求1所述的一种基于深度点线特征的无人机视觉里程计方法，其特征在于，步骤S4所述的平均视差法为：若在当前视觉图像帧和上一关键帧之前跟踪的特征点平均视差超出阈值T，则将当前视觉图像帧设为新的关键帧；
所述跟踪质量法为：如果当前视觉图像帧跟踪的特征点数量小于预设数量阈值，则将当前视觉图像帧设为关键帧。
6.根据权利要求1所述的一种基于深度点线特征的无人机视觉里程计方法，其特征在于，步骤S5利用已提取的关键点特征和线特征对视觉图像相邻帧进行特征匹配，利用ICP算法估计设备的运动位姿；具体步骤为：
若匹配中只检测到点特征没有检测到线特征，则将检测到的点转化为3D点，并利用ICP算法估计相机运动；
若匹配中只检测到线特征没有检测到特征点，则在检测到的线上随机选择点，并将所选的点利用ICP算法估计相机运动；
若匹配中同时检测到点特征和线特征，则对检测到的点利用ICP算法估计相机运动。
7.根据权利要求1所述的一种基于深度点线特征的无人机视觉里程计方法，其特征在于，步骤S6所述对估计的运动位姿进行局部优化是采用滑动窗口的位姿图进行优化，具体过程为：设置滑动窗口的大小为M帧，M为正整数，每一次对M帧的位姿进行局部的非线性优化，构建最小二乘模型，利用深度相机的观测像素值，内参矩阵，并采用列文伯格-马夸尔特方法求解最优位姿。
CN201911122317.1A 2019-11-15 2019-11-15 一种基于深度点线特征的无人机视觉里程计方法 Pending CN111047620A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911122317.1A CN111047620A (zh) 2019-11-15 2019-11-15 一种基于深度点线特征的无人机视觉里程计方法
JP2020168211A JP6852936B1 (ja) 2019-11-15 2020-10-05 深度点線特徴に基づくドローン視覚走行距離計方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911122317.1A CN111047620A (zh) 2019-11-15 2019-11-15 一种基于深度点线特征的无人机视觉里程计方法

Publications (1)

Publication Number Publication Date
CN111047620A true CN111047620A (zh) 2020-04-21

Family

ID=70232109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911122317.1A Pending CN111047620A (zh) 2019-11-15 2019-11-15 一种基于深度点线特征的无人机视觉里程计方法

Country Status (2)

Country Link
JP (1) JP6852936B1 (zh)
CN (1) CN111047620A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540016A (zh) * 2020-04-27 2020-08-14 深圳南方德尔汽车电子有限公司 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质
CN112070175A (zh) * 2020-09-04 2020-12-11 湖南国科微电子股份有限公司 视觉里程计方法、装置、电子设备及存储介质
CN112414431A (zh) * 2020-11-18 2021-02-26 的卢技术有限公司 一种鲁棒的车载多传感器外参标定方法
CN113052908A (zh) * 2021-04-16 2021-06-29 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113688816A (zh) * 2021-07-21 2021-11-23 上海工程技术大学 一种改进orb特征点提取的视觉里程计的计算方法
CN114663509A (zh) * 2022-03-23 2022-06-24 北京科技大学 一种关键点热力图引导的自监督单目视觉里程计方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222838A (zh) * 2021-05-07 2021-08-06 国网山西省电力公司吕梁供电公司 基于视觉定位的无人机自主巡线方法
WO2022239827A1 (ja) 2021-05-14 2022-11-17 テルモ株式会社 止血器具
CN113793355B (zh) * 2021-09-13 2022-12-16 中国铁路设计集团有限公司 无人机影像铁路钢轨顶面中心线自动匹配方法
CN113837277B (zh) * 2021-09-24 2022-11-18 东南大学 一种基于视觉点线特征优化的多源融合slam***
CN114018214A (zh) * 2021-10-18 2022-02-08 武汉理工大学 一种基于硬件加速***的标志物双目亚像素测距方法
CN113954075A (zh) * 2021-11-10 2022-01-21 佛山市南海区广工大数控装备协同创新研究院 基于机器人主动运动的运动物体跟踪抓取方法和装置
CN114199205B (zh) * 2021-11-16 2023-09-05 河北大学 基于改进四叉树orb算法的双目测距方法
CN114393575B (zh) * 2021-12-17 2024-04-02 重庆特斯联智慧科技股份有限公司 基于用户姿势高效能识别的机器人控制方法和***
CN115690205B (zh) * 2022-10-09 2023-12-05 北京自动化控制设备研究所 基于点线综合特征的视觉相对位姿测量误差估计方法
CN116067360B (zh) * 2023-01-09 2023-08-22 安徽工程大学 一种基于双重约束的机器人地图构建方法、存储介质及设备
CN116524026B (zh) * 2023-05-08 2023-10-27 哈尔滨理工大学 一种基于频域和语义的动态视觉slam方法
CN117073982B (zh) * 2023-07-25 2024-07-02 精微视达医疗科技(苏州)有限公司 探头式共聚焦内窥镜视场检测方法
CN117170501B (zh) * 2023-08-24 2024-05-03 北京自动化控制设备研究所 基于点线融合特征的视觉跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053445A (zh) * 2017-12-08 2018-05-18 中南大学 特征融合的rgb-d相机运动估计方法
CN109974743A (zh) * 2019-03-14 2019-07-05 中山大学 一种基于gms特征匹配及滑动窗口位姿图优化的rgb-d视觉里程计
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110319772A (zh) * 2019-07-12 2019-10-11 上海电力大学 基于无人机的视觉大跨度测距方法
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010131371A1 (en) * 2009-05-12 2010-11-18 Toyota Jidosha Kabushiki Kaisha Object recognition method, object recognition apparatus, and autonomous mobile robot
JP2019011971A (ja) * 2017-06-29 2019-01-24 株式会社東芝 推定システムおよび自動車

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053445A (zh) * 2017-12-08 2018-05-18 中南大学 特征融合的rgb-d相机运动估计方法
CN109974743A (zh) * 2019-03-14 2019-07-05 中山大学 一种基于gms特征匹配及滑动窗口位姿图优化的rgb-d视觉里程计
CN109993113A (zh) * 2019-03-29 2019-07-09 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN110319772A (zh) * 2019-07-12 2019-10-11 上海电力大学 基于无人机的视觉大跨度测距方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ETHAN,AT EL.: ""ORB: an efficient alternative to SIFT or SURF"", 《IEEE XPLORE》 *
万刚等: "《无人机测绘技术及应用》", 31 December 2015, 测绘出版社 *
伊星星: ""基于RGB_D的移动机器人实时定位与建图研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张国良等: "《移动机器人的SLAM与VSLAM方法》", 30 June 2018, 西安交通大学出版社 *
曹禄: ""基于Kinect的移动机器人视觉SLAM研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王国臣等: "《水下组合导航***》", 30 April 2016, 国防工业出版社 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111540016A (zh) * 2020-04-27 2020-08-14 深圳南方德尔汽车电子有限公司 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质
CN111540016B (zh) * 2020-04-27 2023-11-10 深圳南方德尔汽车电子有限公司 基于图像特征匹配的位姿计算方法、装置、计算机设备及存储介质
CN112070175A (zh) * 2020-09-04 2020-12-11 湖南国科微电子股份有限公司 视觉里程计方法、装置、电子设备及存储介质
CN112070175B (zh) * 2020-09-04 2024-06-07 湖南国科微电子股份有限公司 视觉里程计方法、装置、电子设备及存储介质
CN112414431A (zh) * 2020-11-18 2021-02-26 的卢技术有限公司 一种鲁棒的车载多传感器外参标定方法
CN112414431B (zh) * 2020-11-18 2023-05-12 的卢技术有限公司 一种鲁棒的车载多传感器外参标定方法
CN113052908A (zh) * 2021-04-16 2021-06-29 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113052908B (zh) * 2021-04-16 2023-08-04 南京工业大学 一种基于多传感器数据融合的移动机器人位姿估计算法
CN113688816A (zh) * 2021-07-21 2021-11-23 上海工程技术大学 一种改进orb特征点提取的视觉里程计的计算方法
CN113688816B (zh) * 2021-07-21 2023-06-23 上海工程技术大学 一种改进orb特征点提取的视觉里程计的计算方法
CN114663509A (zh) * 2022-03-23 2022-06-24 北京科技大学 一种关键点热力图引导的自监督单目视觉里程计方法

Also Published As

Publication number Publication date
JP6852936B1 (ja) 2021-03-31
JP2021082265A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
CN111047620A (zh) 一种基于深度点线特征的无人机视觉里程计方法
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN111462210B (zh) 一种基于极线约束的单目线特征地图构建方法
CN110456330B (zh) 一种相机与激光雷达之间外参无目标自动标定方法及***
CN111795686A (zh) 一种移动机器人定位与建图的方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN108519102B (zh) 一种基于二次投影的双目视觉里程计算方法
Muñoz-Bañón et al. Targetless camera-LiDAR calibration in unstructured environments
CN112085003A (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
CN110570474B (zh) 一种深度相机的位姿估计方法及***
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及***
Giubilato et al. Scale correct monocular visual odometry using a lidar altimeter
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与***
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN105205859B (zh) 一种基于三维栅格地图的环境特征的相似性度量方法
CN112308917A (zh) 一种基于视觉的移动机器人定位方法
CN111862146A (zh) 一种目标对象的定位方法及装置
CN115761265A (zh) 一种用于提取激光雷达点云中变电站设备的方法及装置
CN111768437B (zh) 一种用于矿井巡检机器人的图像立体匹配方法及装置
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
Pedra et al. Camera calibration using detection and neural networks
Li et al. Outdoor long-range target positioning based on multi-monocular vision fusion
CN113203407B (zh) 基于关键平面的视觉惯性里程计方法
Tan et al. 3D Reconstruction for Thermal Infrared Images of Substation Equipment Based on Visual SLAM and Cascade MVSNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Qiu Bin

Inventor after: Meng Wei

Inventor after: Lu Renquan

Inventor after: Cai Qianqian

Inventor before: Qiu Bin

Inventor before: Meng Wei

Inventor before: Lu Renquan

Inventor before: Fu Minyue

Inventor before: Cai Qianqian

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200421