CN111275764B - 基于线段阴影的深度相机视觉里程测量方法 - Google Patents

基于线段阴影的深度相机视觉里程测量方法 Download PDF

Info

Publication number
CN111275764B
CN111275764B CN202010089290.7A CN202010089290A CN111275764B CN 111275764 B CN111275764 B CN 111275764B CN 202010089290 A CN202010089290 A CN 202010089290A CN 111275764 B CN111275764 B CN 111275764B
Authority
CN
China
Prior art keywords
plane
line
plucker
follows
constraint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010089290.7A
Other languages
English (en)
Other versions
CN111275764A (zh
Inventor
苑晶
周光召
孙沁璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202010089290.7A priority Critical patent/CN111275764B/zh
Publication of CN111275764A publication Critical patent/CN111275764A/zh
Application granted granted Critical
Publication of CN111275764B publication Critical patent/CN111275764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于移动机器人自主定位与导航领域，为提出一种基于直线阴影的RGB‑D视觉里程计方法，通过平面约束遮挡线和被遮挡点线的几何关系，构建最小重投影误差方程，通过非线性优化求解位姿。为此，本发明采取的技术方案是，基于线段阴影的深度相机视觉里程测量方法，首先提取图像中的平面和线段结构并进行参数拟合，在普朗克(Plücker)坐标系下定义方线段和平面的表示方式；使用平面π、遮挡线L和平面πL进行位姿估计；最后通过被遮挡线匹配约束提高位姿估计的精度。本发明主要应用于移动机器人自主定位与导航场合。

Description

基于线段阴影的深度相机视觉里程测量方法
技术领域
本发明属于移动机器人自主定位与导航领域，特别是关于深度相机RGB-D的视觉里程计方法。
背景技术
视觉里程计是通过输入图像序列增量地估计与视觉传感器固定感知的人或物的运动轨迹方法。相比于传统的惯导和轮式里程计，视觉里程计克服了惯导漂移和轮胎打滑的测量误差问题，且视觉传感器有功耗小，价格便宜，采集的信息丰富等优点，视觉里程计在移动机器人定位和导航领域得到了广泛地关注和应用。
目前，视觉里程计的方法主要有特征点法、直接法。特征点法的主要通过图像的特征点提取，特征点匹配，构建最小化重投影误差，使用非线性优化估计帧间位姿。特征点法是传统的视觉里程计方法，并已经有了较多成功的应用实例，但是也存在一些问题。特征点法的特征点提取和匹配步骤存在比较耗时和有误匹配的问题，且获取的特征点较为稀疏，无法实现地图复用，当图像有运动模糊、低光照、重复纹理或缺少纹理等情况时，特征点法的准确性会受到较大影响。鉴于特征点法的问题，研究者提出了直接对齐两帧图片的像素亮度值的直接法和半直接法，直接法通过最小化光度误差来估计两帧间的位姿。相比于特征点法，直接法不再需要提取和匹配特征点，而是基于两帧图片对应像素点的亮度值不变的假设，通过相机模型直接使用像素点的值构造光度误差，并最小化光度误差估计位姿参数。稠密的直接法会使用图片上所有像素点来计算光度误差，计算量是巨大的，一般视觉里程计中的直接法是半稠密的，也就是只使用有一定梯度信息的像素点来计算光度误差，可以保持位姿估计的相对准确性的同时让直接法具备了的实时性。直接法在相机运动不剧烈时能得到鲁棒而准确的位姿估计结果，且因较为充分地利用整个图像信息，增加了算法对运动模糊，重复纹理和缺少纹理的鲁棒性。直接法的主要缺点为，进行对齐的两帧图像需要符合亮度不变的假设，图片亮度差异程度决定了直接法的估计结果的准确性。较小的亮度差异下直接法仍能工作，较大的亮度差异下直接法会得到错误的位姿估计。
视觉里程计所使用的视觉传感器一般是单目相机，双目相机或RGB-D相机，无论使用这三种相机中的哪一种，都可以基于特征点法或直接法实现视觉里程计。基于纯单目相机的视觉里程计方法较为复杂，在位姿估计的同时还需要重建三维的地图点，且估计得到的位姿和三维点没有绝对尺度，容易出现尺度漂移，需要较好的初始化。双目相机可通过双目立体匹配得到图像场景中像素点的深度值，图像处理工作量大，在昏暗或纹理特征不明显的环境不适用。RGB-D相机能同时获取场景的彩色图像和深度图像，深度图像通过红外结构光或飞行时间法的硬件结构获取，因易受日光影响多数在室内使用，且深度测量的范围受限。基于已有深度的视觉里程计能估计得到含有绝对尺度的运动轨迹，一般没有尺度漂移，位姿估计结果更准确。
发明内容
为克服现有技术的不足，本发明旨在提出一种基于直线阴影的RGB-D视觉里程计方法，通过平面约束遮挡线和被遮挡点线的几何关系，构建最小重投影误差方程，通过非线性优化求解位姿。为此，本发明采取的技术方案是，基于线段阴影的深度相机视觉里程测量方法，首先提取图像中的平面和线段结构并进行参数拟合，在普朗克(Plücker)坐标系下定义方线段和平面的表示方式；使用平面π、遮挡线L和平面πL进行位姿估计；最后通过被遮挡线匹配约束提高位姿估计的精度。
具体步骤如下：
S1.通过深度相机RGB-D传感器获取环境的彩色和深度图像信息，使用彩色和深度信息提取图像中的平面和直线结构，直线包含遮挡处和被遮挡处的点；
S2.定义三维空间直线L的Plücker坐标表达式，如下：
L＝[uT，vT]T
其中向量u∈R3垂直解析平面πL，由原点O和直线L构成，向量v∈R3表示直线L的方向向量，并且L满足Plücker约束：
uTv＝0
L的Plücker矩阵定义为：
Figure BDA0002383176350000021
原点与遮挡线构成的平面πL定义为：
Figure BDA0002383176350000022
其中
Figure BDA0002383176350000023
为原点的齐次坐标，L*为L的对偶Plücker矩阵，计算方法如下：
Figure BDA0002383176350000024
S3.定义约束平面π＝[nT，d]T上被遮挡点构成的直线表达式Lπ的Plücker矩阵如下：
Lπ＝[-duT，(u×n)T]T   (4)
其中nT表示平面法向量，d表示平面到原点的距离，Lπ的对偶Plücker矩阵为：
Figure BDA0002383176350000025
S4.使用平面π和遮挡线L进行位姿估计，右上角标c和r分别表示当前帧和参考帧，平面的刚体变换Tcr(π)表达式为：
Figure BDA0002383176350000026
遮挡线的刚体变换Tcr(L)为：
Figure BDA0002383176350000027
为了求解位姿，定义重投影误差函数：
Figure BDA0002383176350000028
其中
Figure BDA0002383176350000031
Figure BDA0002383176350000032
通过最小化(9)式可求得旋转变量Rcr，最小化(10)式求得位移变量tcr；
S5.通过被遮挡线匹配进一步优化位姿，参考帧相对于当前帧的原点坐标为
Figure BDA0002383176350000033
参考帧坐标系下的平面
Figure BDA0002383176350000034
由遮挡线Lc和参考帧的原点
Figure BDA0002383176350000035
构成，计算方式如下：
Figure BDA0002383176350000036
被遮挡线由约束平面π和平面
Figure BDA0002383176350000037
相交所得，其对偶Plücker矩阵如下：
Figure BDA0002383176350000038
其中
Figure BDA0002383176350000039
Figure BDA00023831763500000310
参考帧的遮挡线、被遮挡线和约束平面的观测分别表示为：Lr，
Figure BDA00023831763500000311
πr，通过匹配当前帧与参考帧被遮挡线
Figure BDA00023831763500000312
精化上文求得的Rcr，tcr值，如果Rcr，tcr正确收敛，且满足πc＝Tcr(πr)，Lc＝Tcr(Lr)，则
Figure BDA00023831763500000313
与
Figure BDA00023831763500000314
是匹配的，定义新的目标函数：
Figure BDA00023831763500000315
通过最小化(15)式求得最终的旋转和平移矩阵。
本发明的特点及有益效果是：
1)提出一种最新的RGB-D视觉里程计算法，通过图像中的平面约束平面和遮挡线，构建几何关系求解位姿，不同于传统的基于平面和线段特征匹配的里程计方法，本发明更高效。
2)融合被遮挡线的投影关系，进一步优化位姿，提高了算法的准确性，并通过平面的约束关系，避免错误的线段特征匹配，增加了算法的鲁棒性。
附图说明：
图1基于线段阴影的RGB-D视觉里程计说明图。
A：空间直线阴影模型，子图B：遮挡线运动估计模型子图C：被遮挡线匹配模型。
具体实施方式
本发明采用的技术方案为：一种基于直线阴影的RGB-D视觉里程计方法，其中，包括以下步骤：
S1.通过RGB-D传感器获取环境的彩色和深度图像信息，使用彩色和深度信息提取图像中的平面和直线结构，直线包含遮挡处和被遮挡处的点。
S2.定义三维空间直线L的Plücker坐标表达式，如下：
L＝[uT，vT]T
其中向量u∈R3垂直解析平面πL，(由原点O和直线L构成)，向量v∈R3表示直线L的方向向量，并且L满足Plücker约束：
uTv＝0
L的Plücker矩阵定义为：
Figure BDA0002383176350000041
原点与遮挡线构成的平面πL定义为：
Figure BDA0002383176350000042
其中
Figure BDA0002383176350000043
为原点的齐次坐标，L*为L的对偶Plücker矩阵，计算方法如下：
Figure BDA0002383176350000044
S3.定义约束平面π＝[nT，d]T上被遮挡点构成的直线表达式Lπ的Plücker矩阵如下：
Lπ＝[-duT，(u×n)T]T   (4)
其中nT表示平面法向量，d表示平面到原点的距离，Lπ的对偶Plücker矩阵为：
Figure BDA0002383176350000045
S4.使用平面π和遮挡线L进行位姿估计。右上角标c和r分别表示当前帧和参考帧，平面的刚体变换Tcr(π)表达式为：
Figure BDA0002383176350000046
遮挡线的刚体变换Tcr(L)为：
Figure BDA0002383176350000047
为了求解位姿，定义重投影误差函数：
Figure BDA0002383176350000048
其中
Figure BDA0002383176350000049
Figure BDA00023831763500000410
通过最小化(9)式可求得旋转变量Rcr，最小化(10)式求得位移变量tcr。
S5.通过被遮挡线匹配进一步优化位姿。参考帧相对于当前帧的原点坐标为
Figure BDA00023831763500000411
参考帧坐标系下的平面
Figure BDA00023831763500000412
由遮挡线Lc和参考帧的原点
Figure BDA00023831763500000413
构成，计算方式如下：
Figure BDA00023831763500000414
被遮挡线由约束平面π和平面
Figure BDA00023831763500000415
相交所得，其对偶Plücker矩阵如下：
Figure BDA00023831763500000416
其中
Figure BDA00023831763500000417
Figure BDA00023831763500000418
参考帧的遮挡线、被遮挡线和约束平面的观测分别表示为：Lr，
Figure BDA00023831763500000419
πr，通过匹配当前帧与参考帧被遮挡线
Figure BDA0002383176350000051
精化上文求得的Rcr，tcr值。如果Rcr，tcr正确收敛，且满足πc＝Tcr(πr)，Lc＝Tcr(Lr)，则
Figure BDA0002383176350000052
与
Figure BDA0002383176350000053
是匹配的，定义新的目标函数：
Figure BDA0002383176350000054
通过最小化(15)式求得最终的旋转和平移矩阵。
下面结合附图和具体实例进一步详细说明本发明。
下面结合附图对本发明的具体实施方案做进一步的描述：第一步，首先使用现有算法提取图像中的平面和线段结构并进行参数拟合，在Plücker坐标系下定义方线段和平面的表示方式，图1中子图A中遮挡线L表示如下：
L＝[uT，vT]T
其中向量u∈R3垂直平面πL(由原点O和直线L构成)，向量v∈R3表示直线L的方向向量，并且L满足Plücker约束：
uTv＝0
L的Plücker矩阵定义为：
Figure BDA0002383176350000055
平面πL定义为：
Figure BDA0002383176350000056
其中
Figure BDA0002383176350000057
为原点的齐次坐标，L*为L的对偶Plücker矩阵，计算方法如下：
Figure BDA0002383176350000058
然后定义约束平面π＝[nT，d]T上被遮挡点构成的直线表达式Lπ的Plücker矩阵如下：
Lπ＝[-duT，(u×n)T]T
其中nT表示平面法向量，d表示平面到原点的距离，Lπ的对偶Plücker矩阵为：
Figure BDA0002383176350000059
第二步，使用平面π、遮挡线L和平面πL进行位姿估计，如子图B中，在当前坐标系下定义各个变量的表示方式：
Figure BDA00023831763500000510
和
Figure BDA00023831763500000511
分别表示参考帧和当前帧的原点坐标，Lc表示遮挡线，πc表示约束平面，
Figure BDA00023831763500000512
和
Figure BDA00023831763500000513
表示原点与遮挡线构成的平面，πc为约束平面，右上角标c和r分别表示当前帧和参考帧，平面π的刚体变换Tcr(π)表达式为：
Figure BDA00023831763500000514
遮挡线L的刚体变换Tcr(L)为：
Figure BDA00023831763500000515
定义目标函数，表示两帧之间约束平面和遮挡线的重投影误差，计算方式如下：
Figure BDA00023831763500000516
其中
Figure BDA0002383176350000061
Figure BDA0002383176350000062
通过最小化E1(Rcr)可求得旋转变量Rcr，最小化E2(Rcr，tcr)求得位移变量tcr。
最后一步，通过被遮挡线匹配约束提高位姿估计的精度。子图C中参考帧相对于当前帧的原点坐标为
Figure BDA0002383176350000063
参考帧坐标系下的解析平面
Figure BDA0002383176350000064
由遮挡线Lc和参考帧的原点
Figure BDA0002383176350000065
构成，计算方式如下：
Figure BDA0002383176350000066
被遮挡线
Figure BDA0002383176350000067
由约束平面π和平面
Figure BDA0002383176350000068
相交所得，其对偶Plücker矩阵如下：
Figure BDA0002383176350000069
其中
Figure BDA00023831763500000610
Figure BDA00023831763500000611
参考帧的遮挡线、被遮挡线和约束平面的观测分别表示为：Lr，
Figure BDA00023831763500000612
πr，通过匹配当前帧与参考帧的被遮挡线
Figure BDA00023831763500000613
陇化Rcr，tcr的值。如果Rcr，tcr正确收敛，且满足πc＝Tcr(πr)，Lc＝Tcr(Lr)，则
Figure BDA00023831763500000614
与
Figure BDA00023831763500000615
是正确匹配，子图C中橙色部分表示通过位姿Tcr变换后的线段或平面，得到新的重投影误差函数如下：
Figure BDA00023831763500000616
通过最小化F(Rcr，tcr)求得最终的旋转和平移矩阵。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于线段阴影的深度相机视觉里程测量方法，其特征是，首先提取图像中的平面和线段结构并进行参数拟合，在普朗克Plücker坐标系下定义方线段和平面的表示方式；使用平面π、遮挡线L和平面πL进行位姿估计；最后通过被遮挡线匹配约束提高位姿估计的精度；具体步骤如下：
S1.通过深度相机RGB-D传感器获取环境的彩色和深度图像信息，使用彩色和深度信息提取图像中的平面和直线结构，直线包含遮挡处和被遮挡处的点；
S2.定义三维空间直线L的Plücker坐标表达式，如下：
L＝[uT,vT]T
其中向量u∈R3垂直解析平面πL，由原点O和直线L构成，向量v∈R3表示直线L的方向向量，并且L满足Plücker约束：
uTv＝0
L的Plücker矩阵定义为：
Figure FDA0003803958320000011
原点与遮挡线构成的平面πL定义为：
Figure FDA0003803958320000012
其中
Figure FDA0003803958320000013
为原点的齐次坐标，L*为L的对偶Plücker矩阵，计算方法如下：
Figure FDA0003803958320000014
S3.定义约束平面π＝[nT,d]T上被遮挡点构成的直线表达式Lπ的Plücker矩阵如下：
Lπ＝[-duT,(u×n)T]T    (4)
其中nT表示平面法向量，d表示平面到原点的距离，Lπ的对偶Plücker矩阵为：
Figure FDA0003803958320000015
S4.使用平面π和遮挡线L进行位姿估计，右上角标c和r分别表示当前帧和参考帧，平面的刚体变换Tcr(π)表达式为：
Figure FDA0003803958320000016
遮挡线的刚体变换Tcr(L)为：
Figure FDA0003803958320000017
为了求解位姿，定义重投影误差函数：
Figure FDA0003803958320000018
其中
Figure FDA0003803958320000019
Figure FDA00038039583200000110
通过最小化(9)式可求得旋转变量Rcr，最小化(10)式求得位移变量tcr；
S5.通过被遮挡线匹配进一步优化位姿，参考帧相对于当前帧的原点坐标为
Figure FDA00038039583200000111
参考帧坐标系下的平面
Figure FDA0003803958320000021
由遮挡线Lc和参考帧的原点
Figure FDA0003803958320000022
构成，计算方式如下：
Figure FDA0003803958320000023
被遮挡线由约束平面π和平面
Figure FDA0003803958320000024
相交所得，其对偶Plücker矩阵如下：
Figure FDA0003803958320000025
其中
Figure FDA0003803958320000026
Figure FDA0003803958320000027
参考帧的遮挡线、被遮挡线和约束平面的观测分别表示为：Lr,
Figure FDA0003803958320000028
πr，通过匹配当前帧与参考帧被遮挡线
Figure FDA0003803958320000029
精化上文求得的Rcr,tcr值，如果Rcr,tcr正确收敛，且满足πc＝Tcr(πr),Lc＝Tcr(Lr)，则
Figure FDA00038039583200000210
与
Figure FDA00038039583200000211
是匹配的，定义新的目标函数：
Figure FDA00038039583200000212
通过最小化(15)式求得最终的旋转和平移矩阵。
CN202010089290.7A 2020-02-12 2020-02-12 基于线段阴影的深度相机视觉里程测量方法 Active CN111275764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010089290.7A CN111275764B (zh) 2020-02-12 2020-02-12 基于线段阴影的深度相机视觉里程测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010089290.7A CN111275764B (zh) 2020-02-12 2020-02-12 基于线段阴影的深度相机视觉里程测量方法

Publications (2)

Publication Number Publication Date
CN111275764A CN111275764A (zh) 2020-06-12
CN111275764B true CN111275764B (zh) 2023-05-16

Family

ID=71002047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010089290.7A Active CN111275764B (zh) 2020-02-12 2020-02-12 基于线段阴影的深度相机视觉里程测量方法

Country Status (1)

Country Link
CN (1) CN111275764B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113790719B (zh) * 2021-08-13 2023-09-12 北京自动化控制设备研究所 一种基于线特征的无人机惯性/视觉着陆导航方法
WO2024018605A1 (ja) * 2022-07-21 2024-01-25 株式会社ソニー・インタラクティブエンタテインメント 画像情報処理装置、画像情報処理方法、及びプログラム
CN117197229B (zh) * 2023-09-22 2024-04-19 北京科技大学顺德创新学院 一种基于亮度对齐的多阶段估计单目视觉里程计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN109648558A (zh) * 2018-12-26 2019-04-19 清华大学 机器人曲面运动定位方法及其运动定位***
CN110060277A (zh) * 2019-04-30 2019-07-26 哈尔滨理工大学 一种多特征融合的视觉slam方法
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3427008B1 (en) * 2016-03-11 2022-09-07 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN109166149A (zh) * 2018-08-13 2019-01-08 武汉大学 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN109648558A (zh) * 2018-12-26 2019-04-19 清华大学 机器人曲面运动定位方法及其运动定位***
CN110060277A (zh) * 2019-04-30 2019-07-26 哈尔滨理工大学 一种多特征融合的视觉slam方法
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Building a 3-D Line-Based Map Using Stereo SLAM;G. Zhang et al;《Transactions on Robotics》;20151231;第31卷(第6期);第1364-1377页 *
Extrinsic Calibration of Multiple RGB-D Cameras From Line Observations;A. Perez-Yus et al;《Robotics and Automation Letters》;20181231;第3卷(第1期);第273-280页 *
Probabilistic RGB-D odometry based on points, lines and planes under depth uncertainty;Pedro F et al.;《Robotics and Autonomous Systems》;20181231;第104卷;第25-39页 *

Also Published As

Publication number Publication date
CN111275764A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN112902953B (zh) 一种基于slam技术的自主位姿测量方法
CN111275764B (zh) 基于线段阴影的深度相机视觉里程测量方法
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN106780592B (zh) 基于相机运动和图像明暗的Kinect深度重建方法
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
CN107025668B (zh) 一种基于深度相机的视觉里程计的设计方法
CN107945267B (zh) 一种用于人脸三维模型纹理融合的方法和设备
US9613420B2 (en) Method for locating a camera and for 3D reconstruction in a partially known environment
Liu et al. Direct visual odometry for a fisheye-stereo camera
CN110766024B (zh) 基于深度学习的视觉里程计特征点提取方法及视觉里程计
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN107527366B (zh) 一种面向深度相机的相机跟踪方法
CN111932674A (zh) 一种线激光视觉惯性***的优化方法
CN116222543B (zh) 用于机器人环境感知的多传感器融合地图构建方法及***
CN109887029A (zh) 一种基于图像颜色特征的单目视觉里程测量方法
CN102521586A (zh) 一种用于拍照手机的高分辨率三维人脸扫描方法
CN116452752A (zh) 联合单目稠密slam与残差网络的肠壁重建方法
CN112634305B (zh) 一种基于边缘特征匹配的红外视觉里程计实现方法
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN114754768A (zh) 一种点线融合的视觉惯性导航方法
CN110807799B (zh) 一种结合深度图推断的线特征视觉里程计方法
CN112419411A (zh) 一种基于卷积神经网络和光流特征视觉里程计的实现方法
Le Besnerais et al. Dense height map estimation from oblique aerial image sequences
CN112150609A (zh) 一种基于室内实时稠密三维重建技术的vr***
Agouris et al. Automation and digital photogrammetric workstations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant