CN111862120A - 一种单目slam尺度恢复的方法 - Google Patents

一种单目slam尺度恢复的方法 Download PDF

Info

Publication number
CN111862120A
CN111862120A CN202010711561.8A CN202010711561A CN111862120A CN 111862120 A CN111862120 A CN 111862120A CN 202010711561 A CN202010711561 A CN 202010711561A CN 111862120 A CN111862120 A CN 111862120A
Authority
CN
China
Prior art keywords
calibration box
wall
monocular
dimensional map
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010711561.8A
Other languages
English (en)
Other versions
CN111862120B (zh
Inventor
郁树梅
郭文康
孙荣川
干旻峰
孙立宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
First Affiliated Hospital of Suzhou University
Original Assignee
Suzhou University
First Affiliated Hospital of Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University, First Affiliated Hospital of Suzhou University filed Critical Suzhou University
Priority to CN202010711561.8A priority Critical patent/CN111862120B/zh
Publication of CN111862120A publication Critical patent/CN111862120A/zh
Application granted granted Critical
Publication of CN111862120B publication Critical patent/CN111862120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种单目SLAM尺度恢复的方法，包括以下步骤：制作标定盒，所述标定盒上贯穿开设有长方形的通孔；在单目相机的视野处放置标定盒，所述单目相机经所述标定盒的通孔后再对目标物建模；所述单目相机对标定盒的内壁进行图像采集，区域分割出SLAM产生的前几帧关键帧中标定盒内壁的上下面图像；按照SLAM中特征点和三维地图点的对应关系，分别得到标定盒内壁的上下面图像的三维地图点坐标；以两平面平行为约束条件拟合所述标定盒内壁的上下面的三维地图点坐标，计算获得三维地图中标定盒内壁的上下面的距离；计算尺度因子；使用尺度因子F恢复整个三维地图尺度。其能够自动的恢复人体肠道环境下单目SLAM的尺度，效果好，精度高。

Description

一种单目SLAM尺度恢复的方法
技术领域
本发明涉及手术机器人导航技术领域，具体涉及一种单目SLAM尺度恢复的方法。
背景技术
在单目相机拍摄照片过程中，仅靠单张照片是无法知道拍摄物体到相机的实际距离的，在单目视觉SLAM中通过三角测量相邻关键帧中已匹配的特征点来求解拍摄物体到相机的距离，测量出来的距离只是一个数值，没有任何单位，尺度具有不确定性，因此只是恢复了物体的结构框架，而不是实际意义的物体尺寸。
目前在大场景环境中主要附加其他传感器来恢复尺度，如组合IMU、GPS和激光雷达等；利用附加传感器提供的尺度信息能较高精度恢复绝对尺度，由于传感器尺寸的限制，此类方法无法用于肠道环境。基于腹腔镜镜重建腹腔场景三维结构的方法在腹腔处放置有刻度的标定尺，手动的进行尺度恢复，但在实际手术操作中很不方便；还有一些重建内镜场景的方案最终都没有恢复场景的尺度信息。
发明内容
本发明要解决的技术问题是提供一种单目SLAM尺度恢复的方法，其能够解决人体肠道环境中的单目SLAM尺度不确定问题。
为了解决上述技术问题，本发明提供了一种单目SLAM尺度恢复的方法，包括以下步骤：
S1、制作标定盒，所述标定盒上贯穿开设有长方形的通孔，所述通孔的孔壁的上下面距离为di′；
S2、在单目相机的视野处放置标定盒，所述单目相机经所述标定盒的通孔后再对目标物建模；
S3、所述单目相机对标定盒的内壁进行图像采集，区域分割出SLAM产生的前几帧关键帧中标定盒内壁的上下面图像；
S4、按照SLAM中特征点和三维地图点的对应关系，分别得到标定盒内壁的上下面图像的三维地图点坐标；
S5、以两平面平行为约束条件拟合所述标定盒内壁的上下面的三维地图点坐标，计算获得三维地图中标定盒内壁的上下面的距离di；
S6、根据di'和di计算尺度因子F；
S7、使用尺度因子F恢复整个三维地图尺度。
作为优选的，所述S3中区域分割以标定盒内壁四条棱线为边界。
作为优选的，所述以标定盒内壁四条棱线为边界，具体包括：
检测前几帧关键帧的边缘信息；
获所述边缘信息中的直线边缘；
将同一条棱线上的多条直线首尾连接以合并。
作为优选的，通过canny算子、Roberts算子、Prewitt算子或Sobel算子检测前几帧关键帧的边缘信息。
作为优选的，所述获所述边缘信息中的直线边缘，具体包括：
利用hough直线检测算法或Freeman直线检测算法获取边缘信息中的直线边缘，同时设置阀值将短直线边缘滤除。
作为优选的，所述S3中，所述关键帧图像为前五帧。
作为优选的，所述S5具体包括：
令所述标定盒内壁的上下面的三维地图点坐标为：
Figure BDA0002596729110000031
其中，A、B、C、d1为上平面参数，A、B、C、d2为下平面的参数；
假设拟合上平面的空间坐标点坐标为(xi,yi,zi)，拟合下平面的空间坐标点坐标为(xj,yj,zj)，最小二乘的目标函数为：
Figure BDA0002596729110000032
求得A、B、C、d1和d2，获得两平面之间的距离
Figure BDA0002596729110000033
作为优选的，所述S6具体包括：F＝di′/di
作为优选的，所述S7具体包括，将单目SLAM构建的所有三维地图点坐标乘以尺度因子F。
本发明的有益效果：
本发明利用一个标定盒辅助来自动的恢复人体肠道环境下单目SLAM的尺度，效果好，精度高，适用狭小环境，该方法可以解决在狭窄的人体腔道环境中恢复单目SLAM的尺度困难的问题。
附图说明
图1为本发明的流程图；
图2为标定盒外部结构；
图3为标定盒的内部场景；
图4为为模拟实验场景；。
图5为canny算子对SLAM一帧关键帧提取的轮廓；
图6为Hough检测到的直线段；
图7为区域分割得到的标定盒上下两个面；
图8为恢复尺度之后的SLAM稀疏特征点地图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
在ORB-SLAM2中将第一帧产生的地图点深度的中值作为单位尺寸1来完成地图尺寸的初始化。想要恢复尺度，就必须事先知道真实场景中的部分物体的尺寸(有单位信息)以及它们在地图中所对应的尺寸(无单位信息)，计算出尺度因子，从而恢复场景中所有物体的尺度信息。
参照图1所示，本发明公开了一种单目SLAM尺度恢复的方法，包括以下步骤：
S1、制作标定盒，所述标定盒上贯穿开设有长方形的通孔，所述通孔的孔壁的上下面距离为di′。
如图2所示和图3，标定盒内壁带有特征，标定盒前后面为正方形且不封闭的长方体的标定盒，外部尺寸为250mm*51mm*51mm，内部尺寸为250mm*42mm*42mm。
S2、在单目相机的视野处放置标定盒，所述单目相机经所述标定盒的通孔后再对目标物建模。本实施例中，可将标定盒放置在肠道入口前端，单目相机经过标定盒之后再进入肠道进行肠道建模。单目相机可为内窥镜。
S3、所述单目相机对标定盒的内壁进行图像采集，区域分割出SLAM产生的前几帧关键帧中标定盒内壁的上下面图像，此处优选前五帧关键帧，原因在于，若少于五帧，会导致产生的地图点数目少，增大误差，超过五帧之后内窥镜会采集到肠道的场景，不利于区域分割。
所述S3中区域分割以标定盒内壁四条棱线为边界，具体包括：
通过canny算子、Roberts算子、Prewitt算子或Sobe l算子检测前几帧关键帧的边缘信息；
利用hough直线检测算法或Freeman直线检测算法获取边缘信息中的直线边缘，同时设置阀值将短直线边缘滤除；
根据四条棱线的坐标范围将一条棱线上检测出的多条直线首尾连接进行合并。
如图4所示，为实验场景，标定盒放置在肠道入口前端，内窥镜经过标定盒之后再进入肠道进行肠道建模。
如图6所示，为利用Hough检测到的直线段。在检测过程中设置长度阀值，去除长度较短的直线段。
如图7所示，为区域分割得到的标定盒上下两个面，蓝色线为区域分割的边界。利用hough检测出的直线段根据坐标范围分割出上下平面。
S4、按照SLAM中特征点和三维地图点的对应索引关系，分别得到标定盒内壁的上下面图像的三维地图点坐标；
S5、以两平面平行为约束条件拟合所述标定盒内壁的上下面的三维地图点坐标，计算获得三维地图中标定盒内壁的上下面的距离di，具体包括：
令所述标定盒内壁的上下面的三维地图点坐标为：
Figure BDA0002596729110000061
其中，A、B、C、d1为上平面参数，A、B、C、d2为下平面的参数；
假设拟合上平面的空间坐标点坐标为(xi,yi,zi)，拟合下平面的空间坐标点坐标为(xj,yj,zj)，最小二乘的目标函数为：
Figure BDA0002596729110000062
求得A、B、C、d1和d2，获得两平面之间的距离
Figure BDA0002596729110000063
S6、根据di'和di计算尺度因子F，F＝di'/di；
S7、使用尺度因子F恢复整个三维地图尺度，即可将单目SLAM构建的所有三维地图点坐标乘以尺度因子F。
如图8所示，为恢复尺度之后的SLAM稀疏特征点地图。单位为cm。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种单目SLAM尺度恢复的方法，其特征在于，包括以下步骤：
S1、制作标定盒，所述标定盒上贯穿开设有长方形的通孔，所述通孔的孔壁的上下面距离为di’；
S2、在单目相机的视野处放置标定盒，所述单目相机经所述标定盒的通孔后再对目标物建模；
S3、所述单目相机对标定盒的内壁进行图像采集，区域分割出SLAM产生的前几帧关键帧中标定盒内壁的上下面图像；
S4、按照SLAM中特征点和三维地图点的对应关系，分别得到标定盒内壁的上下面图像的三维地图点坐标；
S5、以两平面平行为约束条件拟合所述标定盒内壁的上下面的三维地图点坐标，计算获得三维地图中标定盒内壁的上下面的距离di；
S6、根据di'和di计算尺度因子F；
S7、使用尺度因子F恢复整个三维地图尺度。
2.如权利要求1所述的单目SLAM尺度恢复的方法，其特征在于，所述S3中区域分割以标定盒内壁四条棱线为边界。
3.如权利要求2所述的单目SLAM尺度恢复的方法，其特征在于，所述以标定盒内壁四条棱线为边界，具体包括：
检测前几帧关键帧的边缘信息；
获所述边缘信息中的直线边缘；
将同一条棱线上的多条直线首尾连接以合并。
4.如权利要求3所述的单目SLAM尺度恢复的方法，其特征在于，通过canny算子、Roberts算子、Prewitt算子或Sobel算子检测前几帧关键帧的边缘信息。
5.如权利要求3所述的单目SLAM尺度恢复的方法，其特征在于，所述获所述边缘信息中的直线边缘，具体包括：
利用hough直线检测算法或Freeman直线检测算法获取边缘信息中的直线边缘，同时设置阀值将短直线边缘滤除。
6.如权利要求1所述的单目SLAM尺度恢复的方法，其特征在于，所述S3中，所述关键帧图像为前五帧。
7.如权利要求1所述的单目SLAM尺度恢复的方法，其特征在于，所述S5具体包括：
令所述标定盒内壁的上下面的三维地图点坐标为：
Figure FDA0002596729100000021
其中，A、B、C、d1为上平面参数，A、B、C、d2为下平面的参数；
假设拟合上平面的空间坐标点坐标为(xi,yi,zi)，拟合下平面的空间坐标点坐标为(xj,yj,zj)，最小二乘的目标函数为：
Figure FDA0002596729100000022
求得A、B、C、d1和d2，获得两平面之间的距离
Figure FDA0002596729100000023
8.如权利要求1所述的单目SLAM尺度恢复的方法，其特征在于，所述S6具体包括：F＝di’/di
9.如权利要求1所述的单目SLAM尺度恢复的方法，其特征在于，所述S7具体包括，将单目SLAM构建的所有三维地图点坐标乘以尺度因子F。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至9任一项所述的方法。
CN202010711561.8A 2020-07-22 2020-07-22 一种单目slam尺度恢复的方法 Active CN111862120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010711561.8A CN111862120B (zh) 2020-07-22 2020-07-22 一种单目slam尺度恢复的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010711561.8A CN111862120B (zh) 2020-07-22 2020-07-22 一种单目slam尺度恢复的方法

Publications (2)

Publication Number Publication Date
CN111862120A true CN111862120A (zh) 2020-10-30
CN111862120B CN111862120B (zh) 2023-07-11

Family

ID=72949208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010711561.8A Active CN111862120B (zh) 2020-07-22 2020-07-22 一种单目slam尺度恢复的方法

Country Status (1)

Country Link
CN (1) CN111862120B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348869A (zh) * 2020-11-17 2021-02-09 的卢技术有限公司 通过检测和标定恢复单目slam尺度的方法
CN113779012A (zh) * 2021-09-16 2021-12-10 中国电子科技集团公司第五十四研究所 一种用于无人机的单目视觉slam尺度恢复方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803270A (zh) * 2017-01-13 2017-06-06 西北工业大学深圳研究院 无人机平台基于单目slam的多关键帧协同地面目标定位方法
CN106920279A (zh) * 2017-03-07 2017-07-04 百度在线网络技术（北京）有限公司 三维地图构建方法和装置
CN108090954A (zh) * 2017-12-15 2018-05-29 南方医科大学南方医院 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN110533587A (zh) * 2019-07-03 2019-12-03 浙江工业大学 一种基于视觉先验信息和地图恢复的slam方法
CN111028280A (zh) * 2019-12-09 2020-04-17 西安交通大学 井字结构光相机***及进行目标有尺度三维重建的方法
CN111141295A (zh) * 2019-12-20 2020-05-12 南京航空航天大学 一种基于单目orb-slam的自动化地图恢复方法
CN111145238A (zh) * 2019-12-12 2020-05-12 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN111402429A (zh) * 2020-06-08 2020-07-10 成都索贝数码科技股份有限公司 一种尺度还原、三维重建方法、***、存储介质及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803270A (zh) * 2017-01-13 2017-06-06 西北工业大学深圳研究院 无人机平台基于单目slam的多关键帧协同地面目标定位方法
CN106920279A (zh) * 2017-03-07 2017-07-04 百度在线网络技术（北京）有限公司 三维地图构建方法和装置
CN108090954A (zh) * 2017-12-15 2018-05-29 南方医科大学南方医院 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN110533587A (zh) * 2019-07-03 2019-12-03 浙江工业大学 一种基于视觉先验信息和地图恢复的slam方法
CN111028280A (zh) * 2019-12-09 2020-04-17 西安交通大学 井字结构光相机***及进行目标有尺度三维重建的方法
CN111145238A (zh) * 2019-12-12 2020-05-12 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN111141295A (zh) * 2019-12-20 2020-05-12 南京航空航天大学 一种基于单目orb-slam的自动化地图恢复方法
CN111402429A (zh) * 2020-06-08 2020-07-10 成都索贝数码科技股份有限公司 一种尺度还原、三维重建方法、***、存储介质及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348869A (zh) * 2020-11-17 2021-02-09 的卢技术有限公司 通过检测和标定恢复单目slam尺度的方法
CN113779012A (zh) * 2021-09-16 2021-12-10 中国电子科技集团公司第五十四研究所 一种用于无人机的单目视觉slam尺度恢复方法
CN113779012B (zh) * 2021-09-16 2023-03-07 中国电子科技集团公司第五十四研究所 一种用于无人机的单目视觉slam尺度恢复方法

Also Published As

Publication number Publication date
CN111862120B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN108717712B (zh) 一种基于地平面假设的视觉惯导slam方法
CN110264567B (zh) 一种基于标记点的实时三维建模方法
CN111563921B (zh) 一种基于双目相机的水下点云获取方法
CN103714571B (zh) 一种基于摄影测量的单像机三维重建方法
Tamas et al. Targetless calibration of a lidar-perspective camera pair
CN113436260A (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和***
WO2018227576A1 (zh) 地面形态检测方法及***、无人机降落方法和无人机
CN111260773A (zh) 小障碍物的三维重建方法、检测方法及检测***
CN111862120B (zh) 一种单目slam尺度恢复的方法
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
CN111260715A (zh) 深度图的处理方法、小障碍物检测方法及***
JP2006252275A (ja) カメラ運動及び物体形状の復元システム
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
CN109493378B (zh) 一种基于单目视觉与双目视觉相结合的垂直度检测方法
Kannala et al. Measuring and modelling sewer pipes from video
CN113345084B (zh) 三维建模***及三维建模方法
CN114494582A (zh) 一种基于视觉感知的三维模型动态更新方法
Paudel et al. 2D-3D camera fusion for visual odometry in outdoor environments
Siddique et al. 3d object localization using 2d estimates for computer vision applications
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
WO2012116350A2 (en) Figure-ground organization of 3-d scenes
Arslan 3D object reconstruction from a single image
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
Aliakbarpour et al. Geometric exploration of virtual planes in a fusion-based 3D data registration framework
Förstner et al. Automatic orientation and recognition in highly structured scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant