CN108406731B - 一种基于深度视觉的定位装置、方法及机器人 - Google Patents
一种基于深度视觉的定位装置、方法及机器人 Download PDFInfo
- Publication number
- CN108406731B CN108406731B CN201810572514.2A CN201810572514A CN108406731B CN 108406731 B CN108406731 B CN 108406731B CN 201810572514 A CN201810572514 A CN 201810572514A CN 108406731 B CN108406731 B CN 108406731B
- Authority
- CN
- China
- Prior art keywords
- landmark
- image
- depth
- positioning device
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 238000006073 displacement reaction Methods 0.000 abstract 1
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001417527 Pempheridae Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012367 process mapping Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于深度视觉的定位装置、定位方法及机器人，该定位装置是一种可移动的视觉定位装置，包括：后置图像采集模块，用于采集地标图像以实现定位；深度识别模块，用于识别地面及地面上的物体；图像处理模块，包括图像预处理子模块和特征匹配子模块，用于处理后置图像采集模块和深度识别模块输入的图像信息；惯性处理模块，用于实时感应惯性传感器的位移信息；融合定位模块，用于对各传感器模块所获取的环境信息进行融合以实现定位。相对于现有技术，装设于前部分的3维深度传感器实时为面向后倾斜的摄像头提供新的地标信息以配合完成定位，使得定位导航过程中计算资源减少，提高同步定位效率。
Description
技术领域
本发明涉及定位方法和装置，具体涉及一种基于深度视觉的定位装置、定位方法及机器人。
背景技术
三维(3D)深度捕获***将传统的摄像扩展到第三个维度。虽然从传统的摄像机获得的2D图像指示在每个(x，y)像素处的颜色和亮度，从3D深度传感器获得的3D点云指示到每个(x，y)像素处的物体表面的距离(z)。这样，3D传感器提供第三个空间维度z的测量。3D***直接获取深度信息而不是依靠视角、相对尺寸、遮挡、纹理、视差及其它线索来探测深度。直接的(x，y，z)数据对图像数据的计算机解读是特别有用的。例如，将深度摄像头采集的三维点云数据投影到二维平面获得二维投影数据，从而构建二维栅格地图。
现有视觉扫地机产品中，移动机器人包括在顶部盖之下的嵌入在机器人的主体内的相机导航***。导航***包括捕获周围环境的图像的一个或多个相机 (例如，标准相机、体积点云成像相机、三维(3D)成像相机、具有深度地图传感器的相机、可见光相机和/或红外相机)。移动机器人可以可选地使用各种相机配置中的任何一个来配置，该相机配置包括与在运动方向上对准的向前相机(未示出)组合的倾斜的前相机、以不同角度倾斜的多个面向前相机、立体相机对、具有相邻或部分重叠视野的两个或更多个倾斜相机、和/或以不同角度成角度。使用由移动机器人的导航***中的一个或多个倾斜相机捕获的图像数据执行VSLAM的过程映射环境并且精确地定位移动机器人的位置，然而上述相机的组合和位置分布使得视觉同时定位算法复杂，在导航定位过程中机器人主控的处理器的计算资源消耗较大。
发明内容
一种基于深度视觉的定位装置，该定位装置是一种可移动装置，包括后置图像采集模块、深度识别模块、图像处理模块、惯性处理模块和融合定位模块；
后置图像采集模块，包括定位于所述定位装置顶部表面的尾部开口向后的凹入和/或凸出结构处的摄像头，用于采集地标图像以实现定位；
深度识别模块，包括定位于所述定位装置顶部表面前方的三维深度传感器，该三维深度传感器的光学轴与所述定位装置顶部表面形成一个预设角度，使得该三维深度传感器识别所述定位装置前行方向的地面和/或地面以上的物体；
图像处理模块，包括图像预处理子模块和特征匹配子模块，用于处理后置图像采集模块和深度识别模块输入的图像信息；图像预处理子模块，用于将后置图像采集模块和深度识别模块输入的图像转换为灰度图像；特征匹配子模块，用于对所述灰度图像中的图像特征与地标数据库中的地标图像特征进行特征匹配；其中，所述地标数据库存储着给定地标相关联区域的图像特征及实际场景中空间结构的描述，内置于图像处理模块中；
惯性处理模块，由惯性传感器组成，实时感应所述定位装置的旋转角度信息、加速度信息及平移速度信息，其中所述惯性传感器包括里程计、陀螺仪和加速度计；
融合定位模块，用于根据所述地标数据库与所述输入的图像信息中的匹配结果，将摄像头采集的图像特征信息融合惯性处理模块采集的惯性数据，以修正所述定位装置的当前位置信息；同时将所述三维深度传感器提取的与地标数据库的地标图像相关联特征不匹配的深度图像数据的特征加入地标数据库以成为新的地标。
进一步地，所述三维深度传感器选用3D TOF传感器，或者是基于图像的双目或者多目传感器阵列。
进一步地，所述融合定位模块中，当所述摄像头采集的地标图像特征与所述地标数据库中的地标图像特征匹配成功时，从所述后置图像采集模块得到的相匹配的所述地标图像相关联特征中，获得当前采集图像的地标在地图中的坐标，然后结合小孔成像模型计算所得出的所述定位装置与所述地标的相对位置关系，得到所述定位装置在地图中的坐标，并使用惯性处理模块采集的惯性数据进行融合，以修正所述定位装置的当前位置信息；
当所述摄像头采集的地标图像特征与所述地标数据库中的地标图像特征匹配失败时，在每两帧地标图像之间记录所述惯性数据并进行积分运算得出所述惯性传感器的位姿变化，然后利用所述摄像头的内参计算上一帧地标图像中所述地标的特征点在当前帧地标图像中的坐标，与所述摄像头采集的当前帧地标图像的所述地标的特征点坐标进行对比，从而更新修正得出新的地标并存储在所述地标数据库中，完成新路标的创建；
当所述三维深度传感器采集的深度图像特征与所述地标数据库中的地标图像特征匹配失败时，将采集到的未匹配的深度图像的特征信息加入地标数据库，作为新的地标；
其中，所述地图中的坐标使用世界坐标系。
进一步地，所述深度识别模块，用于通过三维深度传感器获取实际场景中设定距离内地标的深度数据，建立空间立体三维坐标系，其中Z坐标代表每一个像素点的深度值，其中每一个像素值反映实际场景中所述地标到所述三维深度传感器的距离。
一种基于所述定位装置的定位方法，包括如下步骤：
所述三维深度传感器获取所述定位装置向前驱动方向上物体的深度图像，并从深度图像中提取的识别物体图像特征信息；
所述摄像头将采集到的实际场景中地标的目标图像预处理，从该目标图像识别提取地标的特征，然后根据所述目标图像识别的特征点与所述地标的形成的小孔成像模型，计算出所述定位装置相对于所述地标的位置关系；
将所述目标图像和所述深度图像对应的灰度图像特征的描述子与存储在地标数据库中的地标图像相关联特征的描述子进行特征匹配，判断所述目标图像的特征与地标数据库中的地标图像相关联特征是否匹配，同时判断所述深度图像的特征与地标数据库中的地标图像相关联特征是否匹配；
如果所述目标图像的特征与地标数据库中的地标图像相关联特征匹配成功，则从所述后置图像采集模块得到的相匹配的所述地标图像相关联特征中，获得所述地标在地图中的坐标，结合所述计算出所述定位装置相对于所述地标的位置关系，计算出所述定位装置在地图中的坐标，并使用所述惯性数据更新修正，完成所述定位装置的实时定位；
如果所述目标图像的特征与地标数据库中的地标图像相关联特征匹配失败，
在所述摄像头对所述地标连续拍摄的两帧图像之间，记录所述惯性数据并进行积分运算得出所述惯性传感器的位姿变化，再利用所述摄像头的内参计算上一帧图像的所述地标的特征点在当前帧图像中的坐标，并与当前帧图像中所述地标的特征点坐标进行对比，进而对当前帧图像中所述地标的特征点坐标更新修正，从而完成新路标的创建，并存储记录在所述地标数据库中；
如果所述深度图像的特征与地标数据库中的地标图像相关联特征匹配失败，所述三维深度传感器将获取到的未匹配的深度图像的特征信息加入地标数据库，作为新的地标；
其中，所述惯性数据已经过校准滤波处理；所述地标数据库存储着实际场景中给定地标的图像特征点的位置信息及地标的三维点云数据。
进一步地，所述特征匹配过程中使用ORB特征进行匹配。
进一步地，所述深度图像的像素值反映所述定位装置向前驱动方向上的物体与所述三维深度传感器当前位置的距离。
一种机器人，所述机器人是一种装设所述定位装置的移动机器人。
相对于现有技术，本发明在所述定位装置的前部分提供一个的三维深度传感器，用于检测识别所述定位装置向前驱动方向上的物体来判定障碍物距离，并创建新的地标，使得先前未探测的区域信息被获知，从而有利于面向后倾斜的摄像头匹配相关的地标实现定位，其中三维深度传感器不用执行定位过程，减少计算资源，实现所述定位装置同步定位和导航，提高导航效率。
附图说明
图1为本发明实施提供的一种基于深度视觉的定位装置的模块框架图；
图2为本发明实施提供的一种基于深度视觉的定位方法流程图；
图3为本发明实施提供的一种基于深度视觉的机器人***结构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明：
本发明实施例中的一种基于深度视觉的定位装置以机器人的方式来实施，包括扫地机器人、AGV等等移动机器人。下面假设所述定位装置装设在扫地机器人上。然而本领域技术人员将理解的是，除了特别用于移动机器人之外，根据本发明的实施方式的构造能扩展应用于移动终端。
在本发明实施中，本领域技术人员容易知道，在执行vslam的过程中，根据输入图像特征点缓冲成一个小地图，进而计算当前帧与地图之间的位置关系。这里的地图仅是一个临时性的概念，即把各帧特征点缓存到一个地方，构成了特征点的集合，称之为地图。在执行vslam的过程中，摄像头采集的每帧图像为地图贡献一些信息，比如添加新的特征点或更新旧特征点，从而维护一个持续更新的地图。
本发明提供一种基于深度视觉的定位装置，该定位装置是一种可移动装置，如图1所示，包括后置图像采集模块、深度识别模块、图像处理模块、惯性处理模块和融合定位模块。后置图像采集模块，包括定位于所述定位装置顶部表面的尾部开口向后的凹入和/或凸出结构处的摄像头，用于采集地标图像以实现定位，一般情况下该摄像头需要略微突起，保持预设角度才能够获得比较好的视角，因为在本发明实施例中设置有碰撞条和圆柱形的360度红外接收装置，这些容易挡住所述摄像头，导致摄像头保持预设角度才能够获得比较好的视角，所以放置在前部分的摄像头不利于辅助导航定位，但用于物体检测，尤其是对所述定位装置向前驱动方向上的物体进行目标识别分析。
优选地，如图3所示，所述深度识别模块包括三维深度传感器108，定位于所述定位装置顶部表面前部分的三维深度传感器，该三维深度传感器的光学轴与所述定位装置顶部表面形成一个预设角度，使得该三维深度传感器识别所述定位装置前行方向的地面和/或地面以上的物体，从而所述三维深度传感器的视野范围内能够达到地面及地面以上的空间，从而获取地面或地面以上设定距离内地标的深度数据，建立空间立体三维坐标系，其中Z坐标代表每一个像素点的深度值，其中每一个像素点的深度值反映实际场景中所述地标到所述三维深度传感器的距离，从而可以为地标数据库添加向前驱动方向上新识别的地标信息。
具体地，所述三维深度传感器108可以是3D TOF传感器，或者是基于图像的双目或者多目传感器阵列。其中基于图像的双目或者多目传感器阵列适用于双目测量***，而3DTOF传感器是通过入、反射光探测来获取的目标距离获取。
在本发明实施中，所述三维深度传感器以每秒20帧的速度生成深度图像的数据流，并根据所述深度图像创建深度图，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道，深度图的2维表示灰度图像，只是它的每个像素值是传感器距离物体的实际距离，有效物体外表和背景颜色的影响，减少误判情况的发生。利用所述深度图像能够判断障碍物的距离和方位特征，直接获得每一个像素点在空间中的位置，使得所述定位装置不仅引入新的地标，从而实时3D的再现周围环境。其中，在3D计算机图形中，所述深度图像包括普通的RGB三通道彩色图像，通常RGB图像和Depth图像是配准的，因而像素点之间具有一对一的对应关系。
进一步地，所述深度图像还包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每一个像素可表示深度值，诸如以厘米、毫米等计的所捕捉场景中的对象距离捕捉设备的长度或距离。所述深度图像只保留设定距离内的特征点信息，而把设定距离外的特征点丢掉。
具体地，如图3所示，所述摄像头106的光学轴与所述定位装置顶部表面倾斜形成的角度定义为锐角ɑ，一般可以在45度附近，以保证获得真实成像特性的良好近似效果，提高检测地标特征的精度。
如图1所示，图像处理模块，包括图像预处理子模块和特征匹配子模块，用于处理后置图像采集模块和深度识别模块输入的图像信息。其中，图像预处理子模块将所述摄像头和所述三维深度传感器采集的彩色图像数据二进制化，转换为灰度图像以在周围环境内建立可重复识别的唯一地标，完成图像的预处理过程。然后特征匹配子模块从图像预处理子模块预处理的得到的灰度图像中提取出特征点，进而计算出描述子，并与地标数据库中的地标图像相关联特征对应的描述子进行特征匹配；其中，所述输入的图像信息包括所述后置图像采集模块和所述深度识别模块输入的图像信息。
具体地，所述地标数据库为图像处理模块内置的地标数据库，该地标数据库包括给定地标相关联区域的图像特征点和/或特征的三维结构。所述地标数据库包含关于许多先前观察的地标的信息以及所述三维深度传感器获取的未知地标的深度图像信息，所述定位装置可以利用该地标来执行导航定位动作。地标可以被认为是具有具体三维结构的特征的集合。各种特征中的任何一个可以用于识别地标，当所述定位装置被配置为房屋清洁机器人时，地标可能是(但不限于)基于相框的边角的二维结构识别的一组特征。这样的特征基于房间内的静态几何形状，并且虽然特征具有某种照明和尺度变化，但是它们相对于频繁地位移(例如椅子、垃圾桶，宠物等)的环境的较低区域内的物体总体上更容易被辨别和识别为地标。可以容易理解地，所述地标数据库的具体结构形成于具体的应用要求。
如图1所示，惯性处理模块，由一系列惯性传感器组成，用于实时感应所述定位装置的旋转角度信息、加速度信息及平移速度信息；该模块用于通过惯性传感器采集惯性数据，再进行校准滤波处理传给融合定位模块。所述惯性数据的原始数据处理包括最大值和最小值的屏蔽；静态漂移消除；数据的卡尔曼滤波。其中惯性传感器包括里程计、陀螺仪、加速度计等用于惯性导航的传感器。在后续处理过程中，基于连续相邻图像之间观察的光学流来捕获跟踪地标的图像，需要这些惯性传感器采集的数据确定行进的距离。具体地，在所述定位装置移动过程中，对编码器数据进行积分处理即可获得位置和姿态变化，对加速度计传感器采集的数据进行积分可以获得位置变化，对陀螺仪传感器采集的数据进行积分可以获得姿态变化，之后通过对上述三者加权平均，即可得到当前时刻相对于上一时刻的位置和姿态变化。
如图1所示，融合定位模块，用于根据所述地标数据库与所述输入的图像信息的匹配结果，借助小孔成像模型的几何关系从摄像头采集的图像特征信息中计算出所述定位装置在当前位置的坐标信息，再与惯性处理模块采集的惯性数据运算得出的所述定位装置在当前位置的坐标信息进行对比，以更新修正当前位置信息。其中所述惯性传感器可通过积分运算得到所述定位装置的行进距离。同时将所述三维深度传感器提取的与地标数据库的地标图像相关联特征不匹配的深度图像数据的特征信息加入地标数据库以成为新的地标。
具体地，所述融合定位模块中，当所述摄像头采集的地标图像与所述地标数据库中的地标图像特征匹配成功时，从相匹配的所述地标图像相关联特征中获得当前采集图像的地标在像素坐标系上的坐标，由坐标系转换获得所述地标在地图中的坐标，然后结合小孔成像模型计算所得出的所述定位装置与所述地标的相对位置关系，经过坐标计算得到所述定位装置在地图中的坐标，并与惯性处理模块采集的惯性数据的积分运算结果对比，从而修正所述定位装置的当前位置信息。
当所述摄像头采集的地标图像特征与所述地标数据库中的地标图像特征匹配失败时，在每两帧地标图像之间记录所述惯性数据，根据所述惯性数据的累积值求出所述定位装置与所述地标的位置关系，然后结合所述惯性传感器感测信息与所述摄像头采集的相邻两帧图像之间确定的相对姿态，使得所述惯性传感器感测信息从世界坐标系经过R的旋转以及t的平移得到摄像机坐标系上的坐标，然后利用所述摄像头的内参计算上一帧地标图像中所述地标的特征点在当前帧地标图像中的坐标，与所述摄像头采集的当前帧所述地标图像的特征点坐标对比，对所述摄像头采集的当前帧所述灰度图像的特征点坐标进行更新修正，从而得出新的地标并存储记录在所述地标数据库中，完成新路标的创建。
当所述三维深度传感器采集的深度图像特征与所述地标数据库中的地标图像特征匹配失败时，所述三维深度传感器提取的与地标数据库的地标图像相关联特征不匹配的深度图像数据的特征加入地标数据库以成为新的地标，为所述地标数据库提供未知物体的3D结构的特征集合，从而解决所述定位装置前行过程中未知区域内的位姿预估问题。所述定位装置中，所述三维深度传感器不执行定位操作，只用于识别物体为所述地标数据库添加新地标，以配合摄像头的定位操作。
其中，所述地图中的坐标使用世界坐标系；所述惯性传感器到所述摄像头，所述摄像头到所述灰度图像特征和/或地标图像相关联特征都存在着映射关联，同时特征能够通过所述灰度图像提取获得。
基于同一发明构思，本发明实施例还提供了一种基于深度视觉的定位方法，由于使用该定位方法解决定位问题的硬件装置是基于前述一种基于深度视觉的定位装置，因此该定位方法的实施方式可以参见前述一种基于深度视觉的定位装置的应用实施。在具体实施时，如图2所示，具体包括：
步骤S1、所述三维深度传感器获取所述定位装置向前驱动方向上物体的深度图像，并从深度图像中提取识别地标的图像特征信息；本发明利用所述三维深度传感器获取视场的深度数据，建立空间立体三维坐标系，其中Z坐标代表每一个像素点的深度值。根据采集的图像获取三维点云数据集合，构建3D图像，并对距离数据归一化到像素坐标系上，转换成图像灰度值，最后将所生成的深度图像输出给外部处理设备。
步骤S2、所述摄像头将采集到的实际场景中地标的目标图像预处理，进行灰度化，对灰度图像进行特征点提取，从而形成所述地标的特征点，然后根据所述目标图像识别的特征点与所述地标的成像特征几何关系（即小孔成像模型），计算出所述定位装置相对于所述地标的位置关系；
步骤S3、将所述灰度图像特征的描述子与存储在地标数据库中的地标图像相关联特征的描述子进行特征匹配，判断所述目标图像的特征与地标数据库中的地标图像相关联特征是否匹配，是则进入步骤S4，否则进入步骤S5；同时判断所述深度图像的特征与地标数据库中的地标图像相关联特征是否匹配，是则进入步骤S6；
步骤S4、匹配成功后，在已知所述摄像头的内参数矩阵的情况下，根据相匹配的所述地标图像相关联特征，获得所述地标在地图中的坐标，结合所述计算出所述定位装置相对于所述地标的位置关系，计算出所述定位装置在地图中的坐标，通过所述惯性传感器对所述当前位置坐标修正更新，得到一个准确的当前位置坐标，完成所述定位装置的实时定位。
步骤S5、在所述摄像头连续采集的两帧图像之间，在所述摄像头对所述地标连续拍摄的两帧图像之间，记录所述惯性数据并进行积分运算得出所述惯性传感器的位姿变化，再利用所述摄像头的内参计算上一帧图像的所述地标的特征点在当前帧图像中的坐标，并与当前帧图像中所述地标的特征点坐标进行对比，进而对当前帧图像中所述地标的特征点坐标更新修正，从而完成新路标的创建，并存储记录在所述地标数据库中。
步骤S6、所述三维深度传感器提取的与地标数据库的地标图像相关联特征不匹配的深度图像数据的特征加入地标数据库以成为新的地标，为所述地标数据库提供未知物体的3维点云数据，从而解决所述摄像头视角的局限性，为实现同步定位提供多个视角范围的保障，进一步地处理前行过程中未知区域内的位姿预估问题。
其中，所述惯性数据已经过校准滤波处理；所述惯性传感器到所述摄像头，所述摄像头到所述目标图像特征和/或地标图像相关联特征都存在着映射关联；所述地标数据库存储着实际场景中给定地标的图像特征点的位置信息及地标的三维点云数据。
作为本发明实施的一种方式，所述特征点由关键点和描述子两部分组成，关键点是该特征点在图像里的位置，有些特征点还具有朝向、大小等信息，而描述子通常描述该关键点周围像素的信息。上述发明实施预处理后，从所述灰度图像中提取的特征点为ORB特征点，并使用其对应的描述符进行特征匹配。ORB特征描述子改进了FAST检测子不具备方向性的问题，并采用速度极快的二进制描述子BRIEF，使得所述特征匹配子模块的特征提取环节大大加速。
ORB特征点由关键点与描述子两部分组成。其中，关键点为FAST，FAST为一种角点，主要检测局部像素灰度变化明显的地方，以速度快著称，ORB中经过改进的FAST角点具有尺度与旋转的描述，大大提升了它们在不同图像之间表述的鲁棒性。BRIEF描述子为一种二进制描述子，其描述向量由许多个0和1组成，存储方便，这里的0和1编码关键点附近两个像素的大小关系；BRIEF使用随机选点比较，速度极快，且具有较好的旋转不变性，使得BRIEF描述子满足定位装置实时图像的匹配。故选择ORB特征点保持特征子具有旋转、尺度不变性，能够防止图像旋转变化过程中有所损失，同时速度方面提升明显，有利于提高所述定位装置采集处理图像的速度，增强定位装置的实时计算的能力。
进一步地，所述特征匹配实际上是对图像上的每一个特征点与所有的测量描述子的距离，然后排序，取最近的一个作为匹配点。而描述子距离表示两个特征之间的相似程度，本发明实施中选用欧式距离进行度量，即比较待测的灰度图像与所述地标数据库中的地标图像各自提取特征对应的欧式距离，从而完成判断匹配过程。
所述深度图像的像素值反映实际场景中的物体与所述三维深度传感器当前位置的距离，根据所述深度图像创建深度图。所述三维深度传感器是获取视场内深度信息的功能单元。在实施例中，所述三维深度传感器通过使用结构光、飞行时间、立体视觉或本领域普通技术人员己知的任意其它传感器技术捕获深度图像对应的三维点云数据向二维平面投影，得到所述三维深度传感器捕获的物体在像素坐标系中的坐标信息。
在所述摄像头连续拍摄的两帧图像之间，定义了当前帧和参考帧，记录所述惯性数据并进行累加运算，从而获取当前帧和参考帧之间所述惯性传感器记录的位姿变换，作为所述惯性传感器的位姿变化；然后利用所述惯性传感器的位姿变化与所述摄像头连续采集的两帧图像之间确定的相对姿态，将所述地标从世界坐标系转换到摄像头坐标系上，再根据所述摄像头内参矩阵进一步地将所述地标的位置信息转换到像素坐标系上，从而获得参考帧的特征坐标在当前帧的坐标。当所述目标图像与存储在地标数据库中的地标图像相关联特征不匹配时，运用前述转换方法，通过惯性传感器获取的当前位置坐标上预测到的图像特征点的坐标，并与当前帧图像特征中的特征点坐标对比，对当前帧图像特征中的特征点坐标进行更新修正，并存储回所述地标数据库作为当前位置下的创建的新地标。
作为本发明实施的一种方式，所述摄像头模型采用传统的小孔成像模型，是基于所述预设位置处的所述摄像头的镜头朝向角度ɑ（如图3所示）上采集的所述目标图像的在像素坐标系上的特征点结合所述惯性传感器感测到世界坐标系中的路标的位置关系建立起来的相似三角形关系。在所述摄像头内参为已知的情况下，结合所述定位装置前进过程中拍摄的路标上特征的距离和位置作出的三角测量，构建起相似三角形的几何关系，可以计算出路标上相应特征角点在所述摄像头坐标系中的二维坐标。
作为本发明实施的一种机器人实施例，图3中提供一种扫地机器人的结构图，可作为本发明实施中提供的一种基于深度视觉的定位装置的具体应用产品结构图，为了便于说明，仅示出了与本发明实施例相关的部分。所述定位装置中图像处理模块与融合定位模块内置于信号处理板102；后置图像采集模块包括摄像头106装设在机体101的尾部向后凸出结构处，使得所述摄像头远离碰撞检测传感器105，避免被一些难以检测到的物体碰到；所述摄像头106的光学轴与所述定位装置顶部表面形成一定的倾斜角度ɑ，使得所述双目摄像头具有较好的观察方位。深度识别模块包括三维深度传感器108，装设在机体101的前半部，其镜头的视角略微朝上，以获得前行方向的地面以及地面上的物体的深度信息。惯性处理模块包括碰撞检测传感器105，惯性处理模块在运动轮104和万向轮107驱动机体101的作用下进行感测，所述惯性处理模块和所述后置图像采集模块采集的数据通过运用所述相对姿态和摄像头106的内参数进行融合修正位置坐标，进而执行定位导航动作，还可以更新所述地标数据库以作为构建导航地图的依据。最后人机界面103输出信号处理板计算得出的所述扫地机器人的当前位置的准确坐标数值。
以上实施例仅为充分公开而非限制本发明，凡基于本发明的创作主旨、未经创造性劳动的等效技术特征的替换，应当视为本申请揭露的范围。
Claims (8)
1.一种基于深度视觉的定位装置，该定位装置是一种可移动装置，其特征在于，包括后置图像采集模块、深度识别模块、图像处理模块、惯性处理模块和融合定位模块；
后置图像采集模块，包括定位于所述定位装置顶部表面的尾部开口向后的凹入和/或凸出结构处的摄像头，用于采集地标图像以实现定位；
深度识别模块，包括定位于所述定位装置顶部表面前方的三维深度传感器，该三维深度传感器的光学轴与所述定位装置顶部表面形成一个预设角度，使得该三维深度传感器识别所述定位装置前行方向的地面和/或地面以上的物体；
图像处理模块，包括图像预处理子模块和特征匹配子模块，用于处理后置图像采集模块和深度识别模块输入的图像信息；图像预处理子模块，用于将后置图像采集模块和深度识别模块输入的图像转换为灰度图像；特征匹配子模块，用于对所述灰度图像中的图像特征与地标数据库中的地标图像特征进行特征匹配；其中，所述地标数据库存储着给定地标相关联区域的图像特征及实际场景中空间结构的描述，内置于图像处理模块中；
惯性处理模块，由惯性传感器组成，实时感应所述定位装置的旋转角度信息、加速度信息及平移速度信息，其中所述惯性传感器包括里程计、陀螺仪和加速度计；
融合定位模块，用于根据所述地标数据库与所述输入的图像信息中的匹配结果，将摄像头采集的图像特征信息融合惯性处理模块采集的惯性数据，以修正所述定位装置的当前位置信息；同时将所述三维深度传感器提取的与地标数据库的地标图像相关联特征不匹配的深度图像数据的特征加入地标数据库以成为新的地标。
2.根据权利要求1所述定位装置，其特征在于，所述三维深度传感器选用3D TOF传感器，或者是基于图像的双目或者多目传感器阵列。
3.根据权利要求1所述定位装置，其特征在于，所述融合定位模块中，当所述摄像头采集的地标图像特征与所述地标数据库中的地标图像特征匹配成功时，从所述后置图像采集模块得到的相匹配的所述地标图像相关联特征中，获得当前采集图像的地标在地图中的坐标，然后结合小孔成像模型计算所得出的所述定位装置与所述地标的相对位置关系，得到所述定位装置在地图中的坐标，并使用惯性处理模块采集的惯性数据进行融合，以修正所述定位装置的当前位置信息；
当所述摄像头采集的地标图像特征与所述地标数据库中的地标图像特征匹配失败时，在每两帧地标图像之间记录所述惯性数据并进行积分运算得出所述惯性传感器的位姿变化，然后利用所述摄像头的内参计算上一帧地标图像中所述地标的特征点在当前帧地标图像中的坐标，与所述摄像头采集的当前帧地标图像的所述地标的特征点坐标进行对比，从而更新修正得出新的地标并存储在所述地标数据库中，完成新路标的创建；
当所述三维深度传感器采集的深度图像特征与所述地标数据库中的地标图像特征匹配失败时，将采集到的未匹配的深度图像的特征信息加入地标数据库，作为新的地标；
其中，所述地图中的坐标使用世界坐标系。
4.根据权利要求1所述定位装置，其特征在于，所述深度识别模块，用于通过三维深度传感器获取实际场景中设定距离内地标的深度数据，建立空间立体三维坐标系，其中Z坐标代表每一个像素点的深度值，其中每一个像素值反映实际场景中所述地标到所述三维深度传感器的距离。
5.一种基于权利要求1至权利要求4任一项所述定位装置的定位方法，其特征在于，包括如下步骤：
所述三维深度传感器获取所述定位装置向前驱动方向上物体的深度图像，并从深度图像中提取的识别物体图像特征信息；
所述摄像头将采集到的实际场景中地标的目标图像预处理，从该目标图像识别提取地标的特征，然后根据所述目标图像识别的特征点与所述地标的形成的小孔成像模型，计算出所述定位装置相对于所述地标的位置关系；
将所述目标图像和所述深度图像对应的灰度图像特征的描述子与存储在地标数据库中的地标图像相关联特征的描述子进行特征匹配，判断所述目标图像的特征与地标数据库中的地标图像相关联特征是否匹配，同时判断所述深度图像的特征与地标数据库中的地标图像相关联特征是否匹配；
如果所述目标图像的特征与地标数据库中的地标图像相关联特征匹配成功，则从所述后置图像采集模块得到的相匹配的所述地标图像相关联特征中，获得所述地标在地图中的坐标，结合所述计算出所述定位装置相对于所述地标的位置关系，计算出所述定位装置在地图中的坐标，并使用所述惯性数据更新修正，完成所述定位装置的实时定位；
如果所述目标图像的特征与地标数据库中的地标图像相关联特征匹配失败，
在所述摄像头对所述地标连续拍摄的两帧图像之间，记录所述惯性数据并进行积分运算得出所述惯性传感器的位姿变化，再利用所述摄像头的内参计算上一帧图像的所述地标的特征点在当前帧图像中的坐标，并与当前帧图像中所述地标的特征点坐标进行对比，进而对当前帧图像中所述地标的特征点坐标更新修正，从而完成新路标的创建，并存储记录在所述地标数据库中；
如果所述深度图像的特征与地标数据库中的地标图像相关联特征匹配失败，所述三维深度传感器将获取到的未匹配的深度图像的特征信息加入地标数据库，作为新的地标；
其中，所述惯性数据已经过校准滤波处理；所述地标数据库存储着实际场景中给定地标的图像特征点的位置信息及地标的三维点云数据。
6.根据权利要求5所述定位方法，其特征在于，所述特征匹配过程中使用ORB特征进行匹配。
7.根据权利要求5所述定位方法，其特征在于，所述深度图像的像素值反映所述定位装置向前驱动方向上的物体与所述三维深度传感器当前位置的距离。
8.一种机器人，其特征在于，所述机器人是一种装设如权利要求1至4任一项所述定位装置的移动机器人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810572514.2A CN108406731B (zh) | 2018-06-06 | 2018-06-06 | 一种基于深度视觉的定位装置、方法及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810572514.2A CN108406731B (zh) | 2018-06-06 | 2018-06-06 | 一种基于深度视觉的定位装置、方法及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108406731A CN108406731A (zh) | 2018-08-17 |
| CN108406731B true CN108406731B (zh) | 2023-06-13 |
Family
ID=63141427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810572514.2A Active CN108406731B (zh) | 2018-06-06 | 2018-06-06 | 一种基于深度视觉的定位装置、方法及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108406731B (zh) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109360235B (zh) * | 2018-09-29 | 2022-07-19 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于光场数据的混合深度估计方法 |
| CN109405850A (zh) * | 2018-10-31 | 2019-03-01 | 张维玲 | 一种基于视觉和先验知识的惯性导航定位校准方法及其*** |
| CN109213177B (zh) * | 2018-11-09 | 2022-01-11 | 苏州瑞得恩光能科技有限公司 | 机器人导航***及导航方法 |
| CN109633664B (zh) * | 2018-12-29 | 2023-03-28 | 南京理工大学工程技术研究院有限公司 | 基于rgb-d与激光里程计的联合定位方法 |
| CN109579852A (zh) * | 2019-01-22 | 2019-04-05 | 杭州蓝芯科技有限公司 | 基于深度相机的机器人自主定位方法及装置 |
| CN109668568A (zh) * | 2019-01-25 | 2019-04-23 | 天津煋鸟科技有限公司 | 一种利用环视全景成像进行定位导航的方法 |
| CN110012280B (zh) * | 2019-03-22 | 2020-12-18 | 盎锐（上海）信息科技有限公司 | 用于vslam***的tof模组及vslam计算方法 |
| CN110174891A (zh) * | 2019-04-08 | 2019-08-27 | 江苏大学 | 一种基于wifi无线通信的agv集群控制***及方法 |
| CN110018688B (zh) * | 2019-04-11 | 2022-03-29 | 清华大学深圳研究生院 | 基于视觉的自动引导车定位方法 |
| CN110135396B (zh) * | 2019-05-27 | 2021-05-07 | 百度在线网络技术（北京）有限公司 | 地面标志的识别方法、装置、设备及介质 |
| CN110176034B (zh) * | 2019-05-27 | 2023-02-07 | 上海盎维信息技术有限公司 | 用于vslam的定位方法及扫描终端 |
| US10929995B2 (en) * | 2019-06-24 | 2021-02-23 | Great Wall Motor Company Limited | Method and apparatus for predicting depth completion error-map for high-confidence dense point-cloud |
| CN110275168B (zh) * | 2019-07-09 | 2021-05-04 | 厦门金龙联合汽车工业有限公司 | 一种多目标识别和防撞预警方法和*** |
| CN110415297B (zh) * | 2019-07-12 | 2021-11-05 | 北京三快在线科技有限公司 | 定位方法、装置及无人驾驶设备 |
| WO2021016854A1 (zh) * | 2019-07-30 | 2021-02-04 | 深圳市大疆创新科技有限公司 | 一种标定方法、设备、可移动平台及存储介质 |
| CN110689572B (zh) * | 2019-08-13 | 2023-06-16 | 中山大学 | 一种三维空间中移动机器人定位***及方法 |
| FR3100884B1 (fr) * | 2019-09-17 | 2021-10-22 | Safran Electronics & Defense | Procédé et système de positionnement de véhicule mettant en œuvre un dispositif de capture d’image |
| CN110782506B (zh) * | 2019-11-21 | 2021-04-20 | 大连理工大学 | 一种利用红外相机和深度相机融合构建栅格地图的方法 |
| CN110967018B (zh) * | 2019-11-25 | 2024-04-12 | 斑马网络技术有限公司 | 停车场定位方法、装置、电子设备及计算机可读介质 |
| CN111080627B (zh) * | 2019-12-20 | 2021-01-05 | 南京航空航天大学 | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 |
| CN111239761B (zh) * | 2020-01-20 | 2021-12-28 | 西安交通大学 | 一种用于室内实时建立二维地图的方法 |
| CN111596656A (zh) * | 2020-04-30 | 2020-08-28 | 南京理工大学 | 一种基于双目视频和磁传感器的重载agv混合导航装置 |
| CN111844036B (zh) * | 2020-07-21 | 2023-04-25 | 上汽大通汽车有限公司 | 一种多车型多品种汽车玻璃总成排序方法 |
| CN112288811A (zh) * | 2020-10-30 | 2021-01-29 | 珠海市一微半导体有限公司 | 多帧深度图像定位的关键帧融合控制方法及视觉机器人 |
| WO2022110159A1 (zh) * | 2020-11-30 | 2022-06-02 | 深圳市大疆创新科技有限公司 | 定位方法、装置、可移动平台、地标及地标阵列 |
| CN112465723A (zh) * | 2020-12-04 | 2021-03-09 | 北京华捷艾米科技有限公司 | 深度图像的修复方法、装置、电子设备和计算机存储介质 |
| CN112747746A (zh) * | 2020-12-25 | 2021-05-04 | 珠海市一微半导体有限公司 | 基于单点tof的点云数据获取方法、芯片和移动机器人 |
| CN113761255B (zh) * | 2021-08-19 | 2024-02-09 | 劢微机器人科技(深圳)有限公司 | 机器人室内定位方法、装置、设备及存储介质 |
| CN113820697B (zh) * | 2021-09-09 | 2024-03-26 | 中国电子科技集团公司第五十四研究所 | 一种基于城市建筑特征与三维地图的视觉定位方法 |
| CN114111787B (zh) * | 2021-11-05 | 2023-11-21 | 上海大学 | 一种基于三维路标的视觉定位方法及*** |
| CN114451830B (zh) * | 2022-03-17 | 2023-06-16 | 上海飞博激光科技股份有限公司 | 激光清洗玻璃幕墙装置及其清洗方法 |
| CN115019167B (zh) * | 2022-05-26 | 2023-11-07 | 中国电信股份有限公司 | 基于移动终端的融合定位方法、***、设备及存储介质 |
| US11940269B1 (en) * | 2023-09-29 | 2024-03-26 | Mloptic Corp. | Feature location detection utilizing depth sensor |
| CN117058209B (zh) * | 2023-10-11 | 2024-01-23 | 山东欧龙电子科技有限公司 | 一种基于三维地图的飞行汽车视觉图像深度信息计算方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120215380A1 (en) * | 2011-02-23 | 2012-08-23 | Microsoft Corporation | Semi-autonomous robot that supports multiple modes of navigation |
| CN103067856A (zh) * | 2011-10-24 | 2013-04-24 | 康佳集团股份有限公司 | 基于图像识别的地理位置定位方法及*** |
| US9519289B2 (en) * | 2014-11-26 | 2016-12-13 | Irobot Corporation | Systems and methods for performing simultaneous localization and mapping using machine vision systems |
| CN104833354A (zh) * | 2015-05-25 | 2015-08-12 | 梁步阁 | 一种多基多模组网融合室内人员导航定位***及其实施方法 |
| CN107402569B (zh) * | 2016-05-19 | 2020-01-21 | 科沃斯机器人股份有限公司 | 自移动机器人及地图构建方法、组合机器人地图调用方法 |
| CN106002921B (zh) * | 2016-07-08 | 2018-07-13 | 东莞市开胜电子有限公司 | 滚轮式服务机器人稳定控制与运动*** |
| CN107030690A (zh) * | 2016-12-22 | 2017-08-11 | 中国科学院沈阳自动化研究所 | 一种基于视觉的机械臂避障方法 |
| CN208323361U (zh) * | 2018-06-06 | 2019-01-04 | 珠海市一微半导体有限公司 | 一种基于深度视觉的定位装置及机器人 |
-
2018
- 2018-06-06 CN CN201810572514.2A patent/CN108406731B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108406731A (zh) | 2018-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108406731B (zh) | 一种基于深度视觉的定位装置、方法及机器人 | |
| CN110702111B (zh) | 使用双事件相机的同时定位与地图创建（slam） | |
| CN112785702B (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
| US10650546B2 (en) | Method of providing a descriptor for at least one feature of an image and method of matching features | |
| CN108481327B (zh) | 一种增强视觉的定位装置、定位方法及机器人 | |
| CN110807350B (zh) | 用于面向扫描匹配的视觉slam的***和方法 | |
| JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
| JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
| EP3627446B1 (en) | System, method and medium for generating a geometric model | |
| CN108022264B (zh) | 相机位姿确定方法及设备 | |
| US20110205338A1 (en) | Apparatus for estimating position of mobile robot and method thereof | |
| CN208323361U (zh) | 一种基于深度视觉的定位装置及机器人 | |
| CN113706626B (zh) | 一种基于多传感器融合及二维码校正的定位与建图方法 | |
| CN108544494B (zh) | 一种基于惯性和视觉特征的定位装置、方法及机器人 | |
| US11729367B2 (en) | Wide viewing angle stereo camera apparatus and depth image processing method using the same | |
| JP6919882B2 (ja) | 人推定システムおよび推定プログラム | |
| JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| CN114088081A (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
| CN112731503A (zh) | 一种基于前端紧耦合的位姿估计方法及*** | |
| CN212044739U (zh) | 一种基于惯性数据和视觉特征的定位装置及机器人 | |
| Barth et al. | Vehicle tracking at urban intersections using dense stereo | |
| CN115546829A (zh) | 基于zed立体相机的行人空间信息感知方法及装置 | |
| JP6886136B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| CN115700507B (zh) | 地图更新方法及其装置 | |
| CN117649619B (zh) | 无人机视觉导航定位回收方法、***、装置及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd. Address before: 519000 room 105-514, No. 6, Baohua Road, Hengqin new area, Zhuhai, Guangdong Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |