CN109465832A - 高精度视觉和imu紧融合定位方法与*** - Google Patents

高精度视觉和imu紧融合定位方法与*** Download PDF

Info

Publication number
CN109465832A
CN109465832A CN201811552946.3A CN201811552946A CN109465832A CN 109465832 A CN109465832 A CN 109465832A CN 201811552946 A CN201811552946 A CN 201811552946A CN 109465832 A CN109465832 A CN 109465832A
Authority
CN
China
Prior art keywords
imu
frame
image
pose
positioning method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811552946.3A
Other languages
English (en)
Inventor
蒋与晶
龚喜
白进纬
杨智
刘红涛
何兆国
曹勇
冯宇
史峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201811552946.3A priority Critical patent/CN109465832A/zh
Publication of CN109465832A publication Critical patent/CN109465832A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

本发明提供了一种高精度视觉和IMU紧融合定位方法，包括以下步骤：S1、从获取的图像提取特征点进行双目匹配得到特征点深度，用于跟踪；S2、对IMU数据进行预积分操作，通过积分给定时间段的IMU数据，获得初步的位姿信息；S3、对***进行初始化，获得IMU的零偏和重力加速度，为跟踪做准备；S4、实时的跟踪特征点，以相机帧率实时的输出位姿。本发明还提供了一种高精度视觉和IMU紧融合定位***。本发明的有益效果是：提高了视觉定位中的精度和鲁棒性。

Description

高精度视觉和IMU紧融合定位方法与***
技术领域
本发明涉及机器人，尤其涉及一种高精度视觉和IMU紧融合定位方法与***。
背景技术
现有的室内服务机器人一般配备的是激光雷达传感器，利用激光雷达进行定位，激光雷达的缺点，第一其价格昂贵，第二其体积较大，安装不太方便。当然激光雷达的优点就是其精度高、稳定。针对激光雷达的缺点，又开始有使用价格比较便宜的摄像头作为传感器，通过采集环境中的图片来进行定位，并且相机提供的图像信息相比于激光雷达而言，又更丰富，更有利于以后的应用开发。比如行人检测，目标识别等。
这些使用纯视觉方法来进行定位与建图也有其固有的不可避免的缺点。纯视觉的定位与建图，在环境中没有特征或者是运动过快的情况下容易失效。
发明内容
为了解决现有技术中的问题，本发明提供了一种高精度视觉和IMU紧融合定位方法与***，用于解决传统视觉定位中精度和鲁棒性差的技术问题。
本发明提供了一种高精度视觉和IMU紧融合定位方法，包括以下步骤：
S1、从获取的图像提取特征点进行双目匹配得到特征点深度，用于跟踪；
S2、对IMU数据进行预积分操作，通过积分给定时间段的IMU数据，获得初步的位姿信息；
S3、对***进行初始化，获得IMU的零偏和重力加速度，为跟踪做准备；
S4、实时的跟踪特征点，以相机帧率实时的输出位姿。
作为本发明的进一步改进，在步骤S1中，将相机得到的左右两幅图像进行畸变校正和极线矫正，得到没有畸变并且极线水平的图，然后以左相机为参考，提取左右两图中的特征点，采用FAST角点和改进版的Brief描述子进行特征点匹配得到左图中特征点的深度。
作为本发明的进一步改进，对于畸变矫正，通过优化的方法，最小化式子：
其中：K1，K2，P1，P2表示需要求的相机畸变系数；x表示理想的像素点的横坐标；y表示理想的像素点的纵坐标；r2＝x2+y2；
得到畸变系数k1，k2，p1，p2；
对于极线矫正，是通过计算，将左右两幅图片的极线处于同一个平面内，并且水平的操作。
作为本发明的进一步改进，在步骤S2中，通过IMU数据得到绕三个轴旋转的角速度和沿着三个轴方向的加速度，角速度的积分是旋转角度，加速度的积分是速度，速度的积分是位移，通过给定时间t的IMU积分，得知给定时间t内的相对位姿变化，进而累计得到每一时刻的位置。
作为本发明的进一步改进，在步骤S2中，对IMU数据进行预积分操作，得到任意一段时间间隔内的相对位姿变化，
其中△Rij表示第i个图像和第j个图像之间的相对旋转；表示第k个陀螺仪旋转的测量值；表示第k个陀螺仪旋转测量所对应的零偏；△t表示两个陀螺仪测量值的时间间隔；△Vij表示第i个图像和第j个图像之间的相对速度变化；表示第k个加速度计的测量值；表示第k个加速度计测量值所对应的零偏；△Pij表示第i个图像和第j个图像之间的相对位置变化。
作为本发明的进一步改进，在步骤S3中，对***进行初始化，获得重力加速度gw，陀螺仪的初始零偏，加速度计的初始零偏，之后进行***的跟踪。
作为本发明的进一步改进，在步骤S3中，通过纯视觉的跟踪，选择多个连续的关键帧得到这些关键帧的位姿，根据这些关键帧的位姿和这些关键帧间的IMU预积分来获取需要的初始值。
作为本发明的进一步改进，在骤S3中，选择20个具有代表性的帧并估计其相对准确的位姿，包括：
当传来第一个图像时将此图像帧做为关键帧；
当第二帧来时，与第一个关键帧进行匹配，计算平均视差，如果视差足够大，将这一帧作为关键帧，否则，丢掉这一帧，只保留这一帧的IMU数据；
得到这一关键帧和上一关键帧的匹配之后，使用PnP算法，解出两帧之间的相对旋转Rcl和相对位移Pcl，将此值作为初始值，用于优化两个关键帧共同看到地图点的重投影误差，得到精确的相对旋转Rcl和相对位移Pcl；
在另外一个线程里面，选择一个固定大小的窗口，大小为10个关键桢，使用优化的方法，优化这10个关键桢和这10个关键帧能看到的所有地图点，当这个窗口里的关键帧数目超过10的时候，将最老的一个关键帧抛出窗口。
作为本发明的进一步改进，在步骤S4中，最小化重投影误差和IMU的约束，实时的跟踪特征点得到当前帧的位姿。
本发明还提供了一种高精度视觉和IMU紧融合定位***，包括快速传输IMU数据的IMU数据传输模块、用于快速并且保证不丢帧的传递双目图像信息的视觉传输模块、保证IMU和图像数据在时间戳上是一致的的IMU和相机同步模块、用于将传感器数据传输到后端电脑进行快速处理的无线传输模块，所述IMU数据传输模块、视觉传输模块的输出端分别与所述IMU和相机同步模块的输入端连接，所述IMU和相机同步模块的输出端与所述无线传输模块的输入端连接。
本发明的有益效果是：提高了视觉定位中的精度和鲁棒性。
附图说明
图1是本发明一种高精度视觉和IMU紧融合定位方法的流程图。
图2是本发明一种高精度视觉和IMU紧融合定位方法的实现前端跟踪策略的流程图。
图3是本发明一种高精度视觉和IMU紧融合定位方法的后端优化流程图。
图4是本发明一种高精度视觉和IMU紧融合定位方法的回环策略流程图。
图5是本发明一种高精度视觉和IMU紧融合定位***的示意图。
具体实施方式
下面结合附图说明及具体实施方式对本发明作进一步说明。
如图1所示，一种高精度视觉和IMU紧融合定位方法，包括：从获取的图像提取特征点进行双目匹配得到特征点深度；对IMU(Inertial Measurement Unit，惯性测量单元)数据进行积分处理的具体方法；对***进行初始化获得IMU的零偏以及重力加速度的获取；实时的以相机的帧率进行跟踪。通过本发明可以实时的计算当前帧的位姿，解决现有技术中，定位精度差和鲁棒性弱的问题。
一种高精度视觉和IMU紧融合定位方法，具体包括以下过程：
1、从获取的图像提取特征点进行双目匹配得到特征点深度，用于跟踪；将相机得到的左右两幅图像进行畸变校正和基线矫正，得到没有畸变并且极线水平的图，然后以左相机为参考，提取左右两图中的特征点，决定采用提取速度比较快的FAST角点和改进版的Brief描述子进行特征点匹配得到左图中特征点的深度。
2、对IMU数据进行预积分操作，通过积分给定时间段的IMU数据，获得初步的位姿信息；对惯性测量器件(IMU)，可以得到绕三个轴旋转的角速度和沿着三个轴方向的加速度。角速度的积分是旋转角度，加速度的积分是速度，速度的积分是位移。通过给定时间t的IMU积分，可以知道这段时间内的相对位姿变化。进而可以累计的得到每一时刻的位置。
3、对***进行初始化，获得IMU的零偏和重力加速度，为跟踪做准备；在视觉和IMU结合的***需要进行初始化，来获得重力加速度gw，陀螺仪的初始bias(零偏)，加速度计的初始bias(零偏)，之后就能进行***的跟踪；通过纯视觉的跟踪，选择20个连续的关键帧得到这20个关键帧的位姿(简单的Structure Form Motion)。根据这20帧的位姿和这20帧间的IMU预积分来获取需要的初始值；选择20个具有代表性的帧并估计其相对准确的位姿，包括：
当传来第一个图像时将此图像帧做为关键帧；
3.当第二帧来时，与第一个关键帧进行匹配，计算平均视差如果视差足够大(大于20个像素)，将这帧作为关键帧，否则丢掉这一帧，只保留这一帧的IMU数据；
得到这一关键帧和上一关键帧的匹配之后，使用PnP(Perspective-n-Point)算法，解出两帧之间的相对旋转Rcl和相对位移Pcl，将此值作为初始值，用于优化两个关键帧共同看到地图点的重投影误差，得到精确的相对旋转Rcl和相对位移Pcl；
在另外一个线程里面，选择一个固定大小的窗口，大小为10个关键桢，使用优化的方法，优化这10个关键桢和这10个关键帧能看到的所有地图点。当这个窗口里的关键帧数目超过10的时候，将最老的一个关键帧抛出窗口。
4、实时的跟踪特征点，以相机帧率实时的输出位姿；最小化重投影误差和IMU的约束，实时的跟踪特征点得到当前帧的位姿。
对于IMU数据的处理，使用了预积分的方法，该方法可以得到任意一段时间间隔内的相对位姿变化。
其中ΔRij表示第i个图像和第j个图像之间的相对旋转；表示第k个陀螺仪旋转的测量值；表示第k个陀螺仪旋转测量所对应的零偏；Δt表示两个陀螺仪测量值的时间间隔；ΔVij表示第i个图像和第j个图像之间的相对速度变化；表示第k个加速度计的测量值；表示第k个加速度计测量值所对应的零偏；ΔPij表示第i个图像和第j个图像之间的相对位置变化。
对image的处理，指的是对双目的图像进行去畸变和极线矫正的过程。对于畸变矫正，通过优化的方法，最小化式子：
其中：K1，K2，P1，P2表示需要求的相机畸变系数；x表示理想的像素点的横坐标；y表示理想的像素点的纵坐标；r2＝x2+y2；
得到畸变系数k1，k2，p1，p2。
对于极线矫正，是通过计算，将左右两幅图片的极线处于同一个平面内，并且水平的操作。具体的算法实现，直接可以调用现成的opencv函数。
***的初始化过程，就是为了获得重力加速度gw，陀螺仪的初始bias，加速度计的初始bias。
具体的，首先通过纯视觉的方法，得到20个关键帧的准确位置，然后通过IMU的预积分，得到相邻两个关键帧之间的相对位姿。通过这两步计算的关系来解出所要求的量。
图2是实现前端跟踪策略的详细步骤，如图2所示，该方法具体包括一下步骤：
首先根据IMU数据，通过预积分得到，当前帧与上一帧之间的相对位姿关系，然后将上一图像帧里面的特征点投影到当前帧中，进行小范围的特征匹配搜索。得到特征匹配之后，通过最小化重投影误差和IMU预积分的误差来实现位姿的精调。
其次，如果跟踪上一帧失败的话，就不用IMU的数据，简单的利用纯视觉的方法，对当前位姿进行恢复和估计。
最后，如果依旧没法计算当前帧的准确位姿，就会使用词袋模型进行重定位。通过重定位的方法，获取特征匹配，得到当前帧的位姿。如果真的找不回当前帧的位姿，就只有重启***，才能进行继续跟踪。
这个模块在跟踪上一帧成功之后，还会将前五个图像帧看到的地图点投影到当前帧，找出更多的约束来对当前帧位姿的进一步优化。
图3是实现后端跟踪策略的详细策略。
首先，对于关键帧的选择，关键帧的选择需要两个关键帧之间有足够的运动，并且有足够的关联性。这里选择关键帧的时候，要求关键帧之间的视差足够大。
其次在生成关键帧之后，需要通过关键帧的位姿，将该帧看到的特征点，转化到世界坐标系下，融合到局部地图里。最后对这个局部地图里面的所有地图点和图像帧的位姿进行优化求解，优化所有的地图点位置和关键帧的位姿。
通过以上的步骤，能够在较短时间内得到比较准确的位姿图，但是随着误差累积，误差逐渐增大。得到的位姿愈来愈不准确，这里通过DBOW来检测回环，检查回环所使用的策略，如图4所示。在得到回环帧时候，首先进行位姿图优化，优化所有的关键帧。然后，对所有的地图点和关键帧进行同时优化求解，得到更加准确的三维点位置和相机的位姿。
如图5所示，本发明还提供了一种高精度视觉和IMU紧融合定位***，包括快速传输IMU数据的IMU数据传输模块1、用于快速并且保证不丢帧的传递双目图像信息的视觉传输模块2、保证IMU和图像数据在时间戳上是一致的IMU和相机同步模块3、用于将传感器数据传输到后端电脑进行快速处理的无线传输模块，所述IMU数据传输模块1、视觉传输模块2的输出端分别与所述IMU和相机同步模块3的输入端连接，所述IMU和相机同步模块3的输出端与所述无线传输模块的输入端连接,无线传输模块优选为wifi传输模块4。
视觉传输模块1，用于快速并且保证不丢帧的传递双目图像信息；IMU数据传输模块2，由于IMU数据的高频性，本发明设计了快速传输IMU数据的IMU数据传输模块2；IMU和相机同步模块3，保证IMU和图像数据在时间戳上是一致的；wifi传输模块4用于将传感器数据传输到后端电脑进行快速处理。
本发明提供的一种高精度视觉和IMU紧融合定位***，用于执行上述高精度视觉和IMU紧融合定位方法。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种高精度视觉和IMU紧融合定位方法，其特征在于，包括以下步骤：
S1、从获取的图像提取特征点进行双目匹配得到特征点深度，用于跟踪；
S2、对IMU数据进行预积分操作，通过积分给定时间段的IMU数据，获得初步的位姿信息；
S3、对***进行初始化，获得IMU的零偏和重力加速度，为跟踪做准备；
S4、实时的跟踪特征点，以相机帧率实时的输出位姿。
2.根据权利要求1所述的高精度视觉和IMU紧融合定位方法，其特征在于：在步骤S1中，将相机得到的左右两幅图像进行畸变校正和极线矫正，得到没有畸变并且极线水平的图，然后以左相机为参考，提取左右两图中的特征点，采用FAST角点和改进版的Brief描述子进行特征点匹配得到左图中特征点的深度。
3.根据权利要求2所述的高精度视觉和IMU紧融合定位方法，其特征在于：对于畸变矫正，通过优化的方法，最小化式子：
其中：K1，K2，P1，P2表示需要求的相机畸变系数；x表示理想的像素点的横坐标；y表示理想的像素点的纵坐标；r2＝x2+y2；
得到畸变系数k1，k2，p1，p2；
对于极线矫正，是通过计算，将左右两幅图片的极线处于同一个平面内，并且水平的操作。
4.根据权利要求1所述的高精度视觉和IMU紧融合定位方法，其特征在于：在步骤S2中，通过IMU数据得到绕三个轴旋转的角速度和沿着三个轴方向的加速度，角速度的积分是旋转角度，加速度的积分是速度，速度的积分是位移，通过给定时间t的IMU积分，得知给定时间t内的相对位姿变化，进而累计得到每一时刻的位置。
5.根据权利要求1所述的高精度视觉和IMU紧融合定位方法，其特征在于：在步骤S2中，对IMU数据进行预积分操作，得到任意一段时间间隔内的相对位姿变化，
其中△Rij表示第i个图像和第j个图像之间的相对旋转；表示第k个陀螺仪旋转的测量值；表示第k个陀螺仪旋转测量所对应的零偏；△t表示两个陀螺仪测量值的时间间隔；△Vij表示第i个图像和第j个图像之间的相对速度变化；表示第k个加速度计的测量值；表示第k个加速度计测量值所对应的零偏；△Pij表示第i个图像和第j个图像之间的相对位置变化。
6.根据权利要求1所述的高精度视觉和IMU紧融合定位方法，其特征在于：在步骤S3中，对***进行初始化，获得重力加速度gw，陀螺仪的初始零偏，加速度计的初始零偏，之后进行***的跟踪。
7.根据权利要求6所述的高精度视觉和IMU紧融合定位方法，其特征在于：在步骤S3中，通过纯视觉的跟踪，选择多个连续的关键帧得到这些关键帧的位姿，根据这些关键帧的位姿和这些关键帧间的IMU预积分来获取需要的初始值。
8.根据权利要求7所述的高精度视觉和IMU紧融合定位方法，其特征在于：在骤S3中，选择20个具有代表性的帧并估计其相对准确的位姿，包括：
当传来第一个图像时将此图像帧做为关键帧；
当第二帧来时，与第一个关键帧进行匹配，计算平均视差，如果视差足够大，将这一帧作为关键帧，否则，丢掉这一帧，只保留这一帧的IMU数据；
得到这一关键帧和上一关键帧的匹配之后，使用PnP算法，解出两帧之间的相对旋转Rcl和相对位移Pcl，将此值作为初始值，用于优化两个关键帧共同看到地图点的重投影误差，得到精确的相对旋转Rcl和相对位移Pcl；
在另外一个线程里面，选择一个固定大小的窗口，大小为10个关键桢，使用优化的方法，优化这10个关键桢和这10个关键帧能看到的所有地图点，当这个窗口里的关键帧数目超过10的时候，将最老的一个关键帧抛出窗口。
9.根据权利要求1所述的高精度视觉和IMU紧融合定位方法，其特征在于：在步骤S4中，最小化重投影误差和IMU的约束，实时的跟踪特征点得到当前帧的位姿。
10.一种高精度视觉和IMU紧融合定位***，其特征在于：包括快速传输IMU数据的IMU数据传输模块、用于快速并且保证不丢帧的传递双目图像信息的视觉传输模块、保证IMU和图像数据在时间戳上是一致的的IMU和相机同步模块、用于将传感器数据传输到后端电脑进行快速处理的无线传输模块，所述IMU数据传输模块、视觉传输模块的输出端分别与所述IMU和相机同步模块的输入端连接，所述IMU和相机同步模块的输出端与所述无线传输模块的输入端连接。
CN201811552946.3A 2018-12-18 2018-12-18 高精度视觉和imu紧融合定位方法与*** Pending CN109465832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811552946.3A CN109465832A (zh) 2018-12-18 2018-12-18 高精度视觉和imu紧融合定位方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811552946.3A CN109465832A (zh) 2018-12-18 2018-12-18 高精度视觉和imu紧融合定位方法与***

Publications (1)

Publication Number Publication Date
CN109465832A true CN109465832A (zh) 2019-03-15

Family

ID=65676544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811552946.3A Pending CN109465832A (zh) 2018-12-18 2018-12-18 高精度视觉和imu紧融合定位方法与***

Country Status (1)

Country Link
CN (1) CN109465832A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110132302A (zh) * 2019-05-20 2019-08-16 中国科学院自动化研究所 融合imu信息的双目视觉里程计定位方法、***
CN110142769A (zh) * 2019-04-11 2019-08-20 浙江工业大学 基于人体姿态识别的ros平台在线机械臂示教***
CN110207692A (zh) * 2019-05-13 2019-09-06 南京航空航天大学 一种地图辅助的惯性预积分行人导航方法
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110455301A (zh) * 2019-08-01 2019-11-15 河北工业大学 一种基于惯性测量单元的动态场景slam方法
CN110450142A (zh) * 2019-09-09 2019-11-15 哈工大机器人（合肥）国际创新研究院 一种基于双陀螺仪部件的六自由度并联机器人
CN110490900A (zh) * 2019-07-12 2019-11-22 中国科学技术大学 动态环境下的双目视觉定位方法及***
CN110879400A (zh) * 2019-11-27 2020-03-13 炬星科技（深圳）有限公司 激光雷达与imu融合定位的方法、设备及存储介质
CN111739081A (zh) * 2020-08-06 2020-10-02 成都极米科技股份有限公司 特征点匹配方法、拼接方法、装置、电子设备及存储介质
CN111882607A (zh) * 2020-07-14 2020-11-03 中国人民解放军军事科学院国防科技创新研究院 一种适用于增强现实应用的视觉惯导融合位姿估计方法
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及***
CN112509006A (zh) * 2020-12-11 2021-03-16 北京华捷艾米科技有限公司 一种子地图恢复融合方法及装置
CN113223045A (zh) * 2021-05-19 2021-08-06 北京数研科技发展有限公司 基于动态物体语义分割的视觉与imu传感器融合定位***
CN113516714A (zh) * 2021-07-15 2021-10-19 北京理工大学 基于imu预积分信息加速特征匹配的视觉slam方法
CN114648584A (zh) * 2022-05-23 2022-06-21 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和***
CN114689037A (zh) * 2022-03-31 2022-07-01 山东优宝特智能机器人有限公司 用于非结构化环境的多源信息融合机器人定位方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106052683A (zh) * 2016-05-25 2016-10-26 速感科技（北京）有限公司 机器人运动姿态估计方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及***
CN108225239A (zh) * 2018-01-25 2018-06-29 哈尔滨工业大学 一种星载天线的伸展臂末端位姿静态误差域的计算方法
CN108731672A (zh) * 2018-05-30 2018-11-02 中国矿业大学 基于双目视觉及惯性导航的采煤机姿态检测***及方法
US20180348854A1 (en) * 2017-05-31 2018-12-06 Occipital, Inc. Six degree of freedom tracking with scale recovery and obstacle avoidance
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微***与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106052683A (zh) * 2016-05-25 2016-10-26 速感科技（北京）有限公司 机器人运动姿态估计方法
US20180348854A1 (en) * 2017-05-31 2018-12-06 Occipital, Inc. Six degree of freedom tracking with scale recovery and obstacle avoidance
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及***
CN108225239A (zh) * 2018-01-25 2018-06-29 哈尔滨工业大学 一种星载天线的伸展臂末端位姿静态误差域的计算方法
CN108731672A (zh) * 2018-05-30 2018-11-02 中国矿业大学 基于双目视觉及惯性导航的采煤机姿态检测***及方法
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微***与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙水发等著: "《3D打印逆向建模技术及应用》", 30 May 2016, 南京师范大学出版社 *
程传奇等: "视觉惯性组合", 《基于非线性优化的单目视觉/惯性组合导航算法》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110142769B (zh) * 2019-04-11 2021-10-15 浙江工业大学 基于人体姿态识别的ros平台在线机械臂示教***
CN110142769A (zh) * 2019-04-11 2019-08-20 浙江工业大学 基于人体姿态识别的ros平台在线机械臂示教***
CN110207692A (zh) * 2019-05-13 2019-09-06 南京航空航天大学 一种地图辅助的惯性预积分行人导航方法
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110132302A (zh) * 2019-05-20 2019-08-16 中国科学院自动化研究所 融合imu信息的双目视觉里程计定位方法、***
CN110375738A (zh) * 2019-06-21 2019-10-25 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110375738B (zh) * 2019-06-21 2023-03-14 西安电子科技大学 一种融合惯性测量单元的单目同步定位与建图位姿解算方法
CN110490900A (zh) * 2019-07-12 2019-11-22 中国科学技术大学 动态环境下的双目视觉定位方法及***
CN110490900B (zh) * 2019-07-12 2022-04-19 中国科学技术大学 动态环境下的双目视觉定位方法及***
CN110455301A (zh) * 2019-08-01 2019-11-15 河北工业大学 一种基于惯性测量单元的动态场景slam方法
CN110450142A (zh) * 2019-09-09 2019-11-15 哈工大机器人（合肥）国际创新研究院 一种基于双陀螺仪部件的六自由度并联机器人
CN110879400A (zh) * 2019-11-27 2020-03-13 炬星科技（深圳）有限公司 激光雷达与imu融合定位的方法、设备及存储介质
CN111882607A (zh) * 2020-07-14 2020-11-03 中国人民解放军军事科学院国防科技创新研究院 一种适用于增强现实应用的视觉惯导融合位姿估计方法
CN111739081A (zh) * 2020-08-06 2020-10-02 成都极米科技股份有限公司 特征点匹配方法、拼接方法、装置、电子设备及存储介质
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及***
CN112233177B (zh) * 2020-10-10 2021-07-30 中国安全生产科学研究院 一种无人机位姿估计方法及***
CN112509006A (zh) * 2020-12-11 2021-03-16 北京华捷艾米科技有限公司 一种子地图恢复融合方法及装置
CN113223045A (zh) * 2021-05-19 2021-08-06 北京数研科技发展有限公司 基于动态物体语义分割的视觉与imu传感器融合定位***
CN113223045B (zh) * 2021-05-19 2024-06-11 北京数研科技发展有限公司 基于动态物体语义分割的视觉与imu传感器融合定位***
CN113516714A (zh) * 2021-07-15 2021-10-19 北京理工大学 基于imu预积分信息加速特征匹配的视觉slam方法
CN114689037A (zh) * 2022-03-31 2022-07-01 山东优宝特智能机器人有限公司 用于非结构化环境的多源信息融合机器人定位方法及***
CN114648584B (zh) * 2022-05-23 2022-08-30 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和***
CN114648584A (zh) * 2022-05-23 2022-06-21 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和***

Similar Documents

Publication Publication Date Title
CN109465832A (zh) 高精度视觉和imu紧融合定位方法与***
CN110428467B (zh) 一种相机、imu和激光雷达联合的机器人定位方法
CN110044354B (zh) 一种双目视觉室内定位与建图方法及装置
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及***
CN108700946B (zh) 用于并行测距和建图的故障检测和恢复的***和方法
CN106525003B (zh) 一种基于双目视觉的姿态测量方法
CN107610175A (zh) 基于半直接法和滑动窗口优化的单目视觉slam算法
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN109579840A (zh) 一种点线特征融合的紧耦合双目视觉惯性slam方法
CN110189382A (zh) 一种基于无共视区域的多双目相机运动标定方法
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
CN109583409A (zh) 一种面向认知地图的智能车定位方法及***
CN107941217A (zh) 一种机器人定位方法、电子设备、存储介质、装置
CN104732518A (zh) 一种基于智能机器人地面特征的ptam改进方法
CN111932674A (zh) 一种线激光视觉惯性***的优化方法
CN107192375B (zh) 一种基于航拍姿态的无人机多帧图像自适应定位校正方法
US11195297B2 (en) Method and system for visual localization based on dual dome cameras
WO2024045632A1 (zh) 基于双目视觉和imu的水下场景三维重建方法及设备
WO2022000713A1 (zh) 一种基于航空装配的增强现实自定位方法
CN111882602A (zh) 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN113503873B (zh) 一种多传感器融合的视觉定位方法
CN112985450B (zh) 一种具有同步时间误差估计的双目视觉惯性里程计方法
CN112461228B (zh) 一种相似环境下基于imu和视觉的二次回环检测定位方法
CN110349249A (zh) 基于rgb-d数据的实时稠密重建方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190315

RJ01 Rejection of invention patent application after publication