CN107255476B - 一种基于惯性数据和视觉特征的室内定位方法和装置 - Google Patents
一种基于惯性数据和视觉特征的室内定位方法和装置 Download PDFInfo
- Publication number
- CN107255476B CN107255476B CN201710544564.5A CN201710544564A CN107255476B CN 107255476 B CN107255476 B CN 107255476B CN 201710544564 A CN201710544564 A CN 201710544564A CN 107255476 B CN107255476 B CN 107255476B
- Authority
- CN
- China
- Prior art keywords
- imu
- camera
- data
- image
- cam
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
Abstract
本发明公开一种基于惯性数据和视觉特征的室内定位技术并公开相应的实现装置，实现步骤。具体技术包括：(1)多传感器数据处理：相机标定，图像特征提取方法；IMU数据建模及滤波方法；(2)多传感器坐标系标定：***建模，相对姿态标定，相对位姿联合标定；(3)融合惯性数据和视觉特征的室内定位跟踪技术。本发明相比于目前传统的单相机跟踪具有以下优势：单相机跟踪基于匀速运动的简单假设，本发明使用IMU的惯性数据能提供更好的预测，使得特征匹配时的搜索区域更小，匹配速度更快，跟踪结果更准确而且大大提高了在图像退化和无纹理区域相机跟踪的鲁棒性。
Description
技术领域
本发明涉及一种室内定位方法和装置，具体涉及一种基于惯性数据和视觉特征的室内定位方法和装置。
背景技术
在移动机器人相关技术研究中，导航技术属于其核心技术，也是实现智能化和自主移动的关键技术，其中基于视觉传感器的机器人导航技术是目前国内外应用比较普遍导航技术。随着应用场景越来越复杂，导航精度要求越来越高，仅仅依靠视觉传感器已难以满足处理速度以及***鲁棒性的要求：在少纹理区域场景，高速运动或抖动引起图像模糊场景因无法进行有效的特征跟踪而使视觉导航表现不佳。随着低成本微机电惯性测量模块的出现，使解决上述问题成为了可能。
发明内容
为解决上述问题，本发明提出一种基于惯性数据和视觉特征的室内定位方法和装置，其与纯视觉相机跟踪技术相比鲁棒性更高，使用范围更广，三维运动更加流畅；***构造简洁，在成本增加不大的情况下，极大的提高了***的抗干扰能力，适用于少纹理区域以及高速运动，抖动等无法进行纯视觉跟踪的场景。
为实现上述目的，本发明公开了如下技术方案：
一种基于惯性数据和视觉特征的室内定位方法，包括如下步骤：
S1多传感器数据处理；
S101使用已知尺寸的标定板静态完成相机标定；
S102获取图像，并提取图像特征点：Harris、corner、sift特征；
S103IMU原始数据处理：大野外值滤除，零飘滤除；
S104对处理后的IMU数据进行一阶AR建模，并基于该模型进行卡尔曼滤波；
S2多传感器坐标系标定：
S201标定板竖直放置，使用IMU_CAM装置中的相机，在至少十个不同位姿下静止拍下至少十张照片；同时在拍摄每一张照片的静止位置，记录下至少十组IMU_CAM装置IMU的加速度数据，并进行相应的数据滤波；
S202利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标系和相机坐标系之间的姿态关系，作为联合标定的姿态初值；
S203使用卡尔曼滤波框架，IMU做运动模型，CAM做观测模型，CAM和IMU之间的刚体连接作为要估计的参数；在每两帧图像之间，计算IMU惯性数据的累积，包括速度和加速度引起的平移以及角速度引起的旋转，因为存在一个IMU到相机，相机到图像，图像到特征的一个映射关联，同时特征能够通过图像提取获得，依据同一个特征在图像中的成像唯一性原则，构建一个最优化方程，以第二步提供的姿态为初值进行迭代求解；
S3融合惯性数据和视觉特征的相机定位跟踪：
S301使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片特征，包括Harris、SIFT特征；
S302记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像间IMU的位置和姿态改变；
S303根据IMU的姿态改变以及步骤2标定出的相机和IMU之间固定的位姿关系，推演出相机的位姿改变，在已知相机内参的情况下计算出上一帧的图像特征在当前帧中的图像坐标；根据CAM获取的图像信息提取出特征坐标，通过与IMU预测的图像坐标对比，对相机当前位姿进行更新修正。
进一步的，所述步骤S1中，相机使用Ueyes工业相机，分辨率位640*480，帧率为25帧每秒；特征使用GoodFeature,每一帧都要把所有特征提取到，并将特征的图片坐标精确到亚像素；IMU使用MTI系列产品，数据输出频率在60-120帧每秒，帧率是相机帧率的2-4倍；IMU数据包括加速度，平移速度，旋转角速度；IMU原始数据处理包括最大最小值屏蔽，中间大野值丢弃；静态零飘获取，零飘消除；数据的一阶AR建模以及卡尔曼滤波。
进一步的，所述步骤S2中，多传感器坐标系标定的过程使用标定板，先把标定板竖直放置，利用重力方向和标定板放置方向同向的属性，给出相机和IMU的相对姿态初值；IMU测得的惯性数据建立运动模型，相机获取标定板图像，提取角点特征作为观测模型，之后利用角点的全局唯一性存在来构造以IMU和CAM之间相对位姿为优化参数的最小二乘估计，以前面确定的IMU和CAM姿态为初始点进行迭代求解。
进一步的，所述步骤S3中，在两帧图像之间，记录IMU数据并进行累加运算，获取两帧之间IMU的位姿变换，利用CAM和IMU之间固定的变换关系，转换成CAM的位姿变换，再根据相机内参矩阵获得上一帧的特征坐标在当前帧的坐标；相机拍摄自然场景照片，提取出图像特征，计算出特征坐标，跟IMU获取的特征坐标进行对比，修正更新相机的当前位姿。
本发明还公开一种基于惯性数据和视觉特征的室内定位装置，包括：
惯性数据采集模块，由一系列惯性数据测量单元组成，实时感应IMU的旋转角度信息，加速度信息及平移速度信息；
图像处理模块，由一个工业摄像头组成，以25帧每秒的实时速率进行图像捕捉，在获取的图像上进行Harris、SIFT特征提取；
数据通信融合模块，实现各个传感器和主控模块的通信，其接口包括网口、USB和串口，由IMU获取的惯性数据和相机获取的图像数据进行数据处理后要进行时间戳对齐，包括时间戳插值和平滑；
多传感器位姿标定模块，需要使用固定尺寸的相机标定板，竖直固定放置，获取到重力加速度在相机坐标系和IMU坐标系的分量后，计算出CAM和IMU之间的姿态关系，再以IMU为中心建立运动模型，以相机为中心建立观测模型，以前面得到的姿态关系为初始值进行迭代计算，获得CAM/IMU相对位姿关系；
相机追踪模块，使用连续两帧图像之间的IMU数据进行迭代运算，利用CAM/IMU之间固定的相对位姿，得到相机当前位置的一个预测；再利用相机对同一个特征的观测信息，对相机的当前位置进行修正；利用预测和观测的协方差信息进行信息融合得到一个最小二乘意义下的最优估计作为当前相机位置的准确值；
硬件支持模块，包括相互连接的相机、IMU本体及后端计算平台；
数据可视化模块，包括但不限于图像特征、相机三维运动轨迹、特征反投影方差、相机运动方差数据的显示。
本发明公开的一种基于惯性数据和视觉特征的室内定位方法和装置，具有以下有益效果：
1.本发明对比传统的纯视觉相机跟踪，具有跟踪精度更高，鲁棒性更强的特点：融合的惯性数据，可以建立更加准确的相机运动轨迹预测；在此基础上，可以对上一帧的图像特征进行准确预判，从而减少搜索区域提高特征定位精度，准确的图像特征又对相机的位姿轨迹进行修正；经过不断的预测和修正后位姿轨迹，比纯视觉相机跟踪结果相比，方差缩小近10倍，轨迹跟踪更平滑，更鲁棒；
2.本发明提出一种有效IMU和CAM坐标系标定方法，先利用标定板竖直放置和重力加速度同向的属性给出一个姿态初值；之后利用已知尺寸的标定板和相机建立观测模型，IMU数据建立运动模型，在卡尔曼滤波框架下建立最小二乘估计迭代求解。特征跟踪实验证明，使用此方法标定的参数符合预期。
3.本发明装置构造简单，标定工具仅使用相机标定板，制作简单；使用重力在两个坐标系的投影的姿态标定方法简洁明了，能满足实际上需要。本装置模块与主机间的通讯使用成熟的USB，232串口，网口等标准工业接口，便于移植和拓展。
附图说明
图1为本发明的相机跟踪***整体功能模块图；
图2为本发明装置中相机和IMU相对姿态示意图；
图3为本发明中IMU/CAM坐标系标定实验方案流程图；
图4为本发明中纯相机和IMU辅助的特征跟踪验证实验；
图5为本发明中基于惯性数据和视觉特征的相机跟踪原理图；
图6为本发明中两种跟踪方法的实时位移对比演示图；
图7a为本发明中两种跟踪方法的X轴位移方差对比演示图；
图7b为本发明中两种跟踪方法的Y轴位移方差对比演示图；
图7c为本发明中两种跟踪方法的Z轴位移方差对比演示图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的核心是提供一种基于惯性数据和视觉特征的室内定位方法和装置，其与纯视觉相机跟踪技术相比鲁棒性更高，使用范围更广，三维运动更加流畅；***构造简洁，在成本增加不大的情况下，极大的提高了***的抗干扰能力，适用于少纹理区域以及高速运动，抖动等无法进行纯视觉跟踪的场景。
本发明公开的一种基于惯性数据和视觉特征的室内定位方法，包括如下步骤：
S1多传感器数据处理；
S101使用已知尺寸的标定板静态完成相机标定；
S102获取图像，并提取图像特征点：Harris、corner、sift特征；
S103IMU原始数据处理：大野外值滤除，零飘滤除；
S104对处理后的IMU数据进行一阶AR建模，并基于该模型进行卡尔曼滤波；
S2多传感器坐标系标定：
S201标定板竖直放置，使用IMU_CAM装置中的相机，在至少十个不同位姿下静止拍下至少十张照片；同时在拍摄每一张照片的静止位置，记录下至少十组IMU_CAM装置IMU的加速度数据，并进行相应的数据滤波；
S202利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标系和相机坐标系之间的姿态关系，作为联合标定的姿态初值；
S203使用卡尔曼滤波框架，IMU做运动模型，CAM做观测模型，CAM和IMU之间的刚体连接作为要估计的参数(R，T)；在每两帧图像之间，计算IMU惯性数据的累积，包括速度和加速度引起的平移以及角速度引起的旋转，因为存在一个IMU到相机，相机到图像，图像到特征的一个映射关联，同时特征能够通过图像提取获得，依据同一个特征在图像中的成像唯一性原则，构建一个最优化方程，以第二步提供的姿态为初值进行迭代求解；
S3融合惯性数据和视觉特征的相机定位跟踪：
S301使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片特征，包括Harris、SIFT特征；
S302记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像间IMU的位置和姿态改变；
S303根据IMU的姿态改变以及步骤2标定出的相机和IMU之间固定的位姿关系，推演出相机的位姿改变，在已知相机内参的情况下计算出上一帧的图像特征在当前帧中的图像坐标；根据CAM获取的图像信息提取出特征坐标，通过与IMU预测的图像坐标对比，对相机当前位姿进行更新修正。
在本发明的一种实施例中，所述步骤S1中，相机使用Ueyes工业相机，分辨率位640*480，帧率为25帧每秒；特征使用GoodFeature,每一帧都要把所有特征提取到，并将特征的图片坐标精确到亚像素；IMU使用MTI系列产品，数据输出频率在60-120帧每秒，帧率是相机帧率的2-4倍；IMU数据包括加速度，平移速度，旋转角速度；IMU原始数据处理包括最大最小值屏蔽，中间大野值丢弃；静态零飘获取，零飘消除；数据的一阶AR建模以及卡尔曼滤波。
在本发明的一种实施例中，所述步骤S2中，多传感器坐标系标定的过程使用标定板，先把标定板竖直放置，利用重力方向和标定板放置方向同向的属性，给出相机和IMU的相对姿态初值；IMU测得的惯性数据建立运动模型，相机获取标定板图像，提取角点特征作为观测模型，之后利用角点的全局唯一性存在来构造以IMU和CAM之间相对位姿为优化参数的最小二乘估计，以前面确定的IMU和CAM姿态为初始点进行迭代求解。
在本发明的一种实施例中，所述步骤S3中，在两帧图像之间，记录IMU数据并进行累加运算，获取两帧之间IMU的位姿变换，利用CAM和IMU之间固定的(R，T)变换关系，转换成CAM的位姿变换，再根据相机内参矩阵获得上一帧的特征坐标在当前帧的坐标；相机拍摄自然场景照片，提取出图像特征，计算出特征坐标，跟IMU获取的特征坐标进行对比，修正更新相机的当前位姿。
见图1，本发明还公开一种基于惯性数据和视觉特征的室内定位装置，包括：
惯性数据采集模块，由一系列惯性数据测量单元组成，实时感应IMU的旋转角度信息，加速度信息及平移速度信息；
图像处理模块，由一个工业摄像头组成，以25帧每秒的实时速率进行图像捕捉，在获取的图像上进行Harris、SIFT特征提取；
数据通信融合模块，实现各个传感器和主控模块的通信，其接口包括网口、USB和串口，由IMU获取的惯性数据和相机获取的图像数据进行数据处理后要进行时间戳对齐，包括时间戳插值和平滑；
多传感器位姿标定模块，需要使用固定尺寸的相机标定板，竖直固定放置，获取到重力加速度在相机坐标系和IMU坐标系的分量后，计算出CAM和IMU之间的姿态关系，再以IMU为中心建立运动模型，以相机为中心建立观测模型，以前面得到的姿态关系为初始值进行迭代计算，获得CAM/IMU相对位姿关系；
相机追踪模块，使用连续两帧图像之间的IMU数据进行迭代运算，利用CAM/IMU之间固定的相对位姿，得到相机当前位置的一个预测；再利用相机对同一个特征的观测信息，对相机的当前位置进行修正；利用预测和观测的协方差信息进行信息融合得到一个最小二乘意义下的最优估计作为当前相机位置的准确值；
硬件支持模块，包括相互连接的相机、IMU本体及后端计算平台；
数据可视化模块，包括但不限于图像特征、相机三维运动轨迹、特征反投影方差、相机运动方差数据的显示。
见图2，相机和IMU相对姿态示意图中，固定规格的标定板竖直放置，通过图像可以获取相机姿态，而IMU的姿态可以通过重力加速度在三轴上的分量获取，根据相机和IMU的姿态可以推算出相对姿态。
见图3，本发明中IMU/CAM坐标系标定实验方案主要步骤包括：
步骤一：使用已知规格的标定板竖直放置，获取标定板的图像，提取角点特征并进行亚像素差值，以相机模型到图像特征映射建立观测模型；
步骤二：实时监测IMU的惯性数据，包括角速度数据和加速度数据，并在两帧图像间隔内做积分运算，建立运动模型；
步骤三：把以IMU惯性数据建立的运动模型和以相机观测标定板建立的观测模型融入卡尔曼滤波框架，依据同一个特征在图像中的成像唯一性原则，构建一个最优化方程，以附图2提供的相对姿态为初值对IMU/CAM的姿态进行迭代求解。
见图4，本发明中纯相机和IMU辅助的图像特征跟踪验证试验，由对比结果可以看出融合IMU数据后，可以得到更好的特征跟踪效果，也验证附图3中标定算法的准确性和使用性。
见图5，本发明中基于惯性数据和视觉特征的相机跟踪原理主要包括如下步骤：
步骤一：使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片特征(Harris,SIFT特征)；
步骤二：记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像之间IMU的位置和姿态改变；
步骤三：根据IMU的姿态改变以及附图2标定出的相机和IMU之间固定位姿关系，推演出相机的位姿改变，在已知相机内参的情况下可以计算出上一帧的图像特征在当前帧中的图像坐标，根据CAM获取的图像信息提取出特征坐标，通过与IMU预测的图像坐标对比，对相机当前位姿进行更新修正。
见图6、图7a-图7c，融合惯性数据后的相机跟踪的平滑度，准确度以及鲁棒性都得到大幅提升。
以上对本发明实施例提供的一种基于惯性数据和视觉特征的室内定位技术和装置进行了详细介绍，本发明相比目前传统的单纯的相机跟踪技术，具有鲁棒性好，抗干扰能力强，精度高，同时节省缩小特征搜索范围，缩短特征搜寻时间等优势，适用于图像退化，少纹理区域等无法进行纯相机跟踪的场景。
以上所述仅是本发明的优选实施方式，而非对其限制；应当指出，尽管参照上述各实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，其依然可以对上述各实施例所记载的技术方案进行修改，或对其中部分或者全部技术特征进行等同替换；而这些修改和替换，并不使相应的技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.一种基于惯性数据和视觉特征的室内定位方法，其特征在于，包括如下步骤：
S1多传感器数据处理；
S101使用已知尺寸的标定板静态完成相机标定；
S102获取图像，并提取图像特征点：Harris、corner、sift特征；
S103IMU原始数据处理：大野外值滤除，零飘滤除；
S104对处理后的IMU数据进行一阶AR建模，并基于该模型进行卡尔曼滤波；
S2多传感器坐标系标定：
S201标定板竖直放置，使用IMU_CAM装置中的相机，在至少十个不同位姿下静止拍下至少十张照片；同时在拍摄每一张照片的静止位置，记录下至少十组IMU_CAM装置IMU的加速度数据，并进行相应的数据滤波；
S202利用竖直分量在相机坐标系和在IMU坐标系中的数值关系，计算出IMU坐标系和相机坐标系之间的姿态关系，作为联合标定的姿态初值；
S203使用卡尔曼滤波框架，IMU做运动模型，CAM做观测模型，CAM和IMU之间的刚体连接作为要估计的参数；在每两帧图像之间，计算IMU惯性数据的累积，包括速度和加速度引起的平移以及角速度引起的旋转，因为存在一个IMU到相机，相机到图像，图像到特征的一个映射关联，同时特征能够通过图像提取获得，依据同一个特征在图像中的成像唯一性原则，构建一个最优化方程，以第二步提供的姿态为初值进行迭代求解；
S3融合惯性数据和视觉特征的相机定位跟踪：
S301使用IMU_CAM装置中的相机拍摄自然场景，获取相机图片，提取出该帧图片特征，包括Harris、SIFT特征；
S302记录下连续两帧之间IMU的数据，并进行数据滤波，计算出连续两帧图像间IMU的位置和姿态改变；
S303根据IMU的姿态改变以及步骤2标定出的相机和IMU之间固定的位姿关系，推演出相机的位姿改变，在已知相机内参的情况下计算出上一帧的图像特征在当前帧中的图像坐标；根据CAM获取的图像信息提取出特征坐标，通过与IMU预测的图像坐标对比，对相机当前位姿进行更新修正。
2.根据权利要求1所述的一种基于惯性数据和视觉特征的室内定位方法，其特征在于，
所述步骤S1中，相机使用Ueyes工业相机，分辨率位640*480，帧率为25帧每秒；特征使用GoodFeature,每一帧都要把所有特征提取到，并将特征的图片坐标精确到亚像素；IMU使用MTI系列产品，数据输出频率在60-120帧每秒，帧率是相机帧率的2-4倍；IMU数据包括加速度，平移速度，旋转角速度；IMU原始数据处理包括最大最小值屏蔽，中间大野值丢弃；静态零飘获取，零飘消除；数据的一阶AR建模以及卡尔曼滤波。
3.根据权利要求1所述的一种基于惯性数据和视觉特征的室内定位方法，其特征在于，
所述步骤S2中，多传感器坐标系标定的过程使用标定板，先把标定板竖直放置，利用重力方向和标定板放置方向同向的属性，给出相机和IMU的相对姿态初值；IMU测得的惯性数据建立运动模型，相机获取标定板图像，提取角点特征作为观测模型，之后利用角点的全局唯一性存在来构造以IMU和CAM之间相对位姿为优化参数的最小二乘估计，以前面确定的IMU和CAM姿态为初始点进行迭代求解。
4.根据权利要求1所述的一种基于惯性数据和视觉特征的室内定位方法，其特征在于，
所述步骤S3中，在两帧图像之间，记录IMU数据并进行累加运算，获取两帧之间IMU的位姿变换，利用CAM和IMU之间固定的变换关系，转换成CAM的位姿变换，再根据相机内参矩阵获得上一帧的特征坐标在当前帧的坐标；相机拍摄自然场景照片，提取出图像特征，计算出特征坐标，跟IMU获取的特征坐标进行对比，修正更新相机的当前位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710544564.5A CN107255476B (zh) | 2017-07-06 | 2017-07-06 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710544564.5A CN107255476B (zh) | 2017-07-06 | 2017-07-06 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107255476A CN107255476A (zh) | 2017-10-17 |
| CN107255476B true CN107255476B (zh) | 2020-04-21 |
Family
ID=60026283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710544564.5A Active CN107255476B (zh) | 2017-07-06 | 2017-07-06 | 一种基于惯性数据和视觉特征的室内定位方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107255476B (zh) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019080052A1 (zh) * | 2017-10-26 | 2019-05-02 | 深圳市大疆创新科技有限公司 | 姿态标定方法、设备及无人飞行器 |
| CN109073407B (zh) * | 2017-10-26 | 2022-07-05 | 深圳市大疆创新科技有限公司 | 惯性测量单元的漂移标定方法、设备及无人飞行器 |
| CN107941167B (zh) * | 2017-11-17 | 2020-06-16 | 西南民族大学 | 一种基于无人机载具和结构光扫描技术的空间扫描***及其工作方法 |
| CN107862690B (zh) * | 2017-11-22 | 2023-11-14 | 佛山科学技术学院 | 一种基于特征点匹配的电路板元器件定位方法和定位装置 |
| CN108051002B (zh) * | 2017-12-04 | 2021-03-16 | 上海文什数据科技有限公司 | 基于惯性测量辅助视觉的运输车空间定位方法及*** |
| JP2021509214A (ja) * | 2017-12-18 | 2021-03-18 | エーエルティー リミティッド ライアビリティ カンパニー | 移動可能オブジェクトを光学的慣性追跡するための方法及びシステム |
| CN108107897B (zh) * | 2018-01-11 | 2021-04-16 | 驭势科技（北京）有限公司 | 实时传感器控制方法及装置 |
| CN108307174A (zh) * | 2018-01-26 | 2018-07-20 | 上海深视信息科技有限公司 | 一种深度图像传感器精度提升方法和*** |
| CN108399642B (zh) * | 2018-01-26 | 2021-07-27 | 上海深视信息科技有限公司 | 一种融合旋翼无人机imu数据的通用目标跟随方法和*** |
| CN108413917B (zh) * | 2018-03-15 | 2020-08-07 | 中国人民解放军国防科技大学 | 非接触式三维测量***、非接触式三维测量方法及测量装置 |
| US11202006B2 (en) * | 2018-05-18 | 2021-12-14 | Samsung Electronics Co., Ltd. | CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms |
| CN108765498B (zh) * | 2018-05-30 | 2019-08-23 | 百度在线网络技术（北京）有限公司 | 单目视觉跟踪方法、装置及存储介质 |
| CN108481327B (zh) * | 2018-05-31 | 2023-11-07 | 珠海一微半导体股份有限公司 | 一种增强视觉的定位装置、定位方法及机器人 |
| CN108544494B (zh) * | 2018-05-31 | 2023-10-24 | 珠海一微半导体股份有限公司 | 一种基于惯性和视觉特征的定位装置、方法及机器人 |
| CN108981690A (zh) * | 2018-06-07 | 2018-12-11 | 北京轻威科技有限责任公司 | 一种光惯融合定位方法、设备及*** |
| CN108898590B (zh) * | 2018-06-22 | 2022-03-29 | 浙江大学 | 一种应用于产品外形视觉检测的自身特征提取方法 |
| CN110720113A (zh) * | 2018-08-01 | 2020-01-21 | 深圳市大疆创新科技有限公司 | 一种参数处理方法、装置及摄像设备、飞行器 |
| CN108827315B (zh) * | 2018-08-17 | 2021-03-30 | 华南理工大学 | 基于流形预积分的视觉惯性里程计位姿估计方法及装置 |
| CN110147093A (zh) * | 2018-08-28 | 2019-08-20 | 北京初速度科技有限公司 | 基于自动驾驶电子导航地图的驾驶策略生成方法及装置 |
| CN109147058B (zh) * | 2018-08-31 | 2022-09-20 | 腾讯科技（深圳）有限公司 | 用于视觉惯导信息融合的初始化方法和装置以及存储介质 |
| CN110880189B (zh) * | 2018-09-06 | 2022-09-09 | 舜宇光学（浙江）研究院有限公司 | 联合标定方法及其联合标定装置和电子设备 |
| CN109141433A (zh) * | 2018-09-20 | 2019-01-04 | 江阴市雷奥机器人技术有限公司 | 一种机器人室内定位***及定位方法 |
| CN109506624B (zh) * | 2018-10-31 | 2021-11-02 | 台州职业技术学院 | 一种基于移动机器人的分布式视觉定位***及方法 |
| CN109579844B (zh) * | 2018-12-04 | 2023-11-21 | 电子科技大学 | 定位方法及*** |
| CN109341724B (zh) * | 2018-12-04 | 2023-05-05 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载相机-惯性测量单元相对位姿在线标定方法 |
| CN109827595B (zh) * | 2019-03-22 | 2020-12-01 | 京东方科技集团股份有限公司 | 室内惯性导航仪方向校准方法、室内导航装置及电子设备 |
| CN110095136B (zh) * | 2019-03-27 | 2023-12-01 | 苏州德沃物流科技有限公司 | 融合imu位姿修正的双目视觉三维重建标定装置和方法 |
| CN111982108B (zh) * | 2019-05-24 | 2024-07-16 | 北京京东乾石科技有限公司 | 移动机器人定位方法、装置、设备及存储介质 |
| WO2020237495A1 (zh) * | 2019-05-28 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 地面可移动平台与其运动信息检测方法、*** |
| WO2020237574A1 (zh) * | 2019-05-30 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 |
| CN112082544B (zh) * | 2019-06-12 | 2022-09-30 | 杭州海康汽车技术有限公司 | 一种imu数据补偿方法及装置 |
| CN110230983B (zh) * | 2019-07-16 | 2021-01-08 | 北京欧比邻科技有限公司 | 抗振式光学三维定位方法及装置 |
| CN112284399B (zh) * | 2019-07-26 | 2022-12-13 | 北京魔门塔科技有限公司 | 一种基于视觉和imu的车辆定位方法及车载终端 |
| CN110426725B (zh) * | 2019-07-29 | 2021-05-04 | 阎祯祺 | 一种精确定位室内用户移动终端的方法 |
| CN110411476B (zh) * | 2019-07-29 | 2021-03-23 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计标定适配及评价方法和*** |
| CN112414400B (zh) * | 2019-08-21 | 2022-07-22 | 浙江商汤科技开发有限公司 | 一种信息处理方法、装置、电子设备和存储介质 |
| CN110515381B (zh) * | 2019-08-22 | 2022-11-25 | 浙江迈睿机器人有限公司 | 用于定位机器人的多传感器融合算法 |
| CN110782496B (zh) * | 2019-09-06 | 2022-09-09 | 深圳市道通智能航空技术股份有限公司 | 标定方法、装置、航拍设备和存储介质 |
| CN112461258A (zh) * | 2019-09-06 | 2021-03-09 | 北京三快在线科技有限公司 | 一种参数修正的方法及装置 |
| US11181379B2 (en) * | 2019-09-12 | 2021-11-23 | Robert Bosch Gmbh | System and method for enhancing non-inertial tracking system with inertial constraints |
| WO2021056128A1 (en) * | 2019-09-23 | 2021-04-01 | Beijing Voyager Technology Co., Ltd. | Systems and methods for calibrating an inertial measurement unit and a camera |
| CN111595332B (zh) * | 2020-04-13 | 2023-05-09 | 宁波深寻信息科技有限公司 | 一种融合惯性技术与视觉建模的全环境定位方法 |
| CN111551191B (zh) * | 2020-04-28 | 2022-08-09 | 浙江商汤科技开发有限公司 | 传感器外参数标定方法及装置、电子设备和存储介质 |
| CN111595334B (zh) * | 2020-04-30 | 2022-01-28 | 东南大学 | 基于视觉点线特征与imu紧耦合的室内自主定位方法 |
| CN111623765B (zh) * | 2020-05-18 | 2022-07-01 | 清华大学 | 基于多模态数据的室内定位方法及*** |
| CN112037261A (zh) * | 2020-09-03 | 2020-12-04 | 北京华捷艾米科技有限公司 | 一种图像动态特征去除方法及装置 |
| CN112229398A (zh) * | 2020-09-03 | 2021-01-15 | 宁波诺丁汉大学 | 一种室内火灾逃生的导航***及其方法 |
| CN112263188B (zh) * | 2020-10-22 | 2022-04-05 | 湖南格兰博智能科技有限责任公司 | 一种移动机器人行进方向的矫正方法及其设备 |
| CN114979456B (zh) * | 2021-02-26 | 2023-06-30 | 影石创新科技股份有限公司 | 视频数据的防抖处理方法、装置、计算机设备和存储介质 |
| CN113436267B (zh) * | 2021-05-25 | 2023-07-14 | 影石创新科技股份有限公司 | 视觉惯导标定方法、装置、计算机设备和存储介质 |
| CN115046490B (zh) * | 2022-04-24 | 2023-03-31 | 同济大学 | 一种基于数据融合的结构层间变形监测装置及方法 |
| CN116645400B (zh) * | 2023-07-21 | 2023-12-08 | 江西红声技术有限公司 | 视觉及惯性混合位姿跟踪方法、***、头盔及存储介质 |
| CN117191011A (zh) * | 2023-08-17 | 2023-12-08 | 北京自动化控制设备研究所 | 基于惯性/视觉信息融合的目标尺度恢复方法 |
| CN117392518B (zh) * | 2023-12-13 | 2024-04-09 | 南京耀宇视芯科技有限公司 | 一种低功耗的视觉定位和建图芯片及其方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090262974A1 (en) * | 2008-04-18 | 2009-10-22 | Erik Lithopoulos | System and method for obtaining georeferenced mapping data |
| US8296063B1 (en) * | 2009-05-04 | 2012-10-23 | Exelis Inc. | Emergency rescue system and method having video and IMU data synchronization |
| CN104390643B (zh) * | 2014-11-24 | 2017-05-31 | 上海赛特斯信息科技股份有限公司 | 基于多信息融合实现室内定位的方法 |
| CN105486311B (zh) * | 2015-12-24 | 2019-08-16 | 青岛海通机器人***有限公司 | 室内机器人定位导航方法及装置 |
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| CN106052584B (zh) * | 2016-05-24 | 2017-07-04 | 上海工程技术大学 | 一种基于视觉及惯性信息融合的轨道空间线形测量方法 |
-
2017
- 2017-07-06 CN CN201710544564.5A patent/CN107255476B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107255476A (zh) | 2017-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107255476B (zh) | 一种基于惯性数据和视觉特征的室内定位方法和装置 | |
| CN107341831B (zh) | 一种imu辅助的视觉特征鲁棒跟踪方法及装置 | |
| US10984554B2 (en) | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium | |
| US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
| CN107341814B (zh) | 基于稀疏直接法的四旋翼无人机单目视觉测程方法 | |
| CN103020952B (zh) | 信息处理设备和信息处理方法 | |
| CN112304307A (zh) | 一种基于多传感器融合的定位方法、装置和存储介质 | |
| CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
| CN112461210B (zh) | 一种空地协同建筑测绘机器人***及其测绘方法 | |
| CN111968228B (zh) | 一种基于航空装配的增强现实自定位方法 | |
| WO2024045632A1 (zh) | 基于双目视觉和imu的水下场景三维重建方法及设备 | |
| CN111091587B (zh) | 一种基于视觉标志物的低成本动作捕捉方法 | |
| EP2959315A2 (en) | Generation of 3d models of an environment | |
| CN112880687A (zh) | 一种室内定位方法、装置、设备和计算机可读存储介质 | |
| CN110751123B (zh) | 一种单目视觉惯性里程计***及方法 | |
| CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
| CN114608561A (zh) | 一种基于多传感器融合的定位与建图方法及*** | |
| CN108900775B (zh) | 一种水下机器人实时电子稳像方法 | |
| Li et al. | A binocular MSCKF-based visual inertial odometry system using LK optical flow | |
| CN113361365A (zh) | 定位方法和装置、设备及存储介质 | |
| CN114199235B (zh) | 一种基于扇面深度相机的定位***及定位方法 | |
| CN110720113A (zh) | 一种参数处理方法、装置及摄像设备、飞行器 | |
| CN113701750A (zh) | 一种井下多传感器的融合定位*** | |
| CN113240597A (zh) | 基于视觉惯性信息融合的三维软件稳像方法 | |
| CN117115271A (zh) | 无人机飞行过程中的双目相机外参数自标定方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |