CN111928847A - 惯性测量单元位姿数据优化方法、装置及电子设备 - Google Patents
惯性测量单元位姿数据优化方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111928847A CN111928847A CN202011003452.7A CN202011003452A CN111928847A CN 111928847 A CN111928847 A CN 111928847A CN 202011003452 A CN202011003452 A CN 202011003452A CN 111928847 A CN111928847 A CN 111928847A
- Authority
- CN
- China
- Prior art keywords
- imu
- data
- module
- pose estimation
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
- G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Navigation (AREA)
Abstract
本申请是关于惯性测量单元位姿数据优化方法、装置及电子设备。该方法包括：获取车载相机模块采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据；对齐所述视频数据和所述IMU测量数据；确定视觉坐标系与所述IMU的世界坐标系之间的转换关系；根据所述视频数据，获得相机位姿估计数据；根据所述IMU测量数据，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据；融合所述相机位姿估计数据和IMU位姿估计数据，对IMU的偏差进行估计；基于IMU测量误差和视觉重投影误差建立目标函数；对所述目标函数求解得到优化的IMU位姿。本申请提供的方案，能够输出优化的IMU位姿估计，为导航提供更加精准的数据。
Description
技术领域
本申请涉及导航技术领域，尤其涉及惯性测量单元位姿数据优化方法、装置及电子设备。
背景技术
相当“黑匣子”的行车记录仪能够同时把汽车行驶全过程的时间、速度、所在位置都记录在视频数据里。
惯性导航的基本工作原理是以牛顿力学定律为基础，通过对IMU（InertialMeasurement Unit，惯性测量单元）的测量数据进行计算和转换，得到导航所需的速度、偏航角和位置等导航信息。相关技术的导航信息经过对IMU的测量数据积分而产生，定位误差随时间而增大，长期精度差；而且IMU使用之前的标定存在一定的难度。
发明内容
为克服相关技术中存在的问题，本申请提供一种惯性测量单元位姿数据优化方法、装置及电子设备，能够输出优化的IMU位姿估计，为导航提供更加精准的数据。
本申请第一方面提供一种惯性测量单元位姿数据优化方法，包括：
获取车载相机模块采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据；
对齐所述视频数据和所述IMU测量数据；
确定视觉坐标系与所述IMU的世界坐标系之间的转换关系；
根据所述视频数据，获得相机位姿估计数据；
根据所述IMU测量数据，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据；
融合所述相机位姿估计数据和IMU位姿估计数据，对IMU的偏差进行估计；
基于IMU测量误差和视觉重投影误差建立目标函数；
对所述目标函数求解得到优化的IMU位姿。
优选的，所述根据所述视频数据，获得相机位姿估计数据包括：选取所述视频数据的特征点符合预设条件的连续的两个关键图像帧进行特征点检测和匹配，择优选择计算获得所述相机位姿估计数据。
优选的，所述根据所述IMU测量数据，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据包括：对所述IMU测量数据进行预积分处理，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得所述IMU位姿估计数据。
优选的，所述对所述目标函数求解得到优化的IMU位姿包括：
使用迭代法对所述目标函数求解最小值得到优化的所述IMU位姿。
优选的，所述获取车载相机模块采集的视频数据包括：获取行车记录仪的相机采集的视频数据。
本申请第二方面提供一种惯性测量单元位姿数据优化装置，包括：
获取模块，用于获取车载相机模块采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据；
对齐模块，用于对齐所述获取模块获取的所述视频数据和所述IMU测量数据；
坐标确定模块，用于确定视觉坐标系与所述IMU的世界坐标系之间的转换关系；
相机位姿估计模块，用于根据所述获取模块获取的所述视频数据，获得相机位姿估计数据；
IMU位姿估计模块，用于根据所述获取模块获取的所述IMU测量数据，基于所述坐标确定模块确定的所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据；
融合模块，用于融合所述相机位姿估计模块获得的所述相机位姿估计数据和所述IMU位姿估计模块获得的所述IMU位姿估计数据，对IMU的偏差进行估计；
函数建立模块，用于基于IMU测量误差和视觉重投影误差建立目标函数；
函数求解模块，用于对所述函数建立模块建立的所述目标函数求解得到优化的IMU位姿。
优选的，所述相机位姿估计模块，还用于选取所述获取模块获取的所述视频数据的特征点符合预设条件的连续的两个关键图像帧进行特征点检测和匹配，择优选择计算获得所述相机位姿估计数据。
优选的，所述IMU位姿估计模块，还用于对所述获取模块获取的所述IMU测量数据进行预积分处理，基于所述坐标确定模块确定的所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得所述IMU位姿估计数据。
优选的，所述函数求解模块，还用于使用迭代法对所述函数建立模块建立的所述目标函数求解最小值得到优化的所述IMU位姿。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请提供的惯性测量单元位姿数据优化方法，通过获取车载相机模块采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据；对齐所述视频数据和所述IMU测量数据；确定视觉坐标系与所述IMU的世界坐标系之间的转换关系；根据所述视频数据，获得相机位姿估计数据；根据所述IMU测量数据，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据；融合所述相机位姿估计数据和IMU位姿估计数据，对IMU的偏差进行估计；基于IMU测量误差和视觉重投影误差建立目标函数；对所述目标函数求解得到优化的IMU位姿。本申请提供的惯性测量单元位姿数据优化方法，通过对行车记录仪的相机采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据进行位姿估计输出，将行车记录仪的视频数据和车载定位模块的IMU测量数据进行了数据融合，并建立利用重投影误差和IMU测量误差约束的目标函数，进而输出优化的IMU位姿估计，为导航提供更加精准的数据。
进一步的，本申请提供的惯性测量单元位姿数据优化方法，根据所述IMU测量数据，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据包括：对所述IMU测量数据进行预积分处理，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得所述IMU位姿估计数据。预积分算法可将积分增量与世界坐标系下的惯性状态解耦，避免对IMU测量数据的重复积分计算，减少计算复杂度并获取连续时间内的IMU测量误差。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的惯性测量单元位姿数据优化方法的流程示意图；
图2是本申请实施例示出的惯性测量单元位姿数据优化装置的结构示意图；
图3是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
本申请实施例提供一种惯性测量单元位姿数据优化方法，以紧耦合的方式融合行车记录仪的视频数据和IMU测量数据进行融合，能够输出优化的IMU位姿估计。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的惯性测量单元位姿数据优化方法的流程示意图。
参见图1，一种惯性测量单元位姿数据优化方法，包括：
在步骤101中，获取车载相机模块采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据。
本申请中，车辆上设置有相机模块（例如可以是但不限于行车记录仪的相机）和定位模块（例如可以是但不限于GPS定位模块）。
在一实施例中，获取行车记录仪的相机采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据。
在车辆行驶过程中，装配在车辆上的行车记录仪的相机和定位模块的IMU传感器均进行数据采集，行车记录仪采集视频数据，IMU传感器采集IMU测量数据。
在步骤102中，对齐视频数据和IMU测量数据。
在一实施例中，按时间戳对齐视频数据和IMU测量数据，将视频数据与IMU测量数据同步。
在步骤103中，确定视觉坐标系与IMU的世界坐标系之间的转换关系。
在一实施例中，若选取k时刻的图像帧计算行车记录仪的相机位姿估计数据，可以将与k时刻的图像帧对应的IMU帧的加速度计读数作为重力加速度。
以k时刻的图像帧为静止图像帧，则该静止图像帧的位置即为视觉坐标系的原点，将该静止图像帧的位置与姿态作为视觉坐标系，该静止图像帧也是此***的视觉第一帧，将与此静止图像帧对应的IMU帧的位置与姿态作为IMU的世界坐标系，同时该IMU帧也是此***的IMU第一帧，此时，相机与IMU的外参矩阵为视觉坐标系与IMU的世界坐标系的转换关系。
在步骤104中，根据视频数据，获得相机位姿估计数据。
在一实施例中，选取视频数据的特征点符合预设条件（例如特征点数目超过预设值）的连续的两个关键图像帧进行特征点检测和匹配，择优选择计算得到行车记录仪相机的相机位姿估计数据。
相机位姿数据（即视觉位姿数据）包括位置数据和姿态数据，位置数据指行车记录仪的相机位置，通常用平移向量表示；姿态数据指行车记录仪的相机姿态，通常用相机旋转矩阵或者相机旋转四元数表示。位姿数据也可以用同时包含位置信息和姿态信息的变换矩阵表示。
在一实施例中，选择k和k+1时刻的相邻两个关键图像帧之间特征点的像素位置，择优选择计算得到k+1时刻的行车记录仪相机的相机位姿估计数据。
在步骤105中，根据IMU测量数据，基于视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据。
在一实施例中，获取IMU传感器的IMU测量数据，IMU测量数据包括三轴加速度和三轴角速度，对IMU测量数据进行预积分处理得到当前时刻的IMU位置、速度和旋转。预积分指的是把k和k+1时刻之间的IMU测量数据积分成相对运动的约束。
根据上述步骤103确定的视觉坐标系与IMU的世界坐标系之间的转换关系，对k时刻的IMU测量数据进行预积分处理，推算得到k+1时刻的IMU的IMU位置、速度和旋转。
预积分算法可将积分增量与世界坐标系下的惯性状态解耦，避免对IMU测量数据的重复积分计算，减少计算复杂度并获取连续时间内的IMU测量误差。
在步骤106中，融合相机位姿估计数据和IMU位姿估计数据，对IMU的偏差进行估计。
在一实施例中，IMU的偏差包括陀螺仪偏差和加速度偏差。
在一实施例中，根据k和k+1时刻的两个相邻关键图像帧计算两帧之间的旋转，对比利用IMU预积分处理得到的旋转，以偏差为变量，最小化两者的差值即可得到陀螺仪偏差。
在一实施例中，利用陀螺仪偏差估计结果，对尺度和重力加速度进行估计。
对于k、k+1和k+2时刻的图像帧之间的两两关系，利用两两之间的预积分测量值，推算得到尺度和重力加速度估计。
在一实施例中，利用尺度和重力加速度估计的结果，对IMU加速度偏差进行估计。
根据k、k+1和k+2时刻的图像帧之间的两两关系，利用尺度和重力加速度估计的结果，推算得到IMU加速度偏差。
在步骤107中，基于IMU测量误差和视觉重投影误差建立目标函数。
在一实施例中，IMU测量误差定义为k和k+1时刻两帧之间IMU位置、速度、旋转、陀螺仪偏差和加速度偏差的误差项。
重投影误差是像素坐标（观测到的投影位置）与三维空间点按照当前估计的位姿进行投影得到的位置相比较得到的误差。通过特征点匹配，观测值P1和P2是同一个三维空间点P在k和k+1时刻的两个关键图像帧的投影，P的投影'P2与观测值P2之间有一定的距离，也就是重投影误差。
建立相邻两个关键帧之间利用重投影误差和IMU测量误差约束的目标函数。
在步骤108中，对目标函数求解得到优化的IMU位姿。
在一实施例中，可以将k和k+1时刻的两个关键帧之间的IMU测量误差和重投影误差加在一起构成目标函数，使用迭代法对目标函数求解最小值得到当前帧的最优的IMU位姿。
本申请提供的惯性测量单元位姿数据优化方法，通过对行车记录仪的相机采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据进行位姿估计输出，将行车记录仪的视频数据和车载定位模块的IMU测量数据进行了数据融合，并建立利用重投影误差和IMU测量误差约束的目标函数，进而输出优化的IMU位姿估计，为导航提供更加精准的数据。
进一步的，本申请提供的惯性测量单元位姿数据优化方法，根据IMU测量数据，基于视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据包括：对IMU测量数据进行预积分处理，基于视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据。预积分算法可将积分增量与世界坐标系下的惯性状态解耦，避免对IMU测量数据的重复积分计算，减少计算复杂度并获取连续时间内的IMU测量误差。
与前述应用功能实现方法实施例相对应，本申请还提供了一种惯性测量单元位姿数据优化装置、电子设备及相应的实施例。
图2是本申请实施例示出的惯性测量单元位姿数据优化装置的结构示意图。
参见图2，一种惯性测量单元位姿数据优化装置，包括：获取模块201、对齐模块202、坐标确定模块203、相机位姿估计模块204、IMU位姿估计模块205、融合模块206、函数建立模块207、函数求解模块208。
在一实施例中，获取模块201，用于获取车载相机模块采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据。
本申请中，车辆上设置有相机模块（例如可以是但不限于行车记录仪的相机）和定位模块（例如可以是但不限于GPS定位模块）。
在一实施例中，获取模块201用于获取行车记录仪的相机采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据。
在车辆行驶过程中，装配在车辆上的行车记录仪的相机和定位模块的IMU传感器均进行数据采集，行车记录仪采集视频数据，IMU传感器采集IMU测量数据。
在一实施例中，对齐模块202，用于对齐获取模块201获取的视频数据和IMU测量数据。
在一实施例中，对齐模块202按时间戳对齐获取模块201获取的视频数据和IMU测量数据，将视频数据与IMU测量数据同步。
在一实施例中，坐标确定模块203，用于确定视觉坐标系与IMU的世界坐标系之间的转换关系。
在一实施例中，若选取k时刻的图像帧计算行车记录仪的相机位姿估计数据，可以将与k时刻的图像帧对应的IMU帧的加速度计读数作为重力加速度。
坐标确定模块203以k时刻的图像帧为静止图像帧，则该静止图像帧的位置即为视觉坐标系的原点，将该静止图像帧的位置与姿态作为视觉坐标系，该静止图像帧也是此***的视觉第一帧，将与此静止图像帧对应的IMU帧的位置与姿态作为IMU的世界坐标系，同时该IMU帧也是此***的IMU第一帧，此时，坐标确定模块203确定相机与IMU的外参矩阵为视觉坐标系与IMU的世界坐标系的转换关系。
在一实施例中，相机位姿估计模块204，用于根据获取模块201获取的视频数据，获得相机位姿估计数据。
在一实施例中，相机位姿估计模块204选取视频数据的特征点符合预设条件（例如特征点数目超过预设值）的连续的两个关键图像帧进行特征点检测和匹配，择优选择计算得到行车记录仪相机的相机位姿估计数据。
相机位姿数据（即视觉位姿数据）包括位置数据和姿态数据，位置数据指行车记录仪的相机位置，通常用平移向量表示；姿态数据指行车记录仪的相机姿态，通常用相机旋转矩阵或者相机旋转四元数表示。位姿数据也可以用同时包含位置信息和姿态信息的变换矩阵表示。
在一实施例中，相机位姿估计模块204选择k和k+1时刻的相邻两个关键图像帧之间特征点的像素位置，择优选择计算得到k+1时刻的行车记录仪相机的相机位姿估计数据。
在一实施例中，IMU位姿估计模块205，用于根据获取模块201获取的IMU测量数据，基于坐标确定模块203确定的视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据。
在一实施例中，获取模块201获取IMU传感器的IMU测量数据，IMU测量数据包括三轴加速度和三轴角速度，IMU位姿估计模块205对IMU测量数据进行预积分处理得到当前时刻的IMU位置、速度和旋转。预积分指的是把k和k+1时刻之间的IMU测量数据积分成相对运动的约束。
根据坐标确定模块203确定的视觉坐标系与IMU的世界坐标系之间的转换关系，IMU位姿估计模块205对k时刻的IMU测量数据进行预积分处理，推算得到k+1时刻的IMU的IMU位置、速度和旋转。
预积分算法可将积分增量与世界坐标系下的惯性状态解耦，避免对IMU测量数据的重复积分计算，减少计算复杂度并获取连续时间内的IMU测量误差。
在一实施例中，融合模块206，用于融合相机位姿估计模块204获得的相机位姿估计数据和IMU位姿估计模块205获得的IMU位姿估计数据，对IMU的偏差进行估计。
在一实施例中，IMU的偏差包括陀螺仪偏差和加速度偏差。
在一实施例中，融合模块206根据k和k+1时刻的两个相邻关键图像帧计算两帧之间的旋转，对比利用IMU预积分处理得到的旋转，以偏差为变量，最小化两者的差值即可得到陀螺仪偏差。
在一实施例中，融合模块206利用陀螺仪偏差估计结果，对尺度和重力加速度进行估计。
融合模块206对于k、k+1和k+2时刻的图像帧之间的两两关系，利用两两之间的预积分测量值，推算得到尺度和重力加速度估计。
在一实施例中，融合模块206利用尺度和重力加速度估计的结果，对IMU加速度偏差进行估计。
融合模块206根据k、k+1和k+2时刻的图像帧之间的两两关系，利用尺度和重力加速度估计的结果，推算得到IMU加速度偏差。
在一实施例中，函数建立模块207，用于基于IMU测量误差和视觉重投影误差建立目标函数。
在一实施例中，IMU测量误差定义为k和k+1时刻两帧之间IMU位置、速度、旋转、陀螺仪偏差和加速度偏差的误差项。
重投影误差是像素坐标（观测到的投影位置）与三维空间点按照当前估计的位姿进行投影得到的位置相比较得到的误差。通过特征点匹配，观测值P1和P2是同一个三维空间点P在k和k+1时刻的两个关键图像帧的投影，P的投影'P2与观测值P2之间有一定的距离，也就是重投影误差。
函数建立模块207建立相邻两个关键帧之间利用重投影误差和IMU测量误差约束的目标函数。
在一实施例中，函数求解模块208，用于对函数建立模块207建立的目标函数求解得到优化的IMU位姿。
在一实施例中，函数建立模块207可以将k和k+1时刻的两个关键帧之间的IMU测量误差和重投影误差加在一起构成目标函数，函数求解模块208使用迭代法对目标函数求解最小值得到当前帧的最优的IMU位姿。
本申请提供的技术方案，通过对行车记录仪的相机采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据进行位姿估计输出，将行车记录仪的视频数据和车载定位模块的IMU测量数据进行了数据融合，并建立利用重投影误差和IMU测量误差约束的目标函数，进而输出优化的IMU位姿估计，为导航提供更加精准的数据。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图3是本申请实施例示出的电子设备的结构示意图。
参见图3，电子设备30包括存储器301和处理器302。
处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器301可以包括各种类型的存储单元，例如***内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器302或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。***内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。***内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器301可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器301可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器301上存储有可执行代码，当可执行代码被处理器302处理时，可以使处理器302执行上文述及的方法中的部分或全部。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的***和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种惯性测量单元位姿数据优化方法，其特征在于，包括：
获取车载相机模块采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据；
对齐所述视频数据和所述IMU测量数据；
确定视觉坐标系与所述IMU的世界坐标系之间的转换关系；
根据所述视频数据，获得相机位姿估计数据；
根据所述IMU测量数据，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据；
融合所述相机位姿估计数据和IMU位姿估计数据，对IMU的偏差进行估计；
基于IMU测量误差和视觉重投影误差建立目标函数；
对所述目标函数求解得到优化的IMU位姿。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视频数据，获得相机位姿估计数据包括：选取所述视频数据的特征点符合预设条件的连续的两个关键图像帧进行特征点检测和匹配，择优选择计算获得所述相机位姿估计数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述IMU测量数据，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据包括：对所述IMU测量数据进行预积分处理，基于所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得所述IMU位姿估计数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述目标函数求解得到优化的IMU位姿包括：
使用迭代法对所述目标函数求解最小值得到优化的所述IMU位姿。
5.根据权利要求1所述的方法，其特征在于，所述获取车载相机模块采集的视频数据包括：获取行车记录仪的相机采集的视频数据。
6.一种惯性测量单元位姿数据优化装置，其特征在于，包括：
获取模块，用于获取车载相机模块采集的视频数据和车载定位模块的IMU传感器采集的IMU测量数据；
对齐模块，用于对齐所述获取模块获取的所述视频数据和所述IMU测量数据；
坐标确定模块，用于确定视觉坐标系与所述IMU的世界坐标系之间的转换关系；
相机位姿估计模块，用于根据所述获取模块获取的所述视频数据，获得相机位姿估计数据；
IMU位姿估计模块，用于根据所述获取模块获取的所述IMU测量数据，基于所述坐标确定模块确定的所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得IMU位姿估计数据；
融合模块，用于融合所述相机位姿估计模块获得的所述相机位姿估计数据和所述IMU位姿估计模块获得的所述IMU位姿估计数据，对IMU的偏差进行估计；
函数建立模块，用于基于IMU测量误差和视觉重投影误差建立目标函数；
函数求解模块，用于对所述函数建立模块建立的所述目标函数求解得到优化的IMU位姿。
7.根据权利要求6所述的装置，其特征在于：所述相机位姿估计模块，还用于选取所述获取模块获取的所述视频数据的特征点符合预设条件的连续的两个关键图像帧进行特征点检测和匹配，择优选择计算获得所述相机位姿估计数据。
8.根据权利要求6所述的装置，其特征在于：所述IMU位姿估计模块，还用于对所述获取模块获取的所述IMU测量数据进行预积分处理，基于所述坐标确定模块确定的所述视觉坐标系与IMU的世界坐标系之间的转换关系，获得所述IMU位姿估计数据。
9.根据权利要求6所述的装置，其特征在于：所述函数求解模块，还用于使用迭代法对所述函数建立模块建立的所述目标函数求解最小值得到优化的所述IMU位姿。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011003452.7A CN111928847A (zh) | 2020-09-22 | 2020-09-22 | 惯性测量单元位姿数据优化方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011003452.7A CN111928847A (zh) | 2020-09-22 | 2020-09-22 | 惯性测量单元位姿数据优化方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111928847A true CN111928847A (zh) | 2020-11-13 |
Family
ID=73333599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011003452.7A Pending CN111928847A (zh) | 2020-09-22 | 2020-09-22 | 惯性测量单元位姿数据优化方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111928847A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112362084A (zh) * | 2020-11-23 | 2021-02-12 | 北京三快在线科技有限公司 | 一种数据标定方法、装置及数据标定*** |
| CN113587934A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市普渡科技有限公司 | 一种机器人、室内定位方法、装置和可读存储介质 |
| CN114500842A (zh) * | 2022-01-25 | 2022-05-13 | 维沃移动通信有限公司 | 视觉惯性标定方法及其装置 |
| CN115690194A (zh) * | 2022-10-17 | 2023-02-03 | 广州赤兔宸行科技有限公司 | 一种车载xr设备定位方法、装置、设备及存储介质 |
| WO2023109249A1 (zh) * | 2021-12-13 | 2023-06-22 | 成都拟合未来科技有限公司 | 一种imu数据与视频数据对齐的方法及*** |
| CN116801303A (zh) * | 2023-07-27 | 2023-09-22 | 测速网技术(南京)有限公司 | 一种基于ARCore的室内信号强度检测方法及设备 |
| WO2024087066A1 (zh) * | 2022-10-26 | 2024-05-02 | 北京小米移动软件有限公司 | 图像定位方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107688184A (zh) * | 2017-07-24 | 2018-02-13 | 宗晖（上海）机器人有限公司 | 一种定位方法以及*** |
| CN108303099A (zh) * | 2018-06-14 | 2018-07-20 | 江苏中科院智能科学技术应用研究院 | 基于三维视觉slam的无人机室内自主导航方法 |
| US20180328735A1 (en) * | 2014-06-19 | 2018-11-15 | Regents Of The University Of Minnesota | Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps |
| CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
| CN110345944A (zh) * | 2019-05-27 | 2019-10-18 | 浙江工业大学 | 融合视觉特征和imu信息的机器人定位方法 |
-
2020
- 2020-09-22 CN CN202011003452.7A patent/CN111928847A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180328735A1 (en) * | 2014-06-19 | 2018-11-15 | Regents Of The University Of Minnesota | Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps |
| CN107688184A (zh) * | 2017-07-24 | 2018-02-13 | 宗晖（上海）机器人有限公司 | 一种定位方法以及*** |
| CN108303099A (zh) * | 2018-06-14 | 2018-07-20 | 江苏中科院智能科学技术应用研究院 | 基于三维视觉slam的无人机室内自主导航方法 |
| CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
| CN110345944A (zh) * | 2019-05-27 | 2019-10-18 | 浙江工业大学 | 融合视觉特征和imu信息的机器人定位方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112362084A (zh) * | 2020-11-23 | 2021-02-12 | 北京三快在线科技有限公司 | 一种数据标定方法、装置及数据标定*** |
| CN113587934A (zh) * | 2021-07-30 | 2021-11-02 | 深圳市普渡科技有限公司 | 一种机器人、室内定位方法、装置和可读存储介质 |
| CN113587934B (zh) * | 2021-07-30 | 2024-03-19 | 深圳市普渡科技有限公司 | 一种机器人、室内定位方法、装置和可读存储介质 |
| WO2023109249A1 (zh) * | 2021-12-13 | 2023-06-22 | 成都拟合未来科技有限公司 | 一种imu数据与视频数据对齐的方法及*** |
| CN114500842A (zh) * | 2022-01-25 | 2022-05-13 | 维沃移动通信有限公司 | 视觉惯性标定方法及其装置 |
| CN115690194A (zh) * | 2022-10-17 | 2023-02-03 | 广州赤兔宸行科技有限公司 | 一种车载xr设备定位方法、装置、设备及存储介质 |
| CN115690194B (zh) * | 2022-10-17 | 2023-09-19 | 广州赤兔宸行科技有限公司 | 一种车载xr设备定位方法、装置、设备及存储介质 |
| WO2024087066A1 (zh) * | 2022-10-26 | 2024-05-02 | 北京小米移动软件有限公司 | 图像定位方法、装置、电子设备及存储介质 |
| CN116801303A (zh) * | 2023-07-27 | 2023-09-22 | 测速网技术(南京)有限公司 | 一种基于ARCore的室内信号强度检测方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111928847A (zh) | 惯性测量单元位姿数据优化方法、装置及电子设备 | |
| US10788830B2 (en) | Systems and methods for determining a vehicle position | |
| CN109443348B (zh) | 一种基于环视视觉和惯导融合的地下车库库位跟踪方法 | |
| US11227168B2 (en) | Robust lane association by projecting 2-D image into 3-D world using map information | |
| CN100417197C (zh) | 位置姿势测量方法及装置 | |
| CN109669202A (zh) | 位置估计装置和方法 | |
| JP6152511B2 (ja) | 携帯端末装置、プログラムおよび補正方法 | |
| US20080319664A1 (en) | Navigation aid | |
| Wang et al. | Automated road sign inventory system based on stereo vision and tracking | |
| CN111928869B (zh) | 车辆运动轨迹估计方法、装置及电子设备 | |
| US8467612B2 (en) | System and methods for navigation using corresponding line features | |
| JP2013511729A (ja) | 慣性測定ユニット（ｉｍｕ）のための空間整合判断 | |
| CN110207693B (zh) | 一种鲁棒立体视觉惯性预积分slam方法 | |
| CN112461269B (zh) | 惯性测量单元标定方法、设备及服务器 | |
| CN112130188B (zh) | 车辆定位方法、设备及云服务器 | |
| WO2022205623A1 (zh) | 惯性测量传感器的零偏的补偿方法 | |
| CN111784784B (zh) | Imu内参的标定方法、装置、电子设备仪及存储介质 | |
| CN105324792A (zh) | 用于估计移动元件相对于参考方向的角偏差的方法 | |
| KR20050097618A (ko) | Ｇｐｓ및 ｉｎｓ를 이용한 수치지도 제작 시스템 및 방법 | |
| CN115135963A (zh) | 用于在场景地图中生成3d参考点的方法 | |
| CN116540286B (zh) | 基于非完整性约束的多源鲁棒融合定位方法 | |
| Panahandeh et al. | Vision-aided inertial navigation using planar terrain features | |
| CN112348903B (zh) | 行车记录仪外参数标定方法、装置及电子设备 | |
| CN111539982A (zh) | 一种移动平台中基于非线性优化的视觉惯导初始化方法 | |
| US20230236216A1 (en) | System and method for estimating a velocity of a vehicle using inertial sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201113 |