CN111275769A - 一种单目视觉参数的校正方法及装置 - Google Patents
一种单目视觉参数的校正方法及装置 Download PDFInfo
- Publication number
- CN111275769A CN111275769A CN202010052244.XA CN202010052244A CN111275769A CN 111275769 A CN111275769 A CN 111275769A CN 202010052244 A CN202010052244 A CN 202010052244A CN 111275769 A CN111275769 A CN 111275769A
- Authority
- CN
- China
- Prior art keywords
- data
- scale factor
- external reference
- image acquisition
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012937 correction Methods 0.000 title claims abstract description 28
- 238000005259 measurement Methods 0.000 claims abstract description 81
- 230000015654 memory Effects 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种单目视觉参数的校正方法，包括：确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；基于所述第一尺度因子对下一时刻的输入数据进行校正。同时，本申请还提供一种单目视觉参数的校正装置。
Description
技术领域
本申请涉及视觉参数的校正技术，尤其涉及一种单目视觉参数的校正方法及装置。
背景技术
增强现实(AR，Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，在AR领域中，单目视觉惯性里程计VIO(Visual Inertial Odometry)***是即时定位与地图构建(SLAM，simultaneous localization and mapping)的主流方案。在实际应用中，由于惯性测量单元(IMU，Inertial measurement unit)的尺度原本就有一定的不确定性，且会随着***运行时间的增长持续发生变化，单目VIO***得到的轨迹也时常会面临尺度漂移问题。具体表现为单目VIO***输出的轨迹在形状上较为准确，但在尺度上相比实际运动轨迹偏大或偏小。
发明内容
有鉴于此，本申请实施例期望提供
为达到上述目的，本申请的技术方案是这样实现的：
根据本申请的一方面，提供一种单目视觉参数的校正方法，包括：
确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；
将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；
基于所述第一尺度因子对下一时刻的输入数据进行校正。
上述方案中，在所述确定当前时刻对应的第一外参数据之前，所述方法还包括
对所述图像采集单元和所述惯性测量单元进行标定，得到所述第二外参数据，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的位置关系。
上述方案中，所述确定当前时刻对应的第一外参数据，包括：
获取所述图像采集单元在当前时刻采集的图像数据；
基于所述图像数据中的三维空间点和所述第二外参数据，确定所述三维空间点在当前时刻对应的第一位姿数据；
将所述第一位姿数据与所述三维空间点在相邻时刻对应的第二位姿数据进行比较，得到所述第一外参数据。
上述方案中，所述将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，包括：
确定所述第一外参数据与所述第二外参数据的尺度变化值；
将所述尺度变化值确定为当前时刻对应的第一尺度因子。
上述方案中，所述基于所述第一尺度因子对下一时刻的输入数据进行校正，包括：
获取所述惯性测量单元在下一时刻采集到的运动数据；
基于所述运动数据与所述第一尺度因子，确定所述运动数据对应的真实轨迹数据。
上述方案中，所述基于所述运动数据与所述第一尺度因子，确定所述运动数据对应的真实轨迹数据，包括：
计算所述运动数据与所述第一尺度因子之间的商值；
基于所述商值对所述运动数据进行校正，以得到所述运动数据对应的真实轨迹数据。
上述方案中，所述运动数据至少包括：加速度数据、角速度数据、当前时刻与上一时刻之间的距离数据中的至少一个。
上述方案中，所述方法还包括：
在下一时刻获取对应的第三外参数据，所述第三外参数据表征所述图像采集单元和所述惯性测量单元在所述下一时刻的位置关系；
将所述第三外参数据与所述第一外参数据进行比较，得到对应所述下一时刻的第二尺度因子；
基于所述第二尺度因子对下一时刻的输入数据进行校正。
根据本申请的另一方面，提供一种单目视觉参数的校正装置，包括：
确定单元，用于确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；
比较单元，用于将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；
校正单元，用于基于所述第一尺度因子对下一时刻的输入数据进行校正。
根据本申请的第三方面，提供一种单目视觉参数的校正装置，包括：存储器、处理器以及存储在存储器被处理器运行的可响应程序，其特征在于，所述处理器运行所述可响应程序时响应如权利要求1至8任一项所述的校正方法的步骤。
本申请提供的一种单目视觉参数的校正方法及装置，通过确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元和所述惯性测量单元的初始位置关系；基于所述第一尺度因子对下一时刻的输入数据进行校正。如此，通过图像采集单元采集的图像数据和惯性测量单元采集的运动数据相结合，对下一时刻惯性测量单元采集的运动数据进行校正，能够在不增加额外的硬件成本的情况下，解决IMU尺度不准确导致轨迹尺度漂移问题，提高设备的稳定性和准确度。
附图说明
图1为本申请中单目视觉参数的校正方法的流程实现示意图一；
图2为本申请中单目视觉参数的校正方法的流程实现示意图二；
图3为本申请中单目视觉参数的校正装置的结构组成示意图一；
图4为本申请中单目视觉参数的校正装置的结构组成示意图二；
图5是本申请中单目视觉参数的校正装置的结构组成示意图三。
具体实施方式
以下结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述。
图1为本申请中单目视觉参数的校正方法的流程实现示意图一，如图1所示，该校正方法包括：
步骤101、确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；
这里，该方法主要应用于AR设备，该AR设备可以是手机、AR眼镜、平板电脑、智能手表、投影仪等等。该AR设备可以包括有图像采集单元和惯性测量单元(IMU)，通过该图像采集单元可以采集该AR设备在当前时刻对应的图像数据，通过该惯性测量单元可以采集该AR设备在当前时刻的运动数据。例如，该运动数据包括加速度数据、角速度数据、当前时刻与上一时刻之间的距离数据等等。
本申请中，该AR设备通过该图像采集单元采集当前时刻对应的图像数据，通过该图像数据和该图像采集单元相对该惯性测量单元的初始位置关系，可以确定当前时刻该图像采集单元相对该惯性测量单元的第一外参数据。
这里，该第一外参数据表征该AR设备中该图像采集单元相对惯性测量单元在当前时刻的位置关系。该图像采集单元相对该惯性测量单元的初始位置关系可以包括有该图像采集单元相对该惯性测量单元的三维旋转角度关系和三维平移距离关系等等。
该图像采集单元具体可以是单目相机、图像采集卡、图像采集芯片等等中的至少一种。
本申请中，该AR设备在确定当前时刻对应的第一外参数据时，通过该AR设备内的图像采集单元在当前时刻采集图像数据，可以获取到该AR设备在当前时刻对应的图像数据，通过将该图像数据投影到相机坐标系中，可以得到该图像数据在相机坐标系中对应的三维空间点；基于该三维空间点和该图像采集单元相对该惯性测量单元的第二外参数据，可以确定出该三维空间点在当前时刻对应的第一位姿数据；将该第一位姿数据与该三维空间点在相邻时刻对应的第二位姿数据进行比较，得到该第一外参数据。
这里，该第二外参数据表征该图像采集单元相对该惯性测量单元的初始位置关系。该第二位姿数据可以是预设的初始位姿数据，也可以是通过与第一位姿数据相同的获取方式获取到的位姿数据。
本申请中，AR设备在确定当前时刻该图像采集单元相对该惯性测量单元的第一外参数据之前，还需要对该图像采集单元和该惯性测量单元进行标定，根据标定结果得到该图像采集单元相对该惯性测量单元的第二外参数据，这里，该第二外参数据表征该图像采集单元相对该惯性测量单元的初始位置关系。并且，在该第二外参数据中包括有该图像采集单元相对该惯性测量单元的三维旋转矩阵R和三维平移向量T。通过该三维旋转矩阵R和三维平移向量T，可以将当前时刻该图像采集单元坐标系下的图像特征点数据转换成该惯性测量单元(IMU)坐标系下的图像特征点数据。
例如，在AR设备装配完成后，通过对图像采集单元和惯性测量单元进行标定，得到该图像采集单元相对该惯性测量单元的三维旋转矩阵R(表示四个点数据)和三维平移向量T，然后，通过图像采集单元采集当前时刻的图像数据，通过将该图像数据投影到相机坐标系下，可以获得该图像数据在相机坐标系下的三维空间点p_c，然后，通过R和T可以将三维空间点p_c转换到IMU坐标系，从而得到IMU坐标系下的三维空间点p_b。该转换公式可以是：p_b＝R*p_c+T，这里，该R和该T可以就是该图像采集单元相对该惯性测量单元的初始位置参考值。
本申请中，对图像采集单元和惯性测量单元进行标定，具体可以通过标定工具Kalibr实现，具体Kalibr的标定过程如下：
第一，安装Kalibr工具；
安装好Kalibr工具之后，开始准备标定板。其中，在Kalibr工具中适用于三种标定板，分别是：Aprilgrid、Checkerboard和Circlegrid。其中Checkboard最常用，但是Aprilgird精度最好，因为它可以提供序号信息，能够防止姿态计算时出现跳跃的情况。
第二、标定板打印；
将Kalibr标定所需要的标定板打印下来，测量标定板中棋盘格的长度间距。
第三、数据采集；
制作好标定板之后，就可以使用AR设备中的图像采集单元对标定板进行数据采集，采集时可以从多个角度拍摄，以得到标定数据。这里，该标定数据包括标定板的图像数据和该图像数据在相机坐标系下的图像特征点对应于IMU坐标系下的IMU数据。
第四、输出外参数据；
将得到的棋盘格长度数据和标定数据输入到Kalibr工具中，Kalibr经过计算输出对应该AR设备中图像采集单元和IMU的外参数据。
步骤102，将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；
本申请中，AR设备在实际运动中，图像采集单元相对惯性测量单元的位置关系会发生微小变化，因此，AR设备需要在运行中持续地对图像采集单元相对惯性测量单元的外参数据进行优化调整，且优化出的结果会处于外参参考数据的附近。当然，也可以说是AR设备中安装的VIO***需要在运行中持续地对图像采集单元相对惯性测量单元的外参数据进行优化调整。
当AR设备在运动过程中，AR设备中的惯性测量单元(IMU)获得的运动信息会相比实际运动信息发生尺度漂移，也就是说，AR设备中的惯性测量单元(IMU)得到的AR设备的运动信息(包括加速度a，速度v，距离d)相比实际运动信息应当都差了一个尺度因子λ，即变成了λa、λv、λd。而AR设备中的图像采集单元相对惯性测量单元的外参数据也会因为IMU获得的运动尺度发生变化而变化，从而在经过VIO***的优化后，该尺度因子也会作用在该外参数据上，变成λT。而通过之前对图像采集单元相对惯性测量单元的位置进行的标定，可以得到图像采集单元相对惯性测量单元的外参原始值R和T，这样，通过该R和T就可以确定出每一时刻t实时的尺度因子λ。
本申请中，为了消除AR设备在实际运动过程中，发生的运动轨迹尺度漂移问题。该AR设备在得到图像采集单元相对惯性测量单元的第一外参数据之后，需要将该第一外参数据与该第二外参数据进行比较，得到当前时刻对应的第一尺度因子，基于该第一尺度因子去除尺度漂移对AR设备中单目VIO***的影响。
本申请中，AR设备在将该第一外参数据与该第二外参数据进行比较，以得到当前时刻对应的第一尺度因子时，具体还可以是先确定该第一外参数据与该第二外参数据的尺度变化值；然后将该尺度变化值确定为当前时刻对应的第一尺度因子。
例如，该AR设备可以通过计算第一外参数据与该第二外参数据之间的商值，将计算的商值作为该当前时刻对应的第一尺度因子。
这时，该商值就是该第一外参数据与该第二外参数据的尺度变化值。
当然也可以通过计算第一外参数据与该第二外参数据之间的差值，将计算的差商值作为该当前时刻对应的第一尺度因子。
这时，该差值就是该第一外参数据与该第二外参数据的尺度变化值。
步骤103、基于所述第一尺度因子对下一时刻的输入数据进行校正。
这里，AR设备在基于第一尺度因子对下一时刻的输入数据进行校正时，具体可以通过AR设备中惯性测量单元在下一时刻采集AR设备的运动数据，以获取该惯性测量单元在下一时刻采集到的运动数据；基于该运动数据与该第一尺度因子，确定该运动数据对应的真实轨迹数据。
这里，该运动数据至少包括：加速度数据、角速度数据、当前时刻与上一时刻之间的距离数据中的至少一个。
本申请中，AR设备在基于该运动数据与该第一尺度因子，确定该运动数据对应的真实轨迹数据时，具体可以通过计算该运动数据与该第一尺度因子之间的商值；基于该商值对该运动数据进行校正，以得到该运动数据对应的真实轨迹数据。
例如，把当前时刻对应的第一尺度因子反馈作用在IMU的输入数据上，对下一时刻IMU获得的运动数据除以该第一尺度因子，即可去除尺度漂移对VIO***的影响，从而获取到真正的准确轨迹。
本申请中，由于需要在每一时刻都要对AR设备的移动轨迹进行尺度漂移校正，所以本申请中的AR设备还可以在下一时刻获取对应的第三外参数据，该第三外参数据表征该AR设备中图像采集单元和惯性测量单元在该下一时刻的位置关系；然后，将该第三外参数据与第一外参数据进行比较，得到对应该下一时刻的第二尺度因子；基于该述第二尺度因子对下一时刻的输入数据进行校正。
这里，第一外参数据对应的时刻与该第三外参数据对应的时刻为相邻时刻。
通过本申请提供的单目视觉参数的校正方法，利用图像采集单元采集的图像数据和惯性测量单元采集的运动数据相结合，对下一时刻惯性测量单元采集的运动数据进行校正，能够在不增加额外的硬件成本的情况下，解决IMU尺度不准确导致轨迹尺度漂移问题，提高设备的稳定性和准确度。
图2为本申请中单目视觉参数的校正方法的流程实现示意图二，如图2所示，该校正方法包括以下步骤：
步骤201，对设备中的图像采集单元和惯性测量单元进行标定，获取设备中图像采集单元相对惯性测量单元的初始外参关系；
具体地，对具有VIO***的AR设备进行标定，获取AR设备中相机相对IMU的初始外参关系T0。
这里，对VIO***进行标定的目的就是得到三维旋转矩阵R和三维平移向量T。也就是说，VIO***的初始外参关系T0中至少包括有三维旋转矩阵R和三维平移向量T，通过对VIO***进行标定可以确定camera到IMU的坐标转换关系。
假如：给出camera坐标系下的三维点p_c，通过R和T的变换可以将p_c转换到IMU坐标系下的点p_b。对应关系为p_b＝R*p_c+T。
本申请中，对VIO***进行外参标定具体可以使用标定工具Kalibr，具体步骤如下：
1.将Kalibr标定所需要的标定板打印下来，测量标定板上至少一个棋盘格的长度间距；
2.使用待标定的AR设备中的图像采集单元对着棋盘格采集标定数据，该标定数据包括图像数据和对应的IMU数据(即运动数据，包括角速度、加速度和距离)。
3.将长度间距数据和标定数据输入到Kalibr中，Kalibr经过计算会输出对应图像采集单元和IMU之间的外参数据。
步骤202，对设备的外参关系进行优化，得到当前时刻的实时外参关系；
具体地，AR设备运行过程中，持续对VIO***的外参关系进行优化，以得到当前时刻t的实时外参关系T(t)；
这里，VIO***在计算位姿时需要结合图像数据和IMU数据进行综合优化。首先需要构建基于最小化重投影误差(BA，bundle adjustment)模型，这里的BA模型的投影过程具体为：相机坐标系→IMU坐标系→世界坐标系→IMU坐标系→相机坐标系。即先通过图像匹配获得第i时刻和第j时刻的一对图像的匹配点p_i和p_j，然后将p_i按照上述投影顺序反投影到第j时刻的相机坐标系去，这样第i时刻的p_i和第j时刻真实的图像点p_j就构成了一个残差，在这个投影过程中，首先将第i时刻的图像特征点p_i输入到相机坐标系，得到三维空间点p_i，然后，再将三维空间点p_i结合R和T转换到IMU坐标系下，得到第i时刻对应的位姿R_i和T_i，接着再将位姿R_i和T_i转换到世界坐标系，得到第j时刻对应的位姿R_j和T_j，接着，再将第j时刻对应的位姿R_j和T_j转换到IMU坐标系，然后，利用R和T将第j时刻对应的位姿R_j和T_j转换到相机坐标系，得到第j时刻对应的图像特征点p_j。
如此，得到通过图像特征点p_j和图像特征点p_i之间的残差即可得到第i时刻对应的第一尺度因子，从而利用该第一尺度因子可以对j时刻的运动轨迹进行校正。
这里，在得到图像特征点p_j和图像特征点p_i之间的残差之后，还可以再通过梯度下降法求解优化让这个残差最小，即可得到精准度更高的位姿R_i、T_i、R_j、T_j。
步骤203，将初始外参关系与实时外参关系进行对比，确定出当前时刻对应的尺度变化值；
具体地，将初始外参关系T0与实时外参关系T(t)进行对比，确定出当前时刻t对应的尺度变化大小λ(t)，具体计算公式可以是：λ(t)＝T(t)/T0。
这里，外参关系T0对应的时刻与实时外参关系T(t)对应的时刻为相邻时刻。
步骤204，获取下一时刻的运动数据，基于当前时刻对应的尺度变化值对下一时刻的运动数据进行处理，得到下一时刻对应的准确的运动轨迹数据；
具体地，通过IMU获取AR设备在下一时刻的运动数据，用下一时刻的运动数据除以λ(t)，得到准确的运动轨迹数据。以去除运动尺度因子对VIO***的影响。
步骤205，继续更新当前时刻对应的尺度变化值。
具体地，返回到步骤202，继续更新λ(t)。
这里，在更新λ(t)时，采用的也是当前时刻的外参关系与历史相邻的外参关系作对比，确定当前时刻对应的尺度变大大小。
本申请提供的单目视觉参数的校正方法，相比现有技术中需要在对IMU进行安装前利用设备对IMU进行精确标定的方法，或者，在IMU安装完成后一，再利用其他传感器(如双目相机、浓度相机等)去校正IMU的尺度漂移方法，本申请利用IMU与单目相机结合去除尺度漂移对VIO***的影响，不仅无需额外的硬件开销，而且还能够利用低价IMU就能解决尺度漂移问题，不仅降低了成本费用，而且能够提高VIO***的稳定性和准确度。
图3为本申请中单目视觉参数的校正装置的结构组成示意图一，如图3所示，该装置包括：
确定单元301，用于确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；
比较单元302，用于将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；
校正单元303，用于基于所述第一尺度因子对下一时刻的输入数据进行校正。
图4为本申请中单目视觉参数的校正装置的结构组成示意图二，如图4所示，该装置包括：
标定单元304，用于对所述图像采集单元和所述惯性测量单元进行标定，得到所述第二外参数据，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系。
确定单元301，用于确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；
比较单元302，用于将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；
校正单元303，用于基于所述第一尺度因子对下一时刻的输入数据进行校正。
在本申请的优选方案中，该装置还包括：
获取单元305，用于获取所述图像采集单元在当前时刻采集的图像数据；在该获取单元305获取到当前时刻采集的图像数据后，触发该确定单元301，由该确定单元301基于所述图像数据中的三维空间点和所述第二外参数据，确定所述三维空间点在当前时刻对应的第一位姿数据；在确定单元301确定出该三维空间点在当前时刻对应的第一位姿数据之后，由确定单元301触发比较单元302，由比较单元302将该第一位姿数据与该三维空间点在相邻时刻对应的第二位姿数据进行比较，得到所述第一外参数据。
在本申请的优选方案中，该确定单元301具体用于确定所述第一外参数据与所述第二外参数据的尺度变化值；以及将所述尺度变化值确定为当前时刻对应的第一尺度因子。
在本申请的优选方案中，获取单元305还用于获取所述惯性测量单元在下一时刻采集到的运动数据；并在获取到惯性测量单元在下一时刻采集到的运动数据之后，触发确定单元301，由确定单元301基于所述运动数据与所述第一尺度因子，确定所述运动数据对应的真实轨迹数据，并在确定出所述运动数据对应的真实轨迹数据之后，由确定单元301触发校正单元303，由校正单元303利用该真实轨迹数据校正下一时刻的输入数据。
在本申请的优选方案中，确定单元301具体用于计算所述运动数据与所述第一尺度因子之间的商值；并在得到该商值之后触发校正单元303，由校正单元303基于所述商值对所述运动数据进行校正，以得到所述运动数据对应的真实轨迹数据。
这里，所述运动数据至少包括：加速度数据、角速度数据、当前时刻与上一时刻之间的距离数据中的至少一个。
在本申请的优选方案中，获取单元305还用于在下一时刻获取对应的第三外参数据，所述第三外参数据表征所述图像采集单元和所述惯性测量单元在所述下一时刻的位置关系；在获取单元305在下一时刻获取到对应的第三外参数据之后，触发比较单元302，由比较单元302将所述第三外参数据与所述第一外参数据进行比较，得到对应所述下一时刻的第二尺度因子；并在比较单元302得到对应所述下一时刻的第二尺度因子之后，触发校正单元303，由校正单元303基于所述第二尺度因子对下一时刻的输入数据进行校正。
本申请提供的单目视觉参数的校正装置，利用IMU与单目相机结合去除尺度漂移对VIO***的影响，不仅无需额外的硬件开销，而且还能够利用低价IMU就能解决尺度漂移问题，不仅降低了成本费用，而且能够提高VIO***的稳定性和准确度。
需要说明的是：上述实施例提供的单目视觉参数的校正装置在对CIO***的尺度漂移进行校正时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将单目视觉参数的校正装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的单目视觉参数的校正装置与单目视觉参数的校正方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种单目视觉参数的校正装置，该单目视觉参数的校正装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器用于运行所述计算机程序时，执行：确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；基于所述第一尺度因子对下一时刻的输入数据进行校正。
所述处理器还用于运行所述计算机程序时，执行：对所述图像采集单元和所述惯性测量单元进行标定，得到所述第二外参数据，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系。
所述处理器还用于运行所述计算机程序时，执行：获取所述图像采集单元在当前时刻采集的图像数据；基于所述图像数据中的三维空间点和所述第二外参数据，确定所述三维空间点在当前时刻对应的第一位姿数据；将所述第一位姿数据与所述三维空间点在相邻时刻对应的第二位姿数据进行比较，得到所述第一外参数据。
所述处理器还用于运行所述计算机程序时，执行：确定所述第一外参数据与所述第二外参数据的尺度变化值；将所述尺度变化值确定为当前时刻对应的第一尺度因子。
所述处理器还用于运行所述计算机程序时，执行：获取所述惯性测量单元在下一时刻采集到的运动数据；基于所述运动数据与所述第一尺度因子，确定所述运动数据对应的真实轨迹数据。
所述处理器还用于运行所述计算机程序时，执行：计算所述运动数据与所述第一尺度因子之间的商值；基于所述商值对所述运动数据进行校正，以得到所述运动数据对应的真实轨迹数据。
所述运动数据至少包括：加速度数据、角速度数据、当前时刻与上一时刻之间的距离数据中的至少一个。
所述处理器还用于运行所述计算机程序时，执行：在下一时刻获取对应的第三外参数据，所述第三外参数据表征所述图像采集单元和所述惯性测量单元在所述下一时刻的位置关系；将所述第三外参数据与所述第一外参数据进行比较，得到对应所述下一时刻的第二尺度因子；基于所述第二尺度因子对下一时刻的输入数据进行校正。
图5是本申请中单目视觉参数的校正装置的结构组成示意图三，单目视觉参数的校正装置400可以是AR设备、移动电话、计算机、数字广播终端、信息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理、眼镜等。图5所示的单目视觉参数的校正装置400包括：至少一个处理器401、存储器402、至少一个网络接口404和用户接口403。单目视觉参数的校正装置400中的各个组件通过总线***405耦合在一起。可理解，总线***405用于实现这些组件之间的连接通信。总线***405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线***405。
其中，用户接口403可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器402可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。
本申请实施例中的存储器402用于存储各种类型的数据以支持单目视觉参数的校正装置400的操作。这些数据的示例包括：用于在单目视觉参数的校正装置400上操作的任何计算机程序，如操作***4021和应用程序4022；联系人数据；电话簿数据；消息；图片；视频等。其中，操作***4021包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序4022可以包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序4022中。
上述本申请实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器401可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，单目视觉参数的校正装置400可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器402，上述计算机程序可由单目视觉参数的校正装置400的处理器401执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，执行：确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；
将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；
基于所述第一尺度因子对下一时刻的输入数据进行校正。
所述计算机程序被处理器运行时，还执行：
对所述图像采集单元和所述惯性测量单元进行标定，得到所述第二外参数据，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系。
所述计算机程序被处理器运行时，还执行：
获取所述图像采集单元在当前时刻采集的图像数据；
基于所述图像数据中的三维空间点和所述第二外参数据，确定所述三维空间点在当前时刻对应的第一位姿数据；
将所述第一位姿数据与所述三维空间点在相邻时刻对应的第二位姿数据进行比较，得到所述第一外参数据。
所述计算机程序被处理器运行时，还执行：
确定所述第一外参数据与所述第二外参数据的尺度变化值；
将所述尺度变化值确定为当前时刻对应的第一尺度因子。
所述计算机程序被处理器运行时，还执行：
获取所述惯性测量单元在下一时刻采集到的运动数据；
基于所述运动数据与所述第一尺度因子，确定所述运动数据对应的真实轨迹数据。
所述计算机程序被处理器运行时，还执行：
计算所述运动数据与所述第一尺度因子之间的商值；
基于所述商值对所述运动数据进行校正，以得到所述运动数据对应的真实轨迹数据。
所述运动数据至少包括：加速度数据、角速度数据、当前时刻与上一时刻之间的距离数据中的至少一个。
所述计算机程序被处理器运行时，还执行：
在下一时刻获取对应的第三外参数据，所述第三外参数据表征所述图像采集单元和所述惯性测量单元在所述下一时刻的位置关系；
将所述第三外参数据与所述第一外参数据进行比较，得到对应所述下一时刻的第二尺度因子；
基于所述第二尺度因子对下一时刻的输入数据进行校正。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种单目视觉参数的校正方法，包括：
确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；
将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；
基于所述第一尺度因子对下一时刻的输入数据进行校正。
2.根据权利要求1所述的方法，在所述确定当前时刻对应的第一外参数据之前，所述方法还包括
对所述图像采集单元和所述惯性测量单元进行标定，得到所述第二外参数据，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系。
3.根据权利要求1所述的方法，所述确定当前时刻对应的第一外参数据，包括：
获取所述图像采集单元在当前时刻采集的图像数据；
基于所述图像数据中的三维空间点和所述第二外参数据，确定所述三维空间点在当前时刻对应的第一位姿数据；
将所述第一位姿数据与所述三维空间点在相邻时刻对应的第二位姿数据进行比较，得到所述第一外参数据。
4.根据权利要求1所述的方法，所述将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，包括：
确定所述第一外参数据与所述第二外参数据的尺度变化值；
将所述尺度变化值确定为当前时刻对应的第一尺度因子。
5.根据权利要求1所述的方法，所述基于所述第一尺度因子对下一时刻的输入数据进行校正，包括：
获取所述惯性测量单元在下一时刻采集到的运动数据；
基于所述运动数据与所述第一尺度因子，确定所述运动数据对应的真实轨迹数据。
6.根据权利要求5所述的方法，所述基于所述运动数据与所述第一尺度因子，确定所述运动数据对应的真实轨迹数据，包括：
计算所述运动数据与所述第一尺度因子之间的商值；
基于所述商值对所述运动数据进行校正，以得到所述运动数据对应的真实轨迹数据。
7.根据权利要求5所述的方法，所述运动数据至少包括：加速度数据、角速度数据、当前时刻与上一时刻之间的距离数据中的至少一个。
8.根据权利要求1所述的方法，所述方法还包括：
在下一时刻获取对应的第三外参数据，所述第三外参数据表征所述图像采集单元和所述惯性测量单元在所述下一时刻的位置关系；
将所述第三外参数据与所述第一外参数据进行比较，得到对应所述下一时刻的第二尺度因子；
基于所述第二尺度因子对下一时刻的输入数据进行校正。
9.一种单目视觉参数的校正装置，包括：
确定单元，用于确定当前时刻对应的第一外参数据，所述第一外参数据表征设备中图像采集单元相对惯性测量单元的位置关系；
比较单元，用于将所述第一外参数据与第二外参数据进行比较，得到当前时刻对应的第一尺度因子，所述第二外参数据表征所述图像采集单元相对所述惯性测量单元的初始位置关系；
校正单元，用于基于所述第一尺度因子对下一时刻的输入数据进行校正。
10.一种单目视觉参数的校正装置，包括：存储器、处理器以及存储在存储器被处理器运行的可响应程序，其特征在于，所述处理器运行所述可响应程序时响应如权利要求1至8任一项所述的校正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010052244.XA CN111275769B (zh) | 2020-01-17 | 2020-01-17 | 一种单目视觉参数的校正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010052244.XA CN111275769B (zh) | 2020-01-17 | 2020-01-17 | 一种单目视觉参数的校正方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275769A true CN111275769A (zh) | 2020-06-12 |
| CN111275769B CN111275769B (zh) | 2023-10-24 |
Family
ID=71003501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010052244.XA Active CN111275769B (zh) | 2020-01-17 | 2020-01-17 | 一种单目视觉参数的校正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275769B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112229424A (zh) * | 2020-11-16 | 2021-01-15 | 浙江商汤科技开发有限公司 | 视觉惯性***的参数标定方法及装置、电子设备和介质 |
| CN114147727A (zh) * | 2022-02-07 | 2022-03-08 | 杭州灵西机器人智能科技有限公司 | 一种机器人位姿校正的方法、装置和*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018077176A1 (zh) * | 2016-10-26 | 2018-05-03 | 北京小鸟看看科技有限公司 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
| CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及*** |
| CN109520476A (zh) * | 2018-10-24 | 2019-03-26 | 天津大学 | 基于惯性测量单元的后方交会动态位姿测量***及方法 |
| CN110118554A (zh) * | 2019-05-16 | 2019-08-13 | 深圳前海达闼云端智能科技有限公司 | 基于视觉惯性的slam方法、装置、存储介质和设备 |
| CN110378968A (zh) * | 2019-06-24 | 2019-10-25 | 深圳奥比中光科技有限公司 | 相机和惯性测量单元相对姿态的标定方法及装置 |
-
2020
- 2020-01-17 CN CN202010052244.XA patent/CN111275769B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018077176A1 (zh) * | 2016-10-26 | 2018-05-03 | 北京小鸟看看科技有限公司 | 可穿戴设备及在可穿戴设备中确定用户位移的方法 |
| CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及*** |
| CN109520476A (zh) * | 2018-10-24 | 2019-03-26 | 天津大学 | 基于惯性测量单元的后方交会动态位姿测量***及方法 |
| CN110118554A (zh) * | 2019-05-16 | 2019-08-13 | 深圳前海达闼云端智能科技有限公司 | 基于视觉惯性的slam方法、装置、存储介质和设备 |
| CN110378968A (zh) * | 2019-06-24 | 2019-10-25 | 深圳奥比中光科技有限公司 | 相机和惯性测量单元相对姿态的标定方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 彭飞;杨傲雷;: "基于STM32的多惯性测量单元数据采集***设计", 仪表技术 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112229424A (zh) * | 2020-11-16 | 2021-01-15 | 浙江商汤科技开发有限公司 | 视觉惯性***的参数标定方法及装置、电子设备和介质 |
| CN112229424B (zh) * | 2020-11-16 | 2022-04-22 | 浙江商汤科技开发有限公司 | 视觉惯性***的参数标定方法及装置、电子设备和介质 |
| CN114147727A (zh) * | 2022-02-07 | 2022-03-08 | 杭州灵西机器人智能科技有限公司 | 一种机器人位姿校正的方法、装置和*** |
| CN114147727B (zh) * | 2022-02-07 | 2022-05-20 | 杭州灵西机器人智能科技有限公司 | 一种机器人位姿校正的方法、装置和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275769B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108364319B (zh) | 尺度确定方法、装置、存储介质及设备 | |
| US9785249B1 (en) | Systems and methods for tracking motion and gesture of heads and eyes | |
| JP2021507393A (ja) | 拡張現実デバイスを較正する方法 | |
| CN111415387A (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
| CN108961343A (zh) | 虚拟坐标系的构建方法、装置、终端设备及可读存储介质 | |
| CN110388919B (zh) | 增强现实中基于特征图和惯性测量的三维模型定位方法 | |
| CN106959075A (zh) | 利用深度相机进行精确测量的方法和*** | |
| CN111240469B (zh) | 手部动作捕捉的校准方法、装置、电子设备及存储介质 | |
| CN111275769A (zh) | 一种单目视觉参数的校正方法及装置 | |
| CN110956666A (zh) | 运动数据标定方法、装置、终端设备及存储介质 | |
| CN111240468B (zh) | 手部动作捕捉的校准方法、装置、电子设备及存储介质 | |
| CN111681281A (zh) | 肢体动作捕捉的校准方法、装置、电子设备及存储介质 | |
| CN109781104A (zh) | 运动姿态确定及定位方法、装置、计算机设备及介质 | |
| WO2022174574A1 (zh) | 基于传感器的裸手数据标注方法及*** | |
| CN107534202A (zh) | 一种测量天线姿态的方法和装置 | |
| CN111383332B (zh) | 一种三维扫描和重建***、计算机设备和可读存储介质 | |
| CN106802716B (zh) | 一种虚拟现实终端的数据处理方法和虚拟现实终端 | |
| US11526580B2 (en) | Data correction method and apparatus, electronic device and computer-readable storage medium | |
| CN111382701A (zh) | 动作捕捉方法、装置、电子设备及计算机可读存储介质 | |
| CN115205419A (zh) | 即时定位与地图构建方法、装置、电子设备及可读存储介质 | |
| CN115294280A (zh) | 三维重建方法、装置、设备、存储介质和程序产品 | |
| CN114391822A (zh) | 数据修正方法、数据修正装置、电子设备和可读存储介质 | |
| US10386185B2 (en) | Information processing method and electronic device | |
| CN115641647B (zh) | 数字人手腕驱动方法与装置、存储介质及电子设备 | |
| CN116233392B (zh) | 虚拟拍摄***的校准方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |