CN109063703A - 基于标识识别和惯性测量单元融合的增强现实定位算法 - Google Patents

Abstract

本发明公开了一种基于标识识别和惯性测量单元融合的增强现实定位算法。程序不停读取视频帧信息，对于某一视频帧，首先检测其中是否存在标识：若存在标识，则直接根据标识，计算相机在现实世界中的姿态和坐标，并保存这一结果作为定位结果；若没有检测到标识，则进一步判断上一时刻是否存在有效的定位结果，如果没有，则当前视频帧无效，如果存在有效的定位结果，则利用惯性测量单元数据计算和上一视频帧时刻相比的姿态和坐标的变化量ΔR，再根据上一时刻的定位结果计算当前时刻相机在现实世界中的姿态和坐标。本算法通过加入惯性测量单元进行融合，当无法通过标识完成定位时，通过惯性测量单元的数据实现辅助定位，增加了可定位的范围。

Description

基于标识识别和惯性测量单元融合的增强现实定位算法

技术领域

本发明涉及虚拟现实领域，具体是一种基于标识识别和惯性测量单元融合的增强现实定位算法。

背景技术

基于标识识别的增强现实定位算法仅仅根据标识信息进行定位，当相机移动到无法拍到完整的标识或标识被遮挡时，无法完成增强现实设备(运行增强现实应用的手机或其他可穿戴智能设备)的定位，可定位的范围有限。

发明内容

本发明针对背景技术中存在的问题，提出了一种基于标识识别和惯性测量单元融合的增强现实定位算法，以在更大范围内实现对增强现实设备的定位。

一种基于标识识别和惯性测量单元融合的增强现实定位算法，包括以下步骤：

(1)、数据库中存储标识模板；

(2)、采集视频流，读取视频帧；

(3)、判断视频帧是否可以检测到完整标识：若是则进行步骤(4A-1)，若否则进行步骤(4B-1)；

(4A-1)、基于步骤(1)存储的标识模板和步骤(3)检测到的标识进行匹配，计算摄像头在真实场景中的旋转矩阵R和平移向量t；然后进行步骤(5)；

(4B-1)、判断上一时刻是否存在有效的定位数据：若否则判定当前视频无效并返回步骤(2)，若是则进行步骤(4B-2)；

(4B-2)、根据惯性测量单元IMU数据计算摄像头的旋转矩阵R₂相对于上一时刻的旋转矩阵R₁的变化量ΔR；

(4B-3)、根据上一时刻摄像头的旋转矩阵R₁和平移向量t₁，并结合步骤(4B-2)获得的变化量ΔR，计算当前时刻摄像头在真实场景的旋转矩阵R₂和平移向量t₂；然后进行步骤(5)；

(5)计算摄像头在真实场景中的姿态和坐标。

具体的，所述标识模板：

(1)标识为正方形；标识有连续的黑色边界，边界外侧为浅色背景，标识边界内部的区域为标识图案用于区别不同的标识；标识不可以有轴对称性和旋转对称性；

(2)数据库中的标识模板保存标识的尺寸和标识图案的特征值，规定真实场景中标识所在平面为Z平面，坐标原点位于标识中心，则可以确定标识的四个顶点在真实场景中的坐标(X_m,Y_m,0)。

具体的，所述步骤(4A-1)中，计算摄像头在真实场景中的旋转矩阵R和平移向量t的具体步骤为：

(4A-1-1)、采集视频流，对采集的每一帧图像，首先转换为灰度图像，然后进行二值化处理，即对图像的每一个像素按照下式进行处理：

其中u为二值化阈值，I(x,y)为灰度值，g(x,y)为像素二值化处理结果，标记为1的区域表示标识的浅色背景区域，标记为0的区域表示可能的标识区域；

(4A-1-2)、检测标识：对二值化图像，寻找像素值为0的连通区域，并找到所有的四边形区域，作为候选区域；

(4A-1-3)、模板匹配：将可能的标识区域正则化为正方形区域R_n，然后与标识模板库中的每一模板T进行匹配，计算正方形区域R_n和模板T的相异程度S_m：

其中，T_m为标识模板中第m个模板，w和h分别为模板的宽度和高度，为异或运算，S_m表示当前候选区域与模板T_m的相异度，当S_m小于某一设定阈值时，则认为R_n与T_m匹配，R_n为可识别的标识；

(4A-1-4)、对于识别出的标识，在真实场景中以标识所在平面为Z平面，建立右手世界坐标系，坐标原点位于标识的中心；对于标识的某个顶点P，其在真实场景中的齐次坐标为(X_w,Y_w,Z_w,1)，由于设定标识所在平面为Z平面，所以Z_w＝0，其在摄像机坐标系中的齐次坐标为(X_c,Y_c,Z_c,1)，坐标变换关系为：

其中，R为旋转矩阵，t为平移向量；

通过匹配的四个顶点分别在真实场景中的齐次坐标(X_w,Y_w,Z_w,1)和在摄像机坐标系中坐标(X_c,Y_c,Z_c,1)，可以解算出摄像机在真实场景中的旋转矩阵R和平移向量t。

具体的，所述步骤(4B-3)中，计算当前时刻摄像头在真实场景的旋转矩阵R₂和平移向量t₂的具体步骤为：

(4B-3-1)，读取陀螺仪的数据即欧拉角ψ、θ、欧拉角ψ、θ、分别为当前时刻与上一时刻相比设备绕Z轴、Y轴、X轴的旋转角度；

(4B-3-2)，根据设备状态生成当前时刻与上一时刻相比，旋转矩阵R的变化量ΔR，具体步骤为：

(4B-3-2-1)，通过欧拉角生成四元数，转换公式为：

(4B-3-2-2)，通过四元数生成旋转矩阵，转换公式为：

(4B-3-2-3)，把(4B-3-1)获得的欧拉角ψ、θ、带入(4B-3-2-1)和(4B-3-2-2)中，计算得到ΔR；

(4B-3-3)，计算当前时刻摄像头在真实场景的旋转矩阵R₂和平移向量t₂：

式中，ΔR为(4B-3-2)求得，上一时刻摄像头在真实场景的旋转矩阵R₁和平移向量t₁为已知。

具体的，所述步骤(5)中，计算摄像头在真实场景中的姿态和坐标的具体步骤为：

在以标识所在平面为Z平面，标识中心为坐标原点建立的世界坐标系中，摄像头的姿态直接用旋转矩阵R表示，坐标(X_w,Y_w,Z_w)用旋转矩阵R和平移向量t计算得到，计算公式为：

其中，矩阵R^-1为旋转矩阵R的逆矩阵。

本发明的有益效果

基于标识的增强现实定位算法在相机移动到标识不在可视范围内时，或相机移动过快导致相机画面模糊，都会导致定位失败，本算法通过加入惯性测量单元进行融合，当无法通过标识完成定位时，通过惯性测量单元的数据实现辅助定位，增加了可定位的范围。

附图说明

图1为标识样式示意图

图2为本发明的算法流程示意图

图3为世界坐标系示意图

具体实施方式

下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：

结合图1，本发明所涉及的标识具有以下特点：

(1)标识为正方形；标识有连续的黑色边界，边界外侧为浅色背景，标识边界内部的区域为标识图案用于区别不同的标识；标识不可以有轴对称性和旋转对称性；

(2)数据库中的标识模板保存标识的尺寸和标识图案的特征值，规定真实场景中标识所在平面为Z平面，坐标原点位于标识中心，则可以确定标识的四个顶点在真实场景中的坐标(X_m,Y_m,0)。

结合图2，为本发明的算法具体流程图，程序不停读取视频帧信息，对于某一视频帧，首先检测其中是否存在标识：若存在标识，则直接根据标识，计算相机在现实世界中的姿态和坐标，并保存这一结果作为定位结果；若没有检测到标识，则进一步判断上一时刻是否存在有效的定位结果，如果没有，则当前视频帧无效，如果存在有效的定位结果，则利用惯性测量单元数据计算和上一视频帧时刻相比的姿态和坐标的变化量ΔR，再根据上一时刻的定位结果计算当前时刻相机在现实世界中的姿态和坐标。

具体计算如技术方案所记载，此处不再赘述，下面对具体解算过程所涉及原理进行说明：

(一)已知标识四个顶点分别在真实场景中的齐次坐标(X_w,Y_w,Z_w,1)和在摄像机坐标系中坐标(X_c,Y_c,Z_c,1)，可以解算出摄像机在真实场景中的旋转矩阵R和平移向量t：

如图3所示，以标识中心为原点，建立世界坐标系O_wX_wY_wZ_w，以相机光心为原点，建立摄像机坐标系O_cX_cY_cZ_c，两个坐标系间齐次坐标的的转换关系可以表示为：

其中：

R为3*3方阵，表示旋转变化量；

t为3*1向量，表示平移量；

T为齐次坐标变换矩阵。

在四个顶点分别在真实场景中的齐次坐标(X_w,Y_w,Z_w,1)和在摄像机坐标系中坐标(X_c,Y_c,Z_c,1)为已知的前提下，可以解算出摄像机在真实场景中的旋转矩阵R和平移向量t。

(二)已知上一时刻摄像头在真实场景的旋转矩阵R₁和平移向量t₁，可以解算当前时刻摄像头在真实场景的旋转矩阵R₂和平移向量t₂：

-从t₁时刻相机坐标系到t₂时刻相机坐标系间坐标的转换关系

-由式(1)可得：

-将式(3)带入式(2)可得：

-式(4)和式(5)结合，可得：

在式(6)中：由于采样时间间隔较短，且考虑到增强现实设备主要是旋转变化较大，而位置变化较小，则平移变化量Δt近似为Δt＝[0 0 0]^T为已知量；ΔR由惯性测量单元的数据计算获得视为已知量；R₁为上一时刻摄像头的旋转矩阵亦为已知量，t₁为上一时刻摄像头的平移向量亦为已知量；故可通过该式解算当前时刻摄像头在真实场景的旋转矩阵R₂和平移向量t₂。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于标识识别和惯性测量单元融合的增强现实定位算法，其特征在于包括以下步骤：

(1)、数据库中存储标识模板；

(2)、采集视频流，读取视频帧；

(3)、判断视频帧是否可以检测到完整标识：若是则进行步骤(4A-1)，若否则进行步骤(4B-1)；

(4A-1)、基于步骤(1)存储的标识模板和步骤(3)检测到的标识进行匹配，计算摄像头在真实场景中的旋转矩阵R和平移向量t；然后进行步骤(5)；

(4B-1)、判断上一时刻是否存在有效的定位数据：若否则判定当前视频无效并返回步骤(2)，若是则进行步骤(4B-2)；

(4B-2)、根据惯性测量单元IMU数据计算摄像头的旋转矩阵R₂相对于上一时刻的旋转矩阵R₁的变化量ΔR；

(4B-3)、根据上一时刻摄像头的旋转矩阵R₁和平移向量t₁，并结合步骤(4B-2)获得的变化量ΔR，计算当前时刻摄像头在真实场景的旋转矩阵R₂和平移向量t₂；然后进行步骤(5)；

(5)计算摄像头在真实场景中的姿态和坐标。

2.根据权利要求1所述的增强现实定位算法，其特征在于所述标识模板：

标识为正方形；标识有连续的黑色边界，边界外侧为浅色背景，标识边界内部的区域为标识图案用于区别不同的标识；标识不可以有轴对称性和旋转对称性；

数据库中的标识模板保存标识的尺寸和标识图案的特征值，规定真实场景中标识所在平面为Z平面，坐标原点位于标识中心，则可以确定标识的四个顶点在真实场景中的坐标(X_m,Y_m,0)。

3.根据权利要求1所述的增强现实定位算法，其特征在于所述步骤(4A-1)中，计算摄像头在真实场景中的旋转矩阵R和平移向量t的具体步骤为：

(4A-1-1)、采集视频流，对采集的每一帧图像，首先转换为灰度图像，然后进行二值化处理，即对图像的每一个像素按照下式进行处理：

其中u为二值化阈值，I(x,y)为灰度值，g(x,y)为像素二值化处理结果，标记为1的区域表示标识的浅色背景区域，标记为0的区域表示可能的标识区域；

(4A-1-2)、检测标识：对二值化图像，寻找像素值为0的连通区域，并找到所有的四边形区域，作为候选区域；

(4A-1-3)、模板匹配：将可能的标识区域正则化为正方形区域R_n，然后与标识模板库中的每一模板T进行匹配，计算正方形区域R_n和模板T的相异程度S_m：

其中，T_m为标识模板中第m个模板，w和h分别为模板的宽度和高度，为异或运算，S_m表示当前候选区域与模板T_m的相异度，当S_m小于某一设定阈值时，则认为R_n与T_m匹配，R_n为可识别的标识；

(4A-1-4)、对于识别出的标识，在真实场景中以标识所在平面为Z平面，建立右手世界坐标系，坐标原点位于标识的中心；对于标识的某个顶点P，其在真实场景中的齐次坐标为(X_w,Y_w,Z_w,1)，由于设定标识所在平面为Z平面，所以Z_w＝0，其在摄像机坐标系中的齐次坐标为(X_c,Y_c,Z_c,1)，坐标变换关系为：

其中，R为旋转矩阵，t为平移向量；

通过匹配的四个顶点分别在真实场景中的齐次坐标(X_w,Y_w,Z_w,1)和在摄像机坐标系中坐标(X_c,Y_c,Z_c,1)，可以解算出摄像机在真实场景中的旋转矩阵R和平移向量t。

4.根据权利要求1所述的增强现实定位算法，其特征在于所述步骤(4B-3)中，计算当前时刻摄像头在真实场景的旋转矩阵R₂和平移向量t₂的具体步骤为：

(4B-3-1)，读取陀螺仪的数据即欧拉角ψ、θ、

(4B-3-2)，根据设备状态生成当前时刻与上一时刻相比，旋转矩阵R的变化量ΔR，具体步骤为：

(4B-3-2-1)，通过欧拉角生成四元数，转换公式为：

(4B-3-2-2)，通过四元数生成旋转矩阵，转换公式为：

(4B-3-2-3)，把(4B-3-1)获得的欧拉角ψ、θ、带入(4B-3-2-1)和(4B-3-2-2)中，计算得到ΔR；

(4B-3-3)，计算当前时刻摄像头在真实场景的旋转矩阵R₂和平移向量t₂：

式中，ΔR为(4B-3-2)求得，上一时刻摄像头在真实场景的旋转矩阵R₁和平移向量t₁为已知。

5.根据权利要求1所述的增强现实定位算法，其特征在于所述步骤(5)中，计算摄像头在真实场景中的姿态和坐标的具体步骤为：

在以标识所在平面为Z平面，标识中心为坐标原点建立的世界坐标系中，摄像头的姿态直接用旋转矩阵R表示，坐标(X_w,Y_w,Z_w)用旋转矩阵R和平移向量t计算得到，计算公式为：

其中，矩阵R^-1为旋转矩阵R的逆矩阵。