CN109920000B - 一种基于多相机协同的无死角的增强现实方法 - Google Patents

Abstract

本发明公开了一种基于多相机协同的无死角的增强现实方法。本发明包括如下步骤：部署多摄像头阵列，用特定标记MARK顺时针方向依次让两个相机看到，分别计算二维MARK与相机坐标系原点的真实世界空间坐标系下的相对位姿，从而进行两两相机标定关系，并设置一个标签记录这两台相机已经“标定”。选取一台相机为主相机，其余相机为辅相机，将得到的两两相机之间的相对旋转与平移矩阵求解各辅相机相机坐标系与主相机相机坐标系关系，建立各辅相机世界空间坐标到主相机相机空间坐标的映射关系。本发明通过相机协同定标三位注册技术，以达到模板怎么旋转都能将虚物三维注册到正确位置。

Description

一种基于多相机协同的无死角的增强现实方法

技术领域

本发明属于计算机视觉技术与图形学交叉领域，尤其涉及一种基于多相机协同下的无死角的增强现实方法。

背景技术

AR技术简单来说就是在虚拟环境中添加真实世界的图像，更侧重于现实环境。增强现实不要求苛刻的完全浸入虚拟环境，它是把人工生成的虚拟对象与相应的现实世界融合在一起，提供给操作者附带有虚拟对象的真实场景，或者是建立在真实场景上的虚拟对象。增强现实技术是对真实环境做相应的增补，使操作者能够更方便的感受与认知外部世界。建立一个在细节上精确重现我们所处简单自然环境的***仍旧具有很大的难度，而增强现实可以不必需要大量的计算能力在提高虚拟环境的逼真度上下功夫，而是充分利用客观世界的信息，根据需求进行增补，相应就极大的减少了对***整体计算能力的依赖。AR技术涉及了计算机视觉、光电传感器、模式识别、计算机图形学、人工智能、自动化等多个领域，是一种使用计算机生成的虚拟数据对客观环境的影像进行增强或扩展的技术，提供接口使操作者和虚拟环境中的虚拟物体进行自然交流，为操作者带来容易实施的、交互体验好、多种体感、能够强化用户感觉的新体验。增强现实技术可以关联很多领域，在机械装配维护、医学研究、航天军工和商业娱乐等多个领域都能得到广阔的应用。

增强现实技术的核心是三维注册：增强现实***在设计时需要根据相应的参数信息来确定生成的虚拟物体将要添加到真实空间坐标系中的位置，以便把虚拟物体准确的映射到投影平面，并在显示装置的正确位置进行显示，所需的这些参数信息是通过在现场采集视频图像的摄像机相对于采集现场的位置和方向角(外部参数)、成像***(摄像机)的内部参数(焦距以及像元高宽比等)计算得到的，这个过程也叫虚实配准，是增强现实***设计中的一个关键步骤，经过这一系列的注册转换，最终实现虚拟模型与真实环境的融合显示，使用户在观察真实视频信息的同时也能够无缝获得帮助其加深对现实世界理解的各种增强信息。增强信息主要是以三维模型的形式存在，根据先验数据来确定模型细节并创建虚拟物体，计算摄像机的内外参数获得虚拟物体将要添加进真实环境中的坐标信息，为下一步的虚实融合显示做准备。在AR应用中，摄像机本身的内部参数(焦距、像素点参数等)，以及观察者(即摄像机)所处的位置与视线方向角，构成了定标***的内外参数矩阵，以这些数据资料为基础，确定所创建的虚拟模型添加进世界坐标系中的映射位置，将虚拟对象正确变换到投影平面，在显示模块中显示输出，这就是增强现实***中三维注册所要完成的任务。上述流程也就是把人工制作的虚拟模型和真实场景中的对象“对齐”的流程。在拍摄视频时，利用光学透视原理，将拍摄对象发出或反射的光线捕捉到相机的光学传感器上，记录成连续图像帧的格式。从某个角度上说，视频文件的拍摄过程也相当于一个从真实场景坐标系到成像平面坐标系的转换过程，是通过摄像机的成像***，将实际环境中的三维对象数据转换为二维图像投影到摄像机的像平面上的过程。在计算机图形学中，三维模型需要经过视点变换、模型变换、投影变换、视口变换等一系列坐标变换在二维的显示平面显示出来，这个过程和实际摄像机的工作过程是一样的，只是在计算机内部由算法实现。所以我们可以假设一个虚拟摄像机模型，通过参数校准使其与真实摄像机的内外参数保持一致，从而实现真实世界的视频图像和虚拟世界模型的融合显示。因此，AR中的虚实配准过程实际上就是确定不同坐标***之间的变换关系，明确了各坐标系之间的关系，就能将虚拟模型与真实场景适当的融合，得到增强后的现场影像。

但是，现在的增强现实技术绝大多数基于人工二维标记以及单目相机，故存在一旦二维标记旋转或者平移过大被摄像机几乎看不到，故当标记对摄像机可见程度过低时三维注册将会失败从而无法增强现实，影响体验效果。

发明内容

本发明的目的是将多相机协同技术运用在增强现实领域，提出基于多相机协同的无死角的增强现实方法。通过标定相机之间的相对位姿关系，提取多相机的图像实时采集，并统一对主相机图像流进行位姿一致的增强现实画图，无死角(不管MARK朝向哪里，都能正确增强现实)的增强现实。

本发明基于多相机协同技术，通过一张MAKR两两标定摄像机的相互之间位姿，构建相互外参矩阵映射的转换矩阵，并采用基于自然纹理的二维MARK作为标记进行增强现实三位注册，从而取得良好的无死角且实时性高的增强现实。

本发明解决其技术问题所采用的技术方案如下：

步骤(1)本着相机能全方位看到需要增强现实的环境为准则部署多相机在需要增强现实的真实世界场景处，上面设置一个朝下相机，四个同一水平面相机分别位于东西南北四个方位。

步骤(2)用一张自然纹理标记的MARK让两个相机同时看到，进入双相机标定环节。对于每个相机来说：

首先构造金字塔，金字塔共n层，与SIFT不同，每层仅有一副图像；第s层的尺度为scale_s＝Fator^s，其中，Fator初始尺度默认为1.2，原图在第0层；第s层图像大小:

在每层金字塔上采用Fast算法提取特征点，采用Harris角点响应函数，按角点响应值排序，选取前N个特征点。

采用ORB算法提取特征点并计算描述子，具体如下公式：

计算每个特征点的主方向(质心法)，旋转每个特征点的Patch到主方向，采用ORB算法选取的最优的256对特征点做τ测试，构成256维描述子，公式如下，占32个字节；

步骤(3).针对每个相机，对步骤(2)采集的视频流特征点使用PNP算法估计各相机与二维MARK的相对位姿。具体如下：先用3个点计算出4组解获得四个旋转矩阵、平移矩阵。根据公式：

将第四个点的世界坐标代入公式，获得其在图像中的四个投影(一个解对应一个投影)，取出其中投影误差最小的那个解作为最优解来估计各相机姿态相对于标记的姿态

步骤(4).对步骤(3)得到的两个单相机相对于同一个二维MARK的外参位姿矩阵。具体如下：

其中，

表示真实世界MARK三维空间坐标，

和

分别表示两台相机同时看到同一MARK时的相机空间坐标，R1、R2分别表示两台相机相对于二维MARK的3*3的旋转矩阵，T1、T2分别表示两台相机相对于二维MARK的3*1的平移矩阵。由[R|T]可得到相机相对于二维mark的外参矩阵。如果该相机“正在标定”标志＝1，则执行步骤(5)进行多相机标定；如果该相机“正在标定”标志＝0，则执行步骤(9)进行多相机协同后的虚实融合。

步骤(5).对步骤(4)得到两个式子进行联立，得到如下方程

其中，将R₁R₂ ^-1视为第二台相机相对于第一台相机的旋转矩阵，-R₁R₂ ^-1T₂₊T¹表示第二台相机相对于第一台相机的平移矩阵，由此可得第二台相机到第一台相机的相对位姿矩阵为：

[R₁R₂ ^-1|-R₁R₂ ^-1T₂₊T¹] (6)

步骤(6).基于步骤(5)的方法，依次用一张标定用的MARK依次两两标定相机(相机的标定顺序由开发人员自己定且尽量做到不重复标定)。每个相机设置一个序号，以备后面计算任意两相机的相对位姿关系。因为两台相机之间已经计算出相对位姿变换矩阵，所以全部两两标定之后可以根据各相机两两之间位姿关系求得任意两个相机的位姿矩阵。

步骤(7).求得所有相机相对位姿矩阵后，在虚拟世界中按照真实世界的量度自动摆放虚拟世界各虚拟相机之间的位置，与真实世界各相机之间相对位置保持一致。

步骤(8).选一台相机为主相机，其余为辅相机在增强现实过程中，显示器实时显示主相机拍摄的画面，当MARK朝向主相机时，主相机根据相对于MARK的位姿进行三位注册并渲染虚拟物体；当MARK朝向非主相机时，能看到MARK并且置信度最高的辅相机根据步骤(6)(7)求得的两相机的位姿关系对主相机进行位姿一致的相对画图进行增强现实。

本发明的有益效果：

本发明利用一张二维MARK通过两两标定相机之间的相对位姿，计算出任意两相机之间的相对位姿，选取一台相机为主相机，其余相机为辅相机，只要有一台相机看到了MARK，都会实时计算该相机到主相机的位姿矩阵对主相机显示在显示器的画面进行位姿一致的相对增强现实。本发明多相机协同下克服了传统增强现实的单目相机因看不到MARK的内容而导致的增强现实失败。

附图说明

图1为本发明多相机两两标定的原理图(以四相机为例)。

图2为本发明每个相机进行协同增强现实的流程图。

图3为多相机标定后协同增强现实的原理图。

图4为多相机协同进行增强现实的化学实验人机交互测试结果。实验环境为上方一个相机朝下，前后左右方向各一个相机且这四个相机共面，黄圈圈出的增强现实MARK一个朝向左(增强出虚物试管)，一个朝向上(增强出虚物铁架台)。都可以进行相对于主相机的位姿一致的增强现实渲染。

具体实施方式

下面结合附图对本发明方法作进一步说明。

如图1所示，两两标定环境示意图如图所示，只有右边与后边的相机能看到MARK正面。

如图2“每个相机增强现实文字描述”与图3“多相机协同下增强现实”所示，多相机标定与多相机协同增强现实具体步骤如下：

步骤(1)部署多相机阵列；

本着相机能全方位看到需要增强现实的环境为准则部署多相机在需要增强现实的真实世界场景处，上面设置一个朝下相机，四个同一水平面相机分别位于东西南北四个方位；

步骤(2)用一张自然纹理标记的MARK，让两台或以上相机同时看到二维MARK正面进行标定，进入双相机标定环节；

首先判断该MARK是标定MARK还是增强现实MARK，如果是标定MARK，则进入多相机标定环节，置该相机“正在标定”的标志位为1，计算这个相机相对MARK的位姿即外参矩阵，作为计算相机与相机间位姿的前提；如果是增强现实MARK，则进入增强现实环节，置该相机“正在标定”的标志位为0，计算这个相机相对MARK的位姿；

对于每个相机：

首先构造金字塔，金字塔共n层，与SIFT不同，每层仅有一副图像；第s层的尺度为scale_s＝Fator^s，其中，Fator初始尺度默认为1.2，原图在第0层；

第s层图像大小:

在每层金字塔上采用Fast算法提取特征点，采用Harris角点响应函数，按角点响应值排序，选取前N个特征点；

采用ORB算法提取特征点并计算描述子，具体如下公式：

计算每个特征点的主方向(质心法)，旋转每个特征点的Patch到主方向，采用ORB算法选取的最优的256对特征点做τ测试，构成256维描述子，公式如下，占32个字节；

步骤(3).针对每个相机，对步骤(2)采集的视频流特征点使用PNP算法估计各相机与二维MARK的相对位姿；具体如下：先用3个点计算出4组解获得四个旋转矩阵、平移矩阵；根据公式：

将第四个点的世界坐标代入公式，获得其在图像中的四个投影(一个解对应一个投影)，取出其中投影误差最小的那个解作为最优解来估计各相机姿态相对于标记的姿态

步骤(4).对步骤(3)得到的两个单相机相对于同一个二维MARK的外参位姿矩阵；具体如下：

其中，

表示真实世界MARK三维空间坐标，

和

分别表示两台相机同时看到同一MARK时的相机空间坐标，R1、R2分别表示两台相机相对于二维MARK的3*3的旋转矩阵，T1、T2分别表示两台相机相对于二维MARK的3*1的平移矩阵；由[R|T]可得到相机相对于二维mark的外参矩阵；如果该相机“正在标定”标志＝1，则执行步骤(5)进行多相机标定；如果该相机“正在标定”标志＝0，则执行步骤(8)进行多相机协同后的虚实融合；

步骤(5).对步骤(4)得到两个式子进行联立，得到如下方程

其中，将R₁R₂ ^-1视为第二台相机相对于第一台相机的旋转矩阵，-R₁R₂ ^-1T₂₊T¹表示第二台相机相对于第一台相机的平移矩阵，由此可得第二台相机到第一台相机的相对位姿矩阵为：

[R₁R₂ ^-1|-R₁R₂ ⁴T₂₊T¹] (6)

步骤(6).基于步骤(5)的方法，依次用一张标定用的MARK依次两两标定相机；每个相机设置一个序号，以备后面计算任意两相机的相对位姿关系；因为两台相机之间已经计算出相对位姿变换矩阵，所以全部两两标定之后可以根据各相机两两之间位姿关系求得任意两个相机的位姿矩阵；

步骤(7).求得所有相机相对位姿矩阵后，在虚拟世界中按照真实世界的量度自动摆放虚拟世界各虚拟相机之间的位置，与真实世界各相机之间相对位置保持一致；

步骤(8).选一台相机为主相机，其余为辅相机在增强现实过程中，显示器实时显示主相机拍摄的画面，当MARK朝向主相机时，主相机根据相对于MARK的位姿进行三位注册并渲染虚拟物体；当MARK朝向非主相机时，能看到MARK并且置信度最高的辅相机根据步骤(6)(7)求得的两相机的位姿关系对主相机进行位姿一致的相对画图进行增强现实。

如图4为多相机协同下的增强现实效果(用于虚实融合仿真化学实验)。多相机协同环境为前、后、左、右、上各一个相机；上方的相机为主相机，其余为辅相机，显示器中显示的为主相机实时采集的图像。右边黄色圈圈出的为正面朝向主相机的二维MARK，增强出了虚拟铁架台；左边黄色圈圈出的为朝向左边辅摄像机二维MARK，仍然可以增强现实出相对于主相机的虚拟试管(即不管MARK怎么旋转与平移，虚拟物体的姿态都能准确三位注册到相对于主相机看到的MARK的位置)。

Claims (1)

1.一种基于多相机协同的无死角的增强现实方法，其特征在于包括如下步骤：

步骤(1)部署多相机阵列；

本着相机能全方位看到需要增强现实的环境为准则部署多相机在需要增强现实的真实世界场景处，上面设置一个朝下相机，四个同一水平面相机分别位于东西南北四个方位；

步骤(2)用一张自然纹理标记的MARK，让两台或以上相机同时看到二维MARK正面进行标定，进入双相机标定环节；

首先判断该MARK是标定MARK还是增强现实MARK，如果是标定MARK，则进入多相机标定环节，置该相机“正在标定”的标志位为1，计算这个相机相对MARK的位姿即外参矩阵，作为计算相机与相机间位姿的前提；如果是增强现实MARK，则进入增强现实环节，置该相机“正在标定”的标志位为0，计算这个相机相对MARK的位姿；

对于每个相机：

首先构造金字塔，金字塔共n层，与SIFT不同，每层仅有一幅图像；第s层的尺度为scale_s＝Fator^s，其中，Fator初始尺度默认为1.2，原图在第0层；

第s层图像大小:

在每层金字塔上采用Fast算法提取特征点，采用Harris角点响应函数，按角点响应值排序，选取前N个特征点；

采用ORB算法提取特征点并计算描述子，具体如下公式：

通过质心法计算每个特征点的主方向，旋转每个特征点的Patch到主方向，采用ORB算法选取的最优的256对特征点做τ测试，构成256维描述子，公式如下，占32个字节；

步骤(3).针对每个相机，对步骤(2)采集的视频流特征点使用PNP算法估计各相机与二维MARK的相对位姿；具体如下：先用3个点计算出4组解获得四个旋转矩阵、平移矩阵；根据公式：

将第四个点的世界坐标代入公式，获得其在图像中的四个投影，一个解对应一个投影，取出其中投影误差最小的那个解作为最优解来估计各相机姿态相对于标记的姿态

步骤(4).对步骤(3)得到的两个单相机相对于同一个二维MARK的外参位姿矩阵；具体如下：

其中，

表示真实世界MARK三维空间坐标，

和

分别表示两台相机同时看到同一MARK时的相机空间坐标，R1、R2分别表示两台相机相对于二维MARK的3*3的旋转矩阵，T1、T2分别表示两台相机相对于二维MARK的3*1的平移矩阵；由[R|T]可得到相机相对于二维mark的外参矩阵；如果该相机“正在标定”标志＝1，则执行步骤(5)进行多相机标定；如果该相机“正在标定”标志＝0，则执行步骤(8)进行多相机协同后的虚实融合；

步骤(5).对步骤(4)得到两个式子进行联立，得到如下方程

其中，将R₁R₂ ^-1视为第二台相机相对于第一台相机的旋转矩阵，-R₁R₂ ^-1T₂+T₁表示第二台相机相对于第一台相机的平移矩阵，由此可得第二台相机到第一台相机的相对位姿矩阵为：

[R₁R₂ ^-1|-R₁R₂ ^-1T₂+T₁] (6)

步骤(6).基于步骤(5)的方法，依次用一张标定用的MARK依次两两标定相机；每个相机设置一个序号，以备后面计算任意两相机的相对位姿关系；因为两台相机之间已经计算出相对位姿变换矩阵，所以全部两两标定之后可以根据各相机两两之间位姿关系求得任意两个相机的位姿矩阵；

步骤(7).求得所有相机相对位姿矩阵后，在虚拟世界中按照真实世界的量度自动摆放虚拟世界各虚拟相机之间的位置，与真实世界各相机之间相对位置保持一致；

步骤(8).选一台相机为主相机，其余为辅相机在增强现实过程中，显示器实时显示主相机拍摄的画面，当MARK朝向主相机时，主相机根据相对于MARK的位姿进行三位注册并渲染虚拟物体；当MARK朝向非主相机时，能看到MARK并且置信度最高的辅相机根据步骤(6)(7)求得的两相机的位姿关系对主相机进行位姿一致的相对画图进行增强现实。

Images