CN102221884B - 一种基于摄像机实时定标的可视遥在装置及其工作方法 - Google Patents

Abstract

本发明公开了一种基于摄像机实时定标的可视遥在装置及其工作方法。该装置由两台计算机、一台头盔显示器和一台云台控制转动的双目相机构成。其基本工作方法是通过对头盔显示器摄像头进行摄像机定标，计算出操作者头部的朝向和运动轨迹；通过对双目相机的摄像机定标，计算出云台精确位置和朝向，两者结合生成云台转动控制指令，使云台和操作者头部具有相同的运动轨迹，并将双目相机获得的左右眼图像实时传回本地计算机，在头盔上实时显示，实现在本地看到符合人体头部运动姿态的远程立体场景。除了可以远程场景的真实立体显示，还可用作虚拟现实等其他应用。

Description

一种基于摄像机实时定标的可视遥在装置及其工作方法

技术领域

本发明涉及遥在***，尤其涉及种基于摄像机实时定标的可视遥在装置及其工作方法。

背景技术

早在上个世纪80年代中期，Susumu Tachi就提出了遥在(tele-existence)的概念并在早期作了大量的工作，提出了各种具有前瞻性的概念，并在有限的硬件条件下进行了测试，奠定遥在技术研究的基础。这一时期的研究还主要集中在如何能够通过本地设备感受到遥远场景的视觉和听觉信息，着重于在遥远场景的“出现”。其后Susumu Tachi在1990年首次提出了用于远程遥控的遥在主从***(Tele-existence Master Salve System)，通过传感设备捕获人类手臂的运动信息，通过计算机将其转换为远程机器人的控制信息，控制远程机器手臂做出相同的动作，使人类操作者可以进行远程操作任务，并且具有存在于远程场景中某个远程机器人之后的感觉。

1、最新发展

随着现代技术的快速发展，各种测量仪器越来越精密，对人类运动信息的捕捉越来越快速精确；另一方面机器人技术日益成熟，现有机器人的性能越来越出色，尤其是拟人机器人的出现使可以完成的任务越来越复杂，遥在技术获得了快速发展。Oyama Eimei以及Tsunemoto Naoki在1993年在虚拟现实环境中的远程操作，使遥在技术研究不再局限于真实环境的局限，可以在虚拟现实环境中进行各种测试实验。之后Susumu Tachi提出了虚拟现实环境中交互式的遥在***，可以使多个操作者看到其他操作操作者在虚拟现实环境中的实时投影。

C.DiSalvo等人在2000年提出一种拟人机器人头部的设计和感知方法。Susumu Tachi在2003年发明一种对于远程拟人机器人控制的遥在驾驶***(tele-existence cockpitsystem)，使操作者的真实感受又上了新的台阶。H.Baier等在2003年提出一种交互式的用于远程展示的立体视觉。R.Tadakuma，Y.Asahara等人在2005年发明了一种用于遥在主从***的多自由度的拟人机器人手臂，可以完成灵巧复杂的远程操作任务甚至可以通过手势与其它人交流。Kouichi Watanabe等人在2008年开发了一种可以精确的模拟人的头部和颈部运动的6自由度机器人-TORSO，并构造了一个遥在视觉***HMD-TORSO System。

2、交互式遥在***

随着遥在技术不断成熟完善，人们更加注重交互式遥在***的研究和实现，M.Inami等人提出一种新的视觉展示技术RPT(Retro-reflective Projection Technology)，可以将人的影像投影到机器人里，使交互更加真实，其后S.Tachi详细的讲述了该技术在tele-existence中的应用。S.Tachi在2005年中提出了交互式遥在***的两种发展方式：TELESAR，TWISTER，并总结现有遥在***中使用的机器人，提出机器人发展两条思路：“机器人作为单独的智能体”，“机器人作为人类的延伸”，并提出下一代人-机器人网络***概念。N.Kawakami等在2005年提出一种基于机器人的面对面远程交流的概念原形telesarPHONE.而Susumu Tachi在2008年，对基于RPT的telesarPHONE进行了完善，可以使人与远程场景的中人与物进行快速、真实的交互，并且各种感觉直接反馈给用户。

目前遥在技术研究中，各种技术越来越完善，给人的感觉越来越真是，但对于操作者头部的运动信息，大多使用传感器进行捕获，既增加了***造价，另一方面跟踪的精度也不高。因此可以通过计算机视觉的方法，使用实时摄像机定标算法去计算操作者头部运动信息，即可以获得很好的跟踪精度，又不需要增加额外的设备。

发明内容

本发明的目的在于针对遥在***用户头部运动信息跟踪问题，提供一种基于摄像机实时定标的可视遥在装置及其工作方法。该装置简便易行，两台计算机、一台云台控制的双目相机和头盔显示器。该方法不需要在头盔显示器上额外安装传感设备，直接通过对头盔显示器摄像头进行实时定标就可以获得用户头部运动信息，并通过远程计算机控制云台作出相应的运动，同时将双目相机捕获左右眼图像传回本地计算机，在头盔显示器上实时显示。

一种基于摄像机实时定标的可视遥在装置，包括两台计算机、一台云台控制的双目相机和头盔显示器，本地计算机和头盔显示器直接连接，远程计算机和双目相机以及云台直接连接，本地计算机和远程计算机通过网络互联。

一种基于摄像机实时定标的可视遥在装置的工作方法如下：

1)头盔显示器摄像头拍摄本地场景的完整离线视频序列，双目相机拍摄远程场景的完整离线视频序列，对本地场景的完整离线视频序列和远程场景的完整离线视频序列通过SIFT特征点的提取与匹配、三维坐标求解和关键帧选取，获得本地和远程场景的三维描述；

2)头盔显示器摄像头将实时捕获的左右眼图像序列传送到本地计算机，同时双目相机将实时捕获的左右眼图像序列传送到远程计算机；

3)当前帧图像为图像序列第一帧时，本地计算机计算出头盔显示器摄像头的初始相机参数，并传送到远程计算机，控制云台转向与头盔显示器摄像头相同的朝向，使头盔显示器和双目相机有相同的朝向；

4)通过获得的图像序列，本地计算机和远程计算机分别进行相机参数计算；

5)本地计算机将实时定标获得的相机参数传送到远程计算机，远程计算机根据本地计算机传送来的头盔显示器摄像头相机参数和当前求解出的双目相机相机参数，生成云台转动控制指令；

6)远程计算机将双目相机获得的左右眼图像实时传送回本地计算机，并在头盔显示器上实时显示；

7)判断当前帧是否为最后一帧？是，工作结束；否，则下一帧作为当前帧，重复步骤(4)至(6)。

具体介绍本发明的五个方面：

1)基于GPU加速的摄像机实时定标算法

实时定标算法整体上分为离线和在线两个阶段。离线阶段主要用于构建真实场景的三维描述，包括建立SIFT特征点库，选取关键帧等工作。这时需要获取场景的离线视频序列，提取SIFT特征点，求解特征点的球面坐标，采用关键帧单位组织SIFT特征点，构成离线特征点库。在线阶段，我们使用KLT进行连续帧特征跟踪，根据跟踪结果进行相邻帧相机参数求解，逐帧求解过程中，相机定标误差会逐渐积累，因此我们会选取合适的策略定期在某一帧上，提取SIFT特征点，并选取合适的关键帧进行特征匹配，计算出精确的相机参数，进行积累误差消除。

由于视频序列的数据流量很大，帧画面上的特征点的提取、匹配与跟踪，往往需要耗费大量时间，是定标计算的瓶颈。在CPU上直接执行640x480解像度的KLT算法和SIFT算法，单CPU的运行时间大约需要几百毫秒；而无论是KLT算法还是SIFT算法，在进行图像滤波、金字塔构造、特征点提取，以及对特征点进行相应计算时，都会对大量的像素和特征点进行雷同的操作，算法具有很高的并行度。因此，可以通过GPU的并行运算功能，大大缩减运行时间。

我们的KLT算法和SIFT算法由CUDA编程实现。CUDA(Compute Unified DeviceArchitecture)是在GPU上的一个通用并行计算架构，相比于一般的GPU编程语言如Cg、HLSL等，它不需要映射到一个图型API便可在GPU上管理和进行并行数据计算，数据的读取方式更加多样，因此CUDA的编程更加容易灵活，更能够充分利用GPU的计算能力。在用GPU编程实现KLT算法及SIFT算法时，由于图像数据以及中间计算结果保存在GPU的全局内存中，反复读取会耗费大量时间，因此使用纹理对需要读取的数据进行绑定，以获取高速的读取速度，同时使用共享内存以减少块内线程对相同数据的反复读取。另外，KLT算法在进行特征点选择时，需要计算的最小特征根数据传回CPU中进行选点计算，为减少数据的传输时间，在计算的同时对最小特征根数据进行初步的筛选，并通过atomic函数，只将经过筛选的数据进行保存。另外SIFT在进行局部极值检测时，需要对DOG中间层图像的每个像素进行检测，而实际的极值点数目是少量的，因此我们使用原子函数实现对临界区的互斥访问，从而只保存获得的极值点数据，减少后续步骤计算的线程数。最后在获取SIFT特征描述符时，特征点的特征描述符的计算量和使用的资源比较大，而特征点的数目是比较小的，因此我们利用共享内存，实现用4个线程并行计算特征点的特征描述符，减少线程的运行时间，增加线程的并行度。

经实验测试，对于640x480的图像序列，经过GPU加速后，KLT特征跟踪时间可以减少到10毫秒以内，SIFT特征提取也可以缩减到20-30毫秒，很好的满足实时性要求。

2)相邻参数求解

摄像机拍摄的视频序列具有很好的连贯性，因此帧画面间的定位需要充分考虑连贯性带来的优越性。固定视点下摄像机几何模型为：

设摄像机位置为世界坐标系原点，世界坐标系中的一点M＝[X Y Z 1]^T与其在视频序列第i帧上的投影m_i＝[x y 1]之间的关系可以表示为：

m_i～K_iR_iM                                                               (1)

其中，K_i为第i帧的摄像机内部参数矩阵。R_i为世界坐标系到第i帧摄像机坐标系旋转变换矩阵，也可以由欧拉角表示，即R＝R_Z(γ)R_X(β)R_Z(α)，这里使用了Z-X-Z协定的欧拉旋转。视频序列任意两帧对应点之间的关系可以表示为：

$m_{i+n}~K_{i+n}{R}_{i+n}{R}_i^{-1}{K}_i^{-1}{m}_i---\left(2\right)$

因此，任意两帧间的点可以用一个单应性矩阵来表达。

采用摄像机的单应矩阵求解，仍是摄像机参数的非线性函数，其最优化问题难以求解。因此，利用帧画面间的连贯性，在摄像机平稳运动，并且旋转角度充分小时，将由摄像机旋转引起的相邻两帧图像变换，近似为同一平面上的平移和旋转，忽略两帧之间的镜头畸变，从而简化模型。

若第i-1帧中的点m_i-1＝(x_i-1，y_i-1)与第i帧中的点m_i＝(x_i，y_i)是对应特征点，则它们之间的关系为：

$\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right]={\mathrm{\Δ\λ}}_i\left[\begin{array}{cc}{\cos \mathrm{\Δ\γ}}_i& {\sin \mathrm{\Δ\γ}}_i\\ {-\sin \mathrm{\Δ\γ}}_i& {\cos \mathrm{\Δ\γ}}_i\end{array}\right]\left[\begin{array}{c}{x}_{i-1}\\ y_{i-1}\end{array}\right]+\left[\begin{array}{c}{\mathrm{\Δx}}_i\\ {\mathrm{\Δy}}_i\end{array}\right]---\left(5\right)$

其中点m_i与m_i-1都是以图像中心点为坐标原点，Δγ_i是第i-1帧到第i帧图像的旋转角，Δλ_i是第i-1帧到第i帧的缩放系数，(Δx_i，Δy_i)是第i-1帧到第i帧的图像中心点位移。(Δx_i，Δy_i，Δλ_i，Δγ_i)构成了视频序列中第i-1帧到第i帧的变换参数，与摄像机内参f_i和旋转角(α_i，β_i，γ_i)之间的对应关系为：

f_i＝Δλ_if_i-1

γ_i＝γ_i-1+Δγ_i                                                        (6)

其中，

为了求解(Δx_i，Δy_i，Δλ_i，Δγ_i)的值，我们分两个步骤来分别迭代计算(Δx_i，Δy_i)以及(Δλ_i，Δγ_i)，直到二者同时收敛。其中，(Δx_i，Δy_i)的搜索方法可以采用线性最小二乘法；(Δλ_i，Δγ_i)的参数估计是非线性的，我们采用叠代搜索的方法，实现快速求解算法。

3)基于实时定标算法的用户头部运动轨迹计算

现有遥在***对用户头部运行信息的捕获，使用传感器完成，需要在头盔显示器上额外安装传感设备，价格昂贵，精度有限。而我们通过视觉的方法，直接通过对头盔显示器摄像头进行实时定标就可以获得用户头部运动信息，不需要安装额外的传感器，降低***造价。

4)基于实时定标算法的云台精确位置定位

一般情况下云台的转动总是存在误差的，尤其是在***执行一段时间后误差可能变得很大，这时我们无法知道云台转动的精确朝向，因此我们会在远程计算机上通过获得的双目相机图像数据，进行摄像机定标计算出相机的精确参数，从而获得云台的精确转动位置。

5)基于双目相机的立体显示

我们通过双目相机捕获远程场景的左右眼图像，并实时传送回本地计算机，用于头盔显示器的事实显示，从而使用户可以获得远程场景的实时立体感受。

附图说明

图1是本发明方法的软件流程图。

图2是本发明装置的结构示意图。

其中，1、头盔显示器

      2、头盔摄像头

      3、显示装置

      4、本地计算机

      5、GPU

      6、CPU

7、云台双目相机

8、云台

9、双目相机

10、远程计算机

11、图像数据

12、相机参数

具体实施方式

下面结合附图和实例对本发明作进一步说明。

实施例：

一种基于摄像机实时定标的遥在装置，如图2所示，包括两台计算机、一台云台控制的双目相机和头盔显示器，其特征在于，本地计算机和头盔显示器直接连接，远程计算机和双目相机以及云台直接连接，本地计算机和远程计算机通过网络互联。

一种基于摄像机实时定标的遥在装置的工作方法，如图1所示，方法如下：

1)头盔显示器摄像头拍摄本地场景的完整离线视频序列，双目相机拍摄远程场景的完整离线视频序列，对本地场景的完整离线视频序列和远程场景的完整离线视频序列通过SIFT特征点的提取与匹配、三维坐标求解和关键帧选取，获得本地和远程场景的三维描述；

2)头盔显示器摄像头将实时捕获的左右眼图像序列传送到本地计算机，同时双目相机将实时捕获的左右眼图像序列传送到远程计算机；

3)当前帧图像为图像序列第一帧时，本地计算机计算出头盔显示器摄像头的初始相机参数，并传送到远程计算机，控制云台转向与头盔显示器摄像头相同的朝向，使头盔显示器和双目相机有相同的朝向；

4)通过获得的图像序列，本地计算机和远程计算机分别进行相机参数计算；

5)本地计算机将实时定标获得的相机参数传送到远程计算机，远程计算机根据本地计算机传送来的头盔显示器摄像头相机参数和当前求解出的双目相机相机参数，生成云台转动控制指令；

6)远程计算机将双目相机获得的左右眼图像实时传送回本地计算机，并在头盔显示器上实时显示；

7)判断当前帧是否为最后一帧？是，工作结束；否，则下一帧作为当前帧，重复步骤(4)至(6)。

Claims (1)

1.一种基于摄像机实时定标的可视遥在装置的工作方法，其特征在于，工作方法如下：

1)头盔显示器摄像头拍摄本地场景的完整离线视频序列，双目相机拍摄远程场景的完整离线视频序列，使用GPU加速的摄像机实时定标方法，分别对头盔显示器摄像头和双目相机进行实时定标，所述实时定标方法整体上分为离线和在线两个阶段，离线阶段主要用于构建真实场景的三维描述，包括建立SIFT特征点库，选取关键帧工作，这时需要获取场景的离线视频序列，提取SIFT特征点，求解特征点的球面坐标，采用关键帧单位组织SIFT特征点，构成离线特征点库，在线阶段，使用KLT进行连续帧特征跟踪，根据跟踪结果进行相邻帧相机参数求解，逐帧求解过程中，相机定标误差会逐渐积累，因此提取SIFT特征点，并选取关键帧进行特征匹配，计算出精确的相机参数，进行积累误差消除；

帧画面上的特征点的提取、匹配与跟踪是定标计算的瓶颈，因此所述KLT算法和SIFT算法由CUDA编程实现：CUDA（Compute Unified Device Architecture）是在GPU上的一个通用并行计算架构，另外，所述KLT算法在进行特征点选择时，需要计算的最小特征根数据传回CPU中进行选点计算，在计算的同时对最小特征根数据进行初步的筛选，并通过atomic函数，只将经过筛选的数据进行保存；另外，所述SIFT算法在进行局部极值检测时，需要对DOG中间层图像的每个像素进行检测，只保存获得的极值点数据；最后在获取SIFT特征描述符时，利用共享内存，实现用4个线程并行计算特征点的特征描述符；

2)头盔显示器摄像头将实时捕获的左右眼图像序列传送到本地计算机，同时双目相机将实时捕获的左右眼图像序列传送到远程计算机；

3)当前帧图像为图像序列第一帧时，本地计算机计算出头盔显示器摄像头的初始相机参数，并传送到远程计算机，控制云台转向与头盔显示器摄像头相同的朝向，使头盔显示器和双目相机有相同的朝向；

4)通过获得的图像序列，本地计算机和远程计算机分别进行相机参数计算；

5)本地计算机将实时定标获得的相机参数传送到远程计算机，远程计算机根据本地计算机传送来的头盔显示器摄像头相机参数和当前求解出的双目相机相机参数，生成云台转动控制指令；

6)远程计算机将双目相机获得的左右眼图像实时传送回本地计算机，并在头盔显示器上实时显示；

7)判断当前帧是否为最后一帧？是，工作结束；否，则下一帧作为当前帧，重复步骤（4）至（6）。

Images