CN117761624B - 一种基于激光编码定位的被动式可移动对象跟踪定位方法 - Google Patents

Abstract

本发明提供一种基于激光编码定位的被动式可移动对象跟踪定位方法，在真实场景中设置信号发射器，在真实场景中的每个被动式可移动对象上设置信号接收器；利用信号发射器对真实场景进行同步脉冲扫描，并获取每个信号接收器接收到信号的时间信息，最后利用预设的激光编码定位算法分别实时计算真实场景中每个被动式可移动对象的位姿信息，完成跟踪定位；本发明基于脉冲激光编码定位来提取多个被动式可移动对象的位姿信息，定位精度高，出错率低；同时，获得的位姿信息还可用于与三维模型进行视觉信息集成，能够使得虚实融合输入***与物理输入***具有同等交互精确度，在提高虚实融合环境自由度的同时优化了用户体验。

Description

一种基于激光编码定位的被动式可移动对象跟踪定位方法

技术领域

本发明涉及虚实融合和激光定位技术领域，更具体地，涉及一种基于激光编码定位的被动式可移动对象跟踪定位方法。

背景技术

虚实融合技术致力于物理世界（实物）、虚拟世界（虚物）和用户（人）三者之间的无缝融合，以实现自然、逼真、和谐的人机交互。虚实融合技术在扩展了物理世界边界的同时也解决了虚拟世界中“虚实分离”的问题，在教育教学、技能培训、手术医疗、军事仿真和航天模拟等领域都具有广阔的应用前景。

为实现物理信息在虚拟环境的无缝融合，在构建虚实融合环境前需对信息提取空间的物理对象进行分类。根据物理对象运动特性、交互范式和存在状态，物理空间目标对象可分为主动式可移动对象（Active Movable Objects，AMO）、被动式可移动对象（PassiveMovable Objects，PMO）和不可移动对象（Immovable Objects，IMO），三种信息的优先级依次降低。

第一层级为以人、动物、机器人等为代表的主动式可移动对象。该类对象具有主观能动性，运动空间和活动轨迹由运动对象自身决定，具有运动自由度高、活动范围大以及存在状态不受控的特性；此外，该类对象个性化特征明显且个性化特征对交互具有重要影响。在虚实融合场景中，该类对象最典型的代表为用户自身，他们既是信息提取的对象，也是交互行为的发出者和执行者，具有最高的交互权重和信息呈现级别。除用户外，该层级对象还包括环境参与者、能自由活动的机器人、宠物等具有主动运动能力的物理对象，该类对象在物理空间中交互权重和存在状态不可控，因此，为提高虚实融合***交互效能、减少环境碰撞，在进行信息提取时该类对象具有最高的信息提取优先级。

第二层级为以交互工具为代表的被动式可移动对象，如键盘、手机、杯子等具有特定功能但运动状态不定的对象。该类对象具有运动轨迹和活动范围可控的特征，在物理空间中的出现和消失状态稳定，虽具有个性化特征，但视觉纹理、颜色、几何形状等信息对交互影响不高，因此不需进行实时绘制，但需进行实时跟踪。

第三层级为以墙壁和桌子等为代表的不可移动对象，该类对象的空间位置一般固定不变，交互权重较低，不需进行精确表达，但为避免碰撞，需根据第三层级对象来界定使用者的可活动空间。

当前虚实融合***中信息提取方法可分为基于视觉的信息提取和基于传感器的信息重建两种方法，其中基于视觉的信息提取方法通过图像分割技术提取目标信息，当目标物体与背景差异不明显时容易造成目标视觉信息丢失，影响虚实融合效果；基于传感器重建的方法通过在目标物体或目标空间中安装传感器获取目标信息，应用于多物体空间中时容易因物体遮挡丢失位姿信息，造成虚实融合场景失配。

现有的专利文件中公开了一种MR融合显示方法、融合***及民机驾驶舱融合***，方法包括：根据实体相机的预设目标参数构建与其相同的虚拟相机；实体相机和虚拟相机同步拍摄实体场景和虚拟场景；提取虚拟目标轮廓区域，根据虚拟目标轮廓区域提取实体相机拍摄的实体场景中的对应的实体区域图像；将提取的实体区域图像融入到虚拟场景中的虚拟目标轮廓区域，完成虚实融合；尽管该现有技术可以实现快速提取实体真实场景中指定对象的像素信息并与虚拟场景中的三维渲染图像进行融合显示，从而提升混合现实仿真的拟真度，但是该技术在面对多目标，以及多个被动式可移动对象时定位精度较低，而且在多物体空间中时容易因物体遮挡丢失位姿信息，造成虚实融合场景失配。

发明内容

本发明为克服上述现有技术在对多个被动式可移动对象进行信息提取时位姿估计精度低、易出错的缺陷，提供一种基于激光编码定位的被动式可移动对象跟踪定位方法，能够使得虚实融合输入***与物理输入***具有同等交互精确度，在提高虚实融合环境自由度的同时优化了用户体验，有利于构建高性能、大范围的虚实融合***。

为解决上述技术问题，本发明的技术方案如下：

一种基于激光编码定位的被动式可移动对象跟踪定位方法，包括以下步骤：

S1：在真实场景中设置信号发射器，在真实场景中的每个被动式可移动对象上设置信号接收器；

S2：利用信号发射器对真实场景进行同步脉冲扫描，并获取每个信号接收器接收到信号的时间信息；

S3：根据每个信号接收器接收到信号的时间信息，利用预设的激光编码定位算法分别实时计算真实场景中每个被动式可移动对象的位姿信息，完成跟踪定位。

优选地，所述步骤S1中，信号发射器包括：同步闪烁器和双轴旋转激光器，所述同步闪烁器用于发射同步脉冲；双轴旋转激光器包括分别垂直旋转和水平旋转的第一和第二激光发射器；

每个所述信号接收器均为激光接收器，每个激光接收器均包括至少3个不共线的光电传感器。

优选地，所述同步闪烁器具体为红外信标，所述第一和第二激光发射器均为红外激光发射器，每个所述激光接收器均为红外激光接收器。

优选地，所述步骤S2包括：

S2.1：在所述真实场景中，同步闪烁器实时向外发射同步脉冲；每个所述激光接收器接收同步脉冲，并获取第一脉冲时间T1；

S2.2：所述第一激光发射器垂直旋转，利用垂直激光扫描真实场景的水平方向，扫描角度为180°；当垂直激光扫描到被动式可移动对象时，其对应的激光接收器接收到垂直激光信号并获取垂直激光到达该激光接收器的时间T2；

S2.3：每个所述激光接收器再次接收同步脉冲，并获取第二脉冲时间T3；

S2.4：所述第二激光发射器水平旋转，利用水平激光扫描真实场景的垂直方向，扫描角度为180°；当水平激光扫描到被动式可移动对象时，其对应的激光接收器接收到水平激光信号并获取水平激光到达该激光接收器的时间T4；

S2.5：设置扫描总时间T，以扫描总时间T为一个周期，重复若干次步骤S2.1~S2.4，将每个激光发射器的第一脉冲时间T1、垂直激光到达该激光接收器的时间T2、第二脉冲时间T3和水平激光到达该激光接收器的时间T4共同对应保存为每个信号接收器接收到信号的时间信息。

优选地，所述第一激光发射器垂直旋转的方向为逆时针，第二激光发射器水平旋转的方向为顺时针；

或第一激光发射器垂直旋转的方向为顺时针，第二激光发射器水平旋转的方向为逆时针。

优选地，所述步骤S3包括：

S3.1：建立球坐标系，对于每个信号接收器，任选其中3个不共线的光电传感器，根据每个信号接收器接收到信号的时间信息，计算每个信号接收器中所选3个光电传感器的方位角和仰角；

S3.2：利用预设的激光编码定位算法构造定位方程，利用牛顿迭代法迭代求解所述定位方程，获取每个信号接收器中所选3个光电传感器与球坐标系原点之间的距离；

S3.3：将每个信号接收器中所选3个光电传感器的方位角、仰角和与球坐标系原点之间的距离，共同作为真实场景中每个被动式可移动对象的位姿信息，完成跟踪定位。

优选地，所述步骤S3.1包括：

建立球坐标系，对于每个信号接收器，任选其中3个不共线的光电传感器，并分别记为光电传感器A、B和C；

在所建立的球坐标系中，光电传感器A、B和C的位姿信息分别表示为：、和/>，其中，/>、/>和/>分别为球坐标系原点到光电传感器A、B和C之间的距离，/>、/>和/>分别为光电传感器A、B和C的方位角，/>、/>和/>分别为光电传感器A、B和C的方位角；所述球坐标系原点到光电传感器A、B和C的向量分别表示为：/>、/>和/>；

计算方位角的过程为：

计算仰角的过程为：

其中，T 为扫描总时间。

优选地，所述步骤S3.2包括：

构造矩阵方程：

其中，，/>、/>和/>分别为向量/>和/>、/>和/>，以及/>和/>之间的夹角；AB、BC和AC分别为预先测量得到的光电传感器A和B，B和C，以及A和C之间的距离；

所述矩阵方程满足如下条件：在/>处有精确解，使得/>；将所述矩阵方程/>转化为定位方程，所述定位方程具体为：

其中：

为/>的雅克比矩阵；

利用牛顿迭代法迭代求解所述定位方程，获取每个信号接收器中所选3个光电传感器与球坐标系原点之间的距离。

优选地，所述步骤S3.3中，真实场景中被动式可移动对象的位姿信息表示为：

其中，、/>和/>分别为k次迭代后获取到的球坐标系原点到光电传感器A、B和C之间的距离。

优选地，所述方法还包括：

S4：在虚拟环境中对每个被动式可移动对象进行三维建模，获取每个被动式可移动对象对应的三维模型；并将每个被动式可移动对象的位姿信息与其对应的三维模型相融合，完成在虚拟环境中对被动式可移动对象的跟踪定位。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供一种基于激光编码定位的被动式可移动对象跟踪定位方法，在真实场景中设置信号发射器，在真实场景中的每个被动式可移动对象上设置信号接收器；利用信号发射器对真实场景进行同步脉冲扫描，并获取每个信号接收器接收到信号的时间信息；根据每个信号接收器接收到信号的时间信息，利用预设的激光编码定位算法分别实时计算真实场景中每个被动式可移动对象的位姿信息，完成跟踪定位；

本发明基于脉冲激光编码定位来提取多个被动式可移动对象的位姿信息，定位精度高；同时，获得的位姿信息还可用于与三维模型进行视觉信息集成，能够使得虚实融合输入***与物理输入***具有同等交互精确度，在提高虚实融合环境自由度的同时优化了用户体验；其次，本发明支持多发射器同时工作，避免了无独立编码情况下发射器之间的互相干扰，扩展了发射器的使用数量，增加了跟踪范围；此外，激光接收器标识点具有独立数据处理能力，能按照需求自定义数量和外形，可以便捷地与头盔显示器、键盘、桌椅等设备进行集成，有利于构建高性能、大范围的虚实融合***。

附图说明

图1为实施例1所提供的一种基于激光编码定位的被动式可移动对象跟踪定位方法流程图。

图2为实施例2所提供的同步脉冲激光编码高精度位姿信息提取框架图。

图3为实施例2所提供的红外激光发射器实物图。

图4为实施例2所提供的红外激光接收器实物图。

图5为实施例2所提供的利用信号发射器对真实场景进行同步脉冲扫描示意图。

图6为实施例2所提供的球坐标系示意图。

图7为实施例2所提供的牛顿迭代算法流程图。

图8为实施例3所提供的多源虚实融合输入***构建流程图。

图9为实施例3所提供的多源虚实融合输入***实景搭建示意图。

图10为实施例3所提供的文本输入任务示意图。

图11为实施例3所提供的图片处理任务示意图。

图12为实施例3所提供的文本输入任务实验结果图。

图13为实施例3所提供的图片处理任务实验结果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，本实施例提供一种基于激光编码定位的被动式可移动对象跟踪定位方法，包括以下步骤：

S1：在真实场景中设置信号发射器，在真实场景中的每个被动式可移动对象上设置信号接收器；

S2：利用信号发射器对真实场景进行同步脉冲扫描，并获取每个信号接收器接收到信号的时间信息；

S3：根据每个信号接收器接收到信号的时间信息，利用预设的激光编码定位算法分别实时计算真实场景中每个被动式可移动对象的位姿信息，完成跟踪定位。

在具体实施过程中，由于被动式可移动对象活动轨迹可控、运动自由度受限、不存在实时出现与消失的难点，但对交互实时性和交互精度要求较高，因此本方法采用同步脉冲激光编码定位方法实现该类对象的视觉信息重建和位姿信息提取；

首先在真实场景中设置信号发射器，在真实场景中的每个被动式可移动对象上设置信号接收器；利用信号发射器对真实场景进行同步脉冲扫描，并获取每个信号接收器接收到信号的时间信息；根据每个信号接收器接收到信号的时间信息，利用预设的激光编码定位算法分别实时计算真实场景中每个被动式可移动对象的位姿信息，完成跟踪定位；

本方法基于脉冲激光编码定位来提取多个被动式可移动对象的位姿信息，定位精度高；同时，获得的位姿信息还可用于与三维模型进行视觉信息集成，能够使得虚实融合输入***与物理输入***具有同等交互精确度，在提高虚实融合环境自由度的同时优化了用户体验，有利于构建高性能、大范围的虚实融合***。

实施例2

本实施例提供一种基于激光编码定位的被动式可移动对象跟踪定位方法，包括以下步骤：

S1：在真实场景中设置信号发射器，在真实场景中的每个被动式可移动对象上设置信号接收器；

S2：利用信号发射器对真实场景进行同步脉冲扫描，并获取每个信号接收器接收到信号的时间信息；

S3：根据每个信号接收器接收到信号的时间信息，利用预设的激光编码定位算法分别实时计算真实场景中每个被动式可移动对象的位姿信息，完成跟踪定位；

S4：在虚拟环境中对每个被动式可移动对象进行三维建模，获取每个被动式可移动对象对应的三维模型；并将每个被动式可移动对象的位姿信息与其对应的三维模型相融合，完成在虚拟环境中对被动式可移动对象的跟踪定位；

所述步骤S1中，信号发射器包括：同步闪烁器和双轴旋转激光器，所述同步闪烁器用于发射同步脉冲；双轴旋转激光器包括分别垂直旋转和水平旋转的第一和第二激光发射器；

每个所述信号接收器均为激光接收器，每个激光接收器均包括至少3个不共线的光电传感器；

所述同步闪烁器具体为红外信标，所述第一和第二激光发射器均为红外激光发射器，每个所述激光接收器均为红外激光接收器；

所述步骤S2包括：

S2.1：在所述真实场景中，同步闪烁器实时向外发射同步脉冲；每个所述激光接收器接收同步脉冲，并获取第一脉冲时间T1；

S2.2：所述第一激光发射器逆时针垂直旋转，利用垂直激光扫描真实场景的水平方向，扫描角度为180°；当垂直激光扫描到被动式可移动对象时，其对应的激光接收器接收到垂直激光信号并获取垂直激光到达该激光接收器的时间T2；

S2.3：每个所述激光接收器再次接收同步脉冲，并获取第二脉冲时间T3；

S2.4：所述第二激光发射器顺时针水平旋转，利用水平激光扫描真实场景的垂直方向，扫描角度为180°；当水平激光扫描到被动式可移动对象时，其对应的激光接收器接收到水平激光信号并获取水平激光到达该激光接收器的时间T4；

S2.5：设置扫描总时间T，以扫描总时间T为一个周期，重复若干次步骤S2.1~S2.4，将每个激光发射器的第一脉冲时间T1、垂直激光到达该激光接收器的时间T2、第二脉冲时间T3和水平激光到达该激光接收器的时间T4共同对应保存为每个信号接收器接收到信号的时间信息；

所述步骤S3包括：

S3.1：建立球坐标系，对于每个信号接收器，任选其中3个不共线的光电传感器，根据每个信号接收器接收到信号的时间信息，计算每个信号接收器中所选3个光电传感器的方位角和仰角；

S3.2：利用预设的激光编码定位算法构造定位方程，利用牛顿迭代法迭代求解所述定位方程，获取每个信号接收器中所选3个光电传感器与球坐标系原点之间的距离；

S3.3：将每个信号接收器中所选3个光电传感器的方位角、仰角和与球坐标系原点之间的距离，共同作为真实场景中每个被动式可移动对象的位姿信息，完成跟踪定位；

所述步骤S3.1包括：

建立球坐标系，对于每个信号接收器，任选其中3个不共线的光电传感器，并分别记为光电传感器A、B和C；

在所建立的球坐标系中，光电传感器A、B和C的位姿信息分别表示为：、和/>，其中，/>、/>和/>分别为球坐标系原点到光电传感器A、B和C之间的距离，/>、/>和/>分别为光电传感器A、B和C的方位角，/>、/>和/>分别为光电传感器A、B和C的方位角；所述球坐标系原点到光电传感器A、B和C的向量分别表示为：/>、/>和/>；

计算方位角的过程为：

计算仰角的过程为：

其中，T 为扫描总时间；

所述步骤S3.2包括：

构造矩阵方程：

其中，，/>、/>和/>分别为向量/>和/>、/>和/>，以及/>和/>之间的夹角；AB、BC和AC分别为预先测量得到的光电传感器A和B，B和C，以及A和C之间的距离；

所述矩阵方程满足如下条件：在/>处有精确解，使得/>；将所述矩阵方程/>转化为定位方程，所述定位方程具体为：

其中：

为/>的雅克比矩阵；

利用牛顿迭代法迭代求解所述定位方程，获取每个信号接收器中所选3个光电传感器与球坐标系原点之间的距离；

所述步骤S3.3中，真实场景中被动式可移动对象的位姿信息表示为：

其中，、/>和/>分别为k次迭代后获取到的球坐标系原点到光电传感器A、B和C之间的距离。

在具体实施过程中，如图2所示，基于脉冲激光编码的光学跟踪方法通过对发射光或反射光的计算确定目标的位置和方向，计算过程中跟踪目标在环境中移动，固定在环境中特定位置的传感器（信标、追踪塔或摄像头）向同一跟踪物体发射信号或接收信息以获得不同空间位置坐标下的信号强度、接收时间、对象大小等相关参数，进而根据不同传感器获得参数的差异计算出跟踪目标的位姿信息；

本实施例所用的脉冲激光编码光学跟踪设备由红外激光发射器、红外激光接收器以及信号处理器三部分组成；

如图3所示，信号发射器包括同步闪烁器（红外信标）和双轴旋转红外激光发射器，其中同步闪烁器由红外发光二极管阵列组成，该阵列每秒发射60次同步脉冲；双轴旋转激光发射器由两个分别绕X轴和Y轴旋转的激光发射器组成；在直流马达的带动下，两个激光发射器每10ms交换一次，依次向环境中发射面激光以扫描整个物理空间；

红外激光接收器如图4所示，其由红外滤波片和多个光电传感器组成；红外滤波片用来过滤杂光干扰，提高跟踪精度，光电传感器接收同步闪烁器发射的同步脉冲信号和激光发射器发射的红外激光信号，通过将接收到的激光信号传输到处理器进行信号解码和参数计算可以估计物***姿信息，获得目标对象位置和姿态的实时信息；

本方法中的脉冲激光编码高精度位姿信息提取流程如下：

基于同步脉冲激光编码定位的位姿信息提取流程如图5所示；首先，同步闪烁器S向外发射同步脉冲，当覆盖着光电传感器的红外激光接收器接收到同步脉冲信号后开始计时T1；其次，旋转激光器R1逆时针旋转，将垂直激光扫描线从t1时刻的P1P2 位置移动到t2时刻的P1’P2’处实现X轴方向扫描，扫描角度为180°；当激光扫描到目标物体时，与目标绑定在一起的接收器接收到激光信号并记录下激光束到达目标激光接收器的时间T2；第三，同步闪烁器继续发射同步脉冲信号，记录信号接收时间T3；类似的，转子R2顺时针旋转并发射激光，将t3时刻的水平激光扫描线从P3P4处移动到t4时刻的P3’P4’位置处，沿Y轴扫描空间，当光束到达目标物体时激光信息被红外激光接收器接收，记录激光束到达目标的时间T4；最后，通过光传感器被激光击中的时间参数和光传感器的位置参数计算物理空间中三维物体的位姿信息；

根据激光接收器上每个光电传感器获取脉冲信号和激光信号的时间差异可以计算每个光电传感器的方位角θ和仰角β，从而获得目标位姿信息；方位角θ和仰角β计算公式如下：

上式中，T 为一个扫描周期的总时间，T1和T3为脉冲信号接收时间，T2为横向扫描时光电传感器接收到红外激光的时间，T4为纵向扫描时光电传感器接收到红外激光的时间；

本方法中同步脉冲激光编码高精度位姿信息计算方法流程如下：

红外激光接收器上覆盖的多个光电传感器在同一时刻接收到激光发射器发射的红外激光，由于光电传感器相对位置不变，因此可以计算出目标位姿；位姿计算模型如图6所示；

激光接收器ABC在XY平面的投影为A’B’C’，传感器A 、B/>和C 的坐标分别用方向向量/>、/>和/>，以及方位角θ和仰角β来表示；在球坐标系中，红外激光接收器上任一光电传感器P/>的位置可表示为：

其中，为原点O到点P的距离；θ为方位角，取值范围为[0,2π]；β为仰角，取值范围为[0, π]；

由上述式子可得，光电传感器 A、B、C 在球坐标系中位置可表示为、/>和/>；

用、/>和/>分别表示向量/>和/>、/>和/>，以及/>和/>之间的夹角，则：

即：

进一步可得到：

进一步计算可得：

同样方法可计算得到：

根据余弦定理可得△OAB，△OBC，△OAC中未知变量、/>和/>的非参数方程为：

其中，AB、BC和AC分别为预先测量得到的光电传感器A和B，B和C，以及A和C之间的距离，由于光电传感器之间的位置是预先设定且固定不变的，因此式中的AB、BC和AC是已知项；将上式转换为矩阵方程后可表示为：

其中，；

该矩阵方程的雅克比矩阵为：

假设矩阵方程在/>处有精确解，使得/>，则对其在/>处进行泰勒展开，可得：

则：

因此，可将该矩阵方程转换为定位方程：

由于该定位方程的精确解是未知的，因此采用牛顿迭代法进行迭代求解，迭代算法流程如图7所示；用k表示迭代次数，迭代开始前（k = 0）对变量进行初始化，并赋予随机初始值；

迭代函数如下：

当迭代k次到达最大预设数时停止迭代，此时迭代后得到的满足下式：

则最终获得的真实场景中被动式可移动对象的位姿信息表示为：

其中，、/>和/>分别为k次迭代后获取到的球坐标系原点到光电传感器A、B和C之间的距离；

将获得的位姿信息赋予目标的三维模型后融合进虚拟环境中即可实现第二深度层级目标在虚拟环境中的可视化及实时跟踪；

本方法基于脉冲激光编码定位来提取多个被动式可移动对象的位姿信息，定位精度高；同时，获得的位姿信息还可用于与三维模型进行视觉信息集成，能够使得虚实融合输入***与物理输入***具有同等交互精确度，在提高虚实融合环境自由度的同时优化了用户体验；其次，本发明支持多发射器同时工作，避免了无独立编码情况下发射器之间的互相干扰，扩展了发射器的使用数量，增加了跟踪范围；此外，激光接收器标识点具有独立数据处理能力，能按照需求自定义数量和外形，可以便捷地与头盔显示器、键盘、桌椅等设备进行集成，有利于构建高性能、大范围的虚实融合***。

实施例3

本实施例提供一种基于物理键盘和鼠标的多源虚实融合输入***，用于验证实施例1和2中所提供的基于激光编码定位的被动式可移动对象跟踪定位方法的有效性。

在具体实施过程中，虚拟环境中缺乏有效输入方法的现象是一个亟待解决的问题，已有研究大多针对数据手套、手柄、语音、注视点、手写等输入方法进行，但这些输入方法精确度低，不适用于长时间连续输入，因而当前主流的方法是将物理键盘和鼠标引入虚拟环境以实现快速精确交互；然而，用户手指会遮挡物理键盘，导致***输入效率低且错误率较高；为此本实施例通过脉冲激光编码定位方法重建物理键盘和鼠标模型，并构建多源虚实融合输入***，从而实现虚实融合环境中的有效输入；

如图8所示，***构建的流程为：首先将环境信息拆分为两部分，第一部分是始终位于键盘和鼠标上方的第一深度层级对象，即使用者的手部信息；另一部分为位于桌面上方、使用者手部下方的第二深度层级对象，即交互键盘和鼠标；根据两部分的需求和深度层级关系，本实施例采用脉冲激光编码光学跟踪方法计算键盘和鼠标的位姿信息；

首先在真实场景中安装RGB相机获取物理空间的彩色图像，使用三脚架将摄像头固定在使用者手部活动区域的斜上方以获得无遮挡的手指信息；其次进行图像分割并提取使用者手部特征信息，通过摄像机实时捕获功能实现使用者手部视觉和位姿信息的实时提取；

本实施例对需要进行精准跟踪的键盘和鼠标等交互对象采用三维建模方法重建其三维模型，通过同步脉冲激光编码定位方法获取高精度位姿信息并将获取的位姿信息通过坐标转换后赋予目标的三维模型，从而实现物理输入设备在虚拟环境中的高分辨率显示和高精度定位；之后将用户的手部信息和通过同步脉冲激光编码光学跟踪方法获取的输入设备信息同步融合进虚拟环境以实现虚拟环境中的有效输入；

如图9所示为本实施例搭建的多源虚实融合输入***，其部分硬件为：用罗技C920Pro高清相机来捕获RGB图像，其视场角为78°，能以每秒30帧（30fps）的刷新率实时捕获最大分辨率为1920×1080像素的场景信息，满足物理信息实时高精度提取的需求；用于同步脉冲激光编码定位的激光发射器为Lighthouse激光***，该装置包括两个互相垂直的红外激光发射器，能实现物理目标六自由度精确定位；用于接收红外激光脉冲的接收器为HTCTracker 2.0，该设备集成多个***，能提取大范围空间中多目标物体的位姿信息；用于虚实融合场景呈现的三维立体显示部分为HTC Vive Pro头戴显示器，该设备包含头戴式显示单元、位姿跟踪单元以及手柄控制器单元；头戴显示单元的单眼分辨率为1400×1600素，双目分辨率为2880×1600像素，刷新率为90fps；位姿跟踪单元的跟踪延迟为22ms，主动运动下的跟踪精度为0.1°；用于RGB图像信息处理、位姿信息计算以及虚实融合场景渲染的计算机***，其CPU为Intel Core i7-6700K，GPU为双核NVIDIA GeForce GTX 1080Ti，内存为16 GB，硬盘为500G固态硬盘加1TB机械硬盘；

本实施例设计了2个任务，一个为基于键盘操作的文本输入任务：文本输入任务是基于键盘操作的任务，本***采用使用者熟悉的“QWERTY”范式键盘进行文本输入，输入任务为有序有意义的字符；任务中的字符取自加拿大约克大学的Mackenzie等于2003年构建的短语集，该短语集适用于文本输入任务，共包含500个具有相同特征的句子，所有句子均为小写字母，不包含标点符号和特殊字符；在对比研究中将语料库中的 500 个句子随机分配给两***并将***输入任务中的字符呈现顺序设为随机呈现，以此避免经验效应对实验结果的影响；文本输入***基于Unity 5.0进行构建，具体操作如图10所示，操作显示界面第一行字符为显示行，表示被试需要输入的文本；第二行为文本输入行，输入提示符为下划线；显示行的句子随机出现，当被试在输入行输入同等数量字符后显示行自动切换下一个文本，直到被试完成特定数量文本的输入；

第二个任务为基于鼠标操作的图片处理任务，图片操作任务基于鼠标进行，包含图片缩放和图片移动两种操作方式；使用者首先需要使用鼠标将固定大小的图片从随机位置移动到固定位置，然后再通过缩放操作将图片缩放至特定尺寸，使得图片边框与固定方框的边界重合；操作***基于Unity 5.0搭建，具体操作如图11所示，操作过程中使用者可以通过鼠标直接拖拽图片实现图片移动；当使用者将鼠标放在图片的四个角落时激活图片缩放功能，从而实现图片的任意缩放；在实验中实验者通过移动和缩放操作使得图片四条边与目标区域边界重合；当使用者完成图片处理操作后点击“确认”按钮，界面自动切换下一张图片；图片操作任务中的图片来自于美国普林斯顿大学的Deng等于2009年开始创建的ImageNet数据集中的子集，包括了用于图像分类的花（177 幅）、水果（946 幅）、汽车（1309幅）、猫（1083 幅）和人（1015 幅）等五种类型的图片；

本实施例使用速率和准确率来表征输入***的效果，文本输入速率使用每秒平均输入的字符数（words/sec）来表示，图片处理速率使用每分钟平均处理的图片数（images/min）来表示。在文本输入任务中，准确率指使用者输入的正确字符数量与使用者需要输入的字符总数的比值；在图像操作任务中，通过被试处理后的图片四条边所在位置与目标位置的像素差值来评价图片处理的准确性；

如图12所示为文本输入任务中被试者在物理输入***和多源虚实融合输入***中完成任务的速率与准确率对比，可以看出，被试在物理输入***中的文字输入速率显著高于虚实融合输入***，这主要是由头戴显示设备分辨率较低引起的，但两***的输入速率和准确率不存在显著差异，虽然虚实融合键盘存在清晰度低的问题，但跟踪精度高，按键位置准确，不会增加额外的按键错误；

如图13所示为图片处理任务中被试者在物理输入***和多源虚实融合输入***中完成任务的速率与准确率对比，可以看出，两***在图片处理速度不存在显著性差异，被试者在虚实融合输入***中的图片处理速率与物理输入***一致，甚至具有效率更高的趋势；图片处理精确度用图片处理后边框位置与目标边框位置像素差值来表示，分为上边框、下边框、左边框和右边框四个方向差异，实验结果表面两***也不存在显著差异，即图片操作准确率在虚实融合输入***中与物理输入***中保持一致，表明本实施例所构建的虚实融合交互***能有效支持鼠标输入操作；

综上所述，本实施例基于激光编码定位的被动式可移动对象跟踪定位方法，构建了一个多源虚实融合交互***，能够使得虚实融合输入***与物理输入***具有同等交互精确度，在提高用户任务专注度的同时提高了虚实融合环境自由度，有利于构建高性能、大范围的虚实融合***。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于激光编码定位的被动式可移动对象跟踪定位方法，其特征在于，包括以下步骤：

S1：在真实场景中设置信号发射器，在真实场景中的每个被动式可移动对象上设置信号接收器；

所述信号发射器包括：同步闪烁器和双轴旋转激光器，所述同步闪烁器用于发射同步脉冲；双轴旋转激光器包括分别垂直旋转和水平旋转的第一和第二激光发射器；

每个所述信号接收器均为激光接收器，每个激光接收器均包括至少3个不共线的光电传感器；

S2：利用信号发射器对真实场景进行同步脉冲扫描，并获取每个信号接收器接收到信号的时间信息，包括：

S2.1：在所述真实场景中，同步闪烁器实时向外发射同步脉冲；每个所述激光接收器接收同步脉冲，并获取第一脉冲时间T1；

S2.2：所述第一激光发射器垂直旋转，利用垂直激光扫描真实场景的水平方向，扫描角度为180°；当垂直激光扫描到被动式可移动对象时，其对应的激光接收器接收到垂直激光信号并获取垂直激光到达该激光接收器的时间T2；

S2.3：每个所述激光接收器再次接收同步脉冲，并获取第二脉冲时间T3；

S2.4：所述第二激光发射器水平旋转，利用水平激光扫描真实场景的垂直方向，扫描角度为180°；当水平激光扫描到被动式可移动对象时，其对应的激光接收器接收到水平激光信号并获取水平激光到达该激光接收器的时间T4；

S2.5：设置扫描总时间T，以扫描总时间T为一个周期，重复若干次步骤S2.1~S2.4，将每个激光发射器的第一脉冲时间T1、垂直激光到达该激光接收器的时间T2、第二脉冲时间T3和水平激光到达该激光接收器的时间T4共同对应保存为每个信号接收器接收到信号的时间信息；

S3：根据每个信号接收器接收到信号的时间信息，利用预设的激光编码定位算法分别实时计算真实场景中每个被动式可移动对象的位姿信息，包括：

S3.1：建立球坐标系，对于每个信号接收器，任选其中3个不共线的光电传感器，根据每个信号接收器接收到信号的时间信息，计算每个信号接收器中所选3个光电传感器的方位角和仰角；

S3.2：利用预设的激光编码定位算法构造定位方程，利用牛顿迭代法迭代求解所述定位方程，获取每个信号接收器中所选3个光电传感器与球坐标系原点之间的距离；

S3.3：将每个信号接收器中所选3个光电传感器的方位角、仰角和与球坐标系原点之间的距离，共同作为真实场景中每个被动式可移动对象的位姿信息，完成跟踪定位。

2.根据权利要求1所述的一种基于激光编码定位的被动式可移动对象跟踪定位方法，其特征在于，所述同步闪烁器具体为红外信标，所述第一和第二激光发射器均为红外激光发射器，每个所述激光接收器均为红外激光接收器。

3.根据权利要求1所述的一种基于激光编码定位的被动式可移动对象跟踪定位方法，其特征在于，所述第一激光发射器垂直旋转的方向为逆时针，第二激光发射器水平旋转的方向为顺时针；

或第一激光发射器垂直旋转的方向为顺时针，第二激光发射器水平旋转的方向为逆时针。

4.根据权利要求1所述的一种基于激光编码定位的被动式可移动对象跟踪定位方法，其特征在于，所述步骤S3.1包括：

建立球坐标系，对于每个信号接收器，任选其中3个不共线的光电传感器，并分别记为光电传感器A、B和C；

在所建立的球坐标系中，光电传感器A、B和C的位姿信息分别表示为：(RA, θ1, β1)、(RB, θ2, β2)和(RC, θ3, β3)，其中，RA、RB和RC分别为球坐标系原点到光电传感器A、B和C之间的距离，θ1、θ2和θ3分别为光电传感器A、B和C的方位角，β1、β2和β3分别为光电传感器A、B和C的仰角；所述球坐标系原点到光电传感器A、B和C的向量分别表示为：、/>和/>；

计算方位角θ的过程为：

计算仰角β的过程为：

其中，T 为扫描总时间。

5.根据权利要求4所述的一种基于激光编码定位的被动式可移动对象跟踪定位方法，其特征在于，所述步骤S3.2包括：

构造矩阵方程：

其中，，/>、/>和/>分别为向量/>和/>、/>和/>，以及/>和/>之间的夹角；AB、BC和AC分别为预先测量得到的光电传感器A和B，B和C，以及A和C之间的距离；

所述矩阵方程满足如下条件：在/>处有精确解，使得/>；将所述矩阵方程转化为定位方程，所述定位方程具体为：

其中：

为/>的雅克比矩阵；

利用牛顿迭代法迭代求解所述定位方程，获取每个信号接收器中所选3个光电传感器与球坐标系原点之间的距离。

6.根据权利要求5所述的一种基于激光编码定位的被动式可移动对象跟踪定位方法，其特征在于，所述步骤S3.3中，真实场景中被动式可移动对象的位姿信息表示为：

其中，、/>和/>分别为k次迭代后获取到的球坐标系原点到光电传感器A、B和C之间的距离。

7.根据权利要求1~6任意一项中所述的一种基于激光编码定位的被动式可移动对象跟踪定位方法，其特征在于，所述方法还包括：

S4：在虚拟环境中对每个被动式可移动对象进行三维建模，获取每个被动式可移动对象对应的三维模型；并将每个被动式可移动对象的位姿信息与其对应的三维模型相融合，完成在虚拟环境中对被动式可移动对象的跟踪定位。