CN114332423A - 虚拟现实手柄追踪方法、终端及计算可读存储介质 - Google Patents

Abstract

本发明公开了一种虚拟现实手柄追踪方法、终端及计算可读存储介质，包括如下步骤：通过位于头显端的第一摄像装置获取多帧第一图像；根据多帧第一图像建立SLAM地图；提取第一图像中的第一特征点；获取第一特征点在SLAM地图中的空间坐标信息；通过位于手柄端的第二摄像装置获取第二图像；提取第二图像中的第二特征点，并获取第二特征点所对应在SLAM地图中的空间坐标信息；获取第二特征点在第二图像中的第二特征平面坐标信息；结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息。通过本发明实现能有效对手柄进行跟踪定位，以优化用户的虚拟现实体验感。

Description

虚拟现实手柄追踪方法、终端及计算可读存储介质

技术领域

本发明涉及虚拟现实领域，特别涉及虚拟现实手柄追踪方法、终端及计算可读存储介质。

背景技术

虚拟现实(Virtual Reality，VR)是一种“互动式的计算机模拟环境,能感知用户的状态和行为,替换或者加强对一种或多种感知***的感官反馈信息,从而使用户获得一种沉浸在模拟环境虚拟环境中的感觉”。虚拟现实技术的特点是沉浸性高,当用户处于虚拟环境时，如身临其境；并且当用户转变角度时,虚拟环境也会作出相应的改变。

随着虚拟现实技术的发展，手柄的作用越来越重要。用户佩戴VR头显(头戴式显示设备)后，通过手柄即可实现与虚拟现实场景交互。目前，手柄的追踪方法一般通过电磁追踪以及超声波追踪。

其中，电磁追踪是在手柄的内部嵌设电磁发射器，同时在VR头显的内部嵌设电磁接收器，利用电磁追踪原理实时解算手柄在三维空间中的位置和姿态信息。超声波追踪是在手柄的内部嵌设超声波发射器，同时在VR头显的内部嵌设超声波接收器，利用超声波追踪原理实时解算手柄在三维空间中的位置和姿态信息。

但是，手柄的电磁传感器对环境中的电磁信号比较敏感，容易受到环境中复杂的电磁信号干扰，从而使电磁传感器产生错误的手柄的电磁追踪数据。例如，当手柄的电磁传感器距离电脑主机比较近，或者在距离音响、电视、冰箱等比较近的环境下，受其他电磁信号的影响，手柄的追踪性能较差，从而导致用户的虚拟现实体验感不佳。因此，采用电磁传感器的手柄的使用局限性较大。同理，采用超声波传感器的手柄的使用局限性也较大。

发明内容

本发明的主要目的是提出虚拟现实手柄追踪方法、终端及计算可读存储介质，旨在实现能有效对手柄进行跟踪定位，以优化用户的虚拟现实体验感。

为实现上述目的，本发明提出一种虚拟现实手柄追踪方法，包括如下步骤：

通过位于头显端的至少一个第一摄像装置获取多帧第一图像；

根据多帧第一图像建立SLAM地图；提取第一图像中的第一特征点；获取第一特征点在SLAM地图中的空间坐标信息；

通过位于手柄端的至少一个第二摄像装置获取第二图像；

提取第二图像中的第二特征点；将第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息；获取第二特征点在第二图像中的第二特征平面坐标信息；

结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息。

可选地，在所述将第二特征点与第一特征点进行匹配的步骤中，包括如下步骤：

将第一特征点生成对应的第一特征描述子；

将第二特征点生成对应的第二特征描述子；

将第二特征描述子与第一特征描述子进行匹配。

可选地，在所述获取第一特征点在SLAM地图中的空间坐标信息的步骤中，包括如下步骤：

对多帧第一图像中的第一特征点进行BA优化处理；

获取经BA优化处理后的第一特征点在SLAM地图中的空间坐标信息。

可选地，在所述获取第一特征点在SLAM地图中的空间坐标信息的步骤后，还包括如下步骤：

获取第一特征点的在第一图像中的第一特征平面坐标信息；

结合第一特征平面坐标信息以及第一特征点在SLAM地图中的空间坐标信息，通过PNP算法计算出头显端当前的头显位姿信息。

可选地，在所述提取第二图像中的第二特征点；将第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息的步骤中，包括如下步骤：

对多帧第二图像中的第二特征点进行BA优化处理；

对经BA优化处理后的第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息。

可选地，在所述结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息的步骤后，还包括如下步骤：

通过位于手柄端的第二惯性测量单元获取第二IMU信息；

将手柄位姿信息与第二IMU信息进行融合运算处理。

可选地，在所述提取第一图像中的第一特征点的步骤以及所述提取第二图像中的第二特征点的步骤中，包括如下步骤：

通过位于头显端的第一时间戳单元获取第一时间戳信息；

通过位于手柄端的第二时间戳单元获取第二时间戳信息；

获取第一时间戳信息以及第二时间戳信息中同一时刻的第一图像以及第二图像；

在同一时刻的第一图像以及第二图像中提取第一特征点以及第二特征点。

可选地，在所述在同一时刻的第一图像以及第二图像中提取第一特征点以及第二特征点的步骤中，包括如下步骤：

根据第一图像中的第一特征点，利用光流跟踪算法匹配第二图像中的第二特征点。

为实现上述目的，本发明还提出一种虚拟现实手柄追踪装置，用于执行上述的虚拟现实手柄追踪方法，包括：

第一图像获取模块，所述第一图像获取模块用于处理通过位于头显端的第一摄像装置获取多帧第一图像；

第一特征点处理模块，所述第一特征点处理模块用于处理根据多帧第一图像建立SLAM地图；提取第一图像中的第一特征点；获取第一特征点在SLAM地图中的空间坐标信息；

第二图像获取模块，所述第二图像获取模块用于处理通过位于手柄端的第二摄像装置获取第二图像；

第二特征点处理模块，所述第二特征点处理模块用于处理提取第二图像中的第二特征点；获取第二特征点在第二图像中的第二特征平面坐标信息；将第二特征点与第一特征点进行匹配，以获取第二特征点所对应的空间坐标信息；

手柄位姿信息模块，所述手柄位姿信息模块用于处理结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息。

为实现上述目的，本发明还提出一种终端，所述终端包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的虚拟现实手柄追踪程序，所述虚拟现实手柄追踪程序被所述处理器执行时实现上述的虚拟现实手柄追踪方法的步骤。

为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有虚拟现实手柄追踪程序，所述虚拟现实手柄追踪程序被处理器执行时实现上述的虚拟现实手柄追踪方法的步骤。

与现有技术相比，本发明的有益效果：

区别于背景技术中的电磁追踪及超声波追踪容易受到环境中的其他电磁信号及超声波信号的干扰，导致使用局限性也较大，用户体验感不佳。本发明先通过位于头显端的第一摄像装置获取多帧第一图像；再根据多帧第一图像建立SLAM地图；提取第一图像中的第一特征点；获取第一特征点在SLAM地图中的空间坐标信息；然后通过位于手柄端的第二摄像装置获取第二图像；随后提取第二图像中的第二特征点；将第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息；获取第二特征点在第二图像中的第二特征平面坐标信息；最后结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息。利用摄像装置图像获取技术，直接检测环境中的特征点，再通过共享SLAM地图，从而计算出手柄当前的位姿信息，不易受环境中其他因素的干扰，具有更高的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为移动终端一实施例的硬件结构示意图；

图2为本发明虚拟现实手柄追踪方法第一实施例的流程示意图；

图3为本发明虚拟现实手柄追踪方法第二实施例的流程示意图；

图4为本发明虚拟现实手柄追踪方法第三实施例的流程示意图；

图5为本发明虚拟现实手柄追踪方法第四实施例的流程示意图；

图6为本发明虚拟现实手柄追踪方法第五实施例的流程示意图；

图7为本发明虚拟现实手柄追踪方法第六实施例的流程示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯***)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution，频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution，分时双工长期演进)等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据，存储器109可为一种计算机存储介质，该存储器109存储有本发明消息提醒程序。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。如处理器110执行存储器109中的消息提醒程序，以实现本发明消息提醒方法各实施例的步骤。

处理器110可包括一个或多个处理单元；可选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，可选的，电源111可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

基于上述移动终端硬件结构，提出本发明方法各个实施例。

本发明提出一种虚拟现实手柄追踪方法，在虚拟现实手柄追踪方法的第一实施例中，参考图2，包括如下步骤：

步骤S10：通过位于头显端的至少一个第一摄像装置获取多帧第一图像；

步骤S20：根据多帧第一图像建立SLAM地图；提取第一图像中的第一特征点，并将第一特征点生成对应的第一特征描述子；获取第一特征点在SLAM地图中的空间坐标信息；

步骤S30：通过位于手柄端的至少一个第二摄像装置获取第二图像；

步骤S40：提取第二图像中的第二特征点，并将第二特征点生成对应的第二特征描述子；将第二特征描述子与第一特征描述子进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息；获取第二特征点在第二图像中的第二特征平面坐标信息；

步骤S50：结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息。

针对背景技术中的手柄的电磁传感器对环境中的电磁信号比较敏感，容易受到环境中复杂的电磁信号干扰，从而使电磁传感器产生错误的手柄的电磁追踪数据。例如，当手柄的电磁传感器距离电脑主机比较近，或者在距离音响、电视、冰箱等比较近的环境下，受其他电磁信号的影响，手柄的追踪性能较差，从而导致用户的虚拟现实体验感不佳。因此，采用电磁传感器的手柄的使用局限性较大。同理，采用超声波传感器的手柄的使用局限性也较大的技术问题。

为了解决上述技术问题，本实施例先通过位于头显端的第一摄像装置获取多帧第一图像；再根据多帧第一图像建立SLAM(simultaneous localization and mapping，同步定位与建图)地图；提取第一图像中的第一特征点，并将第一特征点生成对应的第一特征描述子；获取第一特征点在SLAM地图中的空间坐标信息；然后通过位于手柄端的第二摄像装置获取第二图像；随后提取第二图像中的第二特征点，并将第二特征点生成对应的第二特征描述子；将第二特征描述子与第一特征描述子进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息；获取第二特征点在第二图像中的第二特征平面坐标信息；最后结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息。利用摄像装置图像获取技术，直接检测环境中的特征点，再通过共享SLAM地图，从而计算出手柄当前的位姿信息，不易受环境中其他因素的干扰，具有更高的鲁棒性。

其中，PNP(Perspective-n-Point)算法是求解3D到2D点对运动的方法。它描述了当我们知道N个特征点的空间坐标以及它们的投影位置时,如何估计摄像装置所在的位姿。通俗的讲，PNP算法就是在已知世界坐标系下N个特征点的空间坐标信息以及这些特征点在图像上的投影(平面坐标信息)，去计算出摄影装置所在的位姿。其中，特征点的空间坐标信息可以由三角化或者RGB-D相机的深度图确定。

其中，头显端与手柄端之间的信息传输可通过有线或无线的方式进行传输。具体的，当手柄端的第二摄像装置获取到第二图像后，将第二图像压缩后传送至头显端，通过头显端的主机模块进行后续的运算。此外，还可以在手柄端的第二摄影装置获取到第二图像后，在手柄端进行第二特征点的提取以及第二特征描述子的生成，将提取到的第二特征点以及第二特征描述子发送给头显端，由头显端的主机模块进行后续的运算，这样可以降低传输的带宽占用。再此外，在手柄端的运算力足够的情况下，还可以在手柄端与头显端共享SLAN地图，利用手柄端自行运算出手柄位姿信息，再将手柄位姿信息发送给头显端，以此进一步降低传输的带宽占用。

进一步的，为了提高SLAM地图建立的精度和速度，可在头显端设置多个第一摄像装置，且当第一摄像装置设置有多个时，多个第一摄像装置的拍摄方向分别朝向不同角度。利用多个第一摄像装置同步获取第一图像并进行图像信息共享，通过多个第一图像建立SLAM地图，可有助于提高提高SLAM地图建立的精度和速度。

进一步的，为了提高手柄位姿信息的精度，可在手柄端根据实际情况设置第二摄像装置的数目。在检测情况良好时，可以使用单个第二摄像装置，在单个第二摄像装置检测特征不明显时可以使用多个第二摄像装置来辅助检测，这样可以优化手柄段在某些特征不明显的场景下失效的问题。并且多个第二摄像装置之间位置要做特意的区分，如分别在设置在手柄端的前后左右位置设置。

进一步的，在步骤S40中的将第二特征点与第一特征点进行匹配的步骤中，包括如下步骤：将第一特征点生成对应的第一特征描述子；将第二特征点生成对应的第二特征描述子；将第二特征描述子与第一特征描述子进行匹配。如此设置，通过将第一特征点以及第二特征点转换为第一特征描述子以及第二特征描述子，再利用第一特征描述子与第二特征描述子之间进行匹配，由于转换为特征描述子后比原来的特征点在传输时能降低传输的带宽占用，由于数据的传输。

进一步的，基于第一实施例提出的虚拟现实手柄追踪方法的第二实施例，参考图3，在步骤S20中，包括如下步骤：

步骤S21：对多帧第一图像中的第一特征点进行BA优化处理；

步骤S22：获取经BA优化处理后的第一特征点在SLAM地图中的空间坐标信息。

本实施例在应用时，先对多帧第一图像中的第一特征点进行BA优化处理：再获取经BA优化处理后的第一特征点在SLAM地图中的空间坐标信息。利用BA优化技术对第一特征点进行优化处理，以得到更加准确的第一特征点在SLAM地图中的空间坐标信息，继而得到更加准确的手柄位位姿信息。

其中，第一特征点的BA优化处理是先根据第一摄像装置和前后两帧第一图像中匹配好的平面坐标，求出前一帧第一图像上的平面坐标对应的归一化的空间点坐标，然后根据该空间点的坐标计算重投影到后一帧第一图像上的平面坐标，重投影的平面坐标(估计值)与匹配好的后一帧第一图像上的平面坐标(测量值)不会完全重合，而BA优化处理的目的就是将每一个匹配好的第一特征点建立方程，然后联立，形成超定方程，解出最优的第一特征点的空间点坐标。其中，所谓的BA(Bundle Adjustment)，是指从视觉重建中提炼出最优的3D模型和摄像装置参数(内参数和外参数)。从每一个特征点反射出来的几束光线(bundles of light rays)，在我们把摄像装置位姿和特征点空间位置做出最优的调整(adjustment)之后，最后收束到摄像装置光心的这个过程，简称BA。

进一步的，基于第一实施例提出的虚拟现实手柄追踪方法的第三实施例，参考图4，在步骤S20后，包括如下步骤：

步骤S23：获取第一特征点的在第一图像中的第一特征平面坐标信息；

步骤S24：结合第一特征平面坐标信息以及第一特征点在SLAM地图中的空间坐标信息，通过PNP算法计算出头显端当前的头显位姿信息。

本实施例在应用时，先获取第一特征点的在第一图像中的第一特征平面坐标信息；再结合第一特征平面坐标信息以及第一特征点在SLAM地图中的空间坐标信息，通过PNP算法计算出头显端当前的头显位姿信息。考虑到在某些虚拟现实中，不仅手柄端的位姿需要检测，头显端的位姿也需要检测，通过同时定位手柄端以及头显端的位姿信息，以进行更真实的虚拟体验。

进一步的，基于第一实施例提出的虚拟现实手柄追踪方法的第四实施例，参考图5，在步骤S40中，包括如下步骤：

步骤S41：对多帧第二图像中的第二特征点进行BA优化处理；

步骤S42：对经BA优化处理后的第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息。

本实施例在应用时，先对多帧第二图像中的第二特征点进行BA优化处理；再对经BA优化处理后的第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息。利用BA优化技术对第二特征点进行优化处理，以得到更加准确的第二特征点，继而得到更加准确的手柄位位姿信息。其中，BA优化处理原理在上文中已做陈述，故此不再作重复描述。

进一步的，基于第一实施例提出的虚拟现实手柄追踪方法的第五实施例，参考图6，在步骤S50后，包括如下步骤：

步骤S51：通过位于手柄端的第二惯性测量单元获取第二IMU信息；

步骤S52：将手柄位姿信息与第二IMU信息进行融合运算处理。

本实施例在应用时，先通过位于手柄端的第二惯性测量单元获取第二IMU信息；再将手柄位姿信息与第二IMU信息进行融合运算处理。其中，IMU全称是惯性导航***，第二惯性测量单元中主要元件有陀螺仪、加速度计和磁力计。其中陀螺仪可以得到各个轴的加速度，而加速度计能得到x，y，z方向的加速度，而磁力计能获得周围磁场的信息。主要的工作便是将三个传感器的数据与融合得到较为准确的第二IMU信息。再通过将手柄位姿信息与第二IMU信息进行融合得到更为准确的手柄的位姿信息。

其中，手柄位姿信息与第二IMU信息之间的融合方式包括松耦合和紧耦合两种。松耦合将视觉传感器和IMU作为两个单独的模块，两个模块均可以计算得到位姿信息，然后一般通过EKF进行融合。紧耦合则是指将视觉传感器和IMU得到的中间数据通过一个优化滤波器进行处理，紧耦合需要把图像特征加入到特征向量中，最终得到位姿信息的过程。由于这个原因，***状态向量最终的维度也会非常高，同时计算量也很大。

进一步的，基于上述实施例的技术启示，本领域的技术人员还可以在步骤S24后，实施以下步骤：

步骤S25：通过位于头显端的第一惯性测量单元获取第一IMU信息；

步骤S26：将头显位姿信息与第一IMU信息进行融合运算处理。

通过上述步骤以得到更为准确的头显的位姿信息。

进一步的，基于第一实施例提出的虚拟现实手柄追踪方法的第六实施例，参考图7，在步骤S20和步骤40中，包括如下步骤：

步骤S61：通过位于头显端的第一时间戳单元获取第一时间戳信息；

步骤S62：通过位于手柄端的第二时间戳单元获取第二时间戳信息；

步骤S63：获取第一时间戳信息以及第二时间戳信息中同一时刻的第一图像以及第二图像；

步骤S64：在同一时刻的第一图像以及第二图像中提取第一特征点以及第二特征点。

本实施例在应用时，先通过位于头显端的第一时间戳单元获取第一时间戳信息以及通过位于手柄端的第二时间戳单元获取第二时间戳信息；再获取第一时间戳信息以及第二时间戳信息中同一时刻的第一图像以及第二图像；最后在同一时刻的第一图像以及第二图像中提取第一特征点以及第二特征点。为了提高手柄位姿信息的精度，避免信号传输的过程中出现延迟而导致头显端和手柄端所共享的信息出现偏差。本实施例通过第一时间戳单元与第二时间戳单元匹配同一时刻头显端的第一图像和手柄端的第二图像，以确保头显端和手柄端的时间同步。同时，设置时间戳能简化关于网络延迟的算法匹配的复杂度。

进一步的，在步骤S64中，还包括如下步骤：

步骤S641：根据第一图像中的第一特征点，利用光流跟踪算法匹配第二图像中的第二特征点。

相比起先将特征点生成对应的特征描述子，利用光流跟踪算法进行头显端和手柄端共视的特征点的匹配，效率更高速度更快，可以更精确的解算出手柄的位姿信息。当然，若采用光流跟踪算法无法进行匹配，则使用特征描述子匹配算法在SLAM地图中查找第二特征点。

其中，光流跟踪算法的原理是对于一个连续的视频帧序列进行处理；针对每一个视频序列，利用一定目标检测方法，检测可能出现的前景目标；如果某一帧出现了前景目标，找到其具有代表性的关键特征点；对之后的任意两个相邻视频而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；如此迭代进行，便可实现目标的跟踪。将上述光流跟踪算法的原理应用于本步骤，即为通过头显端的第一图像为前景目标，将第一图像中的第一特征点为关键特征点，再在手柄端的第二图像中寻找第一特征点所对应的第二特征点的位置，从而得到第二特征点的位置坐标，从而实现特征点的跟踪。

此外，本发明实施例还提出一种终端，所终端包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的虚拟现实手柄追踪程序，所述虚拟现实手柄追踪程序被所述处理器执行时实现如上述实施例所述的虚拟现实手柄追踪方法的步骤。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有虚拟现实手柄追踪程序，所述虚拟现实手柄追踪程序被处理器执行时实现如上述实施例所述的虚拟现实手柄追踪方法的步骤。

需要说明的是，本发明公开的虚拟现实手柄追踪方法、终端及计算可读存储介质的其它内容为现有技术，在此不再赘述。

另外，需要说明的是，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

此外，需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

以上仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种虚拟现实手柄追踪方法，其特征在于，包括如下步骤：

通过位于头显端的至少一个第一摄像装置获取多帧第一图像；

根据多帧第一图像建立SLAM地图；提取第一图像中的第一特征点；获取第一特征点在SLAM地图中的空间坐标信息；

通过位于手柄端的至少一个第二摄像装置获取第二图像；

提取第二图像中的第二特征点；将第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息；获取第二特征点在第二图像中的第二特征平面坐标信息；

结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息。

2.根据权利要求1所述的虚拟现实手柄追踪方法，其特征在于：在所述将第二特征点与第一特征点进行匹配的步骤中，包括如下步骤：

将第一特征点生成对应的第一特征描述子；

将第二特征点生成对应的第二特征描述子；

将第二特征描述子与第一特征描述子进行匹配。

3.根据权利要求1所述的虚拟现实手柄追踪方法，其特征在于：在所述获取第一特征点在SLAM地图中的空间坐标信息的步骤中，包括如下步骤：

对多帧第一图像中的第一特征点进行BA优化处理；

获取经BA优化处理后的第一特征点在SLAM地图中的空间坐标信息。

4.根据权利要求1所述的虚拟现实手柄追踪方法，其特征在于：在所述获取第一特征点在SLAM地图中的空间坐标信息的步骤后，还包括如下步骤：

获取第一特征点的在第一图像中的第一特征平面坐标信息；

结合第一特征平面坐标信息以及第一特征点在SLAM地图中的空间坐标信息，通过PNP算法计算出头显端当前的头显位姿信息。

5.根据权利要求1所述的虚拟现实手柄追踪方法，其特征在于：在所述提取第二图像中的第二特征点；将第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息的步骤中，包括如下步骤：

对多帧第二图像中的第二特征点进行BA优化处理；

对经BA优化处理后的第二特征点与第一特征点进行匹配，以获取第二特征点所对应在SLAM地图中的空间坐标信息。

6.根据权利要求1所述的虚拟现实手柄追踪方法，其特征在于：在所述结合第二特征平面坐标信息以及第二特征点所对应的空间坐标信息，通过PNP算法计算出手柄端当前的手柄位姿信息的步骤后，还包括如下步骤：

通过位于手柄端的第二惯性测量单元获取第二IMU信息；

将手柄位姿信息与第二IMU信息进行融合运算处理。

7.根据权利要求1所述的虚拟现实手柄追踪方法，其特征在于：在所述提取第一图像中的第一特征点的步骤以及所述提取第二图像中的第二特征点的步骤中，包括如下步骤：

通过位于头显端的第一时间戳单元获取第一时间戳信息；

通过位于手柄端的第二时间戳单元获取第二时间戳信息；

获取第一时间戳信息以及第二时间戳信息中同一时刻的第一图像以及第二图像；

在同一时刻的第一图像以及第二图像中提取第一特征点以及第二特征点。

8.根据权利要求7所述的虚拟现实手柄追踪方法，其特征在于：在所述在同一时刻的第一图像以及第二图像中提取第一特征点以及第二特征点的步骤中，包括如下步骤：

根据第一图像中的第一特征点，利用光流跟踪算法匹配第二图像中的第二特征点。

9.一种终端，其特征在于：所述终端包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的虚拟现实手柄追踪程序，所述虚拟现实手柄追踪程序被所述处理器执行时实现如权利要求1至8任一项所述的虚拟现实手柄追踪方法的步骤。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有虚拟现实手柄追踪程序，所述虚拟现实手柄追踪程序被处理器执行时实现如权利要求1至8任一项所述的虚拟现实手柄追踪方法的步骤。

Images