CN108597036A - 虚拟现实环境危险感知方法及装置 - Google Patents

Abstract

本发明提出虚拟现实环境危险感知方法及装置。方法包括：提取VR摄像机实时采集的每一帧图像中的特征点；对于第二帧及以后帧图像，将当前帧与前一帧图像中的特征点进行匹配，根据每对匹配点，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若存在，计算关注物与当前VR摄像机之间的距离，若该欧氏距离小于预设阈值，则向用户发出危险提醒。本发明能够在VR环境中感知危险并发出提醒。

Description

虚拟现实环境危险感知方法及装置

技术领域

本发明涉及VR(Virtual Reality，虚拟现实)技术领域。尤其涉及一种VR环境危险感知方法及装置。

背景技术

分析VR产品使用过程中的现状了解到：用户在使用VR产品时因为无法感知所处的真实环境，不了解自己运动是否会产生危险，所以在运动过程中小心翼翼，不敢自由移动。

随着计算芯片性能的不断提升，渲染算法的不断优化改进，VR产品画面真实感不断地增强，而这样的背景下，用户却无法全身心地体验这样的沉浸感。目前急需可以感知真实环境并且提示的方法。

目前VR应用中，只是简单地通过摄像头拍摄真实画面并映射，缺少对于真实环境本身的精确感知。

发明内容

本发明提供VR环境危险感知方法及装置，以实现VR环境中的危险感知及提醒。

本发明的技术方案是这样实现的：

一种虚拟现实VR环境危险感知方法，该方法包括：

对于VR摄像机实时采集的每一帧图像，提取该图像中的特征点；

对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的特征点进行匹配，根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；

根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的运动矢量，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的距离，若该距离小于预设阈值，则向用户发出危险提醒。

所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：

将计算得到的特征点的世界坐标放入到局部地图描述库中，同时，在局部地图描述库中记录每一特征点对应的帧标识；

且，所述将当前帧图像与前一帧图像中的特征点进行匹配之后、根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量之前进一步包括：

判断当前帧是否满足如下关键帧判定条件之一：

一、关键帧集合中的关键帧总数<第一阈值；

二、当前帧与前一帧图像匹配成功的特征点的数目/当前帧提取的特征点的总数<第二阈值；

若满足，则确定当前帧为关键帧，将当前帧的帧标识放入关键帧集合中，然后执行所述根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量的动作；否则，确定当前帧为非关键帧，丢弃当前帧，直接转至下一帧。

当确定当前帧为关键帧时，所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：

将计算出世界坐标的当前帧的所有特征点与关键帧集合中的每一关键帧的计算出世界坐标的所有特征点分别进行匹配，若匹配率超过预设第三阈值，则认为当前帧冗余，则不将当前帧加入关键帧集合，也不以计算出世界坐标的当前帧的特征点更新局部地图描述库，转至下一帧，其中，若两个特征点的世界坐标相同，则两个特征点匹配。

所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：

将计算出世界坐标的当前帧的所有特征点构成一个词袋BOW向量，将当前帧的BOW向量分别与关键帧集合中的每一关键帧的BOW向量进行匹配，若与一关键帧匹配成功，则认为对当前帧的重定位成功，即认为VR摄像机采集当前帧时所处的位置与采集匹配成功的关键帧时所处的位置相同，则丢弃原本在当前帧中提取出的特征点，在局部地图描述库中查找到匹配成功的关键帧对应的所有特征点的世界坐标，在查找到的每个特征点的世界坐标的帧标识列表中添加当前帧的帧标识，且不将当前帧放入关键帧集合

所述关键帧判定条件进一步包括：

当前帧的最近一次重定位过程耗时时长大于预设第五阈值。

所述方法进一步包括：

当预设的闭环检测周期到来时，对于关键帧集合中的关键帧，分别计算最新的关键帧的BOW向量与与其关联的每一关键帧的BOW向量的距离，将距离最小的关联关键帧作为最新关键帧的候选回环帧，其中，当两个关键帧中至少有一对特征点的世界坐标相同时，认为该两个关键帧关联；

根据最新关键帧和候选回环帧上的特征点的世界坐标，计算VR摄像机采集最新关键帧时相对采集候选回环帧时的运动矢量，以候选回环帧作为最新关键帧的前一帧，将该两帧的特征点进行匹配，根据计算出的运动矢量，重新计算匹配成功的所有特征点的世界坐标，以计算得到的匹配成功的所有特征点的世界坐标更新局部地图描述库中最新关键帧的所有特征点的世界坐标，并在局部地图描述库中添加匹配成功的所有特征点对应的帧标识：最新关键帧的帧标识。

所述提取该图像中的特征点为：提取该图像中的加速分割测试获得特征FAST特征点。

所述向用户发出危险提醒包括：

将预设单声道提醒音频数据复制为左、右声道两份，对两声道的提醒音频数据分别进行FFT变换，得到左、右声道的频域提醒音频数据；

根据关注物的世界坐标与VR摄像机的世界坐标，确定提醒音频的发声位置，其中该发声位置采用HRTF标准空间位置参数表示，其中，提醒音频的发声位置位于VR摄像机与关注物之间的直线连线上，且预先设定提醒音频的发声位置与VR摄像机之间的距离；

根据提醒音频的发声位置，从HRTF标准数据库中读取对应的HRTF变换数据，对该HRTF变换数据进行FFT变换，得到频域HRTF变换数据，将左、右声道的频域提醒音频数据分别与频域HRTF变换数据相乘，得到左、右声道的频域提醒空间音频数据，对左、右声道的频域提醒空间音频数据分别进行IFFT变换，得到左、右声道的时域提醒空间音频数据，并分别通过左、右声道播放给用户。

所述向用户发出危险提醒包括：

在检测到关注物的3维VR图像上叠加显示关注物的已知世界坐标的所有特征点构成的轮廓；或者，

在检测到关注物的2维图像上叠加显示提醒文本信息，所述文本信息包括：VR摄像机距离关注物的距离信息；或者，

显示剔除了背景信息的检测到关注物的3维VR图像，即将检测到关注物的VR图像上所有已知世界坐标的特征点构成的轮廓外的背景图像删除，以便只显示VR摄像机、用户和关注物，其中，在显示关注物时，根据关注物与VR摄像机的距离的由远及近，对关注物的颜色进行渐进色展示。

一种虚拟现实VR环境危险感知装置，该装置包括：

特征提取及计算模块，用于对于VR摄像机实时采集的每一帧图像，提取该图像中的特征点；对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的特征点进行匹配，根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；

危险检测模块，用于根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的运动矢量，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的距离，若该距离小于预设阈值，则向用户发出危险提醒。

所述特征提取及计算模块计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步用于，

将计算得到的特征点的世界坐标放入到局部地图描述库中，同时，在局部地图描述库中记录每一特征点对应的帧标识；

且，所述特征提取及计算模块将当前帧图像与前一帧图像中的特征点进行匹配之后、根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量之前进一步用于，

判断当前帧是否满足如下关键帧判定条件之一：

一、关键帧集合中的关键帧总数<第一阈值；

二、当前帧与前一帧图像匹配成功的特征点的数目/当前帧提取的特征点的总数<第二阈值；

若满足，则确定当前帧为关键帧，将当前帧的帧标识放入关键帧集合中，然后执行所述根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量的动作；否则，确定当前帧为非关键帧，丢弃当前帧，直接转至下一帧。

当确定当前帧为关键帧时，所述特征提取及计算模块计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步用于，

将计算出世界坐标的当前帧的所有特征点与关键帧集合中的每一关键帧的计算出世界坐标的所有特征点分别进行匹配，若匹配率超过预设第三阈值，则认为当前帧冗余，则不将当前帧加入关键帧集合，也不以计算出世界坐标的当前帧的特征点更新局部地图描述库，转至下一帧，其中，若两个特征点的世界坐标相同，则两个特征点匹配。

所述特征提取及计算模块计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步用于，

将计算出世界坐标的当前帧的所有特征点构成一个词袋BOW向量，将当前帧的BOW向量分别与关键帧集合中的每一关键帧的BOW向量进行匹配，若与一关键帧匹配成功，则认为对当前帧的重定位成功，即认为VR摄像机采集当前帧时所处的位置与采集匹配成功的关键帧时所处的位置相同，则丢弃原本在当前帧中提取出的特征点，在局部地图描述库中查找到匹配成功的关键帧对应的所有特征点的世界坐标，在查找到的每个特征点的世界坐标的帧标识列表中添加当前帧的帧标识，且不将当前帧放入关键帧集合

所述特征提取及计算模块判断当前帧是否满足的关键帧判定条件进一步包括：

当前帧的最近一次重定位过程耗时时长大于预设第五阈值。

所述特征提取及计算模块进一步用于，

当预设的闭环检测周期到来时，对于关键帧集合中的关键帧，分别计算最新的关键帧的BOW向量与与其关联的每一关键帧的BOW向量的距离，将距离最小的关联关键帧作为最新关键帧的候选回环帧，其中，当两个关键帧中至少有一对特征点的世界坐标相同时，认为该两个关键帧关联；

根据最新关键帧和候选回环帧上的特征点的世界坐标，计算VR摄像机采集最新关键帧时相对采集候选回环帧时的运动矢量，以候选回环帧作为最新关键帧的前一帧，将该两帧的特征点进行匹配，根据计算出的运动矢量，重新计算匹配成功的所有特征点的世界坐标，以计算得到的匹配成功的所有特征点的世界坐标更新局部地图描述库中最新关键帧的所有特征点的世界坐标，并在局部地图描述库中添加匹配成功的所有特征点对应的帧标识：最新关键帧的帧标识。

所述特征提取及计算模块提取该图像中的特征点为：提取该图像中的加速分割测试获得特征FAST特征点。

所述危险检测模块向用户发出危险提醒包括：

将预设单声道提醒音频数据复制为左、右声道两份，对两声道的提醒音频数据分别进行FFT变换，得到左、右声道的频域提醒音频数据；

根据关注物的世界坐标与VR摄像机的世界坐标，确定提醒音频的发声位置，其中该发声位置采用HRTF标准空间位置参数表示，其中，提醒音频的发声位置位于VR摄像机与关注物之间的直线连线上，且预先设定提醒音频的发声位置与VR摄像机之间的距离；

根据提醒音频的发声位置，从HRTF标准数据库中读取对应的HRTF变换数据，对该HRTF变换数据进行FFT变换，得到频域HRTF变换数据，将左、右声道的频域提醒音频数据分别与频域HRTF变换数据相乘，得到左、右声道的频域提醒空间音频数据，对左、右声道的频域提醒空间音频数据分别进行IFFT变换，得到左、右声道的时域提醒空间音频数据，并分别通过左、右声道播放给用户。

所述危险检测模块向用户发出危险提醒包括：

在检测到关注物的3维VR图像上叠加显示关注物的已知世界坐标的所有特征点构成的轮廓；或者，

在检测到关注物的2维图像上叠加显示提醒文本信息，所述文本信息包括：VR摄像机距离关注物的距离信息；或者，

显示剔除了背景信息的检测到关注物的3维VR图像，即将检测到关注物的VR图像上所有已知世界坐标的特征点构成的轮廓外的背景图像删除，以便只显示VR摄像机、用户和关注物，其中，在显示关注物时，根据关注物与VR摄像机的距离的由远及近，对关注物的颜色进行渐进色展示。

本发明实现了VR环境中的危险感知及提醒。

附图说明

图1为本发明一实施例提供的VR环境危险感知方法流程图；

图2为本发明另一实施例提供的VR环境危险感知方法流程图；

图3为本发明提供的采用3维图像方式进行危险提醒的应用示例图；

图4为本发明实施例提供的VR环境危险感知装置的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明一实施例提供的VR环境危险感知方法流程图，其具体步骤如下：

步骤101：对于VR摄像机实时采集的每一帧图像，提取该图像中的特征点。

步骤102：对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的特征点进行匹配。

步骤103：根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量。

步骤104：根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标。

步骤105：根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的运动矢量，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的距离，若该距离小于预设阈值，则向用户发出危险提醒。

图2为本发明另一实施例提供的VR环境危险感知方法流程图，其具体步骤如下：

步骤201：VR摄像机实时采集图像。

步骤202：对于VR摄像机采集的每一帧图像，提取该图像中的FAST(Features fromAccelerated Segment Test，加速分割测试获得特征)特征点。

FAST特征点是指图像中灰度值相比其周围更亮或者更暗的像素点。例如：预先设定第一阈值，将图像中每一点的灰度值分别与周围预设数目个预设点的灰度进行比较，若与周围每一点的灰度差的绝对值都大于第一阈值，则确定当前点为FAST特征点。

步骤203：当采集到第二帧图像时，将第二帧图像与第一帧图像中的FAST特征点进行匹配，根据每对匹配点在两帧图像中的位置，通过对极几何的原理计算出VR摄像机采集第二帧图像时相对采集第一帧图像时的平移值和旋转值。

FAST特征点的匹配方式属于成熟技术，本发明不再赘述。

步骤204：通过三角测量的原理，并根据计算出的平移值和旋转值，计算出匹配成功的每一FAST特征点在世界坐标系下的世界坐标，同时计算出并保存VR摄像机的初始世界坐标。

世界坐标系的原点实际上为VR摄像机的初始光心，X、Y轴为分别与VR摄像机镜头的水平边、竖直边平行的轴，Z轴为与VR摄像机镜头垂直的轴。

步骤205：将第一帧和第二帧图像上匹配成功的FAST特征点的世界坐标放入到局部地图描述库中，同时，在局部地图描述库中记录匹配成功的每一FAST特征点对应的帧标识：第一帧和第二帧的帧标识。

例如：第一帧图像上提取到m个FAST特征点，第二帧图像上提取出n个FAST特征点，第一、二帧图像上匹配的FAST特征点有p(p≤m，p≤n)对，则相互匹配的每对FAST特征点的三维世界坐标是相同的，因此，将该匹配成功的p个FAST特征点的三维世界坐标放入到局部地图描述库中，其中，匹配成功的p个FAST特征点同时对应第一、二帧。

步骤206：对于第三帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的FAST特征点进行匹配，根据每对匹配点在两帧图像中的位置，通过对极几何的原理计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的平移值和旋转值。

步骤207：通过三角测量的方式，并根据计算出的平移值和旋转值，计算出当前帧图像与前一帧图像上匹配成功的、但还未存在于局部地图描述库中的每一FAST特征点的世界坐标。

当前帧图像与前一帧图像上匹配成功的FAST特征点中，可能会有部分FAST特征点的的世界坐标在处理前一帧(或者更前的帧)图像时已经计算出了，即已经存在于局部地图描述库中了，这些FAST特征点的世界坐标就不用再重复计算了。

步骤208：将计算得到的FAST特征点的世界坐标放入到局部地图描述库中，同时，在局部地图描述库中记录每一FAST特征点对应的帧标识：当前帧和前一帧的帧标识。

对于当前帧图像与前一帧图像上匹配成功的、但已存在于局部地图描述库中的每一FAST特征点，还需在局部地图描述库中为各FAST特征点对应的帧标识列表添加上当前帧标识。

步骤209：根据局部地图描述库中保存的当前帧(包括：第一帧及以后的帧)图像中已经计算出世界坐标的所有FAST特征点，检测当前帧图像中是否存在关注物(如：边缘处或障碍物)，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的平移值和旋转值，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的欧氏距离，若该欧氏距离小于预设阈值，则确认需要向用户发出提醒。

在计算关注物与当前VR摄像机之间的欧氏距离时，可以关注物中距离VR摄像机最近的点与VR摄像机之间的欧氏距离为准。

其中，关注物如：边缘处或障碍物等可通过边缘检测或障碍物检测等已有图像检测方法检测出。

在实际应用中，考虑到：随着VR摄像机采集的图像越来越多，提取出的FAST特征点的总数会越来越多，从而局部地图描述库存储的FAST特征点的世界坐标的数量也会越来越多，为了节省存储空间，给出如下解决方案：

判断当前帧是否满足如下两个条件之一，若满足，则确定当前帧为关键帧，将当前帧的帧标识放入关键帧集合中，并继续执行与当前帧相关的后续处理；否则，确定当前帧为非关键帧，丢弃当前帧，直接转至下一帧：

一、关键帧集合中的关键帧总数<第一阈值；

二、当前帧与前一帧图像匹配成功的FAST特征点的数目/当前帧提取的FAST特征点的总数<第二阈值。

为了更进一步地节省存储空间，本发明进一步提出如下优化方案：

当当前帧判定为关键帧之后，进一步包括：根据FAST特征点的世界坐标，将当前帧的FAST特征点与关键帧集合中的每一关键帧的FAST特征点分别进行匹配，若匹配率超过预设第三阈值，则认为当前帧冗余，不对当前帧执行后续处理(即，不将当前帧加入关键帧集合，也不根据当前帧的FAST特征点更新局部地图描述库)，直接转至下一帧。这里，两个FAST特征点匹配指的是，两个FAST特征点的世界坐标相同。

另外，考虑到平移和旋转的估计误差，本发明提出如下重定位过程：

将当前帧的计算出世界坐标的所有FAST特征点构成一个BOW(Bag-of-Words，词袋)向量，然后将当前帧的BOW向量分别与关键帧集合中的每一关键帧的BOW向量进行匹配，若与一关键帧匹配成功，则认为对当前帧的重定位成功，即认为VR摄像机采集当前帧时所处的位置与采集匹配成功的关键帧时所处的位置相同，则丢弃原本在当前帧中提取出的FAST特征点，直接将匹配成功的关键帧中的所有FAST特征点作为当前帧的FAST特征点，即在局部地图描述库中查找到匹配成功的关键帧对应的所有FAST特征点的世界坐标，在查找到的每个FAST特征点的世界坐标的帧标识列表中添加当前帧的帧标识，同时由于当前帧已经与匹配成功的关键帧完全匹配，则不将当前帧放入关键帧集合；若当前帧未与任何关键帧匹配成功，则不作特殊处理。

这里，两个BOW向量匹配指的是，两个BOW向量之间的距离小于预设第四阈值。

另外，在确定当前帧是否为关键帧时，还可采用如下条件：

当前帧最近一次重定位过程耗时时长大于预设第五阈值。

为了进一步地消除平移和旋转的估计误差，本发明进一步提出如下方案：

预设闭环检测周期，当闭环检测周期到来时，对于关键帧集合中的关键帧，分别计算最新的关键帧的BOW向量与与其关联的每一关键帧的BOW向量的距离，将距离最小的关联关键帧作为最新关键帧的候选回环帧，其中，当两个关键帧中至少有一对匹配的FAST特征点(即该对FAST特征点的世界坐标相同)时，就认为该两个关键帧关联；

根据最新关键帧和候选回环帧上的FAST特征点的世界坐标，计算VR摄像机采集最新关键帧时相对采集候选回环帧时的平移值和旋转值，以候选回环帧作为最新关键帧的前一帧，将该两帧的FAST特征点进行匹配，根据计算出的平移值和旋转值，重新计算匹配成功的所有FAST特征点的世界坐标，以计算得到的匹配成功的所有FAST特征点的世界坐标信息更新局部地图描述库中最新关键帧的所有FAST特征点的世界坐标信息，并在局部地图描述库中添加匹配成功的所有FAST特征点对应的帧标识：最新关键帧的帧标识。

本发明中，向用户提醒可以采用音频方式或/和图像方式。

当采用音频方式时，具体方案可如下：

步骤01：将预设单声道提醒音频数据复制为左、右声道两份，对两声道的提醒音频数据分别进行FFT(Fast Fourier Transformation，快速傅立叶变换)变换，得到左、右声道的频域提醒音频数据。

步骤02：根据关注物的世界坐标(可采用关注物中距离VR摄像机最近的点的世界坐标表示)与VR摄像机的世界坐标，确定提醒音频的发声位置，其中该发声位置采用HRTF(Head Related Transfer Function，头相关变换函数)标准空间位置参数表示。

其中，提醒音频的发声位置位于VR摄像机与关注物(可以与VR摄像机最近的点表示)之间的直线连线上，可以预先设定提醒音频的发声位置与VR摄像机之间的距离。

步骤03：根据提醒音频的发声位置，从HRTF标准数据库中读取对应的HRTF变换数据，对该HRTF变换数据进行FFT变换，得到频域HRTF变换数据，将左、右声道的频域提醒音频数据分别与频域HRTF变换数据相乘，得到左、右声道的频域提醒空间音频数据，对左、右声道的频域提醒空间音频数据分别进行IFFT变换，得到左、右声道的时域提醒空间音频数据，并分别通过左、右声道播放给用户。

另外，还可以通过震动马达提醒用户。

当采用图像方式提醒时，具体方案可如下：

在检测到关注物的VR(3D)图像上叠加显示关注物的已知世界坐标的所有FAST特征点构成的轮廓。如图3所示，其中，左图为未进行图像提醒的VR原图像，右图为进行了图像提醒的VR图像，可见，右图中对墙角等位置进行了轮廓显示；

或者，在检测到关注物的2D图像上叠加显示提醒文本信息，文本信息可以为VR摄像机距离关注物的距离信息；

或者，显示剔除了背景信息的检测到关注物的VR图像，即将检测到关注物的VR图像上所有已知世界坐标的FAST特征点构成的轮廓外的背景图像删除，以便只显示VR摄像机、用户和关注物，其中，在显示关注物时，可根据关注物与VR摄像机的距离的由远及近，对关注物的颜色进行渐进色展示，即，关注物与VR摄像机越远，则关注物透明度越高，反之，透明度越低。

图4为本发明实施例提供的VR环境危险感知装置的结构示意图，该装置主要包括：特征提取及计算模块41和危险检测模块42，其中：

特征提取及计算模块41，用于对于VR摄像机实时采集的每一帧图像，提取该图像中的FAST特征点；对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的FAST特征点进行匹配，根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的平移值和旋转值；根据计算出的平移值和旋转值，计算出当前帧图像与前一帧图像上匹配成功的每一FAST特征点的世界坐标。

危险检测模块42，用于根据特征提取及计算模块41计算出中的当前帧图像中的FAST特征点的世界坐标，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的平移值和旋转值，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的欧氏距离，若该欧氏距离小于预设阈值，则向用户发出危险提醒。

在实际应用中，特征提取及计算模块41计算出当前帧图像与前一帧图像上匹配成功的每一FAST特征点的世界坐标之后进一步用于，将计算得到的FAST特征点的世界坐标放入到局部地图描述库中，同时，在局部地图描述库中记录每一FAST特征点对应的帧标识；

且，特征提取及计算模块41将当前帧图像与前一帧图像中的FAST特征点进行匹配之后、根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的平移值和旋转值之前进一步用于，判断当前帧是否满足如下关键帧判定条件之一：

一、关键帧集合中的关键帧总数<第一阈值；

二、当前帧与前一帧图像匹配成功的FAST特征点的数目/当前帧提取的FAST特征点的总数<第二阈值；

若满足，则确定当前帧为关键帧，将当前帧的帧标识放入关键帧集合中，然后执行所述根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的平移值和旋转值的动作；否则，确定当前帧为非关键帧，丢弃当前帧，直接转至下一帧。

在实际应用中，当确定当前帧为关键帧时，特征提取及计算模块41计算出当前帧图像与前一帧图像上匹配成功的每一FAST特征点的世界坐标之后进一步用于，将计算出世界坐标的当前帧的所有FAST特征点与关键帧集合中的每一关键帧的计算出世界坐标的所有FAST特征点分别进行匹配，若匹配率超过预设第三阈值，则认为当前帧冗余，则不将当前帧加入关键帧集合，也不以计算出世界坐标的当前帧的FAST特征点更新局部地图描述库，转至下一帧，其中，若两个FAST特征点的世界坐标相同，则两个FAST特征点匹配。

在实际应用中，特征提取及计算模块41计算出当前帧图像与前一帧图像上匹配成功的每一FAST特征点的世界坐标之后进一步用于，将计算出世界坐标的当前帧的所有FAST特征点构成一个词袋BOW向量，将当前帧的BOW向量分别与关键帧集合中的每一关键帧的BOW向量进行匹配，若与一关键帧匹配成功，则认为对当前帧的重定位成功，即认为VR摄像机采集当前帧时所处的位置与采集匹配成功的关键帧时所处的位置相同，则丢弃原本在当前帧中提取出的FAST特征点，在局部地图描述库中查找到匹配成功的关键帧对应的所有FAST特征点的世界坐标，在查找到的每个FAST特征点的世界坐标的帧标识列表中添加当前帧的帧标识，且不将当前帧放入关键帧集合。

在实际应用中，特征提取及计算模块41判断当前帧是否满足的关键帧判定条件进一步包括：当前帧的最近一次重定位过程耗时时长大于预设第五阈值。

在实际应用中，特征提取及计算模块41进一步用于，当预设的闭环检测周期到来时，对于关键帧集合中的关键帧，分别计算最新的关键帧的BOW向量与与其关联的每一关键帧的BOW向量的距离，将距离最小的关联关键帧作为最新关键帧的候选回环帧，其中，当两个关键帧中至少有一对FAST特征点的世界坐标相同时，认为该两个关键帧关联；根据最新关键帧和候选回环帧上的FAST特征点的世界坐标，计算VR摄像机采集最新关键帧时相对采集候选回环帧时的平移值和旋转值，以候选回环帧作为最新关键帧的前一帧，将该两帧的FAST特征点进行匹配，根据计算出的平移值和旋转值，重新计算匹配成功的所有FAST特征点的世界坐标，以计算得到的匹配成功的所有FAST特征点的世界坐标更新局部地图描述库中最新关键帧的所有FAST特征点的世界坐标，并在局部地图描述库中添加匹配成功的所有FAST特征点对应的帧标识：最新关键帧的帧标识。

在实际应用中，危险检测模块42向用户发出危险提醒包括：

将预设单声道提醒音频数据复制为左、右声道两份，对两声道的提醒音频数据分别进行FFT变换，得到左、右声道的频域提醒音频数据；

根据关注物的世界坐标与VR摄像机的世界坐标，确定提醒音频的发声位置，其中该发声位置采用HRTF标准空间位置参数表示，其中，提醒音频的发声位置位于VR摄像机与关注物之间的直线连线上，且预先设定提醒音频的发声位置与VR摄像机之间的距离；

根据提醒音频的发声位置，从HRTF标准数据库中读取对应的HRTF变换数据，对该HRTF变换数据进行FFT变换，得到频域HRTF变换数据，将左、右声道的频域提醒音频数据分别与频域HRTF变换数据相乘，得到左、右声道的频域提醒空间音频数据，对左、右声道的频域提醒空间音频数据分别进行IFFT变换，得到左、右声道的时域提醒空间音频数据，并分别通过左、右声道播放给用户。

在实际应用中，危险检测模块41向用户发出危险提醒包括：

在检测到关注物的3维VR图像上叠加显示关注物的已知世界坐标的所有FAST特征点构成的轮廓；或者，在检测到关注物的2维图像上叠加显示提醒文本信息，所述文本信息包括：VR摄像机距离关注物的距离信息；或者，显示剔除了背景信息的检测到关注物的3维VR图像，即将检测到关注物的VR图像上所有已知世界坐标的FAST特征点构成的轮廓外的背景图像删除，以便只显示VR摄像机、用户和关注物，其中，在显示关注物时，根据关注物与VR摄像机的距离的由远及近，对关注物的颜色进行渐进色展示。

上述装置可位于VR设备中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (18)

1.一种虚拟现实VR环境危险感知方法，其特征在于，该方法包括：

对于VR摄像机实时采集的每一帧图像，提取该图像中的特征点；

对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的特征点进行匹配，根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；

根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的运动矢量，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的距离，若该距离小于预设阈值，则向用户发出危险提醒。

2.根据权利要求1所述的方法，其特征在于，所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：

将计算得到的特征点的世界坐标放入到局部地图描述库中，同时，在局部地图描述库中记录每一特征点对应的帧标识；

且，所述将当前帧图像与前一帧图像中的特征点进行匹配之后、根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量之前进一步包括：

判断当前帧是否满足如下关键帧判定条件之一：

一、关键帧集合中的关键帧总数<第一阈值；

二、当前帧与前一帧图像匹配成功的特征点的数目/当前帧提取的特征点的总数<第二阈值；

若满足，则确定当前帧为关键帧，将当前帧的帧标识放入关键帧集合中，然后执行所述根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量的动作；否则，确定当前帧为非关键帧，丢弃当前帧，直接转至下一帧。

3.根据权利要求2所述的方法，其特征在于，当确定当前帧为关键帧时，所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：

将计算出世界坐标的当前帧的所有特征点与关键帧集合中的每一关键帧的计算出世界坐标的所有特征点分别进行匹配，若匹配率超过预设第三阈值，则认为当前帧冗余，则不将当前帧加入关键帧集合，也不以计算出世界坐标的当前帧的特征点更新局部地图描述库，转至下一帧，其中，若两个特征点的世界坐标相同，则两个特征点匹配。

4.根据权利要求2所述的方法，其特征在于，所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：

将计算出世界坐标的当前帧的所有特征点构成一个词袋BOW向量，将当前帧的BOW向量分别与关键帧集合中的每一关键帧的BOW向量进行匹配，若与一关键帧匹配成功，则认为对当前帧的重定位成功，即认为VR摄像机采集当前帧时所处的位置与采集匹配成功的关键帧时所处的位置相同，则丢弃原本在当前帧中提取出的特征点，在局部地图描述库中查找到匹配成功的关键帧对应的所有特征点的世界坐标，在查找到的每个特征点的世界坐标的帧标识列表中添加当前帧的帧标识，且不将当前帧放入关键帧集合。

5.根据权利要求4所述的方法，其特征在于，所述关键帧判定条件进一步包括：

当前帧的最近一次重定位过程耗时时长大于预设第五阈值。

6.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：

当预设的闭环检测周期到来时，对于关键帧集合中的关键帧，分别计算最新的关键帧的BOW向量与与其关联的每一关键帧的BOW向量的距离，将距离最小的关联关键帧作为最新关键帧的候选回环帧，其中，当两个关键帧中至少有一对特征点的世界坐标相同时，认为该两个关键帧关联；

根据最新关键帧和候选回环帧上的特征点的世界坐标，计算VR摄像机采集最新关键帧时相对采集候选回环帧时的运动矢量，以候选回环帧作为最新关键帧的前一帧，将该两帧的特征点进行匹配，根据计算出的运动矢量，重新计算匹配成功的所有特征点的世界坐标，以计算得到的匹配成功的所有特征点的世界坐标更新局部地图描述库中最新关键帧的所有特征点的世界坐标，并在局部地图描述库中添加匹配成功的所有特征点对应的帧标识：最新关键帧的帧标识。

7.根据权利要求1所述的方法，其特征在于，所述提取该图像中的特征点为：提取该图像中的加速分割测试获得特征FAST特征点。

8.根据权利要求1所述的方法，其特征在于，所述向用户发出危险提醒包括：

将预设单声道提醒音频数据复制为左、右声道两份，对两声道的提醒音频数据分别进行FFT变换，得到左、右声道的频域提醒音频数据；

根据关注物的世界坐标与VR摄像机的世界坐标，确定提醒音频的发声位置，其中该发声位置采用HRTF标准空间位置参数表示，其中，提醒音频的发声位置位于VR摄像机与关注物之间的直线连线上，且预先设定提醒音频的发声位置与VR摄像机之间的距离；

根据提醒音频的发声位置，从HRTF标准数据库中读取对应的HRTF变换数据，对该HRTF变换数据进行FFT变换，得到频域HRTF变换数据，将左、右声道的频域提醒音频数据分别与频域HRTF变换数据相乘，得到左、右声道的频域提醒空间音频数据，对左、右声道的频域提醒空间音频数据分别进行IFFT变换，得到左、右声道的时域提醒空间音频数据，并分别通过左、右声道播放给用户。

9.根据权利要求1所述的方法，其特征在于，所述向用户发出危险提醒包括：

在检测到关注物的3维VR图像上叠加显示关注物的已知世界坐标的所有特征点构成的轮廓；或者，

在检测到关注物的2维图像上叠加显示提醒文本信息，所述文本信息包括：VR摄像机距离关注物的距离信息；或者，

显示剔除了背景信息的检测到关注物的3维VR图像，即将检测到关注物的VR图像上所有已知世界坐标的特征点构成的轮廓外的背景图像删除，以便只显示VR摄像机、用户和关注物，其中，在显示关注物时，根据关注物与VR摄像机的距离的由远及近，对关注物的颜色进行渐进色展示。

10.一种虚拟现实VR环境危险感知装置，其特征在于，该装置包括：

特征提取及计算模块，用于对于VR摄像机实时采集的每一帧图像，提取该图像中的特征点；对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的特征点进行匹配，根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；

危险检测模块，用于根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的运动矢量，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的距离，若该距离小于预设阈值，则向用户发出危险提醒。

11.根据权利要求10所述的装置，其特征在于，所述特征提取及计算模块计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步用于，

将计算得到的特征点的世界坐标放入到局部地图描述库中，同时，在局部地图描述库中记录每一特征点对应的帧标识；

且，所述特征提取及计算模块将当前帧图像与前一帧图像中的特征点进行匹配之后、根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量之前进一步用于，

判断当前帧是否满足如下关键帧判定条件之一：

一、关键帧集合中的关键帧总数<第一阈值；

二、当前帧与前一帧图像匹配成功的特征点的数目/当前帧提取的特征点的总数<第二阈值；

若满足，则确定当前帧为关键帧，将当前帧的帧标识放入关键帧集合中，然后执行所述根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量的动作；否则，确定当前帧为非关键帧，丢弃当前帧，直接转至下一帧。

12.根据权利要求11所述的装置，其特征在于，当确定当前帧为关键帧时，所述特征提取及计算模块计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步用于，

将计算出世界坐标的当前帧的所有特征点与关键帧集合中的每一关键帧的计算出世界坐标的所有特征点分别进行匹配，若匹配率超过预设第三阈值，则认为当前帧冗余，则不将当前帧加入关键帧集合，也不以计算出世界坐标的当前帧的特征点更新局部地图描述库，转至下一帧，其中，若两个特征点的世界坐标相同，则两个特征点匹配。

13.根据权利要求11所述的装置，其特征在于，所述特征提取及计算模块计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步用于，

将计算出世界坐标的当前帧的所有特征点构成一个词袋BOW向量，将当前帧的BOW向量分别与关键帧集合中的每一关键帧的BOW向量进行匹配，若与一关键帧匹配成功，则认为对当前帧的重定位成功，即认为VR摄像机采集当前帧时所处的位置与采集匹配成功的关键帧时所处的位置相同，则丢弃原本在当前帧中提取出的特征点，在局部地图描述库中查找到匹配成功的关键帧对应的所有特征点的世界坐标，在查找到的每个特征点的世界坐标的帧标识列表中添加当前帧的帧标识，且不将当前帧放入关键帧集合。

14.根据权利要求13所述的装置，其特征在于，所述特征提取及计算模块判断当前帧是否满足的关键帧判定条件进一步包括：

当前帧的最近一次重定位过程耗时时长大于预设第五阈值。

15.根据权利要求11所述的装置，其特征在于，所述特征提取及计算模块进一步用于，

当预设的闭环检测周期到来时，对于关键帧集合中的关键帧，分别计算最新的关键帧的BOW向量与与其关联的每一关键帧的BOW向量的距离，将距离最小的关联关键帧作为最新关键帧的候选回环帧，其中，当两个关键帧中至少有一对特征点的世界坐标相同时，认为该两个关键帧关联；

根据最新关键帧和候选回环帧上的特征点的世界坐标，计算VR摄像机采集最新关键帧时相对采集候选回环帧时的运动矢量，以候选回环帧作为最新关键帧的前一帧，将该两帧的特征点进行匹配，根据计算出的运动矢量，重新计算匹配成功的所有特征点的世界坐标，以计算得到的匹配成功的所有特征点的世界坐标更新局部地图描述库中最新关键帧的所有特征点的世界坐标，并在局部地图描述库中添加匹配成功的所有特征点对应的帧标识：最新关键帧的帧标识。

16.根据权利要求10所述的装置，其特征在于，所述特征提取及计算模块提取该图像中的特征点为：提取该图像中的加速分割测试获得特征FAST特征点。

17.根据权利要求10所述的装置，其特征在于，所述危险检测模块向用户发出危险提醒包括：

将预设单声道提醒音频数据复制为左、右声道两份，对两声道的提醒音频数据分别进行FFT变换，得到左、右声道的频域提醒音频数据；

根据关注物的世界坐标与VR摄像机的世界坐标，确定提醒音频的发声位置，其中该发声位置采用HRTF标准空间位置参数表示，其中，提醒音频的发声位置位于VR摄像机与关注物之间的直线连线上，且预先设定提醒音频的发声位置与VR摄像机之间的距离；

根据提醒音频的发声位置，从HRTF标准数据库中读取对应的HRTF变换数据，对该HRTF变换数据进行FFT变换，得到频域HRTF变换数据，将左、右声道的频域提醒音频数据分别与频域HRTF变换数据相乘，得到左、右声道的频域提醒空间音频数据，对左、右声道的频域提醒空间音频数据分别进行IFFT变换，得到左、右声道的时域提醒空间音频数据，并分别通过左、右声道播放给用户。

18.根据权利要求10所述的装置，其特征在于，所述危险检测模块向用户发出危险提醒包括：

在检测到关注物的3维VR图像上叠加显示关注物的已知世界坐标的所有特征点构成的轮廓；或者，

在检测到关注物的2维图像上叠加显示提醒文本信息，所述文本信息包括：VR摄像机距离关注物的距离信息；或者，

显示剔除了背景信息的检测到关注物的3维VR图像，即将检测到关注物的VR图像上所有已知世界坐标的特征点构成的轮廓外的背景图像删除，以便只显示VR摄像机、用户和关注物，其中，在显示关注物时，根据关注物与VR摄像机的距离的由远及近，对关注物的颜色进行渐进色展示。