CN109813317B - 一种避障方法、电子设备及虚拟现实设备 - Google Patents

Abstract

本申请提供了一种避障方法、电子设备及虚拟现实设备，其中，避障方法包括：获取初始安全范围；获取周围环境的深度图像；根据深度图像，获得周围环境中障碍物的位置信息；当障碍物位于初始安全范围内时，根据障碍物的位置信息调整初始安全范围。本申请提供的技术方案可以为用户划定初始安全范围，同时还可以根据周围环境的深度图像进行障碍物的识别，当障碍物位于初始安全范围内时，更新初始安全范围，从而可以保证用户始终处于一个安全的范围之内。

Description

一种避障方法、电子设备及虚拟现实设备

技术领域

本发明涉及显示技术领域，特别是涉及一种避障方法、电子设备及虚拟现实设备。

背景技术

VR(Virtual Reality)头盔利用的是虚拟现实技术，可以使佩戴者处于一个虚拟的环境之中，但是看不到真实的周围环境的情况。佩戴者在与虚拟环境中的事物进行互动的时候，需要转动头部或者进行身体的移动，由于头盔中的虚拟场景与现实世界不匹配，因此需要研究如何使佩戴者在运动过程中避开周围的障碍物，以免对佩戴者造成伤害或者对贵重物品造成损失。

目前存在的技术可以通过外设基站实时获取VR头盔的位置，但是外设基站所划定的安全使用范围固定不可调，而且初始安全范围内有障碍物也无法识别。目前没有外设基站的头盔无法设定安全使用范围，同样在使用过程中快要与障碍物发生碰撞时也不会进行提醒。

发明内容

本发明提供一种避障方法、电子设备及虚拟现实设备，以保证使用者始终处于安全的范围之内。

为了解决上述问题，本发明公开了一种避障方法，应用于电子设备，所述方法包括：

获取初始安全范围；

获取周围环境的深度图像；

根据所述深度图像，获得所述周围环境中障碍物的位置信息；

当所述障碍物位于所述初始安全范围内时，根据所述障碍物的位置信息调整所述初始安全范围。

可选地，所述方法还包括：

获取实时位移信息；

根据所述实时位移信息以及所述初始安全范围，判断是否存在安全隐患；

若是，则发出警告信息，并显示消除所述安全隐患的引导信息。

可选地，所述根据所述实时位移信息以及所述初始安全范围，判断是否存在安全隐患的步骤，包括：

根据所述实时位移信息，确定移动方向以及与所述初始安全范围的边界之间的距离；

当所述距离小于或等于预设阈值，且所述移动方向是朝向预设边界时，判定存在安全隐患。

可选地，所述根据所述深度图像，获得所述周围环境中障碍物的位置信息的步骤，包括：

获取实时位移信息；

根据所述实时位移信息，获得相对于预设参考点的第一旋转矩阵和第一平移矩阵；

根据所述深度图像，获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵；

根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵，获得所述障碍物的位置信息。

可选地，所述根据所述障碍物的位置信息调整所述初始安全范围的步骤，包括：

根据所述障碍物的位置信息，将所述障碍物所占的区域从所述初始安全范围中去除。

为了解决上述问题，本发明还公开了一种电子设备，包括图像采集模块、传感器以及处理模块；

所述图像采集模块，被配置为采集周围环境的深度图像，并发送给所述处理模块；

所述传感器，被配置为测量所述电子设备的实时位移信息，并发送给所述处理模块；

所述处理模块，被配置为获取初始安全范围；根据所述深度图像，获得所述周围环境中障碍物的位置信息；当所述障碍物位于所述初始安全范围内时，根据所述障碍物的位置信息调整所述初始安全范围。

可选地，所述处理模块还被配置为：

获取实时位移信息；

根据所述实时位移信息以及所述初始安全范围，判断是否存在安全隐患；

若是，则发出警告信息，并显示消除所述安全隐患的引导信息。

可选地，所述处理模块还被配置为：

根据所述实时位移信息，确定移动方向以及与所述初始安全范围的边界之间的距离；

当所述距离小于或等于预设阈值，且所述移动方向是朝向预设边界时，判定存在安全隐患。

可选地，所述处理模块还被配置为：

获取实时位移信息；

根据所述实时位移信息，获得相对于预设参考点的第一旋转矩阵和第一平移矩阵；

根据所述深度图像，获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵；

根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵，获得所述障碍物的位置信息。

为了解决上述问题，本发明还公开了一种虚拟现实设备，包括任一实施例所述的电子设备。

与现有技术相比，本发明包括以下优点：

本申请提供了一种避障方法、电子设备及虚拟现实设备，其中，避障方法包括：获取初始安全范围；获取周围环境的深度图像；根据深度图像，获得周围环境中障碍物的位置信息；当障碍物位于初始安全范围内时，根据障碍物的位置信息调整初始安全范围。本申请提供的技术方案可以为用户划定初始安全范围，同时还可以根据周围环境的深度图像进行障碍物的识别，当障碍物位于初始安全范围内时，更新初始安全范围，从而可以保证用户始终处于一个安全的范围之内。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了相关技术提供的一种测量头盔位置和姿态的场景示意图；

图2示出了相关技术提供的另一种测量头盔位置和姿态的场景示意图；

图3示出了本申请实施例提供的一种避障方法的步骤流程图；

图4示出了本申请实施例提供的一种初始安全范围的示意图；

图5示出了本申请实施例提供的一种获得障碍物位置信息的步骤流程图；

图6示出了本申请实施例提供的一种双目视觉的原理结构示意图；

图7示出了本申请实施例提供的一种障碍物相对于头盔位置的一维结构示意图；

图8示出了本申请实施例提供的一种障碍物以及头盔位置的三维结构示意图；

图9示出了本申请实施例提供的一种存在安全隐患状态下显示警报信息的示意图；

图10示出了本申请实施例提供的另一种避障方法的步骤流程图；

图11示出了本申请实施例提供的一种避障方法实现方式的流程示意图；

图12示出了本申请实施例提供的一种电子设备的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

为了使VR头盔佩戴者在运动过程中避开周围的障碍物，以免对佩戴者造成伤害或者对贵重物品造成损失，首先需要能够精确计算VR头盔在现实环境中的方位以及姿态，其次要能够及时地发现佩戴者周围的障碍物，并能够预测佩戴者与障碍物是否会发生碰撞。

目前存在两种测量计算头盔位置和姿态的方法，一种是在VR头盔上安装LED矩阵灯来发射频闪信号，参照图1，架设两个红外追踪***来来设定一个固定长方形的范围，两个***所在的位置就是长方形的对角点，通过两个***接收到同一频闪信号的时间差来计算头盔的位置，同时通过头盔上不同位置的红外频闪信号来确定头盔的当前姿态。两个***固定到墙上，会将接收到的信号传到主机上进行处理，从而得到头盔的位置和姿态进行相应的渲染反馈到头盔中。

这种方法随着LED矩阵灯的增多，得到的位置和姿态信息也会越精确，适合分体机使用；但是这种设备需要将两个红外追踪***放到房间的高处，以免信号被遮挡而影响信号的识别精度；并且由于VR头盔多用的是LED发射信号，容易受到周围光照的影响，造成误识别；另外，由于两个红外接收器的范围是有限且固定的，如果佩戴者超出接收器的接收范围那么将接收不到头盔的信号。综上所述，VR头盔的这种定位方法对环境要求较高，同时一旦两个***的位置固定之后，那么VR设备使用者的安全活动范围也就确定了，范围之中出现障碍物使用者也不会收到提醒。

参照图2，另一种方法是通过VR头盔自带的传感器，来实时计算VR头盔在现实环境中相对于初始位置的方位和姿态。其中传感器主要包括陀螺仪、加速度计和磁力计，陀螺仪负责输出三个轴的角速度信息，磁力计负责输出方位信息(与地磁北极的夹角)，加速度计负责输出三个方向的加速度，通过将以上的数据进行算法融合就可以得到VR头盔的当前姿态和相对初始时刻的位置信息。该方法依靠自身携带的传感器，不需要额外增加外设，所以不受场地的限制，通过适当的算法可以得到相对精确的结果。但是没有给使用者划定安全使用范围，也没有障碍物识别的能力。

目前存在的技术虽然可以实时获取VR头盔的位置，但是采用外设基站(***)的技术方案可以设定安全使用范围，但是该范围固定不可调，而且范围内有障碍物也无法识别；不采用外设基站的方案无法设定安全使用范围，同样在使用过程中快要与障碍物发生碰撞时也不会进行提醒。

为了解决上述问题，本申请一实施例提供了一种避障方法，应用于电子设备，该电子设备可以包括主体(如VR头盔)、位于主体上的图像采集模块(如双目视觉)、处理模块(如PC端)等。参照图3，该方法可以包括：

步骤301：获取初始安全范围。

具体地，可以在PC端开启软件，连接VR头盔，点击″安全范围初始化”按钮，之后由用户拿着VR头盔在空间中画出一个封闭的形状，若果***检测到头盔走过的路径形成一个封闭的形状，那么***会出现提示初始化成功。参照图4示出了初始安全范围的示意图。初始化范围的原点可以是VR头盔的初始位置，x轴可以为原点处的切线方向，y轴垂直于x轴，z轴分别与x轴、y轴垂直，形成初始化坐标系。

初始化成功后，可以将初始安全范围的边界坐标保存到一个二维数组boder[x，y]中。

步骤302：获取周围环境的深度图像。

具体地，在用户使用电子设备的过程中，可以由电子设备的双目视觉获取周围环境的深度图像，深度图像包含每个像素点的三维信息以及灰度信息等。

步骤303：根据深度图像，获得周围环境中障碍物的位置信息。

具体地，可以根据深度图像中的每个像素点的灰度值确定障碍物的位置信息，例如可以根据灰度大于等于指定值的区域判定为障碍物区域。其中位置信息具体可以包括位置坐标以及轮廓信息等。

步骤304：当障碍物位于初始安全范围内时，根据障碍物的位置信息调整初始安全范围。

具体地，可以根据障碍物的位置信息(如x坐标值和y坐标值)，将障碍物所占的区域从初始安全范围中去除。

在实际应用中，可以按照以下条件一或条件二，来判定障碍物是否位于初始安全范围内。

条件一：参照图9，在boder[x，y]二维数组中寻找该x坐标值，若不存在，那么此障碍物不在安全范围内；

若boder[x，y]二维数组中存在同样的x坐标值，再比较该x坐标对应的y坐标值是否在boder对应的Y1和Y1’之间，若是则此障碍物在安全范围内，若否则此障碍物不在安全范围内。

条件二：参照图9，在boder[x，y]二维数组中寻找该y坐标值，若不存在，那么此障碍物不在安全范围内；

若boder[x，y]二维数组中存在同样的y坐标值，再比较该y坐标对应的x坐标值是否在boder对应的X1和X1’之间，若是则此障碍物在安全范围内，若否则此障碍物不在安全范围内。

若障碍物位于安全范围内，那么需要将障碍物所在的空间从初始安全范围中去掉，自动更新安全范围，重新记录安全范围的边界。如图8中障碍物周边的虚线代表需要去掉的范围。

本实施例提供的避障方法，可以为用户划定初始安全范围，同时还可以根据周围环境的深度图像进行障碍物的识别，当障碍物位于初始安全范围内时，更新初始安全范围，从而可以保证用户始终处于一个安全的范围之内。

一种实现方式中，参照图5，上述步骤303具体可以包括：

步骤501：获取实时位移信息。

具体地，实时位移信息可以包括电子设备分别在x轴、y轴和z轴上的加速度信息以及分别绕x轴、y轴和z轴的加速度信息等。电子设备还可以包括设置在VR头盔上的IMU惯性导航传感器，IMU惯性导航传感器包含加速度计和陀螺仪，加速度计可以测量电子设备在三个轴(x轴、y轴和z轴)方向上的加速度，陀螺仪可以记录电子设备绕着三个轴旋转的角速度。

步骤502：根据实时位移信息，获得相对于预设参考点的第一旋转矩阵和第一平移矩阵。

具体地，预设参考点可以是初始化坐标系的原点，即VR头盔的初始为。加速度计测得电子设备在三个轴方向上的加速度，加速度对时间进行积分得到线速度，线速度再对时间积分得到距离，从而计算得到电子设备在x轴、y轴和z轴上的偏移量，获得即电子设备相对于原点位置的第一平移矩阵P1；陀螺仪测得电子设备绕着三个轴旋转的角速度，角速度对时间积分是角度，从而得到电子设备绕三个轴旋转的角度，对三个方向的角度进行变换可以得到相对于原点位置的第一旋转矩阵R1。

步骤503：根据深度图像，获得障碍物相对于电子设备的第二旋转矩阵和第二平移矩阵。

参照图6示出了双目视觉的原理结构示意图，L代表两个平行光轴的摄像头中心之间的距离，ol和or分别表示两个摄像头的中心位置，xl和xr分别表示空间点P在两个投影平面(即VR头盔的屏幕)上的投影坐标，D1表示空间点P到双目摄像头的距离，通过以下公式可以计算得到D1的值：

取深度图中障碍物离双目视觉最近的点集作为障碍物的深度信息，处理后得到障碍物相对于电子设备的位置以及障碍物的轮廓。参照图7，VR头盔主轴(垂直于屏幕的轴)与z轴的夹角为Ψ，通过双目视觉测距原理得到障碍物与头盔的距离为D2，那么可以计算得到障碍物与z轴的垂直距离S：S＝D2*sinψ。根据相似原理可以计算出障碍物与x轴、y轴的垂直距离，得到障碍物相对于电子设备的第二平移矩阵P2；通过计算将障碍物中心转换到电子设备的屏幕中心所要沿三个轴转换的角度可以得到第二旋转矩阵R2。

步骤504：根据第一旋转矩阵、第一平移矩阵、第二旋转矩阵和第二平移矩阵，获得障碍物的位置信息。

参照图8，在确定了初始安全范围之后，得到电子设备相对于初始位置的第一旋转矩阵R1和第一平移矩阵P1，根据双目视觉的深度图像得到障碍物相对于电子设备的第二旋转矩阵R2和第二平移矩阵P2。为了判断障碍物是否位于安全范围之内，需要将障碍物的坐标转化到初始化坐标系中得到P3：

在得到P3之后，取P3的x和y轴，可以得到障碍物的x坐标值和y坐标值，然后可以将障碍物的坐标与初始化安全范围得到的二维数组boder[x，y]进行比较，具体可以参照图9以及前面实施例对步骤304的描述。

为了进一步确保用户始终处于一个安全的范围之内，参照图10，上述各实施例提供的避障方法还可以包括：

步骤1001：获取实时位移信息。

具体地，实时位移信息可以包括实时位置信息和实时姿态信息。

可以由电子设备的传感器获取电子设备在绝对坐标系(如世界坐标系)中的实时位移信息，再根据绝对坐标系与初始化坐标系之间的关系，获得电子设备在初始化坐标系中的实时位置信息和实时姿态信息。

步骤1002：根据实时位移信息以及初始安全范围，判断是否存在安全隐患。

具体地，可以在用户将要走出初始安全范围时，判定存在安全隐患。一种实现方式中，步骤1002具体可以包括：根据实时位移信息，确定移动方向以及与初始安全范围的边界之间的距离；当距离小于或等于预设阈值，且移动方向是朝向预设边界时，判定存在安全隐患。

其中，预设边界可以是与电子设备之间的距离小于或等于预设阈值的边界。预设阈值可以根据实际情况具体设定。

步骤1003：若是，则发出警告信息，并显示消除安全隐患的引导信息。

若判定存在安全隐患，即用户或佩戴者将要走出初始安全范围，可以在VR头盔的屏幕上会显示红色警告，参照图9所示，并显示引导信息如引导使用者回到初始安全范围的箭头，当使用者回到初始安全范围之内时，警告取消。

结合以上各实施例的描述，参照图11示出了一种避障方法实时方式的流程示意图。图11中示出各步骤的具体实现方式可参照以上实施例的描述，各步骤可以根据实际情况选择执行。

本实施例提供的避障方法利用双目视觉可以获取深度信息，识别并定位获得现实世界中障碍物的轮廓和位置等信息，当初始安全范围内出现障碍物时会自动更新初始安全范围；并依靠VR头盔上的传感器获取VR头盔或电子设备的实时位置和实时姿态等信息，当用户超出或快要超出初始安全范围时，向处于虚拟环境中的用户发出警报信息，并给出消除安全隐患的引导信息，从而防止用户与障碍物发生碰撞等，使用户始终处于一个安全的范围内。

本申请另一实施例还提供了一种电子设备，参照图12，包括图像采集模块1201、传感器1203以及处理模块1202。

其中，图像采集模块1201，被配置为采集周围环境的深度图像，并发送给所述处理模块1202；

所述传感器1203，被配置为测量所述电子设备的实时位移信息，并发送给所述处理模块1202；

处理模块1202，被配置为获取初始安全范围；根据所述深度图像，获得所述周围环境中障碍物的位置信息；当所述障碍物位于所述初始安全范围内时，根据所述障碍物的位置信息调整所述初始安全范围。

具体的，该电子设备可以包括主体如VR头盔，图像采集模块1201可以为设置在电子设备主体上的双目视觉，处理模块1202可以是与图像采集模块1201连接的PC端等。

其中，双目视觉可以位于VR头盔的正面，并且固定在VR头盔上，避免松动影响测量结果。

本实施例中的VR头盔可以是自带传感器的，用于获取头盔或电子设备的实时位置和实时姿态等实时位移信息。需要注意的是，传感器和双目视觉所用的是同一个时钟信号，确保二者所处理的信号是同一时刻的信号。传感器和双目视觉的中心可以是重合的。

一种实现方式中，处理模块1202还被配置为获取实时位移信息；根据所述实时位移信息以及所述初始安全范围，判断是否存在安全隐患；若是，则发出警告信息，并显示消除所述安全隐患的引导信息。

一种实现方式中，所述处理模块1202还被配置为：

根据所述实时位移信息，确定移动方向以及与所述初始安全范围的边界之间的距离；

当所述距离小于或等于预设阈值，且所述移动方向是朝向预设边界时，判定存在安全隐患。

一种实现方式中，所述处理模块1202还被配置为：

获取实时位移信息；

根据所述实时位移信息，获得相对于预设参考点的第一旋转矩阵和第一平移矩阵；

根据所述深度图像，获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵；

根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵，获得所述障碍物的位置信息。

本实施例提供的电子设备可以与虚拟现实技术现结合，通过识别并定位周围环境中的障碍物，根据障碍物的位置重新设定初始安全范围，并且当用户快要超出初始安全范围时，向处于虚拟环境中的用户发出警报信息，并给出消除安全隐患的引导信息，从而防止用户与障碍物发生碰撞等，使用户始终处于一个安全的范围内。

本申请另一实施例还提供了一种虚拟现实设备，该虚拟现实设备可以上述任一实施例所述的电子设备。

本申请实施例提供了一种避障方法、电子设备及虚拟现实设备，其中，避障方法包括：获取初始安全范围；获取周围环境的深度图像；根据深度图像，获得周围环境中障碍物的位置信息；当障碍物位于初始安全范围内时，根据障碍物的位置信息调整初始安全范围。本申请提供的技术方案可以为用户划定初始安全范围，同时还可以根据周围环境的深度图像进行障碍物的识别，当障碍物位于初始安全范围内时，更新初始安全范围，从而可以保证用户始终处于一个安全的范围之内。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种避障方法、电子设备及虚拟现实设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种避障方法，其特征在于，应用于电子设备，所述方法包括：

获取初始安全范围；

获取周围环境的深度图像；

根据所述深度图像，获得所述周围环境中障碍物的位置信息；

当所述障碍物位于所述初始安全范围内时，根据所述障碍物的位置信息调整所述初始安全范围；

所述根据所述深度图像，获得所述周围环境中障碍物的位置信息的步骤，包括：

获取实时位移信息；根据所述实时位移信息，获得相对于预设参考点的第一旋转矩阵和第一平移矩阵；根据所述深度图像，获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵；根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵，获得所述障碍物的位置信息。

2.根据权利要求1所述的避障方法，其特征在于，所述方法还包括：

获取实时位移信息；

根据所述实时位移信息以及所述初始安全范围，判断是否存在安全隐患；

若是，则发出警告信息，并显示消除所述安全隐患的引导信息。

3.根据权利要求2所述的避障方法，其特征在于，所述根据所述实时位移信息以及所述初始安全范围，判断是否存在安全隐患的步骤，包括：

根据所述实时位移信息，确定移动方向以及与所述初始安全范围的边界之间的距离；

当所述距离小于或等于预设阈值，且所述移动方向是朝向预设边界时，判定存在安全隐患。

4.根据权利要求1至3任一项所述的避障方法，其特征在于，所述根据所述障碍物的位置信息调整所述初始安全范围的步骤，包括：

根据所述障碍物的位置信息，将所述障碍物所占的区域从所述初始安全范围中去除。

5.一种电子设备，其特征在于，包括图像采集模块、传感器以及处理模块；

所述图像采集模块，被配置为采集周围环境的深度图像，并发送给所述处理模块；

所述传感器，被配置为测量所述电子设备的实时位移信息，并发送给所述处理模块；

所述处理模块，被配置为获取初始安全范围；根据所述深度图像，获得所述周围环境中障碍物的位置信息；当所述障碍物位于所述初始安全范围内时，根据所述障碍物的位置信息调整所述初始安全范围；

所述处理模块还被配置为：

获取实时位移信息；根据所述实时位移信息，获得相对于预设参考点的第一旋转矩阵和第一平移矩阵；根据所述深度图像，获得所述障碍物相对于所述电子设备的第二旋转矩阵和第二平移矩阵；根据所述第一旋转矩阵、所述第一平移矩阵、所述第二旋转矩阵和所述第二平移矩阵，获得所述障碍物的位置信息。

6.根据权利要求5所述的电子设备，其特征在于，所述处理模块还被配置为：

获取实时位移信息；

根据所述实时位移信息以及所述初始安全范围，判断是否存在安全隐患；

若是，则发出警告信息，并显示消除所述安全隐患的引导信息。

7.根据权利要求6所述的电子设备，其特征在于，所述处理模块还被配置为：

根据所述实时位移信息，确定移动方向以及与所述初始安全范围的边界之间的距离；

当所述距离小于或等于预设阈值，且所述移动方向是朝向预设边界时，判定存在安全隐患。

8.一种虚拟现实设备，其特征在于，包括权利要求5至7任一项所述的电子设备。

Images