CN110291487A

CN110291487A - 用于确定沉浸式虚拟现实***的时延的分析设备

Info

Publication number: CN110291487A
Application number: CN201880009568.6A
Authority: CN
Inventors: 马蒂厄·米卡; 克里斯多夫·米恩
Original assignee: PSA Automobiles SA
Current assignee: PSA Automobiles SA
Priority date: 2017-02-01
Filing date: 2018-01-25
Publication date: 2019-09-27
Anticipated expiration: 2038-01-25
Also published as: FR3062488B1; US10551911B2; CN110291487B; FR3062488A1; WO2018142044A1; EP3577531A1; US20190354167A1

Abstract

一种用于分析沉浸式虚拟现实***(SI)的设备(DA)，该***包括：靶标(CD)，其连接到物体(OM)；检测装置(MD)，其传送表示靶标(CD)的当前位置的第一信号；处理装置(MT)，其根据检测到的当前位置限定图像；以及至少一个图像显示装置(EA、PI)。该设备(DA)包括：第一传感器(C1)，其在物体(OM)到达已知位置时产生第二信号；第二传感器(C2)，在检测装置(MD)在该已知位置检测到物体(OM)之后，该第二传感器能够在检测到所显示的图像变化时产生第三信号；以及分析装置(MA)，其确定接收第二信号和第三信号的第一接收时刻和第二接收时刻，然后确定所确定的第一接收时刻和第二接收时刻之间的第一时间差。

Description

用于确定沉浸式虚拟现实***的时延的分析设备

技术领域

本发明涉及沉浸式虚拟现实***。

背景技术

如本领域技术人员所知，为了使用户沉浸在虚拟环境中，越来越多地使用沉浸式虚拟现实***。在可能是机动车辆类型的车辆领域中尤其如此，但不限于车辆领域。例如，这种沉浸可以用于：教导用户在特定环境中进行位置变化、使用特定环境中存在的物体或功能、分析用户在特定环境中的行为、或者根据用户相对于特定环境的位置来观察特定环境。

通常，沉浸式(虚拟现实)***包括：

-至少一个靶标，其能够连接到适于在预定空间内移动的用户(或有时是物体)，

-检测装置，其能够检测该靶标在该预定空间中的当前位置并传递表示该当前位置的信号，

-至少一个显示装置，其负责在安装在预定空间中的至少一个屏幕上显示用于该屏幕的(可能是三维(或3D))图像，以及

-处理装置，负责根据该/每个靶标的当前位置和预定空间中相关屏幕的位置实时地为每个相关屏幕限定所选环境的三维(可能是立体)图像。

当用户使用这种沉浸式***时，用户会很快注意到在其改变位置的时刻与该用户在每个屏幕上看到由于其位置改变而产生的每个图像的时刻之间存在时间差或延迟。通常称为时延的这种时间差或延迟来源于：信号和数据的处理时间；信号、数据和图像的传输时间；计算机的图形渲染时间；以及用户发现自己处于新位置的时刻与检测装置在该新位置检测到靶标(并因此检测到用户)的时刻之间的时间差。

通常，时延越长，用户就越不舒服，甚至可能会感到恶心、头晕或失去平衡。因此，如果希望将沉浸式***的(整体)时延降低到不会使用户感到不舒服的值(即，趋于零)，则重点是了解沉浸式***的(整体)时延，以及如果可能的话导致时延的主要因素。然而，诸如专利文献US2015/097803中所描述的允许确定这种时延的已知解决方案不够精确，并且不允许了解主要的成因。

发明内容

因此，本发明特别旨在改善这种情况。

为此，本发明特别提出了一种用于在沉浸式虚拟现实***中进行分析的分析设备，该沉浸式虚拟现实***包括：

-至少一个靶标，其能够连接到适用于在空间中移动的物体，

-检测装置，其能够检测该靶标在该空间中的当前位置，并且传递表示该当前位置的第一信号，

-至少一个显示装置，其负责在安装在预定空间中的至少一个屏幕上显示用于该屏幕的图像，以及

-处理装置，其负责根据物体的检测位置为该屏幕限定图像。

该分析设备的特征在于，包括：

-物体，其配备有每个靶标，

-第一传感器，其适用于在物体到达该空间中的已知位置时产生第二信号，

-第二传感器，在该检测装置在该已知位置检测到物体之后，该第二传感器适用于在检测到屏幕上显示的图像变化的情况下产生第三信号，以及

-分析装置，其至少联接到第一传感器和第二传感器并能够确定接收第二信号的第一接收时刻和接收第三信号的第二接收时刻，然后确定所确定的第一接收时刻和第二接收时刻之间的第一时间差(或时延)。

因此可以非常精确地量化沉浸式***的总时延(或第一时间差)。

根据本发明的分析设备可以具有可以单独或组合采用的其他特征，尤其是：

-其分析装置还可以联接到检测装置和处理装置，并且能够确定接收第一信号的第三接收时刻，以及所确定的第一接收时刻和第三接收时刻之间的第二时间差，该第二时间差表示检测装置在已知位置检测到靶标的延迟，该第一信号表示通过检测装置检测到的已知位置；

其分析装置可以适用于确定所确定的第一时间差和第二时间差之间的第三时间差，该第三时间差表示在图像变化的情况下通过处理装置产生图像的至少一个持续时间；

-其第二传感器能够检测到由于屏幕上显示的图像变化而导致的光强度变化；

-其可以包括轨道，物体可以在轨道上移动，并且该轨道能够放置在该空间中，使得物体可以移动到已知位置；

其可以包括支撑件，轨道紧固地连接在该支撑件上；

●轨道可以连接到支撑件，以便相对于空间的水平面以预定锐角倾斜，并且因此允许相对于轨道在起始位置和至少已知位置之间通过物体的重力而自动移动；

○其可以包括电磁装置，该电磁装置紧固地安装在轨道上，并且一方面能够在电磁装置处于第一吸引状态时将物体固定在起始位置，而另一方面能够在电磁装置处于第二非吸引状态时释放物体，以使物体可以朝已知位置移动；

-其第一传感器能够设置在已知位置附近，并且当物体与该第一传感器接触时产生第二信号。

本发明还提出了一种沉浸式虚拟现实***，其包括：至少一个靶标，其能够连接到能够在空间中移动的物体；检测装置，其能够检测靶标在该空间中的当前位置并传递表示该当前位置的第一信号；至少一个显示装置，其负责在安装在该预定空间中的至少一个屏幕上显示用于该屏幕的图像；处理装置，其负责至少根据该检测到的当前位置来限定用于屏幕的图像；以及上述类型的分析设备。

附图说明

本发明的其他特征和优点将在审阅下面的详细描述和附图时显现，在附图中：

-图1示意性且功能性示出了与根据本发明的分析设备的实施示例相联接的沉浸式虚拟现实***的示例，

-图2示意性且功能性示出了图1的分析设备，该分析设备的待检测物体放置在起始位置，以及

-图3示意性且功能性示出了图1的分析设备，该分析设备的待检测物体放置在已知(最终)位置。

具体实施方式

本发明特备旨在提出一种分析设备DA，其用于在沉浸式虚拟现实***SI中执行分析，以便至少确定后者(SI)的总时延et1。

作为非限制性示例，沉浸式虚拟现实***在下文中被视为用于将用户沉浸在代表车辆的至少一部分的虚拟环境中，该车辆可能是机动车辆类型(例如汽车)。然而，本发明不限于这种类型的虚拟环境。实际上，本发明涉及任意类型的虚拟环境。

在图1中示意性示出了与预定空间EP相关联的沉浸式(虚拟现实)***SI的示例，其中至少部分地安装有根据本发明的分析设备DA的实施示例。

如图所示，沉浸式(虚拟现实)***SI包括至少一个靶标CD、检测装置MD、处理装置MT和至少一个显示装置PI、EA。

每个靶标CD能够连接到适于在预定空间EP中移动的用户(或者有时是分析设备DA的物体OM)。

检测装置MD能够检测每个靶标CD在预定空间EP中的当前位置，并且能够传递代表该当前位置的第一信号s1。

每个屏幕EA安装在预定空间EP中。

根据物体OM的检测位置(根据该靶标CD/每个靶标CD的当前位置)和相关联的屏幕EA在预定空间EP中的位置，处理装置MT负责实时地为每个关联屏幕EA限定所选环境的可能三维的(并且可能立体的)图像，该图像。

在由分析设备DA执行的分析期间，在后者(DA)的请求下，当检测装置MD在空间EP中的已知位置p2未检测到物体OM(参见图3)时，处理装置MT负责为每个相关联的屏幕EA限定第一图像，而当检测装置MD在该已知位置p2已经检测到物体OM时，处理装置MT负责为每个相关联的屏幕EA限定第二图像。作为非限制性示例，第一图像可以是完全白色的，第二图像可以是完全黑色的。

每个显示装置P1、EA负责在安装在预定空间EP中的至少一个屏幕EA上显示用于该屏幕EA的图像。应注意的是，例如，每个显示装置可包括屏幕EA和至少一个投影仪PI，或者可包括屏幕EA和LCD型平板，该平板具有其相关电子控制装置。

屏幕EA的数量通常在1至5之间。每个屏幕EA安装在预定空间EP中。根据靶标CD(可能是靶标保持器PC)的当前位置和与至少一个计算机相关联的至少一个屏幕EA在预定空间EP中的位置，该至少一个计算机负责实时地为该相关屏幕EA限定所选环境的三维(可能是立体的)图像。在存在投影仪PI的情况下，每个投影仪PI负责将相关计算机所确定并用于相关屏幕EA的三维图像投影到该屏幕EA上。

在图1所示的非限制性示例中，沉浸式***SI仅具有一个显示装置，该显示装置包括与投影仪PI相关联的屏幕EA。然而，沉浸式***SI可包括多个(至少两个)显示装置PI、EA。此外，每个显示装置通常与其自有的处理装置MT相关联。但是可以设想的是，相同的处理装置(功率很大)可以为多个(至少两个)显示装置限定图像。

优选地，并且如图1中非限制性所示，沉浸式***SI包括紧固地连接到靶标保持器PC的多个靶标，靶标保持器PC用于在预定空间EP中移动之前连接到分析设备DA的用户或物体OM。应注意的是，这里的靶标保持器PC包括四个靶标CD，其位置必须由检测装置MD在每个测量时刻确定，以便在每个测量时刻推导出物体OM的当前位置。然而，靶标保持器PC可以包括任意数量的靶标CD，只要该数量至少等于一(1)。

例如，检测装置MD在此包括两个摄像机，每个摄像机与红外光子发射器相关联并能够通过红外线进行拍摄。每个发射器发射红外光束，其在靶标(或球体)CD上被反射。每个摄像机记录在靶标(或球体)CD上反射的光子的图像，并将每个记录的图像发送到图像分析计算机，该图像计算机将推断出靶标保持器PC在所考虑的时刻在空间中的位置。但是检测装置MD可以包括两个以上的摄像机。

还应注意的是，如图1中的非限制性示例所示，当处理装置MT必须为至少一个显示装置(这里是与屏幕EA相关联的投影仪PI)限定3D立体图像时，处理装置MT可以细分为若干部分(此处为四个(O1-O4))。第二部分O2可以是负责为左眼限定图像的计算机。第三部分O3可以是负责为右眼限定图像的计算机。第四部分O4可以是如下所述的计算机：根据检测装置MD检测到的相同当前位置，该计算机负责以同步的方式向显示装置(这里是与屏幕EA相关联的投影仪PI)传送由第二部分OR2和第三部分OR3限定的图像。第一部分O1可以是如下所述的计算机：联接到检测装置MD并在此联接到第二部分O2和第三部分O3，并且负责根据检测装置MD检测到的当前位置来控制该第二部分O2和该第三部分O3。

如图1至图3中的非限制性示例所示，除了物体OM之外，根据本发明的分析设备DA还包括至少一个第一传感器C1、第二传感器C2和分析装置MA。

例如，在分析开始时，分析设备DA可以向处理装置MT提供信息，使得：该处理装置MT在检测装置MD在已知位置p2未检测到物体OM的情况下为每个关联屏幕EA限定第一图像，而在检测装置MD在该已知位置p2已经检测到物体OM的情况下限定第二图像。

该物体是可移动的，从而可以在(预定)空间EP中移动。另外，如上所述，该物体O应该配备有至少一个靶标CD，该靶标CD可选地形成靶标保持器PC的一部分(如图1至图3中所示的非限制性示例)。

当物体OM到达空间EP中的已知位置p2时，第一传感器C1能够产生第二信号s2(参见图3)。

作为示例并如图1至图3中的非限制性所示，该第一传感器C1可以适用于设置在已知位置p2附近，并且当物体OM接触该第一传感器C1时产生第二信号s2。为此目的，第一传感器C1可以是例如压电、电容、电感或机械类型。但是在实施变型中，检测可以在不接触(因此是远程的)的情况下实现，例如通过中断穿过已知位置p2的光束。

在检测到屏幕EA上所显示的图像变化的情况下，第二传感器C2能够产生第三信号s3。这里的“所显示的图像变化”指的是通过第二图像替换第一图像，该第二图像与第一图像可以立即通过至少一个特征区分开。例如，当第一图像为全白而第二图像为全黑时，第二传感器C2可以在屏幕EA上检测到从白色到黑色的过渡的情况下产生第三信号s3。

例如，该第二传感器C2可适用于检测由于在屏幕EA上显示的图像变化而导致的光强度变化。为此目的，该第二传感器C2可以是仅在检测到白色时才传递第三信号s3的光电二极管。

分析装置MA至少联接到第一传感器C1和第二传感器C2，并且优选地还连接到检测装置MD和处理装置MT。分析装置MA能够确定接收第二信号s2(由第一传感器C1产生)的第一接收时刻i1、以及接收第三信号s3(由第二传感器C2产生)的第二接收时刻i2，然后确定该确定的第一接收时刻i1和该确定的第二接收时刻i2之间的第一时间差et1(即et1＝i1-i2)。

由于第一时间差et1等于时刻i1和时刻i2之间的差值，在时刻i1，物体OM(表示用户)改变位置(本文是由第一传感器C1在p2中检测到的)，在时刻i2，在屏幕EA上显示新的(或第二)图像(例如全黑并表示由检测装置MD在p2处检测到物体OM而得到的图像)，因此，该第一时间差et1构成沉浸式***SI的总时延。

应当理解的是，已知位置p2作为参考位置，分析装置MA相对于该参考位置确定第一时间差(或总时延)et1。

例如，当分析装置MA在某一时刻接收到由第一传感器C1产生的第二信号s2时，该分析装置MA将该时刻记录为第一时刻i1，并且当该分析装置MA在某一时刻接收到由第二传感器C2产生的第三信号s3时，该分析装置MA将该时刻记录为第二时刻i2。

在分析期间，当处理装置MT从检测装置MD接收到第一信号s1时，处理装置MT(本文是第一部分O1)激活自动进行图像变化，该第一信号s1表示物体OM的检测到的已知位置p2。

在图1至图3所示的非限制性示例中，分析装置MA形成计算机OR的一部分，该计算机OR(直接或间接地)联接到第一传感器C1和第二传感器C2并(此处经由沉浸式***SI的处理装置MT的第一计算机O1)联接到检测装置MD。然而这不是强制性的。实际上，在变型中，分析装置MA可以构成(例如包括示波器和电子信号分析电路的)电子器件，其(直接或间接地)联接到沉浸式***SI的第一传感器C1和第二传感器C2并联接到检测装置MD。在另一变型中，分析装置MA可以植入处理装置MT中(例如，植入联接到检测装置MD的第一计算机O1中)。因此，这些分析装置MA可以以软件(或信息(或“software(软件)”))模块的形式，或电子电路(或“hardware(硬件)”)和软件模块组合的形式实现。

应注意的是，当分析装置MA联接到检测装置MD和处理装置MT时，分析装置MA还可适用于确定接收第一信号s1的第三时刻i3，该第一信号s1表示检测到的已知位置p2。例如，当分析装置MA在某一时刻接收到表示检测到的已知位置p2的第一信号s1时，分析装置MA将该时刻记录为第三时刻i3。在这种情况下，分析装置MA还能够确定该确定的第一接收时刻i1和该确定的第三接收时刻i3之间的第二时间差et2。

该第二时间差et2表示通过检测装置MD在已知位置p2处检测到靶标CD的检测延迟。实际上，时刻i1是物体OM(代指在空间EP中移动的用户)置于“新位置”(此处为p2)的时刻，时刻i3是检测装置MD在该新位置(此处为p2)检测到一个或多个靶标CD(并且从而检测到物体OM)的时刻。由于第二时间差et2对沉浸式***SI的总时延有很大的影响，因此，特别值得了解该第二时间差et2。

还应注意的是，分析装置MA还能够确定所确定的第一时间差et1和所确定的第二时间差et2之间的第三时间差et3。该第三时间差et3至少表示在图像改变的情况下(即，在接收到表示p2的第一信号s1之后)处理装置MT生成图像的持续时间。由于第三时间差et3对沉浸式***SI的总时延有很大的影响，因此，特别值得了解该第三时间差et3。

还应注意的是，分析装置MA还可以且可选地通过处理装置MT的部分O1至O4中的每一个而被通知以接收到信号、指令或数据文件和/或将信号、指令或数据文件传送到沉浸式***SI的另一设备。这允许推导出中间处理时间，该中间处理时间也会参与沉浸式***SI的总时延。因此，可以知道造成沉浸式***SI的总时延的所有因素。

可以以不同方式执行物体OM的移动。

因此，分析设备DA可以例如包括轨道R，物体OM能够沿着轨道R移动并能够放置在空间EP中，使得物体OM可以移动到已知位置p2。在这种情况下，物体OM的移动受到限制。应注意的是，该轨道R可以是单轴线的，该轴可选地具有圆形截面，但不是必须的。

作为示例并如图1至图3中的非限制性示例所示，分析设备DA还可以包括支撑件SR，轨道R紧固地连接在支撑件SR上。

例如，这种支撑件SR可以用于设置在空间EP中的地面上。因此，该支撑件SR可以使得轨道R能够设置在与地面平行的位置，或者设置成相对于地面并因此相对于空间EP的水平面以预定锐角角度倾斜(如图1至图3中非限制性所示)。

在第一替代方案(平行)中，为了使物体OM从起始位置朝已知位置p2移动，该物体OM必须接收人的初始推动或配备电动机，该电动机优选地具有(例如通过波信道)可以远程控制的功能。

在第二替代方案(倾斜)中，物体OM相对于轨道R的移动可以通过重力在起始位置p1(图1和图2中所示)和至少已知位置p2(图3中所示)之间自动进行。换句话说，移动由物体OM沿着轨道R(沿着图2中的箭头F1)下降引起。

应注意的是，在图1至图3中非限制性示出的示例中，轨道R相对于地面(此处为水平)的倾斜角度等于90°。这允许使用诸如三脚架的简单支撑件SR。但是这个角度可以小于90°，例如等于45°或60°。

还应注意的是，如图1至图3中非限制性示出的示例，在第二替代方案(倾斜)中，分析设备DA可包括电磁装置MEL，其在起始位置p1附近紧固地安装在轨道R上。这种电磁装置MEL一方面能够在其处于第一吸引状态时将物体OM固定在物体OM的起始位置p1，另一方面能够在其处于第二非吸引状态时释放物体OM以使物体OM朝已知位置p2位移。该电磁装置MEL可以例如以电磁铁的形式设置，当对该电磁铁供电时其具有吸力，而当未对电磁铁供电时其不具有吸力。应注意的是，如果电磁铁功率足够大，则当对该电磁铁供电时，其也可以用于自动地将物体OM从已知位置p2提升到物体OM的起始位置p1。

这种电磁装置MEL例如可以具有可远程控制的功能，可选地通过波信道来进行该功能。这种控制可以通过计算机或通过远程控制来实现，该计算机联接到电磁装置MEL，并且该计算机可选地是可以包括分析装置MA的计算机(OR)。实际上，这允许用户远程地触发物体OM的下落，而不会妨碍检测装置MD在物体OM下降时对该物体OM的检测跟踪。

应注意的是，在图1至图3中非限制性示出的示例中，由于该第一传感器C1确保通过接触进行检测，因此，第一传感器C1在已知位置p2的正下方紧固地连接到轨道R。

还应注意的是，物体OM不一定例如由于其连接到轨道R而被限制移动。实际上，在替代实施例中，可以设想将物体OM设置成在空间EP的地面上滚动。例如，物体OM可以具有可选地由电动机旋转驱动的轮子。

在没有电动机的情况下，物体OM通过人的初始推动从起始位置移动到已知位置p2。在存在电动机的情况下，运行电动机使得物体OM从起始位置移动到已知位置p2。因此，优选地远程控制该运行(可能通过波信道)。这种控制可以通过计算机或通过遥控装置来实现，该计算机联接到物体OM，并且该计算机可选地是可以包括分析装置MA的计算机(OR)。

物体OM可以具有众多设置，具体取决于物体OM应当进行位移的方式。作为示例的，物体OM可以制成为总体平行六面体形式的部件(可能是金属)的形式，该部件具有适合于沿着轨道R移动的凹槽或联接装置，或者具有轮子。例如，也可以在气垫上进行移动。

Claims

1.一种沉浸式虚拟现实***(SI)，所述***包括i)至少一个靶标(CD)，其能够连接到适用于在空间(EP)中移动的物体(OM)，ii)检测装置(MD)，其能够检测所述靶标(CD)在所述空间(EP)中的当前位置，并且传送表示所述当前位置的第一信号，iii)至少一个显示装置(EA、PI)，其负责在安装在所述预定空间(EP)中的至少一个屏幕(EA)上显示用于所述屏幕(EA)的图像，以及iv)处理装置(MT)，其负责至少根据所述检测到的当前位置为所述屏幕(EA)限定图像，其特征在于，所述***还包括分析装置(DA)，所述分析设备包括：i)所述物体(OM)，其配备有所述靶标(CD)；ii)第一传感器(C1)，其能够在所述物体(OM)到达所述空间(EP)中的已知位置时产生第二信号；iii)第二传感器(C2)，在所述检测装置(MD)在所述已知位置检测到所述物体(OM)之后，所述第二传感器能够在检测到所述屏幕(EA)上显示的图像变化的情况下产生第三信号；以及iv)分析装置(MA)，其至少联接到所述第一传感器(C1)和所述第二传感器(C2)并能够确定接收所述第二信号的第一接收时刻和接收所述第三信号的第二接收时刻，然后确定所述确定的第一接收时刻和所述确定的第二接收时刻之间的第一时间差。

2.根据权利要求1所述的***，其特征在于，所述分析装置(MA)还联接到所述检测装置(MD)和所述处理装置(MT)，并且能够确定接收所述第一信号的第三接收时刻、以及所述确定的第一接收时刻和所述确定的第三接收时刻之间的第二时间差，所述第二时间差表示所述检测装置(MD)在所述已知位置检测到所述靶标(CD)的延迟，所述第一信号表示通过所述检测装置(MD)检测到的所述已知位置。

3.根据权利要求2所述的***，其特征在于，所述分析装置(MA)能够确定所述确定的第一时间差和所述确定的第二时间差之间的第三时间差，所述第三时间差表示在在图像变化的情况下通过所述处理装置(MT)产生图像的至少一个持续时间。

4.根据权利要求1至3中任一项所述的***，其特征在于，所述第二传感器(C2)能够检测到由于在所述屏幕(EA)上显示的图像变化而导致的光强度变化。

5.根据权利要求1至4中任一项所述的***，其特征在于，包括轨道(R)，所述物体(OM)能够在所述轨道上移动，并且所述轨道能够放置在所述空间(EP)中，使得所述物体(OM)可以移动到所述已知位置。

6.根据权利要求5所述的***，其特征在于，包括支撑件(SR)，所述轨道(R)紧固地连接在所述支撑件上。

7.根据权利要求6所述的***，其特征在于，所述轨道(R)连接到所述支撑件(SR)，以便相对于所述空间(EP)的水平面以预定锐角角度倾斜，并且因此允许相对于所述轨道(R)在起始位置和至少所述已知位置之间通过所述物体(OM)的重力而自动移动。

8.根据权利要求7所述的***，其特征在于，包括电磁装置(MEL)，其紧固地安装在所述轨道(R)上，并且能够：i)在所述电磁装置处于第一吸引状态时将所述物体(OM)固定在所述起始位置，并且ii)在所述电磁装置处于第二非吸引状态时释放所述物体(OM)，以使所述物体可以朝所述已知位置移动。

9.根据权利要求1至8中任一项所述的***，其特征在于，所述第一传感器(C1)能够设置在所述已知位置附近，并且当所述物体(OM)与所述第一传感器接触时产生所述第二信号。