CN107491934B - 一种基于虚拟现实的3d面试*** - Google Patents

Abstract

本发明涉及一种基于虚拟现实的3D面试***，包括：服务器，以及与服务器通信连接的场景数据库、交互终端、全景摄像机、至少一个显示终端、视频数据库，其中，场景数据库用于存储可交互的3D场景；交互终端为能够进行人机交互的虚拟现实设备，使得第一用户能够操作交互终端从而完成3D场景中的人机交互；全景摄像机用于实时拍摄第一用户的影像；服务器用于根据交互终端中的人机交互和全景摄像机拍摄的影像形成组合视频；显示终端用于向第二用户显示组合视频；视频数据库用于存储组合视频。

Description

一种基于虚拟现实的3D面试***

技术领域

本发明涉及计算机领域，特别涉及基于虚拟现实的3D面试***。

背景技术

面试属于人员招聘的重要环节，传统的面试一般包括当面面试、电话面试或者视频面试等形式。不管哪种形式，面试均是采用问答的方式进行，面试官提出问题，求职者回答问题。对于某些需要动手操作的专业技能，面试官也只能采取假设条件的方式进行询问，通过求职者的口述情况判断求职者是否适合岗位。还有一些求职者的简历中会涉及大型设备或昂贵设备的使用与操作，但是面试官并不清楚求职者的具体操作水平。这都将使得部分“动口”能力强，但“动手”能力达不到要求的求职者顺利通过面试。

近年来，虚拟现实(VR)技术得到了快速发展，某些虚拟现实设备不仅能够提供3D环境的显示，而且能够提供3D环境中的人机交互。这为在面试过程中考察求职者的实际动手能力提供了技术基础和结合契机。本发明希望使用虚拟现实技术解决当前面试过程中存在的缺陷，从而提供一种基于虚拟现实的3D面试***。

另外，通过检索，获得的其他背景技术如下：

CN106454198A，通过移动终端的视频面试平台进行面试的方法及装置。

CN106157722A，一种虚拟现实的面试训练方法和设备。

CN104460950A，利用虚拟现实技术实现用户与虚拟对象模拟交互。

发明内容

本发明的目的在于提供一种基于虚拟现实的3D面试***，包括：服务器，以及与服务器通信连接的场景数据库、交互终端、全景摄像机、至少一个显示终端、视频数据库，其中，场景数据库用于存储可交互的3D场景；交互终端为能够进行人机交互的虚拟现实设备，使得第一用户能够操作交互终端从而完成3D场景中的人机交互；全景摄像机用于实时拍摄第一用户的影像；服务器用于根据交互终端中的人机交互和全景摄像机拍摄的影像形成组合视频；显示终端用于向第二用户显示组合视频；视频数据库用于存储组合视频。

根据本发明的一个方面，第一用户为求职者，第二用户为面试官。面试官通过显示终端能够实时观察到求职者在虚拟显示设备的上的操作，即能够实时获知求职者的动手能力，为是否录用求职者提供直观的决策依据。

在完成本发明的过程中，本发明所要解决的其他技术问题以及取得的其他技术效果将通过具体实施方式中的技术方案的细节予以展现。

附图说明

图1是本发明的***框图；

图2是本发明的显示终端上显示组合视频的一个示意图；

图3是本发明的从显示终端上显示面试视频的示意图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，将结合附图对本发明作进一步地详细描述。这种描述是通过示例而非限制的方式介绍了与本发明的原理相一致的具体实施方式，这些实施方式的描述是足够详细的，以使得本领域技术人员能够实践本发明，在不脱离本发明的范围和精神的情况下可以使用其他实施方式并且可以改变和/或替换各要素的结构。因此，不应当从限制性意义上来理解以下的详细描述。

如图1所示，本发明提供了一种基于虚拟现实的3D面试***，包括：服务器，以及与服务器通信连接的场景数据库、交互终端、全景摄像机、显示终端、视频数据库。

其中，场景数据库用于存储可交互的3D场景。优选的，3D场景为面试过程中允许求职者操作的3D场景。

交互终端包括能够进行人机交互的虚拟现实设备，使得第一用户能够操作交互终端从而完成3D场景中的人机交互，并且获得虚拟现实设备中呈现的3D场景帧。虚拟现实设备可以为眼镜式，也可以为头盔式，本发明没有试图对虚拟现实设备的形状、制式、规格等方面进行限定。虚拟显示设备能够允许获得呈现的3D场景，最简单的，通过3D场景录屏而获取的呈现的3D场景帧，当然也可以根据其他现有技术的方式获得呈现的3D场景帧，本发明并不对虚拟场景帧的获取方式进行范围限制。

根据本发明的一个方面，第一用户为求职者，第一用户操作交互终端，从而在3D场景中完成面试试题所要求的操作过程将通过例如录屏等方式被3D面试***所获得。

全景摄像机用于实时拍摄第一用户的全景影像。例如，第一用户装备有交互终端的虚拟现实设备，并且操作交互终端的全景影像。

服务器用于根据交互终端获得的3D场景帧和全景摄像机拍摄的全景影像形成组合视频。显示终端用于向第二用户显示组合视频。根据本发明的一个方面，第二用户为面试官。组合视频的呈现，使得面试官通过显示终端能够实时且同时观察到求职者在交互终端上的物理操作，尤其是观察到在虚拟显示设备的上对面试题目的虚拟操作，从而判断求职者的能力。

视频数据库用于存储组合视频，以备后续使用。尤其是，当面试官当场不能够确定求职者是否能够被录取，或者需要就求职者的表现征求其他人员意见时，可以将提取视频数据库中的组合视频，以重现求职者当时的表现。

根据本发明，组合视频可以为两个独立的视频，其一为通过3D录屏方式获取的交互终端的3D场景视频，其二为全景影像。但是，这种组合视频存在缺陷，需要显示终端同时播放两个视频，在显示终端不支持同时播放的情况下，无法快速同时获取两个视频中的内容。及时显示终端支持两个视频的同时播放，也会由于播放顺序的些许差别，导致两个视频的内容不同步。

为克服上述问题，本发明的服务器进一步包括处理器，处理器用于创建组合帧缓存，组合帧缓存包括第一帧缓存和第二帧缓存；第一帧缓存的分辨率与3D场景帧的分辨率相同，用于接收3D场景帧；第二帧缓存用于接收全景图像。其中，帧缓存为服务器在内存或显存(优选显存)中开辟的一块缓存，用户逐帧缓存3D场景帧和全景图像，从而形成3D场景和全景图像的组合帧，每个组合帧叠加起来即能够得到组合视频。显然，组合视频为单一的视频，能够被显示终端所播放，且不需要担心两个独立视频之间的内容不同步。

实施例1

在较为简单的一种实现方式中，3D面试***所包括的交互终端、全景摄像机和显示终端都是定制的，以使得各设备的分辨率互相适应。

具体的，交互终端的分辨率设置为X1*Y1，其通过例如录屏等方式获得的3D场景帧的分辨率即为X1*Y1，存储3D场景帧的第一帧缓存的分辨率也相应的设置为X1*Y1即可；全景摄像机的分辨率设置为X2*Y2，其拍摄的全景图像的分辨率即为X2*Y2，存储全景图像的第二帧缓存的分辨率也相应的设置为X2*Y2即可。

进一步的，如图2所示，可以将3D场景帧显示在显示终端的左边、全景图像显示在显示终端的右边。在定制交互终端和全景摄像机的情况下，使得Y1＝Y2＝Y，即交互终端和全景摄像机在Y方向的分辨率设置为相同的分辨率。

这样，包括第一、二帧缓存的组合帧缓存的分辨率为(X1+X2)*Y，组合视频的分辨率即为(X1+X2)*Y，定制的显示终端的分辨率也为(X1+X2)*Y，从而使得组合视频在显示终端上的呈现如图2的显示效果。

作为优选的一种方式，显示终端(组合帧缓存)X、Y方向的分辨率比值为64：27，即采用超宽屏的显示终端；交互终端(第一帧缓存)X、Y方向的分辨率比值为16：9，相当于一般宽屏显示的分辨率；全景摄像机(第二帧缓存)X、Y方向的分辨率比值为5:9，相当于一般竖屏显示的分辨率。

实施例2

实施例1中，固定分辨率的设置确实简单便捷，但是需要对硬件设备进行定制，也产生了诸多不便。例如，显示终端的性能要求并不高，本可以由普通的PC甚至手机实现，而且许多单位已经拥有冗余的PC，且多数人都有手机，但是由于分辨率的限制，却只能另行购置定制的显示终端，造成已有资源的浪费。为了克服上述缺陷，在实施例2中提出以下方案：

至少一个显示终端至少包括一个主显示终端和至少一个(一般是多个)从显示终端，第二帧缓存至少包括一个主第二帧缓存和至少一个(一般是多个)从第二帧缓存，组合视频(即需要被存储到视频数据库中的组合视频)根据第一帧缓存和主第二帧缓存中存储的帧确定，从组合视频(不需要存储到视频数据库中的组合视频)根据第一帧缓存和从第二帧缓存确定，并在对应的从显示终端上显示。

这样，除了固定的一台主显示终端外，其他的显示终端均不需要定制，大幅度提高了使用的灵活性。

根据本发明，主第二帧缓存的分辨率与全景影像的分辨率相同；第一帧缓存和主第二帧缓存的分辨率和显示终端的分辨率之间存在以下关系：

Xp＝n*(X1+X2)

Yp＝n*Y1＝n*Y2

其中Xp*Yp为主显示终端的分辨率，X1*Y1为第一帧缓存的分辨率，X2*Y2为主第二帧缓存的分辨率；n为缩放系数；n取值可以大于1，也可以小于1，优选等于1。组合帧缓存的分辨率为(X1+X2)*Y1。

根据本发明，根据交互终端获得的3D场景帧和全景摄像机拍摄的全景影像形成组合视频具体包括：将虚拟现实设备中呈现的3D场景帧映射到第一帧缓存，将全景影像映射到第二帧缓存。“映射”意味着可以缩放，以兼容全景摄像机和交互终端的不同分辨率。

优选的，交互终端、全景摄像机在X、Y方向的分辨率被设置成满足实施例1所示的分辨率关系，从而可以将虚拟现实设备中呈现的3D场景帧1:1映射到第一帧缓存，将全景影像1:1映射到第二帧缓存。

根据本发明，至少一个显示终端还包括至少一个从显示终端，第二帧缓存还包括至少一个从第二帧缓存，处理器根据第一帧缓存和从第二帧缓存在对应的从显示终端上显示视频；从第二帧缓存的分辨率根据第一帧缓存的分辨率、对应的从显示终端的分辨率和全景影像的分辨率获得。

为了在从显示终端上同时兼容可能出现具有非定制分辨率的全景摄像机、交互终端和从显示终端，以在从显示终端上获得理想的显示效果。

根据本发明，第一帧缓存的分辨率仍然等同于3D场景帧的分辨率，以保障第一用户的操作被无损失的呈现到显示终端中。在此基础上，服务器还包括存储介质，存储介质中存储有可执行程序，对于任何一个从第二帧缓存，处理器执行可执行程序以实现以下步骤，从而获得从第二帧缓存的分辨率：

步骤S10，如果

那么设置

Y2＝Y1

步骤S20，如果

那么设置

X2＝X1

步骤S30，如果

Xp≥Yp,且

那么设置

Y2＝Y1

步骤S40，如果

那么

Y2＝Y1

X2＝(D1-1)*X1

步骤S50，设置X2＝Xq，Y2＝Yq。

其中，X1*Y1为第一帧缓存的分辨率、X2*Y2分别为从第二帧缓存的分辨率，Xq*Yq为全景影像的分辨率，Xp*Yp为对应的从显示终端的分辨率；D1、D2为系数，且D2<D1。

优选的，其中D1取值为1.3，D2的取值为1。

其中，步骤S10和步骤S20中，由于判断显示终端能够“容纳”下缩放后3D场景帧和全景图像，因此将从第二帧缓存进行缩放，使之在X或Y方向与第一帧缓存匹配，从而能够完整的与第一帧缓存拼接。

步骤S30中，判断显示终端不能够“容纳”下缩放后的3D场景帧和全景图像，但是显示终端在X方向上的分辨率较大，因此对从全景图像(的分辨率)进行剪裁形成从第二帧缓存，即牺牲从第二帧缓存的部分分辨率，但不浪费显示终端的显示空间，使得显示终端能够“容纳”下组合帧缓存。其效果示意图如图3所示，即全景相机拍摄的图像在X方向如虚线框所示，但是从第二帧缓存的分辨率设置为虚线框内部的实线框所示，虚实线之间的部分为被剪裁的部分。

步骤S40中，判断显示终端不能够“容纳”下缩放后的3D场景帧和全景图像，但是显示终端在X方向上的分辨率不够大，因此对从全景图像(的分辨率)进行剪裁形成从第二帧缓存，即牺牲从第二帧缓存的部分分辨率，也牺牲显示终端的部分显示空间。其效果示意图如图4所示，即全景相机拍摄的图像在X方向如虚线框所示，但是从第二帧缓存的分辨率设置为虚线框内部的实线框所示，虚实线之间的部分为被剪裁的部分。同时，与图2所示的显示终端相比，图4所示的显示终端牺牲了上下两端的部分显示空间。

根据本发明的一个方面，对于Xp<Yp的情况，也可参照步骤S30和步骤S40进行处理，从而达到在显示终端使用竖屏也能起到相应显示效果的情况。但是，根据实际的操作习惯，横屏的使用频率远远超过竖屏，因此优选的，不对竖屏进行进一步的处理，以简化处理方式。手机和PAD等移动终端虽然可以使用竖屏，但是根据本发明，当服务器检测到连接到服务器的显示终端为手机或移动终端时，如果不满足步骤S20的条件，仍然按照横屏的情况进行显示。

在步骤S50，在不满足步骤S10-S40的判断条件时，进行兜底处理，将全景图像的分辨率作为从第二帧缓存的分辨率。

根据本发明，显示的视频具体包括：将虚拟现实设备中呈现的3D场景帧1:1映射到第一帧缓存，将全景影像1:1映射或采样映射到从第二帧缓存，其采样率根据步骤S10-步骤S40确定，并根据第一帧缓存和从第二帧缓存中存储的帧形成对应的从显示终端上显示的面试视频。

根据本发明，如果符合步骤S30的判断条件，在将全景影响采样映射到第二帧缓存之前，还对全景影像进行剪裁，剪裁后，全景影像各帧的各像素的横坐标均满足以下条件以达到图3所示的显示效果：

如果符合步骤S40的判断条件，在将全景影响采样映射到第二帧缓存之前，还对全景影像进行剪裁，剪裁后，全景影像各帧的各像素的横坐标均满足以下条件以达到图4所示的显示效果：

尽管本发明主要描述了具体实施例和应用，但本领域技术人员应理解本发明并不局限于此。根据本发明公开的方法和***，对于本领域技术人员明显的各种修改、变化以及改变均不背离本发明的精神和范围。

Claims (6)

1.一种基于虚拟现实的3D面试***，其特征在于，包括：服务器，以及与服务器通信连接的场景数据库、交互终端、全景摄像机、显示终端、视频数据库；

其中，所述场景数据库用于存储可交互的3D场景；

所述交互终端包括能够进行人机交互的虚拟现实设备，使得第一用户能够操作交互终端从而完成3D场景中的人机交互，并且获得所述虚拟现实设备中呈现的3D场景帧；

所述全景摄像机用于实时拍摄第一用户的全景影像；

所述服务器用于根据交互终端获得的3D场景帧和全景摄像机拍摄的全景影像形成组合视频；

所述显示终端用于向第二用户显示组合视频；

所述视频数据库用于存储组合视频；

所述服务器包括处理器，所述处理器用于创建组合帧缓存，所述组合帧缓存包括第一帧缓存和第二帧缓存；所述第一帧缓存的分辨率与所述3D场景帧的分辨率相同，用于接收3D场景帧；所述第二帧缓存用于接收所述全景影像；

所述显示终端包括至少一个从显示终端，所述第二帧缓存包括至少一个从第二帧缓存，所述处理器根据所述第一帧缓存和所述从第二帧缓存在对应的从显示终端上显示视频；所述从第二帧缓存的分辨率根据所述第一帧缓存的分辨率、对应的从显示终端的分辨率和全景影像的分辨率获得；

所述服务器还包括存储介质，所述存储介质中存储有可执行程序，对于任何一个从第二帧缓存，所述处理器执行所述可执行程序以实现以下步骤，从而获得所述从第二帧缓存的分辨率：

步骤S10，如果

那么

Y2＝Y1

步骤S20，如果

那么

X2＝X1

步骤S30，如果

那么

Y2＝Y1

步骤S40，如果

那么

Y2＝Y1

X2＝(D1-1)*X1

其中，X1*Y1为第一帧缓存的分辨率、X2*Y2分别为从第二帧缓存的分辨率，Xq*Yq为全景影像的分辨率，Xp*Yp为对应的从显示终端的分辨率；D1、D2为系数，且D2<D1；

步骤S50，设置X2＝Xq，Y2＝Yq。

2.根据权利要求1所述的***，其特征在于，所述显示终端至少还包括一个主显示终端，所述第二帧缓存至少还包括一个主第二帧缓存，所述组合视频根据所述第一帧缓存和所述主第二帧缓存中存储的帧确定。

3.根据权利要求2所述的***，其特征在于，所述主第二帧缓存的分辨率与所述全景影像的分辨率相同；

第一帧缓存和主第二帧缓存的分辨率和显示终端的分辨率之间存在以下关系：

Xp＝n*(X1+X2)

Yp＝n*Y1＝n*Y2

其中Xp*Yp为主显示终端的分辨率，X1*Y1为第一帧缓存的分辨率，X2*Y2为主第二帧缓存的分辨率；n为缩放系数；

所述组合帧缓存的分辨率为(X1+X2)*Y1。

4.根据权利要求3所述的***，其特征在于，所述用于根据交互终端获得的3D场景帧和全景摄像机拍摄的全景影像形成组合视频具体包括：将所述虚拟现实设备中呈现的3D场景帧1:1映射到所述第一帧缓存，将所述全景影像1:1映射到所述第二帧缓存。

5.根据权利要求1所述的***，其中D1取值为1.3，D2的取值为1。

6.根据权利要求1-5之任一所述的***，其特征在于，所述显示的视频具体包括：将所述虚拟现实设备中呈现的3D场景帧1:1映射到所述第一帧缓存，将所述全景影像采样映射到所述从第二帧缓存，根据所述第一帧缓存和所述从第二帧缓存中存储的帧形成对应的从显示终端上显示的面试视频。

Images