CN207898959U - 一种稳定的基于虚拟现实混合的仿真实验室 - Google Patents
一种稳定的基于虚拟现实混合的仿真实验室 Download PDFInfo
- Publication number
- CN207898959U CN207898959U CN201721845153.1U CN201721845153U CN207898959U CN 207898959 U CN207898959 U CN 207898959U CN 201721845153 U CN201721845153 U CN 201721845153U CN 207898959 U CN207898959 U CN 207898959U
- Authority
- CN
- China
- Prior art keywords
- scene
- host
- virtual
- experiencer
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 16
- 230000006641 stabilisation Effects 0.000 title claims abstract description 12
- 238000011105 stabilization Methods 0.000 title claims abstract description 12
- 238000002156 mixing Methods 0.000 title claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 39
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 39
- 238000009877 rendering Methods 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims description 12
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 238000007654 immersion Methods 0.000 abstract description 6
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 208000002173 dizziness Diseases 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 10
- 238000005452 bending Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本实用新型提供一种稳定的基于虚拟现实混合的仿真实验室，涉及虚拟仿真教学实训室领域，包括：头显设备；手柄；拍摄相机；***，固定在拍摄相机上；游戏场景渲染主机，用于将虚拟场景拆分成平面图像，并将所述平面图像的数据传输给渲染合成主机；路由器；渲染合成主机，用于将所述平面图像的数据和拍摄相机拍摄的体验者的图像数据通过合成软件合成三维虚拟现实混合场景，并将三维虚拟显示场景的数据传输给观看屏幕；显示设备；游戏场景渲染主机和渲染合成主机上均安装有NDI软件。本实用新型解决了现有的裸眼3D沉浸式交互***无法适用于教学实训领域中评估者对体验者进行评估，且传统的仿真实验室看到的画面容易产生眩晕的问题。
Description
技术领域
本实用新型涉及虚拟仿真教学实训室领域，尤其涉及一种稳定的基于虚拟现实混合的仿真实验室。
背景技术
在教学实训领域，轨道交通车辆制动教学是用于对学员进行培训，培养学员对轨道交通车辆制动单元结构特点的了解掌握，从而高效地、科学地进行学习；现有的轨道交通教学大多数采用书本内容结合教师的PPT等方式的教学，学习效率不高；另一方面实训基地因铁路轨道本身占地面积大、投入费用高、设置场景固定，很多实训场地无法投入建设，即使建设对应的实训基地，实训过程中无法实现根据需求更换场景或者交互，从而导致实训效果差。
为了解决这个问题，可以采用一种基于仿真教学实训室的裸眼3D沉浸式交互***，具体包括：渲染主机，用于连接控制引擎和显示器件，且结合渲染引擎实现画面的渲染；渲染引擎，用于利用ventuz等软件实现融合和同步后，通过连接显示器件呈现裸眼3D画面；显示器件，用于通过与渲染主机连接后将渲染的画面显示；路由器，用于通过无线网卡连接渲染主机和控制引擎；控制引擎，用于连接路由器实现实时交互控制。但是在实际的应用中，裸眼3D沉浸式交互方法虽然有一定的好处，但是，体验者只能站在特定的位置才能体验到这种沉浸式的感官，对于旁观者，并不能体验到其中的场景。
在教学实训领域中，需要对体验者的训练情况进行评估，如果采用裸眼3D沉浸式交互***，没有站在特定位置的评估者将无法对体验者的训练情况进行评估；因此，对于体验者的评估情况需要将体验者在VR眼镜中看到的画面传输到评估者能够看到的屏幕上，这样评估者能够看到VR体验者的动作以及体验者看到的实时画面，对VR体验者进行更加精准的评估。
我们通过采用渲染合成主机混合游戏场景渲染主机来混合虚拟与现实场景，但是，对于游戏场景渲染主机和渲染合成主机之间的数据传输如果只采用视频采集卡，会存在线路连接多、传输不稳定的缺点。
实用新型内容
本实用新型的目的在于：为解决现有的裸眼3D沉浸式交互***无法适用于教学实训领域中评估者对体验者进行评估，无法将仿真式实验室更好地应在教学领域中，同时解决游戏场景渲染主机和渲染合成主机之间的数据传输如果只采用视频采集卡，会存在线路连接多、传输不稳定的问题，本实用新型提供一种稳定的基于虚拟现实混合的仿真实验室。
本实用新型的技术方案如下：
一方面，本实用新型提供一种稳定的基于虚拟现实混合的仿真实验室，包括：头显设备，用于体验者观看虚拟场景，并将所述虚拟场景传输给游戏场景渲染主机；
手柄，用于体验者与虚拟场景之间进行交互；
拍摄相机，用于拍摄戴有头显设备且位于绿背景中的体验者，并将拍摄的体验者的图像数据传输给渲染合成主机；
***，固定在拍摄相机上，用于追踪拍摄相机的位置信息，并将位置信息发送给游戏场景渲染主机；
游戏场景渲染主机，用于将虚拟场景拆分成平面图像，并将所述平面图像的数据传输给渲染合成主机；
路由器，用于连接游戏场景渲染主机和渲染合成主机；
渲染合成主机，用于将所述平面图像的数据和拍摄相机拍摄的体验者的图像数据通过合成软件合成三维虚拟现实混合场景，并将三维虚拟显示场景的数据传输给显示设备；
显示设备，用于显示虚拟显示场景；
所述游戏场景渲染主机和渲染合成在主机之间安装NDI软件。
具体地，所述游戏场景渲染主机生成的平画图像包括前景、背景、通道。
优选地，所述渲染合成主机采用VENTUZ合成软件合成所述平面图像的数据和拍摄相机拍摄的体验者的图像数据。
具体地，所述显示设备为LED显示屏或者液晶显示屏。
具体地，所述渲染合成主机与显示设备之间通过HDMI接口或SDI接口连接。
采用上述方案后，本实用新型的有益效果如下：
(1)将本实用新型的仿真实验室运用在实训教学领域中后，评估者对体验者的评估不再是只能看到虚拟场景或者是体验者的单独画面，而是将体验者放到整个虚拟场景中，给评估者更加真实的感受，评估者能够看到VR体验者的动作以及虚拟场景，对VR体验者有着更加请准的评估。
(2)由于拍摄相机拍摄到的体验者的图像是平面二维图像，而虚拟场景是三维的场景，所以，游戏场景渲染主机对虚拟场景进行传输的过程中，需要将三维的虚拟场景先拆分成平面的二维图像，该平面二维图像与体验者的二维图像共同通过渲染合成主机合成三维的场景以及体验者，游戏场景渲染主机将虚拟场景拆分成含有背景、前景和通道的多个二维图像，在将这些二维图像数据传输给渲染合成主机的过程中，如果采用采集卡对这些二维图像进行才传输，则需要多个线路连接，多个线路连接会使得传输不稳定，因此，本实用新型在游戏场景渲染主机和渲染合成主机之间连接路由器，使得二者通过无线的方式连接，然后再通过NDI传输软件传输，这样就解决了传输不稳定的问题。本实用新型的这个改进点虽然小，但是，问题的提出并容易想到。
附图说明
图1为本实用新型的结构示意图
图2为本实用新型实施例中确定虚拟相机位置的数据传输图；
具体实施方式
下面将结合本实用新型实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型的一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
实施例1
如图1所示，一种稳定的基于虚拟现实混合的仿真实验室，包括：
头显设备，用于体验者观看虚拟场景，并将所述虚拟场景传输给游戏场景渲染主机；所述头显设备就是通常所述VR眼镜。
手柄，用于体验者与虚拟场景之间进行交互；一般来说，头显设备和手柄是成套设置的；本实用新型中，所用的头显设备和手柄是使用HTC公司生产的VIVE系列的。
拍摄相机，用于拍摄戴有头显设备且位于绿背景中的体验者，并将拍摄的体验者的图像数据传输给渲染合成主机；体验者站在绿背景前，这是为了方便在图像处理过程中将体验者的快速、精准地从背景中扣出。
***，固定在拍摄相机上，用于追踪拍摄相机的位置信息，并将位置信息发送给游戏场景渲染主机。
游戏场景渲染主机，用于将虚拟场景拆分成平面图像，游戏场景渲染主机生成的平画图像包括前景、背景、通道，并将所述平面图像的数据传输给渲染合成主机；游戏场景渲染主机和头显设备之间的数据传输采用USB接口以及HDMI接口。
路由器，用于连接游戏场景渲染主机和渲染合成主机。
渲染合成主机，用于将所述平面图像的数据和拍摄相机拍摄的体验者的图像数据通过合成软件合成三维虚拟现实混合场景，并将三维虚拟显示场景的数据传输给显示设备。
显示设备，用于显示虚拟显示场景，显示设备为LED显示屏或者液晶显示屏。渲染合成主机与显示设备之间通过HDMI接口或SDI接口连接。
所述游戏场景渲染主机和渲染合成在主机之间安装NDI软件。
实施例2
如图1所示，一种稳定的基于虚拟现实混合的仿真实验室的仿真方法，包括如下步骤：
S1：将***固定在拍摄相机上，***用于获取拍摄相机的位置信息和拍摄角度信息；
S2：体验者位于绿背景前方，然后体验者通过头显设备观看虚拟场景，通过手柄与虚拟场景之间进行交互，在虚拟场景中，建立虚拟拍摄相机，通过虚拟拍摄相机获取特定角度的虚拟场景；
S3：通过游戏场景渲染主机将特定角度的虚拟场景拆分成平面图像，并将这些平面图像传输给渲染合成主机；选取虚拟场景的角度根据拍摄相机位置的变化而变化；
S4：进行S3的同时，通过拍摄相机拍摄体验者图像，拍摄相机将体验者图像传输给渲染合成主机；
S5：渲染合成主机将游戏场景渲染主机传输的平面图像和拍摄相机拍摄的体验者图像合成三维虚拟现实混合场景，并将三维虚拟现实混合场景的图像传输给显示设备；
S6：显示设备将三维虚拟现实混合场景展示出来。
实施例3
在实施例2的基础上，所述S3中，确定特定角度的虚拟场景的具体步骤为：
S31：在虚拟场景中创建虚拟相机和虚拟***，并将虚拟***与所述S1中的***建立父子关系；具体的，***的数据为父，虚拟***的数据为子，***的数据变化时带动虚拟***；
S32：根据***的位置在虚拟场景中创建一个虚拟小圆球一，这个小圆球的位置用来确定拍摄相机在虚拟环境中的位置信息；
S33：将虚拟相机移动至虚拟小圆球一处；
S34：在拍摄相机前方放置一个有棱角的物体，同时在一个棱角处画一个红点，移动拍摄相机使得红点刚好处于相机的正中心位置；
S35：采用手柄在红点处对应的虚拟场景中创建一个虚拟小圆球二，虚拟小圆球二为拍摄相机拍摄画面的中心；
S36：通过虚拟小圆球一和虚拟小圆球二确定虚拟相机的旋转角度信息；
S37：在虚拟相机的中心处创建一条线，同时建立虚拟相机和拍摄相机间的父子关系，此时，虚拟相机就和真实相机的位置重合了。
工作原理：拍摄相机对体验者以及体验者后的绿背景进行拍摄，然后将拍摄的画面传送给渲染渲染合成主机，对于体验者以及绿背景之间的图像分割，是在渲染合成主机中进行的，应当理解，对于图像的分割这一点是必然的常规步骤，因此在本实用新型的步骤描述中没有说明。游戏场景渲染主机获取特定角度的虚拟场景，这个特定角度的虚拟场景是由虚拟相机拍摄的，因此，需要获得虚拟相机的位置与镜头的拍摄角度，如何获取虚拟相机的位置与镜头的拍摄角度后续说明。
拍摄相机拍摄到的体验者的图像是平面二维图像，而虚拟场景是三维的场景，所以，游戏场景渲染主机对虚拟场景进行传输的过程中，需要将三维的虚拟场景先拆分成平面的二维图像，该平面二维图像与体验者的二维图像共同通过渲染合成主机合成三维的场景以及体验者，游戏场景渲染主机将虚拟场景拆分成含有背景、前景和通道的多个二维图像，然后将这些二维图像传输给渲染合成主机，渲染合成主机通过ventuz软件将游戏场景渲染主机传输的平面图像和拍摄相机拍摄的体验者图像合成三维虚拟现实混合场景，然后将三维虚拟现实混合场景通过显示设备进行展示，评估者直接观看显示设备，就可以同时看到体验者以及体验者所处的虚拟环境，对体验者的行为进行更好的评估。在实际运用中，本实用新型的仿真实验室或者方法不仅仅可以用来评估，也可以运用在其他娱乐来给旁人观看，以达到更好的娱乐效果。
由于体验者穿戴的VR头显设备的头显镜面是弯曲的，体验者看到的虚拟场景实际上是弯曲的，如果直接将这个弯曲的虚拟场景给评估者观看，则会让人产生眩晕，因此，本实用新型是通过虚拟相机选取特定角度的虚拟场景，而并不是体验者看到的虚拟场景，解决了评估者会产生眩晕的问题，而选取特定角度的虚拟场景需要通过虚拟相机来确定，下面，将对描述虚拟相机具体的位置以及旋转角度的确定的原理进行说明：如图2所示，***可以定位拍摄相机的定位位置，在虚拟场景中建立虚拟***和虚拟相机以及虚拟手柄，虚拟***、虚拟相机和虚拟手柄应该和显示世界的***、手柄和***分别建立父子关系。虚拟***的位置信息可以直接通过***获取，获得了虚拟***的位置信息就可以直接获取虚拟拍摄相机的位置信息，本发明中，创建虚拟小圆球一和虚拟小圆球二，当虚拟小圆球一和虚拟小圆球二在一条直线上时，虚拟相机和拍摄相机的拍摄角度重合，从而虚拟相机可以和拍摄相机的位置形成完全重合的状态。本实用新型中，虚拟相机的位置根据实际的拍摄相机的位置和角度的变化而变化，方便评估者从各个角度观看渲染场景和体验者组成的虚拟现实混合场景，能够更加精准地对体验者的操作进行更加精准的评估。
在将这些二维图像数据传输给渲染合成主机的过程中，如果采用采集卡对这些二维图像进行才传输，则需要多个线路连接，多个线路连接会使得传输不稳定，因此，本实用新型在游戏场景渲染主机和渲染合成主机之间连接路由器，使得二者通过无线的方式连接，然后再通过NDI传输软件传输，这样就解决了传输不稳定的问题。本实用新型的这个改进点虽然小，但是，问题的提出并容易想到。
对于本领域技术人员而言，显然本实用新型不限于上述示范性实施例的细节，而且在不背离本实用新型的精神或基本特征的情况下，能够以其他的具体形式实现本实用新型。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本实用新型的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本实用新型内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (4)
1.一种稳定的基于虚拟现实混合的仿真实验室，其特征在于，包括：
头显设备，用于体验者观看虚拟场景，并将所述虚拟场景传输给游戏场景渲染主机；
手柄，用于体验者与虚拟场景之间进行交互；
拍摄相机，用于拍摄戴有头显设备且位于绿背景中的体验者，并将拍摄的体验者的图像数据传输给渲染合成主机；
***，固定在拍摄相机上，用于追踪拍摄相机的位置信息，并将位置信息发送给游戏场景渲染主机；
游戏场景渲染主机，用于将虚拟场景拆分成平面图像，并将所述平面图像的数据传输给渲染合成主机；
路由器，用于连接游戏场景渲染主机和渲染合成主机；
渲染合成主机，用于将所述平面图像的数据和拍摄相机拍摄的体验者的图像数据通过合成软件合成三维虚拟现实混合场景，并将三维虚拟显示场景的数据传输给显示设备；
显示设备，用于显示虚拟显示场景；
所述游戏场景渲染主机和渲染合成在主机之间安装NDI软件。
2.根据权利要求1所述的一种稳定的基于虚拟现实混合的仿真实验室，其特征在于，所述渲染合成主机采用VENTUZ合成软件合成所述平面图像的数据和拍摄相机拍摄的体验者的图像数据。
3.根据权利要求1所述的一种稳定的基于虚拟现实混合的仿真实验室，其特征在于，所述显示设备为LED显示屏或者液晶显示屏。
4.根据权利要求1所述的一种稳定的基于虚拟现实混合的仿真实验室，其特征在于，所述渲染合成主机与显示设备之间通过HDMI接口或SDI接口连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201721845153.1U CN207898959U (zh) | 2017-12-25 | 2017-12-25 | 一种稳定的基于虚拟现实混合的仿真实验室 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201721845153.1U CN207898959U (zh) | 2017-12-25 | 2017-12-25 | 一种稳定的基于虚拟现实混合的仿真实验室 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN207898959U true CN207898959U (zh) | 2018-09-25 |
Family
ID=63569088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201721845153.1U Expired - Fee Related CN207898959U (zh) | 2017-12-25 | 2017-12-25 | 一种稳定的基于虚拟现实混合的仿真实验室 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN207898959U (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107976811A (zh) * | 2017-12-25 | 2018-05-01 | 河南新汉普影视技术有限公司 | 一种基于虚拟现实混合的仿真实验室及其仿真方法 |
| CN109782903A (zh) * | 2018-12-18 | 2019-05-21 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 一种基于虚拟现实技术的园区展示***及方法 |
| CN113128716A (zh) * | 2021-04-25 | 2021-07-16 | 中国科学院计算机网络信息中心 | 作业指导交互方法及*** |
-
2017
- 2017-12-25 CN CN201721845153.1U patent/CN207898959U/zh not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107976811A (zh) * | 2017-12-25 | 2018-05-01 | 河南新汉普影视技术有限公司 | 一种基于虚拟现实混合的仿真实验室及其仿真方法 |
| CN107976811B (zh) * | 2017-12-25 | 2023-12-29 | 河南诺控信息技术有限公司 | 一种基于虚拟现实混合的仿真实验室及其仿真方法 |
| CN109782903A (zh) * | 2018-12-18 | 2019-05-21 | 北京牡丹电子集团有限责任公司数字电视技术中心 | 一种基于虚拟现实技术的园区展示***及方法 |
| CN113128716A (zh) * | 2021-04-25 | 2021-07-16 | 中国科学院计算机网络信息中心 | 作业指导交互方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107976811A (zh) | 一种基于虚拟现实混合的仿真实验室及其仿真方法 | |
| CN110233841B (zh) | 一种基于ar全息眼镜的远程教育数据交互***及方法 | |
| CN107274469A (zh) | 面向虚拟现实的协同渲染方法 | |
| CN207898959U (zh) | 一种稳定的基于虚拟现实混合的仿真实验室 | |
| CN208126674U (zh) | 一种基于vr虚拟现实技术的建筑工程教学*** | |
| CN104484327A (zh) | 一种项目工程的环境展示方法 | |
| CN202003534U (zh) | 交互电子沙盘 | |
| CN207601427U (zh) | 一种基于虚拟现实混合的仿真实验室 | |
| CN105429989A (zh) | 虚拟现实设备的模拟旅游方法及*** | |
| CN109636916A (zh) | 一种动态标定的大范围虚拟现实漫游***及方法 | |
| CN107154197A (zh) | 沉浸式飞行模拟器 | |
| CN108831231A (zh) | 一种消防仿真虚拟平台 | |
| CN106340064A (zh) | 一种混合现实沙盘装置和方法 | |
| CN107783306A (zh) | 一种基于仿真教学实训室的裸眼3d沉浸式交互方法及*** | |
| CN113011723A (zh) | 一种基于增强现实的远程装备维保*** | |
| CN110427107A (zh) | 虚拟与现实互动教学方法及***、服务器、存储介质 | |
| CN106558017A (zh) | 球形显示图像处理方法及*** | |
| CN208985412U (zh) | 智慧教育物理环境*** | |
| WO2020177318A1 (zh) | 一种基于虚拟现实的精酿啤酒糖化操作***及方法 | |
| CN106780754A (zh) | 一种混合现实方法及*** | |
| CN108830944B (zh) | 光学透视式三维近眼显示***及显示方法 | |
| CN110290409A (zh) | 数据处理方法、vr设备以及*** | |
| Zerman et al. | User behaviour analysis of volumetric video in augmented reality | |
| CN106530408A (zh) | 博物馆临时展览规划设计的*** | |
| CN109445598A (zh) | 一种基于视觉的增强现实***装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180925 |