CN113099204B - 一种基于vr头戴显示设备的远程实景增强现实方法 - Google Patents
一种基于vr头戴显示设备的远程实景增强现实方法 Download PDFInfo
- Publication number
- CN113099204B CN113099204B CN202110392566.3A CN202110392566A CN113099204B CN 113099204 B CN113099204 B CN 113099204B CN 202110392566 A CN202110392566 A CN 202110392566A CN 113099204 B CN113099204 B CN 113099204B
- Authority
- CN
- China
- Prior art keywords
- virtual
- client
- depth
- scene
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 230000011664 signaling Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 19
- 238000009877 rendering Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000004886 head movement Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000007654 immersion Methods 0.000 abstract description 10
- 230000007547 defect Effects 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 11
- 239000000872 buffer Substances 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种基于VR头戴显示设备的远程实景增强现实方法，包括以下步骤：步骤S100：在远端采用摄像设备实时采集远程实景视频，得到远端场景的远程实景视频；对得到的远程实景视频进行深度计算，得到远程实景视频的深度信息；步骤S200：以步骤S100得到的远程实景视频的深度信息构建场景结构，将虚拟对象与远程实景视频进行融合，获得虚实融合后的图像数据；步骤S300：截取虚实融合后的图像数据，通过网络将虚实融合后的图像数据实时发送至客户端。本发明的优点在于克服了现有的VR直播类软件只能被动观看推送的直播画面、无法叠加虚拟模型、画质较低、沉浸感不强、有效传输距离受限等不足。
Description
技术领域
本发明涉及一种基于VR头戴显示设备的远程实景增强现实方法，属于虚拟现实领域。
背景技术
随着虚拟现实技术、5G网络的普及，VR+直播这种新颖的直播方式逐渐成为新的媒体应用趋势。基于VR技术的直播可以为用户提供优质的直播画面，使用户沉浸在充满真实感的情景中，让直播变得更真实、立体，带给用户强烈的视觉冲击，从而激发用户的兴趣。2020珠峰高程测量登山队成功登顶珠峰，其中就用到了VR+5G的技术进行全景直播，使普通人就能在雪域高原云游世界之巅，打破时间与空间限制，畅享手可摘星辰，云海观日出的沉浸式体验。但现有的VR+直播方式，用户依旧停留在传统的“你播我看”阶段，只能被动观看推送的直播画面。大疆推出的Goggles飞行眼镜能够以第一人称视角的画面辅助用户操作无人机，带给用户沉浸式的飞行体验，但也受到了有效传输距离的限制。另外，目前现有的VR直播平台，用户接收到的画面画质不高，内容同质化严重，时延高，导致沉浸感不强。
发明内容
本发明提供一种基于VR头戴显示设备的远程实景增强现实方法，克服了现有的VR直播类软件只能被动观看推送的直播画面、无法叠加虚拟模型、画质较低、沉浸感不强、有效传输距离受限等不足。
本发明采取的技术方案是，一种基于VR头戴显示设备的远程实景增强现实方法，包括以下步骤：
步骤S100：在远端采用摄像设备实时采集远程实景视频，得到远端场景的远程实景视频；对得到的远程实景视频进行深度计算，得到远程实景视频的深度信息；
步骤S200：以步骤S100得到的远程实景视频的深度信息构建场景结构，将虚拟对象与远程实景视频进行融合，获得虚实融合后的图像数据；
步骤S300：截取虚实融合后的图像数据，通过网络将虚实融合后的图像数据实时发送至客户端；
步骤S400：客户端接收网络传输的虚实融合后的图像数据，并使用VR头戴显示设备进行显示播放；
步骤S500：通过VR头戴显示设备获取用户的动作数据，再经网络传送，实时控制远程采集设备随动。
优化的，上述基于VR头戴显示设备的远程实景增强现实方法，在步骤S100中，在远端采用外摄机器人作为摄像设备，外摄机器人采集多角度、广角度的实时视频图像；然后通过软件对视频图像进行深度计算，得到所拍摄实景的视频数据和深度信息；所述外摄机器人包括成对设置的双目摄像头、二自由度云台、计算通信模块和小车构成；双目摄像头固定在云台上，云台和计算通信模块则固定在小车上；所述计算通信模块包括负责深度计算的计算模块、用于场景构建与虚实融合的渲染模块和对数据进行无线传输无线通信模块；所述外摄机器与客户端之间通过云服务器进行数据传输；所述客户端由数据接收处理设备和VR头戴显示设备组成，云服务器包括Web服务器和信令服务器。
优化的，上述基于VR头戴显示设备的远程实景增强现实方法，步骤S200的具体过程包括：
S201、根据步骤S100得到的深度信息，构建出3D场景结构；将3D场景结构与采集的2D视频图像相结合，渲染出3D场景；
S202、将计算机生成的几何虚拟对象导入3D场景中；
S203、根据计算模块计算出的深度信息，对导入的几何虚拟对象进行遮挡和阴影计算，实现虚实融合。
优化的，上述基于VR头戴显示设备的远程实景增强现实方法，步骤S300的具体过程包括：
S301、渲染模块按照指定帧率将虚实融合后的场景渲染到OpenGL的Back Buffer中；
S302、Back Buffer更新结束后，渲染模块从Back Buffer中获取渲染后的图像数据；
S303、对步骤S302渲染后的图像数据进行压缩编码；
S304、无线通信模块通过高速网络，将编码后的图像数据实时发送到客户端。
优化的，上述基于VR头戴显示设备的远程实景增强现实方法，步骤S400的具体过程包括：
S401、客户端通过WebRTC点对点技术接收传送的视频图像数据；
S402、客户端在接收到图像数据后对图像数据进行解码；
S403、将解码后的图像数据转换为Texture，作为场景中几何面片的材质贴图；
S404、将视频图像投射到VR头戴显示设备进行显示。
优化的，上述基于VR头戴显示设备的远程实景增强现实方法，步骤S500的具体过程包括：
S501、客户端通过VR头戴显示设备跟踪并采集用户的头部动作，生成旋转指令；
S502、客户端通过手柄采集用户发出的外摄机器人前进后退等指令；
S503、将指令数据转换为字符串，通过WebRTC连接并实时发送到外摄机器人；
S504、外摄机器人接收到指令数据后，将字符串转换为数值；外摄机器人根据不同指令的标识，分别转换为云台或小车的实际指令；
S505、外摄机器人通过实际指令控制云台旋转、小车后退或前进。
优化的，上述基于VR头戴显示设备的远程实景增强现实方法，步骤S100的具体过程包括：
步骤S101：在外摄机器人的小车行进过程中、云台旋转过程中，双目摄像头实时采集周边的实景视频，双目摄像头将采集的左右两路视频图像发送到计算模块；
步骤S102：计算模块对两路视频图像进行校正；经过校正后，相同参考点在两张图像上对应的像素在同一行上；
步骤S103：采用SGBM算法获取左右两张视频图像的视差图，选取其中一张视差图进行计算；
步骤S104：视差图空洞填充：对步骤S103选取的视差图进行检测，找到空洞区域，然后用附近可靠视差值的均值进行空洞填充；
步骤S105：将视差图转换为深度图，其转换公式为：
Depth＝(Fx*Baseline)/Disp，其中，Depth表示深度值；Fx表示归一化的焦距；Baseline表示两个摄像头光心之间的距离，称为基线距离；Disp表示视差值；
步骤S106：遍历视差图的像素进行深度转换，即可得到深度图。
优化的，上述基于VR头戴显示设备的远程实景增强现实方法，在步骤S201中，利用采集的双目视频图像Image1、Image2和计算得到的深度信息进行相机标定，获得真实场景中的双目相机的pose信息，并将pose信息赋值给虚拟场景中的虚拟双目摄像机；在虚拟场景中添加两张几何面片，分别作为虚拟摄像机的显示画面，将双目2D视频图像Image1、Image2分别显示在两张面片上；
在步骤S202中，将虚拟对象导入虚拟3D场景中，计算需要摆放的虚拟对象在真实场景中的pose信息P1与真实场景中双目相机的pose信息P2的偏移量；根据虚拟摄像机的pose信息P3，计算得到虚拟对象在虚拟空间中的pose信息P4，计算公式：P4＝P3+P1-P2。
优化的，上述基于VR头戴显示设备的远程实景增强现实方法，在步骤S203中，遮挡的实现方式为：
步骤S100中根据真实双目摄像机采集的视频图像进行场景的深度计算，得到深度图D1；通过虚拟场景的双目摄像机的ZBuff数据可生成深度图D2；遍历深度图D1的像素与深度图D2对应的像素进行对比，如果深度图D1的像素的深度值小于深度图D2对应的像素的深度值，则将两个显示面板上的视频图像Image1、Image2的对应像素做像素位置偏移，使其位置超过深度图D2的对应像素的位置；
在步骤S203中，阴影的实现方式为：根据真实双目摄像机的深度图D1可以还原出深度图像素对应的空间位置P5；通过灯光的位置、旋转信息获得灯光的空间坐标系矩阵M，计算出像素在灯光坐标系下的空间位置P6，计算公式为：P6＝M*P5；计算像素在灯光坐标系下是否与虚拟对象有遮挡，如果有遮挡则此像素渲染的时候要叠加阴影。
优化的，上述基于VR头戴显示设备的远程实景增强现实方法，步骤S304中，基于WebRTC的点对点连接实现过程如下：
利用Socket.IO，建立客户端与信令服务器、外摄机器人与信令服务器之间的连接，获取信令服务器的IP地址和对应通信端口；
通过信令服务器建立外摄机器人与客户端之间的点对点连接，具体流程如下：
客户端创建PeerConnection；客户端创建Data Channel，创建Offer；
在创建Offer的回调函数中，获取Offer的Description信息，通过接口SetLocalDescription()将其设定为本地的描述信息，然后将Offer发送给信令服务器；在Description信息中利用正则表达式追加最大码率、平均码率的设定；信令服务器会将Offer转发到外摄机器人；
外摄机器人接收到Offer之后，将Answer信息发送到信令服务器，信令服务器再将其转发到客户端；客户端收集本地的ICE Candidate，将其发送到信令服务器，信令服务器再转发到外摄机器人；
外摄机器人收到客户端的ICE Candidate，也会收集本地的ICE Candidate，通过信令服务器转发到客户端；客户端收到远端的ICE Candidate，将其加入PeerConnection中；连接建立；
将编码后的图像数据通过已建立的点对点连接发送到客户端。
本发明的优点在于：克服了现有的VR直播类软件只能被动观看推送的直播画面、无法叠加虚拟模型、画质较低、沉浸感不强、有效传输距离受限等不足，提供了一种基于VR头戴显示设备的远程实景增强现实方法，可实时采集远程实景数据，可叠加虚拟数字模型，可实时传输，可连接VR头戴显示设备设备进行沉浸观看，可根据头部动作远程控制摄录设备随动，其实时性、真实感、沉浸感、互动性都有了极大的提升。
相比于一般的虚拟现实直播场景，本发明提使用专业拍摄设备结合相关算法对图像进行处理，更贴合实际人眼观察效果，可提高视频的清晰度与体验者的舒适度；应用深度学习及图形学算法，实现远程异地实景的智能识别、虚拟对象适时叠加，达到实时虚拟融合效果；与5G传输技术相结合，提升客户端高清画质和流畅度，且客户端是通过接收普通2D图片来生成沉浸感场景，相比全景相机拍摄的全景图片，传输数据减少50％，且画质更为高清；利用VR头戴显示设备的头眼随动信号控制多自由度云台，实现实时交互，以第一人称主控方式增强用户沉浸感，使得用户体验更接近现实。本发明可广泛应用于文化博览、房产展示、医疗康复、高危行业的远程观察和协同作业,具有广阔的应用前景，以及较高的社会和经济价值预期。
附图说明
图1为本发明的工作原理示意图；
图2为本发明的远程外摄机器人的结构示意图；
图3为本发明的方法处理流程图。
具体实施方式
下面结合具体实施例进一步阐述本发明的技术特点。
参见图1所示，本发明提出一种基于VR头戴显示设备的远程实景增强现实方法，实现本申请的基于VR头戴显示设备的远程实景增强现实方法的硬件主要包括远端、客户端和云服务器三大主要构成部件，下面依次进行说明。
远端采用外摄机器人进行实景视频的实时采集、深度计算、场景构建、虚实融合以及无线传输，即负责完成图3步骤S100、步骤S200和步骤S300。外设机器人的结构示意图参见图2所示，是由双目摄像头、二自由度云台、计算通信模块和小车构成。双目摄像头固定在云台上，云台和计算通信模块则固定在小车上。本申请用双目摄像头模拟人眼，因二自由度云台可以分别在水平和垂直两个方向进行对应角度的旋转，发明人用其模拟人的颈部动作；用小车模拟人的前进、后退、左转、右转等行进动作。计算通信模块包括计算模块、渲染模块和无线通信模块，分别负责深度计算、场景构建与虚实融合、无线传输等功能。
客户端由数据接收处理设备和VR头戴显示设备组成。数据接收处理设备负责视频数据的接收、处理，将其转换为VR头戴显示设备可识别的数据，并在VR头戴显示设备中正确播放。同时，数据接收处理设备还负责通过VR头戴显示设备获取用户的头部动作数据，进行处理之后，发送到远端。
云服务器上同时部署了Web服务器和信令服务器。Web服务器主要用于客户端是浏览器时的网页访问，本实施例中不进行具体说明。信令服务器则负责建立远端和客户端的点对点通信。
参见图3所示，本实施例提供一种基于VR头戴显示设备的远程实景增强现实方法，所述方法包括以下步骤：
步骤S100：在远端采用摄像设备实时采集远程实景视频，得到远端场景的远程实景视频；对得到的远程实景视频进行深度计算，得到远程实景视频的深度信息；
步骤S200：以步骤S100得到的远程实景视频的深度信息构建场景结构，将虚拟对象与远程实景视频进行融合，获得虚实融合后的图像数据；
步骤S300：截取虚实融合后的图像数据，通过网络将虚实融合后的图像数据实时发送至客户端；
步骤S400：客户端接收网络传输的虚实融合后的图像数据，并使用VR头戴显示设备进行显示播放；
步骤S500：通过VR头戴显示设备获取用户的动作数据，再经网络传送，实时控制远程采集设备随动。
本发明实施例中，首先通过外摄机器人，多角度、广角度、实时采集视频图像，通过软件对视频图像进行深度计算，得到所拍摄实景的视频数据和深度信息。然后根据得到的深度信息，构建出场景结构，与采集的2D视频图像相结合，渲染出复杂的3D场景。将计算机生成的几何虚拟对象导入场景中，进行遮挡和阴影计算，实现虚实精准融合。
之后按照指定帧率从软件渲染的back buffer中获取虚实融合后的渲染图像，先进行压缩编码，减少网络传输的数据量；再通过5G等高速网络，将编码后的图像数据实时传送到客户端。最后，客户端接收到网络传输的图像数据，先进行反向解码，并将解码后的视频数据转换为所需的图像格式，最终投射到VR头戴显示设备，进行高沉浸感呈现。
另外，客户端通过VR头戴显示设备跟踪并采集用户的头部动作，生成旋转动作指令数据；通过手柄采集用户发出的机器人前进后退等指令数据。将用户指令通过5G等高速网络传输，实时发送到远端机器人，控制外摄进行对应的旋转、控制机器人进行对应的前进后退动作，从而以第一人称主控方式来增强用户沉浸感，使用户体验更接近现实。
本发明实施例中，所述步骤S100具体包括：
S101、在小车行进过程中或者云台旋转过程中，双目摄像头实时采集周边的实景视频，并将采集的左右两路视频图像发送到计算模块；
S102、计算模块对两路视频图像进行校正，包括畸变校正、立体对极线校正，经过校正后，相同参考点在两张图像上对应的像素会在同一行上；
S103、采用SGBM算法获取左右两张视频图像的视差图，可以计算左视差图，也可以计算右视差图，本发明采用左视差图；
S104、视差图空洞填充。由于遮挡或者光照不均匀等情况，会导致视差图中出现部分不可靠视差，从而形成视差图空洞。该步骤会对视差图进行检测，找到空洞区域，然后用附近可靠视差值的均值进行空洞填充；
S105、将视差图转换为深度图。视差的单位是像素，深度的单位是毫米，转换公式：
Depth＝(Fx*Baseline)/Disp
其中，Depth表示深度值；Fx表示归一化的焦距；Baseline表示两个摄像头光心之间的距离，称为基线距离；Disp表示视差值。
遍历视差图的像素进行深度转换，即可得到深度图。
本发明实施例中，所述步骤S200具体包括：
S201、渲染模块利用采集的2D视频图像和计算得到的深度信息，构建出复杂的3D场景。
S202、可将计算机生成的几何虚拟对象导入场景中。
S203、由于计算模块已计算出深度信息，对导入的几何虚拟对象就可以进行遮挡和阴影计算，实现虚实精准融合。
具体的，步骤S201中，利用采集的双目视频图像Image1、Image2和计算得到的深度信息进行相机标定，获得真实场景中的双目相机的pose信息，并将pose信息赋值给虚拟场景中的虚拟双目摄像机。在虚拟场景中添加两张几何面片，分别作为虚拟摄像机的显示画面，将双目2D视频图像Image1、Image2分别显示在两张面片上。
具体的，步骤S202中，将虚拟对象导入虚拟3D场景中，计算需要摆放的虚拟对象在真实场景中的pose信息P1与真实场景中双目相机的pose信息P2的偏移量。根据虚拟摄像机的pose信息P3，计算得到虚拟对象在虚拟空间中的pose信息P4，计算公式：
P4＝P3+P1-P2。
具体的，步骤S203中，遮挡和阴影的实现如下描述：
遮挡的实现：
步骤S100中已根据真实双目摄像机采集的视频图像进行了场景的深度计算，可得到深度图D1，而通过虚拟场景的双目摄像机的ZBuff数据可生成深度图D2(虚拟场景中包括两个显示面板和导入的几何虚拟对象)。遍历深度图D1的像素，与深度图D2对应的像素进行对比，如果深度图D1的像素的深度值小于深度图D2对应的像素的深度值，则将两个显示面板上的视频图像Image1、Image2的对应像素做像素位置偏移，使其位置超过深度图D2的对应像素的位置，从而可以渲染出真实场景遮挡虚拟对象的效果。
阴影的实现：
根据真实双目摄像机的深度图D1可以还原出深度图像素对应的空间位置P5，通过灯光的位置、旋转信息获得灯光的空间坐标系矩阵M，即可计算出像素在灯光坐标系下的空间位置P6，计算公式：
P6＝M*P5。
计算这些像素在灯光坐标系下是否与虚拟对象有遮挡，如果有遮挡则此像素渲染的时候要叠加阴影。
本发明实施例中，所述步骤S300具体包括：
S301、渲染模块按照指定帧率(这里设定为60FPS)将虚实融合后的场景渲染到OpenGL的Back Buffer中；
S302、Back Buffer更新结束后，渲染模块从Back Buffer中获取渲染后的图像数据。
S303、为了减少网络传输的数据量，对图像数据进行压缩编码；
S304、无线通信模块通过5G等高速网络，将编码后的图像数据实时发送到客户端。
具体的，步骤S301中，OpenGL(Open Graphics Library)是一种应用程序编程接口，可用来开发交互式的三维计算机图形应用程序。OpenGL使用了双缓冲技术，即具有两个缓冲区：Front Buffer和Back Buffer。Front Buffer即我们看到的屏幕，Back Buffer则在内存当中，对我们来说是不可见的。每次我们绘图都在Back Buffer中进行的，当绘图完成时，就必须把绘制的最终结果复制到屏幕上。同理，本发明中，虚实融合后的场景也是先被渲染到Back Buffer中，再交换到屏幕上。
60FPS是图像领域中的定义，是指画面每秒刷新60帧。虽然理论上画面的刷新率越快，画面的流畅度越好，但过高的刷新率并没有实际意义，在本发明中反而会增加传输的数据量，导致画面清晰度下降。本发明以60FPS来渲染数据并从Back Buffer中读取图像数据，已经能满足流畅度的要求，且保证画质不下降。
具体的，步骤S303中，未经过压缩的图像数据量较大，会占用较多的带宽，为了减少网络传输的数据量，本发明对图像数据进行了压缩编码处理。这里采用的是NVIDIA的硬编码算法，该算法使用GPU(图形处理器)进行编码，性能高，质量佳，有效提升了传输效率。
具体的，步骤S304中，本发明采用WebRTC技术建立远端和客户端之间的点对点通信，然后将编码后的图像数据实时发送到客户端。WebRTC是网页实时通信(Web Real-TimeCommunication)的缩写，是一项实时通讯技术，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点(Peer-to-Peer)的连接，实现视频流和(或)音频流或者其他任意数据的传输，支持网页浏览器进行实时语音对话或视频对话。在本发明中，建立的是两个C++应用程序之间的点对点连接，而非浏览器之间的点对点连接。本发明基于WebRTC的点对点连接实现过程如下：
首先，利用Socket.IO，建立客户端与信令服务器、远端与信令服务器之间的连接，该过程需要知道信令服务器的IP地址和对应通信端口；
然后，通过信令服务器建立远端与客户端之间的点对点连接，具体流程如下：
客户端创建PeerConnection。
客户端创建Data Channel，创建Offer。在创建Offer的回调函数中，获取Offer的Description信息，通过接口SetLocalDescription()将其设定为本地的描述信息，然后将Offer发送给信令服务器。在这一步要注意，需要在Description信息中利用正则表达式追加最大码率、平均码率的设定，否则传输过程中，码率过低会导致视频质量下降。之后，信令服务器会将Offer转发到远端。
远端接收到Offer之后，会将Answer信息发送到信令服务器，信令服务器再将其转发到客户端。
客户端收集本地的ICE Candidate，将其发送到信令服务器，信令服务器再转发到远端。
远端收到客户端的ICE Candidate，也会收集本地的ICE Candidate，通过信令服务器转发到客户端。
客户端收到远端的ICE Candidate，会将其加入PeerConnection中。
连接建立。
最后，将编码后的图像数据通过已建立的点对点连接发送到客户端。
本发明实施例中，所述步骤S400具体包括：
S401、客户端通过WebRTC点对点技术接收传送的视频图像数据；
S402、对接收到的图像数据进行解码；
S403、将解码后的图像数据转换为Texture，作为场景中几何面片的材质贴图；
S404、通过摄像头将视频图像投射到VR头戴显示设备来展示。
具体的，在步骤S401中，客户端要接收由远端通过已建立的WebRTC点对点连接发送的已压缩的视频图像数据，首先需要创建视频渲染类VideoRenderer，该类继承自WebRTC的VideoFrame类，在该类中利用Video Track注册一个Video Sink，用来连接VideoEngine；之后在运行过程中，就可以从该类的OnFrame()重载接口中接收远端传输的视频图像数据。
具体的，在步骤S402中，接收到的视频图像数据在远端是经过压缩编码的，因此也需要进行对应的解码。这里仍旧采用NVIDIA的硬解码算法进行解码，得到解码后的视频图像。NVIDIA硬解码算法是基于CUDA，利用GPU的并行处理能力，加速解码。该算法不仅执行效率高，解码后的图像质量也符合本发明的需求。
具体的，在步骤S403中，客户端软件必须保证能够实时播放解码后的视频图像数据，本发明采用的实现方式是：在场景中制作一个几何面片模型，然后设定作一个默认的Texture，作为该模型的材质贴图。每一个视频图像数据经过解码后，先转换为Texture的图像数据，之后替换默认Texture的图像数据，以达到连续播放的效果。相比去更换Texture，该方法的好处是只需要重写Texture原来图像数据所占用的内存，不需要反复去释放被替换的Texture内存，既提升了执行效率，也降低了内存占用量。
具体的，在步骤S404中，客户端软件中设置了两个头戴显示设备摄像机，正对步骤S403中的几何面片模型。VR头戴显示设备通过StreamVR与软件中的摄像机相关联，可直接将摄像头中拍摄的图像投射到VR头戴显示设备中，从而达到我们在VR头戴显示设备中实时观看视频的目的。
本发明实施例中，所述步骤S500具体包括：
S501、客户端通过VR头戴显示设备跟踪并采集用户的头部动作，生成旋转指令；
S502、客户端通过手柄采集用户发出的机器人前进后退等指令；
S503、将指令数据转换为字符串，通过WebRTC连接，实时发送到远端机器人；
S504、远端机器人接收到指令数据后，将字符串转换为数值。根据不同指令的标识，再分别转换为云台或小车的实际指令。
S505、发送指令，控制云台或小车进行旋转或前进。
从而以第一人称主控方式来控制远端机器人，增强用户沉浸感，使用户体验更接近现实。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，作出的变化、改型、添加或替换，都应属于本发明的保护范围。
Claims (6)
1.一种基于 VR 头戴显示设备的远程实景增强现实方法，其特征在于：包括以下步骤：
步骤S100：在远端采用摄像设备实时采集远程实景视频，得到远端场景的远程实景视频；对得到的远程实景视频进行深度计算，得到远程实景视频的深度信息；
步骤S200：以步骤S100得到的远程实景视频的深度信息构建场景结构，将虚拟对象与远程实景视频进行融合，获得虚实融合后的图像数据；
步骤S300：截取虚实融合后的图像数据，通过网络将虚实融合后的图像数据实时发送至客户端；
步骤S400：客户端接收网络传输的虚实融合后的图像数据，并使用VR头戴显示设备进行显示播放；
步骤S500：通过VR头戴显示设备获取用户的动作数据，再经网络传送，实时控制远程采集设备随动；
在步骤S100中，在远端采用外摄机器人作为摄像设备，外摄机器人采集多角度、广角度的实时视频图像；然后通过软件对视频图像进行深度计算，得到所拍摄实景的视频数据和深度信息；所述外摄机器人包括成对设置的双目摄像头、二自由度云台、计算通信模块和小车构成；双目摄像头固定在云台上，云台和计算通信模块则固定在小车上；所述计算通信模块包括负责深度计算的计算模块、用于场景构建与虚实融合的渲染模块和对数据进行无线传输无线通信模块；所述外摄机器人与客户端之间通过云服务器进行数据传输；所述客户端由数据接收处理设备和VR头戴显示设备组成，云服务器包括Web服务器和信令服务器；
步骤S100的具体过程包括：
步骤S101：在外摄机器人的小车行进过程中、云台旋转过程中，双目摄像头实时采集周边的实景视频，双目摄像头将采集的左右两路视频图像发送到计算模块；
步骤S102：计算模块对两路视频图像进行校正；经过校正后，相同参考点在两张图像上对应的像素在同一行上；
步骤S103：采用SGBM算法获取左右两张视频图像的视差图，选取其中一张视差图进行计算；
步骤S104：视差图空洞填充：对步骤S103选取的视差图进行检测，找到空洞区域，然后用附近可靠视差值的均值进行空洞填充；
步骤S105：将视差图转换为深度图，其转换公式为：
Depth = (Fx * Baseline) / Disp，其中，Depth表示深度值；Fx 表示归一化的焦距；Baseline表示两个摄像头光心之间的距离，称为基线距离；Disp表示视差值；
步骤S106：遍历视差图的像素进行深度转换，即可得到深度图；
步骤S200的具体过程包括：
S201、根据步骤S100得到的深度信息，构建出3D场景结构；将3D场景结构与采集的2D视频图像相结合，渲染出3D场景；
S202、将计算机生成的几何虚拟对象导入3D场景中；
S203、根据计算模块计算出的深度信息，对导入的几何虚拟对象进行遮挡和阴影计算，实现虚实融合；
在步骤S201中，利用采集的双目视频图像Image1、Image2和计算得到的深度信息进行相机标定，获得真实场景中的双目相机的pose信息，并将pose信息赋值给虚拟场景中的虚拟双目摄像机；在虚拟场景中添加两张几何面片，分别作为虚拟摄像机的显示画面，将双目2D视频图像Image1、Image2分别显示在两张面片上；
在步骤S202中，将虚拟对象导入虚拟3D场景中，计算需要摆放的虚拟对象在真实场景中的pose信息P1与真实场景中双目相机的pose信息P2的偏移量；根据虚拟摄像机的pose信息P3，计算得到虚拟对象在虚拟空间中的pose信息P4，计算公式：P4=P3+P1-P2。
2.根据权利要求1所述的基于 VR 头戴显示设备的远程实景增强现实方法，其特征在于：步骤S300的具体过程包括：
S301、渲染模块按照指定帧率将虚实融合后的场景渲染到OpenGL的Back Buffer中；
S302、Back Buffer更新结束后，渲染模块从Back Buffer中获取渲染后的图像数据；
S303、对步骤S302渲染后的图像数据进行压缩编码；
S304、无线通信模块通过高速网络，将编码后的图像数据实时发送到客户端。
3.根据权利要求2所述的基于 VR 头戴显示设备的远程实景增强现实方法，其特征在于：步骤S400的具体过程包括：
S401、客户端通过 WebRTC点对点技术接收传送的视频图像数据；
S402、客户端在接收到图像数据后对图像数据进行解码；
S403、将解码后的图像数据转换为Texture，作为场景中几何面片的材质贴图；
S404、将视频图像投射到VR 头戴显示设备进行显示。
4.根据权利要求1所述的基于 VR 头戴显示设备的远程实景增强现实方法，其特征在于：步骤S500的具体过程包括：
S501、客户端通过VR头戴显示设备跟踪并采集用户的头部动作，生成旋转指令；
S502、客户端通过手柄采集用户发出的外摄机器人前进后退指令；
S503、将指令数据转换为字符串，通过WebRTC连接并实时发送到外摄机器人；
S504、外摄机器人接收到指令数据后，将字符串转换为数值；外摄机器人根据不同指令的标识，分别转换为云台或小车的实际指令；
S505、外摄机器人通过实际指令控制云台旋转、小车后退或前进。
5.根据权利要求1所述的基于 VR 头戴显示设备的远程实景增强现实方法，其特征在于：在步骤S203中，遮挡的实现方式为：
步骤S100中根据真实双目摄像机采集的视频图像进行场景的深度计算，得到深度图D1；通过虚拟场景的双目摄像机的ZBuff数据可生成深度图D2；遍历深度图D1的像素与深度图D2对应的像素进行对比，如果深度图D1的像素的深度值小于深度图D2对应的像素的深度值，则将两个显示面板上的视频图像Image1、Image2的对应像素做像素位置偏移，使其位置超过深度图D2的对应像素的位置；
在步骤S203中，阴影的实现方式为：根据真实双目摄像机的深度图D1可以还原出深度图像素对应的空间位置P5；通过灯光的位置、旋转信息获得灯光的空间坐标系矩阵M，计算出像素在灯光坐标系下的空间位置P6，计算公式为：P6=M*P5；计算像素在灯光坐标系下是否与虚拟对象有遮挡，如果有遮挡则此像素渲染的时候要叠加阴影。
6.根据权利要求2所述的基于 VR 头戴显示设备的远程实景增强现实方法，其特征在于：步骤S304中，基于WebRTC的点对点连接实现过程如下：
利用 Socket.IO，建立客户端与信令服务器、外摄机器人与信令服务器之间的连接，获取信令服务器的 IP 地址和对应通信端口；
通过信令服务器建立外摄机器人与客户端之间的点对点连接，具体流程如下：
客户端创建 PeerConnection；客户端创建 Data Channel，创建 Offer；
在创建 Offer 的回调函数中，获取 Offer 的 Description信息，通过接口SetLocalDescription()将其设定为本地的描述信息，然后将 Offer 发送给信令服务器；在 Description 信息中利用正则表达式追加最大码率、平均码率的设定；信令服务器会将Offer 转发到外摄机器人；
外摄机器人接收到 Offer 之后，将 Answer 信息发送到信令服务器，信令服务器再将其转发到客户端；客户端收集本地的 ICE Candidate，将其发送到信令服务器，信令服务器再转发到外摄机器人；
外摄机器人收到客户端的 ICE Candidate，也会收集本地的 ICE Candidate，通过信令服务器转发到客户端；客户端收到远端的 ICE Candidate，将其加入 PeerConnection中；连接建立；
将编码后的图像数据通过已建立的点对点连接发送到客户端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110392566.3A CN113099204B (zh) | 2021-04-13 | 2021-04-13 | 一种基于vr头戴显示设备的远程实景增强现实方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110392566.3A CN113099204B (zh) | 2021-04-13 | 2021-04-13 | 一种基于vr头戴显示设备的远程实景增强现实方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113099204A CN113099204A (zh) | 2021-07-09 |
| CN113099204B true CN113099204B (zh) | 2022-12-13 |
Family
ID=76676454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110392566.3A Active CN113099204B (zh) | 2021-04-13 | 2021-04-13 | 一种基于vr头戴显示设备的远程实景增强现实方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113099204B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113625997B (zh) * | 2021-07-20 | 2024-03-12 | 青岛小鸟看看科技有限公司 | 一种xr软件开发架构、应用方法和电子设备 |
| CN113766267B (zh) * | 2021-09-15 | 2023-10-24 | 深圳市道通智能航空技术股份有限公司 | 基于无人机的多路视频直播方法、***、设备及存储介质 |
| CN113949929A (zh) * | 2021-10-15 | 2022-01-18 | 保升(中国)科技实业有限公司 | 一种视频通讯逼真技术 |
| CN114401414B (zh) * | 2021-12-27 | 2024-01-23 | 北京达佳互联信息技术有限公司 | 沉浸式直播的信息显示方法及***、信息推送方法 |
| CN114047824A (zh) * | 2022-01-13 | 2022-02-15 | 北京悉见科技有限公司 | 多终端用户在虚拟空间交互的方法 |
| TWI821876B (zh) * | 2022-01-21 | 2023-11-11 | 在地實驗文化事業有限公司 | 機動式智慧型擴增實境直播裝置 |
| CN116938901A (zh) * | 2022-04-01 | 2023-10-24 | ***通信有限公司研究院 | 数据传输方法、装置、电子设备及可读存储介质 |
| CN114844934A (zh) * | 2022-04-28 | 2022-08-02 | 北京北建大科技有限公司 | 基于云渲染的多人大空间vr互动场景搭建方法 |
| CN117278731B (zh) * | 2023-11-21 | 2024-05-28 | 启迪数字科技(深圳)有限公司 | 多视频与三维场景融合方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945564A (zh) * | 2012-10-16 | 2013-02-27 | 上海大学 | 基于视频透视式增强现实的真三维建模***和方法 |
| WO2018095278A1 (zh) * | 2016-11-24 | 2018-05-31 | 腾讯科技（深圳）有限公司 | 飞行器的信息获取方法、装置及设备 |
| CN110378990A (zh) * | 2019-07-03 | 2019-10-25 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
| WO2020221311A1 (zh) * | 2019-04-30 | 2020-11-05 | 齐鲁工业大学 | 基于可穿戴设备的移动机器人控制***及控制方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102510506B (zh) * | 2011-09-30 | 2014-04-16 | 北京航空航天大学 | 一种基于双目图像和距离信息的虚实遮挡处理方法 |
| CN102568026B (zh) * | 2011-12-12 | 2014-01-29 | 浙江大学 | 一种多视点自由立体显示的三维增强现实方法 |
| CN103868460B (zh) * | 2014-03-13 | 2016-10-05 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN105373224B (zh) * | 2015-10-22 | 2016-06-22 | 山东大学 | 一种基于普适计算的混合现实游戏***及方法 |
| DE102016200225B4 (de) * | 2016-01-12 | 2017-10-19 | Siemens Healthcare Gmbh | Perspektivisches Darstellen eines virtuellen Szenebestandteils |
| CN106843456B (zh) * | 2016-08-16 | 2018-06-29 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
| CN107835436B (zh) * | 2017-09-25 | 2019-07-26 | 北京航空航天大学 | 一种基于WebGL的实时虚实融合直播***及方法 |
| CN109062407A (zh) * | 2018-07-27 | 2018-12-21 | 江西省杜达菲科技有限责任公司 | 基于vr技术的远程移动终端三维显控***和方法 |
| CN112419472B (zh) * | 2019-08-23 | 2022-09-30 | 南京理工大学 | 一种基于虚拟阴影图的增强现实实时阴影生成方法 |
| CN112114667A (zh) * | 2020-08-26 | 2020-12-22 | 济南浪潮高新科技投资发展有限公司 | 一种基于双目摄像头和vr设备的ar显示方法及*** |
| CN112486606B (zh) * | 2020-11-19 | 2022-08-12 | 湖南麒麟信安科技股份有限公司 | 一种基于Android***的云桌面显示优化方法及*** |
-
2021
- 2021-04-13 CN CN202110392566.3A patent/CN113099204B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945564A (zh) * | 2012-10-16 | 2013-02-27 | 上海大学 | 基于视频透视式增强现实的真三维建模***和方法 |
| WO2018095278A1 (zh) * | 2016-11-24 | 2018-05-31 | 腾讯科技（深圳）有限公司 | 飞行器的信息获取方法、装置及设备 |
| WO2020221311A1 (zh) * | 2019-04-30 | 2020-11-05 | 齐鲁工业大学 | 基于可穿戴设备的移动机器人控制***及控制方法 |
| CN110378990A (zh) * | 2019-07-03 | 2019-10-25 | 北京悉见科技有限公司 | 增强现实场景展现方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113099204A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113099204B (zh) | 一种基于vr头戴显示设备的远程实景增强现实方法 | |
| CN106101741B (zh) | 在网络视频直播平台上观看全景视频的方法及*** | |
| CN114401414B (zh) | 沉浸式直播的信息显示方法及***、信息推送方法 | |
| CN112533002A (zh) | 一种用于vr全景直播的动态图像融合方法及*** | |
| KR20150067194A (ko) | 제어된 3차원 통신 엔드포인트 | |
| US20190222823A1 (en) | Techniques for Capturing and Rendering Videos with Simulated Reality Systems and for Connecting Services with Service Providers | |
| CN107277494A (zh) | 立体显示***及方法 | |
| JP7217226B2 (ja) | グローバルな回転における動き補償画像を符号化する方法、デバイス及びストリーム | |
| You et al. | Internet of Things (IoT) for seamless virtual reality space: Challenges and perspectives | |
| US11967014B2 (en) | 3D conversations in an artificial reality environment | |
| US20150179218A1 (en) | Novel transcoder and 3d video editor | |
| US11727645B2 (en) | Device and method for sharing an immersion in a virtual environment | |
| CN107562185B (zh) | 一种基于头戴vr设备的光场显示***及实现方法 | |
| CN113379831B (zh) | 一种基于双目摄像头和人形机器人的增强现实方法 | |
| CN117456113B (zh) | 一种云端离线渲染交互应用实现方法及*** | |
| JP6091850B2 (ja) | テレコミュニケーション装置及びテレコミュニケーション方法 | |
| JP7011728B2 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
| Valli et al. | Advances in spatially faithful (3d) telepresence | |
| WO2022191070A1 (ja) | ３ｄオブジェクトのストリーミング方法、装置、及びプログラム | |
| US11688124B2 (en) | Methods and apparatus rendering images using point clouds representing one or more objects | |
| WO2022022548A1 (zh) | 自由视点视频重建及播放处理方法、设备及存储介质 | |
| US20220232201A1 (en) | Image generation system and method | |
| US20230115563A1 (en) | Method for a telepresence system | |
| WO2022004233A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| Galloso et al. | Foundations of a new interaction paradigm for immersive 3D multimedia |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240318 Address after: Room 102, 1st Floor, Building 1, Yongye Building, No. 166 Haier Road, Laoshan District, Qingdao City, Shandong Province, 266000 Patentee after: Qingdao Inception Space Technology Co.,Ltd. Country or region after: China Address before: 266000 No.393, Songling Road, Laoshan District, Qingdao, Shandong Province Patentee before: QINGDAO RESEARCH INSTITUTE OF BEIHANG University Country or region before: China |
|
| CP03 | Change of name, title or address |
Address after: 102, 1st Floor, Building 1, Yongye Building, No. 166 Haier Road, Laoshan District, Qingdao City, Shandong Province, 266100 Patentee after: Jingjian Future (Qingdao) Technology Co.,Ltd. Country or region after: China Address before: Room 102, 1st Floor, Building 1, Yongye Building, No. 166 Haier Road, Laoshan District, Qingdao City, Shandong Province, 266000 Patentee before: Qingdao Inception Space Technology Co.,Ltd. Country or region before: China |