CN112911356B - 一种虚拟现实vr视频的播放方法及相关设备 - Google Patents
一种虚拟现实vr视频的播放方法及相关设备 Download PDFInfo
- Publication number
- CN112911356B CN112911356B CN202010482496.6A CN202010482496A CN112911356B CN 112911356 B CN112911356 B CN 112911356B CN 202010482496 A CN202010482496 A CN 202010482496A CN 112911356 B CN112911356 B CN 112911356B
- Authority
- CN
- China
- Prior art keywords
- target
- distance
- terminal equipment
- video
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 23
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 241000282414 Homo sapiens Species 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种虚拟现实VR视频的播放方法及相关设备，通过使用计算机视觉技术，可以根据用户的与设备的距离不同而生成不同的球形模型，进而自适应的改变VR显示效果，提升用户体验。该方法包括：步骤1)实时获取目标对象与终端设备的目标距离，所述终端设备为播放目标视频的设备；步骤2)根据所述目标距离计算目标半径；步骤3)根据所述目标半径生成目标球形模型；步骤4)将目标纹理投射至所述目标球形模型，所述目标纹理为所述目标视频中的一帧图像对应的纹理；重复执行步骤1)至步骤4)，直至所述目标视频播放完毕。
Description
技术领域
本申请涉及虚拟现实领域，尤其涉及一种虚拟现实VR视频的播放方法及相关设备。
背景技术
虚拟现实技术(Virtual Reality，VR)由于其可玩性新颖大火，很多创业公司，各大商场都能看到VR的身影。对于在线视频平台，虽然也提出了相应的VR解决方案，但是由于VR视频的特殊性，为了一个好的体验，需要更多的视频场景，更大的画面，更高的清晰度，导致视频文件比较大，限于网络传输，设备解码，导致在线平台的VR视频播放体验不好。
但是随着第五代移动通信技术(5th generation mobile networks，5G)网络的推广，移动端设备性能的提升，VR的概念又被重提。目前比较通用的移动端的VR视频渲染方案是视频解码完成后，生成纹理，然后生成一个球形模型，将纹理贴到球面，以球的中心点为观察点，投射固定区域，球面由无数个小正方形组成，观看球面；改变投射观察方向，旋转球面，达到观察到整个球面，也就是完整图像。
由于现在VR视频渲染方案中，球形模型固定不变，球模型中查看位置处于中心，但是不同设备，不同观看屏幕，还有人眼观看距离不同，导致体验糟糕。
发明内容
本申请提供了一种虚拟现实VR视频的播放方法及相关设备，可以根据用户的与设备的距离不同而生成不同的球形模型，进而自适应的改变VR显示效果，提升用户体验。
本申请第一方面提供了一种虚拟现实VR视频的播放方法，包括：
步骤1)实时监测目标对象与终端设备的目标距离，所述终端设备为播放目标视频的设备；
步骤2)根据所述目标距离计算目标半径；
步骤3)根据所述目标半径生成目标球形模型；
步骤4)将目标纹理投射至所述目标球形模型，所述目标纹理为所述目标视频中的一帧图像对应的纹理；
重复执行步骤1)至步骤4)，直至所述目标视频播放完毕。
可选地，所述实时监测目标对象与终端设备的目标距离包括：
当所述终端设备设置有距离传感器时，通过所述距离传感器实时监测所述目标对象与所述终端设备的目标距离；
当所述终端设备未设置有所述距离传感器时，通过所述终端设备的摄像装置对所述目标对象进行拍摄，得到目标图像；
基于预设距离识别模型对所述目标图像进行识别，得到所述目标对象与所述终端设备的目标距离。
可选地，所述根据所述目标距离计算目标半径包括：
获取投影距离，所述投影距离为所述终端设备的显示屏幕与指定的投影区域之间的距离；
基于所述投影距离以及所述目标距离计算所述目标半径。
可选地，所述基于所述投影距离以及所述目标距离计算所述目标半径包括：
通过如下公式计算所述目标半径：
R＝a*x+y；
其中，R为所述目标半径，a为转换系数，x为所述目标距离，y为所述目标距离。
可选地，所述将所述目标纹理投射至所述目标球形模型包括：
确定所述终端设备的屏幕分辨率；
基于所述屏幕分辨率对所述目标纹理以及所述目标球形模型的球面进行划分；
将划分后的所述目标纹理投影至划分后的所述目标球形模型的球面。
本申请第二方面提供了一种虚拟现实VR视频的播放装置，包括：
监测单元，用于执行步骤1)实时监测目标对象与终端设备的目标距离，所述终端设备为播放目标视频的设备；
计算单元，用于执行步骤2)根据所述目标距离计算目标半径；
生成单元，用于执行步骤3)根据所述目标半径生成目标球形模型；
投射单元，用于执行步骤4)将目标纹理投射至所述目标球形模型，所述目标纹理为所述目标视频中的一帧图像对应的纹理；
处理单元，用于重复执行步骤1)至步骤4)，直至所述目标视频播放完毕。
可选地，所述监测单元具体用于：
当所述终端设备设置有距离传感器时，通过所述距离传感器实时监测所述目标对象与所述终端设备的目标距离；
当所述终端设备未设置有所述距离传感器时，通过所述终端设备的摄像装置对所述目标对象进行拍摄，得到目标图像；
基于预设距离识别模型对所述目标图像进行识别，得到所述目标对象与所述终端设备的目标距离。
可选地，所述计算单元具体用于：
获取投影距离，所述投影距离为所述终端设备的显示屏幕与指定的投影区域之间的距离；
基于所述投影距离以及所述目标距离计算所述目标半径。
可选地，所述计算单元基于所述投影距离以及所述目标距离计算所述目标半径包括：
通过如下公式计算所述目标半径：
R＝a*x+y；
其中，R为所述目标半径，a为转换系数，x为所述目标距离，y为所述目标距离。
可选地，所述投射单元具体用于：
确定所述终端设备的屏幕分辨率；
基于所述屏幕分辨率对所述目标纹理以及所述目标球形模型的球面进行划分；
将划分后的所述目标纹理投影至划分后的所述目标球形模型的球面。
本申请第三方面提供了一种计算机装置，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述程序代码由所述处理器加载并执行以实现上述所述的虚拟现实VR视频的播放方法的步骤。
本申请第四方面提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述所述的虚拟现实VR视频的播放方法的步骤。
综上所述，可以看出，本申请提供的实施例中，当用户播放VR视频时，实时监测用户与目标设备的目标距离，并根据目标距离计算目标半径，根据目标半径生成目标球形模型，确定目标视频对应的目标纹理，之后将目标纹理投射至目标球形模型，这样可以根据用户的与设备的距离不同而生成不同的球形模型，进而自适应的改变VR显示效果，提升用户体验。
附图说明
图1为本申请实施例提供的现有的VR视频播放渲染方案的示意图；
图2为本申请实施例提供的对解码后的视频数据通过纹理贴图方式映射至球面模型的示意图；
图3为本申请实施例提供的虚拟现实VR视频的播放方法的流程示意图；
图4为本申请实施例提供的对目标对象、终端设备的显示屏幕以及球形模型之间的位置关系的示意图；
图5为本申请实施例提供的虚拟现实VR视频的播放装置的虚拟结构示意图；
图6为本申请实施例提供的终端设备的硬件结构示意图；
图7为本申请实施例提供的服务器的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个***中，或一些特征向量可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
首先结合图1对现有的VR视频播放渲染方案进行说明，请参阅图1，图1中的101为终端的显示屏幕，102为指定投影区域，103为球形模型的半径，104为球形模型；目前的VR视频播放渲染方案，以终端的显示屏幕101为中心，以终端的显示屏幕101与指定投影区域102之间的距离为半径103构造一个固定的球形模型104，然后将解码后的视频数据，通过纹理贴图的方式映射至球形模型104的球面上。
下面结合图2对解码后的视频数据通过纹理贴图方式映射至球面模型的球面上进行说明，请参阅图2，将球面201分为m份，同样的将解码后的视频数据中的纹理202也分成相同份数，2021为纹理202的m份中的任意一份，2011为球面模型的m份中与2021对应的一份，将该2021贴在球面模型201的2011，以此类推，将纹理202全部贴在球面201中，之后通过投影投射，将纹理贴图完毕的球面201投射在特定区域，显示到屏幕上。
这样在不同的设备，不同的观看屏幕中，显示效果是相同的，由于不同设备，不同的观看屏幕中，相同的显示效果会导致不友好的用户体验。
有鉴于此，本申请提供了一种虚拟现实VR视频的播放方法，当用户播放VR视频时，实时监测用户与目标设备的目标距离，并根据目标距离计算目标半径，根据目标半径生成目标球形模型，确定目标视频对应的目标纹理，之后将目标纹理投射至目标球形模型，这样可以根据用户的与设备的距离不同而生成不同的球形模型，进而自适应的改变VR显示效果，提升用户体验。
下面从虚拟现实VR视频的播放装置的角度对本申请的虚拟现实VR视频的播放方法进行说明，该虚拟现实VR视频的播放装置可以是终端设备，也可以是服务器，也可以是服务器中的服务单元，具体不做限定。
请参阅图3，图3为本申请实施例提供的虚拟现实VR视频的播放方法的流程示意图，包括：
301、实时监测目标对象与终端设备的目标距离。
本实施例中，当目标对象通过终端设备播放目标视频时，VR视频的播放装置可以实时监测目标对象与终端设备的目标距离，也即实时监测目标对象与终端设备的显示屏幕的实际距离。此处的目标对象可以是人的额头，眼部、鼻子等等脸部器官，当然也还可以是其他的，具体不做限定，此处以眼部为例进行说明。VR视频的播放装置可以实时监测目标对象与终端设备的目标距离。
一个实施例中，VR视频的播放装置实时监测目标对象与终端设备的目标距离包括：
当终端设备设置有距离传感器时，通过距离传感器实时监测目标对象与终端设备的目标距离；
当终端设备未设置有距离传感器时，通过终端设备的摄像装置对目标对象进行拍摄，得到目标图像；
基于预设距离识别模型对目标图像进行识别，得到目标对象与终端设备的目标距离。
本实施例中，VR视频的播放装置可以判断该终端设备是否设置有距离传感器，若该终端设备设置有距离传感器，在可以直接通过距离传感器实时监测目标对象与终端设备的目标距离，若该终端设备未设置有距离传感器，则可以通过终端设备的摄像装置对目标对象进行拍摄，得到目标对象对应的目标图像，之后基于预设距离识别模型对目标图像进行识别，得到目标对象与终端设备的目标距离，其中，该预设距离识别模型为预先通过机器学习的方式训练好的通过图像识别距离的模型。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
302、根据目标距离计算目标半径。
本实施例中，VR视频的播放装置在监测到目标距离之后，可以根据目标距离计算目标半径。具体的，可以获取投影距离，该投影距离为终端设备的显示屏幕与指定的投影区域之间的距离，之后，根据投影距离以及目标距离计算目标半径。
一个实施例中，VR视频的播放装置基于投影距离以及目标距离计算目标半径包括：
通过如下公式计算目标半径：
R＝a*x+y；
其中，R为目标半径，a为转换系数，x为目标距离，y为投影距离。
本实施例中，将目标对象与屏幕的距离进行一个模型抽象，比如实际距离为x，那么经过一个转换得到模型中的距离m＝a*x，VR的球形模型的半径为目标对象与终端的显示屏幕之间的目标距离m与终端的显示屏幕与指定投影区域之间的距离y的和，也即R＝a*x+y，其中R为目标半径，x为目标对象与终端设备的显示屏幕的目标距离，y为终端的显示屏幕与指定投影区域之间的距离，a为转换参数。
下面结合图4以目标对象为眼部为例，对目标对象、终端设备的显示屏幕以及球形模型之间的位置关系进行说明，请参阅图4，401为眼部，402为终端设备的显示屏幕，403为指定投影区域，其中，眼部401与终端的显示屏幕402之间的目标距离为x，终端的显示屏幕402与指定投影区域403之间的投影距离为y，之后可以通过上述公式计算得到目标半径405。
303、根据目标半径生成目标球形模型。
本实施例中，VR视频的播放装置在得到目标半径之后，可以以目标对象为圆心，以目标半径为半径构建目标球形模型，如图4中的球形模型404。
304、将目标纹理投射至目标球形模型。
本实施例中，在得到目标纹理以及目标球形模型之后，可以将目标纹理投射至目标球形模型的球面，目标纹理为目标视频中的一帧图像对应的纹理。
一个实施例中，所述将所述目标纹理投射至所述目标球形模型包括：
确定所述终端设备的屏幕分辨率；
基于所述屏幕分辨率对所述目标纹理以及所述目标球形模型的球面进行划分；
将划分后的所述目标纹理投影至划分后的所述目标球形模型的球面。
本实施例中，VR视频的播放装置可以确定终端的屏幕分辨率，之后基于屏幕分辨率对目标纹理以及目标球形模型的球面进行划分，并将划分后的目标纹理投影至划分后的目标球形模型的球面。也就是说，此处可以根据终端设备的显示屏幕的分辨力确定划分数量，例如1600x 1200的屏幕分辨率的划分数量可以为300个，也即将目标纹理分成300份，同时将目标球形模型的球面也对应的分成300分，之后将目标纹理中的300分别贴在目标球形模型的球面的300份中的对应位置；例如640x 480的屏幕分辨率的划分数量可以为50份，也即将目标纹理分成50份，同时将目标球形模型的球面也对应的分成50份，之后将目标纹理中的50份分别贴在目标球形模型的球面的50份中的对应位置，具体的请参阅图2中的贴图方式，上述图2已经进行了详细说明，具体此处不再赘述。
需要说明的是，上述在将目标纹理投射至目标球形模型时，是一一对应的，也可以2个对应1个(如目标纹理分成300份，目标球形模型的球面分成150份，或者目标纹理分成150份，目标球形模型的球面分成150份)，3个对应一个(如目标纹理分成300份，目标球形模型的球面分成100份，或者目标纹理分成100份，目标球形模型的球面分成300份)，只要能将目标纹理投射至目标球形模型的即可，具体不做限定。
305、重复执行步骤301至步骤304，直至目标视频播放完毕。
综上所述，可以看出，本申请提供的实施例中，当用户播放VR视频时，实时监测用户与目标设备的目标距离，并根据目标距离计算目标半径，根据目标半径生成目标球形模型，确定目标视频对应的目标纹理，之后将目标纹理投射至目标球形模型，这样可以根据用户的与设备的距离不同而生成不同的球形模型，进而自适应的改变VR显示效果，提升用户体验。
上面从的虚拟现实VR视频的播放方法的角度对本申请进行说明，下面从虚拟现实VR视频的播放装置的角度对本申请进行说明。
请参阅图5，图5为本申请实施例提供的一种虚拟现实VR视频的播放装置的虚拟结构示意图，包括：
监测单元501，用于执行步骤1)实时监测目标对象与终端设备的目标距离，所述终端设备为播放目标视频的设备；
计算单元502，用于执行步骤2)根据所述目标距离计算目标半径；
生成单元503，用于执行步骤3)根据所述目标半径生成目标球形模型；
投射单元504，用于执行步骤4)将目标纹理投射至所述目标球形模型，所述目标纹理为所述目标视频中的一帧图像对应的纹理；
处理单元505，用于重复执行步骤1)至步骤4)，直至所述目标视频播放完毕。
可选地，所述监测单元501具体用于：
当所述终端设备设置有距离传感器时，通过所述距离传感器实时监测所述目标对象与所述终端设备的目标距离；
当所述终端设备未设置有所述距离传感器时，通过所述终端设备的摄像装置对所述目标对象进行拍摄，得到目标图像；
基于预设距离识别模型对所述目标图像进行识别，得到所述目标对象与所述终端设备的目标距离。
可选地，所述计算单元502具体用于：
获取投影距离，所述投影距离为所述终端设备的显示屏幕与指定的投影区域之间的距离；
基于所述投影距离以及所述目标距离计算所述目标半径。
可选地，所述计算单元502基于所述投影距离以及所述目标距离计算所述目标半径包括：
通过如下公式计算所述目标半径：
R＝a*x+y；
其中，R为所述目标半径，a为转换系数，x为所述目标距离，y为所述目标距离。
可选地，所述投射单元504具体用于：
确定所述终端设备的屏幕分辨率；
基于所述屏幕分辨率对所述目标纹理以及所述目标球形模型的球面进行划分；
将划分后的所述目标纹理投影至划分后的所述目标球形模型的球面。
综上所述，可以看出，本申请提供的实施例中，当用户播放VR视频时，实时监测用户与目标设备的目标距离，并根据目标距离计算目标半径，根据目标半径生成目标球形模型，确定目标视频对应的目标纹理，之后将目标纹理投射至目标球形模型，这样可以根据用户的与设备的距离不同而生成不同的球形模型，进而自适应的改变VR显示效果，提升用户体验。
本申请实施例还提供了另一种虚拟现实VR视频的播放装置，如图6所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该虚拟现实VR视频的播放装置可以为包括手机、平板电脑、PDA(PersonalDigital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以虚拟现实VR视频的播放装置为手机为例：
图6示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图6，手机包括：射频(Radio Frequency，RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(wireless fidelity，WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图6中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图6对手机的各个构成部件进行具体的介绍：
RF电路610可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器680处理；另外，将设计上行的数据发送给基站。通常，RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控面板631以及其他输入设备632。触控面板631，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板641。进一步的，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在手机移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路660、扬声器661，传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一手机，或者将音频数据输出至存储器620以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块670，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器680可包括一个或多个处理单元；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。
手机还包括给各个部件供电的电源690(比如电池)，优选的，电源可以通过电源管理***与处理器680逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请施例中，该终端所包括的处理器680还可以执行上述由虚拟现实VR视频的播放装置所执行的操作。
图7是本申请实施例提供的一种服务器结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processingunits，CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器700上执行存储介质730中的一系列指令操作。
服务器700还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，和/或，一个或一个以上操作***741，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
上述实施例中由虚拟现实VR视频的播放装置所执行的步骤可以基于该图7所示的服务器结构。
本申请实施例还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述所述虚拟现实VR视频的播放方法的步骤。
本申请实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述虚拟现实VR视频的播放方法的步骤。
本申请实施例还提供了一种终端设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，所述程序代码由所述处理器加载并执行以实现上述所述虚拟现实VR视频的播放方法的步骤。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行上述所述虚拟现实VR视频的播放方法的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种虚拟现实VR视频的播放方法，其特征在于，包括：
步骤1)实时监测目标对象与终端设备的目标距离，所述终端设备为播放目标视频的设备；
步骤2)根据所述目标距离计算目标半径，包括：获取投影距离，所述投影距离为所述终端设备的显示屏幕与指定的投影区域之间的距离；基于所述投影距离以及所述目标距离计算所述目标半径；
步骤3)根据所述目标半径生成目标球形模型；
步骤4)将目标纹理投射至所述目标球形模型，所述目标纹理为所述目标视频中的一帧图像对应的纹理；
重复执行步骤1)至步骤4)，直至所述目标视频播放完毕。
2.根据权利要求1所述的方法，其特征在于，所述实时监测目标对象与终端设备的目标距离包括：
当所述终端设备设置有距离传感器时，通过所述距离传感器实时监测所述目标对象与所述终端设备的目标距离；
当所述终端设备未设置有所述距离传感器时，通过所述终端设备的摄像装置对所述目标对象进行拍摄，得到目标图像；
基于预设距离识别模型对所述目标图像进行识别，得到所述目标对象与所述终端设备的目标距离。
3.根据权利要求1所述的方法，其特征在于，所述基于所述投影距离以及所述目标距离计算所述目标半径包括：
通过如下公式计算所述目标半径：
R＝a*x+y；
其中，R为所述目标半径，a为转换系数，x为所述目标距离，y为所述目标距离。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述将目标纹理投射至所述目标球形模型包括：
确定所述终端设备的屏幕分辨率；
基于所述屏幕分辨率对所述目标纹理以及所述目标球形模型的球面进行划分；
将划分后的所述目标纹理投影至划分后的所述目标球形模型的球面。
5.一种虚拟现实VR视频的播放装置，其特征在于，包括：
监测单元，用于执行步骤1)实时监测目标对象与终端设备的目标距离，所述终端设备为播放目标视频的设备；
计算单元，用于执行步骤2)根据所述目标距离计算目标半径；所述计算单元具体用于：获取投影距离，所述投影距离为所述终端设备的显示屏幕与指定的投影区域之间的距离；基于所述投影距离以及所述目标距离计算所述目标半径；
生成单元，用于执行步骤3)根据所述目标半径生成目标球形模型；
投射单元，用于执行步骤4)将目标纹理投射至所述目标球形模型，所述目标纹理为所述目标视频中的一帧图像对应的纹理；
处理单元，用于重复执行步骤1)至步骤4)，直至所述目标视频播放完毕。
6.根据权利要求5所述的装置，其特征在于，所述监测单元具体用于：
当所述终端设备设置有距离传感器时，通过所述距离传感器实时监测所述目标对象与所述终端设备的目标距离；
当所述终端设备未设置有所述距离传感器时，通过所述终端设备的摄像装置对所述目标对象进行拍摄，得到目标图像；
基于预设距离识别模型对所述目标图像进行识别，得到所述目标对象与所述终端设备的目标距离。
7.一种计算机装置，其特征在于，包括：
至少一个连接的处理器、存储器和收发器；
其中，所述存储器用于存储程序代码，所述程序代码由所述处理器加载并执行以实现上述权利要求1至4中任一项所述的虚拟现实VR视频的播放方法的步骤。
8.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行上述权利要求1至4中任一项所述的虚拟现实VR视频的播放方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010482496.6A CN112911356B (zh) | 2020-05-29 | 2020-05-29 | 一种虚拟现实vr视频的播放方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010482496.6A CN112911356B (zh) | 2020-05-29 | 2020-05-29 | 一种虚拟现实vr视频的播放方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112911356A CN112911356A (zh) | 2021-06-04 |
| CN112911356B true CN112911356B (zh) | 2022-04-05 |
Family
ID=76111270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010482496.6A Active CN112911356B (zh) | 2020-05-29 | 2020-05-29 | 一种虚拟现实vr视频的播放方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112911356B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705241A (zh) * | 2016-08-08 | 2018-02-16 | 国网新疆电力公司 | 一种基于瓦片地形建模和投影校正的沙盘构建方法 |
| CN108885522A (zh) * | 2016-12-30 | 2018-11-23 | 谷歌有限责任公司 | 渲染3d环境中的内容 |
| CN110023814A (zh) * | 2016-09-28 | 2019-07-16 | 奇跃公司 | 由可穿戴设备进行面部模型捕获 |
| WO2019184889A1 (zh) * | 2018-03-26 | 2019-10-03 | Oppo广东移动通信有限公司 | 增强现实模型的调整方法、装置、存储介质和电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10025384B1 (en) * | 2017-01-06 | 2018-07-17 | Oculus Vr, Llc | Eye tracking architecture for common structured light and time-of-flight framework |
| US20180225858A1 (en) * | 2017-02-03 | 2018-08-09 | Sony Corporation | Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform |
-
2020
- 2020-05-29 CN CN202010482496.6A patent/CN112911356B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705241A (zh) * | 2016-08-08 | 2018-02-16 | 国网新疆电力公司 | 一种基于瓦片地形建模和投影校正的沙盘构建方法 |
| CN110023814A (zh) * | 2016-09-28 | 2019-07-16 | 奇跃公司 | 由可穿戴设备进行面部模型捕获 |
| CN108885522A (zh) * | 2016-12-30 | 2018-11-23 | 谷歌有限责任公司 | 渲染3d环境中的内容 |
| WO2019184889A1 (zh) * | 2018-03-26 | 2019-10-03 | Oppo广东移动通信有限公司 | 增强现实模型的调整方法、装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112911356A (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210295099A1 (en) | Model training method and apparatus, storage medium, and device | |
| CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| CN110096580B (zh) | 一种faq对话方法、装置及电子设备 | |
| JP2022502783A (ja) | 画像融合方法、モデル訓練方法、画像融合装置、モデル訓練装置、端末機器、サーバ機器、及びコンピュータプログラム | |
| CN109918975A (zh) | 一种增强现实的处理方法、对象识别的方法及终端 | |
| CN108236785B (zh) | 一种获取对象信息的方法及装置 | |
| CN110738211A (zh) | 一种对象检测的方法、相关装置以及设备 | |
| CN109426343B (zh) | 基于虚拟现实的协作训练方法及*** | |
| US20210152751A1 (en) | Model training method, media information synthesis method, and related apparatuses | |
| CN111680123B (zh) | 对话模型的训练方法、装置、计算机设备及存储介质 | |
| CN111598169B (zh) | 一种模型训练方法、游戏测试方法、模拟操作方法及装置 | |
| CN114297730A (zh) | 对抗图像生成方法、装置及存储介质 | |
| CN109993234B (zh) | 一种无人驾驶训练数据分类方法、装置及电子设备 | |
| CN110516113B (zh) | 一种视频分类的方法、视频分类模型训练的方法及装置 | |
| CN113365085B (zh) | 一种直播视频生成方法及装置 | |
| CN111131904A (zh) | 视频播放方法及头戴电子设备 | |
| CN113723378B (zh) | 一种模型训练的方法、装置、计算机设备和存储介质 | |
| CN112206517B (zh) | 一种渲染方法、装置、存储介质及计算机设备 | |
| CN114357278B (zh) | 一种话题推荐方法、装置及设备 | |
| CN113821720A (zh) | 一种行为预测方法、装置及相关产品 | |
| CN111314771B (zh) | 一种视频播放方法及相关设备 | |
| CN111515970B (zh) | 一种互动方法、拟态机器人和相关装置 | |
| CN110544287A (zh) | 一种配图处理方法及电子设备 | |
| WO2018171196A1 (zh) | 一种控制方法、终端及*** | |
| CN112527104A (zh) | 确定参数确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40052742 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |