CN113256815B - 虚拟现实场景融合及播放方法和虚拟现实设备 - Google Patents
虚拟现实场景融合及播放方法和虚拟现实设备 Download PDFInfo
- Publication number
- CN113256815B CN113256815B CN202110205130.9A CN202110205130A CN113256815B CN 113256815 B CN113256815 B CN 113256815B CN 202110205130 A CN202110205130 A CN 202110205130A CN 113256815 B CN113256815 B CN 113256815B
- Authority
- CN
- China
- Prior art keywords
- scene
- virtual
- user
- information
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims description 15
- 230000035807 sensation Effects 0.000 claims description 14
- 238000000926 separation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007654 immersion Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Stereophonic System (AREA)
Abstract
本发明公开了一种虚拟现实场景融合及播放方法和虚拟现实设备，所述虚拟现实场景融合及播放方法，包括，获取至少一个实际场景的动态三维网格数据，以及，获取所述至少一个实际场景的立体声场数据；将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空间，获得虚拟融合场景；获取用户在所述虚拟融合场景中的状态信息；根据所述状态信息获得所述虚拟融合场景中对应的目标视觉信息和目标声觉信息；播放所述目标视觉信息和所述目标声觉信息。该方法可以提高用户对虚拟现实场景的真实感和沉浸感。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其是涉及一种虚拟现实场景融合及播放方法和虚拟现实设备。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真***，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的***仿真使用户沉浸到该环境中。
相关技术中，对于虚拟现实内容的生产主要来自两方面：一是由计算机制作的三维虚拟化内容；另一个是通过全景相机等专有设备进行图像视频采集，以形成视频流来播放。
但是，以上两种生产制作虚拟现实内容的方式，都存在着沉浸感不足的问题。其中，对于计算机制作的虚拟化内容，因受限于三维制作水平，使得虚拟化场景的表现力无法达到真实影像所能带来的真实感体验。对于全景相机等基于平面采集技术所制作的内容，其原理等价于通过超大分辨率的二维视频播放，由于没有三维信息，无法实现场景的漫游，同时也未考虑立体声效应。此外，以上虚拟现实内容均是预先制作，无法实现实时动态的巡游体验，因此用户在立体感、沉浸感上的感受存在很多不足。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种虚拟现实场景融合及播放方法，该方法可以提高用户对虚拟现实场景的真实感和沉浸感。
本发明的目的之二在于提出一种虚拟现实设备。
本发明的目的之三在于提出一种虚拟现实设备。
为了解决上述问题，本发明第一方面实施例提供的虚拟现实场景融合及播放方法，包括，获取至少一个实际场景的动态三维网格数据，以及，获取所述至少一个实际场景的立体声场数据；将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空间，获得虚拟融合场景；获取用户在所述虚拟融合场景中的状态信息；根据所述状态信息获得所述虚拟融合场景中对应的目标视觉信息和目标声觉信息；播放所述目标视觉信息和所述目标声觉信息。
根据本发明实施例的虚拟现实场景融合及播放方法，采集实际场景的动态三维网格数据，可以实现用户的场景漫游，以及，采集立体声场数据可以提升声效效果，以及，通过将获取的至少一个实际场景的动态三维网格数据和立体声场数据融合至用户虚拟空间，将场景的三维信息和立体声效进行结合，用户在虚拟融合场景漫游时，根据用户状态例如位置、朝向来播放目标视觉信息和目标声觉信息，提高用户沉浸虚拟融合场景的真实感和沉浸感，达到身临其境的感觉。
在一些实施例中，获取至少一个实际场景的动态三维网格数据，包括：连续采集所述实际场景的三维信息和所述实际场景的颜色信息；将所述实际场景的对应时序的三维信息和颜色信息进行配准，以获得三维彩色点云数据；将所述三维彩色点云数据进行三维重建，获得所述实际场景的动态三维网格数据。
在一些实施例中，将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空间，获得虚拟融合场景，包括：获取所述用户虚拟空间中对应所述动态三维网格数据的设定位置信息；根据所述设定位置信息将所述动态三维网格数据设置于所述用户虚拟空间，以获得虚拟融合场景中的视觉信息。
在一些实施例中，将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空间，获得虚拟融合场景，还包括：获取所述虚拟融合场景中所述动态三维网格数据对应的三维模型中心到用户视角中心的距离和分离夹角；根据所述虚拟融合场景中所述动态三维网格数据对应的三维模型中心到用户视角中心的距离和分离夹角以及头相关传输函数(Head Related Transfer Function，HRTF)获得所述虚拟融合场景中的声觉信息。
在一些实施例中，在将所述动态三维网格数据融合至用户虚拟空间之后，方法还包括：获得所述用户虚拟空间中场景光源入射至用户视角的折射路径的数量；获取每个折射路径上光线的入射方向和出射方向；根据所述折射路径的数量、所述每个折射路径上光线的入射方向和出射方向获得所述场景光源在所述用户视角处的光亮度；控制所述场景光源提供所述光亮度的光线至所述用户视角。
本发明第二方面实施例提供一种虚拟现实设备，包括：视觉采集模块，用于采集实际场景的三维信息和颜色信息；声音采集模块，用于采集实际场景的立体声场数据；定位模块，用于获取用户在虚拟场景中的状态信息；数据处理模块，用于执行上述实施例所述的虚拟现实场景融合及播放方法；播放模块，与所述数据处理模块连接，用于播放虚拟场景的视觉信息和声觉信息。
根据本发明实施例的虚拟现实设备，通过数据处理模块执行上述实施例提供的虚拟现实场景融合及播放方法，用户在虚拟融合场景漫游时，根据用户状态信息例如位置、朝向，控制播放模块播放虚拟场景的视觉信息和声觉信息，提高用户对虚拟场景的真实感和沉浸感，达到身临其境的感觉。
在一些实施例中，所述视觉采集模块包括：深度相机，用于采集所述实际场景的三维信息；彩色相机，用于采集所述实际场景的颜色信息。
在一些实施例中，所述视觉采集模块为多个。
在一些实施例中，所述播放模块包括：显示单元，与所述数据处理模块连接，用于显示所述虚拟场景的视觉信息；声音播放单元，与所述数据处理模块连接，用于播放所述虚拟场景的声觉信息。
本发明第三方面实施例提供一种虚拟现实设备，包括：至少一个处理器；与至少一个处理器通信连接的存储器；所述存储器中存储有可被所述至少一个处理器执行的计算机程序，所述至少一个处理器执行所述计算机程序时实现上述实施例所述的虚拟现实场景融合及播放方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的虚拟现实场景融合及播放方法的流程图；
图2是根据本发明一个实施例对动态三维网格数据融合后的虚拟融合场景的示意图；
图3是根据本发明一个实施例对立体声场数据进行融合的虚拟融合场景的示意图；
图4是根据本发明一个实施例获取场景光源在用户视角处光亮度的示意图；
图5是根据本发明一个实施例的虚拟现实设备的结构框图。
具体实施方式
下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。
为了解决上述问题，本发明第一方面实施例提出一种虚拟现实场景融合及播放方法，该方法可以提高用户对虚拟现实场景的真实感和沉浸感。
下面结合附图对本发明实施例的虚拟现实场景融合及播放方法进行说明。
如图1所示，本发明实施例提供的虚拟现实场景融合及播放方法至少包括步骤S1-步骤S5。
步骤S1，获取至少一个实际场景的动态三维网格数据，以及，获取至少一个实际场景的立体声场数据。
具体地，通过获取至少一个实际场景的动态三维网格数据，相较于预先制作的虚拟现实内容，本发明实施例以实时采集的动态实际场景来进行三维重建，实现动态场景的捕捉，从而使得虚拟化场景的表现力可以达到真实影像所带来的真实感，利于实现实时动态的场景漫游。以及，本发明实施例还考虑虚拟场景的立体声效应，即获取至少一个实际场景的立体声场数据，以便后续根据需要在虚拟场景中广播，提升虚拟场景的声效效果，因此，通过将场景的三维信息和立体声效进行结合，利于用户在虚拟场景漫游时，在视觉上和听觉上同时满足用户的巡游体验，提高用户对虚拟现实场景的真实感和沉浸感。
步骤S2，将动态三维网格数据和立体声场数据融合至用户虚拟空间，获得虚拟融合场景。
其中，用户虚拟空间可以理解为在用户漫游虚拟场景时虚拟现实设备所提供的虚拟空间，例如图2所示，可以将其设想为一个三维立体空间，该三维立体空间中可以存在多个三维虚拟场景。虚拟融合场景可以理解为不同的三维虚拟场景同时融合于用户虚拟空间后所呈现出的场景。
具体地，在用户虚拟空间中可以呈现多个三维虚拟场景，但对于不同的三维虚拟场景可能为不同的实际场景采集获得的，因此，为获取用户虚拟空间所呈现的整体三维虚拟场景，需根据用户的实际需求将由不同实际场景获得的动态三维网格数据和立体声场数据进行融合，以将由不同实际场景获得的动态三维网格数据和立体声场数据安置于同一虚拟空间中，即获取虚拟融合场景，从而可以提高用户沉浸虚拟融合场景的真实感和沉浸感，达到身临其境的感觉。
举例说明，如图2所示，用户虚拟空间中包含两个不同的三维虚拟场景，分别为虚拟场景1如兔子、虚拟场景2如球。具体地，通过分别在不同实际场景中动态采集虚拟场景1和虚拟场景2的动态三维网格数据和立体声场数据，并将虚拟场景1和虚拟场景2的动态三维网格数据和立体声场数据融合至用户虚拟空间中，从而可以在用户虚拟空间中呈现由虚拟场景1和虚拟场景2两个不同的三维虚拟场景融合后的虚拟融合场景。
步骤S3，获取用户在虚拟融合场景中的状态信息。
在实施例中，可以理解的是，在不同的状态下如用户头部朝向或用户所处位置等，用户所体验的虚拟融合场景不同，因此，在用户漫游虚拟融合场景时，需实时获取用户在用户虚拟空间中的状态信息，以便于结合用户的状态信息，为用户呈现所需的虚拟融合场景。
步骤S4，根据状态信息获得虚拟融合场景中对应的目标视觉信息和目标声觉信息。
其中，目标视觉信息可以理解为用户在当前视角下所看到的虚拟影像。目标声觉信息可以理解为用户在当前位置处所听到的声音。
具体地，根据用户当前在用户虚拟空间中的状态信息，如用户当前在用户虚拟空间中的空间位置信息和用户当前的头部朝向信息，为用户呈现当前所需的虚拟融合场景，即获取虚拟融合场景中对应的目标视觉信息和目标声觉信息。
步骤S5，播放目标视觉信息和目标声觉信息。
具体地，基于虚拟融合场景为由获取的至少一个实际场景的动态三维网格数据和立体声场数据融合得到的，用户在虚拟融合场景漫游时，实时结合用户所处的状态信息，为用户实时播放目标视觉信息和目标声觉信息，从而既可以在视觉上和听觉上同时满足用户的巡游体验，又可以提高用户对虚拟融合场景的真实感和沉浸感，使用户达到身临其境的感觉。
根据本发明实施例的虚拟现实场景融合及播放方法，采集实际场景的动态三维网格数据，可以实现用户的场景漫游，以及，采集立体声场数据可以提升声效效果，以及，通过将获取的至少一个实际场景的动态三维网格数据和立体声场数据融合至用户虚拟空间，将场景的三维信息和立体声效进行结合，用户在虚拟融合场景漫游时，根据用户状态信息例如位置、朝向来播放目标视觉信息和目标声觉信息，提高用户沉浸虚拟融合场景的真实感和沉浸感，达到身临其境的感觉。
在一些实施例中，对于获取至少一个实际场景的动态三维网格数据，可以包括，连续采集实际场景的三维信息和实际场景的颜色信息；将实际场景的对应时序的三维信息和颜色信息进行配准，以获得三维彩色点云数据；将三维彩色点云数据进行三维重建，获得实际场景的动态三维网格数据。
具体地，可以通过TOF相机采集实际场景时序上连续的三维信息，即获取三维点云数据，以及可以通过RGB相机采集实际场景时序上连续的颜色信息，即获取彩色数据。进而，将实际场景的对应时序的三维信息和颜色信息进行配准，以获得三维彩色点云数据，并通过三维重建技术如体素重建算法，将三维彩色点云数据进行三维重建，以获取实际场景的动态三维网格数据。
在一些实施例中，对于将动态三维网格数据和立体声场数据融合至用户虚拟空间，获得虚拟融合场景，可以包括，获取用户虚拟空间中对应动态三维网格数据的设定位置信息；根据设定位置信息将动态三维网格数据设置于用户虚拟空间，以获得虚拟融合场景中的视觉信息。
也就是，对于采集获得的多个动态三维网格数据，可以根据用户实际需要，在用户虚拟空间中为每个动态三维网格数据安置对应的位置，实现多个动态三维网格数据在用户虚拟空间的融合。例如图2所示，其中，虚拟场景1和虚拟场景2分别为对不同实际场景进行动态三维网格数据采集并通过重建获得的，对于采集重建获得的两个虚拟场景，在用户虚拟空间中分别设定其坐标，即根据设定位置信息将动态三维网格数据设置于用户虚拟空间，以获得虚拟融合场景中的视觉信息。进而，根据获得的虚拟融合场景中的视觉信息，并结合用户的状态信息，可以实现用户在视觉上的动态巡游体验，提高用户对虚拟现实场景的真实感和沉浸感。
在一些实施例中，对于将动态三维网格数据和立体声场数据融合至用户虚拟空间，获得虚拟融合场景，还可以包括，获取虚拟融合场景中动态三维网格数据对应的三维模型中心到用户视角中心的距离和分离夹角；根据虚拟融合场景中动态三维网格数据对应的三维模型中心到用户视角中心的距离和分离夹角以及头相关传输函数获得虚拟融合场景中的声觉信息。
其中，虚拟融合场景中的声觉信息可以理解为虚拟融合场景所产生的立体声到达用户双耳的声场信号。虚拟融合场景中动态三维网格数据对应的三维模型中心可以理解为根据动态三维网格数据重建获得的三维模型的重心。具体地，虚拟融合场景中的声觉信息由虚拟融合场景中动态三维网格数据对应三维模型中心到用户视角中心的距离、虚拟融合场景中动态三维网格数据对应三维模型中心与用户视角中心之间的分离夹角以及头相关传输函数获得，计算公式具体如下。
其中，Sl为用户左耳的声场信号，Sr为用户右耳的声场信号，di(θ)为空间衰减函数，hi(θ)为基于虚拟融合场景获得的头相关传输函数，d为虚拟融合场景中动态三维网格数据对应三维模型中心到用户视角中心的距离，θ为虚拟融合场景中动态三维网格数据对应三维模型中心与用户视角中心之间的分离夹角，c为预设衰减函数。由此，通过公式(1)、公式(2)和公式(3)可以计算获得虚拟融合场景中的声觉信息。进而，根据获得的虚拟融合场景中的声觉信息，并结合用户的状态信息，可以实现用户在听觉上的巡游体验，提高用户对虚拟现实场景的真实感和沉浸感。
举例说明，如图3所示，虚拟融合场景中动态三维网格数据对应的三维模型中心包括虚拟场景1中心和虚拟场景2中心。其中，虚拟场景1中心至用户视角中心的距离为d1，虚拟场景1中心与用户视角中心之间的分离夹角为θ1，即空间衰减函数为因此，对于虚拟场景1产生的声觉信息为：/> 同理，虚拟场景2中心至用户视角中心的距离为d2，虚拟场景2中心与用户视角中心之间的分离夹角为θ2，对于虚拟场景2产生的声觉信息为：/>
在一些实施例中，在将动态三维网格数据融合至用户虚拟空间之后，方法还包括：获得用户虚拟空间中场景光源入射至用户视角的折射路径的数量；获取每个折射路径上光线的入射方向和出射方向；根据折射路径的数量、每个折射路径上光线的入射方向和出射方向获得场景光源在用户视角处的光亮度；控制场景光源提供光亮度的光线至用户视角。
也就是，本发明实施例在对多个动态三维网格数据融合后的基础上，采用光线追踪技术，计算相邻动态三维网格数据之间的光交互作用，以进一步提高三维渲染的真实感。例如，如图4所示，虚拟融合场景中包含两个虚拟场景：虚拟场景1、虚拟场景2。对于场景光源，其出射光经过连续在不同虚拟场景上的折射后，最终入射至用户视角，基于此，对于用户视角处光亮度的计算公式如下。
其中，L为场景光源在用户视角处的光亮度，LN为光亮度函数，N为场景光源入射至用户视角的折射路径的数量，Ci为场景光源入射至用户视角的第i条折射路径上的衰减率，f(wi，wo，p)为双向反射分布函数，p为光亮度点，wi为折射路径上光线的入射方向，wo为折射路径上光线的出射方向，θ为折射路径上光线的入射方向与曲面法线之间的夹角，p(wi)为p点处对wi的概率密度采集函数。由此，通过公式(4)和公式(5)可以计算获得虚拟融合场景中场景光源在用户视角处的光亮度，进而通过控制场景光源提供光亮度的光线至用户视角，从而提高三维渲染的真实感，进一步提高用户对虚拟现实场景的真实感和沉浸感。
本发明第二方面实施例提供一种虚拟现实设备，如图5所示，虚拟现实设备10包括视觉采集模块1、声音采集模块2、定位模块3、数据处理模块4以及播放模块5。
其中，视觉采集模块1用于采集实际场景的三维信息和颜色信息；声音采集模块2用于采集实际场景的立体声场数据；定位模块3用于获取用户在虚拟场景中的状态信息，如用户当前的头部朝向信息和空间位置信息；数据处理模块4用于执行上述实施例提供的虚拟现实场景融合及播放方法；播放模块5与数据处理模块4连接，用于播放虚拟场景的视觉信息和声觉信息。
在该实施例中，该虚拟现实设备10在呈现虚拟场景时，其内部数据处理模块4的具体实现方式与本发明上述任意实施例的虚拟现实场景融合及播放方法的具体实现方式类似，具体请参见关于虚拟现实场景融合及播放方法部分的描述，为了减少冗余，此处不再赘述。
根据本发明实施例的虚拟现实设备10，通过数据处理模块4执行上述实施例提供的虚拟现实场景融合及播放方法，用户在虚拟融合场景漫游时，根据用户状态信息例如位置、朝向，控制播放模块5播放虚拟场景的视觉信息和声觉信息，提高用户对虚拟场景的真实感和沉浸感，达到身临其境的感觉。
在一些实施例中，视觉采集模块1包括深度相机和彩色相机。
具体地，深度相机如TOF相机用于采集实际场景的三维信息；彩色相机如RGB相机用于采集实际场景的颜色信息。
在一些实施例中，视觉采集模块1为多个，从而实现对多个不同实际场景的采集，以便于获取多个不同的三维虚拟场景。
在一些实施例中，播放模块5包括显示单元和声音播放单元。
具体地，显示单元与数据处理模块4连接，用于显示虚拟场景的视觉信息；声音播放单元如耳机与数据处理模块4连接，用于播放虚拟场景的声觉信息。
在本发明的另一个实施例中，虚拟现实设备10还可以包括至少一个处理器和与至少一个处理器通信连接的存储器。
在实施例中，存储器中存储有可被至少一个处理器执行的计算机程序，至少一个处理器执行计算机程序时实现上述实施例提供的虚拟现实场景融合及播放方法。
在该实施例中，该虚拟现实设备10在呈现虚拟场景时，其具体实现方式与本发明上述任意实施例的虚拟现实场景融合及播放方法的具体实现方式类似，具体请参见关于虚拟现实场景融合及播放方法部分的描述，为了减少冗余，此处不再赘述。
在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种虚拟现实场景融合及播放方法，其特征在于，包括：
获取至少一个实际场景的动态三维网格数据，以及，获取所述至少一个实际场景的立体声场数据；
将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空间，获得虚拟融合场景；
获取用户在所述虚拟融合场景中的状态信息；
根据所述状态信息获得所述虚拟融合场景中对应的目标视觉信息和目标声觉信息；
播放所述目标视觉信息和所述目标声觉信息；
其中，将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空间，获得虚拟融合场景，包括：
获取所述虚拟融合场景中所述动态三维网格数据对应的三维模型中心到用户视角中心的距离和分离夹角；
根据所述虚拟融合场景中所述动态三维网格数据对应的三维模型中心到用户视角中心的距离和分离夹角以及头相关传输函数获得所述虚拟融合场景中的声觉信息；
在将所述动态三维网格数据融合至用户虚拟空间之后，方法还包括：
获得所述用户虚拟空间中场景光源入射至用户视角的折射路径的数量；
获取每个折射路径上光线的入射方向和出射方向；
根据所述折射路径的数量、所述每个折射路径上光线的入射方向和出射方向获得所述场景光源在所述用户视角处的光亮度；
控制所述场景光源提供所述光亮度的光线至所述用户视角。
2.根据权利要求1所述的虚拟现实场景融合及播放方法，其特征在于，获取至少一个实际场景的动态三维网格数据，包括：
连续采集所述实际场景的三维信息和所述实际场景的颜色信息；
将所述实际场景的对应时序的三维信息和颜色信息进行配准，以获得三维彩色点云数据；
将所述三维彩色点云数据进行三维重建，获得所述实际场景的动态三维网格数据。
3.根据权利要求1所述的虚拟现实场景融合及播放方法，其特征在于，将所述动态三维网格数据和所述立体声场数据融合至用户虚拟空间，获得虚拟融合场景，包括：
获取所述用户虚拟空间中对应所述动态三维网格数据的设定位置信息；
根据所述设定位置信息将所述动态三维网格数据设置于所述用户虚拟空间，以获得虚拟融合场景中的视觉信息。
4.一种虚拟现实设备，其特征在于，包括：
视觉采集模块，用于采集实际场景的三维信息和颜色信息；
声音采集模块，用于采集实际场景的立体声场数据；
定位模块，用于获取用户在虚拟场景中的状态信息；
数据处理模块，用于执行权利要求1-3任一项所述的虚拟现实场景融合及播放方法；
播放模块，与所述数据处理模块连接，用于播放虚拟场景的视觉信息和声觉信息。
5.根据权利要求4所述的虚拟现实设备，其特征在于，所述视觉采集模块包括：
深度相机，用于采集所述实际场景的三维信息；
彩色相机，用于采集所述实际场景的颜色信息。
6.根据权利要求4所述的虚拟现实设备，其特征在于，所述视觉采集模块为多个。
7.根据权利要求4所述的虚拟现实设备，其特征在于，所述播放模块包括：
显示单元，与所述数据处理模块连接，用于显示所述虚拟场景的视觉信息；
声音播放单元，与所述数据处理模块连接，用于播放所述虚拟场景的声觉信息。
8.一种虚拟现实设备，其特征在于，包括：
至少一个处理器；
与至少一个处理器通信连接的存储器；
所述存储器中存储有可被所述至少一个处理器执行的计算机程序，所述至少一个处理器执行所述计算机程序时实现权利要求1-3任一项所述的虚拟现实场景融合及播放方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110205130.9A CN113256815B (zh) | 2021-02-24 | 2021-02-24 | 虚拟现实场景融合及播放方法和虚拟现实设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110205130.9A CN113256815B (zh) | 2021-02-24 | 2021-02-24 | 虚拟现实场景融合及播放方法和虚拟现实设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113256815A CN113256815A (zh) | 2021-08-13 |
| CN113256815B true CN113256815B (zh) | 2024-03-22 |
Family
ID=77181414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110205130.9A Active CN113256815B (zh) | 2021-02-24 | 2021-02-24 | 虚拟现实场景融合及播放方法和虚拟现实设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256815B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117348721A (zh) * | 2022-06-29 | 2024-01-05 | 中兴通讯股份有限公司 | 虚拟现实数据处理方法、控制器及虚拟现实设备 |
| CN115953520B (zh) * | 2023-03-10 | 2023-07-14 | 浪潮电子信息产业股份有限公司 | 一种虚拟场景的记录回放方法、装置、电子设备及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810353A (zh) * | 2014-03-09 | 2014-05-21 | 杨智 | 一种虚拟现实中的现实场景映射***和方法 |
| CN106485782A (zh) * | 2016-09-30 | 2017-03-08 | 珠海市魅族科技有限公司 | 一种现实场景在虚拟场景中展示的方法以及装置 |
| CN108074278A (zh) * | 2016-11-17 | 2018-05-25 | 百度在线网络技术（北京）有限公司 | 视频呈现方法、装置和设备 |
| CN108109207A (zh) * | 2016-11-24 | 2018-06-01 | 中安消物联传感（深圳）有限公司 | 一种可视化立体建模方法及*** |
| US10228760B1 (en) * | 2017-05-23 | 2019-03-12 | Visionary Vr, Inc. | System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings |
| CN110610536A (zh) * | 2019-07-15 | 2019-12-24 | 北京七展国际数字科技有限公司 | 一种vr设备用显示真实场景的方法 |
| CN111863198A (zh) * | 2020-08-21 | 2020-10-30 | 华北科技学院 | 基于虚拟现实的康复机器人交互***及方法 |
| CN112188382A (zh) * | 2020-09-10 | 2021-01-05 | 江汉大学 | 一种声音信号处理方法、装置、设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7324687B2 (en) * | 2004-06-28 | 2008-01-29 | Microsoft Corporation | Color segmentation-based stereo 3D reconstruction system and process |
| CN104102412B (zh) * | 2014-07-24 | 2017-12-12 | 央数文化(上海)股份有限公司 | 一种基于增强现实技术的手持式阅览设备及其方法 |
| CN108769535B (zh) * | 2018-07-04 | 2021-08-10 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
-
2021
- 2021-02-24 CN CN202110205130.9A patent/CN113256815B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810353A (zh) * | 2014-03-09 | 2014-05-21 | 杨智 | 一种虚拟现实中的现实场景映射***和方法 |
| CN106485782A (zh) * | 2016-09-30 | 2017-03-08 | 珠海市魅族科技有限公司 | 一种现实场景在虚拟场景中展示的方法以及装置 |
| CN108074278A (zh) * | 2016-11-17 | 2018-05-25 | 百度在线网络技术（北京）有限公司 | 视频呈现方法、装置和设备 |
| CN108109207A (zh) * | 2016-11-24 | 2018-06-01 | 中安消物联传感（深圳）有限公司 | 一种可视化立体建模方法及*** |
| US10228760B1 (en) * | 2017-05-23 | 2019-03-12 | Visionary Vr, Inc. | System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings |
| CN110610536A (zh) * | 2019-07-15 | 2019-12-24 | 北京七展国际数字科技有限公司 | 一种vr设备用显示真实场景的方法 |
| CN111863198A (zh) * | 2020-08-21 | 2020-10-30 | 华北科技学院 | 基于虚拟现实的康复机器人交互***及方法 |
| CN112188382A (zh) * | 2020-09-10 | 2021-01-05 | 江汉大学 | 一种声音信号处理方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113256815A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11880932B2 (en) | Systems and associated methods for creating a viewing experience | |
| US10810798B2 (en) | Systems and methods for generating 360 degree mixed reality environments | |
| US10560687B2 (en) | LED-based integral imaging display system as well as its control method and device | |
| CN112492380B (zh) | 音效调整方法、装置、设备及存储介质 | |
| US9160938B2 (en) | System and method for generating three dimensional presentations | |
| US6084979A (en) | Method for creating virtual reality | |
| KR20230110832A (ko) | 가상, 증강 또는 혼합 현실 환경에서 3d 비디오들을생성 및 디스플레이하기 위한 방법들 및 시스템 | |
| WO2019041351A1 (zh) | 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 | |
| CN113256815B (zh) | 虚拟现实场景融合及播放方法和虚拟现实设备 | |
| US20090238378A1 (en) | Enhanced Immersive Soundscapes Production | |
| US20110306413A1 (en) | Entertainment device and entertainment methods | |
| DE112016004640T5 (de) | Filmische bearbeitung für virtuelle realität und erweiterte realität | |
| US20120105611A1 (en) | Stereoscopic image processing method and apparatus | |
| WO2001035675A1 (en) | Virtual presentation system and method | |
| CN109640070A (zh) | 一种立体显示方法、装置、设备及存储介质 | |
| CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
| KR20170091710A (ko) | 디지털 비디오 렌더링 | |
| KR20190031220A (ko) | Vr 콘텐츠 제공 시스템 및 방법 | |
| WO2018109265A1 (en) | A method and technical equipment for encoding media content | |
| BE1022580B1 (fr) | Méthode d'obtention de vidéos immersives avec parallaxe interactive et méthode de visualisation de vidéos immersives avec parallaxe interactive | |
| JP2019145017A (ja) | 自由視点映像のリプレイ映像を再生するシステムおよび方法 | |
| US20220036075A1 (en) | A system for controlling audio-capable connected devices in mixed reality environments | |
| WO2020193703A1 (en) | Techniques for detection of real-time occlusion | |
| Thatte | Cinematic virtual reality with head-motion parallax | |
| CN115187754A (zh) | 一种虚实融合方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |