CN117221633A

CN117221633A - 一种基于元宇宙和数字孪生技术的虚拟现实直播***

Info

Publication number: CN117221633A
Application number: CN202311483894.XA
Authority: CN
Inventors: 郭可才; 高楚天
Original assignee: Beijing Shenxin Dacheng Technology Co ltd
Current assignee: Beijing Shenxin Dacheng Technology Co ltd
Priority date: 2023-11-09
Filing date: 2023-11-09
Publication date: 2023-12-12
Anticipated expiration: 2043-11-09
Also published as: CN117221633B

Abstract

本发明公开了一种基于元宇宙和数字孪生技术的虚拟现实直播***，该***包括：硬件子***和终端子***，其中：硬件子***包括：激光雷达、摄像装置、跟踪设备、元宇宙服务器和通讯模块：终端子***包括：虚拟现实设备、数据处理模块和交互模块。本发明通过将元宇宙和数字孪生技术相结合，为用户带来全新的观看体验，用户可以以虚拟的身份进入元宇宙场景实时观看，与真实场景实时同步互动。相较于传统的直播方式，本发明的虚拟现实直播***大幅提升了用户的参与感和身临其境的观看体验，不再局限于固定视角，而是能够自由选择观看不同视角，并进行身体动作交互，增强了观看体验的互动性和沉浸感。

Description

一种基于元宇宙和数字孪生技术的虚拟现实直播***

技术领域

本发明涉及虚拟现实及直播技术领域，特别涉及一种基于元宇宙和数字孪生技术的虚拟现实直播***。

背景技术

在当今数字科技快速发展的时代，虚拟现实和元宇宙技术日益受到广泛关注。虚拟现实技术通过模拟真实场景并实现用户的沉浸式体验，吸引了大量用户在游戏、娱乐和培训等领域的应用。同时，元宇宙作为一个与现实世界平行存在的数字化空间，为用户提供了更广阔的虚拟社交和创造空间。在体育领域，体育比赛一直是备受关注和热爱的体育赛事，吸引了大量观众的关注。然而，传统的体育比赛直播往往受限于现场观赛的局限性，观众难以身临其境地感受比赛的激烈与精彩，体验感较差。同时，现有的虚拟现实体育游戏往往无法实时与真实比赛同步，限制了用户的参与感受。

因此，亟需一种结合虚拟现实和元宇宙技术的直播***，能够实现实时的虚拟现实观看体验，并让用户以虚拟身份进入场景，提升用户的参与感和体验感。

发明内容

鉴于上述技术问题，本发明提供至少解决上述部分技术问题的一种基于元宇宙和数字孪生技术的虚拟现实直播***，利用虚拟现实技术便于将观众带入元宇宙场景，实现用户在虚拟场景中的虚拟身份，以沉浸式的方式实时观看，与真实场景同步互动，有助于提升用户的参与感和体验感。

为实现上述目的，本发明采取的技术方案为：

本发明提供一种基于元宇宙和数字孪生技术的虚拟现实直播***，该***包括：硬件子***和终端子***，其中：

所述硬件子***包括：激光雷达、摄像装置、跟踪设备、元宇宙服务器和通讯模块，其中：

所述激光雷达用于扫描获取目标的三维点云信息；

所述摄像装置用于获取现场实时影像；

所述跟踪设备用于跟踪捕捉目标的动作数据，并将动作数据实时反馈至虚拟现实场景的对应模型中；

所述元宇宙服务器用于存储处理预设场景及模型数据；

所述通讯模块用于实时传输三维点云信息、现场实时影像和动作数据至终端***；

所述终端子***包括：虚拟现实设备、数据处理模块和交互模块，其中：

所述虚拟现实设备用于用户进入虚拟现实场景，实时观看虚拟现实的直播；

所述数据处理模块用于对实时传输的所述动作数据进行点云配准和格式转换；

所述交互模块用于在虚拟现实场景中使用户以虚拟身份选择观看不同视角，并进行身体动作交互。

优选的，所述硬件子***还包括：嵌入式微控制器和时间同步模块，用于使各组件之间的时间信息同步。

优选的，所述终端子***还包括：声光电模拟装置，用于在虚拟现实场景中增加环境声音和光影效果。

优选的，所述激光雷达上集成设置有：多线式固态三维激光扫描仪、旋转平台、电机模块、双水准气泡仪和指北针，其中：

所述多线式固态三维激光扫描仪用于扫描目标，获取三维点云信息；

所述旋转平台与所述电机模块连接，用于控制所述多线式固态三维激光扫描仪运动；

所述双水准气泡仪和指北针用于保证所述多线式固态三维激光扫描仪初始指北。

优选的，所述摄像装置为高清摄像头或高清工业相机。

优选的，所述通讯模块为：5G通讯模块或WIFI模块。

优选的，所述虚拟现实设备为：VR头戴式显示设备。

优选的，所述跟踪设备中采用卡尔曼滤波追踪算法实时跟踪目标的动作变化。

与现有技术相比，本发明的技术方案至少具有如下有益技术效果：

1.本发明提供了一种基于元宇宙和数字孪生技术的虚拟现实直播***，利用虚拟现实技术，用户可以以虚拟的身份进入虚拟现实场景实时观看，与真实场景实时同步互动。相较于传统的直播方式，本发明的虚拟现实直播***大幅提升了用户的参与感和身临其境的体验感，使用户不再局限于固定视角，而是能够自由选择观看不同视角，并进行身体动作交互，如头部转动、手部动作等，增强了观看体验的互动性和沉浸感。

2.本发明中利用5G通讯技术解决了海量点云信息的远程传输问题，便于确保实时直播的流畅性和稳定性。

3.本发明中具有广泛的应用前景，能够应用于体育娱乐、教育、文化遗产数字化保护、建筑物高精度实时监测、智慧城市规划以及数字孪生等领域，有助于为数字化发展提供有力的数据支持。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提供的一种基于元宇宙和数字孪生技术的虚拟现实直播***的工作原理示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。此外，各种序号等仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明实施例提供了一种基于元宇宙和数字孪生技术的虚拟现实直播***，该***包括：硬件子***和终端子***，其中：

硬件子***包括：激光雷达、摄像装置、跟踪设备、元宇宙服务器和通讯模块，其中：

激光雷达用于扫描获取目标的三维点云信息；摄像装置用于获取现场实时影像；跟踪设备用于跟踪捕捉目标的动作数据，并将动作数据实时反馈至虚拟现实场景的对应模型中；元宇宙服务器用于存储和处理预设场景及模型数据；通讯模块用于实时传输三维点云信息、现场实时影像和动作数据至终端***；

终端子***包括：虚拟现实设备、数据处理模块和交互模块，其中：

虚拟现实设备用于用户进入虚拟现实场景实时观看虚拟现实的直播；数据处理模块用于对实时传输的动作数据进行点云配准和格式转换；交互模块用于在虚拟现实场景中使用户以虚拟身份选择观看不同视角，并进行身体动作交互。

下面结合图1所示，以***应用于体育比赛为例，对本发明的虚拟现实直播***的具体实施方式进行详细的介绍：

在本实施例中，本发明的一种基于元宇宙和数字孪生技术的虚拟现实直播***应用于体育比赛中，通过数字孪生处理技术实现体育比赛的数字孪生，预先建立包括场馆、比赛道具、运动员和观众在内等多类对象的高质量3D模型。这些模型通过精心设计和细致建模，使得虚拟比赛场景具备与真实场景一致的外貌和特征，确保虚拟场景的真实性和逼真度，使虚拟场景中比赛道具和运动员的3D模型能够准确呈现和真实场景一样的动作。在需要使用时可以直接从数据库中调用相应模型，也可以根据摄影或三维扫描技术进行实时的模型建立。

在本实施例中，本发明***主要由硬件***和终端***组成。硬件***包括以下主要组件：激光雷达、摄像装置、跟踪设备、元宇宙服务器和通讯模块，其中：

在一个具体实施例中，激光雷达用于扫描场馆和比赛道具的真实环境，优选的使用多线式固态三维激光扫描仪作为激光雷达传感器，能够高效地扫描被测场馆和比赛道具，实时获取球场的点云信息。激光雷达还集成设置有：旋转平台、电机模块、双水准气泡仪和指北针。激光雷达的旋转平台与电机模块连接，优选的使用高精度电机，能够确保激光雷达传感器在扫描过程中稳定旋转，以获得全方位的点云信息。双水准气泡和指北针用于保证激光雷达扫描初始指北，确保扫描数据的准确性和稳定性。

激光雷达扫描获取点云是通过激光束的辐射和反射原理实现的。激光雷达向目标物体发送激光脉冲，当激光束照射到目标物体表面时，部分激光能量被物体表面反射回来。激光雷达通过接收反射回来的激光信号，计算出激光束从发射到反射返回所经过的时间，进而通过测量时间和光速的关系计算出激光束在空间中的距离。通过旋转激光雷达传感器或改变激光束的扫描角度，可以获得不同方向上的距离信息，最终形成三维点云数据。激光雷达扫描获取点云的计算公式为：

d= (t*c)/2

其中，d表示激光束与目标物体之间的距离；t表示激光束从发射到反射返回所经过的时间；c表示光在真空中的速度，约为3*10^8m/s。

通过不断地改变激光束的扫描角度和位置，激光雷达可以获取目标物体的三维坐标数据，从而构成点云信息。

在一个具体实施例中，摄像装置为高清摄像头或高清工业相机，对比赛场景包括场馆现场情况、运动员和观众的动作以及比赛道具的运动轨迹，进行实时拍摄记录。

在一个具体实施例中，使用跟踪设备（目标检测器）跟踪捕捉目标（包括运动员和观众的动作以及比赛道具等）的动作数据，并将动作数据实时反馈至虚拟现实场景的对应模型中；优选的，跟踪设备和摄像装置可集成设置；拍摄实时影像的同时进行相关动作数据的捕捉跟踪。

在一个具体实施例中，优选的采用卡尔曼滤波追踪算法进行运动目标追踪，卡尔曼滤波是一种最为经典的运动目标追踪算法，它基于状态估计和状态预测的思想。该算法通常用于对连续时间的线性***进行估计和预测，适用于那些位置和速度变化相对较为连续的运动目标。卡尔曼滤波的基本公式如下：

1) 预测步骤（Predict）：

预测目标在下一个时间步的状态和协方差：

预测状态：

x_k = F * x_{k-1} + u

预测协方差：

P_k = F * P_{k-1} * F^T + Q

其中，x_k表示目标在第k时刻的状态向量，F是状态转移矩阵，u是外部输入控制，P_k是状态协方差矩阵，Q是过程噪声协方差矩阵。

2) 更新步骤（Update）：

根据当前时刻的测量值（通常是目标检测器提供的位置信息），对预测值进行更新：

测量残差：

y_k = z_k - H * x_k

协方差残差：

S_k = H * P_k * H^T + R

卡尔曼增益：

K_k = P_k * H^T * S_k^-1

更新状态：

x_k = x_k + K_k * y_k

更新协方差：

P_k = (I - K_k * H) * P_k

其中，z_k表示当前时刻的测量值（通常为目标检测器提供的位置信息），H是测量矩阵，R是测量噪声协方差矩阵。

将实时采集的运动数据反馈给对应的3D模型，使得虚拟场景中球和运动员能够在虚拟现实场景中做出和真实场景一样的动作。

在一个具体实施例中，硬件***还包括有定位模块，优选的采用北斗/GNSS定位技术，确保***在体育比赛场馆中获取准确的位置信息，为运动员和比赛道具（例如足球或篮球等）的3D模型提供精确的定位数据。

在一个具体实施例中，硬件***中还包括有嵌入式微控制器和时间同步模块，嵌入式微控制器负责将时间信息解码成时间戳，并通过时间同步模块将时间信息同步给激光雷达的扫描仪和电机模块等，确保各个组件的时间同步性。

例如，假设嵌入式微控制器接收到的时间信息为t，时间同步模块用于将时间信息t同步给激光雷达的扫描仪和电机模块等。具体为：

首先，嵌入式微控制器将时间信息t解码成时间戳。时间戳通常表示从某个参考时间点（例如***启动时间）开始经过的时间，通常以秒为单位。时间戳t_stamp可以表示为：

t_stamp = t - t_0

其中，t_0是参考时间点的时间信息，通常是***启动时的时间。

接下来，需要将时间戳t_stamp传输给激光雷达的扫描仪和电机模块。在传输过程中，可能会存在传输延迟（Transmission Delay），即时间戳传输到激光雷达的扫描仪和电机模块所需的时间。为了确保时间同步性，需要考虑传输延迟对时间戳的影响。

设传输延迟为Δt，传输后的时间戳为t_stamp_transmitted。

t_stamp_transmitted = t_stamp + Δt

在接收端，激光雷达的扫描仪和电机模块接收到时间戳t_stamp_transmitted后，需要根据传输延迟Δt进行校正，以恢复实际的时间戳t_received。

t_received = t_stamp_transmitted - Δt

= t_stamp + Δt - Δt

= t_stamp

由上述公式可知，经过传输延迟的校正后，激光雷达的扫描仪和电机模块实际接收到的时间戳t_received等于发送端嵌入式微控制器解码得到的时间戳t_stamp，因此各个组件之间的时间同步性得到保证。

需要说明的是：实际***中可能存在不同的传输延迟和时钟抖动等问题，因此在设计和实现时间同步机制时需要综合考虑各种因素，以确保高精度的时间同步性。具体的实现方式和算法可能因应用场景和硬件配置而有所差异。上述描述仅为一个简单的时间同步原理示意，实际***中还需要综合考虑更多复杂因素。

在一个具体实施例中，优选的采用元宇宙服务器存储和处理场景和人物模型数据，为虚拟现实场景提供支持。

在一个具体实施例中，通讯模块使用5G通讯模块或WIFI模块，优选的采用5G通讯模块，利用5G通讯技术实时传输运动员和比赛道具等的数据至终端***，确保实时直播的流畅性和稳定性。

在本实施例中，终端***是观众参与虚拟比赛场景的主要工具，主要包括以下组件：

虚拟现实设备：优选的使用VR头戴式显示设备，使观众能够以虚拟的身份进入虚拟比赛场景，实时虚拟现实的体育比赛直播。

数据处理模块：该模块可对实时传输的运动员和比赛道具的动作数据进行点云配准和格式转换，确保虚拟现实场景中的人物和球的动作与真实比赛场景同步。其中：

1.点云配准主要通过“粗配准”+“精配准”来实现精准匹配。粗配准优选的采用基于点特征匹配的方法。基于点特征的点云配准方法通过使用一组预先确定的特征点来配准两个点云。其首先从参考点云和源点云中提取特征点，这是具有具有独特的几何或结构特征的点，如角或边缘，并且受噪声和异常值的影响较小。两组点云的对应的同名特征点可以表示为P={p₁,p₂,p₃,...,p_n}和Q={q₁,q₂,q₃,...,q_n}。利用匹配的特征点在参考点云和源点云之间建立点对应关系，这被用来计算对准两个点云的变换。两组点云的对应关系可用旋转矩阵R和平移参数t来表示。若经过P经过旋转和变换后和Q对齐，则P和Q存在如下关系：

其中，λ为变换尺度，一般点云配准中λ=1。直接采用方位元素计算法计算旋转矩阵工作量大，且只能适用于较小的旋转角。对于大旋角空间变化的角度参数求解，采用罗德里格矩阵构造法。首先构建反对称矩阵S，

其中，a,b,c为罗德里格矩阵的独立元素。R由S构成罗德里格矩阵，

其中，I为3阶单位矩阵。展开后旋转矩阵如下，

将该式的旋转矩阵R代入P和Q的关系式中，首先计算尺度参数，再解算旋转矩阵，最后计算平移参数。当两坐标系有3对公共点时，上述参数有唯一解。

在实际情况中，两坐标系的公共点常多于三个。在多余观测条件下，优选的根据最小二乘原理解算参数，可构造点误差方程，

其中各参数为：

其中，V₁为观测值改正数，A₁为旋转矩阵线性化后相关的系数矩阵，r为旋转参数改正数，B为待定点系数矩阵，t₁为待定点改正值，L₁为观测值残差。此处计算涉及到待匹配的两对点云中的公共特征点。源点云的特征点（x₀,y₀,z₀）作为真值，待匹配点云的特征点(x,y,z)作为观测值。由于不需要TLS点云的准确的绝对坐标，因此任意点云都可以作为源点云。

ICP算法同样是针对P和Q之间的关系进行计算，它的核心是最小化一个目标函数，即：

该方程的最优解为：

2.将动作捕捉（MoCap）数据和视频数据进行匹配是一个涉及多个步骤的过程，具体为：

首先需要通过动作捕捉***收集动作数据。这通常涉及使用一组摄像头和/或动作捕捉传感器来捕捉人或物体的动作。同时还需要录制视频数据，确保视频和动作捕捉数据的时间戳是对应的。

数据预处理，清理和处理动作捕捉数据以消除噪音和不一致。需要对视频数据进行类似的预处理，例如稳定、裁剪或调整颜色。

数据同步，使用时间戳或通过手动方式，找到动作捕捉数据和视频数据之间的对应关系，以确保它们是同步的。

三维重建与匹配，使用专业的软件，例如Blender或Maya，将动作捕捉数据导入并创建一个3D模型。在3D空间中放置虚拟摄像机以匹配实际视频拍摄的角度和位置。

渲染与合成，使用3D软件的渲染引擎，渲染与视频匹配的动作捕捉场景。使用合成软件（例如Adobe After Effects或Nuke）将渲染的动作捕捉数据与原始视频数据合成在一起。

微调与优化，在必要时进行微调以确保动作与视频的无缝匹配，可能包括手动调整动作数据、改变光照或摄像机位置等。

导出和评估，导出最终的合成视频并评估结果。在必要时，回到前面的步骤进行调整和优化。

交互模块：该模块允许观众在虚拟比赛场景中以虚拟身份自由选择观看不同视角，并进行身体动作交互，如头部转动、手部动作等，增强身临其境的观赛感受。

在一个具体实施例中，基于人工智能和大数据平台，优选的采用可供人机交互的大语言数据模型来为用户提供交流服务。

在一个具体实施例中，通过声光电模拟装置，在虚拟现实场景中增加环境声音、光影效果等元素，增强虚拟比赛场景的真实感，使观众获得更加沉浸式的观赛体验。

通过上述实施方式的描述，本领域技术人员可获知，本发明通过将元宇宙和数字孪生技术相结合，提供了一种创新的虚拟现实直播***，为观众带来全新的观看体验。利用虚拟现实技术，观众可以以虚拟的身份进入元宇宙场景，实时观看体育比赛，与真实比赛场景实时同步互动。相较于传统的直播方式，本发明的虚拟现实直播***大幅提升了观众的参与感和身临其境的观赛体验，使观众不再局限于固定视角，而是能够自由选择观看不同视角，并进行身体动作交互，如头部转动、手部动作等，增强了观赛体验的互动性和沉浸感。

本发明的虚拟现实直播***不仅能够应用于体育娱乐领域，还具有广泛的应用前景。在教育、文化遗产数字化保护、建筑物高精度实时监测、智慧城市规划以及数字孪生等领域，本发明都能为数字化发展提供有力的数据支持。通过数字孪生技术，本发明可以实时复制体育比赛场景的点云信息和运动员动作数据，实现真实场景和虚拟现实场景的无缝连接。同时，本发明利用5G通讯技术解决了海量点云数据的远程传输问题，确保实时直播的流畅性和稳定性。这些特点使得本发明在数字化发展和体育娱乐领域均具有广泛的应用价值和较大的经济效益，便于为用户提供了全新的观赛体验和互动体验，有助于推动虚拟现实技术的广泛应用。

本领域内的技术人员应明白，本发明的实施例可提供为***、方法或计算机程序产品等。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

应当注意的是，词语“包括”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于元宇宙和数字孪生技术的虚拟现实直播***，其特征在于，该***包括：硬件子***和终端子***，其中：

所述激光雷达用于扫描获取目标的三维点云信息；

所述摄像装置用于获取现场实时影像；

所述元宇宙服务器用于存储处理预设场景及模型数据；

2.根据权利要求1所述的一种基于元宇宙和数字孪生技术的虚拟现实直播***，其特征在于，所述硬件子***还包括：嵌入式微控制器和时间同步模块，用于使各组件之间的时间信息同步。

3.根据权利要求1所述的一种基于元宇宙和数字孪生技术的虚拟现实直播***，其特征在于，所述终端子***还包括：声光电模拟装置，用于在虚拟现实场景中增加环境声音和光影效果。

4.根据权利要求1所述的一种基于元宇宙和数字孪生技术的虚拟现实直播***，其特征在于，所述激光雷达上集成设置有：多线式固态三维激光扫描仪、旋转平台、电机模块、双水准气泡仪和指北针，其中：

5.根据权利要求1所述的一种基于元宇宙和数字孪生技术的虚拟现实直播***，其特征在于，所述摄像装置为高清摄像头或高清工业相机。

6.根据权利要求1所述的一种基于元宇宙和数字孪生技术的虚拟现实直播***，其特征在于，所述通讯模块为：5G通讯模块或WIFI模块。

7.根据权利要求1所述的一种基于元宇宙和数字孪生技术的虚拟现实直播***，其特征在于，所述虚拟现实设备为：VR头戴式显示设备。

8.根据权利要求1所述的一种基于元宇宙和数字孪生技术的虚拟现实直播***，其特征在于，所述跟踪设备中采用卡尔曼滤波追踪算法实时跟踪目标的动作变化。