CN117994477B - Xr扩展现实场景的实现方法、装置、设备及存储介质 - Google Patents
Xr扩展现实场景的实现方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117994477B CN117994477B CN202410389251.7A CN202410389251A CN117994477B CN 117994477 B CN117994477 B CN 117994477B CN 202410389251 A CN202410389251 A CN 202410389251A CN 117994477 B CN117994477 B CN 117994477B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- illumination
- information
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000005286 illumination Methods 0.000 claims abstract description 224
- 238000009877 rendering Methods 0.000 claims abstract description 70
- 238000002372 labelling Methods 0.000 claims abstract description 55
- 230000009471 action Effects 0.000 claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 230000002452 interceptive effect Effects 0.000 claims abstract description 19
- 238000004140 cleaning Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 67
- 230000033001 locomotion Effects 0.000 claims description 56
- 238000004088 simulation Methods 0.000 claims description 37
- 230000007613 environmental effect Effects 0.000 claims description 23
- 238000009826 distribution Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000003068 static effect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 8
- 238000010521 absorption reaction Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请涉及虚拟现实技术领域,公开了一种XR扩展现实场景的实现方法、装置、设备及存储介质。所述方法包括:对目标场景进行环境扫描,得到环境深度数据以及空间布局数据并进行数据清洗,得到目标三维数据;进行空间特征提取和深度信息配准,得到初始空间模型;物体信息标注,得到物体标注信息;进行光照信息采集,得到目标光照信息并生成模拟光照信息;进行模型渲染,得到目标空间模型;获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别,得到目标用户意图;根据目标用户意图对目标空间模型进行展示空间精度渲染,得到目标展示空间并传输至视觉展示终端,本申请提升XR扩展现实场景的实现的流畅性。
Description
技术领域
本申请涉及虚拟现实技术领域,尤其涉及一种XR扩展现实场景的实现方法、装置、设备及存储介质。
背景技术
XR扩展现实场景的实现方法是近年来人工智能、计算机视觉和深度学习等领域相互融合的产物。随着虚拟现实(VR)和增强现实(AR)技术的发展,人们对于更加沉浸式、真实感的交互体验的需求日益增加。为了实现在真实环境中与虚拟对象的无缝交互,研究者们着重探索了如何利用先进的传感器技术获取环境数据,并通过深度学习和计算机视觉技术对数据进行处理和分析,以实现对环境、物体以及光照等信息的准确获取和模拟。
然而,当前XR扩展现实场景的实现仍然面临一些挑战和问题。环境数据的获取和处理需要高精度和高效率的算法支持,以确保对场景的准确把握和快速响应用户操作。其次,物体识别与跟踪技术在复杂场景下仍存在识别误差和跟踪漂移等问题,需要进一步提升算法的鲁棒性和准确性。此外,虚拟对象的光照和阴影模拟对于实现真实感交互至关重要,然而光照模型的建立和光照效果的渲染仍然存在一定的局限性,需要更加精确和高效的模拟方法来提升用户体验。
发明内容
本申请提供了一种XR扩展现实场景的实现方法、装置、设备及存储介质,用于提升XR扩展现实场景的实现的流畅性。
第一方面,本申请提供了一种XR扩展现实场景的实现方法,所述XR扩展现实场景的实现方法包括:对目标场景进行环境扫描,得到环境深度数据以及空间布局数据并进行数据清洗,得到目标三维数据;将所述目标三维数据以及所述环境深度数据输入三维卷积神经网络进行空间特征提取,得到空间特征集,并基于所述空间特征集,将所述环境深度数据输入迭代最近点算法进行深度信息配准,得到初始空间模型;对所述目标场景进行物体信息标注,得到物体标注信息;对所述目标场景进行光照信息采集,得到目标光照信息并进行模拟光照信息生成,得到模拟光照信息;基于所述物体标注信息以及所述模拟光照信息对所述初始空间模型进行模型渲染,得到目标空间模型;获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别,得到目标用户意图;根据所述目标用户意图对所述目标空间模型进行展示空间精度渲染,得到目标展示空间并传输至视觉展示终端。
结合第一方面,在本申请第一方面的第一种实现方式中,所述对目标场景进行环境扫描,得到环境深度数据以及空间布局数据并进行数据清洗,得到目标三维数据,包括:
通过激光雷达装置以及高分辨率对目标场景进行环境扫描,得到环境深度数据以及空间布局数据;
通过高通滤波器对所述环境深度数据进行高频噪声去除,得到去除深度数据;
通过深度图像超分辨率算法对所述空间布局数据进行清晰度校正,得到校正布局数据;
对所述校正布局数据进行边缘平滑处理,得到平滑布局数据;
对所述去除深度数据进行缺失数据填充,得到填充深度数据;
将所述平滑布局数据以及所述填充深度数据输入点云转换算法进行空间数据转换,得到所述目标三维数据。
结合第一方面,在本申请第一方面的第二种实现方式中,所述对所述目标场景进行物体信息标注,得到物体标注信息,包括:
基于所述改进Mask R-CNN算法对所述目标三维数据进行背景数据提取,得到背景区域数据;
通过所述背景区域数据对所述目标三维数据进行物体划分,得到动态物体数据以及静态物体数据;
通过帧间差分法对所述动态物体数据进行运动物体识别,得到运动物体集合,其中,所述运动物体集合包括多个运动物体;
通过所述光流算法对所述运动物体集合进行物体运动数据分析,得到物体运动速度数据以及物体运动方向数据;
基于所述物体运动速度数据以及所述物体运动方向数据,通过物体跟踪算法对所述运动物体集合进行物体追踪,得到物体追踪数据;
基于所述物体追踪数据对所述运动物体集合中每个所述运动物体进行运动轨迹预测,得到多个预测运动轨迹;
基于多个所述预测运动轨迹以及多个所述运动物体,对所述目标场景进行物体信息标注,得到初始标注信息;
基于所述静态物体数据对所述初始标注信息进行信息修正,得到所述物体标注信息。
结合第一方面,在本申请第一方面的第三种实现方式中,所述对所述目标场景进行光照信息采集,得到目标光照信息并进行模拟光照信息生成,得到模拟光照信息,包括:
对所述目标场景进行光照信息采集,得到目标光照信息;
对所述目标光照信息进行信息提取,得到光照分布信息以及光照强度数据;
基于所述光照分布信息以及所述光照强度数据建立初始光照模型;
根据所述初始光照模型生成模拟光照虚拟物体,并对所述模拟光照虚拟物体进行表面点光照接收数据分析,得到光照接收数据;
对所述模拟光照虚拟物体进行几何形状提取,得到目标几何形状;
基于所述目标几何形状对所述模拟光照虚拟物体进行阴影区域识别,得到阴影区域;
对所述阴影区域进行模糊边缘数据构建,得到模拟边缘数据,同时,通过光照衰减数据计算公式对所述阴影区域进行光照衰减数据计算,得到光照衰减数据,其中,所述光照衰减数据计算公式如下所示:
;
其中,为光照衰减数据,/>为光照强度数据,P表示模拟光照虚拟物体中阴影区域的P点;/>为P点到光源的距离;/>为所述模拟光照虚拟物体的介质吸收系数;为阴影区域的中心位置参数;/>为阴影区域面积;/>为阴影区域的形状参数;/>为散射系数;
将所述光照接收数据、所述模拟边缘数据以及所述光照衰减数据输入所述蒙特卡洛光线追踪算法进行模拟光照信息生成,得到模拟光照信息。
结合第一方面,在本申请第一方面的第四种实现方式中,所述基于所述物体标注信息以及所述模拟光照信息对所述初始空间模型进行模型渲染,得到目标空间模型,包括:
对所述物体标注信息进行物体空间关系识别,得到物体空间关系数据,同时,对所述物体标注信息进行物体间距计算,得到物体间距数据;
根据所述模拟光照信息生成直接模拟光源数据以及间接模拟光源数据;
基于所述物体空间关系数据以及所述物体间距数据对所述初始空间模型进行物理材质属性分配,得到第一空间模型;
基于所述直接模拟光源数据以及所述间接模拟光源数据,对所述第一空间模型进行光照渲染,得到第二空间模型;
对所述第二空间模型进行增强渲染处理,得到所述目标空间模型。
结合第一方面,在本申请第一方面的第五种实现方式中,所述获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别,得到目标用户意图,包括:
接收目标用户的交互语音数据,并对所述交互语音数据动态范围压缩,得到压缩语音数据;
对所述压缩语音数据进行频谱平衡处理,得到平衡语音数据;
将所述平衡语音数据输入所述用户意图识别模型进行语音时频特征提取,得到语音时频特征数据,其中,所述语音时频特征数据包括:语调特征、节奏特征以及语义特征;
将所述肢体动作图像输入所述用户意图识别模型进行姿态关键点识别,得到姿态关键点集合;
对所述语音时频特征数据以及所述姿态关键点集合进行动作特征识别,得到用户动作特征;
根据所述用户动作特征进行用户意图匹配,得到所述目标用户的目标用户意图。
结合第一方面,在本申请第一方面的第六种实现方式中,所述根据所述目标用户意图对所述目标空间模型进行展示空间精度渲染,得到目标展示空间并传输至视觉展示终端,包括:
对所述目标用户意图进行空间状态匹配,得到目标空间状态;
根据所述目标空间状态对所述目标空间模型进行空间区域划分,得到用户意向空间;
对所述用户意向空间进行渲染参数识别,得到待渲染参数;
根据所述目标用户意图对所述待渲染参数进行参数分析,得到目标渲染参数;
基于所述目标渲染参数对所述用户意向空间进行展示空间精度渲染,得到目标展示空间,并将所述目标展示空间传输至所述目标用户的视觉展示终端。
第二方面,本申请提供了一种XR扩展现实场景的实现装置,所述XR扩展现实场景的实现装置包括:
扫描模块,用于对目标场景进行环境扫描,得到环境深度数据以及空间布局数据并进行数据清洗,得到目标三维数据;
提取模块,用于将所述目标三维数据以及所述环境深度数据输入三维卷积神经网络进行空间特征提取,得到空间特征集,并基于所述空间特征集,将所述环境深度数据输入迭代最近点算法进行深度信息配准,得到初始空间模型;
标注模块,用于对所述目标场景进行物体信息标注,得到物体标注信息;
生成模块,用于对所述目标场景进行光照信息采集,得到目标光照信息并进行模拟光照信息生成,得到模拟光照信息;
渲染模块,用于基于所述物体标注信息以及所述模拟光照信息对所述初始空间模型进行模型渲染,得到目标空间模型;
识别模块,用于获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别,得到目标用户意图;
传输模块,用于根据所述目标用户意图对所述目标空间模型进行展示空间精度渲染,得到目标展示空间并传输至视觉展示终端。
本申请第三方面提供了一种XR扩展现实场景的实现设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述XR扩展现实场景的实现设备执行上述的XR扩展现实场景的实现方法。
本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的XR扩展现实场景的实现方法。
本申请提供的技术方案中,通过预置激光雷达装置和高分辨率摄像头等传感器,能够实时获取环境的深度数据和空间布局信息,从而实现对真实场景的高精度感知和重建。这一特征使得XR应用能够在真实环境中准确定位虚拟对象,实现虚实融合的沉浸式体验。利用深度学习算法对获取的环境数据进行处理和分析,可以实现对物体的准确识别、跟踪和标注。这一特征使得XR应用能够实现对真实世界中的动态变化进行实时感知和响应,提高了虚拟内容与真实环境的交互性和逼真度。通过模拟光照信息和阴影效果,可以使得虚拟对象与真实环境之间的视觉一致性得到提升。这一特征使得XR应用能够更好地融合虚拟内容与真实场景,增强了用户的沉浸感和体验感。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以基于这些附图获得其他的附图。
图1为本申请实施例中XR扩展现实场景的实现方法的一个实施例示意图;
图2为本申请实施例中XR扩展现实场景的实现装置的一个实施例示意图。
具体实施方式
本申请实施例提供了一种XR扩展现实场景的实现方法、装置、设备及存储介质。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本申请实施例的具体流程进行描述,请参阅图1,本申请实施例中XR扩展现实场景的实现方法的一个实施例包括:
步骤S101、对目标场景进行环境扫描,得到环境深度数据以及空间布局数据并进行数据清洗,得到目标三维数据;
可以理解的是,本申请的执行主体可以为XR扩展现实场景的实现装置,还可以是终端或者服务器,具体此处不做限定。本申请实施例以服务器为执行主体为例进行说明。
具体的,通过激光雷达装置以及高分辨率摄像头对目标场景进行环境扫描,获取环境深度数据以及空间布局数据,构建起场景的基本框架。为了提高数据的质量和准确性,采用高通滤波器对获取的环境深度数据进行处理,去除深度数据中的高频噪声,这些噪声往往是由于扫描设备的限制或者环境因素造成。通过深度图像超分辨率算法对空间布局数据进行清晰度校正,通过提升图像分辨率的方式增强空间布局数据的细节,使得布局数据更加清晰准确。为了使得空间布局更加自然,对校正后的布局数据进行边缘平滑处理,减少数据转换过程中可能出现的锯齿状边缘,使得布局数据更加平滑自然。针对去除深度数据中可能存在的数据缺失问题,采用特定算法进行缺失数据的填充,确保深度数据的完整性。将平滑后的布局数据和填充后的深度数据输入点云转换算法,该算法将二维的数据转换为三维的点云数据,从而得到目标的三维数据。
步骤S102、对目标三维数据以及环境深度数据进行空间特征提取并通过迭代最近点算法进行深度信息配准,得到初始空间模型;
具体的,对目标三维数据以及环境深度数据进行空间特征提取,识别出具有代表性的空间特征点,这些特征点能够反映出场景的关键结构信息,如角点、边缘或其他显著的几何形状。通过迭代最近点算法进行深度信息配准。迭代最近点算法是一种常用于点云数据配准的方法,通过迭代过程逐步优化目标点云和源点云之间的对应关系,从而实现两者的精确叠加。在这个过程中,算法估计出一个初始的变换,然后在每次迭代中,通过寻找源点云中每个点到目标点云中最近点的匹配,计算出一个最佳的变换(包括旋转和平移),以最小化两个点云间的距离差异。随着迭代次数的增加,配准的精度逐渐提高,直到达到预设的收敛条件或最大迭代次数。通过将空间特征提取与迭代最近点算法结合,可以高效地处理和整合目标三维数据与环境深度数据,确保两者在空间上的一致性和准确性。这一过程不仅需要考虑数据的几何属性,还要考虑到数据的拓扑结构和相互关系,以确保最终得到的初始空间模型能够真实、准确地反映出现实世界的空间布局和结构特征。通过迭代最近点算法的反复优化和调整,最终得到的初始空间模型将作为后续模型渲染和用户交互的基础。
步骤S103、对目标场景进行物体信息标注,得到物体标注信息;
具体的,基于改进Mask R-CNN算法对目标三维数据进行背景数据提取,有效地区分出场景中的背景区域。得到的背景区域数据随后用于进一步区分目标三维数据中的动态物体和静态物体,使得场景中的物体可以根据其动态或静态的特性被有效识别。对于识别出的动态物体数据,采用帧间差分法进行运动物体的识别,通过分析连续帧之间的差异来识别出运动中的物体,形成一个包含多个运动物体的集合。为了进一步分析这些运动物体的行为,通过光流算法计算物体的运动速度和方向,这种方法通过评估图像序列中物体像素点的运动来估算物体的运动特性。得到物体运动速度和方向数据后,利用物体跟踪算法对运动物体集合进行追踪,生成物体追踪数据。物体跟踪算法通过连续帧中的物***置变化来追踪每个物体的运动轨迹,从而能够在动态变化的场景中保持对物体的持续识别和跟踪。基于物体追踪数据,对运动物体集合中每个物体进行运动轨迹的预测,生成多个预测运动轨迹。这些轨迹预测为场景中物体的未来位置和运动趋势提供了重要信息。基于生成的预测运动轨迹以及识别出的运动物体,对目标场景进行物体信息标注,生成初始标注信息。这一步骤不仅标注了物体的种类和位置,还包括了物体的运动特性。利用静态物体数据对初始标注信息进行修正,以确保标注信息的准确性和完整性。静态物体的数据有助于修正因动态物体运动预测不准确而可能产生的误差,最终形成准确的物体标注信息。
步骤S104、对目标场景进行光照信息采集,得到目标光照信息并进行模拟光照信息生成,得到模拟光照信息;
具体的,对目标场景进行光照信息采集,获得关于光照分布和光照强度的初步数据。使用高精度的光照传感器或相机来捕捉环境光的特性,包括光源的位置、光线的方向以及光线的强度等信息。对目标光照信息进行信息提取,得到关于光照分布和光照强度的详细数据。这些数据是建立初始光照模型的基础,初始光照模型能够大致模拟出场景中光线的分布情况,为后续的模拟光照效果提供参考。基于初始光照模型,通过计算机图形学技术生成模拟光照虚拟物体,并对这些虚拟物体的表面进行点光照接收数据分析,模拟光线在物体表面的反射、折射和吸收等物理现象,从而获得光照接收数据。之后,对模拟光照虚拟物体进行几何形状提取和阴影区域识别,这不仅涉及到物体的形状分析,还需要对光源位置和物***置之间的相对关系进行计算,以识别出可能产生阴影的区域。阴影的生成是光照模拟中一个极为重要的部分,因为它直接影响到场景的真实感。通过构建模拟边缘数据和进行光照衰减数据计算,增强模拟阴影的真实性。光照衰减数据的计算复杂,涉及到多个参数,如光源到物体的距离、物体的介质吸收系数等,这些参数共同作用,决定了光线在传播过程中的衰减情况。将光照接收数据、模拟边缘数据以及光照衰减数据一并输入蒙特卡洛光线追踪算法中,进行模拟光照信息的生成。蒙特卡洛光线追踪算法通过模拟大量光线的传播和相互作用,能够生成逼真的光照效果,从而得到最终的模拟光照信息。
步骤S105、基于物体标注信息以及模拟光照信息对初始空间模型进行模型渲染,得到目标空间模型;
具体的,基于物体标注信息,通过物体空间关系识别得到物体之间的相对位置和方向等空间关系数据,并进行物体间距的计算以获得物体间的具体距离数据。这决定了各物体在虚拟空间中的排列和相互作用,为物理材质属性的分配提供了必要的基础。根据模拟光照信息生成直接模拟光源和间接模拟光源数据,通过光照模拟算法,直接模拟光源数据代表从光源直接照射到物体上的光线,而间接模拟光源数据则模拟了在环境中反射和散射的光线。基于物体空间关系数据和物体间距数据,对初始空间模型进行物理材质属性的分配,生成第一空间模型。在这个过程中,每个物体根据其在场景中的位置、距离其他物体的远近以及预定的物理属性(如反射率、透明度、质地等),被赋予相应的材质属性。基于直接模拟光源数据和间接模拟光源数据,对第一空间模型进行光照渲染,得到第二空间模型。通过计算光线与物体表面的交互,模拟光线的吸收、反射和折射等物理现象,从而实现了场景内光照效果的高度真实模拟。这一过程中,直接和间接光源的数据共同作用,使得渲染出的场景能够展示出复杂的光影效果,如柔和的阴影、光线的渐变和反射等。对第二空间模型进行增强渲染处理,通过高级渲染技术如全局光照算法、HDR渲染等,进一步提升场景的视觉效果,增强场景的真实感和视觉冲击力,最终得到目标空间模型。
步骤S106、获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别,得到目标用户意图;
具体的,接收目标用户的交互语音数据,并通过动态范围压缩处理这些语音数据,以减少背景噪音的干扰并提高语音指令的清晰度,得到压缩后的语音数据。为了进一步提升语音数据的质量,对压缩后的语音数据进行频谱平衡处理,优化语音信号的频谱分布,使得语音数据在不同频率上的能量分布更加均匀,得到平衡的语音数据。将平衡语音数据输入用户意图识别模型进行语音时频特征提取,模型利用深度学习算法对语音进行时频特征提取,包括分析语调、节奏以及语义等特征,形成包含丰富信息的语音时频特征数据。同时,将肢体动作图像输入用户意图识别模型进行姿态关键点识别,模型通过图像处理和计算机视觉技术进行姿态关键点的识别,识别出用户肢体的关键动作点,生成姿态关键点集合。对语音时频特征数据和姿态关键点集合进行综合分析,识别出用户的动作特征。通过将声音的节奏、语调与肢体动作的特征结合起来,形成一个全面的用户行为特征模型,以此来理解用户的真实意图。根据综合分析得到的用户动作特征进行用户意图匹配,得到目标用户的意图。利用模式识别和机器学习技术,使***能够在复杂的交互环境中准确理解用户的需求,捕捉并识别用户的意图,为用户提供更加自然、直观且高效的交互体验。
步骤S107、根据目标用户意图对目标空间模型进行展示空间精度渲染,得到目标展示空间并传输至视觉展示终端。
具体的,通过空间状态匹配确定用户希望交互的目标空间状态。通过分析用户的语音指令、肢体动作以及预设的场景逻辑,准确捕捉到用户想要探索或者交互的空间部分,从而得到目标空间状态。根据目标空间状态,对目标空间模型进行空间区域划分,识别出用户意向空间。将整个空间模型按照用户的意图分割成多个子区域,其中用户意向空间是用户最关注的部分,需要进行重点渲染和展示。对用户意向空间进行渲染参数识别,包括光照强度、纹理分辨率、动态效果等待渲染参数,这些参数的设置影响到渲染效果的真实性和细腻度。根据目标用户意图对待渲染参数进行参数分析,确定最终的目标渲染参数。基于目标渲染参数,对用户意向空间进行展示空间精度渲染,利用渲染技术,如光线追踪、全局光照等,精细渲染出符合用户意图的目标展示空间。渲染完成后,目标展示空间将通过高速数据传输技术,如5G网络、高带宽Wi-Fi等,实时传输至目标用户的视觉展示终端。
本申请实施例中,通过预置激光雷达装置和高分辨率摄像头等传感器,能够实时获取环境的深度数据和空间布局信息,从而实现对真实场景的高精度感知和重建。这一特征使得XR应用能够在真实环境中准确定位虚拟对象,实现虚实融合的沉浸式体验。利用深度学习算法对获取的环境数据进行处理和分析,可以实现对物体的准确识别、跟踪和标注。这一特征使得XR应用能够实现对真实世界中的动态变化进行实时感知和响应,提高了虚拟内容与真实环境的交互性和逼真度。通过模拟光照信息和阴影效果,可以使得虚拟对象与真实环境之间的视觉一致性得到提升。这一特征使得XR应用能够更好地融合虚拟内容与真实场景,增强了用户的沉浸感和体验感。
在一具体实施例中,执行步骤S101的过程可以具体包括如下步骤:
(1)通过激光雷达装置以及高分辨率对目标场景进行环境扫描,得到环境深度数据以及空间布局数据;
(2)通过高通滤波器对环境深度数据进行高频噪声去除,得到去除深度数据;
(3)通过深度图像超分辨率算法对空间布局数据进行清晰度校正,得到校正布局数据;
(4)对校正布局数据进行边缘平滑处理,得到平滑布局数据;
(5)对去除深度数据进行缺失数据填充,得到填充深度数据;
(6)将平滑布局数据以及填充深度数据输入点云转换算法进行空间数据转换,得到目标三维数据。
具体的,通过激光雷达装置对目标场景进行扫描,捕捉场景的深度信息,这种设备能够发送激光脉冲并测量激光反射回来的时间,从而准确计算出物体的距离。同时,高分辨率相机则用于捕获场景的细节纹理和布局。通过高通滤波器对环境深度数据进行高频噪声去除。高频噪声通常是由于设备的测量误差或者环境因素如光照变化引起的,这些噪声会干扰深度数据的准确性。高通滤波器能够有效地抑制这些噪声,保留下有用的深度信息。为了提高空间布局数据的清晰度,采用深度图像超分辨率算法进行处理。该算法通过增加图像的分辨率来提升细节的清晰度,使得原本模糊的空间布局数据变得更加精确。例如,在一个复杂的室内环境中,超分辨率算法可以帮助更清楚地识别出小物件和细节特征。对校正后的布局数据进行边缘平滑处理。通过算法减少图像边缘的锯齿效果,使得物体的边缘更加平滑自然。对去除深度数据进行缺失数据填充。在扫描过程中,由于遮挡或其他因素,某些区域的深度信息可能无法被捕获,导致数据不完整。通过特定的算法,如插值或者基于模型的预测方法,可以估算并填补这些缺失的数据,确保深度信息的完整性。将经过边缘平滑处理的布局数据和填充完整的深度数据结合起来,输入点云转换算法进行空间数据转换,得到目标三维数据。点云转换算法将二维图像数据转换为三维点云表示,这一表示形式能够精确地描述物体的形状和空间位置。
在一具体实施例中,执行步骤S103的过程可以具体包括如下步骤:
(1)基于改进Mask R-CNN算法对目标三维数据进行背景数据提取,得到背景区域数据;
(2)通过背景区域数据对目标三维数据进行物体划分,得到动态物体数据以及静态物体数据;
(3)通过帧间差分法对动态物体数据进行运动物体识别,得到运动物体集合,其中,运动物体集合包括多个运动物体;
(4)通过光流算法对运动物体集合进行物体运动数据分析,得到物体运动速度数据以及物体运动方向数据;
(5)基于物体运动速度数据以及物体运动方向数据,通过物体跟踪算法对运动物体集合进行物体追踪,得到物体追踪数据;
(6)基于物体追踪数据对运动物体集合中每个运动物体进行运动轨迹预测,得到多个预测运动轨迹;
(7)基于多个预测运动轨迹以及多个运动物体,对目标场景进行物体信息标注,得到初始标注信息;
(8)基于静态物体数据对初始标注信息进行信息修正,得到物体标注信息。
具体的,基于改进Mask R-CNN算法对目标三维数据进行背景数据提取,该深度学习模型专门设计来识别图像中的对象并为每个对象生成高质量的分割掩码。算法能够精确地识别出场景中的背景区域数据,从而将背景与前景对象(即场景中的物体)区分开来。利用背景区域数据,对目标三维数据进行物体划分,将场景中的物体分为动态物体和静态物体两大类。动态物体指的是那些在序列帧中具有移动或变化的物体,如行走的人或移动的车辆;而静态物体则是位置固定不变的物体,如路灯和建筑物。这一划分有助于后续的运动物体识别和追踪。对于识别出的动态物体数据,采用帧间差分法进行运动物体识别。帧间差分法通过比较连续帧之间的差异来检测运动物体,得到运动物体集合。采用光流算法对运动物体集合进行物体运动数据分析,计算出每个运动物体的速度和移动方向。光流算法基于像素强度的时间变化来估计物体表面的运动速度,使得可以得到关于物体运动速度和方向的详细数据。通过物体跟踪算法对运动物体集合进行追踪。物体跟踪算法利用连续帧中物体的运动信息来追踪其运动轨迹,这一过程中不仅考虑了物体的空间位置变化,还考虑了其速度和方向的变化,从而生成精确的物体追踪数据。基于物体追踪数据,对每个运动物体进行运动轨迹的预测,通过分析物体的当前运动状态和历史运动轨迹来预测其未来位置。基于预测的运动轨迹和识别出的运动物体,对目标场景进行物体信息标注,生成初始标注信息。对每个物体的类型、位置、运动状态等属性进行标注。利用静态物体数据对初始标注信息进行修正和完善,确保物体标注信息的准确性和一致性。
在一具体实施例中,执行步骤S104的过程可以具体包括如下步骤:
(1)对目标场景进行光照信息采集,得到目标光照信息;
(2)对目标光照信息进行信息提取,得到光照分布信息以及光照强度数据;
(3)基于光照分布信息以及光照强度数据建立初始光照模型;
(4)根据初始光照模型生成模拟光照虚拟物体,并对模拟光照虚拟物体进行表面点光照接收数据分析,得到光照接收数据;
(5)对模拟光照虚拟物体进行几何形状提取,得到目标几何形状;
(6)基于目标几何形状对模拟光照虚拟物体进行阴影区域识别,得到阴影区域;
(7)对阴影区域进行模糊边缘数据构建,得到模拟边缘数据,同时,通过光照衰减数据计算公式对阴影区域进行光照衰减数据计算,得到光照衰减数据,其中,光照衰减数据计算公式如下所示:
;
其中,为光照衰减数据,/>为光照强度数据,P表示模拟光照虚拟物体中阴影区域的P点;/>为P点到光源的距离;/>为模拟光照虚拟物体的介质吸收系数;/>为阴影区域的中心位置参数;/>为阴影区域面积;/>为阴影区域的形状参数;/>为散射系数;
(8)将光照接收数据、模拟边缘数据以及光照衰减数据输入蒙特卡洛光线追踪算法进行模拟光照信息生成,得到模拟光照信息。
具体的,对目标场景进行光照信息采集,使用高动态范围(HDR)相机和光照传感器,捕捉到场景中各种光源的光照强度及其分布特性,获得目标光照信息。例如,如果目标场景是一个室内环境,采集到的光照信息将包括来自窗外的自然光、室内灯具发出的人工光等光源的综合效果。对目标光照信息进行信息提取,得到光照分布信息和光照强度数据。通过分析光照信息中的光谱成分和光强变化,明确哪些区域受到直接照明,哪些区域处于阴影中,以及这些光照是如何在空间中分布的。基于光照分布信息以及光照强度数据建立初始光照模型。这一模型是对实际光照环境的初步数字化表示,它考虑了光源的位置、光线的方向以及光线的强度等因素,为模拟光照效果提供了基础。例如,通过初始光照模型,可以预测光线如何从室内的灯具发散到整个房间,以及不同物体表面如何接收这些光线。根据初始光照模型,生成模拟光照虚拟物体,并对虚拟物体进行表面点光照接收数据分析。计算光线与物体表面的交互,包括光线的反射、折射和吸收等。通过这种分析,得到光照接收数据,这些数据反映了虚拟物体表面在不同光照条件下的外观变化。之后,对模拟光照虚拟物体进行几何形状提取,并基于几何形状进行阴影区域的识别。这涉及到计算光线如何被物体遮挡,以及这些遮挡如何影响光线在场景中的传播,从而形成阴影。针对识别出的阴影区域,通过模糊边缘数据构建和光照衰减数据计算来模拟自然界中光照的复杂现象。这包括模拟光线在穿过不同介质(如空气中的尘埃、水雾等)时的散射和衰减效应,以及阴影边缘的模糊效果。这些效果能够大大增强模拟光照的真实感。将光照接收数据、模拟边缘数据以及光照衰减数据输入蒙特卡洛光线追踪算法,进行模拟光照信息的生成。蒙特卡洛光线追踪算法通过模拟大量光线的传播路径和相互作用,能够生成逼真的光照效果。
在一具体实施例中,执行步骤S105的过程可以具体包括如下步骤:
(1)对物体标注信息进行物体空间关系识别,得到物体空间关系数据,同时,对物体标注信息进行物体间距计算,得到物体间距数据;
(2)根据模拟光照信息生成直接模拟光源数据以及间接模拟光源数据;
(3)基于物体空间关系数据以及物体间距数据对初始空间模型进行物理材质属性分配,得到第一空间模型;
(4)基于直接模拟光源数据以及间接模拟光源数据,对第一空间模型进行光照渲染,得到第二空间模型;
(5)对第二空间模型进行增强渲染处理,得到目标空间模型。
具体的,对物体标注信息进行物体空间关系识别,分析场景中各个物体的相对位置和方向。同时,对物体标注信息进行物体间距计算,量化这些空间关系,为后续的渲染和物理材质属性分配提供信息。根据模拟光照信息生成直接模拟光源和间接模拟光源数据。直接模拟光源数据反映了光源直接照射到物体上的光照效果;间接模拟光源数据则模拟了光线在空间内部反射和散射后的效果,比如墙壁表面反射的光线。这些数据的生成依赖于光照模型和场景中物体的反射特性分析,确保了光照效果的真实性和一致性。基于物体空间关系和物体间距数据,对初始空间模型进行物理材质属性的分配,生成第一空间模型。为每个物体分配正确的材质属性,这些材质属性不仅影响物体的视觉外观,还影响光照效果,包括光线的反射、吸收和透射。通过物理材质属性分配,第一空间模型能够更真实地模拟物体间的光照交互和视觉效果。基于直接和间接模拟光源数据,对第一空间模型进行光照渲染,生成第二空间模型。渲染过程通过高级渲染算法,如光线追踪或光子映射,模拟光线在场景中的传播、反射和散射,从而产生逼真的光照效果。这包括阳光通过窗户投射的光斑、墙壁上的柔和阴影以及物体间的细微光照变化。对第二空间模型进行增强渲染处理,得到目标空间模型。增强渲染处理可能包括添加环境光遮蔽、景深效果、光晕和反射高光等视觉效果,以进一步提升场景的真实感和视觉冲击力。例如,通过环境光遮蔽技术,增强客厅角落和家具缝隙中的阴影效果,使场景看起来更加立体和真实。景深效果则可以模拟相机焦距的影响,使得视觉焦点附近的物体清晰,而远处的物体略显模糊,增加了场景的深度感。
在一具体实施例中,执行步骤S106的过程可以具体包括如下步骤:
(1)接收目标用户的交互语音数据,并对交互语音数据动态范围压缩,得到压缩语音数据;
(2)对压缩语音数据进行频谱平衡处理,得到平衡语音数据;
(3)将平衡语音数据输入用户意图识别模型进行语音时频特征提取,得到语音时频特征数据,其中,语音时频特征数据包括:语调特征、节奏特征以及语义特征;
(4)将肢体动作图像输入用户意图识别模型进行姿态关键点识别,得到姿态关键点集合;
(5)对语音时频特征数据以及姿态关键点集合进行动作特征识别,得到用户动作特征;
(6)根据用户动作特征进行用户意图匹配,得到目标用户的目标用户意图。
具体的,接收目标用户的交互语音数据,对语音数据进行动态范围压缩。动态范围压缩是一种声音处理技术,用于减少录音中最大和最小音量之间的差异,使得语音信号在不同音量水平上都能保持较好的听感质量。例如,当用户在嘈杂的环境中发出指令时,动态范围压缩有助于保留语音的清晰度,同时减少背景噪声的影响。对压缩语音数据进行频谱平衡处理,调整音频信号中各个频率成分的强度,使得语音信号在频谱上分布更加均匀,从而改善语音信号的可懂度和自然度,提高语音信号中重要语音特征的可辨识度。通过频谱平衡处理,确保语音数据在后续的分析和处理中具有更高的质量和一致性。将平衡后的语音数据输入用户意图识别模型进行语音时频特征提取。使用深度学习模型如卷积神经网络(CNN)或循环神经网络(RNN)从语音信号中提取关键的时频特征,包括语调特征、节奏特征以及语义特征。例如,通过分析语音的语调变化,捕捉到用户询问或命令的语气;节奏特征则有助于理解用户语言的流畅度和紧迫性;语义特征则直接关联到用户想要表达的内容和意图。同时,将目标用户的肢体动作图像输入用户意图识别模型中进行姿态关键点识别。利用计算机视觉技术,如姿态估计算法,从图像中识别出人体的各个关键部位,并构建出姿态关键点集合。将语音时频特征数据和姿态关键点集合进行综合分析,识别出用户的动作特征。通过融合语音和视觉信息,理解用户的交互意图。基于用户动作特征进行用户意图匹配,最终得到目标用户的意图。这一过程中,机器学习模型根据之前训练的数据模式,对用户的行为和语音指令进行解析和匹配,从而准确识别用户的具体需求。
在一具体实施例中,执行步骤S107的过程可以具体包括如下步骤:
(1)对目标用户意图进行空间状态匹配,得到目标空间状态;
(2)根据目标空间状态对目标空间模型进行空间区域划分,得到用户意向空间;
(3)对用户意向空间进行渲染参数识别,得到待渲染参数;
(4)根据目标用户意图对待渲染参数进行参数分析,得到目标渲染参数;
(5)基于目标渲染参数对用户意向空间进行展示空间精度渲染,得到目标展示空间,并将目标展示空间传输至目标用户的视觉展示终端。
具体的,对目标用户意图进行空间状态匹配,确保能够准确捕捉用户的需求并转化为具体的空间状态。根据目标空间状态对目标空间模型进行空间区域划分,以识别用户意向空间。在整个空间模型中定位到用户最感兴趣的部分,并将其划分为待渲染的重点区域。对用户意向空间进行渲染参数识别,包括光照、纹理、细节层次等参数,它们共同决定了渲染效果的真实性和视觉冲击力。根据目标用户意图对待渲染参数进行分析,确定最终的目标渲染参数。这要求理解用户的基本需求,还需要捕捉用户对场景细节的偏好,参数分析确保最终渲染的场景能够尽可能贴合用户的预期。基于目标渲染参数,对用户意向空间进行展示空间精度的渲染。采用图形渲染技术,如光线追踪、全局光照等算法,以生成高度真实感的视觉效果。渲染完成后,目标展示空间将通过数据传输技术实时传输至目标用户的视觉展示终端。
上面对本申请实施例中XR扩展现实场景的实现方法进行了描述,下面对本申请实施例中XR扩展现实场景的实现装置进行描述,请参阅图2,本申请实施例中XR扩展现实场景的实现装置一个实施例包括:
扫描模块201,用于对目标场景进行环境扫描,得到环境深度数据以及空间布局数据并进行数据清洗,得到目标三维数据;
提取模块202,用于将所述目标三维数据以及所述环境深度数据输入三维卷积神经网络进行空间特征提取,得到空间特征集,并基于所述空间特征集,将所述环境深度数据输入迭代最近点算法进行深度信息配准,得到初始空间模型;
标注模块203,用于对所述目标场景进行物体信息标注,得到物体标注信息;
生成模块204,用于对所述目标场景进行光照信息采集,得到目标光照信息并进行模拟光照信息生成,得到模拟光照信息;
渲染模块205,用于基于所述物体标注信息以及所述模拟光照信息对所述初始空间模型进行模型渲染,得到目标空间模型;
识别模块206,用于获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别,得到目标用户意图;
传输模块207,用于根据所述目标用户意图对所述目标空间模型进行展示空间精度渲染,得到目标展示空间并传输至视觉展示终端。
通过上述各个组成部分的协同合作,通过预置激光雷达装置和高分辨率摄像头等传感器,能够实时获取环境的深度数据和空间布局信息,从而实现对真实场景的高精度感知和重建。这一特征使得XR应用能够在真实环境中准确定位虚拟对象,实现虚实融合的沉浸式体验。利用深度学习算法对获取的环境数据进行处理和分析,可以实现对物体的准确识别、跟踪和标注。这一特征使得XR应用能够实现对真实世界中的动态变化进行实时感知和响应,提高了虚拟内容与真实环境的交互性和逼真度。通过模拟光照信息和阴影效果,可以使得虚拟对象与真实环境之间的视觉一致性得到提升。这一特征使得XR应用能够更好地融合虚拟内容与真实场景,增强了用户的沉浸感和体验感。
本申请还提供一种XR扩展现实场景的实现设备,所述XR扩展现实场景的实现设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述XR扩展现实场景的实现方法的步骤。
本申请还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述XR扩展现实场景的实现方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,***和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random acceS memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (7)
1.一种XR扩展现实场景的实现方法,其特征在于,所述XR扩展现实场景的实现方法包括:
对目标场景进行环境扫描,得到环境深度数据以及空间布局数据并进行数据清洗,得到目标三维数据;
对所述目标三维数据以及所述环境深度数据进行空间特征提取并通过迭代最近点算法进行深度信息配准,得到初始空间模型;
对所述目标场景进行物体信息标注,得到物体标注信息;具体包括:基于改进Mask R-CNN算法对所述目标三维数据进行背景数据提取,得到背景区域数据;通过所述背景区域数据对所述目标三维数据进行物体划分,得到动态物体数据以及静态物体数据;通过帧间差分法对所述动态物体数据进行运动物体识别,得到运动物体集合,其中,所述运动物体集合包括多个运动物体;通过光流算法对所述运动物体集合进行物体运动数据分析,得到物体运动速度数据以及物体运动方向数据;基于所述物体运动速度数据以及所述物体运动方向数据,通过物体跟踪算法对所述运动物体集合进行物体追踪,得到物体追踪数据;基于所述物体追踪数据对所述运动物体集合中每个所述运动物体进行运动轨迹预测,得到多个预测运动轨迹;基于多个所述预测运动轨迹以及多个所述运动物体,对所述目标场景进行物体信息标注,得到初始标注信息;基于所述静态物体数据对所述初始标注信息进行信息修正,得到所述物体标注信息;
对所述目标场景进行光照信息采集,得到目标光照信息并进行模拟光照信息生成,得到模拟光照信息;具体包括:对所述目标场景进行光照信息采集,得到目标光照信息;对所述目标光照信息进行信息提取,得到光照分布信息以及光照强度数据;基于所述光照分布信息以及所述光照强度数据建立初始光照模型;根据所述初始光照模型生成模拟光照虚拟物体,并对所述模拟光照虚拟物体进行表面点光照接收数据分析,得到光照接收数据;对所述模拟光照虚拟物体进行几何形状提取,得到目标几何形状;基于所述目标几何形状对所述模拟光照虚拟物体进行阴影区域识别,得到阴影区域;对所述阴影区域进行模糊边缘数据构建,得到模拟边缘数据,同时,通过光照衰减数据计算公式对所述阴影区域进行光照衰减数据计算,得到光照衰减数据,其中,所述光照衰减数据计算公式如下所示:
;
其中,为光照衰减数据,/>为光照强度数据,P表示模拟光照虚拟物体中阴影区域的P点;/>为P点到光源的距离;/>为所述模拟光照虚拟物体的介质吸收系数;/>为阴影区域的中心位置参数;/>为阴影区域面积;/>为阴影区域的形状参数;/>为散射系数;将所述光照接收数据、所述模拟边缘数据以及所述光照衰减数据输入蒙特卡洛光线追踪算法进行模拟光照信息生成,得到模拟光照信息;
基于所述物体标注信息以及所述模拟光照信息对所述初始空间模型进行模型渲染,得到目标空间模型;具体包括:对所述物体标注信息进行物体空间关系识别,得到物体空间关系数据,同时,对所述物体标注信息进行物体间距计算,得到物体间距数据;根据所述模拟光照信息生成直接模拟光源数据以及间接模拟光源数据;基于所述物体空间关系数据以及所述物体间距数据对所述初始空间模型进行物理材质属性分配,得到第一空间模型;基于所述直接模拟光源数据以及所述间接模拟光源数据,对所述第一空间模型进行光照渲染,得到第二空间模型;对所述第二空间模型进行增强渲染处理,得到所述目标空间模型;
获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别,得到目标用户意图;
根据所述目标用户意图对所述目标空间模型进行展示空间精度渲染,得到目标展示空间并传输至视觉展示终端。
2.根据权利要求1所述的XR扩展现实场景的实现方法,其特征在于,所述对目标场景进行环境扫描,得到环境深度数据以及空间布局数据并进行数据清洗,得到目标三维数据,包括:
通过激光雷达装置以及高分辨率对目标场景进行环境扫描,得到环境深度数据以及空间布局数据;
通过高通滤波器对所述环境深度数据进行高频噪声去除,得到去除深度数据;
通过深度图像超分辨率算法对所述空间布局数据进行清晰度校正,得到校正布局数据;
对所述校正布局数据进行边缘平滑处理,得到平滑布局数据;
对所述去除深度数据进行缺失数据填充,得到填充深度数据;
将所述平滑布局数据以及所述填充深度数据输入点云转换算法进行空间数据转换,得到所述目标三维数据。
3.根据权利要求1所述的XR扩展现实场景的实现方法,其特征在于,所述获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别,得到目标用户意图,包括:
接收目标用户的交互语音数据,并对所述交互语音数据动态范围压缩,得到压缩语音数据;
对所述压缩语音数据进行频谱平衡处理,得到平衡语音数据;
将所述平衡语音数据输入所述用户意图识别模型进行语音时频特征提取,得到语音时频特征数据,其中,所述语音时频特征数据包括:语调特征、节奏特征以及语义特征;
将所述肢体动作图像输入所述用户意图识别模型进行姿态关键点识别,得到姿态关键点集合;
对所述语音时频特征数据以及所述姿态关键点集合进行动作特征识别,得到用户动作特征;
根据所述用户动作特征进行用户意图匹配,得到所述目标用户的目标用户意图。
4.根据权利要求1所述的XR扩展现实场景的实现方法,其特征在于,所述根据所述目标用户意图对所述目标空间模型进行展示空间精度渲染,得到目标展示空间并传输至视觉展示终端,包括:
对所述目标用户意图进行空间状态匹配,得到目标空间状态;
根据所述目标空间状态对所述目标空间模型进行空间区域划分,得到用户意向空间;
对所述用户意向空间进行渲染参数识别,得到待渲染参数;
根据所述目标用户意图对所述待渲染参数进行参数分析,得到目标渲染参数;
基于所述目标渲染参数对所述用户意向空间进行展示空间精度渲染,得到目标展示空间,并将所述目标展示空间传输至所述目标用户的视觉展示终端。
5.一种XR扩展现实场景的实现装置,其特征在于,所述XR扩展现实场景的实现装置包括:
扫描模块,用于对目标场景进行环境扫描,得到环境深度数据以及空间布局数据并进行数据清洗,得到目标三维数据;
提取模块,用于将所述目标三维数据以及所述环境深度数据输入三维卷积神经网络进行空间特征提取,得到空间特征集,并基于所述空间特征集,将所述环境深度数据输入迭代最近点算法进行深度信息配准,得到初始空间模型;
标注模块,用于对所述目标场景进行物体信息标注,得到物体标注信息;具体包括:基于改进Mask R-CNN算法对所述目标三维数据进行背景数据提取,得到背景区域数据;通过所述背景区域数据对所述目标三维数据进行物体划分,得到动态物体数据以及静态物体数据;通过帧间差分法对所述动态物体数据进行运动物体识别,得到运动物体集合,其中,所述运动物体集合包括多个运动物体;通过光流算法对所述运动物体集合进行物体运动数据分析,得到物体运动速度数据以及物体运动方向数据;基于所述物体运动速度数据以及所述物体运动方向数据,通过物体跟踪算法对所述运动物体集合进行物体追踪,得到物体追踪数据;基于所述物体追踪数据对所述运动物体集合中每个所述运动物体进行运动轨迹预测,得到多个预测运动轨迹;基于多个所述预测运动轨迹以及多个所述运动物体,对所述目标场景进行物体信息标注,得到初始标注信息;基于所述静态物体数据对所述初始标注信息进行信息修正,得到所述物体标注信息;
生成模块,用于对所述目标场景进行光照信息采集,得到目标光照信息并进行模拟光照信息生成,得到模拟光照信息;具体包括:对所述目标场景进行光照信息采集,得到目标光照信息;对所述目标光照信息进行信息提取,得到光照分布信息以及光照强度数据;基于所述光照分布信息以及所述光照强度数据建立初始光照模型;根据所述初始光照模型生成模拟光照虚拟物体,并对所述模拟光照虚拟物体进行表面点光照接收数据分析,得到光照接收数据;对所述模拟光照虚拟物体进行几何形状提取,得到目标几何形状;基于所述目标几何形状对所述模拟光照虚拟物体进行阴影区域识别,得到阴影区域;对所述阴影区域进行模糊边缘数据构建,得到模拟边缘数据,同时,通过光照衰减数据计算公式对所述阴影区域进行光照衰减数据计算,得到光照衰减数据,其中,所述光照衰减数据计算公式如下所示:
;
其中,为光照衰减数据,/>为光照强度数据,P表示模拟光照虚拟物体中阴影区域的P点;/>为P点到光源的距离;/>为所述模拟光照虚拟物体的介质吸收系数;/>为阴影区域的中心位置参数;/>为阴影区域面积;/>为阴影区域的形状参数;/>为散射系数;将所述光照接收数据、所述模拟边缘数据以及所述光照衰减数据输入蒙特卡洛光线追踪算法进行模拟光照信息生成,得到模拟光照信息;
渲染模块,用于基于所述物体标注信息以及所述模拟光照信息对所述初始空间模型进行模型渲染,得到目标空间模型;具体包括:对所述物体标注信息进行物体空间关系识别,得到物体空间关系数据,同时,对所述物体标注信息进行物体间距计算,得到物体间距数据;根据所述模拟光照信息生成直接模拟光源数据以及间接模拟光源数据;基于所述物体空间关系数据以及所述物体间距数据对所述初始空间模型进行物理材质属性分配,得到第一空间模型;基于所述直接模拟光源数据以及所述间接模拟光源数据,对所述第一空间模型进行光照渲染,得到第二空间模型;对所述第二空间模型进行增强渲染处理,得到所述目标空间模型;
识别模块,用于获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别,得到目标用户意图;
传输模块,用于根据所述目标用户意图对所述目标空间模型进行展示空间精度渲染,得到目标展示空间并传输至视觉展示终端。
6.一种XR扩展现实场景的实现设备,其特征在于,所述XR扩展现实场景的实现设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述XR扩展现实场景的实现设备执行如权利要求1-4中任一项所述的XR扩展现实场景的实现方法。
7.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-4中任一项所述的XR扩展现实场景的实现方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410389251.7A CN117994477B (zh) | 2024-04-02 | 2024-04-02 | Xr扩展现实场景的实现方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410389251.7A CN117994477B (zh) | 2024-04-02 | 2024-04-02 | Xr扩展现实场景的实现方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117994477A CN117994477A (zh) | 2024-05-07 |
CN117994477B true CN117994477B (zh) | 2024-06-11 |
Family
ID=90887743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410389251.7A Active CN117994477B (zh) | 2024-04-02 | 2024-04-02 | Xr扩展现实场景的实现方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117994477B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113315963A (zh) * | 2021-04-23 | 2021-08-27 | 深圳市洲明科技股份有限公司 | 扩展现实显示方法、装置、***和存储介质 |
CN115984515A (zh) * | 2022-11-24 | 2023-04-18 | 阿里巴巴(中国)有限公司 | 图像处理方法及装置 |
CN117009700A (zh) * | 2023-07-19 | 2023-11-07 | 中国联合网络通信集团有限公司 | 虚拟现实场景构建方法、装置、电子设备及存储介质 |
CN117173756A (zh) * | 2022-05-28 | 2023-12-05 | 浙江商汤科技开发有限公司 | 一种增强现实ar***、计算机设备及存储介质 |
WO2024055837A1 (zh) * | 2022-09-15 | 2024-03-21 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及介质 |
CN117742677A (zh) * | 2023-11-16 | 2024-03-22 | 联通在线信息科技有限公司 | 一种xr引擎低代码开发平台 |
-
2024
- 2024-04-02 CN CN202410389251.7A patent/CN117994477B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113315963A (zh) * | 2021-04-23 | 2021-08-27 | 深圳市洲明科技股份有限公司 | 扩展现实显示方法、装置、***和存储介质 |
CN117173756A (zh) * | 2022-05-28 | 2023-12-05 | 浙江商汤科技开发有限公司 | 一种增强现实ar***、计算机设备及存储介质 |
WO2024055837A1 (zh) * | 2022-09-15 | 2024-03-21 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及介质 |
CN115984515A (zh) * | 2022-11-24 | 2023-04-18 | 阿里巴巴(中国)有限公司 | 图像处理方法及装置 |
CN117009700A (zh) * | 2023-07-19 | 2023-11-07 | 中国联合网络通信集团有限公司 | 虚拟现实场景构建方法、装置、电子设备及存储介质 |
CN117742677A (zh) * | 2023-11-16 | 2024-03-22 | 联通在线信息科技有限公司 | 一种xr引擎低代码开发平台 |
Also Published As
Publication number | Publication date |
---|---|
CN117994477A (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Monocular real-time volumetric performance capture | |
Rhodin et al. | General automatic human shape and motion capture using volumetric contour cues | |
US10565801B2 (en) | Information processing apparatus, information processing method and user equipment | |
Shen et al. | Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background | |
KR102212075B1 (ko) | 2차원 건축 도면에 표현된 벽체의 3차원 도면 모델링 방법 및 프로그램 | |
US20200057831A1 (en) | Real-time generation of synthetic data from multi-shot structured light sensors for three-dimensional object pose estimation | |
Ranjan et al. | Learning multi-human optical flow | |
CN112258658B (zh) | 一种基于深度相机的增强现实可视化方法及应用 | |
KR20120123068A (ko) | 깊이 카메라 호환성 | |
US20090285544A1 (en) | Video Processing | |
EP3533218B1 (en) | Simulating depth of field | |
US8670606B2 (en) | System and method for calculating an optimization for a facial reconstruction based on photometric and surface consistency | |
KR20120138741A (ko) | 깊이 카메라 호환성 | |
US20220237879A1 (en) | Direct clothing modeling for a drivable full-body avatar | |
CN117274515A (zh) | 基于ORB和NeRF映射的视觉SLAM方法及*** | |
Guðmundsson et al. | Improved 3D reconstruction in smart-room environments using ToF imaging | |
Kim et al. | Depth video enhancement for haptic interaction using a smooth surface reconstruction | |
Rasmuson et al. | A low-cost, practical acquisition and rendering pipeline for real-time free-viewpoint video communication | |
CN117994477B (zh) | Xr扩展现实场景的实现方法、装置、设备及存储介质 | |
US10922872B2 (en) | Noise reduction on G-buffers for Monte Carlo filtering | |
Jian et al. | Realistic face animation generation from videos | |
Hauswiesner et al. | Temporal coherence in image-based visual hull rendering | |
CN118071969B (zh) | 一种基于ai实时生成xr环境背景的方法、介质及*** | |
Bauer et al. | Photon Field Networks for Dynamic Real-Time Volumetric Global Illumination | |
Zhang et al. | [Retracted] A 3D Face Modeling and Recognition Method Based on Binocular Stereo Vision and Depth‐Sensing Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |