CN117115398A - 一种虚实融合的数字孪生流体现象模拟方法 - Google Patents
一种虚实融合的数字孪生流体现象模拟方法 Download PDFInfo
- Publication number
- CN117115398A CN117115398A CN202311014639.0A CN202311014639A CN117115398A CN 117115398 A CN117115398 A CN 117115398A CN 202311014639 A CN202311014639 A CN 202311014639A CN 117115398 A CN117115398 A CN 117115398A
- Authority
- CN
- China
- Prior art keywords
- scene
- fluid
- real
- dimensional
- indoor scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012530 fluid Substances 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004088 simulation Methods 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 20
- 230000008447 perception Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000000295 complement effect Effects 0.000 claims abstract description 7
- 210000002411 hand bone Anatomy 0.000 claims abstract description 6
- 238000010276 construction Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims abstract description 4
- 239000002245 particle Substances 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000005855 radiation Effects 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000011160 research Methods 0.000 abstract description 7
- 238000007654 immersion Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 description 13
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/24—Fluid dynamics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开的实施例公开了一种虚实融合的数字孪生流体现象模拟方法。该方法的一具体实施方式包括：采集室内场景深度图和室内场景RGB图，以及根据室内场景RGB图，对室内场景深度图进行补全处理；对三维场景点云进行重建，以及确定三维场景点云的点云语义；基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景；根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组；控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示。该实施方式保证了研究过程的规范性和预期研究目标的可及性，提升了混合场景真实感和沉浸感。
Description
技术领域
本公开的实施例涉及基于混合现实的流体仿真与交互技术领域，具体涉及一种虚实融合的数字孪生流体现象模拟方法。
背景技术
传统基于计算机图形学的流体仿真与交互应用常常完全在虚拟仿真环境中进行，不具备对真实场景的感知和融合能力；同时，受限于物理***的求解效率和渲染精度，仿真应用多采用离线计算的方式，渲染输出序列图像并生成动画，对于用户的交互反馈和控制能力较弱。
相比于复刻场景细致的几何结构，流体交互场景孪生重建更侧重于***的实时性和鲁棒性，需要在复杂场景中快速实时的抽取仿真边界几何特征，并在低纹理、变化光照、传感器快速移动的情况下维持跟踪***的稳定运行，是需要解决的问题；此外，如何在重建中快速准确的跟踪和提取交互平面结构甚至是语义信息，也是支持更加真实智能的流体仿真应用的重要任务。在混合现实环境中复现与真实场景行为一致的流体并能实现基于物理的建模与演化仍然面临一系列问题和挑战。首先，采用什么手段捕获真实场景的流体数据、采集哪些数据，需要根据实际应用场景而定；其次，如何打破传统迭代优化方法从连续表面几何或连续密度场推断速度场的高时耗、低精度的局限，即从采集的数据中实时恢复全部流场数据也是一项具有挑战性的难题；最后，如何快速地从观测到的数据中获得影响流体行为的物理属性，进而为基于物理的流体动态演化仿真提供支持，以满足虚拟流体对真实环境的感知与融合需求，需进一步深入研究。在基于物理真实性的实时虚实融合交互方面，如何解决用户和场景边界与虚拟物体的近距离实时交互和如何将虚拟场景的交互作用力反馈给用户，进一步增加用户体验的沉浸感与真实感也是重要问题。虚实融合环境下大规模流体的实时渲染的问题与挑战同时体现在环境的场景信息获取以及流体渲染的速率与质量上。尽管目前已有大量研究用于测定真实场景中的光场，但一个完整的全局光照分布需要建立光场以及场景中对象的紧密关联，如何以更好的方式结合三维场景数字孪生以及光场信息获取是一个关键问题。
虚实融合技术的发展对虚拟场景时空一致性以及虚拟对象的自然交互具有较高要求，因此，面向混合现实场景的物理仿真应用应具备的能力包括快速感知与重建仿真环境边界、真实流体属性精确获取与动态流体生成、可交互可演化的虚拟流体与真实用户行为交互与即时反馈。本发明围绕虚实融合流体仿真，实现基于深度图像的三维场景快速重建、基于物理感知的流体参数获取与演进模拟、虚实融合人机交互与控制三方面研究内容，并以此构建典型示范应用场景。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了虚实融合的数字孪生流体现象模拟方法，来解决以上背景技术部分提到的技术问题中的一项或多项。
本公开解决的技术问题是：基于深度图像的三维场景快速重建获取真实空间信息，为虚拟流体仿真与交互提供场景边界，实现基于真实空间特征虚拟流体场景建模；基于物理感知的流体参数获取与演进模拟提高模拟的真实性与效率；虚实融合人机交互控制通过捕获用户的动作信息并反馈给虚拟流体，实现虚拟流体与真实用户的互动，构建虚实贯通的用户-场景-物理现象虚实融合交互，提高虚实交互的体验感。
本公开的一些实施例提供了一种虚实融合的数字孪生流体现象模拟方法，包括：采集室内场景深度图和室内场景RGB图，以及根据上述室内场景RGB图，对上述室内场景深度图进行补全处理，以生成补全后室内场景深度图；根据上述室内场景RGB图，对三维场景点云进行重建，以及确定上述三维场景点云的点云语义；基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景；根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组；控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示。
本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的虚实融合的数字孪生流体现象模拟方法，最大程度地保证研究过程的规范性和预期研究目标的可及性，提升了混合场景真实感和沉浸感，实现场景丰富、细节逼真、实时高效的人机交互。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是根据本公开的虚实融合的数字孪生流体现象模拟方法的一些实施例的流程图。
图2是根据本公开的虚实融合的数字孪生流体现象模拟方法的一些实施例的流体参数获取与演进模拟流程图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的虚实融合的数字孪生流体现象模拟方法的一些实施例的流程100。该虚实融合的数字孪生流体现象模拟方法，包括以下步骤：
步骤101，采集室内场景深度图和室内场景RGB图，以及根据上述室内场景RGB图，对上述室内场景深度图进行补全处理，以生成补全后室内场景深度图。
连续采集室内场景的室内场景深度图和室内场景RGB图，将室内场景深度图上有效的深度信息作为先验，利用室内场景RGB图显示的颜色信息提供的几何范围约束，通过卷积神经网络将特征融合入自编码器的图像重建过程，生成完整补全后的室内场景深度图，以提升深度信息质量。
步骤102，根据上述室内场景RGB图，对三维场景点云进行重建，以及确定上述三维场景点云的点云语义。
利用并行计算在室内场景RGB图上提取分布合理的ORB(Oriented FAST andRotated BRIEF)特征及ORB特征的邻域范围，通过二维卷积神经网络，提取多层次RGB-D图像对的高维特征；
根据补全后室内场景深度图获取特征点和邻域的深度信息，通过特征和邻域几何分布信息对相邻帧特征进行匹配关联，再通过N点透视(PnP法)法和最近点迭代法(ICP法)分别计算2D-3D和3D-3D空间特征匹配情况下的相机位姿，优化函数分别为：
其中，ui是三维特征点pi在图像坐标系下的二维坐标值，是在不同视角下与pi关联的三维特征，K为相机内参矩阵，T为相机外参矩阵，T*即优化后求得的传感器位姿，为/>的2-范数的平方；
根据图像清晰程度和运动范围进行关键图像帧的提取和世界坐标系下的位姿预测，并通过复原的高质量深度信息，将关键帧像素点通过并行计算投影至三维空间构成稠密点云；
利用体素滤波的方式并行更新和融合不同视角下的离散表达，得到重建的三维场景点云初始表达；
通过图神经网络模型对初始点云编码几何-语义特征，使用几何补全解码器和语义分类解码器分别预测完整几何信息和点云语义类别。
步骤103，基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景。
将流体表面高度场时序序列h和区分流体与固体区域的2D标签ls拼接输入具有层间跳跃连接的堆栈自编码器，训练网络输出流体表面的2D速度场us，损失函数采用L2范数；
结合高度场时序序列h和2D标签ls，应用卷积神经网络Gparam从生成的多帧的表面速度场us {t，t+1，t+2}中估计流体粘度即：
损失函数使用L1范数，同时，使用3D卷积网络Gv从表面2D速度场沿重力轴方向推断内部的3D速度场信息；
将网络的最后一层输出与障碍物掩码点乘，使得非流体区域中的速度为0，生成孪生流体场景。本公开的虚实融合的数字孪生流体现象模拟方法的一些实施例的流体参数获取与演进模拟流程图如图2所示。
步骤104，根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组。
根据人体躯干骨骼和手部骨骼的运动，不断更新地计算追踪帧数据组，其中，上述追踪帧数据组中的追踪帧数据包含一个基本追踪数据列表，上述基本追踪数据列表包括每个追踪帧数据之间变化的旋转矩阵、缩放因子、位移，每帧骨骼的位置信息、速度信息以及手心朝向、手掌球半径等手部追踪数据，并根据多帧数据识别一些特定的行为动作和手势；
处理骨骼粒子旋转时，为每一帧每个粒子单独计算相对于粒子所处骨骼中心的旋转矩阵；
处理粒子平移时，将粒子所处的人体躯干以及手部的每一块骨骼的速度分别乘以不同的平移系数，越靠近远端的骨骼，平移系数就越大，反之越小，每个粒子的移动公式为：
vt+1＝vt×ratio+(pt×Rot-pt)，
其中，vt为粒子在第t帧时的速度，ratio为粒子所处骨骼平移速度系数，pt为粒子在第t帧时的位置，Rot为粒子的旋转矩阵。
步骤105，控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示。
控制传感器对真实场景进行测量，获取真实环境颜色信息，其中，上述真实环境颜色信息为光场信息，上述光场信息以图像形式进行存储；
使用图像空间全局光照算法对图像进行处理，在所有通道中搜索具有高饱和度的区域，并进行分割；
采用VPL(virtual point light)算法，使用轮廓跟踪找到辐射斑点的轮廓；
计算斑点面积，选择大斑点作为光源；
根据环境图像中的斑点中心位置估计传入光的方向和位置，在场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (6)
1.一种虚实融合的数字孪生流体现象模拟方法，包括：
采集室内场景深度图和室内场景RGB图，以及根据所述室内场景RGB图，对所述室内场景深度图进行补全处理，以生成补全后室内场景深度图；
根据所述室内场景RGB图，对三维场景点云进行重建，以及确定所述三维场景点云的点云语义；
基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景；
根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组；
控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示。
2.根据权利要求1所述的方法，其中，所述采集室内场景深度图和室内场景RGB图，以及根据所述室内场景RGB图，对所述室内场景深度图进行补全处理，以生成补全后室内场景深度图，包括：
连续采集室内场景的室内场景深度图和室内场景RGB图，将室内场景深度图上有效的深度信息作为先验，利用室内场景RGB图显示的颜色信息提供的几何范围约束，通过卷积神经网络将特征融合入自编码器的图像重建过程，生成完整补全后的室内场景深度图，以提升深度信息质量。
3.根据权利要求1所述的方法，其中，所述根据所述室内场景RGB图，对三维场景点云进行重建，以及确定所述三维场景点云的点云语义，包括：
利用并行计算在室内场景RGB图上提取分布合理的ORB特征及ORB特征的邻域范围，通过二维卷积神经网络，提取多层次RGB-D图像对的高维特征；
根据补全后室内场景深度图获取特征点和邻域的深度信息，通过特征和邻域几何分布信息对相邻帧特征进行匹配关联，再通过N点透视法和最近点迭代法分别计算2D-3D和3D-3D空间特征匹配情况下的相机位姿，优化函数分别为：
其中，ui是三维特征点pi在图像坐标系下的二维坐标值，是在不同视角下与pi关联的三维特征，K为相机内参矩阵，T为相机外参矩阵，T*即优化后求得的传感器位姿，为/>的2-范数的平方；
根据图像清晰程度和运动范围进行关键图像帧的提取和世界坐标系下的位姿预测，并通过复原的高质量深度信息，将关键帧像素点通过并行计算投影至三维空间构成稠密点云；
利用体素滤波的方式并行更新和融合不同视角下的离散表达，得到重建的三维场景点云初始表达；
通过图神经网络模型对初始点云编码几何-语义特征，使用几何补全解码器和语义分类解码器分别预测完整几何信息和点云语义类别。
4.根据权利要求1所述的方法，其中，所述基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景，包括：
将流体表面高度场时序序列h和区分流体与固体区域的2D标签ls拼接输入具有层间跳跃连接的堆栈自编码器，训练网络输出流体表面的2D速度场us，损失函数采用L2范数；
结合高度场时序序列h和2D标签ls，应用卷积神经网络Gparam从生成的多帧的表面速度场us {t，t+1，t+2}中估计流体粘度即：
损失函数使用L1范数，同时，使用3D卷积网络Gv从表面2D速度场沿重力轴方向推断内部的3D速度场信息；
将网络的最后一层输出与障碍物掩码点乘，使得非流体区域中的速度为0，生成孪生流体场景。
5.根据权利要求4所述的方法，其中，所述根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组，包括：
根据人体躯干骨骼和手部骨骼的运动，不断更新地计算追踪帧数据组，其中，所述追踪帧数据组中的追踪帧数据包含一个基本追踪数据列表，所述基本追踪数据列表包括每个追踪帧数据之间变化的旋转矩阵、缩放因子、位移，每帧骨骼的位置信息、速度信息以及手心朝向、手掌球半径等手部追踪数据，并根据多帧数据识别一些特定的行为动作和手势；
处理骨骼粒子旋转时，为每一帧每个粒子单独计算相对于粒子所处骨骼中心的旋转矩阵；
处理粒子平移时，将粒子所处的人体躯干以及手部的每一块骨骼的速度分别乘以不同的平移系数，越靠近远端的骨骼，平移系数就越大，反之越小，每个粒子的移动公式为：
vt+1＝vt×ratio+(pt×Rot-pt)，
其中，vt为粒子在第t帧时的速度，ratio为粒子所处骨骼平移速度系数，pt为粒子在第t帧时的位置，Rot为粒子的旋转矩阵。
6.根据权利要求1所述的方法，其中，所述控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示，包括：
控制传感器对真实场景进行测量，获取真实环境颜色信息，其中，所述真实环境颜色信息为光场信息，所述光场信息以图像形式进行存储；
使用图像空间全局光照算法对图像进行处理，在所有通道中搜索具有高饱和度的区域，并进行分割；
采用VPL算法，使用轮廓跟踪找到辐射斑点的轮廓；
计算斑点面积，选择大斑点作为光源；
根据环境图像中的斑点中心位置估计传入光的方向和位置，在场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311014639.0A CN117115398A (zh) | 2023-08-11 | 2023-08-11 | 一种虚实融合的数字孪生流体现象模拟方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311014639.0A CN117115398A (zh) | 2023-08-11 | 2023-08-11 | 一种虚实融合的数字孪生流体现象模拟方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115398A true CN117115398A (zh) | 2023-11-24 |
Family
ID=88803133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311014639.0A Pending CN117115398A (zh) | 2023-08-11 | 2023-08-11 | 一种虚实融合的数字孪生流体现象模拟方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115398A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117809498A (zh) * | 2024-01-09 | 2024-04-02 | 北京千乘科技有限公司 | 虚实交互多维孪生的投影路网*** |
-
2023
- 2023-08-11 CN CN202311014639.0A patent/CN117115398A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117809498A (zh) * | 2024-01-09 | 2024-04-02 | 北京千乘科技有限公司 | 虚实交互多维孪生的投影路网*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | A survey on 3d gaussian splatting | |
| Li et al. | Vox-surf: Voxel-based implicit surface representation | |
| EP3533218B1 (en) | Simulating depth of field | |
| US11989900B2 (en) | Object recognition neural network for amodal center prediction | |
| CN115222917A (zh) | 三维重建模型的训练方法、装置、设备及存储介质 | |
| CN117115398A (zh) | 一种虚实融合的数字孪生流体现象模拟方法 | |
| CN115115805A (zh) | 三维重建模型的训练方法、装置、设备及存储介质 | |
| CN107018400B (zh) | 一种将2d视频转换成3d视频的方法 | |
| CN115272608A (zh) | 一种人手重建方法及设备 | |
| Ouyang et al. | Real-time neural character rendering with pose-guided multiplane images | |
| Li et al. | Immersive neural graphics primitives | |
| Wu et al. | [Retracted] 3D Film Animation Image Acquisition and Feature Processing Based on the Latest Virtual Reconstruction Technology | |
| US20230290132A1 (en) | Object recognition neural network training using multiple data sources | |
| Li et al. | Bringing instant neural graphics primitives to immersive virtual reality | |
| CN117635801A (zh) | 基于实时渲染可泛化神经辐射场的新视图合成方法及*** | |
| Liu et al. | Facial animation by optimized blendshapes from motion capture data | |
| CN113673567B (zh) | 基于多角度子区域自适应的全景图情感识别方法及*** | |
| CN114255328A (zh) | 一种基于单视图与深度学习的古文物三维重建方法 | |
| Yao et al. | Neural Radiance Field-based Visual Rendering: A Comprehensive Review | |
| Huixuan et al. | Innovative Practice of Virtual Reality Technology in Animation Production | |
| Liu | Light image enhancement based on embedded image system application in animated character images | |
| Tian et al. | Research on Visual Design of Computer 3D Simulation Special Effects Technology in the Shaping of Sci-Fi Animation Characters | |
| CA3143520C (en) | Method of computing simulated surfaces for animation generation and other purposes | |
| US20240257375A1 (en) | Object recognition neural network for amodal center prediction | |
| Baskar et al. | 3D Image Reconstruction and Processing for Augmented and Virtual Reality Applications: A Computer Generated Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |