CN112002019B - 一种基于mr混合现实的模拟人物阴影的方法 - Google Patents

一种基于mr混合现实的模拟人物阴影的方法 Download PDF

Info

Publication number
CN112002019B
CN112002019B CN202010863374.1A CN202010863374A CN112002019B CN 112002019 B CN112002019 B CN 112002019B CN 202010863374 A CN202010863374 A CN 202010863374A CN 112002019 B CN112002019 B CN 112002019B
Authority
CN
China
Prior art keywords
human body
shadow
virtual
model
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010863374.1A
Other languages
English (en)
Other versions
CN112002019A (zh
Inventor
张赐
胡雨森
吕云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Weiai New Economic And Technological Research Institute Co ltd
Original Assignee
Chengdu Weiai New Economic And Technological Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Weiai New Economic And Technological Research Institute Co ltd filed Critical Chengdu Weiai New Economic And Technological Research Institute Co ltd
Priority to CN202010863374.1A priority Critical patent/CN112002019B/zh
Publication of CN112002019A publication Critical patent/CN112002019A/zh
Application granted granted Critical
Publication of CN112002019B publication Critical patent/CN112002019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于MR混合现实的模拟人物阴影的方法,涉及虚拟图像渲染技术领域。本发明包括如下步骤:构建人体数据云存储库,录入和存储各种参数的人体模型的图像和数据信息;三维激光扫描仪扫描需要模拟的人体数据信息并构建虚拟人体;用高清摄像机获取现实场景图像生成现实场景模型,将虚拟人体放置在平面中心;对现实场景模型和虚拟人体进行体素锥追踪操作;渲染整个场景的阴影贴图。本发明通过构建人体数据云存储库,利用三维激光扫描仪采集人体数据并构建虚拟人体,使用体素锥追踪的方法模拟虚拟光源来对整个场景的阴影进行贴图,提高虚拟场景阴影构建图像质量、缩短构建阴影耗费时间。

Description

一种基于MR混合现实的模拟人物阴影的方法
技术领域
本发明属于虚拟图像渲染技术领域,特别是涉及一种基于MR混合现实的模拟人物阴影的方法。
背景技术
混合现实技术(MR)是虚拟现实技术的进一步发展,该技术通过在虚拟环境中引入现实场景信息,在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路,以增强用户体验的真实感。混合现实是一组技术组合,不仅提供新的观看方法,还提供新的输入方法,而且所有方法相互结合,从而推动创新。
混合现实技术(MR)被广泛的应用在虚拟军事训练、三维游戏、***样机设计、虚拟制造、虚拟外科手术、城市规划及虚拟远程教学等领域。在虚拟现实中,阴影是一个非常重要的部分,它能清晰的表现出不同物体之间的相对位置关系,从而增加图像的立体感和层次感,提高虚拟环境的真实感。
然而,室外场景的阴影渲染和动态场景软阴影的实时渲染是阴影技术中两个非常有代表性的问题。因为室外场景具有场景偏大、渲染景物多的特点,很难兼顾阴影的图像质量和程序的渲染速度。对于动态场景软阴影的实时渲染,为求得准确的半影区宽度,需要耗费大量的时间,严重的影响了算法的执行效率。
针对上述问题,本申请文件提供了一种基于MR混合现实的模拟人物阴影的方法,能够在多种场景下对阴影进行快速实时渲染。
发明内容
本发明的目的在于提供一种基于MR混合现实的模拟人物阴影的方法,通过构建人体数据云存储库,利用三维激光扫描仪采集人体数据并构建虚拟人体,使用体素锥追踪的方法模拟虚拟光源来对整个场景的阴影进行贴图,解决了现有的虚拟场景阴影构建图像质量低、耗费时间长的问题。
为解决上述技术问题,本发明是通过以下技术方案实现的:
本发明为一种基于MR混合现实的模拟人物阴影的方法,包括如下步骤:
步骤S1:构建人体数据云存储库,录入和存储各种参数的人体模型的图像和数据信息;
步骤S2:三维激光扫描仪扫描需要模拟的人体数据信息并构建虚拟人体;
步骤S3:用高清摄像机获取现实场景图像生成现实场景模型,将虚拟人体放置在平面中心;
步骤S4:对现实场景模型和虚拟人体进行体素锥追踪操作;
步骤S5:渲染整个场景的阴影贴图;
其中,步骤S4中,体素锥追踪操作的具体步骤如下:
步骤S41:沿着视线方向使用平行于投影平面的分割平面将视锥体分割为m个部分;
步骤S42:对每个分割出来的视锥体设置一个光源视锥体,并计算光源视锥体的观察投影变化矩阵;
步骤S43:为每个分割部分绘制阴影贴图;
步骤S44:绘制整个场景的阴影。
优选地,所述步骤S1中,人体模型的数据信息采用三维激光扫描仪对人体进行高速激光扫描和测量,获取人体表面完整、连续的全景点三维坐标数据,并使用逆向工程软件对扫描得到的点进行处理,得到人体的三维模型,获取人体参数。
优选地,所述步骤S1中,搭建云端服务器,并建立人体3D模型图像及参数云存储数据库,将人体的三维模型和人体参数数据进行收录、整理,并按照所在人体的部位对人体进行分类和编号。
优选地,所述步骤S3中,生成现实场景模型的方法如下:通过采样或者生成的深度信息,将现实场景中的像素还原成点云,在对点云进行法线估计,生成各个点的法线;然后计算每个点的K近邻,通过它们的法线方向检查它们是否属于同一个平面,将点向平面方向移动,再连接这些点还原出平面的网格模型,并将该网格模型作为现实场景模型;其中,深度信息代表像素点相对相机的距离。
优选地,所述步骤S41中,分割视锥体需要计算分割位置,根据场景调整分割位置或使用PPSMs的实用分割方案。
优选地,所述步骤S43中,绘制阴影贴图的步骤如下:
步骤T1:对分割部分进行预处理;
步骤T2:计算出分割位置;
步骤T3:计算n个光的变化矩阵;
步骤T4:渲染n个阴影图;
步骤T5:对n个阴影图进行抗锯齿处理;
步骤T6:渲染每个阴影。
优选地,所述步骤T5中,对n个阴影图进行抗锯齿处理采用方差阴影图法来处理,具体公式如下:
Figure BDA0002648920800000041
式中,σ2为方差,μ为期望;在进行阴影概率计算时将对应像素深度值带入t,即得到某个点周围一定范围内大于深度t的点的比率。
优选地,所述步骤T6中,渲染每个阴影时,需要对阴影的轮廓进行提取,对当前检测像素上下左右相邻四个像素深度值平均,再与当前像素值进行比较,从而判断出当前像素是否处于轮廓上。
优选地,当判断出当前像素处于轮廓上时,渲染出的阴影边缘出现锯齿,因此还需要对阴影的边缘进行拟合。
本发明具有以下有益效果:
(1)本发明通过构建人体数据云存储库,导入影像三维处理软件,构建人体3D数字模型,利用三维激光扫描仪采集人体数据并与构建的人体3D数字模型进行匹配,构建出虚拟人体并直接放置在平面中心,提升了虚拟人体的构建效率和准确率。
(2)本发明通过模拟一个虚拟光源,利用体素锥追踪的方法对整个场景的投影平面进行分割,对每个分割出来的视锥体设置一个光源视锥体,并计算光源视锥体的观察投影变化矩阵,每个阴影进行贴图完成整个场景阴影的绘制,提高虚拟场景阴影构建图像质量、缩短构建阴影耗费时间。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种基于MR混合现实的模拟人物阴影的方法步骤图;
图2为体素锥追踪的方法步骤图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,本发明为一种基于MR混合现实的模拟人物阴影的方法,包括如下步骤:
步骤S1:构建人体数据云存储库,录入和存储各种参数的人体模型的图像和数据信息;
步骤S2:三维激光扫描仪扫描需要模拟的人体数据信息并构建虚拟人体;
步骤S3:用高清摄像机获取现实场景图像生成现实场景模型,将虚拟人体放置在平面中心;
步骤S4:对现实场景模型和虚拟人体进行体素锥追踪操作;
步骤S5:渲染整个场景的阴影贴图;
如图2所示,步骤S4中,体素锥追踪操作的具体步骤如下:
步骤S41:沿着视线方向使用平行于投影平面的分割平面将视锥体分割为m个部分;
步骤S42:对每个分割出来的视锥体设置一个光源视锥体,并计算光源视锥体的观察投影变化矩阵;
步骤S43:为每个分割部分绘制阴影贴图;
步骤S44:绘制整个场景的阴影。
其中,步骤S1中,人体模型的数据信息采用三维激光扫描仪对人体进行高速激光扫描和测量,获取人体表面完整、连续的全景点三维坐标数据,并使用逆向工程软件对扫描得到的点进行处理,得到人体的三维模型,获取人体参数。
其中,步骤S1中,搭建云端服务器,并建立人体3D模型图像及参数云存储数据库,将人体的三维模型和人体参数数据进行收录、整理,并按照所在人体的部位对人体进行分类和编号。
其中,步骤S3中,生成现实场景模型的方法如下:通过采样或者生成的深度信息,将现实场景中的像素还原成点云,在对点云进行法线估计,生成各个点的法线;然后计算每个点的K近邻,通过它们的法线方向检查它们是否属于同一个平面,将点向平面方向移动,再连接这些点还原出平面的网格模型,并将该网格模型作为现实场景模型;其中,深度信息代表像素点相对相机的距离;通过导入影像三维处理软件,构建人体3D数字模型,利用三维激光扫描仪采集人体数据并与构建的人体3D数字模型进行匹配,构建出虚拟人体并直接放置在平面中心,提升了虚拟人体的构建效率和准确率。
其中,步骤S41中,分割视锥体需要计算分割位置,根据场景调整分割位置或使用PPSMs的实用分割方案。
其中,步骤S43中,绘制阴影贴图的步骤如下:
步骤T1:对分割部分进行预处理,预处理采用过滤技术,通过一个像素上执行多次深度测试以达到抗锯齿效果;
步骤T2:计算出分割位置;
步骤T3:计算n个光的变化矩阵,针对不同的扭曲算法,如PSMs、LiSPSMs、TSMs等计算得到光源的变化矩阵;
步骤T4:渲染n个阴影图;
步骤T5:对n个阴影图进行抗锯齿处理;
步骤T6:渲染每个阴影;
因为在应用PPSMs后阴影部分依然会有很明显的锯齿现象,在阴影生成后利用各种优化方法对阴影图进行抗锯齿处理。
其中,步骤T5中,对n个阴影图进行抗锯齿处理采用方差阴影图法来处理,具体公式如下:
Figure BDA0002648920800000071
式中,σ2为方差,μ为期望;在进行阴影概率计算时将对应像素深度值带入t,即得到某个点周围一定范围内大于深度t的点的比率;通过计算阴影图中每个像素的深度值的期望和方差来计算像素颜色值;VSM(方差阴影图)本质上对阴影图进行滤波,保证了直接对阴影图滤波就可以达到反走样的目的。
其中,步骤T6中,渲染每个阴影时,需要对阴影的轮廓进行提取,对当前检测像素上下左右相邻四个像素深度值平均,再与当前像素值进行比较,从而判断出当前像素是否处于轮廓上。
其中,当判断出当前像素处于轮廓上时,渲染出的阴影边缘出现锯齿,因此还需要对阴影的边缘进行拟合。
值得注意的是,上述***实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
另外,本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种基于MR混合现实的模拟人物阴影的方法,其特征在于,包括如下步骤:
步骤S1:构建人体数据云存储库,录入和存储各种参数的人体模型的图像和数据信息;
步骤S2:三维激光扫描仪扫描需要模拟的人体数据信息并构建虚拟人体;
步骤S3:用高清摄像机获取现实场景图像生成现实场景模型,将虚拟人体放置在平面中心;
步骤S4:对现实场景模型和虚拟人体进行体素锥追踪操作;
步骤S5:渲染整个场景的阴影贴图;
其中,步骤S4中,体素锥追踪操作的具体步骤如下:
步骤S41:沿着视线方向使用平行于投影平面的分割平面将视锥体分割为m个部分;
步骤S42:对每个分割出来的视锥体设置一个光源视锥体,并计算光源视锥体的观察投影变化矩阵;
步骤S43:为每个分割部分绘制阴影贴图;
步骤S44:绘制整个场景的阴影;
其中,步骤S43中,绘制阴影贴图的步骤如下:
步骤T1:对分割部分进行预处理;
步骤T2:计算出分割位置;
步骤T3:计算n个光的变化矩阵;
步骤T4:渲染n个阴影图;
步骤T5:对n个阴影图进行抗锯齿处理;
步骤T6:渲染每个阴影;
其中,步骤T5中,对n个阴影图进行抗锯齿处理采用方差阴影图法来处理,具体公式如下:
Figure FDA0004048354820000021
式中,σ2为方差,μ为期望;在进行阴影概率计算时将对应像素深度值带入t,即得到某个点周围一定范围内大于深度t的点的比率;
其中,步骤T6中,渲染每个阴影时,需要对阴影的轮廓进行提取,对当前检测像素上下左右相邻四个像素深度值平均,再与当前像素值进行比较,从而判断出当前像素是否处于轮廓上;当判断出当前像素处于轮廓上时,渲染出的阴影边缘出现锯齿,因此还需要对阴影的边缘进行拟合。
2.根据权利要求1所述的一种基于MR混合现实的模拟人物阴影的方法,其特征在于,所述步骤S1中,人体模型的数据信息采用三维激光扫描仪对人体进行高速激光扫描和测量,获取人体表面完整、连续的全景点三维坐标数据,并使用逆向工程软件对扫描得到的点进行处理,得到人体的三维模型,获取人体参数。
3.根据权利要求1或2所述的一种基于MR混合现实的模拟人物阴影的方法,其特征在于,所述步骤S1中,搭建云端服务器,并建立人体3D模型图像及参数云存储数据库,将人体的三维模型和人体参数数据进行收录、整理,并按照所在人体的部位对人体进行分类和编号。
4.根据权利要求1所述的一种基于MR混合现实的模拟人物阴影的方法,其特征在于,所述步骤S3中,生成现实场景模型的方法如下:通过采样或者生成的深度信息,将现实场景中的像素还原成点云,在对点云进行法线估计,生成各个点的法线;然后计算每个点的K近邻,通过它们的法线方向检查它们是否属于同一个平面,将点向平面方向移动,再连接这些点还原出平面的网格模型,并将该网格模型作为现实场景模型;其中,深度信息代表像素点相对相机的距离。
5.根据权利要求1所述的一种基于MR混合现实的模拟人物阴影的方法,其特征在于,所述步骤S41中,分割视锥体需要计算分割位置,根据场景调整分割位置或使用PPSMs的实用分割方案。
CN202010863374.1A 2020-08-25 2020-08-25 一种基于mr混合现实的模拟人物阴影的方法 Active CN112002019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010863374.1A CN112002019B (zh) 2020-08-25 2020-08-25 一种基于mr混合现实的模拟人物阴影的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010863374.1A CN112002019B (zh) 2020-08-25 2020-08-25 一种基于mr混合现实的模拟人物阴影的方法

Publications (2)

Publication Number Publication Date
CN112002019A CN112002019A (zh) 2020-11-27
CN112002019B true CN112002019B (zh) 2023-04-11

Family

ID=73470801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010863374.1A Active CN112002019B (zh) 2020-08-25 2020-08-25 一种基于mr混合现实的模拟人物阴影的方法

Country Status (1)

Country Link
CN (1) CN112002019B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689533A (zh) * 2021-08-03 2021-11-23 长沙宏达威爱信息科技有限公司 一种高清建模云渲染方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235053A (zh) * 2016-12-19 2018-06-29 中国电信股份有限公司 交互式渲染方法、设备和***
CN108537869A (zh) * 2018-03-08 2018-09-14 哈尔滨工程大学 一种基于级联纹理的圆锥追踪动态全局光照方法
CN108986195A (zh) * 2018-06-26 2018-12-11 东南大学 一种结合环境映射和全局光照渲染的单镜头混合现实实现方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438147A (zh) * 2016-05-26 2017-12-05 师嘉麟 一种用于人体三维扫描的多目相机装置
US10902685B2 (en) * 2018-12-13 2021-01-26 John T. Daly Augmented reality remote authoring and social media platform and system
CN109934900A (zh) * 2019-01-23 2019-06-25 杭州炽橙文创科技有限公司 基于vr硬件架构的实时全局光照解决方法
CN110174953A (zh) * 2019-07-01 2019-08-27 苏州蓝软智能医疗科技有限公司 基于混合现实技术的假体置换手术模拟***及构建方法
CN210691397U (zh) * 2019-08-20 2020-06-05 叠境数字科技(上海)有限公司 基于三维实时重建技术的ar采集交互装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235053A (zh) * 2016-12-19 2018-06-29 中国电信股份有限公司 交互式渲染方法、设备和***
CN108537869A (zh) * 2018-03-08 2018-09-14 哈尔滨工程大学 一种基于级联纹理的圆锥追踪动态全局光照方法
CN108986195A (zh) * 2018-06-26 2018-12-11 东南大学 一种结合环境映射和全局光照渲染的单镜头混合现实实现方法

Also Published As

Publication number Publication date
CN112002019A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN108648269B (zh) 三维建筑物模型的单体化方法和***
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN101916454B (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
CN109255831A (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN108805971B (zh) 一种环境光遮蔽方法
CN112530005B (zh) 一种三维模型直线结构识别与自动修复方法
CN115937461B (zh) 多源融合模型构建及纹理生成方法、装置、介质及设备
CN111783798B (zh) 基于显著性特征的模拟残缺点云的遮罩生成方法
CN114241119A (zh) 一种游戏模型生成方法、装置、***及计算机存储介质
CN112819726A (zh) 一种光场渲染伪影去除方法
Liu et al. Creating simplified 3D models with high quality textures
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法
Chalás et al. Generating various composite human faces from real 3D facial images
Wei et al. Simulating shadow interactions for outdoor augmented reality with RGBD data
CN117501313A (zh) 基于深度神经网络的毛发渲染***
JP2021033682A (ja) 画像処理装置、方法及びプログラム
CN115619974A (zh) 基于改进PatchMatch网络的大型场景三维重建方法、重建装置、设备及存储介质
CN115861532A (zh) 基于深度学习的植被地物模型重建方法与***
CN113610863A (zh) 多曝光图像融合质量评估方法
Chen et al. A quality controllable multi-view object reconstruction method for 3D imaging systems
CN110599587A (zh) 一种基于单张图像的3d场景重构技术
Zeng et al. 3D plants reconstruction based on point cloud
CN115937457B (zh) 一种基于dem影像的实时地形素描方法
CN117523341B (zh) 一种深度学习训练图像样本的生成方法、装置及设备
Yu et al. Three-dimensional design of architectural appearance in coastal areas based on digital media technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant