CN110717966A - 一种三维纹理映射图的生成方法和装置 - Google Patents
一种三维纹理映射图的生成方法和装置 Download PDFInfo
- Publication number
- CN110717966A CN110717966A CN201910743606.7A CN201910743606A CN110717966A CN 110717966 A CN110717966 A CN 110717966A CN 201910743606 A CN201910743606 A CN 201910743606A CN 110717966 A CN110717966 A CN 110717966A
- Authority
- CN
- China
- Prior art keywords
- concave
- convex
- network
- value
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 29
- 230000004913 activation Effects 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims 1
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
本申请实施例属于三维图像自动生成领域,涉及一种三维纹理映射图的生成方法,包括:通过特征提取模型对草图进行特征提取;根据提取的草图特征生成对应的凹凸值;通过生成的与草图对应的凹凸值还原三维纹理映射图。本申请还涉及一种三维纹理映射图的生成组装置。本申请提供的技术方案能够通过设置特征提取模型,对草图进行特征提取,之后根据从草图中提取的特征形成凹凸值,之后通过凹凸值还原,形成三维纹理映射图。该方案能够绕过传统三维纹理映射图生成过程当中,需要对草图的每一部分提供相应的三维模型的步骤,无需根据三维模型数据结合草图,即可实现通过草图到三维纹理映射图的生成,大大简化了三维纹理映射图的生成难度。
Description
技术领域
本申请涉及三维图像自动生成领域,更具体地,涉及一种三维纹理映射图的生成方法和装置。
背景技术
随着移动摄像技术的普及以及社交网络的发展,将图片作为信息的存储和交互手段已经成为人们日常生活中的组成部分。包括对图片的内容进行取舍,突出或删节掉图片中的信息在内的图片编辑技术,成为了用户之间的交互传达信息的重要手段。随之对图像的处理需求也开始井喷。对于图像的编辑再也不仅限于新闻媒体、图片编辑、设计师和摄影师等专业人员的范围之内,普通用户也能够通过应用程序来实现图片内容的修改,完成自己的创作。
在众多图像编辑技术的需求当中,三维纹理映射图是一种古老而常见的应用需求。期初雕刻者在一块平板上将他要塑造的形象雕刻出来,使它脱离原来材料的平面,这种技术被广泛的引入了计算机图形学领域。凹凸纹理映射图能增强平凡平面再光照环境下渲染的立体效果,计算成本低,效果明显。在最近十年的发展中,通过将三维模型转换成数字三维凹凸纹理映射图取得了很大的进步。
然而现有的在制作三维凹凸纹理映射图模型时,结合草图,需要输入预先对应的三维模型。这一步骤十分繁杂,需要将草图上绘制的内容分解和抽象,在创作时需要选择对应的三维模型,如果缺少所需要的三维模型,就不能得到三维凹凸纹理映射图模型,这样极大的限制了创造者的想象力。需要提供一种能够快速生成三维凹凸纹理映射图的方法。
发明内容
本申请实施例所要解决的技术问题是提供一种三维纹理映射图的生成方法,以解决三维凹凸纹理映射图生成步骤复杂的问题。
为了解决上述技术问题,本申请实施例提供一种三维纹理映射图的生成方法,采用了如下所述的技术方案:
一种三维纹理映射图的生成方法,该方法包括:通过特征提取模型对草图进行特征提取;根据提取的草图特征生成对应的凹凸值;通过生成的与草图对应的凹凸值还原三维纹理映射图。
进一步的,所述特征提取模型包括:生成网络和区分网络,所述特征提取模型的获取方法为:获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型;使用生成网络对草图进行解析,生成运算凹凸值;使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系;固定区分网络的运算参数,根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假;固定生成网络的运算参数,通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系;循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真是凹凸值之间的真假关系。
进一步的,所述获取测试集,具体包括:将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;采集视角的草图,以及对应的三维纹理映射图;提取三维纹理映射图当中的凹凸值;以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围。
进一步的,所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;使用生成网络对草图进行解析,生成运算凹凸值具体包括:
将草图图像输入到编码器分割为子图像;使用卷积层、激活层和归一层,对所述子图像进行解析,提取特征,确定特征向量;其中卷积层通过卷积滤波器与输入图像卷积获得特征图,激活层对特征图激活,以使得特征图加入非线性因素,归一层将激活后的特征图包含的数据归一,以控制数据分布。使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值;其中反卷积层转置特征图中的特征向量,激活层对转置后的特征向量激活并归一,获取运算凹凸值。
进一步的,所述生成网络还包括图像提取VGG19网络,使用激活层、卷积层和归一层,对所述子图像进行解析之前,该方法还包括:通过VGG19网络提取子图像的图像特征;获取VGG19网络各个层级图像特征之间的L1损失值;根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。
进一步的,所述特征提取模型还包括测试模块,循环调整生成网络和区分网络的参数之后,该方法还包括:使用测试模块将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对对跨越融合之后的特征向量进行处理获得运算凹凸值。
进一步的,所述区分网络包括输入模块、输出模块和若干第二下采集模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系具体包括:通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
进一步的,通过生成的与草图对应的凹凸值还原三维纹理映射图,具体包括:以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围;根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值,根据映射凹凸值绘制三维文理映射图。
进一步的,所述将三维纹理映射图中的凹凸值映射到预设的分度内范围之前,该方法还包括通过盒装滤波器对凹凸值进行光顺。
为解决上述技术问题,本申请还公开了一种三维纹理映射图的生成装置。
一种三维纹理映射图的生成装置,包括特征提取模块和生成模块;所述特征提取模块用于通过特征提取模型对草图进行特征提取,还用于根据提取的草图特征生成对应的凹凸值;所述生成模块用于通过生成的与草图对应的凹凸值还原三维纹理映射图。
进一步的,所述特征提取模块包括:测试集获取模块、生成网络模块和区分网络模块,所述测试集获取模块用于获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型,所述生成网络模块用于对草图进行解析,生成运算凹凸值,所述区分网络模块用于对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系;固定区分网络的运算参数,所述区生成络模块还用于根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假;固定生成网络的运算参数,所述区分网络模块还用于通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系;并且所述生成网络模块和区分网络模块循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真是凹凸值之间的真假关系。
进一步的,所述测试集获取模块还用于:将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;采集视角的草图,以及对应的三维纹理映射图;提取三维纹理映射图当中的凹凸值;以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围。
进一步的,所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;所述生成网络模块还用于:将草图图像输入到编码器分割为子图像;使用激活层、卷积层和归一层,对所述子图像进行解析,提取特征,确定特征向量;使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值。
进一步的,所述生成网络模块包括图像提取模块,所述图像提取模块用于:通过VGG19网络提取子图像的图像特征;获取VGG19网络各个层级图像特征之间的L1损失值;根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。
进一步的,所述特征提取模块还包括测试模块,所述测试模块用于将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对对跨越融合之后的特征向量进行处理获得运算凹凸值。
进一步的,所述区分网络模块包括输入模块、输出模块和若干第二下采集模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层,所述区分网络模块还用于:通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
进一步的,所述生成模块还用于:以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围;根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值,根据映射凹凸值绘制三维文理映射图。
进一步的,所述生成模块还用于:将三维纹理映射图中的凹凸值映射到预设的分度内范围之前通过盒装滤波器对凹凸值进行光顺。
与现有技术相比,本申请实施例主要有以下有益效果:
通过设置特征提取模型,对草图进行特征提取,经过训练的提取模型能够快捷准确的将草图中的特征提取出来,之后根据从草图中提取的特征形成凹凸值,凹凸值能够准确的表达草图中各个部分所反映的三维纹理的表现情况,使得草图中的图像能够三维数据化,之后通过凹凸值还原,将草图中记载的图像三维化输出,形成三维纹理映射图。该方案能够绕过传统三维纹理映射图生成过程当中,需要对草图的每一部分提供相应的三维模型的步骤,无需根据三维模型数据结合草图,即可实现通过草图到三维纹理映射图的生成,大大简化了三维纹理映射图的生成难度。
附图说明
为了更清楚地说明本申请的方案,下面将对实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种三维纹理映射图的生成方法流程图。
图2为本发明一种特征提取模型的获取方法。
图3为步骤S300的流程图。
图4为本发明一种三维纹理映射图的生成装置结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
一种三维纹理映射图的生成方法,该方法包括:
步骤S100:通过特征提取模型对草图进行特征提取。
步骤S200:根据提取的草图特征生成对应的凹凸值。
步骤S300:通过生成的与草图对应的凹凸值还原三维纹理映射图。
进一步的,所述特征提取模型包括:生成网络和区分网络,所述特征提取模型的获取方法为:
步骤Sa1:获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型。
步骤Sa2:使用生成网络对草图进行解析,生成运算凹凸值。
步骤Sa3:使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系。
步骤Sa4:固定区分网络的运算参数,根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假。
步骤Sa5:固定生成网络的运算参数,通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系。
循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真是凹凸值之间的真假关系。
进一步的,所述获取测试集,具体包括:将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;采集视角的草图,以及对应的三维纹理映射图;提取三维纹理映射图当中的凹凸值;以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围。该方案能够将数据格式化规范化,控制数据的离散程度。
进一步的,所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;使用生成网络对草图进行解析,生成运算凹凸值具体包括:将草图图像输入到编码器分割为子图像;使用激活层、卷积层和归一层,对所述子图像进行解析,提取特征,确定特征向量;使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值。
进一步的,所述生成网络还包括图像提取VGG19网络,使用激活层、卷积层和归一层,对所述子图像进行解析之前,该方法还包括:通过VGG19网络提取子图像的图像特征;获取VGG19网络各个层级图像特征之间的L1损失值;根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。该方案能够简化生成网络训练数据模型的训练过程,大大加快模型的生成以及调整速度。
进一步的,所述特征提取模型还包括测试模块,循环调整生成网络和区分网络的参数之后,该方法还包括:
步骤Sa6:使用测试模块将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对对跨越融合之后的特征向量进行处理获得运算凹凸值。
进一步的,所述区分网络包括输入模块、输出模块和若干第二下采集模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系具体包括:通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
进一步的,通过生成的与草图对应的凹凸值还原三维纹理映射图,具体包括:
步骤S301:以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围;
步骤S302:根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值,根据映射凹凸值绘制三维文理映射图。
进一步的,所述将三维纹理映射图中的凹凸值映射到预设的分度内范围之前,该方法还包括通过盒装滤波器对凹凸值进行光顺。
为解决上述技术问题,本申请还公开了一种三维纹理映射图的生成装置。
一种三维纹理映射图的生成装置,包括特征提取模块和生成模块;所述特征提取模块用于通过特征提取模型对草图进行特征提取,还用于根据提取的草图特征生成对应的凹凸值;所述生成模块用于通过生成的与草图对应的凹凸值还原三维纹理映射图。
进一步的,所述特征提取模块包括:测试集获取模块、生成网络模块和区分网络模块,所述测试集获取模块用于获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型,所述生成网络模块用于对草图进行解析,生成运算凹凸值,所述区分网络模块用于对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系;固定区分网络的运算参数,所述区生成络模块还用于根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假;固定生成网络的运算参数,所述区分网络模块还用于通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系;并且所述生成网络模块和区分网络模块循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真是凹凸值之间的真假关系。
进一步的,所述测试集获取模块还用于:将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;采集视角的草图,以及对应的三维纹理映射图;提取三维纹理映射图当中的凹凸值;以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围。
进一步的,所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;所述生成网络模块还用于:将草图图像输入到编码器分割为子图像;使用激活层、卷积层和归一层,对所述子图像进行解析,提取特征,确定特征向量;使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值。
进一步的,所述生成网络模块包括图像提取模块,所述图像提取模块用于:通过VGG19网络提取子图像的图像特征;获取VGG19网络各个层级图像特征之间的L1损失值;根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。
进一步的,所述特征提取模块还包括测试模块,所述测试模块用于将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对对跨越融合之后的特征向量进行处理获得运算凹凸值。
进一步的,所述区分网络模块包括输入模块、输出模块和若干第二下采集模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层,所述区分网络模块还用于:通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
进一步的,所述生成模块还用于:以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围;根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值,根据映射凹凸值绘制三维文理映射图。
进一步的,所述生成模块还用于:将三维纹理映射图中的凹凸值映射到预设的分度内范围之前通过盒装滤波器对凹凸值进行光顺。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。
Claims (10)
1.一种三维纹理映射图的生成方法,其特征在于:该方法包括:
通过特征提取模型对草图进行特征提取;
根据提取的草图特征生成对应的凹凸值;
通过生成的与草图对应的凹凸值还原三维纹理映射图。
2.根据权利要求1所述的一种三维纹理映射图的生成方法,其特征在于:所述特征提取模型包括:生成网络和区分网络,所述特征提取模型的获取方法为:
获取测试集,测试集中包括若干相互对应的草图和三维纹理映射模型;
使用生成网络对草图进行解析,生成运算凹凸值;
使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系;
固定区分网络的运算参数,根据运算凹凸值和真实凹凸值之间的真假关系,梯度调整生成网络的运算参数,以提升生成网络生成运算凹凸值的精度,直到区分网络无法区分运算凹凸值和真实凹凸值之间的真假;
固定生成网络的运算参数,通过区分网络计算运算凹凸值和真实凹凸值之间的损失,梯度调整区分网络的运算参数,以提升区分网络区分运算凹凸值和真实凹凸值之间的区分精度,直到区分网络能够区分运算凹凸值和真实凹凸值之间的真假关系;
循环调整生成网络和区分网络的参数,直到生成网络能够精确进行特征提取,并且区分网络能够精确鉴别生成凹凸值和真是凹凸值之间的真假关系。
3.根据权利要求2所述的一种三维纹理映射图的生成方法,其特征在于:所述获取测试集,具体包括:
将模型在单位球中做均匀转动,其中转动围绕至少两个轴线进行;
采集视角的草图,以及对应的三维纹理映射图;
提取三维纹理映射图当中的凹凸值;
以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围。
4.根据权利要求2所述的一种三维纹理映射图的生成方法,其特征在于:所述生成网络包括:编码器和解码器,所述编码器包括若干第一下采样模块,所述第一下采样模块包括激活层、卷积层和归一层,所述解码器包括与第一下采样模块相对应的上采样模块,所述上采样模块包括反卷积层和激活层;使用生成网络对草图进行解析,生成运算凹凸值,具体包括:
将草图图像输入到编码器分割为子图像;
使用卷积层、激活层和归一层,对所述子图像进行解析,提取特征,确定特征向量;
其中卷积层通过卷积滤波器与输入图像卷积获得特征图,激活层对特征图激活,以使得特征图加入非线性因素,归一层将激活后的特征图包含的数据归一,以控制数据分布。
使用反卷积层、激活层对特征向量进行处理,获取运算凹凸值;
其中反卷积层转置特征图中的特征向量,激活层对转置后的特征向量激活并归一,获取运算凹凸值。
5.根据权利要求4所述的一种三维纹理映射图的生成方法,其特征在于:所述生成网络还包括图像提取VGG19网络,使用激活层、卷积层和归一层,对所述子图像进行解析之前,该方法还包括:
通过VGG19网络提取子图像的图像特征;
获取VGG19网络各个层级图像特征之间的L1损失值;
根据L1损失值的大小调整VGG19网络中的运算参数,直至L1损失值稳定,生成网络实现收敛。
6.根据权利要求4所述的一种三维纹理映射图的生成方法,其特征在于:所述特征提取模型还包括测试模块,循环调整生成网络和区分网络的参数之后,该方法还包括:
使用测试模块将编码过程中产生的特征向量和解码过程中的特征向量进行跨越融合,并使用反卷积层、激活层对对跨越融合之后的特征向量进行处理获得运算凹凸值。
7.根据权利要求2所述的一种三维纹理映射图的生成方法,其特征在于:所述区分网络包括输入模块、输出模块和若干第二下采集模块,输入层包括卷积层和激活层,所述第二下采样模块包括卷积层、归一层和激活层,使用区分网络对运算凹凸值和真实凹凸值比对,确定运算凹凸值和真实凹凸值之间的真假关系具体包括:
通过卷积层、归一层和激活层对运算凹凸值和真实凹凸值的处理,获取运算凹凸值和真实凹凸值之间的梯度差异,确定运算凹凸值和真实凹凸值之间的真假。
8.根据权利要求1所述的一种三维纹理映射图的生成方法,其特征在于:通过生成的与草图对应的凹凸值还原三维纹理映射图,具体包括:
以所述凹凸值中的最大值和最小值为端点,将三维纹理映射图中的凹凸值映射到预设的分度内范围;
根据映射到分度范围内的凹凸值累加最小值,确定映射凹凸值,根据映射凹凸值绘制三维文理映射图。
9.根据权利要求8所述的一种三维纹理映射图的生成方法,其特征在于:所述将三维纹理映射图中的凹凸值映射到预设的分度内范围之前,该方法还包括通过盒装滤波器对凹凸值进行光顺。
10.一种三维纹理映射图的生成装置,其特征在于:包括特征提取模块和生成模块;
所述特征提取模块用于通过特征提取模型对草图进行特征提取,还用于根据提取的草图特征生成对应的凹凸值;
所述生成模块用于通过生成的与草图对应的凹凸值还原三维纹理映射图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910743606.7A CN110717966B (zh) | 2019-08-12 | 2019-08-12 | 一种三维纹理映射图的生成方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910743606.7A CN110717966B (zh) | 2019-08-12 | 2019-08-12 | 一种三维纹理映射图的生成方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110717966A true CN110717966A (zh) | 2020-01-21 |
CN110717966B CN110717966B (zh) | 2024-01-26 |
Family
ID=69209381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910743606.7A Active CN110717966B (zh) | 2019-08-12 | 2019-08-12 | 一种三维纹理映射图的生成方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110717966B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030117411A1 (en) * | 2001-12-21 | 2003-06-26 | Minolta Co., Ltd. | Texture mapping method and apparatus |
US20090110267A1 (en) * | 2007-09-21 | 2009-04-30 | The Regents Of The University Of California | Automated texture mapping system for 3D models |
CN102521869A (zh) * | 2011-09-30 | 2012-06-27 | 北京航空航天大学 | 一种几何特征引导的三维模型表面纹理空洞填补方法 |
CN105913485A (zh) * | 2016-04-06 | 2016-08-31 | 北京小小牛创意科技有限公司 | 一种三维虚拟场景的生成方法及装置 |
CN108629826A (zh) * | 2018-05-15 | 2018-10-09 | 天津流形科技有限责任公司 | 一种纹理映射方法、装置、计算机设备及介质 |
-
2019
- 2019-08-12 CN CN201910743606.7A patent/CN110717966B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030117411A1 (en) * | 2001-12-21 | 2003-06-26 | Minolta Co., Ltd. | Texture mapping method and apparatus |
US20090110267A1 (en) * | 2007-09-21 | 2009-04-30 | The Regents Of The University Of California | Automated texture mapping system for 3D models |
CN102521869A (zh) * | 2011-09-30 | 2012-06-27 | 北京航空航天大学 | 一种几何特征引导的三维模型表面纹理空洞填补方法 |
CN105913485A (zh) * | 2016-04-06 | 2016-08-31 | 北京小小牛创意科技有限公司 | 一种三维虚拟场景的生成方法及装置 |
CN108629826A (zh) * | 2018-05-15 | 2018-10-09 | 天津流形科技有限责任公司 | 一种纹理映射方法、装置、计算机设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110717966B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363858B (zh) | 一种三维人脸重建方法及*** | |
CN107248169B (zh) | 图像定位方法及装置 | |
CN111507333B (zh) | 一种图像矫正方法、装置、电子设备和存储介质 | |
WO2023072067A1 (zh) | 人脸属性编辑模型的训练以及人脸属性编辑方法 | |
WO2019127102A1 (zh) | 信息处理方法、装置、云处理设备以及计算机程序产品 | |
CN111724481A (zh) | 对二维图像进行三维重构的方法、装置、设备及存储介质 | |
US20230083518A1 (en) | Image segmentation method, system, and device, and readable storage medium | |
CN109165571B (zh) | 用于***图像的方法和装置 | |
CN111028279A (zh) | 点云数据处理方法及装置、电子设备和存储介质 | |
CN114529490B (zh) | 一种数据处理方法、装置、设备以及可读存储介质 | |
Lopez et al. | Modeling complex unfoliaged trees from a sparse set of images | |
WO2024041235A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
CN113837290A (zh) | 一种基于注意力生成器网络的无监督非成对图像翻译方法 | |
CN116740547A (zh) | 基于数字孪生的变电站目标检测方法、***、设备及介质 | |
CN117557688B (zh) | 肖像生成模型训练方法、装置、计算机设备和存储介质 | |
CN111862343B (zh) | 一种三维重建方法、装置、设备及计算机可读存储介质 | |
CN113066005A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN117392293A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110717966A (zh) | 一种三维纹理映射图的生成方法和装置 | |
CN116977547A (zh) | 一种三维人脸重建方法、装置、电子设备和存储介质 | |
CN116485944A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN113239867B (zh) | 一种基于掩码区域自适应增强的光照变化人脸识别方法 | |
Yang et al. | Architectural sketch to 3D model: An experiment on simple-form houses | |
CN112700481B (zh) | 基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质 | |
He | Automatic Recognition System of Landscape Portrait Photography on Account of AI |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |