CN111724467B - 一种用于3d打印的体素模型生成方法及*** - Google Patents
一种用于3d打印的体素模型生成方法及*** Download PDFInfo
- Publication number
- CN111724467B CN111724467B CN202010488881.1A CN202010488881A CN111724467B CN 111724467 B CN111724467 B CN 111724467B CN 202010488881 A CN202010488881 A CN 202010488881A CN 111724467 B CN111724467 B CN 111724467B
- Authority
- CN
- China
- Prior art keywords
- element model
- volume element
- model
- feature
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000010146 3D printing Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 18
- 230000008929 regeneration Effects 0.000 claims description 13
- 238000011069 regeneration method Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000008485 antagonism Effects 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000002195 synergetic effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 241000219109 Citrullus Species 0.000 description 1
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/10—Additive manufacturing, e.g. 3D printing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本公开提供了一种用于3D打印的体素模型生成方法及***,根据自然语言描述得到词嵌入特征矩阵和句嵌入特征向量;以句嵌入特征向量为输入,经过条件增强并与噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征,并生成粗粒度体积元素模型;根据体积元素模型特征计算体积元素模型中每个子区域的文本条件特征向量,将体积元素模型特征和对应的文本条件特征矩阵输入下一个模型特征转换网络,生成较细粒度的体积元素模型;依次轮询每一个模型特征转换网络,得到最终的细粒度体积元素模型;本公开增强了生成的体积元素模型与自然语言描述之间的语义关联程度,使得生成的体积元素模型更符合文本语义描述。
Description
技术领域
本公开涉及3D打印技术领域,特别涉及一种用于3D打印的体素模型生成方法及***。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术,并不必然构成现有技术。
随着计算机图形学的不断发展和工业生产水平的提高,三维模型逐渐被运用到建筑、医学、影视、地理、3D打印等各种不同的领域,而将基于计算机视觉的三维模型与人工智能相结合,由自然语言描述自动生成三维模型,为工业生产、医学科研、虚拟现实等领域的研究带来了极大便利,如何由语义描述自动生成三维模型也成为计算机视觉和计算机图形学领域广受关注的重要课题。
三维模型建模是3D打印的核心,也是计算机视觉和图形学等领域研究的重要内容。目前,现有的三维建模方法包括基于专业软件的,基于扫描设备的和基于图像的建模技术。这些方法在一定程度上有效的满足了不同的应用领域对三维模型建模技术在通用性、易用性、专业性和精确性等方面上的不同要求。
现有的这三种技术存在以下缺点:
(1)基于专业软件的三维建模技术:虽然用户可以根据自己想象设计模型,但是需要用户花费大量的时间来学习软件的使用方法,甚至只有专业的设计师才能很好的使用专业软件。
(2)基于扫描设备的建模技术:低成本的扫描设备往往精度低且扫描场景小,而高精度、大场景的三维扫描设备的价格非常昂贵,只应用于专业的建模领域。并且缺乏用户在建模过程中的参与和交互。
(3)基于图像的建模技术:与传统的利用建模软件或者三维扫描仪得到立体模型的方法相比,基于图像的建模方法具有成本低廉,真实感强,自动化程度高等优点,但是当多幅图像进行建模时往往需要对图像进行匹配。基于单幅图像的三维重建避免了多幅图像重建的特征匹配问题,但是从单幅图像中推断深度信息显然是一个病态问题,其求解往往需要结合各种约束条件。
本公开发明人发现,由于不同模态之间的异构性,由文本到三维模型的生成依然存在一些问题。一方面,从三维模型的语言描述中提取高级语义特征时,由于人的主观描述存在多样性,使同一种三维模型可能对应多种不同的语言描述,而从多样的语言描述中提取一致的语义特征是比较困难的,因此机器往往不能根据同一三维模型的不同描述生成相同的三维模型。另一方面,由于三维模型多运用在可视化领域,为了方便建模,往往使用数学参数描述一个三维模型,如三维坐标、反射强度、色彩RGB值等,缺少贴合自然语言的描述性定义,这大大增加了提取三维模型高级语义特征的困难性。
发明内容
为了解决现有技术的不足,本公开提供了一种用于3D打印的体素模型生成方法及***,通过文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束等模块的协同作用,细化了生成的3D打印目标物体的体积元素模型的分辨率,增强了生成的体积元素模型与自然语言描述之间的语义关联程度,使得生成的体积元素模型更符合文本语义描述。
为了实现上述目的,本公开采用如下技术方案:
本公开第一方面提供了一种用于3D打印的体素模型生成方法。
一种用于3D打印的体素模型生成方法,包括以下步骤:
获取待打印目标物体的至少一句自然语言描述;
对获取的自然语言描述进行预处理,得到词嵌入特征矩阵和句嵌入特征向量;
以句嵌入特征向量为输入,经过条件增强并与随机噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征,并生成待打印目标物体的当前阶段体积元素模型;
根据词嵌入特征矩阵和体积元素模型特征生成当前阶段体积元素模型中的每个子区域的文本条件特征向量;
将当前阶段的体积元素模型特征和对应的文本条件特征矩阵输入到下一阶段的模型特征转换网络,生成待打印目标物体的粒度更细的体积元素模型,依次轮询每一个模型特征转换网络,得到待打印目标物体的最终的体积元素模型。
作为可能的一些实现方式,通过连续叠加多个模型特征转换网络,结合文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束,构造基于注意力机制的多阶段体积元素模型生成框架,用于生成细粒度体积元素模型。
本公开第二方面提供了一种用于3D打印的体素模型生成***。
一种用于3D打印的体素模型生成***,包括:
数据获取模块,被配置为:获取待打印目标物体的至少一句自然语言描述;
预处理模块,被配置为:对获取的待打印目标物体的自然语言描述进行预处理,得到词嵌入特征矩阵和句嵌入特征向量;
体积元素模型预生成模块,被配置为:以文本描述的句嵌入特征向量为输入,经过条件增强并与随机噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征,并生成待打印目标物体的当前阶段体积元素模型;
体积元素模型注意力模块,被配置为:根据词嵌入特征矩阵和体积元素模型特征生成当前阶段体积元素模型中的每个子区域的文本条件特征向量;
体积元素模型生成模块,被配置为:将当前阶段的体积元素模型特征和对应的文本条件特征矩阵输入到下一阶段的模型特征转换网络,生成待打印目标物体的粒度更细的体积元素模型,依次轮询每一个模型特征转换网络,得到待打印目标物体的最终的体积元素模型。
本公开第三方面提供了一种介质,其上存储有程序,该程序被处理器执行时实现如本公开第一方面所述的用于3D打印的体素模型生成方法中的步骤。
本公开第四方面提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本公开第一方面所述的用于3D打印的体素模型生成方法中的步骤。
与现有技术相比,本公开的有益效果是:
1、本公开所述的方法、***、介质及电子设备,通过文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束等模块的协同作用细化生成的体积元素模型的粒度,增强体积元素模型与自然语言描述之间的语义关联程度,使得体积元素模型更符合文本语义描述。
2、本公开所述的方法、***、介质及电子设备,在生成对抗网络中引入注意力机制,捕获体积元素模型中的局部细节信息和非局部关系,关联分散在不同位置的子区域,通过增加文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束,增强了体积元素模型与自然语言描述之间的语义关联,使得生成的体积元素模型不仅在形状结构上更为逼真,而且在语义表达上与给定的自然语言描述更加一致。
3、本公开所述的方法、***、介质及电子设备,可以使普通用户在不掌握三维建模技术的情况下,只需表达出想要三维建模的模型特征等信息,可自动生成想要的三维体素模型,进而即可通过3D打印设备根据生成的体素模型实现3D打印。
附图说明
图1为本公开实施例1提供的用于3D打印的体素模型生成方法的流程示意图。
图2为本公开实施例1提供的用于3D打印的体素模型生成框架的结构示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本公开提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
实施例1:
如图1所示,本公开实施例1提供了一种用于3D打印的体素模型生成方法,具体来说在模型建模过程中通过提取自然语言中的语义信息将自然语言理解技术与三维模型理解技术融合,依靠人的先验知识实现三维模型的描述、提取和语义分析,最终生成满足3D打印要求的三维模型。
在本实施例中,自然语言描述生成体积元素模型以多阶段生成过程为主体,在生成对抗网络框架下引入注意力机制,多阶段细化体积元素模型并增强自然语言描述与体积元素模型之间的关联,体积元素模型的生成过程如图2所示。
以待打印目标物体中的自然语言描述作为输入,首先运用循环神经网络对文本进行编码,分别得到其句嵌入特征向量和词嵌入特征矩阵,然后采用条件增强法,与随机噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征,并生成粗粒度体积元素模型,再根据体积元素模型特征计算体积元素模型每个子区域的文本条件特征向量,将体积元素模型特征与对应的文本条件特征矩阵输入下一个模型特征转换网络,生成粒度较细的体积元素模型。依次轮询每一个模型特征转换网络,得到最终的细粒度体积元素模型。
本实施例中,3D打印目标物体选取为一个带有方形货箱的四轮卡车。
可以理解的,在其他一些实施方式中,所述3D打印目标物体可以是一个西瓜,一架飞机,一张桌子或者一栋房子,只要能够通过自然语言描述进行描述即可。
具体包括如下过程:
(1)文本语义提取过程。
神经网络通过文本量化来提取自然语言描述的语义特征信息。通过堆叠正向序列隐藏层和逆向序列隐藏层构成的双向长短期记忆网络,得到一个深度双向长短期记忆模型。在这个深度双向长短期记忆模型中,每个单词对应两个隐藏状态,每个方向上各对应一个隐藏状态,把它的两个隐藏状态连接起来表示一个单词的语义。本实施例用表示所有词嵌入特征向量组成的词嵌入特征矩阵,词嵌入特征矩阵w中的第i列wi表示第i个单词的词嵌入特征向量,其中D表示词嵌入特征向量的维数,T表示自然语言描述中词的总数。将深度双向长短期记忆模型的最后一个隐藏状态连接为自然语言描述的句嵌入特征向量,记为/>
(2)体积元素模型生成过程。
由于不同的自然语言描述可能具有相似的语义,那么与其对应的体积元素模型同样应是相似的。因此,利用条件增强方法产生更多的文本-模型数据,从而增强体积元素模型对文本流形上小扰动的鲁棒性。
条件增强的增广函数表示为:
其中,Fca(·)表示条件增强方法,表示句嵌入特征向量,/>表示对句嵌入特征向量/>使用条件增强方法Fca(·)后得到的句嵌入特征向量,D′表示句嵌入特征向量/>的维度,/>相较于/>具有更多的文本-模型数据。
在体积元素模型的生成过程中,通过连续叠加三个生成网络构造基于注意力机制的多阶段体积元素模型生成框架。{NN0,NN1,…,NNm-1}表示m个模型特征转换网络,{G0,G1,…,Gm-1}表示m个模型生成器。fi表示模型特征转换网络NNi输出的体积元素模型特征,则每一阶段根据体积元素模型特征fi生成体积元素模型Mi的过程表示为:
fi=NNi(fi-1,Attni(fi-1,w)),i∈{1,2,…,m-1} (3)
Mi=Gi(fi),i∈{0,1,2,…,m-1} (4)
其中z表示从标准正态分布中采样的噪声向量,表示经过条件增强后的句嵌入特征向量,Attni,Gi,fi,Mi分别表示模型生成过程中第i个阶段的注意力模型、生成器、体积元素模型特征和体积元素模型。
注意力模型Attni有两个输入:词嵌入特征矩阵和来自前一隐层的体积元素模型特征/>词嵌入特征矩阵w通过感知机被映射到体积元素模型的语义空间,映射过程表示为:
w′=Uw (5)
其中w′表示映射后得到的词嵌入特征矩阵,表示映射矩阵。
根据体积元素模型特征f计算体积元素模型每个子区域的文本条件特征向量。体积元素模型特征f中的每一列向量表示体积元素模型的一个子区域,对于体积元素模型中的第j个子区域,用自然语言描述中的所有词嵌入特征向量进行表示,那么与该子区域相关的词嵌入特征向量应具有较大的权重,不相关的词嵌入特征向量应具有较小的权重,每一个子区域的词嵌入特征向量加权和称为文本条件特征向量。对于第j个子区域,它的文本条件特征向量及关联权重的计算方式表示为:
其中βj,i表示当生成体积元素模型中的第j个子区域时,第i个单词所获得的关注程度,/>表示第j个子区域的文本条件特征向量。
由上述公式可获得体积元素模型特征f的文本条件特征矩阵:
Attn(f,w)=(c0,c1,c2,…,cN-1) (7)
其中{c0,c1,…,cN-1}表示N个与体积元素模型子区域对应的文本条件特征向量,将体积元素模型特征f和对应的文本条件特征矩阵Attn(f,w)输入下一阶段的模型特征转换网络以生成较细粒度的体积元素模型。
(2)体积元素模型生成约束及其损失函数。
为了在多模态语义约束(文本语义嵌入约束、深度多模态注意力约束及语义再生成对齐约束)的协同作用下生成更具真实感的体积元素模型,将体积元素模型生成框架的目标函数定义为:
其中,λ1,λ2是平衡各损失项的超参数。
(2-1)文本语义嵌入约束。
在体积元素模型生成框架中,生成器和判别器均采用卷积神经网络,生成器的对抗损失联合了条件近似分布和无条件近似分布。
在注意力网络的第i个阶段,生成器的对抗损失为:
其中无条件损失决定了体积元素模型是真实模型还是生成模型,条件损失/>决定了体积元素模型和自然语言描述是否匹配,判别器Di与生成器Gi的训练交替进行,通过最小化交叉熵的方式提高判别器Di判断输入模型真假的能力,其对抗损失为:
其中xi表示第i个尺度下服从真实体积元素模型分布的模型,Mi表示相同尺度i下服从生成的体积元素模型分布/>的模型。由于体积元素模型生成框架中的判别器在结构上是不相交的,因此它们可以被并行训练,并且每一个判别器都只在一个固定的模型尺度上发挥作用。
(2-2)深度多模态注意力约束。
深度多模态注意力约束通过模型编码器将生成的体积元素模型中的子区域映射到自然语言描述中的词嵌入语义空间,从而在词的层次上测量自然语言描述和体积元素模型的相似度,计算体积元素模型生成的细粒度损失。模型编码器是一个将体积元素模型M映射到词嵌入语义空间的三维卷积神经网络,映射过程表示为:
其中中的每一列向量vi是体积元素模型的第i个子区域的特征,/>是生成模型的全局特征,D是词嵌入语义空间的维度,N是体积元素模型的子区域的个数。因此,自然语言描述中的词与体积元素模型中的子区域的相似度矩阵可表示为:
s=wTv (12)
其中中每一元素si,j是自然语言描述中第i个词与体积元素模型中第j个子区域的点积相似度。
对si,j正则化得到:
与文本条件特征向量的计算方式类似,模型条件特征向量被定义为:
其中γ1是由实验决定的注意力因子。自然语言描述中的第i个词wi与该模型子区域的余弦相似度为:
将基于注意力驱动的整个自然语言描述(Te)与整个生成的体积元素模型(Mo)之间的文本-模型匹配分数定义为:
其中γ2是由实验决定的相关性因子。深度多模态注意力约束是以半监督方式学习的注意力模型,其中监督信息是整个自然语言描述(Te)与整个体积元素模型(Mo)之间的文本-模型匹配分数。对于统同一批次的文本-模型对其后验概率的计算形式可表示为:
其中γ3是由实验决定的平滑因子。在同一批次的自然语言描述中,只有句子Tei与体积元素模型Moi匹配,其余的M-1个句子都是错误匹配的自然语言描述。深度多模态注意力约束将损失函数定义为负对数后验概率:
此外通过修改并将其代入后验概率公式与负对数后验概率公式,在句的层次上得到损失项/>最终可得到深度多模态注意力约束的损失函数
(2-3)语义再生成对齐约束。
语义再生成对齐约束采用文本语义重构损失,使对应的再生成自然语言描述与预先给定的自然语言描述的语义保持一致。文本解码器由LSTM(长短期记忆网络)构成,模型生成器生成的体积元素模型被输入到模型编码器CNN(卷积神经网络)和文本解码器LSTM中,表示如下:
x-1=CNN(Mm-1) (19)
xt=WeTt,t∈{0,…,L-1} (20)
pt+1=LSTM(xt),t∈{0,…,L-1} (21)
其中x-1表示在开始时作为输入并为LSTM提供模型内容的体积元素模型特征,We表示将词嵌入特征矩阵映射到体积元素模型特征空间的映射矩阵,pt+1表示单词的预测概率分布。
再生成文本对齐模型的最终损失表示为:
其中,Tet表示整个自然语言描述(Te)中的第t个单词,L表示单词的数量,pt表示单词的预测概率分布。
本实施例1研究与自然语言描述保持语义一致的细粒度体积元素模型生成方法,分析多种自然语言描述嵌入式特征的语义表征能力,构建多阶段体积元素模型生成框架,引入注意力机制和强化学习理论,探析相似自然语言描述间的语义差异,揭示自然语言描述与体积元素模型的语义关联,建立多约束协同作用模型,生成了具有视觉写实性与语义一致性的细粒度体积元素模型。
通过文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束等模块的协同作用细化体积元素模型的粒度,增强生成的体积元素模型与自然语言描述之间的语义关联程度,使得生成的体积元素模型更符合文本语义描述。在生成对抗网络中引入注意力机制,捕获体积元素模型中的局部细节信息和非局部关系,关联分散在不同位置的子区域,通过增加文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束,增强体积元素模型与自然语言描述之间的语义关联,使得生成的体积元素模型不仅在形状结构上更为逼真,而且在语义表达上与给定的自然语言描述更加一致。
实施例2:
本公开实施例2提供了一种用于3D打印的体素模型生成***,包括:
数据获取模块,被配置为:获取待打印目标物体的至少一句自然语言描述;
预处理模块,被配置为:对获取的待打印目标物体的自然语言描述进行预处理,得到词嵌入特征矩阵和句嵌入特征向量;
体积元素模型预生成模块,被配置为:以文本描述的句嵌入特征向量为输入,经过条件增强并与随机噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征,并生成待打印目标物体的当前阶段体积元素模型;
体积元素模型注意力模块,被配置为:根据词嵌入特征矩阵和体积元素模型特征生成当前阶段体积元素模型中的每个子区域的文本条件特征向量;
体积元素模型生成模块,被配置为:将当前阶段的体积元素模型特征和对应的文本条件特征矩阵输入到下一阶段的模型特征转换网络,生成待打印目标物体的粒度更细的体积元素模型,依次轮询每一个模型特征转换网络,得到待打印目标物体的最终的体积元素模型。
所述生成***的工作方法与实施例1中的生成方法相同,这里不再赘述。
实施例3:
本公开实施例3提供了一种介质,其上存储有程序,该程序被处理器执行时实现如本公开实施例1所述的用于3D打印的体素模型生成方法中的步骤。
实施例4:
本公开实施例4提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本公开实施例1所述的用于3D打印的体素模型生成方法中的步骤。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (5)
1.一种用于3D打印的体素模型生成方法,其特征在于,包括以下步骤:
获取待打印目标物体的至少一句自然语言描述;
对获取的待打印目标物体的自然语言描述进行预处理,得到词嵌入特征矩阵和句嵌入特征向量;
以句嵌入特征向量为输入,经过条件增强并与随机噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征,并生成待打印目标物体的当前阶段体积元素模型;
根据词嵌入特征矩阵和体积元素模型特征生成当前阶段体积元素模型中的每个子区域的文本条件特征向量;
将当前阶段的体积元素模型特征和对应的文本条件特征矩阵输入到下一阶段的模型特征转换网络,生成待打印目标物体的粒度更细的体积元素模型,依次轮询每一个模型特征转换网络,得到待打印目标物体的最终的体积元素模型;
具体为:通过连续叠加多个模型特征转换网络,结合文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束,构造基于注意力机制的多阶段体积元素模型生成框架,用于生成体积元素模型;
体积元素模型生成框架的目标函数为:
其中,λ1,λ2是平衡各损失项的超参数,为体积元素模型生成器的对抗损失,为深度多模态注意力约束的损失函数,/>为语义再生成对齐约束的损失函数;
注意力网络的第i个阶段,体积元素模型生成器的对抗损失,具体为:
其中,为无条件损失,/>为条件损失,Di(·)为判别器对抗损失函数,Mi表示相同尺度i下服从生成的体积元素模型分布/>的模型;
深度多模态注意力约束的损失函数,具体为:
其中,为在句的层次上得到损失项,Tei为句子,Moi为体积元素模型,M为句子的个数;
语义再生成对齐约束的损失函数,具体为:
其中,Tet为整个自然语言描述(Te)中的第t个单词,L为单词的数量,pt表示单词的预测概率分布。
2.如权利要求1所述的用于3D打印的体素模型生成方法,其特征在于,根据当前体积元素模型特征计算体积元素模型每个子区域的文本条件特征向量矩阵,具体为:
根据当前体积元素模型特征计算当前体积元素模型每个子区域的文本条件特征向量,当前体积元素模型特征中的每一列向量表示模型的一个子区域,对于生成体积元素模型中的任意一个子区域,用自然语言描述中的所有词嵌入特征向量进行表示,每一个子区域的词嵌入特征向量加权和为文本条件特征向量。
3.一种用于3D打印的体素模型生成***,其特征在于,包括:
数据获取模块,被配置为:获取待打印目标物体的至少一句自然语言描述;
预处理模块,被配置为:对获取的待打印目标物体的自然语言描述进行预处理,得到词嵌入特征矩阵和句嵌入特征向量;
体积元素模型预生成模块,被配置为:以句嵌入特征向量为输入,经过条件增强并与随机噪声结合后输入第一个模型特征转换网络得到初始的体积元素模型特征,并生成待打印目标物体的当前阶段体积元素模型;
体积元素模型注意力模块,被配置为:根据词嵌入特征矩阵和体积元素模型特征生成当前阶段体积元素模型中的每个子区域的文本条件特征向量;
体积元素模型生成模块,被配置为:将当前阶段的体积元素模型特征和对应的文本条件特征矩阵输入到下一阶段的模型特征转换网络,生成待打印目标物体的粒度更细的体积元素模型,依次轮询每一个模型特征转换网络,得到待打印目标物体的最终的体积元素模型;
具体为:通过连续叠加多个模型特征转换网络,结合文本语义嵌入约束、深度多模态注意力约束和语义再生成对齐约束,构造基于注意力机制的多阶段体积元素模型生成框架,用于生成体积元素模型;
体积元素模型生成框架的目标函数为:
其中,λ1,λ2是平衡各损失项的超参数,为体积元素模型生成器的对抗损失,为深度多模态注意力约束的损失函数,/>为语义再生成对齐约束的损失函数;
注意力网络的第i个阶段,体积元素模型生成器的对抗损失,具体为:
其中,为无条件损失,/>为条件损失,Di(·)为判别器对抗损失函数,Mi表示相同尺度i下服从生成的体积元素模型分布/>的模型;
深度多模态注意力约束的损失函数,具体为:
其中,为在句的层次上得到损失项,Tei为句子,Moi为体积元素模型,M为句子的个数;
语义再生成对齐约束的损失函数,具体为:
其中,Tet为整个自然语言描述(Te)中的第t个单词,L为单词的数量,pt表示单词的预测概率分布。
4.一种介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1-2任一项所述的用于3D打印的体素模型生成方法中的步骤。
5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-2任一项所述的用于3D打印的体素模型生成方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010488881.1A CN111724467B (zh) | 2020-06-02 | 2020-06-02 | 一种用于3d打印的体素模型生成方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010488881.1A CN111724467B (zh) | 2020-06-02 | 2020-06-02 | 一种用于3d打印的体素模型生成方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111724467A CN111724467A (zh) | 2020-09-29 |
CN111724467B true CN111724467B (zh) | 2024-05-17 |
Family
ID=72565713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010488881.1A Active CN111724467B (zh) | 2020-06-02 | 2020-06-02 | 一种用于3d打印的体素模型生成方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724467B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019044064A1 (ja) * | 2017-08-30 | 2019-03-07 | 株式会社日立製作所 | データ合成装置および方法 |
CN110111345A (zh) * | 2019-05-14 | 2019-08-09 | 西安电子科技大学 | 一种基于注意力网络的3d点云分割方法 |
CN110675488A (zh) * | 2019-09-24 | 2020-01-10 | 电子科技大学 | 基于深度学习的创意三维体素模型的建模***的构建方法 |
CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
-
2020
- 2020-06-02 CN CN202010488881.1A patent/CN111724467B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019044064A1 (ja) * | 2017-08-30 | 2019-03-07 | 株式会社日立製作所 | データ合成装置および方法 |
CN110111345A (zh) * | 2019-05-14 | 2019-08-09 | 西安电子科技大学 | 一种基于注意力网络的3d点云分割方法 |
CN110675488A (zh) * | 2019-09-24 | 2020-01-10 | 电子科技大学 | 基于深度学习的创意三维体素模型的建模***的构建方法 |
CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
Non-Patent Citations (1)
Title |
---|
基于体素特征重组网络的三维物体识别;路强;张春元;陈超;余烨;YUAN Xiao-hui;;图学学报;20190415(02);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111724467A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263912B (zh) | 一种基于多目标关联深度推理的图像问答方法 | |
Wu et al. | Neural scene de-rendering | |
CN110390638B (zh) | 一种高分辨率三维体素模型重建方法 | |
CN112258625B (zh) | 基于注意力机制的单幅图像到三维点云模型重建方法及*** | |
CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
CN113051420B (zh) | 一种基于文本生成视频机器人视觉人机交互方法及*** | |
CN112017255A (zh) | 一种根据食谱生成食物图像的方法 | |
CN112417289A (zh) | 一种基于深度聚类的资讯信息智能推荐方法 | |
CN116129141A (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
CN116958324A (zh) | 图像生成模型的训练方法、装置、设备及存储介质 | |
CN110675311A (zh) | 一种素描序约束下的素描生成的方法、装置及存储介质 | |
CN114529785A (zh) | 模型的训练方法、视频生成方法和装置、设备、介质 | |
CN111445545B (zh) | 一种文本转贴图方法、装置、存储介质及电子设备 | |
CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
Liu et al. | Deep neural networks with attention mechanism for monocular depth estimation on embedded devices | |
CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
Xu et al. | Hierarchical image generation via transformer-based sequential patch selection | |
CN111724467B (zh) | 一种用于3d打印的体素模型生成方法及*** | |
Liu et al. | HEI-Human: a hybrid explicit and implicit method for single-view 3D clothed human reconstruction | |
CN114333069B (zh) | 对象的姿态处理方法、装置、设备及存储介质 | |
Xie et al. | Design of painting art style rendering system based on convolutional neural network | |
CN115619903A (zh) | 文本图像合成模型的训练、合成方法、装置、设备及介质 | |
Guo | Design and development of an intelligent rendering system for new year's paintings color based on b/s architecture | |
CN113779244A (zh) | 文档情感分类方法、装置、存储介质以及电子设备 | |
Chang et al. | 3D hand reconstruction with both shape and appearance from an RGB image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |