CN112785712A - 三维模型的生成方法、装置和电子设备 - Google Patents

三维模型的生成方法、装置和电子设备 Download PDF

Info

Publication number
CN112785712A
CN112785712A CN202110099561.1A CN202110099561A CN112785712A CN 112785712 A CN112785712 A CN 112785712A CN 202110099561 A CN202110099561 A CN 202110099561A CN 112785712 A CN112785712 A CN 112785712A
Authority
CN
China
Prior art keywords
dimensional model
dimensional
candidate
initial
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110099561.1A
Other languages
English (en)
Inventor
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Oriental Education Technology Group Co ltd
Original Assignee
New Oriental Education Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Oriental Education Technology Group Co ltd filed Critical New Oriental Education Technology Group Co ltd
Priority to CN202110099561.1A priority Critical patent/CN112785712A/zh
Publication of CN112785712A publication Critical patent/CN112785712A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种三维模型的生成方法、装置和电子设备，能够满足用户的个性化需求，提升用户体验。该三维模型的生成方法包括：根据用户输入信息获取目标对象的二维图像；对该二维图像进行特征提取，得到该二维图像的第一结构化数据，其中，该第一结构化数据包括该目标对象的骨架线；根据该第一结构化数据，在候选三维模型库中匹配得到初始三维模型；对该初始三维模型进行形变处理，得到该目标对象的目标三维模型。

Description

三维模型的生成方法、装置和电子设备
技术领域
本申请涉及计算机视觉技术领域，并且更具体地，涉及一种三维模型的生成方法、装置和电子设备。
背景技术
在沉浸式教学应用场景中，需要大量动物或者其它类型的三维模型用于进行演示，以提高教学场景的生动性和学生的学习体验。其中，三维模型可以包括自然界存在的以及漫画式等不同类型的模型数据。
目前，对于该教学应用场景中三维模型的需求，一种方式是，基于大规模的模型库的进行检索查询，但该方式难以满足不同用户的个性化要求，另一种方式是，采用专业的建模软件进行三维模型建模，但该方式对用户的专业能力要求较高，且用户交互方式不友好，建模效率低。
因此，如何创建一种能够满足用户的个性化需求的三维模型的生成方法，是一项亟待解决的技术问题。
发明内容
本申请实施例提供了一种三维模型的生成方法、装置和电子设备，能够满足用户的个性化需求，提升用户体验。
第一方面，提供一种三维模型的生成方法，包括：根据用户输入信息获取目标对象的二维图像；对该二维图像进行特征提取，得到该二维图像的第一结构化数据，其中，该第一结构化数据包括该目标对象的骨架线；根据该第一结构化数据，在候选三维模型库中匹配得到初始三维模型；对该初始三维模型进行形变处理，得到该目标对象的目标三维模型。
通过本申请实施例的技术方案，提供了一种可根据用户输入信息，生成与其对应的目标对象的目标三维模型的方法，能够满足用户的个性化需求。此外，在本申请实施例中，可根据用户多模态的输入信息得到目标对象的统一的第一结构化数据，该第一结构化数据包括目标对象的骨架线，能够较为准确的反映目标对象的骨骼的结构化特征，进一步的，可用于表征骨骼中关节层级的结构化特征，因此，通过该第一结构化数据匹配得到的初始三维模型与用户输入信息中的目标对象具有相同的结构化特征，与用户输入信息具有较高的匹配度。进一步地，通过对该初始三维模型进行形变处理，得到目标三维模型，该目标三维模型具有更多的个性化特征，与用户输入信息具有较高的匹配度，且可以进一步提升三维模型的美观度，从而提升用户的使用体验。
结合第一方面，在第一方面的第一种实现方式中，该根据该第一结构化数据，在候选三维模型库中匹配得到初始三维模型，包括：获取该候选三维模型库中的候选三维模型对应的第二结构化数据；根据该第一结构化数据与该第二结构化数据对应的能量方程的优化结果，匹配得到该初始三维模型。
基于本申请实施例的技术方案，通过建立候选三维模型库，并根据用户输入信息确定的第一结构化数据，对候选三维模型库中的候选三维模型进行匹配重建，得到初始三维模型，使得该初始三维模型的结构化信息匹配于用户输入信息。
结合第一方面的第一种实现方式，在第一方面的第二种实现方式中，该候选三维模型包括多个分块，该获取该候选三维模型库中的候选三维模型对应的第二结构化数据，包括：获取该多个分块中每个分块对应的结构化数据，以获取该第二结构化数据，其中，该每个分块对应的结构化数据包括以下至少一种参数：位置参数，旋转参数，形状参数以及姿态参数。
结合第一方面及其上述实现方式，在第一方面的第三种实现方式中，该候选三维模型库中的候选三维模型包括：关节层级的拓扑结构，该关节层级的拓扑结构包括骨架线。
在本申请实施例中，可通过候选三维模型的关节层级的拓扑结构，支持三维模型在关节层级上的变化处理，形成关节层级上的三维动画，使得三维模型动画更加生动，提升用户体验。
结合第一方面的第三种实现方式，在第一方面的第四种实现方式中，该候选三维模型还包括：纹理映射的拓扑结构，该纹理映射的拓扑结构包括该候选三维模型的网格中各顶点的纹理映射坐标。
在本申请实施例中，可通过候选三维模型的纹理映射的拓扑结构，支持对三维模型的纹理映射，提高三维模型的美观度。
结合第一方面及其上述实现方式，在第一方面的第五种实现方式中，该候选三维模型库中的候选三维模型包括四足动物三维模型和/或二足动物三维模型；和/或，该候选三维模型库中的候选三维模型包括全局三维模型和/或局部三维模型。
基于本申请实施例的技术方案，候选三维模型不仅限于四足动物三维模型，还可以包括二足动物三维模型，或者扩展至更多类型的三维模型，此外，候选三维模型也不仅限于全局三维模型，还可以包括局部三维模型，例如仅包括头部等局部三维模型，从而提升本申请实施例中三维模型生成方法的普适性。
结合第一方面及其上述实现方式，在第一方面的第六种实现方式中，该对该初始三维模型进行形变处理，得到该目标对象的目标三维模型，包括：将该初始三维模型进行模型转换，得到中间三维模型；根据该二维图像中的关键点，对该中间三维模型进行形变，得到该目标三维模型。
基于本申请实施例的技术方案，能够根据用户输入信息的二维图像，进一步对三维模型进行形变处理，得到具有更多个性化特征的三维模型，从而进一步提升三维模型的生动性。
结合第一方面的第六种实现方式，在第一方面的第七种实现方式中，该将该初始三维模型进行模型转换，得到中间三维模型，包括：将该初始三维模型进行姿态归一化；采用主成分分析算法对姿态归一化后的该初始三维模型进行处理，得到该中间三维模型。
结合第一方面的第六种或第七种实现方式，在第一方面的第八种实现方式中，该根据该二维图像中的关键点，对该中间三维模型进行形变，得到该目标三维模型，包括：对该中间三维模型与该二维图像对应的能量方程进行能量优化，以对该中间三维模型进行形变，得到该目标三维模型，其中，该能量方程中包括该二维图像中的关键点和该关键点对应的该中间三维模型中的特征点的能量方程项。
结合第一方面及其上述实现方式，在第一方面的第九种实现方式中，在该对初始三维模型进行形变处理，得到目标三维模型之前，该生成方法还包括：根据该用户输入信息，获取该目标对象的颜色和/或纹理；将该目标对象的颜色和/或纹理映射至该初始三维模型。
结合第一方面的第九种实现方式，在第一方面的第十种实现方式中，该将目标对象的颜色和/或纹理映射至该初始三维模型，包括：根据该初始三维模型的纹理映射的拓扑结构，将该目标对象的颜色和/或纹理映射至该初始三维模型。
结合第一方面及其上述实现方式，在第一方面的第十一种实现方式中，该用户输入信息包括语音和/或文字；该根据用户输入信息获取目标对象的二维图像，包括：对该用户输入信息进行语义识别，以获取该用户输入信息中的第一语义信息，该第一语义信息包括该目标对象的信息；根据该第一语义信息，在图像库中匹配得到该目标对象的该二维图像。
结合第一方面及其上述实现方式，在第一方面的第十二种实现方式中，该用户输入信息包括：图像；该根据用户输入信息获取目标对象的二维图像，包括：获取该图像中的轮廓信息；根据该轮廓信息，在图像库中匹配得到该目标对象的该二维图像。
通过本申请实施例的技术方案，在不同模态的用户输入信息下，均可以得到目标对象的二维图像，进而得到统一的第一结构化数据，该统一的第一结构化数据方便在后续过程中与候选三维模型进行匹配，从而进一步生成与用户输入信息一致的三维模型。
结合第一方面及其上述实现方式，在第一方面的第十三种实现方式中，该生成方法还包括：将该目标三维模型加入至该候选三维模型库中，作为该候选三维模型库中的一个候选三维模型。
基于本申请实施例的技术方案，经过形变后的目标三维模型可加入至候选三维模型库中，作为其中的一个候选三维模型，经过形变后的目标三维模型相比于候选三维模型或者初始三维模型，其可能为一个新的物种类别，因此，将形变后的目标三维模型加入候选三维模型库，可以使得候选三维模型库中的物种类别逐渐完善，在后续的三维模型生成过程中，若用户输入信息中的目标对象的物种类别与候选三维模型库中的候选三维模型的物种类别相同，则可以直接将该候选三维模型作为目标三维模型输出给用户，而省略后续的形变过程，提高目标三维模型的生成效率。
结合第一方面及其上述实现方式，在第一方面的第十四种实现方式中，该方法应用于增强现实AR和/或虚拟现实VR的教育场景中。
第二方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时，用于实现第一方面或第一方面的任一种实现方式中的三维模型的生成方法。
第三方面，提供一种三维模型的生成装置，包括：包括处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用该计算机程序，执行上述第一方面或者第一方面中任一种实现方式中的三维模型的生成方法。
第四方面，提供一种电子设备，包括：如第三方面中的三维模型的生成装置。
结合第四方面，在第四方面的一些实现方式中，该电子设备还包括：输入装置，该输入装置包括以下装置中的至少一种：语音输入装置、文字输入装置以及图像输入装置。
附图说明
图1是根据本申请实施例提供的一种处理***的逻辑结构框图。
图2是根据本申请实施例提供的一种三维模型的生成方法的示意性流程图。
图3是根据用户输入的草图，在图像库中搜索得到目标对象的二维图像的示意图。
图4是根据本申请实施例提供的一种二值化图像与其骨架线的示意图。
图5是根据本申请实施例提供的一种对应于图2所示方法的三维模型的生成过程示意图。
图6是根据本申请实施例提供的另一三维模型的生成方法的示意性流程框图。
图7是根据本申请实施例提供的一种GLoSS模型的示意图。
图8是根据本申请实施例提供的另一三维模型的生成方法的示意性流程框图。
图9是根据本申请实施例提供的另一三维模型的生成方法的示意性流程框图。
图10是根据本申请实施例提供的一种将初始三维模型与颜色/纹理图像片段融合后形成，以形成目标三维模型的示意图。
图11是根据本申请实施例提供的一种三维模型的生成装置的示意性结构框图。
图12是根据本申请实施例提供的另一三维模型的生成装置的示意性结构框图。
图13是根据本申请实施例提供的一种电子设备的示意性结构框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围。
还应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，本说明书中描述的各种实施方式，既可以单独实施，也可以组合实施，本申请实施例对此并不限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
首先，介绍本申请提供的一种处理***10的逻辑结构框图
如图1所示，该处理***10的硬件层包括中央处理器(Central Processing Unit，CPU)和/或图形处理器(Graphics Processing Unit，GPU)等。
可选地，该处理***10的硬件层还可以包括存储器、输入/输出设备、内存、内存控制器、网络接口等。
其中，输入设备可以包括用于检测用户操作的装置，并生成用于指示该用户操作的用户操作信息，作为示例而非限定，该输入设备可包括键盘、鼠标、触控屏、话筒、手写板等等。
输出设备可以用于呈现用户界面、图像或视频等可视化信息，作为示例而非限定，该输出设备可包括显示设备如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube)显示器、全息成像(Holographic)显示器或投影(Projector)等。
在硬件层之上可运行有操作***(如Windows、Linux、Android等)以及一些应用程序。核心库层是操作***的核心部分，包括输入/输出服务(Input/Output Service，I/OService)、核心服务(Kernel Service)、图形设备接口以及实现CPU、GPU图形处理的图形引擎(Graphics Engine)等。图形引擎可包括2D引擎、3D引擎、合成器(Composition)、帧缓冲区(Frame Buffer)等。除此之外，该处理***10还包括驱动层、框架层和应用层。驱动层可包括CPU驱动、GPU驱动、显示控制器驱动等。框架层可包括图形服务(Graphic Service)、***服务(System service)、网页服务(Web Service)和用户服务(Customer Service)等；图形服务中，可包括如微件(Widget)、画布(Canvas)、视图(Views)、渲染脚本(RenderScript)等。应用层可包括桌面(Launcher)、媒体播放器(Media Player)、浏览器(Browser)等。
以图1为例，本申请实施例提供的三维模型的生成方法，应用于上述处理***10，该处理***10包括但不限于是至少一台电子设备，该电子设备包括但不限于是终端设备和/或服务器等，其中，终端设备例如可以是电脑、手机、可穿戴移动设备等等，本申请对此不做具体限定。
在相关技术中，三维模型的生成方法主要存在两条技术路线，即部件拼接技术与模型形变技术。部件拼接技术通过对模型进行部件拆分与重组，实现从少量的三维模型样本中生成更多的三维模型。通过部件结构化的表示方式进行约束，以控制部件拼接后的整体一致性。模型形变技术即针对一个模型进行局部以及全局的形变，在模型拓扑约束的前提下，实现个性化的特征编辑，进而得到新的三维模型。
基于部件拼接技术的三维模型的生成方法，虽然对部件进行了结构化的约束，但是对于部件自身没有更加精确统一的表示形式，且依赖于部件分割的准确性。对于模型自身的非刚性形变，动作迁移以及局部编辑，部件拼接缺少有效的控制与优化，因此获取得到的三维模型美观度较差。且该部件拼接技术主要应用在刚性模型上，对于非刚性模型，如动物，人等，通过部件编辑获取的模型，其自身的模型信息会受到破坏，使得模型的通用性变差，这增加了对用户的个性化需求的特征重建难度。
基于模型形变技术的三维模型的生成方法，需要在待生成的模型具有相同结构的前提下，通过学习出一定的拓扑约束规则，来建立个性化模型。由于依赖于拓扑规则，所以该类方法适合对某一类具有相同结构的特定模型进行个性化编辑，很难获得大的形变特征获取新的三维模型。因此，该方法也具有一定的局限性，难以满足用户的多种个性化需求。
基于上述问题，本申请提供一种新的三维模型的生成方法，能够根据用户的个性化需求，生成满足用户需求、外形美观且具有通用性的三维模型。
该三维模型能够适用于各种计算机技术，例如，可适用于增强现实(AugmentedReality，AR)和/或虚拟现实(Virtual Reality，VR)等应用计算机技术。此外，该三维模型也能够适用于多种不同的场景，以适应不同类型的客户的不同类型的需求，在一些实施方式中，该三维模型可适用于教学应用场景，其能够满足教学应用场景中三维模型的需求。进一步地，该三维模型可适用于AR和/或VR的教育场景中，生成的三维模型能够给教师和学生带来良好的视觉体验。
图2示出了本申请实施例提供的一种三维模型的生成方法100的示意性流程图。可选地，该方法100可由上文图1所示的处理***10作为执行主体执行。作为示例，该处理***可包括服务器和/或终端，该方法100可由该服务器和/或终端执行。
如图2所示，该三维模型的生成方法100可以包括以下步骤。
S110：根据用户输入信息获取目标对象的二维图像。
S120：对该二维图像进行特征提取，得到二维图像的第一结构化数据，其中，第一结构化数据包括目标对象的骨架线。
S130：根据该第一结构化数据，在候选三维模型库中匹配得到初始三维模型。
S140：对初始三维模型进行形变处理，得到目标对象的目标三维模型。
具体地，在步骤S110中，用户输入信息为多模态信息，包括但不限于是语音、文字、线条、图片中一种或者多种形式的输入信息。
作为一种示例，若用户输入信息为语音或文字，可对该语音或者文字进行语义识别，获取语音或者文字中的语义信息(Semantic Information)。具体的，通过语义识别后，可将语音或者文字的内容分解为可解释的名词，动词以及形容词等语料，基于分词后的语料，将用户输入的语音或文字分解为第一语义信息和第二语义信息，其中，第一语义信息包括：用户输入的语音或者文字中的目标对象的相关信息，第二语义信息包括：该目标对象的特征描述的相关信息。
其中，目标对象的相关信息包括待生成的三维模型的类型，目标对象的特征描述的相关信息可包括目标对象的姿态、颜色或者纹理等等。举例来说：若用户输入信息为“一匹奔跑的白马”，则通过语义识别后，分解得到的目标对象为“马”，特征描述为“一匹”、“奔跑”和“白”。
可选地，在一些实施方式中，可根据上述第一语义信息，在图像库中匹配得到目标对象的二维图像。作为示例，在存有标签的图像库中，通过标签语义分析，在图像库中匹配得到包括该目标对象的二维图像。可选地，在另一些实施方式中，还可同时根据上述第一语义信息和第二语义信息，在图像库中匹配得到包括该目标对象，且满足或者接近满足特征描述的二维图像。
作为另一示例，若用户输入信息为图像，例如图片，包括彩色图片或者黑白图片，在一些实施方式中，可以直接将该图片作为目标对象的二维图像。在另一些实施方式中，也可以对用户输入的图片进行图像识别，获取图片中的目标对象，以及相关的特征描述，基于该目标对象以及特征描述在图像库中搜索目标对象的二维图像。
作为另一示例，若用户输入信息为线条图，例如该线条表示目标对象的草图轮廓，则在一些实施方式中，可以通过分析该用户绘制的草图轮廓，在图像库中搜索与该草图轮廓最为接近的图像，作为目标对象的二维图像，或者，在另一些实施方式中，也可以直接将该用户绘制的草图轮廓作为目标对象的二维图像。图3示出了该示例中根据用户输入的草图，在图像库中搜索得到目标对象的二维图像的示意图。
在上述示例中，对用户输入信息的语音、文字、图片以及线条形成的草图轮廓进行处理后，均可以获取目标对象的二维图像，可以理解的是，其中目标对象用于指示用户需求的三维模型的类型，例如，不同动物的类别(二足动物、四足动物等任意类别的动物)等等，该目标对象可以为自然界乃至非自然界中，自然生长的、人为创造的或者人为想象的任意一种对象，本申请实施例对该目标对象不做具体限定。
可选地，用户输入信息可以仅包括单一模态的信息，例如仅为语音、文字、图片或者线条草图等等，可选地，用户输入信息也可以包括多模态的信息，例如可同时包括语音和图片，或者文字和草图等等。本申请实施例对用户输入信息的具体形式也不做具体限定。
此外，在上述示例中，语音识别、图像识别、基于草图的图像检索等方法可以参见相关技术中的具体方案，例如，可以采用自然语言处理(natural language processing，NLP)算法进行语义识别，可以采用深度学习(deep learning)算法进行图像识别，可以采用匹配算法进行图像检索。当然，除了上述举例说明的算法方案以外，还可以采用相关技术方法的其它方法进行实现，本申请实施例对该具体方法不做限定，此处也不再赘述。
在步骤S120中，对步骤S110中根据用户输入信息获取的目标对象的二维图像进行特征提取，得到二维图像的第一结构化数据。
具体地，该二维图像的第一结构化数据可以用于表征目标对象的结构特征。例如，若目标对象为动物或人，则第一结构化数据可以用于表征其骨骼的结构化特征，进一步的，可用于表征骨骼中关节层级的结构化特征。
在一些实施方式中，该第一结构化数据可以包括上述目标对象的骨架线(Skeleton)，所谓骨架线，是指用与原形状的连通性和拓扑结构相一致的细曲线作为理想表达的一种对象表示。简单地说，就是位于物体内部的，并能体现其形状特征的简化图形，它具有描述形状凸出的分支部分，也具有描述形状内部空洞的环状部分。例如，若目标对象为动物，则其骨架线可以表示动物的关节层级的拓扑结构。
具体地，骨架线是图像几何形态的一种重要的拓扑描述，由一些表明物体大致形状的细线组成。利用骨架线表示原始图像，可以在保持图像重要拓扑特征的前提下，减少图像中的冗余信息。
可选地，可以采用多种相关技术对目标对象的二维图像进行特征提取，得到二维图像的第一结构化数据，例如，可以采用细化算法(Thinning Algorithm)对二维图像对应的二值化图像进行骨架线的提取，以得到第一结构化数据。
作为示例，下面说明细算算法中的一种实施方式：
首先，将二维图像进行二值化处理，得到二值化图像；
然后，对二值化图像进行扫描，遇到像素值为1的像素点，则运用如下模板对该像素点进行如下处理：
P9 P2 P3
P8 P1 P4
P7 P6 P5
将该像素点作为模板中的P1，即中心像素点。若该像素点同时满足以下四个条件，则令该像素点P1的像素值为0，即删除该像素点P1，或者说腐蚀该像素点P1。
条件(a)：2≤B(P1)≤6；
条件(b)：A(P1)＝1；
条件(c)：P2*P4*P6＝0；
条件(d)：P4*P6*P8＝0；
其中，A(P1)为以P2、P3、……、P9为序(顺时针方向)时，相邻两个像素出现0变换到1的次数；B(P1)为P2、P3、……、P9中非零(即像素值为1)的像素点数量。
按照上述方式迭代进行，不断腐蚀二值化图像中的像素点，二值化图像将越变越细，直至在上一次腐蚀后的二值化图像在本轮迭代中再无新的像素点被腐蚀，此时迭代结束，得到二值化图像的骨架线。
作为示例，图4示出了一种二值化图像与其骨架线的示意图。其中，二值化图像中的目标对象为“马”，得到的二值化图像的骨架线即为马的骨架线，其中包含有马的关节层级的结构特征。
可以理解的是，上述实施例仅为多种细化算法中的其中一种实现方式，还可以采用相关技术中其它细化算法的实施方式，或者除了细化算法以外的其它骨架线的提取方式，本申请实施例对此不作具体限定。
通过上述技术方案，在不同模态的用户输入信息下，均可以得到目标对象的统一的第一结构化数据，该统一的第一结构化数据方便在后续过程中与候选三维模型进行匹配。此外，该第一结构化数据除了可以包括目标对象的骨架线以外，还可以包括骨架线对应的轮廓或者胞腔信息，或者还可以包括其它用于表征目标对象的结构信息的结构化数据，。
具体地，在步骤S130中，根据上文步骤S120中得到的第一结构化数据，在候选三维模型库中匹配得到初始三维模型。
在本申请实施例中，还提供包括至少一个候选三维模型的候选三维模型库，在获取目标对象的统一的第一结构化数据之后，通过对第一结构化数据以及候选三维模型的第二结构化数据建立对应，并优化对应的能量方程，从而在候选三维模型库中匹配得到初始三维模型。可选地，该初始三维模型的骨架线与待创建的目标对象的骨架线保持一致或者接近一致。
可选地，在一些实施方式中，该候选三维模型库中的至少一个候选三维模型具有统一的表示形式，例如，该至少一个候选三维模型可以为全局/局部接合形状(Global/Local Stitched Shape，GLoSS)表示形式(或者说，至少一个候选三维模型为GLoSS模型)，通过该GLoSS表示形式可以得到一个拓扑结构优良，且包含丰富姿态信息的模板三维模型，基于该模板三维模型进行模型变换，具有良好的变换处理效果。
进一步地，在本申请实施例中，该至少一个候选三维模型包括但不限于是四足动物拓扑结构的三维模型或者二足动物拓扑结构的三维模型，还可以为其它多种拓扑结构的三维模型，以满足更多场景下，不同类别的模型变化，使得本申请实施例提供的三维模型的生成方法具有更广泛的适用性。
具体地，在步骤S140中，基于上述根据用户输入信息匹配得到的初始三维模型，对该初始三维模型进行形变处理，得到目标对象的目标三维模型。
进一步地，在本步骤中，对初始三维模型进行形变处理，可以生成众多个性化的形变模型，包括对局部以及全局的几何特征融合，从而得到多种不同形态，符合用户需求的三维模型。
为了便于理解本申请的技术方案，图5示出了一种对应于上述方法100的目标三维模型的生成过程示意图。如图5中的(a)图所示，用户输入可为多种模态输入方式，作为示例，图5中的(a)图中，用户输入信息均包括“马”的相关信息，“马”则为用户输入信息对应的目标对象。如图5中的(b)图所示，基于“马”的二维图像可获取“马”的第一结构化数据，例如图中所示的“马”的骨架线。如图5中的(c)图所示，基于(b)图中所示的“马”的骨架线，可以在三维模型库中匹配得到“马”的结构特征相同的初始三维模型。如图5中的(d)图所示，对该“马”的初始三维模型进行形变可得到优化后的“马”的目标三维模型。
通过本申请实施例的技术方案，提供了一种可根据用户输入信息，生成与其对应的目标对象的目标三维模型的方法，能够满足用户的个性化需求。此外，在本申请实施例中，可根据用户多模态的输入信息得到目标对象的统一的第一结构化数据，该第一结构化数据包括目标对象的骨架线，能够较为准确的反映目标对象的骨骼的结构化特征，进一步的，可用于表征骨骼中关节层级的结构化特征，因此，通过该第一结构化数据匹配得到的初始三维模型与用户输入信息中的目标对象具有相同的结构化特征，与用户输入信息具有较高的匹配度。进一步地，通过对该初始三维模型进行形变处理，得到目标三维模型，该目标三维模型具有更多的个性化特征，与用户输入信息具有较高的匹配度，且可以进一步提升三维模型的美观度，从而提升用户的使用体验。
上文结合图2至图5，对于本申请中，如何根据用户输入信息得到统一的第一结构化数据(即图2中所示的步骤S110和步骤S120)进行了详细说明，下面结合图6至图8，对于本申请中，如何根据第一结构化数据生成目标对象的目标三维模型的过程(即图2中所示的步骤S130和步骤S140)进行进一步的说明。
图6示出了本申请实施例提供的另一三维模型的生成方法100的示意性流程框图。
如图6所示，上述步骤S130可包括以下步骤。
S131：获取候选三维模型库中的三维模型对应的第二结构化数据。
S132：建立第一结构化模型数据与第二结构化数据的三维模型对应的能量方程。
S133：根据该能量方程的优化结果，匹配得到初始三维模型。
可选地，本申请实施例中的候选三维模型库中的候选三维模型为GLoSS模型，具体地，GLoSS模型为一种三维铰接式模型，其中，每个部件的身体形状变形都是可局部定义的。作为示例，图7示出了一种GLoSS模型的示意图。
可选地，GLoSS模型包括多个分块，多个分块中每个分块包括四个维度的标准数据：位置参数，旋转参数，形状参数以及姿态参数。例如，多个分块中的第i个分块的标准数据分别表示为：位置参数Ii，旋转参数ri，形状参数si以及姿态参数di。这样，对于GLoSS模型中每个分块的全局几何信息可以表示为：
Figure BDA0002915521080000131
其中，π表示四个维度的标准数据的集合，即πi＝{Ii,ri,si,di}。pi表示第i块的局部坐标，其具体可表示为：
vec(pi)＝ti+mp,i+Bs,isi+Bp,idi；
其中，参数ti为分块模板，mp,i为模型在平均姿态的向量，Bs,i表示形状空间矩阵，Bp,i表示姿态空间矩阵。
姿态空间由一组标准模型带有不同姿态的数据训练得到。通过主成分分析(principal components analysis，PCA)算法，在局部坐标系下获得一个平均姿态向量mp,i和存有偏移数据的姿态空间矩阵Bp,i。
形状空间是由对各个部分的定义得到。该空间包含对分块模板的七种形变，包括整体尺度，x轴尺度，y轴尺度，z轴尺度以及沿着三个轴的拉伸。拉伸可以转换为尺度变化的组合，如在x轴向拉伸意味着在y轴和z轴同时进行等比例尺度变化。
在本申请实施例中，上述GLoSS模型中每个分块的结构化数据包括上述四个维度的标准数据中的至少一种，候选三维模型库中，候选GLoSS模型中多个分块的结构化数据即为候选GLoSS模型的第二结构化数据。
进一步地，获取到候选GLoSS模型的第二结构化数据后，将其与根据用户输入信息获取的第一结构化数据进行能量优化，以匹配得到初始三维模型，该初始三维模型为候选GLoSS模型经过能量优化之后的初始GLoSS模型。
具体地，上述第二结构化数据与第一结构化数据的能量方程可表示为：
E(Π)＝Em(d,s)+Estitch(Π)+Ecurv(Π)+Edata(Π)+Epose(r)；
该能量方程能够被理解为是上述候选GLoSS模型中每个分块对第一结构化数据的匹配与重建过程，方程中的每一项对应每一个优化目标。其中，Em表示模型形状优化能量，Estitch表示关联块内部的点的距离，Ecurv表示曲率相似能量，Edata表示分块到第一结构化数据的点距离总和以及关键点距离总和，Epose表示姿态动作中的尾部姿态。
每一项能量的具体计算方法为：
Figure BDA0002915521080000141
其中，Em(d,s)为模型项，Esm为对称部件的形状强制约束项，有利于使躯干的部位具有相似的长度。Es表示为形状分布的马氏距离，Ed表示L2范式距离。参数ksm、ks、kd以及下文中kst、kc、kkp、km2s以及ks2m等参数为预设参数，其可以是经过数据训练得到的相关参数。
Figure BDA0002915521080000142
其中，Cij为第i分块到第j分块的点点对应。C表示分块的对应关系。
Figure BDA0002915521080000143
Edata(Π)＝kkpEkp(Π)+km2sEm2s(Π)+ks2mEs2m(Π)；
Figure BDA0002915521080000144
Figure BDA0002915521080000145
其中，Em2s(Π)为候选GLoSS模型中第二结构化数据到第一结构化数据之间的距离，Es2m(Π)为第一结构化数据到候选GLoSS模型中第二结构化数据之间的距离，S表示第一结构化数据的顶点，函数ρ为Geman-McClure鲁棒误差方程。Ekp(Π)用于匹配候选GLoSS模型上的关键点与第一结构化数据上的关键点，该项的计算方式为对应的关键点之间的距离的平方和。
通过上述对能量方程的优化，能够对候选GLoSS模型进行重建，得到与第一结构化数据相匹配的初始三维模型。
可选地，在本申请实施例中，候选三维模型库中的候选三维模型可以包括全局三维模型和/或局部三维模型。可选地，在本申请实施例中，候选三维模型库中的候选三维模型包括四足动物三维模型和/或二足动物三维模型。
需要说明的是，由于本申请实施例中，初始三维模型由候选三维模型重建得到，因此，可选地，初始三维模型同样可以包括全局三维模型和/或局部三维模型；可选地，初始三维模型同样也可以包括四足动物三维模型和/或二足动物三维模型。
具体地，在本申请实施例中，候选三维模型和初始三维模型不仅限于四足动物三维模型，还可以包括二足动物三维模型，或者扩展至更多类型的三维模型，此外，候选三维模型和初始三维模型也不仅限于全局三维模型，还可以包括局部三维模型，例如仅包括头部等局部三维模型，从而提升本申请实施例中三维模型生成方法的普适性。
相比于相关技术中的三维模型，本申请实施例中的候选三维模型和初始三维模型可包括以下拓扑结构中的至少一种拓扑结构：顶点网格的拓扑结构，纹理映射的拓扑结构，以及关节层级的拓扑结构。具体地，上述顶点网格的拓扑结构包括网格(Mesh)中各顶点的排列方式和/或连接关系，纹理映射的拓扑结构包括网格中各顶点的纹理映射坐标，关节层级的拓扑结构包括骨架线。
具体地，在本申请实施例中，除了可通过上述候选三维模型和初始三维模型的顶点网格的拓扑结构，表示候选三维模型和初始三维模型的轮廓信息以外，还可通过候选三维模型和初始三维模型的关节层级的拓扑结构，支持三维模型在关节层级上的变化处理，形成关节层级上的三维动画，使得三维模型动画更加生动，提升用户体验。此外，还可通过候选三维模型和初始三维模型的纹理映射的拓扑结构，支持对三维模型的纹理映射，提高三维模型的美观度。
因此，基于本申请实施例的技术方案，通过建立候选三维模型库，并根据用户输入信息确定的第一结构化数据，对候选三维模型库中的候选三维模型进行匹配重建，得到初始三维模型，使得该初始三维模型的结构化信息匹配于用户输入信息。进一步地，该候选三维模型以及匹配重建后的初始三维模型可包括多种拓扑结构，基于该多种拓扑结构，可支持对三维模型的关节层级、纹理映射等多种处理，提升三维模型的可编辑性和整体美观度。
具体地，在上述步骤S130得到初始三维模型之后，该初始三维模型的结构化信息与用户输入信息保持一致或者接近。但是，该初始三维模型还不能作为最终的三维模型输出给用户，原因是模型中的个性化特征匹配由于在保护结构化约束以及优化时，没有进一步体现出来。因此，需要进一步对初始三维模型进行形变处理，进一步体现个性化特征，以得到最终输出给用户的目标三维模型。
图8示出了本申请实施例提供的另一三维模型的生成方法100的示意性流程框图。
如图8所示，上述步骤S140可包括以下步骤。
S141：将初始三维模型进行模型转换，得到中间三维模型。
S142：根据二维图像中的关键点，对中间三维模型进行形变，得到目标三维模型。
具体地，在本申请实施例中，为了便于根据二维图像中的个性化特征，对初始三维模型进行形变处理，以将初始三维模型与个性化特征，例如姿态特征进行混合，得到目标三维模型，可以先将初始三维模型进行模型转换，得到一种中间三维模型。具体地，能够使用一个低维度的特征向量对该中间三维模型进行驱动，使其产生形变变化。
可选地，该中间三维模型可为蒙皮多动物线性模型(skinned multi-animallinear，SMAL)模型，或者说，该中间三维模型采用SMAL表示形式。
作为示例，若初始三维模型为GLoSS模型，中间三维模型为SMAL模型，将该GLoSS模型转换为SMAL模型可采用如下方式：
首先，将上述GLoSS模型进行姿态归一化，以消除GLoSS模型的分块中每一个顶点的非线性因素的影响，例如，可以采用线性混合蒙皮(linear blending skinning，LBS)算法对该GLoSS模型进行姿态归一化。当姿态被消除后，不同模型之间的形状差异能够在欧氏空间被度量。
然后，通过对姿态归一化的GLoSS模型使用主成分分析算法，得到一种平均三维模型和对应的形状偏移矩阵，基于该形状偏移矩阵，以及GLoSS模型中的相关参数，进行SMAL模型的能量方程优化，进而得到GLoSS模型对应的SMAL模型。
具体地，该SMAL模型可表示为形状参数β、姿态参数θ以及位移参数γ的函数M(β,θ,γ)，其中，形状参数β对应于形状偏移矩阵的低维度特征向量，姿态参数θ用于记录GLoSS模型中每一个分块的旋转角度，位移参数γ用于记录GLoSS模型中各节点相对于根节点的全局位移。
GLoSS模型与SMAL模型配准的能量方程可以表示为如下：
E(β,θ,γ)＝Epose(θ)+Es(β)+Edata(β,θ,γ)；
其中，Epose(θ)和Es(β)为分别针对姿态参数θ和形状参数β计算得到的该SMAL模型与GLoSS模型之间的马氏距离的平方，Edata(β,θ,γ)的计算方式可以参照上文中Edata(Π)的计算方式。
通过最小化上述能量方程，能够得到GLoSS模型的二次重建结果，即得到SMAL模型，利用该SMAL模型，可便于后续对其进行形变处理，得到用户期望的目标三维模型。
获取中间三维模型，即SMAL模型后，进一步地，将该SMAL模型与二维图像进行匹配和重建，通过对特定集合信息的能量优化，实现SMAL模型的形变，得到用户期望的目标三维模型。
具体地，为了将该SMAL模型与二维图像进行匹配，可以对如下方程进行最小化计算：
E(Θ)＝Ekp(Θ,x)+Esilh(Θ,S)+Eβ(β)+Eθ(θ)+Elim(θ)；
其中，参数Θ表示一个待优化参数集合，由{β,θ,γ,f}构成，其中，f表示焦距。为了将SMAL模型适配二维图像中的对象，需要对Θ集合内的参数进行能量优化，得到SMAL模型到二维图像的最优匹配。
该能量方程的第一项Ekp为关键点对应能量匹配，其表达式如下：
Figure BDA0002915521080000171
参数ρ表示Geman-McClure误差方程，标签x表示在二维图像上标定的关键点(也称特征点)的位置，Vkj表示SMAL模型上对应的特征点位置，这里为了防止标定不准的情况，对于二维图像中每一个特征点，其与SMAL模型上的特征点的对应关系不是一对一，而是一对多，即一个x点对应一个三维点集，km为一个三维点集内关键点的个数。通过对集合求平均，以降低关键点标定误差影响。
能量方程的第二项Esilh为轮廓优化，其表达式如下：
Figure BDA0002915521080000181
其中，参数S为真实轮廓，Ds是其距离场，如果x在轮廓内，Ds(x)＝0。
能量方程的第三项与第四项对应的是形状与姿态优化，与之前SMAL模型建立时一致。
为了防止姿态异常，需要在上述能量方程中引入对姿态的限制能量，即能量方程的第五项Elim：
Elim(θ)＝max(θ-θmax,0)+max(θmin-θ,0)；
参数θmax和θmin对应θ每一个维度的最大最小值，其为预设的旋转角度值。
接下来，就是对上述能量方程的优化过程。首先使用关键点的初始化γ的深度坐标，之后利用关键点确定每个分块的旋转角度θi以及γ，基于对Ekp的能量优化。这样就完成了初步的初始化，这样在没有优化Esilh项的前提下，已经确定了整个的Θ集合内的参数。
然后可使用一种分级方法来确定形状与姿态参数，以避免陷入局部最优，具体方法可参考相关技术中确定形状与姿态参数的方法，此处不做具体赘述。
最后引入能量项Esilh，确定焦距十分重要，算法通过规划f到所有的优化项目以迫使γ接近原始的预估。
至此，通过上述能量方程的优化处理过程，可以完成基于二维图像中的特征点对SMAL模型的形变处理，从而得到用户期望的目标三维模型。
基于本申请实施例的技术方案，能够根据用户输入信息的二维图像，进一步对三维模型进行形变处理，得到具有更多个性化特征的三维模型，从而进一步提升三维模型的生动性。且本申请实施例中，首先将初始GLoSS模型转换为中间SMAL模型，该SMAL模型具有良好的与二维图像的匹配功能，然后再根据二维图像，对该SMAL模型进行形变处理，使得形变处理高效且性能优异。
图9示出了本申请实施例提供的另一三维模型的生成方法100的示意性流程框图。
如图9所示，在上述步骤S140之前，本申请实施例的三维模型的生成方法100还可包括以下步骤。
S150：根据用户输入信息，获取目标对象的颜色和/或纹理。
S160：将颜色和/或纹理映射至初始三维模型。
参见上文图1中步骤S110的相关描述，在一些示例中，若用户输入信息为语音或文字，可通过获取其中的第二语义信息，即包括目标对象的特征描述的相关信息，获取目标对象的颜色信息和/或纹理信息，基于该颜色信息和/或纹理信息，可在图像库中匹配得到对应的图像片段。或者，若直接根据第一语义信息和第二语义信息在图像库中匹配得到包括颜色和/或纹理的二维图像，则可直接基于上文中的二维图像获取其包括颜色和/或纹理的图像片段。
在另一些示例中，若用户输入信息为图像，例如，若为彩色图片，则可直接将其中的颜色和/或纹理进行提取，或者，对其进行图像识别，获取图片中的目标对象的颜色信息和/或纹理信息，基于该颜色信息和/或纹理信息在图像库中匹配得到对应的图像片段。
在另一些示例中，若用户输入信息为线条图，根据该线条图获取目标对象的二维图像，可基于该二维图像中相关信息获取目标对象的颜色信息和/或纹理信息，从而基于该颜色信息和/或纹理信息在图像库中匹配得到对应的图像片段。
进一步地，将上述包括目标对象的颜色和/或纹理的图像片段与上述初始三维模型进行融合，可得到融合有颜色和/或纹理的初始三维模型。可选地，上述初始三维模型中包括纹理映射的拓扑结构，该纹理映射的拓扑结构中包括网格中各顶点的纹理映射坐标，根据该纹理映射坐标，将包括目标对象的颜色和/或纹理的图像片段映射至初始三维模型中，然后再对该具有颜色和/或纹理的初始三维模型进行形变处理，得到最终的具有个性化特征，且包括颜色和/或纹理的更为生动的目标三维模型，从而进一步提高用户体验。
作为示例，图10示出了一种将初始三维模型与颜色/纹理图像片段融合后形成，以形成目标三维模型的示意图，该目标三维模型具有更优的可视效果。
在本申请实施例中，初始三维模型具有统一的表示形式，例如，其为GLoSS表示形式，即初始三维模型为GLoSS模型，该GLoSS模型包括纹理映射的拓扑结构，从而便于将颜色和/或纹理融合至GLoSS模型中，也便于后续基于该融合有颜色和/或纹理的GLoSS模型的进行形变处理，在保证目标三维模型的质量的前提下，提高目标三维模型的生成效率。
可选地，在本申请的一些实施例中，上述经过形变后的目标三维模型可加入至候选三维模型库中，作为其中的一个候选三维模型，经过形变后的目标三维模型相比于候选三维模型或者初始三维模型，其可能为一个新的物种类别，因此，将形变后的目标三维模型加入候选三维模型库，可以使得候选三维模型库中的物种类别逐渐完善，在后续的三维模型生成过程中，若用户输入信息中的目标对象的物种类别与候选三维模型库中的候选三维模型的物种类别相同，则可以直接将该候选三维模型作为目标三维模型输出给用户，而省略后续的形变过程，提高目标三维模型的生成效率。
上文中，结合图2至图10说明了本申请提供的三维模型的生成方法的实施例，下面结合图11和图12，说明本申请提供的三维模型的生成装置的实施例，可以理解的是，下文申请实施例的三维模型的生成装置可对应于上文申请实施例的三维模型的生成方法的执行主体，并且三维模型的生成装置中的各个单元的操作和/或功能分别为了实现前述各个方法的相应流程，为了简洁，下文不做过多赘述。
图11示出了本申请实施例提供的一种三维模型的生成装置200的示意性结构框图。
如图11所示，该三维模型的生成装置200可包括：
获取单元210，用于获取用户输入信息；
处理单元220，用于根据用户输入信息获取目标对象的二维图像，并对二维图像进行特征提取，得到二维图像的第一结构化数据，其中，第一结构化数据包括目标对象的骨架线；
生成单元230，用于根据第一结构化数据，在候选三维模型库中匹配得到初始三维模型，并对初始三维模型进行形变处理，得到目标对象的目标三维模型。
在一些实施方式中，生成单元230用于：获取候选三维模型库中的候选三维模型对应的第二结构化数据；根据第一结构化数据与第二结构化数据对应的能量方程的优化结果，匹配得到初始三维模型。
在一些实施方式中，生成单元230用于：获取多个分块中每个分块对应的结构化数据，以获取第二结构化数据，其中，每个分块对应的结构化数据包括以下至少一种参数：位置参数，旋转参数，形状参数以及姿态参数。
可选地，上述候选三维模型库中的候选三维模型包括：关节层级的拓扑结构，关节层级的拓扑结构包括骨架线。
可选地，上述候选三维模型还包括：纹理映射的拓扑结构，纹理映射的拓扑结构包括候选三维模型的网格中各顶点的纹理映射坐标。
可选地，上述候选三维模型库中的候选三维模型包括四足动物三维模型和/或二足动物三维模型；和/或，候选三维模型库中的候选三维模型包括全局三维模型和/或局部三维模型。
在一些实施方式中，生成单元230用于：将初始三维模型进行模型转换，得到中间三维模型；根据二维图像中的关键点，对中间三维模型进行形变，得到目标三维模型。
在一些实施方式中，生成单元230用于：将初始三维模型进行姿态归一化；采用主成分分析算法对姿态归一化后的初始三维模型进行处理，得到中间三维模型。
在一些实施方式中，生成单元230用于：对中间三维模型与二维图像对应的能量方程进行能量优化，以对中间三维模型进行形变，得到目标三维模型，其中，能量方程中包括二维图像中的关键点和关键点对应的中间三维模型中的特征点的能量方程项。
在一些实施方式中，生成单元230还用于：根据用户输入信息，获取目标对象的颜色和/或纹理；将颜色和/或纹理映射至初始三维模型。
在一些实施方式中，生成单元230用于：根据初始三维模型的纹理映射的拓扑结构，将颜色和/或纹理映射至初始三维模型。
在一些实施方式中，用户输入信息包括语音和/或文字；处理单元220用于：对用户输入信息进行语义识别，以获取用户输入信息中的第一语义信息，第一语义信息包括目标对象的信息；根据第一语义信息，在图像库中匹配得到目标对象的二维图像。
在一些实施方式中，用户输入信息包括：图像；处理单元220用于：获取图像中的轮廓信息；根据轮廓信息，在图像库中匹配得到目标对象的二维图像。
在一些实施方式中，生成单元230还用于：将目标三维模型加入至候选三维模型库中，作为候选三维模型库中的一个候选三维模型。
在一些实施方式中，生成装置200应用于增强现实AR和/或虚拟现实VR的教育场景中。
图12示出了本申请实施例提供的另一三维模型的生成装置200的示意性结构框图。
如图12所示，该生成装置200可以包括处理器201，进一步的可以包括存储器202。
应理解，该存储器202用于存储计算机可执行指令。
存储器202可以是各种种类的存储器，例如可以包括高速随机存取存储器(RandomAccess Memory，RAM)，还可以包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器，本申请实施例对此并不限定。
处理器201用于访问该存储器202，并执行该计算机可执行指令，以进行上述本申请实施例的三维模型的生成方法中的操作。处理器201可以包括微处理器，现场可编程门阵列(Field Programmable Gate Array，FPGA)，中央处理器(Central Processing unit，CPU)，图形处理器(Graphics Processing Unit，GPU)等，本申请实施例对此并不限定。
可选地，在一些实施方式中，该处理器201可包括上述图11中的获取单元210、处理单元220以及生成单元230。
图13示出了本申请提供的一种电子设备的示意性结构框图。
如图13所示，该电子设备20可包括：上述三维模型的生成装置200。
可选地，该电子设备20还可包括：输入装置300，作为示例，输入装置300包括但不限于是：语音输入装置、文字输入装置以及图像输入装置。
本申请实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机程序用于执行上述方法实施例的方法。
本申请实施例还提供一种包含计算机程序的计算机程序产品，该计算机程序用于执行上述方法实施例的方法。
具体地，在上述两个申请实施例中，该计算机程序被电子设备的处理器运行时，使得电子设备执行上述方法实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种三维模型的生成方法，其特征在于，包括：
根据用户输入信息获取目标对象的二维图像；
对所述二维图像进行特征提取，得到所述二维图像的第一结构化数据，其中，所述第一结构化数据包括所述目标对象的骨架线；
根据所述第一结构化数据，在候选三维模型库中匹配得到初始三维模型；
对所述初始三维模型进行形变处理，得到所述目标对象的目标三维模型。
2.根据权利要求1所述的生成方法，其特征在于，所述根据所述第一结构化数据，在候选三维模型库中匹配得到初始三维模型，包括：
获取所述候选三维模型库中的候选三维模型对应的第二结构化数据；
根据所述第一结构化数据与所述第二结构化数据对应的能量方程的优化结果，匹配得到所述初始三维模型。
3.根据权利要求2所述的生成方法，其特征在于，所述候选三维模型包括多个分块，所述获取所述候选三维模型库中的候选三维模型对应的第二结构化数据，包括：
获取所述多个分块中每个分块对应的结构化数据，以获取所述第二结构化数据，其中，所述每个分块对应的结构化数据包括以下至少一种参数：位置参数，旋转参数，形状参数以及姿态参数。
4.根据权利要求1所述的生成方法，其特征在于，所述候选三维模型库中的候选三维模型包括：关节层级的拓扑结构，所述关节层级的拓扑结构包括骨架线。
5.根据权利要求4所述的生成方法，其特征在于，所述候选三维模型还包括：纹理映射的拓扑结构，所述纹理映射的拓扑结构包括所述候选三维模型的网格中各顶点的纹理映射坐标。
6.根据权利要求1至5中任一项所述的生成方法，其特征在于，所述候选三维模型库中的候选三维模型包括四足动物三维模型和/或二足动物三维模型；和/或，
所述候选三维模型库中的候选三维模型包括全局三维模型和/或局部三维模型。
7.根据权利要求1至5中任一项所述的生成方法，其特征在于，所述对所述初始三维模型进行形变处理，得到所述目标对象的目标三维模型，包括：
将所述初始三维模型进行模型转换，得到中间三维模型；
根据所述二维图像中的关键点，对所述中间三维模型进行形变，得到所述目标三维模型。
8.根据权利要求7所述的生成方法，其特征在于，所述将所述初始三维模型进行模型转换，得到中间三维模型，包括：
将所述初始三维模型进行姿态归一化；
采用主成分分析算法对姿态归一化后的所述初始三维模型进行处理，得到所述中间三维模型。
9.根据权利要求7所述的生成方法，其特征在于，所述根据所述二维图像中的关键点，对所述中间三维模型进行形变，得到所述目标三维模型，包括：
对所述中间三维模型与所述二维图像对应的能量方程进行能量优化，以对所述中间三维模型进行形变，得到所述目标三维模型，其中，所述能量方程中包括所述二维图像中的关键点和所述关键点对应的所述中间三维模型中的特征点的能量方程项。
10.根据权利要求1至5中任一项所述的生成方法，其特征在于，在所述对初始三维模型进行形变处理，得到目标三维模型之前，所述生成方法还包括：
根据所述用户输入信息，获取所述目标对象的颜色和/或纹理；
将所述目标对象的颜色和/或纹理映射至所述初始三维模型。
11.根据权利要求10所述的生成方法，其特征在于，所述将所述目标对象的颜色和/或纹理映射至所述初始三维模型，包括：
根据所述初始三维模型的纹理映射的拓扑结构，将所述目标对象的颜色和/或纹理映射至所述初始三维模型。
12.根据权利要求1至5中任一项所述的生成方法，其特征在于，所述用户输入信息包括语音和/或文字；
所述根据用户输入信息获取目标对象的二维图像，包括：
对所述用户输入信息进行语义识别，以获取所述用户输入信息中的第一语义信息，所述第一语义信息包括所述目标对象的信息；
根据所述第一语义信息，在图像库中匹配得到所述目标对象的所述二维图像。
13.根据权利要求1至5中任一项所述的生成方法，其特征在于，所述用户输入信息包括：图像；
所述根据用户输入信息获取目标对象的二维图像，包括：
获取所述图像中的轮廓信息；
根据所述轮廓信息，在图像库中匹配得到所述目标对象的所述二维图像。
14.根据权利要求1至5中任一项所述的生成方法，其特征在于，所述生成方法还包括：
将所述目标三维模型加入至所述候选三维模型库中，作为所述候选三维模型库中的一个候选三维模型。
15.根据权利要求1至5中任一项所述的生成方法，其特征在于，所述生成方法应用于增强现实AR和/或虚拟现实VR的教育场景中。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述的三维模型的生成方法。
17.一种三维模型的生成装置，其特征在于，包括：包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，执行如权利要求1至15中任一项所述的三维模型的生成方法。
18.一种电子设备，其特征在于，包括：
如权利要求17所述的三维模型的生成装置；以及
输入装置，所述输入装置包括以下装置中的至少一种：语音输入装置、文字输入装置以及图像输入装置。
CN202110099561.1A 2021-01-25 2021-01-25 三维模型的生成方法、装置和电子设备 Pending CN112785712A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110099561.1A CN112785712A (zh) 2021-01-25 2021-01-25 三维模型的生成方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110099561.1A CN112785712A (zh) 2021-01-25 2021-01-25 三维模型的生成方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN112785712A true CN112785712A (zh) 2021-05-11

Family

ID=75759038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110099561.1A Pending CN112785712A (zh) 2021-01-25 2021-01-25 三维模型的生成方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112785712A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114333477A (zh) * 2021-12-28 2022-04-12 南京财经大学 一种基于ar技术的虚拟仿真教学实训***
CN114327718A (zh) * 2021-12-27 2022-04-12 北京百度网讯科技有限公司 界面展示方法及装置、设备和介质
CN116503508A (zh) * 2023-06-26 2023-07-28 南昌航空大学 一种个性化模型构建方法、***、计算机及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111370A1 (en) * 2008-08-15 2010-05-06 Black Michael J Method and apparatus for estimating body shape
CN105096387A (zh) * 2015-07-16 2015-11-25 青岛科技大学 一种二维草图智能三维化处理方法
CN110288696A (zh) * 2019-06-13 2019-09-27 南京航空航天大学 一种完备一致生物体三维特征表征模型的建立方法
CN110619681A (zh) * 2019-07-05 2019-12-27 杭州同绘科技有限公司 一种基于欧拉场形变约束的人体几何重建方法
CN111862299A (zh) * 2020-06-15 2020-10-30 上海非夕机器人科技有限公司 人体三维模型构建方法、装置、机器人和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100111370A1 (en) * 2008-08-15 2010-05-06 Black Michael J Method and apparatus for estimating body shape
CN105096387A (zh) * 2015-07-16 2015-11-25 青岛科技大学 一种二维草图智能三维化处理方法
CN110288696A (zh) * 2019-06-13 2019-09-27 南京航空航天大学 一种完备一致生物体三维特征表征模型的建立方法
CN110619681A (zh) * 2019-07-05 2019-12-27 杭州同绘科技有限公司 一种基于欧拉场形变约束的人体几何重建方法
CN111862299A (zh) * 2020-06-15 2020-10-30 上海非夕机器人科技有限公司 人体三维模型构建方法、装置、机器人和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZUFFI等: "3D Menagerie: Modeling the 3D Shape and Pose of Animals", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 12 April 2017 (2017-04-12), pages 1 - 9 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327718A (zh) * 2021-12-27 2022-04-12 北京百度网讯科技有限公司 界面展示方法及装置、设备和介质
CN114333477A (zh) * 2021-12-28 2022-04-12 南京财经大学 一种基于ar技术的虚拟仿真教学实训***
CN116503508A (zh) * 2023-06-26 2023-07-28 南昌航空大学 一种个性化模型构建方法、***、计算机及可读存储介质
CN116503508B (zh) * 2023-06-26 2023-09-08 南昌航空大学 一种个性化模型构建方法、***、计算机及可读存储介质

Similar Documents

Publication Publication Date Title
EP3944200B1 (en) Facial image generation method and apparatus, device and storage medium
US11748934B2 (en) Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
Han et al. Reconstructing 3D shapes from multiple sketches using direct shape optimization
Tahara et al. Retargetable AR: Context-aware augmented reality in indoor scenes based on 3D scene graph
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
EP3674984A1 (en) Set of neural networks
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
US11380061B2 (en) Method and apparatus for three-dimensional (3D) object and surface reconstruction
EP3474185B1 (en) Classification of 2d images according to types of 3d arrangement
CN111583408B (zh) 基于手绘草图的人体三维建模***
CN111401234B (zh) 三维人物模型构建方法、装置及存储介质
Bhattacharjee et al. A survey on sketch based content creation: from the desktop to virtual and augmented reality
EP3855386B1 (en) Method, apparatus, device and storage medium for transforming hairstyle and computer program product
CN112785712A (zh) 三维模型的生成方法、装置和电子设备
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
Goldenstein et al. Statistical cue integration in dag deformable models
CN115578393A (zh) 关键点检测方法、训练方法、装置、设备、介质及产品
Wei et al. GeoDualCNN: Geometry-supporting dual convolutional neural network for noisy point clouds
Orvalho et al. Transferring the rig and animations from a character to different face models
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
CN113129362A (zh) 一种三维坐标数据的获取方法及装置
CN115775300B (zh) 人体模型的重建方法、人体重建模型的训练方法及装置
Kazmi et al. Efficient sketch‐based creation of detailed character models through data‐driven mesh deformations
US20230079478A1 (en) Face mesh deformation with detailed wrinkles
CN115049764A (zh) Smpl参数预测模型的训练方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination