CN110751733A - 用于将3d扫描对象转换为化身的方法和装置 - Google Patents

Abstract

一种将三维(3D)扫描对象转换为化身的方法。该方法包括对3D扫描对象进行3D分割以获得分割结果的步骤；并使第一模板适应分割结果以创建化身。第一模板包括拓扑，并且适应步骤包含将第一模板的拓扑映射到分割结果以创建化身的步骤。本发明提供了一种自动化过程，其几乎不需要人为干预来将3D扫描对象转换为化身。

Description

用于将3D扫描对象转换为化身的方法和装置

技术领域

本发明涉及计算机实现的物理数据操纵，尤其涉及处理和转换物理对象的三维(3D)扫描数据的机制。

背景技术

3D身体扫描是使用3D身体扫描仪在3D中捕获人体的动作。3D人体扫描仪可以捕获人体或仅捕获特定部位，以生成非常详细的3D模型。产生的结果则是在计算机上可以看到被捕获的身体或肢体的3D模型。根据所需的应用程序和所使用的3D人体扫描仪，3D模型可以具有与原始图像完美匹配的颜色和纹理，或者仅仅是网格，一种形成身体形状的点云。

然而，没有经过进一步手工操作的原始扫描的人体3D数据，只能直接用于3D打印。相比之下，化身(数字人物)是对3D扫描数据(可能包括视频学、纹理转移和装扮中的至少一种)的数据结构的完整改造，以便用于数字应用，例如动画、数字衣物装配等。与原始扫描的3D数据相比，化身具有非常相似的几何和纹理外观但是完全不同的数据结构以提供以下的一个或多个属性(非排他性)：清晰的解剖模型拓扑；UV映射(即，将2D图像投影到3D模型的表面以进行纹理映射的3D建模过程)；皮肤纹理，包括身体、面部、手指指标；骨骼和皮肤指标；小且高质量的文件(例如20mb)，通过以法线图/高度图的形式将几何细节融入到参数空间中；等等。

用于从3D扫描数据转换到化身的常规技术需要大量的手动专业知识(例如，一个团队的数以周计的工作)以创建哪怕仅仅单个化身，并且此过程的自动化在此之前尚未实现过。没有自动化，上述手动专业知识的高成本和时间意味着化身的应用仅被限于特定范围，例如电影和电视中名人的数字替身。

发明内容

鉴于前述背景，本发明的目的是提供一种将3D扫描数据转换为化身的替代方法，其消除或至少减轻了上述技术问题。

通过独立权利要求的特征的组合来满足上述目的；从属权利要求公开了本发明的其他有利实施方式。

本领域技术人员将从以下描述中得出本发明的其他目的。因此，上述目的陈述并非详尽，仅用于说明本发明的许多目的中的一些目的。

因此，在一个方面，本发明提供一种将3D扫描对象转换为化身的方法。该方法包括对3D扫描对象进行3D分割以获得分割结果的步骤；以及使第一模板适应对象的分割结果以创建化身。第一模板包括拓扑，并且适应步骤包含将第一模板的拓扑映射到分割结果以创建化身的步骤。

在一个实施方式中，第一模板的拓扑包括含有骨架和骨架关节的信息。

在另一实施方式中，3D扫描对象包含姿势，并且在映射步骤之后，第一模板与姿势基本匹配。

在另一实施方式中，3D扫描对象包括形状，并且在映射步骤之后，第一模板与形状基本匹配。

在另一实施方式中，化身还包含顶点，并且其中该方法还包括将顶点约束到紧密接近3D扫描对象的表面空间的步骤。

在另一实施方式中，第一模板是任意人形网格，并且其包含用于动画人形角色的拓扑。

在另一实施方式中，基于解剖事实至少部分地进行3D分割。

在另一实施方式中，基于3D扫描对象的多个二维切片来进行3D分割步骤。

在另一实施方式中，基于艺术家定义的结果至少部分地进行3D分割步骤。

在另一实施方式中，该方法还包括使第二模板适应化身的步骤；第二模板包括骨架装扮的人体网格；适应第二模板的步骤包括基于第二模板和化身的形状改变化身的骨架重量、皮肤重量或其组合的步骤。

在另一实施方式中，第二模板包括与化身相同的拓扑，或者与所述化身相似的UV。

在另一实施方式中，该方法还包括拟合化身的第三模板，并且还包括由于第三模板将附件对象拟合到化身的步骤。

在另一实施方式中，附件对象不穿透第三模板。

在另一实施方式中，第三模板包括与化身的拓扑相同的拓扑，或者与化身相似的UV。

在另一实施方式中，第三模板和第一模板包含相同的拓扑。

在另一实施方式中，拟合步骤包括针对化身物理地模拟附件对象的步骤。

在另一实施方式中，拟合步骤还包括针对化身以被动碰撞的形式模拟附件对象的步骤。

在另一实施方式中，物理模拟附件对象的步骤包括在多个框架上将第三模板变形为化身的步骤。

在另一实施方式中，3D扫描对象是任意人形网格。

在另一实施方式中，任意人形网格是由输入的尺寸参数产生的参数体网格，所述尺寸参数包括以下中的一个或多个：高度、胸围、腰围、臀围。

在另一实施方式中，任意人形网格是由输入的尺寸参数产生的参数体网格，所述尺寸参数包括以下中的一个或多个：高度、胸围、腰围、臀围。

在另一实施方式中，3D扫描对象包括任意面形网格。

在另一实施方式中，3D分割包括面部标识检测。

在另一实施方式中，化身是具有3D扫描对象的形状和第一模板的拓扑的网格。

根据本发明的第二方面，公开了一种将附件对象自动拟合到化身的方法。该方法包括以下步骤：提供化身，提供附件对象，提供附件对象不穿透的模板，以及由于拟合到化身的模板，使得附件对象拟合到化身。

在一个实施方式中，模板具有与化身相同的拓扑。

在另一实施方式中，使用如上在本发明的第一方面中提到的方法来创建化身。

在另一实施方式中，拟合步骤包含针对化身物理地模拟附件对象的步骤。

在另一实施方式中，拟合步骤还包含针对化身以被动碰撞的形式模拟附件对象的步骤。

在另一实施方式中，物理地模拟附件对象的步骤还包括在多个框架上将第三模板变形为化身的步骤。

在另一实施方式中，公开了一种自动装扮化身的方法，该方法包含使包括骨架装扮的身体网格的模板适应化身的步骤；以及基于模板和化身的形状来改变化身的骨架和皮肤重量的步骤。

在另一实施方式中，模板包含与化身相同的拓扑，或与化身类似的UV。

在另一实施方式中，公开了一种存储计算机可执行程序的非暂时性计算机可读介质，计算机可执行程序在由处理器执行时使信息处理设备执行：对3D扫描对象进行3D分割以获得分割结果；以及使第一模板适应分割结果以创建化身。第一模板包括拓扑，并且适应步骤包含将第一模板的拓扑映射到分割结果以创建化身的步骤。

在另一实施方式中，第一模板的拓扑包含包括骨架和骨架关节的信息。

在另一实施方式中，3D扫描对象包含姿势，并且其中在映射步骤之后，第一模板与姿势基本匹配。

在另一实施方式中，3D扫描对象包括形状，并且其中在映射步骤之后，第一模板与形状基本匹配。

在另一实施方式中，化身还包含顶点，并且其中计算机可执行程序在由处理器执行时还使信息处理装置执行将顶点约束到紧密接近3D扫描对象的表面空间。

在另一实施方式中，第一模板是任意人形网格，并且其包含用于动画人形角色的拓扑。

在另一实施方式中，基于解剖事实至少部分地进行3D分割。

在另一实施方式中，基于3D扫描对象的多个二维(2D)切片来进行3D分割步骤。

在另一实施方式中，基于艺术家定义的结果至少部分地进行3D分割步骤。

在另一实施方式中，计算机可执行程序在由处理器执行时还使信息处理装置执行使第二模板适应化身；第二模板包括骨架装扮的人体网格。适应第二模板包括基于第二模板和化身的形状改变化身的骨架重量、皮肤重量或其组合。

在另一实施方式中，第二模板包括与化身相同的拓扑，或者与所述化身相似的UV。

在另一实施方式中，计算机可执行程序在由处理器执行时还使信息处理装置执行由于拟合到化身的第三模板将附件对象拟合到化身。

在另一实施方式中，附件对象不穿透第三模板。

在另一实施方式中，第三模板包括与化身的拓扑相同的拓扑，或者与化身相似的UV。

在另一实施方式中，第三模板和第一模板包含相同的拓扑，或包含相似的UV。

在另一实施方式中，计算机可执行程序在由处理器执行时还使得信息处理设备执行针对化身物理地模拟附件对象。

在另一实施方式中，计算机可执行程序在由处理器执行时还使得信息处理设备执行针对化身以被动碰撞的形式模拟附件对象。

在另一实施方式中，计算机可执行程序在由处理器执行时还使得信息处理设备执行在多个框架上将第三模板变形为化身。

在另一实施方式中，3D扫描对象是任意人形网格。

在另一实施方式中，3D扫描对象包含任意面型网格。

在另一实施方式中，3D分割包含面部标识检测。

在另一实施方式中，化身是具有3D扫描对象的形状和第一模板的拓扑的网格。

根据本发明的第五方面，公开了一种存储计算机可执行程序的非暂时性计算机可读介质，所述计算机可执行程序在由处理器执行时使信息处理设备执行：提供化身，提供附件对象，提供附件对象不穿透的模板，以及由于拟合到化身的模板，附件对象拟合到化身。

在一个实施方式中，模板具有与化身相同的拓扑。

在另一实施方式中，化身由存储计算机可执行程序的计算机可读介质创建，该计算机可执行程序在由处理器执行时使信息处理设备执行如上所述的本发明第五方面中的步骤。

在另一实施方式中，计算机可执行程序在由处理器执行时还使信息处理设备针对化身物理地模拟附件对象。

在另一实施方式中，计算机可执行程序在由处理器执行时还使信息处理设备在多个框架上将第三模板变形为化身。

根据本发明的第六方面，公开了一种存储计算机可执行程序的非暂时性计算机可读介质，所述计算机可执行程序在由处理器执行时使信息处理设备执行使包括骨架装扮的身体网格的模板适应化身；以及基于模板和化身的形状来改变化身的骨架和皮肤重量。

在另一实施方式中，模板包含与化身相同的拓扑，或与化身类似的UV。

根据本发明的第七方面，公开了一种包括处理器的信息处理设备；其中处理器可操作以实现包括以下步骤的方法：对3D扫描对象进行3D分割以获得分割结果；以及使第一模板适应分割结果以创建化身。第一模板包括拓扑，并且适应步骤包含将第一模板的拓扑映射到分割结果以创建化身的步骤。

在另一实施方式中，第一模板的拓扑包含包括骨架和骨架关节的信息。

在另一实施方式中，3D扫描对象包含姿势，并且其中在映射步骤之后，第一模板与姿势基本匹配。

在另一实施方式中，3D扫描对象包括形状，并且其中在映射步骤之后，第一模板与形状基本匹配。

在另一实施方式中，化身还包含顶点，并且该方法还包括将顶点约束到紧密接近3D扫描对象的表面空间。

在另一实施方式中，第一模板是任意人形网格，并且其包含用于动画人形角色的拓扑。

在另一实施方式中，基于解剖事实至少部分地进行3D分割。

在另一实施方式中，基于3D扫描对象的多个二维(2D)切片来进行3D分割步骤。

在另一实施方式中，基于艺术家定义的结果至少部分地进行3D分割步骤。

在另一实施方式中，该方法还包括使第二模板适应化身的步骤；第二模板包括骨架装扮的人体网格。适应第二模板包括基于第二模板和化身的形状改变化身的骨架重量、皮肤重量或其组合。

在另一实施方式中，第二模板包括与化身相同的拓扑，或者与所述化身相似的UV。

在另一实施方式中，该方法还包括由于拟合到化身的第三模板将附件对象拟合到化身的步骤。

在另一实施方式中，附件对象不穿透第三模板。

在另一实施方式中，第三模板包括与化身的拓扑相同的拓扑，或者与化身相似的UV。

在另一实施方式中，第三模板和第一模板包含相同的拓扑，或包含相似的UV。

在另一实施方式中，拟合步骤包含针对化身物理地模拟附件对象的步骤。

在另一实施方式中，该方法还包含针对化身以被动碰撞的形式模拟附件对象的步骤。

在另一实施方式中，该方法还包括在多个框架上将第三模板变形为化身的步骤。

在另一实施方式中，3D扫描对象是任意人形网格。

在另一实施方式中，任意人形网格是由输入的尺寸参数产生的参数体网格，所述尺寸参数包括以下中的一个或多个：高度、胸围、腰围、臀围。

在另一实施方式中，3D扫描对象包括任意面形网格。

在另一实施方式中，3D分割包括面部标识检测。

在另一实施方式中，化身是具有3D扫描对象的形状和第一模板的拓扑的网格。

根据本发明的第八方面，公开了一种包括处理器的信息处理设备；其中处理器可操作以实现包括以下步骤的方法：提供化身，提供附件对象，提供附件对象不穿透的模板，以及由于拟合到化身的模板，附件对象拟合到化身。

在一个实施方式中，模板具有与化身相同的拓扑。

在另一实施方式中，使用如上在本发明的第七方面中描述的信息处理设备来创建化身。

在另一实施方式中，拟合包含针对化身物理地模拟附件对象。

在另一实施方式中，拟合包含在多个框架上将第三模板变形为化身。

根据本发明的第九方面，公开了一种包括处理器的信息处理设备；其中处理器可操作以实现包括以下步骤的方法：使包括骨架装扮的身体网格的模板适应化身；以及基于模板和化身的形状来改变化身的骨架和皮肤重量。

在另一实施方式中，模板包含与化身相同的拓扑，或与化身类似的UV。

如实施方式中所示的本发明提供了创建化身、用骨架装扮化身和/或将附件对象(例如服装)应用于化身的自动化工作流程。与现有的计算机***或软件相比，为了获得类似的结果，本发明仅需要最低程度的人为干预。为了实现分割，该过程中涉及的算法是利用艺术家判断和解剖事实的复杂逻辑流程，而现有技术***通常基于纯数学算法(例如分支检测)。本发明提供的算法在特别针对人体的分割方面更准确。

另外，与现有技术算法相比，本发明中使用的算法也快得多，从而产生了一种可以由一台计算机每天执行数百个自动化身转换的可实现的***。唯一的手动操作是由用户按下按钮来触发该过程。

此外，在创建化身、骨架装扮化身和/或将附件对象(例如服装)应用于化身的过程中使用各种模板使得能够输入任何形状的人体形状。这意味着扫描的3D人体数据的高度、宽度或健康等没有预设条件。模板将适用于任何输入的人体数据，并且模板中的拓扑可以被转移到人体数据。

本发明提供的方法使得大规模3D化身采用能够用于各种数字应用的可能性。与现有技术相比，3D化身产生的速度的不夸张的说可以增加超过10,000倍。由于本发明还允许并行处理，因此可以潜在地将一个人口规模的3D扫描结果转换为化身。

附图说明

从以下优选实施方式的描述中，本发明的前述和进一步的特征将变得显而易见，所述优选实施方式仅通过示例的方式结合附图提供，其中：

图1是示出根据本发明的第一实施方式如何将任意人形网格转换为化身的示意图。

图2是示出如图1所示的转换的步骤的流程图。

图3是示出图2中的3D分割的详细步骤的流程图。

图4是示出应用图2中的第一模板的详细步骤的流程图。

图5是根据本发明另一实施方式的如何将任意人形网格转换为化身然后装扮的示意图。

图6是根据本发明另一实施方式的如何将服装附件对象装配到化身上的示意图。

在附图中，在本文描述的若干实施方式中，相同的数字表示相同的部件。

具体实施方式

在所附权利要求和在本发明的前述描述中，除了上下文由于明确的语言或必要的含义而另外要求之外，词语“包括”或诸如“包括”或“包含”的变体用于广义包括的意义，即指定所述特征的存在但不排除在本发明的各种实施方式中存在或添加其他特征。

本发明可以是***、方法和/或计算机程序产品。该计算机程序产品可以包括计算机可读存储介质(或媒介)，其上具有计算机可读程序指令，用于使处理器执行本发明的各方面。

3D模型中的拓扑被定义为给定对象(例如人体)的线框。线框由所有顶点(线相交以形成点)，边(由两个连接顶点组成的线)组成，并且从该信息可以生成面(每个面通常具有2-3个连接边)。

计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质例如可以是但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适组合。计算机可读存储介质的更具体示例的非详尽列表包括以下内容：便携式计算机磁盘、硬盘、动态随机存取存储器(DRAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆卡、软盘、机械编码的装置，诸如在其上记录有指令的凹槽中的穿孔卡或凸起结构，以及前述的任何合适的组合。这里使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波，通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)或通过电线传输的电信号。

本文描述的计算机可读程序指令可以经由网络从计算机可读存储介质或外部计算机或外部存储设备下载到相应的计算/处理设备，例如，因特网、局域网、广域区域网络和/或无线网络。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或任一以一种或多种编程语言的任意组合编写的源代码或目标代码，该编程语言包括诸如Smalltalk，C++等的面向对象的编程语言，以及诸如“C”编程语言或类似编程语言的传统过程编程语言。计算机可读程序指令可以完全在用户的计算机上，部分在用户的计算机上，作为独立的软件包，部分地在用户的计算机上，部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网连接)。在一些实施方式中，包括例如可编程逻辑电路，现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来来执行计算机可读程序指令，以个性化电子电路，以执行本发明的各方面。

这里参考根据本发明实施方式的方法、装置(***)和计算机程序产品的流程图和/或框图来描述本发明的各方面。将理解，流程图示意图和/或框图的每个框以及流程图示意图和/或框图中的框的组合可以由计算机可读程序指令实现。

这些计算机可读程序指令可以被提供给通用计算机，专用计算机或其他可编程数据处理装置的处理器以产生机器，使得指令通过计算机的处理器或其他可编程数据处理装置执行，创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的手段。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指示计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括一种制造品，其包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。

计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现过程，使得在计算机，其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图显示了根据本发明的各种实施方式的***、方法和计算机程序产品的可能实现的体系结构，功能和操作。在这方面，流程图或框图中的每个框可以表示模块、部分或指令的一部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图说明的每个框以及框图和/或流程图说明中的框的组合可以由执行特定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的***来实现。

现在参考图1-4，本发明的第一实施方式是将人体的3D扫描对象20转换为化身的方法。该方法通常由图1中的功能块26表示，并且如图2中的各个步骤所示。如图2中的步骤30所示，3D扫描对象20从3D扫描仪获得，该扫描仪是本领域已知的，并且得到的数据是具有任意顶点、边缘、面部结构和任意顶点取向的人形3D网格。换句话说，3D扫描对象20是数据对象，其通常表示人的形状，但是对人的身高、身体比例、健康、肌肉等没有限制。3D扫描对象20甚至可以在其上具有服装、附件或其他非人类组件，或者3D扫描对象20可以是裸露的而没有任何非人类组件。应当注意，作为原始数据的3D扫描对象20仅适用于直接复制，例如3D打印或显示设备上的静态显示。然而，不可能操纵3D扫描对象20例如改变其姿势或者产生肢体移动等的人体动画。相反，3D扫描对象20将不得不被转换为化身以便进一步处理它。然而，化身将具有与3D扫描对象20类似的皮肤外观。稍后将更详细地描述。可用于本文的特定3D扫描技术包括例如照相扫描、激光扫描及其组合；或照相扫描；或激光扫描。

接下来，在步骤32中，在对3D扫描对象20进行3D分割之前对3D扫描对象20进行预处理。预处理的目的主要是减少扫描的3D对象20的网格中的顶点数量，使它们密度较小，以便进行任何后续处理(例如3D分割和将模板拟合到3D扫描对象20)更快且更有效。预处理使用数据处理技术，诸如合并相邻顶点，取平均值等。在一个示例中，预处理之后3D扫描对象20中的顶点的数量是大约8,000。注意，当然，在进行预处理的情况下，3D扫描对象20的质量/细节将出现损失，但是这可以使用本领域技术人员已知的放置图和/或法线图来。预处理还涉及任意定向的人体网格的自动定向，其是3D扫描对象20。通过分析网格的最小边界框和凸包，可以计算旋转矩阵以定向网格到预定义的轴。例如面向+Z，沿+Y向上。

接下来，在步骤34中，3D扫描对象20以3D方式进行分割，这意味着人体的不同部分(例如，身体标识包括腿、胸部、肩部、颈部，拇指、食指第二关节等)在3D扫描对象20中识别，然后获得分割结果。这里3D分割意味着在3D维空间中分析人体的每个部分并且将其识别为人体的3D部分。在本文的实施方式中，3D分割沿着人体以特定顺序执行。例如，3D分割可以从脚开始，然后一直向上到达人体的头部。

3D分割可以使用包含复杂逻辑并且涉及艺术家的判断和解剖事实的算法。特别地，如图3所示，3D分割的第一步骤50是使用多个2D切片来切割3D扫描对象20的不同部分以产生输入网格的许多横截面。然后，在步骤52中，基于逻辑流程图决定网和每个切片的最终尺寸和形状，切片的位置和方向是变化的。这些逻辑流程图决定基于人体的尺寸、比率、方向矢量，身体标识形状等的解剖学事实和艺术经验。特别地，然后通过它们的形状和变换矩阵以及它们的形状和变换矩阵的趋势来分析上述横截面。对于每个身体部位，根据关于人体的每个特定身体部位的解剖学事实，将逻辑决定程序应用于上述分析。例如，拇指比食指短，拇指位于手腕的最外侧位置。另一个例子是手腕位于手臂终点处一定比例附近的位置。另一个例子是在胸部附近的Z方向横截面上存在凸起形状，并且尖端点是腋窝。此外，作为一个例子，如果腿比手臂短，则意味着手臂是腿，或者在扫描时腿的一部分被衣物覆盖。最后，使用每个特定身体部位的逻辑组合所有分析结果以产生身体分割的最终结果。因此，一旦获得分割结果，3D分割处理在步骤54结束。

然后，在图2的步骤36中，将第一模板22(参见图1)应用于3D分割结果，使得第一模板22拟合3D扫描对象20。第一模板22是包含拓扑的任意人形网格，其通常是但不限于用于动画人形角色的优化拓扑。特别地，图4示出了第一模板22如何通过各种匹配步骤拟合到3D扫描对象20。首先，在步骤56中，进行形状-粗略匹配，其中第一模板22的每个关节与分割结果的每个关节匹配，因为后者已经过3D分割并且已经识别出其关节。3D分割结果用于重新定位和定向第一模板22的关节位置，从而使第一模板22变形为与3D扫描对象20的网格匹配的姿势。可选地，还可以通过缩放第一模板22的关节来匹配分割结果的横截面的周边和质心。一旦姿势和关节匹配，则第一模板22的顶点在人体的不同部分与网格的顶点紧密对应。这就是为什么当从第一模板22到3D扫描对象20的网格执行最近点网格或法线投影时，相应顶点的接近度也足够接近以避免不匹配。然后，第一模板22在形状方面变得类似于3D扫描对象20。这在图1中示出，其中化身24具有与第一模板22的拓扑类似的拓扑，但是化身具有与3D扫描对象20的姿势和形状大致匹配的尺寸，并且大致匹配3D扫描对象20的姿势和形状。

然后，在步骤58中，第一模板22在经过形状粗略匹配后再次与形状-细节匹配中的搜索结果匹配。该形状-细节匹配包括对变形的第一模板22施加最终放松，并且还约束3D扫描对象20的网格的表面空间内的顶点的放松，以确保第一模板22的形状在放松之后不改变。特别地，第一模板22的顶点被约束到紧密接近任意人类网格的表面空间以产生最终结果。最后，模板拟合过程在步骤60结束。如图2所示的整个过程然后在步骤38结束。最终结果是化身24，其具有与包括姿势和形状与3D扫描对象20非常接近(如果不相同)的外观，由于化身24的骨架的所有关节现在已经被定义，其允许化身24被进一步处理，例如以进行移动，因此在化身24内部与3D扫描对象20完全不同。身体显得自然，或制作连续动画。化身24还具有与第一模板22相同的拓扑。

可选地，代替将步骤56的方法应用于步骤58，可以基于3D扫描对象20的3D分割结果与第一模板22之间的对应关系来利用非严格配准。这可以导致类似的结果，也就是如上所述的化身24。

应当注意，如图1中所示的化身24不具有在化身24中定义的任何骨架关节，因此其在3D动画技术方面尚未被装扮。需要额外的过程来将例如服装添加到化身或使其装扮，如下面将详细描述的。然而，化身24准备用于其他类型的过程，例如将服装或其他配件装配到化身24，如下面还将详细描述的。

如图5中所示的本发明的另一个实施方式涉及将人体的3D扫描对象120转换为关节-装扮的化身148的方法。该方法基本上包含两个过程，即从3D扫描对象120到中间化身124，其通常由图5中的功能块126表示，以及从中间化身124到关节-装扮的化身148的转换，其通常由图5中的功能块144表示。从3D扫描对象120到中间化身124的转换类似于图1-4中所示的过程，它还使用第一模板122来适应3D扫描对象120，这里不再赘述。与图1-4相比，图5所示的过程不同的是使第二模板146适应中间化身124的附加步骤。第二模板146包含艺术家预定义的，骨架装扮的身体网格，具有与中间化身124相同的拓扑或类似的UV。在使第二模板146适应中间化身124时，存在将骨架结构和皮肤重量从第二模板146转移到中间化身124的步骤。

现在转到图6，其中作为任意对象的示例的服装240被应用于化身224。该方法通常由图6中的功能框244表示。服装240具有任意形状，意味着对服装240的尺寸、形状或轮廓没有限制。然而，有一个要求是服装不应穿透第三模板222，使得服装240在第三模板的表面上“可穿戴”。这里“不穿透”意味着服装240的任何部分都不会侵入或重叠第三模板222的网格的任何部分。第三模板222也是根据其要求选择或制造的。具有与化身224相同的拓扑。另一方面，化身224可以是任意人形网格。这意味着不要求化身224必须具有与第三模板222类似的特定形状或姿势。化身224可以使用图1-4中所示的过程来产生，或者可以从***中重新提供。在前一种情况下，第三模板222可以与图1-4中提到的过程中使用的第一模板相同或不同，如果产生了化身224，则第三模板222应该具有与第一模板相同的拓扑。然而，在该实施方式的其他变型中，第二模板可以与第一模板不同。

将服装240装配到化身224的第一步是针对化身224物理地模拟服装240。这包括但不限于化身224的衣物/软体类型模拟。优选地，物理模拟是被动碰撞的形式。在计算机图形学中的物理模拟中，对象被定义为相互交互的碰撞器，而被动碰撞是影响其他模拟对象的碰撞类型，但其本身不受模拟的影响。在此过程中，第三模板222在多个框架上变形为化身224。这里，变形可以包括从一个或多个网格到另一个或多个网格的形状动画，其可以涉及顶点动画、动画、包裹变形、其他基于模仿的变形或利用形状或UV转移的变形。结果，服装240可以装配到化身224，如图6所示。

例如，尽管上述实施方式中描述的3D扫描对象具有人形网格，但是本领域技术人员应该认识到3D扫描对象不仅限于表示人体的表示，而且还可以是表示动物。在这种情况下，用于调整或拟合需要的模板例如是动物形状或其他形状。

另外/可选地，代替从3D扫描仪输入用于处理的3D对象，3D对象也可以是参数体，其是通过输入诸如高度、胸围、腰围、臀围等的尺寸参数而生成的身体网格，并通过PCA算法(v，w，x)进行。

在图1-4中，使用算法的特定步骤描述3D分割和适应第一模板的步骤。而且，在图5中，使用算法的特定步骤描述使用第二模板的装扮。然而，本领域技术人员应该理解，可以使用包括其他公共或专有算法的不同算法来实现相同的结果。

例如，在用于进行3D身体分割的一种可选算法中，多个点分布在被扫描的身体的不同身体部位上，然后以相似的身体部位对应的方式将相同的一组点分配到第一模板。该过程涉及通过形状相似性、人工智能(AI)或机器学习算法来确定。

在图6中，服装被用作可以适合化身的任意配件的示例。然而，在本发明的其他变型中，也可以应用其他任意附件，例如眼镜、鞋子、腰带、戒指、武器、盔甲、衣服、头饰等。此外，任意附件配件有许多可能的应用，包括但不是仅限于视频游戏、虚拟现实(VR)、增强现实(AR)、混合现实(MR)、社交媒体、虚拟助手、在线购物、电子商务、电子营销。

可以将诸如服装、工具和游戏资产等的化身和附件对象发布到社交媒体网站或软件应用程序。化身、服装和/或游戏资产的使用行为可用于数据分析。例如，可以为每个人跟踪化身数据以查看化身随时间的趋势。化身、服装和/或配件资产是进一步适用于医学、军事、教育、安全、营销、虚拟名人，虚拟祖先等领域的研究和可视化的化身、服装或配件资产。

在上面参考图6描述的实施方式中，服装被描述为不穿透第三模板。然而，本领域技术人员应该认识到，在本发明的其他变型中，附件实际上可以穿透第三模板。例如，人体器官可位于第三模板内部或部分穿透第三模板。然后，当附件装配到人体时，可以使用物理模拟，或者可以使用任何其他合适的变形方法。在一个示例中，当第三模板变形为输入化身的形状时，那些身体器官也变形为适合输入化身的形状。作为更具体的示例，在计算机游戏中，可以存在由树干制成的怪物，它看起来像人形树干。这些树干穿透进出第三模板，但大致遵循整体体积。然后，当第三模板变形为输入化身时，树干将采用输入化身的形状。当整个身体部分由机器人机械部件组成时，可以以类似的方式想象相同的情况。虽然其整体外观类似于第三模板的人形，但是所得到的变形物体具有穿透体积内部的内部结构，其有时也可能在皮肤表面外延伸一点点。

应理解，如果本文提及任何现有技术出版物，则此类参考并不构成承认该出版物形成本领域在澳大利亚或任何其他国家公知常识的一部分。

因此，完整地描述了本发明的示例性实施方式。尽管该描述涉及特定实施方式，但是本领域技术人员将清楚，可以通过改变这些具体细节来实践本发明。因此，本发明不应被解释为限于这里阐述的实施方式。

尽管已经在附图和前面的描述中详细图示和描述了本发明，但是同样的内容被认为是说明性的而非限制性的，应当理解，仅示出和描述了示例性实施方式，并且不以任何方式限制本发明的范围。可以理解，本文描述的任何特征可以与任何实施方式一起使用。说明性实施方式不排除彼此或本文未列举的其他实施方式。因此，本发明还提供了包括上述一个或多个说明性实施方案的组合的实施方案。在不脱离本发明的精神和范围的情况下，可以对本文所述的本发明进行修改和变化，因此，仅应当如所附权利要求所示的那样施加这些限制。

Claims (10)

1.一种将3D扫描对象转换为化身的方法，包括以下步骤：

a)对3D扫描对象进行3D分割以获得分割结果；以及

b)使第一模板适应所述分割结果以创建化身，所述第一模板包括拓扑，

其中所述适应步骤包括将所述第一模板的拓扑映射到所述分割结果以创建所述化身的步骤。

2.根据权利要求1所述的方法，其中所述第一模板的拓扑包括含有骨架和骨架关节的信息。

3.根据权利要求1所述的方法，其中所述3D扫描对象包括姿势，并且其中在所述映射步骤之后，所述第一模板与所述姿势基本匹配。

4.根据权利要求2所述的方法，其中所述3D扫描对象包括形状，并且其中在所述映射步骤之后，所述第一模板与所述形状基本匹配。

5.根据权利要求3或4所述的方法，其中所述化身还包括顶点，并且其中所述方法还包括将所述顶点约束到紧密接近所述3D扫描对象的表面空间的步骤。

6.根据权利要求2所述的方法，其中所述第一模板是任意人形网格，并且其中所述第一模板包括用于动画人形角色的拓扑。

7.根据权利要求1所述的方法，其中基于解剖事实至少部分地进行所述3D分割。

8.根据权利要求7所述的方法，其中基于所述3D扫描对象的多个二维切片来进行所述3D分割步骤。

9.根据权利要求1所述的方法，其中基于艺术家定义的结果至少部分地进行所述3D分割步骤。

10.根据权利要求1所述的方法，还包括使第二模板适应所述化身的步骤；所述第二模板包括骨架装扮的人体网格；适应第二模板的步骤包括基于所述第二模板和所述化身的形状改变化身的骨架重量、皮肤重量或其组合的步骤。

Images