CN117152338A - 一种建模方法与电子设备 - Google Patents

Abstract

本申请提供一种建模方法与电子设备。在该方法中，电子设备获取待建模的目标对象对应的目标图像，根据目标图像从预设的多个可变形模型中确定目标图像对应的可变形模型。电子设备根据目标图像对可变形模型进行变形调整，生成初始模型。电子设备获取目标图像的图像特征，并将目标图像的图像特征映射到初始模型上，生成目标图像对应的目标模型的模型参数。电子设备根据目标模型的模型参数和初始模型生成目标模型。通过该方案，电子设备可以根据预设的可变形模型生成目标对象对应的目标模型，无需对目标对象同时采集多张图像，便于用户操作。

Description

一种建模方法与电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种建模方法与电子设备。

背景技术

三维建模技术可以通过虚拟三维空间构建出具有三维数据的模型，该模型可以展示在电子设备的显示界面或AR设备/VR设备显示的虚拟空间中，提供一种更加真实生动的显示效果。三维建模技术可以应用于对真实世界中的实体进行三维建模，得到该实体对应的虚拟三维模型，在电子设备的显示界面中显示该虚拟模型时，可以为用户提供更加真实的交互体验。

目前的三维建模技术中，需要输入多张不同视角的建模对象的照片，计算每张照片的相机位姿，并利用多视角立体几何技术生成点云和网格，再计算纹理和材质贴图，进而得到三维模型。这种方式虽然可以生成与建模对象较为相似的三维模型，但需要拍摄大量的多视角照片，导致用户操作复杂，用户体验较差；并且，上述建模过程较为复杂，需要大量的云侧处理时间，建模效率较低。另外，目前的三维建模技术是针对静态刚性物体进行建模的方法，对于动态对象，如动物，则难以获取建模所需的多视角照片，从而无法完成三维建模。

发明内容

本申请提供一种建模方法与电子设备，用以提供一种操作便捷且高逼真的三维建模方法。

第一方面，本申请提供一种建模方法，该方法可以应用于电子设备。该方法包括：电子设备获取待建模的目标对象对应的目标图像，根据所述目标图像从预设的多个可变形模型中确定所述目标图像对应的可变形模型。电子设备根据所述目标图像对所述目标图像对应的可变形模型进行变形调整，生成所述目标图像对应的初始模型。电子设备获取所述目标图像的图像特征，并将所述目标图像的图像特征映射到所述初始模型上，生成所述目标图像对应的目标模型的模型参数，其中，所述目标模型的模型参数用于指示所述目标模型的几何特征和纹理特征。电子设备根据所述目标模型的模型参数和所述初始模型生成所述目标模型。

基于上述方法，电子设备可以根据目标对象对应的目标图像以及预设的可变形模型生成目标对象对应的目标模型，无需对目标对象同时采集多张图像，便于用户操作，提升用户体验；同时，电子设备可以根据目标图像和变形调整后得到的初始模型确定目标模型的模型参数，使得目标模型更贴近目标对象，使得仿真效果更加逼真。

在一个可能的设计中，所述根据所述目标图像从预设的多个可变形模型中确定所述目标图像对应的可变形模型，包括：基于已训练的类型识别网络确定所述目标图像对应的目标类型；根据所述目标图像对应的目标类型从所述预设的多个可变形模型中确定所述目标图像对应的可变形模型；其中，所述预设的多个可变形模型与多种类型一一对应。

通过该设计，本申请提供多个预设的可变形模型，每个可变形模型对应一种类型，电子设备可以根据目标图像对应的目标类型确定的目标图像对应的可变形模型，从而无需根据多张不同角度的图像重新建模，而是在目标图像对应的可变形模型的基础上进行变形调整，以完成建模，保证建模逼真效果，同时降低建模操作的复杂度。

在一个可能的设计中，所述方法还包括：响应于用户触发的第一操作，对所述目标对象进行拍摄，获取所述目标对象对应的多张预览图像；所述第一操作用于启动所述电子设备的拍照功能，所述多张预览图像为未检测到用户触发的拍照操作之前，所述电子设备采集到的所述目标对象对应的图像；基于已训练的类型识别网络分别确定所述多张预览图像中每张预览图像对应的类型；当连续设定数量的预览图像对应的类型相同时，提醒用户触发拍照操作；

所述获取待建模的目标对象对应的目标图像，包括：响应于所述用户触发的拍照操作，获取所述目标图像。

通过该设计，电子设备可以在确定对目标对象采集的多张预览图像的类型一致时，提醒用户进行拍照，从而保证电子设备获取到的目标图像可以准确标识目标对应的类型，进一步提升建模的准确性。

在一个可能的设计中，所述根据所述目标图像对所述目标图像对应的可变形模型进行变形调整，生成所述目标图像对应的初始模型，包括：确定所述目标图像对应的二值图像，所述目标图像对应的二值图像用于表示所述目标图像中目标对象的画面的轮廓；对所述目标图像对应的可变形模型进行多次***调整和位姿调整，直至调整后的可变形模型满足第一条件，将所述调整后的可变形模型作为所述初始模型；

其中，所述第一条件包括以下至少一项：所述调整后的可变形模型与所述二值图像的轮廓相似度大于第一设定阈值；所述调整后的可变形模型中的关节点与所述目标图像中的关节点之间的误差值小于第二设定阈值。

通过该设计，电子设备可以根据目标图像以及目标图像对应的二值图像对可变形模型进行调整，以使可变形模型的形状与目标图像中目标对象的形状接近，实现逼真的仿真建模效果。

在一个可能的设计中，所述获取所述目标图像的图像特征，包括：基于已训练的语义分割网络对所述目标图像进行语义分割处理，获取所述目标图像对应的语义分割结果；所述目标图像对应的语义分割结果包括所述目标图像中的多个区域以及所述多个区域中每个区域对应的标签；根据所述目标图像和所述目标图像对应的语义分割结果确定所述目标图像的图像特征。

在一个可能的设计中，所述将所述目标图像的图像特征映射到所述初始模型上，生成所述目标图像对应的目标模型的模型参数，包括：确定所述初始模型对应的体空间；所述体空间用于表示所述初始模型中每个三维点的位置信息；基于已训练的纹理优化网络，根据所述体空间和所述目标图像的图像特征生成所述目标模型的模型参数。

在一个可能的设计中，所述目标模型的模型参数包括几何参数和纹理参数；所述几何参数包括密度或定向距离函数SDF中的任意一项或多项，所述纹理参数包括所述目标模型中每个三维点的透明度和颜色。

在一个可能的设计中，所述根据所述目标模型的模型参数和所述初始模型生成所述目标模型，包括：根据所述目标模型的模型参数生成所述目标模型对应的纹理图；对所述目标模型对应的纹理图和所述初始模型进行贴图处理，生成所述目标模型。

在一个可能的设计中，所述根据所述目标模型的模型参数生成所述目标模型对应的纹理图，包括：根据所述目标模型的模型参数进行栅格化处理，生成所述纹理图；或者根据所述目标模型的模型参数，基于已训练的卷积神经网络生成所述纹理图。

在一个可能的设计中，所述目标图像对应的目标类型属于动物、植物、人中的任一种类。

第二方面，本申请提供一种电子设备，所述电子设备包括多个功能模块；所述多个功能模块相互作用，实现上述第一方面及其各实施方式中电子设备所执行的方法。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现，且所述多个功能模块可以基于具体实现进行任意组合或分割。

第三方面，本申请提供一种电子设备，包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储计算机程序指令，所述电子设备运行时，所述至少一个处理器执行上述第一方面及其各实施方式中电子设备执行的方法。

第四方面，本申请还提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面及其各实施方式中的电子设备执行的方法。

第五方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被计算机执行时，使得所述计算机执行上述第一方面及其各实施方式中的电子设备执行的方法。

第六方面，本申请还提供一种芯片，所述芯片用于读取存储器中存储的计算机程序，执行上述第一方面及其各实施方式中的电子设备执行的方法。

第七方面，本申请还提供一种芯片***，该芯片***包括处理器，用于支持计算机装置实现上述第一方面及其各实施方式中的电子设备执行的方法。在一种可能的设计中，所述芯片***还包括存储器，所述存储器用于保存该计算机装置必要的程序和数据。该芯片***可以由芯片构成，也可以包含芯片和其他分立器件。

附图说明

图1为本申请实施例适用的一种场景示意图；

图2为本申请实施例提供的一种电子设备的结构示意图；

图3为本申请实施例提供的一种电子设备的软件结构框图；

图4为本申请实施例提供的一种建模方法的流程示意图；

图5为本申请实施例提供的一种目标图像的示意图；

图6为本申请实施例提供的一种目标图像对应的二值图像的示意图；

图7为本申请实施例提供的一种预设的多个可变形模型的示意图；

图8为本申请实施例提供的一种目标图像对应的可变形模型的示意图；

图9为本申请实施例提供的一种对可变形模型进行变形调整的示意图；

图10为本申请实施例提供的一种目标图像对应的初始模型的示意图；

图11为本申请实施例提供的一种目标图像对应的语义分割结果的示意图；

图12为本申请实施例提供的一种隐式体空间表达方式的示意图；

图13为本申请实施例提供的一种目标模型对应的纹理图的示意图；

图14为本申请实施例提供的一种目标模型的示意图；

图15为本申请实施例提供的一种电子设备的结构示意图；

图16为本申请实施例提供的一种建模方法的流程图。

具体实施方式

为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。其中，在本申请实施例的描述中，以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

应理解，本申请实施例中“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c可以是单个，也可以是多个。

三维建模技术可以通过虚拟三维空间构建出具有三维数据的模型，该模型可以展示在电子设备的显示界面或增强现实(augmented reality，AR)设备/虚拟现实(virtualreality，VR)设备显示的虚拟空间中，提供一种更加真实生动的显示效果。三维建模技术可以应用于对真实世界中的实体进行三维建模，得到该实体对应的虚拟三维模型，在电子设备的显示界面中显示该虚拟模型时，可以为用户提供更加真实的交互体验。

例如，AR技术是一种将真实世界信息和虚拟世界信息集成显示的技术。VR技术是一种可以创建和体验虚拟世界的计算机仿真技术，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。AR技术和VR技术可以将原本在现实世界难以体验的实体信息进行模拟仿真得到虚拟信息，并将虚拟信息显示在一个画面或空间以被用户感知，从而为用户提供超越现实的感官体验。在AR场景或VR场景中，可以通过对真实物品进行三维建模得到虚拟模型，在显示界面中显示该虚拟模型，为用户提供更加真实的交互体验。

目前的三维建模技术中，需要输入多张不同视角的建模对象的照片，计算每张照片的相机位姿，并利用多视角立体几何技术生成点云和网格，再计算纹理和材质贴图，进而得到建模对象对应的三维模型。这种方式虽然可以生成与建模对象较为相似的三维模型，但需要拍摄大量的多视角照片，导致用户操作复杂，用户体验较差；并且，上述建模过程较为复杂，需要大量的云侧处理时间，建模效率较低。另外，目前的三维建模技术是针对静态刚性物体进行建模的方法，对于动态对象，如动物，则难以获取建模所需的多视角照片，从而无法完成三维建模。

例如，目前一种对动物进行三维建模的方案中，需要将动物带到专业的大型仪器设备中进行拍摄，该大型仪器设备在多个角度均安装有摄像装置，多个摄像装置可以同时对动物进行图像采集，从而可以获取到多角度的动物图像，再根据获取到的多张动物图像进行三维建模，得到动物对应的三维模型。在该方案中，获取建模所需的多张动物图像的成本较高，且根据多张动物图像进行三维建模的处理较为复杂，建模效率较低。

基于以上问题，本申请提供一种建模方法，用以提供一种操作便捷且高逼真的三维建模方法。图1为本申请实施例提供的建模方法适用的一种场景示意图。参考图1，该场景中包括电子设备、用户、待建模的目标对象。例如，图1中待建模目标对象为小猫。

在本申请实施例中，电子设备可以获取待建模的目标对象对应的目标图像。其中，电子设备具有摄像头时，用户可以使用电子设备对目标对象进行拍摄以获取目标图像；或者用户也可以使用其它摄像装置对目标对象进行拍摄得到目标图像，摄像装置再将目标图像发送给电子设备。电子设备根据目标图像确定预设的多个可变形模型中目标图像对应的可变形模型。电子设备根据目标图像对目标图像对应的可变形模型进行变形调整，得到目标图像对应的初始模型。电子设备获取目标图像的图像特征，并将目标图像的图像特征映射到目标图像对应的初始模型上，得到目标模型的模型参数，根据目标模型的模型参数和目标图像对应的初始模型，生成目标模型。可选地，电子设备可以对目标模型进行骨骼绑定，并在AR应用中渲染目标模型，并驱动目标模型得到动画效果，为用户提供真实的交互体验。

通过该方案，电子设备可以根据对目标对象采集的至少一张图像以及预设的可变形模型生成目标对象对应的目标模型，无需对目标对象同时采集多张图像，便于用户操作，提升用户体验；同时，电子设备可以根据目标图像和变形调整后得到的初始模型确定目标模型的模型参数，使得目标模型更贴近目标对象，使得仿真效果更加逼真。

需要说明的是，本申请实施例提供的建模方法所适用的***还可以包括服务器，电子设备在获取到目标图像后，还可以将目标图像发送给服务器，服务器根据目标图像确定多个预设的可变形模型中目标图像对应的可变形模型。服务器根据目标图像对目标图像对应的可变形模型进行变形调整，得到目标图像对应的初始模型。服务器获取目标图像的图像特征，并将目标图像的图像特征映射到目标图像对应的初始模型上，得到目标模型的模型参数，根据目标模型的模型参数和目标图像对应的初始模型，生成目标模型。服务器将目标模型发送给电子设备。也就是说，可以由服务器执行本申请提供的建模方法中的部分或全部步骤，从而减轻电子设备的计算压力，进一步提升建模效率。具体实施可以参见本申请实施例中对电子设备执行建模方法的介绍，重复之处不再赘述。

以下介绍电子设备、和用于使用这样的电子设备的实施例。本申请实施例的电子设备例如可以为平板电脑、手机、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、可穿戴设备、物联网(internet of thing，IoT)设备等，本申请实施例对电子设备的具体类型不作任何限制。

图2为本申请实施例提供的一种电子设备100的结构示意图。如图2所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与***设备之间传输数据。充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(global navigation satellite system，GLONASS)，北斗卫星导航***(beidounavigation satellite system，BDS)，准天顶卫星***(quasi-zenith satellitesystem，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。

显示屏194用于显示应用的显示界面，例如显示电子设备100上安装的应用的显示页面等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystaldisplay，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，以及至少一个应用程序的软件代码等。存储数据区可存储电子设备100使用过程中所产生的数据(例如拍摄的图像、录制的视频等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将图片，视频等文件保存在外部存储卡中。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

其中，传感器模块180可以包括压力传感器180A，加速度传感器180B，触摸传感器180C等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。

触摸传感器180C，也称“触控面板”。触摸传感器180C可以设置于显示屏194，由触摸传感器180C与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180C用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180C也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195，或从SIM卡接口195拔出，实现与电子设备100的接触和分离。

可以理解的是，图2所示的部件并不构成对电子设备100的具体限定，电子设备还可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。此外，图2中的部件之间的组合/连接关系也是可以调整修改的。

图3为本申请实施例提供的一种电子设备的软件结构框图。如图3所示，电子设备的软件结构可以是分层架构，例如可以将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将操作***分为四层，从上至下分别为应用程序层，应用程序框架层(framework，FWK)，运行时(runtime)和***库，以及内核层。

应用程序层可以包括一系列应用程序包(application package)。如图3所示，应用程序层可以包括相机、设置、皮肤模块、用户界面(user interface，UI)、三方应用程序等。其中，三方应用程序可以包括图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等。在本申请实施例中，应用程序层可以包括电子设备从服务器请求下载的目标应用的目标安装包，该目标安装包中的功能文件和布局文件适配于电子设备。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层可以包括一些预先定义的函数。如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

运行时包括核心库和虚拟机。运行时负责操作***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是操作***的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，二维图形引擎(例如：SGL)、图像处理库等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

硬件层可以包括各类传感器，例如加速度传感器、陀螺仪传感器、触摸传感器等。

需要说明的是，图2和图3所示的结构仅作为本申请实施例提供的电子设备的一种示例，并不能对本申请实施例提供的电子设备进行任何限定，具体实施中，电子设备可以具有比图2或图3所示的结构中更多或更少的器件或模块。

下面对本申请实施例提供的建模方法进行介绍。

实施例一

图4为本申请实施例提供的一种建模方法的流程示意图。参考图4，本申请实施例提供的建模方法包括获取图像、载入可变形模型、生成初始模型、语义分割处理、确定图像特征、确定目标模型的模型参数、生成目标模型等步骤。下面结合图4对本申请实施例提供的建模方法中的每个步骤进行进一步介绍：

步骤a.电子设备获取待建模的目标对象对应的目标图像。

其中，本申请实施例中目标对象可以为动物，如猫、狗、马等。也就是说，本申请实施例中可以对动态对象进行三维建模。目标对象也可以为静态物，例如植物、家具等。目标对象也可以为人。下面以目标对象为动物为例进行介绍：

一种可选的实施方式中，电子设备可以对目标对象进行拍摄以获取目标图像，目标图像可以为至少一张图像。

可选地，用户在使用电子设备对目标对象进行拍摄的过程中，电子设备可以获取目标对象对应的预览图像，预览图像为电子设备未检测到用户触发的拍照操作之前，电子设备在显示界面中显示的图像。电子设备可以对预览图像进行动物类型识别，以确定预览图像对应的动物类型。具体实施中，电子设备可以基于已训练的类型识别网络，根据预览图像确定预览图像对应的动物类型。当电子设备确定连续设定数量的预览图像对应的动物类型均相同时，电子设备可以提醒用户进行拍摄，如显示用于提醒用户拍摄的消息或播放提醒用户拍摄的音频。通过该设计，可以保证电子设备采集到的目标图像可以表示目标对象的特征，提升建模的准确性。

另一种可选的实施方式中，电子设备可以接收其它摄像装置发送的目标图像，目标图像可以为其它摄像装置对目标对象拍摄得到的至少一张图像。

步骤b.电子设备从预设的多个可变形模型中确定目标图像对应的可变形模型。

一种可选的实施方式中，电子设备可以基于已训练的类型识别网络对目标图像进行动物类型识别，确定目标图像对应的目标类型。可以理解的是，本申请实施例中目标对象可以为动物、植物、人等，则目标图像对应的目标类型属于动物、植物、人等中的任一种类。由于本实施例一中以目标对象为动物为例，则目标图像对应的目标类型为动物类型。

实施中，已训练的类型识别网络可以提取目标图像的特征向量，并根据提取出的特征向量识别动物类型。例如，当类型识别网络为卷积神经网络时，类型识别网络可以对目标图像进行卷积处理，以提取目标图像的特征向量，再基于目标图像的特征向量确定目标图像对应的动物类型。电子设备确定出的目标图像对应的动物类型可以包括目标图像对应的至少一种动物类型以及每种动物类型对应的概率值。例如，假设图5为电子设备获取到的目标图像。电子设备将图5所示的目标图像作为类型识别网络的输入，获取类型识别网络的输出，该输出可以为目标图像对应的动物类型为：布偶猫、英短、暹罗；其中，布偶猫对应的概率为90％、英短的概率为10％、暹罗的概率为6％。

需要说明的是，已训练的类型识别网络可以用于确定输入类型识别网络的图像对应的动物类型，类型识别网络可以为基于带有动物类型标签的样本图像进行训练得到的。

可选地，电子设备还可以确定目标图像对应的二值图像，目标图像对应的二值图像可以用于步骤c中计算变形系数，具体可以参见步骤c介绍。具体实施中，电子设备可以基于类型识别网络确定目标图像对应的二值图像，在该实施方式中，类型识别网络还可以用于确定输入图像对应的二值图像。可以理解的是，当已训练的类型识别网络可以用于确定二值图像时，在类型识别网络的训练过程中，还需要使用样本图像对应的二值图像对类型识别网络进行训练。例如，针对图5所示的目标图像。电子设备确定目标图像对应的二值图像可以如图6所示。

电子设备在确定出目标图像对应的动物类型后，可以从预设的多个可变形模型中确定目标图像对应的可变形模型。其中，多个可变形模型与多种动物类型存在一一对应关系，目标图像对应的可变形模型为目标图像对应的动物类型所对应的可变形模型。例如，图7为本申请实施例提供的一种预设的多个可变形模型的示意图。电子设备根据图5所示的目标图像对应的动物类型确定出的目标图像对应的可变形模型可以如图8所示。

步骤c.电子设备对可变形模型进行变形调整，得到目标图像对应的初始模型。

本申请实施例中，为了得到与目标图像中的目标对象更贴合的三维模型，电子设备在确定出目标图像对应的可变形模型后，可以计算变形系数和位姿，以对目标图像对应的可变形模型进行变形调整，得到形状和角度与目标图像中的目标对象相似的初始模型。

一种可选的实施方式中，电子设备可以根据目标图像、步骤b中确定出的目标图像对应的二值图像和目标图像对应的可变形模型确定变形系数和位姿。如电子设备可以对目标图像对应的可变形模型进行多次系数调整和位姿调整，当调整后的可变形模型与二值图像的轮廓相似度大于第一设定阈值，和/或，调整后的可变形模型中的关节点与目标图像中的关节点之间的误差值小于第二设定阈值时，可以停止对可变形模型的变形调整，此时可以认为调整后的可变形模型可以模拟目标对应的形态，电子设备可以将调整后的可变形模型作为目标图像对应的初始模型。具体实施中，电子设备在对可变形模型进行每次系数调整或位姿调整后，可以计算调整后的可变形模型与二值图像的轮廓相似度，还可以提取调整后的可变形模型中的关节点，并计算调整后的可变形模型中的关节点与目标图像中的关节点之间的误差值。

需要说明的是，第一设定阈值和第二设定阈值可以为与动物类型相关的设定数值，也就是说，由于不同动物类型的轮廓特征和关节点特征并不相同，本申请实施例中电子设备可以存储每种动物类型对应的第一设定阈值和第二设定阈值，从而提高对可变形模型进行变形调整的准确性，使得调整可变形模型后得到的初始模型与目标对象更加贴合。

例如，图9为本申请实施例提供的一种电子设备对可变形模型进行变形调整的过程示意图。参考图9，电子设备可以调整可变形模型的系数和位姿，每次调整后将调整后的可变形模型与目标图像对应的二值图像进行对比，如图9中的(a)，这一次调整后的可变形模型与二值图像的差别较大，则需要继续进行图9中的(b)、(c)、(d)所示的调整过程，直至调整后的可变形模型与二值图像相似，如图9中的(d)所示的调整后的可变形模型与二值图像的相似度大于第一设定阈值，则将图9中的(d)所示的可变形模型作为目标图像对应的初始模型。

又例如，电子设备根据图5所示的目标图像和图6所示的二值图像对图8所示的可变形模型进行变形调整后，可以得到如图10所示的初始模型。参考图10可以看出，通过变形调整后的初始模型与目标图像中的目标对象的形状更加贴合。

步骤d.电子设备对目标图像进行语义分割处理，获取目标图像对应的语义分割结果。

可选的，目标图像的语义分割结果可以包括对目标图像划分得到的多个区域以及每个区域对应的标签，每个区域对应的标签可以表示该区域的名称，如标签可以为鼻子、耳朵等。

一种可选的实施方式中，电子设备可以根据目标图像以及目标图像对应的二值图像，基于已训练的语义分割网络对目标图像进行语义分割处理，得到目标图像中每个像素对应的标签。可选的，已训练的语义分割网络可以包括深度学习网络和分类器网络，深度学习神经网络可以提取目标图像的各个通道向量，分类器网络可以基于各个通道向量进行分类处理，从而确定目标图像中每个像素点对应的标签。其中，任一像素点对应的标签可能为背景、鼻子、耳朵、眼睛、胸部、腿、爪子、尾巴、头部、背部等。同一标签的多个像素点构成的区域可以看作目标图像中该标签对应的区域。

其中，语义分割网络可以是基于带有标签的样本图像进行训练的。例如，语义分割网络可以包括全连接的卷积神经网络和分类器网络。

举例来说，图11为本申请实施例提供的一种目标图像对应的语义分割结果的示意图，参考图11，电子设备对图5所示的目标图像进行语义分割处理后，可以得到如图11所示的语义分割结果，图11中不同区域对应不同的标签，如图11中包括鼻子、耳朵、眼睛、胸部、腿、爪子、尾巴、头部、背部这9种标签对应的区域。

步骤e.电子设备确定目标图像的图像特征。

一种可选的实施方式中，电子设备可以根据目标图像和目标图像对应的语义分割结果确定目标图像的图像特征。如电子设备可以基于已训练的卷积神经网络确定目标图像的图像特征，实施中，电子设备可以将目标图像和目标图像的语义分割结果作为已训练的卷积神经网络的输入，获取已训练的卷积神经网络输出的两组特征向量，这两组特征向量分别对应目标图像和目标图像的语义分割结果。电子设备可以对两组特征向量进行拼接处理，得到目标图像的图像特征。可见，目标图像的图像特征可以用于指示目标图像中每个像素点的颜色和标签。

步骤f.电子设备将目标图像的图像特征映射到目标图像对应的初始模型上，确定目标图像对应的目标模型的模型参数。

在本申请实施例中，电子设备执行步骤c得到的变形调整后的初始模型可以表示目标图像对应的目标模型的几何形状，电子设备还需要确定目标图像对应的目标模型的颜色纹理。

一种可选的实施方式中，电子设备执行步骤c得到的变形调整后的初始模型为几何网格模型，是一种几何关系的显式表达。电子设备在将目标图像的图像特征映射到目标图像对应的初始模型时，可以采用隐式体空间表达的方式，获取目标模型的完整的三维特征信息，如目标模型的几何特征和纹理特征。

图12为本申请实施例提供的一种隐式体空间表达方式的示意图。参考图12，电子设备可以将初始模型转换为体空间表达，初始模型的体空间包括初始模型中每个三维点的位置信息，如体空间包括每个三维点的三维坐标。电子设备将初始模型的体空间和步骤e得到的目标图像的图像特征作为已训练的纹理优化网络的输入，已训练的纹理优化网络输出目标模型的模型参数。目标模型的模型参数可以包括目标模型的几何参数和纹理参数。可选的，几何参数可以包括目标模型中每个三维点的位置信息，例如，几何参数可以为密度、定向距离函数(signed distance function，SDF)；纹理参数可以包括目标模型中每个三维点的透明度和颜色。其中，纹理优化网络可以是根据样本图像的图像特征、样本图像对应的初始模型的体空间以及样本图像对应的模型的模型参数进行训练得到的。

参考图12，通过神经网络将二维的目标图像的图像特征(例如目标图像中每个像素点的颜色和标签)映射到三维的体空间的初始模型的方式即为隐式体空间表达。具体实施中，纹理优化网络可以针对二维的目标图像中的每个像素点进行处理，根据平行投影技术，目标图像中的每个像素点与初始模型中的一组三维点对应，任一个像素点对应的一组三维点具有相同的X轴坐标和Y轴坐标。纹理优化网络可以将每个像素点的颜色和标签映射到该像素点对应的一组三维点上，从而纹理优化网络得到每个三维点的密度、颜色和透明度。

通过该设计，目标图像中的一个像素点可以对应初始模型中的一组三维点，从而电子设备可以根据目标图像中一个像素点的特征，填充该像素点对应的初始模型中的一组三维点的纹理特征，进而电子设备可以获取到具有完整的纹理特征的三维模型。可见，本申请实施例提供的建模方案并不要求针对目标对象拍摄全方位的多张图像，而根据对目标对象拍摄到的一张目标图像即可以实现对目标对象进行建模，便于用户操作；在保证建模准确度的同时，减少电子设备的计算复杂度，提升建模效率。

需要说明的是，在本申请的一些实施例中，电子设备可以不执行步骤e，而是将目标图像、步骤d获得的目标图像的语义分割结果以及初始模型的体空间作为已训练的纹理优化网络的输入，并获取已训练的纹理优化网络输出的目标模型的模型参数。也就是说，此时目标图像的图像特征可以为目标图像以及目标图像的语义分割结果，则在对纹理优化网络进行训练时，可以基于样本图像、样本图像的语义分割结果、样本图像对应的初始模型的体空间以及样本图像对应的模型的模型参数进行训练。

步骤g.电子设备可以根据目标模型的模型参数和初始模型生成目标模型，目标模型为目标图像对应的三维模型。

在本申请实施例中，电子设备可以根据目标模型的几何参数和纹理参数生成目标模型对应的纹理图。

一种可选的实施方式中，电子设备可以根据目标模型的几何参数和纹理参数进行网格栅格化处理，将三维的信息映射到二维平面中，从而得到纹理图。

另一种可选的实施方式中，电子设备可以基于已训练的卷积神经网络生成纹理图。电子设备可以将目标模型的模型参数作为已训练的卷积神经网络的输入，获取已训练的卷积神经网络输出的目标模型的纹理图。

例如，图13为本申请实施例提供的一种目标模型对应的纹理图的示意图。参考图13，电子设备在针对图5所示的目标图像确定目标模型的模型参数后，可以根据模型参数中的几何参数和纹理参数生成目标模型对应的纹理图。

电子设备得到目标模型的纹理图后，可以对目标模型对应的纹理图和初始模型进行贴图处理，生成目标模型。例如，图14为本申请实施例提供的一种目标模型的示意图。参考图14，该目标模型为模拟图5所示的目标图像中的目标对象的三维模型。

另外，需要说明的是，本申请实施例中可能涉及多个卷积神经网络，如步骤b中的类型识别网络、步骤c中的语义分割网络、步骤e中用于确定目标图像的图像特征的卷积神经网络、步骤g中用于生成纹理图的卷积神经网络，这些卷积神经网络可以基于相同的训练方法以及不同的样本数据进行训练，不同的卷积神经网络可以设置不同的超参数，训练得到的多个卷积神经网络具有不同的功能。

实施例二

在本申请另一种实施方式中，图4所示的建模方法还可以根据目标对象对应的多张目标图像进行建模。下面以基于目标对象对应的两张目标图像进行建模为例，对本实施例提供的建模方法进行进一步介绍。

在本实施例中，电子设备获取到的两张目标图像可以为在不同方位处对目标对象拍摄到的图像，如两张目标图像分别可以为目标对象的正面图像和背面图像。电子设备获取两张目标图像的方式可以参见实施例一中的步骤a实施。例如，当用户使用电子设备对目标对象进行拍摄时，可以提醒用户对目标对象进行拍摄，如电子设备在显示拍摄界面时，提醒用户拍摄目标对象以获取第一张目标图像，然后电子设备可以显示提醒用户持电子设备移动的提醒消息，在用户移动至目标对象的其它方位时，再次提醒用户拍摄目标对象以获取第二张目标图像。

电子设备在获取到两张目标图像后，可以分别对每张目标图像执行步骤b-步骤e。我们称两张目标图像为图像A和图像B，针对图像A，电子设备执行步骤b-步骤c，确定图像A对应的初始模型，再执行步骤d-步骤e确定图像A的图像特征。同样的，针对图像B，电子设备执行步骤b-步骤c，确定图像B对应的初始模型，再执行步骤d-步骤e确定图像B的图像特征。

在本实施例中，电子设备在确定出图像A对应的初始模型和图像B对应的初始模型后，可以执行步骤f，与实施例一中的步骤f不同，由于本实施例中存在两个初始模型以及两张目标图像的图像特征，本实施例中电子设备可以执行以下操作：

由于图像A对应的动物类型和图像B的动物类型是一致的，则图像A对应的初始模型和图像B对应的初始模型均是基于相同的可变形模型进行变形调整后得到的。因此，电子设备可以在对图像A对应的初始模型和图像B对应的初始模型进行体空间表达，分别得到图像A对应的初始模型的体空间A和图像B对应的初始模型的体空间B后，计算体空间A和体空间B之间的几何变换关系，如体空间A和体空间B满足以下公式：

其中，为体空间A，/>为体空间B，τ为体空间A和体空间B之间的几何变换关系。

电子设备可以根据体空间A、体空间B和几何变换关系生成目标初始模型的目标体空间。其中，目标初始模型为针对图像A和图像B生成的初始模型，目标体空间可以为针对目标初始模型的体空间表达。

在本实施例中，电子设备在确定出目标体空间后，可以将图像A的图像特征和图像B的图像特征映射到目标初始模型上，确定目标对象对应的目标模型的模型参数。由于本申请实施例中使用两张目标图像进行建模，则电子设备在采用隐式体空间表达的方式，获取目标模型的完整的三维特征信息时，可以将目标体空间、图像A的图像特征和图像B的图像特征作为已训练的纹理优化网络的输入，并获取纹理优化网络输出的目标模型的模型参数。目标模型的模型参数可以包括目标模型的几何参数和纹理参数。可选的，几何参数可以包括目标模型中每个三维点的位置信息，例如，几何参数可以为密度、SDF；纹理参数可以包括目标模型中每个三维点的透明度和颜色。

具体实施中，电子设备在基于纹理优化网络确定目标模型的模型参数时，目标初始模型中的一组三维点可以对应于图像A中的一个像素点、或者目标初始模型中的一组三维点可以对应于图像B中的一个像素点、或者目标初始模型中的一组三维点可以对应于图像A中的一个像素点和图像B中的一个像素点。其中，当目标初始模型中的一组三维点对应于图像A中的一个像素点、或者目标初始模型中的一组三维点对应于图像B中的一个像素点时，纹理优化网络生成每个三维点透明度和颜色的方法与实施例一相似，具体实施可以参见实施例一。当目标初始模型中的一组三维点对应于图像A中的一个像素点和图像B中的一个像素点时，纹理优化网络在确定每个三维点透明度和颜色时，可以根据图像A和图像B的相机位姿计算三维点与图像A中的像素点之间的距离，以及计算三维点与图像B中的像素点之间的距离，并选择其中距离更短的一个像素点，再根据选择的像素点的颜色和标签确定该三维点的透明度和颜色。

基于上述方式，电子设备在确定出目标初始模型中每个三维点的位置信息、颜色和透明度后，即得到目标模型的模型参数。电子设备可以根据目标模型的模型参数和目标初始模型确定目标模型，具体实施可以参见实施例一中的步骤g，重复之处不再赘述。

通过实施例二提供的建模方法，电子设备还可以根据多张目标图像进行建模，从而可以根据更多的图像特征对目标对象进行建模，进一步提高建模的准确性，电子设备将目标模型展示给用户后，可以为用户提供一种逼真的感官体验。

基于以上实施例，本申请还提供一种电子设备，图15为本申请实施例提供的一种电子设备的结构示意图。参考图15，该电子设备包括输入模块1501、类型识别模块1502、变形调整模块1503、语义分割模块1504、隐式体空间表达模块1505和贴图模块1506。下面对每个模型的功能进行进一步介绍：

输入模块1501，用于获取待建模模型对应的目标图像。可选地，输入模块1501可以获取一张或多张目标图像。如输入模型1501可以用于执行实施例一或实施例二中的步骤a。

类型识别模块1502，用于基于已训练的类似识别网络确定目标图像对应的目标类型，并根据确定出的目标图像对应的目标类型，从预设的多个可变形模型中确定目标图像对应的可变形模型。如类型识别模块1502可以用于执行实施例一或实施例二中的步骤b。

变形调整模型1503，用于计算类型识别模块1502确定出的可变形模型对应的变形参数和位姿，以对可变形模型进行变形调整，得到目标图像对应的初始模型。如变形调整模块可以用于执行实施例一或实施例二中的步骤c。

语义分割模块1504，用于对目标图像进行语义分割处理，获取目标图像对应的语义分割结果。如语义分割模块1504可以用于执行实施例一或实施例二中的步骤d。

隐式体空间表达模块1505，用于将目标图像对应的初始模型转换为体空间表达，并根据目标图像和目标图像的语义分割结果生成目标图像的图像特征。隐式体空间表达模块1505还用于采用隐式体空间表达的方式，将目标图像的图像特征映射到目标图像对应的初始模型上，确定目标图像对应的目标模型的模型参数。如隐式体空间表达模块1505可以用于执行实施例一或实施例二中的步骤e-步骤f。

贴图模块1506，用于根据隐式体空间表达模块1505确定出的模型参数生成目标模型对应的纹理图，并对目标模型对应的纹理图和初始模型进行贴图处理，生成目标模型。如贴图模块1506可以用于执行实施例一或实施例二中的步骤g。

需要说明的是，本申请图15所示的电子设备在执行本申请实施例提供的建模方法时可以参见以上各实施例实施，重复之处不再赘述。

基于以上实施例，本申请还提供一种建模方法，该方法可以由电子设备执行。图16为本申请实施例提供的一种建模方法的流程图。参考图16，该方法包括以下步骤：

S1601：电子设备获取待建模的目标对象对应的目标图像。

S1602：电子设备根据目标图像从预设的多个可变形模型中确定目标图像对应的可变形模型。

S1603：电子设备根据目标图像对目标图像对应的可变形模型进行变形调整，生成目标图像对应的初始模型。

S1604：电子设备获取目标图像的图像特征，并将目标图像的图像特征映射到初始模型上，生成目标图像对应的目标模型的模型参数。

其中，目标模型的模型参数用于指示目标模型的几何特征和纹理特征；

S1605：电子设备根据目标模型的模型参数和初始模型生成目标模型。

需要说明的是，本申请图16所示的建模方法在具体实施时可以参见本申请上述各实施例，重复之处不再赘述。

基于以上实施例，本申请还提供一种电子设备，该电子设备包括至少一个处理器和至少一个存储器，所述至少一个存储器中存储计算机程序指令，所述电子设备运行时，所述至少一个处理器执行本申请实施例所描述的各方法中电子设备所执行的功能。

基于以上实施例，本申请还提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本申请实施例所描述的各方法。

基于以上实施例，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被计算机执行时，使得所述计算机执行本申请实施例所描述的各方法。

基于以上实施例，本申请还提供了一种芯片，所述芯片用于读取存储器中存储的计算机程序，实现本申请实施例所描述的各方法。

基于以上实施例，本申请提供了一种芯片***，该芯片***包括处理器，用于支持计算机装置实现本申请实施例所描述的各方法。在一种可能的设计中，所述芯片***还包括存储器，所述存储器用于保存该计算机装置必要的程序和数据。该芯片***，可以由芯片构成，也可以包含芯片和其他分立器件。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种建模方法，其特征在于，应用于电子设备，所述方法包括：

获取待建模的目标对象对应的目标图像；

根据所述目标图像从预设的多个可变形模型中确定所述目标图像对应的可变形模型；

根据所述目标图像对所述目标图像对应的可变形模型进行变形调整，生成所述目标图像对应的初始模型；

获取所述目标图像的图像特征，并将所述目标图像的图像特征映射到所述初始模型上，生成所述目标图像对应的目标模型的模型参数；所述目标模型的模型参数用于指示所述目标模型的几何特征和纹理特征；

根据所述目标模型的模型参数和所述初始模型生成所述目标模型。

2.如权利要求1所述的方法，其特征在于，所述根据所述目标图像从预设的多个可变形模型中确定所述目标图像对应的可变形模型，包括：

基于已训练的类型识别网络确定所述目标图像对应的目标类型；

根据所述目标图像对应的目标类型从所述预设的多个可变形模型中确定所述目标图像对应的可变形模型；其中，所述预设的多个可变形模型与多种类型一一对应。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

响应于用户触发的第一操作，对所述目标对象进行拍摄，获取所述目标对象对应的多张预览图像；所述第一操作用于启动所述电子设备的拍照功能，所述多张预览图像为未检测到用户触发的拍照操作之前，所述电子设备采集到的所述目标对象对应的图像；

基于已训练的类型识别网络分别确定所述多张预览图像中每张预览图像对应的类型；

当连续设定数量的预览图像对应的类型相同时，提醒用户触发拍照操作；

所述获取待建模的目标对象对应的目标图像，包括：

响应于所述用户触发的拍照操作，获取所述目标图像。

4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述目标图像对所述目标图像对应的可变形模型进行变形调整，生成所述目标图像对应的初始模型，包括：

确定所述目标图像对应的二值图像，所述目标图像对应的二值图像用于表示所述目标图像中目标对象的画面的轮廓；

对所述目标图像对应的可变形模型进行多次***调整和位姿调整，直至调整后的可变形模型满足第一条件，将所述调整后的可变形模型作为所述初始模型；

其中，所述第一条件包括以下至少一项：

所述调整后的可变形模型与所述二值图像的轮廓相似度大于第一设定阈值；或

所述调整后的可变形模型中的关节点与所述目标图像中的关节点之间的误差值小于第二设定阈值。

5.如权利要求1-4任一项所述的方法，其特征在于，所述获取所述目标图像的图像特征，包括：

基于已训练的语义分割网络对所述目标图像进行语义分割处理，获取所述目标图像对应的语义分割结果；所述目标图像对应的语义分割结果包括所述目标图像中的多个区域以及所述多个区域中每个区域对应的标签；

根据所述目标图像和所述目标图像对应的语义分割结果确定所述目标图像的图像特征。

6.如权利要求1-5任一项所述的方法，其特征在于，所述将所述目标图像的图像特征映射到所述初始模型上，生成所述目标图像对应的目标模型的模型参数，包括：

确定所述初始模型对应的体空间；所述体空间用于表示所述初始模型中每个三维点的位置信息；

基于已训练的纹理优化网络，根据所述体空间和所述目标图像的图像特征生成所述目标模型的模型参数。

7.如权利要求6所述的方法，其特征在于，所述目标模型的模型参数包括几何参数和纹理参数；所述几何参数包括密度或定向距离函数SDF中的任意一项或多项，所述纹理参数包括所述目标模型中每个三维点的透明度和颜色。

8.如权利要求1-7任一项所述的方法，其特征在于，所述根据所述目标模型的模型参数和所述初始模型生成所述目标模型，包括：

根据所述目标模型的模型参数生成所述目标模型对应的纹理图；

对所述目标模型对应的纹理图和所述初始模型进行贴图处理，生成所述目标模型。

9.如权利要求8所述的方法，其特征在于，所述根据所述目标模型的模型参数生成所述目标模型对应的纹理图，包括：

根据所述目标模型的模型参数进行栅格化处理，生成所述纹理图；或者

根据所述目标模型的模型参数，基于已训练的卷积神经网络生成所述纹理图。

10.如权利要求2所述的方法，其特征在于，所述目标图像对应的目标类型属于动物、植物、人中的任一种类。

11.一种电子设备，其特征在于，包括至少一个处理器，所述至少一个处理器与至少一个存储器耦合，所述至少一个处理器用于读取所述至少一个存储器所存储的计算机程序，以执行如权利要求1-10中任一所述的方法。

12.一种电子设备，其特征在于，包括多个功能模块；所述多个功能模块相互作用，实现如权利要求1-10中任一所述的方法。

13.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得计算机执行如权利要求1-10中任一所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-10中任一所述的方法。