CN117456085A - 三维重建模型训练、图像重建方法和装置 - Google Patents

Abstract

本公开提供了三维重建模型训练、图像重建方法和装置，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于人工智能的内容生成、虚拟形象等场景。具体实现方案为：获取预设的位姿样本集合，基于预设噪声和估计噪声，确定第一损失函数，基于第一损失函数，对初始重建模型进行训练，得到重建模型。

Description

三维重建模型训练、图像重建方法和装置

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于人工智能的内容生成、虚拟形象等场景，尤其涉及一种三维重建模型训练、图像重建方法和装置。

背景技术

三维重建是将预处理后的二维图像序列，构建成三维数据，并显示在计算机屏幕上的技术。

现有技术通常使用NeuS(Learning Neural Implicit Surfaces by VolumeRendering for Multi-view Reconstruction，通过体绘制学习神经隐式曲面用于多视图重建)、SFM(Structure From Motion，运动恢复结构)的方式进行物体三维图像重建。

发明内容

本公开实施例提供了一种三维重建模型训练、图像重建方法、装置、设备以及存储介质。

第一方面，本公开实施例提供了一种三维重建模型训练方法，该方法包括：获取预设的位姿样本集合；基于预设噪声和估计噪声，确定第一损失函数；基于第一损失函数，对初始重建模型进行训练，得到重建模型。

第二方面，本公开实施例提供了一种图像重建方法，该方法包括：基于重建模型生成待重建对象的新位姿图像，其中，重建模型是如上述第一方面任一实现方式描述的方法得到的重建模型；基于新位姿图像，重建针对待重建对象的三维图像。

第三方面，本公开实施例提供了一种三维重建模型训练装置，该装置包括：获取样本模块，被配置成获取预设的位姿样本集合；确定损失模块，被配置成基于预设噪声和估计噪声，确定第一损失函数；第一训练模块，被配置成基于第一损失函数，对初始重建模型进行训练，得到重建模型。

第四方面，本公开实施例提供了一种图像重建装置，该装置包括：生成图像模块，被配置成基于重建模型生成待重建对象的新位姿图像，其中，如上述第一方面任一实现方式描述的方法得到的重建模型；重建图像模块，被配置成基于新位姿图像，重建针对待重建对象的三维图像。

第五方面，本公开实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被该一个或多个处理器执行，使得一个或多个处理器实现如第一方面的任一实施例的三维重建模型训练方法。

第六方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面的任一实施例描述的方法。

第七方面，本公开实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面的任一实施例描述的方法。

本公开有效提升了重建模型生成新视角的图像的准确性，进而提升了基于训练后的重建模型重建的三维图像的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。

附图说明

图1是本公开可以应用于其中的示例性***架构图；

图2是根据本公开的三维重建模型训练方法的一个实施例的流程图；

图3是根据本公开的三维重建模型训练方法的一个应用场景的示意图；

图4是根据本公开的图像重建方法的又一个实施例的流程图；

图5是根据本公开的三维重建模型训练装置的一个实施例的示意图；

图6是根据本公开的图像重建装置的一个实施例的示意图；

图7是适于用来实现本公开实施例的电子设备的计算机***的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的三维重建模型训练方法的实施例的示例性***架构100。

如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有图像采集功能的的各种电子设备，包括但不限于相机和摄像头。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供三维重建模型训练服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如，获取预设的位姿样本集合；基于预设噪声和估计噪声，确定第一损失函数；基于第一损失函数，对初始重建模型进行训练，得到重建模型。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供三维重建模型训练服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要指出的是，本公开的实施例所提供的三维重建模型训练方法可以由服务器105执行，也可以由终端设备101、102、103执行，还可以由服务器105和终端设备101、102、103彼此配合执行。相应地，三维重建模型训练装置包括的各个部分(例如各个单元、子单元、模块、子模块)可以全部设置于服务器105中，也可以全部设置于终端设备101、102、103中，还可以分别设置于服务器105和终端设备101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示出了三维重建模型训练方法的实施例的流程200。该三维重建模型训练方法包括以下步骤：

步骤201，获取预设的位姿样本集合。

在本实施例中，执行主体(例如，图1中的服务器105或终端设备101、102、103)可以采用有线或无线的方式获取预设的位姿样本集合。

其中，预设的位姿样本集合可以包括一个或多个第一位姿样本，各第一位姿样本所指示的位姿信息各不相同，位姿信息通常用于指示图像采集设备在进行图像采集时的位置和朝向。

上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(Ultra Wideband，超宽频)连接、以及其他现在已知或将来开发的无线连接方式。

步骤202，基于预设噪声和估计噪声，确定第一损失函数。

在本实施例中，执行主体可首先将第一位姿样本输入初始重建模型，得到包括待重建对象的第一位姿图像。

其中，待重建对象可以是任意待重建的物体，例如，玩偶、水杯等等，本申请对此不作限定。

这里，初始重建模型可以为现有技术或未来发展技术中的可基于输入位姿进行三维重建的模型，例如，NeRF(Neural Radiance Field，神经辐射场模型)模型、SDF(SignedDistance Field，符号距离场)模型、DMTet(Deep Marching Tetrahedra，深度移动四面体)模型等等，本申请对此不作限定。

进一步地，通过以下方式得到估计噪声：将包括待重建对象的指定基准图像、指定基准图像的位姿、第一位姿图像、第一位姿样本、预设噪声，输入预设的扩散模型，得到估计噪声。

其中，预设噪声可以为现有技术或未来发展技术中的具有稳定分布的噪声，例如，高斯噪声、高斯白噪声等，本申请对此不作限定。

这里，指定基准图像的位姿通常与第一位姿样本不同。

其中，扩散模型可以为现有技术或未来发展技术中的基于基准图像、基准图像的位姿、目标图像的位姿生成目标图像的扩散模型，例如，Zero123(View-Conditioned 2DDiffusion，视角(位姿)条件下的二维扩散)模型等。

这里，Zero123模型是一个基于diffusion models的新视角图像生成框架，对于Zero123模型，只需要输入包含指定物体的单张图像，选择另外的摄像机视角，便可生成该另外的摄像机视角下指定物体的二维图像。

Zero123模型通常可以包括U-net网络，其中，U-net网络用于根据输入的基准图像、基准图像的位姿和目标图像的位姿对噪声图像进行去噪。

这里，扩散模型还可基于U-net网络生成估计噪声以评估一张指定图像是否是指定位姿下的一张合理图像，即该指定图像与指定位姿的匹配程度，也即指定图像与指定位姿下的真实图像的相似程度。

进一步地，根据预设噪声与估计噪声的差值，确定第一损失函数。

这里，预设噪声与估计噪声的差值可以用于评估第一位姿图像与第一位姿样本的匹配程度，差值与匹配程度负相关，差值越小，匹配程度越高，差值越大，匹配程度越小

具体地，第一损失函数可通过下式表示：

其中，∈为高斯白噪声，为估计噪声。

步骤203，基于第一损失函数，对初始重建模型进行训练，得到重建模型。

在本实施例中，执行主体在确定第一损失函数后，可根据第一损失函数、重建模型本身的约束(如，交叉熵损失等)，对初始重建模型进行训练，得到重建模型。

在一些可选的方式中，该方法还包括：基于至少一个第二位姿样本及各第二位姿样本对应的第二位姿图像，对重建模型进行训练，得到新的重建模型。

在本实现方式中，预设的位姿样本集合还可以包括一个或多个第二位姿样本，各第二位姿样本所指示的位姿信息各不相同，每一第二位姿样本对应有第二位姿图像，第二位姿图像为具有该第二位姿样本所指示位姿信息的包括待重建对象的真实图像。

执行主体可以直接根据将第二位姿样本输入重建模型得到的预测图像，以及与输入模型的第二位姿样本对应的第二位姿图像，构建目标损失函数，也可以将第二位姿样本输入重建模型得到的预测图像的三维估计信息，以及与输入模型的第二位姿样本对应的第二位姿图像的真实三维估计信息，构建目标损失函数，本申请对此不作限定。

进一步地，基于目标损失函数对重建模型进行训练，得到新的重建模型。

该实现方式通过基于至少一个第二位姿样本及各第二位姿样本对应第二位姿图像，对重建模型进行训练，得到新的重建模型，进一步提升了训练得到的重建模型的准确性。

在一些可选的方式中，基于至少一个第二位姿样本及各第二位姿样本对应的第二位姿图像，对重建模型进行训练，得到新的重建模型，包括：基于第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的目标三维估计信息，确定第二损失函数；基于第二损失函数对重建模型进行训练，得到新的重建模型。

在本实现方式中，预设的位姿样本集合中还可以包括一个或多个第二位姿样本，至少一个第二位姿样本中的每一第二位姿样本对应有第二位姿图像的真实三维估计信息，三维估计信息可以包括掩码、深度图、法线图等。

基于输入重建模型的第二位姿样本对应的第二位姿图像的真实三维估计信息，以及将第二位姿样本输入重建模型得到的预测图像的目标三维估计信息，确定第二损失函数。

具体地，第二损失函数可通过下式表示：

其中，M′,D′分别为预测图像的目标三维估计信息中的掩码、深度图，M，D分别为第二位姿样本对应的第二位姿图像的真实三维估计信息中的掩码、深度图。

进一步地，基于第二损失函数对重建模型进行训练，得到新的重建模型。

该实现方式通过第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的目标三维估计信息，确定第二损失函数；基于第二损失函数对重建模型进行训练，得到新的重建模型，进一步提升了训练得到的重建模型的准确性。

在一些可选的方式中，三维估计信息包括以下至少一项：掩码、深度图、法向图。

在本实现方式中，执行主体可以基于输入重建模型的第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的目标三维估计信息，确定第二损失函数。

其中，三维估计信息可以包括以下至少一项：掩码、深度图、法向图。

具体地，三维估计信息可以包括：掩码、深度图、法向图，第二损失函数可通过下式表示：

其中，M′,D′,N′分别为预测图像的目标三维估计信息中的掩码、深度图和法向图，M，D，N分别为第二位姿图像的真实三维估计信息中的掩码、深度图和法向图。

该实现方式考虑了不同维度的三维估计信息，有助于进一步提升训练得到的重建模型的准确性。

在一些可选的方式中，基于至少一个第二位姿样本及各第二位姿样本对应的第二位姿图像，对重建模型进行训练，得到新的重建模型，包括：基于第二位姿样本、第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的位姿，预测图像的目标三维估计信息，确定第三损失函数；基于第三损失函数对重建模型进行训练，得到新的重建模型。

在本实现方式中，执行主体可以基于第二位姿样本、输入重建模型的第二位姿样本对应的第二位姿图像的真实三维估计信息，以及将第二位姿样本输入重建模型得到的预测图像的位姿，预测图像的目标三维估计信息，确定第三损失函数；并基于第三损失函数对重建模型进行继续训练，得到新的重建模型。

具体地，第三损失函数可通过下式表示：

其中，I′为预测图像的位姿，M′,D′,N′分别为预测图像的目标三维估计信息中的掩码、深度图和法向图，I为第二位姿样本，M，D，N分别为第二位姿样本对应的真实三维估计信息中的掩码、深度图和法向图。

该实现方式通过基于第二位姿样本、第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的位姿，预测图像的目标三维估计信息，确定第三损失函数；基于第三损失函数对重建模型进行训练，得到新的重建模型，进一步提升了训练得到的重建模型的准确性。

在一些可选的方式中，初始重建模型为神经辐射场模型。

在本实现方式中，初始重建模型为神经辐射场模型，即NeRF模型。

这里，NeRF用于合成同一场景不同视角，即位姿，下的图像，不同视角下的图像可进一步用于重构该场景的三维表示。

NeRF包括若干全连接网络，具体地，NeRF的训练过程可以包括：可将相机位置编码后输入全连接网络得到密度和颜色，即一条光线上一个采样点对应的粒子密度和颜色值，其中，密度用来计算权重，以对点上的颜色做加权求和得到呈现的像素颜色。进一步地，根据光线上所有采样点的粒子密度和颜色进行体渲染，得到预测的二维图像，即投影视图，最后，根据投影视图与相机位置对应的真实投影视图计算损失函数以训练网络。

该实现方式通过采用神经辐射场模型作为初始重建模型，有助于提升训练得到的重建模型重建的三维图像的质量。

继续参见图3，图3是根据本实施例的三维重建模型训练方法的应用场景的一个示意图。执行主体301可采用有线或无线的方式获取预设的位姿样本集合302，位姿样本集合302可以包括多个第一位姿样本，各第一位姿样本所指示的位姿信息各不相同，位姿信息通常用于指示图像采集设备在进行图像采集时的位置和朝向，例如，相机的拍摄视角。将第一位姿样本输入初始重建模型303(例如，NeRF模型)，得到包括待重建对象的第一位姿图像，进一步地，通过以下方式得到估计噪声：将包括待重建对象(例如，玩偶)的指定基准图像、指定基准图像的位姿、第一位姿图像、第一位姿样本、预设噪声，输入预设的扩散模型(例如，Zero123)304，得到估计噪声。根据预设噪声与估计噪声的差值，确定第一损失函数，并基于第一损失函数，对初始重建模型303进行训练，得到训练后的重建模型。

本公开的实施例提供的三维重建模型训练方法，通过获取预设的位姿样本集合，基于预设噪声和估计噪声，确定第一损失函数，基于第一损失函数，对初始重建模型进行训练，得到重建模型，即在用于训练重建模型的图像较少的基础上，通过扩散模型判断初始重建模型生成的新视角的预测图像的合理性，并基于判断结果对初始重建模型进行训练，有效提升了重建模型生成新视角的图像的准确性，进而提升了基于训练后的重建模型重建的三维图像的准确性。

进一步参考图4，其示出了图像重建方法的一个实施例的流程400。在本实施例中，图像重建方法的流程400，可包括以下步骤：

步骤401，基于重建模型生成待重建对象的新位姿图像。

在本实施例中，执行主体(例如，图1中的服务器105或终端设备101、102、103)可以利用存储在本地或云端服务器中的重建模型，生成待重建对象的新位姿图像，即新视角图像。

其中，重建模型是如图2对应的实施例描述的方法得到的重建模型，这里不再赘述。

步骤402，基于新位姿图像，重建针对待重建对象的三维图像。

在本实施例中，执行主体在得到新位姿图像后，可对新位姿图像进行渲染，重建针对待重建对象的三维图像。

具体地，重建模型为NeRF模型，在基于NeRF模型生成新视角图像后，可利用marching cube的方式从训练得到的NeRF模型中提取体素密度等值面，从而得到3D物体的mesh，即网格。

本公开实施例提供的图像重建方法，通过基于重建模型生成待重建对象的新位姿图像，基于新位姿图像，重建针对待重建对象的三维图像，有效提升了重建的三维图像的精度和准确性。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种三维重建模型训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的三维重建模型训练装置500包括：获取样本模块501、确定损失模块502和第一训练模块503。

其中，获取样本模块501，可被配置成获取预设的位姿样本集合。

确定损失模块502，可被配置成基于预设噪声和估计噪声，确定第一损失函数。

第一训练模块503，可被配置成基于第一损失函数，对初始重建模型进行训练，得到重建模型。

在本实施例的一些可选的方式中，该装置还包括：第二训练模块，被配置成基于多个第二位姿样本及各第二位姿样本对应的第二位姿图像，对重建模型进行训练，得到新的重建模型。

在本实施例的一些可选的方式中，第二训练模块进一步被配置成：基于第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的目标三维估计信息，确定第二损失函数；基于第二损失函数对重建模型进行训练，得到新的重建模型。

在本实施例的一些可选的方式中，第二训练模块进一步被配置成：基于第二位姿样本、第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的位姿，预测图像的目标三维估计信息，确定第三损失函数；基于第三损失函数对重建模型进行训练，得到新的重建模型。

在本实施例的一些可选的方式中，初始重建模型为神经辐射场模型。

在本实施例的一些可选的方式中，三维估计信息包括以下至少一项：掩码、深度图、法向图。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

进一步参考图6，本申请提供了一种图像重建装置的一个实施例。该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的图像重建装置600包括：生成图像模块601和重建图像模块602。

其中，生成图像模块601，可被配置成基于重建模型生成待重建对象的新位姿图像。

重建图像模块602，可被配置成基于新位姿图像，重建针对所述待重建对象的三维图像。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图7所示，是根据本公开实施例的三维重建模型训练方法的电子设备的框图。

700是根据本公开实施例的三维重建模型训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图7中以一个处理器701为例。

存储器702即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的三维重建模型训练方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的三维重建模型训练方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的三维重建模型训练方法对应的程序指令/模块(例如，附图5所示的获取样本模块501、确定损失模块502和第一训练模块503)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的三维重建模型训练方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储人脸跟踪的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至车道线检测的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

三维重建模型训练方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与车道线检测的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本公开实施例的技术方案，有效提升了重建模型生成新视角的图像的准确性，进而提升了基于训练后的重建模型重建的三维图像的准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种三维重建模型训练方法，包括：

获取预设的位姿样本集合，所述位姿样本集合包括：至少一个第一位姿样本；

基于预设噪声和估计噪声，确定第一损失函数，其中，所述估计噪声通过以下方式得到：将包括待重建对象的指定基准图像、指定基准图像的位姿、第一位姿图像、第一位姿样本、预设噪声，输入预设的扩散模型，得到估计噪声，所述第一位姿图像通过将第一位姿样本输入初始重建模型得到；

基于所述第一损失函数，对初始重建模型进行训练，得到重建模型。

2.根据权利要求1所述的方法，其中，所述位姿样本集合还包括至少一个第二位姿样本，对于每一第二位姿样本，该第二位姿样本对应有第二位姿图像，所述第二位姿图像为具有该第二位姿样本所指示位姿信息的、包括待重建对象的真实图像，以及所述方法还包括：

基于至少一个第二位姿样本及各第二位姿样本对应的第二位姿图像，对重建模型进行训练，得到新的重建模型。

3.根据权利要求2所述的方法，其中，所述基于至少一个第二位姿样本及各第二位姿样本对应的第二位姿图像，对重建模型进行训练，得到新的重建模型，包括：

基于第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的目标三维估计信息，确定第二损失函数，所述预测图像通过将所述第二位姿样本输入所述重建模型得到；

基于第二损失函数，对所述重建模型进行训练，得到新的重建模型。

4.根据权利要求2所述的方法，其中，所述基于至少一个第二位姿样本及各第二位姿样本对应的第二位姿图像，对重建模型进行训练，得到新的重建模型，包括：

基于第二位姿样本、第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的位姿，预测图像的目标三维估计信息，确定第三损失函数，所述预测图像通过将所述第二位姿样本输入所述重建模型得到；

基于所述第三损失函数，对所述重建模型进行训练，得到新的重建模型。

5.根据权利要求3所述的方法，其中，所述三维估计信息包括以下至少一项：掩码、深度图、法向图。

6.根据权利要求1-5任一所述的方法，其中，所述初始重建模型为神经辐射场模型。

7.一种图像重建方法，包括：

基于重建模型生成待重建对象的新位姿图像，其中，所述重建模型是如权利要求1-6之一所述的方法得到的重建模型；

基于所述新位姿图像，重建针对所述待重建对象的三维图像。

8.一种三维重建模型训练装置，包括：

获取样本模块，被配置成获取预设的位姿样本集合，所述位姿样本集合包括：至少一个第一位姿样本；

确定损失模块，被配置成基于预设噪声和估计噪声，确定第一损失函数，其中，所述估计噪声通过以下方式得到：将包括待重建对象的指定基准图像、指定基准图像的位姿、第一位姿图像、第一位姿样本、预设噪声，输入预设的扩散模型，得到估计噪声，所述第一位姿图像通过将第一位姿样本输入初始重建模型得到；

第一训练模块，被配置成基于所述第一损失函数，对初始重建模型进行训练，得到重建模型。

9.根据权利要求8所述的装置，其中，所述位姿样本集合还包括至少一个第二位姿样本，对于每一第二位姿样本，该第二位姿样本对应有第二位姿图像，所述第二位姿图像为具有该第二位姿样本所指示位姿信息的、包括待重建对象的真实图像，以及所述装置还包括

第二训练模块，被配置成基于至少一个第二位姿样本及各第二位姿样本对应的第二位姿图像，对所述重建模型进行训练，得到新的重建模型。

10.根据权利要求9所述的装置，其中，所述第二训练模块进一步被配置成：

基于第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的目标三维估计信息，确定第二损失函数，所述预测图像通过将所述第二位姿样本输入所述重建模型得到；

基于第二损失函数，对所述重建模型进行训练，得到新的重建模型。

11.根据权利要求9所述的装置，其中，所述第二训练模块进一步被配置成：

基于第二位姿样本、第二位姿样本对应的第二位姿图像的真实三维估计信息，以及预测图像的位姿，预测图像的目标三维估计信息，确定第三损失函数，所述预测图像通过将所述第二位姿样本输入所述重建模型得到；

基于所述第三损失函数，对所述重建模型进行训练，得到新的重建模型。

12.根据权利要求10所述的装置，其中，所述三维估计信息包括以下至少一项：掩码、深度图、法向图。

13.根据权利要求8-12任一所述的装置，其中，所述初始重建模型为神经辐射场模型。

14.一种图像重建装置，包括：

生成图像模块，被配置成基于重建模型生成待重建对象的新位姿图像，其中，所述重建模型是如权利要求1-6之一所述的方法得到的重建模型；

重建图像模块，被配置成基于所述新位姿图像，重建针对所述待重建对象的三维图像。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。