CN116912648A - 生成材料参数识别模型的方法、装置、设备以及存储介质 - Google Patents

Abstract

本公开提及了一种生成材料参数识别模型的方法、装置、设备以及存储介质。通过获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；根据目标图像对、目标文本和第一对象的材料参数标签进行训练，得到材料参数识别模型；能够基于目标图像对和目标文本的特征图实现了多模态的模型设计，丰富了训练样本，提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

Description

生成材料参数识别模型的方法、装置、设备以及存储介质

技术领域

本公开涉及计算机领域，具体涉及计算机视觉和材料识别技术领域，尤其涉及一种生成材料参数识别模型的方法、装置、设备以及存储介质。

背景技术

材料参数可以用于表征材料的各种性能，它的应用很广泛。如果对材料进行分析，得到了准确的材料参数，就可以实现材料性能最大化。

目前，对材料的分析主要集中在分析材料的类别。虽说，存在对材料参数的分析，但通过计算机视觉对材料参数分析的研究很少，使得无法保证材料参数分析的结果。况且，不同类别甚至相同类别的材料，所拥有的参数也会有差异；因此，亟需一种准确识别出材料参数的方法。

发明内容

本公开实施例提出了一种生成材料参数识别模型的方法、装置、设备以及存储介质。

第一方面，本公开实施例提出了一种生成材料参数识别模型的方法，包括：获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；根据目标图像对、目标文本和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在一些实施例中，根据目标图像对、目标文本和第一对象的材料参数标签进行训练，得到材料参数识别模型，包括：分别对目标图像对和目标文本进行编码，得到目标图像对的特征图和目标文本的特征图；融合目标图像对的特征图和目标文本的特征图，得到融合特征图；基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在一些实施例中，融合目标图像对的特征图和目标文本的特征图，得到融合特征图，包括：采用注意力机制融合目标图像对的特征图和目标文本的特征图，得到融合特征图。

在一些实施例中，目标文本还包括：第一对象的材料类别。

在一些实施例中，采用注意力机制融合目标图像对的特征图和目标文本的特征图，得到融合特征图，包括：

融合第一图像的特征图和第二图像的特征图，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二特征图；

采用交叉注意力机制对第一特征图和第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图；

融合第一交叉特征图和第二交叉特征图，得到融合特征图。

在一些实施例中，融合第一图像的特征图和第二图像的特征图，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二特征图，包括：

融合第一图像的特征图和第二图像的特征图，得到第一融合后的特征图；采用自注意力机制对第一融合后的特征图进行处理，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二融合后的特征图；采用自注意力机制对第二融合后的特征图进行处理，得到第二特征图；

和/或，

融合第一交叉特征图和第二交叉特征图，得到融合特征图，包括：融合第一交叉特征图和第二交叉特征图，得到第三融合后的特征图；采用自注意力机制对第三融合后的特征图进行处理，得到融合特征图。

在一些实施例中，第一对象的材料类别基于以下步骤确定：通过投影装置将预设的光投影在第一对象的表面上，并通过拍摄装置获取第三图像；将第三图像输入到预设的材料分类模型中，得到第一对象的材料类别。

在一些实施例中，将第三图像输入到预设的材料分类模型中，得到第一对象的材料类别，包括：根据预设的遮罩区域，从第三图像中获取第四图像，其中，第四图像包括为第一对象的图像；将第四图像输入到预设的材料分类模型中，得到第一对象的材料类别。

在一些实施例中，遮罩区域基于以下步骤确定：通过投影装置将第一图像投影在第一对象的表面上，并通过拍摄装置获得第二图像；对第二图像进行图像分割，得到分割图像，其中，分割图像为包括第一对象的图像；将分割图像与第一图像进行对比，确定投影区域；根据投影区域，生成遮罩区域。

在一些实施例中，环境参数基于以下步骤确定：通过传感器获取环境参数。

第二方面，本公开实施例提出了一种材料参数的识别方法，包括：获取第一图像对，第一图像对中第二对象所处的环境参数，以及第二对象的材料类别，第一图像对包括第三图像和第四图像，第四图像为第三图像投影在第二对象的表面上所得的图像；将第一图像对、第二对象所处的环境参数和第二对象的材料类别输入到预先训练的材料参数识别模型中，得到第二对象的材料参数。

在一些实施例中，该材料参数的识别方法还包括：根据第二对象的材料参数，确定第二对象的材料损耗。

在一些实施例中，该材料参数的识别方法还包括：根据第二对象的材料参数，确定显示参数；

根据显示参数，对待增强显示的图像进行优化显示。

在一些实施例中，待增强显示的图像包括：投影在第二对象的表面上所呈现的图像；或，虚拟现实中的虚拟现实图像。

第三方面，本公开实施例提出了一种生成材料参数识别模型的装置，包括：图像获取模块，被配置成获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；模型训练模块，被配置成根据目标图像对、目标文本和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在一些实施例中，模型训练模块，包括：

编码单元，被配置成分别对目标图像对和目标文本进行编码，得到目标图像对的特征图和目标文本的特征图；

融合单元，被配置成融合目标图像对的特征图和目标文本的特征图，得到融合特征图；

训练单元，被配置成基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在一些实施例中，融合单元，进一步被配置成：采用注意力机制融合目标图像对的特征图和目标文本的特征图，得到融合特征图。

在一些实施例中，目标文本还包括：第一对象的材料类别。

在一些实施例中，融合单元，包括：

第一融合子单元，被配置成融合第一图像的特征图和第二图像的特征图，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二特征图；

特征交叉子单元，被配置成采用交叉注意力机制对第一特征图和第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图；

第二融合子单元，被配置成融合第一交叉特征图和第二交叉特征图，得到融合特征图。

在一些实施例中，第一融合子单元，进一步被配置成：

融合第一图像的特征图和第二图像的特征图，得到第一融合后的特征图；采用自注意力机制对第一融合后的特征图进行处理，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二融合后的特征图；采用自注意力机制对第二融合后的特征图进行处理，得到第二特征图；

和/或，

第二融合子单元，进一步被配置成：融合第一交叉特征图和第二交叉特征图，得到融合特征图，包括：融合第一交叉特征图和第二交叉特征图，得到第三融合后的特征图；采用自注意力机制对第三融合后的特征图进行处理，得到融合特征图。

在一些实施例中，该生成材料参数识别模型的装置，还包括：

图像获取模块，被配置成通过投影装置将预设的光投影在第一对象的表面上，并通过拍摄装置获取第三图像；

类别识别模块，被配置成将第三图像输入到预设的材料分类模型中，得到第一对象的材料类别。

在一些实施例中，类别识别模块，进一步被配置成：根据预设的遮罩区域，从第三图像中获取第四图像，其中，第四图像包括为第一对象的图像；将第四图像输入到预设的材料分类模型中，得到第一对象的材料类别。

在一些实施例中，该生成材料参数识别模型的装置，还包括：

图像获取模块，被配置成通过投影装置将第一图像投影在第一对象的表面上，并通过拍摄装置获得第二图像；

图像分割模块，被配置成对第二图像进行图像分割，得到分割图像，其中，分割图像为包括第一对象的图像；

图像对比模块，被配置成将分割图像与第一图像进行对比，确定投影区域；

区域生成模块，被配置成根据投影区域，生成遮罩区域。

在一些实施例中，该生成材料参数识别模型的装置，还包括：参数获取模块，被配置成通过传感器获取环境参数。

第四方面，本公开实施例提出了一种材料参数的识别装置，包括：图像获取模块，被配置成获取第一图像对，第一图像对中第二对象所处的环境参数，以及第二对象的材料类别，第一图像对包括第三图像和第四图像，第四图像为第三图像投影在第二对象的表面上所得的图像；参数识别模块，被配置成将第一图像对、第二对象所处的环境参数和第二对象的材料类别输入到预先训练的材料参数识别模型中，得到第二对象的材料参数。

在一些实施例中，该材料参数的识别装置还包括：损耗确定模块，被配置成根据第二对象的材料参数，确定第二对象的材料损耗。

在一些实施例中，该材料参数的识别装置还包括：显示参数确定模块，被配置成根据第二对象的材料参数，确定显示参数；优化调整模块，被配置成根据显示参数，对待增强显示的图像进行优化显示。

在一些实施例中，待增强显示的图像包括：投影在第二对象的表面上所呈现的图像；或，虚拟现实中的虚拟现实图像。

第五方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面描述的方法。

第六方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面描述的方法。

本公开实施例提供的生成材料参数识别模型的方法、装置、设备以及存储介质，先获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为将第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；然后根据目标图像对、目标文本和第一对象的材料参数标签进行训练，得到材料参数识别模型；能够基于目标图像对和目标文本的特征图实现了多模态的模型设计，丰富了训练样本，提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开可以应用于其中的示例性***架构图；

图2是根据本公开的生成材料参数识别模型的方法的一个实施例的流程图；

图3是根据本公开的生成材料参数识别模型的方法的一个实施例的流程图；

图4是根据本公开的生成材料参数识别模型的方法的一个实施例的流程图；

图5是识别第一对象的材料类别的示意图；

图6是生成投影区域的示意图；

图7是获取投影内容的示意图；

图8是根据本公开的生成材料参数识别模型的方法的一个实施例的流程图；

图9是材料参数识别模型的示意图；

图10是根据本公开的材料参数的识别方法的一个实施例的流程图；

图11是根据本公开的材料参数的识别方法的一个应用场景图；

图12是根据本公开的材料参数的识别方法的一个应用场景图；

图13是根据本公开的材料参数的识别方法的一个应用场景图；

图14是根据本公开的材料参数的识别方法的一个应用场景图；

图15是根据本公开的生成材料参数识别模型的装置的一个实施例的结构示意图；

图16是根据本公开的材料参数的识别装置的一个实施例的结构示意图；

图17是用来实现本公开实施例的生成材料参数识别模型的方法或材料参数的识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的生成材料参数识别模型的方法和装置或材料参数的识别方法或装置的实施例的示例性***架构100。

如图1所示，***架构100可以包括终端设备101、102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102通过网络103与服务器104交互，以接收或发送目标图像对、第一对象的材料参数等。终端设备101、102上可以安装有各种客户端应用，例如拍摄软件等等。

终端设备101、102可以是硬件，也可以是软件。当终端设备101、102为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器104可以提供各种服务。例如，服务器104可以对从终端设备101、102获取到目标图像对、目标文本和第一对象的材料参数标签，并训练得到材料参数识别模型。

需要说明的是，服务器104可以是硬件，也可以是软件。当服务器104为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器104为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本公开实施例所提供的生成材料参数识别模型的方法或材料参数的识别方法一般由服务器104执行，相应地，材料参数的识别装置或材料参数的识别装置一般设置于服务器104中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，其示出了根据本公开的生成材料参数识别模型的方法的一个实施例的流程200。该生成材料参数识别模型的方法可以包括以下步骤：

步骤201，获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为将第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数。

在本实施例中，生成材料参数识别模型的方法的执行主体(例如图1所示的服务器104)可以从终端设备(例如图1所示的终端设备101、102)获取目标图像对、目标文本和第一对象的材料参数标签；或，上述执行主体(例如图1所示的终端设备101、102)可以从本地获取目标图像对、目标文本和第一对象的材料参数标签。

在这里，第一对象的材料参数标签可以用于表征第一对象的表面所属材料的参数。

在本实施例中，对材料参数的识别可以用于确定材料损耗；在确定材料损耗之后，还可以根据材料损耗采取相应的维护措施，以延缓材料的损耗速度；对材料参数的识别还可以用于优化显示在投影在材料上的图像和虚拟现实中的图像等，以提高用户观感。

在一个示例中，第一图像可以为投影画面(即，投影源的画面)对应的图像。

在一个示例中，第二图像可以为通过投影装置将第一图像投影在第一对象的表面上所得的图像。

对应地，在该示例中，将第一图像投影在第一对象的表面上，获取该第一对象的表面上所呈现的图像，即，第二图像。例如，通过第一对象中的获取模块获取该第一对象的表面上的图像，该获取模块可以为具备图像采集、扫描或录制等功能的模块。

在这里，该投影装置可以为具有投影功能的装置，例如投影仪、投影机。该第一对象的表面可以为用于投影呈现第一图像的平面。

需要说明的是，该第一对象中的获取模块可以为显示器中的图像采集模块。

对应地，在该示例中，在将第一图像投影在第一对象的表面上之后，还可以通过拍摄装置获取第二图像。该拍摄装置可以为具有拍摄功能的装置，例如，摄像头、照相机、录像机等。该拍摄装置在实际拍摄时，会将呈现在第一对象的表面上所呈现的图像，以及第一对象所在的背景一并拍摄，在后续过程中，为了模型的识别精度，可以将第一对象从第二图像中分割出来。

需要说明的是，该第一对象可以为用于呈现第一图像的对象，例如，投影屏幕，幕布，显示器，可触控屏幕，电子设备的显示屏，电子白板，墙壁等。

在这里，目标文本可以用于表征目标文本的所有特征，该目标文本可以包括环境参数，该环境参数可以为第一对象所处的环境参数，例如，光线参数、温度参数、湿度参数等。

步骤202，根据目标图像对、目标文本和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在本实施例中，上述执行主体可以将目标图像对、目标文本和第一对象的材料参数标签作为训练样本，对初始材料参数识别模型进行训练，得到训练后的材料参数识别模型。上述材料参数识别模型可以用于识别出材料参数，例如，多种颜色的颜色参数、反射率、折射率、增益、视角。

需要说明的是，初始参数识别模型可以为未进行训练的模型，或者为训练结束之前任意阶段的模型。该训练结束可以为步骤202训练得到训练后材料参数识别模型对应的时刻。

本公开实施例提供的生成材料参数识别模型的方法，先获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为将第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；然后根据目标图像对、目标文本和第一对象的材料参数标签进行训练，得到材料参数识别模型；能够基于目标图像对和目标文本的特征图实现了多模态的模型设计，丰富了训练样本，提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

继续参考图3，其示出了根据本公开的生成材料参数识别模型的方法的一个实施例的流程300。该生成材料参数识别模型的方法可以包括以下步骤：

步骤301，获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为将第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数。

在本实施例中，生成材料参数识别模型的方法的执行主体(例如图1所示的服务器104)可以从终端设备(例如图1所示的终端设备101、102)获取目标图像对、目标文本和第一对象的材料参数标签；或，上述执行主体(例如图1所示的终端设备101、102)可以从本地获取目标图像对、目标文本和第一对象的材料参数标签。

需要说明的是，步骤301与前述实施例的步骤201相对应，具体实现方式可以参考前述对步骤201的描述，此处不再赘述。

步骤302，分别对目标图像对和目标文本进行编码，得到目标图像对的特征图和目标文本的特征图。

在本实施例中，上述执行主体可以采用与目标图像对对应的图像编码，对目标图像对进行特征提取，以得到目标图像对的特征图；以及，采用与目标文本对应的文本编码，对目标文本进行特征提取，以得到目标文本的特征图。

在这里，目标图像对的特征图可以包括第一图像的特征图和第二图像的特征图。

在这里，目标文本的特征图可以用于表征目标文本的所有特征，该目标文本可以包括环境参数，该环境参数可以为第一对象所处的环境参数，例如，光线参数、温度参数、湿度参数等。

步骤303，融合目标图像对的特征图和目标文本的特征图，得到融合特征图。

在本实施例中，上述执行主体可以将目标图像对的特征图和目标文本的特征图进行特征拼接，以得到融合特征图。上述融合特征图可以为将目标图像对的特征图和目标文本的特征图进行特征融合所得的特征图。

在一个示例中，特征融合可以包括以下方式：通过预设的神经网络中的全连接层，实现对目标图像对的特征图和目标文本的特征图之间的特征融合；或，通过注意力机制融合目标图像对的特征图和目标文本的特征图。

需要说明的是，在本实施例中，具有融合目标图像对的特征图和目标文本的特征图的任意方式都可以纳入本公开的保护范围。

步骤304，基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在本实施例中，上述执行主体可以将融合特征图和第一对象的材料参数标签作为训练样本，对初始材料参数识别模型进行训练，得到训练后的材料参数识别模型。

需要说明的是，初始参数识别模型可以为未进行训练的模型，或者为训练结束之前任意阶段的模型。该训练结束可以为步骤304训练得到训练后材料参数识别模型对应的时刻。

本公开实施例提供的生成材料参数识别模型的方法，先获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为将第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；接着分别对目标图像对和目标文本进行编码，得到目标图像对的特征图和目标文本的特征图；接着融合目标图像对的特征图和目标文本的特征图，得到融合特征图；然后基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型；能够基于目标图像对特征图和目标文本的特征图实现了多模态的模型设计，并通过融合特征以共享目标图像对的特征图和目标文本的特征图之间的特征，增强了材料参数识别模型的拟合能力，提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

在本实施例的一些可选实现方式中，环境参数基于以下步骤确定：通过传感器获取环境参数。

在本实现方式中，环境参数可以为第一对象所处的环境参数，例如，放置在黑暗中的第一对象，放置在灯光下的第一对象。

在一个示例中，可以通过各种传感器获取环境参数，例如，光线传感器、湿度传感器、温度传感器等。

在本实现方式中，通过传感器获取环境参数，以进一步分析环境参数和第一对象的表面所属材料的关联，以使输入到初始材料参数识别模型中的数据的准确性很高，从而提高了基于该初始材料参数识别模型训练所得到的材料参数识别模型的识别精度。

继续参考图4，图4示出了根据本公开的生成材料参数识别模型的方法的一个实施例的流程400。该生成材料参数识别模型的方法可以包括以下步骤：

步骤401，获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为将第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数。

在本实施例中，生成材料参数识别模型的方法的执行主体(例如图1所示的服务器104)可以从终端设备(例如图1所示的终端设备101、102)获取目标图像对、目标文本和第一对象的材料参数标签；或，上述执行主体(例如图1所示的终端设备101、102)可以从本地获取目标图像对、目标文本和第一对象的材料参数标签。

需要说明的是，步骤401与前述实施例的步骤301相对应，具体实现方式可以参考前述对步骤301的描述，此处不再赘述。

步骤402，分别对目标图像对和目标文本进行编码，得到目标图像对的特征图和目标文本的特征图。

在本实施例中，上述执行主体可以采用与目标图像对对应的图像编码，对目标图像对进行特征提取，以得到目标图像对的特征图；以及，采用与目标文本对应的文本编码，对目标文本进行特征提取，以得到目标文本的特征图。

需要说明的是，步骤402与前述实施例的步骤302相对应，具体实现方式可以参考前述对步骤302的描述，此处不再赘述。

步骤403，采用注意力机制融合目标图像对的特征图和目标文本的特征图，得到融合特征图。

在本实施例中，上述执行主体可以采用注意力机制对目标图像对和目标文本的特征图进行拼接，得到融合特征图。上述融合特征图中融合了目标图像对和目标文本的特征图中的特征。

在这里，上述注意力机制可以在融合特征的过程中增强更能表征第一对象的材料参数的特征，从而可以通过融合特征所得的融合特征图准确地表征第一对象的材料参数，进一步提高基于该融合特征图训练所得的材料参数识别模型的识别精度。

步骤404，基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在本实施例中，上述执行主体可以将融合特征图和第一对象的材料参数标签作为训练样本，对初始材料参数识别模型进行训练，得到训练后的材料参数识别模型。

需要说明的是。步骤404与前述实施例的步骤304相对应，具体实现方式可以参考前述对步骤304的描述，此处不再赘述。

本公开实施例提供的生成材料参数识别模型的方法，先获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为将第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；接着分别对目标图像对和目标文本进行编码，得到目标图像对的特征图和目标文本的特征图；接着采用注意力机制融合目标图像对的特征图和目标文本的特征图，得到融合特征图；然后基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型；能够基于目标图像对特征图和目标文本的特征图实现了多模态的模型设计，并通过注意力机制融合特征以共享目标图像对的特征图和目标文本的特征图之间的特征，在共享特征过程中增强更能表征第一对象的材料参数特征，从而可以通过融合特征所得的融合特征图准确地表征第一对象的材料参数，进一步提高了材料参数识别模型的拟合能力，提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

在本实施例的一些可选实现方式中，该目标文本还包括：第一对象的材料类别。

在本实现方式中，上述目标文本还可以包括第一对象的材料类别。该第一对象的材料类别可以用于表征第一对象所属材料的类别，例如，油漆、墙纸、大理石、玻纤幕布、金属幕布、木板等。

需要说明的是，上述第一对象的材料类别可以为通过预设的材料分类模型识别所得的结果；或，由用户人工标注所得的结果。

在一个示例中，可以通过包括第一对象的图像和第一对象的材料标签进行训练，以得到预设的材料分类模型。

在本实现方式中，通过在目标文本中引入第一对象的材料类别，丰富了目标文本的特征图中的特征，从而在目标图像对的特征图和目标文本的特征图融合过程中，使得融合特征图中的特征更加贴合第一对象的材料，进一步提高了材料参数识别模型的识别精度。

在本实施例的一些可选实现方式中，第一对象的材料类别基于以下步骤确定：通过投影装置将预设的光投影在第一对象的表面上，并通过拍摄装置获取第三图像；将第三图像输入到预设的材料分类模型中，得到第一对象的材料类别。

在本实现方式中，上述执行主体可以通过投影装置将预设的光投影至第一对象的表面上，并通过拍摄装置对第一对象的表面上所呈现的图像进行获取以获取第三图像；然后，将第三图像输入到预设的材料分类模型中，得到第一对象的材料类别。

对应地，在该示例中，通过拍摄装置对第一对象的表面上所呈现的图像进行拍照、预览、录制等以获取第三图像。

需要说明的是，预设的光可以与第一对象的表面所呈现的颜色不同的光，以免在预设的光进行投影时，对第一对象的表面所呈现的效果产生干扰。该预设的光可以为各种白色光。

在一个示例中，可以通过第三图像和第一对象的材料标签进行训练，以得到预设的材料分类模型。

在本实现方式中，先通过材料分类模型准确的识别第一对象的材料类别，然后在目标文本中引入第一对象的材料类别，丰富了目标文本的特征图中的特征，从而在目标图像对的特征图和目标文本的特征图融合的过程中，使得融合特征图中的特征更加贴合第一对象的表面所属材料，从而进一步提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

在本实施例的一些可选实现方式中，将第三图像输入到预设的材料分类模型中，得到第一对象的材料类别，可以包括：

根据预设的遮罩区域，从第三图像中获取第四图像，其中，该第四图像可以为包括第一对象的图像；

将第四图像输入到预设的材料分类模型中，得到第一对象的材料类别。

在本实现方式中，上述执行主体可以根据预设的遮罩区域，从第三图像中提取第四图像；然后将第四图像输入到预设的材料分类模型中，得到第一对象的材料类别。该遮罩区域可以为已被其他图层遮挡的区域，例如，通过不同透明度、或不同纹理的图层进行遮挡。

在一个示例中，在图5中，通过投影装置将白光投影在第一对象的表面上，然后通过拍摄装置从第一对象的表面上所呈现的内容中获取内容，以得到第三图像；然后结合遮罩区域，从第三图像中，提取内容，以得到第四图像，该第四图像为包括第一对象的图像；然后将第四图像输入到预设的材料分类模型中，通过该材料分类模型对材质进行分类，得到第一对象的材料类别。

需要说明的是，上述遮罩区域可以为自动标注，且已遮罩的区域；或，通过未来或现有的方式生成的遮罩区域。

在本实现方式中，通过遮罩区域，以从第三图像中提取出第四图像，然后将第四图像输入到预设的材料分类模型中，得到第一对象的材料类别，从而可以避免第三图像中除第一对象所在区域(即，在白光下的第四图像)之外的区域的干扰，进一步提高了识别第一对象的材料类别的准确度；接着在目标文本中引入第一对象的材料类别，丰富了目标文本的特征图中的特征，从而在目标图像对的特征图和目标文本的特征图融合过程中，使得融合特征图中的特征更加贴合第一对象的材料，进一步提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

在本实施例的一些可选实现方式中，遮罩区域基于以下步骤确定：

通过投影装置将第一图像投影在第一对象的表面上，并通过拍摄装置获取第二图像；对第二图像进行图像分割，得到分割图像，该分割图像为包括第一对象的图像；将分割图像与第一图像进行对比，确定投影区域；根据投影区域，生成遮罩区域。

在本实现方式中，上述执行主体可以通过投影装置将第一图像投影至第一对象的表面上，并通过投影装置从第一对象的表面上所呈现的图像中获取第二图像；之后对第二图像进行图像分割，得到分割图像；然后，将分割图像与第一图像进行比对，以确定投影区域；然后，根据投影区域，生成遮罩区域。

需要说明的是，分割图像一般包括图像中需要保留的区域，例如，第一对象所在区域。

在一个示例中，在图6中，通过投影装置将第一图像投影在第一对象的表面上，并通过相机对呈现在第一对象的表面上的图像进行内容获取，以得到第二图像；然后，对第二图像进行图像分割，以得到分割图像；然后，将分割图像与第一图像进行比较，以得到投影区域；最后，根据投影区域生成遮罩区域。

对应地，在该示例中，对第二图像进行图像分割，得到分割图像，可以包括：通过图像分割算法或通过预设的分割模型对第二图像进行分割，得到分割图像。

对应地，在该示例中，将分割图像与第一图像进行对比，确定投影区域，可以包括：

将分割图像与第一图像进行图像的参数进行分析比对，以确定投影区域，该投影区域可以为在第一对象的表面上呈现图像的区域。

在本实现方式中，通过遮罩区域，从第三图像中提取出第四图像，然后将第四图像输入到预设的材料分类模型中，得到第一对象的材料类别，从而可以避免第三图像中除第一对象所在区域(即，在白光下的第四图像)之外的区域的干扰，进一步提高了识别第一对象的材料类别的准确度。

在一个示例中，根据投影区域，生成遮罩区域，可以包括：

通过遮罩区域，对投影区域进行遮挡，以生成遮罩区域；或，通过改变投影区域的透明度，以遮挡投影区域所显示的区域，以形成遮罩区域。

在这里，遮罩区域可以用于遮挡投影区域所显示的内容，例如，与投影区域的透明度不同，或与投影区域的纹理不同以遮挡投影区域。

在一个示例中，在图7中，通过投影装置将第一图像(即，投影源的画面对应的图像)投影在第一对象的表面上；然后通过拍摄装置对第一对象的表面进行拍摄，以得到第二图像；然后，根据遮罩区域，从第二图像中提取出第一对象所在的区域对应的投影内容。

在本实现方式中，通过投影装置将第一图像投影在第一对象的表面上，并通过拍摄装置获取第二图像；然后对第二图像进行图像分割，得到分割图像；然后将分割图像与第一图像进行对比分析，以确定投影区域；然后根据投影区域，生成遮罩区域；接下来基于该遮罩区域，从第三图像中提取出第四图像，然后将第四图像输入到预设的材料分类模型中，得到第一对象的材料类别，从而可以避免第三图像中除第一对象所在区域之外的区域的干扰，进一步提高了识别第一对象的材料类别的准确度，接下来在目标文本中引入准确的第一对象的材料类别，丰富了目标文本的特征图中的特征，从而在目标图像对的特征图和目标文本的特征图融合过程中，使得融合特征图中的特征更加贴合第一对象的材料，进一步提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

继续参考图8，图8示出了根据本公开的生成材料参数识别模型的方法的一个实施例的流程800。该生成材料参数识别模型的方法可以包括以下步骤：

步骤801，获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为将第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数。

在本实施例中，生成材料参数识别模型的方法的执行主体(例如图1所示的服务器104)可以从终端设备(例如图1所示的终端设备101、102)获取目标图像对、目标文本和第一对象的材料参数标签；或，上述执行主体(例如图1所示的终端设备101、102)可以从本地获取目标图像对、目标文本和第一对象的材料参数标签。

需要说明的是，步骤801与前述实施例的步骤301相对应，具体实现方式可以参考前述对步骤301的描述，此处不再赘述。

步骤802，分别对目标图像对和目标文本进行编码，得到目标图像对的特征图和目标文本的特征图。

在本实施例中，上述执行主体可以采用与目标图像对对应的图像编码，对目标图像对进行特征提取，以得到目标图像对的特征图；以及，采用与目标文本对应的文本编码，对目标文本进行特征提取，以得到目标文本的特征图。

需要说明的是，步骤802与前述实施例的步骤302相对应，具体实现方式可以参考前述对步骤302的描述，此处不再赘述。

步骤803，融合第一图像的特征图和第二图像的特征图，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二特征图。

在本实施例中，上述执行主体可以将第一图像的特征图和第二图像的特征图进行特征拼接，得到第一特征图；以及将环境参数的特征图和第一对象的材料类别的特征图进行拼接，以得到第二特征图。

步骤804，采用交叉注意力机制对第一特征图和第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图。

在本实施例中，上述执行主体可以通过交叉注意力机制将第一特征图和第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图。上述第一交叉特征图和第二交叉特征图可以为采用交叉注意力机制对第一特征图和第二特征图进行特征交叉得到的特征图。

具体地，可以将第一特征图作为查询向量、第二特征图作为键向量和值向量输入交叉注意力模块得到第一交叉特征图；以及将第二特征图作为查询向量，将第一特征图作为键向量和值向量输入交叉注意力模块得到第二交叉特征图。

步骤805，融合第一交叉特征图和第二交叉特征图，得到融合特征图。

在本实施例中，上述执行主体可以将第一交叉融合特征图和第二交叉特征图进行拼接，以得到融合特征图。

步骤806，基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在本实施例中，上述执行主体可以将融合特征图和第一对象的材料参数标签作为训练样本，对初始材料参数识别模型进行训练，得到训练后的材料参数识别模型。

需要说明的是。步骤806与前述实施例的步骤304相对应，具体实现方式可以参考前述对步骤304的描述，此处不再赘述。

本申请实施例提供的生成材料参数识别模型的方法，获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为将第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；接着分别对目标图像对和目标文本进行编码，得到目标图像对的特征图和目标文本的特征图；然后分别融合第一图像的特征图和第二图像的特征图，得到第一特征图，以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二特征图；然后采用交叉注意力机制对第一特征图和第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图；然后将第一交叉特征图和第二交叉特征图进行融合，得到融合特征图；然后基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型；能够基于目标图像对特征图和目标文本的特征图实现了多模态的模型设计，并通过交叉注意力机制在融合特征的过程中共享目标图像对的特征图和目标文本的特征图之间的特征，增强了更能表征第一对象的材料参数特征，从而可以通过融合特征所得的融合特征图准确地表征第一对象的材料参数，进一步提高了材料参数识别模型的拟合能力，提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

在本实施例的一些可选实现方式中，融合第一图像的特征图和第二图像的特征图，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二特征图，包括：

融合第一图像的特征图和第二图像的特征图，得到第一融合后的特征图；采用自注意力机制对第一融合后的特征图进行处理，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二融合后的特征图；采用自注意力机制对第二融合后的特征图进行处理，得到第二特征图；

和/或，

融合第一交叉特征图和第二交叉特征图，得到融合特征图，包括：融合第一交叉特征图和第二交叉特征图，得到第三融合后的特征图；采用自注意力机制对第三融合后的特征图进行处理，得到融合特征图。

需要说明的是，上述第一特征图可以为采用自注意力机制对第一融合后的特征图进行特征增强后的特征图。上述第二特征图可以为采用自注意力机制对第二融合后的特征图进行特征增强后的特征图。

在一个示例中，采用注意力机制融合目标图像对的特征图和目标文本的特征图，得到融合特征图，可以包括：融合第一图像的特征图和第二图像的特征图，得到第一融合后的特征图；采用自注意力机制对第一融合后的特征图进行处理，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二融合后的特征图；采用自注意力机制对第二融合后的特征图进行处理，得到第二特征图；采用交叉注意力机制对第一特征图和第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图；融合第一交叉特征图和第二交叉特征图，得到融合特征图。

在一个示例中，采用注意力机制融合目标图像对的特征图和目标文本的特征图，得到融合特征图，可以包括：融合第一图像的特征图和第二图像的特征图，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二特征图；采用交叉注意力机制对第一特征图和第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图；融合第一交叉特征图和第二交叉特征图，得到第三融合后的特征图；采用自注意力机制对第三融合后的特征图进行处理，得到融合特征图。

在一个示例中，采用注意力机制融合目标图像对的特征图和目标文本的特征图，得到融合特征图，可以包括：融合第一图像的特征图和第二图像的特征图，得到第一融合后的特征图；采用自注意力机制对第一融合后的特征图进行处理，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二融合后的特征图；采用自注意力机制对第二融合后的特征图进行处理，得到第二特征图；采用交叉注意力机制对第一特征图和第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图；融合第一交叉特征图和第二交叉特征图，得到第三融合后的特征图；采用自注意力机制对第三融合后的特征图进行处理，得到融合特征图。

对应地，在该示例中，如图9所示，将第一图像(即，源图像)、第二图像(即，投影内容图像)通过图像编码，得到第一图像的特征图，以及第二图像的特征；以及，将环境参数(例如，光照参数)和第一对象的材料类别(即，材质分类)进行编码，以得到环境参数的特征图，以及第一对象的材料类别的特征图；接着融合第一图像的特征图和第二图像的特征图，得到第一融合后的特征图；接着采用自注意力机制对第一融合后的特征图进行处理，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二融合后的特征图；接着采用自注意力机制对第二融合后的特征图进行处理，得到第二特征图。接着将第一特征图(即，特征图1)作为查询向量(Q1)、第二特征图(即，特征图2)作为键向量(K2)和值向量(V2)输入交叉注意力模块得到第一交叉特征图；将第二特征图作为查询向量(Q2)，将第一特征图作为键向量(K1)和值向量(V1)输入交叉注意力模块得到第二交叉特征图。然后将第一交叉特征图和第二交叉特征图进行融合，得到第三融合后的特征图。接着采用自注意力机制对第三融合后的特征图进行处理，得到融合特征图。然后，通过该材料参数识别模型，得到第一对象的材料参数(即，材质参数)。

在本实现方式中，通过自注意力机制和交叉注意力机制在融合特征的过程中共享目标图像对的特征图和目标文本的特征图之间的特征，增强了更能表征第一对象的材料参数特征，从而可以通过融合特征所得的融合特征图准确地表征第一对象的材料参数，进一步提高了材料参数识别模型的拟合能力，提高了材料参数识别模型的识别精度，从而能够基于该材料参数识别模型准确分析材料参数。

继续参考图10，图10示出了根据本公开的材料参数的识别方法的一个实施例的流程1000。该材料参数的识别方法可以包括以下步骤：

步骤1001，获取第一图像对，第一图像对中第二对象所处的环境参数，以及第一图像对中第二对象的材料类别。

在本实施例中，材料参数的识别方法的执行主体(例如图1所示的终端设备101、102或服务器104)可以通过拍摄装置获取第一图像对，通过传感器获取第一图像对中第二对象所处的环境参数，以及通过预设的材料分类模型识别出第二对象的材料类别，第一图像对包括第三图像和第四图像，第四图像为所述第三图像投影在所述第二对象的表面上所得的图像。

需要说明的是，预设的材料分类模型可以为上述实施例中用于识别出材料类别的模型。

步骤1002，将第一图像对、第二对象所处的环境参数和第一图像对中第二对象的材料类别输入到预先训练的材料参数识别模型中，得到第一图像对中第二对象的材料参数。

在本实施例中，上述执行主体可以将第一图像对、第二对象所处的环境参数和第一图像对中第二对象的材料类别输入到预先训练的材料参数识别模型中，得到第一图像对中第二对象的材料参数，能够基于该材料参数识别模型准确分析材料参数。该第二对象和第一对象可以为相同的或不同的对象。

在这里，该预先训练的材料参数识别模型可以为上述生成材料参数识别模型的方法所生成的模型。该第二对象的材料参数为与材料相关的参数，例如，反射率、折射率、增益、视角。

本公开实施例提供的材料参数的识别方法，通过预先训练的材料参数识别模型中，识别出第一图像对中第二对象的材料参数，从而能够基于该材料参数识别模型准确分析材料参数。

继续参考图11，图11是生成材料参数识别模型的方法的一个应用场景图。如图11所示，该生成材料参数识别模型的方法可以包括以下步骤：

第一步，获取第一图像和光照参数。

第二步，将第一图像投影在第一对象的表面上；然后从第一对象的表面上所呈现的图像中进行内容提取，以得到第二图像。

第三步，对第二图像进行图像分割，得到分割图像；然后将分割图像与第一图像进行对比分析，确定投影区域；然后，根据该投影区域生成遮罩区域。

第四步，将预设的光投影在第一对象的表面上，并通过拍摄装置从获取的第三图像中进行内容获取，以得到第四图像；然后，将第四图像输入到预设的材料分类模型中，对材料进行分类，以得到第一对象的材料类别。

第五步，对第一图像、第二图像、光照参数，以及第一对象的材料类别进行编码，以得到第一图像的特征图、第二图像的特征图、光照参数的特征图，以及第一对象的材料类别的特征图。

第六步，融合第一图像的特征图、第二图像的特征图、光照参数的特征图，以及第一对象的材料类别的特征图，得到融合特征图。

第七步，基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型。

第八步，获取第一图像对，第一图像对中第二对象所处的环境信息，以及第二对象的材料类别。

第九步，将第一图像对，第一图像对中第二对象所处的环境信息，以及第二对象的材料类别输入到第六步中的材料参数识别模型，得到第二对象的材料参数。

需要说明的是，第一步～第七步的具体实现方式可以参照上述的生成材料参数识别模型的方法对应的实施例。第八步～第九步的具体实现方式可以参照上述的材料参数的方法对应的实施例。

在本实施例中，存在以下技术效果：

(1)借助投影装置将第一图像投影在第一对象的表面上所得的第二图像；然后基于第二图像分割所得的分割图像与第一图像进行对比，由于使用投影，在对象的表面上投影，并计算与第一图像的差异性。计算成本低廉。

(2)图像结合文本，以实现多模态模型训练，共享图像对与文本的各自内在特征，语义信息更加丰富，从而可以准确地识别出材料参数。

(3)多模态模型是端到端的训练与预测过程，使用方便，实时性高。

(4)多模态模型可以实时分析材质参数，基于投影，成本低廉，模型训练简单，预测精准且迅速。

在本实施例的一些可选实现方式中，该材料参数的识别方法还包括：

根据第二对象的材料参数，确定第二对象的材料损耗。

在本实现方式中，可以通过第二对象的材料参数，确定第二对象的材料损耗。该材料参数可以用来判断材料的损耗程度，估算材料的寿命。

寿命损耗可以用于表征第二对象的表面所属材料的损耗程度。

在一个示例中，可以预先构建材料参数和材料损耗寿命之间的对应关系，在得到第二对象的材料参数之后，根据上述对应的关系，确定第二对象的材料损耗。

在一个示例中，可以第二对象的材料损耗输入到预设的材料损耗识别模型中，得到第二对象的材料损耗。

需要说明的是，该材料损耗模型可以通过材料参数和材料损耗训练所得。

在图12中，将第一图像对，第一图像对中第二对象所处的环境参数，以及第一图像对中第二对象的材料类别(即，材料分类)输入到预先训练的材料参数识别模型中，得到第二对象的材料参数(即，材质参数)；然后根据该材料参数，对材质参数的损耗进行估计，以确定材料损耗。

需要说明的是，该第二对象的材料类别可以参照上述实施例中确定第一对象的材料类别的描述。

在本实现方式中，可以将识别出的材料参数应用在材质检测中，通过第二对象的材料参数，可以判断材料的损耗以及使用寿命，从而可以更加合理的对材料进行使用与保护。

在本实施例的一些可选实现方式中，该材料参数的识别方法还包括：

根据第二对象的材料参数，确定显示参数；

根据显示参数，对待增强显示的图像进行优化显示。

在本实现方式中，可以先根据第二对象的材料参数，确定与第二对象的材料参数对应的显示参数；然后，根据该显示参数，对待增强显示的图像的显示参数进行优化调整，以增强显示。

在这里，该显示参数可以用于将待增强显示的图像进行优化显示，以增强显示。该待增强显示的图像可以为实际显示效果不符合预期的图像。该预期可以根据用户的需求(或，偏好)进行设定。

在一个示例中，根据第二对象的材料参数，确定显示参数，可以包括：预先建立第二对象的材料参数与显示参数之间的对应关系；然后，根据该对应关系和第二对象的材料参数，确定显示参数。

在一个示例中，根据第二对象的材料参数，确定显示参数，可以包括：获取用户的需求信息；建立第二对象的材料参数和用户的需求信息与显示信息之间的对应关系；根据对应关系，以及第二对象的材料参数和用户的需求信息，确定对应的显示信息。

在本实现方式中，可以将识别出的材料参数应用在增强显示的应用场景中，通过第二对象的材料参数，可以确定显示参数，以实现对待增强显示的图像的显示参数进行优化调整，以增强显示。

在本实施例的一些可选实现方式中，待增强显示的图像可以包括：通过投影装置投影在第二对象的表面上所得的图像；或，虚拟现实中的虚拟现实图像。

在本实现方式中，可以根据不同待增强显示的图像，实现在不同场景下的增强显示效果。

在一个示例中，可以优化通过投影装置投影在第二对象的表面上所得的图像，即调整投影装置的投影参数，实现在投影场景下的增强显示效果。

在图13中，将第一图像对，第一图像对中第二对象所处的环境参数，以及第一图像对中第二对象的材料类别输入到预先训练的材料参数识别模型中，得到第二对象的材料参数；然后根据该材料参数实时优化调整投影仪的投影参数，以达到最佳投影效果。

需要说明的是，现在很多投影仪都配备了摄像头，通过摄像头拍摄投影在第二对象的表面上的第一图像对，然后第一图像对中第二对象的材料类别。通过光传感器获取环境光参数。将以上数据输入到材料参数识别模型中，得到材料参数。

在一个示例中，可以通过优化虚拟现实中的虚拟现实图像，实现在虚拟显示场景下的增强显示效果。

在图14中，将第一图像对，第一图像对中第二对象所处的环境参数，以及第一图像对中第二对象的材料类别输入到预先训练的材料参数识别模型中，得到第二对象的材料参数；然后使用该材质参数在虚拟世界中进行渲染，使虚拟世界更加逼真(即，图14中，被渲染后的图像)。

在本实现方式中，通过计算实际显示时的材料参数，对在虚拟世界渲染中显示的图像进行优化，以提高渲染效果。

在本实现方式中，在分析得到准确的材料参数之后，可以让投影装置达到最好的投影效果，也可以把虚拟世界渲染得更逼真，也可以让材质的使用更规范。

进一步参考图15，作为对上述各图所示方法的实现，本公开提供了一种生成材料参数识别模型的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图15所示，本实施例的生成材料参数识别模型的装置1500可以包括：图像获取模块1501和模型训练模块1502。其中，图像获取模块1501，被配置成获取目标图像对、目标文本和第一对象的材料参数标签，其中，目标图像对包括第一图像和第二图像，第二图像为第一图像投影在第一对象的表面上所得的图像，目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；模型训练模块1502，被配置成根据目标图像对、目标文本和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在本实施例中，生成材料参数识别模型的装置1500中：图像获取模块1501和模型训练模块1502的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-202的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，模型训练模块1502，包括：

编码单元，被配置成分别对目标图像对和目标文本进行编码，得到目标图像对的特征图和目标文本的特征图；

融合单元，被配置成融合目标图像对的特征图和目标文本的特征图，得到融合特征图；

训练单元，被配置成基于融合特征图和第一对象的材料参数标签进行训练，得到材料参数识别模型。

在本实施例的一些可选的实现方式中，融合单元，进一步被配置成：采用注意力机制融合目标图像对的特征图和目标文本的特征图，得到融合特征图。

在本实施例的一些可选的实现方式中，目标文本还包括：第一对象的材料类别。

在本实施例的一些可选的实现方式中，融合单元，包括：

第一融合子单元，被配置成融合第一图像的特征图和第二图像的特征图，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二特征图；

特征交叉子单元，被配置成采用交叉注意力机制对第一特征图和第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图；

第二融合子单元，被配置成融合第一交叉特征图和第二交叉特征图，得到融合特征图。

在本实施例的一些可选的实现方式中，第一融合子单元，进一步被配置成：

融合第一图像的特征图和第二图像的特征图，得到第一融合后的特征图；采用自注意力机制对第一融合后的特征图进行处理，得到第一特征图；以及融合环境参数的特征图和第一对象的材料类别的特征图，得到第二融合后的特征图；采用自注意力机制对第二融合后的特征图进行处理，得到第二特征图；

和/或，

第二融合子单元，进一步被配置成：融合第一交叉特征图和第二交叉特征图，得到融合特征图，包括：融合第一交叉特征图和第二交叉特征图，得到第三融合后的特征图；采用自注意力机制对第三融合后的特征图进行处理，得到融合特征图。

在本实施例的一些可选的实现方式中，该生成材料参数识别模型的装置1500，还包括：

图像获取模块1501，被配置成通过投影装置将预设的光投影在第一对象的表面上，并通过拍摄装置获取第三图像；

类别识别模块，被配置成将第三图像输入到预设的材料分类模型中，得到第一对象的材料类别。

在本实施例的一些可选的实现方式中，类别识别模块，进一步被配置成：根据预设的遮罩区域，从第三图像中获取第四图像，其中，第四图像包括为第一对象的图像；将第四图像输入到预设的材料分类模型中，得到第一对象的材料类别。

在本实施例的一些可选的实现方式中，该生成材料参数识别模型的装置1500，还包括：

图像获取模块1501，被配置成通过投影装置将第一图像投影在第一对象的表面上，并通过拍摄装置获得第二图像；

图像分割模块，被配置成对第二图像进行图像分割，得到分割图像，其中，分割图像为包括第一对象的图像；

图像对比模块，被配置成将分割图像与第一图像进行对比，确定投影区域；

区域生成模块，被配置成根据投影区域，生成遮罩区域。

在本实施例的一些可选的实现方式中，该生成材料参数识别模型的装置1500，还包括：参数获取模块，被配置成通过传感器获取环境参数。

进一步参考图16，作为对上述各图所示方法的实现，本公开提供了一种材料参数的识别装置的一个实施例，该装置实施例与图10所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图16所示，本实施例的材料参数的识别装置1600可以包括：图像获取模块1601和参数识别模块1602。其中，图像获取模块1601，被配置成获取第一图像对，第一图像对中第二对象所处的环境参数，以及第二对象的材料类别；参数识别模块1602，配置成将第一图像对、第二对象所处的环境参数和第二对象的材料类别输入到预先训练的材料参数识别模型中，得到所述第二对象的材料参数。

在本实施例中，材料参数的识别装置1600中：图像获取模块1601和参数识别模块1602的具体处理及其所带来的技术效果可分别参考图10对应实施例中的步骤1001-1002的相关说明，在此不再赘述。

在一些实施例中，该材料参数的识别装置还包括：损耗确定模块，被配置成根据第二对象的材料参数，确定第二对象的材料损耗。

在一些实施例中，该材料参数的识别装置还包括：显示参数确定模块，被配置成根据第二对象的材料参数，确定显示参数；优化调整模块，被配置成根据显示参数，对待增强显示的图像进行优化显示。

在一些实施例中，待增强显示的图像包括：投影在第二对象的表面上所呈现的图像；或，虚拟现实中的虚拟现实图像。

根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。

图17示出了可以用来实施本公开的实施例的示例电子设备1700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图17所示，设备1700包括计算单元1701，其可以根据存储在只读存储器(ROM)1702中的计算机程序或者从存储单元1708加载到随机访问存储器(RAM)1703中的计算机程序，来执行各种适当的动作和处理。在RAM 1703中，还可存储设备1700操作所需的各种程序和数据。计算单元1701、ROM 1702以及RAM 1703通过总线1704彼此相连。输入/输出(I/O)接口1705也连接至总线1704。

设备1700中的多个部件连接至I/O接口1705，包括：输入单元1706，例如键盘、鼠标等；输出单元1707，例如各种类型的显示器、扬声器等；存储单元1708，例如磁盘、光盘等；以及通信单元1709，例如网卡、调制解调器、无线通信收发机等。通信单元1709允许设备1700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(8I)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1701执行上文所描述的各个方法和处理，例如生成材料参数识别模型的方法或材料参数的识别方法。例如，在一些实施例中，生成材料参数识别模型的方法或材料参数的识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1702和/或通信单元1709而被载入和/或安装到设备1700上。当计算机程序加载到RAM 1703并由计算单元1701执行时，可以执行上文描述的生成材料参数识别模型的方法或材料参数的识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行生成材料参数识别模型的方法或材料参数的识别方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPG8)、专用集成电路(8SIC)、专用标准产品(8SSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种生成材料参数识别模型的方法，包括：

获取目标图像对、目标文本和第一对象的材料参数标签，其中，所述目标图像对包括第一图像和第二图像，所述第二图像为所述第一图像投影在所述第一对象的表面上所得的图像，所述目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；

根据所述目标图像对、所述目标文本和所述第一对象的材料参数标签进行训练，得到材料参数识别模型。

2.根据权利要求1所述的方法，其中，所述根据所述目标图像对、所述目标文本和所述第一对象的材料参数标签进行训练，得到材料参数识别模型，包括：

分别对所述目标图像对和所述目标文本进行编码，得到所述目标图像对的特征图和所述目标文本的特征图；

融合所述目标图像对的特征图和所述目标文本的特征图，得到融合特征图；

基于所述融合特征图和所述第一对象的材料参数标签进行训练，得到材料参数识别模型。

3.根据权利要求2所述的方法，其中，所述融合所述目标图像对的特征图和所述目标文本的特征图，得到融合特征图，包括：

采用注意力机制融合所述目标图像对的特征图和所述目标文本的特征图，得到所述融合特征图。

4.根据权利要求1-3任一项所述的方法，其中，所述目标文本还包括：所述第一对象的材料类别。

5.根据权利要求4所述的方法，其中，采用注意力机制融合所述目标图像对的特征图和所述目标文本的特征图，得到所述融合特征图，包括：

融合第一图像的特征图和第二图像的特征图，得到第一特征图；以及融合环境参数的特征图和所述第一对象的材料类别的特征图，得到第二特征图；

采用交叉注意力机制对所述第一特征图和所述第二特征图进行特征交叉，得到第一交叉特征图和第二交叉特征图；

融合所述第一交叉特征图和所述第二交叉特征图，得到所述融合特征图。

6.根据权利要求5所述的方法，其中，所述融合第一图像的特征图和第二图像的特征图，得到第一特征图；以及融合环境参数的特征图和所述第一对象的材料类别的特征图，得到第二特征图，包括：

融合第一图像的特征图和第二图像的特征图，得到第一融合后的特征图；采用自注意力机制对第一融合后的特征图进行处理，得到第一特征图；以及融合环境参数的特征图和所述第一对象的材料类别的特征图，得到第二融合后的特征图；采用自注意力机制对第二融合后的特征图进行处理，得到第二特征图；

和/或，

所述融合所述第一交叉特征图和所述第二交叉特征图，得到所述融合特征图，包括：融合所述第一交叉特征图和所述第二交叉特征图，得到第三融合后的特征图；采用自注意力机制对第三融合后的特征图进行处理，得到所述融合特征图。

7.根据权利要求4所述的方法，其中，所述第一对象的材料类别基于以下步骤确定：

通过投影装置将预设的光投影在所述第一对象的表面上，并通过拍摄装置获取第三图像；

将所述第三图像输入到预设的材料分类模型中，得到所述第一对象的材料类别。

8.根据权利要求7所述的方法，其中，所述将所述第三图像输入到预设的材料分类模型中，得到所述第一对象的材料类别，包括：

根据预设的遮罩区域，从所述第三图像中获取第四图像，其中，第四图像包括为第一对象的图像；

将所述第四图像输入到预设的材料分类模型中，得到所述第一对象的材料类别。

9.根据权利要求8所述的方法，其中，所述遮罩区域基于以下步骤确定：

通过投影装置将所述第一图像投影在所述第一对象的表面上，并通过拍摄装置获得所述第二图像；

对所述第二图像进行图像分割，得到分割图像，其中，分割图像为包括第一对象的图像；

将所述分割图像与所述第一图像进行对比，确定投影区域；

根据所述投影区域，生成遮罩区域。

10.一种材料参数的识别方法，包括：

获取第一图像对，第一图像对中第二对象所处的环境参数，以及第二对象的材料类别，第一图像对包括第三图像和第四图像，所述第四图像为所述第三图像投影在所述第二对象的表面上所得的图像；

将第一图像对、第二对象所处的环境参数和第二对象的材料类别输入到如权利要求1-9任一项所述的方法所生成的材料参数识别模型中，得到所述第二对象的材料参数。

11.根据权利要求10所述的方法，所述方法还包括：

根据所述第二对象的材料参数，确定所述第二对象的材料损耗。

12.根据权利要求10所述的方法，所述方法还包括：

根据所述第二对象的材料参数，确定显示参数；

根据所述显示参数，对待增强显示的图像进行优化显示。

13.根据权利要求12所述的方法，其中，所述待增强显示的图像包括：投影在第二对象的表面上所呈现的图像；或，虚拟现实中的虚拟现实图像。

14.一种生成材料参数识别模型的装置，包括：

图像获取模块，被配置成获取目标图像对、目标文本和第一对象的材料参数标签，其中，所述目标图像对包括第一图像和第二图像，所述第二图像为所述第一图像投影在所述第一对象的表面上所得的图像，所述目标文本包括环境参数，第一对象的材料参数标签用于表征第一对象的表面所属材料的参数；

模型训练模块，被配置成根据所述目标图像对、所述目标文本和所述第一对象的材料参数标签进行训练，得到材料参数识别模型。

15.一种材料参数的识别装置，包括：

图像获取模块，被配置成获取第一图像对，第一图像对中第二对象所处的环境参数，以及第二对象的材料类别，第一图像对包括第三图像和第四图像，所述第四图像为所述第三图像投影在所述第二对象的表面上所得的图像；

参数识别模块，配置成将第一图像对、第二对象所处的环境参数和第二对象的材料类别输入到如权利要求1-9任一项所述的方法所生成的材料参数识别模型中，得到所述第二对象的材料参数。

16.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

17.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。