CN112668596B - 三维物体识别方法及装置、识别模型训练方法及装置 - Google Patents

Abstract

公开了一种三维物体识别方法及装置、识别模型训练方法及装置。该三维物体识别方法包括：确定包含待识别三维物体的至少两幅二维图像，其中，待识别三维物体在至少两幅二维图像中的视角不同；通过图像特征提取模型确定二维图像对应的图像特征图；通过热力图提取模型确定二维图像对应的热力图；对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图；根据分类模型及至少两幅二维图像对应的融合特征图识别待识别三维物体。由于热力图包括二维图像对应的权重特征，因此，本公开实施例能够有效提高识别效率。此外，由于热力图包括基于二维图像中的待识别三维物体的具体情况所确定的特征信息，因此，本公开实施例能够有效提高识别精准度。

Description

三维物体识别方法及装置、识别模型训练方法及装置

技术领域

本公开涉及计算机视觉技术领域，具体涉及一种三维物体识别方法及装置、识别模型训练方法及装置、计算机可读存储介质及电子设备。

背景技术

在计算机视觉技术领域，三维物体识别技术占据重要地位，具有广泛的应用前景。尤其在辅助驾驶领域，三维物体识别技术是规划可行驶区域的重要支撑技术。然而，现有针对三维物体的识别方法识别效率低且识别精准度较差，很难实现高效率地精准识别操作。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种三维物体识别方法及装置、识别模型训练方法及装置、计算机可读存储介质及电子设备。

在一方面，本公开实施例提供了一种三维物体识别方法，该三维物体识别方法包括：确定包含待识别三维物体的至少两幅二维图像，其中，待识别三维物体在至少两幅二维图像中的视角不同；通过图像特征提取模型确定二维图像对应的图像特征图；通过热力图提取模型确定二维图像对应的热力图；对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图；根据分类模型及至少两幅二维图像对应的融合特征图识别待识别三维物体。

在另一方面，本公开实施例提供了一种三维物体识别模型训练方法，该三维物体识别模型训练方法包括：确定预先标注的包含待识别三维物体的至少两幅二维样本图像，其中，待识别三维物体在至少两幅二维样本图像中的视角不同；通过图像特征提取模型确定二维样本图像对应的图像特征图；通过热力图提取模型确定二维样本图像对应的热力图；对二维样本图像对应的图像特征图和热力图进行融合操作以生成融合特征图；根据分类模型及至少两幅二维样本图像对应的融合特征图识别待识别三维物体，以确定识别结果；根据至少两幅二维样本图像对应的识别结果和至少两幅二维样本图像中预先标注的样本信息，训练图像特征提取模型、热力图提取模型及分类模型。

在另一方面，本公开实施例提供了一种三维物体识别装置，该三维物体识别装置包括：二维图像确定模块，用于确定包含待识别三维物体的至少两幅二维图像，其中，待识别三维物体在至少两幅二维图像中的视角不同；第一图像特征图确定模块，用于通过图像特征提取模型确定二维图像对应的图像特征图；第一热力图确定模块，用于通过热力图提取模型确定二维图像对应的热力图；第一融合特征图确定模块，用于对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图；识别模块，用于根据分类模型及至少两幅二维图像对应的融合特征图识别待识别三维物体。

在另一方面，本公开实施例提供了一种三维物体识别模型训练装置，该三维物体识别模型训练装置包括：二维样本图像确定模块，用于确定预先标注的包含待识别三维物体的至少两幅二维样本图像，其中，待识别三维物体在至少两幅二维样本图像中的视角不同；第二图像特征图确定模块，用于通过图像特征提取模型确定二维样本图像对应的图像特征图；第二热力图确定模块，用于针对每幅二维样本图像，通过热力图提取模型确定二维样本图像对应的热力图；第二融合特征图确定模块，用于针对每幅二维样本图像，对二维样本图像对应的图像特征图和热力图进行融合操作以生成融合特征图；识别结果确定模块，用于根据分类模型及至少两幅二维样本图像对应的融合特征图识别待识别三维物体，以确定识别结果；训练模块，用于根据至少两幅二维样本图像对应的识别结果和至少两幅二维样本图像中预先标注的样本信息，训练图像特征提取模型、热力图提取模型及分类模型。

在另一方面，本公开实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述实施例所提及的三维物体识别方法，或执行上述实施例所提及的三维物体识别模型训练方法。

在另一方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，处理器用于执行上述实施例所提及的三维物体识别方法，或执行上述实施例所提及的三维物体识别模型训练方法。

本公开实施例提供的三维物体识别方法，通过确定包含待识别三维物体的至少两幅二维图像，利用图像特征提取模型确定二维图像对应的图像特征图，并利用热力图提取模型确定二维图像对应的热力图，然后对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图，最后根据分类模型和所述至少两幅二维图像对应的融合特征图识别待识别三维物体的方式，实现了识别二维图像中包含的待识别三维物体的目的。在本公开实施例中，由于基于热力图提取模型确定的二维图像对应的热力图包括二维图像对应的权重特征，因此，与现有三维物体识别方法相比，本公开实施例提供的三维物体识别方法无需预先采用复杂的分组模型对包含待识别三维物体的至少两幅二维图像进行分组，并对分组后的二维图像再进行权重计算操作，进而能够有效提高识别效率。此外，由于热力图包括基于二维图像中包含的待识别三维物体的具体情况所确定的特征信息，因此，本公开实施例提供的三维物体识别方法能够充分考虑二维图像中包含的待识别三维物体的具体情况，进而能够有效提高识别精准度。

本公开实施例提供的三维物体识别模型训练方法，通过确定预先标注的包含待识别三维物体的二维样本图像，然后利用图像特征提取模型确定二维样本图像对应的图像特征图，并利用热力图提取模型确定二维样本图像对应的热力图，继而对二维样本图像对应的图像特征图和热力图进行融合操作以生成融合特征图，并根据分类模型及至少两幅二维样本图像对应的融合特征图识别待识别三维物体以确定识别结果，最后根据二维样本图像对应的识别结果和二维样本图像中预先标注的样本信息训练图像特征提取模型、热力图提取模型及分类模型的方式，实现了基于二维样本图像训练上述实施例提及的三维物体识别方法中的图像特征提取模型、热力图提取模型及分类模型的目的。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1所示为本公开所适用的场景图。

图2所示为本公开一示例性实施例提供的三维物体识别方法的流程示意图。

图3所示为本公开一示例性实施例提供的通过热力图提取模型确定二维图像对应的热力图的流程示意图。

图4所示为本公开另一示例性实施例提供的通过热力图提取模型确定二维图像对应的热力图的实现过程示意图。

图5所示为本公开另一示例性实施例提供的三维物体识别方法的流程示意图。

图6所示为本公开又一示例性实施例提供的三维物体识别方法的实现过程示意图。

图7所示为本公开一示例性实施例提供的三维物体识别模型训练方法的流程示意图。

图8所示为本公开一示例性实施例提供的三维物体识别装置的结构示意图。

图9所示为本公开一示例性实施例提供的三维物体识别装置的第一热力图确定模块的结构示意图。

图10所示为本公开另一示例性实施例提供的三维物体识别装置的结构示意图。

图11所示为本公开一示例性实施例提供的三维物体识别模型训练装置的结构示意图。

图12所示为本公开一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

三维物体识别技术的任务是识别图像中三维物体的物体类型，并反映出三维物体在图像中的位置和方向。三维物体识别技术是计算机视觉技术的重要组成部分，具有广泛的应用前景。尤其在辅助驾驶领域，三维物体识别技术是规划可行驶区域的重要支撑技术。

在现有技术中，通常基于多视图(Multi-view)网络技术进行三维物体的识别操作。多视图网络是一种常见的三维深度学习网络架构，其将三维物体渲染成多幅二维图像后再基于卷积神经网络(Convolutional Neural Networks,CNN)架构进行学习。多视图网络的核心在于需要把多幅二维图像对应的网络分支进行融合，然而，融合过程中会丢失大量信息。此外，传统的多视图网络技术并未考虑不同视角的图像对应的识别贡献度差异，以及同一图像的不同区域对应的识别贡献度差异。因此，现有三维物体识别方法识别效率低且识别精准度差，很难实现高效率地精准识别操作。

针对上述技术问题，本公开的基本构思是提出一种三维物体识别方法及装置、识别模型训练方法及装置、计算机可读存储介质及电子设备。该三维物体识别方法通过确定包含待识别三维物体的至少两幅二维图像，利用图像特征提取模型确定二维图像对应的图像特征图，并利用热力图提取模型确定二维图像对应的热力图，然后对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图，最后根据分类模型和所述至少两幅二维图像对应的融合特征图识别待识别三维物体的方式，实现了识别二维图像中包含的待识别三维物体的目的。在本公开实施例中，由于基于热力图提取模型确定的二维图像对应的热力图包括二维图像对应的权重特征，因此，与现有三维物体识别方法相比，本公开实施例提供的三维物体识别方法无需预先采用复杂的分组模型对包含待识别三维物体的至少两幅二维图像进行分组，并对分组后的二维图像再进行权重计算操作，进而能够有效提高识别效率。此外，由于热力图包括基于二维图像中包含的待识别三维物体的具体情况所确定的特征信息，因此，本公开实施例提供的三维物体识别方法能够充分考虑二维图像中包含的待识别三维物体的具体情况，进而能够有效提高识别精准度。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性***

图1所示为本公开所适用的场景图。如图1所示，本公开所适用的场景为可移动设备的行驶区域确定场景。其中，该行驶区域确定场景中包括服务器1和可移动设备2，可移动设备2上装载有图像采集设备21。服务器1与可移动设备2上装载的图像采集设备21之间存在通信连接关系。

具体而言，图像采集设备21用于获取可移动设备2的行驶范围内的包含待识别三维物体的至少两幅二维图像，其中，待识别三维物体在所述至少两幅二维图像中的视角不同。服务器1用于通过图像特征提取模型确定二维图像对应的图像特征图，并通过热力图提取模型确定二维图像对应的热力图，然后对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图，最后根据分类模型及所述至少两幅二维图像对应的融合特征图识别待识别三维物体。通过该场景，能够有效降低可移动设备2的计算量。

需要说明的是，本公开还适用于另一行驶区域确定场景。具体地，该行驶区域确定场景中包括可移动设备2，并且，可移动设备2上装载有图像采集设备21。具体而言，图像采集设备21用于获取可移动设备2的行驶范围内的包含待识别三维物体的至少两幅二维图像，其中，待识别三维物体在所述至少两幅二维图像中的视角不同。可移动设备2用于通过图像特征提取模型确定二维图像对应的图像特征图，并通过热力图提取模型确定二维图像对应的热力图，然后对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图，最后根据分类模型及所述至少两幅二维图像对应的融合特征图识别待识别三维物体。通过该场景，能够保证识别待识别三维物体的实时性。

上述应用场景中提及的可移动设备2，包括但不限于为车辆、无人机、物流小车、扫地机器人等具备移动能力的设备。此外，应当理解，本公开实施例提供的三维物体识别方法，不局限于上述提及的可移动设备的行驶区域确定场景，只要涉及到包括待识别三维物体的应用场景，均属于本公开实施例的适用范围。

示例性方法

图2所示为本公开一示例性实施例提供的三维物体识别方法的流程示意图。如图2所示，本公开实施例提供的三维物体识别方法包括如下步骤。

步骤10，确定包含待识别三维物体的至少两幅二维图像，其中，待识别三维物体在至少两幅二维图像中的视角不同。

步骤10中提及的待识别三维物体在至少两幅二维图像中的视角不同，指的是所述至少两幅二维图像针对待识别三维物体的拍摄角度不同。即，图像采集设备针对待识别三维物体进行不同拍摄角度的拍摄操作，以生成所述至少两幅二维图像。

示例性地，待识别三维物体为一把椅子，那么，图像采集设备可分别基于该椅子的正面拍摄角度，侧面拍摄角度和后面拍摄角度等进行拍摄操作，以生成包括椅子正面视角的二维图像、包括椅子侧面视角的二维图像和包括椅子后面视角的二维图像等，即生成多幅包括椅子的不同视角的二维图像。

步骤20，通过图像特征提取模型确定二维图像对应的图像特征图。

图像特征图包括二维图像对应的图像特征。其中，图像特征指的是需要基于图像像素确定的特征信息。

步骤30，通过热力图提取模型确定二维图像对应的热力图。

热力图包括二维图像对应的权重特征。其中，权重特征指的是基于二维图像中包含的待识别三维物体的具体情况所确定的特征信息。比如，权重特征包括基于待识别三维物体的不同区域对应的具体图像区域所确定的特征信息。又比如，权重特征包括基于待识别三维物体在二维图像中的视角所确定的特征信息。

步骤40，对二维图像对应的图像特征图和热力图进行融合操作，以生成融合特征图。

应当理解，融合特征图既包括图像特征图对应的图像特征，又包括热力图对应的权重特征。

步骤50，根据分类模型及至少两幅二维图像对应的融合特征图，识别待识别三维物体。

需要说明的是，步骤20中提及的图像特征提取模型，步骤30中提及的热力图提取模型以及步骤50中提及的分类模型，均可以是基于预先标注的样本信息训练得到的。具体的训练方法可参见下述图7所示实施例。

在实际应用过程中，首先确定包含待识别三维物体的至少两幅二维图像，然后通过图像特征提取模型确定二维图像对应的图像特征图，并通过热力图提取模型确定二维图像对应的热力图，继而对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图，最后根据分类模型及至少两幅二维图像对应的融合特征图识别待识别三维物体。

本公开实施例提供的三维物体识别方法，通过确定包含待识别三维物体的至少两幅二维图像，利用图像特征提取模型确定二维图像对应的图像特征图，并利用热力图提取模型确定二维图像对应的热力图，然后对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图，最后根据分类模型和所述至少两幅二维图像对应的融合特征图识别待识别三维物体的方式，实现了识别二维图像中包含的待识别三维物体的目的。在本公开实施例中，由于基于热力图提取模型确定的二维图像对应的热力图包括二维图像对应的权重特征，因此，与现有三维物体识别方法相比，本公开实施例提供的三维物体识别方法无需预先采用复杂的分组模型对包含待识别三维物体的至少两幅二维图像进行分组，并对分组后的二维图像再进行权重计算操作，进而能够有效提高识别效率。此外，由于热力图包括基于二维图像中包含的待识别三维物体的具体情况所确定的特征信息，因此，本公开实施例提供的三维物体识别方法能够充分考虑二维图像中包含的待识别三维物体的具体情况，进而能够有效提高识别精准度。

图3所示为本公开一示例性实施例提供的通过热力图提取模型确定二维图像对应的热力图的流程示意图。在本公开图2所示实施例的基础上延伸出本公开图3所示实施例，下面着重叙述图3所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

具体地，在本公开实施例中，热力图提取模型包括视角权重提取模型和像素权重提取模型。如图3所示，在本公开实施例提供的三维物体识别方法中，通过热力图提取模型确定二维图像对应的热力图步骤，包括如下步骤。

步骤31，根据视角权重提取模型确定二维图像的视角权重数据，其中，视角权重数据用于表示不同视角的二维图像具有不同的权重。

由于不同视角的二维图像对三维物体的识别贡献度不同，因此，本公开实施例基于视角权重提取模型确定二维图像的视角权重数据，以便进一步提高三维物体识别方法的识别精准度。

举例说明，在本公开一实施例中，待识别三维物体为凳子，步骤10中提及的包含待识别三维物体的至少两幅二维图像指的是包含凳子的多幅不同视角的二维图像。在实际应用过程中，基于视角权重提取模型为相似视角的二维图像赋予相近的视角权重值，以便实现对至少两幅二维图像进行预分类的目的，进而为提高识别效率提供前提条件。

由于凳子的支撑脚结构对识别操作的识别贡献度较大，那么，可为包含凳子的支撑脚结构的二维图像赋予较大的权重值(即视角权重数据)，为不包含凳子的支撑脚结构的二维图像赋予较小的权重值(即视角权重数据)即可。

步骤32，根据像素权重提取模型确定二维图像中的像素集合对应的像素权重集合，其中，像素权重集合用于表示二维图像中不同区域的像素具有不同的权重。

举例说明，在本公开一实施例中，待识别三维物体为凳子，步骤10中提及的包含待识别三维物体的至少两幅二维图像指的是包含凳子的多幅不同视角的二维图像。由于凳子的支撑脚结构对识别操作的识别贡献度较大，那么，可针对包含凳子的支撑脚结构的二维图像，为该二维图像中对应的支撑脚区域的像素赋予较大的权重值(即像素权重)，二维图像中的其余像素赋予较小的权重值(即像素权重)即可，以最终生成二维图像对应的像素权重集合。

步骤33，基于视角权重数据和像素权重集合确定二维图像对应的热力图。

举例说明，在本公开一实施例中，二维图像对应的视角权重数据为W_v，二维图像对应的像素权重集合为W_u，其中，像素权重集合W_u中包括多个像素权重W_ij，i表示像素行，j表示像素列。具体地，二维图像中的每一像素均存在对应的像素权重，即像素权重集合W_u中的像素权重W_ij与二维图像中的像素呈现一一对应关系。那么，在本公开实施例中，二维图像对应的热力图可利用下述公式(1)表示。

W_v*W_u(1)

基于上述公式(1)能够明确，在本公开实施例中，基于二维图像对应的视角权重数据W_v分别乘以像素权重集合W_u中的每一像素权重W_ij，以形成二维图像对应的热力图。

在实际应用过程中，首先确定包含待识别三维物体的至少两幅二维图像，通过图像特征提取模型确定二维图像对应的图像特征图，然后根据视角权重提取模型确定二维图像的视角权重数据，并根据像素权重提取模型确定二维图像中的像素集合对应的像素权重集合，继而基于视角权重数据和像素权重集合确定二维图像对应的热力图，并对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图，最后根据分类模型及至少两幅二维图像对应的融合特征图识别待识别三维物体。

本公开实施例提供的三维物体识别方法，通过基于热力图提取模型中的视角权重提取模型确定二维图像的视角权重数据，并基于热力图提取模型中的像素权重提取模型确定二维图像中的像素集合对应的像素权重集合，然后基于视角权重数据和像素权重集合确定二维图像对应的热力图的方式，实现了通过热力图提取模型确定二维图像对应的热力图的目的。由于本公开实施例提供的热力图充分利用了视角权重数据，而相似的视角会学习到相近的视角权重数据，因此，本公开实施例无需利用预训练的分组模型即可实现针对二维图像的分组操作，进而能够简化计算复杂度，提高识别效率。此外，在本公开实施例中，由于热力图是基于二维图像对应的视角权重数据和像素权重集合确定的，因此，与图2所示实施例相比，本公开实施例提供的三维物体识别方法能够充分考虑不同视角以及不同图像区域对识别待识别三维物体的识别贡献度差异，进而能够进一步提高识别精准度。

图4所示为本公开另一示例性实施例提供的通过热力图提取模型确定二维图像对应的热力图的实现过程示意图。如图4所示，在本公开实施例中，基于全卷积网络(FullyConvolutional Networks,FCN)确定二维图像对应的热力图。由于FCN能够对二维图像进行像素级的分类，以实现语义级别的图像分割。因此，本公开实施例提及的基于FCN确定二维图像对应的热力图的方式，能够进一步提高所确定的热力图的准确度。

图5所示为本公开另一示例性实施例提供的三维物体识别方法的流程示意图。在本公开图2所示实施例的基础上延伸出本公开图5所示实施例，下面着重叙述图5所示实施例与图2所示实施例的不同之处，相同之处不再赘述。

在本公开实施例中，图像特征图包括多个图像特征，热力图包括多个权重特征，并且多个图像特征和多个权重特征存在一一对应关系。如图5所示，在本公开实施例提供的三维物体识别方法中，对二维图像对应的图像特征图和热力图进行融合操作，以生成融合特征图步骤，包括如下步骤。

步骤41，基于多个图像特征和多个权重特征进行加权处理，确定融合特征图。

需要说明的是，步骤41中提及的加权处理的具体处理方式，可根据图像特征图和热力图的具体情况确定，以便充分提高本公开实施例提供的三维物体识别方法的适应能力和应用广泛性。

在实际应用过程中，首先确定包含待识别三维物体的至少两幅二维图像，然后通过图像特征提取模型确定二维图像对应的图像特征图，并通过热力图提取模型确定二维图像对应的热力图，继而对图像特征图中包括的多个图像特征和热力图中包括的多个权重特征进行加权处理以确定融合特征图，最后根据分类模型及至少两幅二维图像对应的融合特征图识别待识别三维物体。

本公开实施例提供的三维物体识别方法，通过对对图像特征图中包括的多个图像特征和热力图中包括的多个权重特征进行加权处理以确定融合特征图的方式，实现了对二维图像对应的图像特征图和热力图进行融合操作以生成融合特征图的目的。在本公开实施例中，由于图像特征图中包括的多个图像特征与热力图中包括的多个权重特征之间存在一一对应关系，因此，通过对多个图像特征和多个权重特征进行加权处理以确定融合特征图的方式，能够充分利用图像特征图中包括的多个图像特征和热力图中包括的多个权重特征，进而提高所确定的融合特征图的精准度。

图6所示为本公开又一示例性实施例提供的三维物体识别方法的实现过程示意图。如图6所示，本公开实施例包括多幅不同视角的二维图像，且二维图像中包含的待识别三维物体为汽车。

继续参照图6所示，在本公开实施例中，针对每幅二维图像，首先基于卷积神经网络进行卷积分支训练，并基于全卷积网络进行热力图分支训练。其中，卷积分支训练后得到上述实施例提及的图像特征图，热力图分支训练后得到上述实施例提及的热力图，并且，图像特征图和热力图的尺寸相同。然后针对每幅二维图像，基于该二维图像对应的热力图对该二维图像对应的图像特征图进行逐像素加权操作，以生成该二维图像对应的融合特征图。最后，将每幅二维图像对应的融合特征图均输入到全连接层进行分类操作，并生成最终的分类结果(即识别结果)。

可选地，在本公开一实施例中，卷积神经网络的训练参数为共享训练参数，和/或全卷积网络的训练参数为共享训练参数。需要说明的是，由于共享训练参数能够极大降低计算量，因此，本公开实施例能够极大提高识别效率。

图7所示为本公开一示例性实施例提供的三维物体识别模型训练方法的流程示意图。需要说明的是，图7所示实施例提供的三维物体识别模型训练方法用于训练上述实施例提及的三维物体识别方法中的图像特征提取模型、热力图提取模型及分类模型。如图7所示，本公开实施例提供的三维物体识别模型训练方法包括如下步骤。

步骤61，确定预先标注的包含待识别三维物体的至少两幅二维样本图像，其中，待识别三维物体在至少两幅二维样本图像中的视角不同。

步骤62，通过图像特征提取模型确定二维样本图像对应的图像特征图。

步骤63，通过热力图提取模型确定二维样本图像对应的热力图。

步骤64，对二维样本图像对应的图像特征图和热力图进行融合操作，以生成融合特征图。

步骤65，根据分类模型及至少两幅二维样本图像对应的融合特征图识别待识别三维物体，以确定识别结果。

步骤66，根据至少两幅二维样本图像对应的识别结果和至少两幅二维样本图像中预先标注的样本信息训练图像特征提取模型、热力图提取模型及分类模型。

在实际应用过程中，首先确定预先标注的包含待识别三维物体的至少两幅二维样本图像，然后通过图像特征提取模型确定二维样本图像对应的图像特征图，并通过热力图提取模型确定二维样本图像对应的热力图，然后对二维样本图像对应的图像特征图和热力图进行融合操作以生成融合特征图，最后根据分类模型及至少两幅二维样本图像对应的融合特征图识别待识别三维物体以确定识别结果，并根据至少两幅二维样本图像对应的识别结果和至少两幅二维样本图像中预先标注的样本信息训练图像特征提取模型、热力图提取模型及分类模型。

本公开实施例提供的三维物体识别模型训练方法，通过确定预先标注的包含待识别三维物体的二维样本图像，然后利用图像特征提取模型确定二维样本图像对应的图像特征图，并利用热力图提取模型确定二维样本图像对应的热力图，继而对二维样本图像对应的图像特征图和热力图进行融合操作以生成融合特征图，并根据分类模型及至少两幅二维样本图像对应的融合特征图识别待识别三维物体以确定识别结果，最后根据二维样本图像对应的识别结果和二维样本图像中预先标注的样本信息训练图像特征提取模型、热力图提取模型及分类模型的方式，实现了基于二维样本图像训练上述实施例提及的三维物体识别方法中的图像特征提取模型、热力图提取模型及分类模型的目的。

示例性装置

图8所示为本公开一示例性实施例提供的三维物体识别装置的结构示意图。如图8所示，本公开实施例提供的三维物体识别装置包括：

二维图像确定模块100，用于确定包含待识别三维物体的至少两幅二维图像，其中，待识别三维物体在至少两幅二维图像中的视角不同；

第一图像特征图确定模块200，用于通过图像特征提取模型确定二维图像对应的图像特征图；

第一热力图确定模块300，用于通过热力图提取模型确定二维图像对应的热力图；

第一融合特征图确定模块400，用于对二维图像对应的图像特征图和热力图进行融合操作，以生成融合特征图；

识别模块500，用于根据分类模型及至少两幅二维图像对应的融合特征图，识别待识别三维物体。

图9所示为本公开一示例性实施例提供的三维物体识别装置的第一热力图确定模块的结构示意图。在本公开图8所示实施例的基础上延伸出本公开图9所示实施例，下面着重叙述图9所示实施例与图8所示实施例的不同之处，相同之处不再赘述。

如图9所示，在本公开实施例提供的三维物体识别装置中，第一热力图确定模块300包括：

视角权重数据确定单元310，用于根据视角权重提取模型确定二维图像的视角权重数据，其中，视角权重数据用于表示不同视角的二维图像具有不同的权重；

像素权重集合确定单元320，用于根据像素权重提取模型确定二维图像中的像素集合对应的像素权重集合，其中，像素权重集合用于表示二维图像中不同区域的像素具有不同的权重；

热力图确定单元330，用于基于视角权重数据和像素权重集合确定二维图像对应的热力图。

图10所示为本公开另一示例性实施例提供的三维物体识别装置的结构示意图。在本公开图8所示实施例的基础上延伸出本公开图10所示实施例，下面着重叙述图10所示实施例与图8所示实施例的不同之处，相同之处不再赘述。

如图10所示，在本公开实施例提供的三维物体识别装置中，第一融合特征图确定模块400包括：

融合特征图确定单元410，用于基于多个图像特征和多个权重特征进行加权处理，确定融合特征图。

图11所示为本公开一示例性实施例提供的三维物体识别模型训练装置的结构示意图。如图11所示，本公开实施例提供的三维物体识别模型训练装置包括：

二维样本图像确定模块610，用于确定预先标注的包含待识别三维物体的至少两幅二维样本图像，其中，待识别三维物体在至少两幅二维样本图像中的视角不同；

第二图像特征图确定模块620，用于通过图像特征提取模型确定二维样本图像对应的图像特征图；

第二热力图确定模块630，用于通过热力图提取模型确定二维样本图像对应的热力图；

第二融合特征图确定模块640，用于对二维样本图像对应的图像特征图和热力图进行融合操作，以生成融合特征图；

识别结果确定模块650，用于根据分类模型及至少两幅二维样本图像对应的融合特征图识别待识别三维物体，以确定识别结果；

训练模块660，用于根据至少两幅二维样本图像对应的识别结果和至少两幅二维样本图像中预先标注的样本信息训练图像特征提取模型、热力图提取模型及分类模型。

应当理解，图8至图10提供的三维物体识别装置中的二维图像确定模块100、第一图像特征图确定模块200、第一热力图确定模块300、第一融合特征图确定模块400和识别模块500，以及第一热力图确定模块300中包括的视角权重数据确定单元310、像素权重集合确定单元320和热力图确定单元330，以及第一融合特征图确定模块400中包括的融合特征图确定单元410的操作和功能可以参考上述图2至图6提供的三维物体识别方法，为了避免重复，在此不再赘述。

此外，应当理解，图11提供的三维物体识别模型训练装置中的二维样本图像确定模块610、第二图像特征图确定模块620、第二热力图确定模块630、第二融合特征图确定模块640、识别结果确定模块650和训练模块660的操作和功能可以参考上述图7提供的三维物体识别模型训练方法，为了避免重复，在此不再赘述。

示例性电子设备

下面，参考图12来描述根据本申请实施例的电子设备。图12图示了根据本申请实施例的电子设备的框图。

如图12所示，电子设备70包括一个或多个处理器701和存储器702。

处理器701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备70中的其他组件以执行期望的功能。

存储器702可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行所述程序指令，以实现上文所述的本公开的各个实施例的三维物体识别方法、三维物体识别模型训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如点云数据等各种内容。

在一个示例中，电子设备70还可以包括：输入装置703和输出装置704，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

该输入装置703可以包括例如键盘、鼠标等等。

该输出装置704可以向外部输出各种信息，包括与三维物体相关的识别信息等。该输出装置704可以包括例如显示器、通信网络及其所连接的远程输出设备等等。

当然，为了简化，图12中仅示出了该电子设备70中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的三维物体识别方法或三维物体识别模型训练方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的三维物体识别方法或三维物体识别模型训练方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种三维物体识别方法，包括：

确定包含待识别三维物体的至少两幅二维图像，其中，所述待识别三维物体在所述至少两幅二维图像中的视角不同；

通过图像特征提取模型分别确定每幅所述二维图像对应的图像特征图；

通过热力图提取模型分别确定每幅所述二维图像对应的热力图，所述热力图包括所述二维图像对应的权重特征；

针对每幅所述二维图像，对所述二维图像对应的所述图像特征图和所述热力图进行融合操作，以生成融合特征图；

根据分类模型及所述至少两幅二维图像对应的融合特征图，识别所述待识别三维物体。

2.根据权利要求1所述的方法，其中，所述热力图提取模型包括视角权重提取模型及像素权重提取模型，所述通过热力图提取模型分别确定每幅所述二维图像对应的热力图，包括：

根据视角权重提取模型确定所述二维图像的视角权重数据，其中所述视角权重数据用于表示不同视角的二维图像具有不同的权重；

根据像素权重提取模型确定所述二维图像中的像素集合对应的像素权重集合，其中所述像素权重集合用于表示所述二维图像中不同区域的像素具有不同的权重；

基于所述视角权重数据和所述像素权重集合确定所述二维图像对应的所述热力图。

3.根据权利要求1或2所述的方法，其中，所述图像特征图包括多个图像特征，所述热力图包括多个权重特征，所述多个图像特征和所述多个权重特征存在一一对应关系，所述对所述二维图像对应的所述图像特征图和所述热力图进行融合操作，以生成融合特征图，包括：

基于所述多个图像特征和所述多个权重特征进行加权处理，确定所述融合特征图。

4.根据权利要求1或2所述的方法，其中，所述图像特征提取模型包括卷积神经网络，所述热力图提取模型包括全卷积网络。

5.根据权利要求4所述的方法，其中，针对所述至少两幅二维图像，所述卷积神经网络的训练参数为共享训练参数；和/或

针对所述至少两幅二维图像，所述全卷积网络的训练参数为共享训练参数。

6.一种三维物体识别模型训练方法，包括：

确定预先标注的包含待识别三维物体的至少两幅二维样本图像，其中，所述待识别三维物体在所述至少两幅二维样本图像中的视角不同；

通过图像特征提取模型分别确定每幅所述二维样本图像对应的图像特征图；

针对每幅所述二维样本图像，通过热力图提取模型确定所述二维样本图像对应的热力图，所述热力图包括所述二维样本图像对应的权重特征；

针对每幅所述二维样本图像，对所述二维样本图像对应的所述图像特征图和所述热力图进行融合操作，以生成融合特征图；

根据分类模型及所述至少两幅二维样本图像对应的融合特征图，识别所述待识别三维物体，以确定识别结果；

根据所述至少两幅二维样本图像对应的识别结果和所述至少两幅二维样本图像中预先标注的样本信息，训练所述图像特征提取模型、所述热力图提取模型及所述分类模型。

7.一种三维物体识别装置，包括：

二维图像确定模块，用于确定包含待识别三维物体的至少两幅二维图像，其中，所述待识别三维物体在所述至少两幅二维图像中的视角不同；

第一图像特征图确定模块，用于通过图像特征提取模型分别确定每幅所述二维图像对应的图像特征图；

第一热力图确定模块，用于通过热力图提取模型分别确定每幅所述二维图像对应的热力图，所述热力图包括所述二维图像对应的权重特征；

第一融合特征图确定模块，用于针对每幅所述二维图像，对所述二维图像对应的所述图像特征图和所述热力图进行融合操作，以生成融合特征图；

识别模块，用于根据分类模型及所述至少两幅二维图像对应的融合特征图，识别所述待识别三维物体。

8.一种三维物体识别模型训练装置，包括：

二维样本图像确定模块，用于确定预先标注的包含待识别三维物体的至少两幅二维样本图像，其中，所述待识别三维物体在所述至少两幅二维样本图像中的视角不同；

第二图像特征图确定模块，用于通过图像特征提取模型分别确定每幅所述二维样本图像对应的图像特征图；

第二热力图确定模块，用于针对每幅所述二维样本图像，通过热力图提取模型确定所述二维样本图像对应的热力图，所述热力图包括所述二维样本图像对应的权重特征；

第二融合特征图确定模块，用于针对每幅所述二维样本图像，对所述二维样本图像对应的所述图像特征图和所述热力图进行融合操作，以生成融合特征图；

识别结果确定模块，用于根据分类模型及所述至少两幅二维样本图像对应的融合特征图，识别所述待识别三维物体，以确定识别结果；

训练模块，用于根据所述至少两幅二维样本图像对应的识别结果和所述至少两幅二维样本图像中预先标注的样本信息，训练所述图像特征提取模型、所述热力图提取模型及所述分类模型。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-5任一所述的三维物体识别方法，或执行上述权利要求6所述的三维物体识别模型训练方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-5任一所述的三维物体识别方法，或执行上述权利要求6所述的三维物体识别模型训练方法。