CN112101453B - 网络模型的训练方法及装置、标注信息的确定方法及装置 - Google Patents

Abstract

公开了一种网络模型的训练方法及装置、标注信息的确定方法及装置、计算机可读存储介质及电子设备，涉及图像处理技术领域。该网络模型的训练方法包括：确定初始网络模型；基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型，以生成图像理解模型，其中，图像理解模型用于基于待标注图像生成待标注图像对应的特征图和修复图像，概率图像用于表征待标注样本图像中的显示单元被擦除的概率。本公开能够使图像理解模型聚焦于学习图像的边界信息(包括能够用于分割的边界信息)，进而使训练得到的图像理解模型具备图像理解能力。由此，本公开能够为后续标注信息的重定义操作提供数据基础，进而提高标注信息的重定义精准度。

Description

网络模型的训练方法及装置、标注信息的确定方法及装置

技术领域

本公开涉及图像处理技术领域，具体涉及网络模型的训练方法及装置、标注信息确定方法及装置、计算机可读存储介质及电子设备。

背景技术

在医学图像处理领域，图像分割技术能够极大提升医生的工作效率，是辅助医生进行疾病诊断的重要技术。众所周知，图像分割技术的分割依据为与待分割目标对应的标注信息，因此，标注信息的优劣会直接影响待分割目标的分割效果。

然而，现有标注信息的确定方法主要依赖于人工(比如医生)实现，精准度难以保证，更难以满足精准分割的要求。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种网络模型的训练方法及装置、标注信息的确定方法及装置、计算机可读存储介质及电子设备。

在一方面，本公开实施例提供了一种网络模型的训练方法，该方法包括：确定初始网络模型；基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型，以生成图像理解模型。其中，图像理解模型用于基于待标注图像生成待标注图像对应的特征图和修复图像，概率图像用于表征待标注样本图像中的显示单元被擦除的概率。

在另一方面，本公开实施例提供了一种标注信息的确定方法，该方法包括：将待标注图像输入图像理解模型，以得到待标注图像对应的特征图和修复图像，其中，图像理解模型基于上述实施例提及的网络模型的训练方法得到；基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息。

在另一方面，本公开实施例提供了一种网络模型的训练装置，该装置包括：模型确定模块，用于确定初始网络模型；训练模块，用于基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型，以生成图像理解模型。其中，图像理解模型用于基于待标注图像生成待标注图像对应的特征图和修复图像，概率图像用于表征待标注样本图像中的显示单元被擦除的概率。

在另一方面，本公开实施例提供了一种标注信息的确定装置，该装置包括：输入模块，用于将待标注图像输入图像理解模型，以得到待标注图像对应的特征图和修复图像，其中，图像理解模型基于上述实施例提及的网络模型的训练方法得到；第二标注信息确定模块，用于基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息。

在另一方面，本公开实施例提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述实施例所提及的网络模型的训练方法和/或标注信息的确定方法。

在另一方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，处理器用于执行上述实施例所提及的网络模型的训练方法和/或标注信息的确定方法。

由于图像理解模型的训练数据包括待标注样本图像和待标注样本图像对应的概率图像，且训练生成的图像理解模型能够基于待标注图像生成待标注图像对应的特征图，并能够基于特征图生成特征图对应的修复图像，由此可知，本公开实施例提及的训练方法能够使图像理解模型聚焦于学习图像的边界信息(包括能够用于分割的边界信息)，进而使训练得到的图像理解模型具备图像理解能力。基于此，利用本公开实施例训练得到的图像理解模型能够为后续标注信息的重定义操作提供更精准地数据基础，进而为提高标注信息的重定义精准度提供前提条件。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1所示为本公开实施例所适用的一场景示意图。

图2所示为本公开实施例所适用的另一场景示意图。

图3所示为本公开一示例性实施例提供的网络模型的训练方法的流程示意图。

图4所示为本公开一示例性实施例提供的基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型的流程示意图。

图5所示为本公开一示例性实施例提供的基于待标注样本图像和概率图像生成待标注样本图像对应的擦除图像的流程示意图。

图6所示为本公开另一示例性实施例提供的基于待标注样本图像和概率图像生成待标注样本图像对应的擦除图像的流程示意图。

图7所示为本公开另一示例性实施例提供的基于第一擦除区域集合中包括的第一擦除区域之间的距离信息，确定第二阶段擦除图像的流程示意图。

图8所示为本公开另一示例性实施例提供的网络模型的训练方法的流程示意图。

图9所示为本公开一示例性实施例提供的基于第一标注信息和待标注样本图像确定概率图像的流程示意图。

图10所示为本公开一示例性实施例提供的基于第一距离集合和第二距离集合生成概率图像的流程示意图。

图11所示为本公开一示例性实施例提供的标注信息的确定方法的流程示意图。

图12所示为本公开一示例性实施例提供的基于特征图、修复图像和待标注图像确定待标注图像对应的第二标注信息的流程示意图。

图13所示为本公开另一示例性实施例提供的基于特征图、修复图像和待标注图像确定待标注图像对应的第二标注信息的流程示意图。

图14所示为本公开一示例性实施例提供的基于L1距离集合和特征图确定第二标注信息的流程示意图。

图15所示为本公开一示例性实施例提供的基于第一L1距离子集合、第一重定义阈值和特征图对第一标注信息进行第一次重定义操作的流程示意图。

图16所示为本公开一示例性实施例提供的基于特征图确定第二像素位置对应的重定义标注值的流程示意图。

图17所示为本公开一示例性实施例提供的基于经历第一次重定义操作的第一标注信息确定第二标注信息的流程示意图。

图18所示为本公开一示例性实施例提供的网络模型的训练装置的结构示意图。

图19所示为本公开另一示例性实施例提供的网络模型的训练装置的结构示意图。

图20所示为本公开一示例性实施例提供的标注信息的确定装置的结构示意图。

图21所示为本公开另一示例性实施例提供的标注信息的确定装置的结构示意图。

图22所示为本公开一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

近年来，随着智能科技的迅速发展，图像处理技术和计算机视觉技术日益受到广泛关注。图像分割技术作为图像处理技术领域和计算机视觉技术领域的重要组成部分，其重要性不言而喻。具体地，图像分割技术指的是从图像中提取出待分割目标的技术。

众所周知，图像分割技术的分割依据为与待分割目标对应的标注信息，因此，标注信息的优劣会直接影响待分割目标的分割效果。尤其在医学图像分割领域，由于医学图像具有图像数量庞大、组织结构边界不清晰等诸多特点，因此，医学图像的标注信息的确定难度更大。然而，现有标注信息的确定方法主要依赖于人工(比如医生)实现，效率低且精准度难以保证，更难以满足精准分割的要求。

基于上述提及的技术问题，本公开的基本构思是提出一种网络模型的训练方法及装置、标注信息的确定方法及装置、计算机可读存储介质及电子设备。

由于图像理解模型的训练数据为待标注样本图像和待标注样本图像对应的概率图像，且训练生成的图像理解模型能够基于待标注图像生成待标注图像对应的特征图，并能够基于特征图生成特征图对应的修复图像，由此可知，本公开实施例提及的训练方法能够使图像理解模型聚焦于学习图像的边界信息(包括能够用于分割的边界信息)，进而使训练得到的图像理解模型具备图像理解能力。基于此，利用本公开实施例训练得到的图像理解模型能够为后续标注信息的重定义操作提供更精准地数据基础，进而为提高标注信息的重定义精准度提供前提条件。

本公开实施例提供的标注信息的确定方法，能够基于图像理解模型有效修正第一标注信息，以得到精准度更高的第二标注信息。此外，将获得的第二标注信息作用到后续的图像分割模型的训练过程中时，能够有效提升训练得到的图像分割模型的稳定性和鲁棒性，避免模型在具有歧义的标注位置的重大损失，进而提升图像分割模型的性能表现。

在介绍了本公开的基本原理之后，下面将参考附图来具体介绍本公开的各种非限制性实施例。

图1所示为本公开实施例所适用的一场景示意图。如图1所示，本公开实施例所适用的场景中包括服务器1和图像采集设备2，其中，服务器1和图像采集设备2之间存在通信连接关系。

具体而言，图像采集设备2用于采集待标注样本图像，服务器1用于确定初始网络模型，获取待标注样本图像对应的概率图像，并基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型，以生成图像理解模型。其中，图像理解模型用于基于待标注图像生成待标注图像对应的特征图和修复图像，概率图像用于表征待标注样本图像中的显示单元被擦除的概率。即，该场景实现了一种网络模型的训练方法。

或者，图像采集设备2用于采集待标注图像，服务器1用于将待标注图像输入图像理解模型，以得到待标注图像对应的特征图和修复图像，并基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息。即，该场景实现了一种标注信息的确定方法。其中，此场景提及的图像理解模型可基于上述网络模型的训练方法场景生成。由于图1所示的上述场景利用服务器1实现了网络模型训练方法和/或标注信息的确定方法，因此，不但能够提高场景的适应能力，而且能够有效降低图像采集设备2的计算量。

需要说明的是，本公开还适用于另一场景。图2所示为本公开实施例所适用的另一场景示意图。具体地，该场景中包括图像处理设备3，并且，图像处理设备3中包括图像采集模块301和计算模块302。

具体而言，图像处理设备3中的图像采集模块301用于采集待标注样本图像，图像处理设备3中的计算模块302用于确定初始网络模型，获取待标注样本图像对应的概率图像，并基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型，以生成图像理解模型。其中，图像理解模型用于基于待标注图像生成待标注图像对应的特征图和修复图像，概率图像用于表征待标注样本图像中的显示单元被擦除的概率。即，该场景实现了一种网络模型的训练方法。

或者，图像处理设备3中的图像采集模块301用于采集待标注图像，图像处理设备3中的计算模块302用于将待标注图像输入图像理解模型，以得到待标注图像对应的特征图和修复图像，并基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息。即，该场景实现了一种标注信息的确定方法。其中，此场景提及的图像理解模型可基于上述网络模型的训练方法场景生成。由于图2所示的上述场景利用图像处理设备3实现了网络模型训练方法和/或标注信息的确定方法，无需与服务器等相关装置进行数据传输操作，因此，上述场景能够保证网络模型训练方法或标注信息的确定方法的实时性。

需要说明的是，上述场景中提及的图像采集设备2和图像采集模块301，包括但不限于为X线机、CT扫描仪、MRI设备等图像采集装置。对应地，上述场景中提及的图像采集设备2和图像采集模块301所采集的待标注样本图像和待标注图像，包括但不限于为X线图像、CT图像、MRI图像等能够将人体或动物体内部组织器官结构、密度等信息以影像方式呈现的医学图像数据，比如CT图像集合。此外，应当理解，本公开实施例提供的网络模型训练方法和标注信息的确定方法，不局限于上述提及的医学图像的适用场景，只要涉及到需要确定标注信息的应用场景，均属于本公开实施例的适用范围。

图3所示为本公开一示例性实施例提供的网络模型训练方法的流程示意图。如图3所示，本公开实施例提供的网络模型训练方法包括如下步骤。

步骤S100，确定初始网络模型。

可选地，步骤S100中提及的初始网络模型为基于深度学习的神经网络模型。其中，初始网络模型的具体模型结构可根据实际情况灵活设置。

步骤S200，基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型，以生成图像理解模型。

示例性地，概率图像用于表征待标注样本图像中的显示单元被擦除的概率。应当理解，待标注样本图像中的每个显示单元均对应有一被擦除的概率值。比如，待标注样本图像为包括多个显示单元的二维图像，对应地，概率图像为包括多个概率单元的二维图像，并且，待标注样本图像的尺寸和概率图像的尺寸完全相同。其中，多个概率单元与多个显示单元呈一一对应关系，每一概率单元均表示相同像素位置(像素位置又称为图像位置)的显示单元被擦除的概率。应当理解，显示单元既可以是单独的像素单元，也可以是多个像素单元形成的像素单元集合。

优选地，概率图像中包括的概率单元对应的概率值落入[0,1]的闭区间范围。其中，当概率单元对应的概率值为0时，表示该概率单元对应的显示单元被擦除的概率为0，即一定不会被擦除。当概率单元对应的概率值为1时，表示该概率单元对应的显示单元被擦除的概率为1，即一定会被擦除。将概率单元对应的概率值限制在[0,1]的闭区间范围能够有效降低后续计算擦除图像等操作的计算量，进而最终提高标注信息的确定速度。

需要说明的是，步骤S200中提及的图像理解模型用于基于待标注图像生成待标注图像对应的特征图和修复图像。优选地，待标注图像和待标注样本图像应为同类型的图像(比如均是肺部医学图像)，以便基于待标注样本图像训练而成的图像理解模型能够更好地处理待标注图像。

优选地，待标注样本图像中包括待标注图像。比如，待标注样本图像包括图像M和图像N，而待标注图像为图像N。更优选地，待标注样本图像和待标注图像为完全相同的图像，比如为同一套三维图像序列。换言之，本公开实施例首先利用包括需要进行标注重定义的图像的样本图像或者需要进行标注重定义的图像训练图像理解模型，然后再借助训练得到的图像理解模型对需要进行标注重定义的图像进行标注重定义操作。如此设置能够保证图像理解模型与标注重定义操作的契合度，进而提高后续的标注重定义操作的精准度。

示例性地，步骤S200中提及的基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型，指的是基于待标注样本图像和概率图像调整初始网络模型的模型参数，进而生成能够基于待标注图像生成待标注图像对应的特征图和修复图像的图像理解模型。

在实际应用过程中，首先确定初始网络模型，然后基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型，以得到用于生成待标注图像对应的特征图和修复图像图像理解模型。

由于图像理解模型的训练数据包括待标注样本图像和待标注样本图像对应的概率图像，且训练生成的图像理解模型能够基于待标注图像生成待标注图像对应的特征图，并能够基于特征图生成特征图对应的修复图像，由此可知，本公开实施例提及的训练方法能够使图像理解模型聚焦于学习图像的边界信息(包括能够用于分割的边界信息)，进而使训练得到的图像理解模型具备图像理解能力。基于此，利用本公开实施例训练得到的图像理解模型能够为后续标注信息的重定义操作提供更精准地数据基础，进而为提高标注信息的重定义精准度提供前提条件。

图4所示为本公开一示例性实施例提供的基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型的流程示意图。在本公开图3所示实施例的基础上延伸出本公开图4所示实施例，下面着重叙述图4所示实施例与图3所示实施例的不同之处，相同之处不再赘述。

如图4所示，在本公开实施例提供的网络模型的训练方法中，初始网络模型包括特征提取模块和与特征提取模块连接的图像修复模块。基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型步骤，包括如下步骤。

步骤S210，基于待标注样本图像和概率图像生成待标注样本图像对应的擦除图像。

由于概率图像能够表征待标注样本图像中的显示单元被擦除的概率，因此，基于概率图像和待标注样本图像能够生成待标注样本图像对应的擦除图像。应当理解，擦除图像的尺寸与待标注样本图像的尺寸相同。

步骤S220，将擦除图像输入特征提取模块，以生成特征图。

示例性地，擦除图像的尺寸为1xHxW，特征提取模块生成的特征图(feature map)的尺寸为CxHxW。换言之，特征提取模块用于对擦除图像进行特征提取操作，进而输出具有C个特征图的高维向量。其中，C为大于1的正整数。

步骤S230，将特征图输入图像修复模块，以生成修复图像。

在特征提取模块生成的特征图的基础上，将特征图输入图像修复模块，以生成修复图像。示例性地，修复图像的尺寸为1xHxW。应当理解，修复图像是对特征图进行图像修复操作后得到的。

在本公开一实施例中，图像修复模块包括3x3的卷积，该卷积用于辅助图像修复操作。

步骤S240，基于待标注样本图像和修复图像训练初始网络模型。

应当理解，在实际应用过程中，可基于图像修复模块输出的修复图像和待标注样本图像之间的L1 loss来端到端的优化训练初始网络模型，以最终生成图像理解模型。训练完成后得到的图像理解模型，能够基于待标注图像生成待标注图像对应的、高精准度的特征图和修复图像。

本公开实施例提供的网络模型的训练方法，通过基于待标注样本图像和概率图像生成待标注样本图像对应的擦除图像，将擦除图像输入特征提取模块，以生成特征图，并将特征图输入图像修复模块，以生成修复图像，进而基于待标注样本图像和修复图像训练初始网络模型的方式，实现了基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型的目的。本公开实施例能够使训练得到的图像理解模型具备更好地图像理解能力，尤其是针对图像的边界信息的理解能力，进而为提高后续确定的标注信息的精准度提供前提条件。

图5所示为本公开一示例性实施例提供的基于待标注样本图像和概率图像生成待标注样本图像对应的擦除图像的流程示意图。在本公开图4所示实施例的基础上延伸出本公开图5所示实施例，下面着重叙述图5所示实施例与图4所示实施例的不同之处，相同之处不再赘述。

如图5所示，在本公开实施例提供的网络模型的训练方法中，基于待标注样本图像和概率图像生成待标注样本图像对应的擦除图像步骤，包括如下步骤。

步骤S211，基于概率图像对待标注样本图像进行擦除操作，以生成第一阶段擦除图像。

需要说明的是，步骤S211中提及的擦除操作，其目的是为了消除被擦除的显示单元所包含的信息，以生成有信息缺失的第一阶段擦除图像。比如，利用一全局统一的数值来替换掉需要被擦除的显示单元的像素值。其中，此处提及的全局统一的数值可以为0或者为待标注样本图像包括的所有显示单元的最大像素值等等。

在本公开一实施例中，步骤S211包括：基于概率图像确定待标注样本图像中的显示单元各自对应的擦除概率；基于待标注样本图像中的显示单元各自对应的擦除概率，对待标注样本图像进行擦除处理，以生成第一阶段擦除图像。

下面举例说明步骤S211的执行过程，在下面的例子中，用待标注样本图像中的显示单元的最小像素值替换掉待标注样本图像中需要被擦除的显示单元的像素值。

待标注样本图像的尺寸为1x3x3，待标注样本图像对应的概率图像的尺寸亦为1x3x 3。其中，待标注样本图像(即矩阵A)和概率图像(即矩阵B)的矩阵形式如下。

结合矩阵A和B能够得知，矩阵A的第1行第1列的显示单元(即像素值34)被擦除的概率为0.21，矩阵A的第1行第2列的显示单元(即像素值78)被擦除的概率为0.56，……。并且，基于矩阵A能够得知，待标注样本图像中包括的显示单元的最小像素值为4。

在实际擦除操作过程中，需要对矩阵A中包括的显示单元进行擦除判定。比如，如果判定矩阵A中的第1行第1列的显示单元和第2行第2列的显示单元需要被擦除，那么，进行擦除操作后得到的第一阶段擦除图像(即矩阵C)的矩阵形式如下。

步骤S215，将第一阶段擦除图像确定为擦除图像。

本公开实施例提供的网络模型的训练方法，通过基于概率图像对待标注样本图像进行擦除操作，以生成第一阶段擦除图像，并将第一阶段擦除图像确定为擦除图像的方式，实现了基于待标注样本图像和概率图像生成待标注样本图像对应的擦除图像的目的。

需要说明的是，在初始网络模型的训练阶段，上述实施例提及的擦除操作，亦可以迭代多次，以便多次迭代训练初始网络模型。应当理解，每次迭代均可得到一对应的第一阶段擦除图像，并且每次迭代得到的第一阶段擦除图像均是不同的，但是每次迭代所使用的概率图像是不变的。

图6所示为本公开另一示例性实施例提供的基于待标注样本图像和概率图像生成待标注样本图像对应的擦除图像的流程示意图。在本公开图5所示实施例的基础上延伸出本公开图6所示实施例，下面着重叙述图6所示实施例与图5所示实施例的不同之处，相同之处不再赘述。

如图6所示，在本公开实施例提供的网络模型的训练方法中，在将第一阶段擦除图像确定为擦除图像步骤之前，还包括如下步骤。

步骤S212，基于多个第一擦除区域各自对应的尺寸信息和预设尺寸条件生成第一擦除区域集合。

示例性地，基于预设尺寸条件过滤掉未满足预设尺寸条件的第一擦除区域，并基于满足预设尺寸条件的第一擦除区域生成第一擦除区域集合。

举例说明，预设尺寸条件为擦除区域的最小外接矩形的最小边边长大于或等于3个像素。那么，在步骤S212提及的多个第一擦除区域中，最小外接矩形的最小边边长大于或等于3个像素的第一擦除区域被添加到第一擦除区域集合中，最小外接矩形的最小边边长小于3个像素的第一擦除区域被撤销，即，撤销针对该第一擦除区域的擦除操作。

步骤S213，基于第一擦除区域集合中包括的第一擦除区域之间的距离信息，确定第二阶段擦除图像。

由于第一擦除区域之间的距离信息能够有效体现第一擦除区域之间的关联性，因此，利用第一擦除区域之间的距离信息能够优化所确定的第二阶段擦除图像，比如提高擦除精准度和擦除连贯性。

并且，在本公开实施例提供的网络模型的训练方法中，将第一阶段擦除图像确定为擦除图像步骤，包括如下步骤。

步骤S2151，将第二阶段擦除图像确定为擦除图像。

在实际应用过程中，首先基于概率图像对待标注样本图像进行擦除操作，以生成第一阶段擦除图像，然后基于多个第一擦除区域各自对应的尺寸信息和预设尺寸条件生成第一擦除区域集合，继而基于第一擦除区域集合中包括的第一擦除区域之间的距离信息，确定第二阶段擦除图像，进而将第二阶段擦除图像确定为擦除图像。

本公开实施例提供的网络模型的训练方法，不仅能够避免过小的擦除区域干扰模型的学习精准度的情况，而且还能够利用第一擦除区域之间的距离信息优化所确定的擦除图像。

下面结合图7具体说明图6所示实施例中的步骤S213的一种实现方式。

图7所示为本公开另一示例性实施例提供的基于第一擦除区域集合中包括的第一擦除区域之间的距离信息，确定第二阶段擦除图像的流程示意图。如图7所示，在本公开实施例中，基于第一擦除区域集合中包括的第一擦除区域之间的距离信息，确定第二阶段擦除图像步骤，包括如下步骤。

步骤S2131，针对第一擦除区域集合中的任意两个第一擦除区域，计算两个第一擦除区域之间的欧式距离。

步骤S2132，判断欧式距离是否符合预设连通条件。

示例性地，预设连通条件为：两个第一擦除区域之间的欧式距离小于两个第一擦除区域中较小的第一擦除区域的最大径。

在步骤S2132中，当判断欧式距离符合预设连通条件时，则将两个第一擦除区域进行连通处理(即执行步骤S2133)，当判断欧式距离不符合预设连通条件时，则进行不连通处理(执行步骤S2134)。

步骤S2133，将两个第一擦除区域进行连通处理。

步骤S2134，进行不连通处理。

步骤S2135，基于经连通处理后的第一擦除区域集合生成第二阶段擦除图像。

示例性地，将包括经连通处理后的第一擦除区域集合的擦除图像作为第二阶段擦除图像。

本公开实施例能够提高擦除区域的内部信息的连贯性，以便利用擦除图像更好地辅助训练图像理解模型。

图8所示为本公开另一示例性实施例提供的网络模型训练方法的流程示意图。在本公开图3所示实施例的基础上延伸出本公开图8所示实施例，下面着重叙述图8所示实施例与图3所示实施例的不同之处，相同之处不再赘述。

如图8所示，在本公开实施例提供的网络模型的训练方法中，在基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型步骤之前，还包括如下步骤。

步骤S150，确定待标注样本图像对应的第一标注信息。

示例性地，步骤S150中提及的第一标注信息，指的是在未对标注信息进行重定义之前的初始标注信息。比如，待标注样本图像为医学图像，第一标注信息为专业医生基于待标注样本图像给出的标注信息。

在本公开一实施例中，基于第一标注信息能够将待标注样本图像划分为前景区域和背景区域。具体地，第一标注信息以图像的形式体现，即体现为第一标注图像。其中，第一标注图像的尺寸与待标注样本图像相同，并且，第一标注图像包括与待标注样本图像中的显示单元一一对应的标注单元。第一标注图像中值为1的标注单元对应待标注样本图像的前景区域，第一标注图像中值为0的标注单元对应待标注样本图像的背景区域。

步骤S160，基于第一标注信息和待标注样本图像确定概率图像。

由于概率图像是基于第一标注信息和待标注样本图像确定的，因此，本公开实施例确定的概率图像能够充分利用第一标注信息中的有效信息，进而提高了基于概率图像训练得到的图像理解模型的图像理解精准度。

图9所示为本公开一示例性实施例提供的基于第一标注信息和待标注样本图像确定概率图像的流程示意图。在本公开图8所示实施例的基础上延伸出本公开图9所示实施例，下面着重叙述图9所示实施例与图8所示实施例的不同之处，相同之处不再赘述。

如图9所示，在本公开实施例提供的网络模型的训练方法中，基于第一标注信息和待标注样本图像确定概率图像步骤，包括如下步骤。

步骤S161，基于第一标注信息确定待标注样本图像的第一区域和第二区域。

可选地，第一区域为待标注样本图像的前景区域，第一区域包括多个第一显示单元。第二区域为待标注样本图像的背景区域，第二区域包括多个第二显示单元。

步骤S162，针对多个第一显示单元，分别计算第一显示单元和与第一显示单元最接近的第二显示单元之间的第一欧式距离，以生成第一距离集合。

具体地，针对多个第一显示单元中的每个第一显示单元，计算该第一显示单元和与该第一显示单元最接近的第二显示单元之间的第一欧式距离。然后，基于多个第一显示单元各自对应的第一欧式距离生成第一距离集合。

步骤S163，针对多个第二显示单元，分别计算第二显示单元和与第二显示单元最接近的第一显示单元之间的第二欧式距离，以生成第二距离集合。

具体地，针对多个第二显示单元中的每个第二显示单元，计算该第二显示单元和与该第二显示单元最接近的第一显示单元之间的第二欧式距离。然后，基于多个第二显示单元各自对应的第二欧式距离生成第二距离集合。

步骤S164，基于第一距离集合和第二距离集合生成概率图像。

本公开实施例提供的网络模型的训练方法，通过基于第一标注信息确定待标注样本图像的第一区域和第二区域，然后针对多个第一显示单元，分别计算第一显示单元和与第一显示单元最接近的第二显示单元之间的第一欧式距离，以生成第一距离集合，并针对多个第二显示单元，分别计算第二显示单元和与第二显示单元最接近的第一显示单元之间的第二欧式距离，以生成第二距离集合，继而基于第一距离集合和第二距离集合生成概率图像的方式，实现了基于第一标注信息和待标注样本图像确定概率图像的目的。

应当理解，基于上述步骤得到的第一距离集合，能够表征第一区域中包括的第一显示单元与第二区域的距离信息，并且，基于上述步骤得到的第二距离集合，能够表征第二区域中包括的第二显示单元与第一区域的距离信息。本公开实施例能够有效简化概率图像的生成步骤，节省计算时间与成本。

下面结合图10说明基于第一距离集合和第二距离集合生成概率图像步骤的一种实现方式。

图10所示为本公开一示例性实施例提供的基于第一距离集合和第二距离集合生成概率图像的流程示意图。具体地，在本公开实施例中，第一距离集合包括多个第一欧式距离，并且多个第一欧式距离与第一区域包括的多个第一显示单元呈一一对应关系。第二距离集合包括多个第二欧式距离，并且多个第二欧式距离与第二区域包括的多个第二显示单元呈一一对应关系。

如图10所示，在本公开实施例提供的网络模型的训练方法中，基于第一距离集合和第二距离集合生成概率图像步骤，包括如下步骤。

步骤S1641，基于多个第一欧式距离确定预设距离阈值。

步骤S1642，基于多个第一欧式距离与预设距离阈值的关系，确定多个第一显示单元各自对应的擦除概率。

步骤S1643，基于多个第二欧式距离与预设距离阈值的关系，确定多个第二显示单元各自对应的擦除概率。

步骤S1644，基于多个第一显示单元各自对应的擦除概率和多个第二显示单元各自对应的擦除概率，生成概率图像。

举例说明，取第一距离集合中包括的所有第一欧式距离中的最大欧式距离的1/10作为预设距离阈值T，然后将第一距离集合中包括的所有第一欧式距离均与预设距离阈值T比较。如果第一欧式距离大于或等于预设距离阈值T，则该第一欧式距离对应的第一显示单元在概率图像中的对应位置的概率值为0。如果第一欧式距离小于预设距离阈值T，则该第一欧式距离对应的第一显示单元在概率图像中的对应位置的概率值为-log(1-(T-D_fore+1)/T+eps)，其中，D_fore表征该第一欧式距离，eps表征一个非常小的值，比如0.000001，以避免计算出现无穷大情况。

继而针对第二距离集合中包括的所有第二欧式距离亦均与预设距离阈值T比较。如果第二欧式距离大于或等于预设距离阈值T，则该第二欧式距离对应的第二显示单元在概率图像中的对应位置的概率值为0。如果第二欧式距离小于预设距离阈值T，则该第二欧式距离对应的第二显示单元在概率图像中的对应位置的概率值为-log(1-(T-D_back+1)/T+eps)，其中，D_back表征该第二欧式距离。

综上可知，本公开实施例能够借助距离信息提高所生成的概率图像的精准度。

图11所示为本公开一示例性实施例提供的标注信息的确定方法的流程示意图。如图11所示，本公开实施例提供的标注信息的确定方法包括如下步骤。

步骤S300，将待标注图像输入图像理解模型，以得到待标注图像对应的特征图和修复图像。

应当理解，本公开实施例提供的图像理解模型，可基于上述实施例提及的网络模型的训练方法训练得到。

步骤S400，基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息。

可选地，基于特征图、修复图像、待标注图像对待标注图像对应的第一标注信息进行重定义，以得到修正后的第二标注信息。换言之，第二标注信息为对待标注图像对应的第一标注信息进行重定义后得到的重定义标注信息。比如，待标注图像为医学图像，第一标注信息为专业医生基于待标注图像给出的标注信息。

在实际应用过程中，首先将待标注图像输入图像理解模型，以得到待标注图像对应的特征图和修复图像，然后基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息。

本公开实施例提供的标注信息的确定方法，能够基于图像理解模型有效修正第一标注信息，以得到精准度更高的第二标注信息。此外，将获得的第二标注信息作用到后续的图像分割模型的训练过程中时，能够有效提升训练得到的图像分割模型的稳定性和鲁棒性，避免模型在具有歧义的标注位置的重大损失，进而提升图像分割模型的性能表现。

图12所示为本公开一示例性实施例提供的基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息的流程示意图。在本公开图11所示实施例的基础上延伸出本公开图12所示实施例，下面着重叙述图12所示实施例与图11所示实施例的不同之处，相同之处不再赘述。

如图12所示，在本公开实施例提供的标注信息的确定方法中，基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息步骤，包括如下步骤。

步骤S410，确定修复图像和待标注图像之间的相似度信息。

步骤S420，基于相似度信息、特征图和第一标注信息确定第二标注信息。

由于修复图像是基于图像理解模型确定的，而图像理解模型能够聚焦于待标注图像的边界信息，并将聚焦的边界信息映射体现到修复图像中，因此，基于修复图像和待标注图像之间的相似度信息，能够验证第一标注信息的精准度，进而基于验证结果和特征图修正第一标注信息，以得到精准度更高的第二标注信息。

下面结合图13给出图12所示实施例的一种具体实现方式。

图13所示为本公开另一示例性实施例提供的基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息的流程示意图。

如图13所示，在本公开实施例中，修复图像包括多个修复单元，待标注图像包括多个显示单元，并且，多个修复单元和多个显示单元呈一一对应关系。确定修复图像和待标注图像之间的相似度信息步骤，包括如下步骤。

步骤S411，针对多个显示单元，分别确定显示单元和与显示单元对应的修复单元之间的L1距离，以生成L1距离集合。

示例性地，上述提及的修复图像中的修复单元，指的是修复图像中单一的像素单元。又或者，修复单元指的是修复图像中多个像素单元组合形成的修复显示单元。此外，需要说明的是，上述提及的一一对应关系，指的是多个修复单元和多个显示单元在像素位置和尺寸上均一一对应。

应当理解，步骤S411中提及的L1距离指的是曼哈顿距离。

并且，在本公开实施例中，基于相似度信息、特征图和第一标注信息确定第二标注信息步骤，包括如下步骤。

步骤S421，基于L1距离集合、特征图和第一标注信息确定第二标注信息。

本公开实施例提供的标注信息的确定方法，通过针对多个显示单元，分别确定显示单元和与显示单元对应的修复单元之间的L1距离，以生成L1距离集合，进而基于L1距离集合、特征图和第一标注信息确定第二标注信息的方式，实现了确定修复图像和待标注图像之间的相似度信息的目的。

图14所示为本公开一示例性实施例提供的基于L1距离集合、特征图和第一标注信息确定第二标注信息的流程示意图。在本公开图13所示实施例的基础上延伸出本公开图14所示实施例，下面着重叙述图14所示实施例与图13所示实施例的不同之处，相同之处不再赘述。

如图14所示，在本公开实施例提供的标注信息的确定方法中，基于L1距离集合、特征图和第一标注信息确定第二标注信息步骤，包括如下步骤。

步骤S4211，基于L1距离集合中与待标注图像的第一区域的第一显示单元对应的L1距离，生成第一L1距离子集合。

示例性地，步骤S4211中提及的待标注图像的第一区域是基于待标注图像对应的第一标注信息确定的。比如，基于第一标注信息能够将待标注图像划分为前景区域和背景区域，第一区域为前景区域。

应当理解，此处提及的待标注图像的第一区域，等同于上述实施例提及的待标注样本图像的第一区域。

步骤S4212，基于第一L1距离子集合确定第一重定义阈值。

示例性地，第一重定义阈值的确定步骤为：将第一L1距离子集合中包括的所有L1距离按照从小到大的顺序排布，然后选取位于90％点位的L1距离的值作为第一重定义阈值。

步骤S4213，基于第一L1距离子集合、第一重定义阈值和特征图对第一标注信息进行第一次重定义操作。

可选地，基于第一L1距离子集合中包括的L1距离与第一重定义阈值关系，来判断是否对该L1距离对应的第一显示单元所处像素位置的标注值进行重定义。

可选地，步骤S4213中提及的特征图用于确定需要进行第一次重定义操作的重定义标注值。

步骤S4214，基于经历第一次重定义操作的第一标注信息确定第二标注信息。

本公开实施例提供的标注信息的确定方法，通过基于L1距离集合中与待标注图像的第一区域的第一显示单元对应的L1距离，生成第一L1距离子集合，然后基于第一L1距离子集合确定第一重定义阈值，并基于第一L1距离子集合、第一重定义阈值和特征图对第一标注信息进行第一次重定义操作，继而基于经历第一次重定义操作的第一标注信息确定第二标注信息的方式，实现了基于L1距离集合、特征图和第一标注信息确定第二标注信息的目的。本公开实施例能够基于第一重定义阈值修正发生了类别混淆(比如属于前景区域的显示单元被标注为属于背景区域)的显示单元的标注值，进而实现纠正错误标注的目的。

图15所示为本公开一示例性实施例提供的基于第一L1距离子集合、第一重定义阈值和特征图对第一标注信息进行第一次重定义操作的流程示意图。在本公开图14所示实施例的基础上延伸出本公开图15所示实施例，下面着重叙述图15所示实施例与图14所示实施例的不同之处，相同之处不再赘述。

如图15所示，在本公开实施例提供的标注信息的确定方法中，基于第一L1距离子集合、第一重定义阈值和特征图对第一标注信息进行第一次重定义操作步骤，包括如下步骤。

步骤S42131，针对第一L1距离子集合中不大于第一重定义阈值的第一像素位置，保留第一标注信息与第一像素位置对应的标注值。

需要说明的是，步骤S42131中提及的第一像素位置，指的是第一L1距离子集合中不大于第一重定义阈值的L1距离对应的第一显示单元所处的像素位置。由于第一标注信息所处的标注图像是与待标注图像对应的，因此，基于第一显示单元所处的像素位置能够确定该像素位置对应的标注值。

步骤S42132，针对第一L1距离子集合中大于第一重定义阈值的第二像素位置，获取与第二像素位置周向相邻的多个相邻像素位置各自对应的L1距离。

需要说明的是，步骤S42132中提及的第二像素位置，指的是第一L1距离子集合中大于第一重定义阈值的L1距离对应的第一显示单元所处的像素位置。

示例性地，上述提及的与第二像素位置周向相邻的多个相邻像素位置，指的是与该第二像素位置对应的第一显示单元周向相邻的多个第一显示单元所处的多个相邻像素位置。比如，周向相邻的8个第一显示单元所处的8个相邻像素位置。

步骤S42133，判断多个相邻像素位置各自对应的L1距离和第一重定义阈值的关系。

在步骤S42133中，当判断多个相邻像素位置各自对应的L1距离中，至少一个相邻像素位置对应的L1距离大于第一重定义阈值时，则基于特征图确定第二像素位置对应的重定义标注值(即执行步骤S42134)。当判断多个相邻像素位置各自对应的L1距离中，所有L1距离均不大于第一重定义阈值时，则保留第一标注信息与第二像素位置对应的标注值(即执行步骤S42135)。

步骤S42134，基于特征图确定第二像素位置对应的重定义标注值。

步骤S42135，保留第一标注信息与第二像素位置对应的标注值。

本公开实施例提供的标注信息的确定方法，能够基于第一重定义阈值修正发生了类别混淆(比如属于前景区域的显示单元被标注为属于背景区域)的显示单元的标注值，进而实现纠正错误标注的目的。此外，本公开实施例能够使最终修正生成的第二标注信息为连续值(比如0至1的闭区间的连续值)，由此可避免后续的图像分割模型在具有歧义的像素位置上的过大损失，降低有歧义的标注对模型的不良影响。

图16所示为本公开一示例性实施例提供的基于特征图确定第二像素位置对应的重定义标注值的流程示意图。在本公开图15所示实施例的基础上延伸出本公开图16所示实施例，下面着重叙述图16所示实施例与图15所示实施例的不同之处，相同之处不再赘述。

如图16所示，在本公开实施例提供的标注信息的确定方法中，基于特征图确定第二像素位置对应的重定义标注值步骤，包括如下步骤。

步骤S610，计算第二像素位置在特征图中的第一特征提取向量。

举例说明，特征图为包括C个特征图的高维向量，尺寸为CxHxW。对应地，该第二像素位置在特征图中的第一特征提取向量的尺寸为Cx1x1。

步骤S620，基于第二像素位置与多个相邻像素位置之间的欧式距离，确定至少一个第二特征提取向量。

优选地，首先确定步骤S620中提及的多个相邻像素位置各自对应的L1距离是否满足不大于第一重定义阈值的条件，然后在满足不大于第一重定义阈值的条件的相邻像素位置中，基于第二像素位置与多个相邻像素位置之间的欧式距离，挑选出欧式距离相对较小(比如最小)的相邻像素位置作为需要确定第二特征提取向量的相邻像素位置。如此设置，能够提高前景区域的标注准确率。

同样地，相邻像素位置对应的第二特征提取向量亦是根据特征图确定，其尺寸亦为Cx1x1。

步骤S630，基于第一特征提取向量和至少一个第二特征提取向量之间的向量相似度信息，确定第二像素位置对应的重定义标注值。

比如，基于第一特征特征提取向量和至少一个第二特征提取向量之间的JS(Jensen Shannon)散度确定向量相似度信息。又比如，基于第一特征特征提取向量和至少一个第二特征提取向量之间的余弦相似度或KL散度确定向量相似度信息。

示例性地，将与第一特征提取向量的向量相似度最高的第二特征提取向量所对应的相邻像素位置的标注值，作为第二像素位置的重定义标注值。

本公开实施例通过计算第二像素位置在特征图中的第一特征提取向量，继而基于第二像素位置与多个相邻像素位置之间的欧式距离，确定至少一个第二特征提取向量，并基于第一特征提取向量和至少一个第二特征提取向量之间的向量相似度信息，确定第二像素位置对应的重定义标注值的方式，实现了基于特征图确定第二像素位置对应的重定义标注值的目的。

图17所示为本公开一示例性实施例提供的基于经历第一次重定义操作的第一标注信息确定第二标注信息的流程示意图。在本公开图14所示实施例的基础上延伸出本公开图17所示实施例，下面着重叙述图17所示实施例与图14所示实施例的不同之处，相同之处不再赘述。

如图17所示，在本公开实施例提供的标注信息的确定方法中，基于经历第一次重定义操作的第一标注信息确定第二标注信息步骤，包括如下步骤。

步骤S710，基于L1距离集合中与待标注图像的第二区域的第二显示单元对应的L1距离，生成第二L1距离子集合。

示例性地，步骤S710中提及的待标注图像的第二区域是基于待标注图像对应的第一标注信息确定的。比如，基于第一标注信息能够将待标注图像划分为前景区域和背景区域，第二区域为背景区域。

应当理解，此处提及的待标注图像的第二区域，等同于上述实施例提及的待标注样本图像的第二区域。

步骤S720，基于第二L1距离子集合确定第二重定义阈值。

示例性地，第二重定义阈值的确定步骤为：将第二L1距离子集合中包括的所有L1距离按照从小到大的顺序排布，然后选取位于50％点位的L1距离的值作为第二重定义阈值。

步骤S730，基于第二L1距离子集合、第二重定义阈值和特征图对经历第一次重定义操作的第一标注信息进行第二次重定义操作，以生成第二标注信息。

示例性地，步骤S730中提及的第二次重定义操作，与上述实施例提及的第一次重定义操作等同，其具体执行步骤可参见上述第一重定义操作(具体可参见图15和图16所示实施例)。

下面给出第二次重定义操作的主要步骤示例。

首先针对第二L1距离子集合中不大于第二重定义阈值的第三像素位置，保留第一标注信息与第三像素位置对应的标注值，然后针对第二L1距离子集合中大于第二重定义阈值的第四像素位置，获取与第四像素位置周向相邻的多个相邻像素位置各自对应的L1距离。继而判断多个相邻像素位置各自对应的L1距离和第二重定义阈值的关系，当判断多个相邻像素位置各自对应的L1距离中，至少一个相邻像素位置对应的L1距离大于第二重定义阈值时，则基于特征图确定第四像素位置对应的重定义标注值。当判断多个相邻像素位置各自对应的L1距离中，所有L1距离均不大于第二重定义阈值时，则保留第一标注信息与第四像素位置对应的标注值。

示例性地，基于特征图确定第四像素位置对应的重定义标注值步骤可参见如下示例。

首先计算第四像素位置在特征图中的第三特征提取向量，然后基于第四像素位置与多个相邻像素位置之间的欧式距离，确定至少一个第四特征提取向量，继而基于第三特征提取向量和至少一个第四特征提取向量之间的向量相似度信息，并确定第四像素位置对应的重定义标注值。

图18所示为本公开一示例性实施例提供的网络模型的训练装置的结构示意图。如图18所示，本公开实施例提供的网络模型的训练装置包括：

模型确定模块100，用于确定初始网络模型；

训练模块200，用于基于待标注样本图像和待标注样本图像对应的概率图像训练初始网络模型，以生成图像理解模型。

图19所示为本公开另一示例性实施例提供的网络模型的训练装置的结构示意图。在本公开图18所示实施例的基础上延伸出本公开图19所示实施例，下面着重叙述图19所示实施例与图18所示实施例的不同之处，相同之处不再赘述。

如图19所示，本公开实施例提供的网络模型的训练装置还包括：

第一标注信息确定模块150，用于确定待标注样本图像对应的第一标注信息；

概率图像确定模块160，用于基于第一标注信息和待标注样本图像确定概率图像。

可选地，在本公开一实施例中，概率图像确定模块160包括：

确定单元161，用于基于第一标注信息确定待标注样本图像的第一区域和第二区域；

第一距离集合生成单元162，用于针对多个第一显示单元，分别计算第一显示单元和与第一显示单元最接近的第二显示单元之间的第一欧式距离，以生成第一距离集合；

第二距离集合生成单元163，用于针对多个第二显示单元，分别计算第二显示单元和与第二显示单元最接近的第一显示单元之间的第二欧式距离，以生成第二距离集合；

概率图像生成单元164，用于基于第一距离集合和第二距离集合生成概率图像。

可选地，在本公开一实施例中，概率图像生成单元164还用于基于多个第一欧式距离确定预设距离阈值，基于多个第一欧式距离与预设距离阈值的关系，确定多个第一显示单元各自对应的擦除概率，继而基于多个第二欧式距离与预设距离阈值的关系，确定多个第二显示单元各自对应的擦除概率，并基于多个第一显示单元各自对应的擦除概率和多个第二显示单元各自对应的擦除概率，生成概率图像。

可选地，在本公开一实施例中，训练模块200包括：

擦除图像生成单元210，用于基于待标注样本图像和概率图像生成待标注样本图像对应的擦除图像；

特征图生成单元220，用于将擦除图像输入特征提取模块，以生成特征图；

修复图像生成单元230，用于将特征图输入图像修复模块，以生成修复图像；

训练单元240，用于基于待标注样本图像和修复图像训练初始网络模型。

可选地，在本公开一实施例中，擦除图像生成单元210还用于基于概率图像对待标注样本图像进行擦除操作，以生成第一阶段擦除图像，并且将第一阶段擦除图像确定为擦除图像。

可选地，在本公开一实施例中，擦除图像生成单元210还用于基于概率图像对待标注样本图像进行擦除操作，以生成第一阶段擦除图像，并基于多个第一擦除区域各自对应的尺寸信息和预设尺寸条件生成第一擦除区域集合，继而基于第一擦除区域集合中包括的第一擦除区域之间的距离信息，确定第二阶段擦除图像，并且将第二阶段擦除图像确定为擦除图像。

图20所示为本公开一示例性实施例提供的标注信息的确定装置的结构示意图。如图20所示，本公开实施例提供的标注信息的确定装置包括：

输入模块300，用于将待标注图像输入图像理解模型，以得到待标注图像对应的特征图和修复图像；

第二标注信息确定模块400，用于基于特征图、修复图像、待标注图像和待标注图像对应的第一标注信息确定待标注图像对应的第二标注信息。

图21所示为本公开另一示例性实施例提供的标注信息的确定装置的结构示意图。在本公开图20所示实施例的基础上延伸出本公开图21所示实施例，下面着重叙述图21所示实施例与图20所示实施例的不同之处，相同之处不再赘述。

如图21所示，在本公开实施例中，第二标注信息确定模块400包括：

相似度信息确定单元410，用于确定修复图像和待标注图像之间的相似度信息；

第二标注信息确定单元420，用于基于相似度信息、特征图和第一标注信息确定第二标注信息。

可选地，在本公开一实施例中，相似度信息确定单元410还用于针对多个显示单元，分别确定显示单元和与显示单元对应的修复单元之间的L1距离，以生成L1距离集合；并且，第二标注信息确定单元420还用于基于L1距离集合、特征图和第一标注信息确定第二标注信息。

可选地，在本公开一实施例中，第二标注信息确定单元420还用于基于L1距离集合中与待标注图像的第一区域的第一显示单元对应的L1距离，生成第一L1距离子集合，继而基于第一L1距离子集合确定第一重定义阈值，基于第一L1距离子集合、第一重定义阈值和特征图对第一标注信息进行第一次重定义操作，并基于经历第一次重定义操作的第一标注信息确定第二标注信息。

应当理解，图18和图19提供的网络模型的训练装置中的模型确定模块100、第一标注信息确定模块150、概率图像确定模块160和训练模块200，以及概率图像确定模块160中包括的确定单元161、第一距离集合生成单元162、第二距离集合生成单元163和概率图像生成单元164，以及训练模块200中包括的擦除图像生成单元210、第一训练单元220和第二训练单元230的操作和功能可以参考上述图3至图10提供的网络模型的训练方法，为了避免重复，在此不再赘述。

此外，应当理解，图20和图21提供的标注信息的确定装置中的输入模块300和第二标注信息确定模块400，以及第二标注信息确定模块400中包括的相似度信息确定单元410和第二标注信息确定单元420的操作和功能可以参考上述图11至图17提供的标注信息的确定方法，为了避免重复，在此不再赘述。

下面，参考图22来描述根据本公开实施例的电子设备。图22所示为本公开一示例性实施例提供的电子设备的结构示意图。

如图22所示，电子设备2200包括一个或多个处理器2201和存储器2202。

处理器2201可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备2200中的其他组件以执行期望的功能。

存储器2202可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器2201可以运行所述程序指令，以实现上文所述的本公开的各个实施例的网络模型的训练方法、标注信息的确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如样本图像数据等各种内容。

在一个示例中，电子设备2200还可以包括：输入装置2203和输出装置2204，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

该输入装置2203可以包括例如键盘、鼠标等等。

该输出装置2204可以向外部输出各种信息，包括确定出的第二标注信息等。该输出装置2204可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图22中仅示出了该电子设备2200中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备2200还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本公开各种实施例的网络模型的训练方法、标注信息的确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本公开各种实施例的网络模型的训练方法、标注信息的确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、***的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (17)

1.一种网络模型的训练方法，其特征在于，包括：

确定初始网络模型；

确定待标注样本图像对应的第一标注信息；

基于所述第一标注信息和所述待标注样本图像确定所述待标注样本图像对应的概率图像；

基于待标注样本图像和所述待标注样本图像对应的概率图像训练所述初始网络模型，以生成图像理解模型，其中，所述图像理解模型用于基于待标注图像生成所述待标注图像对应的特征图和修复图像，所述概率图像用于表征所述待标注样本图像中的显示单元被擦除的概率；

其中，所述初始网络模型包括特征提取模块和图像修复模块，所述基于待标注样本图像和所述待标注样本图像对应的概率图像训练所述初始网络模型，包括：

基于所述待标注样本图像和所述概率图像生成所述待标注样本图像对应的擦除图像；

将所述擦除图像输入所述特征提取模块，以生成特征图；

将所述特征图输入所述图像修复模块，以生成修复图像；

基于所述待标注样本图像和所述修复图像训练所述初始网络模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述待标注样本图像和所述概率图像生成所述待标注样本图像对应的擦除图像，包括：

基于所述概率图像对所述待标注样本图像进行擦除操作，以生成第一阶段擦除图像，其中，所述第一阶段擦除图像包括第一擦除区域；

将所述第一阶段擦除图像确定为所述擦除图像。

3.根据权利要求2所述的方法，其特征在于，所述第一擦除区域的数量为多个，在所述将所述第一阶段擦除图像确定为所述擦除图像之前，还包括：

基于所述多个第一擦除区域各自对应的尺寸信息和预设尺寸条件生成第一擦除区域集合；

基于所述第一擦除区域集合中的第一擦除区域之间的距离信息，确定第二阶段擦除图像；

其中，所述将所述第一阶段擦除图像确定为所述擦除图像，包括：

将所述第二阶段擦除图像确定为所述擦除图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一擦除区域集合中的第一擦除区域之间的距离信息，确定第二阶段擦除图像，包括：

针对所述第一擦除区域集合中的任意两个第一擦除区域，计算所述两个第一擦除区域之间的欧式距离；

如果所述欧式距离符合预设连通条件，则将所述两个第一擦除区域进行连通处理；

基于经所述连通处理后的所述第一擦除区域集合生成所述第二阶段擦除图像。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第一标注信息和所述待标注样本图像确定所述概率图像，包括：

基于所述第一标注信息确定所述待标注样本图像的第一区域和第二区域，其中，所述第一区域包括多个第一显示单元，所述第二区域包括多个第二显示单元；

针对所述多个第一显示单元，分别计算所述第一显示单元和与所述第一显示单元最接近的第二显示单元之间的第一欧式距离，以生成第一距离集合；

针对所述多个第二显示单元，分别计算所述第二显示单元和与所述第二显示单元最接近的第一显示单元之间的第二欧式距离，以生成第二距离集合；

基于所述第一距离集合和所述第二距离集合生成所述概率图像。

6.根据权利要求5所述的方法，其特征在于，所述第一距离集合包括多个第一欧式距离，所述第二距离集合包括多个第二欧式距离，所述基于所述第一距离集合和所述第二距离集合生成所述概率图像，包括：

基于所述多个第一欧式距离确定预设距离阈值；

基于所述多个第一欧式距离与所述预设距离阈值的关系，确定所述多个第一显示单元各自对应的擦除概率；

基于所述多个第二欧式距离与所述预设距离阈值的关系，确定所述多个第二显示单元各自对应的擦除概率；

基于所述多个第一显示单元各自对应的擦除概率和所述多个第二显示单元各自对应的擦除概率，生成所述概率图像。

7.一种标注信息的确定方法，其特征在于，包括：

将待标注图像输入图像理解模型，以得到所述待标注图像对应的特征图和修复图像，其中，所述图像理解模型基于上述1至6任一项所述的网络模型的训练方法得到；

基于所述特征图、所述修复图像、所述待标注图像和所述待标注图像对应的第一标注信息确定所述待标注图像对应的第二标注信息。

8.根据权利要求7所述的方法，其特征在于，所述基于所述特征图、所述修复图像、所述待标注图像和所述待标注图像对应的第一标注信息确定所述待标注图像对应的第二标注信息，包括：

确定所述修复图像和所述待标注图像之间的相似度信息；

基于所述相似度信息、所述特征图和所述第一标注信息确定所述第二标注信息。

9.根据权利要求8所述的方法，其特征在于，所述修复图像包括多个修复单元，所述待标注图像包括多个显示单元，所述多个修复单元和所述多个显示单元呈一一对应关系，所述确定所述修复图像和所述待标注图像之间的相似度信息，包括：

针对所述多个显示单元，分别确定所述显示单元和与所述显示单元对应的修复单元之间的L1距离，以生成L1距离集合；

其中，所述基于所述相似度信息、所述特征图和所述第一标注信息确定所述第二标注信息，包括：

基于所述L1距离集合、所述特征图和所述第一标注信息确定所述第二标注信息。

10.根据权利要求9所述的方法，其特征在于，所述基于所述L1距离集合、所述特征图和所述第一标注信息确定所述第二标注信息，包括：

基于所述L1距离集合中与所述待标注图像的第一区域的第一显示单元对应的L1距离，生成第一L1距离子集合，其中，所述第一区域基于所述第一标注信息确定；

基于所述第一L1距离子集合确定第一重定义阈值；

基于所述第一L1距离子集合、所述第一重定义阈值和所述特征图对所述第一标注信息进行第一次重定义操作；

基于经历所述第一次重定义操作的第一标注信息确定所述第二标注信息。

11.根据权利要求10所述的方法，其特征在于，所述基于所述第一L1距离子集合、所述第一重定义阈值和所述特征图对所述第一标注信息进行第一次重定义操作，包括：

针对所述第一L1距离子集合中不大于所述第一重定义阈值的第一像素位置，保留所述第一标注信息与所述第一像素位置对应的标注值；

针对所述第一L1距离子集合中大于所述第一重定义阈值的第二像素位置，获取与所述第二像素位置周向相邻的多个相邻像素位置各自对应的L1距离；

如果所述多个相邻像素位置各自对应的L1距离均不大于所述第一重定义阈值，则保留所述第一标注信息与所述第二像素位置对应的标注值；

如果所述多个相邻像素位置中至少一个相邻像素位置对应的L1距离大于所述第一重定义阈值，则基于所述特征图确定所述第二像素位置对应的重定义标注值。

12.根据权利要求11所述的方法，其特征在于，所述基于所述特征图确定所述第二像素位置对应的重定义标注值，包括：

计算所述第二像素位置在所述特征图中的第一特征提取向量；

基于所述第二像素位置与所述多个相邻像素位置之间的欧式距离，确定至少一个第二特征提取向量，其中，所述第二特征提取向量为相邻像素位置在所述特征图中的特征提取向量；

基于所述第一特征提取向量和所述至少一个第二特征提取向量之间的向量相似度信息，确定所述第二像素位置对应的重定义标注值。

13.根据权利要求10至12任一项所述的方法，其特征在于，所述基于经历所述第一次重定义操作的第一标注信息确定所述第二标注信息，包括：

基于所述L1距离集合中与所述待标注图像的第二区域的第二显示单元对应的L1距离，生成第二L1距离子集合，其中，所述第二区域基于所述第一标注信息确定；

基于所述第二L1距离子集合确定第二重定义阈值；

基于所述第二L1距离子集合、所述第二重定义阈值和所述特征图对经历所述第一次重定义操作的第一标注信息进行第二次重定义操作，以生成所述第二标注信息。

14.一种网络模型的训练装置，其特征在于，包括：

模型确定模块，用于确定初始网络模型；

第一标注信息确定模块，用于确定待标注样本图像对应的第一标注信息；

概率图像确定模块，用于基于所述第一标注信息和所述待标注样本图像确定所述待标注样本图像对应的概率图像；

训练模块，用于基于待标注样本图像和所述待标注样本图像对应的概率图像训练所述初始网络模型，以生成图像理解模型，其中，所述图像理解模型用于基于待标注图像生成所述待标注图像对应的特征图和修复图像，所述概率图像用于表征所述待标注样本图像中的显示单元被擦除的概率；

其中，所述初始网络模型包括特征提取模块和图像修复模块，所述训练模块包括：

擦除图像生成单元，用于基于所述待标注样本图像和所述概率图像生成所述待标注样本图像对应的擦除图像；

特征图生成单元，用于将所述擦除图像输入所述特征提取模块，以生成特征图；

修复图像生成单元，用于将所述特征图输入所述图像修复模块，以生成修复图像；

训练单元，用于基于所述待标注样本图像和所述修复图像训练所述初始网络模型。

15.一种标注信息的确定装置，其特征在于，包括：

输入模块，用于将待标注图像输入图像理解模型，以得到所述待标注图像对应的特征图和修复图像，其中，所述图像理解模型基于上述1至6任一项所述的网络模型的训练方法得到；

第二标注信息确定模块，用于基于所述特征图、所述修复图像、所述待标注图像和所述待标注图像对应的第一标注信息确定所述待标注图像对应的第二标注信息。

16.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6任一项所述的网络模型的训练方法，或者执行上述权利要求7至13任一项所述的标注信息的确定方法。

17.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1至6任一项所述的网络模型的训练方法，或者执行上述权利要求7至13任一项所述的标注信息的确定方法。

Images