CN114565759A - 图像语义分割模型优化方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种图像语义分割模型优化方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及计算机视觉、图像识别和深度学习技术，具体可用于智慧城市和智能交通场景，以至少解决相关技术中通过伪标签训练得到的模型的准确性较差的技术问题。具体实现方案为：获取多个目标图像，其中，多个目标图像通过对原始图像进行不同的数据增强处理得到；将多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，其中，目标像素点在多个目标图像中的位置相同，多个识别结果用于表示目标像素点的类别；基于目标像素点的多个识别结果，确定多个模型的预测准确度；基于多个模型的预测准确度，对多个模型进行训练。

Description

图像语义分割模型优化方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉、图像识别和深度学习技术，具体可用于智慧城市和智能交通场景，尤其涉及一种图像语义分割模型优化方法、装置、电子设备及存储介质。

背景技术

目前，在对模型进行半监督训练的过程中，主要依赖于伪标签进行训练，其中，半监督训练是指通过少量标注过的样本对其他未进行标注的样本标注上伪标签，但是伪标签的正确性及稳定性较差。

发明内容

本公开提供了一种图像语义分割模型优化方法、装置、电子设备及存储介质，以至少解决相关技术中通过伪标签训练得到的模型的准确性较差的技术问题。

根据本公开的一方面，提供了一种图像语义分割模型优化方法，包括：获取多个目标图像，其中，多个目标图像通过对原始图像进行不同的数据增强处理得到；将多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，其中，目标像素点在多个目标图像中的位置相同，多个识别结果用于表示目标像素点的类别；基于目标像素点的多个识别结果，确定多个模型的预测准确度；基于多个模型的预测准确度，对多个模型进行训练。

可选地，基于多个模型的预测准确度，对多个模型进行训练，包括：基于多个模型的预测准确度，确定多个模型中预测准确度最高的目标模型；获取目标模型对应的目标识别结果；基于目标识别结果对多个模型中除目标模型之外的其他模型进行训练。

可选地，基于目标像素点的多个识别结果，确定多个模型的预测准确度，包括：对多个模型中每个模型输出的多个识别结果之间的相似度进行比对，得到多个模型对应的多个第一比对结果，其中，多个第一比对结果用于表示多个模型预测得到的目标像素点在多个目标图像中的类别是否相同；基于多个第一比对结果，确定多个模型在目标像素点的预测准确度。

可选地，该方法还包括：对多个目标图像中处于同一位置的目标像素点之间的相似度进行比对，得到第二比对结果，其中，第二比对结果用于表示目标像素点在多个目标图像之间的差异是否大于预设阈值；基于多个第一比对结果和第二比对结果，确定多个模型在目标像素点的预测准确度。

可选地，获取多个目标图像，包括：获取原始图像；对原始图像进行第一增强处理，得到第一目标图像；对第一目标图像进行第二增强处理，得到第二目标图像；对第二目标图像进行第二增强处理，得到第三目标图像；基于第一目标图像、第二目标图像和第三目标图像，得到多个目标图像。

可选地，多个模型至少包括第一模型、第二模型，将多个目标图像输入至多个模型中，得到多个模型输出的目标像素点的多个识别结果，包括：将第一目标图像和第二目标图像分别输入至第一模型中，得到第一模型输出的第一识别结果和第二识别结果，其中，第一识别结果用于表示第一目标图像中的目标像素点的类别，第二识别结果用于表示第二目标图像中目标像素点的类别；将第一目标图像和第三目标图像分别输入至第二模型中，得到第二模型输出的第三识别结果和第四识别结果，其中，第三识别结果用于表示第一目标图像中的目标像素的类别，第四识别结果用于表示第三目标图像中目标像素点的类别。

根据本公开的又一方面，提供了一种图像语义分割模型优化装置，包括：获取模块，用于获取多个目标图像，其中，多个目标图像通过对原始图像进行不同的数据增强处理得到；输入模块，用于将多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，目标像素点在多个目标图像中的位置相同，多个识别结果用于表示目标像素点的类别；确定模块，用于基于目标像素点的多个识别结果，确定多个模型的预测准确度；训练模块，用于基于多个模型的预测准确度，对多个模型进行训练。

根据本公开的又一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提出的图像语义分割模型优化方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提出的图像语义分割模型优化方法。

根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开提出的图像语义分割模型优化方法。

在本公开中，首先，可以获取多个目标图像，其中，多个目标图像通过原始图像进行不同的数据增强处理得到，将多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，其中，目标像素点在多个目标图像中的位置相同，多个识别结果用于表示目标像素点的类别；然后基于目标像素点的多个识别结果，确定多个模型的预测准确度；基于多个模型的预测准确度，对多个模型进行训练，实现了提高模型预测准确度的目的，由于多个目标图像是通过对原始图像进行不同的数据增强处理得到的，因此，多个目标图像中目标像素点对应的多个识别结果应该是相同的，但是不同的模型预测准确度可能存在偏差，因此，可以通过预测准确度较高的模型的识别结果对其他模型的训练过程进行监督，从而提高训练得到的多个模型的准确度，进而可以解决通过伪标签训练得到的模型的准确性较低的技术问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的一种用于实现图像语义分割模型优化方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本公开实施例的一种图像语义分割模型优化方法流程图；

图3是根据本公开实施例的另一种图像语义分割模型优化方法流程图；

图4是根据本公开实施例的一种图像语义分割模型优化装置的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本公开实施例，提供了一种图像语义分割模型优化方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本公开实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的电子设备中执行。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。图1示出了一种用于实现图像语义分割模型优化方法的计算机终端(或移动设备)的硬件结构框图。

如图1所示，计算机终端100包括计算单元101，其可以根据存储在只读存储器(ROM)102中的计算机程序或者从存储单元108加载到随机访问存储器(RAM)103中的计算机程序，来执行各种适当的动作和处理。在RAM 103中，还可存储计算机终端100操作所需的各种程序和数据。计算单元101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。

计算机终端100中的多个部件连接至I/O接口105，包括：输入单元106，例如键盘、鼠标等；输出单元107，例如各种类型的显示器、扬声器等；存储单元108，例如磁盘、光盘等；以及通信单元109，例如网卡、调制解调器、无线通信收发机等。通信单元109允许计算机终端100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元101执行本文所描述的图像语义分割模型优化方法。例如，在一些实施例中，图像语义分割模型优化方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 102和/或通信单元109而被载入和/或安装到计算机终端100上。当计算机程序加载到RAM 103并由计算单元101执行时，可以执行本文描述的图像语义分割模型优化方法的一个或多个步骤。备选地，在其他实施例中，计算单元101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像语义分割模型优化方法。

本文中描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

此处需要说明的是，在一些可选实施例中，上述图1所示的电子设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述电子设备中的部件的类型。

在上述运行环境下，本公开提供了如图2所示的图像语义分割模型优化方法，该方法可以由图1所示的计算机终端或者类似的电子设备执行。图2是根据本公开实施例提供的一种图像语义分割模型优化方法流程图。如图2所示，该方法可以包括如下步骤：

步骤S202，获取多个目标图像。

其中，多个目标图像通过对原始图像进行不同的数据增强处理得到。

上述的多个目标图像可以是对同一个原始图像进行不同的数据增强处理得到的。

上述的数据增强可以是对原始图像进行弱变化或者强变化处理，其中，弱变化可以是对原始图像进行低强度的变化，其可以是不影响显示内容的变化，例如，对原始图像进行随机水平翻转或者随机剪裁等；强变化可以是对原始图像进行高强度的变化，其可以是对原始图像中的显示内容进行处理，例如，颜色扰动、内容擦除等。

在一种可选的实施例中，可以先对原始图像进行弱变化，得到第一目标图像，然后在第一目标图像上进行强变化，得到第二目标图像，然后在第二目标图像上进行强变化，得到第三目标图像；或者在第一目标图像的基础上进行强变化得到第三目标图像，并根据第一目标图像、第二目标图像和第三目标图像生成上述的多个目标图像。

步骤S204，将多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果。

其中，目标像素点在多个目标图像中的位置相同，多个识别结果用于表示目标像素点的类别。

上述的模型可以是语义分割模型。

上述的多个模型可以是互学习框架中的多个模型，其中，互学习框架中可以包含有两个模型，也可以包含两个以上的模型，需要说明的是，互学习框架中的多个模型是指模型之间可以互相监督训练，其中，预测准确度较低的模型可以向预测准确度较高的模型进行学习，具体的，可以将预测准确度较高的模型的识别结果作为监督信号用于监督预测准确度较低的模型进行训练，从而提高互学习框架中模型的预测准确度。

上述的目标像素点可以是多个目标图像中处于同一位置的像素点，由于多个目标图像中处于同一位置的像素点由于不同的增强处理，其会产生一定的变化，因此，可以通过多个模型对多个目标图像进行识别，判断多个模型是否还可以准确的对多个目标图像中的目标像素点进行预测，从而确定多个模型的预测准确度。

在一种可选的实施例中，可以将多个目标图像分别输入至多个模型中，多个模型中的每个模型可以对多个目标图像中的像素点依次进行识别，得到多个目标图像中的像素点的类别。上述的目标像素点可以是依次识别过程中当前正在识别的像素点，在每识别出一个像素点的类别时，可以根据识别结果确定出预测准确度较高的模型，并将该模型的识别结果作为监督信号对多个模型中其他模型进行训练，从而提高多个模型的预测准确度。

步骤S206，基于目标像素点的多个识别结果，确定多个模型的预测准确度。

在一种可选的实施例中，可以根据多个模型对多个目标图像中目标像素点的多个识别结果，得到多个模型的预测准确度。由于多个目标图像是对同一原始图像进行不同增强处理得到的图像，因此，多个目标图像之间是具有关联的，当模型在识别多个目标图像中处于同一位置的目标像素点时，若识别结果相同，则说明模型的识别准确度较高。

步骤S208，基于多个模型的预测准确度，对多个模型进行训练。

在一种可选的实施例中，可以根据多个模型的预测准确度，从多个模型中确定出预测准确度较高的目标模型，可以将目标模型对应的目标识别结果作为监督信号用于监督其他模型进行训练，从而提高模型的预测准确度。

在另一种可选的实施例中，通过获取多个模型的预测准确度，可以得到每个模型对于目标像素点的识别能力，若模型对于目标像素点的识别能力较高，则其他模型可以向该模型进行学习，也即，将该模型的识别结果作为监督信号监督其他模型进行训练，若模型对于目标像素点的识别能力较弱，则该模型可以向其他模型进行学习，也即，将其他模型的识别结果作为监督信号监督该模型进行训练。对于多个目标图像中的每个像素点都可以获取对应的多个识别结果，并根据每个像素点对应的多个识别结果确定模型在每个像素点上的学习方向，从而指导模型的训练过程。

通过上述步骤，首先，可以获取多个目标图像，其中，多个目标图像通过原始图像进行不同的数据增强处理得到，将多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，其中，目标像素点在多个目标图像中的位置相同，多个识别结果用于表示目标像素点的类别；然后基于目标像素点的多个识别结果，确定多个模型的预测准确度；基于多个模型的预测准确度，对多个模型进行训练，实现了提高模型预测准确度的目的，由于多个目标图像是通过对原始图像进行不同的数据增强处理得到的，因此，多个目标图像中目标像素点对应的多个识别结果应该是相同的，但是不同的模型预测准确度可能存在偏差，因此，可以通过预测准确度较高的模型的识别结果对其他模型的训练过程进行监督，从而提高训练得到的多个模型的准确度，进而可以解决通过伪标签训练得到的模型的准确性较低的技术问题。

可选地，基于多个模型的预测准确度，对多个模型进行训练，包括：基于多个模型的预测准确度，确定多个模型中预测准确度最高的目标模型；获取目标模型对应的目标识别结果；基于目标识别结果对多个模型中除目标模型之外的其他模型进行训练。

在一种可选的实施例中，可以对多个模型的预测准确度进行排序，确定出预测准确度最高的目标模型，并获取到目标模型对应的目标识别结果，由于目标模型的预测准确度最高，因此认为该模型对于目标像素点的识别能力最强，因此，可以将目标识别结果作为监督信号对除目标模型之外的其他模型进行训练，从而提高其他模型对于目标像素点的识别识别，从而提高其他模型的预测准确度。

可选地，基于目标像素点的多个识别结果，确定多个模型的预测准确度，包括：对多个模型中每个模型输出的多个识别结果之间的相似度进行比对，得到多个模型对应的多个第一比对结果，其中，多个第一比对结果用于表示多个模型预测得到的目标像素点在多个目标图像中的类别是否相同；基于多个第一比对结果，确定多个模型在目标像素点的预测准确度。

在一种可选的实施例中，可以对多个模型中每个模型输出的多个识别结果之间的相似度进行比对，确定多个识别结果是否相同，由于多个目标图像是来自于同一原始图像的，因此，对于多个目标图像中的同一目标像素点的识别结果应该是相同的，但是由于多个目标图像是经过数据增强处理的图像，会导致同一目标像素点产生形变，当不同模型对多个目标图像中的同一目标像素点进行识别时，由于不同的模型具有不同的预测能力，因此，会识别出不同的结果。此时，可以通过识别结果之间的相似度来确定出多个模型在目标像素点的预测准确度，当模型识别出的多个目标图像的识别结果相似度越高，则说明模型的预测能力越强，当模型识别出的多个目标图像的识别结果的相似度越低，则说明模型的预测能力越弱。

在另一种可选的实施例中，可以使用模型对多个目标图像中数据增强效果较弱的目标图像进行识别，得到该目标图像对应的识别结果，该识别结果更接近与原始图像中目标像素点的识别结果，然后使用模型对多个目标图像中数据增强效果较强的目标图像进行识别，得到该目标图像对应的识别结果，将这两个识别结果进行相似度比对，可以得到第一比对结果。对其他模型也进行相同的处理，可以得到多个模型对应的多个第一比对结果，其中，当第一比对结果中的相似度越高，则说明模型对应的预测准确度越高，当第一比对结果中的相似度越低，则说明模型对应的预测准确度越低。

可选地，该方法还包括：对多个目标图像中处于同一位置的目标像素点之间的相似度进行比对，得到第二比对结果，其中，第二比对结果用于表示目标像素点在多个目标图像之间的差异是否大于预设阈值；基于多个第一比对结果和第二比对结果，确定多个模型在目标像素点的预测准确度。

上述的预设阈值可以自行设置。其中，预设阈值用于表示模型输出的识别结果是否可信，当目标像素点在多个目标图像之间的差异大于预设阈值时，说明模型输出的识别结果不可信，当目标像素点在多个目标图像之间的差异小与或等于预设阈值时，说明模型输出的识别结果可信。

在一种可选的实施例中，若多个目标图像中处于同一位置的目标像素点之间的形状或颜色差异较大，则模型很难识别出相同的结果，此时，可以认为模型在目标像素点上的预测结果不准确的，针对该目标像素点的学习效果较差，可以不需要根据多个模型的预测准确度来对多个模型进行训练。

在另一种可选的实施例中，可以对多个目标像素点之间的相似度进行比对，得到第二比对结果，第二比对结果可以用于表示多个第一比对结果是否可信，若第二比对结果为目标像素点在多个目标图像之间的差异大于预设阈值，则说明第一比对结果不可信，此时，可以确定多个模型在目标像素点的预测准确度较低；若第二比对结果为目标像素点在多个目标图像之间的差异小于或等于预设阈值，则说明第一比对结果可信，此时，可以基于第一比对结果确定多个模型在目标像素点的预测准确度。

可选地，获取多个目标图像，包括：获取原始图像；对原始图像进行第一增强处理，得到第一目标图像；对第一目标图像进行第二增强处理，得到第二目标图像；对第二目标图像进行第二增强处理，得到第三目标图像；基于第一目标图像、第二目标图像和第三目标图像，得到多个目标图像。

上述的第一增强处理可以是增强效果较弱的处理，例如，对原始图像进行随机水平剪裁、随机旋转等，其不会影响原始图像中显示的内容。

上述的第二增强处理可以是增强效果较强的处理，例如，对原始图像进行颜色扰动，内容擦除处理等，其可能会影响原始图像中显示的内容。

在一种可选的实施例中，可以先对原始图像进行第一增强处理，得到第一目标图像；然后在第一目标图像的基础上进行第二增强处理，得到第三目标图像，其中，第一目标图像、第二目标图像和第三目标图像都使用的是原始图像对应的标签，通过多次增强，可以增加目标图像的数量，可以提高模型的训练效果。

在另一种可选的实施例中，可以先对原始图像进行第一增强处理，得到第一目标图像，可以对原始图像随机进行第二增强处理，得到第二目标图像，还可以再对原始图像再次随机进行第二增强处理，得到第三目标图像。

在又一种可选的实施例中，可以先对原始图像进行第一增强处理，得到第一目标图像，可以对第一目标图像随机进行第二增强处理，得到第二目标图像，还可以对第一目标图像再次随机进行第二增强处理，得到第三目标图像。

可选地，多个模型至少包括第一模型、第二模型，将多个目标图像输入至多个模型中，得到多个模型输出的目标像素点的多个识别结果，包括：将第一目标图像和第二目标图像分别输入至第一模型中，得到第一模型输出的第一识别结果和第二识别结果，其中，第一识别结果用于表示第一目标图像中的目标像素点的类别，第二识别结果用于表示第二目标图像中目标像素点的类别；将第一目标图像和第三目标图像分别输入至第二模型中，得到第二模型输出的第三识别结果和第四识别结果，其中，第三识别结果用于表示第一目标图像中的目标像素的类别，第四识别结果用于表示第三目标图像中目标像素点的类别。

上述的第一模型和第二模型可以为互学习框架中的两个模型，这两个模型可以根据在像素点上的预测结果互相进行学习。对于每个像素点，第一模型和第二模型都可以根据预测准确度更换学习方向，从而提高模型的训练效果。

在一种可选的实施例中，可以将第一目标图像和第二目标图像分别属入至第一模型中，得到第一模型输出的第一识别结果和第二识别结果，可以对第一识别结果和第二识别结果进行相似度对比，确定第一模型是否能够准确预测目标像素点在第一目标图像和第二目标图像中的类别，由于第一目标图像是对原始图像进行较弱的增强处理得到的目标图像，因此，目标图像中目标像素点的类别与原始图像中目标像素点的类别基本相同，若第一识别结果和第二识别结果之间的相似度较高，则说明模型对第二目标图像的预测能力较强，也即，在对原始图像进行较强的增强处理之后得到的目标图像的预测能力较强。

进一步地，为了确定第一识别结果和第二识别结果的可信度，可以通过比较第一目标图像和第二目标图像中目标像素点的差异，若两个目标图像中目标像素点的差异较大，则说明目标像素点的类型很有可能发生变化，导致第一识别结果和第二识别结果的准确性可能会收到影响，此时，可以确定第一模型对应的预测准确度较低。若两个目标图像中目标像素点的差异较小，则说明目标像素点的类型没有受到影响，即第一识别结果和第二识别结果的准确性较强，此时，可以根据第一识别结果和第二识别结果之间的相似度确定第一模型的预测准确度。

在另一种可选的实施例中，可以将第一目标图像和第三目标图像分别属入至第二模型中，得到第二模型输出的第三识别结果和第四识别结果，可以对第三识别结果和第四识别结果进行相似度对比，确定第二模型是否能够准确预测目标像素点在第一目标图像和第三目标图像中的类别，由于第一目标图像是对原始图像进行较弱的增强处理得到的目标图像，因此，目标图像中目标像素点的类别与原始图像中目标像素点的类别基本相同，若第三识别结果和第四识别结果之间的相似度较高，则说明模型对第三目标图像的预测能力较强，也即，在对原始图像进行较强的增强处理之后得到的目标图像的预测能力较强。

进一步地，为了确定第三识别结果和第四识别结果的可信度，可以通过比较第一目标图像和第三目标图像中目标像素点的差异，若两个目标图像中目标像素点的差异较大，则说明目标像素点的类型很有可能发生变化，导致第一识别结果和第二识别结果的准确性可能会收到影响，此时，可以确定第一模型对应的预测准确度较低。若两个目标图像中目标像素点的差异较小，则说明目标像素点的类型没有受到影响，即第三识别结果和第四识别结果的准确性较强，此时，可以根据第三识别结果和第四识别结果之间的相似度确定第二模型的预测准确度。

通过上述第一模型和第二模型的在目标像素点上的预测准确度，可以确定第一模型和第二模型的学习方向，也即，在第一模型的预测准确度大于第二模型的预测准确度时，可以根据第一模型的识别结果对第二模型进行训练；当第二模型的预测准确度大于第一模型的预测准确度时，可以根据第二模型的识别结果对第一模型进行训练。

可选的，可以通过数值表现第一模型和第二模型的预测准确度。对于多个目标图像中的其他像素点也可以采用上述的方式确定多个模型的学习方向。

对于多个目标图像中的任意一个像素点，可以根据多个模型对该像素点的识别结果对多个模型的学习方向进行反转，从而提高多个模型的准确度。

下面结合图3对本公开其中一实施例进行详细说明，如图3所示，该方法包括：

步骤S301，对原始图像进行第一增强处理得到第一目标图像；

步骤S302，对第一目标图像进行第二增强处理得到第二目标图像；

步骤S303，对第二目标图像进行第二增强处理得到第三目标图像；

步骤S304，将第一目标图像和第二目标图像输入至第一模型中，得到第一识别结果和第二识别结果；

上述的第一识别结果可以是第一目标图像中目标像素点的类别，上述的第二识别结果可以是第二目标图像中目标像素点的类别。

步骤S305，将第一目标图像和第三目标图像输入至第二模型中，得到第三识别结果和第四识别结果；

上述的第三识别结果可以第一目标图像中目标像素点的类别，上述的第四识别结果可以是第三目标图像中目标像素点的类别。

步骤S306，根据第一识别结果和第二识别结果的相似度，确定第一模型的预测准确度；

可以先确定第一目标图像和第二目标图像中的目标像素点之间的相似度是否大于预设阈值，若大于预设阈值，则说明目标像素点本身的类型可能会发生变化，其识别结果不具有参考性，也即，第一模型的预测准确度较低。若小于预设阈值，则说明目标像素点本身的类型没有发生较大的改变，其识别结果具有参考性，可以根据第一识别结果和第二识别结果的相似度确定第一模型的预测准确度。

步骤S307，根据第三识别结果和第四识别结果的相似度，确定第二模型的预测准确度；

可以先确定第一目标图像和第三目标图像中的目标像素点之间的相似度是否大于预设阈值，若大于预设阈值，则说明目标像素点本身的类型可能会发生变化，其识别结果不具有参考性，也即，第二模型的预测准确度较低。若小于预设阈值，则说明目标像素点本身的类型没有发生较大的改变，其识别结果具有参考性，可以根据第三识别结果和第四识别结果的相似度确定第二模型的预测准确度。

步骤S308，根据第一模型的预测准确度和第二模型的预测准确度确定第一模型和第二模型的学习方向。

上述的学习方向用于表示第一模型向第二模型进行学习，或者第二模型向第一模型进行学习。

若第一模型的预测准确度相较于第二模型的预测准确度较高，则可以根据第一模型的多个识别结果对第二模型进行训练，反之则根据第二模型的多个识别结果对第一模型进行训练。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本公开各个实施例的方法。

在本公开中还提供了一种图像语义分割模型优化装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本公开其中一实施例的一种图像语义分割模型优化装置的结构框图，如图4所示，一种图像语义分割模型优化装置400包括：获取模块402、输入模块404、确定模块406、训练模块408。

其中，获取模块202用于获取多个目标图像，其中，多个目标图像通过对原始图像进行不同的数据增强处理得到；输入模块204用于将多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，其中，目标像素点在多个目标图像中的位置相同，多个识别结果用于表示目标像素点的类别；确定模块206用于基于目标像素点的多个识别结果，确定多个模型的预测准确度；训练模块208用于基于多个模型的预测准确度，对多个模型进行训练。

可选地，训练模块包括：确定单元，用于基于多个模型的预测准确度，确定多个模型中预测准确度最高的目标模型；获取单元，用于获取目标模型对应的目标识别结果；训练单元，用于基于目标识别结果对多个模型中除目标模型之外的其他模型进行训练。

可选地，确定单元用于对多个模型中每个模型输出的多个识别结果之间的相似度进行比对，得到多个模型对应的多个第一比对结果，其中，多个第一比对结果用于表示多个模型预测得到的目标像素点在多个目标图像中的类别是否相同，基于多个第一比对结果，确定多个模型在目标像素点的预测准确度。

可选地，该装置还包括：比对模块，用于对多个目标图像中处于同一位置的目标像素点之间的相似度进行比对，得到第二比对结果，其中，第二比对结果用于表示目标像素点在多个目标图像之间的差异是否大于预设阈值；确定模块还用于基于多个第一比对结果和第二比对结果，确定多个模型在目标像素点的预测准确度。

可选地，获取模块包括：获取单元，用于获取原始图像；处理单元，用于对原始图像进行第一增强处理，得到第一目标图像；处理单元还用于对第一目标图像进行第二增强处理，得到第二目标图像；处理单元还用于对第二目标图像进行第二增强处理，得到第三目标图像；生成单元，用于基于第一目标图像、第二目标图像和第三目标图像，得到多个目标图像。

可选地，多个模型至少包括第一模型、第二模型，输入模块，包括：第一输入单元，用于将第一目标图像和第二目标图像分别输入至第一模型中，得到第一模型输出的第一识别结果和第二识别结果，其中，第一识别结果用于表示第一目标图像中的目标像素点的类别，第二识别结果用于表示第二目标图像中目标像素点的类别；第二输入单元，用于将第一目标图像和第三目标图像分别输入至第二模型中，得到第二模型输出的第三识别结果和第四识别结果，其中，第三识别结果用于表示第一目标图像中的目标像素的类别，第四识别结果用于表示第三目标图像中目标像素点的类别。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

根据本公开的实施例，本公开还提供了一种电子设备，包括存储器和至少一个处理器，该存储器中存储有计算机指令，该处理器被设置为运行计算机指令以执行上述任一项方法实施例中的步骤。

可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本公开中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取多个目标图像，其中，多个目标图像通过对原始图像进行不同的数据增强处理得到；

S2，将多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，其中，目标像素点在多个目标图像中的位置相同，多个识别结果用于表示目标像素点的类别；

S3，基于目标像素点的多个识别结果，确定多个模型的预测准确度；

S4，基于多个模型的预测准确度，对多个模型进行训练。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该非瞬时计算机可读存储介质中存储有计算机指令，其中，该计算机指令被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述非易失性存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取多个目标图像，其中，多个目标图像通过对原始图像进行不同的数据增强处理得到；

S2，将多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，其中，目标像素点在多个目标图像中的位置相同，多个识别结果用于表示目标像素点的类别；

S3，基于目标像素点的多个识别结果，确定多个模型的预测准确度；

S4，基于多个模型的预测准确度，对多个模型进行训练。

可选地，在本实施例中，上述非瞬时计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的实施例，本公开还提供了一种计算机程序产品。用于实施本公开上述方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本公开所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM)、随机存取存储器(RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本公开的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。

Claims (10)

1.一种图像语义分割模型优化方法，其中，包括：

获取多个目标图像，其中，所述多个目标图像通过对原始图像进行不同的数据增强处理得到；

将所述多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，其中，所述目标像素点在所述多个目标图像中的位置相同，所述多个识别结果用于表示所述目标像素点的类别；

基于所述目标像素点的多个识别结果，确定所述多个模型的预测准确度；

基于所述多个模型的预测准确度，对所述多个模型进行训练。

2.根据权利要求1所述的方法，其中，基于所述多个模型的预测准确度，对所述多个模型进行训练，包括：

基于所述多个模型的所述预测准确度，确定所述多个模型中预测准确度最高的目标模型；

获取所述目标模型对应的目标识别结果；

基于所述目标识别结果对所述多个模型中除所述目标模型之外的其他模型进行训练。

3.根据权利要求1所述的方法，其中，基于所述目标像素点的多个识别结果，确定所述多个模型的预测准确度，包括：

对所述多个模型中每个模型输出的多个识别结果之间的相似度进行比对，得到所述多个模型对应的多个第一比对结果，其中，所述多个第一比对结果用于表示所述多个模型预测得到的所述目标像素点在所述多个目标图像中的类别是否相同；

基于所述多个第一比对结果，确定所述多个模型在所述目标像素点的预测准确度。

4.根据权利要求3所述的方法，其中，所述方法还包括：

对所述多个目标图像中处于同一位置的所述目标像素点之间的相似度进行比对，得到第二比对结果，其中，所述第二比对结果用于表示所述目标像素点在所述多个目标图像之间的差异是否大于预设阈值；

基于所述多个第一比对结果和所述第二比对结果，确定所述多个模型在所述目标像素点的预测准确度。

5.根据权利要求1所述的方法，其中，获取多个目标图像，包括：

获取原始图像；

对所述原始图像进行第一增强处理，得到第一目标图像；

对所述第一目标图像进行第二增强处理，得到第二目标图像；

对所述第二目标图像进行所述第二增强处理，得到第三目标图像；

基于所述第一目标图像、所述第二目标图像和所述第三目标图像，得到所述多个目标图像。

6.根据权利要求5所述的方法，其中，所述多个模型至少包括第一模型、第二模型，将所述多个目标图像输入至多个模型中，得到所述多个模型输出的目标像素点的多个识别结果，包括：

将所述第一目标图像和所述第二目标图像分别输入至所述第一模型中，得到所述第一模型输出的第一识别结果和第二识别结果，其中，所述第一识别结果用于表示所述第一目标图像中的所述目标像素点的类别，所述第二识别结果用于表示所述第二目标图像中所述目标像素点的类别；

将所述第一目标图像和所述第三目标图像分别输入至所述第二模型中，得到所述第二模型输出的第三识别结果和第四识别结果，其中，所述第三识别结果用于表示所述第一目标图像中的所述目标像素的类别，所述第四识别结果用于表示所述第三目标图像中所述目标像素点的类别。

7.一种图像语义分割模型优化装置，其中，包括：

获取模块，用于获取多个目标图像，其中，所述多个目标图像通过对原始图像进行不同的数据增强处理得到；

输入模块，用于将所述多个目标图像分别输入至多个模型中，得到目标像素点的多个识别结果，所述目标像素点在所述多个目标图像中的位置相同，所述多个识别结果用于表示所述目标像素点的类别；

确定模块，用于基于所述目标像素点的多个识别结果，确定所述多个模型的预测准确度；

训练模块，用于基于所述多个模型的预测准确度，对所述多个模型进行训练。

8.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images