CN113255427B - 数据处理方法、装置、电子设备和存储介质 - Google Patents

数据处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113255427B
CN113255427B CN202110178299.XA CN202110178299A CN113255427B CN 113255427 B CN113255427 B CN 113255427B CN 202110178299 A CN202110178299 A CN 202110178299A CN 113255427 B CN113255427 B CN 113255427B
Authority
CN
China
Prior art keywords
data
training data
classification model
training
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110178299.XA
Other languages
English (en)
Other versions
CN113255427A (zh
Inventor
袁建龙
王志斌
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202110178299.XA priority Critical patent/CN113255427B/zh
Publication of CN113255427A publication Critical patent/CN113255427A/zh
Application granted granted Critical
Publication of CN113255427B publication Critical patent/CN113255427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种数据处理方法、装置、电子设备和存储介质，所述的方法包括：获取待处理的图像数据；将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定；能够提升对图像数据的识别准确度。

Description

数据处理方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质。
背景技术
图像分类是根据目标对象各自在图像信息中所反映的不同特征，把不同类别的目标对象区分开来的图像处理方法。图像分类可以应用在多种场景中，如可以应用在遥感图像分类(或称识别)、电商商品图像分类等场景中。
举例来说，在遥感科学技术中，遥感图像识别(image recognition of remotesensing)是，利用分类模型对遥感图像中各类地物的光谱信息和空间信息进行分析，选择特征，并将特征空间划分为互不重叠的子空间(或称子图)，然后将图像中的各个像元划归到各个子空间对应的地物类别去，如，划归为山脉类、农田类、森林类、牧场类、城市用地类、荒地类、水体类等。
但是，目前的分类模型通常是采用少量已标注的训练数据进行训练，导致分类模型对图像数据的识别准确度低。
发明内容
本申请实施例提供了一种数据处理方法，以提升对图像的识别准确度。
相应的，本申请实施例还提供了一种数据处理装置、一种电子设备和一种存储介质，用以保证上述***的实现及应用。
为了解决上述问题，本申请实施例公开了一种数据处理方法，所述的方法包括：获取待处理的图像数据；将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。
为了解决上述问题，本申请实施例公开了一种数据处理方法，包括：提供服务页面，所述服务页面包括数据上传控件；依据对所述数据上传控件的触发，获取待处理的图像数据，并上传给服务端，服务端所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定；接收数据分类结果，并在服务页面中进行展示。
为了解决上述问题，本申请实施例公开了一种数据处理方法，包括：提供第一接口，以接收已标注的第一训练数据和未标注的第二训练数据；依据已标注的第一训练数据和待训练的分类模型，确定第一损失函数；对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据；将至少两个扩充训练数据输入到分类模型中，得到扩充输出数据，并依据扩充输出数据之间的数据一致性，确定第二损失函数；依据所述第一损失函数和第二损失函数，对分类模型进行调整，以确定训练完成的分类模型，并通过第二接口下发训练完成的分类模型。
为了解决上述问题，本申请实施例公开了一种数据处理方法，包括：提供数据交互页面，所述数据交互页面包括用于上传数据的数据上传控件；依据对数据上传控件的触发，获取已标注的第一训练数据和未标注的第二训练数据，并上传给服务端，以便服务端依据扩充训练数据和已标注的第一训练数据，训练分类模型，所述扩充训练数据依据未标注的第二训练数据确定；接收训练完成的分类模型。
为了解决上述问题，本申请实施例公开了一种数据处理装置，所述的装置包括：图像数据获取模块，用于获取待处理的图像数据；分类结果获取模块，用于将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。
为了解决上述问题，本申请实施例公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如上述实施例中一个或多个所述的方法。
为了解决上述问题，本申请实施例公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如上述实施例中一个或多个所述的方法。
与现有技术相比，本申请实施例包括以下优点：
在本申请实施例中，在分类模型的训练阶段，可以获取已标注的第一训练数据和未标注的第二训练数据，之后，一方面可以依据已标注的第一训练数据，确定第一损失函数；另一方面可以对第二训练数据进行数据扰动，得到至少两个扩充训练数据，并将扩充训练数据输入到分类模型中，得到目标输出数据，以依据目标输出数据之间的数据一致性，确定第二损失函数；然后依据第一损失函数和第二损失函数对分类模型进行调整，从而得到训练完成的分类模型。在分类模型训练完成后，可以通过分类模型对待处理的图像数据进行处理，得到相应的数据分类结果。本申请实施例中，一方面可以利用已标注的第一训练数据进行有监督训练，另一方面可以利用未标注的第二训练数据进行数据扰动，并依据数据扰动后的输出数据之间的数据一致性，对分类模型进行无监督训练；能够利用少量的已标注数据结合大量的未标注数据对分类模型进行训练，从而能够提升训练完成的分类模型的识别准确度。
附图说明
图1是本申请一个实施例的数据处理方法的流程示意图；
图2是本申请另一个实施例的数据处理方法的流程示意图；
图3是本申请再一个实施例的数据处理方法的流程示意图；
图4A是本申请再一个实施例的数据处理方法的流程示意图；
图4B是本申请再一个实施例的数据处理方法的流程示意图；
图4C是本申请再一个实施例的数据处理方法的流程示意图；
图5A是本申请再一个实施例的数据处理方法的流程示意图；
图5B是本申请再一个实施例的数据处理方法的流程示意图；
图6是本申请再一个实施例的数据处理方法的流程示意图；
图7是本申请一个实施例的数据处理装置的结构示意图；
图8是本申请另一个实施例的数据处理装置的结构示意图；
图9是本申请再一个实施例的数据处理装置的结构示意图；
图10是本申请再一个实施例的数据处理装置的结构示意图；
图11是本申请一个实施例提供的示例性装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请实施例可以应用在对图像分类的领域中，图像分类是根据目标对象各自在图像信息中所反映的不同特征，把不同类别的目标对象区分开来的图像处理方法。例如，本申请实施例可以应用在对遥感图像分类(或称识别)的场景、对电商商品图像进行识别以对电商商品进行分类的场景、对教育领域中的教辅图像材料进行分类的场景、对会议图像中的人员进行分类的场景。
下面，以将本申请实施例应用在对遥感图像进行识别的场景为例，对本申请实施例的数据处理方法进行描述，其中，遥感图像识别(image recognition of remotesensing)是利用分类模型对遥感图像中各类地物的光谱信息和空间信息进行分析，选择特征，并将特征空间划分为互不重叠的子空间(或称子图)，然后将图像中的各个像元划归到各个子空间对应的地物类别去，如，划归为山脉类、农田类、森林类、牧场类、城市用地类、荒地类、水体类等。
本申请实施例的方式，在分类模型的训练阶段，可以依据已标注的遥感图像和未标注的遥感图像对进行遥感图像识别的分类模型进行训练，从而提升训练完成的分类模型的识别准确度。
具体来说，如图1所示，本申请实施例可以获取已标注的遥感图像数据，作为第一训练数据，获取未标注的遥感图像数据，作为第二训练数据。对于第一训练数据来说，可以采取有监督的方式对分类模型训练，可以将第一训练数据输入到分类模型中，得到第一输出数据，并依据第一输出数据和第一训练数据的第一标注数据，确定第一损失函数，第一损失函数表征分类模型预测的好坏(或称风险、损失)，第一损失函数依据的第一输出数据与第一标注数据之间差异程度确定，本实施例可以依据第一损失函数确定模型参数估计信息，并依据模型参数估计信息对分类模型的参数进行调整，以提高分类模型的准确度。对于第二训练数据来说，可以采取无监督的方式对分类模型进行训练，具体的，可以对第二训练数据进行数据扰动，确定至少两个扩充训练数据，其中，数据扰动是指对第二训练数据进行图像的调整，如对图像进行平移、旋转、缩放、翻转、仿射变换、裁剪、增噪等处理。在确定了扩充训练数据之后，可以将至少两个扩充训练数据输入到分类模型中，得到扩充训练数据的扩充输出数据(或称目标输出数据)。之后，可以按照扩充训练数据的数据扰动方式，对扩充输出数据进行逆处理，并依据至少两个逆处理后的扩充输出数据之间的数据一致性，确定第二损失函数，第二损失函数表征分类模型预测的好坏，第二损失函数依据的扩充输出数据之间的数据一致性程度高低来确定，本实施例可以依据第二损失函数，确定模型参数估计信息，并依据模型参数估计信息对分类模型的参数进行调整，以提高分类模型的准确度。在确定了第一损失函数和第二损失函数之后，可以依据第一损失函数和第二损失函数，确定模型参数估计信息，并依据模型参数估计信息来对分类模型进行反向传播调整，以得到训练完成的分类模型。
本申请实施例中，一方面可以利用已标注的第一训练数据进行有监督训练，另一方面可以利用未标注的第二训练数据进行数据扰动，并依据数据扰动后的输出数据之间的数据一致性，对分类模型进行无监督训练；能够利用少量的已标注数据结合大量的未标注数据对分类模型进行训练，从而能够提升分类模型的识别准确度。
本申请实施例是对分类模型的基础层面的改进，因此，本申请实施例的方式可以应用在各类对于图像进行分类的分类模型中，例如，本申请实施例可以应用在对遥感图像进行识别的分类模型中，举例来说，可以应用在将遥感图像的各子图划分为不同类别的分类模型中，如可以应用在将遥感图的各子图划分为第一等级的类别的分类模型中，其中，第一等级的类别可以为农田、森林、牧场、城市用地、荒地、水体等；再例如，本申请实施例的方式可以应用在将遥感图像的各子图划分为第二等级的类别的分类模型中，其中，第二等级的类别可以为第一等级的类别的进一步细分，如城市用地中的建筑物、公园、街道、绿地、城市树木景观、城市河流等。
本申请实施例还可以应用在对其他图像数据的分类场景中，例如，可以应用在对电商商品图像进行分类的场景中，如第一类别为服饰、家居用品、家用电器、美妆产品等，第二类别如家用电器类可包括大家电、厨房电器等，又如服饰类可包括上衣、裤子、裙子等服饰的类别，家居用品也可为厨房用品、收纳用品等，具体可依据商品对象的场景确定。
还可以应用在对会议图像中各目标对象进行分割的场景中，还可以应用在对教育领域中的教辅图像材料进行分类的场景中，还可以应用在对综艺视频、娱乐视频、直播视频等视频的图像进行分析的场景中。
下面，以将本申请实施例应用在对遥感图像进行识别的场景为例，对分类模型的训练过程进行描述，本申请实施例提供一种数据处理方法，可以通过服务端来执行，服务端可以理解为进行分类模型的训练的设备，本方法可以依据已标注的第一训练数据和未标注的第二训练数据，对分类模型进行训练，能够提升分类模型对于遥感图像识别的准确性。具体的，如图2所示，所述的方法包括：
步骤202、依据已标注的第一训练数据，确定第一损失函数。第一训练数据和第二训练数据可以理解为遥感图像，本申请实施例在训练分类模型的之前，可以将已标注的数据划分为训练集、测试集和验证集，其中，训练集中的已标注数据(可以理解为第一训练数据)用于对分类模型进行训练。测试集中的已标注数据用于对训练后的分类模型进行测试，以确定分类模型是否收敛。验证集中的已标注数据可以用于对训练完成的分类模型进行性能验证。
本申请实施例可以预先获取带有标注(或称标记)的遥感图像和未带有标注的遥感图像，作为第一训练数据和第二训练数据。具体的，作为一个可选的实施例，所述方法还包括：获取已标注的第一遥感图像数据，作为第一训练数据；获取未标注的第二遥感图像数据，作为第二训练数据。遥感图像数据的标注与分类模型的分类情况相关，具体可依据需求设置。例如，若分类模型用于将遥感图像数据的子图划分为第一等级的类别，则遥感图像数据的标注与第一等级的类别对应；若分类模型用于将遥感图像数据的子图划分为第二等级的类别，则遥感图像数据的标注为第二等级的类别对应。
第一损失函数表征分类模型对于有标注的数据的输出数据(或称输出结果)所对应的风险(或称损失)，第一损失函数的大小依据第一输出数据与第一标注数据之间的差异来确定，其中，第一输出数据依据已标注的第一训练数据和分类模型确定，具体的，作为一个可选的实施例，所述依据已标注的第一训练数据，确定第一损失函数，包括：将第一训练数据输入到分类模型中，确定第一输出数据；依据第一输出数据以及第一训练数据的第一标注数据之间的差异，确定第一损失函数。第一输出数据与第一标注数据之间的差异越大，表征分类模型预测的偏差(风险)越大(分类模型预测越坏)，相应的第一损失函数越大。确定第一损失函数后，可以依据第一损失函数，确定分类模型的参数的调整量，进而对分类模型的参数进行调整，以提升分类模型的准确度。其中，第一损失函数越大，则对分类模型的参数的调整量越大；第一损失函数越小，则对分类模型的参数的调整量越小。在一个可选的实施例中，第一损失函数可以采取交叉熵损失函数，交叉熵主要用于度量两个概率分布间的差异性信息。本申请实施例可以依据分类模型的第一输出数据和第一标注数据之间的差异信息，来确定第一损失函数。
对于第二训练数据来说，可以在步骤204中，对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据。并在步骤206中，将至少两个扩充训练数据输入到分类模型中，得到目标输出数据，并依据目标输出数据之间的数据一致性，确定第二损失函数。第二损失函数表征分类模型对于无标注的训练数据的输出结果所对应的风险(或称损失)，第二损失函数的大小依据至少两个目标输出数据之间的数据一致性来确定，在数据一致性高的情况下，表征分类模型的预测准确度高(风险小、分类模型预测的好)，相应的第二损失函数越低；反之，则第二损失函数越高。在确定第二损失函数之后，可以依据第二损失函数，确定对分类模型的参数的调整量，进而对分类模型的参数进行调整，以降低分类模型对应的风险。其中，第二损失函数越大，则对分类模型的参数的调整量越大；第二损失函数越小，则对分类模型的参数的调整量越小。
本申请实施例可以先对第二训练数据进行至少两次不同的数据调整，得到至少两个扩充训练数据，之后依据分类模型对至少两个扩充训练数据进行分析，得到对应的目标输出数据。其中，由于两个扩充训练数据均是依据第二训练数据进行调整后得到的，所以分类模型的对于扩充训练数据的输出结果应该相似，因此，本申请实施例可以分析扩充训练数据的输出数据之间的数据一致性，来确定该训练数据的第二损失函数，以便依据第二损失函数来调整分类模型，输出数据之间的数据一致性越高，则第二损失函数越低，反之，则第二损失函数越高。
本实施例可以对第二训练数据进行平移、旋转、缩放等处理，从而得到扩充训练数据，具体的，作为一个可选的实施例，所述对未标注的第二训练数据进行数据扰动，确定扩充训练数据，包括：对第二训练数据进行平移处理，得到扩充训练数据；对第二训练数据进行旋转处理，得到扩充训练数据；对第二训练数据进行缩放处理，得到扩充训练数据；对第二训练数据进行翻转处理，得到扩充训练数据；对第二训练数据进行仿射变换，得到扩充训练数据；对第二训练数据进行裁剪处理，得到扩充训练数据；对第二训练数据进行增噪处理，得到扩充训练数据。其中，平移处理、旋转处理、缩放处理、翻转处理、仿射变换、裁剪处理、增噪处理可以理解为对遥感图像的整体、或遥感图像中某个子图、或遥感图像中某个区域、或遥感图像中某个像素点进行调整处理。本申请实施例可以采取数据扰动的方式，来新增出至少两个扩充训练数据，并将两个扩充训练数据的扩充输出结果逐像素进行一致性分析，从而得到第二损失函数。
具体的，由于扩充训练数据是通过对第二训练数据进行数据扰动后产生的，因此，在将扩充训练数据的扩充输出数据进行对比之前，需要先对扩充输出结果进行逆变换，以便进行逐像素的对比。具体的，作为一个可选的实施例，所述依据目标输出数据之间的数据一致性，确定第二损失函数，包括：依据扩充训练数据的数据扰动方式，对扩充训练数据的扩充输出数据进行逆变换处理；依据逆变换处理后的扩充输出数据之间的数据一致性，确定第二损失函数。本申请实施例采用的是将扩充输出数据逆变换为对应第二训练数据的输出数据，以便进行数据的一致性分析，得到第二损失函数。在其他可选的实施例中，可以依据第一扩充训练数据的第一数据扰动方式和第二扩充训练数据的第二数据扰动方式，将第二扩充训练数据的第一扩充输出数据进行逆变换处理，得到的逆变换处理后的第一扩充输出数据。其中，逆变换处理后的第一扩充输出数据，与第二扩充训练数据对应，以便与第二扩充训练数据的第二扩充输出数据进行一致性分析。
另外，上述实施例是对第二训练数据进行至少两次数据扰动，得到两个扩充训练数据的方式，并对至少两个扩充训练数据的输出数据之间进行一致性分析，得到第二损失函数。本申请实施例除了可以采用上述实施例提供的方式来确定第二损失函数之外，还可以采用其他方式来确定第二损失函数。例如，本申请实施例可以对第二训练数据进行数据扰动，得到扩充训练数据，并将扩充训练数据与第二训练数据输入到分类模型中，得到对应的输出数据，并对第二训练数据与扩充训练数据的输出数据进行一致性分析，得到第二损失函数。再例如，本申请实施例还可以对第二训练数据进行至少两次数据扰动，得到至少两个扩充训练数据，之后，将第二训练数据和至少两个扩充训练数据输入到分类模型中，得到输出结果。之后，可以对至少两个扩充训练数据的输出数据，确定第二标注数据，并分析第二训练数据的第二输出数据与第二标注数据之间的差异性，得到第二损失函数。举例来说，两个扩充训练数据的输出数据中两个子图可能分别包含第一区域和第二区域，本申请实施例可以确定第一区域框和第二区域框的区域线之间的目标区域框，从而确定目标区域框内的子图作为第二标注数据，以确定第二损失函数。
在确定了第一损失函数和第二损失函数之后，可以在步骤208中，依据所述第一损失函数和所述第二损失函数，对分类模型进行调整。本申请实施例中，可以依据第一损失函数和第二损失函数，确定模型参数估计信息，并利用模型参数估计信息对分类模型进行调整，具体的，作为一个可选的实施例，依据所述第一损失函数和所述第二损失函数，对分类模型进行调整，包括：依据第一损失函数和第二损失函数，确定模型参数估计信息；依据模型参数估计信息，对分类模型进行反向传播调整。在确定了模型参数估计信息之后，可以利用该模型参数估计信息和分类模型的参数，确定相应的参数的调整量，进而依据参数的调整量对分类模型的参数进行调整，例如可以采用反向传播(Backpropagation algorithm，BP)算法、随机梯度下降(Stochastic Gradient Descent,SGD)算法等算法对分类模型进行调整。其中，反向传播(Backpropagation algorithm，BP)算法，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上，反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。随机梯度下降算法是梯度下降算法中的一种，是机器学习中较常使用的优化算法。本申请实施例除了可以依据上述方式进行反向传播调整之外，还可以利用第一损失函数和第二损失函数分别的对分类模型进行调整，从而得到训练完成分类模型。
下面，结合一个具体的示例来对分类模型的训练过程进行描述，具体的，训练样本一般分为两个部分：
已标注的数据
Figure BDA0002941426610000101
和未标注的数据
Figure BDA0002941426610000102
假设数据一共有C个类别，则
Figure BDA0002941426610000103
其中，NL和NU分别为已标注的数据和未标注的数据的数量，无标注数据的数量一般远大于标注数据。服务端可以获取已标注的第一训练数据和未标注第二训练数据，其中，对于第一训练数据来说，可以将其输入到分类模型中，得到第一输出数据，并结合第一训练数据的第一标注数据，确定第一损失函数Ls，第一损失函数还可以称为第一损失项、监督损失项等。
对于第二训练数据来说，可以采用数据扰动的方式，确定至少两个扩充训练数据(本实施例以两个为例)，其中，数据扰动还可以称为随机变换，可以用
Figure BDA0002941426610000104
和
Figure BDA0002941426610000105
进行表示。扩充训练数据可以用
Figure BDA0002941426610000106
和
Figure BDA0002941426610000107
进行表示。即
Figure BDA0002941426610000108
之后，将两个扩充训练数据输入到分类模型中，得到输出数据，可以用
Figure BDA0002941426610000109
和
Figure BDA00029414266100001010
进行表示。之后，可以对两个输出进行逆变换处理，逆变换处理可以用
Figure BDA00029414266100001011
和
Figure BDA00029414266100001012
进行表示，最后，可以通过逆变换处理后的输出数据，确定第二损失函数Lu，第二损失函数还可以称为第二损失项、一致性正则项损失等，第二损失函数Ln可以通过以下公式1来确定。
Figure BDA0002941426610000111
本申请实施例可以采用平方根误差作为一致性正则项损失函数。在确定了第一损失函数和第二损失函数之后，可以依据以下公式2，确定反向传播函数L，从而对分类模型进行调整，得到训练好的分类模型。
L＝Ls+λLu，公式2
其中，Ls可以理解为第一损失函数，Lu可以理解为第二损失函数，λ是超参数，用来衡量第二损失项的重要性。
在一个可选的实施例中，分类模型的网络结构图可以采用如下表1所示的网络结构，其中，分类模型可以包括编码器(encoder)和解码器(decoder)，编码器用于对输入的图像进行分割并提取相应的特征，解码器用于依据编码器提取出的特征进行组合分析，以确定相应的分类结果。本申请实施例可采用基于ResNet 50的UNet作为分割基础网络。UNet网络的解码器使用3×3的卷积和4×4的转置卷积来逐渐增加特征图的大小。其中，ResNet 50是残差网络(Residual Network，ResNet)中的一种，残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。UNet是基于全卷积神经网络(Fully ConvolutionalNetwork，FCN)提出的一种语义分割网络。其中，举例说明表1中的参数，“输入(Input)”表示输入的图像数据，“卷积(conv),7×7,64,跨距(stride)2”表示卷积参数包含4个参数卷积核大小7＊7，卷积通道数64，卷积时的步长2；“残差块(ResBlock)×3”表示残差块有三个卷积；“反卷积(Transposeconv),4×4,128”表示4＊4的反卷积，通道数为128。其他参数与上述类似，卷积核、卷积通道数相应调整即可。上述表1仅是一种分类模型的网络结构示例，本申请实施例可基于需求调整。
表1
Figure BDA0002941426610000121
本发明提出的方法可以为分类模型提高10％左右的准确率，具体来说，可采用遥感图像(Deep Globe Challenge)数据集，该数据集包含1146个高分辨率亚像素级的卫星影像，每个影像大小2448×2448像素，整个数据集被分为训练集、验证集和测试集，分别包含803，171和172张影像，每张影像对应的标注为7类的RGB影像，其中未知类别不参与评价。为了使用训练集作为实验数据，可以随机划分100，503，200张影像作为已标注的第一训练数据、未标注的第二训练数据和验证数据。
本申请实施例可以采用仿射变换来调整未标注的第二训练数据，得到扩充训练数据，其中，对于随机的仿射变换，平移范围限定为[-0.2,0.2]，缩放范围限定为[0.75,1.25]，旋转范围限定为[-15°,15°]。并依据上述方式对分类模型进行训练，从而得到训练完成的分类模型。下表2示出了采用不同方法来训练分类模型，分类模型对遥感图像识别的准确度情况，其中，表2中的数值表征分类结果与实际结果之间的重叠度(Intersectionover Union。IOU)。对比方法可以理解为采用少量已标注的训练数据训练分类模型的方法，基线方法可以理解为采用大量的未标注的训练数据训练分类模型的方法，全监督方法可以理解为采用大量的已标注的训练数据训练分类模型的方法。可见，本申请实施例的方法在森林和牧场类别比基线方法增加了4.2％和23.9％，在荒地和水体类别比全监督方法还要高，分别达到57.97和81.10。同时还可以看出本申请实施例的方法可以有效地利用已标注和未标注的训练数据提升分类模型的性能。
表2
方法 农田 森林 牧场 城市用地 荒地 水体 平均值
对比方法 80.80 53.66 12.97 69.57 45.51 67.95 55.1
基线方法 84.54 63.72 23.16 73.29 51.22 76.95 62.1
全监督方法 87.10 72.63 32.95 77.00 51.69 79.35 66.8
所提出的方法 83.85 66.41 28.70 73.35 57.97 81.10 65.2
综上，本申请实施例中，可以获取已标注的第一训练数据和未标注的第二训练数据，之后，一方面可以依据已标注的第一训练数据，确定第一损失函数；另一方面可以对第二训练数据进行数据扰动，得到至少两个扩充训练数据，并将扩充训练数据输入到分类模型中，得到目标输出数据，以依据目标输出数据之间的数据一致性，确定第二损失函数；然后依据第一损失函数和第二损失函数对分类模型进行调整，从而得到训练完成的分类模型。在分类模型训练完成后，可以通过分类模型对待处理的图像数据进行处理，得到相应的数据分类结果。本申请实施例中，一方面可以利用已标注的第一训练数据进行有监督训练，另一方面可以利用未标注的第二训练数据进行数据扰动，并依据数据扰动后的输出数据之间的数据一致性，对分类模型进行无监督训练，从而能够提升训练完成的分类模型的识别准确度。
在上述实施例的基础上，本申请实施例还提供一种数据处理方法，具体的，如图3所示，所述的方法包括：
步骤302、获取已标注的第一遥感图像数据，作为第一训练数据。
步骤304、获取未标注的第二遥感图像数据，作为第二训练数据。
步骤306、将第一训练数据输入到分类模型中，确定第一输出数据。
步骤308、依据第一输出数据以及第一训练数据的第一标注数据之间的差异，确定第一损失函数。
步骤310、对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据。作为一个可选的实施例，对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据的步骤，包括以下步骤中的至少一种：对第二训练数据进行平移处理，得到扩充训练数据；对第二训练数据进行旋转处理，得到扩充训练数据；对第二训练数据进行缩放处理，得到扩充训练数据；对第二训练数据进行翻转处理，得到扩充训练数据；对第二训练数据进行仿射变换，得到扩充训练数据；对第二训练数据进行裁剪处理，得到扩充训练数据；对第二训练数据进行增噪处理，得到扩充训练数据。
步骤312、将至少两个扩充训练数据输入到分类模型中，得到目标输出数据。
步骤314、依据扩充训练数据的数据扰动方式，对扩充训练数据的扩充输出数据进行逆变换处理。
步骤316、依据逆变换处理后的扩充输出数据之间的数据一致性，确定第二损失函数。
步骤318、依据第一损失函数和第二损失函数，确定模型参数估计信息。
步骤320、依据模型参数估计信息，对分类模型进行反向传播调整。
本申请实施例中，可以获取已标注的第一训练数据和未标注的第二训练数据，之后，一方面可以依据已标注的第一训练数据，确定第一损失函数；另一方面可以对第二训练数据进行数据扰动，得到至少两个扩充训练数据，并将扩充训练数据输入到分类模型中，得到至少两个扩充输出数据，之后对至少两个扩充输出数据进行逆变换处理，并分析逆变换处理后的扩充输出数据之间的数据一致性，以得到第二损失函数。然后依据第一损失函数和第二损失函数对分类模型进行调整，从而得到训练完成的分类模型。
在上述实施例的基础上，本申请实施例还提供一种数据处理方法，可以应用在服务端，服务端可以理解为与终端进行交互，以从终端获取数据并对数据进行分析处理的设备，本实施例的方法可以依据训练好的分类模型，对图像进行识别，确定数据分类结果，并输出。具体的，如图4A所示，所述的方法包括：
步骤402、获取待处理的图像数据。本申请实施例可以依据分类模型具体的应用场景来设定图像数据。例如，本申请实施例可以应用在对遥感图像进行分类的场景中，作为一个可选的示例，所述图像数据包括遥感图像数据，相应的，所述数据分类结果包括：遥感图像数据中的子图和子图所属的类别，所述类别包括农田、森林、牧场、城市用地、荒地、水体中的至少一种。本申请实施例可以向终端提供服务页面，以基于服务页面获取待处理的图像数据，具体的，作为一个可选的实施例，所述获取待处理的图像数据，包括：提供服务页面，以通过服务页面获取待处理的图像数据。服务页面可以包括数据上传控件，终端的用户可以通过触发数据上传控件来上传待处理的图像数据。因此用于可基于需求上述各种类型的图像数据库，如遥感图像数据、商品对象的图像数据等。
步骤404、将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。在确定了数据分类结果之后，可以将数据分类结果下发给终端，以在终端的服务页面中进行展示，具体的，作为一个可选的实施例，所述方法还包括：下发数据分类结果，以在服务页面中展示所述数据分类结果。本申请实施例还可以根据人工操作对数据分类结果进行校正，从而依据校正后的数据分类结果，对分类模型进一步进行训练。具体的，作为一个可选的实施例，所述方法还包括：接收对数据分类结果的校正信息，以依据所述校正信息对分类模型进行调整。服务页面中可以包括调整控件，终端的用户可以通过触发调整控件来确定校正信息，以调整数据分类结果，以便通过校正后的数据分类结果，对分类模型进行调整，进一步提升分类模型的准确度。
本申请实施例可以通过已标注的第一训练数据和未标注的第二训练数据来训练分类模型，具体的，作为一个可选的实施例，所述方法还包括训练分类模型的步骤：依据已标注的第一训练数据和分类模型，确定第一损失函数；对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据；将至少两个扩充训练数据输入到分类模型中，得到扩充输出数据，并依据扩充输出数据之间的数据一致性，确定第二损失函数；依据所述第一损失函数和第二损失函数，对分类模型进行调整。
本申请实施例的实施方式与上述方法实施例的实施方式类似，具体实施过程可以参考上述方法实施例的具体实施过程，此处不再赘述。
本申请实施例中，服务端可以利用已标注的第一训练数据和未标注的第二训练数据来训练分类模型，在分类模型训练之后，如图4B所示，服务端可以向终端提供服务页面，用户可以通过在终端的服务页面中进行操作，上传待处理的图像数据。服务端接收到图像数据后，可以将图像数据输入到分类模型中，以确定相应的数据分类结果，并将分类结果返回给终端。在对遥感图像进行分类的场景中，分类模型可以将遥感图像划分为多个子图，并确定各子图所属的类别，从而得到数据分类结果，并将数据分类结果发送给终端，以便在终端的交互页面中进行展示。
在上述实施例的基础上，本申请实施例还提供一种数据处理方法，可以应用在服务端，具体的，所述方法包括：
提供服务页面，以通过服务页面获取待处理的图像数据。
将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。作为一个可选的实施例，所述图像数据包括遥感图像数据，所述数据分类结果包括：遥感图像数据中的子图和子图所属的类别，所述类别包括农田、森林、牧场、城市用地、荒地、水体中的至少一种。
下发数据分类结果，以在服务页面中展示所述数据分类结果。
接收对数据分类结果的校正信息，以依据所述校正信息对分类模型进行调整。
本申请实施例中，服务端可以利用已标注的第一训练数据和未标注的第二训练数据来训练分类模型，在分类模型训练之后，服务端可以向终端提供服务页面，用户可以通过在终端的服务页面中进行操作，上传控件来上传待处理的图像数据。服务端接收到图像数据后，可以将图像数据输入到分类模型中，以确定相应的数据分类结果。在对遥感图像进行分类的场景中，分类模型可以将遥感图像划分为多个子图，并确定各子图所属的类别，从而得到数据分类结果，并将数据分类结果发送给终端，以便在终端的交互页面中进行展示。
在上述实施例的基础上，本申请实施例还提供一种数据处理方法，可以应用在终端，终端可以理解为与服务端进行交互，以将待处理的图像上传给服务端，并接收服务端反馈的数据分类结果的设备。具体的，如图4C所示，所述方法包括：
步骤412、提供服务页面，所述服务页面包括数据上传控件。
步骤414、依据对所述数据上传控件的触发，获取待处理的图像数据，并上传给服务端，服务端所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定；
步骤416、接收数据分类结果，并在服务页面中进行展示。
本申请实施例还可以根据人工操作对数据分类结果进行校正，从而依据校正后的数据分类结果，对分类模型进一步进行训练，进一步提升分类模型的准确性。具体的，作为一个可选的实施例，所述服务页面还包括调整控件，所述方法还包括：依据对调整控件的触发，获取对数据分类结果的校正信息，并将校正信息上传给服务端，以便服务端依据所述校正信息对分类模型进行调整。
本申请实施例的实施方式与上述方法实施例的实施方式类似，具体实施过程可以参考上述方法实施例的具体实施过程，此处不再赘述。
本申请实施例中，服务端可以利用已标注的第一训练数据和未标注的第二训练数据来训练分类模型，在分类模型训练之后，终端可以接收服务端提供的服务页面，服务端可以向终端提供服务页面，用户可以通过在终端的服务页面中操作数据上传控件来上传待处理的图像数据。服务端接收到图像数据后，可以将图像数据输入到分类模型中，以确定相应的数据分类结果，并将数据分类结果返回给终端。终端接收数据分类结果并在服务页面中进行展示，用户还可以通过调整控件对数据分类结果进行校正，以便依据校正信息对分类模型进一步进行训练，提升分类模型的准确度。
在上述实施例的基础上，本申请实施例还提供一种数据处理方法，可以应用在服务端，服务端可以理解为与终端进行交互，以从终端获取数据并利用获取的数据对分类模型进行训练的设备，本实施例的方法可以依据获取的数据对分类模型进行训练，并下发训练好的分类模型，以便通过训练好的分类模型对图像进行分类处理。具体的，如图5A所示，所述方法包括：
步骤502、提供第一接口，以接收已标注的第一训练数据和未标注的第二训练数据。
步骤504、依据已标注的第一训练数据和待训练的分类模型，确定第一损失函数。
步骤506、对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据。
步骤508、将至少两个扩充训练数据输入到分类模型中，得到扩充输出数据，并依据扩充输出数据之间的数据一致性，确定第二损失函数。
步骤510、依据所述第一损失函数和第二损失函数，对分类模型进行调整，以确定训练完成的分类模型，并通过第二接口下发训练完成的分类模型。
本申请实施例还可以在模型训练过程中，依据人工调整的方式，对扩充输出数据进一步进行调整，从而提升分类模型的准确性。具体的，作为一个可选的实施例，所述依据扩充输出数据之间的数据一致性，确定第二损失函数，包括：提供数据校正页面，以通过数据校正页面展示扩充输出数据；获取对扩充输出数据的调整信息，以确定调整后的扩充输出数据；依据调整后的扩充输出数据之间的数据一致性，确定第二损失函数。校正页面包括数据校正控件，本申请实施例可以将扩充训练数据输入到分类模型中，确定扩充输出数据，之后将扩充输出发送给校正人员，校正人员可以通过校正页面的数据校正控件来对扩充输出数据进行调整，从而依据校正后的扩充输出数据之间的数据一致性，确定第二损失函数。在一个可选的示例中，本申请实施例可以下发部分扩充输出数据或全部扩充输出数据，以进行人工校正。对于下发部分扩充输出数据的情况，本申请实施例可以确定各扩充输出数据的置信度，进而按照置信度的高低，将低置信度的扩充输出数据下发，以进行校正。
本申请实施例的实施方式与上述方法实施例的实施方式类似，具体实施过程可以参考上述方法实施例的具体实施过程，此处不再赘述。
如图5B所示，本申请实施例中，可以将训练分类模型的过程作为服务端的服务，并提供给终端，终端的用户可以通过服务页面来上传已标注的第一训练数据和未标注的第二训练数据，并选择相应的分类模型，以进行分类模型的训练。其中，在一个可选的实施例中，本申请实施例还可以将第一训练数据和第二训练数据作为可选择的资源提供给终端的用户，终端可以选择相应等级的资源，以确定第一训练数据和第二训练数据。另外，在一个可选的实施例中，本申请实施例还可以提供模型上传接口，以接收终端上传的待训练的分类模型。在分类模型训练完成之后，可以通过第二接口下发训练完成的分类模型，以便终端的用户通过训练完成的分类模型对图像数据进行分类处理。
在上述实施例的基础上，本申请实施例还提供一种数据处理方法，可以应用在终端，终端可以理解为与服务端进行交互，以向服务端上传数据并接收响应分类结果的设备，本实施例的方法可以将图像数据上传给服务端，服务端可以依据训练好的分类模型，对图像进行识别，确定数据分类结果，并反馈给终端。具体的，如图6所示，所述方法包括：
步骤602、提供数据交互页面，所述数据交互页面包括用于上传数据的数据上传控件。
步骤604、依据对数据上传控件的触发，获取已标注的第一训练数据和未标注的第二训练数据，并上传给服务端，以便服务端依据扩充训练数据和已标注的第一训练数据，训练分类模型，所述扩充训练数据依据未标注的第二训练数据确定。
步骤606、接收训练完成的分类模型。
本申请实施例的实施方式与上述方法实施例的实施方式类似，具体实施过程可以参考上述方法实施例的具体实施过程，此处不再赘述。
本申请实施例中，终端可以展示服务端提供数据交互页面，终端的用户可以通过触发数据上传控件，来向服务端上传第一训练数据和第二训练数据，服务端接收到第一训练数据和第二训练数据之后，可以依据第一训练数据和第二训练数据，训练分类模型，并将训练完成的分类模型下发给终端。终端接收到训练完成的分类模型之后，可以依据训练完成的分类模型，对图像数据进行处理。
本申请实施例除了可以应用在对遥感图像进行分类的场景中，还可以应用在对电商商品图像进行分类的场景中，在上述实施例的基础上，本申请实施例还提供一种数据处理方法，可以应用在服务端，服务端可以理解为与终端进行交互，以从终端获取数据并对数据进行分析处理的设备，本实施例的方法可以依据训练好的分类模型，对商品的商品图像进行识别，确定商品分类结果，并输出。具体的，所述的方法包括：获取待处理的商品图像数据。将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。所述分类模型用于对商品图像数据进行分割，确定商品轮廓，并对商品轮廓内的图像进行特征提取，以按照提取出的特征确定商品所属的类别。
本申请实施例的实施方式与上述方法实施例的实施方式类似，具体实施过程可以参考上述方法实施例的具体实施过程，此处不再赘述。
本申请实施例可以应用在对商品进行分类的场景中，可以利用训练好的分类模型，对商品的商品图像数据进行分割，从而对商品的轮廓进行定位，进而对商品的轮廓内的商品特征进行提取，进而按照商品特征，确定商品所属的类别，并作为数据分类结果进行输出。例如，商品对象的类别可为上衣、裤子、裙子等服饰的类别，也可为锅、碗、瓢、盆等厨房用具的类别等，具体可依据商品对象的场景确定。用户可以按照商品(或二手商品)的分类结果，为商品标注商品标题、商品属性、商品规格等信息。
本申请实施例除了可以应用在上述场景中之外，还可以应用在对会议图像中各目标对象进行分割的场景中，在上述实施例的基础上，本申请实施例还提供一种数据处理方法，可以应用在服务端，本实施例的方法可以依据训练好的分类模型，对会议图像进行分析，从而分割出会议图像中各个目标对象，并确定各目标对象的分类。具体的，所述的方法包括：获取待处理的会议图像数据。将所述会议图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。所述分类模型用于对会议图像中各目标对象进行分割，确定各目标对象对应的轮廓，进而提取出各个轮廓内的特征，以确定各目标对象相应的分类。
本申请实施例的实施方式与上述方法实施例的实施方式类似，具体实施过程可以参考上述方法实施例的具体实施过程，此处不再赘述。
本申请实施例可以应用在会议图像(或称视频)进行分析的场景中，可以利用训练好的分类模型，对会议视频中各个目标对象进行定位，确定各目标对象对应的轮廓，进而对各轮廓内的目标对象特征进行提取，以依据提取出的目标对象特征，确定目标对象的分类结果。例如，在一些场景中，可以对目标对象所属的类别进行识别，确定会议图像中的人物、桌椅、水杯等目标对象。在另外一些场景中，还可以对人物进行面部识别，进而确定会议图像中各人物的人物信息。
本申请实施例除了可以应用在上述场景中之外，还可以应用在对综艺视频、娱乐视频、直播视频等视频的图像进行分析的场景中，在上述实施例的基础上，本申请实施例还提供一种数据处理方法，可以应用在服务端，本实施例的方法可以依据训练好的分类模型，对视频图像进行分析，从而分割出会议图像中各个目标对象，并确定各目标对象的分类。具体的，所述的方法包括：获取待处理的视频图像数据。将所述视频图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。所述分类模型用于对视频图像数据中各目标对象进行分割，确定各目标对象对应的轮廓，进而提取出各个轮廓内的特征，以确定各目标对象相应的分类。
本申请实施例的实施方式与上述方法实施例的实施方式类似，具体实施过程可以参考上述方法实施例的具体实施过程，此处不再赘述。
本申请实施例可以应用在视频图像(如娱乐视频、综艺视频、直播视频的图像)进行分析的场景中，可以利用训练好的分类模型，对视频中各个目标对象进行定位，确定各目标对象对应的轮廓，进而对各轮廓内的目标对象特征进行提取，以依据提取出的目标对象特征，确定目标对象的分类结果。例如，在一些场景中，可以对人物进行面部识别，进而确定视频中各人物的人物信息。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，参照图7，具体可以包括如下模块：
图像数据获取模块702，用于获取待处理的图像数据。
分类结果获取模块704，用于将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。
综上，在本申请实施例中，在分类模型的训练阶段，可以获取已标注的第一训练数据和未标注的第二训练数据，之后，一方面可以依据已标注的第一训练数据，确定第一损失函数；另一方面可以对第二训练数据进行数据扰动，得到至少两个扩充训练数据，并将扩充训练数据输入到分类模型中，得到目标输出数据，以依据目标输出数据之间的数据一致性，确定第二损失函数；然后依据第一损失函数和第二损失函数对分类模型进行调整，从而得到训练完成的分类模型。在分类模型训练完成后，可以通过分类模型对待处理的图像数据进行处理，得到相应的数据分类结果。本申请实施例中，一方面可以利用已标注的第一训练数据进行有监督训练，另一方面可以利用未标注的第二训练数据进行数据扰动，并依据数据扰动后的输出数据之间的数据一致性，对分类模型进行无监督训练；能够利用少量的已标注数据结合大量的未标注数据对分类模型进行训练，从而能够提升训练完成的分类模型的识别准确度。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，具体可以包括如下模块：
服务页面提供模块，用于提供服务页面，以通过服务页面获取待处理的图像数据。
图像数据输入处理模块，用于将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。作为一个可选的实施例，所述图像数据包括遥感图像数据，所述数据分类结果包括：遥感图像数据中的子图和子图所属的类别，所述类别包括农田、森林、牧场、城市用地、荒地、水体中的至少一种。
分类结果下发处理模块，用于下发数据分类结果，以在服务页面中展示所述数据分类结果。
分类模型校正处理模块，用于接收对数据分类结果的校正信息，以依据所述校正信息对分类模型进行调整。
本申请实施例中，服务端可以利用已标注的第一训练数据和未标注的第二训练数据来训练分类模型，在分类模型训练之后，服务端可以向终端提供服务页面，用户可以通过在终端的服务页面中进行操作，上传控件来上传待处理的图像数据。服务端接收到图像数据后，可以将图像数据输入到分类模型中，以确定相应的数据分类结果。在对遥感图像进行分类的场景中，分类模型可以将遥感图像划分为多个子图，并确定各子图所属的类别，从而得到数据分类结果，并将数据分类结果发送给终端，以便在终端的交互页面中进行展示。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，具体可以包括如下模块：
服务页面展示处理模块，用于提供服务页面，所述服务页面包括数据上传控件。
图像数据获取上传模块，用于依据对所述数据上传控件的触发，获取待处理的图像数据，并上传给服务端，服务端所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定；
分类结果展示处理模块，用于接收数据分类结果，并在服务页面中进行展示。
本申请实施例还可以根据人工操作对数据分类结果进行校正，从而依据校正后的数据分类结果，对分类模型进一步进行训练，进一步提升分类模型的准确性。具体的，作为一个可选的实施例，所述服务页面还包括调整控件，所述装置还包括：校正信息上传处理模块，用于依据对调整控件的触发，获取对数据分类结果的校正信息，并将校正信息上传给服务端，以便服务端依据所述校正信息对分类模型进行调整。
本申请实施例中，服务端可以利用已标注的第一训练数据和未标注的第二训练数据来训练分类模型，在分类模型训练之后，终端可以接收服务端提供的服务页面，服务端可以向终端提供服务页面，用户可以通过在终端的服务页面中操作数据上传控件来上传待处理的图像数据。服务端接收到图像数据后，可以将图像数据输入到分类模型中，以确定相应的数据分类结果，并将数据分类结果返回给终端。终端接收数据分类结果并在服务页面中进行展示，用户还可以通过调整控件对数据分类结果进行校正，以便依据校正信息对分类模型进一步进行训练，提升分类模型的准确度。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，参照图8，具体可以包括如下模块：
第一接口提供模块802，用于提供第一接口，以接收已标注的第一训练数据和未标注的第二训练数据。
第一损失确定模块804，用于依据已标注的第一训练数据和待训练的分类模型，确定第一损失函数。
扩充数据确定模块806，用于用于对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据。
第二损失确定模块808，将至少两个扩充训练数据输入到分类模型中，得到扩充输出数据，并依据扩充输出数据之间的数据一致性，确定第二损失函数。
分类模型确定模块810，用于依据所述第一损失函数和第二损失函数，对分类模型进行调整，以确定训练完成的分类模型，并通过第二接口下发训练完成的分类模型。
本申请实施例还可以在模型训练过程中，依据人工调整的方式，对扩充输出数据进一步进行调整，从而提升分类模型的准确性。具体的，作为一个可选的实施例，所述第二损失确定模块808，具体包括：提供数据校正页面，以通过数据校正页面展示扩充输出数据；获取对扩充输出数据的调整信息，以确定调整后的扩充输出数据；依据调整后的扩充输出数据之间的数据一致性，确定第二损失函数。校正页面包括数据校正控件，本申请实施例可以将扩充训练数据输入到分类模型中，确定扩充输出数据，之后将扩充输出发送给校正人员，校正人员可以通过校正页面的数据校正控件来对扩充输出数据进行调整，从而依据校正后的扩充输出数据之间的数据一致性，确定第二损失函数。在一个可选的示例中，本申请实施例可以下发部分扩充输出数据或全部扩充输出数据，以进行人工校正。对于下发部分扩充输出数据的情况，本申请实施例可以确定各扩充输出数据的置信度，进而按照置信度的高低，将低置信度的扩充输出数据下发，以进行校正。
本申请实施例中，可以将训练分类模型作为服务端的服务，并提供给终端，终端的用户可以通过服务页面来上传已标注的第一训练数据和未标注的第二训练数据，并选择相应的分类模型，以进行分类模型的训练。其中，在一个可选的实施例中，本申请实施例还可以将第一训练数据和第二训练数据作为可选择的资源提供给终端的用户，终端可以选择相应等级的资源，以确定第一训练数据和第二训练数据。另外，在一个可选的实施例中，本申请实施例还可以提供模型上传接口，以接收终端上传的待训练的分类模型。在分类模型训练完成之后，可以通过第二接口下发训练完成的分类模型，以便终端的用户通过训练完成的分类模型对图像数据进行分类处理。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，参照图9，具体可以包括如下模块：
交互页面提供模块902，用于提供数据交互页面，所述数据交互页面包括用于上传数据的数据上传控件。
训练数据上传模块904，用于依据对数据上传控件的触发，获取已标注的第一训练数据和未标注的第二训练数据，并上传给服务端，以便服务端依据扩充训练数据和已标注的第一训练数据，训练分类模型，所述扩充训练数据依据未标注的第二训练数据确定。
分类模型接收模块906，用于接收训练完成的分类模型。
本申请实施例中，终端可以展示服务端提供数据交互页面，终端的用户可以通过触发数据上传控件，来向服务端上传第一训练数据和第二训练数据，服务端接收到第一训练数据和第二训练数据之后，可以依据第一训练数据和第二训练数据，训练分类模型，并将训练完成的分类模型下发给终端。终端接收到训练完成的分类模型之后，可以依据训练完成的分类模型，对图像数据进行处理。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，具体可以包括如下模块：
商品图像获取模块，用于获取待处理的商品图像数据。
商品图像输入模块，用于将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。所述分类模型用于对商品图像数据进行分割，确定商品轮廓，并对商品轮廓内的图像进行特征提取，以按照提取出的特征确定商品所属的类别。
本申请实施例可以应用在对商品进行分类的场景中，可以利用训练好的分类模型，对商品的商品图像数据进行分割，从而对商品的轮廓进行定位，进而对商品的轮廓内的商品特征进行提取，进而按照商品特征，确定商品所属的类别，并作为数据分类结果进行输出。用户可以按照商品(或二手商品)的分类结果，为商品标注商品标题、商品属性、商品规格等信息。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，具体可以包括如下模块：
会议图像获取模块，用于获取待处理的会议图像数据。
会议图像输入模块，用于将所述会议图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。所述分类模型用于对会议图像中各目标对象进行分割，确定各目标对象对应的轮廓，进而提取出各个轮廓内的特征，以确定各目标对象相应的分类。
本申请实施例可以应用在会议图像(或称视频)进行分析的场景中，可以利用训练好的分类模型，对会议视频中各个目标对象进行定位，确定各目标对象对应的轮廓，进而对各轮廓内的目标对象特征进行提取，以依据提取出的目标对象特征，确定目标对象的分类结果。例如，在一些场景中，可以对目标对象所属的类别进行识别，确定会议图像中的人物、桌椅、水杯等目标对象。在另外一些场景中，还可以对人物进行面部识别，进而确定会议图像中各人物的人物信息。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，具体可以包括如下模块：
视频图像获取模块，用于获取待处理的视频图像数据。
视频图像输入模块，用于将所述视频图像数据输入到分类模型中，确定数据分类结果，所述分类模型依据扩充训练数据和具有标注的第一训练数据进行训练得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。所述分类模型用于对视频图像数据中各目标对象进行分割，确定各目标对象对应的轮廓，进而提取出各个轮廓内的特征，以确定各目标对象相应的分类。
本申请实施例可以应用在视频图像(如娱乐视频、综艺视频、直播视频的图像)进行分析的场景中，可以利用训练好的分类模型，对视频中各个目标对象进行定位，确定各目标对象对应的轮廓，进而对各轮廓内的目标对象特征进行提取，以依据提取出的目标对象特征，确定目标对象的分类结果。例如，在一些场景中，可以对人物进行面部识别，进而确定视频中各人物的人物信息。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，参照图10，具体可以包括如下模块：
第一损失获取模块1002，用于依据已标注的第一训练数据，确定第一损失函数。
扩充数据获取模块1004，用于对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据。
第二损失获取模块1006，用于将至少两个扩充训练数据输入到分类模型中，得到目标输出数据，并依据目标输出数据之间的数据一致性，确定第二损失函数。
分类模型调整模块1008，用于依据所述第一损失函数和所述第二损失函数，对分类模型进行调整。
综上，在本申请实施例中，可以获取已标注的第一训练数据和未标注的第二训练数据，之后，一方面可以依据已标注的第一训练数据，确定第一损失函数；另一方面可以对第二训练数据进行数据扰动，得到至少两个扩充训练数据，并将扩充训练数据输入到分类模型中，得到目标输出数据，以依据目标输出数据之间的数据一致性，确定第二损失函数；然后依据第一损失函数和第二损失函数对分类模型进行调整，从而得到训练完成的分类模型。本申请实施例中，一方面可以利用已标注的第一训练数据进行有监督训练，另一方面可以利用未标注的第二训练数据进行数据扰动，并依据数据扰动后的输出数据之间的数据一致性，对分类模型进行无监督训练；能够利用少量的已标注数据结合大量的未标注数据对分类模型进行训练，从而能够提升分类模型的识别准确度。
在上述实施例的基础上，本实施例还提供了一种数据处理装置，具体可以包括如下模块：
第一数据获取处理模块，用于获取已标注的第一遥感图像数据，作为第一训练数据。
第二数据获取处理模块，用于获取未标注的第二遥感图像数据，作为第二训练数据。
第一输出获取处理模块，用于将第一训练数据输入到分类模型中，确定第一输出数据。
第一损失获取处理模块，用于依据第一输出数据以及第一训练数据的第一标注数据之间的差异，确定第一损失函数。
扩充数据获取处理模块，用于对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据。作为一个可选的实施例，扩充数据获取处理模块，包括以下模块中的至少一个：平移处理子模块，用于对第二训练数据进行平移处理，得到扩充训练数据；旋转处理子模块，用于对第二训练数据进行旋转处理，得到扩充训练数据；缩放处理子模块，用于对第二训练数据进行缩放处理，得到扩充训练数据；翻转处理子模块，用于对第二训练数据进行翻转处理，得到扩充训练数据；仿射变换处理子模块，用于对第二训练数据进行仿射变换，得到扩充训练数据；裁剪处理子模块，用于对第二训练数据进行裁剪处理，得到扩充训练数据；增噪处理子模块，用于对第二训练数据进行增噪处理，得到扩充训练数据。
第二输出获取处理模块，用于将至少两个扩充训练数据输入到分类模型中，得到目标输出数据。
逆变换处理模块，用于依据扩充训练数据的数据扰动方式，对扩充训练数据的扩充输出数据进行逆变换处理。
第二损失获取处理模块，用于依据逆变换处理后的扩充输出数据之间的数据一致性，确定第二损失函数。
反向传播函数获取处理模块，用于依据第一损失函数和第二损失函数，确定模型参数估计信息。
分类模型调整处理模块，用于依据模型参数估计信息，对分类模型进行反向传播调整。
本申请实施例中，可以获取已标注的第一训练数据和未标注的第二训练数据，之后，一方面可以依据已标注的第一训练数据，确定第一损失函数；另一方面可以对第二训练数据进行数据扰动，得到至少两个扩充训练数据，并将扩充训练数据输入到分类模型中，得到至少两个扩充输出数据，之后对至少两个扩充输出数据进行逆变换处理，并分析逆变换处理后的扩充输出数据之间的数据一致性，以得到第二损失函数。然后依据第一损失函数和第二损失函数对分类模型进行调整，从而得到训练完成的分类模型。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中，所述电子设备包括服务器、终端设备等设备。
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括服务器(集群)、终端等电子设备。图11示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1100。
对于一个实施例，图11示出了示例性装置1100，该装置具有一个或多个处理器1102、被耦合到(一个或多个)处理器1102中的至少一个的控制模块(芯片组)1104、被耦合到控制模块1104的存储器1106、被耦合到控制模块1104的非易失性存储器(NVM)/存储设备1108、被耦合到控制模块1104的一个或多个输入/输出设备1110，以及被耦合到控制模块1104的网络接口1112。
处理器1102可包括一个或多个单核或多核处理器，处理器1102可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置1100能够作为本申请实施例中所述服务端、终端等设备。
在一些实施例中，装置1100可包括具有指令1114的一个或多个计算机可读介质(例如，存储器1106或NVM/存储设备1108)以及与该一个或多个计算机可读介质相合并被配置为执行指令1114以实现模块从而执行本公开中所述的动作的一个或多个处理器1102。
对于一个实施例，控制模块1104可包括任意适当的接口控制器，以向(一个或多个)处理器1102中的至少一个和/或与控制模块1104通信的任意适当的设备或组件提供任意适当的接口。
控制模块1104可包括存储器控制器模块，以向存储器1106提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1106可被用于例如为装置1100加载和存储数据和/或指令1114。对于一个实施例，存储器1106可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1106可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，控制模块1104可包括一个或多个输入/输出控制器，以向NVM/存储设备1108及(一个或多个)输入/输出设备1110提供接口。
例如，NVM/存储设备1108可被用于存储数据和/或指令1114。NVM/存储设备1108可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1108可包括作为装置1100被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备1108可通过网络经由(一个或多个)输入/输出设备1110进行访问。
(一个或多个)输入/输出设备1110可为装置1100提供接口以与任意其他适当的设备通信，输入/输出设备1110可以包括通信组件、音频组件、传感器组件等。网络接口1112可为装置1100提供接口以通过一个或多个网络通信，装置1100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G等，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1102中的至少一个可与控制模块1104的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。
在各个实施例中，装置1100可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1100包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
其中，检测装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或NVM/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。
本申请实施例还提供了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本申请实施例中一个或多个所述的方法。
本申请实施例还提供了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本申请实施例中一个或多个所述的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据处理方法、一种数据处理装置、一种电子设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种数据处理方法，其特征在于，所述的方法包括：
获取待处理的图像数据；
将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型在训练阶段基于第一损失函数和第二损失函数调整，所述第一损失函数依据具有标注的第一训练数据确定，所述第二损失函数依据至少两个扩充训练数据的扩充输出结果逐像素进行一致性分析得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。
2.根据权利要求1所述的方法，其特征在于，所述图像数据包括遥感图像数据，所述数据分类结果包括：遥感图像数据中的子图和子图所属的类别，所述类别包括农田、森林、牧场、城市用地、荒地、水体中的至少一种。
3.根据权利要求2所述的方法，其特征在于，所述获取待处理的图像数据，包括：
提供服务页面，以通过服务页面获取待处理的图像数据。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
下发数据分类结果，以在服务页面中展示所述数据分类结果。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收对数据分类结果的校正信息，以依据所述校正信息对分类模型进行调整。
6.根据权利要求1所述的方法，其特征在于，还包括训练分类模型的步骤：
依据已标注的第一训练数据和分类模型，确定第一损失函数；
对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据；
将至少两个扩充训练数据输入到分类模型中，得到扩充输出数据，并依据扩充输出数据之间的数据一致性，确定第二损失函数；
依据所述第一损失函数和第二损失函数，对分类模型进行调整。
7.一种数据处理方法，其特征在于，包括：
提供服务页面，所述服务页面包括数据上传控件；
依据对所述数据上传控件的触发，获取待处理的图像数据，并上传给服务端，服务端所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型在训练阶段基于第一损失函数和第二损失函数调整，所述第一损失函数依据具有标注的第一训练数据确定，所述第二损失函数依据至少两个扩充训练数据的扩充输出结果逐像素进行一致性分析得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定；
接收数据分类结果，并在服务页面中进行展示。
8.根据权利要求7所述的方法，其特征在于，所述服务页面还包括调整控件，所述方法还包括：
依据对调整控件的触发，获取对数据分类结果的校正信息，并将校正信息上传给服务端，以便服务端依据所述校正信息对分类模型进行调整。
9.一种数据处理方法，其特征在于，包括：
提供第一接口，以接收已标注的第一训练数据和未标注的第二训练数据，所述第一训练数据和第二训练数据为图像数据；
依据已标注的第一训练数据和待训练的分类模型，确定第一损失函数；
对未标注的第二训练数据进行数据扰动，确定至少两个扩充训练数据；
将至少两个扩充训练数据输入到分类模型中，得到扩充输出数据，并依据扩充输出数据之间的数据一致性，确定第二损失函数；
依据所述第一损失函数和第二损失函数，对分类模型进行调整，以确定训练完成的分类模型，并通过第二接口下发训练完成的分类模型。
10.根据权利要求9所述的方法，其特征在于，所述依据扩充输出数据之间的数据一致性，确定第二损失函数，包括：
提供数据校正页面，以通过数据校正页面展示扩充输出数据；
获取对扩充输出数据的调整信息，以确定调整后的扩充输出数据；
依据调整后的扩充输出数据之间的数据一致性，确定第二损失函数。
11.一种数据处理方法，其特征在于，包括：
提供数据交互页面，所述数据交互页面包括用于上传数据的数据上传控件；
依据对数据上传控件的触发，获取已标注的第一训练数据和未标注的第二训练数据，并上传给服务端，以便服务端在训练阶段依据已标注的第一训练数据确定第一损失函数，以及依据至少两个扩充训练数据的扩充输出结果逐像素进行一致性分析得到第二损失函数，依据所述第一损失函数和第二损失函数调整分类模型，所述扩充训练数据依据未标注的第二训练数据确定，所述第一训练数据和第二训练数据为图像数据；
接收训练完成的分类模型。
12.一种数据处理装置，其特征在于，所述的装置包括：
图像数据获取模块，用于获取待处理的图像数据；
分类结果获取模块，用于将所述图像数据输入到分类模型中，确定数据分类结果，所述分类模型在训练阶段基于第一损失函数和第二损失函数调整，所述第一损失函数依据具有标注的第一训练数据确定，所述第二损失函数依据至少两个扩充训练数据的扩充输出结果逐像素进行一致性分析得到，所述扩充训练数据依据未标注的第二训练数据进行数据扰动后确定。
13.一种电子设备，其特征在于，包括：处理器；和
存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-11中一个或多个所述的方法。
14.一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如权利要求1-11中一个或多个所述的方法。
CN202110178299.XA 2021-02-09 2021-02-09 数据处理方法、装置、电子设备和存储介质 Active CN113255427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110178299.XA CN113255427B (zh) 2021-02-09 2021-02-09 数据处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110178299.XA CN113255427B (zh) 2021-02-09 2021-02-09 数据处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113255427A CN113255427A (zh) 2021-08-13
CN113255427B true CN113255427B (zh) 2022-05-27

Family

ID=77181115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110178299.XA Active CN113255427B (zh) 2021-02-09 2021-02-09 数据处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113255427B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850301B (zh) * 2021-09-02 2024-06-18 支付宝(杭州)信息技术有限公司 训练数据的获取方法和装置、模型训练方法和装置
CN116935238B (zh) * 2023-07-07 2024-02-23 滁州学院 基于深度学习的森林扰动监测方法、***、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及***
CN111931591A (zh) * 2020-07-15 2020-11-13 北京百度网讯科技有限公司 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387430B2 (en) * 2015-02-26 2019-08-20 International Business Machines Corporation Geometry-directed active question selection for question answering systems
CN110472737B (zh) * 2019-08-15 2023-11-17 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理***
CN110738263B (zh) * 2019-10-17 2020-12-29 腾讯科技（深圳）有限公司 一种图像识别模型训练的方法、图像识别的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及***
CN111931591A (zh) * 2020-07-15 2020-11-13 北京百度网讯科技有限公司 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113255427A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
US10803554B2 (en) Image processing method and device
CN111192292B (zh) 基于注意力机制与孪生网络的目标跟踪方法及相关设备
TWI773189B (zh) 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
US20200134377A1 (en) Logo detection
US20150205997A1 (en) Method, apparatus and computer program product for human-face features extraction
US20120288189A1 (en) Image processing method and image processing device
WO2019218136A1 (zh) 图像分割方法、计算机设备和存储介质
CN113255427B (zh) 数据处理方法、装置、电子设备和存储介质
Yildirim et al. FASA: fast, accurate, and size-aware salient object detection
WO2020077940A1 (en) Method and device for automatic identification of labels of image
CN107506792B (zh) 一种半监督的显著对象检测方法
WO2018082308A1 (zh) 一种图像处理方法及终端
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN107347125B (zh) 视频图像的处理方法、装置和终端设备
CN109903272A (zh) 目标检测方法、装置、设备、计算机设备和存储介质
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
CN112396610A (zh) 一种图像处理方法、计算机设备、存储介质
Zheng et al. Study on image retrieval based on image texture and color statistical projection
Li et al. Aggregating complementary boundary contrast with smoothing for salient region detection
Kong et al. Full-reference IPTV image quality assessment by deeply learning structural cues
KR101554421B1 (ko) 구조 기반 이미지 확장 방법 및 장치
US10631050B2 (en) Determining and correlating visual context on a user device with user behavior using digital content on the user device
CN106469437B (zh) 图像处理方法和图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant