CN114049502B - 神经网络的训练、特征提取、数据处理方法和设备 - Google Patents

神经网络的训练、特征提取、数据处理方法和设备 Download PDF

Info

Publication number
CN114049502B
CN114049502B CN202111582994.9A CN202111582994A CN114049502B CN 114049502 B CN114049502 B CN 114049502B CN 202111582994 A CN202111582994 A CN 202111582994A CN 114049502 B CN114049502 B CN 114049502B
Authority
CN
China
Prior art keywords
data
groups
target
features
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111582994.9A
Other languages
English (en)
Other versions
CN114049502A (zh
Inventor
陈明翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN202111582994.9A priority Critical patent/CN114049502B/zh
Publication of CN114049502A publication Critical patent/CN114049502A/zh
Application granted granted Critical
Publication of CN114049502B publication Critical patent/CN114049502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例公开了一种神经网络的训练、特征提取、数据处理方法和设备，其中，方法包括：获得多个目标对应的多组样本数据组；基于目标神经网络对所述多组样本数据组进行特征提取，得到分别对应所述多个目标的多组预测特征组；基于所述多组预测特征组对所述目标神经网络进行训练，得到训练后的目标神经网络；本实施例提供了一种更易于实现的自监督训练方法，该训练方法不受训练集中数据量大小的限制，并且，训练后的神经网络可以应用到不同数据处理任务中。

Description

神经网络的训练、特征提取、数据处理方法和设备
技术领域
本公开涉及神经网络的训练、特征提取、数据处理方法和设备。
背景技术
十几年来，深度神经网络已经在计算机视觉的诸多领域内都显示出极强的潜力和应用价值，例如图像分类，图像识别，图像分割，风格迁移等等。然而，深度学习技术，至今仍然强烈依赖于人工标注数据，这严重地限制了它的上限。
发明内容
本公开的实施例提供了一种神经网络的训练、特征提取、数据处理方法和设备。
根据本公开实施例的一个方面，提供了一种神经网络的训练方法，包括：
获得多个目标对应的多组样本数据组；其中，每个所述目标对应一组所述样本数据组，每组所述样本数据组中包括多个样本数据；
基于目标神经网络对所述多组样本数据组进行特征提取，得到分别对应所述多个目标的多组预测特征组；
基于所述多组预测特征组对所述目标神经网络进行训练，得到训练后的目标神经网络。
可选地，所述基于所述多组预测特征组对所述目标神经网络进行训练，包括：
基于所述多组预测特征组确定第一损失和/或第二损失；
基于所述第一损失和/或所述第二损失，对所述目标神经网络进行训练。
可选地，所述基于所述多组预测特征组确定第一损失和/或第二损失，包括：
确定所述多组预测特征组中的每组预测特征组对应的中心特征，得到多个所述中心特征；其中，每个所述中心特征对应一个所述预测特征组；
基于每组所述预测特征组中多个预测特征与所述预测特征组对应的所述中心特征之间的多个第一距离，以及所述多个预测特征与其他中心特征中之间的第二距离，确定第一损失和/或第二损失；其中，所述其他中心特征为所述多个中心特征中除了所述预测特征组对应的中心特征之外的所述中心特征。
可选地，所述获得多个目标对应的多组样本数据组，包括：
针对所述多个目标中的每个目标，对所述目标对应的一个已知图像进行增广处理，得到所述目标对应的多个样本数据；
基于所述多个样本数据，确定所述目标对应的样本数据组。
可选地，所述对所述目标对应的一个已知图像进行增广处理，得到所述目标对应的多个样本数据，包括：
基于至少一种数据增强方法对所述已知图像进行增广处理，得到所述目标对应的多个样本数据；其中，所述数据增强方法包括以下至少之一：旋转、噪音加入、剪裁、分辨率变换、色相改变、饱和度改变、亮度改变、马赛克数据增强。
可选地，所述获得多个目标对应的多组样本数据组，包括：
获得多个目标人中每个目标人对应的多个不同角度的人脸图像，得到每个所述目标人对应的一组人脸图像组；
基于所述多个目标人对应的多组所述人脸图像组，确定所述多组样本数据组。
可选地，所述获得多个目标对应的多组样本数据组，包括：
获得多个目标人中每个目标人对应的多段音频数据，得到每个所述目标人对应的一组音频数据组；
基于所述多个目标人对应的多组所述音频数据组，确定所述多组样本数据组。
根据本公开实施例的另一方面，提供了一种特征提取方法，包括：
接收待处理数据；
基于目标神经网络对所述待处理数据进行特征提取，得到所述待处理数据对应的数据特征；其中，所述目标神经网络基于上述任一实施例所述的神经网络的训练方法训练得到。
根据本公开实施例的另一方面，提供了一种数据处理方法，包括：
利用上述任一实施例所述的特征提取方法分别对多个待处理数据进行特征提取，得到所述多个待处理数据对应的多个数据特征；
基于所述多个数据特征，确定所述多个待处理数据的处理结果。
可选地，所述基于所述多个数据特征，确定所述多个待处理数据的处理结果，包括：
基于所述多个数据特征之间的距离，确定所述多个待处理数据之间的相似度；和/或，基于所述多个数据特征之间的距离，确定所述多个待处理数据对应的分类类别。
根据本公开实施例的另一方面，提供了一种神经网络的训练装置，包括：
数据获取模块，用于获得多个目标对应的多组样本数据组；其中，每个所述目标对应一组所述样本数据组，每组所述样本数据组中包括多个样本数据；
特征提取模块，用于基于目标神经网络对所述多组样本数据组进行特征提取，得到分别对应所述多个目标的多组预测特征组；
模型训练模块，用于基于所述多组预测特征组对所述目标神经网络进行训练，得到训练后的目标神经网络。
可选地，所述模型训练模块，包括：
损失确定单元，用于基于所述多组预测特征组确定第一损失和/或第二损失；
网络训练单元，用于基于所述第一损失和/或所述第二损失，对所述目标神经网络进行训练。
可选地，所述损失确定单元，具体用于确定所述多组预测特征组中的每组预测特征组对应的中心特征，得到多个所述中心特征；其中，每个所述中心特征对应一个所述预测特征组；基于每组所述预测特征组中多个预测特征与所述预测特征组对应的所述中心特征之间的多个第一距离，以及所述多个预测特征与其他中心特征中之间的第二距离，确定第一损失和/或第二损失；其中，所述其他中心特征为所述多个中心特征中除了所述预测特征组对应的中心特征之外的所述中心特征。
可选地，所述数据获取模块，具体用于针对所述多个目标中的每个目标，对所述目标对应的一个已知图像进行增广处理，得到所述目标对应的多个样本数据；基于所述多个样本数据，确定所述目标对应的样本数据组。
可选地，所述数据获取模块在对所述目标对应的一个已知图像进行增广处理，得到所述目标对应的多个样本数据时，用于基于至少一种数据增强方法对所述已知图像进行增广处理，得到所述目标对应的多个样本数据；其中，所述数据增强方法包括以下至少之一：旋转、噪音加入、剪裁、分辨率变换、色相改变、饱和度改变、亮度改变、马赛克数据增强。
可选地，所述数据获取模块，具体用于获得多个目标人中每个目标人对应的多个不同角度的人脸图像，得到每个所述目标人对应的一组人脸图像组；基于所述多个目标人对应的多组所述人脸图像组，确定所述多组样本数据组。
可选地，所述数据获取模块，具体用于获得多个目标人中每个目标人对应的多段音频数据，得到每个所述目标人对应的一组音频数据组；基于所述多个目标人对应的多组所述音频数据组，确定所述多组样本数据组。
根据本公开实施例的另一方面，提供了一种特征提取装置，包括：
数据接收模块，用于接收待处理数据；
数据特征提取模块，用于基于目标神经网络对所述待处理数据进行特征提取，得到所述待处理数据对应的数据特征；其中，所述目标神经网络基于上述任意一项实施例所述的神经网络的训练方法训练得到。
根据本公开实施例的另一方面，提供了一种数据处理装置，包括：
特征获取模块，用于利用上述任意一项实施例所述的特征提取方法分别对多个待处理数据进行特征提取，得到所述多个待处理数据对应的多个数据特征；
数据处理模块，用于基于所述多个数据特征，确定所述多个待处理数据的处理结果。
可选地，所述数据处理模块，具体用于基于所述多个数据特征之间的距离，确定所述多个待处理数据之间的相似度；和/或，基于所述多个数据特征之间的距离，确定所述多个待处理数据对应的分类类别。
根据本公开实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一项实施例所述的方法。
根据本公开实施例的另一方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一项实施例所述的方法。
基于本公开上述实施例提供的一种神经网络的训练、特征提取、数据处理方法和设备，获得多个目标对应的多组样本数据组；其中，每个所述目标对应一组所述样本数据组，每组所述样本数据组中包括多个样本数据；基于目标神经网络对所述多组样本数据组进行特征提取，得到分别对应所述多个目标的多组预测特征组；基于所述多组预测特征组对所述目标神经网络进行训练，得到训练后的目标神经网络；本实施例提供了一种更易于实现的自监督训练方法，该训练方法不受训练集中数据量大小的限制，并且，训练后的神经网络可以应用到不同数据处理任务中。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开一示例性实施例提供的神经网络的训练方法的流程示意图。
图2是本公开图1所示的实施例中步骤106的一个流程示意图。
图3是本公开图2所示的实施例中步骤1061的一个流程示意图。
图4a是本公开图1所示的实施例中步骤102的一个流程示意图。
图4b是本公开一个可选示例中提供的一张已知图像的示意图。
图4c是对本公开图4b所示的已知图像进行至少一种图像增广得到的样本图像集。
图5是本公开一示例性实施例提供的特征提取方法的流程示意图。
图6是本公开一示例性实施例提供的数据处理方法的流程示意图。
图7是本公开一示例性实施例提供的神经网络的训练装置的结构示意图。
图8是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。本公开中所指数据可以包括文本、图像、视频等非结构化数据，也可以是结构化数据。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
示例性方法
图1是本公开一示例性实施例提供的神经网络的训练方法的流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：
步骤102，获得多个目标对应的多组样本数据组。
其中，每个目标对应一组样本数据组，每组样本数据组中包括多个样本数据。
本实施例中的目标可以是人、人脸、任意图像、任意物体等，样本数据可以为图像、音频、文本等；例如，当目标为人时，每组样本数据组中包括对应同一个人的多段音频数据；当目标为图像时，每组样本数据组中包括以该图像进行数据增广得到的多个图像。
步骤104，基于目标神经网络对多组样本数据组进行特征提取，得到分别对应多个目标的多组预测特征组。
本实施例中不限制目标神经网络的网络结构，可以是任意网络结构，只需实现对样本数据进行特征提取即可，例如，ResNet，NIN，VGG等模型均可在不同尺度上取得较好的结果，该目标神经网络可以结合其他网络层或神经网络构建新的模型，例如图像分类模型、图像分割模型等。在示例性实施例中，目标神经网络包括激活函数输出层，该激活函数输出层使得预测特征被限定在有限空间内，例如将预测特征中的数值限定在[0，1]或[-1，1]。示例性地，目标神经网络中的激活函数输出层可采用tanh作为激活函数。
步骤106，基于多组预测特征组对目标神经网络进行训练，得到训练后的目标神经网络。
本实施例中，通过多组样本数据组对应的预测特征组对目标神经网络进行训练，简化了训练过程，监督信息由预测特征组中的预测特征自行提供，无需另外对样本数据进行标注，训练目标神经网络的目的是使对应同一目标的目标特征之间的距离尽量小，实现类似聚类的效果，而对应不同目标的目标特征之间的距离尽量大。
本公开上述实施例提供的一种神经网络的训练方法，获得多个目标对应的多组样本数据组；其中，每个所述目标对应一组所述样本数据组，每组所述样本数据组中包括多个样本数据；基于目标神经网络对所述多组样本数据组进行特征提取，得到分别对应所述多个目标的多组预测特征组；基于所述多组预测特征组对所述目标神经网络进行训练，得到训练后的目标神经网络；本实施例提供了一种更易于实现的自监督训练方法，该训练方法不受训练集中数据量大小的限制，并且，训练后的神经网络可以应用到不同数据处理任务中。
如图2所示，在上述图1所示实施例的基础上，步骤106可包括如下步骤：
步骤1061，基于多组预测特征组确定第一损失和/或第二损失。
本实施例中的第一损失、第二损失可以是任意现有损失函数，例如，基于softmax方法的损失函数、基于Contrast方法的损失函数等。
步骤1062，基于第一损失和/或第二损失，对目标神经网络进行训练。
本实施例中，可以基于第一损失或第二损失对目标神经网络进行训练，或者对第一损失和第二损失加权求和，以加权求和的结果对目标神经网络进行训练，其中加权求和时，第一损失和第二损失对应的权重值可以根据实际应用场景进行预先设定。
如图3所示，在上述图2所示实施例的基础上，步骤1061可包括如下步骤：
步骤301，确定多组预测特征组中的每组预测特征组对应的中心特征，得到多个中心特征。
其中，每个中心特征对应一个预测特征组。
本实施例对每组预测特征组确定一个中心特征，以多个中心特征作为预测特征的监督信息，无需引入样本数据的其他标注信息，每组预测特征组以其对应的中心特征作为聚类中心，训练使该预测特征组中所有预测特征靠近对应的中心特征，实现提升目标神经网络的特征提取性能。
步骤302，基于每组预测特征组中多个预测特征与预测特征组对应的中心特征之间的多个第一距离，以及多个预测特征与其他中心特征中之间的第二距离，确定第一损失和/或第二损失。
其中，其他中心特征为多个中心特征中除了预测特征组对应的中心特征之外的中心特征。
可选地，在一可选示例中可基于softmax方法确定第一损失，可基于以下公式(1)和(2)确定第一损失：
Figure BDA0003426860370000101
Figure BDA0003426860370000102
其中，Pij，i表示第i个样本数据组中第j个样本数据(例如，第i张图像对应的第j个增广图像)被分类为i的概率；Lij 1表示第一损失；d()表示距离度量函数，用于确定括号中的两个特征之间的距离(例如，欧式距离等)，d(eij，ci)对应上述实施例中第一距离，d(eij，ck)对应上述实施例中第二距离；eij表示第i个样本数据组中第j个样本数据对应的预测特征；ck表示第k个样本数据组的中心特征，k的取值为1到N，N表示样本数据组的数量；ci表示第i个样本数据组的中心特征，该中心特征可基于以下公式(3)确定：
Figure BDA0003426860370000111
其中，eij表示第i个样本数据组中第j个样本数据对应的预测特征；M表示第i个样本数据组中样本数据的总数量，该公式表示对第i个预测特征组中的多个预测特征求平均，以获得中心特征。
可选地，可基于类似于Contrast方法确定第二损失，例如基于以下公式(4)确定第二损失：
Figure BDA0003426860370000112
其中，eij表示第i个样本数据组中第j个样本数据对应的预测特征；ck表示第k个样本数据组的中心特征，k的取值为1到N，N表示样本数据组的数量；ci表示第i个样本数据组的中心特征，同样可基于上述公式(3)确定；d()表示距离度量函数，用于确定括号中的两个特征之间的距离(例如，欧式距离等)，d(eij，ci)对应上述实施例中第一距离，d(eij，ck)对应上述实施例中第二距离，即，ck为ci的其他中心特征。
本实施例相对于现有技术，以中心特征作为监督信息，减少了标注，只需已知每个样本数据所属的样本数据组，即可实现对目标神经网络的训练，实现了自监督训练，并且更易于实现，训练效果更佳。
如图4a所示，在上述图1所示实施例的基础上，步骤102可包括如下步骤：
步骤1021，针对多个目标中的每个目标，对目标对应的一个已知图像进行增广处理，得到目标对应的多个样本数据。
可选地，基于至少一种数据增强方法对已知图像进行增广处理，得到目标对应的多个样本数据；其中，数据增强方法可以包括但不限于以下至少之一：旋转、噪音加入、剪裁、分辨率变换、色相改变、饱和度改变、亮度改变、马赛克数据增强等。例如，以图4b所示的一张已知图像为例，对该图像进行图像增广，得到如图4c所示的M张图像，M张图像中每一张图像都是已知图像经过裁剪、旋转、翻转、颜色变换等操作之后的结果。
步骤1022，基于多个样本数据，确定目标对应的样本数据组。
在一个可选示例中，数据增强方法可包括但不限于：旋转：将图片旋转x度，x从均匀分布U(-35,35)中采样得到；
高斯噪音：从高斯分布N(0,20)中采样噪音加入原图；
裁剪：根据原图短边长度乘以x得到裁剪区域边长，并从原图中裁剪出边长为该长度的正方形区域，x从均匀分布U(0.2,1)中采样得到；
分辨率：将图片分辨率降为原先分辨的x倍，x从均匀分布U(0.1,1)中采样得到；
色相：改变图片色相，改变量x从均匀分布U(-25,25)中采样得到；
饱和度：改变图片饱和度，为了能采样得到黑白图片，因此改变量x不是对零点对称的。x从均匀分布U(-150,50)中采样得到；
亮度：改变图片亮度。将原先亮度乘以k再加b，k和b分别从均匀分布U(-0.75,1.25)和均匀分布U(-25,25)中采样得到；
Cutout：将图片部分区域用灰色方块覆盖，每个区域边长为采样区域边长的15％，灰色区域数量从均匀分布U(0,2)中采样得到。
上述实施例中的数值均为可选值，可根据实际应用场景进行调整，上述实施例仅为便于理解提供的示例，并不用于限制本公开实施例的实现方案。本实施例通过图像增广的方法，将标注过程转化为图像增广过程，使之成为无监督学习任务，提高了本实施例提供的训练方法的通用性。
在一些可选的实施例中，在上述实施例的基础上，步骤102还可以包括：
获得多个目标人中每个目标人对应的多个不同角度的人脸图像，得到每个目标人对应的一组人脸图像组；
基于多个目标人对应的多组人脸图像组，确定多组样本数据组。
本实施例中，只需标注每个人脸图像对应的目标人即可，该标注过程可以在图像获取过程实现，并且，该标注信息仅用于对样本数据分组，并不用于目标神经网络训练过程中的监督，提升了目标神经网络训练的效率和准确性。
在另一些可选的实施例中，在上述实施例的基础上，步骤102还可以包括：
获得多个目标人中每个目标人对应的多段音频数据，得到每个目标人对应的一组音频数据组；
基于多个目标人对应的多组音频数据组，确定多组样本数据组。
本实施例除了上述实施例中中实现的自监督训练之外，表明了本实施例训练的目标神经网络除了适用于图像的特征提取，也适用于其他可以以向量表示的其他数据信息，音频数据可以是基于语音信号经过语音解码得到的向量形式表达的数据，扩展了基于本实施例提供的训练方法得到的目标神经网络的处理对象和应用技术领域。
图5是本公开一示例性实施例提供的特征提取方法的流程示意图。本实施例可应用在电子设备上，如图5所示，包括如下步骤：
步骤502，接收待处理数据。
可选地，待处理数据可以是图像、音频数据、文本等可以向量形式表达的数据。
步骤504，基于目标神经网络对待处理数据进行特征提取，得到待处理数据对应的数据特征。
其中，目标神经网络基于上述任意一项实施例提供的神经网络的训练方法训练得到。
本实施例中为基于上述任一实施例提供的训练方法训练得到的目标神经网络的应用，该目标神经网络对待处理数据进行特征提取，实现待处理数据的特征表达，以得到的数据特征可更快更方便地建立下游模型，比如图片分类，图片分割等。也就是说无监督表示学习模型本身就应当具备相当的泛化能力，并准确描述图片特征，例如，能较好的衡量图片之间的相似度；相同/相似图片的向量应当距离比较近，反之则向量的距离应当比较远。
图6是本公开一示例性实施例提供的数据处理方法的流程示意图。本实施例可应用在电子设备上，如图6所示，包括如下步骤：
步骤602，利用特征提取方法分别对多个待处理数据进行特征提取，得到多个待处理数据对应的多个数据特征。
其中，特征提取方法可以为上述图5提供的特征提取方法。
步骤604，基于多个数据特征，确定多个待处理数据的处理结果。
可选地，基于多个数据特征之间的距离，确定多个待处理数据之间的相似度；和/或，基于多个数据特征之间的距离，确定多个待处理数据对应的分类类别。
本实施例基于上述实施例提供的神经网络训练方法训练得到的目标神经网络进行特征提取，得到的数据特征可用于比较数据(例如，图像或音频等)之间的相似性，并且比诸如SIFT之类的传统数据处理方法要快得多。在对相似图片进行排序的任务中，许多现有方法都依赖于基于监督学习的预训练模型，而本实施例的方法可以完全放宽此限制，而仅使用未标记的图像作为训练数据，却能获得比这些监督学习方法更好的性能，这表明监督学习和无监督表示学习之间的性能差距已经进一步缩小。
本实施例提供的图像分类性能与其他无监督模型在不同图像分类任务相比较，可达到更好的分类效果；并且当训练数据不足时(不使用完整的训练集进行训练，而仅使用5000张图片进行无监督训练)，本实施例提供的目标神经网络也有较为领先的表现。另外，本实施例提供的图像相似度性能与现在许多监督/无监督图像检索算法相比较，可达到更好的性能，比传统图像处理方法(SIFT)和其他无监督方法有明显优势。
综合以上两项图像下游任务(图像分类和图像相似度确定)，可以得出以下结论：本公开实施例提供的神经网络训练方法能在无监督学习的大框架下，较好的训练一个图像特征提取模型，并在多个下游任务中取得了有实用意义的结果。
本公开实施例提供的任一种神经网络的训练、特征提取、数据处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种神经网络的训练、特征提取、数据处理方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种神经网络的训练、特征提取、数据处理方法。下文不再赘述。
示例性装置
图7是本公开一示例性实施例提供的神经网络的训练装置的结构示意图。如图7所示，本实施例提供的装置包括：
数据获取模块71，用于获得多个目标对应的多组样本数据组。
其中，每个目标对应一组样本数据组，每组样本数据组中包括多个样本数据。
特征提取模块72，用于基于目标神经网络对多组样本数据组进行特征提取，得到分别对应多个目标的多组预测特征组。
模型训练模块73，用于基于多组预测特征组对目标神经网络进行训练，得到训练后的目标神经网络。
本公开上述实施例提供的一种神经网络的训练装置，获得多个目标对应的多组样本数据组；其中，每个所述目标对应一组所述样本数据组，每组所述样本数据组中包括多个样本数据；基于目标神经网络对所述多组样本数据组进行特征提取，得到分别对应所述多个目标的多组预测特征组；基于所述多组预测特征组对所述目标神经网络进行训练，得到训练后的目标神经网络；本实施例提供了一种更易于实现的自监督训练方法，该训练方法不受训练集中数据量大小的限制，并且，训练后的神经网络可以应用到不同数据处理任务中。
可选地，模型训练模块73，包括：
损失确定单元，用于基于多组预测特征组确定第一损失和/或第二损失；
网络训练单元，用于基于第一损失和/或第二损失，对目标神经网络进行训练。
可选地，损失确定单元，具体用于确定多组预测特征组中的每组预测特征组对应的中心特征，得到多个中心特征；其中，每个中心特征对应一个预测特征组；基于每组预测特征组中多个预测特征与预测特征组对应的中心特征之间的多个第一距离，以及多个预测特征与其他中心特征中之间的第二距离，确定第一损失和/或第二损失；其中，其他中心特征为多个中心特征中除了预测特征组对应的中心特征之外的中心特征。
可选地，数据获取模块71，具体用于针对多个目标中的每个目标，对目标对应的一个已知图像进行增广处理，得到目标对应的多个样本数据；基于多个样本数据，确定目标对应的样本数据组。
可选地，数据获取模块71在对目标对应的一个已知图像进行增广处理，得到目标对应的多个样本数据时，用于基于至少一种数据增强方法对已知图像进行增广处理，得到目标对应的多个样本数据；其中，数据增强方法包括以下至少之一：旋转、噪音加入、剪裁、分辨率变换、色相改变、饱和度改变、亮度改变、马赛克数据增强。
可选地，数据获取模块71，具体用于获得多个目标人中每个目标人对应的多个不同角度的人脸图像，得到每个目标人对应的一组人脸图像组；基于多个目标人对应的多组人脸图像组，确定多组样本数据组。
可选地，数据获取模块71，具体用于获得多个目标人中每个目标人对应的多段音频数据，得到每个目标人对应的一组音频数据组；基于多个目标人对应的多组音频数据组，确定多组样本数据组。
根据本公开实施例的另一方面，提供了一种特征提取装置，包括：
数据接收模块，用于接收待处理数据；
数据特征提取模块，用于基于目标神经网络对待处理数据进行特征提取，得到待处理数据对应的数据特征；其中，目标神经网络基于上述任意一项实施例的神经网络的训练方法训练得到。
根据本公开实施例的另一方面，提供了一种数据处理装置，包括：
特征获取模块，用于利用上述任意一项实施例的特征提取方法分别对多个待处理数据进行特征提取，得到多个待处理数据对应的多个数据特征；
数据处理模块，用于基于多个数据特征，确定多个待处理数据的处理结果。
可选地，数据处理模块，具体用于基于多个数据特征之间的距离，确定多个待处理数据之间的相似度；和/或，基于多个数据特征之间的距离，确定多个待处理数据对应的分类类别。
示例性电子设备
下面，参考图8来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图8图示了根据本公开实施例的电子设备的框图。
如图8所示，电子设备80包括一个或多个处理器81和存储器82。
处理器81可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备80中的其他组件以执行期望的功能。
存储器82可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器81可以运行所述程序指令，以实现上文所述的本公开的各个实施例的神经网络的训练、特征提取、数据处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备80还可以包括：输入装置83和输出装置84，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是第一设备100或第二设备200时，该输入装置83可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置83可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。
此外，该输入装置83还可以包括例如键盘、鼠标等等。
该输出装置84可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置84可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图8中仅示出了该电子设备80中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备80还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的神经网络的训练、特征提取、数据处理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的神经网络的训练、特征提取、数据处理方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种神经网络的训练方法，其特征在于，包括：
获得多个目标对应的多组样本数据组；其中，每个所述目标对应一组所述样本数据组，每组所述样本数据组中包括多个样本数据；
基于目标神经网络对所述多组样本数据组进行特征提取，得到分别对应所述多个目标的多组预测特征组；
基于所述多组预测特征组对所述目标神经网络进行训练，得到训练后的目标神经网络；其中，对每组所述预测特征组确定一个中心特征，以多个所述中心特征作为预测特征的监督信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多组预测特征组对所述目标神经网络进行训练，包括：
基于所述多组预测特征组确定第一损失和/或第二损失；
基于所述第一损失和/或所述第二损失，对所述目标神经网络进行训练。
3.根据权利要求2所述的方法，其特征在于，所述基于所述多组预测特征组确定第一损失和/或第二损失，包括：
确定所述多组预测特征组中的每组预测特征组对应的中心特征，得到多个所述中心特征；其中，每个所述中心特征对应一个所述预测特征组；
基于每组所述预测特征组中多个预测特征与所述预测特征组对应的所述中心特征之间的多个第一距离，以及所述多个预测特征与其他中心特征中之间的第二距离，确定第一损失和/或第二损失；其中，所述其他中心特征为所述多个中心特征中除了所述预测特征组对应的中心特征之外的所述中心特征。
4.根据权利要求1-3任一所述的方法，其特征在于，所述获得多个目标对应的多组样本数据组，包括：
针对所述多个目标中的每个目标，对所述目标对应的一个已知图像进行增广处理，得到所述目标对应的多个样本数据；
基于所述多个样本数据，确定所述目标对应的样本数据组。
5.根据权利要求4所述的方法，其特征在于，所述对所述目标对应的一个已知图像进行增广处理，得到所述目标对应的多个样本数据，包括：
基于至少一种数据增强方法对所述已知图像进行增广处理，得到所述目标对应的多个样本数据；其中，所述数据增强方法包括以下至少之一：旋转、噪音加入、剪裁、分辨率变换、色相改变、饱和度改变、亮度改变、马赛克数据增强。
6.根据权利要求1-3任一所述的方法，其特征在于，所述获得多个目标对应的多组样本数据组，包括：
获得多个目标人中每个目标人对应的多个不同角度的人脸图像，得到每个所述目标人对应的一组人脸图像组；
基于所述多个目标人对应的多组所述人脸图像组，确定所述多组样本数据组。
7.根据权利要求1-3任一所述的方法，其特征在于，所述获得多个目标对应的多组样本数据组，包括：
获得多个目标人中每个目标人对应的多段音频数据，得到每个所述目标人对应的一组音频数据组；
基于所述多个目标人对应的多组所述音频数据组，确定所述多组样本数据组。
8.一种特征提取方法，其特征在于，包括：
接收待处理数据；
基于目标神经网络对所述待处理数据进行特征提取，得到所述待处理数据对应的数据特征；其中，所述目标神经网络基于上述权利要求1-7任意一项所述的神经网络的训练方法训练得到。
9.一种数据处理方法，其特征在于，包括：
利用权利要求8所述的特征提取方法分别对多个待处理数据进行特征提取，得到所述多个待处理数据对应的多个数据特征；
基于所述多个数据特征，确定所述多个待处理数据的处理结果。
10.根据权利要求9所述的方法，其特征在于，所述基于所述多个数据特征，确定所述多个待处理数据的处理结果，包括：
基于所述多个数据特征之间的距离，确定所述多个待处理数据之间的相似度；和/或，
基于所述多个数据特征之间的距离，确定所述多个待处理数据对应的分类类别。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-10任一所述的方法。
12.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-10任一所述的方法。
CN202111582994.9A 2021-12-22 2021-12-22 神经网络的训练、特征提取、数据处理方法和设备 Active CN114049502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111582994.9A CN114049502B (zh) 2021-12-22 2021-12-22 神经网络的训练、特征提取、数据处理方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111582994.9A CN114049502B (zh) 2021-12-22 2021-12-22 神经网络的训练、特征提取、数据处理方法和设备

Publications (2)

Publication Number Publication Date
CN114049502A CN114049502A (zh) 2022-02-15
CN114049502B true CN114049502B (zh) 2023-04-07

Family

ID=80213356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111582994.9A Active CN114049502B (zh) 2021-12-22 2021-12-22 神经网络的训练、特征提取、数据处理方法和设备

Country Status (1)

Country Link
CN (1) CN114049502B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226761A (zh) * 2022-12-27 2023-06-06 北京关键科技股份有限公司 一种基于深度神经网络的演训数据分类编目方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930992A (zh) * 2020-08-14 2020-11-13 腾讯科技（深圳）有限公司 神经网络训练方法、装置及电子设备
CN112149689A (zh) * 2020-09-28 2020-12-29 上海交通大学 基于目标领域自监督学习的无监督领域适应方法和***
CN112381831A (zh) * 2020-11-26 2021-02-19 南开大学 基于图像间语义辅助的个性化图像分割方法及***
CN113408554A (zh) * 2020-03-16 2021-09-17 阿里巴巴集团控股有限公司 数据处理方法、模型训练方法、装置及设备
CN113486957A (zh) * 2021-07-07 2021-10-08 西安商汤智能科技有限公司 神经网络训练和图像处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892127A (zh) * 2019-05-17 2022-01-04 奇跃公司 使用神经网络和角点检测器进行角点检测的方法和装置
CN110210535B (zh) * 2019-05-21 2021-09-10 北京市商汤科技开发有限公司 神经网络训练方法及装置以及图像处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408554A (zh) * 2020-03-16 2021-09-17 阿里巴巴集团控股有限公司 数据处理方法、模型训练方法、装置及设备
CN111930992A (zh) * 2020-08-14 2020-11-13 腾讯科技（深圳）有限公司 神经网络训练方法、装置及电子设备
CN112149689A (zh) * 2020-09-28 2020-12-29 上海交通大学 基于目标领域自监督学习的无监督领域适应方法和***
CN112381831A (zh) * 2020-11-26 2021-02-19 南开大学 基于图像间语义辅助的个性化图像分割方法及***
CN113486957A (zh) * 2021-07-07 2021-10-08 西安商汤智能科技有限公司 神经网络训练和图像处理方法及装置

Also Published As

Publication number Publication date
CN114049502A (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
Gu et al. Deep dual-channel neural network for image-based smoke detection
CN108351984B (zh) 硬件高效的深度卷积神经网络
CN109711422B (zh) 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN106570464B (zh) 一种快速处理人脸遮挡的人脸识别方法及装置
CN110647893B (zh) 目标对象识别方法、装置、存储介质和设备
CN105069424B (zh) 面部快速识别***和方法
US9330332B2 (en) Fast computation of kernel descriptors
CN108280451B (zh) 语义分割及网络训练方法和装置、设备、介质
US6594392B2 (en) Pattern recognition based on piecewise linear probability density function
CN113434716B (zh) 一种跨模态信息检索方法和装置
CN111583274A (zh) 图像分割方法、装置、计算机可读存储介质及电子设备
CN114049502B (zh) 神经网络的训练、特征提取、数据处理方法和设备
CN111242162B (zh) 图像分类模型的训练方法、装置、介质以及电子设备
CN115482141A (zh) 图像处理方法、装置、电子设备和存储介质
CN113449840A (zh) 神经网络训练方法及装置、图像分类的方法及装置
Zhang et al. Application of improved virtual sample and sparse representation in face recognition
CN114299304A (zh) 一种图像处理方法及相关设备
Mirza et al. Efficient kinect sensor-based kurdish sign language recognition using echo system network
Amjad et al. Deep learning for inverse problems: Bounds and regularizers
CN113569860B (zh) 实例分割方法和实例分割网络的训练方法及其装置
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN115862015A (zh) 文字识别***的训练方法及装置、文字识别方法及装置
Hsia et al. Fast search real‐time face recognition based on DCT coefficients distribution
CN112214626B (zh) 图像识别方法、装置、可读存储介质及电子设备
CN110516717B (zh) 用于生成图像识别模型的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220328

Address after: 100085 Floor 101 102-1, No. 35 Building, No. 2 Hospital, Xierqi West Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 101500 room 501-1834, Development Zone office building, No. 8, Xingsheng South Road, economic development zone, Miyun District, Beijing (centralized office area of Economic Development Zone)

Applicant before: Shell housing network (Beijing) Information Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant