CN113705589A - 数据处理方法、装置及设备 - Google Patents

数据处理方法、装置及设备 Download PDF

Info

Publication number
CN113705589A
CN113705589A CN202111279272.6A CN202111279272A CN113705589A CN 113705589 A CN113705589 A CN 113705589A CN 202111279272 A CN202111279272 A CN 202111279272A CN 113705589 A CN113705589 A CN 113705589A
Authority
CN
China
Prior art keywords
loss
sample
training
feature
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111279272.6A
Other languages
English (en)
Inventor
郭卉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111279272.6A priority Critical patent/CN113705589A/zh
Publication of CN113705589A publication Critical patent/CN113705589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出了一种数据处理方法、装置及设备，可以应用于云技术、人工智能、区块链、车联网、智慧交通、智能家居等各种领域或场景，该方法包括：获取训练样本，训练样本包括参考样本、正样本和负样本；调用特征提取模型对参考样本、正样本和负样本进行特征提取处理，得到参考样本的参考特征，正样本的正特征以及负样本的负特征；根据参考特征和正特征确定相似损失，根据参考特征、正特征和负特征确定对比损失；将相似损失和对比损失叠加为目标损失，根据目标损失训练特征提取模型，得到目标特征提取模型，目标特征提取模型用于提取多媒体数据的数据特征，采用本申请可以提高特征提取模型的准确性。

Description

数据处理方法、装置及设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、数据处理装置及计算机设备。
背景技术
随着计算机技术的迅速发展，特征提取模型的应用越来越广泛，在应用特征提取模型之前，通常需要先对特征提取模型进行训练，训练的好坏可以决定特征提取模型的准确性（由特征质量的好坏决定），而损失的计算方法在很大程度上决定了特征提取模型训练的好坏，因此，针对损失设计合理的计算方法，提高特征提取模型的准确性是有待解决的问题。
发明内容
本申请实施例提供了一种数据处理方法、装置及设备，可以联合对比损失和相似损失，有效提高特征提取模型的准确性。
一方面，本申请实施例提供了一种数据处理方法，所述方法包括：
获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系；
调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征；
根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失；
将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。
另一方面，本申请实施例提供了一种数据处理装置，所述装置包括：
获取单元，用于获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系；
处理单元，用于调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征；
所述处理单元，还用于根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失；
所述处理单元，还用于将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。
相应地，本申请实施例提供了一种计算机设备，上述计算机设备包括处理器、通信接口和存储器，上述处理器、通信接口和存储器相互连接，其中，上述存储器存储有计算机程序，上述处理器用于调用上述计算机程序，执行上述任一可能实现方式的数据处理方法。
相应地，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行实现本申请实施例提供的数据处理方法的步骤。
相应地，本申请实施例还提供了一种计算机程序产品，上述计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行实现本申请实施例提供的数据处理方法的步骤。
相应地，本申请实施例还提供了一种计算机程序，上述计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行本申请实施例提供的数据处理方法。
本申请实施例中，调用特征提取模型对训练样本包括的参考样本、正样本和负样本进行特征提取处理，得到参考样本的参考特征，正样本的正特征以及负样本的负特征，其中，参考样本和正样本满足相似关系，参考样本和负样本满足不相似关系，根据参考特征和正特征确定相似损失，根据参考特征、正特征和负特征确定对比损失，将相似损失和对比损失叠加为目标损失，根据目标损失训练特征提取模型，得到目标特征提取模型，目标特征提取模型是用于提取多媒体数据的数据特征；上述方法中采用了对比损失和相似损失联合训练特征提取模型，使得特征提取模型不仅能够保证不相似样本之间的差异性远大于相似样本之间的差异性，还能保证相似样本之间的相似性，可以有效提高特征提取模型的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种适用于数据处理方法的网络架构示意图；
图2为本申请实施例提供的一种数据处理方法的流程示意图一；
图3为本申请实施例提供的一种残差块的结构示意图；
图4为本申请实施例提供的一种数据处理方法的流程示意图二；
图5为本申请实施例提供的一种数据处理方法的流程示意图三；
图6为本申请实施例提供的一种数据处理方法的流程示意图四；
图7为本申请实施例提供的一种数据处理装置的结构示意图；
图8为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”等的技术特征可以明示或者隐含的包括至少一个该特征。
本申请提出了一种数据处理方法，可以联合对比损失和相似损失训练特征提取模型，使得特征提取模型不仅能够保证不相似样本之间的差异性远大于相似样本之间的差异性，还能保证相似样本之间的相似性，可以有效提高特征提取模型的准确性。该数据处理算法具体涉及人工智能技术中的机器学习技术，机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
在可行的实施例中，本申请实施例提供的数据处理方法还可以基于云技术（Cloudtechnology）和/或区块链技术实现。区块链：（blockchain或block chain）是借由密码学串接并保护内容的串连文字记录（又称区块）。每一个区块包含了前一个区块的加密散列、相应时间戳记以及交易数据（通常用默克尔树（Merkle tree）算法计算的散列值表示），这样的设计使得区块内容具有难以篡改的特性。用区块链技术所串接的分布式账本能让两方有效纪录交易，且可永久查验此交易。本申请实施例提供的数据处理方法具体可以涉及云技术中的云存储（Cloud storage）、云数据库（Cloud Database）、大数据（Big data）中的一种或者多种。例如，从云数据库中获取执行该数据处理方法所需要的数据（例如训练样本、特征提取模型，等等）。又例如，执行该数据处理方法所需要的数据可以是以区块的形式存储在区块链上；可以将执行该数据处理方法所产生的数据（例如参考特征、正特征、负特征等）以区块的形式存储到区块链上；另外，执行该数据处理方法的计算机设备可以是区块链网络中的节点设备。
本申请实施例提供的数据处理方法可以适用于图1所示的网络架构。图1所示的计算机设备10可以是具备数据处理功能的服务器或者终端，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、车载终端，等等，但并不局限于此。图1所示的终端11与计算机设备10之间通过网络连接。本申请实施例提供的数据处理方法可以由计算机设备10执行，具体地：
调用特征提取模型对训练样本包括的参考样本、正样本和负样本进行特征提取处理，得到参考样本的参考特征，正样本的正特征以及负样本的负特征，其中，参考样本和正样本满足相似关系，参考样本和负样本满足不相似关系，根据参考特征和正特征确定相似损失，根据参考特征、正特征和负特征确定对比损失，将相似损失和对比损失叠加为目标损失，根据目标损失训练特征提取模型，得到目标特征提取模型，可以联合对比损失和相似损失，有效提高特征提取模型的准确性。
图1所示的目标特征提取模型12是采用上述数据处理方法得到，可以部署在计算机设备10中，在一实施例中，计算机设备10可以利用部署的目标特征提取模型12提取多媒体数据的数据特征执行检索任务，具体为：计算机设备10接收终端11发送的查询请求（携带有目标多媒体数据），调用目标特征提取模型12对目标多媒体数据进行特征提取处理，得到目标多媒体数据的数据特征，另外，调用目标特征提取模型12对多个待召回多媒体数据进行特征提取处理，得到多个待召回多媒体数据的数据特征，确定目标多媒体数据的数据特征和多个待召回多媒体数据的数据特征之间的相似性，根据相似性从多个待召回多媒体数据中选择召回多媒体数据，并输出召回多媒体数据给终端11，可以提高检索任务的准确性。
目标多媒体数据或待召回多媒体数据的数据属性类型可以为多媒体数据包括的图像、文本、音频、视频中的任一种，例如当判断两段音频是否相似时，目标多媒体数据和待召回多媒体数据为音频数据。在选择召回多媒体数据时，可以选择与目标多媒体数据具有最大相似性的待召回多媒体数据，或者，与目标多媒体数据的相似性大于相似阈值（可以人为设定）的待召回多媒体数据。
可以理解的是，本申请实施例描述的网络架构示意图是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
以上对本申请实施例提供的数据处理方法进行了简要介绍，下面对该数据处理方法的具体实现方式进行详细阐述。
请参阅图2，图2为本申请实施例提供的一种数据处理方法的流程示意图一。所述数据处理方法包括但不限于如下步骤：
S201、获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系。
在本申请实施例中，训练样本是样本多媒体数据，参考样本是参考多媒体数据，正样本是正多媒体数据，负样本是负多媒体数据，训练样本的数据属性类型可以为多媒体数据包括的文本、图像、音频、视频中的任一种，例如当训练样本的数据属性类型为文本时，训练样本是样本文本数据，参考样本是参考文本数据，正样本是正文本数据，负样本是负文本数据，又例如当训练样本的数据属性类型为音频时，训练样本是样本音频数据，参考样本是参考音频数据，正样本是正音频数据，负样本是负音频数据。参考样本和正样本满足相似关系（参考样本和正样本组成相似样本），参考样本和负样本满足不相似关系（参考样本和负样本组成不相似样本），例如图像都为猫的参考样本和正样本满足相似关系，且为相似样本，图像为猫的参考样本和图像为狗的负样本满足不相似关系，且为不相似样本。
在一实施例中，计算机设备获取训练样本时，可以是随机从样本库中抽取满足上述相似关系和上述不相似关系的三个样本构成训练样本。但随机抽取产生的训练样本大概率会是易样本（即容易区分的训练样本，例如参考样本和正样本之间的相似性极高，和/或，参考样本和负样本之间的相似性极低），易样本在训练的初始阶段对特征提取模型的学习有帮助，但当特征提取模型对易样本建立了良好的区分能力后，由于缺乏难样本（即不容易区分的训练样本）的学习，特征提取模型对于难样本会不具备良好的区分能力。
在另一实施例中，计算机设备获取训练样本，具体为：获取K组样本对，每一组样本对包括参考样本和正样本，确定目标样本对包括的参考样本与K-1个候选样本之间的距离，根据距离从K-1个候选样本中确定M个负样本，将目标样本对和M个负样本分别组合为训练样本，M为正整数，M≤K-1。
在本申请实施例中，目标样本对为K组样本对中任一样本对，K-1个候选样本为K-1个参考样本对包括的K-1个参考样本或者K-1个正样本，参考样本对为K组样本对中除目标样本对以外的样本对。对应地，当训练样本是样本多媒体数据，且参考样本是参考多媒体数据，正样本是正多媒体数据，负样本是负多媒体数据时，候选样本为候选多媒体数据，样本对中包括的参考样本为参考多媒体数据，样本对中包括的正样本为正多媒体数据。
具体地，计算机设备在计算得到目标样本对中的参考样本与K-1个候选样本（可以为参考样本对中的参考样本或正样本）的距离后，可以按照距离从小至大对K-1个候选样本进行排序，选择排序在前M（正整数，例如M为20）个的候选样本作为负样本，则K组正样本对与M个负样本可以组成K×M个训练样本。距离的计算方式可以是欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离，等等。
需要说明的是，距离用于度量样本之间相似性，样本之间的距离越小，样本之间的相似性越高，与参考样本的距离小的候选样本，可以与正样本对构成难样本，使得特征提取模型可以对难样本进行学习，从而对于难以区分的样本可以具备良好的区分能力。另外，在相似样本的距离约束下，可以提升全局训练样本数据中的相似样本的相似性，解决随机抽样产生训练样本时，训练样本中相似样本之间的距离波动过大的问题。
S202、调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征。
下述步骤以一个训练样本为例进行说明：
在本申请实施例中，特征提取模型用于特征提取，特征提取模型提取的特征质量（或者说特征表达能力）越好，特征提取模型的准确性越高，相应地，特征提取模型提取的特征质量（或者说特征表达能力）越差，特征提取模型的准确性越低。特征提取模型可以为任意神经网络，神经网络是仿生物神经网络而来的一种技术，通过连接多个特征值，经过线性和非线性的组合，最终达到一个目标。特征提取模型可以为Mobilenet-v2、ResNet-18或ResNet-101等，本申请对此不作限定。对应地，当训练样本是样本多媒体数据，且参考样本是参考多媒体数据，正样本是正多媒体数据，负样本是负多媒体数据时，参考特征是参考多媒体数据特征，正特征是正多媒体数据特征，负特征是负多媒体数据特征，参考特征是对参考多媒体数据进行特征提取处理后的特征，正特征是对正多媒体数据进行特征提取处理后的特征，负特征是对负多媒体数据进行特征提取处理后的特征，参考特征、正特征和负特征与参考样本、正样本和负样本一一对应，例如，当训练样本的数据属性类型为文本时，参考文本数据特征与参考文本数据相对应，正文本数据特征与正文本数据相对应，负文本数据特征与负文本数据相对应。可以知道，当训练样本的数据属性类型为文本时，参考多媒体数据特征，正多媒体数据特征和负多媒体数据特征（或者参考特征、正特征和负特征）都是一种文本特征，并以此类推。
在一实施例中，特征提取模型包括特征提取子模块以及特征表示子模块。计算机设备可以调用特征提取模型包括的特征提取子模块和特征表示子模块分别对参考样本、正样本和负样本进行特征提取，得到参考样本的参考特征，正样本的正特征以及负样本的负特征。
在本申请实施例中，以特征提取子模块为在ImageNet数据集上预训练的ResNet-101为例进行说明，请参见下述表1，表1记录了ResNet-101的网络结构：
表1
Figure 909745DEST_PATH_IMAGE001
如上述表1所示，ResNet-101包括5个卷积层，在第一卷积层使用了64个步长（stride）为2，大小为7×7的卷积核；在第二卷积层使用了大小为3×3，步长为2的最大池化（max pool），以及3个残差块（blocks），每个残差块的结构如图3所示，主要使用大小为1×1和3×3的卷积核，其中，第一个大小为1×1的卷积核主要用来压缩特征的数量，第三个大小为1×1的卷积核用来恢复特征的数量，其后的64、256为卷积核的数目；在第三卷积层使用了4个残差块；在第四卷积层使用了23个残差块；在第五卷积层使用了3个残差块，ResNet-101共使用了34个残差块。
在一实施例中，请参见下述表2，表2记录了特征表示子模块的网络结构，其中，特征表示子模块包括采用最大池化的池化层和全连接层，可以通过全连接层输出提取的特征：
表2
Figure 462824DEST_PATH_IMAGE002
可选地，特征提取模型可以采用方差为0.01，均值为0的高斯分布进行参数初始化，以及学习率为0.0005进行训练。
S203、根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失。
特征提取模型采用对比损失对训练样本进行对比学习的训练时，使参考样本的参 考特征与负样本的负特征之间的距离（简称为Dan），大于参考样本的参考特征与正样本的正 特征之间的距离（简称为Dap），且满足两者距离之间的差异大于某一指定边界，即Dan-Dap≥
Figure 423827DEST_PATH_IMAGE003
，
Figure 196611DEST_PATH_IMAGE003
为指定边界，为正整数（可以人为设定）。对于不同的训练样本，其Dan与Dap是不同的， 例如，训练样本1与训练样本2具有相同的参考样本和正样本，训练样本1的Dan=23，Dap=20； 训练样本2的Dan=32，Dap=30，若
Figure 2892DEST_PATH_IMAGE004
为5，训练样本1和训练样本2均满足Dan-Dap≥
Figure 177522DEST_PATH_IMAGE004
，可见，对 比损失保证了训练样本的相对距离（即保证Dan-Dap≥
Figure 778268DEST_PATH_IMAGE004
），而无法保证参考样本和正样本之 间的绝对距离（即无法保证参考样本和正样本的相似性）。若模型学习不充分，学习的特征 质量差时，很可能还导致Dan小于Dap。
另外，采用对比损失在对特征提取模型进行训练时，还存在另一个问题，由于错误 标注可能导致训练样本中存在噪声，例如不具有相似性的两个样本被标注为参考样本和正 样本（此时正样本的数据类型为噪声类型），或具有相似性的两个样本被标注为参考样本和 负样本（此时负样本的数据类型为噪声类型）。对于存在噪声的训练样本，对比损失的优化 方法是存在多种可能性的，比如，即使参考特征和负特征具有相似性，也会使参考特征和负 特征之间的距离Dan大到可以满足Dan-Dap≥
Figure 38348DEST_PATH_IMAGE004
尽管满足了对比学习所要求的相对距离的约 束，但实际上无法对特征提取模型进行有效训练。
在一实施例中，计算机设备根据参考特征、正特征和负特征确定对比损失，具体为：确定参考特征和正特征之间的第一距离，以及参考特征和负特征之间的第二距离，将第一距离和第二距离输入对比损失函数，确定对比损失。对比损失函数如下述式（1）所示：
L t=max(Dap－Dan＋
Figure 648320DEST_PATH_IMAGE004
,0)（1）
其中，L t表示对比损失函数，Dap表示参考特征和正特征之间的第一距离，第一距离 具体可以为参考特征和正特征之间的欧式距离，Dan表示参考特征和负特征之间的第二距 离，第二距离具体可以为参考特征和负特征之间的欧式距离，
Figure 178921DEST_PATH_IMAGE003
表示第一指定边界（正整 数），用于限定第二距离与第一距离之间的差异大于等于
Figure 481727DEST_PATH_IMAGE003
（即对比损失的目的），例如，若 限定Dan-Dap≥20，则
Figure 963523DEST_PATH_IMAGE003
为20。通过对比损失函数确定的对比损失可以让特征提取模型实现 对比学习。
在一实施例中，计算机设备根据参考特征和正特征之间的第一距离确定相似损失，相似损失用于让参考特征和正特征之间的距离限制在某一阈值范围内（即相似学习的目的）。
在一实施例中，计算机设备根据参考特征和正特征确定对比损失，具体为：将参考特征和正特征之间的第一距离输入相似损失函数，确定相似损失，相似损失函数如下述式（2）所示：
Figure 377187DEST_PATH_IMAGE005
（2）
其中，L s表示相似损失函数，
Figure 995250DEST_PATH_IMAGE006
表示第二指定边界（正整数），用于限定参考特征和 正特征之间的第一距离小于
Figure 468957DEST_PATH_IMAGE007
，例如，限定Dap＜10，则
Figure 172471DEST_PATH_IMAGE006
为10。通过相似损失函数确定的相似 损失可以让特征提取模型实现相似学习。
S204、将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。
在本申请实施例中，目标损失用于调整特征提取模型的参数，通过调小目标损失，可以让特征提取模型的准确性变高。
通过联合对比损失和相似损失确定的目标损失，可以在保证参考特征和正特征具有相似性的基础上，保证参考特征与负特征具有不相似性。例如，第二指令边界为10（即限定参考特征和正特征之间的第一距离Dap小于10），第一指定边界为20（即限定第二距离Dan与第一距离Dap之间的差异大于等于20），即使是不太相似的相似样本之间的第一距离也需要满足10，而不相似样本之间的第二距离大于等于30时，才能确保绝对能满足对比损失和相似损失。
在一实施例中，计算机设备可以确定相似损失的权重和对比损失的权重，利用相似损失的权重和对比损失的权重，将相似损失和对比损失叠加为目标损失。
具体地，将相似损失的权重w 1和对比损失的权重 w 2，以及相似损失L s和对比损失L t输入目标损失函数，确定目标损失L total，目标损失函数如下述式（3）所示：
L total =w 1 L t+ w 2 L s（3）
通过目标损失函数确定的目标损失可以让特征提取模型实现相似学习和对比损失的联合学习。
为了避免训练样本中的噪声对特征提取模型产生负面影响，本申请通过跟踪样本的损失，对相似损失的权重和对比损失的权重执行缓和学习策略，从而决定最终的目标损失。
在一实施例中，计算机设备获取特征提取模型的已训练批次量，若已训练批次量小于预设值，则将相似损失的权重和对比损失的权重均设为第一参数，若已训练批次量不小于预设值，则根据正样本的数据类型和负样本的数据类型，确定相似损失的权重和对比损失的权重，根据相似损失的权重和对比损失的权重，将相似损失和对比损失叠加为目标损失。
在本申请实施例中，一个训练代次（epoch）为所有的训练样本对特征提取模型进行一次全量训练，可以将所有的训练样本划分为N（正整数）个训练批次（batch）。若有S（正整数）个训练代次，则存在S×N个训练批次，且迭代次数为S×N，即每完成一个训练批次的训练，则完成一次迭代。
在本申请实施例中，已训练批次量为已完成训练的训练批次的数量。预设值为正整数，可以人为设定。在一实施例中，已训练批次量可以根据训练样本所在的训练批次确定，具体为：训练样本所在的训练批次为s-n（表示第s个训练代次的第n个训练批次），每个epoch包括N个训练批次，以（s-1）×N+（n-1）的形式将训练样本所在的训练批次s-n转换为数值的形式，将得到的数值确定为已训练批次量，例如，每个epoch包括3个训练批次，训练样本所在的训练批次为2-1，则已训练批次量为：（2-1）×3+（1-1）=3。可以便于判断已训练批次量是否小于预设值。
在一实施例中，当已训练批次量小于预设值时，此时在训练初始阶段，直接将相似损失的权重和对比损失的权重均设为第一参数（例如第一参数为1）；当已训练批次量不小于预设值时，确定训练样本所在的训练批次的参考相似损失和参考对比损失，根据参考相似损失和参考对比损失，确定正样本的数据类型和负样本的数据类型，从而确定相似损失的权重和对比损失的权重。
在一实施例中，确定训练样本所在的训练批次的参考相似损失和参考对比损失，具体为：若训练样本所在的训练批次为目标训练批次，则将训练样本所在的训练批次的平均相似损失作为参考相似损失，将训练样本所在的训练批次的平均对比损失作为参考对比损失，若训练样本所在的训练批次不为目标训练批次，则根据训练样本所在的训练批次的平均相似损失，以及与训练样本所在的训练批次相邻的训练批次确定参考相似损失，根据训练样本所在的训练批次的平均对比损失，以及与训练样本所在的训练批次相邻的训练批次确定参考对比损失。
在申请实施例中，目标训练批次为指定的训练批次，例如目标训练批次为与第一个训练代次中的第一个训练批次间隔有上述预设值-1个（上述预设值简称为k）训练批次的训练批次，或者目标训练批次为除第一个训练代次以外的其余训练代次中的第一个训练批次。平均对比损失为多个训练样本的对比损失的均值，平均相似损失为多个训练样本的相似损失的均值。与训练样本所在的训练批次相邻的训练批次为在训练样本所在的训练批次前一个完成训练的训练批次，为便于说明，后续简称为前一个训练批次。
针对目标训练批次为与第一个训练代次中的第一个训练批次间隔有k-1个训练批次的训练批次，若训练样本所在的训练批次为目标训练批次（假设k为4，此时训练样本所在的训练批次为1-4），则采用训练样本所在的训练批次的平均相似损失作为参考相似损失，采用训练样本所在的训练批次的平均对比损失作为参考对比损失。若训练样本所在的训练批次不为目标训练批次（假设k为4，此时训练样本所在的训练批次为1-5、1-6、1-7…），则根据训练样本所在的训练批次的平均相似损失，以及前一个训练批次的参考相似损失确定训练样本所在的训练批次的参考相似损失；根据训练样本所在的训练批次的平均对比损失，以及前一个训练批次的参考对比损失确定训练样本所在的训练批次的参考对比损失。
针对目标训练批次为除第一个训练代次以外的其余训练代次中的第一个训练批次，若训练样本所在的训练批次为目标训练批次（此时训练样本所在的训练批次为2-1、3-1、4-1…），则采用训练样本所在的训练批次的平均相似损失作为参考相似损失，采用训练样本所在的训练批次的平均对比损失作为参考对比损失。若训练样本所在的训练批次不为目标训练批次（此时训练样本所在的训练批次为2-2、2-3、…、3-2、3-3、…、4-2、4-3…），则根据训练样本所在的训练批次的平均相似损失，以及前一个训练批次的参考相似损失确定训练样本所在的训练批次的参考相似损失；根据训练样本所在的训练批次的平均对比损失，以及前一个训练批次的参考对比损失确定训练样本所在的训练批次的参考对比损失。
请参见图4，图4中记忆单元1记录的是上述前一个训练批次的参考对比损失，记忆单元2记录的是上述前一个训练批次的参考相似损失，计算机设备可以通过读取记忆单元（包括记忆单元1和记忆单元2）中的参考相似损失和参考对比损失，确定前一个训练批次的参考相似损失和参考对比损失。另外，通过上述说明可知，除了第一个训练代数以外的其余训练代数，均要从第一个训练批次开始重新在记忆单元中记录当前训练批次的参考相似损失和参考对比损失，使得新学习的训练代次总是比前一个训练代次的训练效果好。
在一实施例中，若训练样本所在的训练批次为目标训练批次时，则根据上述公式（1）确定训练样本所在的训练批次包括的所有训练样本的对比损失，确定所有训练样本的对比损失的均值（即平均对比损失），并将得到的均值确定为参考对比损失，参考对比损失如下述式（4）所示：
ML t=avg(L t)（4）
其中，ML t表示参考对比损失，avg(L t)表示所有训练样本的对比损失的均值。
在一实施例中，若训练样本所在的训练批次为目标训练批次时，则根据上述公式（2）确定训练样本所在的训练批次包括的所有训练样本的相似损失，确定所有训练样本的相似损失的均值（即平均相似损失），并将得到的均值确定为参考相似损失，参考相似损失如下述式（5）所示：
ML s=avg(L s)（5）
其中，ML s表示参考相似损失，avg(L s)表示所有训练样本的相似损失的均值。
在一实施例中，若训练样本所在的训练批次不为目标训练批次时，可以通过下述式（6）和式（7）分别确定参考对比损失和参考相似损失：
ML t=0.95 ML t-1 +0.05avg(L t)（6）
ML s=0.95 ML s-1 +0.05avg(L s)（7）
其中，ML t-1为与训练样本所在的训练批次相邻的训练批次的参考对比损失，ML s-1为与训练样本所在的训练批次相邻的训练批次的参考对比损失。
在可行的实施例中，式（6）中的avg(L t)和式（7）中的avg(L s)可以不采用所有训练样本的损失，具体为：若训练样本包括的正样本的数据类型为噪声类型，则去掉训练样本的相似损失，若训练样本包括的负样本的数据类型为噪声类型，则去掉训练样本的对比损失。
在一实施例中，若训练样本的对比损失大于等于参考对比损失，以及训练样本的相似损失大于参考相似损失，且L t≥L s+1.5a，a可以人为设定，则训练样本包括的正样本和负样本的数据类型均为噪声类型。此时，均为噪声类型的训练样本会对模型学习产生副作用，需要丢弃该训练样本，可以将相似损失的权重和对比损失的权重均设为空，权重为空的相似损失和权重为空的对比损失叠加得到的目标损失为空。
在一实施例中，若训练样本的相似损失大于等于参考相似损失，以及训练样本的对比损失小于参考对比损失，则训练样本包括的正样本的数据类型为噪声类型，且训练样本包括的负样本的数据类型为非噪声类型。此时，将相似损失的权重设为第二参数，将对比损失的权重设为第一参数。
在另一实施例中，若训练样本的相似损失小于参考相似损失，则训练样本包括的正样本的数据类型为噪声类型，且训练样本包括的负样本的数据类型为非噪声类型。此时，将相似损失的权重设为第二参数，将对比损失的权重设为第一参数。
需要说明的是，第一参数大于第二参数，例如，相似损失的权重为0.2，对比损失的权重为1。此时，通过让相似损失的权重小于对比损失的权重，可以缓和噪声对相似损失造成的影响，提升特征提取模型的度量泛化的效果。
在一实施例中，若训练样本的相似损失小于等于参考相似损失，以及训练样本的对比损失大于等于参考对比损失，则训练样本包括的正样本的数据类型为非噪声类型，且训练样本包括的负样本的数据类型为噪声类型。此时，将相似损失的权重设为第一参数，将对比损失的权重设为第二参数。
需要说明的是，第一参数大于第二参数，例如，对比损失的权重为0.2，相似损失的权重为1。此时，通过让对比损失的权重小于相似损失的权重，可以缓和噪声对对比损失造成的影响，提升特征提取模型的度量泛化的效果。
在一实施例中，若训练样本的相似损失小于参考相似损失，以及训练样本的对比损失小于参考对比损失，则此时训练样本包括的正样本和负样本的数据类型均为非噪声类型，无需执行上述调整权重大小的缓和学习策略，将相似损失的权重和对比损失的权重均设为第一参数。
请参见图4，图4为本申请实施例提供的一种数据处理方法的流程示意图二，在每一轮训练批次的训练中，通过如图4所示的特征提取模型，提取当前训练批次中的三元组样本（相当于上述训练样本）包括的参考样本的参考特征，正样本的正特征和负样本的负特征，并根据上述式（1）和式（2）确定对比损失和相似损失，以及根据参考对比损失和参考相似损失确定对比损失的权重和相似损失的权重，根据对比损失的权重和相似损失的权重，以及对比损失和相似损失，以及上述式（3）所示的目标损失函数确定目标损失，根据当前训练批次包括的所有三元组样本的目标损失确定总目标损失，根据总目标损失以及随机梯度下降法调整一次特征提取模型的参数，在完成一个训练批次的训练后，可以在特征提取模型已调整的基础上，再取下一个训练批次继续调整特征提取模型的参数，直至满足训练停止条件，如达到指定数量的迭代次数就满足训练停止条件，或目标损失函数收敛就满足训练停止条件。
联合对比损失和相似损失的目标损失，可以保证不相似样本之间的差异性远大于相似样本之间的差异性，以及保证相似样本之间的相似性，但不能保证不相似样本之间的绝对不相似，例如第一指定边界为10（即Dan-Dap≥10），第二指定边界为5（即Dap＜5），若相似样本之间的距离Dap为5，则不相似样本之间的距离Dan为15、20、30都能满足相似损失和对比损失。
在可行的实施例中，根据参考特征和负特征确定不相似损失，将不相似损失、相似损失和对比损失叠加为目标损失，根据目标损失训练特征提取模型，得到目标特征提取模型。
具体地，确定不相似损失的权重、相似损失的权重和对比损失的权重，利用不相似损失的权重、相似损失的权重和对比损失的权重，将不相似损失、相似损失和对比损失叠加为目标损失。
不相似损失用于让参考特征和负特征之间的距离大于某一指定边界，以保证不相似样本之间的绝对不相似（即不相似学习的目的）。在一实施例中，将参考特征和负特征输入不相似损失函数，确定不相似损失，不相似损失函数如下述式（8）所示：
Figure 124246DEST_PATH_IMAGE008
其中，L u 表示不相似损失函数，
Figure 127974DEST_PATH_IMAGE009
表示第三指定边界，用于限定参考特征和正特征 之间的第二距离大于
Figure 282836DEST_PATH_IMAGE009
（不相似损失的目的），例如限定Dan＞30，则
Figure 739225DEST_PATH_IMAGE009
为30。第三指定边界大 于等于第二指定边界和第一指定边界的和时，可以保证不相似样本之间的差异性远大于相 似样本之间的差异性，保证相似样本之间的相似性，以及保证不相似样本之间的绝对不相 似。通过不相似损失函数确定的不相似损失可以让特征提取模型实现不相似学习。
在一实施例中，计算机设备获取查询请求，调用目标特征提取模型对目标多媒体数据进行特征提取处理，得到目标多媒体数据的数据特征，另外，调用目标特征提取模型对多个参考多媒体数据进行特征提取处理，得到多个参考多媒体数据的数据特征，确定目标多媒体数据的数据特征和多个参考多媒体数据的数据特征之间的相似性，根据相似性从多个参考多媒体数据中选择不相似多媒体数据，并删除不相似多媒体数据。在选择不相似多媒体数据时，可以选择与目标多媒体数据具有最小相似性的参考多媒体数据，或者，与目标多媒体数据的相似性小于相似阈值（可以人为设定）的参考多媒体数据，可以提高检索任务的准确性（此时为检索不相似的多媒体数据）。目标多媒体数据的数据属性类型或参考多媒体数据的数据属性类型可以为多媒体数据包括的图像、文本、音频、视频中的任一种，且与训练样本的数据属性类型相同。当目标多媒体数据的数据属性类型是图像时，目标多媒体数据的数据特征是一种图像特征，当参考多媒体数据的数据属性类型是图像时，参考多媒体数据的数据特征是一种图像特征，并以此类推。
在本申请实施例中，可以联合对比损失和相似损失训练特征提取模型，使得特征提取模型不仅能够保证不相似样本之间的差异性远大于相似样本之间的差异性，还能保证相似样本之间的相似性，可以有效提高特征提取模型的准确性；同时，通过数据类型调整对比损失的权重和相似损失的权重，可以对噪声进行缓和学习策略，从而避免噪音影响特征提取模型的学习，提升特征提取模型度量泛化的效果。
请参阅图5，图5为本申请实施例提供的一种数据处理方法的流程示意图三。所述数据处理方法包括但不限于如下步骤：
S501、获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系。
S502、调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征。
其中，步骤S501和S502的详细实现过程可以参见前述步骤S201和S202，本实施例不再赘述。
S503、确定量化损失，根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失。
在本申请实施例中，所述根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失，可以参见前述步骤S203，本实施例不再赘述。
特征提取模型通常输出的特征是浮点数，量化损失是让输出的特征更接近于应用的二值特征（即量化学习的目的，一种特殊的数据特征），二值特征中的元素为两种，例如，元素为-1和1，或元素为1和0。
在一实施例中，计算机设备从参考特征、正特征和负特征中确定待处理特征，对待处理特征中的元素进行二值化处理，得到二值特征，并根据待处理特征和二值特征确定量化损失，将量化损失、相似损失和对比损失叠加为目标损失。
在本申请实施例中，待处理特征可以为参考特征、正特征和负特征中的一个或多个。将特征提取模型输出的待处理特征转化为二值特征，可以采用sgn函数进行二值化处理，sgn函数如下述式（9）所示：
Figure 229113DEST_PATH_IMAGE010
其中，u i 表示待处理特征中的元素，b i 表示二值化处理后的元素。
在一实施例中，若待处理特征为参考特征、正特征和负特征中的一个，则量化损失L c如下述式（10）所示：
Figure 821768DEST_PATH_IMAGE011
在一实施例中，若待处理特征为参考特征、正特征和负特征中的多个，可以通过式（10）得到多个待处理特征的量化损失，并根据多个待处理特征的量化损失的和得到最终的量化损失，或者，根据多个待处理特征的量化损失的均值得到最终的量化损失。
S404、将所述量化损失、所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的二值特征。
在一实施例中，计算机设备确定量化损失的权重w 3、相似损失的权重w 2和对比损失的权重w 1，将量化损失的权重w 3、相似损失的权重w 2和对比损失的权重w 1，以及量化损失L c、相似损失L s和对比损失L t输入目标损失函数L total，确定目标损失，目标损失函数L total如下述式（11）所示：
L total =w 1 L t+ w 2 L s+ w 3 L c（11）
其中，所述相似损失的权重w 2和对比损失的权重w 1可以参见前述步骤S204，本实施例不再赘述。当量化损失非主导的学习地位时，可以将量化损失的权重设为第三参数，第三参数小于第二参数，且小于第一参数，例如设为0.1。通过目标损失函数确定的目标损失可以让特征提取模型实现量化学习、相似学习和对比损失的联合学习。
请参见图6，图6为本申请实施例提供的一种数据处理方法的流程示意图四，在每一轮训练批次的训练中，通过如图6所示的特征提取模型，提取当前训练批次中的三元组样本（相当于上述训练样本）包括的参考样本的参考特征，正样本的正特征以及负样本的负特征，并根据上述式（1）、式（2）和式（10）确定对比损失、相似损失和量化损失，以及根据参考对比损失和参考相似损失确定对比损失的权重和相似损失的权重，根据对比损失的权重、相似损失的权重和量化损失的权重，以及对比损失、相似损失和量化损失，以及式（11）所示的目标损失函数确定目标损失，根据当前训练批次包括的所有三元组样本的目标损失确定总目标损失，根据总目标损失以及随机梯度下降法调整一次特征提取模型的参数，在完成一个训练批次的训练后，可以在特征提取模型已调整的基础上，再取下一个训练批次继续调整特征提取模型，直至满足训练停止条件，如达到指定数量的迭代次数就满足训练停止条件，或目标损失函数收敛就满足训练停止条件。
在一实施例中，计算机设备获取查询请求，调用目标特征提取模型对查询请求携带的目标多媒体数据进行特征提取处理，得到目标多媒体数据的二值特征，另外，调用目标特征提取模型对多个待召回多媒体数据进行特征提取处理，得到多个待召回多媒体数据的二值特征，确定目标多媒体数据的二值特征和多个待召回多媒体数据的二值特征之间的相似性，根据相似性从多个待召回多媒体数据中选择召回多媒体数据，并输出召回多媒体数据。目标多媒体数据的数据属性类型或待召回多媒体数据的数据属性类型可以为多媒体数据包括的图像、文本、音频、视频中的任一种，且与训练样本的数据属性类型相同。当目标多媒体数据的数据属性类型是图像时，目标多媒体数据的数据特征是一种图像特征，当待召回多媒体数据的数据属性类型是图像时，待召回多媒体数据的数据特征是一种图像特征，并以此类推。
具体地，可以通过汉明距离确定二值特征之间的相似性，例如，二值特征1为（0，0，0，1），二值特征2为（1，1，0，1），汉明距离为不相同位置的个数，则相似性为2。在选择召回多媒体数据时，可以选择与目标多媒体数据具有最大相似性的待召回多媒体数据，或者，与目标多媒体数据的相似性大于相似阈值（可以人为设定）的待召回多媒体数据，可以提高检索任务的准确性。
在可行的实施例中，根据参考特征和负特征确定不相似损失，将不相似损失、相似损失、量化损失和对比损失叠加为目标损失，根据目标损失训练特征提取模型，得到目标特征提取模型。
具体地，确定不相似损失的权重、相似损失的权重、量化损失的权重和对比损失的权重，利用不相似损失的权重、相似损失的权重、量化损失的权重和对比损失的权重，将不相似损失、相似损失、量化损失和对比损失叠加为目标损失，使得特征提取模型可以保证不相似样本之间的差异性远大于相似样本之间的差异性，保证相似样本之间的相似性，以及保证不相似样本之间的绝对不相似，可以有效提高特征提取模型的准确性，还可以得到接近于应用的二值特征，可以提高特征的应用能力。
在本申请实施例中，联合对比损失和相似损失训练特征提取模型，使得特征提取模型不仅能够保证不相似样本之间的差异性远大于相似样本之间的差异性，还能保证相似样本之间的相似性，可以有效提高特征提取模型的准确性，另外，联合量化损失可以得到接近于应用的二值特征，可以提高特征的应用能力。
上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面提供了本申请实施例的装置。请参见图7，图7是本申请一个示例性实施例提供的一种数据处理装置的结构示意图，该数据处理装置70可以包括：
获取单元701获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系；
处理单元702用于调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征；
所述处理单元702，还用于根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失；
所述处理单元702，还用于将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。
在一实施例中，所述获取单元701，具体用于：
获取所述特征提取模型的已训练批次量；
所述处理单元702，具体用于：
若所述已训练批次量小于预设值，则将所述相似损失的权重和所述对比损失的权重均设为第一参数；
若所述已训练批次量不小于所述预设值，则根据所述正样本的数据类型和所述负样本的数据类型，确定所述相似损失的权重和所述对比损失的权重；
根据所述相似损失的权重和所述对比损失的权重，将所述相似损失和所述对比损失叠加为目标损失。
在一实施例中，所述获取单元701，具体用于：
获取所述训练样本所在的训练批次的参考相似损失和参考对比损失；
所述处理单元702，具体用于：
根据所述参考相似损失和所述参考对比损失，确定所述正样本的数据类型和所述负样本的数据类型，所述数据类型包括噪声类型和非噪声类型；
若所述正样本的数据类型为所述噪声类型，且所述负样本的数据类型为所述非噪声类型，则将所述相似损失的权重设为第二参数，将所述对比损失的权重设为所述第一参数，所述第一参数大于所述第二参数；
若所述正样本的数据类型为所述非噪声类型，且所述负样本的数据类型为所述噪声类型，则将所述相似损失的权重设为所述第一参数，将所述对比损失的权重设为所述第二参数。
在一实施例中，所述处理单元702，具体用于：
若所述正样本和所述负样本的数据类型均为所述非噪声类型，则将所述相似损失的权重和所述对比损失的权重均设为所述第一参数；
若所述正样本和所述负样本的数据类型均为所述噪声类型，则将所述相似损失的权重和所述对比损失的权重均设为空，权重为空的相似损失和权重为空的对比损失叠加得到的目标损失为空。
在一实施例中，所述处理单元702，具体用于：
若所述训练样本所在的训练批次为目标训练批次，则将所述训练样本所在的训练批次的平均相似损失作为所述参考相似损失，将所述训练样本所在的训练批次的平均对比损失作为所述参考对比损失；
若所述训练样本所在的训练批次不为所述目标训练批次，则根据所述训练样本所在的训练批次的平均相似损失，以及与所述训练样本所在的训练批次相邻的训练批次确定所述参考相似损失，根据所述训练样本所在的训练批次的平均对比损失，以及所述与所述训练样本所在的训练批次相邻的训练批次确定所述参考对比损失。
在一实施例中，所述处理单元702，具体用于：
从所述参考特征、所述正特征和所述负特征中选择待处理特征；
对所述待处理特征中的元素进行二值化处理，得到二值特征；
根据所述待处理特征和所述二值特征确定量化损失；
将所述量化损失、所述相似损失和所述对比损失叠加为目标损失。
在一实施例中，所述处理单元702，具体用于：
获取K组样本对，每一组样本对包括参考样本和正样本；
确定目标样本对包括的参考样本与K-1个候选样本之间的距离，所述目标样本对为所述K组样本对中任一样本对，所述候选样本为K-1个参考样本对包括的K-1个参考样本和K-1个正样本中的任一个，所述参考样本对为所述K组样本对中除所述目标样本对以外的样本对；
根据所述距离从所述K-1个候选样本中确定M个负样本，将所述目标样本对和所述M个负样本分别组合为训练样本，所述M为正整数，M≤K-1。
在一实施例中，所述获取单元701，具体用于：
获取查询请求，所述查询请求携带目标多媒体数据；
所述处理单元702，具体用于：
调用所述目标特征提取模型提取所述目标多媒体数据的数据特征；
确定所述目标多媒体数据的数据特征和多个待召回多媒体数据的数据特征之间的相似性，每个待召回多媒体数据的数据特征是通过调用所述目标特征提取模型提取得到的；
根据所述相似性从所述多个待召回多媒体数据中选择召回多媒体数据，并输出所述召回多媒体数据。
可以理解的是，本申请实施例所描述的数据处理装置的各功能单元的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例中，调用特征提取模型对训练样本包括的参考样本、正样本和负样本进行特征提取处理，得到参考样本的参考特征，正样本的正特征以及负样本的负特征，其中，参考样本和正样本满足相似关系，参考样本和负样本满足不相似关系，根据参考特征和正特征确定相似损失，根据参考特征、正特征和负特征确定对比损失，将相似损失和对比损失叠加为目标损失，根据目标损失训练特征提取模型，得到目标特征提取模型，可以有效提高特征提取模型的准确性。
如图8所示，图8是本申请一个实施例提供的一种计算机设备的结构示意图，该计算机设备80内部结构如图8所示，包括：一个或多个处理器801、存储器802、通信接口803。上述处理器801、存储器802和通信接口803可通过总线804或其他方式连接，本申请实施例以通过总线804连接为例。
其中，处理器801（或称CPU（Central Processing Unit，中央处理器））是计算机设备80的计算核心以及控制核心，其可以解析计算机设备80内的各类指令以及处理计算机设备80的各类数据，例如：CPU可以用于解析用户向计算机设备80所发送的开关机指令，并控制计算机设备80进行开关机操作；再如：CPU可以在计算机设备80内部结构之间传输各类交互数据，等等。通信接口803可选的可以包括标准的有线接口、无线接口（如Wi-Fi、移动通信接口等），受处理器801的控制用于收发数据。存储器802（Memory）是计算机设备80中的记忆设备，用于存放第一计算机程序和数据。可以理解的是，此处的存储器802既可以包括计算机设备80的内置存储器，当然也可以包括计算机设备80所支持的扩展存储器。存储器802提供存储空间，该存储空间存储了计算机设备80的操作***，可包括但不限于：Windows***、Linux***等等，本申请对此并不作限定。具体地，处理器801通过运行存储器802中存储的第一计算机程序，执行如下操作：
获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系；
调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征；
根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失；
将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。
在一实施例中，所述处理器801，具体用于：
获取所述特征提取模型的已训练批次量；
若所述已训练批次量小于预设值，则将所述相似损失的权重和所述对比损失的权重均设为第一参数；
若所述已训练批次量不小于所述预设值，则根据所述正样本的数据类型和所述负样本的数据类型，确定所述相似损失的权重和所述对比损失的权重；
根据所述相似损失的权重和所述对比损失的权重，将所述相似损失和所述对比损失叠加为目标损失。
在一实施例中，所述处理器801，具体用于：
获取所述训练样本所在的训练批次的参考相似损失和参考对比损失；
根据所述参考相似损失和所述参考对比损失，确定所述正样本的数据类型和所述负样本的数据类型，所述数据类型包括噪声类型和非噪声类型；
若所述正样本的数据类型为所述噪声类型，且所述负样本的数据类型为所述非噪声类型，则将所述相似损失的权重设为第二参数，将所述对比损失的权重设为所述第一参数，所述第一参数大于所述第二参数；
若所述正样本的数据类型为所述非噪声类型，且所述负样本的数据类型为所述噪声类型，则将所述相似损失的权重设为所述第一参数，将所述对比损失的权重设为所述第二参数。
在一实施例中，所述处理器801，具体用于：
若所述正样本和所述负样本的数据类型均为所述非噪声类型，则将所述相似损失的权重和所述对比损失的权重均设为所述第一参数；
若所述正样本和所述负样本的数据类型均为所述噪声类型，则将所述相似损失的权重和所述对比损失的权重均设为空，权重为空的相似损失和权重为空的对比损失叠加得到的目标损失为空。
在一实施例中，所述处理器801，具体用于：
若所述训练样本所在的训练批次为目标训练批次，则将所述训练样本所在的训练批次的平均相似损失作为所述参考相似损失，将所述训练样本所在的训练批次的平均对比损失作为所述参考对比损失；
若所述训练样本所在的训练批次不为所述目标训练批次，则根据所述训练样本所在的训练批次的平均相似损失，以及与所述训练样本所在的训练批次相邻的训练批次确定所述参考相似损失，根据所述训练样本所在的训练批次的平均对比损失，以及所述与所述训练样本所在的训练批次相邻的训练批次确定所述参考对比损失。
在一实施例中，所述处理器801，具体用于：
从所述参考特征、所述正特征和所述负特征中选择待处理特征；
对所述待处理特征中的元素进行二值化处理，得到二值特征；
根据所述待处理特征和所述二值特征确定量化损失；
将所述量化损失、所述相似损失和所述对比损失叠加为目标损失。
在一实施例中，所述处理器801，具体用于：
获取K组样本对，每一组样本对包括参考样本和正样本；
确定目标样本对包括的参考样本与K-1个候选样本之间的距离，所述目标样本对为所述K组样本对中任一样本对，所述候选样本为K-1个参考样本对包括的K-1个参考样本和K-1个正样本中的任一个，所述参考样本对为所述K组样本对中除所述目标样本对以外的样本对；
根据所述距离从所述K-1个候选样本中确定M个负样本，将所述目标样本对和所述M个负样本分别组合为训练样本，所述M为正整数，M≤K-1。
在一实施例中，所述处理器801，具体用于：
获取查询请求，所述查询请求携带目标多媒体数据；
调用所述目标特征提取模型提取所述目标多媒体数据的数据特征；
确定所述目标多媒体数据的数据特征和多个待召回多媒体数据的数据特征之间的相似性，每个待召回多媒体数据的数据特征是通过调用所述目标特征提取模型提取得到的；
根据所述相似性从所述多个待召回多媒体数据中选择召回多媒体数据，并输出所述召回多媒体数据。
具体实现中，本申请实施例中所描述的处理器801、存储器802及通信接口803可执行本申请实施例提供的一种数据处理方法中所描述的计算机设备的实现方式，也可执行本申请实施例提供的一种数据处理装置中所描述的实现方式，在此不再赘述。
本申请实施例中，调用特征提取模型对训练样本包括的参考样本、正样本和负样本进行特征提取处理，得到参考样本的参考特征，正样本的正特征以及负样本的负特征，其中，参考样本和正样本满足相似关系，参考样本和负样本满足不相似关系，根据参考特征和正特征确定相似损失，根据参考特征、正特征和负特征确定对比损失，将相似损失和对比损失叠加为目标损失，根据目标损失训练特征提取模型，得到目标特征提取模型，可以有效提高特征提取模型的准确性。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如本申请实施例所述的数据处理方法。其具体实现方式可参考前文描述，此处不再赘述。
本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或计算机指令，所述计算机程序或计算机指令被处理器执行时实现本申请实施例提供的数据处理方法的步骤。其具体实现方式可参考前文描述，此处不再赘述。
本申请实施例还提供了一种计算机程序，所述计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行本申请实施例提供的数据处理方法。其具体实现方式可参考前文描述，此处不再赘述。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。
以上所揭露的仅为本申请部分实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系；
调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征；
根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失；
将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。
2.根据权利要求1所述的方法，其特征在于，所述将所述相似损失和所述对比损失叠加为目标损失，包括：
获取所述特征提取模型的已训练批次量；
若所述已训练批次量小于预设值，则将所述相似损失的权重和所述对比损失的权重均设为第一参数；
若所述已训练批次量不小于所述预设值，则根据所述正样本的数据类型和所述负样本的数据类型，确定所述相似损失的权重和所述对比损失的权重；
根据所述相似损失的权重和所述对比损失的权重，将所述相似损失和所述对比损失叠加为目标损失。
3.根据权利要求2所述的方法，其特征在于，所述根据所述正样本的数据类型和所述负样本的数据类型，确定所述相似损失的权重和所述对比损失的权重，包括：
获取所述训练样本所在的训练批次的参考相似损失和参考对比损失；
根据所述参考相似损失和所述参考对比损失，确定所述正样本的数据类型和所述负样本的数据类型，所述数据类型包括噪声类型和非噪声类型；
若所述正样本的数据类型为所述噪声类型，且所述负样本的数据类型为所述非噪声类型，则将所述相似损失的权重设为第二参数，将所述对比损失的权重设为所述第一参数，所述第一参数大于所述第二参数；
若所述正样本的数据类型为所述非噪声类型，且所述负样本的数据类型为所述噪声类型，则将所述相似损失的权重设为所述第一参数，将所述对比损失的权重设为所述第二参数。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述正样本和所述负样本的数据类型均为所述非噪声类型，则将所述相似损失的权重和所述对比损失的权重均设为所述第一参数；
若所述正样本和所述负样本的数据类型均为所述噪声类型，则将所述相似损失的权重和所述对比损失的权重均设为空，权重为空的相似损失和权重为空的对比损失叠加得到的目标损失为空。
5.根据权利要求3所述的方法，其特征在于，所述获取所述训练样本所在的训练批次的参考相似损失和参考对比损失，包括：
若所述训练样本所在的训练批次为目标训练批次，则将所述训练样本所在的训练批次的平均相似损失作为所述参考相似损失，将所述训练样本所在的训练批次的平均对比损失作为所述参考对比损失；
若所述训练样本所在的训练批次不为所述目标训练批次，则根据所述训练样本所在的训练批次的平均相似损失，以及与所述训练样本所在的训练批次相邻的训练批次确定所述参考相似损失，根据所述训练样本所在的训练批次的平均对比损失，以及所述与所述训练样本所在的训练批次相邻的训练批次确定所述参考对比损失。
6.根据权利要求1所述的方法，其特征在于，所述将所述相似损失和所述对比损失叠加为目标损失，包括：
从所述参考特征、所述正特征和所述负特征中选择待处理特征；
对所述待处理特征中的元素进行二值化处理，得到二值特征；
根据所述待处理特征和所述二值特征确定量化损失；
将所述量化损失、所述相似损失和所述对比损失叠加为目标损失。
7.根据权利要求1所述的方法，其特征在于，所述获取训练样本，包括：
获取K组样本对，每一组样本对包括参考样本和正样本；
确定目标样本对包括的参考样本与K-1个候选样本之间的距离，所述目标样本对为所述K组样本对中任一样本对，所述K-1个候选样本为K-1个参考样本对包括的K-1个参考样本或K-1个正样本，所述参考样本对为所述K组样本对中除所述目标样本对以外的样本对；
根据所述距离从所述K-1个候选样本中确定M个负样本，将所述目标样本对和所述M个负样本分别组合为训练样本，所述M为正整数，M≤K-1。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取查询请求，所述查询请求携带目标多媒体数据；
调用所述目标特征提取模型提取所述目标多媒体数据的数据特征；
确定所述目标多媒体数据的数据特征和多个待召回多媒体数据的数据特征之间的相似性，每个待召回多媒体数据的数据特征是通过调用所述目标特征提取模型提取得到的；
根据所述相似性从所述多个待召回多媒体数据中选择召回多媒体数据，并输出所述召回多媒体数据。
9.一种数据处理装置，其特征在于，所述装置包括：
获取单元，用于获取训练样本，所述训练样本包括参考样本、正样本和负样本，所述参考样本和所述正样本满足相似关系，所述参考样本和所述负样本满足不相似关系；
处理单元，用于调用特征提取模型对所述参考样本、所述正样本和所述负样本进行特征提取处理，得到所述参考样本的参考特征，所述正样本的正特征以及所述负样本的负特征；
所述处理单元，还用于根据所述参考特征和所述正特征确定相似损失，根据所述参考特征、所述正特征和所述负特征确定对比损失；
所述处理单元，还用于将所述相似损失和所述对比损失叠加为目标损失，根据所述目标损失训练所述特征提取模型，得到目标特征提取模型，所述目标特征提取模型是用于提取多媒体数据的数据特征。
10.一种计算机设备，其特征在于，包括存储器、通信接口以及处理器，其中，所述存储器、所述通信接口和所述处理器相互连接；所述存储器存储有计算机程序，所述处理器调用所述存储器中存储的计算机程序，用于执行权利要求1-8中任一项所述的数据处理方法。
CN202111279272.6A 2021-10-29 2021-10-29 数据处理方法、装置及设备 Pending CN113705589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111279272.6A CN113705589A (zh) 2021-10-29 2021-10-29 数据处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111279272.6A CN113705589A (zh) 2021-10-29 2021-10-29 数据处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113705589A true CN113705589A (zh) 2021-11-26

Family

ID=78647531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111279272.6A Pending CN113705589A (zh) 2021-10-29 2021-10-29 数据处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113705589A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292541A (zh) * 2022-08-04 2022-11-04 腾讯科技（深圳）有限公司 媒体数据的排重方法、目标模型的训练方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140226905A1 (en) * 2013-02-14 2014-08-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
WO2018081135A1 (en) * 2016-10-25 2018-05-03 Vmaxx Inc. Point to set similarity comparison and deep feature learning for visual recognition
CN108399211A (zh) * 2018-02-02 2018-08-14 清华大学 基于二值特征的大规模图像检索算法
US20200090516A1 (en) * 2018-09-13 2020-03-19 Volvo Car Corporation Vehicle parking availability map systems and methods
CN111680636A (zh) * 2020-06-09 2020-09-18 广州视源电子科技股份有限公司 模型训练方法及装置
CN111831855A (zh) * 2020-07-20 2020-10-27 北京字节跳动网络技术有限公司 用于匹配视频的方法、装置、电子设备和介质
CN112183729A (zh) * 2020-09-30 2021-01-05 腾讯音乐娱乐科技（深圳）有限公司 一种神经网络模型训练方法、装置及计算机可读存储介质
CN112329826A (zh) * 2020-10-24 2021-02-05 中国人民解放军空军军医大学 图像识别模型的训练方法、图像识别方法和装置
CN112381147A (zh) * 2020-11-16 2021-02-19 虎博网络技术(上海)有限公司 动态图片相似度模型建立、相似度计算方法和装置
US20210089883A1 (en) * 2019-09-24 2021-03-25 Salesforce.Com, Inc. System and Method for Learning with Noisy Labels as Semi-Supervised Learning
CN113377991A (zh) * 2021-06-10 2021-09-10 电子科技大学 一种基于最难正负样本的图像检索方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140226905A1 (en) * 2013-02-14 2014-08-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
WO2018081135A1 (en) * 2016-10-25 2018-05-03 Vmaxx Inc. Point to set similarity comparison and deep feature learning for visual recognition
CN108399211A (zh) * 2018-02-02 2018-08-14 清华大学 基于二值特征的大规模图像检索算法
US20200090516A1 (en) * 2018-09-13 2020-03-19 Volvo Car Corporation Vehicle parking availability map systems and methods
US20210089883A1 (en) * 2019-09-24 2021-03-25 Salesforce.Com, Inc. System and Method for Learning with Noisy Labels as Semi-Supervised Learning
CN111680636A (zh) * 2020-06-09 2020-09-18 广州视源电子科技股份有限公司 模型训练方法及装置
CN111831855A (zh) * 2020-07-20 2020-10-27 北京字节跳动网络技术有限公司 用于匹配视频的方法、装置、电子设备和介质
CN112183729A (zh) * 2020-09-30 2021-01-05 腾讯音乐娱乐科技（深圳）有限公司 一种神经网络模型训练方法、装置及计算机可读存储介质
CN112329826A (zh) * 2020-10-24 2021-02-05 中国人民解放军空军军医大学 图像识别模型的训练方法、图像识别方法和装置
CN112381147A (zh) * 2020-11-16 2021-02-19 虎博网络技术(上海)有限公司 动态图片相似度模型建立、相似度计算方法和装置
CN113377991A (zh) * 2021-06-10 2021-09-10 电子科技大学 一种基于最难正负样本的图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢涛等: "基于低秩约束的极限学习机高效人脸识别算法", 《计算机科学》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292541A (zh) * 2022-08-04 2022-11-04 腾讯科技（深圳）有限公司 媒体数据的排重方法、目标模型的训练方法和装置

Similar Documents

Publication Publication Date Title
US9990558B2 (en) Generating image features based on robust feature-learning
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN111563192B (zh) 实体对齐方法、装置、电子设备及存储介质
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
CN110807529A (zh) 一种机器学习模型的训练方法、装置、设备及存储介质
CN113344016A (zh) 深度迁移学习方法、装置、电子设备及存储介质
CN113361698A (zh) 神经网络模型的处理方法和装置、数据处理方法和装置
CN113705811A (zh) 模型训练方法、装置、计算机程序产品及设备
CN112200041A (zh) 视频动作识别方法、装置、存储介质与电子设备
CN113505797A (zh) 模型训练方法、装置、计算机设备和存储介质
CN114332500A (zh) 图像处理模型训练方法、装置、计算机设备和存储介质
CN114329029A (zh) 对象检索方法、装置、设备及计算机存储介质
Huai et al. Zerobn: Learning compact neural networks for latency-critical edge systems
CN112819050A (zh) 知识蒸馏和图像处理方法、装置、电子设备和存储介质
CN116737895A (zh) 一种数据处理方法及相关设备
CN115222044A (zh) 模型训练方法、图数据处理方法、装置、设备及存储介质
CN113705589A (zh) 数据处理方法、装置及设备
CN112132281A (zh) 一种基于人工智能的模型训练方法、装置、服务器及介质
CN116957043A (zh) 模型量化方法、装置、设备及介质
CN114092162B (zh) 推荐质量确定方法、推荐质量确定模型的训练方法及装置
CN113095356B (zh) 一种轻量型神经网络***及图像处理方法及装置
CN114510609A (zh) 结构数据的生成方法、装置、设备、介质及程序产品
CN113807370A (zh) 数据处理方法、装置、设备、存储介质及计算机程序产品
CN112669270A (zh) 视频质量的预测方法、装置及服务器
CN111143641A (zh) 深度学习模型的训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination