CN114358109A - 特征提取模型训练、样本检索方法、装置和计算机设备 - Google Patents
特征提取模型训练、样本检索方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN114358109A CN114358109A CN202111247520.9A CN202111247520A CN114358109A CN 114358109 A CN114358109 A CN 114358109A CN 202111247520 A CN202111247520 A CN 202111247520A CN 114358109 A CN114358109 A CN 114358109A
- Authority
- CN
- China
- Prior art keywords
- sample
- semantic
- loss
- initial
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种特征提取模型训练、样本检索方法、装置、计算机设备和存储介质。所述方法包括：将第一样本组中的各个样本输入初始特征提取模型，得到初始分类特征、初始语义特征和初始融合特征；第一样本组包括目标样本、对应的参考样本和样本的类别标签，初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；基于同一样本对应的初始分类特征和类别标签得到分类损失；基于目标样本和参考样本对应的其他特征得到特征损失；基于特征损失和分类损失调整初始特征提取模型的模型参数，直至满足收敛条件，得到用于提取输入样本的样本特征的目标特征提取模型，样本特征用于进行样本检索。采用本方法能够提高模型的训练效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种特征提取模型训练、样本检索方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，出现了检索技术，例如，图像检索技术。检索技术是通过提取查询样本的特征，基于查询样本的特征与样本检索库中存储的样本特征进行匹配，从而在样本检索库中检索到与查询样本较为相似的样本。
传统技术中，通常是将样本输入模型进行特征提取，一个模型用于提取一种特征，这样，针对不同的特征需要分别训练不同的模型，训练耗时。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高训练效率的特征提取模型训练、样本检索方法、装置、计算机设备和存储介质。
一种特征提取模型训练方法，所述方法包括：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征；
通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失；
基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型；所述目标特征提取模型用于提取输入样本的样本特征，所述样本特征用于进行样本检索。
在一个实施例中，初始语义特征、初始非语义特征和初始融合特征对应的特征尺寸相同。
一种特征提取模型训练装置，所述装置包括：
第一样本组处理模块，用于获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
特征输出模块，用于通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征；
特征融合模块，用于通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
特征损失确定模块，用于基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失；
分类损失确定模块，用于基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
模型参数调整模块，用于基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型；所述目标特征提取模型用于提取输入样本的样本特征，所述样本特征用于进行样本检索。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征；
通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失；
基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型；所述目标特征提取模型用于提取输入样本的样本特征，所述样本特征用于进行样本检索。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征；
通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失；
基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型；所述目标特征提取模型用于提取输入样本的样本特征，所述样本特征用于进行样本检索。
一种样本检索方法，所述方法包括：
获取查询样本和候选召回样本集合；
将所述查询样本和候选召回样本集合中的候选召回样本输入目标特征提取模型，得到所述查询样本对应的查询样本特征和候选召回样本对应的召回样本特征；
基于所述查询样本特征和召回样本特征，从所述候选召回样本集合中确定所述查询样本对应的检索结果样本；
所述目标特征提取模型的训练过程如下：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征，通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。
一种样本检索装置，所述装置包括：
数据获取模块，用于获取查询样本和候选召回样本集合；
数据处理模块，用于将所述查询样本和候选召回样本集合中的候选召回样本输入目标特征提取模型，得到所述查询样本对应的查询样本特征和候选召回样本对应的召回样本特征；
检索结果确定模块，用于基于所述查询样本特征和召回样本特征，从所述候选召回样本集合中确定所述查询样本对应的检索结果样本；
所述目标特征提取模型的训练过程如下：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征，通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取查询样本和候选召回样本集合；
将所述查询样本和候选召回样本集合中的候选召回样本输入目标特征提取模型，得到所述查询样本对应的查询样本特征和候选召回样本对应的召回样本特征；
基于所述查询样本特征和召回样本特征，从所述候选召回样本集合中确定所述查询样本对应的检索结果样本；
所述目标特征提取模型的训练过程如下：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征，通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取查询样本和候选召回样本集合；
将所述查询样本和候选召回样本集合中的候选召回样本输入目标特征提取模型，得到所述查询样本对应的查询样本特征和候选召回样本对应的召回样本特征；
基于所述查询样本特征和召回样本特征，从所述候选召回样本集合中确定所述查询样本对应的检索结果样本；
所述目标特征提取模型的训练过程如下：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征，通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。
上述特征提取模型训练、样本检索方法、装置、计算机设备和存储介质，通过获取第一样本组，将第一样本组中的各个样本输入初始特征提取模型；第一样本组包括目标样本、目标样本对应的参考样本和各个样本对应的类别标签，初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；通过样本分类网络输出初始分类特征和初始语义特征，通过非语义特征提取网络输出初始非语义特征；通过特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；基于目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失；基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；基于特征损失和分类损失，调整初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。这样，建立统一模型学习语义特征和非语义特征，并同时学习融合特征，融合特征既包含语义信息也包含非语义信息，最终训练得到的模型不仅可以输出包含单维度信息的语义特征、非语义特征，也可以输出包含双维度信息的融合特征，仅需要对一个模型进行模型训练就可以让该模型输出多样化的特征，提高了训练效率。后续，在进行样本检索时，可以将候选召回样本集合中的候选召回样本和查询样本输入目标特征提取模型，得到查询样本对应的查询样本特征和候选召回样本对应的召回样本特征，基于查询样本特征和召回样本特征，从候选召回样本集合中确定查询样本对应的检索结果样本。这样，通过模型输出的多样化特征来进行样本检索，可以提高样本检索的准确性和效率。
附图说明
图1为一个实施例中特征提取模型训练方法、样本检索方法的应用环境图；
图2为一个实施例中特征提取模型训练方法的流程示意图；
图3为一个实施例中模型结构的示意图；
图4为一个实施例中训练特征提取模型的流程示意图；
图5为另一个实施例中训练特征提取模型的流程示意图；
图6为一个实施例中样本检索方法的流程示意图；
图7为一个实施例中训练图像特征提取模型的流程示意图；
图8为一个实施例中图像检索的流程示意图；
图9为一个实施例中特征提取模型训练装置的结构框图；
图10为一个实施例中样本检索装置的结构框图；
图11为一个实施例中计算机设备的内部结构图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术和语音合成技术以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉、语音、机器学习等技术，具体通过如下实施例进行说明：
本申请提供的特征提取模型训练方法、样本检索方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以但不限于是笔记本电脑、智能手机、平板电脑、台式电脑、智能电视、车载终端和便携式可穿戴设备。终端上设有应用程序，该应用程序可以是指安装在终端中的客户端，客户端(又可称为应用客户端、APP客户端)是指安装并运行在终端中的程序；应用程序也可以是指免安装的应用程序，即无需下载安装即可使用的应用程序，这类应用程序又俗称小程序，它通常作为子程序运行于客户端中；应用程序还可以是指通过浏览器打开的web应用程序；等等。上述各种应用程序按照其提供的应用功能来进行划分，应用程序的类型可包括但不限于：搜索应用程序、即时通信应用程序、支付应用程序、影音应用程序等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云服务器来实现。
终端102和服务器104均可单独用于执行本申请实施例中提供的特征提取模型训练、样本检索方法。
例如，终端获取第一样本组，其中，第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签。终端将第一样本组中的各个样本输入初始特征提取模型，其中，初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络。通过样本分类网络输出初始分类特征和初始语义特征，通过非语义特征提取网络输出初始非语义特征，通过特征融合网络对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征。终端基于目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算得到特征损失，基于同一样本对应的初始分类特征和类别标签计算得到分类损失。终端基于特征损失和分类损失，调整初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。
终端获取查询样本和候选召回样本集合，将查询样本和候选召回样本集合中的候选召回样本输入目标特征提取模型，得到查询样本对应的查询样本特征和候选召回样本对应的召回样本特征。终端基于查询样本特征和召回样本特征，从候选召回样本集合中确定查询样本对应的检索结果样本。
终端102和服务器104也可协同用于执行本申请实施例中提供的特征提取模型训练、样本检索方法。
例如，服务器从终端获取第一样本组，服务器基于第一样本组对初始特征提取模型进行模型训练，得到目标特征提取模型。服务器从终端获取查询样本，从数据库中获取候选召回样本集合，基于目标特征提取模型进行样本检索，从候选召回样本集合中确定查询样本对应的检索结果样本。服务器将检索结果样本发送至终端。
本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶、样本检索(信息搜索和信息推荐)等。
在一个实施例中，如图2所示，提供了一种特征提取模型训练方法，以该方法由计算机设备执行为例进行说明，可以理解的是，计算机设备可以是图1所示的终端102，也可以是服务器104。本实施例中，特征提取模型训练方法包括以下步骤：
步骤S202，获取第一样本组，将第一样本组中的各个样本输入初始特征提取模型；第一样本组包括目标样本、目标样本对应的参考样本和各个样本对应的类别标签，初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络。
其中，样本是指用于传递信息、呈现信息的对象，具体可以是图像、语音、文本中的至少一种。样本存在对应的类别标签，类别标签用于标识样本的类别。例如，若样本为图像，样本对应的类别标签可以是狗、猫、鱼等动物品种，珊瑚、松树、桂花等植物品种，放大镜、柜子、水瓶等物件种类。第一样本组包括目标样本、目标样本对应的参考样本和各个样本分别对应的类别标签。第一样本组是模型的训练样本，用于训练初始特征提取模型。目标样本对应的参考样本包括目标样本对应的正样本、负样本中的至少一种。目标样本和对应的正样本的样本相似度大于目标样本和对应的负样本的样本相似度。第一样本组可以为至少一个。
特征提取模型是机器学习、深度学习模型，用于提取输入样本的样本特征。特征提取模型的输入数据为样本，输出数据为样本对应的样本特征。针对不同类型的样本可以训练不同的特征提取模型，例如，若样本为图像类型的样本，那么可以训练图像特征提取模型，若样本为语音类型的样本，那么可以训练语音特征提取模型。
初始特征提取模型是指待训练的特征提取模型。初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络。样本分类网络用于对输入数据进行分类，可以提取输入数据的语义特征和分类特征，样本分类网络的输入数据为样本，输出数据为样本的分类特征和语义特征。非语义特征提取网络用于提取输入数据的非语义特征，非语义特征提取网络的输入数据为样本，输出数据为样本的非语义特征。非语义特征提取网络用于融合语义特征和非语义特征，特征融合网络的输入数据为语义特征和非语义特征，输出数据为融合特征。各种特征都可以通过向量或矩阵形式来表示。
具体地，计算机设备可以在本地、或从终端、服务器获取第一样本组，基于第一样本组对初始特征提取模型进行训练，得到目标特征提取模型。
步骤S204，通过样本分类网络输出初始分类特征和初始语义特征，通过非语义特征提取网络输出初始非语义特征。
其中，非语义特征是指不具备语义度量能力的特征，语义特征是指具备语义度量能力的特征。分类特征用于表征样本类别的特征，基于分类特征可以确定样本的预测标签，即预测类别。可以理解，语义特征是样本分类网络输出的，样本分类网络不仅需要提取特征，还需要对特征进行分类、类别预测，也就是样本分类网络在进行特征提取时不仅考虑样本的具体内容还考虑样本的所属类别，因此，语义特征具备语义度量的能力，有助于确定样本的类别。而非语义特征提取网络只是考虑样本的内容信息，不具备语义度量的能力，无法确定样本的类别。
具体地，计算机设备将第一样本组中的各个样本分别输入初始特征提取模型，通过初始特征提取模型的样本分类网络对输入样本进行数据处理，输出初始分类特征和初始语义特征，通过初始特征提取模型的非语义特征提取网络对输入样本进行数据处理，输出初始非语义特征。
在一个实施例中，为了提高模型的训练效率，非语义特征提取网络和样本分类网络可以共享底层网络参数。
步骤S206，通过特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征。
具体地，在得到初始语义特征和初始非语义特征后，进一步通过初始特征提取模型的特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，从而得到目标样本和参考样本分别对应的初始融合特征。其中，对特征进行融合具体可以是对特征进行拼接，也可以是对特征进行拼接后再进行压缩，以减少特征的数据量。
步骤S208，基于目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失。
具体地，计算机设备可以基于目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失。例如，计算机设备可以基于目标样本和参考样本对应的初始语义特征之间的距离，得到语义特征损失，基于目标样本和参考样本对应的初始非语义特征之间的距离，得到非语义特征损失，基于目标样本和参考样本对应的初始融合特征之间的距离，得到融合特征损失，综合语义特征损失、非语义特征损失和融合特征损失得到特征损失。
步骤S210，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失。
具体地，计算机设备可以基于目标样本对应的初始分类特征和类别标签之间的差异，以及参考样本对应的初始分类特征和类别标签之间的差异得到分类损失。例如，计算同一样本对应的初始分类特征和类别标签之间的距离，基于各个样本对应的计算结果得到分类损失。在一个实施例中，计算机设备可以通过交叉熵损失函数计算分类损失。
步骤S212，基于特征损失和分类损失，调整初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型；目标特征提取模型用于提取输入样本的样本特征，样本特征用于进行样本检索。
其中，收敛条件可以是模型迭代次数达到预设次数、总损失小于预设损失、总损失在连续预设数目的迭代轮次中的变化率小于预设阈值等中的至少一种。目标特征提取模型是指训练完成的特征提取模型。
具体地，在得到特征损失和目标损失后，计算机设备可以基于特征损失和分类损失进行反向传播，更新初始特征提取模型的模型参数，得到更新后的初始特征提取模型，并返回将第一样本组中的各个样本输入初始特征提取模型的步骤迭代执行，继续训练，直至满足收敛条件，则训练完成，得到目标特征提取模型。
在一个实施例中，可以把全量的训练样本集划分为不同的批次，得到每个批次的第一样本组，使用每个批次的第一样本组进行训练，并进行多轮全量训练样本集的迭代。模型参数更新时可以使用梯度下降算法进行反向更新，例如，可以使用随机梯度下降法计算损失梯度，将损失梯度回传到各个网络来更新模型参数。
在得到目标特征提取模型后，目标特征提取模型可以用于提取输入样本的样本特征。例如，若目标特征提取模型为图像特征提取模型，那么将图像输入图像特征提取模型，图像特征提取模型可以输出图像的语义特征、非语义特征和融合特征。目标特征提取模型提取到的样本特征可以用于进行样本检索。样本检索是指从样本库中检索出与目标样本、查询样本最相似的至少一个样本。基于两个样本的样本特征之间的相似度可以确定这两个样本是否相似，在进行样本检索时，基于查询样本和样本库中各个样本的样本特征之间的相似度可以确定样本库中与查询样本相似的样本，那么可以将与查询样本相似的样本作为查询样本的样本检索结果。在进行样本检索时，可以使用所有的样本特征，当然，为了提高检索效率，也可以只使用一种样本特征。进一步的，样本检索可以是被动触发的，例如，在搜索应用程序中，用户在搜索框中输入搜索信息进行信息检索，搜索应用程序才会触发样本检索，将用户的搜索信息作为查询样本，基于查询样本在搜索库中确定样本检索结果，将样本检索结果作为搜索结果，向用户展示搜索结果。样本检索也可以是自动触发的，例如，在影音应用程序中，用户无需输入搜索信息，影音应用程序可以自动向用户进行信息推荐，影音应用程序可以自动触发样本检索，将用户的历史搜索结果作为查询样本，基于查询样本在影音库中确定样本检索结果，将样本检索结果作为推荐结果，主动向用户展示推荐结果。由此可见，目标特征提取模型提取的样本特征可以应用于信息搜索场景，也可以应用于信息推荐场景。
在一个实施例中，初始语义特征、初始非语义特征和初始融合特征对应的特征尺寸相同。
其中，特征尺寸是指特征的数据量，特征的尺度。例如，一个语义特征用1*128的向量表示，那么该语义特征的特征尺寸可以是1*128。
具体地，初始语义特征、初始非语义特征和初始融合特征对应的特征尺寸可以相同。那么，在进行样本检索时，在保障检索准确性的前提下，为了提高检索效率，可以只使用既包括语义信息又包括非语义信息的融合特征，有效地减少了检索时的计算量。基于查询样本和样本库中各个样本分别对应的融合特征计算查询样本和样本库中各个样本的相似度，基于相似度从样本库中确定查询样本对应的检索结果样本。
上述特征提取模型训练方法中，通过获取第一样本组，将第一样本组中的各个样本输入初始特征提取模型；第一样本组包括目标样本、目标样本对应的参考样本和各个样本对应的类别标签，初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；通过样本分类网络输出初始分类特征和初始语义特征，通过非语义特征提取网络输出初始非语义特征；通过特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；基于目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失；基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；基于特征损失和分类损失，调整初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。这样，建立统一模型学习语义特征和非语义特征，并同时学习融合特征，融合特征既包含语义信息也包含非语义信息，最终训练得到的模型不仅可以输出包含单维度信息的语义特征、非语义特征，也可以输出包含双维度信息的融合特征，仅需要对一个模型进行模型训练就可以让该模型输出多样化的特征，提高了训练效率。
在一个实施例中，样本分类网络包括语义特征提取子网络和语义特征分类子网络，语义特征提取子网络和非语义特征提取网络存在共享网络层。通过样本分类网络输出初始分类特征和初始语义特征，通过非语义特征提取网络输出初始非语义特征，包括：
通过共享网络层对输入样本进行卷积处理，得到共享特征；通过语义特征提取子网络的特征处理层对共享特征进行特征处理，得到初始语义特征；通过语义特征分类子网络对初始语义特征进行分类处理，得到初始分类特征；通过非语义特征提取网络的特征处理层对共享特征进行特征处理，得到初始非语义特征。
其中，样本分类网络包括语义特征提取子网络和语义特征分类子网络，语义特征分类子网络连接在语义特征提取子网络之后，语义特征分类子网络的输入数据为语义特征提取子网络的输出数据。语义特征提取子网络的输入数据为样本，输出数据为语义特征。语义特征分类子网络的输入数据为语义特征，输出数据为分类特征。
进一步的，语义特征提取子网络和非语义特征提取网络存在共享网络层，也就是，语义特征提取子网络和非语义特征提取网络共享网络底层结构。共享网络层为语义特征提取子网络和非语义特征提取网络重叠的网络结构。
具体地，将样本输入初始特征提取模型后，首先通过共享网络层对输入样本进行卷积处理，提取输入样本的深度特征信息，得到共享特征，然后，将共享特征分别输入语义特征提取子网络和非语义特征提取网络中的后续网络层。通过语义特征提取子网络后续的特征处理层对共享特征进行进一步的特征处理，压缩特征，得到初始语义特征，最后通过语义特征分类子网络对初始语义特征进行分类处理，得到初始分类特征。通过非语义特征提取网络后续的特征处理层对共享特征进行进一步的特征处理，压缩特征，得到初始非语义特征。
参考图3，特征提取网络包括样本分类网络、非语义特征提取网络和特征融合网络。样本分类网络包括依次连接的共享网络层、第一特征处理层和语义特征分类子网络。共享网络层和第一特征处理层组成语义特征提取子网络。非语义特征提取网络包括依次连接的共享网络层和第二特征处理层。第一特征处理层的输出数据为语义特征，语义特征分类子网络的输出数据为分类特征，第二特征处理层的输出数据为非语义特征。第一特征处理层和第二特征处理层分别与特征融合网络连接，第一特征处理层和第二特征处理层的输出数据作为特征融合网络的输入数据，特征融合网络的输出数据为融合特征。
在一个实施例中，共享网络层包括表1和表2所示的网络结构，也就是，共享网络层包括卷积层和池化层，卷积层用于提取特征，池化层用于压缩特征。
表1 ResNet-101特征模块结构表
表2将ResNet-101输出的深度特征压缩为一维向量的池化层结构
无语义特征提取网络的特征处理层包括表3所示的网络结构，也就是，无语义特征提取网络的特征处理层包括过滤层和嵌入层，过滤层用于过滤冗余特征，嵌入层用于压缩特征。
表3无语义模块结构表，包括无语义embedding提取
语义特征提取子网络的特征处理层和语义特征分类子网络包括表4所示的网络结构，也就是，语义特征提取子网络的特征处理层包括过滤层和嵌入层，语义特征分类子网络包括分类层，分类层用于进行特征分类。
表4语义模块结构表，包括语义embedding提取以及语义分类
特征融合网络包括表5所示的网络结构，也就是，特征融合网络包括合并层和嵌入层，合并层用于特征拼接。合并层的作用是将表3的嵌入层1和表4的嵌入层2输出的1*128特征向量首尾相连变成1*256的特征向量。表5中嵌入层3的作用是对拼接后的1*256特征向量进行信息融合，压缩到1*128的特征向量。对由表1至表5的网络层建立的初始特征提取模型进行训练，可以得到目标特征提取模型。其中，Conv1-Conv5可以采用在ImageNet数据集上预训练的ResNet101的参数进行初始化，新添加的层可以采用方差为0.01，均值为0的高斯分布进行初始化，例如各embedding层。
表5融合模块结构表，包括融合embedding
上述实施例中，样本分类网络包括语义特征提取子网络和语义特征分类子网络，语义特征提取子网络和非语义特征提取网络存在共享网络层，共享网络层可以降低模型的复杂度，减少模型的数据处理量，减少模型需要学习的参数。通过共享网络层、语义特征提取子网络和语义特征分类子网络的协作，最终输出初始语义特征和初始分类特征。
在一个实施例中，参考样本包括目标样本对应的正样本和负样本。基于目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，包括：
基于目标样本和正样本对应的同一类型特征之间的距离，得到正向语义损失、正向非语义损失和正向融合损失；基于目标样本和负样本对应的同一类型特征之间的距离，得到负向语义损失、负向非语义损失和负向融合损失；基于正向语义损失和负向非语义损失之间的距离，得到初始语义损失，基于正向非语义损失和负向非语义损失之间的距离，得到初始非语义损失，基于正向融合损失和负向融合损失之间的距离，得到初始融合损失；基于初始语义损失、初始非语义损失和初始融合损失得到特征损失。
其中，目标样本对应的参考样本包括目标样本对应的正样本和负样本，也就是，第一样本组包括三种样本。目标样本对应的正样本与目标样本的相似度大于目标样本对应的负样本与目标样本的相似度。
具体地，若参考样本包括目标样本对应的正样本和负样本，模型的训练目标可以是让目标样本和正样本之间的特征距离小于目标样本和负样本之间的特征距离，那么，后续在进行特征检索时，基于样本特征就可以从海量样本中检索到与查询样本更相似的样本。
在计算特征损失时，计算机设备可以基于目标样本和正样本对应的同一类型特征之间的距离，得到正向语义损失、正向非语义损失和正向融合损失，基于目标样本和负样本对应的同一类型特征之间的距离，得到负向语义损失、负向非语义损失和负向融合损失。例如，基于目标样本和正样本分别对应的初始融合特征之间的距离，得到正向融合损失。计算机设备再进一步综合同一类型的正向损失和负向损失得到特征损失。计算机设备基于正向语义损失和负向非语义损失之间的距离，得到初始语义损失，基于正向非语义损失和负向非语义损失之间的距离，得到初始非语义损失，基于正向融合损失和负向融合损失之间的距离，得到初始融合损失。最后，计算机设备融合初始语义损失、初始非语义损失和初始融合损失得到特征损失。
可以理解，计算机设备可以采取自定义算法或公式计算特征之间的距离，也可以采取欧式距离、曼哈顿距离等计算方式计算特征之间的距离。
上述实施例中，参考样本包括目标样本对应的正样本和负样本，基于目标样本和正样本对应的同一类型特征之间的距离，得到正向损失，基于目标样本和正样本对应的同一类型特征之间的距离，得到负向损失，基于正向损失和负向损失得到特征损失，基于特征损失调整模型参数，可以让模型具备区分正、负样本的能力。
在一个实施例中，基于初始语义损失、初始非语义损失和初始融合损失得到特征损失，包括：
基于语义损失调整参数更新初始语义损失，得到中间语义损失，基于中间语义损失和预设参数的匹配结果确定目标语义损失；基于非语义损失调整参数更新初始非语义损失，得到中间非语义损失，基于中间非语义损失和预设参数的匹配结果确定目标非语义损失；基于融合损失调整参数更新初始融合损失，得到中间融合损失，基于中间融合损失和预设参数的匹配结果确定目标融合损失；融合损失调整参数大于语义损失调整参数，融合损失调整参数大于非语义损失调整参数；基于目标语义损失、目标非语义损失、目标融合损失生成特征损失。
其中，损失调整参数用于调整损失，控制正向损失和负向损失之间的距离。损失调整参数可以根据需要进行设置。不同的损失对应的损失调整参数可以相同可以不同。预设参数可以根据实际需要进行设置，例如，设置为0。
具体地，在融合各种损失时，为了进一步拉大目标样本在正样本、负样本之间的特征距离，计算机设备可以对各种损失进行调整后再融合。以初始语义损失为例，初始语义损失可以表征正向语义损失和负向语义损失之间的距离，计算机设备可以获取语义损失调整参数，基于语义损失调整参数对初始语义损失进行更新，放大初始语义损失，得到中间语义损失。计算机设备再将中间语义损失和预设参数进行匹配，比较中间语义损失和预设参数的数值大小，获取其中数值更大的数据作为目标语义损失。目标语义损失的目的是让正向语义损失和负向语义损失之间的距离拉大，从而基于模型输出的语义特征可以区分相似样本和不相似样本。同理，计算机设备可以基于非语义损失调整参数更新初始非语义损失，得到中间非语义损失，基于中间非语义损失和预设参数的匹配结果确定目标非语义损失。计算机设备可以基于融合损失调整参数更新初始融合损失，得到中间融合损失，基于中间融合损失和预设参数的匹配结果确定目标融合损失。
进一步的，融合损失调整参数大于语义损失调整参数，融合损失调整参数大于非语义损失调整参数，例如，融合损失调整参数为0.8，语义损失调整参数和非语义损失调整参数为0.6。也就是，结合语义信息和非语义信息后，融合特征能够使得目标样本与正、负样本间的特征距离可以进一步拉大，进一步拉大正向融合损失和负向融合损失之间的距离。后续，在进行样本检索时，只基于融合特征进行检索，也可以得到准确的检索结果。
在得到目标语义损失、目标非语义损失、目标融合损失后，计算机设备可以将目标语义损失、目标非语义损失、目标融合损失的总和作为特征损失，也可以将目标语义损失、目标非语义损失、目标融合损失的加权和作为特征损失。其中，目标语义损失、目标非语义损失、目标融合损失分别对应的权重可以根据需要进行设置。
在一个实施例中，目标损失的计算公式如下：
ltri＝max(||xa-xp||-||xa-xn||+α,0)
其中，max(a，b)表示取a和b中的最大值。xa表示目标样本的样本特征，xp表示目标样本对应的正样本的样本特征，xn表示目标样本对应的负样本的样本特征。||xa-xp||表示计算xa和xp之间的L2距离，即欧式距离。α表示损失调整参数。ltri的目的是使得目标样本与负样本的距离比与正样本的距离大于α。目标语义损失、目标非语义损失、目标融合损失都可以使用上述公式计算得到，但是目标融合损失对应的α大于目标语义损失和目标非语义损失对应的α。
上述实施例中，基于目标语义损失、目标非语义损失、目标融合损失生成特征损失，基于该特征损失调整模型参数，可以提高模型的特征区分能力。
在一个实施例中，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失，包括：
对各个样本的类别标签进行标签编码，得到对应的标签特征；对各个样本对应的分类特征进行归一化处理，得到对应的归一化特征；对各个归一化特征进行对数变换，融合同一样本对应的标签特征和对数变换后的归一化特征，得到各个样本对应的分类子损失；基于各个分类子损失得到分类损失。
其中，标签编码用于将类别标签转换为由二进制来表示的数据。标签特征向量中的每一个向量维度对应一种标签类别，向量维度上具体的向量值表征样本是否与对应的标签类别匹配。归一化处理用于将特征向量的向量值映射到预设数值范围内。预设数值范围可以根据需要进行设置，例如，0-1之间。
具体地，为了便于计算分类损失，计算机设备可以对分类特征和类别标签进行处理，将其转换为易于比较、计算的数据。针对类别标签，计算机设备可以对目标样本和参考样本对应的类别标签进行标签编码，将各个类别标签均转换为标签特征。例如，可以采用one-hot编码方式进行标签编码。计算机设备可以对目标样本和参考样本对应的分类特征分别进行归一化处理，将分类特征向量的向量值映射到预设数值范围内，从而得到各个样本分别对应的归一化特征。例如，可以采用softmax函数进行归一化处理。计算机设备对各个归一化特征进行对数变换，具体可以将预设值作为底数，以归一化特征作为真数进行对数变换。最后，计算机设备融合同一样本对应的标签特征和对数变换后的归一化特征，得到各个样本对应的分类子损失，再综合各个分类子损失得到分类损失。
在一个实施例中，分类损失的计算公式如下：
其中，pk表示第k个样本对应的标签特征，qk表示对第k个样本对应的分类特征进行归一化处理得到的归一化特征，N表示样本数量。
上述实施例中，对类别标签进行标签编码，对分类特征进行归一化处理和对数变换，再融合二者的处理结果可以得到准确的分类损失。
在一个实施例中，样本分类网络包括语义特征提取子网络和语义特征分类子网络。基于特征损失和分类损失，调整初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型，包括：
基于特征损失和分类损失得到目标损失，对目标损失进行梯度计算，得到损失梯度；基于第一调整参数更新损失梯度，得到第一损失，基于第二调整参数更新损失梯度，得到第二损失；第一调整参数小于第二调整参数；基于第一损失调整语义特征分类子网络的网络参数，基于第二损失调整其他网络的网络参数，直至满足收敛条件，得到目标特征提取模型。
具体地，由于语义特征分类子网络涉及分类处理，容易过拟合，为了降低语义特征分类子网络对其他网络的影响，可以采取不同的损失更新语义特征分类子网络和其他网络。在得到更新损失和分类损失后，计算机设备可以融合特征损失和分类损失得到目标损失，例如，将特征损失和分类损失的总和作为目标损失，将特征损失和分类损失的加权和作为目标损失，再进行目标损失的梯度计算，得到损失梯度。计算机设备可以基于第一调整参数更新损失梯度，得到第一损失，基于第一损失调整语义特征分类子网络的网络参数，基于第二调整参数更新损失梯度，得到第二损失，基于第二损失调整其他网络的网络参数，直至满足收敛条件，得到目标特征提取模型。基于调整参数更新损失梯度具体可以是将调整参数和损失梯度相乘。
其中，第一调整参数小于第二调整参数，第一调整参数和第二调整参数可以根据需要进行设置，例如，第一调整参数为第二调整参数的10倍，第一调整参数设置为0.005，第二调整参数设置为0.0005。可以理解，第一调整参数小于第二调整参数，那么，分类产生的损失仅会全量回传到语义特征分类子网络，而以小于1的倍数回传到其他网络，从而降低语义特征分类子网络对其他网络的影响，保障模型整体的训练效果。进一步的，若语义特征提取子网络和非语义特征提取网络存在共享网络层，第一调整参数小于第二调整参数既可以避免分类信息对语义embedding带来过拟合，也避免因分类梯度过多回传到底层共享特征从而导致无语义embedding也被分类影响。
上述实施例中，基于特征损失和分类损失得到目标损失，对目标损失进行梯度计算，得到损失梯度，基于第一调整参数更新损失梯度，得到第一损失，基于第二调整参数更新损失梯度，得到第二损失，第一调整参数小于第二调整参数，基于第一损失调整语义特征分类子网络的网络参数，基于第二损失调整其他网络的网络参数，可以提升模型的训练效果。
在一个实施例中，如图4所示，获取第一样本组，将第一样本组中的各个样本输入初始特征提取模型之前，所述方法还包括：
步骤S402，获取第二样本组，将第二样本组中的各个样本输入候选特征提取模型，得到第二样本组对应的候选非语义特征集合、候选语义特征集合和候选融合特征集合。
步骤S404，基于候选非语义特征集合、候选语义特征集合和候选融合特征集合计算损失，得到候选损失。
步骤S406，基于候选损失，调整候选特征提取模型中目标网络的网络参数，直至满足第一条件，得到初始特征提取模型；目标网络包括样本分类网络和非语义特征提取网络。
其中，第二样本组和第一样本组可以包括相同的样本，也可以包括不同的样本。第二样本组也可以为至少一个。候选特征提取模型也是待训练的特征提取模型，对候选特征提取模型进行预训练后得到初始特征提取模型。与收敛条件类似，第一条件也可以是模型迭代次数达到预设次数、候选损失小于预设损失、候选损失在连续预设数目的迭代轮次中的变化率小于预设阈值等。
具体地，由于融合特征是基于语义特征和非语义特征得到的，若语义特征和非语义特征的提取效果较好，那么就比较容易得到表现优异的融合特征。为了提高模型训练效率，可以先训练用于提取语义特征和非语义特征的网络，在用于提取语义特征和非语义特征的网络表现良好的基础上，再进行综合训练，微调整体的模型参数，就可以快速得到目标特征提取模型。
计算机设备可以获取第二样本组，基于第二样本组对候选特征提取模型进行训练，只调整候选特征提取模型中样本分类网络和非语义特征提取网络的网络参数，得到初始特征提取模型。计算机设备将第二样本组中的各个样本输入候选特征提取模型，候选特征提取模型输出第二样本组中的各个样本分别对应的候选非语义特征、候选语义特征和候选融合特征，从而得到第二样本组对应的候选非语义特征集合、候选语义特征集合和候选融合特征集合。参照特征损失的计算方法，计算机设备基于候选非语义特征集合、候选语义特征集合和候选融合特征集合可以得到候选损失。计算机设备基于候选损失只调整特征提取模型中样本分类网络和非语义特征提取网络的网络参数，固定特征融合网络的网络参数。计算机设备可以基于候选损失进行反向传播，更新候选特征提取模型的模型参数，得到更新后的候选特征提取模型，并返回将第二样本组中的各个样本输入候选特征提取模型的步骤迭代执行，继续训练，直至满足收敛条件，则训练完成，得到初始特征提取模型。
在一个实施例中，与基于特征损失和分类损失调整模型的模型参数类似，在基于候选损失调整模型参数时，也可以基于第三调整参数调整候选损失的损失梯度，得到第三损失，基于第三损失调整语义特征分类子网络的网络参数，基于第四调整参数调整候选损失的损失梯度，得到第四损失，基于第四损失调整非语义特征提取网络和语义特征提取子网络的网络参数，直至满足第一条件，得到初始特征提取模型。其中，第三调整参数大于第四调整参数，例如，第三调整参数为0.005，第四调整参数为0.0005。
上述实施例中，基于第二样本组对候选特征提取模型进行训练，调整模型中的样本分类网络和非语义特征提取网络，得到初始特征提取模型，再对特征提取模型进行微调即可快速得到目标特征提取模型。
在一个实施例中，如图5所示，获取第二样本组，将第二样本组中的各个样本输入候选特征提取模型之前，所述方法还包括：
步骤S502，获取第三样本组，将第三样本组中的各个样本输入待训练特征提取模型，得到第三样本组对应的非语义特征集合。
步骤S504，基于非语义特征集合计算损失，得到初始损失。
步骤S506，基于初始损失，调整待训练特征提取模型中非语义特征提取网络的模型参数，直至满足第二条件，得到候选特征提取模型。
其中，第三样本组和第一样本组可以包括相同的样本，也可以包括不同的样本。第三样本组也可以为至少一个。与收敛条件类似，第二条件也可以是模型迭代次数达到预设次数、初始损失小于预设损失、初始损失在连续预设数目的迭代轮次中的变化率小于预设阈值等。
具体地，进一步考虑到用于提取语义特征和非语义特征的网络的收敛速度不同，用于提取非语义特征的网络收敛速度慢，用于提取语义特征的网络收敛速度快，为了提升模型的训练效果，可以先训练非语义特征提取网络，先调整非语义特征提取网络的相关模型参数，后续再进行下一阶段的训练。
计算机设备可以获取第三样本组，基于第三样本组对待训练特征提取模型进行训练，只调整模型中非语义特征提取网络的模型参数，得到候选特征提取模型。计算机设备将第三样本组中的各个样本输入待训练特征提取模型，待训练特征提取模型输出第三样本组中的各个样本分别对应的非语义特征，从而得到第三样本组对应的非语义特征集合。参照特征损失的计算方法，计算机设备基于非语义特征集合可以得到初始损失。计算机设备基于初始损失只调整特征提取模型中非语义特征提取网络的网络参数。计算机设备可以基于初始损失进行反向传播，更新非语义特征提取网络的模型参数，得到更新后的待训练特征提取模型，并返回将第三样本组中的各个样本输入待训练特征提取模型的步骤迭代执行，继续训练，直至满足收敛条件，则训练完成，得到候选特征提取模型。
上述实施例中，基于第三样本组对待训练特征提取模型进行训练，调整模型中的非语义特征提取网络，有助于保持后续训练阶段中语义分支和非语义分支的收敛平衡，提高训练效率。
当然，计算机设备也可以获取第四样本组，将第四样本组中的各个样本输入具备初始化参数的特征提取模型，得到第四样本组对应的非语义特征集合，基于第四样本组对应的非语义特征集合计算损失信息，来调整特征提取模型中非语义特征提取网络的网络参数，直至满足第三条件，得到初始特征提取模型。
在一个实施例中，当前样本组为第一样本组、第二样本组和第三样本组中的任意一个。
获取当前样本组，包括：获取多个相似样本对；从当前相似样本对中确定当前样本和当前样本对应的正样本，从剩余相似样本对中确定多个候选样本；基于当前样本分别和各个候选样本的样本相似度，从各个候选样本中确定当前样本对应的至少一个负样本；将当前样本对应的正样本和负样本作为当前样本对应的参考样本，基于当前样本和对应的参考样本得到至少一个当前样本组。
其中，相似样本对是指标注了两个样本为相同或相似样本的样本对。
具体地，在确定样本三元组时，计算机设备可以获取多个相似样本对，从多个相似样本对中随机选取一个相似样本对作为当前相似样本对，将当前相似样本对中的一个样本作为当前样本，另一个样本作为当前样本对应的正样本。计算机设备再从除当前相似样本对以外剩余的相似样本对中随机选取多个样本作为候选样本，例如，在剩余相似样本对中，从每个相似样本对中随机选取一个样本作为候选样本。然后，计算机设备计算当前样本分别和各个候选样本的样本相似度，基于样本相似度从各个候选样本中确定当前样本对应的至少一个负样本。在计算样本相似度时，计算机设备可以采用自定义算法，也可以采用传统的文本相似度计算算法、图像相似度计算算法、语音相似度计算算法等。在选取负样本时，可以按照样本相似度从大到小的顺序将各个候选样本进行排序，获取排序靠前的若干个候选样本作为负样本。在得到当前样本对应的正样本和负样本后，将当前样本对应的正样本和负样本作为当前样本对应的参考样本，基于当前样本和对应的参考样本组成当前样本组，最终得到与负样本数量相同的当前样本组。
可以理解，一个当前样本组包括三个样本，分别为当前样本、当前样本对应的正样本和负样本。若当前样本对应的负样本有多个，那么各个负样本分别和当前样本对应的当前样本对组成当前样本组，最终得到多个当前样本组。此外，相似样本对中各个样本对应的类别标签是一致的，即样本和样本对应的正样本具备一致的类别标签，但是，同一样本对应的正样本和负样本对应的类别标签可以相同可以不同。第一样本组、第二样本组和第三样本组都可以通过上述方法得到。在一个实施例中，第一样本组、第二样本组和第三样本组可以包括相同的相似样本对。
上述实施例中，从剩余相似样本对中，基于样本相似度确定当前样本对应的负样本，可以在充分运用现有数据的基础上，快速确定负样本。
在一个实施例中，基于当前样本分别和各个候选样本的样本相似度，从各个候选样本中确定当前样本对应的至少一个负样本，包括：
将当前样本和各个候选样本输入匹配的当前特征提取模型，得到当前样本和各个候选样本分别对应的样本特征集合；第一样本组匹配的当前特征提取模型为初始特征提取模型，第二样本组匹配的当前特征提取模型为候选特征提取模型，第三样本组匹配的当前特征提取模型为待训练特征提取模型；基于当前样本和各个候选样本对应的样本特征集合，计算当前样本分别和各个候选样本的样本相似度；基于样本相似度将各个候选样本分为第一类样本和第二类样本；第一类样本对应的样本相似度大于第二类样本对应的样本相似度；从第一类样本中确定当前样本对应的至少一个负样本。
具体地，样本之间的相似度可以根据模型输出的样本特征进行计算。以第一样本组为例，在确定第一样本组时，可以将目标样本和各个候选样本输入初始特征提取模型，根据模型的输出数据得到目标样本和各个候选样本分别对应的样本特征集合，样本特征集合包括语义特征、非语义特征和融合特征中的至少一种，进而，基于目标样本和各个候选样本对应的样本特征集合计算目标样本分别和各个候选样本的样本相似度，例如，将两个样本的样本特征距离作为样本之间的样本相似度，样本特征距离越小，样本相似度越大。计算机设备可以基于样本相似度将各个候选样本分为第一类样本和第二类样本，第一类样本对应的样本相似度大于第二类样本对应的样本相似度，从第一类样本中选取至少一个样本作为目标样本对应的至少一个负样本。在进行样本分类时，可以按照样本相似度从大到小的顺序将各个候选样本进行排序，获取排序靠前的预设数目个候选样本作为第一类样本，将剩余的候选样本作为第二类样本，预设数目可以根据需要进行设置。
可以理解，从与目标样本的样本相似度大的候选样本中确定负样本，从中选取的负样本包括一定比例的难样本，后续，在模型训练时，难样本有助于提升模型的特征区分能力，从而提高模型性能。
与第一样本组的确定方式类似，在确定第二样本组时，可以将当前样本和各个候选样本输入候选特征提取模型，根据模型的输出数据计算样本相似度，从而确定第二样本组中的负样本，在确定第三样本组时，可以将当前样本和各个候选样本输入候选特征提取模型，根据模型的输出数据计算样本相似度，从而确定第三样本组中的负样本。
上述实施例中，在不同的训练阶段采取不同的训练样本进行模型训练，可以提高模型的泛化能力。根据上一阶段训练完成的模型输出的样本特征计算样本相似度，可以快速确定下一阶段的训练样本。从相似度更大的第一类样本中确定负样本，可以获取到难样本，难样本有助于在训练过程中提高模型性能。
在一个实施例中，如图6所示，提供了一种样本检索方法，以该方法由计算机设备执行为例进行说明，可以理解的是，计算机设备可以是图1所示的终端102，也可以是服务器104。本实施例中，样本检索方法包括以下步骤：
步骤S602，获取查询样本和候选召回样本集合。
其中，查询样本是指需要查询最相似样本的样本。查询样本可以是图像、语音、文本中的至少一种。在信息搜索场景下，查询样本可以是用户在搜索时通过终端提交的搜索信息。在信息推荐场景下，查询样本可以是计算机设备自主获取的用户参考信息，用户参考信息可以是用户属性信息，例如，可以将用户账号注册信息中的兴趣爱好作为用户参考信息，用户参考信息也可以是基于用户历史行为确定的，例如，可以将用户的历史搜索结果、历史浏览样本作为用户参考信息。用户参考信息可以反映用户的兴趣爱好、关注热点。候选召回样本集合是指样本库、检索库，包括大量的候选召回样本。需要从样本库中检索与查询样本最相似的至少一个样本作为检索结果。
具体地，在接收到检索任务、查询任务时，计算机设备可以获取查询样本和候选召回样本集合，利用训练好的目标特征提取模型，从候选召回样本集合确定查询样本对应的检索结果。
步骤S604，将查询样本和候选召回样本集合中的候选召回样本输入目标特征提取模型，得到查询样本对应的查询样本特征和候选召回样本对应的召回样本特征。
其中，目标特征提取模型的训练过程如下：获取第一样本组，将第一样本组中的各个样本输入初始特征提取模型；第一样本组包括目标样本、目标样本对应的参考样本和各个样本对应的类别标签，初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；通过样本分类网络输出初始分类特征和初始语义特征，通过非语义特征提取网络输出初始非语义特征，通过特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；基于目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；基于特征损失和分类损失，调整初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。
可以理解，目标特征提取模型的训练过程可以参考前述特征提取模型训练方法的各个实施例，此处不再赘述。
步骤S606，基于查询样本特征和召回样本特征，从候选召回样本集合中确定查询样本对应的检索结果样本。
具体地，计算机设备可以将查询样本和候选召回样本集合中的候选召回样本分别输入目标特征提取模型，根据模型的输出数据得到查询样本对应的查询样本特征和各个候选召回样本分别对应的召回样本特征。查询样本特征和召回样本特征均包括语义特征、非语义特征和融合特征中的至少一种。计算机设备基于查询样本特征和召回样本特征可以计算样本之间的相似度，进而从候选召回样本集合中获取相似度较高的候选召回样本作为查询样本对应的检索结果样本。后续，计算机设备可以向检索任务、查询任务的发送端返回检索结果样本。
上述样本检索方法，在训练模型时，建立统一模型学习语义特征和非语义特征，并同时学习融合特征，融合特征既包含语义信息也包含非语义信息，最终训练得到的模型不仅可以输出包含单维度信息的语义特征、非语义特征，也可以输出包含双维度信息的融合特征，仅需要对一个模型进行模型训练就可以让该模型输出多样化的特征，提高了训练效率。从而，在进行样本检索时，通过模型输出的多样化特征来进行样本检索，可以提高样本检索的准确性和效率。
在一个实施例中，召回样本特征包括语义特征、非语义特征和融合特征中的至少一种，查询样本特征和召回样本特征包括同一类型的样本特征。基于查询样本特征和召回样本特征，从候选召回样本集合中确定查询样本对应的检索结果样本，包括：
基于同一类型对应的各个召回样本特征建立索引，得到各个类型分别对应的样本召回索引；基于同一类型对应的查询样本特征从对应的样本召回索引中进行样本检索，基于样本检索结果确定检索结果样本。
具体地，在进行样本检索时，需要利用同一类型的样本特征，从同一视角出发查询相似样本。因此，查询样本特征和召回样本特征需要包括同一类型的样本特征，召回样本特征可以包括语义特征、非语义特征和融合特征中的至少一种。
进一步的，为了提高检索效率，计算机设备可以基于召回样本特征建立检索的索引，索引可以表征召回样本特征在空间中的分布情况，那么在进行检索时，通过确定查询样本特征在索引中对应的分布区域，就可以快速在该分布区域对应的候选召回样本中确定检索结果样本。基于索引进行检索可以避免每次检索时在查询样本和样本库中的样本两两计算相似度，避免大量的复杂计算。
计算机设备可以基于同一类型对应的各个召回样本特征建立索引，得到各个类型分别对应的样本召回索引，例如，非语义特征对应第一样本召回索引，语义特征对应第二样本召回索引，融合特征对应第三样本召回索引，相应的，需要基于同一类型对应的查询样本特征从对应的样本召回索引中进行样本检索。最终，计算机设备可以基于样本检索结果从候选召回样本集合中确定检索结果样本。
在一个实施例中，在未获取到检索任务之前，计算机设备就可以预先建立样本召回索引。那么，后续在获取到检索任务后，计算机设备可以快速基于样本召回索引进行样本检索，快速确定检索结果样本。
上述实施例中，通过样本召回索引进行样本检索，能够提高检索效率。
在一个实施例中，基于同一类型对应的各个召回样本特征建立索引，得到各个类型分别对应的样本召回索引，包括：
对同一类型对应的各个召回样本特征进行特征聚类，得到各个类型分别对应的多个聚类簇；各个聚类簇存在对应的聚类中心；基于同一类型对应的各个聚类簇，得到各个类型分别对应的样本召回索引。
具体地，在建立索引时，计算机设备可以对同一类型对应的各个召回样本特征进行特征聚类，将在空间上邻近的召回样本特征聚集在同一聚类簇中，将在空间上存在一定距离的召回样本特征聚集在不同的聚类簇中，从而得到各个类型分别对应的多个聚类簇。各个聚类簇彼此独立，各个聚类簇分别对应一个局部向量空间，各个聚类簇存在对应的聚类中心，与召回样本特征类似，聚类中心也可以用向量或矩阵进行表示。计算机设备可以基于同一类型对应的各个聚类簇建立样本召回索引，将聚类中心作为索引的主要组成部分，将样本特征落入聚类中心对应的聚类簇的候选召回样本作为索引的关联信息，最终得到各个类型分别对应的样本召回索引。
在一个实施例中，若样本库有新增样本，可以计算新增样本的样本特征和各个聚类中心的距离，根据距离判断新增样本属于哪个聚类簇，将新增样本关联至最小距离对应的聚类中心所属聚类簇。
上述实施例中，基于聚类簇建立索引，可以提高后续的检索效率。
在一个实施例中，基于同一类型对应的查询样本特征从对应的样本召回索引中进行样本检索，基于样本检索结果确定检索结果样本，包括：
基于同一类型对应的查询样本特征和各个聚类中心之间的距离，从对应的各个聚类簇中确定目标聚类簇，得到各个类型分别对应的目标聚类簇；基于同一类型对应的查询样本特征和目标聚类簇内各个召回样本特征之间的距离，从目标聚类簇对应的各个召回样本特征中确定目标样本特征；将目标样本特征对应的候选召回样本作为检索结果样本。
具体地，计算机设备计算同一特征类型对应的查询样本特征和对应的聚类中心之间的距离，将距离最小值对应的聚类簇作为目标聚类簇，从而得到各个特征类型分别对应的目标聚类簇，以此来限缩检索范围。进而，计算机设备在目标聚类簇对应的各个候选召回样本中进行检索，计算同一特征类型对应的查询样本特征和对应的目标聚类簇内各个召回样本特征之间的距离，将距离最接近的至少一个召回样本特征作为目标样本特征，将目标样本特征对应的候选召回样本作为最终的检索结果样本。针对不同类型的样本特征，可以得到各个特征类型分别对应的检索结果样本。
上述实施例中，先基于聚类中心缩小检索范围，再在目标聚类簇内进行精准检索，可以提高检索效率。
在一个实施例中，当查询样本对应的查询任务为第一类任务时，召回样本特征包括融合特征，当查询样本对应的查询任务为第二类任务时，召回样本特征包括语义特征和非语义特征，第一类任务的查询频率大于第二类任务的查询频率。
具体地，由于融合特征同时包含语义信息和非语义信息，为了提高检索效率，针对高响应、高频请求的任务，这个类型的任务的查询样本在进行检索时，采用融合特征进行检索。也就是，当查询样本对应的查询任务为查询频率相对较高的第一类任务时，召回样本特征和查询样本特征包括融合特征，利用融合特征进行快速检索，当查询样本对应的查询任务为查询频率相对较低的第二类任务时，召回样本特征和查询样本特征包括语义特征和非语义特征，采用语义特征和非语义特征进行双特征准确检索。
上述实施例中，通过不同的任务使用不同的检索方式，能够提高检索灵活性。
在一个具体的实施例中，上述的特征提取模型训练方法、样本检索方法可以应用于图像领域。
1、数据准备
标注图像相似度样本，进而挖掘三元组样本。在每个batch(batch代表训练批次，共包括bs个相似图像对)中获取相似图像对，在每个batch的图像对中挖掘图像三元组。例如，针对某个相似图像对中的图像x，从剩余的bs-1个样本对中，每对随机选择一张图像，计算其与x的距离，按距离从小到大排序，取前10个样本作为负样本，分别与x和x的正样本组成三元组，那么每个x可以产生10个三元组，整个batch可以得到10*bs个三元组。标注三元组中各个图像对应的类别。
2、模型结构
图像特征提取模型为双分支融合模型，模型结构可以参考图7。模型的底层结构为共享网络层，共享网络层可以是共享的CNN网络，例如，CNN网络可以为采用基于大规模开源数据ImageNet预训练的ResNet101，ResNet101的具体结构可以参考表1、表2。将三元组中的图像输入模型，输入图像先后经过表1、表2处理，进而输入到表3、表4双分支embedding抽取结构，产生目标的无语义embedding(即嵌入层1的输出数据)、语义embedding(即嵌入层2的输出数据)，然后两个embedding输入到表5产生融合embedding(即嵌入层3的输出数据)输出。
3、模型训练
利用挖掘到的三元组样本以及语义标注信息，对模型进行监督学习。对全量数据进行epoch(代表训练轮次)轮迭代，每轮迭代处理一次全量样本。参考图7，模型训练过程中需要分别对语义、非语义embedding计算loss(即损失)、也需要对融合embedding计算loss，另外对于表3语义模块，在embedding之上还有一个分类层用于提供语义信息，该分类层也需要计算对应的loss。
考虑到不同分支的收敛程度不同，非语义分支收敛慢、语义分支收敛快，以及融合embedding是基于语义embedding和非语义embedding得到的，将训练过程分三个阶段进行。首先，用Loss1训练非语义embedding，非语义学习5个epoch，这个阶段只计算非语义分支的loss并更新相关模型参数。然后，用Loss2训练2个基础embedding，语义+非语义分支同时学习10个epoch，这个阶段只更新语义+非语义分支模型参数。后续用Loss3训练所有分支(语义+非语义+融合分支)，采用SGD随机梯度下降法，把计算得到的loss进行梯度后向计算并得到全部模型参数的更新值，并更新模型，例如，当模型loss持续10轮未下降后，停止模型训练。
loss1＝ltriplet1
loss2＝ltriplet1+ltriplet2+lclass
loss3＝ltriplet1+ltriplet2+ltriplet3+lclass
其中，ltriplet1表示非语义损失，ltriplet2表示语义损失，lclass表示分类损失，ltriplet3表示融合损失。
这样，这个训练过程中融合embedding是延迟融合的，在训练到不错的基础embedding后再进行融合embedding微调，可以避免两个基础embedding收敛不一致就直接融合导致总体效果不佳。
4、模型应用
训练完成的模型可以用于提取输入图像的非语义embedding、语义embedding和融合embedding。参考图8，首先利用模型提取图像库中各个图像的embedding，进而确定embedding的聚类中心。在检索时，根据查询图像的embedding找到最近的n个聚类中心(即目标聚类中心)，获取这些聚类中心的关联图像作为候选图像，根据各个候选图像的embedding与查询图像的embedding计算欧式距离，并从小到大排序，获取排序中topK个图像作为最后的检索结果。
单检索***：本模型联合两个embedding统一到融合embedding上，从而在应用时只需要做一次模型推理即可以得到包含语义、非语义信息的embedding，在融合embedding下只需要建立一个检索***，这样可以降低检索***的存储空间。在推理或检索资源有限情况下非常有帮助。
双检索***：也可以基于模型推理得到的语义、非语义embedding建立双检索***。针对两个特征分别聚类，分别利用对应的聚类中心建立索引***，分别检索，然后直接合并检索结果。
可以理解，在图像搜索场景和图像推荐场景下，可以建立单检索***，也可以建立双检索***。
本实施例具备以下有益效果：
1、低推理耗时、低存储资源：建立统一模型学习两种特征，同时学习合并特征，合并特征的优势是借用一个特征向量，既可表达语义信息也可表达非语义信息，最终实现一个模型可以输出一个高质量、信息丰富的特征。
2、灵活的单一或双特征检索应用***：由于语义与非语义信息都体现在一个融合embedding上，可以仅对这个embedding建立检索***。另一方面，当应用服务可以支持更大的检索内存时，也可以借助本模型的双embedding建立双特征检索***。总之，采用本模型可以灵活建立检索***。
3、通过多阶段训练以及融合特征微调可以保证多任务学习的收敛性能。
应该理解的是，虽然图2、4、5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4、5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种特征提取模型训练装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：第一样本组处理模块902、特征输出模块904、特征融合模块906、特征损失确定模块908、分类损失确定模块910和模型参数调整模块912，其中：
第一样本组处理模块902，用于获取第一样本组，将第一样本组中的各个样本输入初始特征提取模型；第一样本组包括目标样本、目标样本对应的参考样本和各个样本对应的类别标签，初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
特征输出模块904，用于通过样本分类网络输出初始分类特征和初始语义特征，通过非语义特征提取网络输出初始非语义特征；
特征融合模块906，用于通过特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
特征损失确定模块908，用于基于目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失；
分类损失确定模块910，用于基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
模型参数调整模块912，用于基于特征损失和分类损失，调整初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型；目标特征提取模型用于提取输入样本的样本特征，样本特征用于进行样本检索。
在一个实施例中，样本分类网络包括语义特征提取子网络和语义特征分类子网络，语义特征提取子网络和非语义特征提取网络存在共享网络层。特征输出模块还用于通过共享网络层对输入样本进行卷积处理，得到共享特征；通过语义特征提取子网络的特征处理层对共享特征进行特征处理，得到初始语义特征；通过语义特征分类子网络对初始语义特征进行分类处理，得到初始分类特征；通过非语义特征提取网络的特征处理层对共享特征进行特征处理，得到初始非语义特征。
在一个实施例中，参考样本包括目标样本对应的正样本和负样本。特征损失确定模块还用于基于目标样本和正样本对应的同一类型特征之间的距离，得到正向语义损失、正向非语义损失和正向融合损失；基于目标样本和负样本对应的同一类型特征之间的距离，得到负向语义损失、负向非语义损失和负向融合损失；基于正向语义损失和负向非语义损失之间的距离，得到初始语义损失，基于正向非语义损失和负向非语义损失之间的距离，得到初始非语义损失，基于正向融合损失和负向融合损失之间的距离，得到初始融合损失；基于初始语义损失、初始非语义损失和初始融合损失得到特征损失。
在一个实施例中，特征损失确定模块还用于基于语义损失调整参数更新初始语义损失，得到中间语义损失，基于中间语义损失和预设参数的匹配结果确定目标语义损失；基于非语义损失调整参数更新初始非语义损失，得到中间非语义损失，基于中间非语义损失和预设参数的匹配结果确定目标非语义损失；基于融合损失调整参数更新初始融合损失，得到中间融合损失，基于中间融合损失和预设参数的匹配结果确定目标融合损失；融合损失调整参数大于语义损失调整参数，融合损失调整参数大于非语义损失调整参数；基于目标语义损失、目标非语义损失、目标融合损失生成特征损失。
在一个实施例中，分类损失确定模块还用于对各个样本的类别标签进行标签编码，得到对应的标签特征；对各个样本对应的分类特征进行归一化处理，得到对应的归一化特征；对各个归一化特征进行对数变换，融合同一样本对应的标签特征和对数变换后的归一化特征，得到各个样本对应的分类子损失；基于各个分类子损失得到分类损失。
在一个实施例中，样本分类网络包括语义特征提取子网络和语义特征分类子网络。模型参数调整模块还用于基于特征损失和分类损失得到目标损失，对目标损失进行梯度计算，得到损失梯度；基于第一调整参数更新损失梯度，得到第一损失，基于第二调整参数更新损失梯度，得到第二损失；第一调整参数小于第二调整参数；基于第一损失调整语义特征分类子网络的网络参数，基于第二损失调整其他网络的网络参数，直至满足收敛条件，得到目标特征提取模型。
在一个实施例中，特征提取模型训练装置还包括：
第二样本组处理模块，用于获取第二样本组，将第二样本组中的各个样本输入候选特征提取模型，得到第二样本组对应的候选非语义特征集合、候选语义特征集合和候选融合特征集合；基于候选非语义特征集合、候选语义特征集合和候选融合特征集合计算损失，得到候选损失；基于候选损失，调整候选特征提取模型中目标网络的网络参数，直至满足第一条件，得到初始特征提取模型；目标网络包括样本分类网络和非语义特征提取网络。
在一个实施例中，特征提取模型训练装置还包括：
第三样本组处理模块，用于获取第三样本组，将第三样本组中的各个样本输入待训练特征提取模型，得到第三样本组对应的非语义特征集合；基于非语义特征集合计算损失，得到初始损失；基于初始损失，调整待训练特征提取模型中非语义特征提取网络的模型参数，直至满足第二条件，得到候选特征提取模型。
在一个实施例中，当前样本组为第一样本组、第二样本组和第三样本组中的任意一个。第一样本组处理模块、第二样本组处理模块和第三样本组处理模块还用于获取多个相似样本对；从当前相似样本对中确定当前样本和当前样本对应的正样本，从剩余相似样本对中确定多个候选样本；基于当前样本分别和各个候选样本的样本相似度，从各个候选样本中确定当前样本对应的至少一个负样本；将当前样本对应的正样本和负样本作为当前样本对应的参考样本，基于当前样本和对应的参考样本得到至少一个当前样本组。
在一个实施例中，第一样本组处理模块、第二样本组处理模块和第三样本组处理模块还用于将当前样本和各个候选样本输入匹配的当前特征提取模型，得到当前样本和各个候选样本分别对应的样本特征集合；第一样本组匹配的当前特征提取模型为初始特征提取模型，第二样本组匹配的当前特征提取模型为候选特征提取模型，第三样本组匹配的当前特征提取模型为待训练特征提取模型；基于当前样本和各个候选样本对应的样本特征集合，计算当前样本分别和各个候选样本的样本相似度；基于样本相似度将各个候选样本分为第一类样本和第二类样本；第一类样本对应的样本相似度大于第二类样本对应的样本相似度；从第一类样本中确定当前样本对应的至少一个负样本。
在一个实施例中，初始语义特征、初始非语义特征和初始融合特征对应的特征尺寸相同。
上述特征提取模型训练装置，建立统一模型学习语义特征和非语义特征，并同时学习融合特征，融合特征既包含语义信息也包含非语义信息，最终训练得到的模型不仅可以输出包含单维度信息的语义特征、非语义特征，也可以输出包含双维度信息的融合特征，仅需要对一个模型进行模型训练就可以让该模型输出多样化的特征，提高了训练效率。
在一个实施例中，如图10所示，提供了一种样本检索装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：数据获取模块1002、数据处理模块1004和检索结果确定模块1006，其中：
数据获取模块1002，用于获取查询样本和候选召回样本集合；
数据处理模块1004，用于将查询样本和候选召回样本集合中的候选召回样本输入目标特征提取模型，得到查询样本对应的查询样本特征和候选召回样本对应的召回样本特征；
检索结果确定模块1006，用于基于查询样本特征和召回样本特征，从候选召回样本集合中确定查询样本对应的检索结果样本；
目标特征提取模型的训练过程如下：
获取第一样本组，将第一样本组中的各个样本输入初始特征提取模型；第一样本组包括目标样本、目标样本对应的参考样本和各个样本对应的类别标签，初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；通过样本分类网络输出初始分类特征和初始语义特征，通过非语义特征提取网络输出初始非语义特征，通过特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；基于目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；基于特征损失和分类损失，调整初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。
在一个实施例中，召回样本特征包括语义特征、非语义特征和融合特征中的至少一种，查询样本特征和召回样本特征包括同一类型的样本特征。检索结果确定模块包括：
索引建立单元，用于基于同一类型对应的各个召回样本特征建立索引，得到各个类型分别对应的样本召回索引。
样本检索单元，用于基于同一类型对应的查询样本特征从对应的样本召回索引中进行样本检索，基于样本检索结果确定检索结果样本。
在一个实施例中，索引建立单元还用于对同一类型对应的各个召回样本特征进行特征聚类，得到各个类型分别对应的多个聚类簇；各个聚类簇存在对应的聚类中心；基于同一类型对应的各个聚类簇，得到各个类型分别对应的样本召回索引。
在一个实施例中，样本检索单元还用于基于同一类型对应的查询样本特征和各个聚类中心之间的距离，从对应的各个聚类簇中确定目标聚类簇，得到各个类型分别对应的目标聚类簇；基于同一类型对应的查询样本特征和目标聚类簇内各个召回样本特征之间的距离，从目标聚类簇对应的各个召回样本特征中确定目标样本特征；将目标样本特征对应的候选召回样本作为检索结果样本。
在一个实施例中，当查询样本对应的查询任务为第一类任务时，召回样本特征包括融合特征，当查询样本对应的查询任务为第二类任务时，召回样本特征包括语义特征和非语义特征，第一类任务的查询频率大于第二类任务的查询频率。
上述样本检索装置，在训练模型时，建立统一模型学习语义特征和非语义特征，并同时学习融合特征，融合特征既包含语义信息也包含非语义信息，最终训练得到的模型不仅可以输出包含单维度信息的语义特征、非语义特征，也可以输出包含双维度信息的融合特征，仅需要对一个模型进行模型训练就可以让该模型输出多样化的特征，提高了训练效率。从而，在进行样本检索时，通过模型输出的多样化特征来进行样本检索，可以提高样本检索的准确性和效率。
关于特征提取模型训练装置、样本检索装置的具体限定可以参见上文中对于特征提取模型训练方法、样本检索方法的限定，在此不再赘述。上述特征提取模型训练装置、样本检索装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储相似样本对、候选召回样本集合、目标特征提取模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种特征提取模型训练方法、样本检索方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种特征提取模型训练方法、样本检索方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11、12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (20)
1.一种特征提取模型训练方法，其特征在于，所述方法包括：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征；
通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失；
基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型；所述目标特征提取模型用于提取输入样本的样本特征，所述样本特征用于进行样本检索。
2.根据权利要求1所述的方法，其特征在于，所述样本分类网络包括语义特征提取子网络和语义特征分类子网络，所述语义特征提取子网络和所述非语义特征提取网络存在共享网络层，所述通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征，包括：
通过所述共享网络层对输入样本进行卷积处理，得到共享特征；
通过所述语义特征提取子网络的特征处理层对所述共享特征进行特征处理，得到所述初始语义特征；
通过所述语义特征分类子网络对所述初始语义特征进行分类处理，得到所述初始分类特征；
通过所述非语义特征提取网络的特征处理层对所述共享特征进行特征处理，得到所述初始非语义特征。
3.根据权利要求1所述的方法，其特征在于，所述参考样本包括所述目标样本对应的正样本和负样本，所述基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，包括：
基于所述目标样本和正样本对应的同一类型特征之间的距离，得到正向语义损失、正向非语义损失和正向融合损失；
基于所述目标样本和负样本对应的同一类型特征之间的距离，得到负向语义损失、负向非语义损失和负向融合损失；
基于所述正向语义损失和负向非语义损失之间的距离，得到初始语义损失，基于所述正向非语义损失和负向非语义损失之间的距离，得到初始非语义损失，基于所述正向融合损失和负向融合损失之间的距离，得到初始融合损失；
基于所述初始语义损失、初始非语义损失和初始融合损失得到所述特征损失。
4.根据权利要求3所述的方法，其特征在于，所述基于所述初始语义损失、初始非语义损失和初始融合损失得到所述特征损失，包括：
基于语义损失调整参数更新初始语义损失，得到中间语义损失，基于中间语义损失和预设参数的匹配结果确定目标语义损失；
基于非语义损失调整参数更新初始非语义损失，得到中间非语义损失，基于中间非语义损失和预设参数的匹配结果确定目标非语义损失；
基于融合损失调整参数更新初始融合损失，得到中间融合损失，基于中间融合损失和预设参数的匹配结果确定目标融合损失；所述融合损失调整参数大于所述语义损失调整参数，所述融合损失调整参数大于所述非语义损失调整参数；
基于所述目标语义损失、目标非语义损失、目标融合损失生成所述特征损失。
5.根据权利要求1所述的方法，其特征在于，所述基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失，包括：
对各个样本的类别标签进行标签编码，得到对应的标签特征；
对各个样本对应的分类特征进行归一化处理，得到对应的归一化特征；
对各个归一化特征进行对数变换，融合同一样本对应的标签特征和对数变换后的归一化特征，得到各个样本对应的分类子损失；
基于各个分类子损失得到所述分类损失。
6.根据权利要求1所述的方法，其特征在于，所述样本分类网络包括语义特征提取子网络和语义特征分类子网络，所述基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型，包括：
基于所述特征损失和分类损失得到目标损失，对所述目标损失进行梯度计算，得到损失梯度；
基于第一调整参数更新所述损失梯度，得到第一损失，基于第二调整参数更新所述损失梯度，得到第二损失；所述第一调整参数小于所述第二调整参数；
基于所述第一损失调整所述语义特征分类子网络的网络参数，基于所述第二损失调整其他网络的网络参数，直至满足收敛条件，得到所述目标特征提取模型。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型之前，所述方法还包括：
获取第二样本组，将所述第二样本组中的各个样本输入候选特征提取模型，得到所述第二样本组对应的候选非语义特征集合、候选语义特征集合和候选融合特征集合；
基于所述候选非语义特征集合、候选语义特征集合和候选融合特征集合计算损失，得到候选损失；
基于所述候选损失，调整所述候选特征提取模型中目标网络的网络参数，直至满足第一条件，得到所述初始特征提取模型；所述目标网络包括所述样本分类网络和非语义特征提取网络。
8.根据权利要求7所述的方法，其特征在于，所述获取第二样本组，将所述第二样本组中的各个样本输入候选特征提取模型之前，所述方法还包括：
获取第三样本组，将所述第三样本组中的各个样本输入待训练特征提取模型，得到所述第三样本组对应的非语义特征集合；
基于所述非语义特征集合计算损失，得到初始损失；
基于所述初始损失，调整所述待训练特征提取模型中非语义特征提取网络的模型参数，直至满足第二条件，得到所述候选特征提取模型。
9.根据权利要求8所述的方法，其特征在于，当前样本组为所述第一样本组、第二样本组和第三样本组中的任意一个，获取当前样本组，包括：
获取多个相似样本对；
从当前相似样本对中确定当前样本和所述当前样本对应的正样本，从剩余相似样本对中确定多个候选样本；
基于所述当前样本分别和各个候选样本的样本相似度，从各个候选样本中确定所述当前样本对应的至少一个负样本；
将所述当前样本对应的正样本和负样本作为所述当前样本对应的参考样本，基于所述当前样本和对应的参考样本得到至少一个当前样本组。
10.根据权利要求9所述的方法，其特征在于，所述基于所述当前样本分别和各个候选样本的样本相似度，从各个候选样本中确定所述当前样本对应的至少一个负样本，包括：
将所述当前样本和各个候选样本输入匹配的当前特征提取模型，得到所述当前样本和各个候选样本分别对应的样本特征集合；第一样本组匹配的当前特征提取模型为所述初始特征提取模型，第二样本组匹配的当前特征提取模型为所述候选特征提取模型，第三样本组匹配的当前特征提取模型为所述待训练特征提取模型；
基于所述当前样本和各个候选样本对应的样本特征集合，计算所述当前样本分别和各个候选样本的样本相似度；
基于样本相似度将各个候选样本分为第一类样本和第二类样本；所述第一类样本对应的样本相似度大于所述第二类样本对应的样本相似度；
从所述第一类样本中确定所述当前样本对应的至少一个负样本。
11.一种样本检索方法，其特征在于，所述方法包括：
获取查询样本和候选召回样本集合；
将所述查询样本和候选召回样本集合中的候选召回样本输入目标特征提取模型，得到所述查询样本对应的查询样本特征和候选召回样本对应的召回样本特征；
基于所述查询样本特征和召回样本特征，从所述候选召回样本集合中确定所述查询样本对应的检索结果样本；
所述目标特征提取模型的训练过程如下：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征，通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。
12.根据权利要求11所述的方法，其特征在于，所述召回样本特征包括语义特征、非语义特征和融合特征中的至少一种，所述查询样本特征和所述召回样本特征包括同一类型的样本特征；
所述基于所述查询样本特征和召回样本特征，从所述候选召回样本集合中确定所述查询样本对应的检索结果样本，包括：
基于同一类型对应的各个召回样本特征建立索引，得到各个类型分别对应的样本召回索引；
基于同一类型对应的查询样本特征从对应的样本召回索引中进行样本检索，基于样本检索结果确定所述检索结果样本。
13.根据权利要求12所述的方法，其特征在于，所述基于同一类型对应的各个召回样本特征建立索引，得到各个类型分别对应的样本召回索引，包括：
对同一类型对应的各个召回样本特征进行特征聚类，得到各个类型分别对应的多个聚类簇；各个聚类簇存在对应的聚类中心；
基于同一类型对应的各个聚类簇，得到所述各个类型分别对应的样本召回索引。
14.根据权利要求13所述的方法，其特征在于，所述基于同一类型对应的查询样本特征从对应的样本召回索引中进行样本检索，基于样本检索结果确定所述检索结果样本，包括：
基于同一类型对应的查询样本特征和各个聚类中心之间的距离，从对应的各个聚类簇中确定目标聚类簇，得到各个类型分别对应的目标聚类簇；
基于同一类型对应的查询样本特征和目标聚类簇内各个召回样本特征之间的距离，从目标聚类簇对应的各个召回样本特征中确定目标样本特征；
将所述目标样本特征对应的候选召回样本作为所述检索结果样本。
15.根据权利要求12所述的方法，其特征在于，当所述查询样本对应的查询任务为第一类任务时，所述召回样本特征包括融合特征，当所述查询样本对应的查询任务为第二类任务时，所述召回样本特征包括语义特征和非语义特征，所述第一类任务的查询频率大于所述第二类任务的查询频率。
16.一种特征提取模型训练装置，其特征在于，所述装置包括：
第一样本组处理模块，用于获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
特征输出模块，用于通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征；
特征融合模块，用于通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
特征损失确定模块，用于基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失；
分类损失确定模块，用于基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
模型参数调整模块，用于基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型；所述目标特征提取模型用于提取输入样本的样本特征，所述样本特征用于进行样本检索。
17.一种样本检索装置，其特征在于，所述装置包括：
数据获取模块，用于获取查询样本和候选召回样本集合；
数据处理模块，用于将所述查询样本和候选召回样本集合中的候选召回样本输入目标特征提取模型，得到所述查询样本对应的查询样本特征和候选召回样本对应的召回样本特征；
检索结果确定模块，用于基于所述查询样本特征和召回样本特征，从所述候选召回样本集合中确定所述查询样本对应的检索结果样本；
所述目标特征提取模型的训练过程如下：
获取第一样本组，将所述第一样本组中的各个样本输入初始特征提取模型；所述第一样本组包括目标样本、所述目标样本对应的参考样本和各个样本对应的类别标签，所述初始特征提取模型包括样本分类网络、非语义特征提取网络和特征融合网络；
通过所述样本分类网络输出初始分类特征和初始语义特征，通过所述非语义特征提取网络输出初始非语义特征，通过所述特征融合网络，对同一样本的初始语义特征和初始非语义特征进行融合，得到各个样本分别对应的初始融合特征；
基于所述目标样本和参考样本对应的初始语义特征、初始非语义特征和初始融合特征计算损失，得到特征损失，基于同一样本对应的初始分类特征和类别标签计算损失，得到分类损失；
基于所述特征损失和分类损失，调整所述初始特征提取模型的模型参数，直至满足收敛条件，得到目标特征提取模型。
18.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10或11至15中任一项所述的方法的步骤。
19.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10或11至15中任一项所述的方法的步骤。
20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10或11至15中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111247520.9A CN114358109A (zh) | 2021-10-26 | 2021-10-26 | 特征提取模型训练、样本检索方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111247520.9A CN114358109A (zh) | 2021-10-26 | 2021-10-26 | 特征提取模型训练、样本检索方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114358109A true CN114358109A (zh) | 2022-04-15 |
Family
ID=81096394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111247520.9A Pending CN114358109A (zh) | 2021-10-26 | 2021-10-26 | 特征提取模型训练、样本检索方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114358109A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115344728A (zh) * | 2022-10-17 | 2022-11-15 | 北京百度网讯科技有限公司 | 图像检索模型训练、使用方法、装置、设备和介质 |
| CN117194652A (zh) * | 2023-11-08 | 2023-12-08 | 泸州友信达智能科技有限公司 | 一种基于深度学习的信息推荐*** |
| CN117235665A (zh) * | 2023-09-18 | 2023-12-15 | 北京大学 | 自适应隐私数据合成方法、装置、计算机设备和存储介质 |
-
2021
- 2021-10-26 CN CN202111247520.9A patent/CN114358109A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115344728A (zh) * | 2022-10-17 | 2022-11-15 | 北京百度网讯科技有限公司 | 图像检索模型训练、使用方法、装置、设备和介质 |
| CN117235665A (zh) * | 2023-09-18 | 2023-12-15 | 北京大学 | 自适应隐私数据合成方法、装置、计算机设备和存储介质 |
| CN117194652A (zh) * | 2023-11-08 | 2023-12-08 | 泸州友信达智能科技有限公司 | 一种基于深度学习的信息推荐*** |
| CN117194652B (zh) * | 2023-11-08 | 2024-01-23 | 泸州友信达智能科技有限公司 | 一种基于深度学习的信息推荐*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020228376A1 (zh) | 文本处理方法、模型训练方法和装置 | |
| CN114358109A (zh) | 特征提取模型训练、样本检索方法、装置和计算机设备 | |
| CN113821670B (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
| CN113761153B (zh) | 基于图片的问答处理方法、装置、可读介质及电子设备 | |
| CN111339343A (zh) | 图像检索方法、装置、存储介质及设备 | |
| CN112819023A (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| CN113298197B (zh) | 数据聚类方法、装置、设备及可读存储介质 | |
| CN114298122B (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
| CN114329029B (zh) | 对象检索方法、装置、设备及计算机存储介质 | |
| CN113033507B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN114358188A (zh) | 特征提取模型处理、样本检索方法、装置和计算机设备 | |
| CN112989212B (zh) | 媒体内容推荐方法、装置和设备及计算机存储介质 | |
| CN113435520A (zh) | 神经网络的训练方法、装置、设备及计算机可读存储介质 | |
| CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
| CN113641797A (zh) | 数据处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN112131261A (zh) | 基于社区网络的社区查询方法、装置和计算机设备 | |
| CN114764865A (zh) | 数据分类模型训练方法、数据分类方法和装置 | |
| CN114708449B (zh) | 相似视频的确定方法、实例表征模型的训练方法及设备 | |
| CN116957128A (zh) | 业务指标预测方法、装置、设备和存储介质 | |
| CN115129908A (zh) | 一种模型优化方法、装置、设备、存储介质及程序产品 | |
| CN116484067A (zh) | 目标对象匹配方法、装置及计算机设备 | |
| CN114329065A (zh) | 视频标签预测模型的处理方法、视频标签预测方法和装置 | |
| CN113822291A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN114328904A (zh) | 内容处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40071012 Country of ref document: HK |