CN110263939A - 一种表示学习模型的评估方法、装置、设备及介质 - Google Patents
一种表示学习模型的评估方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110263939A CN110263939A CN201910549544.6A CN201910549544A CN110263939A CN 110263939 A CN110263939 A CN 110263939A CN 201910549544 A CN201910549544 A CN 201910549544A CN 110263939 A CN110263939 A CN 110263939A
- Authority
- CN
- China
- Prior art keywords
- sample
- index
- learning model
- training
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种表示学习模型的评估方法，包括：针对基于无监督方式进行训练的表示学习模型生成性能评价指标，其包括第一指标和第二指标中的至少一个，其中，第一指标是基于表示学习模型在训练过程中学习到的第一样本子集中各样本的表示向量，生成的用于衡量同类样本相近且不同类样本相疏远的量化指标，第二指标是基于表示学习模型在训练过程中学习到的第二样本子集中各样本的表示向量对应的相似向量，生成的用于衡量样本表示稳定性的量化指标，根据所述性能评价指标，确定所述表示学习模型的训练情况。通过上述量化指标，使得不再依赖于后续的机器学习任务，整个表示学习的训练迭代过程大大加快。本申请还公开了对应的装置、设备及介质。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种表示学习模型的评估方法、装置、设备及计算机存储介质。
背景技术
表示学习是指通过学习数据的表示，将原始数据转换成能够被机器学习来有效开发的形式，使得其后续构建分类器或者其他预测任务时更容易提取有用信息的任务。通俗来讲，就是将数据转换成向量表示，同时使得向量包含尽可能多的、对后续任务有用的数据信息。近年来，表示学习在语音、图像等领域广受关注。
无监督表示学习是指在无标签训练数据上训练表示学习模型。由于没有已知的标签，无法将无监督学习的结果与实际标签进行比较，所以很难评估无监督学习的模型。
通常，对基于无监督方式训练的表示学习模型的评估，是依赖于后续机器学习任务的评估结果，这就导致无监督表示学习模型的训练、优化迭代的周期延长，增加了模型训练的时间成本，拖慢模型的迭代速度，造成实际应用损失。
发明内容
本申请提供了一种表示学习模型的评估方法，其提出了两种评估训练质量的量化指标，以衡量无监督表示学习模型的训练状况，从而及时发现训练过程中的异常情况，避免训练周期延长、训练速度放缓以及训练时间成本增加，进而避免对实际应用造成损伤。本申请还提供了对应的装置、设备、介质及计算机程序产品。
本申请第一方面提供了一种表示学习模型的评估方法，所述方法包括：
针对基于无监督方式进行训练的表示学习模型，生成所述表示学习模型的性能评价指标，所述性能评价指标包括第一指标和第二指标中的至少一个；
其中，所述第一指标是基于所述表示学习模型在训练过程中学习到的第一样本子集中各样本的表示向量，生成的用于衡量同类样本相近且不同类样本相疏远的量化指标；所述第一样本子集是对所述表示学习模型的训练样本集中的第一子集进行标签标注生成的，所述第一子集包括不同类别的样本；
所述第二指标是基于所述表示学习模型在训练过程中学习到的第二样本子集中各样本的表示向量对应的相似向量，生成的用于衡量样本表示稳定性的量化指标；所述第二样本子集是所述训练样本集中的第二子集；
根据所述性能评价指标，确定所述表示学习模型的训练情况。
本申请第二方面提供一种表示学习模型的评估装置，所述装置包括：
指标生成模块，用于针对基于无监督方式进行训练的表示学习模型，生成所述表示学习模型的性能评价指标，所述性能评价指标包括第一指标和第二指标中的至少一个；
其中，所述第一指标是基于所述表示学习模型在训练过程中学习到的第一样本子集中各样本的表示向量，生成的用于衡量同类样本相近且不同类样本相疏远的量化指标；所述第一样本子集是对所述表示学习模型的训练样本集中的第一子集进行标签标注生成的，所述第一子集包括不同类别的样本；
所述第二指标是基于所述表示学习模型在训练过程中学习到的第二样本子集中各样本的表示向量对应的相似向量，生成的用于衡量样本表示稳定性的量化指标；所述第二样本子集是所述训练样本集中的第二子集；
评估模块，用于根据所述性能评价指标，确定所述表示学习模型的训练情况。
可选的，所述指标生成模块包括：
第一获取子模块，用于获取所述表示学习模型在训练过程中针对第一样本子集各样本学习得到的表示向量；
生成子模块，用于根据所述第一样本子集各样本的表示向量和标签，确定各类样本的类别间距离和类别内距离，根据所述类别间距离和所述类别内距离的比值生成分合比；
第一确定子模块，用于将所述分合比作为第一指标。
可选的，所述性能评价指标包括第一指标；
所述评估模块具体用于：
当预设时间段内基于多个迭代轮次所确定的多个所述分合比呈收敛状态且收敛值大于第一参考阈值时，确定所述表示学习模型的训练情况趋于稳定。
可选的，所述指标生成模块包括：
第二获取子模块，用于获取所述表示学习模型在训练过程中多个迭代轮次针对训练样本集各样本学习得到的表示向量；
添加子模块，用于根据每个迭代轮次学习到的所述训练样本集中各样本的表示向量，为所述第二样本子集中的各样本分别选择最相似的预设数量个样本，将为样本所选择的预设数量个相似样本加入与所述第二样本子集中各样本以及迭代轮次对应的相似样本集；
第二确定子模块，用于针对所述第二样本子集中各样本对应的多个相似样本集，生成所述第二样本子集中各个样本对应的雅卡尔指数，将所述雅卡尔指数作为第二指标。
可选的，所述性能评价指标包括第二指标；
则所述评估模块具体用于：
当所述第二样本子集中大于雅卡尔指数阈值的样本占比超过预设比例时，确定所述表示学习模型的训练情况趋于稳定。
可选的，所述性能评价指标包括第一指标和第二指标；
则所述评估模块包括：
加权子模块，用于对所述第一指标和所述第二指标进行加权处理；
评估子模块，用于根据加权处理结果确定所述表示学习模型的训练情况。
可选的，所述装置还包括：
第一显示模块，用于根据所述表示学习模型不同迭代轮次生成的所述性能评价指标，绘制并显示所述表示学习模型的训练效果曲线，所述训练效果曲线表示所述表示学习模型的性能随着训练进程的变化情况。
可选的，所述指标生成模块具体用于：
针对配置有不同超参数的所述表示学习模型，生成不同迭代轮次的所述性能评价指标；
所述装置还包括：
第二显示模块，用于绘制并显示所述表示学习模型的对比效果图，所述对比效果图用于表现基于不同超参数的所述表示学习模型各自的训练效果曲线，所述训练效果曲线表示所述表示学习模型的性能随着训练进程的变化情况。
可选的，所述表示学习模型是词向量表示学习模型。
本申请第三方面提供一种终端设备，所述终端设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行本申请第一方面所述的表示学习模型的评估方法。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的表示学习模型的评估方法。
本申请第五方面提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的表示学习模型的评估方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中提供了一种表示学习模型的评估方法，针对采用无监督方式训练的表示学习模型，该方法提出了两种量化指标，通过这两种量化指标中的至少一种可以衡量该模型的训练状况，具体地，第一指标是对训练样本集中的部分数据进行标注，在训练过程中，基于该标注数据计算各类样本的组内距离与组间距离，根据上述组内距离和组间距离生成的用于衡量同类样本相近且不同类样本相疏远的量化指标，该量化指标表征同类样本越相近，不同类样本越疏远，则表明模型的分类能力越好，如此，可以基于该第一指标确定表示学习模型的训练情况，第二指标是从训练样本集中确定部分样本，在训练过程中，周期性计算其表示向量与整个训练样本集中样本表示的相似程度，确定出每个周期中与上述表示向量对应的相似向量，进而生成的用于衡量样本表示稳定性的量化指标，该量化指标越稳定，则表明模型越稳定，如此，可以基于该第二指标确定表示学习模型的训练情况。
通过上述量化指标，使得用户可以及时掌握模型训练状况，即模型是否在逐渐变好，训练是否可以终止等等，而不再依赖于后续的机器学习任务，使得整个表示学习的训练迭代过程大大加快，省去了后续再加入一个模型训练、调整并评估所耗费的时间。而且，该方法提供了量化评估结果，可以通过不同参数组合的表现确定模型后续调整方法，一方面避免了依赖历史经验，主观性强导致容易出错的问题，另一方面使得超参数的自动调节成为可能。
附图说明
图1为本申请实施例中表示学习模型的评估方法的场景架构图；
图2为本申请实施例中表示学习模型的评估方法的流程图；
图3为本申请实施例中表示学习模型的训练耗时对比图；
图4为本申请实施例中不同表示学习模型的训练效果图；
图5A为本申请实施例中表示学习模型的评估方法的场景图；
图5B为本申请实施例中表示学习模型的评估方法的流程图；
图6为本申请实施例中表示学习模型的评估装置的结构示意图；
图7为本申请实施例中表示学习模型的评估装置的结构示意图；
图8为本申请实施例中表示学习模型的评估装置的结构示意图；
图9为本申请实施例中表示学习模型的评估装置的结构示意图；
图10为本申请实施例中表示学习模型的评估装置的结构示意图；
图11为本申请实施例中表示学习模型的评估装置的结构示意图；
图12为本申请实施例中终端的一个结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
针对目前对无监督方式训练的表示学习模型的评估依赖于后续机器学习任务的评估结果，导致无监督表示学习模型的训练周期延长、训练速度放缓、训练时间成本增加的问题，本申请提供了一种在训练过程中即可实现量化评估的方法，该方法具体是通过两种量化指标中的至少一种实现的，一种量化指标是对少量数据进行预标注，根据模型训练进度实时计算一种表征模型分类能力的量纲进行量化评估，另一种量化指标是确定少量全过程追踪的样本，周期性计算与全量表示结果的相似度，评估结果的稳定性，从而实现对模型稳定性的评估。
该方法使得用户不再依赖于后续的机器学习任务即可获知训练状况，整个表示学习的训练迭代过程大大加快，省去了后续再加入一个模型训练、调整并评估所耗费的时间。而且，该方法提供了量化评估结果，可以通过不同参数组合的表现确定模型后续调整方法，一方面避免了依赖历史经验，主观性强导致容易出错的问题，另一方面使得超参数的自动调节成为可能。
可以理解，本申请提供的表示学***板电脑、智能手机等便携式移动终端设备，还可以是大型机等等。服务器是指提供计算服务的设备，其可以是独立的计算设备，也可以是多个计算设备组成的计算集群。
本申请提供的表示学习模型的评估方法可以以计算机程序的形式存储于处理设备中，处理设备通过执行该计算机程序实现上述表示学习模型的评估方法。其中，计算机程序可以是独立的，也可以是运行于其他程序之上的功能模块、插件或者小程序等。
在实际应用时，本申请提供的表示学习模型的评估方法可以但不限于应用于如图1所示的应用环境中。
如图1所示，终端102与数据库104连接，数据库104中存储有训练样本集，终端102从数据库104中的训练样本集获取样本，采用无监督方式训练表示学习模型，在训练过程中，终端102基于第一样本子集中各样本的表示向量生成用于衡量同类样本相近且不同类样本相疏远的第一指标，基于第二样本子集中各样本的表示向量对应的相似向量生成用于衡量样本表示稳定性的第二指标，终端102基于第一指标和第二指标中的至少一个确定表示学习模型的训练情况。
接下来，从终端的角度对本申请实施例提供的表示学习模型的评估方法的各个步骤进行详细说明。
参见图2所示的表示学习模型的评估方法的流程图，该方法包括：
S201：针对基于无监督方式进行训练的表示学习模型，生成所述表示学习模型的性能评价指标。
在本实施例中，终端采用训练样本集中的样本，利用无监督方式训练表示学习模型。为了评估表示学习模型的训练状况，终端生成针对该表示学习模型的性能评价指标，用于评价表示学习模型。
其中，性能评价指标包括第一指标和第二指标中的至少一个。第一指标是基于预标注的样本实时计算得到的一种量化指标，该量化指标能够表征模型分类能力，即将同类样本表示为相近结果，将不同类样本表示为相疏远结果的能力，换言之，该量化指标能够衡量同类样本相近且不同类样本相疏远的程度；第二指标是基于少量全过程追踪的样本计算得到的一种量化指标，该量化指标基于周期性计算少量全过程追踪样本表示结果与全量表示结果的相似度，定量评估模型输出结果稳定性。
第一指标是基于表示学习模型在训练过程中学习得到的第一样本子集中各样本的表示向量生成的。其中，第一样本子集是基于训练样本集中的第一子集生成的。具体地，从训练样本集确定少量样本形成第一子集，该第一子集包括不同类别的样本，以便确定模型对不同类别样本的分类能力，针对第一子集中的样本进行标签标注可以得到第一样本子集。也即，第一样本子集包括第一子集及所述第一子集中各样本对应的标签。
在具体实现时，终端获取表示学习模型在训练过程中针对第一样本子集各样本学习得到的表示向量，然后根据第一样本子集各样本的表示向量和标签，确定各类样本的类别间距离和类别内距离，根据所述类别间距离和所述类别内距离的比值生成分合比，将所述分合比作为第一指标。第一指标的计算过程可以参见如下公式：
其中，Λ表示分合比，dAB表示类别AB之间的距离，dA、dB分别表示类别A内样本距离和类别B内样本距离，mean表示平均值，基于此，mean(dAB)表示类别AB之间的平均距离，mean(dA)、mean(dB)分别表示类别A内样本平均距离和类别B内样本平均距离。
其中，样本距离具有多种表现形式，在一些可能的实现方式中，可以采用余弦距离进行表征，具体可以参见如下公式：
其中，d为余弦距离，X和Y分别表示不同样本对应的表示向量，‖X‖和‖Y‖分别表示X和Y各自的长度。
当然，在实际应用时，也可以采用其他方式计算样本距离，如采用欧氏距离、曼哈顿距离、切比雪夫距离等等，本实施例对此不作限定。此外，在有些情况下，终端也可以采用距离的中位数代替距离均值计算分合比，以上仅为本申请的一个示例，不构成对本申请技术方案的限定。
针对第二指标，其是基于所述表示学习模型在训练过程中学习到的第二样本子集中各样本的表示向量对应的相似向量，生成的用于衡量样本表示稳定性的量化指标。其中，第二样本子集是训练样本集中的第二子集。
可以理解，表示学习模型是按照轮次进行迭代训练的，为了计算衡量样本表示稳定性的第二指标，终端可以获取表示学习模型在多个迭代轮次针对训练样本集各样本学习得到的表示向量，根据每个迭代轮次学习到的所述训练样本集中各样本的表示向量，为第二样本子集中的各样本分别选择最相似的N个样本，将为样本所选择的N个相似样本加入与该第二样本子集中各样本和迭代轮次对应的相似样本集，针对所述第二样本子集中各样本对应的多个相似样本集，生成所述第二样本子集中各个样本对应的雅卡尔指数，将所述雅卡尔指数作为第二指标。其中，N为预设数量，其可以根据实际需求而设置，例如设置为大于1的正整数。
雅卡尔指数(Jaccard Index)也称Jaccard相似性系数，其为比较样本集中的相似性或分散性的一个概率值，等于样本集交集和样本集并集的比值，简称交并比，具体到本申请，其可以通过如下公式计算：
其中，表征第二样本子集中第i个样本在模型迭代值第t步(即第t轮次)的相似样本集，表征第二样本子集中第i个样本在模型迭代值第t+n步(即第t+n轮次)的相似样本集，i取值为1至k之间的正整数，k为第二样本子集中元素的个数，表征上述两个相似样本集的交集元素个数，表征上述两个相似样本集的并集元素的个数。
S202：根据所述性能评价指标，确定所述表示学习模型的训练情况。
在实际应用时，性能评价指标指数包括分合比和雅卡尔指数中的至少一个，基于此，终端可以通过以下几种实现方式确定表示学习模型的训练情况，下面进行详细说明。
第一种实现方式为，仅基于分合比确定表示学习模型的训练情况。具体地，当预设时间段内基于多个迭代轮次所确定的多个所述分合比呈收敛状态且收敛值大于第一参考阈值时，确定所述表示学习模型的训练情况趋于稳定。
可以理解，分合比Λ的基准参考值为1，其表示两个类别内部的平均距离与类别之间的平均距离无差别，基于此，在一个有效的表示学习训练过程中，分合比的取值应当大于1，并且逐渐增大直至稳定。基于此，终端可以基于预设时间段内多个迭代轮次确定的分合比的收敛状况以及收敛值确定表示学习模型的训练情况是否趋于稳定。
针对分合比的收敛状况和收敛值，终端可以通过如下方式实现。具体地，针对预设时间段内的每一轮迭代过程，根据第一样本子集中各样本的表示向量和对应的标签计算各类样本的类别间距离和类别内距离，基于该类别间距离和类别内距离计算分合比，其中，迭代前分合比记作第一分合比，迭代后分合比记作第二分合比，当第一分合比和第二分合比均大于第一参考阈值，且第二分合比与第一分合比的差值绝对值小于第二参考阈值时，则确定分合比收敛，且收敛值大于第一参考阈值。
需要说明的是，预设时间段、第一参考阈值和第二参考阈值可以根据实际需求而设置，作为本申请的一个示例，预设时间段可以是一天，第一参考阈值可以是2，第二参考阈值可以是0.01。
针对分合比，其数值越大，则表明类别之间的差别越明显，各类别内部越相似，其反映了无监督表示学习的结果符合小样本上的分类标准，表示学习模型输出的表示向量携带了有价值的信息，整个模型训练的有效性得到保障。
第二种实现方式为，仅基于雅卡尔指数确定表示学习模型的训练情况。具体地，针对雅卡尔指数，当第二样本子集中大于雅卡尔指数阈值的样本占比超过预设比例时，确定所述表示学习模型的训练情况趋于稳定。
可以理解，在一个有效的表示学习训练过程中，随着表示学习模型训练的深入，第二样本子集中各样本对应的相似样本集应当呈现高相关性，并且具有逐渐固定的趋势，换言之，各样本对应的相似样本集不再出现大量变动。基于此，终端可以基于预设时间段内雅卡尔指数的大小确定表示学习模型的训练情况是否趋于稳定。针对第二样本子集中的样本，若其雅卡尔指数大于雅卡尔指数阈值，则表明该样本的相似样本集在迭代前后几乎一致，若超过预设比例的样本的雅卡尔指数均大于雅卡尔指数阈值，则表明表示学习模型趋于稳定。
需要说明的是，预设比例和雅卡尔指数阈值可以根据实际需求而设置，作为本申请的一个示例，雅卡尔指数阈值可以设置为70％，预设比例可以设置为80％。
第三种实现方式为，基于分合比和雅卡尔指数共同确定表示学习模型的训练情况。在基于分合比和雅卡尔指数共同确定训练情况时，可以是分别判断分合比和雅卡尔指数是否满足各自对应的标准，从而确定表示学习模型的训练情况；也可以是对分合比和雅卡尔指数进行加权处理，根据加权处理结果确定所述表示学习模型的训练情况。
需要说明的是，分合比和雅卡尔指数属于不同的量纲，在对分合比和雅卡尔指数进行加权处理时，还可以先对分合比和雅卡尔指数进行归一化，然后基于归一化后的指标进行加权处理。其中，分合比和雅卡尔指数各自的权值可以根据实际需要而设置。
还需要说明的是，上述三种实现方式是以第一指标为分合比，第二指标为雅卡尔指数进行示例性说明的，在本申请实施例其他可能的实现方式中，第一指标和第二指标为其他参数时，可以参考其他参数中的至少一种确定表示学习模型的训练情况。
由上可知，本申请实施例提供了一种表示学习模型的评估方法，针对采用无监督方式训练的表示学习模型，该方法提出了两种量化指标，通过这两种量化指标中的至少一种可以衡量该模型的训练状况，具体地，第一指标是对训练样本集中的部分数据进行标注，在训练过程中，基于该标注数据计算各类样本的组内距离与组间距离，根据上述组内距离和组间距离生成的用于衡量同类样本相近且不同类样本相疏远的量化指标，该量化指标表征同类样本越相近，不同类样本越疏远，则表明模型的分类能力越好，如此，可以基于该第一指标确定表示学习模型的训练情况，第二指标是从训练样本集中确定部分样本，在训练过程中，周期性计算其表示向量与整个训练样本集中样本表示的相似程度，确定出每个周期中与上述表示向量对应的相似向量，进而生成的用于衡量样本表示稳定性的量化指标，该量化指标越稳定，则表明模型越稳定，如此，可以基于该第二指标确定表示学习模型的训练情况。
通过上述量化指标，使得用户可以及时掌握模型训练状况，即模型是否在逐渐变好，训练是否可以终止等等，而不再依赖于后续的机器学习任务，使得整个表示学习的训练迭代过程大大加快，省去了后续再加入一个模型训练、调整并评估所耗费的时间。
本申请提供了基于本申请的表示学习模型的评估方法进行无监督表示学习所耗费的时间和传统无监督表示学习所耗费的时间的对比图，如图3所示，传统机器学习耗时为7天，包括无监督表示学习耗费时间(2天)和基于后续机器学习任务确定无监督表示学习的学习情况所耗费时间(5天)，而本申请在无监督表示学习过程中，即可基于性能评价指标确定学习状况，无需通过后续机器学习确定当前无监督表示学习的学习状况，直接节省后续机器学习任务耗时，加快了训练进度。
考虑到上述性能评价指标是可变的，终端还可以根据表示学习模型不同迭代轮次生成的所述性能评价指标，绘制并显示所述表示学习模型的训练效果曲线，该训练效果曲线表示所述表示学习模型的性能随着训练进程的变化情况，使得模型训练的过程与效果可视化，直观地让用户发现模型的训练是否有效。
进一步地，终端还可以针对配置有不同超参数的所述表示学习模型，生成不同迭代轮次的所述性能评价指标，绘制并显示所述表示学习模型的对比效果图，该对比效果图用于表现基于不同超参数的所述表示学习模型各自的训练效果曲线，其能够帮助用户确定模型选型与调参的方向，一方面避免了依赖历史经验，主观性强导致容易出错的问题，另一方面使得超参数的自动调节成为可能。
为了便于理解，本申请还提供了对比效果图的一具体示例。如图4所示，其示出了5组不同超参数组合对应的表示学习模型的训练效果曲线，即41至45，其中，曲线41和曲线42对应的表示学习模型的分合比收敛于较高值，而曲线43、曲线44和曲线45对应的表示学习模型的分合比收敛于较高值，曲线43对应的表示学习模型最先达到稳定状态。
本申请提供的表示学习模型的评估方法可以应用于多种无监督表示学习任务中，如t-分布随机邻域嵌入学习(T-distributed Stochastic Neighbor Embedding，t-SNE)、流形学习、词向量表示学习，并适用于各种用于表示学习的损失函数，包括但不限于噪声对比估计损失函数(Noise-Contrastive Loss，NCE Loss)。
为了使得本申请的技术方案更加清楚、易于理解，下面结合“用户在一个月内访问过的域名的向量化表示”这一具体场景，对本申请的表示学习模型的评估方法进行介绍。
参见图5A所示的表示学习模型的评估方法的应用场景图和图5B所示的表示学习的评估方法的流程图，该应用场景中包括终端102，终端102从本地缓存中获取其在一个月内访问记录，从访问记录中提取出域名，然后将该域名作为样本生成训练样本集，基于该训练样本集利用无监督学习方式训练表示学习模型，以实现域名向量化。
在训练过程中，还通过如下步骤实现对表示学习模型的评估：
步骤一：从训练样本集中人工选出部分域名形成第一子集，对第一子集中的样本进行标注生成第一样本子集。
步骤二：从训练样本集中选取部分域名形成第二子集，将该第二子集作为第二样本子集。
其中，第一子集包括至少两类差别较大的域名，例如可以包括涉黑网站域名与长视频点播网站域名。在实际应用时，每类各取约50个样本，用于后续计算分合比。针对第二子集，其域名数量可以根据实际需求而设置，在本实施例中，第二子集包括9个域名，这9个域名被加入关注列表，以便后续基于关注列表中域名计算表征模型稳定性的第二指标。
需要说明的是，步骤一、步骤二可以并行执行，也可以按照设置顺序先后执行，本实施例对此不作限定。
步骤三：基于训练样本集训练针对域名的表示学习模型。
在本实施例中，针对域名的表示学习模型可以是word2vec模型，该模型以域名为输入，以域名对应的表示向量为输出。将训练样本集中的域名输入到word2vec模型中，模型能够基于学习算法从中提取相应的特征，将其转换为向量，从而生成针对域名的表示向量。
步骤四：在模型训练过程中，基于第一样本子集各样本的标识向量和标签同步计算各迭代轮次对应的分合比。
针对每一迭代轮次，获取该word2vec模型针对第一样本子集各样本学习得到的表示向量，然后基于该表示向量以及各样本的标签可以确定各类样本的类别间距离和类别内距离，计算类别间距离和类别内距离的比值即可获得分合比。如此，可以获得各迭代轮次对应的分合比。
步骤五：在模型训练过程中，将关注列表中域名与全量训练样本(即训练样本集中的所有样本)周期性进行余弦相似度计算，得到关注列表中域名各自对应的相似域名，形成相似样本集，针对上述相似样本集生成第二样本子集中各个域名对应的雅卡尔指数。
在具体实现时，可以根据需求设置选择的相似域名的数量。作为一个示例，本实施例选择关注列表中域名最相近的8个域名形成相似样本集。
其中，步骤四和步骤五可以并行执行，也可以按照设定顺序先后执行。
步骤六：判断分合比和稳定是否均满足预设条件，若是则执行步骤七，若否，则返回步骤三。
步骤七：确定表示学习模型的训练情况。
具体地，针对分合比，可以判断其是否收敛，且收敛值是否大于第一参考阈值，若是，则表明模型对同类样本和不同类样本均具有较好的表示效果，并且模型趋于稳定状态。
针对雅卡尔指数，可以判断当所述第二样本子集中大于雅卡尔指数阈值的样本占比是否超过预设比例，若是，则表征模型的训练情况趋于稳定。在有些情况下，上述预设比例可以设置为100％，即判断第一样本子集中个样本的雅卡尔指数是否均大于雅卡尔指数阈值，若每个样本均满足其中，p为雅卡尔指数阈值，则认为word2vec词向量化表示学习的训练结果趋于稳定。
当分合比和雅卡尔指数均满足条件时，则确定word2vec模型趋于稳定状态，当分合比和雅卡尔指数中至少有一个不满足条件时，则表明模型还具有优化空间，可以对模型进行优化调整。
以上为本申请实施例提供的表示学习模型的评估方法的一些具体实现方式，基于此，本申请实施例还提供了对应的装置，下面从功能模块化的角度对其进行介绍。
参见图6所示的表示学习模型的评估装置，该装置600包括：
指标生成模块610，用于针对基于无监督方式进行训练的表示学习模型，生成所述表示学习模型的性能评价指标，所述性能评价指标包括第一指标和第二指标中的至少一个；
其中，所述第一指标是基于所述表示学习模型在训练过程中学习到的第一样本子集中各样本的表示向量，生成的用于衡量同类样本相近且不同类样本相疏远的量化指标；所述第一样本子集是对所述表示学习模型的训练样本集中的第一子集进行标签标注生成的，所述第一子集包括不同类别的样本；
所述第二指标是基于所述表示学习模型在训练过程中学习到的第二样本子集中各样本的表示向量对应的相似向量，生成的用于衡量样本表示稳定性的量化指标；所述第二样本子集是所述训练样本集中的第二子集；
评估模块620，用于根据所述性能评价指标，确定所述表示学习模型的训练情况。
可选的，参见图7，图7为本申请实施例提供的表示学习模型的评估装置的结构示意图，在图6所示结构的基础上，所述指标生成模块610包括：
第一获取子模块611，用于获取所述表示学习模型在训练过程中针对第一样本子集各样本学习得到的表示向量；
生成子模块612，用于根据所述第一样本子集各样本的表示向量和标签，确定各类样本的类别间距离和类别内距离，根据所述类别间距离和所述类别内距离的比值生成分合比；
第一确定子模块613，用于将所述分合比作为第一指标。
可选的，所述性能评价指标包括第一指标；
所述评估模块620具体用于：
当预设时间段内基于多个迭代轮次所确定的多个所述分合比呈收敛状态且收敛值大于第一参考阈值时，确定所述表示学习模型的训练情况趋于稳定。
可选的，参见图8，图8为本申请实施例提供的表示学习模型的评估装置的结构示意图，在图6所示结构的基础上，所述指标生成模块610包括：
第二获取子模块614，用于获取所述表示学习模型在训练过程中多个迭代轮次针对训练样本集各样本学习得到的表示向量；
添加子模块615，用于根据每个迭代轮次学习到的所述训练样本集中各样本的表示向量，为所述第二样本子集中的各样本分别选择最相似的预设数量个样本，将为样本所选择的预设数量个相似样本加入与所述第二样本子集中各样本以及迭代轮次对应的相似样本集；
第二确定子模块616，用于针对所述第二样本子集中各样本对应的多个相似样本集，生成所述第二样本子集中各个样本对应的雅卡尔指数，将所述雅卡尔指数作为第二指标。
可选的，所述性能评价指标包括第二指标；
则所述评估模块620具体用于：
当所述第二样本子集中大于雅卡尔指数阈值的样本占比超过预设比例时，确定所述表示学习模型的训练情况趋于稳定。
可选的，参见图9，图9为本申请实施例提供的表示学习模型的评估装置的结构示意图，在图6所示结构的基础上，所述性能评价指标包括第一指标和第二指标；
所述评估模块620包括：
加权子模块621，用于对所述第一指标和所述第二指标进行加权处理；
评估子模块622，用于根据加权处理结果确定所述表示学习模型的训练情况。
需要说明的是，图9也可以是在图7或图8所示基础上，包括上述加权子模块和评估子模块。
可选的，参见图10，图10为本申请实施例提供的表示学习模型的评估装置的结构示意图，在图6所示结构的基础上，所述性能评价指标包括第一指标和第二指标；
所述装置600还包括：
第一显示模块630，用于根据所述表示学习模型不同迭代轮次生成的所述性能评价指标，绘制并显示所述表示学习模型的训练效果曲线，所述训练效果曲线表示所述表示学习模型的性能随着训练进程的变化情况。
当然，图10也可以是在图6至图9的基础上还包括第一显示模块。
可选的，参见图11，图11为本申请实施例提供的表示学习模型的评估装置的结构示意图，在图6所示结构的基础上，所述性能评价指标包括第一指标和第二指标；
所述指标生成模块610具体用于：
针对配置有不同超参数的所述表示学习模型，生成不同迭代轮次的所述性能评价指标；
所述装置600还包括：
第二显示模块640，用于绘制并显示所述表示学习模型的对比效果图，所述对比效果图用于表现基于不同超参数的所述表示学习模型各自的训练效果曲线，所述训练效果曲线表示所述表示学习模型的性能随着训练进程的变化情况。
其中，图11也可以是在图6至图9的基础上还包括第二显示模块。
可选的，所述表示学习模型是词向量表示学习模型。
本申请实施例还提供了一种设备，该设备具体可以是终端，如图12所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文缩写：PDA)、销售终端(英文全称：Point of Sales，英文缩写：POS)、车载电脑等任意终端设备，以终端为手机为例：
图12示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图12，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1210、存储器1220、输入单元1230、显示单元1240、传感器1250、音频电路1260、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块1270、处理器1280、以及电源1290等部件。本领域技术人员可以理解，图12中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图12对手机的各个构成部件进行具体的介绍：
RF电路1210可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1280处理；另外，将设计上行的数据发送给基站。通常，RF电路1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoise Amplifier，英文缩写：LNA)、双工器等。此外，RF电路1210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(英文全称：Global System of Mobile communication，英文缩写：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，GPRS)、码分多址(英文全称：CodeDivision Multiple Access，英文缩写：CDMA)、宽带码分多址(英文全称：Wideband CodeDivision Multiple Access,英文缩写：WCDMA)、长期演进(英文全称：Long TermEvolution，英文缩写：LTE)、电子邮件、短消息服务(英文全称：Short Messaging Service，SMS)等。
存储器1220可用于存储软件程序以及模块，处理器1280通过运行存储在存储器1220的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1230可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1230可包括触控面板1231以及其他输入设备1232。触控面板1231，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1231上或在触控面板1231附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1231可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1280，并能接收处理器1280发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1231。除了触控面板1231，输入单元1230还可以包括其他输入设备1232。具体地，其他输入设备1232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1240可包括显示面板1241，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文缩写：LCD)、有机发光二极管(英文全称：Organic Light-Emitting Diode，英文缩写：OLED)等形式来配置显示面板1241。进一步的，触控面板1231可覆盖显示面板1241，当触控面板1231检测到在其上或附近的触摸操作后，传送给处理器1280以确定触摸事件的类型，随后处理器1280根据触摸事件的类型在显示面板1241上提供相应的视觉输出。虽然在图12中，触控面板1231与显示面板1241是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1231与显示面板1241集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1250，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1241的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1241和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1260、扬声器1261，传声器1262可提供用户与手机之间的音频接口。音频电路1260可将接收到的音频数据转换后的电信号，传输到扬声器1261，由扬声器1261转换为声音信号输出；另一方面，传声器1262将收集的声音信号转换为电信号，由音频电路1260接收后转换为音频数据，再将音频数据输出处理器1280处理后，经RF电路1210以发送给比如另一手机，或者将音频数据输出至存储器1220以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图12示出了WiFi模块1270，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1280是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1220内的软件程序和/或模块，以及调用存储在存储器1220内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1280可包括一个或多个处理单元；优选的，处理器1280可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1280中。
手机还包括给各个部件供电的电源1290(比如电池)，优选的，电源可以通过电源管理***与处理器1280逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端所包括的处理器1280还具有以下功能：
针对基于无监督方式进行训练的表示学习模型，生成所述表示学习模型的性能评价指标，所述性能评价指标包括第一指标和第二指标中的至少一个；
其中，所述第一指标是基于所述表示学习模型在训练过程中学习到的第一样本子集中各样本的表示向量，生成的用于衡量同类样本相近且不同类样本相疏远的量化指标；所述第一样本子集是对所述表示学习模型的训练样本集中的第一子集进行标签标注生成的，所述第一子集包括不同类别的样本；
所述第二指标是基于所述表示学习模型在训练过程中学习到的第二样本子集中各样本的表示向量对应的相似向量，生成的用于衡量样本表示稳定性的量化指标；所述第二样本子集是所述训练样本集中的第二子集；
根据所述性能评价指标，确定所述表示学习模型的训练情况。
可选的，处理器1280还用于执行本申请实施例提供的表示学习模型的评估方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的一种表示学习模型的评估方法中的任意一种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种表示学习模型的评估方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种表示学习模型的评估方法，其特征在于，包括：
针对基于无监督方式进行训练的表示学习模型，生成所述表示学习模型的性能评价指标，所述性能评价指标包括第一指标和第二指标中的至少一个；
其中，所述第一指标是基于所述表示学习模型在训练过程中学习到的第一样本子集中各样本的表示向量，生成的用于衡量同类样本相近且不同类样本相疏远的量化指标；所述第一样本子集是对所述表示学习模型的训练样本集中的第一子集进行标签标注生成的，所述第一子集包括不同类别的样本；
所述第二指标是基于所述表示学习模型在训练过程中学习到的第二样本子集中各样本的表示向量对应的相似向量，生成的用于衡量样本表示稳定性的量化指标；所述第二样本子集是所述训练样本集中的第二子集；
根据所述性能评价指标，确定所述表示学习模型的训练情况。
2.根据权利要求1所述的方法，其特征在于，所述生成第一指标包括：
获取所述表示学习模型在训练过程中针对第一样本子集各样本学习得到的表示向量；
根据所述第一样本子集各样本的表示向量和标签，确定各类样本的类别间距离和类别内距离，根据所述类别间距离和所述类别内距离的比值生成分合比；
将所述分合比作为第一指标。
3.根据权利要求2所述的方法，其特征在于，所述性能评价指标包括第一指标；
则根据所述性能评价指标，确定所述表示学习模型的训练情况，包括：
当预设时间段内基于多个迭代轮次所确定的多个所述分合比呈收敛状态且收敛值大于第一参考阈值时，确定所述表示学习模型的训练情况趋于稳定。
4.根据权利要求1所述的方法，其特征在于，所述生成第二指标包括：
获取所述表示学习模型在训练过程中多个迭代轮次针对训练样本集各样本学习得到的表示向量；
根据每个迭代轮次学习到的所述训练样本集中各样本的表示向量，为所述第二样本子集中的各样本分别选择最相似的预设数量个样本，将为样本所选择的预设数量个相似样本加入与所述第二样本子集中各样本和迭代轮次对应的相似样本集；
针对所述第二样本子集中各样本对应的多个相似样本集，生成所述第二样本子集中各个样本对应的雅卡尔指数，将所述雅卡尔指数作为第二指标。
5.根据权利要求4所述的方法，其特征在于，所述性能评价指标包括第二指标；
则根据所述性能评价指标，确定所述表示学习模型的训练情况，包括：
当所述第二样本子集中大于雅卡尔指数阈值的样本占比超过预设比例时，确定所述表示学习模型的训练情况趋于稳定。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述性能评价指标包括第一指标和第二指标；
则根据所述性能评价指标，确定所述表示学习模型的训练情况，包括：
对所述第一指标和所述第二指标进行加权处理；
根据加权处理结果确定所述表示学习模型的训练情况。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
根据所述表示学习模型不同迭代轮次生成的所述性能评价指标，绘制并显示所述表示学习模型的训练效果曲线，所述训练效果曲线表示所述表示学习模型的性能随着训练进程的变化情况。
8.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
针对配置有不同超参数的所述表示学习模型，生成不同迭代轮次的所述性能评价指标；
绘制并显示所述表示学习模型的对比效果图，所述对比效果图用于表现基于不同超参数的所述表示学习模型各自的训练效果曲线，所述训练效果曲线表示所述表示学习模型的性能随着训练进程的变化情况。
9.根据权利要求1至5任一项所述的方法，其特征在于，所述表示学习模型是词向量表示学习模型。
10.一种表示学习模型的评估装置，其特征在于，包括：
指标生成模块，用于针对基于无监督方式进行训练的表示学习模型，生成所述表示学习模型的性能评价指标，所述性能评价指标包括第一指标和第二指标中的至少一个；
其中，所述第一指标是基于所述表示学习模型在训练过程中学习到的第一样本子集中各样本的表示向量，生成的用于衡量同类样本相近且不同类样本相疏远的量化指标；所述第一样本子集是对所述表示学习模型的训练样本集中的第一子集进行标签标注生成的，所述第一子集包括不同类别的样本；
所述第二指标是基于所述表示学习模型在训练过程中学习到的第二样本子集中各样本的表示向量对应的相似向量，生成的用于衡量样本表示稳定性的量化指标；所述第二样本子集是所述训练样本集中的第二子集；
评估模块，用于根据所述性能评价指标，确定所述表示学习模型的训练情况。
11.根据权利要求10所述的装置，其特征在于，所述指标生成模块，具体用于：
获取所述表示学习模型在训练过程中针对第一样本子集各样本学习得到的表示向量；
根据所述第一样本子集各样本的表示向量和标签，确定各类样本的类别间距离和类别内距离，根据所述类别间距离和所述类别内距离的比值生成分合比；
将所述分合比作为第一指标。
12.根据权利要求10所述的装置，其特征在于，所述指标生成模块，具体用于：
获取所述表示学习模型在训练过程中多个迭代轮次针对训练样本集各样本学习得到的表示向量；
根据每个迭代轮次学习到的所述训练样本集中各样本的表示向量，为所述第二样本子集中的各样本分别选择最相似的预设数量个样本，将为样本所选择的预设数量个相似样本加入与所述第二样本子集中各样本以及迭代轮次对应的相似样本集；针对所述第二样本子集中各样本对应的多个相似样本集，生成所述第二样本子集中各个样本对应的雅卡尔指数，将所述雅卡尔指数作为第二指标。
13.根据权利要求10至12任一项所述的方法，其特征在于，所述性能评价指标包括第一指标和第二指标；
则所述评估模块，具体用于：
对所述第一指标和所述第二指标进行加权处理；
根据加权处理结果确定所述表示学习模型的训练情况。
14.一种终端设备，其特征在于，所述终端设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1至9任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910549544.6A CN110263939A (zh) | 2019-06-24 | 2019-06-24 | 一种表示学习模型的评估方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910549544.6A CN110263939A (zh) | 2019-06-24 | 2019-06-24 | 一种表示学习模型的评估方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110263939A true CN110263939A (zh) | 2019-09-20 |
Family
ID=67920900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910549544.6A Pending CN110263939A (zh) | 2019-06-24 | 2019-06-24 | 一种表示学习模型的评估方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110263939A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047049A (zh) * | 2019-12-05 | 2020-04-21 | 北京小米移动软件有限公司 | 基于机器学习模型处理多媒体数据的方法、装置及介质 |
| CN111459820A (zh) * | 2020-03-31 | 2020-07-28 | 北京九章云极科技有限公司 | 一种模型应用方法、装置及数据分析处理*** |
| CN111679829A (zh) * | 2020-06-11 | 2020-09-18 | 北京百度网讯科技有限公司 | 用户界面设计的确定方法和装置 |
| CN111797993A (zh) * | 2020-06-16 | 2020-10-20 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的评价方法、装置、电子设备及存储介质 |
| CN112256537A (zh) * | 2020-11-12 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 模型运行状态的展示方法、装置、计算机设备和存储介质 |
| CN112529167A (zh) * | 2020-12-25 | 2021-03-19 | 东云睿连(武汉)计算技术有限公司 | 一种神经网络交互式自动训练***和方法 |
| CN114880305A (zh) * | 2022-05-25 | 2022-08-09 | 北京明易达科技股份有限公司 | 一种基于数据中台的ai算法建模的方法及*** |
| CN115358392A (zh) * | 2022-10-21 | 2022-11-18 | 北京百度网讯科技有限公司 | 深度学习网络的训练方法、文本检测方法及装置 |
| CN115545570A (zh) * | 2022-11-28 | 2022-12-30 | 四川大学华西医院 | 一种护理教育培训的成果验收方法及*** |
| WO2024131395A1 (zh) * | 2022-12-20 | 2024-06-27 | 中国电信股份有限公司 | 服务性能测量方法、装置、设备、存储介质及程序产品 |
-
2019
- 2019-06-24 CN CN201910549544.6A patent/CN110263939A/zh active Pending
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047049A (zh) * | 2019-12-05 | 2020-04-21 | 北京小米移动软件有限公司 | 基于机器学习模型处理多媒体数据的方法、装置及介质 |
| CN111047049B (zh) * | 2019-12-05 | 2023-08-11 | 北京小米移动软件有限公司 | 基于机器学习模型处理多媒体数据的方法、装置及介质 |
| CN111459820A (zh) * | 2020-03-31 | 2020-07-28 | 北京九章云极科技有限公司 | 一种模型应用方法、装置及数据分析处理*** |
| CN111459820B (zh) * | 2020-03-31 | 2021-01-05 | 北京九章云极科技有限公司 | 一种模型应用方法、装置及数据分析处理*** |
| CN111679829B (zh) * | 2020-06-11 | 2023-03-21 | 北京百度网讯科技有限公司 | 用户界面设计的确定方法和装置 |
| CN111679829A (zh) * | 2020-06-11 | 2020-09-18 | 北京百度网讯科技有限公司 | 用户界面设计的确定方法和装置 |
| CN111797993A (zh) * | 2020-06-16 | 2020-10-20 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的评价方法、装置、电子设备及存储介质 |
| CN111797993B (zh) * | 2020-06-16 | 2024-02-27 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的评价方法、装置、电子设备及存储介质 |
| CN112256537A (zh) * | 2020-11-12 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 模型运行状态的展示方法、装置、计算机设备和存储介质 |
| CN112256537B (zh) * | 2020-11-12 | 2024-03-29 | 腾讯科技（深圳）有限公司 | 模型运行状态的展示方法、装置、计算机设备和存储介质 |
| WO2022134600A1 (zh) * | 2020-12-25 | 2022-06-30 | 东云睿连(武汉)计算技术有限公司 | 一种神经网络交互式自动训练***和方法 |
| CN112529167A (zh) * | 2020-12-25 | 2021-03-19 | 东云睿连(武汉)计算技术有限公司 | 一种神经网络交互式自动训练***和方法 |
| CN112529167B (zh) * | 2020-12-25 | 2024-05-14 | 东云睿连(武汉)计算技术有限公司 | 一种神经网络交互式自动训练***和方法 |
| CN114880305A (zh) * | 2022-05-25 | 2022-08-09 | 北京明易达科技股份有限公司 | 一种基于数据中台的ai算法建模的方法及*** |
| CN114880305B (zh) * | 2022-05-25 | 2023-06-20 | 北京明易达科技股份有限公司 | 一种基于数据中台的ai算法建模的方法及*** |
| CN115358392A (zh) * | 2022-10-21 | 2022-11-18 | 北京百度网讯科技有限公司 | 深度学习网络的训练方法、文本检测方法及装置 |
| CN115358392B (zh) * | 2022-10-21 | 2023-05-05 | 北京百度网讯科技有限公司 | 深度学习网络的训练方法、文本检测方法及装置 |
| CN115545570A (zh) * | 2022-11-28 | 2022-12-30 | 四川大学华西医院 | 一种护理教育培训的成果验收方法及*** |
| CN115545570B (zh) * | 2022-11-28 | 2023-03-24 | 四川大学华西医院 | 一种护理教育培训的成果验收方法及*** |
| WO2024131395A1 (zh) * | 2022-12-20 | 2024-06-27 | 中国电信股份有限公司 | 服务性能测量方法、装置、设备、存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263939A (zh) | 一种表示学习模型的评估方法、装置、设备及介质 | |
| CN106528745B (zh) | 在移动终端上推荐资源的方法、装置及移动终端 | |
| CN108334539B (zh) | 对象推荐方法、移动终端及计算机可读存储介质 | |
| CN107948748B (zh) | 推荐视频的方法、设备、移动终端及计算机存储介质 | |
| CN109241431A (zh) | 一种资源推荐方法和装置 | |
| WO2021120875A1 (zh) | 搜索方法、装置、终端设备及存储介质 | |
| CN106446797A (zh) | 图像聚类方法及装置 | |
| CN113284142B (zh) | 图像检测方法、装置、计算机可读存储介质及计算机设备 | |
| CN110070129B (zh) | 一种图像检测方法、装置及存储介质 | |
| CN110166828A (zh) | 一种视频处理方法和装置 | |
| CN110163045A (zh) | 一种手势动作的识别方法、装置以及设备 | |
| WO2016015471A1 (zh) | 一种预测用户离网的方法及装置 | |
| CN106294308A (zh) | 命名实体识别方法及装置 | |
| CN109063558A (zh) | 一种图像分类处理方法、移动终端及计算机可读存储介质 | |
| CN111984803B (zh) | 多媒体资源处理方法、装置、计算机设备及存储介质 | |
| CN111027854A (zh) | 一种基于企业大数据的综合画像指数生成方法及相关设备 | |
| CN110334124A (zh) | 压缩算法选择方法、装置以及设备 | |
| CN103501487A (zh) | 分类器更新方法、装置、终端、服务器及*** | |
| CN110276010A (zh) | 一种权重模型训练方法和相关装置 | |
| CN111090877B (zh) | 数据生成、获取方法及对应的装置、存储介质 | |
| CN108897846A (zh) | 信息搜索方法、设备及计算机可读存储介质 | |
| CN106791153A (zh) | 应用推送消息分类显示方法、装置及移动终端 | |
| CN111951021B (zh) | 一种可疑社团的发现方法和装置、存储介质及计算机设备 | |
| CN110083742B (zh) | 一种视频查询方法和装置 | |
| CN108230104A (zh) | 应用类特征生成方法、移动终端以及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |