CN110490444A - 标注任务分配方法、装置、***及存储介质 - Google Patents
标注任务分配方法、装置、***及存储介质 Download PDFInfo
- Publication number
- CN110490444A CN110490444A CN201910744428.XA CN201910744428A CN110490444A CN 110490444 A CN110490444 A CN 110490444A CN 201910744428 A CN201910744428 A CN 201910744428A CN 110490444 A CN110490444 A CN 110490444A
- Authority
- CN
- China
- Prior art keywords
- task
- mark
- marked
- persons
- personnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种标注任务分配方法，该方法包括：获取待标注任务，并对获取到的每个待标注任务进行任务特征提取；根据每个待标注任务对应的任务特征、预设的标注人员列表中每个标注人员与每个历史标注任务的任务特征的匹配分数，确定标注人员与每个待标注任务的匹配分数；分别将每个待标注任务分成第一任务与第二任务；待标注任务的第一任务的任务量多于第二任务的任务量；向标注人员分配所有待标注任务中匹配分数较高的待标注任务的第一任务，以及分配所有待标注任务中匹配分数较低的待标注任务的第二任务。本发明能够提高标注任务分配的客观性，有利于提高标注结果的准确性；同时本发明还提供标注任务分配装置、***及存储介质。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及标注任务分配方法、装置、***及存储介质。
背景技术
数据标注，是指为数据打标签或标注符号。在机器学习的模型训练阶段，为获得训练数据，往往需要标注人员对源数据进行人工标注。当需要分配数据标注任务(又称为“标注任务”)时，现有技术通常会根据标注人员的累计工作量来确定标注人员当前是否空闲，然后将标注任务分配给空闲的标注人员。然而，发明人在实施本发明的过程中发现，通过这种方法分配标注任务，会经常出现标注结果准确性较低的问题，而标注结果的准确性将直接影响训练出来的模型的质量。
发明内容
基于此，本发明提出标注任务分配方法、装置、***及存储介质，能够提高标注任务分配的客观性，有利于提高标注结果的准确性。
本发明提供了一种标注任务分配方法，所述方法包括：
获取待标注任务，并对获取到的每个所述待标注任务进行任务特征提取；
根据每个所述待标注任务对应的任务特征，以及预设的标注人员列表中每个标注人员与每个历史标注任务的任务特征的匹配分数，确定所述标注人员列表中的每个标注人员与每个所述待标注任务的匹配分数；
分别将每个所述待标注任务分成第一任务与第二任务；所述待标注任务的第一任务的任务量多于第二任务的任务量；
向所述标注人员列表中的标注人员分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较高的待标注任务的第一任务，以及分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较低的待标注任务的第二任务。
在一种可选的实施方式中，所述向所述标注人员列表中的标注人员分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较高的待标注任务的第一任务，以及分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较低的待标注任务的第二任务，包括：
对每个所述待标注任务，确定所述标注人员列表中未分配到第一任务的、且与对应的待标注任务的匹配分数最高的标注人员，并向所确定的标注人员分配所述对应的待标注任务的第一任务；
对所述标注人员列表中的每个标注人员，确定所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数最低的、且第二任务为未分配状态的待标注任务，并将所确定的待标注任务的第二任务分配给所述标注人员列表中的标注人员。
在一种可选的实施方式中，所述待标注任务的第一任务的任务量与第二任务的任务量的比值为4:1。
在一种可选的实施方式中，所述方法还包括：
在获取待标注任务之前，获取所述标注人员列表中的标注人员的个人属性信息和历史工作数据；其中，所述个人属性信息包括标注人员的个人性格、个人兴趣、工作态度与工作韧性；所述历史工作数据包括标注人员执行每个历史标注任务的工作效率与准确率；
提取所述标注人员列表中的标注人员的每个历史标注任务的任务特征；
根据所述标注人员列表中的标注人员的个人性格、个人兴趣、工作态度与工作韧性以及每个所述历史标注任务的任务特征，获取所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数；
根据所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数，以及所述标注人员列表中的标注人员执行每个历史标注任务的工作效率与准确率，计算所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征的匹配分数。
在一种可选的实施方式中，所述方法还包括：
响应于所述标注人员列表中的标注人员完成所分配到的任务，获取标注人员列表中的标注人员的本次工作数据；所述本次工作数据包括标注人员完成所分配到的任务的工作效率与准确率；
根据所述标注人员列表中的标注人员完成所分配到的任务的工作效率与准确率，更新所述标注人员列表中的标注人员与相应的任务特征的匹配分数。
在一种可选的实施方式中，所述响应于所述标注人员列表中的标注人员完成所分配到的任务，获取标注人员列表中的标注人员的本次工作数据，包括：
响应于所述标注人员列表中的标注人员完成所分配到的任务，获取算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分；
根据所述算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分，计算所述标注人员列表中的标注人员完成所分配到的任务的准确率。
在一种可选的实施方式中，所述根据所述算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分，计算所述标注人员列表中的标注人员完成所分配到的任务的准确率，包括：
将所述算法端、所述开发端与所述测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分代入第一公式进行计算，得到所述标注人员列表中的标注人员完成所分配到的任务的准确率；
所述第一公式为：
Sc＝0.2*Sa+0.3*Sd+0.5*St；
其中，Sc用于表示所述标注人员列表中的标注人员完成所分配到的任务的准确率；Sa用于表示所述算法端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分；Sd用于表示所述开发端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分；St用于表示所述测试端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分。
本发明还提供一种标注任务分配装置，所述装置包括：第一提取模块、匹配分数确定模块、任务分割模块和任务分配模块；
第一提取模块用于获取待标注任务，并对获取到的每个所述待标注任务进行任务特征提取；
匹配分数确定模块用于根据每个所述待标注任务对应的任务特征，以及预设的标注人员列表中每个标注人员与每个历史标注任务的任务特征的匹配分数，确定所述标注人员列表中的每个标注人员与每个所述待标注任务的匹配分数；
任务分割模块用于分别将每个所述待标注任务分成第一任务与第二任务；所述待标注任务的第一任务的任务量多于第二任务的任务量；
任务分配模块用于向所述标注人员列表中的标注人员分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较高的待标注任务的第一任务，以及分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较低的待标注任务的第二任务。
本发明还对应提供了种标注任务分配***，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的标注任务分配方法。
本发明还对应提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，所述计算机程序运行时控制所述存储介质所耦合设备实现如上述任一实施例所述的标注任务分配方法。
相对于现有技术，本发明具有如下突出的有益效果：本发明提供的标注任务分配方法、装置、***及存储介质，通过标注人员列表中每个标注人员对应于待标注任务的任务特征的匹配分数进行任务分配，充分考虑标注人员与待标注任务的匹配程度，降低标注任务分配的随机性，有利于提高标注结果的准确性；通过将待标注任务分成任务量较多的第一任务和任务量较少的第二任务，以及向标注人员分配所有所述待标注任务中匹配分数较高的待标注任务的第一任务和匹配分数较低的待标注任务的第二任务，使得标注人员分配到任务量较多的优势(匹配分数较高)任务，保证任务的完成效率，同时标注人员还能分配到任务量较少的劣势(匹配分数较低)任务，由于劣势任务对于标注人员来说具有一定的挑战性，因此，通过本发明提供的标注任务分配方法能够在保证效率的同时为标注人员提供技能提高的机会，有利于避免标注人员因长期执行挑战性较低的优势任务而产生厌倦的现象，从而进一步提高标注结果的准确性。
附图说明
图1是本发明提供的一实施方式的标注任务分配方法的流程示意图；
图2是本发明提供的一实施方式的步骤S110的流程示意图；
图3是本发明提供的一实施方式的步骤S140的流程示意图；
图4是本发明提供的一实施方式的标注任务分配装置的结构示意图；
图5是本发明提供的一实施方式的标注任务分配***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明所要保护的范围。
参见图1，是本发明提供的一实施方式的标注任务分配方法的流程示意图，如图1所示，所述方法包括步骤S110～步骤S140。
步骤S110、获取待标注任务，并对获取到的每个所述待标注任务进行任务特征提取。
在本实施方式中，所述待标注任务包括若干待标注文章。在其他实施方式中，所述待标注任务还可以包括大量的聊天记录或若干图像等其他数据，本发明对此不做限定。待标注文章可以是新闻，可以是博文，也可以是论文等文章类型，本发明对此亦不做限定。
在本实施例中，所述待标注任务的任务特征为所述待标注任务中的待标注文章的主题类型。在其他实施方式中，待标注任务的任务特征还可以是待标注文章的关键词等，本发明对此亦不做限定。
在本实施例中，所述待标注文章的主题类型可以是音乐类、体育类、文学类和娱乐类等。在其他实施方式中，所述待标注任务的主题类型还可以是足球类、篮球类和/或乒乓球类等具体的体育类主题类型，本发明对此不做限定。
结合图2所示，步骤S110包括步骤S1101～步骤S1104。
步骤S1101、获取待标注任务，对获取到的待标注任务中的待标注文章进行预处理，得到待标注文章的文本内容。
可选的，所述预处理包括以下处理方式中的一种或多种：
去标点、去停用词以及去泛词。
步骤S1102、将文本内容进行分词处理，得到多个分词结果。
具体地，可采用分词工具将对应的文本内容进行分词处理。分词工具可以是HanLP工具、结巴分词工具或其他，此处不再列举。
步骤S1103、将多个分词结果中的词语转化为词向量。
可选的，步骤S1103具体为：采用预先基于word2vec算法训练的词向量模型将多个分词结果中的词语转化为词向量。
步骤S1104、将多个分词结果的词向量输入主题分类模型，得到待标注任务中的待标注文章的主题类型。
其中，所述主题分类模型为通过已标注主题类型的训练数据对原始模型进行训练所生成。
可选的，原始模型采用NLP分类模型，例如，fastText(快速文本)、Text CNN(文本卷积神经网络)、Text RCNN(循环卷积神经网络)或其他NLP分类模型。
步骤S120、根据每个所述待标注任务对应的任务特征，以及预设的标注人员列表中每个标注人员与每个历史标注任务的任务特征的匹配分数，确定所述标注人员列表中的每个标注人员与每个所述待标注任务的匹配分数。
示例性地，获取到的每个所述待标注任务对应的任务特征分别为音乐类、体育类、文学类和娱乐类。历史标注任务的任务特征可以是音乐类、体育类、文学类、娱乐类或其他类型等，若待标注任务为音乐类，且标注人员列表中的标注人员a与音乐类的匹配分数为95分，则标注人员a与待标注任务的匹配分数为95分。需要说明的是，本实施例提供的任务特征的具体类型、匹配分数的具体数值等皆为示例性说明，本发明不做限定。
即通过确定标注人员列表中每个标注人员与每个待标注任务的任务特征的匹配分数，充分考虑标注人员与待标注任务的匹配程度，降低标注任务分配的随机性，有利于提高标注结果的准确性；
步骤S130、分别将每个所述待标注任务分成第一任务与第二任务。所述待标注任务的第一任务的任务量多于第二任务的任务量。
步骤S140、向所述标注人员列表中的标注人员分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较高的待标注任务的第一任务，以及分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较低的待标注任务的第二任务。
需要说明的是，匹配分数较高的待标注任务，是相对于匹配分数较低的待标注任务定义的，即，所述标注人员列表中的标注人员与其分配到的第一任务所对应的待标注任务的匹配分数高于该标注人员与其分配到的第二任务所对应的待标注任务的匹配分数。
即通过将待标注任务分成任务量较多的第一任务和任务量较少的第二任务，以及向标注人员分配所有所述待标注任务中匹配分数较高的待标注任务的第一任务和匹配分数较低的待标注任务的第二任务，使得标注人员分配到任务量较多的优势(匹配分数较高)任务，保证任务的完成效率，同时标注人员还能分配到任务量较少的劣势(匹配分数较低)任务，由于劣势任务对于标注人员来说具有一定的挑战性，因此，通过本实施例提供的标注任务分配方法能够在保证效率的同时为标注人员提供技能提高的机会，有利于避免标注人员因长期执行挑战性较低的优势任务而产生厌倦的现象，降低标注出错的风险，从而进一步提高标注结果的准确性。
进一步，结合图3所示，步骤S140包括步骤S1401与步骤S1402。
步骤S1401、对每个所述待标注任务，确定所述标注人员列表中未分配到第一任务的、且与对应的待标注任务的匹配分数最高的标注人员，并向所确定的标注人员分配所述对应的待标注任务的第一任务。
步骤S1402、对所述标注人员列表中的每个标注人员，确定所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数最低的、且第二任务为未分配状态的待标注任务，并将所确定的待标注任务的第二任务分配给所述标注人员列表中的标注人员。
进一步，步骤S1402具体为：按照所述标注人员列表中的标注人员分配到第一任务的先后顺序，对所述标注人员列表中的每个标注人员，确定所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数最低的、且第二任务为未分配状态的待标注任务，并将所确定的待标注任务的第二任务分配给所述标注人员列表中的标注人员。
下面以表一和表二为例，对待标注任务的分配进行示例性说明，其中，表一为第一任务分配示例表；表二为第二任务分配示例表。
如表一所示，对于待标注任务N1，标注人员列表中匹配分数最高的标注人员为p1，因此，将待标注任务N1的第一任务N11分配给标注人员p1；对于待标注任务N2，标注人员列表中匹配分数最高的标注人员仍为p1，而由于标注人员p1已经分配到第一任务N11，此时，所述标注人员列表中未分配到第一任务的、且与待标注任务N2的匹配分数最高的标注人员为p3，因此，将待标注任务N2的第一任务N21分配给标注人员p3；以此类推。
表一第一任务分配示例表
如表二所示，对于分配到待标注任务N1的第一任务N11的标注人员p1，所有待标注任务中与标注人员p1的匹配分数最低的是待标注任务N3，因此，向标注人员p1分配待标注任务N3的第二任务N32；对于分配到待标注任务N2的第一任务N21的标注人员p3，所有待标注任务中与标注人员p3的匹配分数最低的也是待标注任务N3，而由于N3的第二任务为已分配状态，此时，所有所述待标注任务中与标注人员p3的匹配分数最低的、且第二任务为未分配状态的待标注任务为N7，因此，向标注人员p3分配待标注任务N7的第二任务N72；以此类推。
表二第二任务分配示例表
优选地，所述待标注任务的第一任务的任务量与第二任务的任务量的比值为4:1。
对于待标注任务N1，将其第一任务N11与第二任务N12的任务量比值设定为4:1，能够使得第一任务N11的任务量可以在较短的时间内完成，第二任务N12的任务量亦可以在限定时间内被完成，既保证标注人员拥有锻炼的机会，又最大程度地保证了工作效率。
在本实施例中，所述方法还包括：
在步骤S110之前，获取所述标注人员列表中的标注人员的个人属性信息和历史工作数据；其中，所述个人属性信息包括标注人员的个人性格、个人兴趣、工作态度与工作韧性；所述历史工作数据包括标注人员执行每个历史标注任务的工作效率与准确率；
提取所述标注人员列表中的标注人员的每个历史标注任务的任务特征；
根据所述标注人员列表中的标注人员的个人性格、个人兴趣、工作态度与工作韧性以及每个所述历史标注任务的任务特征，获取所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数；
根据所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数，以及所述标注人员列表中的标注人员执行每个历史标注任务的工作效率与准确率，计算所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征的匹配分数。
本实施例中，匹配分数的计算既考虑了标注人员对应于该任务特征的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数，又考虑了相应的工作效率与准确率，通过个人性格、个人喜好、工作态度、工作韧性等静态数据权衡历史工作数据这一动态数据导致的偏差，能够使匹配分数更具客观性，有利于提高标注结果的准确性。
具体地，可通过人工评分的方式，结合每个所述历史标注任务的任务特征，为所述标注人员列表中的标注人员的个人性格、个人兴趣、工作态度与工作韧性进行评分，得到所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数。
在其他实施方式中，可以结合每个所述历史标注任务的任务特征，以及结合所述标注人员列表中的具有相同或相似的个人属性信息的标注人员执行历史标注任务的工作效率与准确率，为所述标注人员列表中的标注人员的个人性格、个人兴趣、工作态度与工作韧性进行评分。
在其他实施方式中，可以将所述标注人员列表中的标注人员的个人性格、个人兴趣、工作态度与工作韧性以及每个所述历史标注任务的任务特征输入至分析工具，得到所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数。该分析工具可以是市面上常见的职业分析工具，本发明不做限定。
进一步，所述根据所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数，以及所述标注人员列表中的标注人员执行每个历史标注任务的工作效率与准确率，计算所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征的匹配分数，具体为：
对所述标注人员列表中的标注人员x与历史标注任务i的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数，以及标注人员x执行历史标注任务i的工作效率与准确率进行加权和计算，得到标注人员x与历史标注任务i的任务特征的匹配分数；x为正整数，i为正整数。
可选的，在计算标注人员x与历史标注任务i的任务特征的匹配分数时，标注人员x执行历史标注任务i的工作效率与准确率的权重大于标注人员x与历史标注任务i的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数的权重。即通过权重配置使得匹配分数的主要构成为工作效率与准确率，以保证基本的工作效率与准确性，在此基础上，结合个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数，能够细化匹配分数的数据粒度，更为客观地将标注人员与任务特征匹配起来，进一步提高标注结果的准确性。
可选的，所述历史工作数据还包括标注人员执行同一任务特征的历史标注任务的工作效率变化趋势。具体地，工作效率变化趋势可以是一年内的工作效率变化趋势，也可以是一个月内的工作效率变化趋势。通过工作效率变化趋势反应标注人员的工作状态，能够为标注任务的分配提供更多参考，有利于提高标注结果的准确性。在其他实施方式中，所述历史工作数据还可以包括标注人员执行每个历史标注任务的工作失误。
在本实施例中，所述方法还包括：
响应于所述标注人员列表中的标注人员完成所分配到的任务，获取标注人员列表中的标注人员的本次工作数据；所述本次工作数据包括标注人员完成所分配到的任务的工作效率与准确率；
根据所述标注人员列表中的标注人员完成所分配到的任务的工作效率与准确率，更新所述标注人员列表中的标注人员与相应的任务特征的匹配分数。
即通过响应于标注人员完成分配到的任务，获取标注人员最新的工作效率与准确率，及时对匹配分数进行更新，能够将标注人员的工作表现反映到下一次的任务分配中，提高实时性，有利于进一步提高任务分配的客观性与标注结果的准确性。
进一步，所述响应于所述标注人员列表中的标注人员完成所分配到的任务，获取标注人员列表中的标注人员的本次工作数据，包括：
响应于所述标注人员列表中的标注人员完成所分配到的任务，获取算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分；
根据所述算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分，计算所述标注人员列表中的标注人员完成所分配到的任务的准确率。
具体地，算法端、开发端与测试端可从返回的数据中抽取样本进行准确性判断，例如从返回的1万条数据中抽取100条进行准确性判断，作为各端提供的准确性评分。
由于算法端、开发端与测试端提供的准确性评分各有偏重，通过结合三者提供的准确性评分，使得准确率的计算更具客观性。
可选的，所述根据所述算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分，计算所述标注人员列表中的标注人员完成所分配到的任务的准确率，包括：
将所述算法端、所述开发端与所述测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分代入第一公式进行计算，得到所述标注人员列表中的标注人员完成所分配到的任务的准确率；
所述第一公式为：
Sc＝0.2*Sa+0.3*Sd+0.5*St；
其中，Sc用于表示所述标注人员列表中的标注人员完成所分配到的任务的准确率；Sa用于表示所述算法端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分；Sd用于表示所述开发端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分；St用于表示所述测试端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分。
由于算法端比较了解模型结果以及判断趋势，所以算法端的准确率判断是带有主观因素的；因此，通过将权重设为0.2来降低算法端对准确率的贡献。而开发端作为工程的搭建人，其对于准确率的判断虽有主观因素，但输入的数据存在客观性，因此将权重设为0.3；测试端则比较客观，因此，通过将权重设为0.5，提高准确率判断的客观性。
参见图4，其是本发明提供的一实施方式的标注任务分配装置的结构示意图。如图4所示，标注任务分配装置2包括第一提取模块210、匹配分数确定模块220、任务分割模块230和任务分配模块240。
第一提取模块210用于获取待标注任务，并对获取到的每个所述待标注任务进行任务特征提取；
匹配分数确定模块220用于根据每个所述待标注任务对应的任务特征，以及预设的标注人员列表中每个标注人员与每个历史标注任务的任务特征的匹配分数，确定所述标注人员列表中的每个标注人员与每个所述待标注任务的匹配分数；
任务分割模块230用于分别将每个所述待标注任务分成第一任务与第二任务；所述待标注任务的第一任务的任务量多于第二任务的任务量；
任务分配模块240用于向所述标注人员列表中的标注人员分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较高的待标注任务的第一任务，以及分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较低的待标注任务的第二任务。
可选的，任务分配模块240包括第一任务分配单元和第二任务分配单元。
第一任务分配单元用于对每个所述待标注任务，确定所述标注人员列表中未分配到第一任务的、且与对应的待标注任务的匹配分数最高的标注人员，并向所确定的标注人员分配所述对应的待标注任务的第一任务；
第二任务分配单元用于对所述标注人员列表中的每个标注人员，确定所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数最低的、且第二任务为未分配状态的待标注任务，并将所确定的待标注任务的第二任务分配给所述标注人员列表中的标注人员。
可选的，所述待标注任务的第一任务的任务量与第二任务的任务量的比值为4:1。
可选的，所述装置还包括第一获取模块、第二提取模块、第二获取模块和第一计算模块。
第一获取模块用于在获取待标注任务之前，获取所述标注人员列表中的标注人员的个人属性信息和历史工作数据；其中，所述个人属性信息包括标注人员的个人性格、个人兴趣、工作态度与工作韧性；所述历史工作数据包括标注人员执行每个历史标注任务的工作效率与准确率。
第二提取模块用于提取所述标注人员列表中的标注人员的每个历史标注任务的任务特征。
第二获取模块用于根据所述标注人员列表中的标注人员的个人性格、个人兴趣、工作态度与工作韧性以及每个所述历史标注任务的任务特征，获取所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数。
第一计算模块用于根据所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数，以及所述标注人员列表中的标注人员执行每个历史标注任务的工作效率与准确率，计算所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征的匹配分数。
可选的，所述装置还包括第三获取模块和更新模块。
第三获取模块用于响应于所述标注人员列表中的标注人员完成所分配到的任务，获取标注人员列表中的标注人员的本次工作数据；所述本次工作数据包括标注人员完成所分配到的任务的工作效率与准确率。
更新模块用于根据所述标注人员列表中的标注人员完成所分配到的任务的工作效率与准确率，更新所述标注人员列表中的标注人员与相应的任务特征的匹配分数。
可选的，所述第三获取模块包括：准确率评分获取单元和准确率计算单元；
准确率评分获取单元用于响应于所述标注人员列表中的标注人员完成所分配到的任务，获取算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分；
准确率计算单元用于根据所述算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分，计算所述标注人员列表中的标注人员完成所分配到的任务的准确率。
可选的，准确率计算单元包括：
公式计算子单元，用于将所述算法端、所述开发端与所述测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分代入第一公式进行计算，得到所述标注人员列表中的标注人员完成所分配到的任务的准确率；
所述第一公式为：
Sc＝0.2*Sa+0.3*Sd+0.5*St；
其中，Sc用于表示所述标注人员列表中的标注人员完成所分配到的任务的准确率；Sa用于表示所述算法端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分；Sd用于表示所述开发端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分；St用于表示所述测试端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分。
本发明对应提供了一实施方式的标注任务分配***，参见图5，是本发明实施例提供的一实施方式的标注任务分配***的结构示意图，标注任务分配***3包括处理器301、存储器302以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器301执行所述计算机程序时实现如上述任一实施例所述的标注任务分配方法。或者，所述处理器301执行所述计算机程序时实现上述***各实施例中各模块的功能，例如第一提取模块210、匹配分数确定模块220、任务分割模块230和任务分配模块240。
示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述标注任务分配***中的执行过程。例如，所述计算机程序可以被分割成第一提取模块210、匹配分数确定模块220、任务分割模块230和任务分配模块240。
所述标注任务分配***可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述标注任务分配***可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是标注任务分配***的示例，并不构成对标注任务分配***的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述标注任务分配***还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(CeNtral ProcessiNg UNit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SigNal Processor，DSP)、专用集成电路(ApplicatioN Specific INtegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述足球进球类型识别***的控制中心，利用各种接口和线路连接整个足球进球类型识别***的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述足球进球类型识别***的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述标注任务分配***集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一存储介质中，该计算机程序运行时控制所述存储介质所在设备实现如上述任一实施例所述的足球进球类型识别方法。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-ONly Memory)、随机存取存储器(RAM，RaNdom Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的用户出行关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种标注任务分配方法，其特征在于，包括：
获取待标注任务，并对获取到的每个所述待标注任务进行任务特征提取；
根据每个所述待标注任务对应的任务特征，以及预设的标注人员列表中每个标注人员与每个历史标注任务的任务特征的匹配分数，确定所述标注人员列表中的每个标注人员与每个所述待标注任务的匹配分数；
分别将每个所述待标注任务分成第一任务与第二任务；所述待标注任务的第一任务的任务量多于第二任务的任务量；
向所述标注人员列表中的标注人员分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较高的待标注任务的第一任务，以及分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较低的待标注任务的第二任务。
2.如权利要求1所述的标注任务分配方法，其特征在于，所述向所述标注人员列表中的标注人员分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较高的待标注任务的第一任务，以及分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较低的待标注任务的第二任务，包括：
对每个所述待标注任务，确定所述标注人员列表中未分配到第一任务的、且与对应的待标注任务的匹配分数最高的标注人员，并向所确定的标注人员分配所述对应的待标注任务的第一任务；
对所述标注人员列表中的每个标注人员，确定所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数最低的、且第二任务为未分配状态的待标注任务，并将所确定的待标注任务的第二任务分配给所述标注人员列表中的标注人员。
3.如权利要求1或2所述的标注任务分配方法，其特征在于，所述待标注任务的第一任务的任务量与第二任务的任务量的比值为4:1。
4.如权利要求1所述的标注任务分配方法，其特征在于，所述方法还包括：
在获取待标注任务之前，获取所述标注人员列表中的标注人员的个人属性信息和历史工作数据；其中，所述个人属性信息包括标注人员的个人性格、个人兴趣、工作态度与工作韧性；所述历史工作数据包括标注人员执行每个历史标注任务的工作效率与准确率；
提取所述标注人员列表中的标注人员的每个历史标注任务的任务特征；
根据所述标注人员列表中的标注人员的个人性格、个人兴趣、工作态度与工作韧性以及每个所述历史标注任务的任务特征，获取所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数；
根据所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征对应的个人性格推荐分数、个人兴趣推荐分数、工作态度推荐分数与工作韧性推荐分数，以及所述标注人员列表中的标注人员执行每个历史标注任务的工作效率与准确率，计算所述标注人员列表中的标注人员与每个所述历史标注任务的任务特征的匹配分数。
5.如权利要求4所述的标注任务分配方法，其特征在于，所述方法还包括：
响应于所述标注人员列表中的标注人员完成所分配到的任务，获取标注人员列表中的标注人员的本次工作数据；所述本次工作数据包括标注人员完成所分配到的任务的工作效率与准确率；
根据所述标注人员列表中的标注人员完成所分配到的任务的工作效率与准确率，更新所述标注人员列表中的标注人员与相应的任务特征的匹配分数。
6.如权利要求5所述的标注任务分配方法，其特征在于，所述响应于所述标注人员列表中的标注人员完成所分配到的任务，获取标注人员列表中的标注人员的本次工作数据，包括：
响应于所述标注人员列表中的标注人员完成所分配到的任务，获取算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分；
根据所述算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分，计算所述标注人员列表中的标注人员完成所分配到的任务的准确率。
7.如权利要求6所述的标注任务分配方法，其特征在于，所述根据所述算法端、开发端与测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分，计算所述标注人员列表中的标注人员完成所分配到的任务的准确率，包括：
将所述算法端、所述开发端与所述测试端分别为所述标注人员列表中的标注人员所分配到的任务提供的准确性评分代入第一公式进行计算，得到所述标注人员列表中的标注人员完成所分配到的任务的准确率；
所述第一公式为：
Sc＝0.2*Sa+0.3*Sd+0.5*St；
其中，Sc用于表示所述标注人员列表中的标注人员完成所分配到的任务的准确率；Sa用于表示所述算法端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分；Sd用于表示所述开发端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分；St用于表示所述测试端为所述标注人员列表中的标注人员所分配到的任务提供的准确率评分。
8.一种标注任务分配装置，其特征在于，包括：
第一提取模块，用于获取待标注任务，并对获取到的每个所述待标注任务进行任务特征提取；
匹配分数确定模块，用于根据每个所述待标注任务对应的任务特征，以及预设的标注人员列表中每个标注人员与每个历史标注任务的任务特征的匹配分数，确定所述标注人员列表中的每个标注人员与每个所述待标注任务的匹配分数；
任务分割模块，用于分别将每个所述待标注任务分成第一任务与第二任务；所述待标注任务的第一任务的任务量多于第二任务的任务量；
任务分配模块，用于向所述标注人员列表中的标注人员分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较高的待标注任务的第一任务，以及分配所有所述待标注任务中与所述标注人员列表中的标注人员的匹配分数较低的待标注任务的第二任务。
9.一种标注任务分配***，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的标注任务分配方法。
10.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，所述计算机程序运行时控制所述存储介质所耦合设备实现如权利要求1-7任一项所述的标注任务分配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910744428.XA CN110490444A (zh) | 2019-08-13 | 2019-08-13 | 标注任务分配方法、装置、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910744428.XA CN110490444A (zh) | 2019-08-13 | 2019-08-13 | 标注任务分配方法、装置、***及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110490444A true CN110490444A (zh) | 2019-11-22 |
Family
ID=68550835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910744428.XA Pending CN110490444A (zh) | 2019-08-13 | 2019-08-13 | 标注任务分配方法、装置、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490444A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080092A (zh) * | 2019-11-29 | 2020-04-28 | 北京云聚智慧科技有限公司 | 数据标注管理方法及装置、电子设备和可读存储介质 |
| CN111259251A (zh) * | 2020-01-21 | 2020-06-09 | 北京爱数智慧科技有限公司 | 一种推荐标注任务的方法和装置 |
| CN112860416A (zh) * | 2021-04-25 | 2021-05-28 | 城云科技（中国）有限公司 | 标注任务分派策略方法、装置 |
| CN112990625A (zh) * | 2019-12-13 | 2021-06-18 | 北京金山云网络技术有限公司 | 标注任务的分配方法、装置及服务器 |
| CN113240126A (zh) * | 2021-01-13 | 2021-08-10 | 深延科技(北京)有限公司 | 标注管理方法、装置、设备及存储介质 |
| CN113434266A (zh) * | 2020-03-23 | 2021-09-24 | 杭州海康威视数字技术股份有限公司 | 任务分发方法、***、电子设备及介质 |
| CN113807621A (zh) * | 2020-06-12 | 2021-12-17 | 北京四维图新科技股份有限公司 | 数据处理方法、装置及设备 |
| CN115204760A (zh) * | 2022-09-16 | 2022-10-18 | 创新奇智(合肥)科技有限公司 | 一种数据标注方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120096032A1 (en) * | 2010-10-13 | 2012-04-19 | International Business Machines Corporation | Populating a task directed community in a complex heterogeneous environment based on non-linear attributes of a paradigmatic cohort member |
| CN102662930A (zh) * | 2012-04-16 | 2012-09-12 | 乐山师范学院 | 一种语料标注方法及装置 |
| CN109359798A (zh) * | 2018-08-21 | 2019-02-19 | 平安科技（深圳）有限公司 | 任务分配方法、装置及存储介质 |
| CN109978356A (zh) * | 2019-03-15 | 2019-07-05 | 平安普惠企业管理有限公司 | 标注任务分配方法、装置、介质和计算机设备 |
| CN110111010A (zh) * | 2019-05-10 | 2019-08-09 | 山东大学 | 一种基于众智网络的问答任务分配方法及*** |
-
2019
- 2019-08-13 CN CN201910744428.XA patent/CN110490444A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120096032A1 (en) * | 2010-10-13 | 2012-04-19 | International Business Machines Corporation | Populating a task directed community in a complex heterogeneous environment based on non-linear attributes of a paradigmatic cohort member |
| CN102662930A (zh) * | 2012-04-16 | 2012-09-12 | 乐山师范学院 | 一种语料标注方法及装置 |
| CN109359798A (zh) * | 2018-08-21 | 2019-02-19 | 平安科技（深圳）有限公司 | 任务分配方法、装置及存储介质 |
| CN109978356A (zh) * | 2019-03-15 | 2019-07-05 | 平安普惠企业管理有限公司 | 标注任务分配方法、装置、介质和计算机设备 |
| CN110111010A (zh) * | 2019-05-10 | 2019-08-09 | 山东大学 | 一种基于众智网络的问答任务分配方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 李勇军 等: "软件"众包"任务分配方法", 《计算机***应用》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080092A (zh) * | 2019-11-29 | 2020-04-28 | 北京云聚智慧科技有限公司 | 数据标注管理方法及装置、电子设备和可读存储介质 |
| CN111080092B (zh) * | 2019-11-29 | 2023-04-18 | 北京云聚智慧科技有限公司 | 数据标注管理方法及装置、电子设备和可读存储介质 |
| CN112990625A (zh) * | 2019-12-13 | 2021-06-18 | 北京金山云网络技术有限公司 | 标注任务的分配方法、装置及服务器 |
| CN111259251A (zh) * | 2020-01-21 | 2020-06-09 | 北京爱数智慧科技有限公司 | 一种推荐标注任务的方法和装置 |
| CN113434266A (zh) * | 2020-03-23 | 2021-09-24 | 杭州海康威视数字技术股份有限公司 | 任务分发方法、***、电子设备及介质 |
| CN113807621A (zh) * | 2020-06-12 | 2021-12-17 | 北京四维图新科技股份有限公司 | 数据处理方法、装置及设备 |
| CN113807621B (zh) * | 2020-06-12 | 2024-03-19 | 北京四维图新科技股份有限公司 | 数据处理方法、装置及设备 |
| CN113240126A (zh) * | 2021-01-13 | 2021-08-10 | 深延科技(北京)有限公司 | 标注管理方法、装置、设备及存储介质 |
| CN112860416A (zh) * | 2021-04-25 | 2021-05-28 | 城云科技（中国）有限公司 | 标注任务分派策略方法、装置 |
| CN115204760A (zh) * | 2022-09-16 | 2022-10-18 | 创新奇智(合肥)科技有限公司 | 一种数据标注方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490444A (zh) | 标注任务分配方法、装置、***及存储介质 | |
| WO2022141861A1 (zh) | 情感分类方法、装置、电子设备及存储介质 | |
| CN103914548B (zh) | 信息搜索方法和装置 | |
| CN103617230B (zh) | 一种基于微博的广告推荐方法及*** | |
| CN108363790A (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
| CN107368820B (zh) | 一种精细化手势识别方法、装置及设备 | |
| CN106611052A (zh) | 文本标签的确定方法及装置 | |
| CN103246681B (zh) | 一种搜索方法及装置 | |
| CN103198086A (zh) | 信息处理设备，信息处理方法和程序 | |
| CN106095842B (zh) | 在线课程搜索方法和装置 | |
| CN105279148B (zh) | 一种app软件用户评论一致性判断方法 | |
| CN107807958A (zh) | 一种文章列表个性化推荐方法、电子设备及存储介质 | |
| CN109902157A (zh) | 一种训练样本有效性检测方法及装置 | |
| CN106919588A (zh) | 一种应用程序搜索***及方法 | |
| CN106919551A (zh) | 一种情感词极性的分析方法、装置及设备 | |
| CN114387061A (zh) | 产品推送方法、装置、电子设备及可读存储介质 | |
| US10289624B2 (en) | Topic and term search analytics | |
| CN106537387A (zh) | 检索/存储与事件相关联的图像 | |
| CN108009248A (zh) | 一种数据分类方法和*** | |
| CN110210022A (zh) | 标题识别方法及装置 | |
| CN107357782A (zh) | 一种识别用户性别的方法及终端 | |
| CN114416929A (zh) | 实体召回模型的样本生成方法、装置、设备及存储介质 | |
| CN110502639A (zh) | 基于问题贡献度的信息推荐方法、装置、及计算机设备 | |
| CN110196951A (zh) | 用户匹配方法及设备 | |
| CN108959568A (zh) | 文档智能分发***及分发方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191122 |