CN110442692A - 一种用于问题派单及其训练的方法和装置 - Google Patents

一种用于问题派单及其训练的方法和装置 Download PDF

Info

Publication number
CN110442692A
CN110442692A CN201910677589.1A CN201910677589A CN110442692A CN 110442692 A CN110442692 A CN 110442692A CN 201910677589 A CN201910677589 A CN 201910677589A CN 110442692 A CN110442692 A CN 110442692A
Authority
CN
China
Prior art keywords
class cluster
vector
answer party
answer
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910677589.1A
Other languages
English (en)
Inventor
杨明晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910677589.1A priority Critical patent/CN110442692A/zh
Publication of CN110442692A publication Critical patent/CN110442692A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种用于问题派单及其训练的方法和装置。一种问题派单的训练方法包括：接收训练集，训练集包括预定问题和相关联的应答方，其中应答方与一个或多个问题类簇相关联；确定该预定问题的句向量与该应答方的一个或多个问题类簇的类簇原型向量之间的最小距离；如果该最小距离小于阈值，则将该预定问题加入该最小距离对应的问题类簇；以及如果该最小距离不小于该阈值，则为该应答方生成与该预定问题相对应的新的问题类簇。本公开还提供了相应的问题派单方法及训练方法和装置。

Description

一种用于问题派单及其训练的方法和装置
技术领域
本公开涉及计算机网络，尤其涉及一种用于问题派单及其训练的方法和装置。
背景技术
在客服场景中通常都会有派单过程。主流的方案依赖用户自主选择，如***10086，用户需要根据语音提示通过输入数字的方式选择业务线。该方案只需要将客服人员划分为几个业务线，并在客服***中配置语音菜单引导用户操作即可，流程简单。然而对于用户来说操作就很复杂，一方面需要在求助时就能分清自己要咨询的问题属于哪个业务线，另一方面多层的语音菜单需要用户多次聆听并多次操作。
更智能的方案则是根据用户输入的文本或陈述的语音进行分类，将用户的咨询直接定位到某一个业务线。该方案对用户比较友好，用户仅需描述自己要咨询的问题即可。该方案中客服***通常以“业务线”或“技能组”为单位，每个单位下都有多位客服，客户问题只能被分类到“技能组”，不能分类到单个客服。
群聊是IM(Instant Messaging，即时通讯)软件的一项重要功能。可通过服务群来提供服务，服务群里有提问题的客户和解答问题的客服。与传统的“集中式”客服***不同，服务群是一种“分布式”的客服***，每一个服务群只专注于一个或几个业务线的问题，客服数量也远少于集中式客服***的客服数量，对派单模型的精度要求更高；另外，服务群可以任意建立，每个服务群中的客服经常发生变化，难以通过一个稳定的分类模型解决问题。
因此，本领域需要一种改进的将客户问题派单到客服的技术。
发明内容
本公开提供了能够将所接收的问题指派给合适的应答方的技术。
在一个实施例中，提供了一种用于问题派单训练的方法，其包括：接收训练集，所述训练集包括预定问题和相关联的应答方，其中所述应答方与一个或多个问题类簇相关联；确定所述预定问题的句向量与所述应答方的一个或多个问题类簇的类簇原型向量之间的最小距离；如果所述最小距离小于阈值，则将所述预定问题加入所述最小距离对应的问题类簇；以及如果所述最小距离不小于所述阈值，则为所述应答方生成与所述预定问题相对应的新的问题类簇。
在一方面，将所述预定问题加入所述最小距离对应的问题类簇包括：更新所述问题类簇的类簇原型向量。
在一方面，更新所述问题类簇的类簇原型向量包括：将所述问题类簇的类簇原型向量与所述预定问题的句向量进行加权平均以生成所述问题类簇的新的类簇原型向量。
在一方面，为所述应答方生成与所述预定问题相对应的新的问题类簇包括：将所述预定问题的句向量作为所述新的问题类簇的类簇原型向量。
在一方面，该方法还包括：生成所述预定问题的句向量；或者生成所述预定问题的词向量并对所述词向量使用加权平均来确定所述预定问题的句向量。
在一方面，所述训练集中的预定问题包括：所述应答方曾经回复过的问题；和/或希望由所述应答方回复的问题。
在另一个实施例中，提供了一种问题派单方法，其包括：接收问题；确定所接收的问题的句向量；确定所述问题的句向量与一个或多个候选应答方的一个或多个问题类簇的类簇原型向量之间的距离；确定是否存在小于阈值的距离；如果存在小于阈值的距离，则生成候选子集，所述候选子集包含与所述小于阈值的距离相对应的一个或多个应答方；以及将所述问题指派给所述候选子集中的应答方。
在一方面，该方法还包括：如果所述候选子集中存在一个应答方，则将所述问题指派给这一个应答方；或者如果所述候选子集中存在多个应答方，则按照距离、优先级或随机地将所述问题指派给所述候选子集中的一个应答方。
在一方面，该方法还包括：如果确定不存在小于阈值的距离，则按照优先级或随机地将所述问题指派给一个候选应答方。
在一方面，确定所接收的问题的句向量包括：生成所述问题的句向量；或者生成所述问题的词向量并对所述词向量使用加权平均来确定所述问题的句向量。
在一方面，所述问题包括以下一种或多种形式的问题：语音、文本、图片、视频。
在另一个实施例中，提供了一种用于问题派单训练的装置，其包括：接收组件，其接收训练集，所述训练集包括预定问题和相关联的应答方，其中所述应答方与一个或多个问题类簇相关联；距离确定组件，其确定所述预定问题的句向量与所述应答方的一个或多个问题类簇的类簇原型向量之间的最小距离；以及类簇确定组件，其用于如果所述最小距离小于阈值，则将所述预定问题加入所述最小距离对应的问题类簇，以及如果所述最小距离不小于所述阈值，则为所述应答方生成与所述预定问题相对应的新的问题类簇。
在一方面，所述类簇确定组件还用于：在将所述预定问题加入所述最小距离对应的问题类簇时，更新所述问题类簇的类簇原型向量。
在一方面，更新所述问题类簇的类簇原型向量包括：将所述问题类簇的类簇原型向量与所述预定问题的句向量进行加权平均以生成所述问题类簇的新的类簇原型向量。
在一方面，所述类簇确定组件还用于：在为所述应答方生成与所述预定问题相对应的新的问题类簇时，将所述预定问题的句向量作为所述新的问题类簇的类簇原型向量。
在一方面，所述装置还包括句向量确定组件，其用于：生成所述预定问题的句向量；或者生成所述预定问题的词向量并对所述词向量使用加权平均来确定所述预定问题的句向量。
在一方面，所述训练集中的预定问题包括：所述应答方曾经回复过的问题；和/或希望由所述应答方回复的问题。
在另一个实施例中，提供了一种问题派单装置，其包括：接收组件，其接收问题；句向量确定组件，其确定所接收的问题的句向量；距离确定组件，其确定所述问题的句向量与一个或多个候选应答方的一个或多个问题类簇的类簇原型向量之间的距离；应答方确定组件，其确定是否存在小于阈值的距离，如果存在小于阈值的距离，则生成候选子集，所述候选子集包含与所述小于阈值的距离相对应的一个或多个应答方，并将所述问题指派给所述候选子集中的应答方。
在一方面，所述应答方确定组件还用于：如果所述候选子集中存在一个应答方，则将所述问题指派给这一个应答方；或者如果所述候选子集中存在多个应答方，则按照距离、优先级或随机地将所述问题指派给所述候选子集中的一个应答方。
在一方面，所述应答方确定组件还用于：如果确定不存在小于阈值的距离，则按照优先级或随机地将所述问题指派给一个候选应答方。
在一方面，所述句向量确定组件用于：生成所述问题的句向量；或者生成所述问题的词向量并对所述词向量使用加权平均来确定所述问题的句向量。
在一方面，所述问题包括以下一种或多种形式的问题：语音、文本、图片、视频。
在另一个实施例中，提供了一种***，其包括：处理器；用于存储处理器可执行指令的存储器，其中所述处理器被配置成执行所述处理器可执行指令以实现如上所述的方法步骤。
如上，通过为应答方建立问题类簇，本公开能够将用户问题指派给适合回答该问题的应答方(例如，客服)，减少了现有技术中由用户选择业务线的繁琐操作。此外，本公开通过原型网络提升了在小样本上的分类效果，无需大量数据集进行模型训练也能良好地运作，并且可在使用过程中实时地更新模型。
附图说明
图1为根据本公开一个实施例的问题派单训练方法的流程图。
图2为根据本公开一个实施例的问题类簇训练示意图。
图3为根据本公开一个实施例的问题派单方法的流程图。
图4为根据本公开一个实施例的问题派单示意图。
图5为根据本公开一个实施例的问题派单训练装置的框图。
图6为根据本公开一个实施例的问题派单装置的框图。
具体实施方式
下面结合具体实施例和附图对本公开作进一步说明，但不应以此限制本公开的保护范围。
图1为根据本公开一个实施例的问题派单训练方法的流程图。本公开可基于原型网络(Prototypical networks)来实现。原型网络可将输入样本向量化，例如用向量平均值表示每个类目的原型向量，通过计算向量距离的方式对样本进行分类。通过本公开的训练方法和问题派单模型，可以使得每个应答方(例如，客服)与一个或多个问题类簇相关联，其中每个问题类簇由类簇原型向量来表示，从而能够表示每个应答方的答疑偏好并且可以相应地分配待解答的问题。
在步骤102，接收训练集，该训练集可包括预定问题和相关联的应答方。作为示例而非限定，该训练集可包括特定应答方(例如，客服)曾经回复过的用户问题列表。在另一示例中，该训练集可包括希望由特定应答方回复的用户问题列表。如果该训练集包括多个预定问题和相关联的应答方，本公开可顺序地或并行地针对该训练集中的每个预定问题进行训练。每个应答方可以与一个或多个预定问题相关联，不同应答方也可以与相同或不同的预定问题相关联。
在步骤104，确定该预定问题的句向量。根据本公开的一个实施例，可以采用任何合适的方式来确定句向量。例如，可首先对问题进行分词处理得到词向量，然后对词向量进行运算(例如，加权平均法)以获得句向量。作为示例而非限定，可通过CBOW、Skipgram等传统词向量方法计算得到词向量，然后通过对问题的词向量使用加权平均法来计算句子的句向量。替换地，可以使用Glove、cw2vec等算法计算词向量，在此基础上再求取句向量，以优化句向量在部分问题上的效果。另一方面，可以使用charagram等句向量计算方法直接得到句向量，这在某些数据集上可以获得良好的效果。
在步骤106，确定该预定问题的句向量与相关联的应答方的类簇原型向量之间的最小距离。通常一个应答方可以具备回答多个业务领域问题的能力，每个业务方向的问题可以表示为问题类簇，每个问题类簇可以用原型向量来表示。因此，每个应答方可以具有一个或多个相关联的问题类簇。在初次针对特定应答方训练问题派单模型时，可以将该应答方的类簇原型向量初始化为空。在后续针对特定应答方进行训练时，可以在该应答方已有的类簇原型向量基础上进行训练。由此，在任何时候，每个应答方可具有一个或多个类簇原型向量，并且可以计算输入的问题与应答方的各个类簇原型向量之间的最小距离。
在步骤108，确定该最小距离是否小于预定阈值。该阈值可以反映应答方的各个类簇原型向量之间的合理距离，并且可以根据经验或需要来设置。
如果该最小距离小于该预定阈值，即指示该预定问题的句向量与该应答方的现有问题类簇接近，则在步骤110，可以将该预定问题加入该应答方的与该最小距离相对应的现有问题类簇。
在可选步骤112，可以更新该问题类簇的类簇原型向量。例如，该问题类簇的类簇原型向量可被更新以纳入该预定问题的句向量的贡献。在其他实现中，也可以不必针对问题类簇中每个新增的问题来更新类簇原型向量。相反，可以周期性地、随机地更新类簇原型向量，等等。
相反，如果在步骤108确定该最小距离不小于该预定阈值，即指示该预定问题的句向量与该应答方的现有问题类簇不接近，则在步骤114，可以为该应答方生成与该预定问题相对应的新的问题类簇。作为示例而非限定，该新的问题类簇的类簇原型向量可以是该预定问题的句向量。
由此，可以使用训练集来训练问题派单模型，为每个应答方建立问题类簇，从而应答方可以更高效地回复其问题类簇中包含的问题。在训练过程中可以将与应答方现有问题类簇接近的问题加入到现有问题类簇中，并且能够针对远离应答方现有问题类簇的问题生成新的问题类簇。
作为示例而非限定，以下以客服场景给出一种具体使用场景。假设训练集中的一项输入为<q,c>，其中q表示问题，c表示回复该问题的客服。
在步骤104，确定问题q的句向量，例如可采用加权平均的方式，公式为
其中，s表示句向量，l表示该问题进行分词后的词语数量，wi表示第i个词的词权重，vi表示第i个词的词向量。其中，词向量可以通过CBow或Skipgram等方法得到，本公开在这方面不受限制。
在步骤106，确定客服c的类簇原型向量与输入问题q的向量s之间的最小距离d。通常一个客服可以具备回答多个业务领域问题的能力，所以客服c可以对应类簇原型向量集P，其中每个问题类簇的原型向量表示为pj。则问题q与客服c的最小距离为
即，上式可以计算问题q的向量s与客服c的所有问题类簇的原型向量pj之间的距离中的最小值。此处假设判定一个句向量与类簇原型向量的同义的阈值为t，即两个向量之间的距离小于t时判断为同义。
如果D(q,c)<t，表示问题q已经在客服c的问题类簇范围中，则在步骤110将问题q加入最近(即，距离最小)的问题类簇。另外，还可以在可选步骤112更新该最近的问题类簇的原型向量pj，例如：
n记录了该问题类簇中已有的样本数。如上更新后的类簇原型向量pj表示该问题类簇中的所有样本的平均向量。在其他实施例中，问题类簇的原型向量pj可以不被更新，或者以其他方式被更新(例如，加权平均等)。
如果D(q,c)>＝t，表示问题q在客服c的问题类簇范围之外，则在步骤114新增一个问题类簇，原型向量pk可为：
pk＝s
该新增的问题类簇pk可被加入到客服c的类簇原型向量集P。
通过为每个输入样本(问题和相关联的客服)执行上述过程，最终可得到所有客服在向量空间的表示。通过将客服的答疑偏好表示为向量，就可以通过计算向量距离的方式完成用户咨询的分类派单，如以下详细描述的。
图2为根据本公开一个实施例的问题类簇训练示意图。假设问题派单模型中已存在应答方A的问题类簇210和应答方B的问题类簇220，并且将使用训练集来进行训练。该训练集包括应答方A曾回答的问题202和应答方B曾回答的问题204。
对于问题202，可以确定问题202的句向量。由于问题202是针对应答方A，因此可以确定问题202的句向量与应答方A的各个问题类簇(问题类簇210以及应答方A的其他问题类簇，若存在)的类簇原型向量之间的最小距离。在该实施例中，问题202最靠近应答方A的问题类簇210，因此问题202的句向量与问题类簇210之间的距离即为问题202的句向量与应答方A的各个问题类簇之间的最小距离。假设问题202的句向量与问题类簇210之间的距离小于阈值，则问题202可被加入应答方A的问题类簇210。由于问题类簇210的元素发生变化，问题类簇210的类簇原型向量还可相应地被更新。
对于问题204，可以确定问题204的句向量。由于问题204是针对应答方B，因此可以确定问题204的句向量与应答方B的各个问题类簇的类簇原型向量之间的最小距离。在该实施例中，问题204最靠近应答方B的问题类簇220，因此问题204的句向量与问题类簇220之间的距离即为问题204的句向量与应答方B的各个问题类簇之间的最小距离。假设问题204的句向量与问题类簇220之间的距离大于阈值，即问题204的句向量与应答方B的现有问题类簇不接近，则不能加入应答方B的现有问题类簇。因此，可以为应答方B生成与问题204相对应的新的问题类簇230。作为示例而非限定，该新的问题类簇230的类簇原型向量可以是问题204的句向量。
如图2中所示，在经过训练集训练之后，问题派单模型中原来的问题类簇210、220变为应答方A的更新后的问题类簇210、以及应答方B的问题类簇220和230。虽然图2中示出了分开的问题类簇210、220和230，但是应理解，不同应答方的问题类簇可以彼此重叠。例如，应答方A的问题类簇210可以与应答方B的问题类簇220完全或部分重叠。
图3为根据本公开一个实施例的问题派单方法的流程图。图3的方法可以使用如图1所示地训练的问题派单模型来执行。
在步骤302，可接收问题。根据本公开的***(例如，语音应答***、在线交流***等)可以从用户、网络、存储器、其他设备等接收问题(例如，咨询)。该问题可包括语音、文本、图片、视频等各种格式的问题。为便于处理，***可将除文本以外的格式(例如，语音、图片等)转换成文本格式。例如，可通过各种语音识别技术来将语音数据转换成文本格式，可通过光学字符识别(OCR)、人工神经网络技术(如RNN、LSTM、GRU)等技术来识别图像、视频等包含的文本信息。作为示例而非限定，***可以对输入的问题进行规范化处理，例如将句子中的某些表达替换成规范化表达(例如，全角转半角、英文大小写转换、简繁转换等)，去除无含义内容(如标点符号、数学字符、高频无用词等)，等等。
作为示例而非限定，服务群里有提问题的客户和解答问题的客服。用户将业务咨询以普通消息的形式发送到服务群里，客服需要对用户问题进行响应。除了业务咨询之外，用户之间也会有对话沟通，这些消息不需要客服处理。为提升客服的工作效率，服务群可使用模型来判断一句话是否是业务咨询，并对识别为业务问题的句子作进一步处理。
在步骤304，可确定该问题的句向量。可按照以上描述的方法或本领域当前已知或今后开发的任何合适的方法来确定该问题的句向量。
在步骤306，确定该问题的句向量与一个或多个候选应答方的各个类簇原型向量之间的距离。例如，如果一个服务群中有两个候选客服，每个候选客服可以有一个或多个类簇原型向量，则可以计算该问题的句向量与该服务群中的所有候选客服的所有类簇原型向量之间的距离。
在步骤308，确定是否存在小于阈值的距离。
如果存在小于阈值的距离，则在步骤310，可以生成候选子集，该候选子集包含与小于阈值的距离相对应的一个或多个应答方。
在步骤312，可以将该问题指派给该候选子集中的应答方。如果候选子集中仅存在一个候选应答方，则可以将该问题指派给这一个应答方。如果候选子集中存在多个应答方，则可按指定方式(例如，按照距离、优先级、繁忙程度、或随机地)将所述问题指派给候选子集中的一个应答方。作为示例而非限定，可以选择与最小距离相对应的一个应答方。作为另一示例，如果在步骤310找到多个满足距离条件的候选客服，则可以按指定方式(例如，优先级、随机地、繁忙程度等)选择候选子集中的一个候选客服。
如果在步骤308确定不存在小于阈值的距离，则在步骤314，可以按预定方式(例如，优先级、随机地、繁忙程度等)从所有可用的候选应答方中选择一个应答方。在步骤316，可以将问题指派(例如，发送、转发)给所选择的应答方。
以下以服务群作为示例而非限定给出一种具体使用场景。服务群启动时可以首先预加载所有应答方(例如，在岗客服)的类簇原型向量。当服务群接收到用户输入的问题时，流程如下：
第一步，确定用户问题q的句向量表示s，如以上参照步骤104、304所描述的。
第二步，计算问题句向量s与当前服务群中的所有客服类簇原型向量的距离。如果存在小于阈值的距离，则生成包含与小于阈值的距离相对应的一个或多个客服的候选子集。用户问题q可被指派给候选子集中的一个客服。
否则，如果不存在小于阈值的距离，表示没有匹配到任意一名客服，可输出默认(例如，兜底)结果。作为示例而非限定，服务群可以随机地把该问题派单到一名客服。
图4为根据本公开一个实施例的问题派单示意图。假设问题派单模型中已存在应答方A的问题类簇410和420、应答方B的问题类簇430、应答方C的问题类簇440、以及应答方D的问题类簇450。在***(问题派单模型)接收到问题402和404时，可如下将问题402和404分派给应答方。
对于问题402，可确定问题402的句向量，并确定问题402的句向量与各个问题类簇410-450之间的距离。随后可以确定问题402的句向量与问题类簇420和问题类簇440之间的距离小于阈值，从而可以生成应答方候选子集，该候选子集包括与问题类簇420和问题类簇440相对应的应答方A和C。随后，可以将问题402指派给应答方A或应答方C。作为示例，可以按指定方式(例如，优先级、随机地、繁忙程度等)选择应答方A或应答方C。
对于问题404，可确定问题404的句向量，并确定问题404的句向量与各个问题类簇410-450之间的距离。随后可以确定问题404的句向量与任何现有问题类簇410-450之间的距离皆不小于阈值。因此，可以按预定方式(例如，优先级、随机地、繁忙程度等)从所有可用的候选应答方A、B、C、D中选择一个应答方来负责回答问题404。
本文描述的方案建立了客服维度的分类派单模型，通过对客服回答问题的偏好进行建模，一方面在少量样本的情况下也能取得较好效果，另一方面能够支持客服要服务于多个服务群的情况。
图5为根据本公开一个实施例的问题派单训练装置500的框图。该问题派单训练装置500可包括接收组件501、句向量确定组件502、距离确定组件503、和类簇确定组件504。问题派单装置500可以使用计算机、处理器、计算机程序、机器模型等来实现。
接收组件501可接收训练集，该训练集包括预定问题和相关联的应答方。接收组件501可以从用户或者网络、存储器、其他设备等接收训练集。该训练集中的预定问题可包括特定应答方曾经回复过的问题、和/或希望由特定应答方回复的问题等。
句向量确定组件502可生成该预定问题的句向量，或者生成该预定问题的词向量并对词向量使用加权平均来确定该预定问题的句向量。
距离确定组件503可确定该预定问题的句向量与该应答方的一个或多个问题类簇的类簇原型向量之间的最小距离。
类簇确定组件504可用于如果该最小距离小于阈值，则将该预定问题加入最小距离对应的问题类簇，以及如果该最小距离不小于该阈值，则为该应答方生成与该预定问题相对应的新的问题类簇。类簇确定组件504还可用于在将预定问题加入最小距离对应的问题类簇时，更新该问题类簇的类簇原型向量。该更新可包括将该问题类簇的类簇原型向量与该预定问题的句向量进行加权平均以生成该问题类簇的新的类簇原型向量。在其他实现中，也可以不必针对问题类簇中每个新增的问题来更新类簇原型向量。相反，可以周期性地、随机地进行更新，等等。类簇确定组件504还可用于在为该应答方生成与该预定问题相对应的新的问题类簇时，将该预定问题的句向量作为新的问题类簇的类簇原型向量。
图6为根据本公开一个实施例的问题派单装置600的框图。该问题派单装置600可包括接收组件601、句向量确定组件602、距离确定组件603、和应答方确定组件604。问题派单装置600可以使用计算机、处理器、计算机程序、机器模型等来实现。
接收组件601可接收输入的问题。接收组件601可包括键盘、鼠标、触摸屏、显示器、语音输入设备、输入框等以从用户接收输入的问题。在其他实施例中，接收组件601也可以是能够从网络或其他设备接收问题的接收器，能够从存储器读取问题的信息读取组件，能够从音频、视频、图片等中识别问题的文字识别组件等。
句向量确定组件602可确定所接收的问题的句向量。句向量确定组件602可直接生成该问题的句向量，或者可生成该问题的词向量并对这些词向量使用加权平均来确定该问题的句向量。
距离确定组件603可确定该问题的句向量与一个或多个候选应答方的一个或多个问题类簇的类簇原型向量之间的距离。
应答方确定组件604可确定是否存在小于阈值的距离，如果存在小于阈值的距离，则生成与小于阈值的距离相对应的一个或多个应答方的候选子集并从该候选子集中选择应答方。例如，如果该候选子集中包含一个应答方，则将该问题指派给这一个候选应答方。如果该候选子集中包含多个应答方，则可按照优先级或随机地将该问题指派给候选子集中的一个应答方。应答方确定组件604还可用于如果确定不存在小于阈值的距离，则按照优先级或随机地将所述问题指派给一个候选应答方。
虽然图5和图6分别示出了问题派单训练装置500和问题派单装置600，但是本领域技术人员应理解，问题派单训练装置500和问题派单装置600可以作为整体一起实现。例如，该整体装置可包括接收组件、句向量确定组件、距离确定组件、类簇确定组件和应答方确定组件，其中接收组件、句向量确定组件、距离确定组件、类簇确定组件在训练过程中如上所述地针对预定问题和相关联的应答方进行训练，并且接收组件、句向量确定组件、距离确定组件、应答方确定组件如上所述地为所接收的待解答问题指派合适的应答方。当任一个应答方回复过一问题之后，类簇确定组件可实时地、或周期性地将该问题加入该应答方的相应问题类簇并更新类簇原型向量。
本公开可以广泛应用于即时通讯，例如QQ、微信、钉钉等。钉钉作为面向企业的IM软件，结合实际需要，在普通群聊的基础上开发了服务群的功能。在实际使用中，一个服务群里会有多名客服共同服务用户，每名客服擅长回答的领域不同。通过本公开，可以高效地将业务咨询派发给适合的客服。
除了服务群以外，本公开还可以应用于其他需要派单的场景。例如，在电话客服场景中(如电话银行、10086等)，用户可以输入需要办理的业务(例如通过语音或文本)，客服***可以识别用户的输入并将用户的问题派单到(例如，转发给)合适的工作人员，而无需用户反复根据语音提示通过输入数字的方式来选择业务线。
同样，在线上客服场景中，有时候会先由机器人为用户提供咨询服务。当用户需要人工服务时或者机器人无法解答用户问题时，***可以识别出用户的输入并将用户的问题派单到(例如，转发给)合适的客服人员，从而能够提供机器人与人工服务之间的高效切换。
本公开构建了可直接分类到具体应答方(例如，客服)的派单模型，减少了现有技术中由用户选择业务线的繁琐操作。此外，本公开通过原型网络提升了在小样本上的分类效果，无需大量数据集进行模型训练也能良好地运作，并且可在使用过程中实时地更新模型。
以上描述的基于原型网络的问题派单方法和装置的各个步骤和模块可以用硬件、软件、或其组合来实现。如果在硬件中实现，结合本公开描述的各种说明性步骤、模块、以及电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其他可编程逻辑组件、硬件组件、或其任何组合来实现或执行。通用处理器可以是处理器、微处理器、控制器、微控制器、或状态机等。如果在软件中实现，则结合本公开描述的各种说明性步骤、模块可以作为一条或多条指令或代码存储在计算机可读介质上或进行传送。实现本公开的各种操作的软件模块可驻留在存储介质中，如RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、可移动盘、CD-ROM、云存储等。存储介质可耦合到处理器以使得该处理器能从/向该存储介质读写信息，并执行相应的程序模块以实现本公开的各个步骤。而且，基于软件的实施例可以通过适当的通信手段被上载、下载或远程地访问。这种适当的通信手段包括例如互联网、万维网、内联网、软件应用、电缆(包括光纤电缆)、磁通信、电磁通信(包括RF、微波和红外通信)、电子通信或者其他这样的通信手段。
还应注意，这些实施例可能是作为被描绘为流程图、流图、结构图、或框图的过程来描述的。尽管流程图可能会把诸操作描述为顺序过程，但是这些操作中有许多操作能够并行或并发地执行。另外，这些操作的次序可被重新安排。
所公开的方法、装置和***不应以任何方式被限制。相反，本公开涵盖各种所公开的实施例(单独和彼此的各种组合和子组合)的所有新颖和非显而易见的特征和方面。所公开的方法、装置和***不限于任何具体方面或特征或它们的组合，所公开的任何实施例也不要求存在任一个或多个具体优点或者解决特定或所有技术问题。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多更改，这些均落在本公开的保护范围之内。

Claims (23)

1.一种用于问题派单训练的方法，其特征在于，包括：
接收训练集，所述训练集包括预定问题和相关联的应答方，其中所述应答方与一个或多个问题类簇相关联；
确定所述预定问题的句向量与所述应答方的一个或多个问题类簇的类簇原型向量之间的最小距离；
如果所述最小距离小于阈值，则将所述预定问题加入所述最小距离对应的问题类簇；以及
如果所述最小距离不小于所述阈值，则为所述应答方生成与所述预定问题相对应的新的问题类簇。
2.如权利要求1所述的方法，其特征在于，将所述预定问题加入所述最小距离对应的问题类簇包括：
更新所述问题类簇的类簇原型向量。
3.如权利要求2所述的方法，其特征在于，更新所述问题类簇的类簇原型向量包括：
将所述问题类簇的类簇原型向量与所述预定问题的句向量进行加权平均以生成所述问题类簇的新的类簇原型向量。
4.如权利要求1所述的方法，其特征在于，为所述应答方生成与所述预定问题相对应的新的问题类簇包括：
将所述预定问题的句向量作为所述新的问题类簇的类簇原型向量。
5.如权利要求1所述的方法，其特征在于，还包括：
生成所述预定问题的句向量；或者
生成所述预定问题的词向量并对所述词向量使用加权平均来确定所述预定问题的句向量。
6.如权利要求1所述的方法，其特征在于，所述训练集中的预定问题包括：
所述应答方曾经回复过的问题；和/或
希望由所述应答方回复的问题。
7.一种问题派单方法，其特征在于，包括：
接收问题；
确定所接收的问题的句向量；
确定所述问题的句向量与一个或多个候选应答方的一个或多个问题类簇的类簇原型向量之间的距离；
确定是否存在小于阈值的距离；以及
如果存在小于阈值的距离，则生成候选子集，所述候选子集包含与所述小于阈值的距离相对应的一个或多个应答方；以及
将所述问题指派给所述候选子集中的应答方。
8.如权利要求7所述的方法，其特征在于，还包括：
如果所述候选子集中存在一个应答方，则将所述问题指派给该应答方；或者
如果所述候选子集中存在多个应答方，则按照距离、优先级或随机地将所述问题指派给所述候选子集中的一个应答方。
9.如权利要求7所述的方法，其特征在于，还包括：
如果确定不存在小于阈值的距离，则按照优先级或随机地将所述问题指派给一个候选应答方。
10.如权利要求7所述的方法，其特征在于，确定所接收的问题的句向量包括：
生成所述问题的句向量；或者
生成所述问题的词向量并对所述词向量使用加权平均来确定所述问题的句向量。
11.如权利要求7所述的方法，其特征在于，所述问题包括以下一种或多种形式的问题：
语音、文本、图片、视频。
12.一种用于问题派单训练的装置，其特征在于，包括：
接收组件，其接收训练集，所述训练集包括预定问题和相关联的应答方，其中所述应答方与一个或多个问题类簇相关联；
距离确定组件，其确定所述预定问题的句向量与所述应答方的一个或多个问题类簇的类簇原型向量之间的最小距离；以及
类簇确定组件，其用于如果所述最小距离小于阈值，则将所述预定问题加入所述最小距离对应的问题类簇，以及如果所述最小距离不小于所述阈值，则为所述应答方生成与所述预定问题相对应的新的问题类簇。
13.如权利要求12所述的装置，其特征在于，所述类簇确定组件还在将所述预定问题加入所述最小距离对应的问题类簇时，更新所述问题类簇的类簇原型向量。
14.如权利要求13所述的装置，其特征在于，更新所述问题类簇的类簇原型向量包括：
将所述问题类簇的类簇原型向量与所述预定问题的句向量进行加权平均以生成所述问题类簇的新的类簇原型向量。
15.如权利要求12所述的装置，其特征在于，所述类簇确定组件还在为所述应答方生成与所述预定问题相对应的新的问题类簇时，将所述预定问题的句向量作为所述新的问题类簇的类簇原型向量。
16.如权利要求12所述的装置，其特征在于，还包括句向量确定组件，其用于：
生成所述预定问题的句向量；或者
生成所述预定问题的词向量并对所述词向量使用加权平均来确定所述预定问题的句向量。
17.如权利要求12所述的装置，其特征在于，所述训练集中的预定问题包括：
所述应答方曾经回复过的问题；和/或
希望由所述应答方回复的问题。
18.一种问题派单装置，其特征在于，包括：
接收组件，其接收问题；
句向量确定组件，其确定所接收的问题的句向量；
距离确定组件，其确定所述问题的句向量与一个或多个候选应答方的一个或多个问题类簇的类簇原型向量之间的距离；
应答方确定组件，其确定是否存在小于阈值的距离，如果存在小于阈值的距离，则生成候选子集，所述候选子集包含与所述小于阈值的距离相对应的一个或多个应答方，并将所述问题指派给所述候选子集中的应答方。
19.如权利要求18所述的装置，其特征在于，所述应答方确定组件还用于：
如果所述候选子集中存在一个应答方，则将所述问题指派给该应答方；或者
如果所述候选子集中存在多个应答方，则按照距离、优先级或随机地将所述问题指派给所述候选子集中的一个应答方。
20.如权利要求18所述的装置，其特征在于，所述应答方确定组件还用于：
如果确定不存在小于阈值的距离，则按照优先级或随机地将所述问题指派给一个候选应答方。
21.如权利要求18所述的装置，其特征在于，所述句向量确定组件用于：
生成所述问题的句向量；或者
生成所述问题的词向量并对所述词向量使用加权平均来确定所述问题的句向量。
22.如权利要求18所述的装置，其特征在于，所述问题包括以下一种或多种形式的问题：
语音、文本、图片、视频。
23.一种***，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器，
其中所述处理器被配置成执行所述处理器可执行指令以实现如权利要求1-11中任一项所述的方法。
CN201910677589.1A 2019-07-25 2019-07-25 一种用于问题派单及其训练的方法和装置 Pending CN110442692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910677589.1A CN110442692A (zh) 2019-07-25 2019-07-25 一种用于问题派单及其训练的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910677589.1A CN110442692A (zh) 2019-07-25 2019-07-25 一种用于问题派单及其训练的方法和装置

Publications (1)

Publication Number Publication Date
CN110442692A true CN110442692A (zh) 2019-11-12

Family

ID=68431527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910677589.1A Pending CN110442692A (zh) 2019-07-25 2019-07-25 一种用于问题派单及其训练的方法和装置

Country Status (1)

Country Link
CN (1) CN110442692A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032534A (zh) * 2019-12-24 2021-06-25 ***通信集团四川有限公司 对话文本的分类方法和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140358922A1 (en) * 2013-06-04 2014-12-04 International Business Machines Corporation Routing of Questions to Appropriately Trained Question and Answer System Pipelines Using Clustering
US20140358928A1 (en) * 2013-06-04 2014-12-04 International Business Machines Corporation Clustering Based Question Set Generation for Training and Testing of a Question and Answer System
CN105512153A (zh) * 2014-10-20 2016-04-20 中国电信股份有限公司 一种在线客服***的服务提供方法、装置及***
CN109040489A (zh) * 2018-08-02 2018-12-18 中国联合网络通信集团有限公司 电信客服的分配方法和装置
CN109040486A (zh) * 2018-08-30 2018-12-18 中通天鸿（北京）通信科技股份有限公司 一种呼叫中心坐席***
CN109102157A (zh) * 2018-07-11 2018-12-28 交通银行股份有限公司 一种基于深度学习的银行工单派单方法及***
CN109189901A (zh) * 2018-08-09 2019-01-11 北京中关村科金技术有限公司 一种智能客服***中自动发现新分类以及对应语料的方法
CN109214674A (zh) * 2018-08-27 2019-01-15 联想(北京)有限公司 客服***管理方法、客服***及电子设备
CN109684444A (zh) * 2018-11-02 2019-04-26 厦门快商通信息技术有限公司 一种智能客服方法及***
CN109783617A (zh) * 2018-12-11 2019-05-21 平安科技（深圳）有限公司 用于答复问题的模型训练方法、装置、设备及存储介质
CN110019149A (zh) * 2019-01-30 2019-07-16 阿里巴巴集团控股有限公司 一种客服知识库的建立方法、装置及设备
CN110046806A (zh) * 2019-03-29 2019-07-23 阿里巴巴集团控股有限公司 用于客服派单的方法、装置和计算设备
CN110046648A (zh) * 2019-03-13 2019-07-23 阿里巴巴集团控股有限公司 基于至少一个业务分类模型进行业务分类的方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140358928A1 (en) * 2013-06-04 2014-12-04 International Business Machines Corporation Clustering Based Question Set Generation for Training and Testing of a Question and Answer System
US20140358922A1 (en) * 2013-06-04 2014-12-04 International Business Machines Corporation Routing of Questions to Appropriately Trained Question and Answer System Pipelines Using Clustering
CN105512153A (zh) * 2014-10-20 2016-04-20 中国电信股份有限公司 一种在线客服***的服务提供方法、装置及***
CN109102157A (zh) * 2018-07-11 2018-12-28 交通银行股份有限公司 一种基于深度学习的银行工单派单方法及***
CN109040489A (zh) * 2018-08-02 2018-12-18 中国联合网络通信集团有限公司 电信客服的分配方法和装置
CN109189901A (zh) * 2018-08-09 2019-01-11 北京中关村科金技术有限公司 一种智能客服***中自动发现新分类以及对应语料的方法
CN109214674A (zh) * 2018-08-27 2019-01-15 联想(北京)有限公司 客服***管理方法、客服***及电子设备
CN109040486A (zh) * 2018-08-30 2018-12-18 中通天鸿（北京）通信科技股份有限公司 一种呼叫中心坐席***
CN109684444A (zh) * 2018-11-02 2019-04-26 厦门快商通信息技术有限公司 一种智能客服方法及***
CN109783617A (zh) * 2018-12-11 2019-05-21 平安科技（深圳）有限公司 用于答复问题的模型训练方法、装置、设备及存储介质
CN110019149A (zh) * 2019-01-30 2019-07-16 阿里巴巴集团控股有限公司 一种客服知识库的建立方法、装置及设备
CN110046648A (zh) * 2019-03-13 2019-07-23 阿里巴巴集团控股有限公司 基于至少一个业务分类模型进行业务分类的方法及装置
CN110046806A (zh) * 2019-03-29 2019-07-23 阿里巴巴集团控股有限公司 用于客服派单的方法、装置和计算设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032534A (zh) * 2019-12-24 2021-06-25 ***通信集团四川有限公司 对话文本的分类方法和电子设备

Similar Documents

Publication Publication Date Title
KR101925440B1 (ko) 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법
US11030412B2 (en) System and method for chatbot conversation construction and management
WO2022033332A1 (zh) 对话生成方法、网络训练方法、装置、存储介质及设备
CN108415932A (zh) 人机对话方法及电子设备
CN109299458A (zh) 实体识别方法、装置、设备及存储介质
CN109101545A (zh) 基于人机交互的自然语言处理方法、装置、设备和介质
US11423235B2 (en) Cognitive orchestration of multi-task dialogue system
CN106407178A (zh) 一种会话摘要生成方法及装置
CN114830614B (zh) 用于双向通信***的功能即服务云聊天机器人
CN104462600A (zh) 实现来电原因自动分类的方法及装置
CN108268450B (zh) 用于生成信息的方法和装置
Windiatmoko et al. Developing facebook chatbot based on deep learning using rasa framework for university enquiries
JP7488871B2 (ja) 対話推薦方法、装置、電子機器、記憶媒体ならびにコンピュータプログラム
US11068783B2 (en) Systems and methods for managing interaction invitations
Windiatmoko et al. Developing FB chatbot based on deep learning using RASA framework for university enquiries
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN116049360A (zh) 基于客户画像的智能语音对话场景话术干预方法及***
CN111813910A (zh) 客服问题的更新方法、***、终端设备及计算机存储介质
CN109493186A (zh) 确定推送信息的方法和装置
CN110442692A (zh) 一种用于问题派单及其训练的方法和装置
CN116860953A (zh) 一种基于问答***的问答匹配方法及***
CN114490994B (zh) 对话管理方法及装置
WO2020151017A1 (zh) 一种可扩展的领域人机对话***状态跟踪方法及设备
CN116521832A (zh) 对话交互方法、装置及***、电子设备和存储介质
Kobayashi et al. Social media mediation system for elderly people: message exchange learning type switching method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112