CN113268593A - 意图分类和模型的训练方法、装置、终端及存储介质 - Google Patents

意图分类和模型的训练方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN113268593A
CN113268593A CN202110538623.4A CN202110538623A CN113268593A CN 113268593 A CN113268593 A CN 113268593A CN 202110538623 A CN202110538623 A CN 202110538623A CN 113268593 A CN113268593 A CN 113268593A
Authority
CN
China
Prior art keywords
sample
training
samples
features
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110538623.4A
Other languages
English (en)
Inventor
连秋雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110538623.4A priority Critical patent/CN113268593A/zh
Publication of CN113268593A publication Critical patent/CN113268593A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例公开了一种意图分类和模型的训练方法、装置、终端及存储介质，属于计算机技术领域。本申请能够基于训练样本较少的第一训练样本集进行数据增强，得到训练样本较多的第二训练样本集，且第二训练样本集中的样本是实体和/或嵌入特征被编辑后的样本，使得训练样本能够同时在嵌入特征和样本中的上下文特征形成平衡，避免意图分类模型只要识别到实体就分类到指定意图，并避免了意图分类模型只要识别到相应的上下文句式就分类到指定意图，提高了意图分类模型在同时识别到上下文特征和实体时才将用户的语音分类到指定意图的能力，进而提高了相关语音助手正确识别用户意图的能力。

Description

意图分类和模型的训练方法、装置、终端及存储介质
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种意图分类和模型的训练方法、装置、终端及存储介质。
背景技术
意图分类是基于AI(Artificial Intelligence，人工智能)技术的语音助手的技能。具有良好的意图分类能力的语音助手，能够依据用户的语音提供用户想要的反馈。
相关技术中，由于训练样本集中已经标注好的样本数量少，且标注样本的成本较高，导致语音助手基于拥有较少训练样本的训练样本集完成训练，意图分类能力较弱，正确执行用户的需求的能力较低。
发明内容
本申请实施例提供了一种意图分类和模型的训练方法、装置、终端及存储介质。所述技术方案如下：
根据本申请的一方面内容，提供了一种意图分类方法，所述方法包括：
将查询语料的文本输入意图分类模型，所述意图分类模型是通过第二训练样本集训练完成的神经网络模型，所述第二训练样本集是第一训练样本集按照样本中有无实体进行扩充后得到的样本集；
通过所述意图分类模型分别提取所述文本的文本向量特征和所述文本的嵌入特征，所述文本向量特征用于指示所述文本在预设文本库中设定的特征，所述嵌入特征用于指示所述文本中是否包含第二文本库中指示的实体；
通过所述意图分类模型将所述文本向量特征与所述嵌入特征连接成一个整体的拼接特征；
通过所述意图分类模型对所述拼接特征进行处理，得到意图分类的结果，所述意图分类的结果用于指示所述查询语料的意图。
根据本申请的另一方面内容，提供了一种意图分类模型的训练方法，所述方法包括：
获取第一训练样本集，所述第一训练样本集包括第一样本，所述第一样本的特征包括文本向量特征和嵌入特征；
响应于所述第一样本中包括第一字典中定义的实体，对所述第一样本中的实体进行编辑和/或对所述嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，所述第二训练样本集中的样本数大于所述第一训练样本集中的样本数；
响应于所述第一样本中不包括所述第一字典中定义的实体，复制所述第一样本并将所述第一样本添加到所述第二训练样本集中；
基于所述第二训练样本集，训练原始意图分类模型，得到训练后的意图分类模型。
根据本申请的另一方面内容，提供了一种意图分类装置，所述装置包括：
文本输入模块，用于将查询语料的文本输入意图分类模型，所述意图分类模型是通过第二训练样本集训练完成的神经网络模型，所述第二训练样本集是第一训练样本集按照样本中有无实体进行扩充后得到的样本集；
特征提取模块，用于通过所述意图分类模型分别提取所述文本的文本向量特征和所述文本的嵌入特征，所述文本向量特征用于指示所述文本在预设文本库中设定的特征，所述嵌入特征用于指示所述文本中是否包含第二文本库中指示的实体；
特征连接模块，用于通过所述意图分类模型将所述文本向量特征与所述嵌入特征连接成一个整体的拼接特征；
结果获取模块，用于通过所述意图分类模型对所述拼接特征进行处理，得到意图分类的结果，所述意图分类的结果用于指示所述查询语料的意图。
根据本申请的另一方面内容，提供了一种意图分类模型的训练装置，所述装置包括：
获取第一训练样本集，所述第一训练样本集包括第一样本，所述第一样本的特征包括文本向量特征和嵌入特征；
样本编辑模块，用于响应于所述第一样本中包括第一字典中定义的实体，对所述第一样本中的实体进行编辑和/或对所述嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，所述第二训练样本集中的样本数大于所述第一训练样本集中的样本数；
样本复制模块，用于响应于所述第一样本中不包括所述第一字典中定义的实体，复制所述第一样本并将所述第一样本添加到所述第二训练样本集中；
模型训练模块，用于基于所述第二训练样本集，训练原始意图分类模型，得到训练后的意图分类模型。
根据本申请的另一方面内容，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如本申请各个方面提供的意图分类方法。
根据本申请的另一方面内容，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如本申请各个方面提供的意图分类模型的训练方法。
根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如本申请各个方面提供的意图分类方法。
根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如本申请各个方面提供的意图分类模型的训练方法。
根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述意图分类方面或者意图分类模型的训练方面的各种可选实现方式中提供的方法。
本申请能够基于训练样本较少的第一训练样本集进行数据增强，得到训练样本较多的第二训练样本集，且第二训练样本集中的样本是实体和/或嵌入特征被编辑后的样本，使得训练样本能够同时在嵌入特征和样本中的上下文特征形成平衡，避免意图分类模型只要识别到实体就分类到指定意图，并避免了意图分类模型只要识别到相应的上下文句式就分类到指定意图，提高了意图分类模型在同时识别到上下文特征和实体时才将用户的语音分类到指定意图的能力，进而提高了相关语音助手正确识别用户意图的能力。
附图说明
为了更清楚地介绍本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请一个示例性实施例提供的一种终端的结构框图；
图2是本申请一个示例性实施例提供的一种计算机设备的结构框图；
图3是本申请一个示例性实施例提供的一种意图分类模型的训练方法的流程图；
图4是基于图3所示实施例提供的一种实体识别和实体链接过程的示意图；
图5是基于图3所示实施例提供的一种意图识别模块的训练流程的示意图；
图6是本申请一个示意性实施例提供的一种意图分类模型的训练方法的流程图；
图7是本申请一个示例性实施例提供的一种意图分类方法的流程图；
图8是本申请另一个示例性实施例提供的一种意图分类方法流程图；
图9是基于图8所示实施例提供的一种意图分类模型的识别过程的示意图；
图10是本申请一个示例性实施例提供的一种意图分类装置的结构框图；
图11是本申请一个示例性实施例提供的一种意图分类装置的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
如本文中所使用，根据上下文，术语“如果”任选地被解释为“当......时”、“在……时”、“响应于确定”或“响应于检测”。类似地，根据上下文，短语“如果确定……”或“如果检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
需要说明的是，使用个人可识别信息应遵循公认为满足或超过维护用户隐私的行业或政府要求的隐私政策和做法。具体地，个人可识别信息在管理和处理的过程中应当向用户明确说明授权使用的性质，以使无意或未经授权的访问或使用的风险最小化。
随着语音助手在电子设备中的广泛应用，提供性能较佳的语音助手成为设计人员面临的一个共性问题。语音助手的基本结构，可以是基于深度学习提供的神经网络模型设计。在组建好语音助手后，设计人员可以通过训练语料对智能助手进行训练，以期得到能够对用户所说的文本进行意图识别，进而给出用户期望的结果。
由于语音助手具有普适性，不会随着其所搭载的硬件平台的不同而产生较大的变化。而相关技术中语音助手通常是各自独立开发的，因此，相关技术中的语音助手开发将造成较多的重复工作，影响智能家庭中各个设备总的开发进度。
相关技术中的另一个问题在于，训练语料中可以直接用于训练语音助手的训练样本较少，训练样本只能使用人工标注的方式来扩充样本，但是标注人工标注的效率较低且成本较高，不利于高效得到性能较佳的语音助手。
基于相关技术中存在的问题，本申请提供了一种意图识别的方法，该方法基于完成训练的语音助手对语音进行识别，得到相应的意图，并根据意图向用户提供期望的结果，从而实现了在不增加人工标注的训练语料的基础上，同时增加体现上下文特征和嵌入特征的正样本以及负样本，使得完成训练的语音助手能够同时在语音满足上下文特征和嵌入特征的情况下，对该语音进行识别，提高了语音助手兼顾语音中的上下文特征和实体特征的能力，在不增加人工标注的训练语料的基础上，提高了语音助手准确识别语音的意图的能力。
为了本申请实施例所示方案易于理解，下面对本申请实施例中出现的若干名词进行介绍。
语音助手：基于AI技术提供的语音交互程序。语音助手能够将在环境中采集的语音作为输入，对语音的意图进行识别，并根据意图提供的相应的结果。
一种可能的方式中，语音助手通过一问一答的方式与用户进行交互。在另一种可能的方式中，语音助手通过连续问答的方式与用户进行交互。
自然语言处理(Natural Language Processing，NLP)：是人工智能领域中用于帮助机器理解用户的自然语言的技术，目的在于帮助机器理解用户的自然语言之后，能够准确获知用户的意图并执行用户希望的操作。
意图识别：用于识别出用户要做什么。在一个意图识别的过程中，终端通过分类的方法将句子或query(查询)分类到相应的意图种类。例如，用户输入的语音是“我想听歌手A的歌。”，则终端可以通过分类的方法将该句子分类到音乐意图中。
示例性地，本申请实施例所示的意图分类方法，可以应用在终端中，该终端具备显示屏且具备意图分类功能。终端可以包括手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、服务器、工作站、电视、机顶盒、智能眼镜、智能手表、数码相机、MP4播放终端、MP5播放终端、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(Virtual Reality，VR)播放终端或增强现实(Augmented Reality，AR)播放终端等。
图1是本申请一个示例性实施例提供的一种终端的结构框图，如图1所示，该终端包括处理器120、存储器140、扬声器160和麦克风180，所述存储器140中存储有至少一条指令，所述指令由所述处理器120加载并执行以实现如本申请各个方法实施例所述的意图分类方法。扬声器160用于在处理器120的控制下播放存储在存储器140中的声音。麦克风180用于采集环境中的声音，示意性的，当环境中存在用户发出的语音时，麦克风180能够采集到该语音。
在本申请中，终端100是具备语音助手的电子设备。语音助手在终端100中通过意图分类模型实现识别语音的意图。终端100能够将查询语料的文本输入意图分类模型，所述意图分类模型是通过第二训练样本集训练完成的神经网络模型，所述第二训练样本集是第一训练样本集按照样本中有无实体进行扩充后得到的样本集；通过所述意图分类模型分别提取所述文本的文本向量特征和所述文本的嵌入特征，所述文本向量特征用于指示所述文本在预设文本库中设定的特征，所述嵌入特征用于指示所述文本中是否包含第二文本库中指示的实体；通过所述意图分类模型将所述文本向量特征与所述嵌入特征连接成一个整体的拼接特征；通过所述意图分类模型对所述拼接特征进行处理，得到意图分类的结果，所述意图分类的结果用于指示所述查询语料的意图。
处理器120可以包括一个或者多个处理核心。处理器120利用各种接口和线路连接整个终端100内的各个部分，通过运行或执行存储在存储器140内的指令、程序、代码集或指令集，以及调用存储在存储器140内的数据，执行终端100的各种功能和处理数据。可选的，处理器120可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器120可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器120中，单独通过一块芯片进行实现。
存储器140可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选的，该存储器140包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器140可用于存储指令、程序、代码、代码集或指令集。存储器140可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储下面各个方法实施例中涉及到的数据等。
扬声器160能够将终端100需要播放到环境中声音进行播放。一种可能的方式中，处理器120能够基于存储器140提供的数据生成机器语音。在该场景中，扬声器160在处理器120的控制下，播放机器语音。
麦克风180能够采集环境中的声音。响应于麦克风180采集的环境中的声音，处理器120能够分析该声音，并从中提取出语音。对语音进行识别后，处理器120能够应用本申请提供的意图分类方法，对语音的意图进行分类，进而实现正确对用户的意图进行反馈的效果。
示意性的，终端100可以是智能手机、智能电视、蓝牙音箱、车载电脑、智能手表、智能眼镜或智能手环中的任意一种。需要说明的是，上述实际的硬件设备仅为示意性说明，并不对终端其它可能实现的形态形成限定。
图2是本申请一个示例性实施例提供的一种计算机设备的结构框图，如图2所示，该计算机设备包括处理器220、存储器240和通信组件260，所述存储器240中存储有至少一条指令，所述指令由所述处理器220加载并执行以实现如本申请各个方法实施例所述的意图分类模型的训练方法。
在本申请中，计算机设备200是具备训练意图分类模型的电子设备。通常而言，服务器或专用计算设备均可以是计算机设备200的实际实现方式。为了提高训练意图分类模型的效率，设计人员可以对计算机设备200的硬件设备进行优化，得到相应性能优秀的设备，缩短得到完成训练的意图分类模型的时长。
示意性的，计算机设备200能够获取第一训练样本集，所述第一训练样本集包括第一样本，所述第一样本的特征包括文本向量特征和嵌入特征；响应于所述第一样本中包括第一字典中定义的实体，对所述第一样本中的实体进行编辑和/或对所述嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，所述第二训练样本集中的样本数大于所述第一训练样本集中的样本数；响应于所述第一样本中不包括所述第一字典中定义的实体，复制所述第一样本并将所述第一样本添加到所述第二训练样本集中；基于所述第二训练样本集，训练原始意图分类模型，得到训练后的意图分类模型。
处理器220可以包括一个或者多个处理核心。处理器220利用各种接口和线路连接整个计算机设备200内的各个部分，通过运行或执行存储在存储器240内的指令、程序、代码集或指令集，以及调用存储在存储器240内的数据，执行计算机设备200的各种功能和处理数据。可选的，处理器220可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器220可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器220中，单独通过一块芯片进行实现。
存储器240可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选的，该存储器240包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器240可用于存储指令、程序、代码、代码集或指令集。存储器240可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储下面各个方法实施例中涉及到的数据等。
在本申请中，由于方便获得的第一训练样本集中已标注好的样本数量较少，并且人工标注新的样本的成本较高且效率较低。因此，本申请提供一种通过数据增强的方式来得到第二训练样本集，并通过第二训练样本训练意图分类模型的方法。在该方法中，本申请基于第一训练样本集中的样本来进行数据增强，根据样本中有无实体的情况进行不同方式的扩充，达到扩充样本的同时提高扩充后的样本训练好意图分类模型的能力。
请参见图3，图3是本申请一个示例性实施例提供的一种意图分类模型的训练方法的流程图。该意图分类模型的训练方法可以应用在上述图2的计算机设备中。在图3中，意图分类模型的训练方法包括：
步骤310，获取第一训练样本集，第一训练样本集包括第一样本，第一样本的特征包括文本向量特征和嵌入特征。
在本申请中，第一训练样本集可以从公开的数据库或者训练集提供方中获取。该第一训练样本集在业内通常的情况是标注好的样本数目较少。也即，第一样本的数量较少，训练好意图分类模型的能力较弱。示意性的，第一样本的特征包括文本向量特征和嵌入特征。
在一种可能的方式中，文本可以是文字类语言。第一样本中的每一个文字对应一个一个文本向量特征和相应的嵌入特征。例如，第一样本是“我爱听古筝梁祝。”其中，“梁”字的文本向量特征是200维，“梁”字的嵌入特征是5维，则步骤中，终端将得到200维的文本向量特征和5维的嵌入特征。
步骤320，响应于第一样本中包括第一字典中定义的实体，对第一样本中的实体进行编辑和/或对嵌入特征进行编辑，得到第二样本并将第二样本添加到第二训练样本集中，第二训练样本集中的样本数大于第一训练样本集中的样本数。
在本申请中，终端能够对第一样本进行实体识别。请参见图4，图4是基于图3所示实施例提供的一种实体识别(NER，Named Entity Recognition)和实体链接(NEL，EntityLinking)过程的示意图。
在图4中，查询语句query将分别通过n种实体类别进行识别。其中，n是正整数，n的数量可以根据设计人员的设计预先确定。例如，n可以是3、4、5、7或10等数值。每一个实体类别可以是具体的类型。例如，实体类别可以是“歌曲类型”、“歌曲名称”、“歌手名称”、“费用信息”和“所属应用”。在此场景中，若query410中的字包括上述哪一种类型的实体，则该字在该类别中的数值为1，否则为0。比如，查询语句query“我爱听古筝梁祝”，最终得到的5维的嵌入特征是(01000)。需要说明的是，嵌入特征也可以标表示为实体信息特征。
需要说明的是，本申请还能够预先构建嵌入知识。在该过程中，本申请能够对实体资源进行细化分类，将实体所属类别的信息定义为实体知识。然后对查询语句进行实体提取，并通过实体链接的方式得到对应的是实体知识。需要说明的是，本操作得到的是体制是可以是查询语句query的先验特征。
由此可见，上述嵌入知识构建的方式能够得到额外的特征，从而实现查询语句query的先验特征充分利用，减小意图分类模型训练时的难度。同时，本申请能够在NLU(Natural Language Understanding，自然语言理解)上游完成对实体的分类，由此可减少NLU下游中的数据增强获取资源的难度和耗时，实现整个对话链路的高效性。
请参见图5，图5是基于图3所示实施例提供的一种意图识别模块的训练流程的示意图。在图5中，查询语句query510首先经过实体识别(NER)模块520的处理，并通过实体链接(NEL)模块530基于实体知识的链接，得到相应的嵌入特征。随后，标注有嵌入特征的查询语句query510经过数据增强540处理后，能够提供同时包括嵌入特征和实***置信息的训练样本。随后，原始意图分类模型经过模型训练模块550处理后，得到训练后的意图分类模型560。
步骤330，响应于第一样本中不包括第一字典中定义的实体，复制第一样本并将第一样本添加到第二训练样本集中。
在本申请中，终端能够根据第一样本中是否包括实体来决定如何基于第一样本进行数据增强，从而扩充出多个样本，使得第二训练样本集中的训练样本多于第一样本。
在一种场景中，第一样本中的第一样本是有标签数据，但是第一样本的数据较少。数据增强作为一种有效的方案应运而生。在一种可能的场景中，当第一训练样本集带有的实体的第一样本的数量较少时，查询语句query的上下文特征携带的信息量会原大于嵌入特征的信息量，或者，查询语句query的上下文特征携带的信息量会原大于嵌入特征和实***置信息的信息量。在该场景中，嵌入特征会在一定程度上失效，也即嵌入特征是否有效严重依赖于第一样本的数量和分布，本申请能够通过数据增强的方案来控制嵌入特征的有效性。
示意性的，嵌入特征的有效性不可过强，需要避免查询语句query中一出现嵌入特征查询语句query就被召回的问题。因此，本申请需要通过数据增强方案，在保证嵌入特征有效的同时，上下文信息依然重要的特性，从而保证训练后的意图分类模型的高准召。
步骤340，基于第二训练样本集，训练原始意图分类模型，得到训练后的意图分类模型。
综上可知，在本申请中，终端能够基于数据增强后的第二训练样本集，开始训练原始意图分类模型，从而得到训练后的意图分类模型。由于本申请已经对第二训练样本集进行了有效扩充，使得扩充后的嵌入特征不至于过强，同时提供了上下文信息，使得意图分类模型能够在上下文特征和嵌入特征同时存在时进行意图分类。由此可见，本申请既能够扩充训练样本集中的样本数量，又能够同时包括嵌入特征和上下文特征，提高了意图分类模型的训练效果，既避免意图分类模型在查询语句中一出现关键词就将其分类到指定意图，也避免了查询语句符合意图的查询句式时就将其分类到指定意图，能够在上下文信息和嵌入特征同时满足寻求时进行意图分类，提高了意图分类模型的训练效果。
请参考图6，图6是本申请一个示意性实施例提供的一种意图分类模型的训练方法的流程图。该意图分类模型的训练方法可以应用在上述图2所述的计算机设备中。在图6中，意图分类模型的训练方法包括：
步骤611，获取第一训练样本集。
示意性的，第一训练样本集可以从公开的数据库获取。其中，第一训练样本集中的第一样本是带有标签的数据。
步骤612，对第一样本进行语料扩充，得到查询语句query。
在本申请中，第一样本可能不包括人称词和语气词等。本申请能够对第一样本进行语料扩充，从而得到查询语句query。
步骤613，基于第一字典，对查询语句query进行实体提取。
在本申请中，本申请能够基于第一字典，对查询语句query进行实体提取。其中，第一字典中记载有各个种类的实体。
步骤614，判断查询语句query中是否包括第一字典中定义的实体。
在本申请中，终端执行完成步骤614后，若查询语句query中包括第一字典中定义的实体，则执行步骤621。若查询语句query中不包括第一字典中定义的实体，则执行步骤681。
步骤621，响应于查询语句query中包括第一字典中定义的实体，提取查询语句query的嵌入特征。
步骤622，判断包括查询语句query的第一样本是否是正样本。
在本申请中，终端可以在第一样本是正样本时，通过5个分支实现样本的扩充。其中，正样本的扩充方式是1个分支，负样本的扩充方式是4个分支。
需要说明的是，第一样本是第一训练样本集中的父正样本，该父正样本的含义是作为扩充前使用的正样本，相当于原料，用于获取扩充后的样本。其中，扩充后的第二样本包括正样本和负样本。扩充后的正样本是子正样本。扩充后的负样本是子负样本。
示意性的，正样本的扩充方式包括第一分支，第一分支包括步骤631至步骤633。负样本的扩充方式包括第二分支、第三分支、第四分支和第五分支。其中，第二分支包括步骤641和步骤642。第三分支包括步骤651和步骤652。第四分支包括步骤661和步骤662。第五分支包括步骤671、步骤672和步骤673。
步骤631，基于第二字典生成第二实体。
其中，第二字典和第一字典属于同一语言。
需要说明的是，第二实体中包括的字符范围可以在第一范围内，第一范围是[a，b]，其中a和b均为正整数，且b大于a。示意性的，为符合第一字典所属语言的语言习惯，该第一范围可以与第一字典所属语言的种类相关联。例如，若第一字典所属语言是汉语，则第一范围可以是[2，6]。示意性的，该举例仅为示意性说明，不对本申请实施例形成限定。
步骤632，将父正样本中的第一实体替换为第二实体，得到子正样本。
其中，子正样本的嵌入特征和父正样本的嵌入特征相同。
可选的，若父正样本是“我喜欢听歌手XX的摇滚歌曲YY。”，且其中的第一实体被认定是“YY”，则该步骤执行后，子正样本是“我喜欢听歌手XX的摇滚歌曲ZZZ。”在该例中，第二实体是“ZZZ”。若父正样本的嵌入特征是(00101)，则子正样本的嵌入特征也是(00101)。
步骤633，将子正样本添加到第二训练样本集中。
步骤641，复制子正样本，将子正样本中的嵌入特征的各个维数替换为零，得到第一负样本。
其中，第一负样本属于子负样本。
示意性的，若子正样本的嵌入特征是(00101)，则第一负样本和子正样本的文本内容相同，但第一负样本的嵌入特征是(00000)。两者的嵌入特征的维数相同，但是第一负样本的嵌入特征的每一维均为0。
步骤642，将第一负样本添加到第二训练样本集中。
步骤651，复制子正样本，保持第二实体不变，并将子正样本中的其它内容改变为语料负样本的内容，得到第二负样本。
其中，语料负样本是预先标注为负样本的样本，第二负样本属于子负样本且第二负样本的嵌入特征和父正样本的嵌入特征相同。
示意性的，若子正样本是“我喜欢听歌手XX的摇滚歌曲ZZZ。”，其中第二实体是“ZZZ”，则第二负样本可以是“查询一下今天的天气ZZZ”。若父正样本的嵌入特征是(00101)，则第二负样本的嵌入特征也为(00101)。
步骤652，将第二负样本添加到第二训练样本集中。
步骤661，复制子正样本，给第二实体增加词缀，词缀包括前置词缀和/或后置词缀，得到第三负样本。
其中，第三负样本属于子负样本且第三负样本的嵌入特征和父正样本的嵌入特征相同。
示意性的，若第二实体是词汇“ZZZ”，则前缀是在该词汇的前方增加。例如前缀是NN，则增加前缀后的词汇是“NNZZZ”。
示意性的，若第二实体是词汇“ZZZ”，则后缀是在该词汇的后方增加。例如后缀是KK，则增加后缀后的词汇是“ZZZKK”。
步骤662，将第三负样本添加到第二训练样本集中。
步骤671，从负向关键词表中提取负向关键词。
可选地，负向关键词表可以是预先设置的表格，该表用于提供负向关键词。一种提供负向关键词的方法是随机输出负向关键词。另一种可能的方法是按照表格中存储负向关键词的顺序，在需要时依次输出负向关键词。
步骤672，将父正样本中的第一实体替换为负向关键词。
示意性的，若父正样本是“我喜欢听歌手XX的摇滚歌曲YY。”，第一实体是“YY”，且负向关键词是“多云有雨”，则第一实体替换后是“我喜欢听歌手XX的摇滚歌曲多云有雨”。
步骤673，将父正样本的嵌入特征的各个维数替换为零，得到第四负样本。
其中，第四负样本属于子负样本。
示意性的，基于上述父正样本是“我喜欢听歌手XX的摇滚歌曲YY。”替换第一实体后得到“我喜欢听歌手XX的摇滚歌曲多云有雨”的例子。若父正样本的嵌入特征是(00101)，则第四负样本的嵌入特征是(00000)。
步骤681，响应于第一样本中不包括第一字典中定义的实体且第一样本是正样本，复制m个第一样本。
步骤682，将m个第一样本添加到第二训练样本集中。
在本申请的另一种可能的实施方式中，响应于第一样本中不包括第一字典中定义的实体且第一样本是负样本，将第一样本的文本向量特征增加嵌入特征后保留在第二训练样本集中。需要说明的是，该场景中的第一样本既不包括实体也不是正样本，则该样本不用来扩充样本，仅在增添嵌入特征之后保留在第二训练样本集中。
步骤690，基于第二训练样本集，训练原始意图分类模型，得到训练后的意图分类模型。
综上所述，本申请提供的意图分类模型的训练方法，能够通过多种方法将第一样本编辑为第二样本，将第二样本加入到第二训练样本集，实现扩充用于训练意图分类模型的训练样本集的效果。其中，本申请不仅通过保留嵌入特征不变而实体改变的方式来提高模型识别上下文信息加嵌入特征的能力，而且还能够通过实体替换且嵌入特征全更换为0来弱化单独上下文信息的影响，并能够通过将上下文信息替换为负样本中的内容且保留实体和相应的嵌入特征，来弱化单独嵌入特征和实体的影响，也能够通过扩充实体且保持嵌入特征不变来弱化实体扩充后的影响，使得训练样本中的单独的实体、嵌入特征和上下文信息都难以影响意图分类模型的判断，提高了意图分类模型的训练效果。
请参见图7，图7是本申请一个示例性实施例提供的一种意图分类方法的流程图。该意图分类方法可以应用在上述图1所示的终端中。在图7中，意图分类方法包括：
步骤710，将查询语料的文本输入意图分类模型，意图分类模型是通过第二训练样本集训练完成的神经网络模型，第二训练样本集是第一训练样本集按照样本中有无实体进行扩充后得到的样本集。
在本申请实施例中，终端中能够安装具备意图分类模型的语音助手。当终端中的语音助手被唤醒时，终端能够通过语音助手采集用户说出的语音。其中，用户说出的语音将被视作查询语料。该查询语料可以是一个句子，也可是若干个词汇组成的短语，还可以单独的词汇，本申请实施例不对查询语料形成限定。
终端可以通过语音识别功能将用户的语音识别为查询语料。一种可能的方式中，语音助手中内置语音识别功能，该语音识别功能需要调用云端的服务器加以实现。在该应用场景中，终端需要在联网的情况使用语音助手。
另一种可能的方式中，语音识别功能由终端本端提供。在该场景中，终端能够在离线的情况下使用语音助手。
又一种可能的方式中，语音识别功能由终端所在的局域网中的指定设备提供。终端在使用该语音助手时，仅需要在局域网中保持在线即可。
需要说明的是，当语音助手获取到查询语料时，可将查询语料作为输入到意图分类模型中。在本例中，意图分类模型可以是一个已经封装完毕的神经网络模型。该意图分类模型可以由算力较为强大的计算机设备完成训练，通过网络推送到终端中。其中，计算机设备将训练完成的意图分类模型下发到终端的过程可以是语音助手进行更新时刻。
需要说明的是，在另一种可能的方式中，终端可以仅提供语音助手的用户界面(UI，User Interface)，而该语音助手的程序安装在云端服务器中，整个运行过程是基于云端服务器提供的硬件环境执行的。在该过程中，意图分类模型可以由专用的计算机设备训练完成，随后推送至提供语音助手服务的云端服务器中。
示意性的，意图分类模型在完成训练之后，可以是一个对于外部成黑盒状态的数据数据体。该意图分类模型所需的输入是查询语料，输出是意图分类结果。
一种可能的方式中，该意图分类模型可以被整合到语音助手中，成为语音助手的一部分。
另一种可能的方式中，该意图分类模型是一个独立的数据体，能够被语音助手调用并实现相关功能。同时，终端中的其它对象同样能够调用该意图分类模型并实现相关功能。
对于意图分类模型而言，该模型是基于第二训练样本集训练完成的神经网络模型。其中，第二训练样本集是第一样本经过数据增强后得到的训练样本集。第一样本中的训练样本能够以及有无实体为标准进行扩充，扩充后的训练样本集能够将意图分类模型训练的分类能力更强。
步骤720，通过意图分类模型分别提取文本的文本向量特征和文本的嵌入特征，文本向量特征用于指示文本在预设文本库中设定的特征，嵌入特征用于指示文本中是否包含第二文本库中指示的实体。
在本申请中，终端将查询语料的文本输入到意图分类模型后，意图分类模型具备从查询语料中同时提取文本向量特征和嵌入特征。
其中，文本向量特征用于指示文本在预设文本库中设定的特征。也即，无论何时何地，只要相同的文本输入到意图分类模型中，意图分类模型基于同一个预设文本库，得到的文本向量特征是相同的。也即，文本向量特征取决于预设文本库。
一种场景中，预设文本库支持的语言可以是文字类语言，该文字类语言的最小单位是字，字可以组成为词汇。示意性的，汉语是一种文字类语言。
当预设文本库支持的语言是文字类语言时，一种可能的方式中，预设文本库是词典，该预设文本库将以词汇为单元，输出查询语料的文本向量特征。另一种可能的方式中，预设文本库是字典，该预设文本库将以字为单元，输出查询语料的文本向量特征。
另一种场景中，预设文本库支持的语言可以是字母类语言，该字母类语言的最小单位是单词，单词可以组成短语。示意性的，英语是一种字母类语言。
步骤730，通过意图分类模型将文本向量特征与嵌入特征连接成一个整体的拼接特征。
在本申请实施例中，终端在得到文本的文本向量特征和嵌入特征之后，能够将上述两个特征连接成一个整体的拼接特征。需要说明的是，在一种可能的连接方式中，终端直接将文本向量特征和嵌入特征串接在一起，组成一个作为整体的拼接特征。
示意性的，对于嵌入特征而言，该特征是用于识别查询语料中是否包含指定的实体的特征。通常而言，嵌入特征是一个n维的向量，每一维表示一个类型的实体。举例来说，请参见表一。
Figure BDA0003070855300000141
表一
在表一所示的例子中，查询语料的文本是“我爱听古筝梁祝”。预设文本库是一个字典，以字为单元划分了上述文本。并对文本中的每一个字进行了嵌入特征的提取。表一所示的嵌入特征是一个5维的向量，每一个字均对应一个嵌入特征。
以其中的“筝”字为例进行说明。“筝”字的嵌入特征是(00010)。其中，第一维是0，表示该字不涉及实体“作者”；第二维是0，表示该字不涉及实体“费用”；第三维是0，表示该字不涉及实体“歌曲名称”；第四维是1，表示该字涉及实体“歌曲类型”；第五维是0，表示该字不涉及实体“所属应用”。
类似的，不同的意图分类模型可以设计不同维数的嵌入特征，用来识别相应的意图。例如，表一所示的嵌入特征，目的在于识别出用户是否想要听指定应用中的某种歌曲。也即，在一次识别过程中，意图分类模型中可以包括多种嵌入模型，用来识别用户是哪一种意图。在表一所示的嵌入特征中，也可以包括多种详细的意图。
需要说明的是，上述查询语料的文本中的每一个字的文本向量特征的维数可能均较多。例如，一个字的维数可能高达数十维或者数百维。以一个字的维数是200维为例，则在嵌入特征是5维时，该字的拼接特征是205维。
步骤740，通过意图分类模型对拼接特征进行处理，得到意图分类的结果，意图分类的结果用于指示查询语料的意图。
在意图分类模型中，该模型能够对拼接特征进行处理，从而得到意图分类的结果，将该意图分类的结果指示查询语料的意图。
综上所述，本实施例提供的意图分类方法，能够基于训练样本较少的第一训练样本集进行数据增强，得到训练样本较多的第二训练样本集，且第二训练样本集中的样本是实体和/或嵌入特征被编辑后的样本，使得训练样本能够同时在嵌入特征和样本中的上下文特征形成平衡，避免意图分类模型只要识别到实体就分类到指定意图，并避免了意图分类模型只要识别到相应的上下文句式就分类到指定意图，提高了意图分类模型在同时识别到上下文特征和实体时才将用户的语音分类到指定意图的能力，进而提高了相关语音助手正确识别用户意图的能力。
基于上一个实施例所公开的方案，终端还能够在意图分类模型中以字为单元划分文本，或者，以词为单元划分文本，请参考如下实施例。
请参见图8，图8是本申请另一个示例性实施例提供的一种意图分类方法流程图。该意图分类方法可以应用在上述所示的终端中。在图8中，该意图分类方法包括：
步骤810，将查询语料的文本输入意图分类模型。
在本申请中，步骤810的执行过程和步骤710的执行过程相同，此处不再赘述。
步骤821，通过意图分类模型，以文本元素为基准将文本划分为n个文本元素组成的元素队列，文本元素是文字或词汇，n为正整数。
步骤822，分别获取元素队列中每一个文本元素的文本向量特征和嵌入特征。
在本申请实施例中，文本元素既可以是字也可以是词汇。当文本元素基于的语言是汉语时，文本元素既可以是汉字，也可以是汉语词汇。
步骤830，通过意图分类模型将文本向量特征与嵌入特征连接成一个整体的拼接特征。
在本申请中，步骤830的执行过程和步骤730的执行过程相同，此处不再赘述。
步骤841，通过意图分类模型以预设的卷积核对拼接特征进行卷积，得到第一中间特征。
步骤842，通过意图分类模型对卷积特征进行最大池化操作，得到第二中间特征。
步骤843，通过意图分类模型对第二中间特征进行全连接操作，得到意图分类的结果。
请参见图9，图9是基于图8所示实施例提供的一种意图分类模型的识别过程的示意图。在图9中，输入意图分类模型的输入特征是“我想看AB免费的言情小说CDE。”嵌入特征中的每一个维度分别表示“作者”、“费用信息”、“书籍名称”、“书籍类型”和“应用名称”。
以文本元素是字，分别获取每一个字的嵌入特征，“我”-(00000)；“想”-(00000)；“看”-(00000)；“A”-(10000)；“B”-(10000)；“免”-(01000)；“费”-(01000)；“的”-(00000)；“言”-(00010)；“情”-(00010)；“小”-(00000)；“说”-(00000)；“C”-(00100)；“D”-(00100)；“E”-(00100)。
需要说明的是，以汉字“看”举例，其嵌入特征如上所列，是(00000)。在此基础上，分别获取每一个字的字向量特征。本方案中以字向量特征是六维为例进行说明。以下是各个字的字向量特征：“我”-(100100)；“想”-(100101)；“看”-(100110)；“A”-(100111)；“B”-(101100)；“免”-(101101)；“费”-(101110)；“的”-(101111)；“言”-(110100)；“情”-(110101)；“小”-(110110)；“说”-(110111)；“C”-(111000)；“D”-(111001)；“E”-(111011)。
需要说明的是，本申请中仅以字向量特征是6维进行说明，在实际操作过程中，字向量特征可以是几十维甚至几百维。
随后，字向量特征和嵌入特征连接为拼接特征。例如图9中的矩阵是18*11的大小。由于“我想看AB免费的言情小说CDE”只占用15行，则剩余3行用0填充。之后，该矩阵分别经过卷积层得到第一中间特征，第一中间特征在经过最大池化层的处理得到第二中间特征，第二中间特征经过全连接层后，得到意图分类的结果。
需要说明的是，其中卷积层可以分别通过维数是3、4或5的3种卷积核进行处理。其中，每种卷积核的个数可以是128个。
示意性的，本申请提供的方法还能够应用在云端技能平台中，能够供多个垂直领域共同使用。
综上所述，本实施例能够根据通过经过第二训练样本集训练的意图分类模型处理查询语料，且第二训练样本集中的样本是实体和/或嵌入特征被编辑后的样本，使得训练样本能够同时在嵌入特征和样本中的上下文特征形成平衡，避免意图分类模型只要识别到实体就分类到指定意图，并避免了意图分类模型只要识别到相应的上下文句式就分类到指定意图，提高了意图分类模型在同时识别到上下文特征和实体时才将用户的语音分类到指定意图的能力，进而提高了相关语音助手正确识别用户意图的能力。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图10，图10是本申请一个示例性实施例提供的一种意图分类装置的结构框图。该意图分类装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置包括：
文本输入模块1010，用于将查询语料的文本输入意图分类模型，所述意图分类模型是通过第二训练样本集训练完成的神经网络模型，所述第二训练样本集是第一训练样本集按照样本中有无实体进行扩充后得到的样本集；
特征提取模块1020，用于通过所述意图分类模型分别提取所述文本的文本向量特征和所述文本的嵌入特征，所述文本向量特征用于指示所述文本在预设文本库中设定的特征，所述嵌入特征用于指示所述文本中是否包含第二文本库中指示的实体；
特征连接模块1030，用于通过所述意图分类模型将所述文本向量特征与所述嵌入特征连接成一个整体的拼接特征；
结果获取模块1040，用于通过所述意图分类模型对所述拼接特征进行处理，得到意图分类的结果，所述意图分类的结果用于指示所述查询语料的意图。
在一个可选的实施例中，所述特征提取模块1020，用于通过所述意图分类模型，以文本元素为基准将所述文本划分为n个所述文本元素组成的元素队列，所述文本元素是文字或词汇，n为正整数；分别获取所述元素队列中每一个所述文本元素的所述文本向量特征和所述嵌入特征。
在一个可选的实施例中，所述结果获取模块1040，用于通过所述意图分类模型以预设的卷积核对所述拼接特征进行卷积，得到第一中间特征；通过所述意图分类模型对所述第一中间特征进行最大池化操作，得到第二中间特征；通过所述意图分类模型对所述第二中间特征进行全连接操作，得到意图分类的结果。
综上所述，本实施例提供的意图分类装置，能够基于训练样本较少的第一训练样本集进行数据增强，得到训练样本较多的第二训练样本集，且第二训练样本集中的样本是实体和/或嵌入特征被编辑后的样本，使得训练样本能够同时在嵌入特征和样本中的上下文特征形成平衡，避免意图分类模型只要识别到实体就分类到指定意图，并避免了意图分类模型只要识别到相应的上下文句式就分类到指定意图，提高了意图分类模型在同时识别到上下文特征和实体时才将用户的语音分类到指定意图的能力，进而提高了相关语音助手正确识别用户意图的能力。
请参考图11，图11是本申请一个示例性实施例提供的一种意图分类装置的结构框图。该意图分类装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分。该装置包括：
样本获取模块1110，用于获取第一训练样本集，所述第一训练样本集包括第一样本，所述第一样本的特征包括文本向量特征和嵌入特征；
样本编辑模块1120，用于响应于所述第一样本中包括第一字典中定义的实体，对所述第一样本中的实体进行编辑和/或对所述嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，所述第二训练样本集中的样本数大于所述第一训练样本集中的样本数；
样本复制模块1130，用于响应于所述第一样本中不包括所述第一字典中定义的实体，复制所述第一样本并将所述第一样本添加到所述第二训练样本集中；
模型训练模块1140，用于基于所述第二训练样本集，训练原始意图分类模型，得到训练后的意图分类模型。
在一个可选的实施例中，所述样本编辑模块1120，用于对所述第一样本进行语料扩充，得到查询语句query；基于所述第一字典，对所述查询语句query进行实体提取；响应于所述查询语句query中包括所述第一字典中定义的实体，对所述第一样本中的实体进行编辑和/或对所述第一样本中的嵌入特征进行编辑。
在一个可选的实施例中，所述装置涉及的所述第一样本是所述第一训练样本集中的父正样本，基于所述父正样本得到的所述第二样本是子正样本和/或子负样本。
在一个可选的实施例中，所述装置涉及的所述第二样本包括子正样本，所述样本编辑模块1120，用于基于第二字典生成第二实体，所述第二字典和所述第一字典属于同一语言；将所述父正样本中的第一实体替换为所述第二实体，得到所述子正样本，所述子正样本的嵌入特征和所述父正样本的嵌入特征相同；将所述子正样本添加到所述第二训练样本集中。
在一个可选的实施例中，所述装置涉及的所述第二样本包括子负样本，所述样本编辑模块1120，用于复制所述子正样本，将所述子正样本中的所述嵌入特征的各个维数替换为零，得到第一负样本，所述第一负样本属于所述子负样本；将所述第一负样本添加到所述第二训练样本集中。
在一个可选的实施例中，所述装置涉及的所述第二样本包括子负样本，所述样本编辑模块1120，用于复制所述子正样本，保持所述第二实体不变，并将所述子正样本中的其它内容改变为语料负样本的内容，得到第二负样本，所述语料负样本是预先标注为负样本的样本，所述第二负样本属于所述子负样本且所述第二负样本的嵌入特征和所述父正样本的嵌入特征相同；将所述第二负样本添加到所述第二训练样本集中。
在一个可选的实施例中，所述装置涉及的所述第二样本包括子负样本，所述样本编辑模块1120，用于复制所述子正样本，给所述第二实体增加词缀，所述词缀包括前置词缀和/或后置词缀，得到第三负样本，所述第三负样本属于所述子负样本且所述第三负样本的嵌入特征和所述父正样本的嵌入特征相同；将所述第三负样本添加到所述第二训练样本集中。
在一个可选的实施例中，所述装置涉及的所述第二样本包括子负样本，所述样本编辑模块1120，用于从负向关键词表中提取负向关键词；将所述父正样本中的第一实体替换为所述负向关键词；将所述父正样本的嵌入特征的各个维数替换为零，得到第四负样本，所述第四负样本属于所述子负样本。
在一个可选的实施例中，所述装置涉及的所述父正样本的个数为m，m是正整数；样本复制模块1130，用于响应于所述第一样本中不包括所述第一字典中定义的实体且所述第一样本是正样本，复制m个所述第一样本；将m个所述第一样本添加到所述第二训练样本集中。
综上可知，在本申请中，终端能够基于数据增强后的第二训练样本集，开始训练原始意图分类模型，从而得到训练后的意图分类模型。由于本申请已经对第二训练样本集进行了有效扩充，使得扩充后的嵌入特征不至于过强，同时提供了上下文信息，使得意图分类模型能够在上下文特征和嵌入特征同时存在时进行意图分类。由此可见，本申请既能够扩充训练样本集中的样本数量，又能够同时包括嵌入特征和上下文特征，提高了意图分类模型的训练效果，既避免意图分类模型在查询语句中一出现关键词就将其分类到指定意图，也避免了查询语句符合意图的查询句式时就将其分类到指定意图，能够在上下文信息和嵌入特征同时满足寻求时进行意图分类，提高了意图分类模型的训练效果。
本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的意图分类方法。
本申请实施例还提供了一种计算机可读介质，该计算机可读介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的意图分类模型的训练方法。
需要说明的是：上述实施例提供的意图分类装置在执行意图分类方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的意图分类装置与意图分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的能够实现的示例性的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种意图分类方法，其特征在于，所述方法包括：
将查询语料的文本输入意图分类模型，所述意图分类模型是通过第二训练样本集训练完成的神经网络模型，所述第二训练样本集是第一训练样本集按照样本中有无实体进行扩充后得到的样本集；
通过所述意图分类模型分别提取所述文本的文本向量特征和所述文本的嵌入特征，所述文本向量特征用于指示所述文本在预设文本库中设定的特征，所述嵌入特征用于指示所述文本中是否包含第二文本库中指示的实体；
通过所述意图分类模型将所述文本向量特征与所述嵌入特征连接成一个整体的拼接特征；
通过所述意图分类模型对所述拼接特征进行处理，得到意图分类的结果，所述意图分类的结果用于指示所述查询语料的意图。
2.根据权利要求1所述的方法，其特征在于，所述通过所述意图分类模型分别提取所述文本的文本向量特征和所述文本的嵌入特征，包括：
通过所述意图分类模型，以文本元素为基准将所述文本划分为n个所述文本元素组成的元素队列，所述文本元素是文字或词汇，n为正整数；
分别获取所述元素队列中每一个所述文本元素的所述文本向量特征和所述嵌入特征。
3.根据权利要求2所述的方法，其特征在于，所述通过所述意图分类模型对所述拼接特征进行处理，得到意图分类的结果，包括：
通过所述意图分类模型以预设的卷积核对所述拼接特征进行卷积，得到第一中间特征；
通过所述意图分类模型对所述第一中间特征进行最大池化操作，得到第二中间特征；
通过所述意图分类模型对所述第二中间特征进行全连接操作，得到意图分类的结果。
4.一种意图分类模型的训练方法，其特征在于，所述方法包括：
获取第一训练样本集，所述第一训练样本集包括第一样本，所述第一样本的特征包括文本向量特征和嵌入特征；
响应于所述第一样本中包括第一字典中定义的实体，对所述第一样本中的实体进行编辑和/或对所述嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，所述第二训练样本集中的样本数大于所述第一训练样本集中的样本数；
响应于所述第一样本中不包括所述第一字典中定义的实体，复制所述第一样本并将所述第一样本添加到所述第二训练样本集中；
基于所述第二训练样本集，训练原始意图分类模型，得到训练后的意图分类模型。
5.根据权利要求4所述的方法，其特征在于，所述响应于所述第一样本中包括第一字典中定义的实体，对所述第一样本中的实体进行编辑和/或对所述第一样本中的嵌入特征进行编辑，包括：
对所述第一样本进行语料扩充，得到查询语句query；
基于所述第一字典，对所述查询语句query进行实体提取；
响应于所述查询语句query中包括所述第一字典中定义的实体，对所述第一样本中的实体进行编辑和/或对所述第一样本中的嵌入特征进行编辑。
6.根据权利要求5所述的方法，其特征在于，所述第一样本是所述第一训练样本集中的父正样本，基于所述父正样本得到的所述第二样本是子正样本和/或子负样本。
7.根据权利要求6所述的方法，其特征在于，所述第二样本包括子正样本，所述对所述第一样本中的实体进行编辑和/或对所述第一样本中的嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，包括：
基于第二字典生成第二实体，所述第二字典和所述第一字典属于同一语言；
将所述父正样本中的第一实体替换为所述第二实体，得到所述子正样本，所述子正样本的嵌入特征和所述父正样本的嵌入特征相同；
将所述子正样本添加到所述第二训练样本集中。
8.根据权利要求7所述的方法，其特征在于，所述第二样本还包括子负样本,所述对所述第一样本中的实体进行编辑和/或对所述第一样本中的嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，包括：
复制所述子正样本，将所述子正样本中的所述嵌入特征的各个维数替换为零，得到第一负样本，所述第一负样本属于所述子负样本；
将所述第一负样本添加到所述第二训练样本集中。
9.根据权利要求7所述的方法，其特征在于，所述第二样本还包括子负样本,所述对所述第一样本中的实体进行编辑和/或对所述第一样本中的嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，包括：
复制所述子正样本，保持所述第二实体不变，并将所述子正样本中的其它内容改变为语料负样本的内容，得到第二负样本，所述语料负样本是预先标注为负样本的样本，所述第二负样本属于所述子负样本且所述第二负样本的嵌入特征和所述父正样本的嵌入特征相同；
将所述第二负样本添加到所述第二训练样本集中。
10.根据权利要求7所述的方法，其特征在于，所述第二样本还包括子负样本,所述对所述第一样本中的实体进行编辑和/或对所述第一样本中的嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，包括：
复制所述子正样本，给所述第二实体增加词缀，所述词缀包括前置词缀和/或后置词缀，得到第三负样本，所述第三负样本属于所述子负样本且所述第三负样本的嵌入特征和所述父正样本的嵌入特征相同；
将所述第三负样本添加到所述第二训练样本集中。
11.根据权利要求6所述的方法，其特征在于，所述第二样本包括子负样本,所述对所述第一样本中的实体进行编辑和/或对所述第一样本中的嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，包括：
从负向关键词表中提取负向关键词；
将所述父正样本中的第一实体替换为所述负向关键词；
将所述父正样本的嵌入特征的各个维数替换为零，得到第四负样本，所述第四负样本属于所述子负样本。
12.根据权利要求6所述的方法，其特征在于，所述父正样本的个数为m，m是正整数；所述响应于所述第一样本中不包括所述第一字典中定义的实体，复制所述第一样本并将所述第一样本添加到所述第二训练样本集中，包括：
响应于所述第一样本中不包括所述第一字典中定义的实体且所述第一样本是正样本，复制m个所述第一样本；
将m个所述第一样本添加到所述第二训练样本集中。
13.一种意图分类装置，其特征在于，所述装置包括：
文本输入模块，用于将查询语料的文本输入意图分类模型，所述意图分类模型是通过第二训练样本集训练完成的神经网络模型，所述第二训练样本集是第一训练样本集按照样本中有无实体进行扩充后得到的样本集；
特征提取模块，用于通过所述意图分类模型分别提取所述文本的文本向量特征和所述文本的嵌入特征，所述文本向量特征用于指示所述文本在预设文本库中设定的特征，所述嵌入特征用于指示所述文本中是否包含第二文本库中指示的实体；
特征连接模块，用于通过所述意图分类模型将所述文本向量特征与所述嵌入特征连接成一个整体的拼接特征；
结果获取模块，用于通过所述意图分类模型对所述拼接特征进行处理，得到意图分类的结果，所述意图分类的结果用于指示所述查询语料的意图。
14.一种意图分类模型的训练装置，其特征在于，所述装置包括：
获取第一训练样本集，所述第一训练样本集包括第一样本，所述第一样本的特征包括文本向量特征和嵌入特征；
样本编辑模块，用于响应于所述第一样本中包括第一字典中定义的实体，对所述第一样本中的实体进行编辑和/或对所述嵌入特征进行编辑，得到第二样本并将所述第二样本添加到第二训练样本集中，所述第二训练样本集中的样本数大于所述第一训练样本集中的样本数；
样本复制模块，用于响应于所述第一样本中不包括所述第一字典中定义的实体，复制所述第一样本并将所述第一样本添加到所述第二训练样本集中；
模型训练模块，用于基于所述第二训练样本集，训练原始意图分类模型，得到训练后的意图分类模型。
15.一种终端，其特征在于，所述终端包括处理器、和与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求1至3任一所述的意图分类方法。
16.一种计算机设备，其特征在于，所述计算机设备包括处理器、和与所述处理器相连的存储器，以及存储在所述存储器上的程序指令，所述处理器执行所述程序指令时实现如权利要求4至12任一所述的意图分类模型的训练方法。
17.一种计算机可读存储介质，所述存储介质中存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求1至3任一所述的意图分类方法。
18.一种计算机可读存储介质，所述存储介质中存储有程序指令，其特征在于，所述程序指令被处理器执行时实现如权利要求4至12任一所述的意图分类模型的训练方法。
CN202110538623.4A 2021-05-18 2021-05-18 意图分类和模型的训练方法、装置、终端及存储介质 Pending CN113268593A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110538623.4A CN113268593A (zh) 2021-05-18 2021-05-18 意图分类和模型的训练方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110538623.4A CN113268593A (zh) 2021-05-18 2021-05-18 意图分类和模型的训练方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN113268593A true CN113268593A (zh) 2021-08-17

Family

ID=77231774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110538623.4A Pending CN113268593A (zh) 2021-05-18 2021-05-18 意图分类和模型的训练方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN113268593A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881035A (zh) * 2022-05-13 2022-08-09 平安科技（深圳）有限公司 训练数据的增广方法、装置、设备和存储介质
CN115329063A (zh) * 2022-10-18 2022-11-11 江西电信信息产业有限公司 一种用户的意图识别方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399609A (zh) * 2019-06-25 2019-11-01 众安信息技术服务有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN110516251A (zh) * 2019-08-29 2019-11-29 秒针信息技术有限公司 一种电商实体识别模型的构建方法、构建装置、设备和介质
CN111161740A (zh) * 2019-12-31 2020-05-15 中国建设银行股份有限公司 意图识别模型训练方法、意图识别方法以及相关装置
CN111209384A (zh) * 2020-01-08 2020-05-29 腾讯科技（深圳）有限公司 基于人工智能的问答数据处理方法、装置及电子设备
CN111832294A (zh) * 2020-06-24 2020-10-27 平安科技（深圳）有限公司 标注数据的选择方法、装置、计算机设备和存储介质
CN112612894A (zh) * 2020-12-29 2021-04-06 平安科技（深圳）有限公司 意图识别模型的训练方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399609A (zh) * 2019-06-25 2019-11-01 众安信息技术服务有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN110516251A (zh) * 2019-08-29 2019-11-29 秒针信息技术有限公司 一种电商实体识别模型的构建方法、构建装置、设备和介质
CN111161740A (zh) * 2019-12-31 2020-05-15 中国建设银行股份有限公司 意图识别模型训练方法、意图识别方法以及相关装置
CN111209384A (zh) * 2020-01-08 2020-05-29 腾讯科技（深圳）有限公司 基于人工智能的问答数据处理方法、装置及电子设备
CN111832294A (zh) * 2020-06-24 2020-10-27 平安科技（深圳）有限公司 标注数据的选择方法、装置、计算机设备和存储介质
CN112612894A (zh) * 2020-12-29 2021-04-06 平安科技（深圳）有限公司 意图识别模型的训练方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周权;陈永生;郭玉臣;: "基于多特征融合的意图识别算法研究", 电脑知识与技术, no. 21 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881035A (zh) * 2022-05-13 2022-08-09 平安科技（深圳）有限公司 训练数据的增广方法、装置、设备和存储介质
CN114881035B (zh) * 2022-05-13 2023-07-25 平安科技（深圳）有限公司 训练数据的增广方法、装置、设备和存储介质
CN115329063A (zh) * 2022-10-18 2022-11-11 江西电信信息产业有限公司 一种用户的意图识别方法及***
CN115329063B (zh) * 2022-10-18 2023-01-24 江西电信信息产业有限公司 一种用户的意图识别方法及***

Similar Documents

Publication Publication Date Title
CN110462730B (zh) 促进以多种语言与自动化助理的端到端沟通
US10192544B2 (en) Method and system for constructing a language model
US20050154580A1 (en) Automated grammar generator (AGG)
CN107798123B (zh) 知识库及其建立、修改、智能问答方法、装置及设备
US11158349B2 (en) Methods and systems of automatically generating video content from scripts/text
CN112579733B (zh) 规则匹配方法、规则匹配装置、存储介质及电子设备
CN111402872B (zh) 用于智能语音对话***的语音数据处理方法及装置
CN113268593A (zh) 意图分类和模型的训练方法、装置、终端及存储介质
CN112163067A (zh) 一种语句答复方法、语句答复装置及电子设备
JP6625772B2 (ja) 検索方法及びそれを用いた電子機器
CN112860871B (zh) 自然语言理解模型训练方法、自然语言理解方法及装置
JP2023027749A (ja) 放送スタイルを決定する方法、装置、機器、及びコンピュータ記憶媒体
CN111444321B (zh) 问答方法、装置、电子设备和存储介质
CN117558259A (zh) 一种数字人播报风格控制方法及装置
CN112270197A (zh) 一种基于文字段落的动画草稿生成方法与装置
CN111898363A (zh) 文本长难句的压缩方法、装置、计算机设备及存储介质
CN115019787B (zh) 一种交互式同音异义词消歧方法、***、电子设备和存储介质
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN115798456A (zh) 跨语言情感语音合成方法、装置及计算机设备
CN116010545A (zh) 一种数据处理方法、装置及设备
WO2022262080A1 (zh) 一种对话关系处理方法、计算机及可读存储介质
CN114925206A (zh) 人工智能体、语音信息识别方法、存储介质和程序产品
CN114121010A (zh) 模型训练、语音生成、语音交互方法、设备以及存储介质
JP7044245B2 (ja) 対話システム補強装置及びコンピュータプログラム
CN113609287A (zh) 一种文本摘要的生成方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination