CN110852095B - 语句热点提取方法及*** - Google Patents

Abstract

本发明涉及一种语句热点提取方法，包括如下步骤：从文档中提取至少一个情感关键词；其中，文档包括至少一个语句；对第一语句进行依存语法分析，生成依存句法树；基于第一情感关键词对依存句法树进行修剪形成结果句法树；其中，第一情感关键词来源于第一语句；基于结果句法树形成文本向量集；以及、对文本向量集进行聚类以形成至少一个感兴趣类。这种方法有利于提升聚类结果的准确性，不影响原始语义，更能准确表达客户关心的热点。

Description

语句热点提取方法及***

技术领域

本发明涉及文本分析技术领域，更具体地说，涉及一种语句热点提取方法及***。

背景技术

客户服务中心能够接收到大量客户投诉和咨询，然后通过话务员等相关服人员按照客户实际的咨询类别对咨询文档进行归类，将结果导入数据库，然后依据咨询文档的统计信息获得咨询热点，并针对获得的咨询热点进行分析。

但是随着客户咨询内容日渐多样、咨询文档数量日益增长，仅仅依靠人工方式对大量咨询文档进行分类，进而对分类后文档进行统计来得到咨询热点，以及进行热点分析，耗时耗力，且过于依赖于分析人员的主观性。如能针对咨询文档中的语句进行提取与自动分析，将能够及时获得客户评价、反馈，进而有利于对产品或服务进行更新/ 升级。

现有技术中提供有以下技术方案：通过从多个咨询文档中提取k 个咨询文档，并将k个咨询文档作为k个文档类别，即作为初始聚类的中心，然后分别计算其他咨询文档与每个文档类别之间的相似度，并将各咨询文档分类到与其相似度最高的文档类别中，进而实现自动分类的过程，此后也可以进行关键词提取，得到一类咨询文档的统计信息，或生成对应的咨询热点。

然而，在客户与客服人员的对话中涉及到的信息十分丰富，很多信息与客户想要咨询的问题并不相关，上述现有技术所提出的方法不适合对不相关的噪声进行过滤，而噪声又可能掩盖有效数据，从而导致文档聚类过程不准确、聚类算法执行效率较低，预期的分析效果与实际效果相差较大。

发明内容

本发明的目的在于提供一种语句热点提取方法，其更有效地过滤噪声以及不感兴趣的信息，提高聚类准确率和聚类算法执行效率。

为实现上述目的，本发明提供一种技术方案如下。

一种语句热点提取方法，包括如下步骤：a)、从文档中提取至少一个情感关键词；其中，文档包括至少一个语句；b)、对第一语句进行依存语法分析，生成依存句法树；c)、基于第一情感关键词对依存句法树进行修剪形成结果句法树；其中，第一情感关键词来源于第一语句；d)、基于结果句法树形成文本向量集；以及e)、对文本向量集进行聚类以形成至少一个感兴趣类。

优选地，该方法还包括：针对各感兴趣类：提取至少一个热点关键词；基于各热点关键词的词频信息生成至少一个热点表述，热点表述对应于至少一个热点关键词的一种排列组合；以及基于各热点描述在文档中的支持度确定热点表述。

优选地，步骤c)包括：c1)、确定依存句法树的根节点；c2)、基于根节点进行广度优先遍历，将语法关系不符合依赖关系白名单的节点及节点的子树从依存句法树中剪除。

优选地，在步骤c1)中通过如下方式确定根节点：以情感关键词为当前搜索叶子节点，沿依存句法树向上搜索至根节点，或将当前并列关系达最大深度极限值的节点确定为根节点。

优选地，依赖关系白名单包括：COO；VOB；ADV；以及，POB。

优选地，在步骤b)中：依存句法树的各节点的语法关系和词性分别满足LTP规范和ICTCLAS标准。

优选地，步骤a)具体包括：将不包含任一情感关键词的语句从文档中排除。

优选地，步骤e)采用的聚类算法包括：K-means聚类算法。

本发明还公开一种语句热点提取***，包括：情感关键词提取单元，用于从文档中提取至少一个情感关键词；依存句法树生成单元，用于对第一语句进行依存语法分析以生成依存句法树；其中，第一语句来源于文档中；结果句法树生成单元，与情感关键词提取单元以及依存句法树生成单元分别耦合，其基于第一情感关键词对依存句法树进行修剪以形成结果句法树；其中，第一情感关键词来源于第一语句；向量转换单元，用于基于结果句法树形成文本向量集；以及向量聚类单元，用于对文本向量集进行聚类以形成至少一个感兴趣类。

本发明提供语句热点提取方法，在进行聚类分析前，采用了基于情感关键词对依存句法树进行修剪的方式对客户咨询文档进行提炼，从而了提升聚类结果的准确性，这种方法不仅不影响原始语义，更能准确表达客户关心的热点。此外，在构成热点表述时，这种方法可以考虑词频来合成表述语句，使得自动提取的咨询热点不仅具备代表性而且容易理解。

附图说明

图1示出本发明第一实施例提供的语句热点提取方法的流程图。

图2示出本发明第二实施例提供的语句热点提起***的模块结构示意图。

具体实施方式

在以下描述中提出具体细节，以便提供对本发明的透彻理解。然而，本领域的技术人员将清楚地知道，即使没有这些具体细节也可实施本发明的实施例。在本发明中，可进行具体的数字引用，例如“第一元件”、“第二装置”等。但是，具体数字引用不应当被理解为必须服从于其字面顺序，而是应被理解为“第一元件”与“第二元件”不同。

本发明所提出的具体细节只是示范性的，具体细节可以变化，但仍然落入本发明的精神和范围之内。术语“耦合”定义为表示直接连接到组件或者经由另一个组件而间接连接到组件。

以下通过参照附图来描述适于实现本发明的方法、***和装置的优选实施例。虽然各实施例是针对元件的单个组合来描述，但是应理解，本发明包括所公开元件的所有可能组合。因此，如果一个实施例包括元件A、B和C，而第二实施例包括元件B和D，则本发明也应被认为包括A、B、C或D的其他剩余组合，即使没有明确公开。

如图1所示，本发明第一实施例提供一种语句热点提取方法，其包括如下多个步骤。

步骤S10、从文档中提取至少一个情感关键词。

其中，咨询文档包括客户与客服中心在一段时间内或关于某一个问题的对话记录，其中记录有多个语句，保护客户语句和客服语句。

作为示例，一种咨询文档如下表所示，其记录客户与客服就交易记录的查询对话。

首先，可以对收集到的上述客服对话数据进行预处理，主要去掉去掉“xxx号客服人员说”、“访客xxx说”等无意义信息或噪声，得到原始语料，其内容如下表所示。

随后，从原始语料中确定情感关键词集合。发明人经统计发现，在客户与客服(访客)的咨询对话中，部分带有情感色彩的词(例如

“不”、“无”、“没有”等)与客户关注的热点关系密切，因而，这些关键词可以被确定为情感关键词。

根据步骤S10，从咨询文档中能够提取出至少一个情感关键词。上表中黑色方框所示语句包含有情感关键词“没有”，因而，可被用来进行后续分析。优选情况下，不包含任一情感关键词的语句能够从原始语料中排除，以提高后续聚类的准确性和算法的执行效率。

步骤S12、对第一语句进行依存语法分析，生成依存句法树。

其中，第一语句来源于原始语料，而原始语料是对咨询文档进行预处理得到的结果。上表中黑色方框所示语句“为什么我没有获减免优惠”是第一语句的示例。

因为情感关键词更能够体现客户关注的热点，因此，根据本发明的实施例，可将原始语料中包含有情感关键词的语句分别作为本发明所述的“第一语句”，这是本发明的优选实施方式。换言之，对原始语料中包含有情感关键词的每个语句都可以执行步骤S12、S14。

作为备选实施方式，在从原始语料中提取出的情感关键词具有多个且彼此之间能够按照优先级来排序的情况下，从原始语料提取包含有最高优先级情感关键词的一个语句来作为第一语句，或者，将包含有较多情感关键词的语句作为第一语句，这种方式无需分析原始语料中包含有情感关键词的所有语句，因而可以提高语句分析的效率。

依存语法分析(Dependency Pars ing,简称为DP)是通过分析语言单位内各成分之间的依存关系来揭示其句法结构。直观来讲，依存语法分析会识别句子中的“主谓宾”、“定状补”这些语法成分，并分析各成分之间的关系。作为示例，咨询文档中客户所说“我为什么没有获得减免优惠”，其依存语法分析结果如下，根据依存语法分析结果能够生成依存句法树。

优选情况下，在基于依存语法分析来生成依存句法树的过程中，依存句法树的各节点的词性标注符合ICTCLAS标准，各节点之间的语法关系满足LTP规范。备选地，语法分析可以采用Stanford Parser 工作来进行。

词性标注(Part-of-speech Tagging,简称为POS)是给句子中每个词一个词性类别的任务。这里的词性类别可能是名词、动词、形容词或其他。具体地，v代表动词、n代表名词、r代表代词、c代表连词、a 代表形容词、d代表副词、wp代表标点符号。按照LTP规范，词之间的语法关系包括多种，其中有SBV主谓关系，VOB动宾关系，IOB 介宾关系，FOB前置宾语，DBL兼语，ATT定中关系，ADV状中关系，CMP动补关系，COO并列关系，POB介宾关系等等。

步骤S14、基于第一情感关键词对依存句法树进行修剪形成结果句法树。

该步骤是本发明的关键步骤之一，根据该步骤，第一情感关键词来源于第一语句。作为示例，第一语句为“为什么我没有获得减免优惠”，对应的第一情感关键词为第一语句中的词“没有”。

具体来说，该步骤S14可以按如下方式来执行。首先，确定每个依存句法树的根节点。其次，从根节点开始进行广度优先遍历，将语法关系不符合依赖关系白名单的那些节点及相应的子树从依存句法树中剪除。

作为一种示例，以情感关键词为当前搜索叶子节点，沿依存句法树向根节点搜索，直至搜索至根节点(Root)或当前并列关系 (“COO”)达到最大深度极限值(例如，设定为2)，将该节点确定为句法树根节点，并将该节点加入结果句法树。例如，第一语句为“我为什么没有获得减免优惠”，其情感关键词为“没有”，其父节点为

“获得”，“获得”的父节点为“Root”，因此确定“获得”为当前句法树的根节点。

随后，从得到的依存句法树根节点开始，进行限制性广度优先遍历。按照一种实现方式，在广度优先遍历中仅将父节点与子节点之间的语法关系不符合依赖关系白名单的那些节点及相应的子树从句法树中剪除。作为另一种实现方式，将父节点与子节点之间的语法关系和词性均满足依赖关系白名单的那些节点保留，而将其他节点连同相应的子树全部从句法树中剪除，直至对所有叶子节点均遍历完成或者当前并列关系(“COO”)达到最大深度。

优选情况下，依赖关系白名单如下表所示，其中仅示出部分优选的白名单，例如，语法关系COO，VOB，ADV以及POB。可以理解的是，根据具体应用场景可以对白名单进行修改。

例如，在第一语句“我为什么没有获得减免优惠”中，“获得”

(词性为v)的子节点为“为什么”(词性为r)、“我”(词性为r)、

“没有”(词性为d)和“减免”(词性为v)；“获得”与“为什么”关系为ADV，但词性不符合依赖关系白名单，故“为什么”被丢弃；“没有”的关系为“ADV”符合依赖关系白名单，因此“没有”加入结果句法树，同理，“获得”也加入结果语法树，而“我”也被丢弃。

按照这种方式，完成对依存句法树的修剪，最终得到的结果句法树对应于语句“没有获得减免优惠”，相对于依存句法树，其句法结构显著简化。通常，从包含情感关键词的每个第一语句都能够得到一个对应的结果句法树；也可能第一语句的依存句法树在修剪过程中被整体剪除。

步骤S16、基于结果句法树形成文本向量集。

在该步骤中，采用one_hot、tf-idf、wordvec等文本向数字化技术，从至少一个依存句法树能够形成文本向量集，其中包含有多个文本向量。文本向量是计算机能够计算、并从而用来进行聚类的语言单位。每个语句包括一个或多个文本向量。可以理解，相似的两个语句可能存在多个相同的文本向量，但也必然存在差异之处，例如，分别包括彼此不同的文本向量；或者，一个语句的文本向量较多，另一个语句的文本向量较少。

步骤S18、对文本向量集进行聚类以形成至少一个感兴趣类。

在该步骤中对文本向量集采用例如K-means聚类算法进行聚类，并可以采用现有技术中已知的聚类优化(合并)算法对聚类结果进行整合，最终得到一个或多个感兴趣类，每个感兴趣类显著区别于其他类且包含至少一个子句。

在上述句法树修剪的基础上，聚类算法的执行效率及聚类结果的准确性均得到了提升，从而客户关心的热点能够得到更准确的体现。

根据本发明进一步改进的实施例，在步骤S18之后，还可以执行如下后续步骤。具体来说，针对各感兴趣类分别执行：A1、提取至少一个热点关键词；A2、基于各热点关键词的词频信息生成至少一个热点表述，其中热点表述对应于至少一个热点关键词的一种排列组合； A3、基于各热点描述在文档中的支持度确定热点表述。

作为示例，在A1中可以采用本领域技术人员公知的算法(例如 TextRank算法或TF-IDF算法)来提取热点关键词。在A2中，选取词频较高的那些热点关键词，利用这些热点关键词的各种排列组合来组成不同的热点描述；可以理解，这些热点描述往往并不通俗易懂，或是不符合语法习惯。其中，关键词的排列组合可以不是任意的，而是符合某种摘要模板，例如dvn(副词-动词-名词)模板。在A3中，确定各种热点描述在咨询文档中的支持度或出现概率，并将支持度或出现概率最高的若干个热点描述作为最终展示给用户的热点表述；可以理解，这样形成的热点表述最符合咨询文档中客户的语言习惯。

本发明第二实施例提供一种语句热点提取***20，其包括情感关键词提取单元201、依存句法树生成单元202、结果句法树生成单元 211、向量转换单元220以及向量聚类单元231。

情感关键词提取单元201从咨询文档中提取至少一个情感关键词。情感关键词例如包括“不”、“无”、“没有”、“多了”以及

“少了”。

依存句法树生成单元202对选自咨询文档的第一语句进行依存语法分析以生成依存句法树。第一语句可以是咨询文档中的任一语句，或者，为咨询文档中仅包含情感关键词的语句。

结果句法树生成单元211与情感关键词提取单元201以及依存句法树生成单元202分别耦合，其基于第一情感关键词对依存句法树进行修剪以形成结果句法树。其中，第一情感关键词来源于第一语句，即在第一语句包含情感关键词的情况下，第一情感关键词与第一语句是对应的。

向量转换单元220基于结果句法树形成文本向量集。

向量聚类单元231对文本向量集进行聚类以形成至少一个感兴趣类，其中每个感兴趣类包含至少一个子句且显著区别于其他类。

作为优选的实施方式，语句热点提取***20还进一步包括热点提取单元(附图未示出)，热点提取单元针对每个感兴趣类分别提取至少一个热点关键词；基于各热点关键词的词频信息生成至少一个热点表述，其中，热点表述是通过对不同热点关键词进行排列组合而得到。热点提取单元还可进一步基于各热点描述在咨询文档中的支持度来确定热点表述，并向***的用户呈现。

这种语句热点提取***20不仅适用于对客户咨询文档进行热点提取，还可以适用于其他语句分析场合，以高效而准确地获知客户关心的热点，进而可以启动，例如，智能应答功能来进行响应。备选地，这种语句热点提取***可作为智能应答***或游戏***或语音识别***的子***来集成于其中，实现丰富的功能性，促进用户使用体验。

在本发明的一些实施例中，***的至少一部分可采用通信网络所连接的一组分布式计算装置来实现，或，基于“云”来实现。在这种***中，多个计算装置共同操作，以通过使用其共享资源来提供服务。

基于“云”的实现可提供一个或多个优点，包括：开放性、灵活性和可扩展性、可中心管理、可靠性、可缩放性、对计算资源所优化、具有聚合和分析跨多个用户的信息的能力、跨多个地理区域进行连接、以及将多个移动或数据网络运营商用于网络连通性的能力。

上述说明仅针对于本发明的优选实施例，并不在于限制本发明的保护范围。本领域技术人员可能作出各种变形设计，而不脱离本发明的思想及附随的权利要求。

Claims (7)

1.一种语句热点提取方法，包括如下步骤：

a)、从文档中提取至少一个情感关键词；其中，所述文档包括至少一个语句；

b)、对第一语句进行依存语法分析，生成依存句法树；

c)、基于第一情感关键词对所述依存句法树进行修剪形成结果句法树；其中，所述第一情感关键词来源于所述第一语句；

d)、基于所述结果句法树形成文本向量集；以及

e)、对所述文本向量集进行聚类以形成至少一个感兴趣类，

其中，所述步骤c)包括：

c1)、确定所述依存句法树的根节点；

c2)、基于所述根节点进行广度优先遍历，将语法关系不符合依赖关系白名单的节点及所述节点的子树从所述依存句法树中剪除，

其中，在步骤c1)中通过如下方式确定所述根节点：

以所述情感关键词为当前搜索叶子节点，沿所述依存句法树向上搜索至所述根节点，或将当前并列关系达最大深度极限值的节点确定为所述根节点，

其中，所述情感关键词包括：

“不”；“无”；“没有”。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

针对各所述感兴趣类：

提取至少一个热点关键词；

基于各所述热点关键词的词频信息生成至少一个热点描述，所述热点描述对应于所述至少一个热点关键词的一种排列组合；以及

基于各所述热点描述在所述文档中的支持度确定热点表述。

3.根据权利要求1所述的方法，其特征在于，所述依赖关系白名单包括：

COO；VOB；ADV；以及，POB。

4.根据权利要求1所述的方法，其特征在于，在所述步骤b)中：

所述依存句法树的各节点的语法关系和词性分别满足LTP规范和ICTCLAS标准。

5.根据权利要求1所述的方法，其特征在于，步骤a)具体包括：

将不包含任一所述情感关键词的所述语句从所述文档中排除。

6.根据权利要求1所述的方法，其特征在于，步骤e)采用的聚类算法包括：

K-means聚类算法。

7.一种语句热点提取***，包括：

情感关键词提取单元，用于从文档中提取至少一个情感关键词；

依存句法树生成单元，用于对第一语句进行依存语法分析以生成依存句法树；其中，所述第一语句来源于所述文档中；

结果句法树生成单元，与所述情感关键词提取单元以及所述依存句法树生成单元分别耦合，其基于第一情感关键词对所述依存句法树进行修剪以形成结果句法树；其中，所述第一情感关键词来源于所述第一语句；

向量转换单元，用于基于所述结果句法树形成文本向量集；以及

向量聚类单元，用于对所述文本向量集进行聚类以形成至少一个感兴趣类，

其中，所述结果句法树生成单元中执行以下动作：

c1)、确定所述依存句法树的根节点；

c2)、基于所述根节点进行广度优先遍历，将语法关系不符合依赖关系白名单的节点及所述节点的子树从所述依存句法树中剪除，其中，在c1)中通过如下方式确定所述根节点：

以所述情感关键词为当前搜索叶子节点，沿所述依存句法树向上搜索至所述根节点，或将当前并列关系达最大深度极限值的节点确定为所述根节点，

其中，所述情感关键词包括：

“不”；“无”；“没有”。