CN114492396A

CN114492396A - 用于汽车专有名词的文本错误纠正方法及可读存储介质

Info

Publication number: CN114492396A
Application number: CN202210146935.5A
Authority: CN
Inventors: 李媛; 田尊明
Original assignee: Chongqing Changan Automobile Co Ltd
Current assignee: Chongqing Changan Automobile Co Ltd
Priority date: 2022-02-17
Filing date: 2022-02-17
Publication date: 2022-05-13

Abstract

本发明涉及自然语言处理技术领域，具体涉及用于汽车专有名词的文本错误纠正方法及可读存储介质。方法包括：获取汽车专有名词语料作为训练数据；基于训练数据结合语言模型工具训练具有困惑度评分机制的语言评分模型；将目标文本输入统计语言模型进行文本语法错误纠正，生成第一纠正文本；将目标文本输入语言表示模型进行文本语法错误纠正，生成第二纠正文本；将第一纠正文本和第二纠正文本输入语言评分模型进行困惑度评分，并基于困惑度评分结果选取最优的纠正文本作为正确文本。本发明还相应的公开了一种可读存储介质。本发明的文本错误纠正方法能够纠正汽车应用场景下语音或文字输入的语法错误，从而能够辅助提高智能问答的准确率。

Description

用于汽车专有名词的文本错误纠正方法及可读存储介质

技术领域

本发明涉及自然语言处理技术领域，具体涉及用于汽车专有名词的文本错误纠正方法及可读存储介质。

背景技术

在AI时代，智能对话机器人在C端消费领域和B端垂直领域均应用广泛，例如车载语音助手-小鹏小P、智能音箱-天猫精灵、智能客服-阿里小蜜、业务推荐-理财助手等。对话机器人可代替人去解决一些相对重复的咨询或任务，为企业节省大量人工成本；还可陪用户聊天，为用户带来乐趣。对话式交互相比点击式、触控式交互，显得更效率和易用，已成为AI时代的亮点交互，为用户带来新的服务体验。

其中，针对语音识别的问题，公开号为CN113642317A的中国专利公开了《一种基于语音识别结果的文本纠错方法及***》，其方法包括：采集样本数据，并对样本数据进行预处理，预处理包括将语音数据转换为文本数据；对经过预处理后的样本数据进行标注，形成第一样本数据集，并根据第一样本数据集建立第一模型；获取第一模型的输出结果，将其作为第二样本数据集，并根据第二样本数据集构建第二模型，第二模型用于根据第一模型的输出结果的正确概率进行文本纠错；获取目标语音数据，将目标语音数据依次经过预处理、第一模型和第二模型处理后，获取正确的文本数据。

上述现有方案中的文本纠错方法在获取目标语音数据后，将目标语音数据依次经过预处理、第一模型和第二模型处理获取正确文本数据，进而实现语音的准确识别。现有文本纠错方法主要应用于语音识别，但是，在智能问答业务场景，用户语音输入或文字输入都可能因ASR（自动语音识别技术）准确性或者输入法错误选择候选词等情况，导致生成含语法错误的文本，这增加了***理解语义的困难，对下游实体提取、分词、问题分类、检索问答等流程的准确性都有较大影响，最终导致智能问答的准确率不高。因此，如何设计一种能够纠正汽车应用场景下语音或文字输入语法错误的方法是亟需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种用于汽车专有名词的文本错误纠正方法，以能够纠正汽车应用场景下语音或文字输入的语法错误，从而能够辅助提高智能问答的准确率。

为了解决上述技术问题，本发明采用了如下的技术方案：

用于汽车专有名词的文本错误纠正方法，包括以下步骤：

S1：获取汽车专有名词语料作为训练数据；

S2：基于训练数据结合语言模型工具训练具有困惑度评分机制的语言评分模型；

S3：将目标文本输入统计语言模型进行文本语法错误纠正，生成第一纠正文本；

S4：将目标文本输入语言表示模型进行文本语法错误纠正，生成第二纠正文本；

S5：将第一纠正文本和第二纠正文本输入语言评分模型进行困惑度评分，并基于困惑度评分结果选取最优的纠正文本作为正确文本。

优选的，步骤S1中，汽车专有名词语料包括但不限于汽车售前、售中和售后，以及售后流程中的售价咨询、功能操作、故障维护、售后保养、网点查询和用车常识的语料。

优选的，步骤S1中，对汽车专有名词语料进行分词，生成对应的汽车专用语料数据集作为训练数据。

优选的，步骤S2中，语言模型工具计算汽车专用语料数据集中各种词组合的条件概率，即把每个词都映射到唯一的数字标识，然后基于数字标识合并相同的字，最后对字进行排序生成对应的语言评分模型。

优选的，步骤S2中，将训练好的语言评分模型转换为二进制格式存储。

优选的，步骤S3中，收集混淆词字典、近音字数据字典和形近字数据字典。

优选的，步骤S3中，具体包括以下步骤：

S301：通过混淆词字典替换目标文本中的混淆词文本，生成替换词文本；

S302：对替换词文本进行分词处理，生成预处理文本；

S303：构造统计语言模型用以识别预处理文本中的错误，并定位目标错误字的位置索引；

S304：基于目标错误字的位置索引从近音字数据字典和形近字数据字典中匹配目标错误字的近音字和形近字，生成对应的近音字候选集和形近字候选集；

S305：通过语言评分模型对近音字候选集和形近字候选集进行困惑度评分，并根据困惑度评分结果选取最优的近音字或形近字；

S306：通过最优的近音字或形近字替换目标文本中的目标错误字，生成第一纠正文本。

优选的，步骤S303中，构造的统计语言模型包括但不限于两个词和三个词的统计语言模型。

优选的，步骤S4中，具体包括以下步骤：

S401：通过汽车专有名词语料对语言表示模型进行对应调整；

S402：通过语言表示模型对目标文本进行逐字掩码，以检测每个字的错误概率；

S403：基于错误概率检测结果将目标错别字的错误概率输入对应的错误纠正网络，预测掩码位置候选词的概率，并选择候选词作为替换字；

S404：通过替换字替换目标文本中的目标错别字，生成第二纠正文本。

本发明还公开了一种可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现本发明的用于汽车专有名词的文本错误纠正方法的步骤。

本发明的文本错误纠正方法与现有技术相比，具有如下有益效果：

本发明基于汽车专有名词语料和语言模型工具训练具有困惑度评分机制的语言评分模型，使得语言评分模型能够很好的应用于汽车应用场景的语法纠错，能够解决因ASR准确性或者输入法错误选择候选词等情况导致的语音或文字输入语法错误的问题，从而能够辅助提高智能问答的准确率。同时，本发明通过统计语言模型（n-gram模型）和语言表示模型（bert模型）纠正文本的语法错误，一方面，统计语言模型（n-gram模型）能够保证词与词之间的强约束力，能够很好的判断句子的合理性、比较句子的相似度、实现分词，另一方面，语言表示模型（bert模型）能够更好的提取长序列信息，并且能够一步到位的直接使得词向量得到上下文的信息，学习句子之间关系的信息，使得能够有效的纠正因为输入法或者语音环境等造成的文本识别错误，从而进一步的提高智能问答的准确率。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为实施例中用于汽车专有名词的文本错误纠正方法的逻辑框图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例一：

本实施例中公开了一种用于汽车专有名词的文本错误纠正方法。

如图1所示，用于汽车专有名词的文本错误纠正方法，包括以下步骤：

S1：获取汽车专有名词语料作为训练数据；

S5：将第一纠正文本和第二纠正文本输入语言评分模型进行困惑度评分，并基于困惑度评分结果选取最优的纠正文本作为正确文本。应用时，将正确文本作为车主用户想要咨询的问题输入到智能问答***进行问答逻辑处理。

具体的：

本实施例选用kenlm模型作为语言模型工具。其中，训练语言评分模型时，语言模型工具（kenlm模型）计算汽车专用语料数据集中各种词组合的条件概率，即把每个词都映射到唯一的数字标识（ID），然后基于数字标识（ID）合并相同的字，最后对字进行排序生成对应的语言评分模型。需要说明的是，实际实施时，也可采用现有的其他手段来实现基于语言模型工具（kenlm模型）训练困惑度评分机制的语言评分模型，具体方法这里不再赘述。将训练好的语言评分模型转换为二进制格式存储，能够节省空间，便于后续导入模型。

本实施例选用n-gram模型作为统计语言模型，选用bert模型作为语言表示模型。其中，n-gram模型和bert模型均是现有技术中的成熟模型，这里不再赘述。

需要说明的是，本发明中用于汽车专有名词的文本错误纠正方法可通过程序编程的方式生对应的成软件代码或软件服务，进而能够在服务器和计算机上运行和实施。

具体实施过程中，汽车专有名词语料包括但不限于汽车售前、售中和售后，以及售后流程中的售价咨询、功能操作、故障维护、售后保养、网点查询和用车常识的语料。对汽车专有名词语料进行分词，生成对应的汽车专用语料数据集作为训练数据。

具体实施过程中，收集混淆词字典、近音字数据字典和形近字数据字典。

步骤S3中，具体包括以下步骤：

S302：对替换词文本进行分词处理，生成预处理文本；

S303：构造统计语言模型（n-gram模型）用以识别预处理文本中的错误，并定位目标错误字的位置索引（index）；构造的统计语言模型（n-gram模型）包括但不限于两个词（2-gram模型）和三个词（3-gram模型）的统计语言模型。本实施例通过2-gram模型和3-gram模型进行概率检测，然后获取离均值较大的分词，进而定位目标错误字的位置index。

S304：基于目标错误字的位置索引（index）从近音字数据字典和形近字数据字典中匹配目标错误字的近音字和形近字，（结合上下文语境）生成对应的近音字候选集和形近字候选集；

本发明通过统计语言模型（n-gram模型）纠正文本的语法错误，能够保证词与词之间的强约束力，能够很好的判断句子的合理性、比较句子的相似度、实现分词，进而能够有效的纠正因为输入法或者语音环境等造成的文本识别错误。

步骤S4中，具体包括以下步骤：

S401：通过汽车专有名词语料对语言表示模型（bert模型）进行对应调整（使得bert模型能够更好的适应于汽车专有名词语料）；

S402：通过语言表示模型（bert模型）对目标文本进行逐字掩码（Mask），以检测每个字的错误概率；

S403：基于错误概率检测结果将目标错别字的错误概率输入对应的错误纠正网络，预测掩码（Mask）位置候选词的概率，并（从Topk中）选择候选词作为替换字；

本发明通过语言表示模型（bert模型）纠正文本的语法错误，能够更好的提取长序列信息，并且能够一步到位的直接使得词向量得到上下文的信息，学习句子之间关系的信息，进而能够有效的纠正因为输入法或者语音环境等造成的文本识别错误。

实施例二：

本实施例中公开了一种可读存储介质。

一种可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现本发明的用于汽车专有名词的文本错误纠正方法的步骤。可读存储介质可以是U盘或计算机等具有可读存储功能的设备。

最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

Claims

1.用于汽车专有名词的文本错误纠正方法，其特征在于，包括以下步骤：

S1：获取汽车专有名词语料作为训练数据；

2.如权利要求1所述的用于汽车专有名词的文本错误纠正方法，其特征在于：步骤S1中，汽车专有名词语料包括但不限于汽车售前、售中和售后，以及售后流程中的售价咨询、功能操作、故障维护、售后保养、网点查询和用车常识的语料。

3.如权利要求1所述的用于汽车专有名词的文本错误纠正方法，其特征在于：步骤S1中，对汽车专有名词语料进行分词，生成对应的汽车专用语料数据集作为训练数据。

4.如权利要求3所述的用于汽车专有名词的文本错误纠正方法，其特征在于：步骤S2中，语言模型工具计算汽车专用语料数据集中各种词组合的条件概率，即把每个词都映射到唯一的数字标识，然后基于数字标识合并相同的字，最后对字进行排序生成对应的语言评分模型。

5.如权利要求4所述的用于汽车专有名词的文本错误纠正方法，其特征在于：步骤S2中，将训练好的语言评分模型转换为二进制格式存储。

6.如权利要求1所述的用于汽车专有名词的文本错误纠正方法，其特征在于：步骤S3中，收集混淆词字典、近音字数据字典和形近字数据字典。

7.如权利要求6所述的用于汽车专有名词的文本错误纠正方法，其特征在于：步骤S3中，具体包括以下步骤：

S302：对替换词文本进行分词处理，生成预处理文本；

8.如权利要求7所述的用于汽车专有名词的文本错误纠正方法，其特征在于：步骤S303中，构造的统计语言模型包括但不限于两个词和三个词的统计语言模型。

9.如权利要求1所述的用于汽车专有名词的文本错误纠正方法，其特征在于：步骤S4中，具体包括以下步骤：

S401：通过汽车专有名词语料对语言表示模型进行对应调整；

10.一种可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-9任一项所述的用于汽车专有名词的文本错误纠正方法的步骤。