CN115374779B - 文本语言识别方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种文本语言识别方法、装置、设备及介质。该方法通过确定待识别文本中的各个待识别词汇，针对当前待识别词汇，确定与其相对的至少一个包括当前待识别词汇以及相邻词汇的待识别二元组，以确定包含词汇上下文的二元组，进而针对每一个待识别二元组，根据各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率，并根据各个二元概率确定当前待识别词汇对应的目标语言，以通过预先构建的词典确定二元组在各语言下的概率，实现了基于词汇上下文的语言识别，提高了语言识别的准确性，该方法直接根据各语言下的词典即可识别，无需人工标注样本，解决了现有技术成本高以及识别准确率低的技术问题。

Description

文本语言识别方法、装置、设备及介质

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文本语言识别方法、装置、设备及介质。

背景技术

语码转换(Code-Switching)是一个常见的语言现象，指一个人在一句话中交替使用多于一种语言或其变体，常出现于多语者的日常语言。除了日常语言的对话，语码转换也出现于文字书写中。语码转换识别在语音模型及自然语言处理任务中具有重要的意义，随着语码转换这一现象越来越普遍，语码转换识别的相关研究也越来越受到重视。

语码转换按照语言文字的组合，可以分为两种情况：一种是不同类型文字之间组成的语码转换文本，如，由汉字组成的中文和由英文拉丁字母组成的英文属于不同类型文字；另一种是相同类型文字之间组成的语码转换文本，如由拉丁字母组成的葡萄牙语和英语属于相同类型文字，而且，同样的单词(如“no”)既可以出现在葡萄牙语中又可以出现在英语中，这对识别一个句子是否是语码转换句子以及句子中每个单词的语言属性带来了很大的难度。

目前，针对相同类型文字之间组成的语码转换文本的识别，主要采用人工收集样本以及标注样本的方法，即包括人工标记文本是否为语码转换文本及每个单词的语言属性，再使用样本对模型进行训练，以通过训练后的模型对文本进行识别。

在实现本发明的过程中，发现现有技术中至少存在以下技术问题：人工收集样本和标注样本的方法需要消耗大量人力，成本高，并且，人工标注时可能存在标注错误的情形，进而影响识别准确性，造成识别准确率低。

发明内容

本发明提供了一种文本语言识别方法、装置、设备及介质，以解决现有技术成本高以及识别准确率低的技术问题。

根据本发明的一方面，提供了一种文本语言识别方法，包括：

获取待识别文本，确定所述待识别文本中的各待识别词汇，针对当前待识别词汇，确定与所述当前待识别词汇对应的至少一个待识别二元组，其中，所述待识别二元组包括所述当前待识别词汇以及所述当前待识别词汇的相邻词汇；

针对每一个所述待识别二元组，基于各所述预设语言分别对应的二元概率词典，确定所述待识别二元组在各所述预设语言下的二元概率；

基于各所述待识别二元组在各所述预设语言下的二元概率，在各所述预设语言中确定所述当前待识别词汇对应的目标语言。

根据本发明的另一方面，提供了一种文本语言识别装置，包括：

二元组确定模块，用于获取待识别文本，确定所述待识别文本中的各待识别词汇，针对当前待识别词汇，确定与所述当前待识别词汇对应的至少一个待识别二元组，其中，所述待识别二元组包括所述当前待识别词汇以及所述当前待识别词汇的相邻词汇；

二元概率确定模块，用于针对每一个所述待识别二元组，基于各所述预设语言分别对应的二元概率词典，确定所述待识别二元组在各所述预设语言下的二元概率；

语言识别模块，用于基于各所述待识别二元组在各所述预设语言下的二元概率，在各所述预设语言中确定所述当前待识别词汇对应的目标语言。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的文本语言识别方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的文本语言识别方法。

本发明实施例的技术方案，通过确定待识别文本中的各个待识别词汇，针对当前待识别词汇，确定与其相对的至少一个包括当前待识别词汇以及相邻词汇的待识别二元组，以确定包含词汇上下文的二元组，进而针对每一个待识别二元组，根据各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率，并根据各个二元概率确定当前待识别词汇对应的目标语言，以通过预先构建的词典确定二元组在各语言下的概率，实现了基于词汇上下文的语言识别，提高了语言识别的准确性，该方法直接根据各语言下的词典即可识别，无需人工标注样本，解决了现有技术成本高以及识别准确率低的技术问题。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种文本语言识别方法的流程示意图；

图2是本发明实施例二提供的一种文本语言识别方法的流程示意图；

图3A是本发明实施例三提供的一种文本语言识别方法的流程示意图；

图3B是本发明实施例三提供的一种文本语言识别过程的示意图；

图4是本发明实施例四提供的一种文本语言识别方法的流程示意图；

图5是本发明实施例五提供的一种文本语言识别方法的流程示意图；

图6是本发明实施例六提供的一种文本语言识别装置的结构示意图；

图7是本发明实施例七提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在对本发明实施例提供的文本语言识别方法进行详细介绍之前，先对该方法的应用场景进行示例性说明。本实施例提供的文本语言识别方法，可以用于识别文本中各个词汇的语言，还可以用于识别一个文本是否为语码转换文本，即一个文本由至少两个语言的词汇组成。

具体的，该文本语言识别方法，不仅可以用于对非语码转换文本进行语言识别，也可以用于对语码转换文本进行语言识别，如同类型文字组成的语码转换文本或不同类型文字组成的语码转换文本。示例性的，针对同类型文字组成的语码转换文本，可以用于识别由英语和葡萄牙语组成的语码转换文本中各个词汇的语言，或者，也可以用于识别由葡萄牙语和西班牙语组成的语码转换文本中各个词汇的语言，或者，还可以用于识别由波兰语、英语和西班牙语组成的语码转换文本中各个词汇的语言，等。需要说明的是，本发明实施例提供的文本语言识别方法，可以用于对同类型文字的两种或两种以上的语言组成的语码转换文本进行识别。

实施例一

图1是本发明实施例一提供的一种文本语言识别方法的流程示意图，本实施例可适用于识别一个文本是否为语码转换文本，和/或，识别一个文本中各词汇的语言的情况，尤其适用于识别同类型文字组成的语码转换文本中各词汇的语言的情况，该方法可以由文本语言识别装置来执行，该文本语言识别装置可以采用硬件和/或软件的形式实现，该文本语言识别装置可配置于计算机、智能手机或平板电脑等电子设备中。如图1所示，该方法包括：

S110、获取待识别文本，确定待识别文本中的各待识别词汇，针对当前待识别词汇，确定与当前待识别词汇对应的至少一个待识别二元组，其中，待识别二元组包括当前待识别词汇以及当前待识别词汇的相邻词汇。

在本实施例中，待识别文本可以是非语码转换文本、同类型文字的多种语言组成的语码转换文本以及非同类型文字的多种语言组成的语码转换文本。

具体的，可以使用预先训练的分词器对待识别文本进行处理，得到待识别文本中的各个待识别词汇。进一步的，可以依次对各个待识别词汇进行识别，针对当前待识别词汇，可以基于当前待识别词汇的相邻词汇，确定至少一个待识别二元组。

示例性的，若当前待识别词汇为待识别文本中的首个词汇，则可以基于当前待识别词汇以及当前待识别词汇的下一相邻词汇，构建待识别二组组；若当前待识别词汇为待识别文本中的最后一个词汇，则可以基于当前待识别词汇以及当前待识别词汇的前一相邻词汇，构建待识别二元组；若当前待识别词汇为除首个词汇和最后一个词汇之外的中间词汇，则可以基于当前待识别词汇以及当前待识别词汇的前一相邻词汇，构建待识别二元组，同时，基于当前待识别词汇以及当前待识别词汇的下一相邻词汇，构建待识别二元组。

需要说明的是，在本实施例中，构建与当前待识别词汇对应的至少一个待识别二元组的目的在于：得到包含当前待识别词汇以及其前后文的信息，进而基于当前待识别词汇以及前后文对当前待识别词汇进行语言识别，提高语言识别的准确性。

S120、针对每一个待识别二元组，基于各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率。

其中，预设语言可以是预先设置的同类型文字组成的语码转换文本中可能出现的语言，如，英语和葡萄牙语，或者，波兰语、英语和西班牙语等。具体的，针对每一个预设语言，可以预先建立预设语言对应的二元概率词典，其中，二元概率词典包括各二元组以及各个二元组对应的二元概率。

在本实施例中，针对每一个待识别二元组，可以将待识别二元组与各二元概率词典中的各个二元组进行比对，以查询与待识别二元组对应的二元概率，得到待识别二元组在各预设语言下的二元概率。其中，待识别二元组在预设语言下的二元概率，可以表示待识别二元组在预设语言中出现的概率。

示例性的，以预设语言的数量为两个为例，预设语言包括英语和葡萄牙语，若当前待识别词汇对应的待识别二元组包括二元组A和二元组B，则可以基于英语的二元概率词典、葡萄牙语的二元概率词典，分别确定二元组A在英语下的二元概率、在葡萄牙语下的二元概率；并英语的二元概率词典、葡萄牙语的二元概率词典，分别确定二元组B在英语下的二元概率、在葡萄牙语下的二元概率。

S130、基于各待识别二元组在各预设语言下的二元概率，在各预设语言中确定当前待识别词汇对应的目标语言。

示例性的，在得到各个待识别二元组在各预设语言下的二元概率后，可以将各个二元概率中的最大值确定为待验证概率，若待验证概率大于预设的阈值，则可以将与待验证概率对应的预设语言确定为当前待识别词汇对应的目标语言。

在一种具体的实施方式中，基于各待识别二元组在各预设语言下的二元概率，在各预设语言中确定当前待识别词汇对应的目标语言，可以是：针对每一个预设语言，将各待识别二元组在预设语言下的二元概率中的最大值，确定为预设语言对应的二元参考概率；基于各预设语言对应的二元参考概率，与各预设语言分别对应的预设二元概率阈值，确定当前待识别词汇对应的目标语言。

具体的，当待识别二元组的数量为多个时，可以针对每一个预设语言，将各待识别二元组在该预设语言下的最大的二元概率，确定为该预设语言对应的二元参考概率。

进一步的，在得到每一个预设语言分别对应的二元参考概率后，可以通过各预设语言分别对应的预设二元概率阈值，确定目标语言。通过将各个待识别二元组下预设语言下的二元概率中的最大值确定为二元参考概率，以进一步基于二元参考概率确定目标语言，在保证了识别精度的同时，避免了根据所有待识别二元组在各预设语言下的二元概率进行语言识别，提高了语言识别效率。

其中，预设二元概率阈值可以是预先设置的在预设语言中出现的概率临界值。在一种实施方式中，基于各预设语言对应的二元参考概率，与各预设语言分别对应的预设二元概率阈值，确定当前待识别词汇对应的目标语言，可以是：针对每一个预设语言，将预设语言对应的二元参考概率与预设语言对应的预设二元概率阈值进行比对，若二元参考概率大于预设二元概率阈值，则可以将该预设语言确定为目标语言。

其中，预设二元概率阈值也可以是预先设置的预设语言中出现的概率与其它预设语言中出现的概率之间的占比临界值。在另一种实施方式中，基于各预设语言对应的二元参考概率，以及与各预设语言分别对应的预设二元概率阈值，确定待识别词汇对应的目标语言，可以是：基于各预设语言对应的二元参考概率，确定当前待识别词汇对应的二元概率占比；基于二元概率占比以及与各预设语言分别对应的预设二元概率阈值，确定当前待识别词汇对应的目标语言。

具体的，可以计算各个二元参考概率的对数值，将各个二元参考概率的对数值的比值作为二元概率占比。示例性的，二元概率占比可以基于如下公式得到：

；

其中，

表示二元概率占比，

表示由当前待识别词汇的前一个词汇和当前待识别词汇组成的待识别二元组在第一种预设语言下的二元概率，

表示由当前待识别词汇和当前待识别词汇的下一个词汇组成的待识别二元组在第一种预设语言下的二元概率，

表示由当前待识别词汇的前一个词汇和当前待识别词汇组成的待识别二元组在第二种预设语言下的二元概率，

表示由当前待识别词汇和当前待识别词汇的下一个词汇组成的待识别二元组在第二种预设语言下的二元概率。

上述公式适用于待识别二元组的数量为多个，且预设语言的数量为2个的情况。当然，也可以适用于其他情况。例如，若待识别二元组的数量为一个，则可以直接将该待识别二元组下各预设语言下的二元概率的对数值之间的比值确定为二元概率占比。若预设语言的数量大于2，例如为3，则可以将任意两个预设语言的二元参考概率的和作为分子，将另外一个预设语言的二元参考概率作为分母，计算二元概率占比。

进一步的，在得到二元概率占比后，可以将二元概率占比与各预设语言分别对应的预设二元概率阈值进行比对。具体的，若二元概率占比小于二元概率占比中的分子对应的预设语言的预设二元概率阈值，则可以确定当前待识别词汇对应的目标语言为分子对应的预设语言；若二元概率占比大于二元概率占比中的分母对应的预设语言的预设二元概率阈值，则可以确定当前待识别词汇对应的目标语言为分母对应的预设语言。

示例性的，以各预设语言包括英语和葡萄牙语为例，各预设语言分别对应的预设二元概率阈值包括英语对应的阈值

以及葡萄牙语对应的阈值

。若计算二元概率占比的过程中，分子对应的预设语言为英语，分母对应的预设语言为葡萄牙语，则当前待识别词汇对应的目标语言满足以下公式：

；

其中，在二元概率占比小于英语对应的阈值

时，目标语言为英语；在二元概率占比大于葡萄牙语对应的阈值

时，目标语言为葡萄牙语；在二元概率占比大于

且小于

时，可以确定当前待识别词汇为未知词。0<

<1,

>1,

>

。

需要说明的是，上述过程以预设语言的数量为2个进行示例说明，本实施例提供的方法对预设语言的数量不进行限制。

具体的，若预设语言的数量大于2，以3个为例，基于二元概率占比以及与各预设语言分别对应的预设二元概率阈值，确定当前待识别词汇对应的目标语言，可以是：若二元概率占比大于二元概率占比中的分母对应的预设语言的预设二元概率阈值，则可以确定当前待识别词汇对应的目标语言为分母对应的预设语言；若二元概率占比小于二元概率占比中的分子对应的两个预设语言的预设二元概率阈值之和，则可以排除当前待识别词汇的目标语言为分母对应的预设语言，进一步的，可以再次根据分子对应的两个预设语言的二元参考概率，计算新的二元概率占比，并基于新的二元概率占比以及两个预设语言的预设二元概率阈值，确定目标语言。

通过上述方式，实现了基于二元概率占比以及各预设语言的预设二元概率阈值的语言识别，通过计算二元概率占比，可以确定待识别二元组在各预设语言下的二元概率之间的比对信息，以根据概率之间的比对信息和阈值确定目标语言，与直接根据在各预设语言下的二元概率确定目标语言相比，进一步的提高了识别准确性。

需要说明的是，在基于二元概率占比以及与各预设语言分别对应的预设二元概率阈值，确定当前待识别词汇对应的目标语言的过程中，存在二元概率占比大于

且小于

的情形，此时可以确定当前待识别词汇为未知词。或者，在确定当前待识别词汇为未知词时，还可以进一步根据各预设语言分别对应的一元概率词典，确定当前待识别词汇对应的目标语言。

通过上述方式，可以依次将待识别文本中的各个待识别词汇，作为当前待识别词汇，以对待识别文本中的所有待识别词汇进行识别，确定出所有待识别词汇对应的目标语言，实现对待识别文本的语言识别。

进一步的，还可以根据待识别文本中所有待识别词汇对应的目标语言，确定待识别文本是否为语码转换文本；或者，确定待识别文本是否为同类型文字组成的语码转换文本；或者，确定待识别文本是否为不同类型文字组成的语码转换文本，等。

本实施例的技术方案，通过确定待识别文本中的各个待识别词汇，针对当前待识别词汇，确定与其相对的至少一个包括当前待识别词汇以及相邻词汇的待识别二元组，以确定包含词汇上下文的二元组，进而针对每一个待识别二元组，根据各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率，并根据各个二元概率确定当前待识别词汇对应的目标语言，以通过预先构建的词典确定二元组在各语言下的概率，实现了基于词汇上下文的语言识别，提高了语言识别的准确性，该方法直接根据各语言下的词典即可识别，无需人工标注样本，解决了现有技术成本高以及识别准确率低的技术问题。

实施例二

图2是本发明实施例二提供的一种文本语言识别方法的流程示意图，本实施例在上述各实施方式的基础上，对基于二元概率占比以及各预设语言分别对应的预设二元概率阈值，确定当前待识别词汇对应的目标语言的过程进行了补充说明。如图2所示，该方法包括：

S210、获取待识别文本，确定待识别文本中的各待识别词汇，针对当前待识别词汇，确定与当前待识别词汇对应的至少一个待识别二元组。

S220、针对每一个待识别二元组，基于各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率。

S230、针对每一个预设语言，将各待识别二元组在预设语言下的二元概率中的最大值，确定为预设语言对应的二元参考概率。

S240、基于各预设语言对应的二元参考概率，确定当前待识别词汇对应的二元概率占比，若二元概率占比不满足与各预设语言分别对应的预设二元概率阈值，则基于各预设语言分别对应的一元概率词典，确定当前待识别词汇在各预设语言下的一元概率。

具体的，如果二元概率占比不大于二元概率占比中的分母对应的预设语言的预设二元概率阈值，且，二元概率占比不小于二元概率占比中的分子对应的预设语言的预设二元概率阈值，则可以确定二元概率占比不满足与各预设语言分别对应的预设二元概率阈值。

在本实施例中，针对二元概率占比不满足与各预设语言分别对应的预设二元概率阈值的情况，可以进一步基于各预设语言分别对应的一元概率词典，确定当前待识别词汇对应的目标语言。其中，一元概率词典包括各词汇以及各词汇对应的一元概率，一元概率可以表示词汇在预设语言中出现的概率。

具体的，可以将当前待识别词汇与各预设语言对应的一元概率词典中的各个词汇进行比对，进而确定与当前待识别词汇对应的各预设语言下的一元概率。

示例性的，以预设语言包括英语和葡萄牙语为例，可以基于英语的一元概率词典、葡萄牙语的一元概率词典，分别确定当前待识别词汇在英语下的一元概率以及在葡萄牙语下的一元概率。

S250、基于当前待识别词汇在各预设语言下的一元概率，确定当前待识别词汇对应的目标语言。

示例性的，可以比对当前待识别词汇在各预设语言下的一元概率，将最大的一元概率对应的预设语言确定为目标语言；或者，可以判断最大的一元概率是否大于其对应的预设语言的预设阈值，若是，则可以将最大的一元概率对应的预设语言确定为目标语言。

在一种具体的实施方式中，基于当前待识别词汇在各预设语言下的一元概率，确定当前待识别词汇对应的目标语言，可以是：基于当前待识别词汇在各预设语言下的一元概率，确定当前待识别词汇对应的一元概率占比；基于一元概率占比以及各预设语言分别对应的预设一元概率阈值，确定当前待识别词汇对应的目标语言。

其中，预设一元概率阈值可以是预先设置的预设语言中出现的概率与其它预设语言中出现的概率之间的占比临界值。具体的，可以通过计算各个一元概率的对数值，将各个一元概率的对数值的比值作为一元概率占比。示例性的，一元概率占比可以基于如下公式得到：

；

其中，

为一元概率占比，

表示当前待识别词汇在第一种预设语言下的一元概率，

表示当前待识别词汇在第二种预设语言下的一元概率。

上述公式适用于预设语言的数量为2个的情况，当然，也可以适用于其他情况。例如，若预设语言的数量大于2，如3，可以将任意两个预设语言的一元概率的和作为分子，将另外一个预设语言的一元概率作为分母，计算一元概率占比。

进一步的，在得到一元概率占比后，可以将一元概率占比与各预设语言分别对应的预设一元概率阈值进行比对。示例性的，若一元概率占比小于一元概率占比中的分子对应的预设语言的预设一元概率阈值，则可以确定当前待识别词汇对应的目标语言为分子对应的预设语言；若一元概率占比大于一元概率占比中的分母对应的预设语言的预设一元概率阈值，则可以确定当前待识别词汇对应的目标语言为分母对应的预设语言。

例如，以各预设语言包括英语和葡萄牙语为例，各预设语言分别对应的预设一元概率阈值包括英语对应的阈值

以及葡萄牙语对应的阈值

。若计算一元概率占比中，分子对应的预设语言为英语，分母对应的预设语言为葡萄牙语，则当前待识别词汇对应的目标语言满足以下公式：

；

其中，在一元概率占比小于英语对应的阈值

时，目标语言为英语；在一元概率占比大于葡萄牙语对应的阈值

时，目标语言为葡萄牙语；在二元概率占比大于

且小于

时，可以确定当前待识别词汇为未知词。0, <

<1,

>1,

>

。

需要说明的是，上述过程以预设语言的数量为2个进行示例说明，本实施例提供的方法对预设语言的数量不进行限制。若预设语言的数量大于2，以3个为例，可以是若一元概率占比大于一元概率占比中的分母对应的预设语言的预设一元概率阈值，则可以确定当前待识别词汇对应的目标语言为分母对应的预设语言；若一元概率占比小于一元概率占比中的分子对应的两个预设语言的预设一元概率阈值之和，则可以排除当前待识别词汇的目标语言为分母对应的预设语言，进一步的，可以再次根据分子对应的两个预设语言的一元参考概率，计算新的一元概率占比，并基于新的一元概率占比以及两个预设语言的预设一元概率阈值，确定目标语言。

通过上述方式，实现了基于一元概率占比以及各预设语言的预设一元概率阈值的语言识别，通过计算一元概率占比，可以确定当前待识别词汇在各预设语言下的一元概率之间的比对信息，以根据概率之间的比对信息和阈值确定目标语言，进一步的提高了识别准确性。

需要说明的是，本发明实施例提供的方法，是先根据当前待识别词汇对应的各个待识别二元组进行语言识别，在基于各待识别二元组的各二元概率无法识别的情形下，进一步的基于当前待识别词汇的各一元概率进行识别，以实现结合上下文的语言识别，提高语言识别准确性。

在一种可选的实施方式中，还可以在确定与当前待识别词汇对应的至少一个待识别二元组之前，先确定与当前待识别词汇对应的至少一个待识别三元组，以根据各待识别三元组在各预设语言下的三元概率，确定当前待识别词汇对应的目标语言，在基于各待识别三元组的各三元概率无法识别的情形下，可以进一步确定与当前待识别词汇对应的至少一个待识别二元组。其中，三元概率可以由预先构建的各预设语言分别对应的三元概率词典确定。

通过上述可选的实施方式，也可以实现结合上下文的语言识别，提高语言识别准确性。考虑到需要预先构建与存储各预设语言对应的三元概率词典，因此，可以结合实际需求，针对当前待识别词汇，从词汇对应的二元组开始进行语言识别，或从词汇对应的三元组开始进行语言识别。

本实施例的技术方案，在二元概率占比不满足所有预设语言对应的预设二元概率阈值的情况下，根据各预设语言分别对应的一元概率词典，确定当前待识别词汇在各预设语言下的一元概率，进一步的，根据各一元概率确定当前待识别词汇对应的目标语言，以在二元组由两种语言的词汇构成时，根据词汇在词典中的一元概率进行语言识别，进一步的提高了语言识别准确性，避免了对包含两种语言的词汇的二元组的误判。

实施例三

图3A是本发明实施例三提供的一种文本语言识别方法的流程示意图，本实施例在上述各实施方式的基础上，增加了各预设二元概率阈值以及各预设一元概率阈值的确定过程。如图3A所示，该方法包括：

S310、获取文本测试集，其中，文本测试集包括各样本文本以及与各样本文本对应的样本标签，样本标签包括样本文本中各个词对应的样本语言。

具体的，文本测试集包括多条样本，每一条样本包括样本文本以及与样本文本对应的样本标签，其中，样本标签可以是样本文本中各个词对应的样本语言。

S320、获取各预设语言分别对应的初始二元概率阈值以及初始一元概率阈值，针对每一个样本文本，基于各初始二元概率阈值以及各初始一元概率阈值，确定与样本文本对应的预测标签，其中，预测标签包括样本文本中各个词对应的预测语言。

其中，各初始二元概率阈值和各初始一元概率阈值可以是预先设置的默认初始值，或者，也可以是根据人为经验设置的初始值。

具体的，可以针对样本文本中的每一个样本词汇，确定样本词汇对应的各样本二元组，进而基于预先构建的各预设语言分别对应的二元概率词典确定样本二元组在各预设语言下的二元概率，并根据各初始二元概率阈值和各二元概率确定预测语言，若确定出样本词汇为未知词，则可以进一步根据预先构建的各一元概率词典确定样本词汇在各预设语言下的一元概率，根据各初始一元概率阈值和一元概率确定预测语言。

S330、基于各预测标签、各样本标签以及预设目标函数，对各初始二元概率阈值和/或各初始一元概率阈值进行调整，得到各预设二元概率阈值以及各预设一元概率阈值。

在一种实施方式中，预设目标函数可以是损失函数；如，对数损失函数、均方误差、交叉熵代价函数或指数损失函数等。具体的，可以是根据各预测标签以及各样本标签，对预设目标函数进行计算，进而得到预设目标函数的计算结果，根据预设目标函数的计算结果反向调整各初始二元概率阈值，或各初始一元概率阈值进行调整，或同时调整各初始二元概率阈值和各初始一元概率阈值。

需要说明的是，上述针对每一个样本文本，确定与样本文本对应的预测标签，并根据各预测标签、各样本标签以及预设目标函数，对各初始二元概率阈值和/或各初始一元概率阈值进行调整的过程，可以是循环执行的，循环截止的条件可以是预设目标函数的计算结果满足预设阈值条件，或者，循环的次数达到预设次数，或者，预设目标函数的计算结果达到最小值，等。

在一种具体的实施方式中，基于各预测标签、各样本标签以及预设目标函数，对各初始二元概率阈值和/或各初始一元概率阈值进行调整，可以是：基于各预测标签以及各样本标签，确定文本测试集对应的当前预测参数，其中，当前预测参数包括句子级准确率、句子级召回率、词语级准确率以及词语级召回率；根据当前预测参数对预设目标函数进行计算，以预设目标函数的计算结果最大化为优化目标，调整各初始二元概率阈值和/或各初始一元概率阈值。

具体的，可以根据各预测标签以及各样本标签之间的差距，确定文本测试集的句子级准确率、句子级召回率、词语级准确率以及词语级召回率。

进一步的，可以根据句子级准确率以及句子级召回率，计算出句子级F1值，并根据词语级准确率以及词语级召回率，计算出词语级F1值，进而根据句子级F1值和词语级F1值计算预设目标函数。示例性的，预设目标函数满足如下公式：

；

其中，

表示预设目标函数的计算结果，

表示句子级F1值，

表示词语级F1值。具体的，

、

可以通过如下公式得到：

，

；

其中，

表示句子级准确率，

表示句子级召回率，

表示词语级准确率，

表示句子级召回率。

进一步的，可以以预设目标函数的计算结果最大化为优化目标，调整各初始二元概率阈值，或调整各初始一元概率阈值，或者，同时调整各初始二元概率阈值以及各初始一元概率阈值。可选的，可以采用贝叶斯自动调参方法，对初始二元概率阈值和/或各初始一元概率阈值进行调整。

具体的，可以将预设目标函数的各个计算结果中的最大值所对应的各初始二元概率阈值和各初始一元概率阈值，作为各预设二元概率阈值和各预设一元概率阈值。

通过计算句子级准确率、句子级召回率、词语级准确率以及词语级召回率，并通过句子级准确率、句子级召回率、词语级准确率以及词语级召回率计算句子级F1值和词语级F1值，以将句子级F1值和词语级F1值的和最大化作为优化目标，对各个初始二元概率阈值和/或各个初始一元概率阈值进行调整，实现了参数的自动寻优，提高了各预设二元概率阈值和各预设一元概率阈值的精度，进一步的，提高了对文本的语言识别效果。

S340、获取待识别文本，确定待识别文本中的各待识别词汇，针对当前待识别词汇，确定与当前待识别词汇对应的至少一个待识别二元组。

S350、针对每一个待识别二元组，基于各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率。

S360、针对每一个预设语言，将各待识别二元组在预设语言下的二元概率中的最大值，确定为预设语言对应的二元参考概率。

S370、基于各预设语言对应的二元参考概率，确定当前待识别词汇对应的二元概率占比，若二元概率占比不满足与各预设语言分别对应的预设二元概率阈值，则基于各预设语言分别对应的一元概率词典，确定当前待识别词汇在各预设语言下的一元概率。

S380、基于当前待识别词汇在各预设语言下的一元概率，确定当前待识别词汇对应的一元概率占比；基于一元概率占比以及各预设语言分别对应的预设一元概率阈值，确定当前待识别词汇对应的目标语言。

本实施例的技术方案，通过获取文本测试集，并根据各初始二元概率阈值以及各初始一元概率阈值确定文本测试集中样本文本对应的预测标签，进而根据各预测标签、各样本标签以及目标函数，对各初始二元概率阈值和/或各初始一元概率阈值进行调整，得到各预设二元概率阈值以及各预设一元概率阈值，实现了基于预设目标函数的阈值确定，与人为设置阈值相比，进一步的提高了各阈值的准确性，提高了对文本的语言识别效果。

示例性的，参见图3B，图3B为本实施例提供的一种文本语言识别过程的示意图，以预设语言包括英语和葡萄牙语为例，对语码转换文本的识别过程进行了示例性说明。其中，可以预先获取海量纯英语、纯葡语文本语料，进而根据以上语料创建英语一元频率词典、英语二元频率词典、葡语一元频率词典、葡语二元频率词典，进而创建英语一元概率词典、英语二元概率词典、葡语一元概率词典和葡语二元概率词典，进而计算当前待识别词汇的二元概率占比，判断二元概率占比是否满足各预设二元概率阈值，若是，则根据预设语言词表更新目标语言，若否，则计算一元概率占比，根据一元概率占比以及各预设一元概率阈值确定目标语言，并根据预设语言词表更新目标语言，最终输出识别结果。其中，各预设一元概率阈值、各预设二元概率阈值可以通过构建文本测试集、贝叶斯自动调参以及输出最优参数的步骤得到。

在上述过程中，实现了基于词汇上下文的语言识别方法，提高了识别准确性，并且，通过将各阈值设定为贝叶斯自动调参以自动确定阈值，同时收集了英语专有词词表在混英文本识别中进行强制识别，以节省人工校对成本，提高了混英识别准确率。

实施例四

图4是本发明实施例四提供的一种文本语言识别方法的流程示意图，本实施例在上述各实施方式的基础上，增加了基于预设语言词表对当前带识别词汇的目标语言进行更新的过程。如图4所示，该方法包括：

S410、获取待识别文本，确定待识别文本中的各待识别词汇，针对当前待识别词汇，确定与当前待识别词汇对应的至少一个待识别二元组。

S420、针对每一个待识别二元组，基于各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率。

S430、基于各待识别二元组在各预设语言下的二元概率，在各预设语言中确定当前待识别词汇对应的目标语言。

S440、获取各预设语言中至少一个参考语言对应的预设语言词表，确定各预设语言词表中是否包含当前待识别词汇，若是，则基于包含当前待识别词汇的预设语言词表对应的参考语言，更新当前待识别词汇对应的目标语言。

具体的，考虑到在各个预设语言中。可能存在具备缩略词或专有词词表的预设语言，如，英语的缩略词WIFI、GPS、WTO、Exam等。因此，针对具备缩略词或专有词词表的预设语言，可以将其作为参考语言，并构建参考语言对应的预设语言词表。

在本实施例中，可以在根据各预设语言的二元概率词典确定出各当前待识别词汇的目标语言之后，将各预设语言词表中查询是否存在当前待识别词汇，若是，则直接将包含当前待识别词汇的预设语言词表对应的参考语言，作为当前待识别词汇的目标语言。

当然，在另一种实施方式中，也可以在确定当前待识别词汇对应的各待识别二元组之前，确定当前待识别词汇是否存在于各预设语言词表中，若是，则可以根据包含当前待识别词汇的预设语言词表确定目标语言，无需再执行确定当前待识别词汇对应的各待识别二元组的步骤，提高识别效率。

本实施例的技术方案，通过至少一个参考语言对应的预设语言词表，确定各预设语言词表中是否包含当前待识别词汇，如果包含，则可以直接根据预设语言词表对应的参考语言确定目标语言，以实现基于常用缩略词或专有词的重新识别，进一步的提高了识别准确率。

实施例五

图5是本发明实施例五提供的一种文本语言识别方法的流程示意图，本实施例在上述各实施方式的基础上，对创建各预设语言分别对应的一元概率词典和二元概率词典的过程进行了示例性说明。如图5所示，该方法包括：

S510、获取各预设语言分别对应的语料库，针对每一个预设语言，基于语料库确定各词汇的使用频率以及各二元组的使用频率，基于各词汇的使用频率构建预设语言对应的一元频率词典，基于各二元组的使用频率构建预设语言对应的二元频率词典。

其中，每一个预设语言对应的语料库，可以包括该预设语言下的大量样本文本。具体的，针对每一个预设语言，可以根据语料库中词汇的总数量以及各词汇的使用频次，确定各词汇的使用频率；并根据语料库中各二元组的总数量以及各二元组的使用频次，确定各二元组的使用频率。

进一步的，可以根据各词汇的使用频率构建一元频率词典，其中，一元概率词典包括各词汇以及各词汇对应的一元频率（即使用频率）；根据各二元组的使用频率构建二元频率词典，其中，二元频率词典包括各二元组以及各二元组对应的二元频率（即使用频率）。

基于上述方式，可以得到每一个预设语言对应的一元频率词典和二元频率词典。

S520、基于一元频率词典和二元频率词典，分别构建预设语言对应的一元概率词典和二元概率词典。

具体的，可以根据一元频率词典，计算一元频率词典中每一个词汇的一元概率，得到一元概率词典；并且，根据二元频率词典，计算二元频率词典中每一个二元组的二元概率，得到二元概率词典。

在一种具体的实施方式中，基于一元频率词典和二元频率词典，分别构建预设语言对应的一元概率词典和二元概率词典，可以包括如下步骤：

步骤5201、针对一元频率词典中的每一个词汇，基于词汇的使用频次、预设一元平滑值、一元频率词典的长度以及各预设语言对应的交集词典长度，确定词汇在预设语言下的一元概率；

步骤5202、针对二元频率词典中的每一个二元组，基于二元组的使用频次、预设二元平滑值以及二元频率词典的长度，确定二元组在预设语言下的二元概率；

步骤5203、根据各词汇在预设语言下的一元概率，构建预设语言对应的一元概率词典，根据各二元组在预设语言下的二元概率，构建预设语言对应的二元概率词典。

其中，各预设语言对应的交集词典长度可以是由所有预设语言的语料库之间的重复词汇所构成的词典的长度。示例性的，上述步骤5201，可以采用如下公式计算得到词汇在预设语言下的一元概率：

；

其中，

表示词汇在预设语言下的一元概率，

表示词汇

的使用频次，

为预设一元平滑值，

表示一元频率词典的长度，

表示各预设语言对应的交集词典长度。

示例性的，上述步骤5202，可以通过如下公式计算得到二元组在预设语言下的二元概率：

；

其中，

表示二元组

在预设语言下的二元概率，

表示二元组

的使用频次，

为预设二元平滑值，

为二元频率词典的长度。

进一步的，可以根据各词汇在预设语言下的一元概率，构建该预设语言的一元概率词典，并根据各二元组在预设语言下的二元概率，构建该预设语言的二元概率词典。其中，一元概率词典包括各词汇以及各词汇对应的一元概率；二元概率词典包括各二元组以及各二元组对应的二元概率。

通过上述步骤5201-步骤5203，实现了对各预设语言的概率词典的构建，结合了平滑值和频率词典的长度进行确定，提高了概率词典的准确性。

需要说明的是，上述预设一元平滑值以及预设二元平滑值，也可以根据文本测试集进行自动寻优得到。具体的，可以根据初始一元平滑值以及初始二元平滑值构建一元概率词典和二元概率词典，并对文本测试集中的样本文本进行预测，得到预测标签，根据预设目标函数的计算结果反向调整初始一元平滑值以及初始二元平滑值。

S530、获取待识别文本，确定待识别文本中的各待识别词汇，针对当前待识别词汇，确定与当前待识别词汇对应的至少一个待识别二元组。

S540、针对每一个待识别二元组，基于各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率。

S550、基于各待识别二元组在各预设语言下的二元概率，在各预设语言中确定当前待识别词汇对应的目标语言。

本实施例的技术方案，通过各预设语言分别对应的语料库，构建各预设语言分别对应的一元频率词典和二元频率词典，进而根据一元频率词典和二元概率词典，构建预设语言对应的一元概率词典和二元概率词典，以实现基于词典的语言识别，无需人工标注样本并进行模型训练，与标注样本进行模型训练的方法相比，本实施例提供的识别方法成本低，并且，提高了识别准确性。

实施例六

图6是本发明实施例六提供的一种文本语言识别装置的结构示意图。如图6所示，该装置包括二元组确定模块610、二元概率确定模块620以及语言识别模块630。

二元组确定模块610，用于获取待识别文本，确定所述待识别文本中的各待识别词汇，针对当前待识别词汇，确定与所述当前待识别词汇对应的至少一个待识别二元组，其中，所述待识别二元组包括所述当前待识别词汇以及所述当前待识别词汇的相邻词汇；

二元概率确定模块620，用于针对每一个所述待识别二元组，基于各所述预设语言分别对应的二元概率词典，确定所述待识别二元组在各所述预设语言下的二元概率；

语言识别模块630，用于基于各所述待识别二元组在各所述预设语言下的二元概率，在各所述预设语言中确定所述当前待识别词汇对应的目标语言。

本实施例的技术方案，通过确定待识别文本中的各个待识别词汇，针对当前待识别词汇，确定与其相对的至少一个包括当前待识别词汇以及相邻词汇的待识别二元组，以确定包含词汇上下文的二元组，进而针对每一个待识别二元组，根据各预设语言分别对应的二元概率词典，确定待识别二元组在各预设语言下的二元概率，并根据各个二元概率确定当前待识别词汇对应的目标语言，以通过预先构建的词典确定二元组在各语言下的概率，实现了基于词汇上下文的语言识别，提高了语言识别的准确性，该方法直接根据各语言下的词典即可识别，无需人工标注样本，解决了现有技术成本高以及识别准确率低的技术问题。

在上述实施例的基础上，可选的，语言识别模块630，还用于针对每一个所述预设语言，将各所述待识别二元组在所述预设语言下的二元概率中的最大值，确定为所述预设语言对应的二元参考概率；基于各所述预设语言对应的二元参考概率，与各所述预设语言分别对应的预设二元概率阈值，确定所述当前待识别词汇对应的目标语言。

在上述实施例的基础上，可选的，语言识别模块630，还用于基于各所述预设语言对应的二元参考概率，确定所述当前待识别词汇对应的二元概率占比；基于所述二元概率占比以及与各所述预设语言分别对应的预设二元概率阈值，确定所述当前待识别词汇对应的目标语言。

在上述实施例的基础上，可选的，语言识别模块630，还用于若所述二元概率占比不满足与各所述预设语言分别对应的预设二元概率阈值，则基于各所述预设语言分别对应的一元概率词典，确定所述当前待识别词汇在各所述预设语言下的一元概率；基于所述当前待识别词汇在各所述预设语言下的一元概率，确定所述当前待识别词汇对应的目标语言。

在上述实施例的基础上，可选的，语言识别模块630，还用于基于所述当前待识别词汇在各所述预设语言下的一元概率，确定所述当前待识别词汇对应的一元概率占比；基于所述一元概率占比以及各所述预设语言分别对应的预设一元概率阈值，确定所述当前待识别词汇对应的目标语言。

在上述实施例的基础上，可选的，所述装置还包括参数确定模块，所述参数确定模块，用于获取文本测试集，其中，所述文本测试集包括各样本文本以及与各所述样本文本对应的样本标签，所述样本标签包括所述样本文本中各个词对应的样本语言；获取各所述预设语言分别对应的初始二元概率阈值以及初始一元概率阈值；针对每一个所述样本文本，基于各所述初始二元概率阈值以及各所述初始一元概率阈值，确定与所述样本文本对应的预测标签，其中，所述预测标签包括所述样本文本中各个词对应的预测语言；基于各所述预测标签、各所述样本标签以及预设目标函数，对各所述初始二元概率阈值和/或各所述初始一元概率阈值进行调整，得到各所述预设二元概率阈值以及各所述预设一元概率阈值。

在上述实施例的基础上，可选的，所述参数确定模块，还用于基于各所述预测标签以及各所述样本标签，确定所述文本测试集对应的当前预测参数，其中，所述当前预测参数包括句子级准确率、句子级召回率、词语级准确率以及词语级召回率；根据所述当前预测参数对所述预设目标函数进行计算，以所述预设目标函数的计算结果最大化为优化目标，调整各所述初始二元概率阈值和/或各所述初始一元概率阈值。

在上述实施例的基础上，可选的，所述装置还包括词表确定模块，所述词表确定模块，用于在所述确定所述当前待识别词汇对应的目标语言之后，获取各所述预设语言中至少一个参考语言对应的预设语言词表；确定各所述预设语言词表中是否包含所述当前待识别词汇，若是，则基于包含所述当前待识别词汇的预设语言词表对应的参考语言，更新所述当前待识别词汇对应的目标语言。

在上述实施例的基础上，可选的，所述装置还包括词典构建模块，所述词典构建模块，用于获取各预设语言分别对应的语料库；针对每一个所述预设语言，基于所述语料库确定各词汇的使用频率以及各二元组的使用频率，基于各所述词汇的使用频率构建所述预设语言对应的一元频率词典，基于各所述二元组的使用频率构建所述预设语言对应的二元频率词典；基于所述一元频率词典和所述二元频率词典，分别构建所述预设语言对应的一元概率词典和二元概率词典。

在上述实施例的基础上，可选的，所述词典构建模块，还用于针对所述一元频率词典中的每一个词汇，基于所述词汇的使用频次、预设一元平滑值、所述一元频率词典的长度以及各所述预设语言对应的交集词典长度，确定所述词汇在所述预设语言下的一元概率；针对所述二元频率词典中的每一个二元组，基于所述二元组的使用频次、预设二元平滑值以及所述二元频率词典的长度，确定所述二元组在所述预设语言下的二元概率；根据各所述词汇在所述预设语言下的一元概率，构建所述预设语言对应的一元概率词典，根据各所述二元组在所述预设语言下的二元概率，构建所述预设语言对应的二元概率词典。

本发明实施例所提供的文本语言识别装置可执行本发明任意实施例所提供的文本语言识别方法，具备执行方法相应的功能模块和有益效果。

实施例七

图7是本发明实施例七提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如文本语言识别方法。

在一些实施例中，文本语言识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的文本语言识别方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行文本语言识别方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的文本语言识别方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

实施例八

本发明实施例八还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种文本语言识别方法，该方法包括：

获取待识别文本，确定所述待识别文本中的各待识别词汇，针对当前待识别词汇，确定与所述当前待识别词汇对应的至少一个待识别二元组，其中，所述待识别二元组包括所述当前待识别词汇以及所述当前待识别词汇的相邻词汇；

针对每一个所述待识别二元组，基于各所述预设语言分别对应的二元概率词典，确定所述待识别二元组在各所述预设语言下的二元概率；

基于各所述待识别二元组在各所述预设语言下的二元概率，在各所述预设语言中确定所述当前待识别词汇对应的目标语言。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种文本语言识别方法，其特征在于，包括：

获取待识别文本，确定所述待识别文本中的各待识别词汇，针对当前待识别词汇，确定与所述当前待识别词汇对应的至少一个待识别二元组，其中，所述待识别二元组包括所述当前待识别词汇以及所述当前待识别词汇的相邻词汇；

针对每一个所述待识别二元组，基于各预设语言分别对应的二元概率词典，确定所述待识别二元组在各所述预设语言下的二元概率；

基于各所述待识别二元组在各所述预设语言下的二元概率，在各所述预设语言中确定所述当前待识别词汇对应的目标语言。

2.根据权利要求1所述的方法，其特征在于，所述基于各所述待识别二元组在各所述预设语言下的二元概率，确定所述当前待识别词汇对应的目标语言，包括：

针对每一个所述预设语言，将各所述待识别二元组在所述预设语言下的二元概率中的最大值，确定为所述预设语言对应的二元参考概率；

基于各所述预设语言对应的二元参考概率，与各所述预设语言分别对应的预设二元概率阈值，确定所述当前待识别词汇对应的目标语言。

3.根据权利要求2所述的方法，其特征在于，所述基于各所述预设语言对应的二元参考概率，以及与各所述预设语言分别对应的预设二元概率阈值，确定所述待识别词汇对应的目标语言，包括：

基于各所述预设语言对应的二元参考概率，确定所述当前待识别词汇对应的二元概率占比；

基于所述二元概率占比以及与各所述预设语言分别对应的预设二元概率阈值，确定所述当前待识别词汇对应的目标语言。

4.根据权利要求3所述的方法，其特征在于，所述基于所述二元概率占比以及与各所述预设语言分别对应的预设二元概率阈值，确定所述当前待识别词汇对应的目标语言，包括：

若所述二元概率占比不满足与各所述预设语言分别对应的预设二元概率阈值，则基于各所述预设语言分别对应的一元概率词典，确定所述当前待识别词汇在各所述预设语言下的一元概率；

基于所述当前待识别词汇在各所述预设语言下的一元概率，确定所述当前待识别词汇对应的目标语言。

5.根据权利要求4所述的方法，其特征在于，所述基于所述当前待识别词汇在各所述预设语言下的一元概率，确定所述当前待识别词汇对应的目标语言，包括：

基于所述当前待识别词汇在各所述预设语言下的一元概率，确定所述当前待识别词汇对应的一元概率占比；

基于所述一元概率占比以及各所述预设语言分别对应的预设一元概率阈值，确定所述当前待识别词汇对应的目标语言。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取文本测试集，其中，所述文本测试集包括各样本文本以及与各所述样本文本对应的样本标签，所述样本标签包括所述样本文本中各个词对应的样本语言；

获取各所述预设语言分别对应的初始二元概率阈值以及初始一元概率阈值；

针对每一个所述样本文本，基于各所述初始二元概率阈值以及各所述初始一元概率阈值，确定与所述样本文本对应的预测标签，其中，所述预测标签包括所述样本文本中各个词对应的预测语言；

基于各所述预测标签、各所述样本标签以及预设目标函数，对各所述初始二元概率阈值和/或各所述初始一元概率阈值进行调整，得到各所述预设二元概率阈值以及各所述预设一元概率阈值。

7.根据权利要求6所述的方法，其特征在于，所述基于各所述预测标签、各所述样本标签以及预设目标函数，对各所述初始二元概率阈值和/或各所述初始一元概率阈值进行调整，包括：

基于各所述预测标签以及各所述样本标签，确定所述文本测试集对应的当前预测参数，其中，所述当前预测参数包括句子级准确率、句子级召回率、词语级准确率以及词语级召回率；

根据所述当前预测参数对所述预设目标函数进行计算，以所述预设目标函数的计算结果最大化为优化目标，调整各所述初始二元概率阈值和/或各所述初始一元概率阈值。

8.根据权利要求1所述的方法，其特征在于，在所述确定所述当前待识别词汇对应的目标语言之后，所述方法还包括：

获取各所述预设语言中至少一个参考语言对应的预设语言词表；

确定各所述预设语言词表中是否包含所述当前待识别词汇，若是，则基于包含所述当前待识别词汇的预设语言词表对应的参考语言，更新所述当前待识别词汇对应的目标语言。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：

获取各预设语言分别对应的语料库；

针对每一个所述预设语言，基于所述语料库确定各词汇的使用频率以及各二元组的使用频率，基于各所述词汇的使用频率构建所述预设语言对应的一元频率词典，基于各所述二元组的使用频率构建所述预设语言对应的二元频率词典；

基于所述一元频率词典和所述二元频率词典，分别构建所述预设语言对应的一元概率词典和二元概率词典。

10.根据权利要求9所述的方法，其特征在于，所述基于所述一元频率词典和所述二元频率词典，分别构建所述预设语言对应的一元概率词典和二元概率词典，包括：

针对所述一元频率词典中的每一个词汇，基于所述词汇的使用频次、预设一元平滑值、所述一元频率词典的长度以及各所述预设语言对应的交集词典长度，确定所述词汇在所述预设语言下的一元概率；

针对所述二元频率词典中的每一个二元组，基于所述二元组的使用频次、预设二元平滑值以及所述二元频率词典的长度，确定所述二元组在所述预设语言下的二元概率；

根据各所述词汇在所述预设语言下的一元概率，构建所述预设语言对应的一元概率词典，根据各所述二元组在所述预设语言下的二元概率，构建所述预设语言对应的二元概率词典。

11.一种文本语言识别装置，其特征在于，包括：

二元组确定模块，用于获取待识别文本，确定所述待识别文本中的各待识别词汇，针对当前待识别词汇，确定与所述当前待识别词汇对应的至少一个待识别二元组，其中，所述待识别二元组包括所述当前待识别词汇以及所述当前待识别词汇的相邻词汇；

二元概率确定模块，用于针对每一个所述待识别二元组，基于各预设语言分别对应的二元概率词典，确定所述待识别二元组在各所述预设语言下的二元概率；

语言识别模块，用于基于各所述待识别二元组在各所述预设语言下的二元概率，在各所述预设语言中确定所述当前待识别词汇对应的目标语言。

12.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的文本语言识别方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-10中任一项所述的文本语言识别方法。

Images