CN107844481A - 识别文本检错方法及装置 - Google Patents

识别文本检错方法及装置 Download PDF

Info

Publication number
CN107844481A
CN107844481A CN201711167410.5A CN201711167410A CN107844481A CN 107844481 A CN107844481 A CN 107844481A CN 201711167410 A CN201711167410 A CN 201711167410A CN 107844481 A CN107844481 A CN 107844481A
Authority
CN
China
Prior art keywords
participle
confidence
translation
text
identification text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711167410.5A
Other languages
English (en)
Other versions
CN107844481B (zh
Inventor
刘俊华
魏思
胡国平
柳林
王建社
方昕
李永超
孟廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang Shenggu Rongchuang Digital Industry Development Co ltd
Original Assignee
Xinjiang Iflytek Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Iflytek Information Technology Co ltd filed Critical Xinjiang Iflytek Information Technology Co ltd
Priority to CN201711167410.5A priority Critical patent/CN107844481B/zh
Publication of CN107844481A publication Critical patent/CN107844481A/zh
Application granted granted Critical
Publication of CN107844481B publication Critical patent/CN107844481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Abstract

本发明实施例提供一种识别文本检错方法及装置，属于语言处理技术领域。该方法包括：获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度；将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。由于可基于翻译置信度反向确定每一分词作为识别结果的可信程度，并可基于语境置信度确定每一分词在翻译前或翻译后的语境中作为识别结果的可信程度，从而在结合翻译置信度、语境置信度以及识别置信度对识别文本中每一分词进行检错时，检错依据较为多元，并可提高检错准确度。

Description

识别文本检错方法及装置
技术领域
本发明实施例涉及语言处理技术领域，更具体地，涉及一种识别文本检错方法及装置。
背景技术
目前，语言沟通成为不同种族群体在相互交流时所面临的一个重要课题。传统的翻译方式通常是采用人工陪同口译、交替口译以及同声传译等，以解决语言沟通障碍问题，但受限于人力不足以及成本限制，无法满足普通人进行沟通交流的需求。而语音翻译技术的发展对传统翻译方式做出了有益补充，为普通人日常沟通交流提供了另一条途径，并在成本及时效性等方面更具优势。语音翻译包括语音识别、机器翻译和语音合成这三个步骤，由于在语音识别环节中引入的错误，会直接影响后续翻译准确度，从而如何对识别文本进行检错是提升翻译准确度的关键。
相关技术中提供了一种识别文本检测方法，该方法主要是基于识别文本中每个词的识别置信度判断识别文本中每个词是否正确。由于是基于识别过程中每个词的识别置信度来进行检错，检错依据较为单一，从而检错准确度较低。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的识别文本检错方法及装置。
根据本发明实施例的第一方面，提供了一种识别文本检错方法，该方法包括：
获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，翻译置信度是基于目标语言文本中每一目标词的翻译准确度所得到的，语境置信度是基于识别文本中每一分词的语境特征所得到的，目标语言文本是对识别文本进行翻译后得到的；
将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。
本发明实施例提供的方法，通过获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行加权求和，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。由于可基于翻译置信度反向确定每一分词作为识别结果的可信程度，并可基于语境置信度确定每一分词在翻译前或翻译后的语境中作为识别结果的可信程度，从而在结合翻译置信度、语境置信度以及识别置信度对识别文本中每一分词进行检错时，检错依据较为多元，并可提高检错准确度。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，目标语言文本是将识别文本输入至翻译编解码循环神经网络输出得到的；相应地，获取识别文本中每一分词的翻译置信度，包括：
基于翻译编解码循环神经网络中解码层的输出特征及每一分词在识别文本中的编码特征，获取每一分词的翻译贡献度，每一分词的编码特征用于表示每一分词翻译前的语境；
对每一分词的翻译贡献度进行归一化，获取每一分词对应的归一化注意力权重系数；
将每一分词对应的归一化注意力权重系数与每一目标词的翻译准确度进行加权求和，得到每一分词的翻译置信度。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，获取每一分词在识别文本中的编码特征，包括：
通过翻译编解码循环神经网络获取每一分词的词向量对应的前向编码特征及反向编码特征，将每一分词对应的前向编码特征与反向编码特征进行拼接，得到每一分词在识别文本中的编码特征。
结合第一方面的第一种可能的实现方式，在第四种可能的实现方式中，每一分词的语境特征包括解码特征，每一分词的解码特征用于表示用于每一分词翻译后的语境；相应地，获取识别文本中每一分词的语境特征，包括：
将每一分词对应的归一化注意力权重系数与翻译编解码循环神经网络中解码层的输出特征进行加权求和，得到每一分词的解码特征。
结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，每一分词的语境特征还包括以下三种数据中的至少一种数据，以下三种数据分别为每一分词的词向量、每一分词在识别文本中的编码特征以及识别文本对应的主题类型。
结合第一方面的第一种可能的实现方式，在第六种可能的实现方式中，获取识别文本中每一分词的语境置信度，包括：
将识别文本中每一分词的语境特征输入至语境置信度计算模型，输出得到每一分词的语境置信度，语境置信度计算模型是基于训练识别文本的语境特征对预设计算模型进行训练后得到的。
结合第一方面的第一种可能的实现方式，在第七种可能的实现方式中，获取识别文本中每一分词的识别置信度，包括：
获取识别文本中每一分词的后验概率，并作为每一分词的识别置信度；或者，
将识别文本中每一分词的声学分值、语言模型分值、后验概率及持续时长输入至识别置信度计算模型，输出每一分词的识别置信度。
根据本发明实施例的第二方面，提供了一种识别文本检错装置，该装置包括：
获取模块，用于获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，翻译置信度是基于目标语言文本中每一目标词的翻译准确度所得到的，语境置信度是基于识别文本中每一分词的语境特征所得到的，目标语言文本是对识别文本进行翻译后得到的；
检测模块，用于将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。
根据本发明实施例的第三方面，提供了一种识别文本检错设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的识别文本检错方法。
根据本发明的第四方面，提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的识别文本检错方法。
应当理解的是，以上的一般描述和后文的细节描述是示例性和解释性的，并不能限制本发明实施例。
附图说明
图1为本发明实施例的一种识别文本检错方法的流程示意图；
图2为本发明实施例的一种识别文本检错方法的流程示意图；
图3为本发明实施例的一种翻译编解码循环神经网络的结构示意图；
图4为本发明实施例的一种识别文本检错装置的框图；
图5为本发明实施例的一种识别文本检错设备的框图。
具体实施方式
下面结合附图和实施例，对本发明实施例的具体实施方式作进一步详细描述。以下实施例用于说明本发明实施例，但不用来限制本发明实施例的范围。
语音翻译是指将源语言的语音信号自动翻译成目标语言的语音信号的过程。语音翻译一般包括语音识别、机器翻译和语音合成三个主要组成部分。具体地，在给定源语言的语音信号时，首先通过语音识别***得到源语言的识别文本，其次通过机器翻译***将识别文本翻译成目标语言文本，最后通过语音合成***将目标语言文本合成为目标语言的语音信号。由于每个组成部分在当前技术条件下还没有达到理想水平，在一些情况下会导致语音翻译***输出的翻译结果有误，尤其是在语音识别环节中引入的错误，会直接影响后续翻译准确度，从而如何对识别文本进行检错是提升翻译准确度的关键。
针对上述情形，本发明实施例提供了一种识别文本检错方法。该方法可用于语音翻译场景，即先通过语音识别得到识别文本，在对识别文本进行翻译后，基于翻译结果对识别文本进行检错。参见图1，该方法包括：
101、获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，翻译置信度是基于目标语言文本中每一目标词的翻译准确度所得到的，语境置信度是基于识别文本中每一分词的语境特征所得到的，目标语言文本是对识别文本进行翻译后得到的；
102、将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。
在执行上述步骤101之前，可先通过音频采集模块接收源语言的语音信号，再对源语言的语音信号进行语音识别得到识别文本。其中，在对识别文本进行翻译时，可将识别文本输入至翻译编解码循环神经网络，从而输出得到目标语言文本。识别文本可以表示为 x＝(x1,x2,x3,…,xm)，xi表示第i个分词。每一分词的识别置信度用于表示每一分词作为识别结果的可信程度，每一分词的翻译置信度用于表示基于翻译结果反向确定每一分词作为识别结果的可信程度，每一分词的语境置信度用于表示每一分词作为识别结果在当前语境下的可信程度。其中，第i个分词的识别置信度可表示Crec(xi)，翻译置信度可表示为Ctrans(xi)，语境置信度可表示为Ccontex(xi)。在得到第i个分词的综合置信度分值时，可通过加权求和或者非线性融合等方式，本发明实施例对此不作具体限定。当采用加权求和的方式时，可通过如下公式计算：
C(xi)＝wrecCrec(xi)+wtransCtrans(xi)+wcontext(xi)
在上述公式中，C(xi)为第i个分词的综合置信度分值。wrec为识别置信度的权重，wtrans为翻译置信度的权重，wcontext为语境置信度的权重。上述每种权重可根据实际应用或实验结果确定，本发明实施例对此不作具体限定。
在计算得到第i个分词的综合置信度分值C(xi)后，可将第i个分词的综合置信度分值C(xi)与预设阈值T进行比较。若第i个分词的综合置信度分值C(xi)小于预设阈值T，则可确定第i个分词为错误词。若第i个分词的综合置信度分值C(xi)不小于预设阈值T，则可确定第i个分词为正确词。
本发明实施例提供的方法，通过获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。由于可基于翻译置信度反向确定每一分词作为识别结果的可信程度，并可基于语境置信度确定每一分词在翻译前或翻译后的语境中作为识别结果的可信程度，从而在结合翻译置信度、语境置信度以及识别置信度对识别文本中每一分词进行检错时，检错依据较为多元，并可提高检错准确度。
基于上述实施例的内容，作为一种可选实施例，本发明实施例还提供了一种获取识别文本中每一分词的识别置信度的方法，包括但不限于：获取识别文本中每一分词的后验概率，并作为每一分词的识别置信度；或者，将识别文本中每一分词的声学分值、语言模型分值、后验概率及持续时长输入至识别置信度计算模型，输出每一分词的识别置信度。
其中，上述第一种获取识别置信度的方式可通过如下公式表示：
Crec(xi)＝Ps(xi)
在上述公式中，Crec(xi)表示第i个分词的识别置信度，Ps(xi)表示第i个分词的后验概率。
在上述第二种获取识别置信度的方式中，可先预先收集大量训练语音信号进行语音识别，得到相应的训练识别文本。确定每一训练识别文本中每一分词是否识别正确，并同时对每一分词进行标注，如识别正确的分词可标注为1，识别错误的分词可标注为0。将训练识别文本中每一分词的声学分值、语言模型分值、后验概率及持续时长输入至识别置信度计算模型，根据每一分词的标注结果对识别置信度计算模型的参数进行更新，直至前一次更新过程与后一次更新过程之间模型参数的变化量小于预设变化阈值。此时，更新结束并可得到识别置信度计算模型。具体在计算识别置信度时，可将每一分词的声学分值、语言模型分值、后验概率及持续时长输入至识别置信度计算模型中，从而输出每一分词识别正确的概率，并将输出得到的概率作为每一分词的识别置信度。
基于上述实施例的内容，作为一种可选实施例，本发明实施例还提供了一种获取识别文本中每一分词的翻译置信度的方法。参见图2，包括：
201、基于翻译编解码循环神经网络中解码层的输出特征及每一分词在识别文本中的编码特征，获取每一分词的翻译贡献度，每一分词的编码特征用于表示每一分词翻译前的语境；
202、对每一分词的翻译贡献度进行归一化，获取每一分词对应的归一化注意力权重系数；
203、将每一分词对应的归一化注意力权重系数与每一目标词的翻译准确度进行加权求和，得到每一分词的翻译置信度。
其中，翻译编解码循环神经网络可包含编码模块(Encode)、注意力计算模块(Attention)及解码模块(Decode)。如图3所示，图3为基于循环神经网络(RecurrentNeural Networks，RNN)以及Attention机制的翻译编解码循环神经网络的结构示意图。当然，除了基于RNN的翻译编解码循环神经网络，还可以采用基于门控循环单元(GatedRecurrent Unit，GRU)的翻译编解码循环神经网络，或者基于长短期记忆网络(Long ShortTerm Memory，LSTM)的翻译编解码循环神经网络，本发明实施例对此不作具体限定。
在图3中，识别文本x＝(x1,x2,x3,…,xm)为翻译编解码循环神经网络的输入量，y＝(y1,y2,y3,…,yn)为翻译编解码循环神经网络的输出量。识别文本和目标语言文本的长度分别是m和n，xi表示第i个分词，yj表示第j个目标词。
编码模块用于获取每一分词在识别文本中的编码特征。相应地，作为一种可选实施例，本发明实施例还提供了一种获取每一分词在识别文本中的编码特征的方法，包括但不限于：通过翻译编解码循环神经网络获取每一分词的词向量对应的前向编码特征及反向编码特征，将每一分词对应的前向编码特征与反向编码特征进行拼接，得到每一分词在识别文本中的编码特征。
对于第i个分词，在执行上述过程之前，可先获取第i个分词的词向量ei。其中，向量化方法可采用word2vec，本发明实施例对此不作具体限定。在获取第i个分词的词向量之后，基于该词向量通过前向编码循环神经网络得到第i个分词看到历史词汇信息下的前向编码特征 fi，基于该词向量通过反向编码循环神经网络得到第i个分词看到未来词汇信息下的反向编码特征bi。将第i个分词对应的前向编码特征与反向编码特征进行拼接，得到第i个分词在识别文本中的编码特征hi。
在获取每一分词在识别文本中的编码特征后，注意力计算模块可基于翻译编解码循环神经网络中解码层的输出特征及每一分词在识别文本中的编码特征，获取每一分词的翻译贡献度。其中，获取识别文本中每一分词的翻译贡献度可参考如下公式计算：
在上述公式中，αji表示在翻译得到第j个目标词时第i个分词所起到的贡献程度，也即翻译贡献度，a(hi,sj-1)是依赖于编码模块第i个分词的编码特征hi和解码模块上一时刻解码循环神经网络的输出特征 sj-1的函数。其中，该函数可以有多种实现方式，如前馈神经网络函数，本发明实施例对此不作具体限定。
对于第j个目标词，解码模块用于基于识别文本中每一分词的编码结果和注意力计算模块的输出结果，通过解码循环神经网络中解码层生成目标语言文本中第j个目标词的输出特征sj。其中，翻译后的第j 个目标词的翻译准确度为P(yi)。
由于目标词的翻译准确度在一定程度上取决于识别文本中分词的识别准确性，从而基于反向机制，可通过每一目标词的翻译准确度 P(yi)，计算识别文本中每一分词是否识别正确的置信度，也即翻译置信度，具体计算过程可参考如下公式：
在上述公式中，Ctrans(xi)为第i个分词的翻译置信度。βji表示在对翻译贡献度(在翻译得到第j个目标词时第i个分词所起到的贡献程度)进行归一化后，第i个分词对应的归一化注意力权重系数。
其中，在对每一分词的翻译贡献度进行归一化，获取每一分词对应的归一化注意力权重系数时，可采用如下计算公式：
基于上述实施例的内容，可获取到识别文本中每一分词的识别置信度以及翻译置信度。作为一种可选实施例，本发明实施例还提供了一种获取识别文本中每一分词的语境置信度的方法，包括但不限于：将识别文本中每一分词的语境特征输入至语境置信度计算模型，输出得到每一分词的语境置信度。
其中，语境置信度计算模型是基于训练识别文本的语境特征对预设计算模型进行训练后得到的。具体地，可预先收集大量语音信号进行语音识别以得到训练识别文本，确定每一训练识别文本中每一分词是否识别正确，并同时对每一分词进行标注，如识别正确的分词可标注为1，识别错误的分词可标注为0。利用翻译编解码循环神经网络对训练识别文本进行翻译，提取训练识别文本中每一分词的语境特征。将训练识别文本中每一分词的语境特征作为语境置信度计算模型的输入量，计算训练识别文本中每一分词为识别正确词的概率。如果计算得到的概率大于预先设定的阈值，则认为该分词为识别正确词。根据该分词的标注结果对语境置信度计算模型的参数进行更新。重复上述过程，直至前一次更新过程与后一次更新过程之间模型参数的变化量小于预设变化阈值。此时，更新结束并可得到语境置信度计算模型，以用于后续计算语境置信度。
在执行计算语境置信度之前，可先获取每一分词的语境特征。基于上述实施例的内容，作为一种可选实施例，每一分词的语境特征可包括解码特征，每一分词的解码特征用于表示用于每一分词翻译后的语境。相应地，本发明实施例还提供了一种获取识别文本中每一分词的解码特征的方法，包括但不限于：将每一分词对应的归一化注意力权重系数与翻译编解码循环神经网络中解码层的输出特征进行加权求和，得到每一分词的解码特征。具体计算过程可参考如下公式：
在上述公式中，di为第i个分词的解码特征。
基于上述实施例的内容，作为一种可选实施例，每一分词的语境特征除了包括解码特征之外，还可包括以下三种数据中的至少一种数据，以下三种数据分别为每一分词的词向量、每一分词在识别文本中的编码特征以及识别文本对应的主题类型。
其中，可以预先设定若干主体类型，并基于预先设定的主体类型，按照主题划分方法确定当前识别文本的主题类型。具体地，可采用文档主题生成模型(Latent DirichletAllocation，LDA)等无监督聚类的方法得到当前识别文本的主题类型，本发明实施例对此不作具体限定。
本发明实施例提供的方法，通过获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。由于可基于翻译置信度反向确定每一分词作为识别结果的可信程度，并可基于语境置信度确定每一分词在翻译前或翻译后的语境中作为识别结果的可信程度，从而在结合翻译置信度、语境置信度以及识别置信度对识别文本中每一分词进行检错时，检错依据较为多元，并可提高检错准确度。
另外，由于在对识别文本进行检错后，还可按照检测结果对识别文本进行修正，并可在修正后再进行翻译，从而可提高翻译准确度以及交互体验。
需要说明的是，上述所有可选实施例，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
基于上述实施例的内容，本发明实施例提供了一种识别文本检错装置，该识别文本检错装置用于执行上述方法实施例中的识别文本检错方法。参见图4，该装置包括：
获取模块401，用于获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，翻译置信度是基于目标语言文本中每一目标词的翻译准确度所得到的，语境置信度是基于识别文本中每一分词的语境特征所得到的，目标语言文本是对识别文本进行翻译后得到的；
检错模块402，用于将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。
作为一种可选实施例，目标语言文本是将识别文本输入至翻译编解码循环神经网络输出得到的；相应地，获取模块401，包括：
获取单元，用于基于翻译编解码循环神经网络中解码层的输出特征及每一分词在识别文本中的编码特征，获取每一分词的翻译贡献度，每一分词的编码特征用于表示每一分词翻译前的语境；
归一化单元，用于对每一分词的翻译贡献度进行归一化，获取每一分词对应的归一化注意力权重系数；
计算单元，用于将每一分词对应的归一化注意力权重系数与每一目标词的翻译准确度进行加权求和，得到每一分词的翻译置信度。
作为一种可选实施例，获取单元，用于通过翻译编解码循环神经网络获取每一分词的词向量对应的前向编码特征及反向编码特征，将每一分词对应的前向编码特征与反向编码特征进行拼接，得到每一分词在识别文本中的编码特征。
作为一种可选实施例，每一分词的语境特征包括解码特征，每一分词的解码特征用于表示用于每一分词翻译后的语境；相应地，获取模块401，用于将每一分词对应的归一化注意力权重系数与翻译编解码循环神经网络中解码层的输出特征进行加权求和，得到每一分词的解码特征。
作为一种可选实施例，每一分词的语境特征还包括以下三种数据中的至少一种数据，以下三种数据分别为每一分词的词向量、每一分词在识别文本中的编码特征以及识别文本对应的主题类型。
作为一种可选实施例，获取模块401，用于将识别文本中每一分词的语境特征输入至语境置信度计算模型，输出得到每一分词的语境置信度，语境置信度计算模型是基于训练识别文本的语境特征对预设计算模型进行训练后得到的。
作为一种可选实施例，获取模块401，用于获取识别文本中每一分词的后验概率，并作为每一分词的识别置信度；或者，将识别文本中每一分词的声学分值、语言模型分值、后验概率及持续时长输入至识别置信度计算模型，输出每一分词的识别置信度。
本发明实施例提供的装置，通过获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。由于可基于翻译置信度反向确定每一分词作为识别结果的可信程度，并可基于语境置信度确定每一分词在翻译前或翻译后的语境中作为识别结果的可信程度，从而在结合翻译置信度、语境置信度以及识别置信度对识别文本中每一分词进行检错时，检错依据较为多元，并可提高检错准确度。
另外，由于在对识别文本进行检错后，还可按照检测结果对识别文本进行修正，并可在修正后再进行翻译，从而可提高翻译准确度以及交互体验。
本发明实施例提供了一种识别文本检错设备。参见图5，该设备包括：处理器(processor)501、存储器(memory)502和总线503；
其中，处理器501及存储器502分别通过总线503完成相互间的通信；
处理器501用于调用存储器502中的程序指令，以执行上述实施例所提供的识别文本检错方法，例如包括：获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，翻译置信度是基于目标语言文本中每一目标词的翻译准确度所得到的，语境置信度是基于识别文本中每一分词的语境特征所得到的，目标语言文本是对识别文本进行翻译后得到的；将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的识别文本检错方法，例如包括：获取识别文本中每一分词的识别置信度、翻译置信度和语境置信度，翻译置信度是基于目标语言文本中每一目标词的翻译准确度所得到的，语境置信度是基于识别文本中每一分词的语境特征所得到的，目标语言文本是对识别文本进行翻译后得到的；将识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为识别文本中的错误词。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的识别文本检错设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种识别文本检错方法，其特征在于，包括：
获取所述识别文本中每一分词的识别置信度、翻译置信度和语境置信度，所述翻译置信度是基于目标语言文本中每一目标词的翻译准确度所得到的，所述语境置信度是基于所述识别文本中每一分词的语境特征所得到的，所述目标语言文本是对所述识别文本进行翻译后得到的；
将所述识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到所述识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为所述识别文本中的错误词。
2.根据权利要求1所述的方法，其特征在于，所述目标语言文本是将所述识别文本输入至翻译编解码循环神经网络输出得到的；相应地，所述获取识别文本中每一分词的翻译置信度，包括：
基于所述翻译编解码循环神经网络中解码层的输出特征及每一分词在所述识别文本中的编码特征，获取每一分词的翻译贡献度，每一分词的编码特征用于表示每一分词翻译前的语境；
对每一分词的翻译贡献度进行归一化，获取每一分词对应的归一化注意力权重系数；
将每一分词对应的归一化注意力权重系数与每一目标词的翻译准确度进行加权求和，得到每一分词的翻译置信度。
3.根据权利要求2所述的方法，其特征在于，所述获取每一分词在所述识别文本中的编码特征，包括：
通过所述翻译编解码循环神经网络获取每一分词的词向量对应的前向编码特征及反向编码特征，将每一分词对应的前向编码特征与反向编码特征进行拼接，得到每一分词在所述识别文本中的编码特征。
4.根据权利要求1所述的方法，其特征在于，每一分词的语境特征包括解码特征，每一分词的解码特征用于表示用于每一分词翻译后的语境；相应地，所述获取所述识别文本中每一分词的语境特征，包括：
将每一分词对应的归一化注意力权重系数与所述翻译编解码循环神经网络中解码层的输出特征进行加权求和，得到每一分词的解码特征。
5.根据权利要求4所述的方法，其特征在于，每一分词的语境特征还包括以下三种数据中的至少一种数据，所述以下三种数据分别为每一分词的词向量、每一分词在所述识别文本中的编码特征以及所述识别文本对应的主题类型。
6.根据权利要求1所述的方法，其特征在于，所述获取识别文本中每一分词的语境置信度，包括：
将识别文本中每一分词的语境特征输入至语境置信度计算模型，输出得到每一分词的语境置信度，所述语境置信度计算模型是基于训练识别文本的语境特征对预设计算模型进行训练后得到的。
7.根据权利要求1所述的方法，其特征在于，所述获取识别文本中每一分词的识别置信度，包括：
获取所述识别文本中每一分词的后验概率，并作为每一分词的识别置信度；或者，
将所述识别文本中每一分词的声学分值、语言模型分值、后验概率及持续时长输入至识别置信度计算模型，输出每一分词的识别置信度。
8.一种识别文本检错装置，其特征在于，包括：
获取模块，用于获取所述识别文本中每一分词的识别置信度、翻译置信度和语境置信度，所述翻译置信度是基于目标语言文本中每一目标词的翻译准确度所得到的，所述语境置信度是基于所述识别文本中每一分词的语境特征所得到的，所述目标语言文本是对所述识别文本进行翻译后得到的；
检测模块，用于将所述识别文本中每一分词的识别置信度、翻译置信度及语境置信度进行融合，以得到所述识别文本中每一分词的综合置信度分值，将综合置信度分值小于预设阈值的分词作为所述识别文本中的错误词。
9.一种识别文本检错设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201711167410.5A 2017-11-21 2017-11-21 识别文本检错方法及装置 Active CN107844481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711167410.5A CN107844481B (zh) 2017-11-21 2017-11-21 识别文本检错方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711167410.5A CN107844481B (zh) 2017-11-21 2017-11-21 识别文本检错方法及装置

Publications (2)

Publication Number Publication Date
CN107844481A true CN107844481A (zh) 2018-03-27
CN107844481B CN107844481B (zh) 2019-09-13

Family

ID=61679894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711167410.5A Active CN107844481B (zh) 2017-11-21 2017-11-21 识别文本检错方法及装置

Country Status (1)

Country Link
CN (1) CN107844481B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428447A (zh) * 2018-06-19 2018-08-21 科大讯飞股份有限公司 一种语音意图识别方法及装置
CN108647207A (zh) * 2018-05-08 2018-10-12 上海携程国际旅行社有限公司 自然语言修正方法、***、设备及存储介质
CN108985289A (zh) * 2018-07-18 2018-12-11 百度在线网络技术（北京）有限公司 乱码检测方法及装置
CN109086266A (zh) * 2018-07-02 2018-12-25 昆明理工大学 一种文本形近字的检错与校对方法
CN110047488A (zh) * 2019-03-01 2019-07-23 北京彩云环太平洋科技有限公司 语音翻译方法、装置、设备及控制设备
CN111368531A (zh) * 2020-03-09 2020-07-03 腾讯科技（深圳）有限公司 翻译文本处理方法、装置、计算机设备和存储介质
CN111627446A (zh) * 2020-05-29 2020-09-04 国网浙江省电力有限公司信息通信分公司 一种基于智能语音识别技术的通信会议***
CN113409792A (zh) * 2021-06-22 2021-09-17 科大讯飞股份有限公司 一种语音识别方法及其相关设备
WO2021212614A1 (zh) * 2020-04-23 2021-10-28 平安科技（深圳）有限公司 文本纠错方法、装置、计算机可读存储介质及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655837A (zh) * 2009-09-08 2010-02-24 北京邮电大学 一种对语音识别后文本进行检错并纠错的方法
US20150006170A1 (en) * 2013-06-28 2015-01-01 International Business Machines Corporation Real-Time Speech Analysis Method and System
CN104484319A (zh) * 2010-09-24 2015-04-01 新加坡国立大学 用于自动化文本校正的方法和***
CN105183848A (zh) * 2015-09-07 2015-12-23 百度在线网络技术（北京）有限公司 基于人工智能的人机聊天方法和装置
CN105244029A (zh) * 2015-08-28 2016-01-13 科大讯飞股份有限公司 语音识别后处理方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655837A (zh) * 2009-09-08 2010-02-24 北京邮电大学 一种对语音识别后文本进行检错并纠错的方法
CN104484319A (zh) * 2010-09-24 2015-04-01 新加坡国立大学 用于自动化文本校正的方法和***
US20150006170A1 (en) * 2013-06-28 2015-01-01 International Business Machines Corporation Real-Time Speech Analysis Method and System
CN105244029A (zh) * 2015-08-28 2016-01-13 科大讯飞股份有限公司 语音识别后处理方法及***
CN105183848A (zh) * 2015-09-07 2015-12-23 百度在线网络技术（北京）有限公司 基于人工智能的人机聊天方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龙丽霞: "基于实例语境的语音识别后文本检错与纠错研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647207A (zh) * 2018-05-08 2018-10-12 上海携程国际旅行社有限公司 自然语言修正方法、***、设备及存储介质
CN108647207B (zh) * 2018-05-08 2022-04-05 上海携程国际旅行社有限公司 自然语言修正方法、***、设备及存储介质
CN108428447A (zh) * 2018-06-19 2018-08-21 科大讯飞股份有限公司 一种语音意图识别方法及装置
CN108428447B (zh) * 2018-06-19 2021-02-02 科大讯飞股份有限公司 一种语音意图识别方法及装置
CN109086266A (zh) * 2018-07-02 2018-12-25 昆明理工大学 一种文本形近字的检错与校对方法
CN109086266B (zh) * 2018-07-02 2021-09-14 昆明理工大学 一种文本形近字的检错与校对方法
CN108985289A (zh) * 2018-07-18 2018-12-11 百度在线网络技术（北京）有限公司 乱码检测方法及装置
CN110047488B (zh) * 2019-03-01 2022-04-12 北京彩云环太平洋科技有限公司 语音翻译方法、装置、设备及控制设备
CN110047488A (zh) * 2019-03-01 2019-07-23 北京彩云环太平洋科技有限公司 语音翻译方法、装置、设备及控制设备
CN111368531A (zh) * 2020-03-09 2020-07-03 腾讯科技（深圳）有限公司 翻译文本处理方法、装置、计算机设备和存储介质
CN111368531B (zh) * 2020-03-09 2023-04-14 腾讯科技（深圳）有限公司 翻译文本处理方法、装置、计算机设备和存储介质
WO2021212614A1 (zh) * 2020-04-23 2021-10-28 平安科技（深圳）有限公司 文本纠错方法、装置、计算机可读存储介质及***
CN111627446A (zh) * 2020-05-29 2020-09-04 国网浙江省电力有限公司信息通信分公司 一种基于智能语音识别技术的通信会议***
CN113409792A (zh) * 2021-06-22 2021-09-17 科大讯飞股份有限公司 一种语音识别方法及其相关设备
CN113409792B (zh) * 2021-06-22 2024-02-13 中国科学技术大学 一种语音识别方法及其相关设备

Also Published As

Publication number Publication date
CN107844481B (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN107844481B (zh) 识别文本检错方法及装置
CN109871545B (zh) 命名实体识别方法及装置
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN107977356B (zh) 识别文本纠错方法及装置
CN110929515B (zh) 基于协同注意力和自适应调整的阅读理解方法及***
CN110428820B (zh) 一种中英文混合语音识别方法及装置
US20220414135A1 (en) Detecting affective characteristics of text with gated convolutional encoder-decoder framework
CN112257437B (zh) 语音识别纠错方法、装置、电子设备和存储介质
CN113065358B (zh) 面向银行咨询服务基于多粒度对齐的文本对语义匹配方法
CN111985239A (zh) 实体识别方法、装置、电子设备及存储介质
CN110310619A (zh) 多音字预测方法、装置、设备及计算机可读存储介质
CN110399472B (zh) 面试提问提示方法、装置、计算机设备及存储介质
US20230306209A1 (en) Learned Evaluation Model For Grading Quality of Natural Language Generation Outputs
CN110427629A (zh) 半监督文本简化模型训练方法和***
CN115019776A (zh) 语音识别模型及其训练方法、语音识别方法及装置
CN114021582B (zh) 结合语音信息的口语理解方法、装置、设备及存储介质
CN110717021A (zh) 人工智能面试中获取输入文本和相关装置
CN116662552A (zh) 金融文本数据分类方法、装置、终端设备及介质
CN115394287A (zh) 混合语种语音识别方法、装置、***及存储介质
CN116341651A (zh) 实体识别模型训练方法、装置、电子设备及存储介质
CN114187894A (zh) 一种意图识别方法、装置及其相关设备
CN111563161B (zh) 一种语句识别方法、语句识别装置及智能设备
CN113705207A (zh) 语法错误识别方法及装置
CN116702765A (zh) 一种事件抽取方法、装置及电子设备
CN112818688B (zh) 文本处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 830000 room 615-5, building 1, science building, No. 458, Northwest Road, saybak District, Urumqi, Xinjiang Uygur Autonomous Region

Patentee after: Xinjiang Shenggu rongchuang Digital Industry Development Co.,Ltd.

Address before: 830002 room 529, 5th floor, science building, 458 Northwest Road, shayibak District, Urumqi, Xinjiang Uygur Autonomous Region

Patentee before: XINJIANG IFLYTEK INFORMATION TECHNOLOGY CO.,LTD.

CP03 Change of name, title or address