CN109145315A - 文本翻译方法、装置、存储介质和计算机设备 - Google Patents
文本翻译方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN109145315A CN109145315A CN201811033545.7A CN201811033545A CN109145315A CN 109145315 A CN109145315 A CN 109145315A CN 201811033545 A CN201811033545 A CN 201811033545A CN 109145315 A CN109145315 A CN 109145315A
- Authority
- CN
- China
- Prior art keywords
- vector
- word
- source
- text
- reconstruct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000013598 vector Substances 0.000 claims abstract description 657
- 238000013519 translation Methods 0.000 claims abstract description 159
- 238000012545 processing Methods 0.000 claims abstract description 92
- 239000013589 supplement Substances 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 134
- 238000012549 training Methods 0.000 claims description 63
- 230000007246 mechanism Effects 0.000 claims description 49
- 238000007476 Maximum Likelihood Methods 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 102
- 238000010586 diagram Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 230000001427 coherent effect Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 244000086443 Craterellus fallax Species 0.000 description 2
- 235000007926 Craterellus fallax Nutrition 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/47—Machine-assisted translation, e.g. using translation memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及一种文本翻译方法、装置、计算机可读存储介质和计算机设备,所述方法包括:获取初始源文本和重构源文本;所述重构源文本是对所述初始源文本进行缺略词位置信息补充而得到的源文本;对所述初始源文本进行语义编码,得到与所述初始源文本对应的源端向量序列;依次对所述源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词;将依次解码得到的目标端向量构成目标端向量序列;按照所述重构源文本,对所述源端向量序列和所述目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数;依据所述重构分数和所述各候选目标词,生成目标文本。本申请提供的方案可以提高翻译质量。
Description
技术领域
本申请涉及机器学习技术领域,特别是涉及一种文本翻译方法、装置、计算机可读存储介质和计算机设备。
背景技术
机器翻译是指通过计算机将一种自然语言文本(需翻译的自然语言文本一般称为源文本)翻译为另一种自然语言文本(翻译后的自然语言文本称为目标文本),以实现不同语种的文本之间的转换。而不同的语种之间会有不同的语法及句式习惯,比如,在汉语和日语等语言中,代词缺略是极为常见的现象,与之相反,在英、法等语言中,代词作为句子成分则必不可少。当从代词缺略语言(比如汉语)到非代词缺略语言(比如英语)翻译时,需要将隐含的缺略代词召回并正确地翻译出来,这给机器翻译带来了极大挑战。
传统的机器翻译方式,以中译英为例,为了减少缺少缺略代词所带来的影响,通常是借助平行语料库中中英代词省略的差异性,自动标注中文句子中的缺略代词。然后,利用此语料库训练基于神经网络的缺略代词还原***,通过训练好的缺略代词还原***对待翻译的汉语句子进行缺略代词还原的处理,再将处理后的待翻译句子(也就是补全了缺略代词的句子)传递给统计机器翻译***进行翻译。
传统的机器翻译方式,常常由于缺略代词还原***的低准确率带来错误传递,导致源端被添加了错误的代词从而使得翻译结果错误,导致了文本翻译准确率低的问题。
发明内容
基于此,有必要针对文本翻译准确率低的技术问题,提供一种文本翻译方法、装置、计算机可读存储介质和计算机设备。
一种文本翻译方法,包括:
获取初始源文本和重构源文本;所述重构源文本是对所述初始源文本进行缺略词位置信息补充而得到的源文本;
对所述初始源文本进行语义编码,得到与所述初始源文本对应的源端向量序列;
依次对所述源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词;
将依次解码得到的目标端向量构成目标端向量序列;
按照所述重构源文本,对所述源端向量序列和所述目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数;
依据所述重构分数和所述各候选目标词,生成目标文本。
一种文本翻译装置,所述装置包括:
获取模块,用于获取初始源文本和重构源文本;所述重构源文本是对所述初始源文本进行缺略词位置信息补充而得到的源文本;
编码模块,用于对所述初始源文本进行语义编码,得到与所述初始源文本对应的源端向量序列;
解码模块,用于依次对所述源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词;
拼接模块,用于将依次解码得到的目标端向量构成目标端向量序列;
重构模块,用于按照所述重构源文本,对所述源端向量序列和所述目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数;
生成模块,用于依据所述重构分数和所述各候选目标词,生成目标文本。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述文本翻译方法的步骤。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述文本翻译方法的步骤。
上述文本翻译方法、装置、计算机可读存储介质和计算机设备,通过对初始源文本进行语义编码,得到与初始源文本对应的源端向量序列,再依次对源端向量序列进行解码得到的目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词。可使得解码生成的候选目标词不仅包含了源文本的语义信息,还综合了前次的候选目标词的语义信息,使得最终生成的目标文本更为连贯,翻译结果更准确。将依次解码得到的目标端向量构成目标端向量序列,并按照对初始源文本进行缺略词位置信息补充而得到的重构源文本,对源端向量序列和目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数,再依据重构分数和各候选目标词,生成目标文本。这样,通过融合源端和目标端的隐层向量特征可以共享两端的共性信息,在进行重构评估处理时可以减少冗余信息并能避免重要信息的缺失,使得重构分数可以很好的衡量缺略词信息的召回程度。这样,依据重构分数和各候选目标词,生成目标文本,可以减少翻译时缺少缺略代词所带来的影响,大大提高了翻译质量。
附图说明
图1为一个实施例中文本翻译方法的应用环境图;
图2为一个实施例中文本翻译方法的流程示意图;
图3为一个实施例中在汉语表达中缺略代词被省略的实例示意图;
图4为一个实施例中进行缺略代词还原的结构示意图;
图5为一个实施例中通过机器翻译模型对初始源文本进行翻译得到目标文本的流程示意图;
图6为一个实施例中通过包括编码器-解码器结构的机器翻译模型进行文本翻译的流程示意图;
图7为一个实施例中机器翻译模型的训练步骤的流程示意图;
图8为一个实施例中通过采用最大似然函数和重构评估函数的加权和函数作为目标函数而训练得到的机器翻译模型,对源端向量序列和目标端向量序列进行共享重构处理的结构示意图;
图9为一个实施例中通过采用最大似然函数、重构评估函数、以及缺略词还原函数的加权和函数为目标函数训练机器翻译模型时,对源端向量序列和目标端向量序列进行共享重构处理的结构示意图;
图10为一个实施例中通过重构模块将源端向量序列和目标端向量序列重构回含缺略代词的文本的结构示意图;
图11为另一个实施例中文本翻译方法的流程示意图;
图12为一个实施例中文本翻译装置的结构框图;
图13为另一个实施例中文本翻译装置的结构框图;
图14为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中文本翻译方法的应用环境图。参照图1,该文本翻译方法应用于文本翻译***。该文本翻译***包括终端110和服务器120。终端110可获取初始源文本,将初始源文本发送至服务器120,服务器120根据初始源文本确定重构源文本,进而执行文本翻译方法,得到目标文本,再将目标文本返回至终端110。终端110也可在获取初始源文本后执行文本翻译方法得到目标文本。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑和笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示,在一个实施例中,提供了一种文本翻译方法。本实施例主要以该方法应用于计算机设备来举例说明,该计算机设备可以是上述图1中的终端110或服务器120。参照图2,该文本翻译方法具体包括如下步骤:
S202,获取初始源文本和重构源文本;重构源文本是对初始源文本进行缺略词位置信息补充而得到的源文本。
其中,初始源文本是待翻译的初始文本。重构源文本是对初始源文本进行缺略词位置信息补充而得到的源文本。对初始源文本进行缺略词位置信息补充是指确定初始源文本中缺少的缺略词的位置,在初始源文本中补充相应的位置信息。
其中,缺略词是指在语言表达中被省略的词,通常指缺略代词(DP,DroppedPronoun)。在特定语言(如,汉语、日语)表达中,一些代词常常会被省略从而使表达更加简洁。虽然这些代词被省略了,但可以通过上下文语境推断出缺失的信息(即,缺略代词及其指代的先行词),因而这种表达并不会影响人们对内容的理解。此现象属于篇章理论中的零指代或空指代范畴。参考图3,图3示出了一个实施例中在汉语表达中缺略代词被省略的实例示意图。如图3所示,汉语端括号中的主格代词“你”、“我”和宾格代词“它”都被省略了(括号中的文字被省略了),但在英文端对应的代词则没有被省略。
对初始源文本进行缺略词位置信息补充可参考图4,图4示出了一个实施例中进行缺略代词还原的结构示意图。如图4所示,图4中上部分对缺少了缺略代词的句子“喜欢这块蛋糕吗?很喜欢。你烤的吗?”进行缺略代词还原后,得到“你喜欢这块蛋糕吗?我很喜欢它。你烤的它吗?”可以理解的是,被还原的缺略代词与源文本中其他词之间的位置关系就是本申请中使得缺略词位置信息。相应的,参考图4中的下部分,对缺少了缺略代词的句子“喜欢这块蛋糕吗?很喜欢。你烤的吗?”进行指代消解后,得到“喜欢这块蛋糕吗?很喜欢你烤的吗?”其中,就是用来对初始源文本进行缺略词位置信息补充的指代符,而进行指代消解后得到的“喜欢这块蛋糕吗?很喜欢你烤的吗?”文本就是重构源文本。
源文本具体可以是句子、段落或篇章等文本。源文本可以是中文文本,也可以是日文文本等。在一个实施例中,计算机设备可对源文本进行分词处理后得到的各个词所组成的词序列。其中,对于源文本为中文文本的分词处理,可采用基于词典或基于统计的分词方式。
具体地,计算机设备可直接获取初始源文本和重构源文本,对初始源文本和重构源文本进行分词处理,得到相应的词序列。计算机设备也可接收由其他计算机设备根据初始源文本和重构源文本分别生成的词序列。
在一个实施例中,计算机设备在获取初始源文本的词序列后,可通过词嵌入(wordembedding)处理将离散的词序列转换成连续的空间表示向量序列。再将空间表示向量序列输入至预训练的机器翻译模型的输入层,通过预训练的机器翻译模型执行文本翻译方法,以得到目标文本。
在一个实施例中,计算机设备可通过预训练的缺略代词还原模型对初始源文本标注缺略代词位置信息。首先,计算机设备可根据样本库中的样本源文本和样本参考文本构建平行语料库。采用词对齐算法,借助平行语料中样本源文本和样本参考文本之间代词省略的差异性(比如,汉语句子中代词缺略,而对应的英文句子中代词不缺略),自动标注样本源文本中的缺略代词。这样可以不需要人工标注就可以快速构建大规模的源文本缺略代词语料库,比如“源端汉语-自动补全缺略代词位置的汉语-目标端英语”三元对应语料库。然后,利用此语料库训练基于神经网络的缺略代词还原模型,通过训练好的缺略代词还原模型可以很好的预测初始源文本中缺略代词的位置。这样,计算机设备可在缺代词的位置处添加指代符以得到重构源文本。
S204,对初始源文本进行语义编码,得到与初始源文本对应的源端向量序列。
其中,对初始源文本进行语义编码,是将初始源文本转换为向量的过程。源端向量序列,是指对初始源文本的词序列进行语义编码后得到的向量序列。具体地,计算机设备可对初始源文本进行分词,得到词序列。分别对各词进行语义编码,提取各词的语义特征,将各词转换成向量表示。拼接各词所对应的向量表示,得到源端向量序列。
在一个实施例中,计算机设备可对初始源文本进行分词,得到初始源文本的词序列。计算机设备可通过词嵌入处理将离散的词序列转换成连续的空间表示向量序列。再将空间表示向量序列输入至预训练的机器翻译模型中,通过机器翻译模型中的编码器对与初始源文本对应的空间表示向量序列进行语义编码处理,得到源端向量序列。其中源端向量序列中的每个源端向量分别对应初始源文本的词序列中的各词。
其中,预训练的机器翻译模型采用基于神经网络的Sequence-to-Sequence(序列-序列)框架。Sequence-to-Sequence框架是包含Encoder-Decoder(编码器-解码器)结构的框架。Encoder-Decoder结构将输入序列转换为另一个序列输出。在该框架中,编码器将输入序列转化成向量,解码器则接受向量并按时间顺序依次生成输出序列。编码器以及解码器可以采用相同类型的神经网络模型,也可以是不同类型的神经网络模型。神经网络模型比如CNN(Convolutional Neural Networks,卷积神经网络)模型、RNN(Recurrent NeuralNetworks)模型、长短时记忆模型(Long Short-Term Memory,LSTM)、时延网络模型或闸控卷积神经网络模型等。
在一个实施例中,计算机设备可将初始源文本的词序列输入到机器翻译模型中编码器的输入层,通过编码器中各隐层进行语义编码处理,得到隐层所输出的向量序列。其中,隐层是神经网络模型中的一种术语,是相对于输入层和输出层的中间层,隐层中包括对神经网络模型训练得到的模型参数。这里编码器的隐层是相对于编码器的输入层和编码器的输出层的中间层。编码器的隐层可包括多个神经网络层。这里将编码器的隐层当作“黑盒”进行描述。
举例说明,以初始源文本的词序列为一个长度为m的序列为例,将初始源文本的词序列输入到编码器中进行语义编码,得到词序列中各词对应的向量。编码器的处理过程如下:
计算机设备可以对初始源文本进行分词,得到初始源文本的词序列为x=(x1,x2,...,xm),通过词嵌入方式将词序列转换成连续的空间表示向量,可记为p=(p1,p2,...,pm)。通过编码器的神经网络,对空间表示向量进行语义编码,得到源端向量序列,可记为H=(h1,h2,...,hm)。
S206,依次对源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词。
其中,解码是将向量转换为序列输出的过程。目标端向量,是指对初始源文本对应的源端向量进行解码计算得到的向量。具体地,计算机设备可在要生成当次(也可称作当前时刻)的候选目标词时,获取前次(也可称作前一时刻)所输出候选目标词的词向量,依据前一时刻所输出候选目标词的词向量,对源端向量序列进行解码,得到当前时刻的目标端向量,再根据当前时刻的目标端向量确定当前时刻所输出的候选目标词。这样当前时刻的目标端向量不仅包含了初始源文本的词序列中各词的语义信息,且综合了前一时刻所输出候选目标词的语义信息,可以使得最终生成的目标文本更为连贯,信息量更为丰富。
在一个实施例中,计算机设备可对候选目标词进行词嵌入(word embedding)处理,以将候选目标词转换成用实数表示的空间表示向量。
在一个实施例中,计算机设备可通过预训练的机器翻译模型中的解码器对源端向量序列进行解码,以得到目标端向量序列。机器翻译模型可将源端向量序列输入到解码器的隐层中计算得到目标端向量。这里解码器的隐层是相对于解码器的输入层和解码器的输出层的中间层。解码器的隐层可包括多个神经网络层。这里将解码器的隐层当做“黑盒”进行描述。在一个实施例中,解码器在初始时刻的隐层状态向量可以是模型训练得到的模型参数,也可以是默认设置的模型参数。
在一个实施例中,计算机设备根据目标端向量确定的候选目标词可以是一个,也可以是多个。具体地,解码器可根据当次(也可称作当前时刻)的目标端向量,计算得到当次(也可称作当前时刻)的输出概率序列。其中,机器翻译模型当次确定的输出概率序列是指在输出端词集中各候选词为当次输出的目标词的概率所组成的序列。进一步地,机器翻译模型可选择输出概率序列中的最大概率所对应的候选词作为当次的候选目标词。计算机设备也可选择输出概率序列中的概率值最大的前几名(比如前十名)所对应的候选词作为当次的候选目标词。
在一个实施例中,解码器可根据当次的目标端向量,确定当次的翻译分数序列。其中,机器翻译模型当次确定的翻译分数序列是指在输出端词集中各候选词所对应的翻译分数的序列。翻译分数用于评价该候选词作为目标词时的翻译准确性。候选词所对应的翻译分数越大,表示该候选词作为目标词的概率越大。进一步地,机器翻译模型可选择翻译分数序列中的最大分数所对应的候选词作为当次的候选目标词。计算机设备也可选择翻译分数序列中的翻译分数最大的前几名(比如前十名)所对应的候选词作为当次的候选目标词。
当候选目标词为多个时,计算机设备可对多个候选词分别进行词嵌入(wordembedding)处理,以将候选目标词转换成用实数表示的空间表示向量。对多个候选词所对应的空间表示向量进行向量的加权处理,得到候选词对应的词向量。在另一个实施例中,计算机设备可从多个候选词中选择输出概率/翻译分数最大的候选目标词、或者从多个候选目标词中随机选择一个候选目标词,将该候选目标词进行词嵌入处理,以将候选目标词转换成用实数表示的空间表示向量。
在一个实施例中,计算机设备可根据以下公式计算各候选目标词对应的翻译分数:其中,yi-1是前次解码器解码得到的候选目标词;si是当次的目标端向量;ci是对源端向量序列进行当次的注意力机制处理后得到的当次的内容向量;g表示softmax函数;Π()函数表示连乘运算。
在一个实施例中,步骤S206具体包括:依次获取当次的与源端向量序列对应的注意力分配权重向量;根据注意力分配权重向量、以及源端向量序列,计算得到当次的内容向量;依次根据当次的内容向量、前次的目标端向量、以及前次确定的候选目标词的词向量,计算得到当次的目标端向量,并根据当次的目标端向量确定当次的候选目标词。
在一个实施例中,计算机设备在生成当次(也称当前时刻)的候选目标词之前,可获取当次(也称当前时刻)的与源端向量序列对应的注意力分配权重向量。其中,当次的注意力分配权重向量可根据源端向量序列、以及解码器中前次(前一时刻)的目标端向量序列所确定。具体地,可参考以下公式:ei,j=ATT(si-1,hj)。其中,i指第i次,j指源端向量序列中第j个向量,αi,j指第i次中源端向量序列中第j个向量所对应的注意力分配权重。将每次源端向量序列中各个向量所对应的注意力分配权重进行拼接,即可得到当次与源端向量序列对应的注意力分配权重向量。
进一步地,计算机设备可根据当次的注意力分配权重向量、以及源端向量序列,计算得到当次的内容向量。举例说明,对于当次的自注意力分配权重向量,可以表示为αi,j={α1,α2,…,αJ}。其中,源端向量序列可以表示为H={h1,h2,…,hJ},则当次的内容向量可以通过以下公式计算:相应的,对于每一次的内容向量都可以通过上述公式计算得到。
进一步地,计算机设备可依次根据当次的内容向量、前次的目标端向量、以及前次确定的候选目标词的词向量,计算得到当次的目标端向量,并根据当次的目标端向量确定当次的候选目标词。举例说明,对于当次的目标端向量,可以用si表示,前次的候选目标词可以用yi-1表示,当次的内容向量可以用ci表示,则si=f(si-1,yi-1,ci);其中,f()表示激活函数。相应的,对于每一次的目标端向量都可以通过上述公式计算得到。进一步地,可通过以下公式计算确定当次的候选目标词:yi=g(yi-1,si,ci);其中,g()是softmax函数。
可以理解的是,解码器首次解码得到候选目标词的解码方式和后面时刻解码的方式一样,对于首次解码时所需的前一时刻的相应的数据则可以根据经验预设初始值或随机生成初始值,以进行下一步的处理。
可以理解,本申请所使用的“当次”或“当前时刻”用于描述机器翻译模型的解码器进行解码并确定当次的目标词的时刻,“前次”或“前一时刻”用于描述解码器进行解码并确定前次的目标词的时刻。比如,前次为第i-1次,机器翻译模型所输出的目标词则为yi-1;当次为第i次,机器翻译模型所输出的目标词则为yi。并且,当次是一个相对变化的次数,比如,机器翻译模型在输出当次i的下次i+1的目标词时,则可将该下次i+1作为新的当次,将当次i作为新的前次。
上述实施例中,根据当次的注意力分配权重向量、以及源端向量序列,计算得到当次的内容向量,再依次根据当次的内容向量、前次的目标端向量、以及前次确定的候选目标词的词向量,计算得到当次的目标端向量,并根据当次的目标端向量确定当次的候选目标词。这样通过注意力机制处理,可以使得当次的目标端向量包含初始源文本中对当次而言更重要的语义信息,再综合了前次所输出候选目标词的语义信息,可以使得最终生成的目标文本更为连贯,信息量更为丰富。
S208,将依次解码得到的目标端向量构成目标端向量序列。
具体地,计算机设备可按照解码得到目标端向量的顺序,将各目标端向量进行拼接,得到目标端向量序列。
S210,按照重构源文本,对源端向量序列和目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数。
其中,重构评估处理是根据源端向量序列和目标端向量序列重构回标注了缺略词位置信息的源文本,并通过和输入的重构源文本进行比较,以评估根据源端向量序列和目标端向量序列重构回的源文本的重构能力。重构分数为衡量缺略代词信息召回程度的分值。
具体地,计算机设备可通过源端向量序列和目标端向量序列,重新构建标注了缺略词位置信息的源文本,此处称作预估重构源文本。通过比较获取的重构源文本与预估重构源文本之间的差异,可以计算得到与各候选目标词对应的重构分数。其中,重构分数用来衡量各候选目标词的翻译质量,重构分数越高,则该候选目标词作为目标词的可能性越高。
在一个实施例中,当每次根据目标端向量序列所确定的候选目标词为多个时,则与各候选目标词对应的重构分数是一个与解码的次数、以及每次解码得到的候选目标词的数量相对应的数值矩阵。
在一个实施例中,可通过预训练的机器翻译模型执行文本翻译方法。计算机设备可将源端向量序列和目标端向量序列输入至机器翻译模型的重构模块中,通过重构模块将编码器端的隐层向量序列和解码器端的隐层向量序列重构回自动标注了缺略词位置信息的源语端句子。这相当于一个自动编码器(auto-encoder)操作,我们假设此过程可以使源端向量序列和目标端向量序列学习到DP(Dropped Pronoun,缺略代词)位置信息。其中,重构模块可以由深层神经网络所构成。
S212,依据重构分数和各候选目标词,生成目标文本。
其中,目标文本是对初始源文本进行机器翻译得到的文本。目标文本和初始源文本为不同语言的文本。具体地,计算机设备可依据各候选目标词所对应的重构分数,对候选目标词进行拼接,得到目标文本。
在一个实施例中,计算机设备在根据当次的目标端向量,确定当次的候选目标词时,同时确定各候选目标词对应的翻译分数。翻译分数用于评价该候选词作为目标词时的翻译准确性。候选词所对应的翻译分数越大,表示该候选词作为目标词的概率越大。进一步地,计算机设备可通过每次解码生成的候选目标词对应的翻译分数和重构分数,对各候选目标词的翻译分数和重构分数进行加权求和。选择每次解码得到的加权求和的值最大的候选目标词作为目标词。按各目标词生成的顺序拼接目标词得到目标文本。
在一个实施例中,步骤S212具体包括:根据各候选目标词,生成候选目标文本;依据翻译分数和重构分数,从候选目标文本中筛选出与初始源文本对应的目标文本。
具体地,计算机设备在每次解码得到每次的候选目标词后,可以采用beam search(集束搜索)的方式,根据候选目标词生成多个候选目标文本。进一步地,计算机设备可根据各候选目标文本中的每个候选目标词对应的翻译分数和重构分数,计算得到各候选目标文本的加权分数。进而选择加权分数最大的候选目标文本作为与初始源文本对应的目标文本。这样,依据翻译分数和重构分数,从候选目标文本中筛选出目标文本,可以极大地缓解源文本中代词缺失的痛点问题,大大提高了翻译的准确性。
参考图5,图5示出了一个实施例中,通过机器翻译模型对初始源文本进行翻译得到目标文本的流程示意图。如图5所示,计算机设备可将初始源文本(source sentence)输入至机器翻译模型的编码器-解码器(encoder-decoder)中,得到候选目标文本{cand1,cand2,...,candk},以及候选目标文本所对应的翻译分数{P1,P2,...,Pk}。其中,候选目标文本对应的翻译分数可以将候选目标文本中各候选目标词对应的翻译分数进行加法计算得到。再将重构源文本、源端向量序列和目标端向量序列输入至机器翻译模型的重构模块中进行重构评估处理,得到各候选目标词对应的重构分数。相应的,计算机设备可根据候选目标词所对应的重构分数计算各候选目标文本对应的重构分数{R1,R2,...,Rk}。计算机设备可对各候选目标文本的翻译分数和重构分数进行加权求和,比如y=R1+λR1,其中,λ为加权系数。通过选择模块将加权求和所得到的结果中最大值所对应的候选目标文本作为目标文本输出。
上述文本翻译方法,通过对初始源文本进行语义编码,得到与初始源文本对应的源端向量序列,再依次对源端向量序列进行解码得到的目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词。可使得解码生成的候选目标词不仅包含了源文本的语义信息,还综合了前次的候选目标词的语义信息,使得最终生成的目标文本更为连贯,翻译结果更准确。将依次解码得到的目标端向量构成目标端向量序列,并按照对初始源文本进行缺略词位置信息补充而得到的重构源文本,对源端向量序列和目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数,再依据重构分数和各候选目标词,生成目标文本。这样,通过融合源端和目标端的隐层向量特征可以共享两端的共性信息,在进行重构评估处理时可以减少冗余信息并能避免重要信息的缺失,使得重构分数可以很好的评估候选目标词的翻译质量。这样,依据重构分数和各候选目标词,生成目标文本,可以减少翻译时缺少缺略代词所带来的影响,大大提高了翻译质量。
在一个实施例中,步骤S202,也就是获取初始源文本和重构源文本的步骤具体包括:获取初始源文本;通过预训练的缺略词还原模型确定初始源文本中缺略词的位置;在缺略词的位置处添加指代符以得到重构源文本。
其中,指代符是指代缺略词的符号,比如具体可以是“#DP#”、“&”等符号,用来替代初始源文本中缺少的代词。具体地,计算机设备可通过预训练的缺略词还原模型预测初始源文本中缺略词的位置,再在初始源文本中缺略词的位置处添加指代符以得到重构源文本。
举例说明,对缺少了缺略代词的句子“喜欢这块蛋糕吗?很喜欢。你烤的吗?”进行缺略词位置信息补充后,得到“喜欢这块蛋糕吗?很喜欢你烤的吗?”其中,就是用来对初始源文本进行缺略词位置信息补充的指代符。“喜欢这块蛋糕吗?很喜欢你烤的吗?”就是对初始源文本进行缺略词位置信息补充而得到的重构源文本。
在一个实施例中,计算机设备可通过预训练的缺略代词还原模型对初始源文本标注缺略代词位置信息。首先,计算机设备可根据样本库中的样本源文本和样本参考文本构建平行语料库。采用词对齐算法,借助平行语料中样本源文本和样本参考文本之间代词省略的差异性(比如,汉语句子中代词缺略,而对应的英文句子中代词不缺略),自动标注样本源文本中的缺略代词。这样可以不需要人工标注就可以快速构建大规模的源文本缺略代词语料库,比如“源端汉语-自动补全缺略代词位置的汉语-目标端英语”三元对应语料库。然后,利用此语料库训练基于神经网络的缺略代词还原模型,通过训练好的缺略代词还原模型可以很好的预测初始源文本中缺略代词的位置。这样,计算机设备可在缺代词的位置处添加指代符以得到重构源文本。
根据实验表明,训练机器学习模型,使机器学习模型具有预测缺略词位置信息的能力的模型效果要远远高于使机器学习模型具有还原缺略词能力的模型效果。也就是说,通过训练缺略词还原模型,使得缺略词还原模型能够准确的预测初始源文本中缺略词的位置的准确性很高。这样,通过重构源文本来辅助翻译能进一步提升翻译质量。
上述实施例中,通过预训练的缺略词还原模型确定初始源文本中缺略词的位置,在缺略词的位置处添加指代符以得到重构源文本,可以通过预训练的缺略词还原模型快速准确的构建重构源文本。
在一个实施例中,该文本翻译方法还包括对源端向量序列和目标端向量序列分别进行注意力机制处理的步骤,该步骤具体包括:获取与源端向量序列对应的源端注意力分配权重向量;根据源端注意力分配权重向量、以及源端向量序列,计算得到源端内容向量;获取与目标端向量序列对应的目标端注意力分配权重向量;根据目标端注意力分配权重向量、以及目标端向量序列,计算得到目标端内容向量。步骤S210也就是按照重构源文本,对源端向量序列和目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数的步骤包括:按照重构源文本,对源端内容向量和目标端内容向量进行重构评估处理,得到与各候选目标词对应的重构分数。
在一个实施例中,计算机设备对源端向量序列、以及目标端向量序列进行注意力机制处理的过程中可采用独立注意力机制处理或交叉注意力机制处理。其中独立注意力机制处理是指对源端向量序列、以及目标端向量序列进行注意力机制处理的注意力权重各自独立计算;交叉注意力机制处理是指对源端向量序列、以及目标端向量序列进行注意力机制处理的注意力权重交叉计算。
在一个实施例中,获取与源端向量序列对应的源端注意力分配权重向量的步骤具体包括:对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、以及源端向量序列进行注意力机制处理,得到与源端向量序列对应的源端注意力分配权重向量;或,对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、源端向量序列、以及目标端内容向量进行注意力机制处理,得到与源端向量序列对应的源端注意力分配权重向量。
在一个实施例中,获取与目标端向量序列对应的目标端注意力分配权重向量的步骤包括:对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、以及目标端向量序列进行注意力机制处理,得到与目标端向量序列对应的目标端注意力分配权重向量;或,对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、目标端向量序列、以及源端内容向量进行注意力机制处理,得到与目标端向量序列对应的目标端注意力分配权重向量。
在一个实施例中,以重构文本的词序列的词数为次数基准,当计算机设备对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、以及源端向量序列进行注意力机制处理,得到当次的与源端向量序列对应的源端注意力分配权重向量;且对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、以及目标端向量序列进行注意力机制处理,得到当次的与目标端向量序列对应的目标端注意力分配权重向量时,就可认为计算机设备对源端向量序列、以及目标端向量序列进行独立注意力机制处理。
举例说明,计算机设备可采用以下公式计算得到源端注意力分配权重:其中,ATT表示注意力机制处理;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i-1个词的词向量对应的隐层状态向量,也就是重构模块所输出的隐层状态向量;表示各源端向量。计算机设备可采用以下公式计算得到目标端注意力分配权重:其中,ATT表示注意力机制处理;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i-1个词的词向量对应的隐层状态向量,也就是重构模块所输出的隐层状态向量;表示各目标端向量。
在一个实施例中,以重构文本的词序列的词数为次数基准,当计算机设备对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、以及源端向量序列进行注意力机制处理,得到当次的与源端向量序列对应的源端注意力分配权重向量;且目标端对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、目标端向量序列、以及源端内容向量进行注意力机制处理,得到当次的与目标端向量序列对应的目标端注意力分配权重向量时,就可认为计算机设备对源端向量序列、以及目标端向量序列进行交叉注意力机制处理。
举例说明,计算机设备可采用以下公式计算得到源端注意力分配权重:其中,ATT表示注意力机制处理;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i-1个词的词向量对应的隐层状态向量,也就是重构模块所输出的隐层状态向量;表示各源端向量。计算机设备可采用以下公式计算得到目标端注意力分配权重:其中,ATT表示注意力机制处理;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i-1个词的词向量对应的隐层状态向量,也就是重构模块所输出的隐层状态向量;表示各目标端向量;·表示向量点乘运算。
在一个实施例中,以重构文本的词序列的词数为次数基准,当计算机设备对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、源端向量序列、以及目标端内容向量进行注意力机制处理,得到当次的与源端向量序列对应的源端注意力分配权重向量;且对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、以及目标端向量序列进行注意力机制处理,得到当次的与目标端向量序列对应的目标端注意力分配权重向量时,就可认为计算机设备对源端向量序列、以及目标端向量序列进行交叉注意力机制处理。
举例说明,计算机设备可采用以下公式计算得到源端注意力分配权重:其中,ATT表示注意力机制处理;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i-1个词的词向量对应的隐层状态向量,也就是重构模块所输出的隐层状态向量;表示各源端向量;表示各目标端向量;表示目标端注意力分配权重;·表示向量点乘运算。计算机设备可采用以下公式计算得到目标端注意力分配权重:其中,ATT表示注意力机制处理;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i-1个词的词向量对应的隐层状态向量,也就是重构模块所输出的隐层状态向量;表示各目标端向量。
在一个实施例中,以重构文本的词序列的词数为次数基准,当计算机设备对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、源端向量序列、以及目标端内容向量进行注意力机制处理,得到当次的与源端向量序列对应的源端注意力分配权重向量;且且目标端对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、目标端向量序列、以及源端内容向量进行注意力机制处理,得到当次的与目标端向量序列对应的目标端注意力分配权重向量时,就可认为计算机设备对源端向量序列、以及目标端向量序列进行交叉注意力机制处理。
举例说明,计算机设备可采用以下公式计算得到源端注意力分配权重:其中,ATT表示注意力机制处理;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i-1个词的词向量对应的隐层状态向量,也就是重构模块所输出的隐层状态向量;表示各源端向量;表示各目标端向量;表示目标端注意力分配权重;·表示向量点乘运算。计算机设备可采用以下公式计算得到目标端注意力分配权重:其中,ATT表示注意力机制处理;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i-1个词的词向量对应的隐层状态向量,也就是重构模块所输出的隐层状态向量;表示各目标端向量;·表示向量点乘运算。
上述实施例中,通过独立或交叉的关注机制处理源端向量序列和目标端向量序列,可更好地利用源端和目标端的共性知识,能更好的共享源端和目标端的隐层特征,提高文本翻译的准确性。
进一步地,当分别确定了当次的源端注意力分配权重向量和当次的目标端注意力分配权重向量时,可根据源端注意力分配权重向量、以及源端向量序列,计算得到当次的源端内容向量;根据目标端注意力分配权重向量、以及目标端向量序列,计算得到当次的目标端内容向量。
在一个实施例中,计算机设备可通过以下公式计算当次的源端内容向量:其中,表示各源端向量;表示源端注意力分配权重;·表示向量点乘运算。计算机设备可通过以下公式计算当次的目标端内容向量:其中,表示各目标端向量;表示目标端注意力分配权重;·表示向量点乘运算。
进一步地,计算机设备在计算得到当次的源端内容向量和当次的目标端内容向量后,可按照重构源文本,对源端内容向量和目标端内容向量进行重构评估处理,得到与各候选目标词对应的重构分数。
在一个实施例中,计算机设备可根据重构源文本中当前词的前一词的词向量、与重构源文本中前一词对应的隐层状态向量、源端语义向量、以及目标端语义向量,计算得到与重构源文本中当前词对应的隐层状态向量;根据与重构源文本中当前词对应的隐层状态向量、重构源文本中当前词的前一词的词向量、源端语义向量、以及目标端语义向量,计算得到与重构源文本中当前词所对应的重构分数;对与重构源文本中各词所对应的重构分数进行连乘运算,得到与各候选目标词对应的重构分数。
在一个实施例中,计算机设备可通过以下公式计算与重构源文本中当前词对应的隐层状态向量:其中,fr()为激活函数;表示重构源文本中的第i-1个词向量;表示与重构源文本中的第i个词向量对应的隐层状态向量序列;表示当次的源端内容向量;表示当次的目标端内容向量。
在一个实施例中,计算机设备可通过以下公式计算得到与各候选目标词对应的重构分数:其中,gr()为归一化函数;表示重构源文本中的第i-1个词向量;表示与重构源文本中的第i个词向量对应的隐层状态向量序列;表示当次的源端内容向量;表示当次的目标端内容向量;Π()表示连乘运算。
在一个实施例中,参考图6,图6示出了一个实施例中,通过包括编码器-解码器结构的机器翻译模型进行文本翻译的流程示意图。首先将初始源文本(也就是输入句子)输入机器翻译模型的编码器中,通过编码器模块输出源端向量序列。再将源端向量序列输入注意力模块,通过注意力机制处理模块对源端向量序列进行注意力机制处理,得到当次的源端内容向量,也就是当前时刻的源端上下文。再将当前时刻的源端上下文输入机器翻译模型的解码器中,通过解码器模块对当前时刻的源端上下文进行解码处理,输出当前时刻的目标端向量。依次重复上述步骤,直到与初始源文本对应的目标端向量序列。将源端向量序列、目标端向量序列、以及重构源文本输入至机器翻译模型的重构模型,通过重构模块处理源端向量序列、目标端向量序列,得到重构向量序列,通过比较重构向量序列和重构源文本之间的差异,得到重构分数。最后依据重构分数和目标端向量序列,生成目标文本。
上述实施例中,通过对分别对源端向量序列和目标端向量序列进行注意力机制处理,得到对应的源端内容向量和目标端内容向量,再按照重构源文本,对源端内容向量和目标端内容向量进行重构评估处理,可以得到融合了源端和目标端信息的更准确的重构分数,使得重构分数能很好的衡量源端向量序列和目标端向量序列与重构源文本之间的相似关系,进而可以通过重构分数辅助生成准确的目标文本。
在一个实施例中,文本翻译方法通过机器翻译模型执行,机器翻译模型的训练步骤包括:
S702,获取初始样本源文本、参考目标文本、以及重构样本源文本;重构样本源文本是对初始样本源文本进行缺略词位置信息补充而得到的源文本。
其中,初始样本源文本、参考目标文本、以及重构样本源文本为训练数据。重构样本源文本是对初始样本源文本进行缺略词位置信息补充而得到的源文本。具体地,计算机设备可从多个公开数据集中获取“样本源文本-重构样本源文本-参考目标文本”的三元对应语料作为训练数据。
在一个实施例中,计算机设备可通过预训练的缺略词还原模型确定初始样本源文本中缺略词的位置,并在缺略词的位置处添加指代符以得到重构样本源文本。
S704,将初始样本源文本输入机器翻译模型中进行训练,得到预测目标文本。
具体地,计算机设备可将初始样本源文本的词序列输入到机器翻译模型中,根据机器翻译模型执行上述文本翻译方法,得到预测目标文本。计算机设备可朝着减小预测目标文本和参考目标文本之间的差异的方向,调整模型参数。这样,通过不断的输入初始样本源文本的词序列,得到预测目标文本,根据预测目标文本和参考目标文本之间的差异调整模型参数,以训练机器翻译模型。
S706,依据参考目标文本和预测目标文本构建最大似然函数。
其中,最大似然函数用于评估参考目标文本与预测目标文本之间的差异程度。最大似然函数承担了训练得到好的机器翻译模型的责任,使模型生成语法正确、文字流畅的目标文本。
在一个实施例中,可通过以下公式构建最大似然函数:其中,argmax是表示寻找具有最大值的参量的函数,就是求使得logP(yn|xn;θ)的值最大时的θ值。是模型训练中的训练样本对。log为对数函数,∑()为叠加运算,θ为模型参数。
S708,通过机器翻译模型,获取与初始样本源文本对应的源端样本向量序列、以及目标端样本向量序列。
具体地,计算机设备可将初始源文本的词序列输入至机器翻译模型,通过机器翻译模型中的编码器对初始源文本进行语义编码,得到与初始源文本对应的源端向量序列。通过机器翻译模型的解码器,依次对源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词。将依次解码得到的目标端向量拼接成目标端向量序列。
S710,依据重构样本源文本、源端样本向量序列、以及目标端样本向量序列构建重构评估函数。
其中,重构评估函数用来衡量缺略代词信息召回程度,可以辅助机器翻译模型和重构模块更好的学习关于缺略词位置信息的隐层表示。具体地,计算机设备可将源端向量序列和目标端向量序列输入至机器翻译模型的重构模块中,通过重构模块将编码器端的隐层序列和解码器端的隐层序列重构回自动标注了缺略词位置信息的源语端句子。这相当于一个自动编码器(auto-encoder)操作,我们假设此过程可以使源端向量序列和目标端向量序列学习到DP(Dropped Pronoun,缺略代词)位置信息。通过获取的重构源文本与预估重构源文本之间的差异,构建重构评估函数。
在一个实施例中,可通过以下公式构建重构评估函数:
其中,表示重构分数;θ和γ分别是模型参数;gr()和fr()分别为归一化函数和激活函数;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i个词的向量对应的隐层状态向量序列;hj表示各源端向量或目标端向量;表示源端注意力分配权重或目标端注意力分配权重;·表示点乘运算。
S712,根据最大似然函数和重构评估函数,确定目标函数。
具体地,计算机设备可对最大似然函数和重构评估函数进行加权求和,将加权求和函数作为机器翻译模型的目标函数。机器翻译模型可通过以下公式得到各个样本的目标函数:J=Jlikelihood+λJreconstruction。其中,其中,λ是加权系数。
在一个实施例中,可通过以下函数表示目标函数:
其中,θ和γ分别是模型参数;[x,y]是模型训练中的训练样本对;gr()和fr()分别为归一化函数和激活函数;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i个词的词向量对应的隐层状态向量序列;hj表示各源端向量或目标端向量;表示源端注意力分配权重或目标端注意力分配权重;·表示向量点乘运算。
S714,将目标函数最大化时的模型参数作为机器翻译模型的模型参数,返回将初始样本源文本输入机器翻译模型中进行训练,得到预测目标文本的步骤继续训练,直至满足训练停止条件时停止训练。
其中,训练停止条件是结束模型训练的条件。训练停止条件可以是达到预设的迭代次数,或者是调整模型参数后的机器翻译模型的性能指标达到预设指标。调整机器翻译模型的模型参数,是对机器翻译模型的模型参数进行调整。
具体地,对于每个样本序列对应的目标函数,取目标函数最大时的模型参数作为机器翻译模型的模型参数,然后在该模型参数的基础上对下一个样本序列进行预测,以对模型参数继续进行训练,直至满足训练停止条件时停止训练。
在一个实施例中,参考图8,图8示出了通过采用最大似然函数和重构评估函数的加权和函数作为目标函数而训练得到的机器翻译模型,对源端向量序列和目标端向量序列进行共享重构处理的结构示意图。如图8所示,将与源端x“你烤的吗?”对应的源端向量序列,以及目标端y“Did you bake it”对应的目标端向量序列输入至机器翻译模型的重构模块中,通过重构模块重构回添加了缺略词位置信息的预测重构源文本“你烤的#DP#吗?”相应的重构隐层状态向量。进而重构模块通过预测重构源文本与重构源文本之间的差异计算得到重构分数,用于辅助衡量编码器和解码器对缺略代词的还原能力。
机器翻译模型引入额外的共享式重构层(也就是重构模块),其输入为编码器端和解码器端的隐层状态向量序列和自动标注缺略词位置信息的源端句子,输出为共享重构分数。训练时,重构分数与最大似然估计线性叠加一起优化,使源端向量序列和目标端向量序列可以共享地学习到缺略代词的位置信息。
上述实施例中,在训练模型的过程中,训练的目标不仅仅考虑最大似然,还考虑了源端向量序列和目标端向量序列共享的对隐含的代词的总结能力,合并两个学习目标可以统一地加强整体翻译质量,并且有效地引导参数朝还原缺略词的方向调整,使得训练得到的机器翻译模型具有更高的翻译准确性。
在一个实施例中,机器翻译模型的训练步骤还包括:获取与初始样本源文本对应的样本缺略词序列;通过机器翻译模型的重构模块对源端样本向量序列、以及目标端样本向量序列进行缺略词重构处理,得到与样本缺略词序列对应的隐层状态向量序列;根据样本缺略词序列和隐层状态向量序列构建缺略词还原函数。步骤S712,也就是根据最大似然函数和重构评估函数,确定目标函数的步骤具体包括:根据最大似然函数、重构评估函数、以及缺略词还原函数,确定目标函数。
其中,与初始样本源文本对应的样本缺略词序列是由初始样本源文本中缺少的缺略词所组成的序列。缺略词还原函数用来衡量缺略代词还原程度,可以辅助机器翻译模型和重构模块更好的预测缺略词的词信息。
在一个实施例中,计算机设备可对初始样本源文本和参考目标文本进行词对齐处理,依据参考目标文本还原初始样本源文本中所缺少的缺略词。或者,计算机设备可根据初始样本源文本的语言环境,人工还原初始样本源文本中所缺少的缺略词。计算机设备可将初始源文本中缺少的词按顺序拼接成样本缺略词序列。
进一步地,计算机设备可将源端样本向量序列、以及目标端样本向量序列输入至机器翻译模型的重构模块中,以进行缺略词重构处理,得到与样本缺略词序列对应的隐层状态向量序列。重构模块可根据重构样本源文本与预估重构源文本之间的差异,构建重构评估函数,并根据预估重构源文本在指定位置上的缺略词进行分类处理,预测还原在指定位置上的缺略词本身。计算机设备根据样本缺略词序列和隐层状态向量序列构建缺略词还原函数。
在一个实施例中,计算机设备通过以下公式构建缺略词还原函数:
其中,θ、γ和τ分别是模型参数;dp={dp1,dp2,…,dpD}是样本缺略词序列;是与样本缺略词序列对应的重构模块所输出的隐层状态向量序列;gp()是归一化函数。
进一步地,计算机设备可将最大似然函数、重构评估函数、以及缺略词还原函数的加权和函数作为机器翻译模型的目标函数。具体地,计算机设备可分别对最大似然函数、重构评估函数、以及缺略词还原函数进行加权求和,将加权求和函数作为机器翻译模型的目标函数。
在一个实施例中,计算机设备可通过以下公式得到各个样本的目标函数:J=Jlikelihood+λJreconstruction+τJpredicition。其中,其中,λ和τ分别是加权系数。具体地,计算机设备可通过以下公式表示目标函数:
其中,
其中,dp={dp1,dp2,…,dpD}是样本缺略词序列;是与样本缺略词序列对应的隐层状态向量序列;gp()是归一化函数。
进而,在机器翻译模型的训练过程中,计算机设备可对于每个样本序列对应的目标函数,取目标函数最大时的模型参数作为机器翻译模型的模型参数,然后在该模型参数的基础上对下一个样本序列进行预测,以对模型参数继续进行训练,直至满足训练停止条件时停止训练。
在一个实施例中,参考图9,图9示出了通过采用最大似然函数、重构评估函数、以及缺略词还原函数的加权和函数为目标函数训练机器翻译模型时,对源端向量序列和目标端向量序列进行共享重构处理的结构示意图。如图9所示,将与源端x“你烤的吗?”对应的源端向量序列,以及目标端y“Did you bake it”对应的目标端向量序列输入至机器翻译模型的重构模块中,通过重构模块重构回添加了缺略词位置信息的预测重构源文本“你烤的#DP#吗?”相应的重构隐层状态向量,以及根据重构隐层状态向量预测缺少的缺略词“它”。
参考图10,图10示出了一个实施例中通过重构模块将源端向量序列和目标端向量序列重构回含缺略代词的文本的结构示意图。如图10所示,源端向量序列可以表示成{v1,v2,...,vT};对于解码器,每一时刻对源端向量序列进行注意力机制处理后得到的内容向量序列记为相应的,每一时刻解码器根据内容向量解码得到的目标端向量序列记为重构模块根据内容向量序列和目标端向量序列重构成补全了缺略词的源文本
进而,计算机设备可根据预测目标文本、预测重构源文本、以及预测缺少的缺略词与样本之间的差异,调整模型参数以训练机器翻译模型。通过将最大似然函数、重构评估函数、以及缺略词还原函数的加权和函数作为机器翻译模型的目标函数而训练得到的机器翻译模型,引入了联合学习的思想,一方面重构模块可共享源端和目标端的隐层状态向量,重构回标注缺略词位置信息的源端句子,另一方面利用重构模块预测缺略词的词表层信息。训练时,重构分数、最大似然估计和缺略词还原损失线性叠加一起优化,使机器翻译模型不仅可以学习到缺略词的位置信息,更具备还原缺略词的词表层的还原能力。当通过上述方法训练得到的机器翻译模型在使用过程中,对于重构模块,输入为隐层状态向量序列和含缺略代词的句子,输出为衡量缺略代词信息召回程度的重构分数。
在一个实施例中,本申请提供的依据机器翻译模型实施的各种实施例,一方面共享编码器端和解码器端的隐层状态向量信息,另一方面可以对缺略代词的词表层还原任务和翻译任务进行统一建模。这样基于共享重构机制的缺略代词还原与神经网络机器翻译联合学习的文本翻译方法,进一步增强了机器翻译模型对缺略代词的关注和学习能力,从而进一步提高翻译质量。
本申请提供的方法可以用在所有主流神经网络机器翻译***中,比如,RNN模型或Transformer(变压器)框架***,并适用于所有代词缺略语言到非代词缺略语言的翻译任务(如,日语到英语、***语到英语等)。并且,本申请各种实施例在文本翻译上,翻译质量都有显著提升。
上述实施例中,在训练模型的过程中,训练的目标不仅仅考虑最大似然和重构分数,还考虑了缺略词还原损失,将重构分数、最大似然估计和缺略词还原损失线性叠加一起优化,使机器翻译模型不仅可以学习到缺略词的位置信息,更具备还原缺略词的词表层的还原能力,使得训练得到的机器翻译模型具有更高的翻译准确性。
如图11所示,在一个具体的实施例中,文本翻译方法包括以下步骤:
S1102,获取初始源文本。
S1104,通过预训练的缺略词还原模型确定初始源文本中缺略词的位置。
S1106,在缺略词的位置处添加指代符以得到重构源文本。
S1108,对初始源文本进行语义编码,得到与初始源文本对应的源端向量序列。
S1110,依次获取当次的与源端向量序列对应的注意力分配权重向量。
S1112,根据注意力分配权重向量、以及源端向量序列,计算得到当次的内容向量。
S1114,依次根据当次的内容向量、前次的目标端向量、以及前次确定的候选目标词的词向量,计算得到当次的目标端向量,并根据当次的目标端向量确定当次的候选目标词、以及候选目标词对应的翻译分数。
S1116,将依次解码得到的目标端向量构成目标端向量序列。
S1118,获取与源端向量序列对应的源端注意力分配权重向量。
S1120,根据源端注意力分配权重向量、以及源端向量序列,计算得到源端内容向量。
S1122,获取与目标端向量序列对应的目标端注意力分配权重向量。
S1124,根据目标端注意力分配权重向量、以及目标端向量序列,计算得到目标端内容向量。
S1126,根据重构源文本中当前词的前一词的词向量、与重构源文本中前一词对应的隐层状态向量、源端语义向量、以及目标端语义向量,计算得到与重构源文本中当前词对应的隐层状态向量。
S1128,根据与重构源文本中当前词对应的隐层状态向量、重构源文本中当前词的前一词的词向量、源端语义向量、以及目标端语义向量,计算得到与重构源文本中当前词所对应的重构分数。
S1130,对与重构源文本中各词所对应的重构分数进行连乘运算,得到与各候选目标词对应的重构分数。
S1132,根据各候选目标词,生成候选目标文本。
S1134,依据翻译分数和重构分数,从候选目标文本中筛选出与初始源文本对应的目标文本。
上述文本翻译方法,通过对初始源文本进行语义编码,得到与初始源文本对应的源端向量序列,再依次对源端向量序列进行解码得到的目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词。可使得解码生成的候选目标词不仅包含了源文本的语义信息,还综合了前次的候选目标词的语义信息,使得最终生成的目标文本更为连贯,翻译结果更准确。将依次解码得到的目标端向量构成目标端向量序列,并按照对初始源文本进行缺略词位置信息补充而得到的重构源文本,对源端向量序列和目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数,再依据重构分数和各候选目标词,生成目标文本。这样,通过融合源端和目标端的隐层向量特征可以共享两端的共性信息,在进行重构评估处理时可以减少冗余信息并能避免重要信息的缺失,使得重构分数可以很好的衡量缺略词信息的召回程度。这样,依据重构分数和各候选目标词,生成目标文本,可以减少翻译时缺少缺略代词所带来的影响,大大提高了翻译质量。
图11为一个实施例中文本翻译方法的流程示意图。应该理解的是,虽然图11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图11中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图12所示,在一个实施例中,提供了一种文本翻译装置1200,包括:获取模块1201、编码模块1202、解码模块1203、拼接模块1204、重构模块1205和生成模块1206。
获取模块1201,用于获取初始源文本和重构源文本;重构源文本是对初始源文本进行缺略词位置信息补充而得到的源文本。
编码模块1202,用于对初始源文本进行语义编码,得到与初始源文本对应的源端向量序列。
解码模块1203,用于依次对源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词。
拼接模块1204,用于将依次解码得到的目标端向量构成目标端向量序列。
重构模块1205,用于按照重构源文本,对源端向量序列和目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数。
生成模块1206,用于依据重构分数和各候选目标词,生成目标文本。
在一个实施例中,获取模块1201还用于获取初始源文本;通过预训练的缺略词还原模型确定初始源文本中缺略词的位置;在缺略词的位置处添加指代符以得到重构源文本。
在一个实施例中,解码模块1203还用于依次获取当次的与源端向量序列对应的注意力分配权重向量;根据注意力分配权重向量、以及源端向量序列,计算得到当次的内容向量;依次根据当次的内容向量、前次的目标端向量、以及前次确定的候选目标词的词向量,计算得到当次的目标端向量,并根据当次的目标端向量确定当次的候选目标词。
在一个实施例中,文本翻译装置1200还包括注意力机制处理模块1207,注意力机制处理模块1207用于获取与源端向量序列对应的源端注意力分配权重向量;根据源端注意力分配权重向量、以及源端向量序列,计算得到源端内容向量;获取与目标端向量序列对应的目标端注意力分配权重向量;根据目标端注意力分配权重向量、以及目标端向量序列,计算得到目标端内容向量。重构模块1205还用于按照重构源文本,对源端内容向量和目标端内容向量进行重构评估处理,得到与各候选目标词对应的重构分数。
在一个实施例中,重构模块1205还用于根据重构源文本中当前词的前一词的词向量、与重构源文本中前一词对应的隐层状态向量、源端语义向量、以及目标端语义向量,计算得到与重构源文本中当前词对应的隐层状态向量;根据与重构源文本中当前词对应的隐层状态向量、重构源文本中当前词的前一词的词向量、源端语义向量、以及目标端语义向量,计算得到与重构源文本中当前词所对应的重构分数;对与重构源文本中各词所对应的重构分数进行连乘运算,得到与各候选目标词对应的重构分数。
在一个实施例中,注意力机制处理模块1207还用于对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、以及源端向量序列进行注意力机制处理,得到与源端向量序列对应的源端注意力分配权重向量;或,对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、源端向量序列、以及目标端内容向量进行注意力机制处理,得到与源端向量序列对应的源端注意力分配权重向量。
在一个实施例中,注意力机制处理模块1207还用于对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、以及目标端向量序列进行注意力机制处理,得到与目标端向量序列对应的目标端注意力分配权重向量;或,对重构源文本中当前词的前一词的词向量、重构模块所输出的与重构源文本中前一词对应的隐层状态向量、目标端向量序列、以及源端内容向量进行注意力机制处理,得到与目标端向量序列对应的目标端注意力分配权重向量。
在一个实施例中,解码模块1203还用于根据当次的目标端向量,确定当次的候选目标词、以及候选目标词对应的翻译分数。生成模块1206还用于根据各候选目标词,生成候选目标文本;依据翻译分数和重构分数,从候选目标文本中筛选出与初始源文本对应的目标文本。
在一个实施例中,参考图13,文本翻译装置还包括训练模块1208,训练模块1208用于获取初始样本源文本、参考目标文本、以及重构样本源文本;重构样本源文本是对初始样本源文本进行缺略词位置信息补充而得到的源文本;将初始样本源文本输入机器翻译模型中进行训练,得到预测目标文本;依据参考目标文本和预测目标文本构建最大似然函数;通过机器翻译模型,获取与初始样本源文本对应的源端样本向量序列、以及目标端样本向量序列;依据重构样本源文本、源端样本向量序列、以及目标端样本向量序列构建重构评估函数;根据最大似然函数和重构评估函数,确定目标函数;将目标函数最大化时的模型参数作为机器翻译模型的模型参数,返回将初始样本源文本输入机器翻译模型中进行训练,得到预测目标文本的步骤继续训练,直至满足训练停止条件时停止训练。
在一个实施例中,训练模块1208还用于将最大似然函数和重构评估函数的加权和函数作为机器翻译模型的目标函数;其中,通过以下公式表示目标函数:
其中,θ和γ分别是模型参数;[x,y]是模型训练中的训练样本对;gr()和fr()分别为归一化函数和激活函数;表示重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i个词的词向量对应的隐层状态向量序列;hj表示各源端向量或目标端向量;表示源端注意力分配权重或目标端注意力分配权重;·表示向量点乘运算。
在一个实施例中,训练模块1208还用于获取与初始样本源文本对应的样本缺略词序列;通过机器翻译模型的重构模块对源端样本向量序列、以及目标端样本向量序列进行缺略词重构处理,得到与样本缺略词序列对应的隐层状态向量序列;根据样本缺略词序列和隐层状态向量序列构建缺略词还原函数;根据最大似然函数、重构评估函数、以及缺略词还原函数,确定目标函数。
在一个实施例中,训练模块1208还用于将最大似然函数、重构评估函数、以及缺略词还原函数的加权和函数作为机器翻译模型的目标函数;其中,通过以下公式表示目标函数:
其中,θ、γ和τ分别是模型参数;dp={dp1,dp2,…,dpD}是样本缺略词序列;是与样本缺略词序列对应的隐层状态向量序列;gp()是归一化函数。
上述文本翻译装置,通过对初始源文本进行语义编码,得到与初始源文本对应的源端向量序列,再依次对源端向量序列进行解码得到的目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词。可使得解码生成的候选目标词不仅包含了源文本的语义信息,还综合了前次的候选目标词的语义信息,使得最终生成的目标文本更为连贯,翻译结果更准确。将依次解码得到的目标端向量构成目标端向量序列,并按照对初始源文本进行缺略词位置信息补充而得到的重构源文本,对源端向量序列和目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数,再依据重构分数和各候选目标词,生成目标文本。这样,通过融合源端和目标端的隐层向量特征可以共享两端的共性信息,在进行重构评估处理时可以减少冗余信息并能避免重要信息的缺失,使得重构分数可以很好的衡量缺略词信息的召回程度。这样,依据重构分数和各候选目标词,生成目标文本,可以减少翻译时缺少缺略代词所带来的影响,大大提高了翻译质量。
图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110或服务器120。如图14所示,该计算机设备包括该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现文本翻译方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行文本翻译方法。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的文本翻译装置可以实现为一种计算机程序的形式,计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该文本翻译装置的各个程序模块,比如,图12所示的获取模块、编码模块、解码模块、拼接模块、重构模块和生成模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的文本翻译方法中的步骤。
例如,图14所示的计算机设备可以通过如图12所示的文本翻译装置中的获取模块执行步骤S202。计算机设备可通过编码模块执行步骤S204。计算机设备可通过解码模块执行步骤S206。计算机设备可通过拼接模块执行步骤S208。计算机设备可通过重构模块执行步骤S210。计算机设备可通过生成模块执行步骤S212。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述文本翻译方法的步骤。此处文本翻译方法的步骤可以是上述各个实施例的文本翻译方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述文本翻译方法的步骤。此处文本翻译方法的步骤可以是上述各个实施例的文本翻译方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种文本翻译方法,包括:
获取初始源文本和重构源文本;所述重构源文本是对所述初始源文本进行缺略词位置信息补充而得到的源文本;
对所述初始源文本进行语义编码,得到与所述初始源文本对应的源端向量序列;
依次对所述源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词;
将依次解码得到的目标端向量构成目标端向量序列;
按照所述重构源文本,对所述源端向量序列和所述目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数;
依据所述重构分数和所述各候选目标词,生成目标文本。
2.根据权利要求1所述的方法,其特征在于,所述获取初始源文本和重构源文本包括:
获取初始源文本;
通过预训练的缺略词还原模型确定所述初始源文本中缺略词的位置;
在所述缺略词的位置处添加指代符以得到重构源文本。
3.根据权利要求1所述的方法,其特征在于,所述依次对所述源端向量序列进行解码得到的目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词,包括
依次获取当次的与所述源端向量序列对应的注意力分配权重向量;
根据所述注意力分配权重向量、以及所述源端向量序列,计算得到当次的内容向量;
依次根据当次的内容向量、前次的目标端向量、以及前次确定的候选目标词的词向量,计算得到当次的目标端向量,并根据当次的目标端向量确定当次的候选目标词。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述源端向量序列对应的源端注意力分配权重向量;
根据所述源端注意力分配权重向量、以及所述源端向量序列,计算得到源端内容向量;
获取与所述目标端向量序列对应的目标端注意力分配权重向量;
根据所述目标端注意力分配权重向量、以及所述目标端向量序列,计算得到目标端内容向量;
所述按照所述重构源文本,对所述源端向量序列和所述目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数,包括:
按照所述重构源文本,对所述源端内容向量和所述目标端内容向量进行重构评估处理,得到与各候选目标词对应的重构分数。
5.根据权利要求4所述的方法,其特征在于,所述按照所述重构源文本,对所述源端内容向量和所述目标端内容向量进行重构评估处理,得到与各候选目标词对应的重构分数,包括:
根据所述重构源文本中当前词的前一词的词向量、与所述重构源文本中前一词对应的隐层状态向量、所述源端语义向量、以及所述目标端语义向量,计算得到与所述重构源文本中当前词对应的隐层状态向量;
根据与所述重构源文本中当前词对应的隐层状态向量、所述重构源文本中当前词的前一词的词向量、所述源端语义向量、以及所述目标端语义向量,计算得到与所述重构源文本中当前词所对应的重构分数;
对与所述重构源文本中各词所对应的重构分数进行连乘运算,得到与各候选目标词对应的重构分数。
6.根据权利要求5所述的方法,其特征在于,所述获取与所述源端向量序列对应的源端注意力分配权重向量,包括:
对所述重构源文本中当前词的前一词的词向量、所述重构模块所输出的与所述重构源文本中前一词对应的隐层状态向量、以及所述源端向量序列进行注意力机制处理,得到与所述源端向量序列对应的源端注意力分配权重向量;或,
对所述重构源文本中当前词的前一词的词向量、所述重构模块所输出的与所述重构源文本中前一词对应的隐层状态向量、所述源端向量序列、以及所述目标端内容向量进行注意力机制处理,得到与所述源端向量序列对应的源端注意力分配权重向量。
7.根据权利要求5所述的方法,其特征在于,所述获取与所述目标端向量序列对应的目标端注意力分配权重向量,包括:
对所述重构源文本中当前词的前一词的词向量、所述重构模块所输出的与所述重构源文本中前一词对应的隐层状态向量、以及所述目标端向量序列进行注意力机制处理,得到与所述目标端向量序列对应的目标端注意力分配权重向量;或,
对所述重构源文本中当前词的前一词的词向量、所述重构模块所输出的与所述重构源文本中前一词对应的隐层状态向量、所述目标端向量序列、以及所述源端内容向量进行注意力机制处理,得到与所述目标端向量序列对应的目标端注意力分配权重向量。
8.根据权利要求1所述的方法,其特征在于,所述根据当次的目标端向量确定当次的候选目标词包括:
根据当次的目标端向量,确定当次的候选目标词、以及所述候选目标词对应的翻译分数;
所述依据所述重构分数和所述各候选目标词,生成目标文本包括:
根据所述各候选目标词,生成候选目标文本;
依据所述翻译分数和所述重构分数,从所述候选目标文本中筛选出与所述初始源文本对应的目标文本。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述文本翻译方法通过机器翻译模型执行,所述机器翻译模型的训练步骤包括:
获取初始样本源文本、参考目标文本、以及重构样本源文本;所述重构样本源文本是对所述初始样本源文本进行缺略词位置信息补充而得到的源文本;
将所述初始样本源文本输入机器翻译模型中进行训练,得到预测目标文本;
依据所述参考目标文本和预测目标文本构建最大似然函数;
通过所述机器翻译模型,获取与所述初始样本源文本对应的源端样本向量序列、以及目标端样本向量序列;
依据所述重构样本源文本、所述源端样本向量序列、以及所述目标端样本向量序列构建重构评估函数;
根据所述最大似然函数和所述重构评估函数,确定目标函数;
将所述目标函数最大化时的模型参数作为机器翻译模型的模型参数,返回所述将所述初始样本源文本输入机器翻译模型中进行训练,得到预测目标文本的步骤继续训练,直至满足训练停止条件时停止训练。
10.根据权利要求9所述的方法,其特征在于,所述根据所述最大似然函数和所述重构评估函数,确定目标函数包括:
将所述最大似然函数和所述重构评估函数的加权和函数作为所述机器翻译模型的目标函数;其中,通过以下公式表示所述目标函数:
其中,θ和γ分别是模型参数;[x,y]是模型训练中的训练样本对;gr()和fr()分别为归一化函数和激活函数;表示所述重构源文本中的第i-1个词的词向量;表示与重构源文本中的第i个词的词向量对应的隐层状态向量序列;hj表示各源端向量或目标端向量;表示源端注意力分配权重或目标端注意力分配权重;·表示向量点乘运算。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
获取与所述初始样本源文本对应的样本缺略词序列;
通过所述机器翻译模型的重构模块对所述源端样本向量序列、以及所述目标端样本向量序列进行缺略词重构处理,得到与所述样本缺略词序列对应的隐层状态向量序列;
根据所述样本缺略词序列和所述隐层状态向量序列构建缺略词还原函数;
所述根据所述最大似然函数和所述重构评估函数,确定目标函数包括:
根据所述最大似然函数、所述重构评估函数、以及所述缺略词还原函数,确定目标函数。
12.根据权利要求11所述的方法,其特征在于,所述根据所述最大似然函数、所述重构评估函数、以及所述缺略词还原函数,确定目标函数,包括:
将所述最大似然函数、所述重构评估函数、以及所述缺略词还原函数的加权和函数作为所述机器翻译模型的目标函数;其中,通过以下公式表示所述目标函数:
其中,θ、γ和τ分别是模型参数;dp={dp1,dp2,…,dpD}是样本缺略词序列;是与所述样本缺略词序列对应的隐层状态向量序列;gp()是归一化函数。
13.一种文本翻译装置,其特征在于,所述装置包括:
获取模块,用于获取初始源文本和重构源文本;所述重构源文本是对所述初始源文本进行缺略词位置信息补充而得到的源文本;
编码模块,用于对所述初始源文本进行语义编码,得到与所述初始源文本对应的源端向量序列;
解码模块,用于依次对所述源端向量序列进行解码得到目标端向量,且每次解码时根据前次确定的候选目标词的词向量进行解码,并根据当次的目标端向量确定当次的候选目标词;
拼接模块,用于将依次解码得到的目标端向量构成目标端向量序列;
重构模块,用于按照所述重构源文本,对所述源端向量序列和所述目标端向量序列进行重构评估处理,得到与各候选目标词对应的重构分数;
生成模块,用于依据所述重构分数和所述各候选目标词,生成目标文本。
14.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
15.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010164706.7A CN111368565B (zh) | 2018-09-05 | 2018-09-05 | 文本翻译方法、装置、存储介质和计算机设备 |
CN201811033545.7A CN109145315B (zh) | 2018-09-05 | 2018-09-05 | 文本翻译方法、装置、存储介质和计算机设备 |
PCT/CN2019/093337 WO2020048195A1 (zh) | 2018-09-05 | 2019-06-27 | 文本翻译方法、装置、存储介质和计算机设备 |
US17/063,586 US11853709B2 (en) | 2018-09-05 | 2020-10-05 | Text translation method and apparatus, storage medium, and computer device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811033545.7A CN109145315B (zh) | 2018-09-05 | 2018-09-05 | 文本翻译方法、装置、存储介质和计算机设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010164706.7A Division CN111368565B (zh) | 2018-09-05 | 2018-09-05 | 文本翻译方法、装置、存储介质和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109145315A true CN109145315A (zh) | 2019-01-04 |
CN109145315B CN109145315B (zh) | 2022-03-18 |
Family
ID=64827149
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811033545.7A Active CN109145315B (zh) | 2018-09-05 | 2018-09-05 | 文本翻译方法、装置、存储介质和计算机设备 |
CN202010164706.7A Active CN111368565B (zh) | 2018-09-05 | 2018-09-05 | 文本翻译方法、装置、存储介质和计算机设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010164706.7A Active CN111368565B (zh) | 2018-09-05 | 2018-09-05 | 文本翻译方法、装置、存储介质和计算机设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11853709B2 (zh) |
CN (2) | CN109145315B (zh) |
WO (1) | WO2020048195A1 (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109858029A (zh) * | 2019-01-31 | 2019-06-07 | 沈阳雅译网络技术有限公司 | 一种提高语料整体质量的数据预处理方法 |
CN109948166A (zh) * | 2019-03-25 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、存储介质和计算机设备 |
CN110008482A (zh) * | 2019-04-17 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、计算机可读存储介质和计算机设备 |
CN110083826A (zh) * | 2019-03-21 | 2019-08-02 | 昆明理工大学 | 一种基于Transformer模型的老汉双语对齐方法 |
CN110162801A (zh) * | 2019-05-29 | 2019-08-23 | 科大讯飞股份有限公司 | 文本处理方法、装置、设备及可读存储介质 |
CN110175338A (zh) * | 2019-05-31 | 2019-08-27 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
CN110175336A (zh) * | 2019-05-22 | 2019-08-27 | 北京百度网讯科技有限公司 | 翻译方法、装置和电子设备 |
CN110188367A (zh) * | 2019-05-31 | 2019-08-30 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
CN110263350A (zh) * | 2019-03-08 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、计算机可读存储介质和计算机设备 |
CN110263352A (zh) * | 2019-06-18 | 2019-09-20 | 澳门大学 | 用于训练深层神经机器翻译模型的方法及装置 |
CN110276081A (zh) * | 2019-06-06 | 2019-09-24 | 百度在线网络技术(北京)有限公司 | 文本生成方法、装置及存储介质 |
CN110276082A (zh) * | 2019-06-06 | 2019-09-24 | 百度在线网络技术(北京)有限公司 | 基于动态窗口的翻译处理方法和装置 |
CN110414498A (zh) * | 2019-06-14 | 2019-11-05 | 华南理工大学 | 一种基于交叉注意力机制的自然场景文本识别方法 |
WO2020048195A1 (zh) * | 2018-09-05 | 2020-03-12 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、存储介质和计算机设备 |
CN111145914A (zh) * | 2019-12-30 | 2020-05-12 | 四川大学华西医院 | 一种确定肺癌临床病种库文本实体的方法及装置 |
CN111414758A (zh) * | 2020-02-21 | 2020-07-14 | 平安科技(深圳)有限公司 | 零指代位置检测方法、装置、设备及计算机可读存储介质 |
CN111680494A (zh) * | 2020-04-27 | 2020-09-18 | 平安科技(深圳)有限公司 | 相似文本的生成方法及装置 |
CN112651224A (zh) * | 2020-12-24 | 2021-04-13 | 天津大学 | 工程施工安全管理文档文本智能检索方法及装置 |
CN112668347A (zh) * | 2021-03-17 | 2021-04-16 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、设备及计算机可读存储介质 |
CN113158648A (zh) * | 2020-12-09 | 2021-07-23 | 中科讯飞互联(北京)信息科技有限公司 | 文本补全方法以及电子设备、存储装置 |
US11132513B2 (en) | 2019-05-07 | 2021-09-28 | International Business Machines Corporation | Attention-based natural language processing |
CN114492318A (zh) * | 2022-02-16 | 2022-05-13 | 北京金山数字娱乐科技有限公司 | 文本推理方法及装置 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11093560B2 (en) * | 2018-09-21 | 2021-08-17 | Microsoft Technology Licensing, Llc | Stacked cross-modal matching |
US11216621B2 (en) * | 2020-04-29 | 2022-01-04 | Vannevar Labs, Inc. | Foreign language machine translation of documents in a variety of formats |
US11748567B2 (en) * | 2020-07-10 | 2023-09-05 | Baidu Usa Llc | Total correlation variational autoencoder strengthened with attentions for segmenting syntax and semantics |
CN111931494B (zh) * | 2020-08-10 | 2022-06-28 | 北京字节跳动网络技术有限公司 | 用于生成预测信息的方法、装置、电子设备和介质 |
CN112269856B (zh) * | 2020-09-23 | 2023-11-10 | 咪咕文化科技有限公司 | 文本相似度计算方法、装置、电子设备及存储介质 |
CN112417902A (zh) * | 2020-12-04 | 2021-02-26 | 北京有竹居网络技术有限公司 | 文本翻译方法、装置、设备及存储介质 |
CN112925995B (zh) * | 2021-02-22 | 2022-01-28 | 北京百度网讯科技有限公司 | 获取poi状态信息的方法及装置 |
CN113379875B (zh) * | 2021-03-22 | 2023-09-29 | 平安科技(深圳)有限公司 | 卡通角色动画的生成方法、装置、设备及存储介质 |
CN116070643B (zh) * | 2023-04-03 | 2023-08-15 | 武昌理工学院 | 一种古文到英文的固定风格翻译方法及*** |
CN117436460B (zh) * | 2023-12-22 | 2024-03-12 | 武汉大学 | 一种翻译质量评估方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272534A (ja) * | 2006-03-31 | 2007-10-18 | Advanced Telecommunication Research Institute International | 省略語補完装置、省略語補完方法、及びプログラム |
CN101458682A (zh) * | 2008-12-18 | 2009-06-17 | 杭州方捷信息技术有限公司 | 一种基于中文汉字和日文汉字的映射方法及其应用 |
JP2014013514A (ja) * | 2012-07-04 | 2014-01-23 | Nippon Telegr & Teleph Corp <Ntt> | 機械翻訳結果評価装置、翻訳パラメータ最適化装置、方法、及びプログラム |
CN106815215A (zh) * | 2015-11-30 | 2017-06-09 | 华为技术有限公司 | 生成标注库的方法和装置 |
CN107729329A (zh) * | 2017-11-08 | 2018-02-23 | 苏州大学 | 一种基于词向量连接技术的神经机器翻译方法及装置 |
CN108304390A (zh) * | 2017-12-15 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 基于翻译模型的训练方法、翻译方法、装置及存储介质 |
CN110020440A (zh) * | 2018-01-09 | 2019-07-16 | 深圳市腾讯计算机***有限公司 | 一种机器翻译方法、装置、服务器及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2783558B2 (ja) * | 1988-09-30 | 1998-08-06 | 株式会社東芝 | 要約生成方法および要約生成装置 |
US5218537A (en) * | 1989-12-21 | 1993-06-08 | Texas Instruments Incorporated | System and method for using a computer to generate and teach grammar lessons |
US5966686A (en) * | 1996-06-28 | 1999-10-12 | Microsoft Corporation | Method and system for computing semantic logical forms from syntax trees |
US6125342A (en) * | 1997-11-18 | 2000-09-26 | L & H Applications Usa, Inc. | Pronoun semantic analysis system and method |
US20020069046A1 (en) * | 2000-12-04 | 2002-06-06 | Dan Bress | Speech communication system |
US7165023B2 (en) * | 2000-12-15 | 2007-01-16 | Arizona Board Of Regents | Method for mining, mapping and managing organizational knowledge from text and conversation |
US20080154577A1 (en) * | 2006-12-26 | 2008-06-26 | Sehda,Inc. | Chunk-based statistical machine translation system |
US7933765B2 (en) * | 2007-01-25 | 2011-04-26 | Corbis Corporation | Cross-lingual information retrieval |
WO2010046782A2 (en) * | 2008-10-24 | 2010-04-29 | App Tek | Hybrid machine translation |
WO2012170817A1 (en) * | 2011-06-10 | 2012-12-13 | Google Inc. | Augmenting statistical machine translation with linguistic knowledge |
US8903707B2 (en) * | 2012-01-12 | 2014-12-02 | International Business Machines Corporation | Predicting pronouns of dropped pronoun style languages for natural language translation |
CN106372053B (zh) * | 2015-07-22 | 2020-04-28 | 华为技术有限公司 | 句法分析的方法和装置 |
US10528866B1 (en) * | 2015-09-04 | 2020-01-07 | Google Llc | Training a document classification neural network |
WO2019113124A1 (en) * | 2017-12-04 | 2019-06-13 | Panjiva, Inc. | Mtransaction processing improvements |
US11354521B2 (en) * | 2018-03-07 | 2022-06-07 | Google Llc | Facilitating communications with automated assistants in multiple languages |
US10984784B2 (en) * | 2018-03-07 | 2021-04-20 | Google Llc | Facilitating end-to-end communications with automated assistants in multiple languages |
CN109145315B (zh) * | 2018-09-05 | 2022-03-18 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、存储介质和计算机设备 |
US11526680B2 (en) * | 2019-02-14 | 2022-12-13 | Google Llc | Pre-trained projection networks for transferable natural language representations |
-
2018
- 2018-09-05 CN CN201811033545.7A patent/CN109145315B/zh active Active
- 2018-09-05 CN CN202010164706.7A patent/CN111368565B/zh active Active
-
2019
- 2019-06-27 WO PCT/CN2019/093337 patent/WO2020048195A1/zh active Application Filing
-
2020
- 2020-10-05 US US17/063,586 patent/US11853709B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272534A (ja) * | 2006-03-31 | 2007-10-18 | Advanced Telecommunication Research Institute International | 省略語補完装置、省略語補完方法、及びプログラム |
CN101458682A (zh) * | 2008-12-18 | 2009-06-17 | 杭州方捷信息技术有限公司 | 一种基于中文汉字和日文汉字的映射方法及其应用 |
JP2014013514A (ja) * | 2012-07-04 | 2014-01-23 | Nippon Telegr & Teleph Corp <Ntt> | 機械翻訳結果評価装置、翻訳パラメータ最適化装置、方法、及びプログラム |
CN106815215A (zh) * | 2015-11-30 | 2017-06-09 | 华为技术有限公司 | 生成标注库的方法和装置 |
CN107729329A (zh) * | 2017-11-08 | 2018-02-23 | 苏州大学 | 一种基于词向量连接技术的神经机器翻译方法及装置 |
CN108304390A (zh) * | 2017-12-15 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 基于翻译模型的训练方法、翻译方法、装置及存储介质 |
CN110020440A (zh) * | 2018-01-09 | 2019-07-16 | 深圳市腾讯计算机***有限公司 | 一种机器翻译方法、装置、服务器及存储介质 |
Non-Patent Citations (3)
Title |
---|
YANLIN HU: "Improving Conversational Spoken Spoken Language Machine Translation via Pronoun Recovery", 《COMMUNICATIONS IN COMPUTER AND INFORMATION SCIENCE》 * |
胡燕林: "口语机器翻译中的零代词处理方法研究", 《中国优秀博硕士论文全文数据库(硕士)信息科技辑》 * |
黄学华: "基于双语的中文零指代研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11853709B2 (en) | 2018-09-05 | 2023-12-26 | Tencent Technology (Shenzhen) Company Limited | Text translation method and apparatus, storage medium, and computer device |
WO2020048195A1 (zh) * | 2018-09-05 | 2020-03-12 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、存储介质和计算机设备 |
CN109858029A (zh) * | 2019-01-31 | 2019-06-07 | 沈阳雅译网络技术有限公司 | 一种提高语料整体质量的数据预处理方法 |
CN109858029B (zh) * | 2019-01-31 | 2023-02-10 | 沈阳雅译网络技术有限公司 | 一种提高语料整体质量的数据预处理方法 |
CN110263350A (zh) * | 2019-03-08 | 2019-09-20 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、计算机可读存储介质和计算机设备 |
CN110263350B (zh) * | 2019-03-08 | 2024-05-31 | 腾讯科技(深圳)有限公司 | 模型训练方法、装置、计算机可读存储介质和计算机设备 |
CN110083826A (zh) * | 2019-03-21 | 2019-08-02 | 昆明理工大学 | 一种基于Transformer模型的老汉双语对齐方法 |
CN109948166A (zh) * | 2019-03-25 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、存储介质和计算机设备 |
CN111241855A (zh) * | 2019-03-25 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、存储介质和计算机设备 |
CN110008482A (zh) * | 2019-04-17 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、计算机可读存储介质和计算机设备 |
CN110008482B (zh) * | 2019-04-17 | 2021-03-09 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、计算机可读存储介质和计算机设备 |
US11132513B2 (en) | 2019-05-07 | 2021-09-28 | International Business Machines Corporation | Attention-based natural language processing |
CN110175336A (zh) * | 2019-05-22 | 2019-08-27 | 北京百度网讯科技有限公司 | 翻译方法、装置和电子设备 |
CN110162801A (zh) * | 2019-05-29 | 2019-08-23 | 科大讯飞股份有限公司 | 文本处理方法、装置、设备及可读存储介质 |
CN110188367B (zh) * | 2019-05-31 | 2023-09-22 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
CN110188367A (zh) * | 2019-05-31 | 2019-08-30 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
CN110175338B (zh) * | 2019-05-31 | 2023-09-26 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
CN110175338A (zh) * | 2019-05-31 | 2019-08-27 | 北京金山数字娱乐科技有限公司 | 一种数据处理方法及装置 |
CN110276081A (zh) * | 2019-06-06 | 2019-09-24 | 百度在线网络技术(北京)有限公司 | 文本生成方法、装置及存储介质 |
CN110276082A (zh) * | 2019-06-06 | 2019-09-24 | 百度在线网络技术(北京)有限公司 | 基于动态窗口的翻译处理方法和装置 |
CN110414498A (zh) * | 2019-06-14 | 2019-11-05 | 华南理工大学 | 一种基于交叉注意力机制的自然场景文本识别方法 |
CN110263352A (zh) * | 2019-06-18 | 2019-09-20 | 澳门大学 | 用于训练深层神经机器翻译模型的方法及装置 |
CN110263352B (zh) * | 2019-06-18 | 2023-04-07 | 澳门大学 | 用于训练深层神经机器翻译模型的方法及装置 |
CN111145914A (zh) * | 2019-12-30 | 2020-05-12 | 四川大学华西医院 | 一种确定肺癌临床病种库文本实体的方法及装置 |
CN111145914B (zh) * | 2019-12-30 | 2023-08-04 | 四川大学华西医院 | 一种确定肺癌临床病种库文本实体的方法及装置 |
CN111414758B (zh) * | 2020-02-21 | 2023-10-20 | 平安科技(深圳)有限公司 | 零指代位置检测方法、装置、设备及计算机可读存储介质 |
CN111414758A (zh) * | 2020-02-21 | 2020-07-14 | 平安科技(深圳)有限公司 | 零指代位置检测方法、装置、设备及计算机可读存储介质 |
CN111680494A (zh) * | 2020-04-27 | 2020-09-18 | 平安科技(深圳)有限公司 | 相似文本的生成方法及装置 |
CN113158648A (zh) * | 2020-12-09 | 2021-07-23 | 中科讯飞互联(北京)信息科技有限公司 | 文本补全方法以及电子设备、存储装置 |
CN112651224A (zh) * | 2020-12-24 | 2021-04-13 | 天津大学 | 工程施工安全管理文档文本智能检索方法及装置 |
CN112668347A (zh) * | 2021-03-17 | 2021-04-16 | 腾讯科技(深圳)有限公司 | 文本翻译方法、装置、设备及计算机可读存储介质 |
CN114492318A (zh) * | 2022-02-16 | 2022-05-13 | 北京金山数字娱乐科技有限公司 | 文本推理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109145315B (zh) | 2022-03-18 |
US11853709B2 (en) | 2023-12-26 |
US20210019479A1 (en) | 2021-01-21 |
WO2020048195A1 (zh) | 2020-03-12 |
CN111368565A (zh) | 2020-07-03 |
CN111368565B (zh) | 2022-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145315A (zh) | 文本翻译方法、装置、存储介质和计算机设备 | |
CN109948166A (zh) | 文本翻译方法、装置、存储介质和计算机设备 | |
CN109271646A (zh) | 文本翻译方法、装置、可读存储介质和计算机设备 | |
CN110263349A (zh) | 语料评估模型训练方法、装置、存储介质和计算机设备 | |
US20220067307A1 (en) | System and method for training multilingual machine translation evaluation models | |
CN111125333B (zh) | 一种基于表示学习与多层覆盖机制的生成式知识问答方法 | |
US11669699B2 (en) | Systems and methods for composed variational natural language generation | |
CN106126507A (zh) | 一种基于字符编码的深度神经翻译方法及*** | |
Shah et al. | Image captioning using deep neural architectures | |
CN110334196B (zh) | 基于笔画和自注意力机制的神经网络中文问题生成*** | |
Medina et al. | Parallel attention mechanisms in neural machine translation | |
CN110807335A (zh) | 基于机器学习的翻译方法、装置、设备及存储介质 | |
CN110008482A (zh) | 文本处理方法、装置、计算机可读存储介质和计算机设备 | |
Li et al. | HG-news: news headline generation based on a generative pre-training model | |
CN113947072A (zh) | 一种文本纠错方法及文本纠错装置 | |
Riou et al. | Online adaptation of an attention-based neural network for natural language generation | |
Unanue et al. | A shared attention mechanism for interpretation of neural automatic post-editing systems | |
CN109918484B (zh) | 对话生成方法和装置 | |
WO2023192674A1 (en) | Attention neural networks with parallel attention and feed-forward layers | |
CN116432637A (zh) | 一种基于强化学习的多粒度抽取-生成混合式文摘方法 | |
CN114328853B (zh) | 一种基于Unilm优化语言模型的中文问题生成方法 | |
Dandapat et al. | Iterative data augmentation for neural machine translation: a low resource case study for english-telugu | |
Ghadekar et al. | Comparative Analysis of LSTM, GRU and Transformer Models for German to English Language Translation | |
Kim | Sentence Comprehension with an LSTM Language Model | |
CN111079416B (zh) | 基于共享控制门结构的中文文本校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |