CN111104807B - 一种数据处理方法、装置和电子设备 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法、装置和电子设备，其中，所述方法包括：获取指定领域的训练数据；依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；其中，所述预设优化信息包括所述训练数据的拟合项和偏移调整项，进而本发明实施例能够在提升机器翻译模型在指定领域的翻译效果的同时，保证其在通用领域的翻译效果。

Description

一种数据处理方法、装置和电子设备

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法、装置和电子设备。

背景技术

人工智能包括十分广泛的科学，由不同的领域组成，如机器学习，计算机视觉等等。总的说来，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作；自人工智能诞生以来，理论和技术日益成熟，应用领域也不断扩大。如机器翻译领域，例如将汉语翻译成英语、将英语翻译成汉语等等。

在将一种自然语言(源语言)翻译为另一种自然语言(目标语言)过程中，在不同的领域(如日常口语、IT科技、生物医疗等)，同一个源语言字词可能会被翻译不同的目标语言字词。例如在将英文翻译为中文过程中，例如英文单词“season”，在生命科学领域被翻译为中文“季节”，在体育领域被翻译为中文“赛季”。因此采用通用领域数据训练的通用机器翻译模型，无法在不同领域的场景下都取得良好的翻译效果。

为了提升通用机器翻译模型在特定领域的效果，往往需要采用该特定领域的数据对通用机器翻译模型进行fine-tuning(微调)训练。虽然机器翻译模型在特定领域的翻译效果有一定提升，但在通用领域的翻译效果会大幅下降。

发明内容

本发明实施例提供一种数据处理方法，以在提升机器翻译模型在指定领域的翻译效果的同时，保证其在通用领域的翻译效果。

相应的，本发明实施例还提供了一种数据处理装置和一种电子设备，用以保证上述方法的实现及应用。

为了解决上述问题，本发明实施例公开了一种数据处理方法，具体包括：获取指定领域的训练数据；依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；其中，所述预设优化信息包括所述训练数据的拟合项和偏移调整项。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数，包括：依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值；以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；将所述源语言训练文本输入至第二通用机器翻译模型中，输出所述第二通用机器翻译模型对应翻译词表的第二预测概率信息；依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数，包括：依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第二预测概率信息，确定所述偏移调整项对应的第三优化值；以最小化所述第一优化值和第三优化值之和为目标，调整所述第一通用机器翻译模型参数。

可选地，所述训练数据的拟合项为所述目标语言参考翻译文本的概率分布函数；所述偏移调整项为所述第一通用机器翻译模型对应翻译词表的概率分布函数。

可选地，所述的方法还包括确定所述预设优化信息的步骤：获取所述训练数据的拟合项和偏移调整项、以及超参数；将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；依据所述和值拟合项，确定所述预设优化信息。

本发明实施例还公开了一种数据处理装置，具体包括：数据获取模块，用于获取指定领域的训练数据；训练模块，用于依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；其中，所述预设优化信息包括所述训练数据的拟合项和偏移调整项。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述训练模块包括：第一前向训练子模块，用于将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；第一后向训练子模块，用于依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述第一后向训练子模块，用于依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值；以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述训练模块包括：第二前向训练子模块，用于将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；概率预测子模块，用于将所述源语言训练文本输入至第二通用机器翻译模型中，输出所述第二通用机器翻译模型对应翻译词表的第二预测概率信息；第二后向训练子模块，用于依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述第二后向训练子模块，用于依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第二预测概率信息，确定所述偏移调整项对应的第三优化值；以最小化所述第一优化值和第三优化值之和为目标，调整所述第一通用机器翻译模型参数。

可选地，所述训练数据的拟合项为所述目标语言参考翻译文本的概率分布函数；所述偏移调整项为所述第一通用机器翻译模型对应翻译词表的概率分布函数。

可选地，所述的装置还包括：信息确定模块，用于获取所述训练数据的拟合项和偏移调整项、以及超参数；将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；依据所述和值拟合项，确定所述预设优化信息。

本发明实施例还公开了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本发明实施例任一所述的数据处理方法。

本发明实施例还公开了一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：获取指定领域的训练数据；依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；其中，所述预设优化信息包括所述训练数据的拟合项和偏移调整项。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数，包括：依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值；以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；将所述源语言训练文本输入至第二通用机器翻译模型中，输出所述第二通用机器翻译模型对应翻译词表的第二预测概率信息；依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数，包括：依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第二预测概率信息，确定所述偏移调整项对应的第三优化值；以最小化所述第一优化值和第三优化值之和为目标，调整所述第一通用机器翻译模型参数。

可选地，所述训练数据的拟合项为所述目标语言参考翻译文本的概率分布函数；所述偏移调整项为所述第一通用机器翻译模型对应翻译词表的概率分布函数。

可选地，还包含用于进行以下确定所述预设优化信息的指令：获取所述训练数据的拟合项和偏移调整项、以及超参数；将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；依据所述和值拟合项，确定所述预设优化信息。

本发明实施例包括以下优点：

本发明实施例中，获取指定领域的训练数据，然后依据包括所述训练数据的拟合项和偏移调整项的预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；进而在提升机器翻译模型在指定领域的翻译效果的同时，保证其在通用领域的翻译效果。

附图说明

图1是本发明的一种数据处理方法实施例的步骤流程图；

图2是本发明的一种数据处理方法可选实施例的步骤流程图；

图3是本发明的一种确定预设优化信息方法实施例的步骤流程图；

图4是本发明的又一种数据处理方法可选实施例的步骤流程图；

图5是本发明的一种数据处理装置实施例的结构框图；

图6是本发明的一种数据处理装置可选实施例的结构框图；

图7根据一示例性实施例示出的一种用于数据处理的电子设备的结构框图；

图8是本发明根据另一示例性实施例示出的一种用于数据处理的电子设备的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例的核心构思之一是，依据包含训练数据的拟合项和偏移调整项的优化信息对通用机器翻译模型进行微调训练，进而实现在提升机器翻译模型在指定领域的翻译效果的同时，保证其在通用领域的翻译效果。

其中，所述通用机器翻译模型可以是指采用通用领域的训练数据训练后的机器翻译模型。

参照图1，示出了本发明的一种数据处理方法实施例的步骤流程图，具体可以包括如下步骤：

步骤102、获取指定领域的训练数据。

步骤104、依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；其中，所述预设优化信息包括所述指定训练数据的拟合项和偏移调整项。

本发明实施例中，当需要提升通用机器翻译模型在某一领域的翻译效果时，可以获取该领域的训练数据；然后采用该领域的训练数据对通用机器翻译模型进行微调训练。其中，可以将需要提升通用机器翻译模型翻译效果的领域称为指定领域，所述指定领域可以是任意一种领域，如医学领域、生物学领域、体育领域等等，本发明实施例对此不作限制。为了便于后续说明，可以将采用指定领域的训练数据进行微调训练的通用机器翻译模型称为第一通用机器翻译模型。

本发明实施例中，可以预先依据训练数据的拟合项和偏移调整项，确定所述预设优化信息；具体确定所述预设优化信息方法在后续说明。其中，所述训练数据的拟合项用于使通用机器翻译模型拟合指定领域的训练数据，所述偏移调整项用于调整采用指定领域训练后的通用机器翻译模型与训练之前的通用机器翻译模型的偏移。然后再依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，进而使得微调训练后的通用机器翻译模型在指定领域的翻译效果得到提升的同时，保证其在通用领域的翻译效果。

综上，本发明实施例中，获取指定领域的训练数据，然后依据包括所述训练数据的拟合项和偏移调整项的预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；进而在提升机器翻译模型在指定领域的翻译效果的同时，保证其在通用领域的翻译效果。

本发明实施例中，所述指定领域的训练数据可以包括：源语言训练文本和对应的目标语言参考翻译文本。所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练的一种实现方式可以是，将源语言训练样本输入至所述第一通用机器翻译模型后，依据所述第一通用机器翻译模型输出的信息和预设优化信息，对所述第一通用机器翻译模型进行微调训练。具体如下：

参照图2，示出了本发明的一种数据处理方法可选实施例的步骤流程图，具体可以包括如下步骤：

步骤202、获取指定领域的训练数据。

本发明实施例中，可以从指定领域的相关信息中，收集多条源语言训练文本和对应的目标语言参考翻译文本；例如双语论文、双语名著等。然后将一条源语言训练文本和对应的一条目标语言参考翻译文本作为一组训练数据，生成所述指定领域的多组训练数据。再采用收集的多组训练数据，对所述第一通用机器翻译模型进行微调训练。

本发明实施例中，依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练可以包括正向训练和反向训练。其中，所述正向训练可以参照步骤204，所述反向训练可以参照步骤206-步骤210。

步骤204、将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息。

本发明实施例中，对所述第一通用机器翻译模型进行正向训练的过程可以是：分别将每一组训练数据中的源语言训练文本输入至所述第一通用机器翻译模型中；由所述第一通用机器翻译模型对所述源语言训练文本进行翻译，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息。其中，所述第一预测概率信息包括第一通用机器翻译模型对应翻译词表中各个字词的概率信息。本发明实施例中，当所述目标语言参考翻译文本中包括多个字词时，在将源语言训练文本输入至所述第一通用机器翻译模型后，所述第一通用机器翻译模型在与所述目标语言参考翻译文本中每个字词对应的位置，均输出对应的第一预测概率信息。

然后可以对所述第一通用机器翻译模型进行反向训练。本发明实施例中，一种对所述第一通用机器翻译模型进行反向训练的过程可以是：依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。其中，每输入一组训练数据中的源语言训练文本，可以依据该组训练数据中目标语言参考翻译文本、对应的第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。可以参照步骤206-208。

其中，为了便于后续说明如何实现依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数，先对如何确定所述预设优化信息进行说明。

参照图3，示出了本发明的一种确定预设优化信息方法实施例的步骤流程图。

步骤302、获取所述训练数据的拟合项和偏移调整项、以及超参数。

步骤304、将所述偏移调整项和超参数相乘，得到对应的乘积拟合项。

步骤306、将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项。

步骤308、依据所述和值拟合项，确定所述预设优化信息。

本发明实施例中，可以获取所述训练数据的拟合项和偏移调整项、以及超参数λ，然后依据获取所述训练数据的拟合项和偏移调整项、以及超参数λ生成预设优化信息。其中，所述λ可以按照实际情况设置，可以是经验值，本发明实施例对此不作限制；可以通过调节λ，调节训练后的第一通用机器翻译模型在指定领域和通用领域的翻译效果。

本发明的一个可选实施例中，可以确定目标语言参考翻译文本的概率分布函数，将该概率分布函数作为训练数据的拟合项。其中，目标语言参考翻译文本的概率分布函数可以为最大似然函数，所述训练数据的拟合项的一种表达方式可以如下：

其中，J1为训练数据的拟合项；当目标语言参考翻译文本包括多个字词时，可以针对所述目标语言参考翻译文本中每个字词计算一个J1。x为输入的一条源语言训练文本。V为第一通用机器翻译模型对应翻译词表(包括N个字词，N为正整数)；y_i翻译词表V中第i个字词，i的取值区间为1～N；v属于V。θ为将一条源语言训练文本输入至第一通用机器翻译模型时，第一通用机器翻译模型的参数，p表示概率。v为目标语言参考翻译样本中的某一个字词

本发明的一个示例中，可以确定第一通用机器翻译模型对应翻译词表的概率分布函数，将该概率分布函数作为偏移调整项。其中，第一通用机器翻译模型对应翻译词表对应的概率分布函数可以为交叉熵函数，所述偏移调整项的一种表达方式可以如下：

其中，J3为偏移调整项。

然后可以将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；可以参照如下表达方式：

J3＝λ*J2

其中，J3为乘积拟合项。

然后可以将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；再依据所述和值拟合项，确定所述预设优化信息。本发明的一个示例中，可以将所述和值拟合项确定为所述预设优化信息，所述预设优化信息的一种表达方式可以如下：

其中，所述J为预设优化信息，其值为正数。

步骤206、依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值。

步骤208、依据所述第一预测概率信息，确定所述偏移调整项的第二优化值。

步骤210、以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

本发明实施例中，当目标语言参考翻译文本包括多个字词时，可以以计算所述目标语言参考翻译文本中第j字词对应J1的值和J2的值为例进行说明。

其中，可以获取第一通用机器翻译模型在第j个位置上输出第一预测概率信息，依据该第一预测概率信息，确定翻译词表中各个字词对应的概率信息；并计算翻译词表中各个字词对应概率信息的log值。然后将目标语言参考翻译文本中第j字词对应概率信息的log值乘以1得到对应的乘积，以及将翻译词表中其他字词(为N-1个)对应概率信息的log值乘以0得到对应的N-1个乘积；然后计算这N个乘积的和，得到第一优化值(也就是所述目标语言参考翻译文本中第j字词对应J1的值)。然后可以把所述目标语言参考翻译文本中各个字词对应的第一优化值相加，得到所述目标语言参考翻译文本对应的第一优化值。

本发明实施例中，可以计算翻译词表中各个字词对应概率信息的log值，并计算翻译词表中各个字词概率信息与概率信息的log的乘积，得到N个乘积。然后计算这N个乘积的和，得到第二优化值(也就是所述目标语言参考翻译文本中第j字词对应J2的值)。然后可以把所述目标语言参考翻译文本中各个字词对应的第二优化值相加，得到所述目标语言参考翻译文本对应的第二优化值。

然后可以以最小化所述第一优化值和第二优化值之和为目标进行迭代，调整所述第一通用机器翻译模型的参数θ。

综上，本发明实施例中，获取指定领域的训练数据，然后将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；再依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值，以及依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值，并以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数；进而能够进一步的提升机器翻译模型在指定领域的翻译效果的同时，保证其在通用领域的翻译效果。

本发明的另一个实施例中，所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练的另一种实现方式可以是，将源语言训练样本分别输入至所述第一通用机器翻译模型和第二通用机器翻译模型，然后依据所述第一通用机器翻译模型输出的信息、第二通用机器翻译模型输出的信息和预设优化信息，对所述第一通用翻译模型进行微调训练。具体如下：

其中，所述第二通用机器翻译模型也可以是指采用通用领域的训练数据训练后的机器翻译模型，可以是与未采用指定领域的训练数据训练的第一通用机器翻译模型是相同的模型。

参照图4，示出了本发明的又一种数据处理方法可选实施例的步骤流程图，具体可以包括如下步骤：

步骤402、获取指定领域的训练数据。

本步骤402与上述步骤202类似，在此不再赘述。

本发明实施例中，依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练的正向训练可以参照步骤404，所述反向训练可以参照步骤408-步骤412。

步骤404、将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息。

本步骤404与上述步骤204类似，在此不再赘述。

步骤406、将所述源语言训练文本输入至第二通用机器翻译模型中，输出所述第二通用机器翻译模型对应翻译词表的第二预测概率信息。

本发明实施例中，可以采用第二通用机器翻译模型针对源语言训练文本输出的信息，计算预设优化信息中偏移调整项的优化值。因此可以将每一组训练数据中的源语言训练文本输入至第二通用机器翻译模型中，由第二通用机器翻译模型对所述源语言训练文本进行翻译，输出所述第二通用机器翻译模型对应翻译词表的第二预测概率信息。其中，所述第一通用机器翻译模型的翻译词表与所述第二通用机器翻译模型的翻译词表可以相同。

然后可以依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。其中，针对每一组训练数据，可以采用第一通用机器翻译模型针对该组训练数据中源语言训练文本输出的第一预测概率信息，第二通用机器翻译模型针对该组训练数据中源语言训练文本输出的第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。可以参照步骤408-步骤412：

步骤408、依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值。

步骤410、依据所述第二预测概率信息，确定所述偏移调整项的第三优化值。

步骤412、以最小化所述第一优化值和第三优化值之和为目标，调整所述第一通用机器翻译模型参数。

本步骤408-步骤412与上述步骤206-210类似，在此不再赘述。

其中，步骤410中，上述偏移调整项中的θ，为第二通用机器翻译模型对应的参数；在对第一通用机器翻译模型进行微调训练的过程中，第二通用机器翻译模型对应的参数θ保持不变。

综上，本发明实施例中，获取指定领域的训练数据，然后将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息，以及将所述源语言训练文本输入至第二通用机器翻译模型中，输出所述第二通用机器翻译模型对应翻译词表的第二预测概率信息；再依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值，以及依据所述第二预测概率信息，确定所述偏移调整项对应的第三优化值，并以最小化所述第一优化值和第三优化值之和为目标，调整所述第一通用机器翻译模型参数；进而能够进一步的提升机器翻译模型在指定领域的翻译效果的同时，保证其在通用领域的翻译效果。

此外，相对于依据步骤202-步骤210进行微调训练后的第一通用机器学习模型而言，依据步骤402-412进行微调训练后的第一通用机器学习模型的翻译效果更好。

作为本发明的一个示例，所述指定领域为体育领域，获取体育领域的训练数据，然后依据预设优化信息，采用体育领域的训练数据对第一通用机器翻译模型进行微调训练；然后可以采用微调训练后的第一通用机器翻译模型进行翻译。例如，将英文翻译为中文，如将英文文本“After that season,A retired from the Lakers”输入至微调训练后的第一通用机器翻译模型中，得到微调训练后的第一通用机器翻译模型输出中文文本“那个赛季之后，A就从湖人退役了”。又例如，将英文文本“This season,suitable for soakingfeet”输入至微调训练后的第一通用机器翻译模型中，得到微调训练后的第一通用机器翻译模型输出中文文本“这个季节，适合泡脚”。可见，微调训练后的第一通用机器翻译模型能够将“season”，准确的翻译为体育领域的中文表述和通用领域的中文表述。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图5，示出了本发明的一种数据处理装置实施例的结构框图，具体可以包括如下模块：

数据获取模块502，用于获取指定领域的训练数据；

训练模块504，用于依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；其中，所述预设优化信息包括所述训练数据的拟合项和偏移调整项。

参照图6，示出了本发明的一种数据处理装置可选实施例的结构框图。

本发明一个可选的实施例中，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述训练模块504包括：

第一前向训练子模块5042，用于将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；

第一后向训练子模块5044，用于依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

本发明一个可选的实施例中，所述第一后向训练子模块5044，用于依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值；以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

本发明一个可选的实施例中，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述训练模块504包括：

第二前向训练子模块5046，用于将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；

概率预测子模块5048，用于将所述源语言训练文本输入至第二通用机器翻译模型中，输出所述第二通用机器翻译模型对应翻译词表的第二预测概率信息；

第二后向训练子模块50410，用于依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

本发明一个可选的实施例中，所述第二后向训练子模块50410，用于依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第二预测概率信息，确定所述偏移调整项对应的第三优化值；以最小化所述第一优化值和第三优化值之和为目标，调整所述第一通用机器翻译模型参数。

本发明一个可选的实施例中，所述训练数据的拟合项为所述目标语言参考翻译文本的概率分布函数；所述偏移调整项为所述第一通用机器翻译模型对应翻译词表的概率分布函数。

本发明一个可选的实施例中，所述的装置还包括：

信息确定模块506，用于获取所述训练数据的拟合项和偏移调整项、以及超参数；将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；依据所述和值拟合项，确定所述预设优化信息。

综上，本发明实施例中，获取指定领域的训练数据，然后依据包括所述训练数据的拟合项和偏移调整项的预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；进而在提升机器翻译模型在指定领域的翻译效果的同时，保证其在通用领域的翻译效果。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图7是根据一示例性实施例示出的一种用于数据处理的电子设备700的结构框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理部件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件706为电子设备700的各种组件提供电力。电力组件706可以包括电源管理***，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件714经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件714还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种数据处理方法，所述方法包括：获取指定领域的训练数据；依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；其中，所述预设优化信息包括所述训练数据的拟合项和偏移调整项。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数，包括：依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值；以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；将所述源语言训练文本输入至第二通用机器翻译模型中，输出所述第二通用机器翻译模型对应翻译词表的第二预测概率信息；依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数，包括：依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第二预测概率信息，确定所述偏移调整项对应的第三优化值；以最小化所述第一优化值和第三优化值之和为目标，调整所述第一通用机器翻译模型参数。

可选地，所述训练数据的拟合项为所述目标语言参考翻译文本的概率分布函数；所述偏移调整项为所述第一通用机器翻译模型对应翻译词表的概率分布函数。

可选地，所述的方法还包括确定所述预设优化信息的步骤：获取所述训练数据的拟合项和偏移调整项、以及超参数；将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；依据所述和值拟合项，确定所述预设优化信息。

图8是本发明根据另一示例性实施例示出的一种用于数据处理的电子设备800的结构示意图。该电子设备800可以是服务器，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)822(例如，一个或一个以上处理器)和存储器832，一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器822可以设置为与存储介质830通信，在服务器上执行存储介质830中的一系列指令操作。

服务器还可以包括一个或一个以上电源826，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口858，一个或一个以上键盘856，和/或，一个或一个以上操作***841，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：获取指定领域的训练数据；依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；其中，所述预设优化信息包括所述训练数据的拟合项和偏移调整项。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述依据所述目标语言参考翻译文本、第一预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数，包括：依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值；以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

可选地，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；将所述源语言训练文本输入至第二通用机器翻译模型中，输出所述第二通用机器翻译模型对应翻译词表的第二预测概率信息；依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数。

可选地，所述依据所述目标语言参考翻译文本、第一预测概率信息、第二预测概率信息和预设优化信息，调整所述第一通用机器翻译模型的参数，包括：依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第二预测概率信息，确定所述偏移调整项对应的第三优化值；以最小化所述第一优化值和第三优化值之和为目标，调整所述第一通用机器翻译模型参数。

可选地，所述训练数据的拟合项为所述目标语言参考翻译文本的概率分布函数；所述偏移调整项为所述第一通用机器翻译模型对应翻译词表的概率分布函数。

可选地，还包含用于进行以下确定所述预设优化信息的指令：获取所述训练数据的拟合项和偏移调整项、以及超参数；将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；依据所述和值拟合项，确定所述预设优化信息。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种数据处理方法、一种数据处理装置和一种电子设备，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种数据处理方法，其特征在于，包括：

获取指定领域的训练数据；

依据包括所述训练数据的拟合项和偏移调整项的预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；

所述训练数据的拟合项用于使所述第一通用机器翻译模型拟合指定领域的训练数据，所述偏移调整项用于调整采用指定领域训练后的第一通用机器翻译模型与训练之前的第一通用机器翻译模型的偏移；

其中，所述的方法还包括确定所述预设优化信息的步骤：

获取所述训练数据的拟合项和偏移调整项、以及超参数；

将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；

将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；

依据所述和值拟合项，确定所述预设优化信息；

其中，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；

依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：

将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；

依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；

依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值；

以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

2.根据权利要求1所述的方法，其特征在于，

所述训练数据的拟合项为所述目标语言参考翻译文本的概率分布函数；

所述偏移调整项为所述第一通用机器翻译模型对应翻译词表的概率分布函数。

3.一种数据处理装置，其特征在于，包括：

数据获取模块，用于获取指定领域的训练数据；

训练模块，用于依据包括所述训练数据的拟合项和偏移调整项的预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；

所述训练数据的拟合项用于使所述第一通用机器翻译模型拟合指定领域的训练数据，所述偏移调整项用于调整采用指定领域训练后的第一通用机器翻译模型与训练之前的第一通用机器翻译模型的偏移；

其中，所述的装置还包括：

信息确定模块，用于获取所述训练数据的拟合项和偏移调整项、以及超参数；将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；依据所述和值拟合项，确定所述预设优化信息；

其中，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；所述训练模块包括：

第一前向训练子模块，用于将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；

所述第一后向训练子模块，用于依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值；以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

4.根据权利要求3所述的装置，其特征在于，

所述训练数据的拟合项为所述目标语言参考翻译文本的概率分布函数；

所述偏移调整项为所述第一通用机器翻译模型对应翻译词表的概率分布函数。

5.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1-2任一所述的数据处理方法。

6.一种电子设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获取指定领域的训练数据；

依据包括所述训练数据的拟合项和偏移调整项的预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练；

所述训练数据的拟合项用于使所述第一通用机器翻译模型拟合指定领域的训练数据，所述偏移调整项用于调整采用指定领域训练后的第一通用机器翻译模型与训练之前的第一通用机器翻译模型的偏移；

其中，还包含用于进行以下确定所述预设优化信息的指令：

获取所述训练数据的拟合项和偏移调整项、以及超参数；

将所述偏移调整项和超参数相乘，得到对应的乘积拟合项；

将所述训练数据的拟合项和所述乘积值拟合项相加，得到和值拟合项；

依据所述和值拟合项，确定所述预设优化信息；

其中，所述训练数据包括：源语言训练文本和对应的目标语言参考翻译文本；

依据预设优化信息，采用所述训练数据对第一通用机器翻译模型进行微调训练，包括：

将所述源语言训练文本输入至所述第一通用机器翻译模型中，输出所述第一通用机器翻译模型对应翻译词表的第一预测概率信息；

依据所述目标语言参考翻译文本和第一预测概率信息，确定所述训练数据的拟合项对应的第一优化值；

依据所述第一预测概率信息，确定所述偏移调整项对应的第二优化值；

以最小化所述第一优化值和第二优化值之和为目标，调整所述第一通用机器翻译模型的参数。

7.根据权利要求6所述的电子设备，其特征在于，

所述训练数据的拟合项为所述目标语言参考翻译文本的概率分布函数；

所述偏移调整项为所述第一通用机器翻译模型对应翻译词表的概率分布函数。