CN116629272A - 自然语言控制的文本生成方法及*** - Google Patents

Abstract

本发明公开一种自然语言控制的文本生成方法及***，属于自然语言处理的技术领域，本发明针对描述性控制变量约束下的可控文本生成场景，针对如何有效表示自由灵活的描述性控制变量问题，引入了文本语义哈希方法，使用哈希码表示描述性控制变量。同时，本发明通过将描述性控制变量编码为哈希码、通过哈希码重构描述性变量这两个过程，增强哈希码对描述性控制变量核心语义的表示能力，同时使其包容描述性控制变量的多样性表达。

Description

自然语言控制的文本生成方法及***

技术领域

本发明公开一种自然语言控制的文本生成方法及***，属于自然语言处理的技术领域。

背景技术

可控文本生成是指在给定约束条件下生成满足语义需求的自然语言文本，具有重要的实用价值。近几年，对可控文本生成的研究已经在情感、风格等方面取得突出成就。但是，现有的大多数的模型针对如“积极”、“消极”等和文本外在属性相关的类别变量，无法满足现实应用场景下对文本内容灵活多样的控制需求，而且，人们更倾向于使用自然语言来表达对生成文本的约束，而非类别变量。我们定义自然语言控制的文本生成任务为以描述语义需求的自然语言为控制变量，生成满足语义约束的文本，如在机器自动写作任务中，以对人物、场景的简要描述为控制变量，生成符合给定人物和场景的小说片段，其中描述语义需求的自然语言在本发明中称为描述性控制变量。

由于自然语言的表达多样性、语义歧义性等内在特征，描述性控制变量约束下的文本生成面临两个主要的挑战：一是描述性控制变量在内容和形式上自由灵活，难以映射到一个固定的类别，因此，需要探索如何获取描述性控制变量的表示，从而包容描述性控制变量的多样性，同时也能区分语义上的核心差异；二是如何建立描述性控制变量和生成文本的关联，实现对内容的控制。

针对上述技术问题，现有技术领域公开了以下专利文献：

中国专利文献CN115600582A提出了基于判别器的可控文本生成方法，以预训练模型为基础生成框架，分别引入主题判别器、情感判别器和写作风格判别器。在文本生成过程中，由预训练语言模型生成候选词汇的预测概率，由三类判别器依据已生成文本预测候选词符合给定属性的属性概率，随后，累乘属性概率和预测概率得到最终的候选词汇采样概率。

中国专利文献CN114510924A提出一种基于预训练语言模型的文本生成方法，通过引入一个能动态调节控制器权重的加权解码框架，解决现有的基于加权解码的可控生成方法无法在保证生成文本质量的前提下达到控制理想风格强度的问题。该发明中，控制器的作用是更改预训练模型输出的词汇分布，使整个生成文本符合特定风格。如果当前解码步不适合生成包含目标风格词语时，该方法通过调节权重使控制器失效，从而选择预训练模型输出的词汇。

上述方法均以有限数量的类别变量作为控制条件，应用场景较为局限，难以适用现实场景下以自然语言为控制变量的文本生成需求。

发明内容

本发明公开了一种自然语言控制的文本生成方法。

本发明还公开了一种实现上述生成方法的***。

发明概述：

本发明针对描述性控制变量约束下的可控文本生成场景，针对如何有效表示自由灵活的描述性控制变量问题，引入了文本语义哈希方法，使用哈希码表示描述性控制变量。同时，本发明通过将描述性控制变量编码为哈希码、通过哈希码重构描述性变量这两个过程，增强哈希码对描述性控制变量核心语义的表示能力，同时使其包容描述性控制变量的多样性表达。

本发明以变分自编码器为基础的生成框架，添加条件编码器建立描述性控制变量和文本内在生成因素即隐变量的关联。整体的生成框架包括：

一是语义哈希自编码器，该自编码器首先编码描述性控制变量，得到哈希码，随后，基于哈希码重构输入的描述性控制变量。哈希码作为描述性控制变量的表示，在后续过程中，用于控制文本生成。

二是可控文本变分自编码器，该自编码器基于变分自编码器结构，额外引入一个条件编码器实现描述性控制变量对文本生成过程的控制。训练阶段，可控文本变分自编码器以描述性控制变量和符合该变量的文本为输入，通过重构符合描述性变量的文本建模控制变量约束下的可控文本生成过程；使用阶段，给定描述性控制变量，编码得到对应的哈希码，由哈希码约束文本生成过程生成符合控制变量语义的文本。

技术术语解释：

1.描述性控制变量：描述一段语义控制需求的自然语言文本。

2.文本语义哈希：根据文本语义，将文本映射为二进制哈希码，同时保留文本本身相似性的检索方法。

3.变分自编码器，英文Variational Auto Encoder：是一种基于变分贝叶斯推断的生成式网络结构，包括编码器和解码器两个主要部分，常用于建模文本内在生成因素到文本的生成过程，文本内在生成因素在变分自编码器中称为隐变量。变分自编码器通过最大化数据集中所有样本的生成概率训练神经网络编码器和解码器，是文本生成领域的常用框架。

本发明的技术方案如下：

一种自然语言控制的文本生成方法，其特征在于，包括：

所述生成方法是基于语义哈希自编码器和可控文本变分自编码器执行的；

所述语义哈希自编码器包括：语义编码器和语义解码器，所述语义编码器和语义解码器分别用于对描述性控制变量编码和重构，以获取描述性控制变量所对应的哈希码；

所述可控文本变分自编码器包括：文本编码器、条件编码器和文本解码器，可控文本变分自编码器在描述性控制变量约束下编码和重构符合描述性变量语义的文本，从而能够建模描述性变量控制下的文本生成过程，具体包括如下步骤：

S1：使用语义哈希自编码器编码和重构描述性控制变量，

所述语义哈希自编码器通过语义编码器编码描述性控制变量获取/>位的哈希码/>：

(1.)

在公式（1）中，哈希码用于表达描述性控制变量/>的核心语义；/>为语义编码器；

语义解码器基于哈希码重构描述性控制变量：

(2.)

在公式（2）中，为重构后的描述性控制变量；/>为语义解码器；

在公式（1）和公式（2）所描述的编码和重构描述性控制变量的方式是一种无监督的学习方法，这使得语义哈希自编码器可以在大规模语料预训练，从而进一步提升语义编码器和语义解码器对描述性控制变量的编码和解码能力；

在对描述性控制变量编码时，描述性控制变量包括文本形式、TF-IDF向量，英文Term Frequency–Inverse Document Frequency，或词袋向量等多种表示方式；

S2：使用可控文本变分自编码器建模描述性控制变量约束下的文本生成，

通常的变分自编码器包括文本编码器和文本解码器两个部分，分别对输入文本编码和重构，但是，由于缺少控制变量的融入，较难建模控制变量约束下的文本生成过程，因此，本发明在变分自编码器的基础上，添加了一个条件编码器，建模描述性控制变量对文本生成过程的控制；

所述条件编码器以描述性控制变量对应的哈希码/>为输入，编码得到隐变量先验分布/>,其中/>为符合分布/>的隐变量，代表文本隐式生成因素；为以/>均值、/>为方差的正态分布，/>为单位矩阵；/>和/>通过下式得到：

(3.)

在公式（3）中，表示条件编码器；

所述文本编码器以描述性控制变量和符合/>语义的文本/>为输入，编码得到描述性控制变量/>和文本/>条件下的隐变量后验分布/>，其中/>为符合分布/>的隐变量；/>为以/>均值、/>为方差的正态分布，/>为单位矩阵；/>和/>通过下式得到：

(4.)

在公式（4）中，表示文本编码器；

所述文本解码器以采样自分布的隐变量/>为输入，生成重构的文本/>：

(5.)

在公式(5)中，表示文本解码器；

S3：模型训练，利用大规模语料预训练语义哈希自编码器，随后使用目标语料训练整个模型，直至模型收敛，以满足在给定一段描述性控制变量的条件下，生成符合描述性控制变量语义约束的文本：

S31：利用大规模语料预训练语义哈希自编码器，以获取包含语义信息的哈希码；

所述语义哈希自编码器以描述性控制变量为输入，描述性控制变量可以是文本形式，也可是文本对应TF-IDF向量的形式，以重构输入的描述性控制变量为目标，使用交叉熵度量输入的控制变量和重构的控制变量间的差异；

S32：使用目标语料精调语义哈希自编码器及训练可控文本变分自编码器；目标语料的数据形式为描述性控制变量及其符合该控制变量语义的文本，在S31后，使用目标语料中的描述性控制变量作为语义哈希自编码器的输入，以重构输入的控制变量为目标，使用交叉熵损失函数精调语义哈希自编码器，使其获取目标语料的领域知识，更好提升对目标领域的描述性控制变量的编码性能；

可控文本变分自编码器的输入为目标语料中的描述性控制变量，及其对应的哈希码/>和文本/>，其中，条件编码器的输入为哈希码/>，文本编码器的输入为描述性控制变量/>及符合该控制变量语义的文本/>；可控文本变分自编码器以最大化重构文本/>的概率、同时最小化隐变量先验分布和后验分布的距离为目标，具体表示为最大化目标函数/>：

(6.)

在最大化公式（6）所示的目标函数时，表示文本解码器依据/>重构/>的概率，/>采样自文本编码器对/>编码得到的隐变量后验分布/>，最大化公式第一项的目的是使隐变量能够有效重构输入文本/>；/>为条件编码器对/>编码得到的隐变量先验分布，/>表示分布间的KL距离，英文Kullback-Leibler Divergence，最小化公式第二项的目的是约束隐变量先验分布和后验分布的距离。

在使用阶段时，可控文本生成过程涉及语义哈希自编码器中的语义编码器、可控文本变分自编码器中的条件编码器和文本解码器：

给定一段描述性控制变量，通过所述语义哈希自编码器中的语义编码器得到哈希码，可控文本变分自编码器中的条件编码器对哈希码编码，得到先验分布/>,其中，/>是以/>为均值、/>为方差的正态分布；/>为单位矩阵；随后在先验分布/>中采样一个/>，/>被输入到文本解码器生成符合描述性控制变量语义的文本，在此过程中，对于同一个描述性控制变量，可以从先验分布/>中采样多个/>，以生成多个符合描述性控制变量的文本，进一步提升了生成文本的多样性。

一种实现自然语言控制的文本生成方法的***，其特征在于：

所述***包括语义哈希自编码器、可控文本变分自编码器；

所述语义哈希自编码器用于：在训练阶段，通过编码和重构描述性控制变量获取能够代表控制变量核心语义的哈希码；在训练完成后的使用阶段，由其包含的语义编码器编码描述性控制变量，得到哈希码；

所述可控文本变分自编码器用于：在训练阶段，通过在哈希码约束下编码和重构符合描述性控制变量约束的文本，建模哈希码约束下的文本生成过程；在训练完成后的使用阶段，接收来自语义哈希自编码器的哈希码，由条件编码器编码哈希码得到隐变量，随后文本解码器依赖隐变量生成符合描述性控制变量的文本。

本发明的优势在于：

1.本发明面向更为广泛的可控应用场景需求，提出了实现自然语言控制的文本生成方法。针对现有方法以类别变量作为控制条件，通常只能控制文本外在属性如情感、文本长度、时态，无法满足现实场景多元化控制需求的不足，本发明以自然语言形式的描述性控制变量作为控制条件，允许用户自由地表达控制需求，提升了文本生成方法的灵活性和实用性。

2.本发明引入了语义哈希方法，实现对描述性控制变量的高效编码。描述性控制变量具有灵活多样的特点，针对现有的编码方法难以有效区分文本的核心差异，从而难以建模控制变量和生成文本关联关系的不足，本发明基于语义哈希方法，通过对控制变量的编码和重构获取控制变量的哈希码，使得哈希码能够代表文本核心语义，同时包容语言的多样性，提升了编码质量和编码效率。

3.本发明以变分自编码器作为基础的生成框架，添加条件编码器融入控制变量对文本的约束，从而能够学习到控制变量和生成文本间的关联关系，在实现文本可控性的同时，也可以通过多样性采样，生成符合约束的多样性文本，进一步满足可控文本生成领域更高层次的多样性需求。

附图说明

图1是本发明一种自然语言控制的文本生成方法的架构图；

图2是本发明在使用阶段，在给定描述性控制变量条件下，生成符合该控制变量的文本的过程示意图。

具体实施方式

下面结合实施例和说明书附图对本发明做详细的说明，显然，本发明可通过多种形式实现，不限于所阐述的实施例。

实施例1、

如图1所示，一种自然语言控制的文本生成方法，包括：

所述生成方法是基于语义哈希自编码器和可控文本变分自编码器执行的；

所述语义哈希自编码器包括：语义编码器和语义解码器，所述语义编码器和语义解码器分别用于对描述性控制变量编码和重构，以获取描述性控制变量所对应的哈希码；

所述可控文本变分自编码器包括：文本编码器、条件编码器和文本解码器。可控文本变分自编码器在描述性控制变量约束下编码和重构符合描述性变量语义的文本，从而能够建模描述性变量控制下的文本生成过程，具体包括如下步骤：

S1：使用语义哈希自编码器编码和重构描述性控制变量，

所述语义哈希自编码器通过语义编码器编码描述性控制变量获取/>位的哈希码/>：

（1）

在公式（1）中，哈希码用于表达描述性控制变量/>的核心语义；/>为语义编码器；

语义解码器基于哈希码重构描述性控制变量：

（2）

在公式（2）中，为重构后的描述性控制变量；/>为语义解码器；

在公式（1）和公式（2）所描述的编码和重构描述性控制变量自身的方式使得语义哈希自编码器可以在大规模语料预训练，能够进一步提升编码器和解码器对控制变量的编码和解码能力；

在对描述性控制变量编码时，将描述性控制变量转为TF-IDF向量，英文TermFrequency–Inverse Document Frequency，作为语义编码器的输入；

在S1中，具体的，语义哈希自编码器中的语义编码器以MLP网络，英文Multi-LayerPerception作为基础网络，针对给定的描述性控制变量，基于目标语料得到其对应的TF-IDF，英文Term Frequency–Inverse Document Frequency向量，随后，所述MLP网络对该向量降维得到m维特征向量/>，最后，对/>中的每一维执行二制化操作获取对应的哈希码/>：

(7)

(8)

在公式（7）、（8）中，为获取/>对应的TF-IDF向量的操作；/>表示二制化操作；/>为sigmoid函数；/>和/>分别表示特征向量/>和哈希码/>的第/>维；

语义解码器以MLP网络为基本结构，以哈希码作为输入，重构描述性控制变量对应的TF-IDF向量；

理论上，语义相近的描述性控制变量具有相似的TF-IDF表示向量，在上述步骤中，对描述性控制变量编码和重构操作保证了语义相似的控制变量具有相近的哈希码；二制化操作使哈希码保留文本核心语义，而忽略无关细节；哈希码重构出的TF-IDF向量代表了一类语义相近、表达不同的描述性控制变量；

S2：使用可控文本变分自编码器建模描述性控制变量约束下的文本生成，

通常的变分自编码器包括文本编码器和文本解码器两个部分，分别用于对输入文本编码和重构，但是，由于缺少控制变量的融入，较难建模控制变量约束下的文本生成过程，因此，本发明在变分自编码器的基础上，添加了一个条件编码器，建模描述性控制变量对文本生成过程的控制；

可控文本变分自编码器中的文本编码器以BERT+MLP作为基础网络：首先，将一个特殊字符和描述性控制变量/>及符合该控制变量的文本/>拼接作为BERT网络的输入；BERT网络对输入的文本编码，得到文本中每个词汇对应的特征向量，特殊字符/>对应的特征向量/>作为整个输入文本的特征表示，随后，MLP网络依据/>得到隐变量/>的后验分布，其中/>为以/>均值、/>为方差的正态分布，/>为单位矩阵；/>和/>通过如下公式得到：

(9)

(10)

条件编码器以MLP网络作为基础网络，以语义编码器对描述性控制变量编码得到的哈希码/>为输入，编码得到隐变量先验分布/>，其中/>为均值/>、方差/>的正态分布：

(11)

文本解码器以GPT(Generative Pre-Training Transformer)作为基础网络，在训练阶段，以从隐变量后验分布中采样的隐变量/>为输入，重构输入文本/>。在使用阶段，以从隐变量先验分布/>采样的隐变量/>为输入，生成符合描述性控制变量语义的文本；上述模型框架中不同部分所使用的BERT、GPT、MLP等网络是独立的网络，参数不共享；

S3：模型训练，利用大规模语料预训练语义哈希自编码器，使用目标语料训练整个模型，直至收敛，以满足在给定一段描述性控制变量的条件下，生成符合描述性控制变量语义约束的文本：

S31：利用大规模语料预训练语义哈希自编码器，以获取包含语义信息的哈希码；

预训练语义哈希自编码器的目的是更有效的编码，其训练过程所使用的语料可以和目标语料不相关；在具体训练过程中，以最小化重构的控制变量和输入的控制变量间的交叉熵为目标；为了增强语义哈希自编码器的领域适配性，基于目标语料进一步精调该自编码器；

所述语义哈希自编码器以描述性控制变量为输入，描述性控制变量可以是文本形式，也可是文本对应TF-IDF向量的形式，以重构输入的描述性控制变量为目标，使用交叉熵度量输入的控制变量和重构的控制变量间的差异；

S32：使用目标语料精调语义哈希自编码器及训练可控文本变分自编码器；目标语料的数据形式为描述性控制变量及其符合该控制变量语义的文本，在S31后，使用目标语料中的描述性控制变量作为语义哈希自编码器的输入，以重构输入的控制变量为目标，使用交叉熵损失函数精调语义哈希自编码器，使其获取目标语料的领域知识，更好提升对目标领域的描述性控制变量的编码性能；

可控文本变分自编码器的输入为目标语料中的描述性控制变量及其对应的文本，其中，条件编码器的输入为描述性控制变量/>对应的哈希码/>，文本编码器的输入为描述性控制变量/>及符合该控制变量语义的文本/>；可控文本变分自编码器以最大化重构文本/>的概率、同时最小化隐变量先验分布和后验分布的距离为目标，具体表示为最大化目标函数/>：

（6）

在最大化公式（6）所示的目标函数时，最大化第一项的目的是使隐变量能够有效重构输入文本，最小化第二项的目的是拉近隐变量先验分布和后验分布的距离，/>表示文本解码器依据/>重构/>的概率；/>采样自文本编码器对/>编码得到的隐变量后验分布/>，/>为条件编码器对/>编码得到的隐变量先验分布，/>表示两个分布间的KL距离，英文Kullback-Leibler Divergence；

如图2所示，在使用阶段时，可控文本生成过程涉及语义哈希自编码器中的语义编码器、可控文本变分自编码器中的条件编码器和文本解码器：

给定一段描述性控制变量，通过所述语义哈希自编码器中的语义编码器得到哈希码，可控文本变分自编码器中的条件编码器对哈希码编码，得到先验分布/>,其中，/>是以/>为均值、/>为方差的正态分布；/>为单位矩阵；随后在先验分布中采样一个/>，/>被输入到文本解码器生成符合描述性控制变量语义的文本，在此过程中，对于同一个描述性控制变量，可以从先验分布/>中采样多个/>，以生成多个符合描述性控制变量的文本，进一步提升了生成文本的多样性。

本实施例1所述的一种自然语言控制的文本生成方法的多种应用场景，例如，在情感可控的评论文本生成中，用户给出一段情感描述，如“商品是完美的”或者“商品不好”，以及一些内容提示文本“商品的外观、质地、用途”，期望模型能够生成符合情感和内容需求的评论文本，其中，情感需求不仅仅体现在情感极性可控上，还体现在情感的隐式强度可控上，如“商品是完美的”、“商品还可以”等情感描述虽然有相同的情感极性，但是，有不同的情感强度。

现有技术的方法将情感划分为积极和消极两个类别，使用0或者1表示这两个类别，并作为模型的控制变量，这和人类多元的情感表达有较大差异，因此，难以应用于上述情感可控的评论生成任务中。

针对上述应用需求，本发明将用户提供的情感描述和内容提示文本合并后作为描述性控制变量：

首先使用大规模的多领域的评论语料预训练语义哈希自编码器，语义哈希自编码器的输入为一段评论文本，输出重构的评论文本，经过上述训练过程，语义哈希自编码器在给定一段文本的情况下，能够获取包含语义信息的哈希码；

随后，使用目标领域的评论语料训练整个模型，针对每一条评论，先通过情感分析，抽取出一些和情感相关的关键词，同时，抽取一些和方面相关的关键词，随后，拼接情感关键词和方面关键词形成描述性控制变量，该条评论文本作为符合该控制变量语义的目标文本。描述性控制变量用于再次训练语义哈希自编码器，同时，描述性控制变量和目标文本用于训练可控文本变分自编码器，训练过程使用的目标函数已在上文给出；

在模型训练收敛后，使用训练好的模型进行情感可控的评论文本生成，首先使用语义哈希自编码器中的语义编码器编码用户提供的描述性控制变量，得到哈希码，随后通过可控文本变分自编码器中的条件编码器编码哈希码，得到隐变量先验分布，在此分布中采样隐变量，并输入到文本解码器生成符合用户描述的评论文本。

另外一个例子，例如，在自动创作这一场景：用户给出一个描述性控制变量如“生成一篇关于自驾去西藏旅行的短文，语气要乐观积极”，模型基于对该控制变量的理解，生成符合该控制变量的文本。

上述控制变量有不同的表达方法，如“我需要一篇态度积极的关于自驾去西藏旅行的文章”、“写一篇文章，主题是自驾去西藏旅行”等等，语言的灵活多样性使得现有的智能模型难以有效建模控制变量和生成文本间的关系。

针对上述挑战，首先，本发明使用和目标语料无关的大规模数据如百度百科等预训练语义哈希自编码器，从而获取包含语义信息的哈希码；

随后，使用目标语料精调语义哈希自编码器，同时，使用目标语料训练可控文本变分自编码器，其训练过程和目标已在上文给出；

给定一个描述性控制变量，使用精调后的语义哈希自编码器编码描述性控制变量，获取其哈希码，一个哈希码代表了一类文本的语义核心，如同时包含‘西藏’、‘自驾’、‘积极’等语义的文本具有相同的哈希码；哈希码被输入到可控文本变分自编码器的条件编码器，获取一个隐变量，隐变量输入文本解码器生成符合描述性控制变量的文本。

实施例2、

一种如实施例1所述实现自然语言控制的文本生成方法的***，包括语义哈希自编码器、可控文本变分自编码器；

所述语义哈希自编码器用于：在训练阶段，通过编码和重构描述性控制变量获取能够表达控制变量核心语义的哈希码；在训练完成后的使用阶段，由其包含的语义编码器编码描述性控制变量，得到哈希码；

所述可控文本变分自编码器用于：在训练阶段，通过在哈希码约束下编码和重构符合描述性控制变量约束的文本，建模哈希码约束下的文本生成过程；在训练完成后的使用阶段，接收来自语义哈希自编码器的哈希码，由条件编码器编码哈希码得到隐变量，随后文本解码器依赖隐变量生成符合描述性控制变量的文本。

Claims (2)

1.一种自然语言控制的文本生成方法，其特征在于，包括：

所述生成方法是基于语义哈希自编码器和可控文本变分自编码器执行的；

所述语义哈希自编码器包括：语义编码器和语义解码器，所述语义编码器和语义解码器分别用于对描述性控制变量编码和重构，以获取描述性控制变量所对应的哈希码；

所述可控文本变分自编码器包括：文本编码器、条件编码器和文本解码器，在描述性控制变量约束下编码和重构符合描述性变量语义的文本，具体包括如下步骤：

S1：使用语义哈希自编码器编码和重构描述性控制变量，

所述语义哈希自编码器通过语义编码器编码描述性控制变量获取/>位的哈希码/>：

（1）

在公式（1）中，哈希码用于表达描述性控制变量/>的核心语义；/>为语义编码器；

语义解码器基于哈希码重构描述性控制变量：

（2）

在公式（2）中，为重构后的描述性控制变量；/>为语义解码器；

在对描述性控制变量编码时，或以文本的形式作为语义编码器的输入，或将描述性控制变量转为TF-IDF向量，英文Term Frequency–Inverse Document Frequency，或者以描述性控制变量对应的词袋向量作为语义编码器的输入；

S2：使用可控文本变分自编码器建模描述性控制变量约束下的文本生成，

所述条件编码器以描述性控制变量对应的哈希码/>为输入，编码得到以哈希码/>为条件的隐变量先验分布/>,其中/>为符合分布/>的隐变量，代表文本隐式生成因素；/>为以/>均值、/>为方差的正态分布，/>为单位矩阵；/>和/>通过下式得到：

（3）

在公式（3）中，表示条件编码器；

所述文本编码器以描述性控制变量和符合描述性控制变量/>语义的文本/>为输入，编码得到描述性控制变量/>和文本/>条件下的隐变量后验分布/>，其中为符合分布/>的隐变量；/>为以/>均值、/>为方差的正态分布，/>为单位矩阵；/>和/>通过下式得到：

（4）

在公式（4）中，表示文本编码器；

所述文本解码器以隐变量为输入，生成重构的文本/>：

（5）

在公式（5）中，表示文本解码器；

S3：模型训练，以满足在给定一段描述性控制变量的条件下，生成符合描述性控制变量语义约束的文本：

S31：利用大规模语料预训练语义哈希自编码器，以获取包含语义信息的哈希码；

所述语义哈希自编码器以描述性控制变量为输入，以重构输入的描述性控制变量为目标，使用交叉熵度量输入的控制变量和重构的控制变量间的差异；

S32：使用目标语料精调语义哈希自编码器及训练可控文本变分自编码器；目标语料的数据形式为描述性控制变量及其符合该控制变量语义的文本；

可控文本变分自编码器的输入为目标语料中的描述性控制变量及其对应的文本/>，其中，条件编码器的输入为描述性控制变量/>对应的哈希码/>，文本编码器的输入为描述性控制变量/>及符合该控制变量语义的文本/>；可控文本变分自编码器以最大化重构文本/>的概率、同时最小化隐变量先验分布和后验分布的距离为目标，具体表示为最大化目标函数/>：

(6)

在最大化公式（6）所示的目标函数时，最大化第一项的目的是使隐变量能够有效重构输入文本，最小化第二项的目的是拉近隐变量先验分布和后验分布的距离，/>表示文本解码器依据/>重构/>的概率；/>采样自文本编码器对/>编码得到的隐变量后验分布，/>为条件编码器对/>编码得到的隐变量先验分布，/>表示两个分布间的KL距离；

在使用阶段时，可控文本生成过程涉及语义哈希自编码器中的语义编码器、可控文本变分自编码器中的条件编码器和文本解码器：

给定一段描述性控制变量，通过所述语义哈希自编码器中的语义编码器得到哈希码，可控文本变分自编码器中的条件编码器对哈希码编码，得到先验分布/>,其中，/>是以/>为均值、/>为方差的正态分布；/>为单位矩阵；随后在先验分布/>中采样一个/>，/>被输入到文本解码器生成符合描述性控制变量语义的文本。

2.一种实现如权利要求1所述一种自然语言控制的文本生成方法的***，其特征在于：

所述***包括语义哈希自编码器、可控文本变分自编码器；

所述语义哈希自编码器用于：在训练阶段，通过编码和重构描述性控制变量获取能够捕获控制变量核心语义的哈希码；在训练完成后的使用阶段，由其包含的语义编码器编码描述性控制变量，得到哈希码；

所述可控文本变分自编码器用于：在训练阶段，通过在哈希码约束下编码和重构符合描述性控制变量约束的文本，建模哈希码约束下的文本生成过程；在训练完成后的使用阶段，接收来自语义哈希自编码器的哈希码，由条件编码器编码哈希码得到隐变量，随后文本解码器依赖隐变量生成符合描述性控制变量的文本。