CN111368056A - 一种古诗词生成方法和装置 - Google Patents
一种古诗词生成方法和装置 Download PDFInfo
- Publication number
- CN111368056A CN111368056A CN202010143914.9A CN202010143914A CN111368056A CN 111368056 A CN111368056 A CN 111368056A CN 202010143914 A CN202010143914 A CN 202010143914A CN 111368056 A CN111368056 A CN 111368056A
- Authority
- CN
- China
- Prior art keywords
- text
- ancient
- white
- generator
- ancient poetry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种古诗词生成方法和装置,其中,该方法包括:获取多个古诗词文本和待生成古诗词的白话文文本;将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器;利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词。通过本发明实施例提供的古诗词生成方法和装置,可以直接将未标注的古诗词文本输入到生成器中对所述生成器进行预训练,使得预训练生成器具有古诗词的内在结构和语义关系,对古诗词的模式有较强的判断力。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种古诗词生成方法和装置。
背景技术
目前,古诗词是中国古代的一种文体,其特征是以文字为基础来写作,注重典故、骈俪对仗、音律工整且不使用标点。与现代使用的白话文相比,古诗词更为简洁典雅且能够表达更丰富的含义,但现代人很少背诵古诗,只能用白话文进行表达,所以需要将白话文转换成文言文。
相关技术中,基于白话文到古诗词生成方法大都是将其视为一种“机器翻译”任务,也就是把白话文视为源语言,把古诗词视为目标语言,然后使用一个编码-解码模型将白话文“翻译”成古诗词。
然而,当前白话文到古诗词的语料较少,而翻译任务往往需要较多语料才能取得较好的结果,所以上述使用一个编码-解码模型将白话文“翻译”成古诗词的方法无法生成高质量的古诗词。
发明内容
为解决上述问题,本发明实施例的目的在于提供一种古诗词生成方法和装置。
第一方面,本发明实施例提供了一种古诗词生成方法,包括:
获取多个古诗词文本和待生成古诗词的白话文文本;
将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器;
利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词。
第二方面,本发明实施例还提供了一种古诗词生成装置,包括:
获取模块,用于获取多个古诗词文本和待生成古诗词的白话文文本;
预训练模块,用于将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器;
处理模块,用于利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词。
第三方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。
第四方面,本发明实施例还提供了一种古诗词生成装置,所述古诗词生成装置包括有存储器,处理器以及一个或者一个以上的程序,其中所述一个或者一个以上程序存储于所述存储器中,且经配置以由所述处理器执行上述第一方面所述的方法的步骤。
本发明实施例上述第一方面至第四方年提供的方案中,通过将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器,然后利用预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词,与相关技术中把白话文视为源语言,把古诗词视为目标语言,然后使用一个编码-解码模型将白话文“翻译”成古诗词的方式相比,无需标注大量的能够翻译成古诗词的白话文,可以直接将未标注的古诗词文本输入到生成器中对所述生成器进行预训练,使得预训练生成器具有古诗词的内在结构和语义关系,对古诗词的模式有较强的判断力,从而利用预训练生成器对所述白话文文本的文本特征向量进行处理,就可以生成与白话文文本对应的古诗词,提高了古诗词的生成质量。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例1所提供的一种古诗词生成方法的流程图;
图2示出了本发明实施例2所提供的一种古诗词生成装置的结构示意图;
图3示出了本发明实施例3所提供的另一种古诗词生成装置的结构示意图。
具体实施方式
目前,古诗词是中国古代的一种文体,其特征是以文字为基础来写作,注重典故、骈俪对仗、音律工整且不使用标点。与现代使用的白话文相比,古诗词更为简洁典雅且能够表达更丰富的含义,但现代人很少背诵古诗,只能用白话文进行表达,所以需要将白话文转换成文言文。相关技术中,基于白话文到古诗词生成方法大都是将其视为一种“机器翻译”任务,也就是把白话文视为源语言,把古诗词视为目标语言,然后使用一个编码-解码模型将白话文“翻译”成古诗词。然而,当前白话文到古诗词的语料较少,而翻译任务往往需要较多语料才能取得较好的结果,所以上述使用一个编码-解码模型将白话文“翻译”成古诗词的方法无法生成高质量的古诗词。
基于此,本实施例提出一种古诗词生成方法和装置,通过将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器,然后利用预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词,无需标注大量的能够翻译成古诗词的白话文,可以直接将未标注的古诗词文本输入到生成器中对所述生成器进行预训练,使得预训练生成器具有古诗词的内在结构和语义关系,对古诗词的模式有较强的判断力,从而利用预训练生成器对所述白话文文本的文本特征向量进行处理,就可以生成与白话文文本对应的古诗词,提高了古诗词的生成质量。
在以下各实施例中,术语“加噪古诗”与“加噪古诗词”的含义相同。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请做进一步详细的说明。
实施例1
本实施例提出一种古诗词生成方法,执行主体是服务器。
所述服务器,可以采用现有技术中任何能够对白话文文本的文本特征向量进行处理,生成古诗词的计算设备。
参见图1所示的一种古诗词生成方法的流程图,本实施例提出一种古诗词生成方法,可以包括以下具体步骤:
步骤100、获取多个古诗词文本和待生成古诗词的白话文文本。
在上述步骤100中,多个古诗词文本,可以是服务器从互联网中通过爬虫技术爬取到的,也可以是缓存在服务器中的古诗词数据库中的。
这里,所述多个古诗词文本,是无标注的古诗词文本。
所述无标注的古诗词文本,是指未经人工翻译成白话文的古诗词文本。
将所述古诗词文本,翻译成白话文的过程,就叫做标注。
比如:对古诗词:“锄禾日当午”进行标注,得到的白话文可以是:“农民在正午暴晒的烈日下耕地”。
所述待生成古诗词的白话文文本,是用户输入到服务器中的未标注的白话文文本。在一个实施方式中,可以是“农民在中午太阳下锄地”。
步骤102、将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器。
在上述步骤102中,所述生成器,可以是运行在服务器中,用于对白话文中字符的特征向量进行处理,得到古诗词的字符的特征向量应用程序。
在一个实施方式中,所述生成器,可以采用但不限于:BERT模型和BiLSTM模型。
为了得到预训练生成器,所述步骤102可以执行以下步骤(1)至步骤(2):
(1)利用预设字符对多个古诗词文本中各古诗词文本中每一诗句中的任一字符进行替换,得到替换后的多个古诗词文本;
(2)将替换后的多个古诗词文本输入到生成器中,使用生成器对替换后的各古诗词文本中被所述预定字符替换掉的字符进行预测,从而对所述生成器进行预训练,得到预训练生成器。
在上述步骤(1)中,所述预设字符,缓存在服务器中,可以是英文字符、罗马字符、或者拉丁字符等非中文字符。
在一个实施方式中,所述预设字符,可以使用M。若古诗词文本是:“锄禾日当午,汗滴禾下土。谁知盘中餐,粒粒皆辛苦”,那么利用预设字符对多个古诗词文本中各古诗词文本中每一诗句中的任一字符进行替换,得到替换后的古诗词文本。所述替换后的古诗词文本,可以是:“锄禾M当午,M滴禾下土。谁知盘中M,粒M皆辛苦。”
在上述步骤(2)中,将替换后的古诗词文本输入到生成器中,使用生成器基于替换后的古诗词文本中所述预定字符的上下文,对古诗词文本中被所述预定字符替换掉的字符进行预测,从而对所述生成器进行预训练,得到预训练生成器。
其中,生成器基于替换后的古诗词文本中所述预定字符的上下文,对古诗词文本中被所述预定字符替换掉的字符进行预测的过程是现有技术,这里不再赘述。
所述预训练生成器的功能与生成器的功能类似,也是用于对白话文中字符的特征向量进行处理,得到古诗词的字符的特征向量。
通过以上步骤(1)至步骤(2)的内容可以看出,利用未经人工标注的古诗词文本对生成器进行预训练,可以节省人力;而且,将替换后的古诗词文本输入到生成器中,使用生成器基于替换后的古诗词文本中所述预定字符的上下文,对古诗词文本中被所述预定字符替换掉的字符进行预测的方式,对生成器进行预训练,得到预训练生成器,从而增强预训练生成器基于古诗词的诗句上下文进行古诗文的建模预测能力,提高预训练生成器的古诗词的预测准确率。
在通过以上步骤(1)至步骤(2)的内容得到预训练生成器后,可以继续执行以下步骤(1)至步骤(5),对所述预训练生成器和所述判别器进行训练:
(1)获取已标注的白话文文本,利用文本编码器对所述已标注的白话文文本的各字符进行处理,得到所述已标注的白话文文本中各字符的文本特征向量;
(2)利用所述预训练生成器对所述已标注的白话文文本中各字符的文本特征向量进行处理,得到已标注的白话文文本对应的古诗词各字符的特征向量;
(3)通过标准正态分布噪声对所述已标注的白话文文本中各字符的文本特征向量进行加噪处理,得到已标注的白话文文本中各字符的加噪特征向量;
(4)利用所述预训练生成器对所述已标注的白话文文本中各字符的加噪特征向量进行处理,得到所述已标注的白话文文本对应的加噪古诗的各字符的第二加噪特征向量;
(5)利用已标注的白话文文本对应的古诗词中最后生成的字符的特征向量和已标注的白话文文本对应的加噪古诗中最后生成的字符的第二加噪特征向量,对预训练生成器和判别器进行训练。
在上述步骤(1)中,所述已标注的白话文文本,用于表示将古诗词人工标注后得到的白话文文本。
所述已标注的白话文文本,存储在服务器中的已标注数据库中。
所述文本编码器,运行在服务器中,是用于对文本中的字符进行处理,得到字符的特征向量的应用程序。
在一个实施方式中,所述文本编码器,可以采用深度学习网络中的Transformer模型。
所述文本编码器对所述已标注的白话文文本的各字符进行处理,得到所述已标注的白话文文本中各字符的文本特征向量的过程是现有技术,这里不再赘述。
在上述步骤(2)中,所述预训练生成器对所述已标注的白话文文本中各字符的文本特征向量进行处理,得到已标注的白话文文本对应的古诗词各字符的特征向量的过程是现有技术,这里不再赘述。
在上述步骤(3)中,所述标准正态分布噪声,是从标准正态分布中随机采样的噪声向量。
所述噪声向量的维度与所述文本编码器对所述已标注的白话文文本的各字符处理后得到的所述已标注的白话文文本中各字符的文本特征向量的维度相同。
通过标准正态分布噪声对所述已标注的白话文文本中各字符的文本特征向量进行加噪处理,就是对已标注的白话文文本中任一字符的文本特征向量进行变换,从而得到已标注的白话文文本中各字符的加噪特征向量。
在一个实施方式中,已标注的白话文文本“农民在正午暴晒的烈日下耕地”中的字符“民”的文本特征向量是[1,2,3],随机从标准正态分布中采样一个噪声[0.1,0.2,-0.1],把文本特征向量和噪声中对应维度的向量值相加,就得到了字符“民”加噪之后的加噪特征向量[1.1,2.2,2.9]。
已标注的白话文文本中各字符的加噪特征向量,就是用于模拟用户输入到服务器中的未经标注的白话文文本中字符的特征向量。
在上述步骤(4)中,所述加噪古诗中个字符的第二特征向量,是指所述预训练生成器对所述已标注的白话文文本中各字符的加噪特征向量进行处理后得到的,具体处理过程是现有技术,这里不再赘述。
在上述步骤(5)中,对预训练生成器和判别器进行训练的具体过程,可以包括以下步骤(51)至步骤(57):
(51)将所述已标注的白话文文本对应的古诗词中最后生成的字符的特征向量输入到判别器中,使得所述判别器利用判别向量与所述已标注的白话文文本对应的古诗词中最后生成的字符的特征向量进行点积计算,得到第三点积计算结果;
(52)利用交叉熵损失函数对所述第三点积计算结果进行最大化处理,得到第一损失值;
(53)利用所述第一损失值对所述判别器进行反向传播,对所述判别向量进行更新;
(54)将所述已标注的白话文文本对应的加噪古诗中最后生成的字符的第二加噪特征向量输入到所述判别器中,使得所述判别器利用判别向量与所述已标注的白话文文本对应的加噪古诗中最后生成的字符的第二加噪特征向量进行点积计算,得到第四点积计算结果;
(55)利用交叉熵损失函数对所述第四点积计算结果进行最大化处理,得到第二损失值;
(56)当所述第一损失值与所述第二损失值的差值小于等于差值阈值时,确定对所述预训练生成器和所述判别器的训练已经完成;
(57)当所述第一损失值与所述第二损失值的差值大于差值阈值时,返回上述步骤(51),以继续对所述预训练生成器和所述判别器进行训练。
在上述步骤(51)中,所述判别器,运行在上述服务器中,用于对字符的特征向量与判别向量进行点积计算,对点积计算结果进行归一化处理,并根据归一化处理后的对字符组成的句子是否为古诗词进行判断。
所述判别向量,缓存在所述判别器中。
在上述步骤(52)中,所述交叉熵损失函数,缓存在服务器中。
利用交叉熵损失函数对所述第三点积计算结果进行最大化处理的过程,是现有技术,这里不再赘述。
利用交叉熵损失函数对所述第三点积计算结果进行最大化处理,目的在于训练判别器能够将预训练生成器对已标注的白话文文本处理后得到的古诗词判断为正确的古诗词,以提高判别器对正确的古诗词的判断能力。
在上述步骤(53)中,利用所述第一损失值对所述判别器进行反向传播,对所述判别向量进行更新的过程是现有技术,这里不再赘述。
在上述步骤(54)中,得到第四点积计算结果的过程,与上述步骤(51)中得到第三点积计算结果的过程类似,这里不再赘述。
在上述步骤(55)中,利用交叉熵损失函数对所述第四点积计算结果进行最大化处理,目的在于训练判别器能够对预训练生成器对已标注的白话文文本处理后得到的加噪古诗词是否符合古诗的行文规则且语言是否连贯通顺。
在上述步骤(56)中,所述差值阈值,缓存在服务器中。
当所述第一损失值与所述第二损失值的差值小于等于差值阈值时,说明加噪古诗与正确的古诗词的差别很小,加噪古诗词是符合古诗的行文规则且语言连贯通顺的,此时表明预训练生成器对所述已标注的白话文文本中各字符的加噪特征向量处理后得到的加噪古诗已经可以作为正确的古诗词使用了,提高了预训练生成器利用未标注的白话文文本生成古诗词的生成能力。
在上述步骤(57)中,当所述第一损失值与所述第二损失值的差值大于差值阈值时,说明加噪古诗与正确的古诗词的差别还比较大,加噪古诗词既不符合古诗的行文规则语言又不连贯通顺的,此时表明预训练生成器对所述已标注的白话文文本中各字符的加噪特征向量处理后得到的加噪古诗还不能作为正确的古诗词使用,从而将该加噪古诗判断为假的古诗词,从而提高了判别器对假的古诗词的判断能力。
通过以上步骤(1)至步骤(5)描述的内容可以看出,预训练生成器和判别器形成一种对抗学习关系,即:预训练生成器通过对所述已标注的白话文文本中各字符的加噪特征向量进行处理后得到的加噪古诗的各字符的第二加噪特征向量输入判别器后,若判别器得到的判别结果是该加噪古诗符合古诗的行文规则且语言连贯通顺,像真的古诗一样时,可以提高预训练生成器利用未标注的白话文文本生成古诗词的生成能力;若判别器得到的判别结果是该加噪古诗既不符合古诗的行文规则语言又不连贯通顺,而将加噪古诗判断为假的古诗词时,可以提高判别器对假的古诗词的判断能力;而且,判别器能够将预训练生成器对已标注的白话文文本处理后得到的古诗词判断为正确的古诗词,从而提高判别器对正确的古诗词的判断能力。
从而通过上述步骤(1)至步骤(5)描述的对抗学习的方式,对预训练生成器和判别器进行训练。
当确定对所述预训练生成器和所述判别器的训练已经完成后,可以继续执行以下步骤104,使用训练完成的所述预训练生成器和所述判别器生成所述白话文文本对应的古诗词。
步骤104、利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词。
在一个实施方式中,所述步骤104可以执行以下步骤(1)至步骤(4):
(1)利用文本编码器对所述白话文文本的各字符进行处理,得到所述白话文文本中各字符的文本特征向量;
(2)利用所述预训练生成器对所述各字符的文本特征向量进行处理,得到所述白话文文本对应古诗词各字符的诗词特征向量;
(3)将所述预训练生成器生成的所述古诗词中最后生成的字符的诗词特征向量输入到判别器中,使得所述判别器利用判别向量与所述古诗词中最后生成的字符的诗词特征向量进行点积计算,得到第一点积计算结果;
(4)当所述第一点积计算结果大于点积阈值时,对所述预训练生成器生成的所述古诗词各字符的诗词特征向量进行处理,生成所述白话文文本对应的古诗词。
上述步骤(1)至步骤(3)描述的流程的具体实现过程与上述训练预训练生成器和判别器时,预训练生成器和判别器时执行的具体流程类似,这里不再赘述。
在上述步骤(4)中,所述点积阈值,缓存在所述服务器中,用于表示预训练生成器生成的古诗词与正确的古诗词的相似程度。
当所述第一点积计算结果大于点积阈值时,说明所述预训练生成器生成的所述古诗词可以当做正确的古诗词进行使用。
为了对所述预训练生成器生成的所述古诗词各字符的诗词特征向量进行处理,可以逐一使用所述古诗词各字符的诗词特征向量对服务器中缓存的词典进行查询,从而得到所述古诗词的各字符,生成所述白话文文本对应的古诗词。
所述使用所述古诗词各字符的诗词特征向量对服务器中缓存的词典进行查询的过程是现有技术,这里不再赘述。
即:如果将未标注的白话文文本“农民在中午太阳下锄地”输入到预训练生成器中,经过以上步骤(1)至步骤(4)处理,可以得到古诗词“锄禾日当午”。保证了生成古诗词的准确率,但是生成的古诗词是唯一的,不能保证生成古诗词的多样性。
其中,古诗词的多样性,也叫作多样性的古诗词,用于表示意思相近且符合古诗词规则的古诗诗句。
比如,对古诗词“锄禾日当午”来说,“锄苗日当午”和“锄禾待月归”就是该古诗词“锄禾日当午”的多样性的古诗词。
为了生成多样性的古诗词,在另一个实施方式中,所述步骤104可以执行以下步骤(1)至步骤(4):
(1)当获取到古诗词多样化指令时,通过标准正态分布噪声对所述白话文文本中各字符的文本特征向量进行加噪处理,得到所述白话文文本中各字符的加噪特征向量;
(2)利用所述预训练生成器对所述白话文文本中各字符的加噪特征向量进行处理,得到加噪古诗词的各字符的第一加噪特征向量;
(3)将所述预训练生成器生成的所述加噪古诗词中最后生成的字符的第一加噪特征向量输入到判别器中,使得所述判别器利用所述判别向量与所述加噪古诗词中最后生成的字符的第一加噪特征向量进行点积计算,得到第二点积计算结果;
(4)当所述第二点积计算结果大于点积阈值时,对所述预训练生成器生成的加噪古诗词的各字符的加噪特征向量进行处理,生成加噪古诗词。
在上述步骤(1)中,所述古诗词多样化指令,是用户输入到服务器中的,使得服务器生成多样性的古诗词。
获取到古诗词多样化指令后上述步骤(1)至步骤(3)执行的流程,与上述训练预训练生成器和判别器时,预训练生成器和判别器时执行的具体流程类似,这里不再赘述。
在上述步骤(4)中,当所述第二点积计算结果大于点积阈值时,说明所述预训练生成器生成的加噪古诗词可以当做正确的古诗词进行使用。
而且,对所述预训练生成器生成的加噪古诗词的各字符的加噪特征向量进行处理,生成加噪古诗词的过程,与上述对所述预训练生成器生成的所述古诗词各字符的诗词特征向量进行处理的过程类似,这里不再赘述。
即:如果将未标注的白话文文本“农民在中午太阳下锄地”输入到预训练生成器中,经过以上步骤(1)至步骤(4)的处理的过程中,若加噪后得到的“农民在早上太阳升起时锄地”的白话文文本的第一加噪特征向量后,可以得到加噪古诗词“锄禾日当早”;若加噪后得到的“农民在中午太阳升起下观看菊花”的白话文文本的第一加噪特征向量后,可以得到加噪古诗词“赏菊日当午”;使得生成的古诗词具有多样性。
综上所述,本实施例提出的一种古诗词生成方法,通过将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器,然后利用预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词,与相关技术中把白话文视为源语言,把古诗词视为目标语言,然后使用一个编码-解码模型将白话文“翻译”成古诗词的方式相比,无需标注大量的能够翻译成古诗词的白话文,可以直接将未标注的古诗词文本输入到生成器中对所述生成器进行预训练,使得预训练生成器具有古诗词的内在结构和语义关系,对古诗词的模式有较强的判断力,从而利用预训练生成器对所述白话文文本的文本特征向量进行处理,就可以生成与白话文文本对应的古诗词,提高了古诗词的生成质量。
实施例2
本实施例提出一种古诗词生成装置,用于执行上述实施例1提出的古诗词生成方法。
参见图2所示的一种古诗词生成装置的结构示意图,本实施例提出的古诗词生成装置,包括:
获取模块200,用于获取多个古诗词文本和待生成古诗词的白话文文本;
预训练模块202,用于将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器;
处理模块204,用于利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词。
所述预训练模块202,具体用于:
利用预设字符对多个古诗词文本中各古诗词文本中每一诗句中的任一字符进行替换,得到替换后的多个古诗词文本;
将替换后的多个古诗词文本输入到生成器中,使用生成器对替换后的各古诗词文本中被所述预定字符替换掉的字符进行预测,从而对所述生成器进行预训练,得到预训练生成器。
综上所述,本实施例提出的一种古诗词生成装置,通过将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器,然后利用预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词,与相关技术中把白话文视为源语言,把古诗词视为目标语言,然后使用一个编码-解码模型将白话文“翻译”成古诗词的方式相比,无需标注大量的能够翻译成古诗词的白话文,可以直接将未标注的古诗词文本输入到生成器中对所述生成器进行预训练,使得预训练生成器具有古诗词的内在结构和语义关系,对古诗词的模式有较强的判断力,从而利用预训练生成器对所述白话文文本的文本特征向量进行处理,就可以生成与白话文文本对应的古诗词,提高了古诗词的生成质量。
实施例3
本实施例提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述实施例1描述的古诗词生成方法的步骤。具体实现可参见方法实施例1,在此不再赘述。
此外,参见图3所示的另一种古诗词生成装置的结构示意图,本实施例还提出一种古诗词生成装置,上述古诗词生成装置包括总线51、处理器52、收发机53、总线接口54、存储器55和用户接口56。上述古诗词生成装置包括有存储器55。
本实施例中,上述古诗词生成装置还包括:存储在存储器55上并可在处理器52上运行的一个或者一个以上的程序,经配置以由上述处理器执行上述一个或者一个以上程序用于进行以下步骤(1)至步骤(3):
(1)获取多个古诗词文本和待生成古诗词的白话文文本;
(2)将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器;
(3)利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词。
收发机53,用于在处理器52的控制下接收和发送数据。
在图3中,总线架构(用总线51来代表),总线51可以包括任意数量的互联的总线和桥,总线51将包括由通用处理器52代表的一个或多个处理器和存储器55代表的存储器的各种电路链接在一起。总线51还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本实施例不再对其进行进一步描述。总线接口54在总线51和收发机53之间提供接口。收发机53可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。例如:收发机53从其他设备接收外部数据。收发机53用于将处理器52处理后的数据发送给其他设备。取决于计算***的性质,还可以提供用户接口56,例如小键盘、显示器、扬声器、麦克风、操纵杆。
处理器52负责管理总线51和通常的处理,如前述上述运行通用操作***。而存储器55可以被用于存储处理器52在执行操作时所使用的数据。
可选的,处理器52可以是但不限于:中央处理器、单片机、微处理器或者可编程逻辑器件。
可以理解,本发明实施例中的存储器55可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本实施例描述的***和方法的存储器55旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器55存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作***551和应用程序552。
其中,操作***551,包含各种***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序552,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序552中。
综上所述,本实施例提出的一种计算机可读存储介质和古诗词生成装置,通过将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器,然后利用预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词,与相关技术中把白话文视为源语言,把古诗词视为目标语言,然后使用一个编码-解码模型将白话文“翻译”成古诗词的方式相比,无需标注大量的能够翻译成古诗词的白话文,可以直接将未标注的古诗词文本输入到生成器中对所述生成器进行预训练,使得预训练生成器具有古诗词的内在结构和语义关系,对古诗词的模式有较强的判断力,从而利用预训练生成器对所述白话文文本的文本特征向量进行处理,就可以生成与白话文文本对应的古诗词,提高了古诗词的生成质量。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种古诗词生成方法,其特征在于,包括:
获取多个古诗词文本和待生成古诗词的白话文文本;
将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器;
利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词。
2.根据权利要求1所述的方法,其特征在于,将所述无标注的多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器,包括:
利用预设字符对多个古诗词文本中各古诗词文本中每一诗句中的任一字符进行替换,得到替换后的多个古诗词文本;
将替换后的多个古诗词文本输入到生成器中,使用生成器对替换后的各古诗词文本中被所述预定字符替换掉的字符进行预测,从而对所述生成器进行预训练,得到预训练生成器。
3.根据权利要求1所述的方法,其特征在于,利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词,包括:
利用文本编码器对所述白话文文本的各字符进行处理,得到所述白话文文本中各字符的文本特征向量;
利用所述预训练生成器对所述各字符的文本特征向量进行处理,得到所述白话文文本对应古诗词各字符的诗词特征向量;
将所述预训练生成器生成的所述古诗词中最后生成的字符的诗词特征向量输入到判别器中,使得所述判别器利用判别向量与所述古诗词中最后生成的字符的诗词特征向量进行点积计算,得到第一点积计算结果;
当所述第一点积计算结果大于点积阈值时,对所述预训练生成器生成的所述古诗词各字符的诗词特征向量进行处理,生成所述白话文文本对应的古诗词。
4.根据权利要求3所述的方法,其特征在于,利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词,还包括:
当获取到古诗词多样化指令时,通过标准正态分布噪声对所述白话文文本中各字符的文本特征向量进行加噪处理,得到所述白话文文本中各字符的加噪特征向量;
利用所述预训练生成器对所述白话文文本中各字符的加噪特征向量进行处理,得到加噪古诗词的各字符的第一加噪特征向量;
将所述预训练生成器生成的所述加噪古诗词中最后生成的字符的第一加噪特征向量输入到判别器中,使得所述判别器利用所述判别向量与所述加噪古诗词中最后生成的字符的第一加噪特征向量进行点积计算,得到第二点积计算结果;
当所述第二点积计算结果大于点积阈值时,对所述预训练生成器生成的加噪古诗词的各字符的加噪特征向量进行处理,生成加噪古诗词。
5.根据权利要求1所述的方法,其特征在于,在所述利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词步骤之前,所述方法还包括:
获取已标注的白话文文本,利用文本编码器对所述已标注的白话文文本的各字符进行处理,得到所述已标注的白话文文本中各字符的文本特征向量;
利用所述预训练生成器对所述已标注的白话文文本中各字符的文本特征向量进行处理,得到已标注的白话文文本对应的古诗词各字符的特征向量;
通过标准正态分布噪声对所述已标注的白话文文本中各字符的文本特征向量进行加噪处理,得到已标注的白话文文本中各字符的加噪特征向量;
利用所述预训练生成器对所述已标注的白话文文本中各字符的加噪特征向量进行处理,得到所述已标注的白话文文本对应的加噪古诗的各字符的第二加噪特征向量;
利用已标注的白话文文本对应的古诗词中最后生成的字符的特征向量和已标注的白话文文本对应的加噪古诗中最后生成的字符的第二加噪特征向量,对预训练生成器和判别器进行训练。
6.根据权利要求5所述的方法,其特征在于,利用已标注的白话文文本对应的古诗词各字符的特征向量和已标注的白话文文本对应的加噪古诗的各字符的第二加噪特征向量,对预训练生成器和判别器进行训练,包括:
将所述已标注的白话文文本对应的古诗词中最后生成的字符的特征向量输入到判别器中,使得所述判别器利用判别向量与所述已标注的白话文文本对应的古诗词中最后生成的字符的特征向量进行点积计算,得到第三点积计算结果;
利用交叉熵损失函数对所述第三点积计算结果进行最大化处理,得到第一损失值;
利用所述第一损失值对所述判别器进行反向传播,对所述判别向量进行更新;
将所述已标注的白话文文本对应的加噪古诗中最后生成的字符的第二加噪特征向量输入到所述判别器中,使得所述判别器利用判别向量与所述已标注的白话文文本对应的加噪古诗中最后生成的字符的第二加噪特征向量进行点积计算,得到第四点积计算结果;
利用交叉熵损失函数对所述第四点积计算结果进行最大化处理,得到第二损失值;
当所述第一损失值与所述第二损失值的差值小于等于差值阈值时,确定对所述预训练生成器和所述判别器的训练已经完成;
当所述第一损失值与所述第二损失值的差值大于差值阈值时,返回获取已标注的白话文文本,利用文本编码器对所述已标注的白话文文本的各字符进行处理,得到所述已标注的白话文文本中各字符的文本特征向量步骤,以继续对所述预训练生成器和所述判别器进行训练。
7.一种古诗词生成装置,其特征在于,包括:
获取模块,用于获取多个古诗词文本和待生成古诗词的白话文文本;
预训练模块,用于将所述多个古诗词文本输入到生成器中,对所述生成器进行预训练,得到预训练生成器;
处理模块,用于利用所述预训练生成器对所述白话文文本的文本特征向量进行处理,生成所述白话文文本对应的古诗词。
8.根据权利要求7所述的装置,其特征在于,所述预训练模块,具体用于:
利用预设字符对多个古诗词文本中各古诗词文本中每一诗句中的任一字符进行替换,得到替换后的多个古诗词文本;
将替换后的多个古诗词文本输入到生成器中,使用生成器对替换后的各古诗词文本中被所述预定字符替换掉的字符进行预测,从而对所述生成器进行预训练,得到预训练生成器。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1-6任一项所述的方法的步骤。
10.一种古诗词生成装置,其特征在于,所述古诗词生成装置包括有存储器,处理器以及一个或者一个以上的程序,其中所述一个或者一个以上程序存储于所述存储器中,且经配置以由所述处理器执行权利要求1-6任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010143914.9A CN111368056B (zh) | 2020-03-04 | 2020-03-04 | 一种古诗词生成方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010143914.9A CN111368056B (zh) | 2020-03-04 | 2020-03-04 | 一种古诗词生成方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111368056A true CN111368056A (zh) | 2020-07-03 |
CN111368056B CN111368056B (zh) | 2023-09-29 |
Family
ID=71209694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010143914.9A Active CN111368056B (zh) | 2020-03-04 | 2020-03-04 | 一种古诗词生成方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111368056B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010717A (zh) * | 2021-04-26 | 2021-06-22 | 中国人民解放军国防科技大学 | 图像诗句描述生成方法、装置和设备 |
CN115310426A (zh) * | 2022-07-26 | 2022-11-08 | 乐山师范学院 | 诗歌生成方法、装置、电子设备及可读存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108334497A (zh) * | 2018-02-06 | 2018-07-27 | 北京航空航天大学 | 自动生成文本的方法和装置 |
CN108694443A (zh) * | 2017-04-05 | 2018-10-23 | 富士通株式会社 | 基于神经网络的语言模型训练方法和装置 |
CN109522411A (zh) * | 2018-11-12 | 2019-03-26 | 南京德磐信息科技有限公司 | 一种基于神经网络的写作辅助方法 |
CN110136693A (zh) * | 2018-02-09 | 2019-08-16 | 百度(美国)有限责任公司 | 用于使用少量样本进行神经话音克隆的***和方法 |
CN110163267A (zh) * | 2019-05-09 | 2019-08-23 | 厦门美图之家科技有限公司 | 一种图像生成模型的训练方法和生成图像的方法 |
CN110188172A (zh) * | 2019-05-31 | 2019-08-30 | 清华大学 | 基于文本的事件检测方法、装置、计算机设备及存储介质 |
CN110334361A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 一种面向小语种语言的神经机器翻译方法 |
CN110427629A (zh) * | 2019-08-13 | 2019-11-08 | 苏州思必驰信息科技有限公司 | 半监督文本简化模型训练方法和*** |
CN110619390A (zh) * | 2018-06-20 | 2019-12-27 | 上海寒武纪信息科技有限公司 | 用于执行生成对抗网络的处理装置及应用其进行机器创作的方法 |
CN110852086A (zh) * | 2019-09-18 | 2020-02-28 | 平安科技(深圳)有限公司 | 基于人工智能的古诗词生成方法、装置、设备及存储介质 |
-
2020
- 2020-03-04 CN CN202010143914.9A patent/CN111368056B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108694443A (zh) * | 2017-04-05 | 2018-10-23 | 富士通株式会社 | 基于神经网络的语言模型训练方法和装置 |
CN108334497A (zh) * | 2018-02-06 | 2018-07-27 | 北京航空航天大学 | 自动生成文本的方法和装置 |
CN110136693A (zh) * | 2018-02-09 | 2019-08-16 | 百度(美国)有限责任公司 | 用于使用少量样本进行神经话音克隆的***和方法 |
CN110619390A (zh) * | 2018-06-20 | 2019-12-27 | 上海寒武纪信息科技有限公司 | 用于执行生成对抗网络的处理装置及应用其进行机器创作的方法 |
CN109522411A (zh) * | 2018-11-12 | 2019-03-26 | 南京德磐信息科技有限公司 | 一种基于神经网络的写作辅助方法 |
CN110163267A (zh) * | 2019-05-09 | 2019-08-23 | 厦门美图之家科技有限公司 | 一种图像生成模型的训练方法和生成图像的方法 |
CN110188172A (zh) * | 2019-05-31 | 2019-08-30 | 清华大学 | 基于文本的事件检测方法、装置、计算机设备及存储介质 |
CN110334361A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 一种面向小语种语言的神经机器翻译方法 |
CN110427629A (zh) * | 2019-08-13 | 2019-11-08 | 苏州思必驰信息科技有限公司 | 半监督文本简化模型训练方法和*** |
CN110852086A (zh) * | 2019-09-18 | 2020-02-28 | 平安科技(深圳)有限公司 | 基于人工智能的古诗词生成方法、装置、设备及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010717A (zh) * | 2021-04-26 | 2021-06-22 | 中国人民解放军国防科技大学 | 图像诗句描述生成方法、装置和设备 |
CN115310426A (zh) * | 2022-07-26 | 2022-11-08 | 乐山师范学院 | 诗歌生成方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111368056B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9519858B2 (en) | Feature-augmented neural networks and applications of same | |
CN110704588A (zh) | 基于长短期记忆网络的多轮对话语义分析方法和*** | |
US20210049298A1 (en) | Privacy preserving machine learning model training | |
US11776269B2 (en) | Action classification in video clips using attention-based neural networks | |
CN116820429B (zh) | 代码处理模型的训练方法、装置、电子设备及存储介质 | |
JP6693582B2 (ja) | 文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体 | |
CN110598210B (zh) | 实体识别模型训练、实体识别方法、装置、设备及介质 | |
CN110826345B (zh) | 一种机器翻译方法和装置 | |
CN111368056A (zh) | 一种古诗词生成方法和装置 | |
CN115906815A (zh) | 一种用于修改一种或多种类型错误句子的纠错方法及装置 | |
US11481609B2 (en) | Computationally efficient expressive output layers for neural networks | |
CN113609873A (zh) | 翻译模型训练方法、装置及介质 | |
CN113434652B (zh) | 智能问答方法、智能问答装置、设备及存储介质 | |
CN115620726A (zh) | 语音文本生成方法、语音文本生成模型的训练方法、装置 | |
CN115098722A (zh) | 文本和图像的匹配方法、装置、电子设备和存储介质 | |
CN115116069A (zh) | 文本处理方法、装置、电子设备及存储介质 | |
CN111476035B (zh) | 中文开放关系预测方法、装置、计算机设备和存储介质 | |
CN110704623A (zh) | 基于Rasa_Nlu框架提高实体识别率的方法、装置、***和存储介质 | |
CN118012992B (zh) | 一种金融文本关系抽取方法、***及存储介质 | |
US20240184997A1 (en) | Multi-model joint denoising training | |
CN113934825B (zh) | 一种问题回答方法、装置和电子设备 | |
CN111881690B (zh) | 一种词向量动态调整的处理方法、***、装置及介质 | |
CN116070638B (zh) | 一种中文语句特征构造的训练更新方法及*** | |
CN113609280B (zh) | 基于元学习的多领域对话生成方法、装置、设备及介质 | |
JP2022178527A (ja) | 自然言語処理装置、分類装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |