CN112651235A - 一种诗歌生成的方法及相关装置 - Google Patents

一种诗歌生成的方法及相关装置 Download PDF

Info

Publication number
CN112651235A
CN112651235A CN202011554856.5A CN202011554856A CN112651235A CN 112651235 A CN112651235 A CN 112651235A CN 202011554856 A CN202011554856 A CN 202011554856A CN 112651235 A CN112651235 A CN 112651235A
Authority
CN
China
Prior art keywords
poetry
text
fine
attribute information
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011554856.5A
Other languages
English (en)
Inventor
龚良泉
叶祺
陈云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN202011554856.5A priority Critical patent/CN112651235A/zh
Publication of CN112651235A publication Critical patent/CN112651235A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/253Grammatical analysis; Style critique
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种诗歌生成的方法及相关装置,该方法包括:基于待训练诗歌文本的细粒度属性信息和待训练诗歌文本,预先训练预设语言模型得到诗歌生成模型;确定待生成诗歌文本的细粒度属性信息;基于待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本。由此可见,通过诗歌本身细粒度属性信息的确定,采用较为简单的模型,即可在生成诗歌时进行细粒度的属性控制,使得属性控制更为细致,从而提升生成诗歌时属性可控性。

Description

一种诗歌生成的方法及相关装置
技术领域
本申请涉及数据处理技术领域,尤其涉及一种诗歌生成的方法及相关装置。
背景技术
随着机器学习技术的快速发展,尤其是语言模型的更新,文本生成效果和能力大幅度提升。文本生成的核心是生成属性可控、逻辑一致、语义流畅的文本;诗歌文本因其格式固定、逻辑性强、趣味性好等原因,逐渐成为检验文本生成模型的属性控制、逻辑控制和语义控制的试验场和金指标。
目前,采用规划-实现的方法生成诗,具体地,先利用规划模型得到待生成诗的主题等,再利用预先训练好的语言模型生成按照规划生成诗。或者,采用生成式预训练语言(英文:Generative Pre-Training,缩写:GPT)模型生成词,具体地,将待生成词的词牌名、标题输入预先训练好的GPT模型生成词。
发明人经过研究发现,规划-实现的方法生成诗的效果一般且模型较为复杂,人工成本较高;GPT模型生成词并不能进行相关的属性控制。上述两种方法虽然可以生成诗歌,但是并不能在生成诗歌时进行细粒度的属性控制,导致生成诗歌时属性可控性较低、不够细致。
发明内容
有鉴于此,本申请提供一种诗歌生成的方法及相关装置,在生成诗歌时进行细粒度的属性控制,使得属性控制更为细致,从而提升生成诗歌时属性可控性。
第一方面,本申请实施例提供了一种诗歌生成的方法,所述方法包括:
确定待生成诗歌文本的细粒度属性信息;
基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本;
其中,所述诗歌生成模型基于待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本预先训练预设语言模型得到的。
可选的,所述诗歌生成模型的训练步骤包括:
获取所述待训练诗歌文本;
分析所述待训练诗歌文本的细粒度属性信息;
基于所述待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本,训练所述预设语言模型获得所述诗歌生成模型。
可选的,所述基于所述待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本,训练所述预设语言模型获得所述诗歌生成模型,包括:
将所述待训练诗歌文本的细粒度属性信息输入所述预设语言模型,获得第一生成诗歌文本;
基于所述第一生成诗歌文本、所述待训练诗歌文本和预设诗歌文本损失函数,调整所述预设语言模型的参数;
将训练完成的预设语言模型作为所述诗歌生成模型。
可选的,所述预设语言模型具体为生成式预训练语言GPT模型。
可选的,所述细粒度属性信息包括类型信息、主题信息、主题词信息、韵脚信息、风格信息和情感信息中至少两种。
可选的,还包括:
获得所述待生成诗歌文本的细粒度属性信息的扩展信息;
对应地,所述基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本,包括:
从所述待生成诗歌文本的细粒度属性信息和所述扩展信息中,选取所述待生成诗歌文本的输入控制信息;
将所述输入控制信息输入所述诗歌生成模型,获得所述目标诗歌文本。
可选的,所述获得所述待生成诗歌文本的细粒度属性信息的扩展信息,包括:
根据所述待生成诗歌文本的细粒度属性信息,在诗歌属性知识库中进行匹配;其中,所述诗歌属性知识库根据预先挖掘历史诗歌文本的细粒度属性信息得到;
将不同于所述待生成诗歌文本的细粒度属性信息的匹配结果,作为所述扩展信息。
第二方面,本申请实施例提供了一种诗歌生成的装置,所述装置包括:
确定单元,用于确定待生成诗歌文本的细粒度属性信息;
第一获得单元,用于基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本;
其中,所述诗歌生成模型基于待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本预先训练预设语言模型得到的。
可选的,所述装置还包括:
获取单元,用于获取所述待训练诗歌文本;
分析单元,用于分析所述待训练诗歌文本的细粒度属性信息;
训练单元,用于基于所述待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本,训练所述预设语言模型获得所述诗歌生成模型。
可选的,所述训练单元包括:
第一获得子单元,用于将所述待训练诗歌文本的细粒度属性信息输入所述预设语言模型,获得第一生成诗歌文本;
调整子单元,用于基于所述第一生成诗歌文本、所述待训练诗歌文本和预设诗歌文本损失函数,调整所述预设语言模型的参数;
第一作为子单元,用于将训练完成的预设语言模型作为所述诗歌生成模型。
可选的,所述预设语言模型具体为生成式预训练语言GPT模型。
可选的,所述细粒度属性信息包括类型信息、主题信息、主题词信息、韵脚信息、风格信息和情感信息中至少两种。
可选的,所述装置还包括:
第二获得单元,用于获得所述待生成诗歌文本的细粒度属性信息的扩展信息;
对应地,所述第一获得单元包括:
选取子单元,用于从所述待生成诗歌文本的细粒度属性信息和所述扩展信息中,选取所述待生成诗歌文本的输入控制信息;
第二获得子单元,用于将所述输入控制信息输入所述诗歌生成模型,获得所述目标诗歌文本。
可选的,所述第二获得单元包括:
匹配子单元,用于根据所述待生成诗歌文本的细粒度属性信息,在诗歌属性知识库中进行匹配;其中,所述诗歌属性知识库根据预先挖掘历史诗歌文本的细粒度属性信息得到;
第二作为子单元,用于将不同于所述待生成诗歌文本的细粒度属性信息的匹配结果,作为所述扩展信息。
第三方面,本申请实施例提供了一种用于诗歌生成的装置,所述装置包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
确定单元,用于确定待生成诗歌文本的细粒度属性信息;
第一获得单元,用于基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本;
其中,所述诗歌生成模型基于待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本预先训练预设语言模型得到的。
第四方面,本申请实施例提供了一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如第一方面中任一项所述的诗歌生成的方法。
与现有技术相比,本申请至少具有以下优点:
采用本申请实施例的技术方案,基于待训练诗歌文本的细粒度属性信息和待训练诗歌文本,预先训练预设语言模型得到诗歌生成模型;确定待生成诗歌文本的细粒度属性信息;基于待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本。由此可见,通过诗歌本身细粒度属性信息的确定,采用较为简单的模型,即可在生成诗歌时进行细粒度的属性控制,使得属性控制更为细致,从而提升生成诗歌时属性可控性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种应用场景所涉及的***框架示意图;
图2为本申请实施例提供的一种诗歌生成模型训练的方法的流程示意图;
图3为本申请实施例提供的一种诗歌生成模型训练框架示意图;
图4为本申请实施例提供的一种诗歌生成的方法的流程示意图;
图5为本申请实施例提供的一种诗歌生成的装置的结构示意图;
图6为本申请实施例提供的一种用于诗歌生成的装置的结构示意图;
图7为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现阶段,采用规划-实现的方法生成诗,即,先利用规划模型得到待生成诗的主题等,再利用预先训练好的语言模型生成按照规划生成诗。或者,采用GPT模型生成词,即,将待生成词的词牌名、标题输入预先训练好的GPT模型生成词。发明人经过研究发现,规划-实现的方法生成诗的效果一般且模型较为复杂,人工成本较高;GPT模型生成词并不能进行相关的属性控制。上述两种方法虽然可以生成诗歌,但是并不能在生成诗歌时进行细粒度的属性控制,导致生成诗歌时属性可控性较低、不够细致。
为了解决这一问题,在本申请实施例中,基于待训练诗歌文本的细粒度属性信息和待训练诗歌文本,预先训练预设语言模型得到诗歌生成模型;确定待生成诗歌文本的细粒度属性信息;基于待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本。由此可见,通过诗歌本身细粒度属性信息的确定,采用较为简单的模型,即可在生成诗歌时进行细粒度的属性控制,使得属性控制更为细致,从而提升生成诗歌时属性可控性。
举例来说,本申请实施例的场景之一,可以是应用到如图1所示的场景中,该场景包括用户终端101和处理器102。用户通过用户终端101输入待生成诗歌文本的细粒度属性信息发送至处理器102,处理器102采用本申请实施例提供的诗歌生成的具体实施方式获得目标诗歌文本,并发送至用户终端101,以便用户终端101将目标诗歌文本展示给用户。
可以理解的是,在上述应用场景中,虽然将本申请实施方式的动作描述由处理器102执行,但是,本申请在执行主体方面不受限制,只要执行了本申请实施方式所公开的动作即可。
可以理解的是,上述场景仅是本申请实施例提供的一个场景示例,本申请实施例并不限于此场景。
下面结合附图,通过实施例来详细说明本申请实施例中诗歌生成的方法及相关装置的具体实现方式。
示例性方法
由于在本申请中实现诗歌生成的前提是训练得到诗歌生成模型,因此,下面结合附图2,通过一实施例来详细说明本申请实施例中诗歌生成模型训练的方法的具体实现方式。
参见图2,示出了本申请实施例中一种诗歌生成模型训练的方法的流程示意图。在本实施例中,所述方法例如可以包括以下步骤:
步骤201:获取所述待训练诗歌文本。
在本申请实施例中,训练得到诗歌生成模型的前提是获得模型的训练数据,而获得模型的训练数据首先需要收集大量的已有诗歌文本作为待训练诗歌文本。
步骤202:分析所述待训练诗歌文本的细粒度属性信息。
在本申请实施例中,在步骤201获取所述待训练诗歌文本之后,由于现有技术中规划-实现的方法生成诗、GPT模型生成词,并不能在生成诗歌时进行细粒度的属性控制,导致生成诗歌时属性可控性较低、不够细致。因此,模型的训练数据除了待训练诗歌文本之外,还需要对待训练诗歌文本进行分析,获得待训练诗歌文本的细粒度属性信息,将待训练诗歌文本的细粒度属性信息也作为模型的训练数据,以便后续在训练得到诗歌生成模型过程中,生成诗歌时进行细粒度的属性控制,使得属性控制更为细致,从而提升生成诗歌时属性可控性。
在本申请实施例中,诗歌本身的细粒度属性一般是指诗歌的类型、主题、主题词、韵脚、风格和情感等等。因此,在本申请实施例一种可选的实施方式中,为了更好地在生成诗歌时进行细粒度的属性控制,所述细粒度属性信息包括类型信息、主题信息、主题词信息、韵脚信息、风格信息和情感信息中至少两种。
其中,待训练诗歌文本的类型信息例如可以是通过类型分析得到的;待训练诗歌文本的主题信息例如可以是通过主题分析得到的;以此类推,待训练诗歌文本的主题词信息、韵脚信息、风格信息和情感信息的分析方式不再赘述。
作为一种示例,待训练诗歌文本为“床前明月光,疑是地上霜;举头望明月,低头思故乡。”分析待训练诗歌文本的细粒度属性信息为“类型=五言绝句;主题=思乡;主题词=月光;主题词=故乡;主题词=明月;句1=月光;句2=霜;句3=明月;句4=故乡;韵脚=昂;风格=平淡;情感=略忧伤”。
步骤203:基于所述待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本,训练所述预设语言模型获得所述诗歌生成模型。
在本申请实施例中,在步骤201-步骤203得到模型的训练数据为待训练诗歌文本、待训练诗歌文本的细粒度属性信息之后,在此基础上,需要通过该训练数据训练预先设定的语言模型即,预设语言模型,充分挖掘待训练诗歌文本的细粒度属性信息与待训练诗歌文本之间的关联信息,在经过大量的训练数据进行多次迭代训练后,即可得到诗歌生成模型,该诗歌生成模型用于根据诗歌文本的细粒度属性信息生成诗歌文本。
在步骤203具体实施时,首先,需要将待训练诗歌文本的细粒度属性信息输入预设语言模型,该预设语言模型可以生成一个诗歌文本并输出,作为第一生成诗歌文本;然后,需要利用预设设定的诗歌文本损失函数,即,预设诗歌文本损失函数,计算第一生成诗歌文本与待训练诗歌文本的损失,以调整预设语言模型的参数;进行多次迭代训练,直至到达预设迭代训练次数或者预设语言模型收敛,完成预设语言模型的训练,将训练完成的预设语言模型作为诗歌生成模型。因此,在本申请实施例一种可选的实施方式中,所述步骤203例如可以包括以下步骤:
步骤A:将所述待训练诗歌文本的细粒度属性信息输入所述预设语言模型,获得第一生成诗歌文本;
步骤B:基于所述第一生成诗歌文本、所述待训练诗歌文本和预设诗歌文本损失函数,调整所述预设语言模型的参数;
步骤C:将训练完成的预设语言模型作为所述诗歌生成模型。
其中,预设语言模型例如可以是GPT模型或者循环神经网络(英文:RecurrentNeural Network,缩写:RNN)等其他语言模型。其中,GPT模型在文本生成上表现更优,其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段的语言模型的预期;将其设定为预设语言模型,相较于RNN等其他语言模型效果更佳。因此,在本申请实施例一种可选的实施方式中,所述预设语言模型具体为生成式预训练语言GPT模型,尤其是GPT2模型、GPT3模型等。
作为一种示例,如图3所示的一种诗歌生成模型训练框架示意图,在上述示例的基础上,将待训练诗歌文本的细粒度属性信息为“类型=五言绝句;主题=思乡;主题词=月光;主题词=故乡;主题词=明月;句1=月光;句2=霜;句3=明月;句4=故乡;韵脚=昂;风格=平淡;情感=略忧伤”输入预设语言模型,具体为GPT2模型,获得第一生成诗歌文本。基于第一生成诗歌文本、待训练诗歌文本“床前明月光,疑是地上霜;举头望明月,低头思故乡。”和预设诗歌文本损失函数,调整预设语言模型的参数。将训练完成的预设语言模型作为诗歌生成模型。
通过本实施例提供的各种实施方式,获取所述待训练诗歌文本,分析待训练诗歌文本的细粒度属性信息,基于待训练诗歌文本的细粒度属性信息和待训练诗歌文本,训练预设语言模型获得诗歌生成模型。由此可见,在训练得到诗歌生成模型时,不仅仅将诗歌作为训练数据,还增加诗歌本身细粒度属性信息作为训练数据,该方式充分挖掘待训练诗歌文本的细粒度属性信息与待训练诗歌文本之间的关联信息,使得诗歌生成模型能够通过诗歌本身细粒度属性信息实现生成诗歌时细粒度的属性控制。
在上述实施例的基础上,由于训练得到的诗歌生成模型用于根据诗歌文本的细粒度属性信息生成诗歌文本;因此,先确定待生成诗歌文本所需的细粒度属性信息;再将该数据输入该诗歌生成模型,即可生成一个诗歌文本并输出,作为目标诗歌文本。该目标诗歌文本相较于现有技术中采用规划-实现的方法生成的诗或者采用GPT模型生成的词,属性可控性较高、更细致。
参见图4,示出了本申请实施例中一种诗歌生成的方法的流程示意图。在本实施例中,所述方法例如可以包括以下步骤:
步骤401:确定待生成诗歌文本的细粒度属性信息。
参见上述实施例的说明,诗歌本身的细粒度属性一般是指诗歌的类型、主题、主题词、韵脚、风格和情感等等。因此,在本申请实施例一种可选的实施方式中,所述细粒度属性信息包括类型信息、主题信息、主题词信息、韵脚信息、风格信息和情感信息中至少两种。作为一种示例,待生成诗歌文本的细粒度属性信息为“类型=五言绝句;主题=思乡”。
步骤402:基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本。
在本申请实施例中,为了使得该诗歌生成模型生成更好的诗歌文本,在步骤401确定待生成诗歌文本的细粒度属性信息之后,还可以对该细粒度属性信息进行扩展,以获得该细粒度属性信息的更高层次表达,作为待生成诗歌文本的细粒度属性信息的扩展信息,以便在步骤402生成诗歌时进行更高层次属性控制。因此,在本申请实施例一种可选的实施方式中,在步骤401之后、步骤402之前,例如还可以包括步骤D:获得所述待生成诗歌文本的细粒度属性信息的扩展信息。
其中,扩展方式例如可以是在预先挖掘历史诗歌文本的细粒度属性信息形成一个诗歌属性知识库,在该诗歌属性知识库查找与待生成诗歌文本的细粒度属性信息相匹配的属性信息,作为匹配结果;将匹配结果中不同于待生成诗歌文本的细粒度属性信息的属性信息作为该扩展信息。因此,在本申请实施例一种可选的实施方式中,所述步骤D例如可以包括以下步骤:
步骤D1:根据所述待生成诗歌文本的细粒度属性信息,在诗歌属性知识库中进行匹配;其中,所述诗歌属性知识库根据预先挖掘历史诗歌文本的细粒度属性信息得到。
步骤D2:将不同于所述待生成诗歌文本的细粒度属性信息的匹配结果,作为所述扩展信息。
作为一种示例,待生成诗歌文本的细粒度属性信息为“主题=思乡”,其扩展信息可以为“主题词=故乡;主题词=乡音;主题词=月光;主题词=断肠人;韵脚=昂(江阳韵);韵脚=灰字韵(灰堆韵);情感=振奋;情感=悲伤;风格=平淡;风格=清幽”。
由上述说明可知,对应地,在得到待生成诗歌文本的细粒度属性信息和其扩展信息之后,在步骤402生成诗歌时实现不同的属性控制,可以从待生成诗歌文本的细粒度属性信息和其扩展信息中选取所需的信息,作为待生成诗歌文本的输入控制信息;将该数据输入该诗歌生成模型,即可生成另一个诗歌文本并输出,作为目标诗歌文本。所述步骤402例如可以包括以下步骤:
步骤E:从所述待生成诗歌文本的细粒度属性信息和所述扩展信息中,选取所述待生成诗歌文本的输入控制信息;
步骤F:将所述输入控制信息输入所述诗歌生成模型,获得所述目标诗歌文本。
作为一种示例,待生成诗歌文本的输入控制信息为“类型=五言绝句;主题=别离;藏=一;藏2=首;藏3=好;藏4=诗;句1=风;句2=天涯;句3=小小明(人名);句4=醉”,将其输入诗歌生成模型,获得一个生成诗歌文本“一时风物异;首处是天涯;好似小小明;诗成醉里蛇”作为目标诗歌文本。
此外,在本申请实施例中,每次执行步骤E-步骤F时,当选取的待生成诗歌文本的输入控制信息不同,可以生成不同的第三生成诗歌文本作为目标诗歌文本,即,在待生成诗歌文本的细粒度属性信息和其扩展信息的基础上,通过控制诗歌生成模型的输入信息不同,以生成不同的诗歌文本并输出。
通过本实施例提供的各种实施方式,基于待训练诗歌文本的细粒度属性信息和待训练诗歌文本,预先训练预设语言模型得到诗歌生成模型;确定待生成诗歌文本的细粒度属性信息;基于待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本。由此可见,通过诗歌本身细粒度属性信息的确定,采用较为简单的模型,即可在生成诗歌时进行细粒度的属性控制,使得属性控制更为细致,从而提升生成诗歌时属性可控性。
示例性装置
参见图5,示出了本申请实施例中一种诗歌生成的装置的结构示意图。在本实施例中,所述装置例如具体可以包括:
确定单元501,用于确定待生成诗歌文本的细粒度属性信息;
第一获得单元502,用于基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本;
其中,所述诗歌生成模型基于待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本预先训练预设语言模型得到的。
在本申请实施例一种可选的实施方式中,所述装置还包括:
获取单元,用于获取所述待训练诗歌文本;
分析单元,用于分析所述待训练诗歌文本的细粒度属性信息;
训练单元,用于基于所述待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本,训练所述预设语言模型获得所述诗歌生成模型。
在本申请实施例一种可选的实施方式中,所述训练单元包括:
第一获得子单元,用于将所述待训练诗歌文本的细粒度属性信息输入所述预设语言模型,获得第一生成诗歌文本;
调整子单元,用于基于所述第一生成诗歌文本、所述待训练诗歌文本和预设诗歌文本损失函数,调整所述预设语言模型的参数;
第一作为子单元,用于将训练完成的预设语言模型作为所述诗歌生成模型。
在本申请实施例一种可选的实施方式中,所述预设语言模型具体为生成式预训练语言GPT模型。
在本申请实施例一种可选的实施方式中,所述细粒度属性信息包括类型信息、主题信息、主题词信息、韵脚信息、风格信息和情感信息中至少两种。
在本申请实施例一种可选的实施方式中,所述装置还包括:
第二获得单元,用于获得所述待生成诗歌文本的细粒度属性信息的扩展信息;
对应地,所述第一获得单元502包括:
选取子单元,用于从所述待生成诗歌文本的细粒度属性信息和所述扩展信息中,选取所述待生成诗歌文本的输入控制信息;
第二获得子单元,用于将所述输入控制信息输入所述诗歌生成模型,获得所述目标诗歌文本。
在本申请实施例一种可选的实施方式中,所述第二获得单元包括:
匹配子单元,用于根据所述待生成诗歌文本的细粒度属性信息,在诗歌属性知识库中进行匹配;其中,所述诗歌属性知识库根据预先挖掘历史诗歌文本的细粒度属性信息得到;
第二作为子单元,用于将不同于所述待生成诗歌文本的细粒度属性信息的匹配结果,作为所述扩展信息。
通过本实施例提供的各种实施方式,基于待训练诗歌文本的细粒度属性信息和待训练诗歌文本,预先训练预设语言模型得到诗歌生成模型;确定待生成诗歌文本的细粒度属性信息;基于待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本。由此可见,通过诗歌本身细粒度属性信息的确定,采用较为简单的模型,即可在生成诗歌时进行细粒度的属性控制,使得属性控制更为细致,从而提升生成诗歌时属性可控性。
图6是根据一示例性实施例示出的一种用于诗歌生成的装置600的框图。例如,装置600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,装置600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制装置600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理部件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理***,一个或多个电源,及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相互关联的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当装置600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为装置600提供各个方面的状态评估。例如,传感器组件614可以检测到设备600的打开/关闭状态,组件的相对定位,例如所述组件为装置600的显示器和小键盘,传感器组件614还可以检测装置600或装置600一个组件的位置改变,用户与装置600接触的存在或不存在,装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件616经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由装置600的处理器620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种诗歌生成的方法,所述方法包括:
确定待生成诗歌文本的细粒度属性信息;
基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本;
其中,所述诗歌生成模型基于待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本预先训练预设语言模型得到的。
可选的,所述诗歌生成模型的训练步骤包括:
获取所述待训练诗歌文本;
分析所述待训练诗歌文本的细粒度属性信息;
基于所述待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本,训练所述预设语言模型获得所述诗歌生成模型。
可选的,所述基于所述待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本,训练所述预设语言模型获得所述诗歌生成模型,包括:
将所述待训练诗歌文本的细粒度属性信息输入所述预设语言模型,获得第一生成诗歌文本;
基于所述第一生成诗歌文本、所述待训练诗歌文本和预设诗歌文本损失函数,调整所述预设语言模型的参数;
将训练完成的预设语言模型作为所述诗歌生成模型。
可选的,所述预设语言模型具体为生成式预训练语言GPT模型。
可选的,所述细粒度属性信息包括类型信息、主题信息、主题词信息、韵脚信息、风格信息和情感信息中至少两种。
可选的,还包括:
获得所述待生成诗歌文本的细粒度属性信息的扩展信息;
对应地,所述基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本,包括:
从所述待生成诗歌文本的细粒度属性信息和所述扩展信息中,选取所述待生成诗歌文本的输入控制信息;
将所述输入控制信息输入所述诗歌生成模型,获得所述目标诗歌文本。
可选的,所述获得所述待生成诗歌文本的细粒度属性信息的扩展信息,包括:
根据所述待生成诗歌文本的细粒度属性信息,在诗歌属性知识库中进行匹配;其中,所述诗歌属性知识库根据预先挖掘历史诗歌文本的细粒度属性信息得到;
将不同于所述待生成诗歌文本的细粒度属性信息的匹配结果,作为所述扩展信息。
图7是本申请实施例中服务器的结构示意图。该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(central processing units,CPU)722(例如,一个或一个以上处理器)和存储器732,一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器722可以设置为与存储介质730通信,在服务器700上执行存储介质730中的一系列指令操作。
服务器700还可以包括一个或一个以上电源726,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口758,一个或一个以上键盘756,和/或,一个或一个以上操作***741,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅是本申请的较佳实施例而已,并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上,然而并非用以限定本申请。任何熟悉本领域的技术人员,在不脱离本申请技术方案范围情况下,都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本申请技术方案的内容,依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本申请技术方案保护的范围内。

Claims (10)

1.一种诗歌生成的方法,其特征在于,包括:
确定待生成诗歌文本的细粒度属性信息;
基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本;
其中,所述诗歌生成模型基于待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本预先训练预设语言模型得到的。
2.根据权利要求1所述的方法,其特征在于,所述诗歌生成模型的训练步骤包括:
获取所述待训练诗歌文本;
分析所述待训练诗歌文本的细粒度属性信息;
基于所述待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本,训练所述预设语言模型获得所述诗歌生成模型。
3.根据权利要求2所述的方法,其特征在于,所述基于所述待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本,训练所述预设语言模型获得所述诗歌生成模型,包括:
将所述待训练诗歌文本的细粒度属性信息输入所述预设语言模型,获得第一生成诗歌文本;
基于所述第一生成诗歌文本、所述待训练诗歌文本和预设诗歌文本损失函数,调整所述预设语言模型的参数;
将训练完成的预设语言模型作为所述诗歌生成模型。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述预设语言模型具体为生成式预训练语言GPT模型。
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述细粒度属性信息包括类型信息、主题信息、主题词信息、韵脚信息、风格信息和情感信息中至少两种。
6.根据权利要求1所述的方法,其特征在于,还包括:
获得所述待生成诗歌文本的细粒度属性信息的扩展信息;
对应地,所述基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本,包括:
从所述待生成诗歌文本的细粒度属性信息和所述扩展信息中,选取所述待生成诗歌文本的输入控制信息;
将所述输入控制信息输入所述诗歌生成模型,获得所述目标诗歌文本。
7.根据权利要求6所述的方法,其特征在于,所述获得所述待生成诗歌文本的细粒度属性信息的扩展信息,包括:
根据所述待生成诗歌文本的细粒度属性信息,在诗歌属性知识库中进行匹配;其中,所述诗歌属性知识库根据预先挖掘历史诗歌文本的细粒度属性信息得到;
将不同于所述待生成诗歌文本的细粒度属性信息的匹配结果,作为所述扩展信息。
8.一种诗歌生成的装置,其特征在于,包括:
确定单元,用于确定待生成诗歌文本的细粒度属性信息;
第一获得单元,用于基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本;
其中,所述诗歌生成模型基于待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本预先训练预设语言模型得到的。
9.一种用于诗歌生成的装置,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
确定单元,用于确定待生成诗歌文本的细粒度属性信息;
第一获得单元,用于基于所述待生成诗歌文本的细粒度属性信息和诗歌生成模型,获得目标诗歌文本;
其中,所述诗歌生成模型基于待训练诗歌文本的细粒度属性信息和所述待训练诗歌文本预先训练预设语言模型得到的。
10.一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得装置执行如权利要求1至7中任一项所述的诗歌生成的方法。
CN202011554856.5A 2020-12-24 2020-12-24 一种诗歌生成的方法及相关装置 Pending CN112651235A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011554856.5A CN112651235A (zh) 2020-12-24 2020-12-24 一种诗歌生成的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011554856.5A CN112651235A (zh) 2020-12-24 2020-12-24 一种诗歌生成的方法及相关装置

Publications (1)

Publication Number Publication Date
CN112651235A true CN112651235A (zh) 2021-04-13

Family

ID=75362728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011554856.5A Pending CN112651235A (zh) 2020-12-24 2020-12-24 一种诗歌生成的方法及相关装置

Country Status (1)

Country Link
CN (1) CN112651235A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360001A (zh) * 2021-05-26 2021-09-07 北京百度网讯科技有限公司 输入文本的处理方法、装置、电子设备和存储介质
CN113553822A (zh) * 2021-07-30 2021-10-26 网易(杭州)网络有限公司 古诗词生成模型训练、古诗词生成方法、设备及存储介质
CN114912448A (zh) * 2022-07-15 2022-08-16 山东海量信息技术研究院 一种文本扩展方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134968A (zh) * 2019-05-22 2019-08-16 网易(杭州)网络有限公司 基于深度学习的诗歌生成方法、装置、设备及存储介质
CN111783455A (zh) * 2020-07-13 2020-10-16 网易(杭州)网络有限公司 文本生成模型的训练方法及装置、文本生成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134968A (zh) * 2019-05-22 2019-08-16 网易(杭州)网络有限公司 基于深度学习的诗歌生成方法、装置、设备及存储介质
CN111783455A (zh) * 2020-07-13 2020-10-16 网易(杭州)网络有限公司 文本生成模型的训练方法及装置、文本生成方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360001A (zh) * 2021-05-26 2021-09-07 北京百度网讯科技有限公司 输入文本的处理方法、装置、电子设备和存储介质
CN113553822A (zh) * 2021-07-30 2021-10-26 网易(杭州)网络有限公司 古诗词生成模型训练、古诗词生成方法、设备及存储介质
CN113553822B (zh) * 2021-07-30 2023-06-30 网易(杭州)网络有限公司 古诗词生成模型训练、古诗词生成方法、设备及存储介质
CN114912448A (zh) * 2022-07-15 2022-08-16 山东海量信息技术研究院 一种文本扩展方法、装置、设备及介质
CN114912448B (zh) * 2022-07-15 2022-12-09 山东海量信息技术研究院 一种文本扩展方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109801644B (zh) 混合声音信号的分离方法、装置、电子设备和可读介质
CN107705783B (zh) 一种语音合成方法及装置
CN109599128B (zh) 语音情感识别方法、装置、电子设备和可读介质
CN108363706B (zh) 人机对话交互的方法和装置、用于人机对话交互的装置
CN106024009B (zh) 音频处理方法及装置
CN112651235A (zh) 一种诗歌生成的方法及相关装置
CN109961791B (zh) 一种语音信息处理方法、装置及电子设备
CN111583944A (zh) 变声方法及装置
CN110619873A (zh) 音频处理方法、装置及存储介质
CN112037756A (zh) 语音处理方法、装置和介质
CN115273831A (zh) 语音转换模型训练方法、语音转换方法和装置
CN113177419B (zh) 文本改写方法、装置、存储介质及电子设备
CN112331194B (zh) 一种输入方法、装置和电子设备
CN112130839A (zh) 一种构建数据库、语音编程的方法及相关装置
CN111679746A (zh) 一种输入方法、装置和电子设备
CN112784151A (zh) 一种确定推荐信息的方法及相关装置
CN108346423B (zh) 语音合成模型的处理方法和装置
CN113409765B (zh) 一种语音合成方法、装置和用于语音合成的装置
CN110908523A (zh) 一种输入方法及装置
CN112818841A (zh) 一种识别用户情绪的方法及相关装置
CN113923517A (zh) 一种背景音乐生成方法、装置及电子设备
CN113946228A (zh) 语句推荐方法、装置、电子设备和可读存储介质
CN114356068A (zh) 一种数据处理方法、装置和电子设备
CN113035189A (zh) 一种文档演示的控制方法、装置和设备
CN109102810B (zh) 声纹识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination