CN114818676A - 一种诗词生成方法、装置和介质 - Google Patents
一种诗词生成方法、装置和介质 Download PDFInfo
- Publication number
- CN114818676A CN114818676A CN202110130845.2A CN202110130845A CN114818676A CN 114818676 A CN114818676 A CN 114818676A CN 202110130845 A CN202110130845 A CN 202110130845A CN 114818676 A CN114818676 A CN 114818676A
- Authority
- CN
- China
- Prior art keywords
- poetry
- information
- language model
- words
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000005540 biological transmission Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供了一种诗词生成方法、装置和介质。其中的方法具体包括：接收表达信息；依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。本发明实施例可以实现通过候选诗词传递表达信息，能够生成遵循诗词的规律的候选诗词，能够提高生成的候选诗词的连贯性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种诗词生成方法、装置和介质。
背景技术
诗词，是指以古体诗、近体诗和格律词为代表的诗歌。诗词是阐述心灵的文学艺术，而诗人、词人则需要掌握成熟的艺术技巧，并按照严格韵律要求，用凝练的语言、绵密的章法、充沛的情感以及丰富的意象来高度集中地表现社会生活和人类精神世界。
在实际应用中，用户存在生成诗词的需求。用户生成的诗词可以作为祝福语发送给亲友，以此表达问候；或者，生成的诗词可以在朋友圈发布，以提高发布内容的质量。
发明内容
本发明实施例提供一种诗词生成方法、装置和用于诗词生成的装置，可以实现通过候选诗词传递表达信息，能够生成遵循诗词的规律的候选诗词，能够提高生成的候选诗词的连贯性。
为了解决上述问题，本发明实施例公开了一种诗词生成方法，包括：
接收表达信息；
依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
另一方面，本发明实施例公开了一种诗词生成装置，包括：
接收模块，用于接收表达信息；
候选诗词确定模块，用于依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
再一方面，本发明实施例公开了一种用于诗词生成的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
接收表达信息；
依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的诗词生成方法。
本发明实施例包括以下优点：
本发明实施例中，表达信息中可以携带诗词句子在预设位置的信息，如诗词句子的头一个字。本发明实施例依据自回归的语言模型，生成上述表达信息对应的至少一首候选诗词。由于候选诗词在预设位置的信息与表达信息相匹配，因此能够实现通过候选诗词传递表达信息。
首先，本发明实施例依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。
并且，本发明实施例的语言模型采用自回归机制，能够根据实时的预测结果对输入信息进行更新，因此能够迭代地生成预设长度的文本。
此外，本发明实施例的语言模型的自注意力模块能够快速捕捉与每个已知字词与词表中字词之间的依赖关系，因此能够将具有强依赖关系的字词作为预测结果，进而能够提高生成的候选诗词的连贯性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种诗词生成方法的应用环境的示意；
图2是本发明的一种诗词生成方法实施例的步骤流程图；
图3是本发明实施例的一种诗词生成过程的示意；
图4是本发明的一种诗词生成装置实施例的结构框图；
图5是本发明实施例的一种用于诗词生成的装置800的框图；及
图6是本发明的一些实施例中服务端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种诗词生成方案，该方案用于提供藏头诗、或藏尾诗的生成服务。藏头诗是诗歌中一种特殊形式的诗体，它将需要表达的内容依次赋予每句诗的头一个字。全诗的每句中的头一个字又可以组成一个完整的人名、地名、企业名或一句祝福。藏尾诗，可用于将需要表达的内容依次赋予每句诗的最后一字。
该方案具体包括：接收表达信息；依据自回归的语言模型，确定上述表达信息对应的至少一首候选诗词；上述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；上述语言模型包括：依次连接的多个处理层；上述处理层包括：自注意力模块和神经网络层，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息对诗词句子中未知字词进行预测。
本发明实施例中，表达信息中可以携带诗词句子在预设位置的信息，以将表达信息赋予诗词句子在预设位置的字词。例如，表达信息可以携带开头信息，如诗词句子的头一个字。又如，表达信息可以携带末尾信息，如诗词句子的最后一字。当然，表达信息可以携带中间信息，如中间的字词。
本发明实施例依据自回归的语言模型，生成上述表达信息对应的至少一首候选诗词。由于候选诗词在预设位置的信息与表达信息相匹配，因此能够实现通过候选诗词传递表达信息。
其中，语言模型是根据语言客观事实而进行的语言抽象数学建模。语言模型的作用可以包括：根据句子的已知信息，来预测下一个字词。
自回归的语言模型采用自回归机制。自回归机制可以为：依据预测结果(预测得到的字词)，对语言模型的输入信息进行更新；具体地，将当前轮预测结果添加在当前轮输入信息之后，以得到下一轮输入信息，将下一轮输入信息输入所述语言模型，以得到下一轮预测结果。由于自回归的语言模型能够根据实时的预测结果对输入信息进行更新，因此能够迭代地生成预设长度的文本，该预设长度可以在诗词长度的范围内。
本发明实施例依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。
并且，在架构方面，本发明实施例的语言模型具体包括：依次连接的多个处理层；上述处理层具体包括：自注意力模块和神经网络模块，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息对诗词句子中未知字词进行预测。上述自注意力模块确定每个已知字词到词表中字词的注意力，也即，在每个已知字词的位置上，确定词表中字词对应的注意力信息；这样，可以依据该注意力信息，从词表中确定出作为预测结果的字词。由于语言模型的自注意力模块能够快速捕捉与每个已知字词与词表中字词之间的依赖关系，因此能够将具有强依赖关系的字词作为预测结果，进而能够提高生成的候选诗词的连贯性。
本发明实施例提供的诗词生成方法可应用于图1所示的应用环境中，如图1所示，客户端100与服务端200位于有线或无线网络中，通过该有线或无线网络，客户端100与服务端200进行数据交互。
可选地，客户端100可以运行在终端上，上述终端具体包括但不限于：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving Picture ExpertsGroup Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving PictureExperts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等。客户端100可以对应于网站、或者APP(应用程序，Application)。
客户端100可以接收用户输入的表达信息，依据自回归的语言模型，确定上述表达信息对应的至少一首候选诗词，并向用户展示至少一首候选诗词。
或者，客户端100可以接收用户输入的表达信息，向服务端200发送该表达信息，并接收服务端200依据该表达信息生成的至少一首候选诗词。
方法实施例一
方法实施例一依据诗词语料，对语言模型进行训练，以使语言模型具备诗词的生成能力。
本发明实施例依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。
诗词语料中可以包括至少一种格式参数的诗词。上述格式参数可以包括：句子数量参数、以及句子包含的字符数量参数等中的至少一种。
句子数量参数可以包括：八句、以及四句中的至少一种。根据句子数量参数，可以将格律诗划分为律诗和绝句等。其中，律诗是每首有八句的格律诗，绝句是每首有四句的格律诗。
句子包含的字符数量参数可以包括：五字、六字、以及七字中的至少一种。根据句子包含的字符数量参数，可以将诗歌划分为七言诗歌和五言诗歌等。其中，七言诗歌的句子以7字为主。并不要求七言诗歌的每个诗词句子都是7个字，七言诗歌的部分句子包含7个字即可。五言诗歌是每句5个字的诗体。
句子数量参数和字符数量参数可以相结合。例如，五言诗歌可以包括：五言律诗和五言绝句。七言诗歌可以包括：七言律诗和七言绝句等。
词是一种诗的别体，词牌是词的调子的名称，词牌可以作为词的格式参数。不同的词牌在总句数、句数，每句的字数、平仄上都有规定。
可以理解，上述格律诗和词只是作为本发明实施例的诗词的示例，而不理解为本发明实施例的诗词的限制。
实际上，本发明实施例的诗词除了包括格律诗之外，还可以包括：杂体诗，杂体诗的种类可以包括：回环诗、剥皮诗、离合诗、宝塔诗、字谜诗、辘轳诗、八音歌诗、藏头诗、打油诗、诙谐诗、集句诗、联句诗、百年诗、嵌字句首诗、绝弦体诗、神智体诗等。
另外，除了中国的诗词之外，本发明实施例的诗词还可以包括其他国家的诗词，如十四行诗等，十四行诗的格式参数可以包括：行数、韵脚、音节、音调、结构等。可以理解，本发明实施例对于具体的诗词不加以限制。
本发明实施例可以将预设数量的诗词作为诗词语料，并利用诗词语料对语言模型进行无监督训练，以使训练得到的语言模型具有诗词生成能力。预设数量的例子可以包括：64万等，可以理解，本发明实施例对于诗词语料对于的预设数量不加以限制。
本发明实施例中，诗词语料对应的语种可以包括：中文、英文、德文、韩文、日文等，可以理解，本发明实施例的语言模型可以适用于任意的语种。
本发明实施例的语言模型，根据诗词的已知信息，以字词为单位预测诗词的未知信息。已知信息可以包括：诗词句子的已知字词。该已知信息可以包括：表达信息。
字词可以表征用于记录语种的基本单位。字词可以包括：字或词。以中文为例，字词可以包括字，也即可以字为单位进行中文诗词的生成。以英文为例，字词可以包括词，也即可以词为单位进行英文诗词的生成。其他语种的诗词生成，相互参照即可。
在架构方面，本发明实施例的语言模型具体包括：依次连接的多个处理层；上述处理层具体包括：自注意力模块和神经网络模块，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息对诗词句子中未知字词进行预测。
处理层的数量可由本领域技术人员根据实际应用需求确定。处理层的数量范围可以为[4，24]。例如，为了节省运算量，处理层的数量可以为4，可以理解，本发明实施例对于处理器的具体数量不加以限制。
第一个处理层的处理过程可以包括：接收输入信息，通过自注意力模块对输入信息进行处理，接着将处理结果传递给神经网络模块。第一个处理层处理完毕后，会将输出信息传入下一个处理层，继续进行计算。不同处理层的处理方式相同，但每个处理层都会维护自己的自注意力模块和神经网络模块中的参数。
在最后一个处理层产生输出信息之后，语言模型可以依据输出信息中包括的、诗词句子中已知字词到词表中字词的注意力信息，确定词表中字词对应的注意力信息；并且，可以依据词表中字词对应的注意力信息，从词表中确定出作为预测结果的字词。例如，词表中字词对应的注意力信息为注意力得分，则可以按照注意力得分从高到低的顺序，从词表中确定出作为预测结果的字词，例如，可以选取注意力得分较高的N(N为大于0的自然数)个字词，作为当前轮预测结果。
本发明实施例的词表可以为预设语种对应的预设规模的词表。预设语种可根据诗词生成的语种确定，例如，预设语种可以为中文。预设规模可以表征词表中包括字词的数量。预设规模的例子可以包括：10896等，可以理解，本发明实施例对于词表的具体规模不加以限制。
通常的诗词语料中可以包括：诗词句子，这样能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中。
在本发明的一种可选实施例中，诗词语料中可以包括：诗词句子、以及位于所述诗词句子之前的表达信息，也即，表达信息可以位于诗词语料的头部。
在实际应用中，可以在诗词语料的表达信息与诗词句子之间设置预设字符，以对诗词语料的表达信息与诗词句子进行分割。预设字符可以包括：[sep]等，可以理解，本发明实施例对于具体的预设字符不加以限制。例如，唐诗《静夜思》对应的诗词语料可以包括：“床疑举低[seq]床前明月光，疑是地上霜。举头望明月，低头思故乡。”
本发明实施例在诗词句子之前设置表达信息，可以将表达信息与诗词句子对应的开头位置之间的关联，学习到语言模型的参数中，进而能够使语言模型具备根据表达信息生成诗词句子的能力。
在具体实现中，可以对依据正向的诗词语料，训练得到正向的语言模型。正向的语言模型可以按照正向，进行诗词的生成。在表达信息携带诗词句子的开头信息的情况下，正向的语言模型可以根据诗词句子的开头信息，确定输入信息，并依据输入信息生成正向的诗词。例如，输入的表达信息包括如下诗词句子的开头信息：“S1,S2,S3…”，则可以按照“S1,S2,S3…”的顺序，生成正向的诗词。
在具体实现中，可以对依据反向的诗词语料，训练得到反向的语言模型。负向的语言模型可以按照负向，进行诗词的生成。在表达信息携带诗词句子的末尾信息的情况下，负向的语言模型可以根据诗词句子的末尾信息，确定输入信息，并依据输入信息生成负向的诗词。例如，输入的表达信息包括如下诗词句子的末尾信息：“W1,W2,W3…WP”，则可以按照“WP…W3、W2、W1”的顺序，生成负向的诗词，并对负向的诗词执行可逆操作，进而可以得到生成的诗词。其中，P可以表征末尾信息的数量。
综上，本发明实施例依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。
方法实施例二
参照图2，示出了本发明的一种诗词生成方法实施例的步骤流程图，具体可以包括如下步骤：
步骤201、接收表达信息；
步骤202、依据自回归的语言模型，确定上述表达信息对应的至少一首候选诗词；上述语言模型可以为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
上述语言模型可以包括：依次连接的多个处理层；上述处理层可以包括：自注意力模块和神经网络层，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息对诗词句子中未知字词进行预测。
图2所示实施例的至少一个步骤可由服务端和/或客户端执行，当然本发明实施例对于各个步骤的具体执行主体不加以限制。
步骤201中，表达信息可以为用户输入的信息。用户可以通过键盘输入、语音输入等输入方式，进行表达信息的输入，可以理解，本发明实施例对于表达信息的具体输入方式不加以限制。
表达信息中可以携带诗词句子在预设位置的信息。如在表达信息携带诗词句子的头一个字的情况下，可以根据表达信息生成藏头诗。表达信息可以与诗词的全部诗句对应，例如，表达信息的M个字与诗词的全部M个诗句对应。或者，表达信息可以与诗词的部分诗句对应，例如，表达信息的M个字与诗词的前M个诗句对应。
步骤202中，可以将表达信息作为语言模型的输入信息，并利用语言模型的自回归机制，依次预测诗词句子的字词，进而可以生成候选诗词。
在具体实现中，语言模型可以诗词句子为粒度，进行诗词句子的生成和输出；具体地，可以生成一个诗词句子，并对这个诗词句子进行输出。或者，语言模型可以诗词为粒度，进行完整的诗词的生成和输出；具体地，可以生成诗词的所有诗词句子，并对所有诗词句子进行输出。
本发明实施例中，语言模型可以对应有至少一种格式参数，则语言模型可用于生成符合至少一种格式参数的至少一首候选诗词。
例如，上述格式参数可以包括：句子数量参数、以及句子包含的字符数量参数等中的至少一种。
在本发明的一种可选实施例中，语言模型可以生成符合多种格式参数的多首候选诗词。例如，生成符合字符数量参数为5的五言律诗，生成符合字符数量参数为7的七言律诗，生成符合字符数量参数为5的五言绝句，生成符合字符数量参数为7的七言绝句等。
需要说明的是，本发明实施例可以对不同格式参数的不同选项进行组合，以得到多种组合结果，并针对多种组合结果，分别生成对应的候选诗词。例如，组合结果可以包括：“五言”+“律诗”、“五言”+“绝句”、“七言”+“律诗”、“七言”+“绝句”等。
在本发明的另一种可选实施例中，可以提供至少两种格式参数选项；则上述确定所述表达信息对应的至少一首候选诗词，具体包括：依据用户选择的目标格式参数选项，确定所述表达信息对应的至少一首候选诗词。
在具体实现中，可以提供一种格式参数对应的至少两种格式参数选项。或者，可以提供多种格式参数分别对应的至少两种格式参数选项，此种情况下，可以对用户选择的不同选项进行组合，并针对得到的组合结果，生成对应的候选诗词。
例如，针对句子数量参数提供“律诗”和“绝句”选项，针对字符数量参数提供“五言”和“七言”选项，则用户选择了“律诗”和“五言”，则可以生成“五言”+“律诗”对应的至少一首候选诗词。
需要说明的是，对于一种组合结果而言，由于其对应的诗词生成过程中，当前轮预测结果可以包括：N个字词，因此，其对应的诗词生成结果可以包括：N首候选诗词。
在表达信息携带开头信息的情况下，可以进行诗词的正向生成，相应地，上述确定所述表达信息对应的至少一首候选诗词，具体可以包括：从上述表达信息中获取第i个诗词句子对应的开头信息；i可以为大于0的自然数；依据上述第i个诗词句子之前的句子、以及所述第i个诗词句子对应的开头信息，对上述第i个诗词句子对应的未知字词进行预测。
需要说明的是，语言模型可以根据格式参数，确定第(i-1)个诗词句子的结束，在第(i-1)个诗词句子的结束的情况下，触发第i个诗词句子的生成，并在第i个诗词句子的生成过程中，确定第i个诗词句子的开头信息，以及对第i个诗词句子对应的非开头位置对应的未知字词进行预测。
例如，表达信息为“生日快乐”，则第1个诗词句子的开头信息为“生”，第2个诗词句子的开头信息为“日”，第3个诗词句子的开头信息为“快”，第4个诗词句子的开头信息为“乐”。
参照图3，示出了本发明实施例的一种诗词生成过程的示意，假设用户输入的表达信息包括：“S1,S2,S3…”，则对应的诗词生成过程可以包括：
第一步，从表达信息中获取第1个诗词句子对应的开头信息“S1”，并依据开头信息“S1”对第1个诗词句子对应的未知字词进行预测，得到第1个诗词句子对应的文本T1，T1＝S1,S11,S12,S13…，T1包括的字符数量可以依据字符数量参数确定。
第二步，从表达信息中获取第2个诗词句子对应的开头信息“S2”，并依据已知信息“T1”和“S2”，对第2个诗词句子对应的未知字词进行预测，得到第2个诗词句子对应的文本T2，T2＝S2,S21,S22,S23…。
第三步，从表达信息中获取第3个诗词句子对应的开头信息“S3”，并依据已知信息“T1”、“T2”和“S3”，对第3个诗词句子对应的未知字词进行预测，得到第3个诗词句子对应的文本T3，T3＝S3,S31,S32,S33…。
……
依次类推，直至完成诗词的所有句子的生成。每个诗词句子对应的文本可以作为候选诗词的组成部分，最终语言模型可以生成包含每个诗词句子对应文本的候选诗词，并输出。输出的候选诗词具体包括：T1,T2,T3……。
本发明实施例可以提供确定上述表达信息对应的至少一首候选诗词的如下技术方案：
技术方案1
技术方案1可以适用于诗词语料包括：诗词句子的情况。此种情况下，可以在诗词生成过程中，对诗词句子的头部进行干预。
相应地，上述确定所述表达信息对应的至少一首候选诗词，具体可以包括：从上述表达信息中获取第i个诗词句子对应的开头信息；i可以为大于0的自然数；将第i个诗词句子之前的句子、以及所述第i个诗词句子对应的开头信息，作为第i个诗词句子的生成对应的输入信息，并将该输入信息输入语言模型，以使语言模型对第i个诗词句子对应的非开头位置对应的未知字词进行预测。
需要说明的是，可以根据格式参数，确定第(i-1)个诗词句子的结束，在第(i-1)个诗词句子的结束的情况下，触发第i个诗词句子的生成，并在第i个诗词句子的生成过程中，对第i个诗词句子的头部进行干预。假设由控制单元确定所述表达信息对应的至少一首候选诗词，控制单元可以不同于语言模型，则控制单元可以从表达信息中获取第i个诗词句子对应的开头信息，这样，可以节省第i个诗词句子对应的开头位置的预测，并触发第i个诗词句子对应的非开头位置的预测。
综上，技术方案1在诗词生成过程中，通过控制语言模型在诗词句子的头部对应的输入信息，对诗词句子的头部进行干预，使得诗词句子以表达信息包括的特定字词为开头，能够实现藏头诗的生成效果。
技术方案2
技术方案2可以适用于诗词语料包括：诗词句子、以及位于所述诗词句子之前的表达信息的情况。此种情况下，诗词语料的训练，可以将表达信息与诗词句子对应的开头位置之间的关联，学习到语言模型的参数中，进而能够使语言模型具备根据表达信息生成诗词句子的能力。
因此，技术方案2在诗词生成过程中，语言模型可以自动从上述表达信息中获取第i个诗词句子对应的开头信息，并依据上述第i个诗词句子之前的句子、以及所述第i个诗词句子对应的开头信息，对上述第i个诗词句子对应的未知字词进行预测。
技术方案1和技术方案2对于诗词句子的生成过程进行了详细介绍。其中，技术方案1中，控制单元确定第i个诗词句子对应的开头信息，并触发触发第i个诗词句子对应的非开头位置的预测，第i个诗词句子对应的非开头位置的预测由语言模型执行。而技术方案2中，控制单元向语言模型输入表达信息，并触发诗词的生成，语言模型执行诗词句子对应的所有位置的预测，具体地，语言模型不仅执行诗词句子对应的开头位置的预测，而且执行诗词句子对应的非开头位置的预测。
在此对第i个诗词句子的预测过程进行说明。第i个诗词句子的预测可以包括：多个位置对应的M轮预测，M的取值可以与字符数量参数相应。例如，在采用技术方案1的情况下，M可以为字符数量参数减1；在采用技术方案2的情况下，M可以为字符数量参数。
在第i个诗词句子的预测环节，上述确定所述表达信息对应的至少一首候选诗词，具体可以包括：依据诗词的已知信息，确定当前轮输入信息；将所述当前轮输入信息输入所述语言模型，以得到当前轮预测结果。
假设当前轮为第i个诗词句子的第k轮，k为大于0的自然数，则在k为2的情况下，已知信息可以包括：第(i-1)个诗词句子、以及第i个诗词句子的开头信息。本发明实施例可以将已知信息作为第k轮输入信息，并将第k轮输入信息输入语言模型，以得到第k轮预测结果。
进一步，上述确定所述表达信息对应的至少一首候选诗词，还可以包括：将所述当前轮预测结果添加在所述当前轮输入信息之后，以得到下一轮输入信息；将所述下一轮输入信息输入所述语言模型，以得到下一轮预测结果。
假设当前轮为第k轮，则可以将第k轮预测结果添加在第k轮输入信息之后，以得到第(k+1)轮输入信息，并且可以将第(k+1)轮输入信息输入语言模型，以得到第(k+1)轮预测结果。
在确定第k轮预测结果后，可以判断是否完成第i个诗词句子的预测，若是，则可以判断是否完成候选诗词的生成，若是，则可以对候选诗词进行输出。若完成第i个诗词句子的预测，但未完成候选诗词的生成，则可以触发第(i+1)个诗词句子的预测。若未完成第i个诗词句子的预测，则可以触发第i个诗词句子的第(k+1)轮预测。
由于基于诗词语料对语言模型的训练，能够将诗词的规律学习到语言模型的参数中，因此，语言模型在生成遵循诗词的规律的候选诗词后，能够确定完成候选诗词的生成。
本发明实施例中，当前轮预测结果具体可以包括：注意力信息符合预设条件的至少一个字词，其中，不同的字词可以对应不同的当前轮预测结果。
例如，词表中字词对应的注意力信息为注意力得分，则可以按照注意力得分从高到低的顺序，从词表中确定出作为预测结果的字词，例如，可以选取注意力得分较高的N个字词，作为当前轮预测结果。
在表达信息携带末尾信息的情况下，可以进行诗词的负向生成。相应地，上述确定所述表达信息对应的至少一首候选诗词，具体可以包括：从上述表达信息中获取倒数第i个诗词句子对应的末尾信息；i可以为大于0的自然数；依据倒数第i个诗词句子之前的句子、以及所述第i个诗词句子对应的末尾信息，对上述第i个诗词句子对应的未知字词进行预测。
本发明实施例可以对至少一首候选诗词进行展示，以供用户查看和使用。例如，用户可以对展示的候选诗词执行复制、分享等操作。
综上，本发明实施例的诗词生成方法，表达信息中可以携带诗词句子在预设位置的信息，如诗词句子的头一个字。本发明实施例依据自回归的语言模型，生成上述表达信息对应的至少一首候选诗词。由于候选诗词在预设位置的信息与表达信息相匹配，因此能够实现通过候选诗词传递表达信息。
首先，本发明实施例依据诗词语料训练得到语言模型，能够将诗词的规律，比如五言七言、绝句律诗等诗词的押韵、平仄方式、对仗形式等规律，学习到语言模型的参数中；这样，语言模型在生成诗词的过程中，能够遵循诗词的规律，因此能够生成遵循诗词的规律的候选诗词。
并且，本发明实施例的语言模型采用自回归机制，能够根据实时的预测结果对输入信息进行更新，因此能够迭代地生成预设长度的文本。
此外，本发明实施例的语言模型的自注意力模块能够快速捕捉与每个已知字词与词表中字词之间的依赖关系，因此能够将具有强依赖关系的字词作为预测结果，进而能够提高生成的候选诗词的连贯性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的运动动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的运动动作并不一定是本发明实施例所必须的。
装置实施例
参照图4，示出了本发明的一种诗词生成装置实施例的结构框图，具体可以包括：接收模块401和候选诗词确定模块402。
其中，接收模块401，用于接收表达信息。
候选诗词确定模块402，用于依据自回归的语言模型，确定上述表达信息对应的至少一首候选诗词；上述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
上述语言模型可以包括：依次连接的多个处理层；上述处理层可以包括：自注意力模块和神经网络层，上述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据上述注意力信息对诗词句子中未知字词进行预测。
可选地，上述候选诗词确定模块402可以包括：
获取模块，用于从上述表达信息中获取第i个诗词句子对应的开头信息；i为大于0的自然数；
预测模块，用于依据上述第i个诗词句子之前的句子、以及上述第i个诗词句子对应的开头信息，对上述第i个诗词句子对应的未知字词进行预测。
可选地，上述诗词语料可以包括：诗词句子、以及位于上述诗词句子之前的表达信息。
可选地，上述语言模型对应有至少一种格式参数，上述语言模型用于生成符合上述至少一种格式参数的至少一首候选诗词。
可选地，上述装置还可以包括：
提供模块，用于提供至少两种格式参数选项；
上述候选诗词确定模块402可以包括：
第一候选诗词确定模块，用于依据用户选择的目标格式参数选项，确定上述表达信息对应的至少一首候选诗词。
可选地，上述候选诗词确定模块402可以包括：
第一输入信息确定模块，用于依据诗词的已知信息，确定当前轮输入信息；
第一输入模块，用于将上述当前轮输入信息输入上述语言模型，以得到当前轮预测结果。
可选地，上述候选诗词确定模块还可以包括：
第二输入信息确定模块，用于将上述当前轮预测结果添加在上述已知信息之后，以得到下一轮输入信息；
第二输入模块，用于将上述下一轮输入信息输入上述语言模型，以得到下一轮预测结果。
可选地，上述当前轮预测结果可以包括：注意力信息符合预设条件的至少一种字词。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供了一种用于诗词生成的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：接收表达信息；依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
图5是根据一示例性实施例示出的一种用于诗词生成的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音数据处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频数据处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图6是本发明的一些实施例中服务端的结构示意图。该服务端1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务端中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务端1900上执行存储介质1930中的一系列指令操作。
服务端1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作***1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务端或者终端)的处理器执行时，使得装置能够执行图2或图3或图4所示的诗词生成方法。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务端或者终端)的处理器执行时，使得装置能够执行一种诗词生成方法，所述方法包括：接收表达信息；依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
本发明实施例公开了A1、一种诗词生成方法，所述方法包括：
接收表达信息；
依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
A2、根据A1所述的方法，所述确定所述表达信息对应的至少一首候选诗词，包括：
从所述表达信息中获取第i个诗词句子对应的开头信息；i为大于0的自然数；
依据所述第i个诗词句子之前的句子、以及所述第i个诗词句子对应的开头信息，对所述第i个诗词句子对应的未知字词进行预测。
A3、根据A1所述的方法，所述诗词语料包括：诗词句子、以及位于所述诗词句子之前的表达信息。
A4、根据A1所述的方法，所述语言模型对应有至少一种格式参数，所述语言模型用于生成符合所述至少一种格式参数的至少一首候选诗词。
A5、根据A1所述的方法，所述方法还包括：
提供至少两种格式参数选项；
所述确定所述表达信息对应的至少一首候选诗词，包括：
依据用户选择的目标格式参数选项，确定所述表达信息对应的至少一首候选诗词。
A6、根据A1所述的方法，所述确定所述开头信息对应的至少一首候选诗词，包括：
依据诗词的已知信息，确定当前轮输入信息；
将所述当前轮输入信息输入所述语言模型，以得到当前轮预测结果。
A7、根据A6所述的方法，所述确定所述开头信息对应的至少一首候选诗词，还包括：
将所述当前轮预测结果添加在所述已知信息之后，以得到下一轮输入信息；
将所述下一轮输入信息输入所述语言模型，以得到下一轮预测结果。
A8、根据A6所述的方法，所述当前轮预测结果包括：注意力信息符合预设条件的至少一种字词。
本发明实施例公开了B9、一种诗词生成装置，包括：
接收模块，用于接收表达信息；
候选诗词确定模块，用于依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
B10、根据B9所述的装置，所述候选诗词确定模块包括：
获取模块，用于从所述表达信息中获取第i个诗词句子对应的开头信息；i为大于0的自然数；
预测模块，用于依据所述第i个诗词句子之前的句子、以及所述第i个诗词句子对应的开头信息，对所述第i个诗词句子对应的未知字词进行预测。
B11、根据B9所述的装置，所述诗词语料包括：诗词句子、以及位于所述诗词句子之前的表达信息。
B12、根据B9所述的装置，所述语言模型对应有至少一种格式参数，所述语言模型用于生成符合所述至少一种格式参数的至少一首候选诗词。
B13、根据B9所述的装置，所述装置还包括：
提供模块，用于提供至少两种格式参数选项；
所述候选诗词确定模块包括：
第一候选诗词确定模块，用于依据用户选择的目标格式参数选项，确定所述表达信息对应的至少一首候选诗词。
B14、根据B9所述的装置，所述候选诗词确定模块包括：
第一输入信息确定模块，用于依据诗词的已知信息，确定当前轮输入信息；
第一输入模块，用于将所述当前轮输入信息输入所述语言模型，以得到当前轮预测结果。
B15、根据B14所述的装置，所述候选诗词确定模块还包括：
第二输入信息确定模块，用于将所述当前轮预测结果添加在所述已知信息之后，以得到下一轮输入信息；
第二输入模块，用于将所述下一轮输入信息输入所述语言模型，以得到下一轮预测结果。
B16、根据B14所述的装置，所述当前轮预测结果包括：注意力信息符合预设条件的至少一种字词。
本发明实施例公开了C17、一种用于诗词生成的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
接收表达信息；
依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
C18、根据C17所述的装置，所述确定所述表达信息对应的至少一首候选诗词，包括：
从所述表达信息中获取第i个诗词句子对应的开头信息；i为大于0的自然数；
依据所述第i个诗词句子之前的句子、以及所述第i个诗词句子对应的开头信息，对所述第i个诗词句子对应的未知字词进行预测。
C19、根据C17所述的装置，所述诗词语料包括：诗词句子、以及位于所述诗词句子之前的表达信息。
C20、根据C17所述的装置，所述语言模型对应有至少一种格式参数，所述语言模型用于生成符合所述至少一种格式参数的至少一首候选诗词。
C21、根据C17所述的装置，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
提供至少两种格式参数选项；
所述确定所述表达信息对应的至少一首候选诗词，包括：
依据用户选择的目标格式参数选项，确定所述表达信息对应的至少一首候选诗词。
C22、根据C17所述的装置，所述确定所述开头信息对应的至少一首候选诗词，包括：
依据诗词的已知信息，确定当前轮输入信息；
将所述当前轮输入信息输入所述语言模型，以得到当前轮预测结果。
C23、根据C22所述的装置，所述确定所述开头信息对应的至少一首候选诗词，还包括：
将所述当前轮预测结果添加在所述已知信息之后，以得到下一轮输入信息；
将所述下一轮输入信息输入所述语言模型，以得到下一轮预测结果。
C24、根据C22所述的装置，所述当前轮预测结果包括：注意力信息符合预设条件的至少一种字词。
本发明实施例公开了D25、一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如A1至A8中一个或多个所述的诗词生成方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上对本发明所提供的一种诗词生成方法、一种诗词生成装置和一种用于诗词生成的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种诗词生成方法，其特征在于，所述方法包括：
接收表达信息；
依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
2.根据权利要求1所述的方法，其特征在于，所述确定所述表达信息对应的至少一首候选诗词，包括：
从所述表达信息中获取第i个诗词句子对应的开头信息；i为大于0的自然数；
依据所述第i个诗词句子之前的句子、以及所述第i个诗词句子对应的开头信息，对所述第i个诗词句子对应的未知字词进行预测。
3.根据权利要求1所述的方法，其特征在于，所述诗词语料包括：诗词句子、以及位于所述诗词句子之前的表达信息。
4.根据权利要求1所述的方法，其特征在于，所述语言模型对应有至少一种格式参数，所述语言模型用于生成符合所述至少一种格式参数的至少一首候选诗词。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
提供至少两种格式参数选项；
所述确定所述表达信息对应的至少一首候选诗词，包括：
依据用户选择的目标格式参数选项，确定所述表达信息对应的至少一首候选诗词。
6.根据权利要求1所述的方法，其特征在于，所述确定所述开头信息对应的至少一首候选诗词，包括：
依据诗词的已知信息，确定当前轮输入信息；
将所述当前轮输入信息输入所述语言模型，以得到当前轮预测结果。
7.根据权利要求6所述的方法，其特征在于，所述确定所述开头信息对应的至少一首候选诗词，还包括：
将所述当前轮预测结果添加在所述已知信息之后，以得到下一轮输入信息；
将所述下一轮输入信息输入所述语言模型，以得到下一轮预测结果。
8.一种诗词生成装置，其特征在于，包括：
接收模块，用于接收表达信息；
候选诗词确定模块，用于依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
9.一种用于诗词生成的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
接收表达信息；
依据自回归的语言模型，确定所述表达信息对应的至少一首候选诗词；所述语言模型为依据诗词语料训练得到，用于根据诗词的已知信息，以字词为单位预测诗词的未知信息；
所述语言模型包括：依次连接的多个处理层；所述处理层包括：自注意力模块和神经网络层，所述自注意力模块用于确定诗词句子中已知字词到词表中字词的注意力信息，以根据所述注意力信息对诗词句子中未知字词进行预测。
10.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至7中一个或多个所述的诗词生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130845.2A CN114818676A (zh) | 2021-01-29 | 2021-01-29 | 一种诗词生成方法、装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110130845.2A CN114818676A (zh) | 2021-01-29 | 2021-01-29 | 一种诗词生成方法、装置和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114818676A true CN114818676A (zh) | 2022-07-29 |
Family
ID=82526738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110130845.2A Pending CN114818676A (zh) | 2021-01-29 | 2021-01-29 | 一种诗词生成方法、装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114818676A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114818675A (zh) * | 2021-01-29 | 2022-07-29 | 北京搜狗科技发展有限公司 | 一种诗词生成方法、装置和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134968A (zh) * | 2019-05-22 | 2019-08-16 | 网易（杭州）网络有限公司 | 基于深度学习的诗歌生成方法、装置、设备及存储介质 |
| CN110852086A (zh) * | 2019-09-18 | 2020-02-28 | 平安科技（深圳）有限公司 | 基于人工智能的古诗词生成方法、装置、设备及存储介质 |
| CN111221958A (zh) * | 2020-01-08 | 2020-06-02 | 北京松果电子有限公司 | 一种训练藏字诗生成模型的方法、藏字诗生成方法及装置 |
| CN114818675A (zh) * | 2021-01-29 | 2022-07-29 | 北京搜狗科技发展有限公司 | 一种诗词生成方法、装置和介质 |
-
2021
- 2021-01-29 CN CN202110130845.2A patent/CN114818676A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134968A (zh) * | 2019-05-22 | 2019-08-16 | 网易（杭州）网络有限公司 | 基于深度学习的诗歌生成方法、装置、设备及存储介质 |
| CN110852086A (zh) * | 2019-09-18 | 2020-02-28 | 平安科技（深圳）有限公司 | 基于人工智能的古诗词生成方法、装置、设备及存储介质 |
| CN111221958A (zh) * | 2020-01-08 | 2020-06-02 | 北京松果电子有限公司 | 一种训练藏字诗生成模型的方法、藏字诗生成方法及装置 |
| CN114818675A (zh) * | 2021-01-29 | 2022-07-29 | 北京搜狗科技发展有限公司 | 一种诗词生成方法、装置和介质 |
Non-Patent Citations (2)
| Title |
|---|
| YI LIAO等: ""Probabilistically Masked Language Model Capable of Autoregressive Generation in ArbitraryWord Order"", 《HTTPS://ARXIV.ORG/PDF/2004.11579》, 24 April 2020 (2020-04-24), pages 1 - 12 * |
| YI LIAO等: ""Probabilistically Masked Language Model Capable of Autoregressive Generation in ArbitraryWord Order"", pages 1 - 12, Retrieved from the Internet <URL:《https://arxiv.org/pdf/2004.11579》> * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114818675A (zh) * | 2021-01-29 | 2022-07-29 | 北京搜狗科技发展有限公司 | 一种诗词生成方法、装置和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112185389B (zh) | 语音生成方法、装置、存储介质和电子设备 | |
| CN111696538B (zh) | 语音处理方法、装置和介质 | |
| CN110209803B (zh) | 故事生成方法、装置、计算机设备及存储介质 | |
| CN109582768B (zh) | 一种文本输入方法和装置 | |
| CN113689879B (zh) | 实时驱动虚拟人的方法、装置、电子设备及介质 | |
| CN112037756A (zh) | 语音处理方法、装置和介质 | |
| CN111369978B (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
| CN114154459A (zh) | 语音识别文本处理方法、装置、电子设备及存储介质 | |
| CN115273831A (zh) | 语音转换模型训练方法、语音转换方法和装置 | |
| CN113673261A (zh) | 数据生成方法、装置及可读存储介质 | |
| CN113920559A (zh) | 一种虚拟角色的面部表情、肢体动作的生成方法和装置 | |
| CN114818676A (zh) | 一种诗词生成方法、装置和介质 | |
| CN113689880B (zh) | 实时驱动虚拟人的方法、装置、电子设备及介质 | |
| US20230267282A1 (en) | Poetry generation | |
| CN105913841B (zh) | 语音识别方法、装置及终端 | |
| CN110930977B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN113345452B (zh) | 语音转换方法、语音转换模型的训练方法、装置和介质 | |
| CN113409765B (zh) | 一种语音合成方法、装置和用于语音合成的装置 | |
| CN113420553A (zh) | 文本生成方法、装置、存储介质及电子设备 | |
| CN114550691A (zh) | 一种多音字消歧方法、装置、电子设备及可读存储介质 | |
| CN113674731A (zh) | 语音合成处理方法、装置和介质 | |
| CN114154485A (zh) | 一种文本纠错方法和装置 | |
| CN113035189A (zh) | 一种文档演示的控制方法、装置和设备 | |
| CN112434521A (zh) | 词汇处理方法和装置 | |
| CN113589949A (zh) | 一种输入方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |