CN113990356A

CN113990356A - 一种图书生成方法、图书生成设备及存储介质

Info

Publication number: CN113990356A
Application number: CN202010670728.0A
Authority: CN
Inventors: 王鹏
Original assignee: TCL Technology Group Co Ltd
Current assignee: TCL Technology Group Co Ltd
Priority date: 2020-07-13
Filing date: 2020-07-13
Publication date: 2022-01-28
Anticipated expiration: 2040-07-13
Also published as: CN113990356B

Abstract

本发明提出了一种图书生成方法，图书生成设备及存储介质，通过目标文件中含有的文字信息确定其文字信息中含有的故事片段集和角色信息集；根据所述角色信息集中所述角色特征的描述文字信息和所述故事片段集中含有的所述故事片段，确定所述故事片段中与所述角色对应的情绪标签集；其中，所述情绪标签集包括各个角色在各个故事片段中的情绪标签；根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的图书文件。通过从现有故事文件中提取故事片段和角色信息，并将故事片段和角色信息相融合生成图书作品，本发明利用语言处理技术和图像生成技术实现将现有故事文件转化成图书文件，克服了含有绘图的图书文件匮乏的问题。

Description

一种图书生成方法、图书生成设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图书生成方法、图书生成设备及存储介质。

背景技术

目前，读书是人们日常的习惯，在众多图书中最受欢迎的图像类型为含有绘画作品的图书，这类图书中，有些画面是借鉴卡通手法、风格而编画的连环漫画，有些是表述情景的景色画面，由于故事有趣和画面靓丽，因此在读者中非常流行。目前含有画面的此类书籍中画面的制作往往都是创作工作者手工绘制，创作效率低，并且创作绘画作品需要有较强的绘画技能，因此导致目前书籍中含有绘画作品的书籍资源匮乏，远远不能满足读者的需求。

因此，现有技术有待于进一步的改进。

发明内容

鉴于现有技术的不足，本发明目的在于提供一种图书生成方法、图书生成设备及存储介质，能够实现快速地将现有仅仅含有文字信息的图书作品转化成含有绘图作品的图书作品。

本发明的技术方案如下：

第一方面，本实施例提供了一种图书生成方法，其中，包括：

根据目标文件中含有的文字信息确定其文字信息中含有的故事片段集和角色信息集；其中，所述故事片段集中含有至少一个故事片段，所述角色信息集中含有至少一个角色的角色特征的描述文字信息；

根据所述角色信息集中所述角色特征的描述文字信息和所述故事片段集中含有的所述故事片段，确定所述故事片段中与所述角色对应的情绪标签集；其中，所述情绪标签集包括各个角色在各个故事片段中的情绪标签；

根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的图书文件。

可选地，根据所述文字信息确定与所述目标文件对应的故事片段集的步骤包括：

将所述文字信息输入至已训练的故事信息提取模型，得到所述故事信息提取模型输出的故事片段集；其中，所述故事信息提取模型是基于文字样本信息集与所述文字样本信息集中含有的多个故事片段之间的对应关系训练得到的。

可选地，所述故事信息提取模型包括：中间向量提取模块、分类器模块和片段集合模块；

所述文字信息输入已训练的故事信息提取模型，得到所述故事信息提取模型输出的故事片段集的步骤包括：

将所述文字信息输入所述中间向量提取模块，得到所述中间向量提取模块输出的中间向量信息；

将所述中间向量信息输入所述分类器模块，得到所述分类器模块输出的与所述文字信息对应的故事数量值；

将所述文字信息、所述中间向量信息和所述故事数量值输入所述片段集合模块，得到所述片段集合模块输出的与所述文字信息对应的故事片段集。

可选地，根据目标文件中含有的文字信息确定其文字信息中含有的角色信息集的步骤包括：

将所述文字信息输入已训练的角色信息提取模型，得到所述角色信息提取模型输出的角色信息集；其中，所述角色信息提取模型是基于文字样本信息集与所述文字样本信息集中含有的多个角色特征的描述文字信息之间的对应关系训练得到的。

可选地，所述角色信息提取模型包括：时序模块和特征提取模块；

所述将所述文字信息输入已训练的角色信息提取模型，得到所述角色信息提取模型输出的角色信息集的步骤包括：

将所述文字信息输入所述时序模块，得到所述时序模块输出的排序处理后的排序文本；

将所述排序文本输入所述角色特征提取模块，得到所述角色特征提取模块输出的与所述文字信息对应的角色信息集。

可选地，所述根据所述角色信息集中所述角色特征的描述文字信息和所述故事片段集中含有的所述故事片段，确定所述故事片段中与所述角色对应的情绪标签集的步骤包括：

将所述故事片段集和所述角色信息集输入已训练的情绪信息提取模型，通过所述情绪信息提取模型得到角色的情绪标签集，其中，所述情绪信息提取模型是基于故事片段样本集、角色信息样本集和角色情绪标签样本集之间的对应关系训练得到的，所述角色情绪标签样本集为根据所述故事片段样本集中所含有的故事片段样本和角色信息样本集中含有的角色特征描述信息生成的。

可选地，所述根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的图书文件的步骤包括：

根据角色信息集和各个角色对应的情绪标签，生成各个角色在不同情绪标签下的角色画像；

将所述角色画像、各个角色对应的情绪标签以及所述故事片段集相融合，得到与所述目标文件对应的图书文件。

可选地，所述根据角色信息集和各个角色对应的情绪标签，生成各个角色在不同情绪标签下的角色画像的步骤包括：

将所述角色信息集和各个角色对应的情绪标签输入已训练的画像生成模型，得到所述画像生成模型输出的各个角色在不同情绪标签下的角色画像，其中，所述画像生成模型是基于角色信息样本集、情绪标签样本集和角色画像样本集之间的对应关系训练得到的。

可选地，所述将所述角色画像、各个角色对应的情绪标签以及所述故事片段集相融合，得到与所述目标文件对应的图书文件的步骤包括：

将所述角色画像、各个角色对应的情绪标签以及所述故事片段集输入已训练的信息融合模型，得到所述信息融合模型输出的与所述目标文件对应的图书文件，其中，所述信息融合模型是基于含有多个角色图像样本的角色画像样本集、含有多个角色情绪标签样本的角色情绪标签样本集、含有多个故事片段样本的故事片段集和图书样本之间的对应关系训练得到的，所述图书样本为根据所述角色画像样本集、角色情绪标签样本集和故事片段集所生成的图书样本。

可选地，所述将所述文字信息输入至已训练的故事信息提取模型，得到所述故事信息提取模型输出的故事片段集的步骤之后，还包括：

将所述故事片段集中含有的各个故事片段输入已训练的故事提炼模型，得到所述故事提炼模型输出的故事片段精要，并用各个故事片段替换为其对应的故事片段精要。

第二方面，本实施例还提供了一种图书生成设备，其中，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的图书生成方法的步骤。

第三方面，本实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的图书生成方法的步骤。

有益效果：本发明提出了一种图书生成方法，图书生成设备及存储介质，通过目标文件中含有的文字信息确定其文字信息中含有的故事片段集和角色信息集；根据所述角色信息集中所述角色特征的描述文字信息和所述故事片段集中含有的所述故事片段，确定所述故事片段中与所述角色对应的情绪标签集；其中，所述情绪标签集包括各个角色在各个故事片段中的情绪标签；根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的图书文件。通过从现有故事文件中提取故事片段和角色信息，并将故事片段和角色信息相融合生成图书作品，本发明利用语言处理技术和图像生成技术实现将现有故事文件转化成图书文件，克服了含有绘图的图书文件匮乏的问题。

附图说明

图1是本发明所述图书生成方法的步骤流程图；

图2是本发明所述方法中利用故事信息提取模型提取故事片段集的步骤流程图；

图3是本发明所述方法中利用角色信息提取模型提取出角色信息集的步骤流程图；

图4是本发明所述方法中利用情绪信息提取模型提取角色的情绪标签集的步骤流程图；

图5是本发明所述方法中利用深度网络生成图书文件的步骤流程图；

图6是本发明实施例中图书生成设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

发明人发现现有技术中卡通图书作品深受读者喜爱，尤其是含有漫画的图书作品受到青少年的喜欢，但是现有国内的卡通图书作品资源匮乏，远远不能满足读者的需求，并且在卡通图书作品的制作过程中，往往都是漫画设计师手工绘画出各个卡通角色，再对各个卡通角色进行加工，完成卡通图书作品，因此制作效率低。

为了克服上述问题，并且基于语言处理技术和图像生成技术的发展，将某个文学作品中的故事情节信息进行提取，并根据故事情节中的角色形象生成对应的角色形象，在将提取到的故事情节与角色形象相结合，生成与该文学作品内容相同的卡通图书作品成为一种可能。由于我国文化底蕴丰富，有大量的文学适用于转化成含有绘图的图书作品，比如：转化成青少年喜爱的卡通漫画的作品，并且本次转化是通过语言处理技术和图像生成技术得到，因此软件自动化实现，不仅仅效率高，而且还可以丰富我们的绘图类书籍，例如：卡通漫画资源。

本发明提供了一种图书生成方法，通过提取某一个文学作品中含有的文字信息，并根据提取到的文字信息确定其文字信息中含有的故事片段集和角色信息集；例如：该文学作品中含有6个故事片段，分别讲述了6个不同的故事，这6个故事片段组成故事片段集。由于各个故事片段中均涉及到角色形象，比如故事片段1中涉及到角色A和B，故事片段2中涉及到角色B和C，则各个故事片段中的针对每个角色特征的描述信息组成了角色信息集。再根据各个故事片段中的各个角色对应的特征描述文字信息，确定角色的情绪标签集，例如：在故事片段1中，角色A是开心的、故事片段2中，角色B是伤心的等等，将各个故事片段中各个角色对应的情绪标签组成角色的情绪标签集。根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的图书文件。通过从现有故事文件中提取故事片段和角色信息，并将故事片段和角色信息相融合生成与现有故事文件具有相同内容的图书作品。当提取到该文学作品中的故事片段集、角色信息集和角色的情绪标签，则根据上述提取到的信息生成卡通图书作品。

上述方法过程，可以通过将某个文学作品的文件上传到计算机，通过计算中安装的语言处理软件对文学作品中的文字信息进行提取，获取文字信息中含有的故事片段，再依次从各个故事片段中获取各个角色特征的描述信息，基于角色特征的描述信息结合故事片段生成包含各个角色特征对应情绪标签的情绪标签集，再将所述角色特征对应的描述信息和情绪标签集输入图像生成软件，图像生成软件根据接收到的描述信息和情绪标签集生成各个角色在不同情绪标签下的角色画像，则语言信息处理软件再根据故事片段集、情绪标签集和角色画像得到与该文学作品对应的图书作品。

需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

示例性方法

本实施例提供了一种图书生成方法，如图2所示，包括：

步骤S1、根据目标文件中含有的文字信息确定其文字信息中含有的故事片段集和角色信息集；其中，所述故事片段集中含有至少一个故事片段，所述角色信息集中含有至少一个角色的角色特征的描述文字信息。

本步骤中首先获取目标文件，并提取出目标文件的文字信息，根据目标文件的文字信息确定其中含有的故事片段集和角色信息集。

具体的，由于本步骤中是将所述目标文件转化成图书文件，因此较佳的，所述目标文件为含有一定故事情节的小说、故事会、文学名著等文学作品，其中不仅仅故事丰富，还带有一定的角色及故事情节，适用于转化成图书作品。

本步骤中可以通过文字识别软件，对目标文件的全部内容或部分内容进行文字信息识别，并将存储识别出的文字组成文字信息。该步骤可以使用现有的文字信息识别软件，也可以使用已训练的深度网络模型，将待识别文字信息的内容输入至深度网络模型，通过深度网络模型输出其识别出的文字信息。

当识别出目标文件中含有的文字信息后，则根据文字信息确定其中含有的故事片段集和角色信息集。

由于提取到的文字信息可以利用语义分析软件进行语义分析，得到文字信息中含有的故事情节，因此可以从分析出的故事情节将其分成各个故事片段，并将各个故事片段组成故事片段集。还可以利用语义分析软件对文字信息的语义分析结果进行解析，得到文字信息中所含有的角色特征的描述信息，并将角色特征的描述信息汇总成角色信息集。

具体的，根据所述文字信息确定与所述目标文件对应的故事片段集的步骤包括：

本步骤中，利用已训练的故事信息提取模型，得到与文字信息相对应的故事片段集。所述故事信息提取模型是一种深度网络模型，是基于文字样本信息集输入到预设的网络模型中进行多次训练，得到的用于故事信息集提取的故事信息提取模型。

具体的，将所述文字样本信息集中含有的文字样本信息输入第一神经网络模型，得到所述第一神经网络模型输出的与各个文字样本信息相对应的故事片段，多个故事片段组成与文字样本信息集对应的故事片段集。所述第一神经网络模型输出的多个故事片段为对各个文字样本信息进行故事片段提取得到的故事片段的预测值，利用所述文字样本信息中含有的故事片段的真实值对第一神经网络模型输出的故事片段预测值进行误差计算，并根据误差计算，得到所述预测值与真实值之间的误差，并根据所述误差对所述第一神经网络模型的参数进行优化。重复将文字样本信息集中含有的文字样本信息输入至第一神经网络模型，根据模型输出的故事片段的预测值对模型参数进行优化的步骤，直至所述误差满足预设条件，得到训练完成的故事信息提取模型。

具体的，所述故事信息提取模型包括：中间向量提取模块、分类器模块和片段集合模块；

步骤S111、将所述文字信息输入所述中间向量提取模块，得到所述中间向量提取模块输出的中间向量信息。

具体地，结合图2所示，将所述文字信息输入至中间向量提取模块，利用中间向量提取模块，通过中间向量提取模块获取到与文字信息的中间向量。所述中间向量提取模块利用transformer网络结构，将文字信息作为输入，并输出文字性对于的中间向量V，其中中间向量为对文字信息进行自然语言处理技术进行语言信息处理得到的分析数据。

步骤S112、将所述中间向量信息输入所述分类器模块，得到所述分类器模块输出的与所述文字信息对应的故事数量值。

将上述步骤S111中得到的中间向量输入至分类器模块，得到故事片段的个数。具体地，所述分类器模块为一个分类器，分类器用于对中间向量进行分析，得到其中含有的故事片段的个数，其是由一个cnn网络构成。

步骤S113、将所述文字信息、所述中间向量信息和所述故事数量值输入所述片段集合模块，得到所述片段集合模块输出的与所述文字信息对应的故事片段集。

将文字信息、步骤S111中提取的中间向量以及步骤S112中提取出的故事数量值输入至片段集合模块，通过片段集合模块输出故事片段集。在一种实施例方式中，所述片段集合模块由gpt2网络构成。其输出的故事片段集包括多个故事片段。例如：从原整篇文章中产生N个故事情节的小故事文字片段，如S＝{s₁,s₂,…,s_N}，S表示所有故事片段集合，s表示每个故事片段。

进一步的，根据目标文件中含有的文字信息确定其文字信息中含有的角色信息集的步骤包括：

本步骤中利用已训练的角色信息提取模型提取出文字信息中含有的角色信息集。所述角色信息提取模型是一种深度网络模型，是基于文字样本信息集输入到预设的网络模型中进行多次训练，得到的用于角色信息提取的角色信息提取模型。

具体地，将所述文字样本信息集中含有的文字样本信息输入第二神经网络模型，得到所述第二神经网络模型输出的与各个文字样本信息相对应的角色特征的描述信息，多个角色特征的描述信息组成与文字样本信息集对应的角色信息集。所述第二神经网络模型输出的多个角色特征的描述信息为对各个文字样本信息中提取得到的角色特征的描述信息的预测值，利用所述文字样本信息中含有的角色特征描述信息的真实值对第二神经网络模型输出的角色特征描述信息的预测值进行误差计算，并根据误差计算，得到所述预测值与真实值之间的误差，并根据所述误差对所述第二神经网络模型的参数进行优化。重复将文字样本信息集中含有的文字样本信息输入至第二神经网络模型，根据模型输出的角色特征的描述信息的预测值对模型参数进行优化的步骤，直至所述误差满足预设条件，得到训练完成的角色信息提取模型。

在一种实施方式中，所述角色信息提取模型包括：时序模块和特征提取模块；

步骤S121、将所述文字信息输入所述时序模块，得到所述时序模块输出的排序处理后的排序文本。

图3所示，将从目标文件中提取出的文字信息输入至所述时序模块，通过所述时序模块对文字信息中含有的信息进行排序，以保证文字信息中含有的各个故事的时间顺序更加准确，具体的，在具体应用实施例中，所述时序模块可以采用rnn网络(循环神经网络，Recurrent Neural Network)实现，利用故事一般发展走向的时序对该网络进行训练，则当将文字信息输入该网络后，该网络结构可以根据记忆的时序信息对输入文字信息中含有的时序进行排列，从而输出排序后的排序文本。

步骤S122、将所述排序文本输入所述角色特征提取模块，得到所述角色特征提取模块输出的与所述文字信息对应的角色信息集。

将排序文本输入至角色特征提取模块，通过所述角色特征提取模块输得到与所述排序文本对应的角色信息集。具体的，在一种实现方式中，所述角色特征提取模块可以采用cnn网络实现，利用cnn网络提取输入文字信息中的角色特征对应的描述文字，并将各个角色描述文字集合为角色信息集。

例如：文字信息中共涉及到M个角色，则将文字信息输入至所述rnn网络和cnn网络后，输出为M个角色特征的描述文字信息。将这个P＝{p₁,p₂,…,p_M},其中P为角色信息集，p代表单独角色特征的描述文字信息。

步骤S2、根据所述角色信息集中所述角色特征的描述文字信息和所述故事片段集中含有的所述故事片段，确定所述故事片段中与所述角色对应的情绪标签集；其中，所述情绪标签集包括各个角色在各个故事片段中的情绪标签。

上述步骤S1中获取到故事片段集和角色信息集，由于故事片段集中含有的故事片段中含有对角色的描述文字信息，角色信息集中也同样含有各个角色的角色特征的描述文字信息，并且对于同一个角色在角色信息集和故事片段集中所含有的描述文字信息是一致的，因此可以根据角色信息集中对各个角色的角色特征的描述文字信息中从故事片段集中的多个故事片段中识别出相应的角色，并根据故事片段中各个角色特征的描述文字信息中识别出各个角色对对应的情绪标签。

进一步的，角色信息集中含有的角色特征的描述文字信息是偏角色表面形象的描述，便于分辨出故事片段中的各个角色，比如：角色A形象为瘦，性别为女，个子高挑，故事片段中含有的角色描述则融入故事情节的，其偏重与角色的形象和情绪等信息，比如故事片段中出现：某体型瘦且高个的女生看到某某物品后哈哈大笑，则从上述描述文字信息中，可以识别出此次故事片段中出现的角色是A，其情绪标签对应的“笑”。

本步骤中，根据故事片段集和角色信息集中含有的信息确定情绪标签集的方法，在一种实现方式中，可以基于神经网络的处理方式来实现。

具体的，所述根据所述角色信息集中所述角色特征的描述文字信息和所述故事片段集中含有的所述故事片段，确定所述故事片段中与所述角色对应的情绪标签集的步骤包括：

本步骤中利用已训练的情绪信息提取模型，通过所述情绪信息提取模型实现对各个故事片段集中出现的各个角色的情绪标签的提取。所述情绪信息提取模型是一种深度网络模型，是通过将故事片段样本集中含有的多个故事片段、角色信息样本集中含有的多个角色特征的描述文字信息和角色情绪标签样本集中含有的多个情绪标签样本信息均输入到预设的第三神经网络模型，对所述第三神经网络模型进行多次训练，得到的已训练完成的情绪信息提取模型。

具体的，将故事片段样本集和角色信息样本集输入到预设的第三神经网络模型，得到所述第三神经网络模型输出各个角色在各个故事片段中的情绪标签。所述第三神经网络模型输出的各个角色在各个故事片段中的情绪标签组成的情绪标签集为对故事片段集和角色信息集中所含角色在各个故事片段中的情绪标签的预测值，利用所述角色情绪标签样本的中所含有的情绪标签的真实值对第三神经网络模型输出的情绪标签的预测值进行误差计算，并根据误差计算，得到所述预测值与真实值之间的误差，并根据所述误差对所述第三神经网络模型的参数进行优化。重复将文字样本信息集中含有的文字样本信息输入至第三神经网络模型，根据模型输出的情绪标签的预测值对模型参数进行优化的步骤，直至所述误差满足预设条件，得到训练完成的情绪信息提取模型。

在一种实施方式中，结合图4所示，由于情绪信息提取模型的输出为不同角色的情绪标签，因此属于分类问题，所以选择cnn网络完成。情绪信息提取模型的网络输入为模块上述故事片段提取模型提取出来的N个故事片段S和角色信息提取模型提取出的的M个角色特征P的描述文字信息，则情绪信息提取模型输出为N个故事片段中M个各个角色的情绪标签。E＝{e_1,1,e_1,2,…,e_1,M,e_2,1,…,e_N,M}，其中e_N,M表示第N个情节中第M个角色的情绪。如果某人在特定情节中未出现，则情绪值为0。

步骤S3、根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的图书文件。

根据上述步骤中提取到的故事片段集、角色信息集和情绪标签集，则将所述角色信息集中所含有的角色特征的描述文字信息和其对应的情绪标签集中含有的各个情绪标签相融合，通过图像生成方法，得到各个角色对应的在不同情绪下的角色画像，将各个角色画像根据其在不同故事片段中描述的情绪标签，将各个角色的角色画像融入提取到的故事片段集中，从而得到转换后的图书文件。

具体地，所述根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的图书文件的步骤包括：

步骤S31、根据角色信息集和各个角色对应的情绪标签，生成各个角色在不同情绪标签下的角色画像。

根据角色信息集中的各个角色特征对应的描述文字信息，及各个角色对应的情绪标签，利用图像生成软件可以生成不同情绪标签下的角色画像。

具体地，所述步骤S31所述根据角色信息集和各个角色对应的情绪标签，生成各个角色在不同情绪标签下的角色画像的步骤包括：

步骤S311、将所述角色信息集和各个角色对应的情绪标签输入已训练的画像生成模型，得到所述画像生成模型输出的各个角色在不同情绪标签下的角色画像，其中，所述画像生成模型是基于角色信息样本集、情绪标签样本集和角色画像样本集之间的对应关系训练得到的。

生成角色画像的过程可以利用已训练的画像生成模型实现，也即是将角色信息集和各个角色对应的情绪标签输入至画像生成模型，通过画像生成模型得到各个角色在不同情绪下的角色画像。所述画像生成模型是一种深度网络模型，是通过将角色信息样本集中含有的多个角色特征的描述文字信息和角色情绪标签样本集中含有的多个情绪标签样本信息均输入到预设的第四神经网络模型，对所述第四神经网络模型进行多次训练，得到的已训练完成的画像生成模型。

具体地，将角色信息样本集和角色情绪标签样本集中含有的各个角色在不同情绪下的情绪标签输入到预设的第四神经网络模型，得到所述第四神经网络模型输出各个角色在不同情绪下的角色画像。所述第四神经网络模型输出的各个角色在不同情绪下的角色画像组成的角色画像集为对角色画像集中各个角色画像的预测值，利用所述角色画像样本集的中所含有的角色画像的真实值对第四神经网络模型输出的角色画像的预测值进行误差计算，并根据误差计算，得到所述预测值与真实值之间的误差，并根据所述误差对所述第四神经网络模型的参数进行优化。重复将角色信息样本集和角色情绪标签样本集输入至第四神经网络模型，根据模型输出的角色画像的预测值对模型参数进行优化的步骤，直至所述误差满足预设条件，得到训练完成的画像生成模型。

在一种实现方式中，结合图5所示，将M个角色信息和情绪信息E输入到已训练的画像生成模型中，该画像生成模型由cnn+resnet网络构成，生成出M个角色在不同情绪下的角色画像。

步骤S32、将所述角色画像、各个角色对应的情绪标签以及所述故事片段集相融合，得到与所述目标文件对应的图书文件。

将上述步骤中分别生成了各个角色在不同情绪下的角色画像、各个角色对应的情绪标签以及故事片段集，因此将上述信息相融合得到所述目标文件对应的图书文件。

进一步的，由于故事片段集中各个故事片段均含有不同的角色，不同的角色在各个故事片段中呈现出不同的情绪标签及角色画像，因此根据各个故事片段中各个角色呈现出的情绪标签，将与该情绪标签对应的角色画像匹配到对应的故事片段中，从而生成图书文件。

具体地，本步骤所述将所述角色画像、各个角色对应的情绪标签以及所述故事片段集相融合，得到与所述目标文件对应的图书文件的步骤包括：

本步骤可以利用已训练的信息融合模型来实现，将上述角色画像、各个角色对应的情绪标签及故事片段集中各个故事片段输入至信息融合模型，得到所述信息融合模型输出的图书文件。所述信息融合模型是一种深度网络模型，是通过将所述角色画像样本集、角色情绪标签样本集和故事片段集均输入到预设的第五神经网络模型，对所述第五神经网络模型进行多次训练，得到的已训练完成的信息融合模型。

具体地，将角色画像样本集、角色情绪标签样本集以及故事片段集输入到预设的第五神经网络模型，得到所述第五神经网络模型输出图书文件。所述第五神经网络模型输出的图书文件信息为对目标文件对应的漫画信息的预测值，利用图书样本的中的图书文件信息真实值对第五神经网络模型输出的图书文件的预测值进行误差计算，并根据误差计算，得到所述预测值与真实值之间的误差，并根据所述误差对所述第五神经网络模型的参数进行优化。重复将角色画像样本集、角色情绪标签样本集以及故事片段集输入到预设的第五神经网络模型，根据模型输出的图书文件内容的预测值对模型参数进行优化的步骤，直至所述误差满足预设条件，得到训练完成的信息融合模型。

在一种实施方式中，所述第五神经网络模型为生成对抗网络，将出的故事片段集，角色在不同情绪下的画像样本集以及情绪标签样本集一起输入到生成对抗网络(GAN网络)中，最终生成M个连续的故事情节的卡通漫画，而且卡通漫画配有文字表达，并且角色根据情节展现出不同的情绪。

为了实现图书文件中所含内容的进一步精简，以及提高输出图书文件的效率，所述将所述文字信息输入至已训练的故事信息提取模型，得到所述故事信息提取模型输出的故事片段集的步骤之后，还包括：

也即是将步骤S1中提取出的N个故事片段输入到gpt2网络中，将故事片段进行二次提炼，创作出更短更具有代表性的N段故事片段

下面结合图5，对本实施例所提供的方法做进一步的说明。

首先提取出目标文件中所含文字信息的N个故事片段S、M个角色信息P以及M个角色信息在不同的故事片段中呈现出的情绪信息集合E。

其次，将情绪信息集合E和M个角色信息P输入至cnn+resnet网络中，生成不同角色在不同情绪标签下的角色画像，同时将N个故事片段S依次输入至GPT2网络，得到与N个故事片段分别对应的精炼故事片段

再次，将不同角色在不同情绪标签下的角色画像、情绪信息集合E，以及精炼故事片段

输入至信息融合模型(生成对抗网络GAN)中，通过信息融合模型得到生成的图书作品。

本发明所提供的方法，可以快速的将现有的文学作品转化成含有插图的图书作品，不仅仅提高了图书作品生成的效率，减轻图书创作工作者的工作量，还能自动生成角色画像，解决目前带有插图的图书作品资源匮乏的问题，因此具有较高的实用价值。

示例性设备

在上述方法的基础上，本实施例还公开了一种图书生成设备，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的图书生成方法的步骤。其中，所述图书生成设备可以为手机、平板电脑或智能电视。

具体的，如图6所示，所述图书生成设备包括至少一个处理器(processor)20以及存储器(memory)22，还可以包括显示屏21、通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

另一方面，一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的图书生成方法的步骤。

本发明提出了一种图书生成方法，图书生成设备及存储介质，通过目标文件中含有的文字信息确定其文字信息中含有的故事片段集和角色信息集；根据所述角色信息集中所述角色特征的描述文字信息和所述故事片段集中含有的所述故事片段，确定所述故事片段中与所述角色对应的情绪标签集；其中，所述情绪标签集包括各个角色在各个故事片段中对应的情绪标签；根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的图书文件。通过从现有故事文件中提取故事片段和角色信息，并将故事片段和角色信息相融合生成图书作品，本发明利用语言处理技术和图像生成技术实现将现有故事文件转化成图书文件，克服了含有绘制图片的图书文件匮乏的缺陷。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims

1.一种图书生成方法，其特征在于，包括：

根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的绘画书文件。

2.根据权利要求1所述的图书生成方法，其特征在于，根据所述文字信息确定与所述目标文件对应的故事片段集的步骤包括：

3.根据权利要求2所述的图书生成方法，其特征在于，所述故事信息提取模型包括：中间向量提取模块、分类器模块和片段集合模块；

将所述文字信息输入已训练的故事信息提取模型，得到所述故事信息提取模型输出的故事片段集的步骤包括：

4.根据权利要求2所述的图书生成方法，其特征在于，根据目标文件中含有的文字信息确定其文字信息中含有的角色信息集的步骤包括：

5.根据权利要求4所述的图书生成方法，其特征在于，所述角色信息提取模型包括：时序模块和特征提取模块；

6.根据权利要求4所述的图书生成方法，其特征在于，所述根据所述角色信息集中所述角色特征的描述文字信息和所述故事片段集中含有的所述故事片段，确定所述故事片段中与所述角色对应的情绪标签集的步骤包括：

将所述故事片段集和所述角色信息集输入已训练的情绪信息提取模型，通过所述情绪信息提取模型得到角色的情绪标签集，其中，所述情绪信息提取模型是基于故事片段样本集、角色信息样本集和角色情绪标签样本集之间的对应关系训练得到的，所述角色情绪标签样本集为根据所述故事片段样本集中所含有的故事片段样本和角色信息样本集中含有的角色特征的描述信息生成的。

7.根据权利要求2所述的图书生成方法，其特征在于，所述根据故事片段集、角色信息集和所述情绪标签集得到与所述目标文件对应的图书文件的步骤包括：

8.根据权利要求7所述的图书生成方法，其特征在于，所述根据角色信息集和各个角色对应的情绪标签，生成各个角色在不同情绪标签下的角色画像的步骤包括：

9.根据权利要求7所述的图书生成方法，其特征在于，所述将所述角色画像、各个角色对应的情绪标签以及所述故事片段集相融合，得到与所述目标文件对应的图书文件的步骤包括：

10.根据权利要求2-9任一项所述的图书生成方法，其特征在于，所述将所述文字信息输入至已训练的故事信息提取模型，得到所述故事信息提取模型输出的故事片段集的步骤之后，还包括：

11.一种图书生成设备，其特征在于，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-10任一项所述的图书生成方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-10任一项所述的图书生成方法的步骤。