CN118013946B - 一种基于人工智能的写作方法、***、存储介质及计算机 - Google Patents
一种基于人工智能的写作方法、***、存储介质及计算机 Download PDFInfo
- Publication number
- CN118013946B CN118013946B CN202410417566.8A CN202410417566A CN118013946B CN 118013946 B CN118013946 B CN 118013946B CN 202410417566 A CN202410417566 A CN 202410417566A CN 118013946 B CN118013946 B CN 118013946B
- Authority
- CN
- China
- Prior art keywords
- news
- image
- text
- training
- manuscripts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 119
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000012163 sequencing technique Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 35
- 238000010606 normalization Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Abstract
本发明提供了一种基于人工智能的写作方法、***、存储介质及计算机，写作方法，包括：根据训练新闻图像和训练文本信息构建多级跨模态检索模型；获取预设时间内某新闻事件的新闻图像以及根据新闻图像记录的文本信息；将新闻图像和文本信息输入多级跨模态检索模型，获取新闻图像与文本信息的多级跨模态相似性后检索与新闻图像相关的新闻文稿并排序，选取若干新闻文稿作为对照文稿并导入文本生成模型生成新闻文本；根据预设评价指标对新闻文本进行评价，以提高新闻文本的可读性。本发明提供的基于人工智能的写作方法提高了新闻文本的效率和准确性，降低了个人主观的影响。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的写作方法、***、存储介质及计算机。
背景技术
人工智能是智能学科重要的组成部分，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。
人们及时传播信息和监督社会的重要方式之一是新闻报道，对社会稳定发展非常重要。因此，这就要求新闻写作高效且准确，能够全天候及时的产出大量高质量新闻。然而，目前传统新闻写作主要依赖人工记者撰写，效率比较低，难免会出现延迟和错误，影响新闻的时效性和准确性。同时，传统写作也易受个人主观因素影响，新闻报道的真实性和客观性难以保证。
发明内容
基于此，本发明的目的是提供一种基于人工智能的写作方法、***、存储介质及计算机，以解决现有技术中存在的技术问题。
本发明提出一种基于人工智能的写作方法，包括：
根据若干训练新闻图像和若干训练文本信息构建多级跨模态检索模型；
获取预设时间内某新闻事件的新闻图像以及根据所述新闻图像记录的文本信息；
将所述新闻图像和所述文本信息输入所述多级跨模态检索模型，获取所述新闻图像与所述文本信息的多级跨模态相似性；
根据所述多级跨模态相似性确定新闻图像中的目标图像，根据所述目标图像检索相关的新闻文稿并排序，选取若干所述新闻文稿作为对照文稿；
将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本；
根据预设评价指标对所述新闻文本进行评价，根据评价结果确定是否需要进行后处理，以提高所述新闻文本的可读性；
所述将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本的步骤包括：
获取所述目标图像在公共表示空间的公共特征表示；
获取生成前一个词汇解码器的隐藏状态，根据生成前一个词汇解码器的隐藏状态和公共图像特征获取视觉上下文特征；
根据所述视觉上下文特征和生成前一个词汇的嵌入特征生成解码器的当前隐藏状态；
根据所述解码器的当前隐藏状态生成当前文本词汇，根据所述当前文本词汇的词义将其映射到新闻词表空间中，获取与当前文本词汇对应的新闻词汇；
获取若干所述对照文稿的上下文本特征，根据若干所述对照文稿的上下文本特征和所述解码器的当前隐藏状态计算若干所述对照文稿中文本的检索得分，根据所述检索得分提取所述对照文稿的目标文本；
根据所述目标文本和所述新闻词汇生成与所述新闻事件对应的新闻文本。
可选地，构建所述多级跨模态检索模型包括：
将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征；
将所述训练文本信息导入至预训练模型中，获取所述训练文本信息的文本节点特征；
将所述图像节点特征和所述文本节点特征导入至连接函数中进行学习，得到所述训练新闻图像的图像特征向量和所述训练文本信息的文本特征向量；
计算所述图像特征向量和所述文本特征向量之间的相似性，以得到所述多级跨模态检索模型。
可选地，所述将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征的步骤包括：
将预训练的ResNet152网络中最后一个卷积层的特征作为输出，将输出的特征导入至全连接层获得图像的全局特征；
根据所述训练新闻图像中的边注意力系数和所述全局特征构建第一图注意力网络，获取所述第一图注意力网络中各个节点对应的图像注意力系数；
分别将所述图像注意力系数进行归一化处理，得到各个节点对应的图像节点特征。
可选地，所述归一化处理的表达式为：
式中，表示归一化函数，表示激活函数，i表示所述训练新闻图像中的第i个节点，为节点i对应的图像注意力系数，为归一化学习参数， N表示所述训练新闻图像中节点的数量。
可选地，计算所述图像特征向量和所述文本特征向量之间的相似性的表达式为：
其中，j表示第j个训练新闻图像，表示图像特征向量，表示文本特征向量。
可选地，所述检索得分的表达式为：
其中，为激活函数，、为上下文本特征的两个可学习参数，、为解码器的两个可学习参数，为对照文稿的上下文本特征，为解码器的当前隐藏状态。
可选地，在将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本之后，所述写作方法还包括：
基于所述新闻文本构建全局词频共现矩阵，，表示全局词频共现矩阵的维度，v为全局词频中词汇表的大小；
对所述新闻文本进行局部上下文窗口划分，计算词的局部上下文窗口中，词出现的次数，表示为；
将代入全局对数双线性回归模型进行训练，以找出该局部上下文窗口中的中心词，依次对所有的局部上下窗口训练，得到所有上下窗口对应的中心词；
对所有的中心词进行判断分析，进而确定该新闻事件整体对应的中心词。
本发明还提出一种基于人工智能的写作***，包括；
构建模块，用于根据若干训练新闻图像和若干训练文本信息构建多级跨模态检索模型；
获取模块，用于获取预设时间内某新闻事件的新闻图像以及根据所述新闻图像记录的文本信息；
输入模块，用于将所述新闻图像和所述文本信息输入所述多级跨模态检索模型，获取所述新闻图像与所述文本信息的多级跨模态相似性；
选取模块，用于根据所述多级跨模态相似性确定新闻图像中的目标图像，根据所述目标图像检索相关的新闻文稿并排序，选取若干所述新闻文稿作为对照文稿；
生成模块，用于将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本；
评价模块，用于根据预设评价指标对所述新闻文本进行评价，根据评价结果确定是否需要进行后处理，以提高所述新闻文本的可读性；
其中，所述将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本的步骤包括：
获取所述目标图像在公共表示空间的公共特征表示；
获取生成前一个词汇解码器的隐藏状态，根据生成前一个词汇解码器的隐藏状态和公共图像特征获取视觉上下文特征；
根据所述视觉上下文特征和生成前一个词汇的嵌入特征生成解码器的当前隐藏状态；
根据所述解码器的当前隐藏状态生成当前文本词汇，根据所述当前文本词汇的词义将其映射到新闻词表空间中，获取与当前文本词汇对应的新闻词汇；
获取若干所述对照文稿的上下文本特征，根据若干所述对照文稿的上下文本特征和所述解码器的当前隐藏状态计算若干所述对照文稿中文本的检索得分，根据所述检索得分提取所述对照文稿的目标文本；
根据所述目标文本和所述新闻词汇生成与所述新闻事件对应的新闻文本。
本发明还提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于人工智能的写作方法。
本发明还提出一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于人工智能的写作方法。
本发明相比于现有技术的有益效果为：本申请提供的基于人工智能的写作方法，首先选取若干用于训练的新闻图像和文本信息构建多级跨模态检索模型，多级跨模态检索模型计算图像与文本之间的相似性，减少异质性差距，实现不同模态数据之间的细粒度交互，提高多级跨模态检索模型的检索精度。多级跨模态检索模型构建完成后，获取具体新闻事件的新闻图像和对应的文本信息，将新闻图像和文本信息输入至构建的多级跨模态检索模型中，实现图像与文本模态数据之间的细粒度交互，确定新闻图像中的目标图像，根据目标图像进而检索出与该新闻事件最相关的若干新闻文稿作为对照文稿，通过若干对照文稿引导文本生成模型生成与该新闻事件相匹配的新闻文本，提高新闻文本的生成效率和准确性，减少个人的主观因素的影响，适合大范围推广。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明第一实施例中的基于人工智能的写作方法的流程图；
图2为本发明第五实施例中的计算机的结构框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的基于人工智能的写作方法，所述基于人工智能的写作方法具体包括步骤S10至S60：
S10，根据若干训练新闻图像和若干训练文本信息构建多级跨模态检索模型；
随着神经网络、深度学习和生成模型等技术的快速发展，通过预训练相关的模型，使得机器具有了比较强的语义理解能力和长文本生成能力，也为新闻自动写作提供了可能，以提高新闻写作的效率和客观性，因此，本申请致力于实现智能化的新闻图像分析，以新闻文本的快速生成为需求，即提供现场的新闻图像，通过计算机及时根据新闻事件撰写出高质量对应的新闻稿件，提高新闻的时效性和准确性以及减少新闻稿件个人主观因素的影响。
在具体实施过程中，首先选取现有的新闻图像和文本信息构成训练集，表示第m个训练样本；具体的，通过训练新闻图像和训练文本信息构建多级跨模态检索模型的步骤包括：
S11，将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征；
在具体实施过程中，首先将训练新闻图像导入至ImageNet 预训练的 ResNet152网络中，保留ResNet152网络中最后一个卷积层的特征作为输出，之后将输出的特征导入至一个全连接层，并将该全连接层的输出作为训练新闻图像的全局特征；
根据所述训练新闻图像中的边注意力系数和所述全局特征构建第一图注意力网络，获取所述第一图注意力网络中各个节点对应的图像注意力系数；分别将所述图像注意力系数进行归一化处理，得到各个节点对应的图像节点特征，将各个节点对应的图像节点特征融合，进而得到所述训练新闻图像整体的图像节点特征。
在具体实施过程中，对于训练新闻图像中的不同节点特征，需要分别求对应的图像注意力系数，然后将所有节点对应的图像注意力系数进行归一化处理，得到各个节点对应的图像节点特征，在本实施例中，归一化处理的表达式为：
式中，表示归一化函数，表示激活函数，i表示所述训练新闻图像中的第i个节点，为节点i对应的图像注意力系数，为归一化学习参数， N表示所述训练新闻图像中节点的数量。
S12，将所述训练文本信息导入至预训练模型中，获取所述训练文本信息的文本节点特征；
在具体实施过程中，可以通过Bert 模型来提取训练文本信息中的词汇特征，根据词汇特征和节点之间的注意力系数构建第二图注意力网络，获取第二图注意力网络中各个节点对应的文本注意力系数；分别将各个节点对应的文本注意力系数进行归一化处理，得到各个节点对应的文本节点特征，将各个节点对应的文字节点特征融合，进而得到训练文本信息整体的文本节点特征。
S13，将所述图像节点特征和所述文本节点特征导入至连接函数中进行学习，得到所述训练新闻图像的图像特征向量和所述训练文本信息的文本特征向量；
在具体实施时，将图像节点特征和文本节点特征导入对应的连接函数中进行学习，既可得到训练新闻图像中各个节点对应的图像特征向量和训练文本信息的文本特征向量；具体的，在本实施例中，图像节点特征的连接函数的表达式为：
式中，表示连接函数，i表示训练新闻图像中的第i个节点，为节点i对应的图像节点特征，为连接学习参数，N表示训练新闻图像中节点的数量，将各个节点对应的图像特征向量融合，进而得到训练新闻图像整体的图像特征向量；类似的，训练文本信息的文本特征向量与训练新闻图像的图像特征向量计算过程类似，此处不再赘述。
S14，计算所述图像特征向量和所述文本特征向量之间的相似性，以得到所述多级跨模态检索模型。
在具体实施时，本申请通过计算图像特征向量和文本特征向量之间的相似性，以提供全面的细粒度跨模态数据关系度量，实现不同模态数据之间的细粒度交互；具体的，计算所述图像特征向量和所述文本特征向量之间的相似性的表达式为：
其中，j表示第j个训练新闻图像，表示图像特征向量，表示文本特征向量。
进一步的，为了整合多级跨模态检索模型的相似性，可以采用Circle 损失函数使无关跨模态数据之间的相似性变小，使相关跨模态数据间的相似性增大，优选的，可以通过计算图像与文本之间的特征相似度得分来确定损失函数的收敛情况；经过训练后的多级跨模态检索模型，通过输入相应的文本，即可在图像***中得到对应的相似图像，类似的，输入相应的图像，也可在文本***中得到对应的相似文本。
S20，获取预设时间内某新闻事件的新闻图像以及根据所述新闻图像记录的文本信息；
在具体实施时，当发生新闻事件时，新闻工作人员会第一时间赶赴现场进行报道、拍摄若干图像照片，并进行相应的记录，以得到关于该时间的新闻图像和文本信息，将新闻图像和文本信息发送至服务器进行处理，服务器及时接收该新闻图像和文本信息，文本信息包括但不限于事件名称、现场采集的关键词等信息。
S30，将所述新闻图像和所述文本信息输入所述多级跨模态检索模型，获取所述新闻图像与所述文本信息的多级跨模态相似性；
在具体实施时，将获取的该新闻事件的新闻图像和对应的文本信息输入至构建好的多级跨模态检索模型，获取新闻图像与文本信息的多级跨模态相似性。
S40，根据所述多级跨模态相似性确定新闻图像中的目标图像，根据所述目标图像检索相关的新闻文稿并排序，选取若干所述新闻文稿作为对照文稿；
在具体实施时，一个新闻事件可能拍摄有若干张新闻图像，***根据新闻图像与文本信息的多级跨模态相似性确定若干张新闻图像中与记录文本相符合的目标图像，根据目标图像在数据库中进行检索，以查询与该新闻事件相关的新闻文稿；可以理解的是，根据文本信息确定目标图像，以及根据目标图像检索相关的新闻文稿过程类似，为多级跨模态检索模型进行的两个相向过程；可选的，可以设置展示的相关新闻文稿的数量，优选的，在本实施例中，展示的相关新闻文稿的数量为10，也即将某新闻事件得到的目标图像输入至多级跨模态检索模型后，可以检索得到10篇相关性比较高的新闻文稿并依次排序。
S50，将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本；
通过文本生成模型生成新闻事件对应的新闻文本的步骤包括：获取所述目标图像在公共表示空间的公共特征表示；获取生成前一个词汇解码器的隐藏状态，根据生成前一个词汇解码器的隐藏状态和公共图像特征获取视觉上下文特征；根据所述视觉上下文特征和生成前一个词汇的嵌入特征生成解码器的当前隐藏状态；根据所述解码器的当前隐藏状态生成当前文本词汇，根据所述当前文本词汇的词义将其映射到新闻词表空间中，获取与当前文本词汇对应的新闻词汇；获取若干所述对照文稿的上下文本特征，根据若干所述对照文稿的上下文本特征和所述解码器的当前隐藏状态计算若干所述对照文稿中文本的检索得分，根据所述检索得分提取所述对照文稿的目标文本；根据所述目标文本和所述新闻词汇生成与所述新闻事件对应的新闻文本。
在具体实施时，本申请的文本生成模型为基于检索文本的自适应融合模型，通过检索的若干相关对照文稿引导与新闻事件相关的新闻文本的生成；将新闻事件对应的新闻图像中的目标图像作为生成任务中解码器的输入，将对照文稿的文本特征用作解码器的检索特征，可以实现词汇在生成和检索上的自适应融合；可以理解的是，检索的对照文稿中可能存在许多冗余信息，通过计算检索得分提取检索文本中可用的信息，融合到新闻文本中，可以有效的提高文本生成的准确性和效率。可选的，检索得分由对照文稿的上下文本特征和解码器的当前隐藏状态决定，检索得分的表达式为：
其中，为激活函数，、为上下文本特征的两个可学习参数，、为解码器的两个可学习参数，为对照文稿的上下文本特征，为解码器的当前隐藏状态。
可选的，解码器可以选择LSTM（Long Short-Term Memory，长短期记忆网络）解码器。
S60，根据预设评价指标对所述新闻文本进行评价，根据评价结果确定是否需要进行后处理，以提高所述新闻文本的可读性。
在具体实施时，新闻文本生成后，可以进一步对新闻文本的逻辑性、流畅性、完整性等方面进行检查，确定是否满足要求，逻辑性主要检查新闻表述是否连贯清晰，没有逻辑错误或语句前后矛盾的情况，查看文章段落之间的衔接是否顺畅自然，是否存在逻辑断裂的情况；流畅性主要检查语言表达是否通顺、风格一致，没有语法错误或语句不通顺的地方，逐句阅读文章，感受句子之间的衔接是否平顺自然；完整性主要检查新闻结构是否完整，包含必要的标题、导语、正文、结尾等部分，是否遗漏了重要信息等方面。
综上，本申请提供的基于人工智能的写作方法，首先选取若干用于训练的新闻图像和文本信息构建多级跨模态检索模型，多级跨模态检索模型计算图像与文本之间的相似性，减少异质性差距，实现不同模态数据之间的细粒度交互，提高多级跨模态检索模型的检索精度。多级跨模态检索模型构建完成后，获取具体新闻事件的新闻图像和对应的文本信息，将新闻图像和文本信息输入至构建的多级跨模态检索模型中，实现图像与文本模态数据之间的细粒度交互，确定新闻图像中的目标图像，根据目标图像进而检索出与该新闻事件最相关的若干新闻文稿作为对照文稿，通过若干对照文稿引导文本生成模型生成与该新闻事件相匹配的新闻文本，提高新闻文本的生成效率和准确性，减少个人的主观因素的影响，适合大范围推广。
进一步的，在本实施例中，为了提高用户在阅读新闻文本时的效率，快速了解该新闻事件的主要内容，在生成与所述新闻图像对应的新闻文本之后，所述基于人工智能的写作方法还包括：基于所述新闻文本构建全局词频共现矩阵，，表示全局词频共现矩阵的维度，v为全局词频中词汇表的大小；对所述新闻文本进行局部上下文窗口划分，计算词的局部上下文窗口中，词出现的次数，表示为；将代入全局对数双线性回归模型进行训练，以找出该局部上下文窗口中的中心词，依次对所有的局部上下窗口训练，得到所有上下窗口对应的中心词，对所有的中心词进行判断分析，进而确定该新闻事件整体对应的中心词。
在具体实施时，通过全局对数双线性回归模型同时引入全局矩阵分解和局部上下文窗口方法，实现对词的全局词频信息和局部上下文信息的捕获。优选的，在本实施例中，全局对数双线性回归模型的表达式为：
其中，表示权重函数，词汇表的大小，为词的词向量，为词的词向量，为词的偏置向量，为词的偏置向量，为词的局部上下文窗口中词出现的次数,表示对数函数。
全局对数双线性回归模型训练目标为最小化上述表达式，即根据全局词频信息来指导函数优化。
实施例二
本实施例提供一种基于人工智能的写作***，包括：
构建模块，用于根据若干训练新闻图像和若干训练文本信息构建多级跨模态检索模型；
可选的，构建模块具体包括：
第一导入单元，用于将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征；
可选的，第一导入单元具体用于，将预训练的ResNet152网络中最后一个卷积层的特征作为输出，将输出的特征导入至全连接层获得图像的全局特征；
根据所述训练新闻图像中的边注意力系数和所述全局特征构建第一图注意力网络，获取所述第一图注意力网络中各个节点对应的图像注意力系数；
分别将所述图像注意力系数进行归一化处理，得到各个节点对应的图像节点特征。
可选的，所述归一化处理的表达式为：
式中，表示归一化函数，表示激活函数，i表示所述训练新闻图像中的第i个节点，为节点i对应的图像注意力系数，为归一化学习参数， N表示所述训练新闻图像中节点的数量。
第二导入单元，用于将所述训练文本信息导入至预训练模型中，获取所述训练文本信息的文本节点特征；
第三导入单元，用于将所述图像节点特征和所述文本节点特征导入至连接函数中进行学习，得到所述训练新闻图像的图像特征向量和所述训练文本信息的文本特征向量；
计算单元，用于计算所述图像特征向量和所述文本特征向量之间的相似性，以得到所述多级跨模态检索模型。
可选的，计算所述图像特征向量和所述文本特征向量之间的相似性的表达式为：
其中，j表示第j个训练新闻图像，表示图像特征向量，表示文本特征向量。
获取模块，用于获取预设时间内某新闻事件的新闻图像以及根据所述新闻图像记录的文本信息；
输入模块，用于将所述新闻图像和所述文本信息输入所述多级跨模态检索模型，获取所述新闻图像与所述文本信息的多级跨模态相似性；
选取模块，用于根据所述多级跨模态相似性确定新闻图像中的目标图像，根据所述目标图像检索相关的新闻文稿并排序，选取若干所述新闻文稿作为对照文稿；
生成模块，用于将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本；
可选的，生成模块具体用于，所述将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本的步骤包括：
获取所述目标图像在公共表示空间的公共特征表示；
获取生成前一个词汇解码器的隐藏状态，根据生成前一个词汇解码器的隐藏状态和公共图像特征获取视觉上下文特征；
根据所述视觉上下文特征和生成前一个词汇的嵌入特征生成解码器的当前隐藏状态；
根据所述解码器的当前隐藏状态生成当前文本词汇，根据所述当前文本词汇的词义将其映射到新闻词表空间中，获取与当前文本词汇对应的新闻词汇；
获取若干所述对照文稿的上下文本特征，根据若干所述对照文稿的上下文本特征和所述解码器的当前隐藏状态计算若干所述对照文稿中文本的检索得分，根据所述检索得分提取所述对照文稿的目标文本；
所述检索得分的表达式为：
其中，为激活函数，、为上下文本特征的两个可学习参数，、为解码器的两个可学习参数，为对照文稿的上下文本特征，为解码器的当前隐藏状态。
根据所述目标文本和所述新闻词汇生成与所述新闻事件对应的新闻文本。
评价模块，用于根据预设评价指标对所述新闻文本进行评价，根据评价结果确定是否需要进行后处理，以提高所述新闻文本的可读性。
实施例三
本实施例与实施例二不同之处在于，在本实施例中，基于人工智能的写作***还包括：中心词提取模块；
优选的，中心词提取模块具体用于基于所述新闻文本构建全局词频共现矩阵，，表示全局词频共现矩阵的维度，v为全局词频中词汇表的大小；对所述新闻文本进行局部上下文窗口划分，计算词的局部上下文窗口中，词出现的次数，表示为；将入全局对数双线性回归模型进行训练，以找出该局部上下文窗口中的中心词，依次对所有的局部上下窗口训练，得到所有上下窗口对应的中心词，对所有的中心词进行判断分析，进而确定该新闻事件整体对应的中心词。
实施例四
本实施例提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的基于人工智能的写作方法。
实施例五
本发明还提出一种计算机，请参阅图2，所示为本发明实施例中的计算机，包括存储器10、处理器20以及存储在所述存储器10上并可在所述处理器20上运行的计算机程序30，所述处理器20执行所述计算机程序30时实现上述的基于人工智能的写作方法。
其中，存储器10至少包括一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器10在一些实施例中可以是计算机的内部存储单元，例如该计算机的硬盘。存储器10在另一些实施例中也可以是外部存储装置，例如插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器10还可以既包括计算机的内部存储单元也包括外部存储装置。存储器10不仅可以用于存储安装于计算机的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
其中，处理器20在一些实施例中可以是电子控制单元 (Electronic ControlUnit，简称ECU，又称行车电脑)、中央处理器（Central Processing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器10中存储的程序代码或处理数据，例如执行访问限制程序等。
需要指出的是，图2示出的结构并不构成对计算机的限定，在其它实施例当中，该计算机可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于人工智能的写作方法，其特征在于，包括：
根据若干训练新闻图像和若干训练文本信息构建多级跨模态检索模型；
获取预设时间内某新闻事件的新闻图像以及根据所述新闻图像记录的文本信息；
将所述新闻图像和所述文本信息输入所述多级跨模态检索模型，获取所述新闻图像与所述文本信息的多级跨模态相似性；
根据所述多级跨模态相似性确定新闻图像中的目标图像，根据所述目标图像检索相关的新闻文稿并排序，选取若干所述新闻文稿作为对照文稿；
将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本；
根据预设评价指标对所述新闻文本进行评价，根据评价结果确定是否需要进行后处理，以提高所述新闻文本的可读性；
其中，所述将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本的步骤包括：
获取所述目标图像在公共表示空间的公共特征表示；
获取生成前一个词汇解码器的隐藏状态，根据生成前一个词汇解码器的隐藏状态和公共图像特征获取视觉上下文特征；
根据所述视觉上下文特征和生成前一个词汇的嵌入特征生成解码器的当前隐藏状态；
根据所述解码器的当前隐藏状态生成当前文本词汇，根据所述当前文本词汇的词义将其映射到新闻词表空间中，获取与当前文本词汇对应的新闻词汇；
获取若干所述对照文稿的上下文本特征，根据若干所述对照文稿的上下文本特征和所述解码器的当前隐藏状态计算若干所述对照文稿中文本的检索得分，根据所述检索得分提取所述对照文稿的目标文本；
根据所述目标文本和所述新闻词汇生成与所述新闻事件对应的新闻文本；构建所述多级跨模态检索模型包括：
将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征；
将所述训练文本信息导入至预训练模型中，获取所述训练文本信息的文本节点特征；
将所述图像节点特征和所述文本节点特征导入至连接函数中进行学习，得到所述训练新闻图像的图像特征向量和所述训练文本信息的文本特征向量；
计算所述图像特征向量和所述文本特征向量之间的相似性，以得到所述多级跨模态检索模型；
所述将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征的步骤包括：
将预训练的ResNet152网络中最后一个卷积层的特征作为输出，将输出的特征导入至全连接层获得图像的全局特征；
根据所述训练新闻图像中的边注意力系数和所述全局特征构建第一图注意力网络，获取所述第一图注意力网络中各个节点对应的图像注意力系数；
分别将所述图像注意力系数进行归一化处理，得到各个节点对应的图像节点特征；
所述归一化处理的表达式为：
式中，表示归一化函数，表示激活函数，i表示所述训练新闻图像中的第i个节点，为节点i对应的图像注意力系数，为归一化学习参数， N表示所述训练新闻图像中节点的数量。
2.根据权利要求1所述的基于人工智能的写作方法，其特征在于，计算所述图像特征向量和所述文本特征向量之间的相似性的表达式为：
其中，j表示第j个训练新闻图像，表示图像特征向量，表示文本特征向量。
3.根据权利要求1所述的基于人工智能的写作方法，其特征在于，所述检索得分的表达式为：
其中，为激活函数，、为上下文本特征的两个可学习参数，、为解码器的两个可学习参数，为对照文稿的上下文本特征，为解码器的当前隐藏状态。
4.根据权利要求1所述的基于人工智能的写作方法，其特征在于，在将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本之后，所述写作方法还包括：
基于所述新闻文本构建全局词频共现矩阵，，表示全局词频共现矩阵的维度，v为全局词频中词汇表的大小；
对所述新闻文本进行局部上下文窗口划分，计算词的局部上下文窗口中，词出现的次数，表示为；
将代入全局对数双线性回归模型进行训练，以找出该局部上下文窗口中的中心词，依次对所有的局部上下窗口训练，得到所有上下窗口对应的中心词；
对所有的中心词进行判断分析，进而确定该新闻事件整体对应的中心词。
5.一种基于人工智能的写作***，其特征在于，包括；
构建模块，用于根据若干训练新闻图像和若干训练文本信息构建多级跨模态检索模型；
获取模块，用于获取预设时间内某新闻事件的新闻图像以及根据所述新闻图像记录的文本信息；
输入模块，用于将所述新闻图像和所述文本信息输入所述多级跨模态检索模型，获取所述新闻图像与所述文本信息的多级跨模态相似性；
选取模块，用于根据所述多级跨模态相似性确定新闻图像中的目标图像，根据所述目标图像检索相关的新闻文稿并排序，选取若干所述新闻文稿作为对照文稿；
生成模块，用于将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本；
评价模块，用于根据预设评价指标对所述新闻文本进行评价，根据评价结果确定是否需要进行后处理，以提高所述新闻文本的可读性；
其中，所述将若干所述对照文稿导入文本生成模型，生成所述新闻事件相对应的新闻文本的步骤包括：
获取所述目标图像在公共表示空间的公共特征表示；
获取生成前一个词汇解码器的隐藏状态，根据生成前一个词汇解码器的隐藏状态和公共图像特征获取视觉上下文特征；
根据所述视觉上下文特征和生成前一个词汇的嵌入特征生成解码器的当前隐藏状态；
根据所述解码器的当前隐藏状态生成当前文本词汇，根据所述当前文本词汇的词义将其映射到新闻词表空间中，获取与当前文本词汇对应的新闻词汇；
获取若干所述对照文稿的上下文本特征，根据若干所述对照文稿的上下文本特征和所述解码器的当前隐藏状态计算若干所述对照文稿中文本的检索得分，根据所述检索得分提取所述对照文稿的目标文本；
根据所述目标文本和所述新闻词汇生成与所述新闻事件对应的新闻文本；
构建所述多级跨模态检索模型包括：
将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征；
将所述训练文本信息导入至预训练模型中，获取所述训练文本信息的文本节点特征；
将所述图像节点特征和所述文本节点特征导入至连接函数中进行学习，得到所述训练新闻图像的图像特征向量和所述训练文本信息的文本特征向量；
计算所述图像特征向量和所述文本特征向量之间的相似性，以得到所述多级跨模态检索模型；
所述将所述训练新闻图像导入至预训练网络中，将所述预训练网络中最后一个卷积层的特征作为输出，获得所述训练新闻图像的图像节点特征的步骤包括：
将预训练的ResNet152网络中最后一个卷积层的特征作为输出，将输出的特征导入至全连接层获得图像的全局特征；
根据所述训练新闻图像中的边注意力系数和所述全局特征构建第一图注意力网络，获取所述第一图注意力网络中各个节点对应的图像注意力系数；
分别将所述图像注意力系数进行归一化处理，得到各个节点对应的图像节点特征；
所述归一化处理的表达式为：
式中，表示归一化函数，表示激活函数，i表示所述训练新闻图像中的第i个节点，为节点i对应的图像注意力系数，为归一化学习参数， N表示所述训练新闻图像中节点的数量。
6.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一所述的基于人工智能的写作方法。
7.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一所述的基于人工智能的写作方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410417566.8A CN118013946B (zh) | 2024-04-09 | 一种基于人工智能的写作方法、***、存储介质及计算机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410417566.8A CN118013946B (zh) | 2024-04-09 | 一种基于人工智能的写作方法、***、存储介质及计算机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118013946A CN118013946A (zh) | 2024-05-10 |
| CN118013946B true CN118013946B (zh) | 2024-06-28 |
Family
ID=
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116187317A (zh) * | 2022-12-12 | 2023-05-30 | 合肥讯飞数码科技有限公司 | 文本生成方法、装置、设备及计算机可读介质 |
| CN117349427A (zh) * | 2023-10-07 | 2024-01-05 | 中国传媒大学 | 一种面向舆情事件应对的人工智能多模态内容生成*** |
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116187317A (zh) * | 2022-12-12 | 2023-05-30 | 合肥讯飞数码科技有限公司 | 文本生成方法、装置、设备及计算机可读介质 |
| CN117349427A (zh) * | 2023-10-07 | 2024-01-05 | 中国传媒大学 | 一种面向舆情事件应对的人工智能多模态内容生成*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840287B (zh) | 一种基于神经网络的跨模态信息检索方法和装置 | |
| CN110489538B (zh) | 基于人工智能的语句应答方法、装置及电子设备 | |
| CN109657230B (zh) | 融合词向量和词性向量的命名实体识别方法及装置 | |
| CN112131350B (zh) | 文本标签确定方法、装置、终端及可读存储介质 | |
| CN112464656B (zh) | 关键词抽取方法、装置、电子设备和存储介质 | |
| CN111324728A (zh) | 文本事件摘要的生成方法、装置、电子设备及存储介质 | |
| CN110750635B (zh) | 一种基于联合深度学习模型的法条推荐方法 | |
| CN111832305B (zh) | 一种用户意图识别方法、装置、服务器和介质 | |
| CN110188189B (zh) | 一种基于知识的自适应事件索引认知模型提取文档摘要的方法 | |
| CN114661872B (zh) | 一种面向初学者的api自适应推荐方法与*** | |
| CN113360646A (zh) | 基于动态权重的文本生成方法、设备及存储介质 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及*** | |
| CN113392265A (zh) | 多媒体处理方法、装置及设备 | |
| CN111553159A (zh) | 一种问句生成方法及*** | |
| CN114065760B (zh) | 基于预训练语言模型的法律文本类案检索方法及*** | |
| CN117648429B (zh) | 基于多模态自适应检索式增强大模型的问答方法及*** | |
| CN113705207A (zh) | 语法错误识别方法及装置 | |
| CN109933787B (zh) | 文本关键信息的提取方法、装置及介质 | |
| CN116910251A (zh) | 基于bert模型的文本分类方法、装置、设备及介质 | |
| CN116955559A (zh) | 问答匹配方法、装置、电子设备及存储介质 | |
| CN118013946B (zh) | 一种基于人工智能的写作方法、***、存储介质及计算机 | |
| CN115512692A (zh) | 语音识别方法、装置、设备及存储介质 | |
| CN111813927A (zh) | 一种基于主题模型和lstm的句子相似度计算方法 | |
| CN113012685B (zh) | 音频识别方法、装置、电子设备及存储介质 | |
| CN115169472A (zh) | 针对多媒体数据的音乐匹配方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |