CN116432605A - 融入先验知识的作文评语生成方法及装置 - Google Patents
融入先验知识的作文评语生成方法及装置 Download PDFInfo
- Publication number
- CN116432605A CN116432605A CN202310700488.8A CN202310700488A CN116432605A CN 116432605 A CN116432605 A CN 116432605A CN 202310700488 A CN202310700488 A CN 202310700488A CN 116432605 A CN116432605 A CN 116432605A
- Authority
- CN
- China
- Prior art keywords
- composition
- attention
- knowledge
- priori knowledge
- comment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 236
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000008569 process Effects 0.000 claims abstract description 32
- 239000013598 vector Substances 0.000 claims description 83
- 238000009826 distribution Methods 0.000 claims description 75
- 238000012549 training Methods 0.000 claims description 43
- 230000007246 mechanism Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012552 review Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 19
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 241000722921 Tulipa gesneriana Species 0.000 description 22
- 230000003796 beauty Effects 0.000 description 5
- 239000003205 fragrance Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000723353 Chrysanthemum Species 0.000 description 2
- 235000007516 Chrysanthemum Nutrition 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 238000000265 homogenisation Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 241000445924 Epiphyllum <angiosperm> Species 0.000 description 1
- 206010023126 Jaundice Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000010413 gardening Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
一种融入先验知识的作文评语生成方法及装置,属于自然语言处理的技术领域。一种融入先验知识的作文评语生成方法在作文评语生成过程中,融合了两种知识,来共同生成高质量的作文评语,分别是:内部知识和先验知识;所述内部知识是指通过对作文内容的理解和概括得到的作文语义知识,所述先验知识则是指学习到的与作文标签相关的常频词汇知识。基于以上方法生成的作文评语内容不仅包含作文核心内容,还包含了对作文各个角度的评价,使得评语内容丰富且具备评价性质。
Description
技术领域
本发明公开一种融入先验知识的作文评语生成方法及装置,属于自然语言处理的技术领域。
背景技术
自然语言处理领域的文本生成任务指根据具体的任务目标,将一段原始文本转换为另一段目标文本,具体实施过程为对输入的原始文本数据进行理解和分析得到原始文本的隐含语义向量,然后通过该隐含向量生成目标文本,具有广泛的应用场景,如作文评语生成、故事生成、论文摘要生成等。在自动作文评阅***中,通过作文评语生成装置给出作文对应的评语,可增强智能作文评阅的可解释性。作文评语生成本质上是对作文文本进行语义理解和评价,由此进行语义可控的文本生成,其困难点包括长文本理解、基于标签信息的可控作文评语生成、评语知识空间的建模以及融合多种知识的评语生成,具有重要的理论价值和应用价值。
现有的评论生成方法大多是根据输入的文本内容,通过基于模板的相关技术,生成评论文本。
中国专利文献CN115309973A公开了一种基于文章内容生成评论的方法、设备及存储介质,其中他们获取等待自动填充评论的文章的目标信息,包括文章类别及文章关键字,通过目标信息在数据库中查找匹配的目标文章,对查找到的目标文章的评论进行筛选,得到目标信息对应的评论素材,最后,根据目标信息和评论素材,借助现有的自动造句工具、模板工具来生成目标评论。但是对于作文评语生成的场景来说,首先由于作文属于创造性的文本,不同作文的内容本身就具有极大的差异性,因此,无法通过检索数据库得到内容相似的作文;其次,根据模板、自动造句等方法得到的作文评语缺乏多样性。
考虑到以上基于模板方法的局限性,一些研究从文本本身来深度挖掘信息,提供更多信息来生成相关评论。中国专利文献CN113486649A公开了一种文本评论的生成方法以及电子设备,将待评论的文本,根据文本中每个句子的关键词,确定不同句子之间的语义关系,然后将每个句子对应的句子特征以及不同句子之间的语义关系,作为已训练的文本生成模型的输入,最后将文本生成模型输出的组合概率最高的多条词汇序列作为模型评论语句。然而,针对作文评语生成的场景来说,作文评语的语义不仅仅和作文内容相关,还包含了评论性质的文本,如果生成文本所需的信息仅仅来源于作文内容是远远不够的。因此作文评语生成任务的一个困难点在于其评语语义空间和作文语义空间之间的较大差异性。
综上,利用现有技术解决作文评语生成任务中遇到的技术依然存在问题:没有针对作文评语空间的建模方法,无法满足作文评语的词汇分布特征,从而导致多样性欠佳,无法使文本中蕴含多种知识以满足评语丰富的要求。没有关注到长文本理解对作文评价的阻碍问题。没有基于标签实现可控评语生成的方法,无法应对根据标签的不同生成不同的文本的需求。
发明内容
针对现有技术的不足,本发明公开一种融入先验知识的作文评语生成方法。
本发明还公开一种实现上述作文评语生成方法的装置。
本发明还提供了一种实现上述作文评语生成方法的可读存储介质。
本发明涉及作文评语生成任务,目标是根据作文内容和作文标签,生成涵盖作文核心内容且符合标签信息的合理评价文本,标签是指作文相关的其他信息,包括作者年级、作文类型等。
发明概述
本发明在作文评语生成过程中,融合了两种知识,来共同生成高质量的作文评语,分别是:内部知识和先验知识。所述内部知识是指通过对作文内容的理解和概括得到的作文语义知识,所述先验知识则是指学习到的与作文标签相关的常频词汇知识,例如符合标签的一些常用的作文评价词汇。
为解决长文本理解挑战,本发明采用无监督摘要抽取方法,抽取长文本中的核心内容构成作文摘要。在训练过程中,解码器每次生成一个字,多次迭代后生成完整的文本。解码过程中,采用注意力模块得到当前解码器状态对内部知识的注意力分布,采用互注意力模块得到当前解码状态和内部知识共同对先验知识的注意力分布,最后通过语义融合模块将内部知识和先验知识融合到解码过程中。
基于以上方法生成的作文评语内容不仅包含作文核心内容,还包含了对作文各个角度的评价,使得评语内容丰富且具备评价性质。在生成过程中,根据每一步得到的结果和参考评语中对应位置的字计算损失函数,以此来更新模型的参数。
技术术语解释
1、作文标签:指的是每篇作文的作者年级、作文类型等相关信息,令标签的类别数为O,真实的作文标签均包含O个种类。
2、先验知识:根据已有评语的词汇统计得到的上述每个标签类别对应的评语常用词汇表。
例如,对于6年级的记叙文,所对应的先验知识包含“描写”、“叙事”、“突出”、“表达”、“生动”、“流畅”等词汇;而对于6年级的议论文,所对应的先验知识包含“论证”、“观点”、“论述”、“议论文”、“说服力”等词汇。
3、先验知识库:包含所有标签对应的先验知识的总体。
本发明的技术方案如下:
一种融入先验知识的作文评语生成方法,其特征在于,包括:
S1:针对评语词汇的先验知识学习,根据已有的评语数据,得到不同作文标签下的评语常频词汇,以构建先验知识库;
S2:输入作文文本,利用无监督摘要抽取方法,抽取作文摘要,作为内部知识;
S3:输入内部知识,经过编码器,得到内部知识的语义向量;将作文标签输入外部知识库,得到对应的先验知识,将先验知识中的词汇拼接起来输入所述编码器,得到先验知识的语义向量;
S4:解码器根据当前解码状态,通过注意力模块和互注意力模块分别得到当前解码状态对内部知识和先验知识的注意力分布,接着通过语义融合模块将内部知识和先验知识融合到解码过程中,以输出生成作文评语。
根据本发明优选的,所述S1中构建先验知识库的方法,包括:
对已有的评语数据进行常频词的统计和筛选,首先,按照作文标签,将同属于一个类别标签下的评语划分为一个集合;接着,对一个类别标签对应的评语集合中的所有评语,先进行分词操作,并去除停用词;最后,对所述集合内的所有词汇统计词频,选择前m个常频词作为所述作文标签对应的先验知识,将所有标签对应的先验知识汇总构成先验知识库。
根据《全国新课标高考作文评分标准》、《义务教育语文课程标准》以及各省的中考作文评分标准可以发现,针对不同年级、不同类型的作文,评价的标准是不一样的,通过评语内容可以发现,由于不同年级,不同类型的作文的评价角度和评价标准的不同,因此不同标签下的作文在评语的用词上也存在很大的差别。基于以上的结论,本发明通过已有的作文评语数据,学习不同作文标签类别下的评语常频词,作为先验知识,接着将学习到的先验知识引入评语生成过程中,帮助模型生成更好的作文评语。
根据本发明优选的,所述S2中,利用无监督摘要抽取方法,抽取作文摘要,作为内部知识的具体方法,包括:
所述无监督摘要抽取采用的是无监督算法TextRank抽取作文摘要,TextRank的基本思想是以句子作为顶点,边则表示两个句子对应句向量之间的相似性,将一个文本转化为一个图结构,接着通过循环迭代计算顶点的TextRank值,最后选择排名高的顶点构成文本摘要,即选择句子作为抽取的基本单位,对应于TextRank算法中的图的顶点,令作文为,/>表示作文/>的第/>个句子,则共有/>个顶点,顶点之间的边则表示了句子之间的内容相关性,边的数目为/>,所述边的权重通过由对应句向量之间的余弦相似度计算得到;
对中每个句子/>得到的/>分数进行排序,取前k个得分最高的句子字符串按照原文中出现的顺序拼接为作文摘要文本/>,即作文摘要文本是由k个作文原文的句子按原文中出现的顺序排列构成,用于概括了原文的核心内容。
根据本发明优选的,所述S3中,所述编码器均为预训练好的BERT模型,英文为Bidirectional Encoder Representations from Transformers;
具体步骤如下:
S32:根据作文的标签,得到该标签对应的先验知识,即评语常用的m个常频词,/>是常频词构成的序列,/>则表示第m个常频词,一般是由1到4个词元组成的,将所述m个常频词拼接起来,输入到所述编码器中,得到先验知识编码后的语义向量/>:
根据本发明优选的,在S4中,所述解码器为基于单向LSTM解码器,英文LongShort-term Memory;
具体步骤如下:
在公式(4)中,表示词嵌入层;将第/>步输入的词元表示向量以及上一步解码器的状态/>输入LSTM,其中/>包含了基于单向LSTM解码器在上一个时间步中记忆细胞存储的信息/>和隐藏状态/>,基于单向LSTM解码器借助/>和/>,并结合当前的输入/>指的是当前第/>时刻的输入/>编码后的表示向量,得到第步的输出/>和第/>步的隐藏状态/>和细胞状态/>:
S42:根据第步的解码器状态/>和编码器输出/>计算/>对/>中每个词元的注意力分布,其中/>作为注意力机制中的查询Q,/>作为注意力机制中的键K和值V的来源;注意力分布的计算采用加性注意力的计算方式,计算第/>步解码器的状态/>和解码器的输出/>之间的注意力分布/>:
在公式(6)、公式(7)中,表示/>中第i个词元对应的注意力分数;/>表示/>对/>中/>个词元对应的注意力分数的整体表示;/>表示/>转置后的向量;/>表示中第i个词元的表示向量;/>、/>、/>和/>均是可训练的参数,注意力分布/>为在作文摘要文本词元上的一个概率分布,用于通知解码器在生成下一个词元的时候应该关注作文摘要文本中的哪些词元;
在公式(9)、公式(10)、公式(11)和公式(12)中,表示第/>步解码器的状态/>对/>中第i个词元的注意力分数;/>表示/>中/>个词元对应的注意力分数的整体表示;/>表示上下文向量/>对/>中第i个词元的注意力分数;/>表示/>对/>中/>个词元对应的注意力分数的整体表示;/>表示/>中第i个词元的表示向量;
、/>、/>、/>、/>、/>、/>和/>均是可学习的参数,/>是/>转置后的表示向量,/>是/>转置后的表示向量,/>表示/>对/>的注意力分布,/>表示/>对/>的注意力分布;在计算/>中,/>作为注意力机制中的查询(Q),/>作为注意力机制中的键(K)和值(V)的来源;在计算/>中,/>作为注意力机制中的查询(Q),/>作为注意力机制中的键(K)和值(V)的来源;
S46:为了将内部知识和先验知识融合到评语生成过程中,在S4中还包括语义融合模块,所述语义融合模块具体步骤如下:
S462:作文评语一般包含两个部分,第一部分是对作文核心内容的概括,第二部分是对作文各个角度的评价,因此,针对这两个部分,本发明采用了复制机制,分别从内部知识和先验知识中复制相关词汇加入到生成的文本中,具体步骤如下:
在公式(22)中,表示第t步真实评语的词元;/>表示评语的长度;表示第/>步解码器最终生成该词元的概率,以得到融入先验知识的作文评语生成模型。综上通过S2—S4得到融入先验知识的作文评语生成模型,到这里为止模型的方法描述就结束了,后面的部分是模型如何训练的方法。
根据本发明优选的,在S46中还包括S463融入先验知识的作文评语生成模型的训练流程,具体过程如下:
(a)根据已有的评语数据构造先验知识库,并使用新闻文本对模型中的LSTM部分进行预训练,形成训练好的LSTM和预训练好的BERT;选择新闻文本预训练的原因是新闻文本用词严谨,具备一定的评价性质,且长度和评语长度相似;
(b)根据训练数据对所述融入先验知识的作文评语生成模型进行联合训练;
(c)如所述融入先验知识的作文评语生成模型未完成训练,则转回步骤(b);
如果所述融入先验知识的作文评语生成模型完成训练,则保存融入先验知识的作文评语生成模型;
(d)利用保存融入先验知识的作文评语生成模型对附带标签的作文完成评语生成。
一种融入先验知识的作文评语生成方法的装置,其特征在于,包括:处理器、存储装置以及存储在存储装置上并在所述处理器上执行的计算机程序;
所述处理器执行计算机程序时实现:
判断是融入先验知识的作文评语生成模型的训练阶段还是使用阶段;
如果是训练阶段,则获取训练数据;根据训练数据,对融入先验知识的作文评语生成模型进行训练;训练完成后,得到融入先验知识的作文评语生成模型;
如果是使用阶段,则得到融入先验知识的作文评语生成模型,将待处理的作文以及标签输入本装置中;作文文本经过摘要抽取模块,得到内部知识,将其输入编码器中,得到内部知识的语义编码表示;作文标签经过先验知识库,得到标签对应的先验知识,将先验知识输入编码器,得到先验知识的语义编码表示;
然后将内部知识的语义编码表示输入注意力模块,得到当前状态对内部知识的注意力分布;将先验知识的语义编码表示输入互注意力模块,得到当前解码状态和内部知识对先验知识的注意力分布;
最后,将得到的两个注意力分布通过语义融合模块融合到解码过程中,通过解码器得到输出的作文评语。
一种实现上述作文评语生成方法的可读存储介质,其特征在于:
将可执行的计算机程序存储在可读存储介质上,可执行的计算机程序被执行时能够完成上述方法所述的融入先验知识的作文评语生成模型的训练过程以及生成过程。
计算机设备包含可读存储介质、处理器、内存储器、输入设备和输出设备。可读存储介质中包括数据库和可执行计算机程序;数据库中存储有先验知识库、训练数据以及模型的初始化参数,如图5所示。
本发明的技术优势包括:
1.在无可用先验知识的前提下,本发明根据历史大型考试的作文评分标准发现,作文的评价角度和范围是有界的,各个评价角度的常用评价词汇也是有限的。因此,借助已有的评语数据,根据统计学原理,得到各个标签对应的评语常频词汇表,作为标签对应的先验知识。最后,将所有标签对应的先验知识的总体表示为先验知识库。
2.本发明解决标签信息可控的作文评语生成问题。由于缺少作文评语场景中可用的先验知识,因此根据已有各种类别的作文评语数据,学习作文标签相关的常频词汇先验知识,并将先验知识融入到生成过程中,使得生成文本既满足作文评语词汇分布特征,又富有多样性。为了解决长文本理解的挑战,采用无监督摘要抽取算法,抽取作文摘要作为内部知识,将长文本转化为精炼、简洁的短文本,便于模型对文本内容的理解和分析。在解码过程中,针对作文评语的语义空间建模问题,采用注意力模块得到当前状态对内部知识的注意力分布,采用互注意力模块得到当前解码状态和内部知识与先验知识的关联,最后通过语义融合模块,融合已有评语内容、作文标签和作文内容等信息,使得生成的作文评语内容不仅包含作文内容的概括,还包含了对作文各个角度的评价,评语内容丰富且符合正常评语要求。
附图说明
图1 是本发明融入先验知识的作文评语生成方法的架构图;
图2 是本发明融入先验知识的作文评语生成模型示意图;
图3 是本发明中所述互注意力模块示意图;
图4 是本发明中融入先验知识的作文评语生成模型流程示意图;
图5 是本发明所述装置的设备结构图。
具体实施方式
下面结合实施例和说明书附图对本发明做详细的说明,但不限于此。
实施例1、
如附图1、附图2所示,一种融入先验知识的作文评语生成方法,包括:
S1:针对评语词汇的先验知识学习,根据已有的评语数据,得到不同作文标签下的评语常频词汇,以构建先验知识库;
S2:输入作文文本,利用无监督摘要抽取方法,抽取作文摘要,作为内部知识;
S3:输入内部知识,经过编码器,得到内部知识的语义向量;将作文标签输入外部知识库,得到对应的先验知识,将先验知识中的词汇拼接起来输入所述编码器,得到先验知识的语义向量;
S4:解码器根据当前解码状态,通过注意力模块和互注意力模块分别得到当前解码状态对内部知识和先验知识的注意力分布,接着通过语义融合模块将内部知识和先验知识融合到解码过程中,以输出生成作文评语。
在附图2中,<s>是解释为解码器开始解码时输入的第一个特殊词元;
所述S1中构建先验知识库的方法,包括:
对已有的评语数据进行常频词的统计和筛选,首先,按照作文标签,将同属于一个类别标签下的评语划分为一个集合;接着,对一个类别标签对应的评语集合中的所有评语,先进行分词操作,并去除停用词;最后,对所述集合内的所有词汇统计词频,选择前m个常频词作为所述作文标签对应的先验知识,将所有标签对应的先验知识汇总构成先验知识库。
所述S2中,利用无监督摘要抽取方法,抽取作文摘要,作为内部知识的具体方法,包括:
所述无监督摘要抽取采用的是无监督算法TextRank抽取作文摘要,TextRank的基本思想是以句子作为顶点,边则表示两个句子对应句向量之间的相似性,将一个文本转化为一个图结构,接着通过循环迭代计算顶点的TextRank值,最后选择排名高的顶点构成文本摘要,即选择句子作为抽取的基本单位,对应于TextRank算法中的图的顶点,令作文为,/>表示作文/>的第/>个句子,则共有/>个顶点,顶点之间的边则表示了句子之间的内容相关性,边的数目为/>,所述边的权重通过由对应句向量之间的余弦相似度计算得到;
对中每个句子/>得到的/>分数进行排序,取前k个得分最高的句子字符串按照原文中出现的顺序拼接为作文摘要文本/>,即作文摘要文本是由k个作文原文的句子按原文中出现的顺序排列构成,用于概括了原文的核心内容。
所述S3中,所述编码器均为预训练好的BERT模型,英文为Bidirectional EncoderRepresentations from Transformers;
具体步骤如下:
S32:根据作文的标签,得到该标签对应的先验知识,即评语常用的m个常频词,/>是常频词构成的序列,/>则表示第m个常频词,一般是由1到4个词元组成的,将所述m个常频词拼接起来,输入到所述编码器中,得到先验知识编码后的语义向量/>:/>
在S4中,所述解码器为基于单向LSTM解码器,英文Long Short-term Memory;
具体步骤如下:
在公式(4)中,表示词嵌入层;将第/>步输入的词元表示向量以及上一步解码器的状态/>输入LSTM,其中/>包含了基于单向LSTM解码器在上一个时间步中记忆细胞存储的信息/>和隐藏状态/>,基于单向LSTM解码器借助/>和/>,并结合当前的输入/>指的是当前第/>时刻的输入/>编码后的表示向量,得到第步的输出/>和第/>步的隐藏状态/>和细胞状态/>:
S42:根据第步的解码器状态/>和编码器输出/>计算/>对/>中每个词元的注意力分布,其中/>作为注意力机制中的查询Q,/>作为注意力机制中的键K和值V的来源;注意力分布的计算采用加性注意力的计算方式,计算第/>步解码器的状态/>和解码器的输出/>之间的注意力分布/>:
在公式(6)、公式(7)中,表示/>中第i个词元对应的注意力分数;/>表示/>对/>中/>个词元对应的注意力分数的整体表示;/>表示/>转置后的向量;/>表示中第i个词元的表示向量;/>、/>、/>和/>均是可训练的参数,注意力分布/>为在作文摘要文本词元上的一个概率分布,用于通知解码器在生成下一个词元的时候应该关注作文摘要文本中的哪些词元;
在公式(9)、公式(10)、公式(11)和公式(12)中,表示第/>步解码器的状态/>对/>中第i个词元的注意力分数 ;/>表示/>对/>中/>个词元对应的注意力分数的整体表示;/>表示上下文向量/>对/>中第i个词元的注意力分数;/>表示/>对/>中个词元对应的注意力分数的整体表示;/>表示/>中第i个词元的表示向量;
、/>、/>、/>、/>、/>、/>和/>均是可学习的参数,/>是/>转置后的表示向量,/>是/>转置后的表示向量,/>表示/>对/>的注意力分布,/>表示/>对/>的注意力分布;在计算/>中,/>作为注意力机制中的查询(Q),/>作为注意力机制中的键(K)和值(V)的来源;在计算/>中,/>作为注意力机制中的查询(Q),/>作为注意力机制中的键(K)和值(V)的来源;
S46:为了将内部知识和先验知识融合到评语生成过程中,在S4中还包括语义融合模块,所述语义融合模块具体步骤如下:
S462:作文评语一般包含两个部分,第一部分是对作文核心内容的概括,第二部分是对作文各个角度的评价,因此,针对这两个部分,本发明采用了复制机制,分别从内部知识和先验知识中复制相关词汇加入到生成的文本中,具体步骤如下:
在公式(22)中,表示第/>步真实评语的词元;/>表示评语的长度;表示第/>步解码器最终生成该词元的概率,以得到融入先验知识的作文评语生成模型。综上通过S3—S4得到融入先验知识的作文评语生成模型,到这里为止模型的方法描述就结束了,后面的部分是模型如何训练的方法。
如图1所示,输入由两个部分构成:一是原始的作文文本;二是作文附带的标签信息。
摘要抽取模块的输入是原始作文文本,抽取其核心的句子,构成作文的摘要,作为内部知识输出,以此解决长文本理解的挑战。
编码器是用于对文本的语义信息进行编码的模块。
注意力模块用于输出当前解码状态对于内部知识的注意力分布,这个分布可以告诉解码器对于内部知识中的哪些内容应该更关注。
互注意力模块根据内部知识和当前的解码状态,输出这两者共同对于先验知识的注意力分布,以此告诉解码器对先验知识中的哪些部分应该更为关注。
解码器中还包含了一个语义融合模块,这个模块是用于将内部知识和先验知识融合到每一个解码步中,通过解码器最后生成评语内容。
实施例2、
如图4所示,如实施例1所述的融入先验知识的作文评语生成方法,在S46中还包括S463融入先验知识的作文评语生成模型的训练流程,具体过程如下:
(a)根据已有的评语数据构造先验知识库,并使用新闻文本对模型中的LSTM部分进行预训练,形成训练好的LSTM和预训练好的BERT;选择新闻文本预训练的原因是新闻文本用词严谨,具备一定的评价性质,且长度和评语长度相似;
(b)根据训练数据对所述融入先验知识的作文评语生成模型进行联合训练;
(c)如所述融入先验知识的作文评语生成模型未完成训练,则转回步骤(b);
如果所述融入先验知识的作文评语生成模型完成训练,则保存融入先验知识的作文评语生成模型;
(d)利用保存融入先验知识的作文评语生成模型对附带标签的作文完成评语生成。
实施例3、
在附图3中,公式(16)中两个矩阵相乘的矩阵乘法符号表示为⊙;
实施例4、
如图5所示,一种融入先验知识的作文评语生成方法的装置,包括:处理器、存储装置以及存储在存储装置上并在所述处理器上执行的计算机程序;
所述处理器执行计算机程序时实现:
判断是融入先验知识的作文评语生成模型的训练阶段还是使用阶段;
如果是训练阶段,则获取训练数据;根据训练数据,对融入先验知识的作文评语生成模型进行训练;训练完成后,得到融入先验知识的作文评语生成模型;
如果是使用阶段,则得到融入先验知识的作文评语生成模型,将待处理的作文以及标签输入本装置中;作文文本经过摘要抽取模块,得到内部知识,将其输入编码器中,得到内部知识的语义编码表示;作文标签经过先验知识库,得到标签对应的先验知识,将先验知识输入编码器,得到先验知识的语义编码表示;
然后将内部知识的语义编码表示输入注意力模块,得到当前状态对内部知识的注意力分布;将先验知识的语义编码表示输入互注意力模块,得到当前解码状态和内部知识对先验知识的注意力分布;
最后,将得到的两个注意力分布通过语义融合模块融合到解码过程中,通过解码器得到输出的作文评语。
实施例5、
一种实现如实施例1-3所述作文评语生成方法的可读存储介质,将可执行的计算机程序存储在可读存储介质上,可执行的计算机程序被执行时能够完成上述方法所述的融入先验知识的作文评语生成模型的训练过程以及生成过程。
结合本发明的实施例对以下作文进行评语生成,具体如下:
作文输入“题目:郁金香
作文正文:
我喜欢郁金香。
第一次知道“郁金香”这个名称,是在唐代大诗人李白的名诗《客中行》里读到的:兰陵美酒郁金香,玉碗盛来琥珀光。但使主人能醉客,不知何处是他乡。后来,通过电视、画报、书籍和其他途径,慢慢了解到郁金香是荷兰的国花,它的茎叶很光滑,上面有一层薄薄的白粉。叶子长出来时,通常有三到五片,叶子顶端有少数毛,一般长十五厘米,宽三厘米。郁金香的叶子基本算是长椭圆形状,长大约十到十一厘米,宽大约一到六厘米,花茎高大约六到十厘米。
郁金香的整个造型很奇特,它的花朵像王冠,叶子有点像宝剑,球根又像一条条的黄金。目前,郁金香有白色、粉色、紫色等颜色,花期能持续两个月左右,经过园艺专家们长期的杂交栽培,现在全世界已拥有了8000多个品种,被大量生产的大约有150多种。
如果说,人人都是一朵花的话,我绝不做昙花,因为它的生命太短暂了;也不做菊花,因为它太伤感、太悲观,只在百花凋零的秋天里开放;而梅花呢,它太孤僻了,只孤身一人在白雪里“笑傲江湖”;我愿意做一朵郁金香,除了给人美的享受外,还默默地为人们送去淡淡的花香……
做一朵平凡的郁金香,在人们学习、工作之余,为人们送去美和香,该多好啊!”
作文标签:5年级、状物
专家标准答案:这篇文章小作者用准确的语言为我们描写了郁金香的外形特点,同时准确中也形象生动,运用比喻的修辞手法,将郁金香的花朵比作王冠,叶子比作宝剑,球根比作黄金,生动形象,富有趣味。表达了小作者对郁金香的赞美与热爱。
输出:通过本发明实施例中所述的融入先验知识的作文评语生成模型处理,得到:这是一篇描写“郁金香”的文章,开篇点题“我喜欢郁金香”。文章字里行间流露着我对郁金香的喜爱。全文语言流畅自然,较为生动,是一篇不错的***凡的郁金香,在人们学***凡的郁金香,在人们学习、工作之余,为人们送去美和香”。
综上,本发明针对已有各种类别的作文评语数据,学习作文标签相关的常频词汇先验知识,并将先验知识融入到生成过程中,其优势在于生成结果既满足作文评语词汇分布特征,又富有多样性;针对长文本理解挑战,采用无监督摘要抽取算法,抽取作文摘要作为内部知识;针对作文评语的语义空间建模问题,采用互注意力模块得到生成过程中每一步解码状态与内部知识对先验知识的注意力分布,进而控制二者和先验知识的关联,最后采用语义融合模块,融合已有评语内容、作文标签和作文内容等信息,使得生成的文本蕴含了多种知识,其优势在于生成的作文评语内容不仅包含作文内容的概括,还包含了对作文各个角度的评价,使得评语内容丰富且符合正常评语要求。
Claims (9)
1.一种融入先验知识的作文评语生成方法,其特征在于,包括:
S1:针对评语词汇的先验知识学习,得到不同作文标签下的评语常频词汇,以构建先验知识库;
S2:输入作文文本,利用无监督摘要抽取方法,抽取作文摘要,作为内部知识;
S3:输入内部知识,经过编码器,得到内部知识的语义向量;将作文标签输入外部知识库,得到对应的先验知识,将先验知识中的词汇拼接起来输入所述编码器,得到先验知识的语义向量;
S4:解码器根据当前解码状态,通过注意力模块和互注意力模块分别得到当前解码状态对内部知识和先验知识的注意力分布,接着通过语义融合模块将内部知识和先验知识融合到解码过程中,以输出生成作文评语。
2.根据权利要求1所述一种融入先验知识的作文评语生成方法,其特征在于,所述S1中构建先验知识库的方法,包括:
首先,按照作文标签,将同属于一个类别标签下的评语划分为一个集合;接着,对一个类别标签对应的评语集合中的所有评语,先进行分词操作,并去除停用词;最后,对所述集合内的所有词汇统计词频,选择前m个常频词作为所述作文标签对应的先验知识,将所有标签对应的先验知识汇总构成先验知识库。
3.根据权利要求1所述一种融入先验知识的作文评语生成方法,其特征在于,所述S2中,利用无监督摘要抽取方法,抽取作文摘要,作为内部知识的具体方法,包括:
所述无监督摘要抽取采用的是无监督算法TextRank抽取作文摘要,选择句子作为抽取的基本单位,对应于TextRank算法中的图的顶点,令作文为,/>表示作文/>的第/>个句子,则共有/>个顶点,顶点之间的边则表示了句子之间的内容相关性,边的数目为/>,所述边的权重通过由对应句向量之间的余弦相似度计算得到;
5.根据权利要求1所述一种融入先验知识的作文评语生成方法,其特征在于,在S4中,所述解码器为基于单向LSTM解码器;
具体步骤如下:
在公式(4)中,表示词嵌入层;将第/>步输入的词元表示向量/>以及上一步解码器的状态/>输入LSTM,其中/>包含了基于单向LSTM解码器在上一个时间步中记忆细胞存储的信息/>和隐藏状态/>,基于单向LSTM解码器借助/>和,并结合当前的输入/>,得到第/>步的输出/>和第/>步的隐藏状态/>和细胞状态/>:
S42:根据第步的解码器状态/>和编码器输出/>计算/>对/>中每个词元的注意力分布,其中/>作为注意力机制中的查询Q,/>作为注意力机制中的键K和值V的来源;计算第/>步解码器的状态/>和解码器的输出/>之间的注意力分布/>:
在公式(6)、公式(7)中,表示/>中第i个词元对应的注意力分数;/>表示/>对/>中/>个词元对应的注意力分数的整体表示;/>表示/>转置后的向量;/>表示/>中第i个词元的表示向量;/>、/>、/>和/>均是可训练的参数,注意力分布/>为在作文摘要文本词元上的一个概率分布;
在公式(9)、公式(10)、公式(11)和公式(12)中,表示第/>步解码器的状态/>对/>中第i个词元的注意力分数;/>表示/>中/>个词元对应的注意力分数的整体表示;/>表示上下文向量/>对/>中第i个词元的注意力分数;/>表示/>对/>中/>个词元对应的注意力分数的整体表示;/>表示/>中第i个词元的表示向量;
、/>、/>、/>、/>、/>、/>和/>均是可学习的参数,/>是/>转置后的表示向量,/>是/>转置后的表示向量,/>表示/>对/>的注意力分布,表示/>对/>的注意力分布;在计算/>中,/>作为注意力机制中的查询(Q),/>作为注意力机制中的键(K)和值(V)的来源;在计算/>中,/>作为注意力机制中的查询(Q),/>作为注意力机制中的键(K)和值(V)的来源;
S46:在S4中还包括语义融合模块,所述语义融合模块具体步骤如下:
S462:分别从内部知识和先验知识中复制相关词汇加入到生成的文本中,具体步骤如下:
6.根据权利要求5所述一种融入先验知识的作文评语生成方法,其特征在于,在S46中还包括S463融入先验知识的作文评语生成模型的训练流程,具体过程如下:
(a)根据已有的评语数据构造先验知识库,并使用新闻文本对模型中的LSTM部分进行预训练,形成训练好的LSTM和预训练好的BERT;
(b)根据训练数据对所述融入先验知识的作文评语生成模型进行联合训练;
(c)如所述融入先验知识的作文评语生成模型未完成训练,则转回步骤(b);
如果所述融入先验知识的作文评语生成模型完成训练,则保存融入先验知识的作文评语生成模型;
(d)利用保存融入先验知识的作文评语生成模型对附带标签的作文完成评语生成。
8.一种实现如权利要求1-7任意一项所述一种融入先验知识的作文评语生成方法的可读存储介质,其特征在于:将可执行的计算机程序存储在可读存储介质上,可执行的计算机程序被执行时能够完成上述方法所述的融入先验知识的作文评语生成模型的训练过程以及生成过程。
9.一种融入先验知识的作文评语生成方法的装置,其特征在于,包括:处理器、存储装置以及存储在存储装置上并在所述处理器上执行的计算机程序;
所述处理器执行计算机程序时实现:
判断是融入先验知识的作文评语生成模型的训练阶段还是使用阶段;
如果是训练阶段,则获取训练数据;根据训练数据,对融入先验知识的作文评语生成模型进行训练;训练完成后,得到融入先验知识的作文评语生成模型;
如果是使用阶段,则得到融入先验知识的作文评语生成模型,将待处理的作文以及标签输入本装置中;作文文本经过摘要抽取模块,得到内部知识,将其输入编码器中,得到内部知识的语义编码表示;作文标签经过先验知识库,得到标签对应的先验知识,将先验知识输入编码器,得到先验知识的语义编码表示;
然后将内部知识的语义编码表示输入注意力模块,得到当前状态对内部知识的注意力分布;将先验知识的语义编码表示输入互注意力模块,得到当前解码状态和内部知识对先验知识的注意力分布;
最后,将得到的两个注意力分布通过语义融合模块融合到解码过程中,通过解码器得到输出的作文评语。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310700488.8A CN116432605B (zh) | 2023-06-14 | 2023-06-14 | 融入先验知识的作文评语生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310700488.8A CN116432605B (zh) | 2023-06-14 | 2023-06-14 | 融入先验知识的作文评语生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116432605A true CN116432605A (zh) | 2023-07-14 |
CN116432605B CN116432605B (zh) | 2023-09-22 |
Family
ID=87085911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310700488.8A Active CN116432605B (zh) | 2023-06-14 | 2023-06-14 | 融入先验知识的作文评语生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116432605B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117892720A (zh) * | 2024-03-15 | 2024-04-16 | 北京和气聚力教育科技有限公司 | 一种中文作文ai句评流水线输出方法、装置及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180004718A1 (en) * | 2016-06-30 | 2018-01-04 | Yahoo Holdings, Inc. | Fact machine for user generated content |
CN108804417A (zh) * | 2018-05-21 | 2018-11-13 | 山东科技大学 | 一种基于特定领域情感词的文档级情感分析方法 |
CN110929030A (zh) * | 2019-11-07 | 2020-03-27 | 电子科技大学 | 一种文本摘要和情感分类联合训练方法 |
CN113221577A (zh) * | 2021-04-28 | 2021-08-06 | 西安交通大学 | 一种教育文本知识归纳方法、***、设备及可读存储介质 |
CN113254604A (zh) * | 2021-07-15 | 2021-08-13 | 山东大学 | 一种基于参考规范的专业文本生成方法及装置 |
US20210357469A1 (en) * | 2020-05-14 | 2021-11-18 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for evaluating knowledge content, electronic device and storage medium |
CN113673241A (zh) * | 2021-08-03 | 2021-11-19 | 之江实验室 | 一种基于范例学习的文本摘要生成框架及方法 |
WO2022033332A1 (zh) * | 2020-08-14 | 2022-02-17 | 腾讯科技(深圳)有限公司 | 对话生成方法、网络训练方法、装置、存储介质及设备 |
CN114398478A (zh) * | 2022-01-17 | 2022-04-26 | 重庆邮电大学 | 一种基于bert和外部知识的生成式自动文摘方法 |
CN115422329A (zh) * | 2022-04-22 | 2022-12-02 | 南京信息工程大学 | 一种基于知识驱动的多路筛选融合对话生成方法 |
CN115952291A (zh) * | 2023-03-14 | 2023-04-11 | 山东大学 | 基于多头自注意力及lstm的金融舆情分类方法及*** |
-
2023
- 2023-06-14 CN CN202310700488.8A patent/CN116432605B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180004718A1 (en) * | 2016-06-30 | 2018-01-04 | Yahoo Holdings, Inc. | Fact machine for user generated content |
CN108804417A (zh) * | 2018-05-21 | 2018-11-13 | 山东科技大学 | 一种基于特定领域情感词的文档级情感分析方法 |
CN110929030A (zh) * | 2019-11-07 | 2020-03-27 | 电子科技大学 | 一种文本摘要和情感分类联合训练方法 |
US20210357469A1 (en) * | 2020-05-14 | 2021-11-18 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for evaluating knowledge content, electronic device and storage medium |
WO2022033332A1 (zh) * | 2020-08-14 | 2022-02-17 | 腾讯科技(深圳)有限公司 | 对话生成方法、网络训练方法、装置、存储介质及设备 |
CN113221577A (zh) * | 2021-04-28 | 2021-08-06 | 西安交通大学 | 一种教育文本知识归纳方法、***、设备及可读存储介质 |
CN113254604A (zh) * | 2021-07-15 | 2021-08-13 | 山东大学 | 一种基于参考规范的专业文本生成方法及装置 |
CN113673241A (zh) * | 2021-08-03 | 2021-11-19 | 之江实验室 | 一种基于范例学习的文本摘要生成框架及方法 |
CN114398478A (zh) * | 2022-01-17 | 2022-04-26 | 重庆邮电大学 | 一种基于bert和外部知识的生成式自动文摘方法 |
CN115422329A (zh) * | 2022-04-22 | 2022-12-02 | 南京信息工程大学 | 一种基于知识驱动的多路筛选融合对话生成方法 |
CN115952291A (zh) * | 2023-03-14 | 2023-04-11 | 山东大学 | 基于多头自注意力及lstm的金融舆情分类方法及*** |
Non-Patent Citations (3)
Title |
---|
JING SU等: "BERT-hLSTMs: BERT and hierarchical LSTMs for visual storytelling", 《COMPUTER SPEECH & LANGUAGE》 * |
徐艳华;苗雨洁;苗琳;吕学强;: "基于LDA模型的HSK作文生成", 数据分析与知识发现, no. 09 * |
盛艺暄;兰曼;: "利用外部知识辅助和多步推理的选择题型机器阅读理解模型", 计算机***应用, no. 04 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117892720A (zh) * | 2024-03-15 | 2024-04-16 | 北京和气聚力教育科技有限公司 | 一种中文作文ai句评流水线输出方法、装置及存储介质 |
CN117892720B (zh) * | 2024-03-15 | 2024-06-11 | 北京和气聚力教育科技有限公司 | 一种中文作文ai句评流水线输出方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116432605B (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Biten et al. | Good news, everyone! context driven entity-aware captioning for news images | |
CN107133211B (zh) | 一种基于注意力机制的作文评分方法 | |
CN111046668B (zh) | 多模态文物数据的命名实体识别方法与装置 | |
CN108986186A (zh) | 文字转化视频的方法和*** | |
CN108229582A (zh) | 一种面向医学领域的多任务命名实体识别对抗训练方法 | |
CN110083710A (zh) | 一种基于循环神经网络与潜变量结构的词语定义生成方法 | |
CN110909736B (zh) | 一种基于长短期记忆模型与目标检测算法的图像描述方法 | |
CN107729326B (zh) | 基于Multi-BiRNN编码的神经机器翻译方法 | |
CN109522403A (zh) | 一种基于融合编码的摘要文本生成方法 | |
CN116432605B (zh) | 融入先验知识的作文评语生成方法及装置 | |
Stappen et al. | Muse 2020 challenge and workshop: Multimodal sentiment analysis, emotion-target engagement and trustworthiness detection in real-life media: Emotional car reviews in-the-wild | |
CN111125333A (zh) | 一种基于表示学习与多层覆盖机制的生成式知识问答方法 | |
CN110083824A (zh) | 一种基于多模型组合神经网络的老挝语分词方法 | |
CN114492441A (zh) | 基于机器阅读理解的BiLSTM-BiDAF命名实体识别方法 | |
CN112541347A (zh) | 一种基于预训练模型的机器阅读理解方法 | |
CN117421591A (zh) | 一种基于文本引导图像块筛选的多模态表征学习方法 | |
Li et al. | Abstractive text summarization with multi-head attention | |
CN115129934A (zh) | 一种多模态视频理解方法 | |
CN113673241B (zh) | 一种基于范例学习的文本摘要生成框架***及方法 | |
CN114580416A (zh) | 基于多视图语义特征融合的中文命名实体识别方法及装置 | |
CN114218936A (zh) | 一种媒体领域的优质评论自动生成算法 | |
CN111046966B (zh) | 基于度量注意力机制的图像字幕生成方法 | |
CN108763198A (zh) | 一种生成式的学术论文中相关工作的自动产生方法 | |
Lee et al. | Generating Realistic Images from In-the-wild Sounds | |
CN112507717A (zh) | 融合实体关键字特征的医疗领域实体分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |