CN113032569A - 一种基于语义相似度的中文自动文本摘要评价方法 - Google Patents
一种基于语义相似度的中文自动文本摘要评价方法 Download PDFInfo
- Publication number
- CN113032569A CN113032569A CN202110382498.2A CN202110382498A CN113032569A CN 113032569 A CN113032569 A CN 113032569A CN 202110382498 A CN202110382498 A CN 202110382498A CN 113032569 A CN113032569 A CN 113032569A
- Authority
- CN
- China
- Prior art keywords
- text
- abstract
- news
- short
- chinese
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013210 evaluation model Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于语义相似度的中文自动文本摘要评价方法，具体步骤包括：从LCSTS中文摘要数据集中抽取出摘要文本、新闻短文本和人工标注；对摘要文本和新闻短文本进行预处理，使用预训练词向量对摘要文本和新闻短文本进行表征；将摘要文本和新闻短文本输入至DPCNN‑Siamese混合网络模型中进行评分。本发明提出一种基于Siamese网络结构的混合改进模型，使用LCSTS数据集中带有人工评价的部分，将新闻标题和新闻内容作为输入，分别使用DPCNN网络结构提取文本的特征，并将两个网络层的输出进行拼合，以人工评价的分数作为标签数据进行训练，通过模拟中文使用者的语言习惯来评价模型所生成的中文文本摘要的好坏。
Description
技术领域
本发明涉及自然语言处理技术领域，具体涉及一种基于语义相似度的中文自动文本摘要评价方法。
背景技术
当前社会的发展正在朝着人工智能、大数据的信息化方向发展，各式各样的文本信息层出不穷，如新浪微博、豆瓣短评、新闻日报等大量信息涌入到人们的日常生活之中，这也导致人们日常所获取的都是大量且冗余信息，许多精确且重要的内容都被过长的文本所遮掩，从而难以快速高效的获取有用信息。
随着人工智能技术的不断发展与进步，自动文本摘要技术逐渐在高效压缩提取信息方面发挥着重大作用。在传统的文本生成任务中，对于神经网络模型所生成的文本，人们往往很难评估他们的质量。如果单纯的是通过人工的评估的方式来评选机器所生成的文本摘要，其过程是非常昂贵且耗时的，并且还会存在因为每个人的评估标准不一致而导致的评分误差。当研究人员对模型进行更新和改进之后，其生成结果则还需要重新评估，故而非常影响实验效率。且由于文本摘要兴起于国外，生成的文本主要是语法结构相对规范的英文，故而采用BLEU、ROUGE等方法，以词的重合度作为评价标准来判断生成摘要的质量是具有可行性的。但对于中文来说，标准汉语语法中最大的特点就是没有严格意义的形态变化，例如，名词通常没有格的变化，动词也不分人称，这与欧洲的语言存在的较大的差别。汉语的另一特点是省略，即不影响主题意思的词往往会被省略。故而人们要表达出一个意思可以存在多种不同的表达方式，在以字的重合度作为评价标准时，则显得不太准确。
发明内容
本发明的目的在于针对现有的中文文本摘要评价方法多采用英文摘要的评价方法与实际中文使用者的语言习惯存在偏差的问题，提供一种可用来提高中文文本摘要评价的准确性的一种基于语义相似度的中文自动文本摘要评价方法。
为实现上述目的，本发明提供了一种基于语义相似度的中文自动文本摘要评价方法，包括以下步骤：
步骤一、从LCSTS中文摘要数据集PARTⅡ、PARTⅢ部分中抽取出摘要文本、新闻短文本和人工标注；
步骤二、对抽取出的摘要文本和新闻短文本进行预处理，使用预训练词向量对摘要文本和新闻短文本进行表征；
步骤三、将以预训练词向量进行表征的摘要文本和新闻短文本输入至DPCNN-Siamese混合网络模型中进行评分。
作为本发明的进一步方案：所述步骤二中对摘要文本和新闻短文本进行预处理的具体步骤如下：
步骤2.1、通过python的lxml库将LCSTS中文摘要数据集中的摘要文本、新闻短文本和人工标注的内容抽取出来，并按照对应顺序分别输出到不同文件中；
步骤2.2、使用LTP分词工具对从LCSTS中文摘要数据集中抽取出的摘要文本和新闻短文本进行分词处理，并使用中文***语料预训练词向量作为中文数据的文本词向量；
步骤2.3、将摘要文本和新闻短文本中的中文转换成300维的预训练词向量，并将每一条摘要文本的篇长处理成32字符、每一条新闻短文本的篇长处理成128字符；
步骤2.4、将已经处理成篇长32字符的摘要文本和128字符的新闻短文本分别输入到神经网络中。
优选的，将摘要文本的篇长处理成32字符的具体方法如下：设置一个(n,32)维的空列表，并逐条录入摘要文本数据，当该条摘要文本的篇长小于32字符时，则在其后以补零的方式处理；当该条摘要文本的篇长大于32字符时，则截掉超出32字符的内容，只录入前32个字符的数据。
优选的，将新闻短文本的篇长处理成128字符的具体方法如下：设置一个(n,128)维的空列表，并逐条录入新闻短文本文本数据，当该条新闻短文本的篇长小于128字符时，则在其后以补零的方式进行处理；当该条新闻短文本的篇长大于128字符时，则截掉超出128字符的内容，只录入前128个字符的数据。
其中：n代表LCSTS中文摘要数据集的样本个数。
作为本发明的进一步方案：所述步骤三对摘要文本和新闻短文本进行评分的具体步骤如下：
步骤3.1、将摘要文本和新闻短文本分别输入至基于Siamese网络的结构中；
步骤3.2、根据输入至基于Siamese网络的结构中的摘要文本和新闻短文本的长度分别通过深度不同的DPCNN网络1和DPCNN网络2进行特征抽取；
步骤3.3、将摘要文本和新闻短文本的特征通过concat函数进行拼接池化后输入至全连接层中；
步骤3.4、将人工标注作为分类结果，使用softmax函数对输入至全连接层中的摘要文本和新闻短文本的特征与人工标注进行语义相似度进行匹配、打分；
步骤3.5、将生成摘要文本或新闻短文本相似度打分进行加权平均，得到该条摘要文本或新闻短文本的文本得分。
作为本发明的进一步方案：所述DPCNN-Siamese混合网络模型设置为Siamese网络模型与DPCNN网络模型相结合的混合网络模型，其中，Siamese网络模型用于进行语义相似度匹配，DPCNN网络模型用于对摘要文本或新闻短文本的特征进行提取。
作为本发明的进一步方案：为更好的将摘要文本或新闻短文本的特征与人工标注进行语义相似度匹配，以获得一个符合中文使用者阅读的摘要文本或新闻短文本评价模型，在进行摘要文本或新闻短文本的特征与人工标注进行语义相似度匹配、打分时对所述DPCNN-Siamese混合网络模型进行训练。
优选的，所述DPCNN-Siamese混合网络模型的训练具体实施方式如下：
步骤1、在实验中选取了CNN1D、CNN2D、BiLSTM模型来与DPCNN-Siamese混合网络模型进行对比试验，其中，以CNN1D模型作为baseline进行效果对比；
步骤2、在embedding层中文选取中文***语料训练的词向量，英文选取斯坦福glove预训练的词向量，并将embedding设置为可训练，其中，BiLSTM网络的隐藏层设置为128，CNN网络与DPCNN网络的卷积核尺寸大小设置为3、4、5，卷积核的数量设置为256，并启用L1、L2正则化，优化算法使用Adam算法，学习率设置为0.001；
步骤3、模型训练结果以F1值三个评价指标作为结果进行评价。
优选的，所述F1值的计算公式为：
其中：P表示为正确率，R表示为召回率，TP表示为预测值与真实值同真，FP表示为预测值为真且真实值为假，FN表示为预测值为假且真实值为真。
作为本发明的进一步方案：所述DPCNN-Siamese混合网络模型的搭建具体步骤如下：
步骤①、结合文本摘要数据结构的特点，对Siamese网络的结构进行了改进；
步骤②、使用Siamese网络结构将经过词向量表示的摘要文本与新闻短文本{CA(v),CB(v)}作为输入，并且通过不同深度的DPCNN网络1和DPCNN网络2作为文本特征提取层，将{CA(v),CB(v)}编码为两个相同维度的文本向量，其中CA(v),CB(v)分别表示为使用Siamese网络结构输入的词嵌入A序列和B序列；
步骤③、对两个文本向量采用concatenate函数进行拼接处理，随后经过pooling层进行池化；
步骤④、在文本特征向量池化后，通过全连接层以及softmax函数之后进行分类处理。
优选的，对所述Siamese网络的结构进行改进的具体方法如下：将Siamese网络中的两个相同结构且共享权值的子网络改进为两个深度不同的DPCNN网络，用以对中文摘要数据集中长度不同的摘要文本与新闻短文本进行特征提取，使用concat操作将两个DPCNN网络的输出拼接成一个文本向量，在经过池化层与全连接层之后，最后使用softmax进行分类处理。
优选的，所述文本特征提取层包含两个深度不同的DPCNN网络模块。
与现有技术相比，本发明具有以下有益效果：
(1)本发明提出一种基于Siamese网络结构的混合改进模型，使用LCSTS数据集中带有人工评价的部分，将新闻标题和新闻内容作为输入，分别DPCNN网络结构提取文本的特征，并将两个网络层的输出进行拼合，以人工评价的等级作为标签数据进行训练，通过模拟中文使用者的语言习惯来评价模型所生成的中文文本摘要的好坏。
(2)本发明提出一种模拟中文使用者阅读习惯的自动文本摘要评价模型，使用Siamese网络作为基础架构，其中针对摘要文本和原文本长度不同，采用不同深度的DPCNN网络提取文本特征，来从语义角度对生成的摘要文本进行评价。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明的整体架构示意图；
图2是本发明中文本处理的架构示意图；
图3是本发明中LCSTS中文短文本摘要原始数据集示意图；
图4是本发明中DPCNN-Siamese混合网络模型架构的示意图；
图5是本发明中TextCNN网络模型架构示意图；
图6是本发明中DPCNN网络模型架构示意图；
图7是本发明中Siamese网络模型架构示意图。
具体实施方式
为使本发明的上述目的、特征和优点等能够更加明确易懂，下面结合附图对本发明的具体实施方式做详细的说明。需说明的是，本发明附图均采用简化的形式且均使用非精确比例，仅用以方便、清晰地辅助说明本发明实施；本发明中所提及的若干，并非限于附图实例中具体数量；本发明中所提及的‘前’‘中’‘后’‘左’‘右’‘上’‘下’‘顶部’‘底部’‘中部’等指示的方位或位置关系，均基于本发明附图所示的方位或位置关系，而不指示或暗示所指的装置或零部件必须具有特定的方位，亦不能理解为对本发明的限制。
本实施例：
参见图1至图3所示，本发明提供的一种基于语义相似度的中文自动文本摘要评价方法，具体步骤如下：
步骤一、从LCSTS中文摘要数据集PARTⅡ、PARTⅢ部分中抽取出摘要文本、新闻短文本和人工标注；
步骤二、对摘要文本和新闻短文本进行预处理，使用预训练词向量对摘要文本和新闻短文本进行表征；
步骤三、将摘要文本和新闻短文本输入至DPCNN-Siamese混合网络模型中进行评分。
优选的，所述步骤二中对摘要文本和新闻短文本进行预处理的具体步骤如下：
步骤2.1、通过python的lxml库将LCSTS中文摘要数据集中的摘要文本、新闻短文本和人工标注的内容抽取出来，并按照对应顺序分别输出到不同文件中；
步骤2.2、使用哈工大LTP(语言技术平台)分词工具对文本进行分词处理，并使用中文***语料预训练词向量(中文词向量)作为文本词向量；
步骤2.3、将摘要文本和新闻短文本中的中文转换成300维的预训练词向量，并将每一条摘要文本的篇长处理成32字符、每一条新闻短文本的篇长处理成128字符；
步骤2.4、将已经处理成篇长32字符的摘要文本和128字符的新闻短文本分别输入到神经网络中。
优选的，将摘要文本的篇长处理成32字符的具体方法如下：设置一个(n,32)维的空列表，并逐条录入摘要文本数据，当该条摘要文本的篇长小于32字符时，则在其后以补零的方式处理；当该条摘要文本的篇长大于32字符时，则截掉超出32字符的内容，只录入前32个字符的数据。
优选的，将新闻短文本的篇长处理成128字符的具体方法如下：设置一个(n,128)维的空列表，并逐条录入新闻短文本文本数据，当该条新闻短文本的篇长小于128字符时，则在其后以补零的方式进行处理；当该条新闻短文本的篇长大于128字符时，则截掉超出128字符的内容，只录入前128个字符的数据。
优选的，n代表LCSTS中文摘要数据集的样本个数。
优选的，所述步骤三对摘要文本和新闻短文本进行评分的具体步骤如下：
步骤3.1、将摘要文本和新闻短文本分别输入至基于Siamese网络的结构中；
步骤3.2、根据输入至基于Siamese网络的结构中的摘要文本和新闻短文本的长度分别通过深度不同的DPCNN网络1和DPCNN网络2进行特征抽取；
步骤3.3、将摘要文本和新闻短文本的特征通过concat函数进行拼接池化后输入至全连接层中；
步骤3.4、将人工标注作为分类结果，使用softmax函数对输入至全连接层中的摘要文本和新闻短文本的相似度进行打分；
步骤3.5、将生成摘要文本或新闻短文本相似度打分进行加权平均，得到该条摘要文本或新闻短文本的文本得分。
优选的，所述DPCNN-Siamese混合网络模型设置为Siamese网络模型与DPCNN网络模型相结合的混合网络模型，其中：Siamese网络模型用于进行语义相似度匹配；DPCNN网络模型用于对摘要文本或新闻短文本的特征进行提取。
参见图4所示，所述DPCNN-Siamese混合网络模型的搭建具体步骤如下：
步骤①、结合文本摘要数据结构的特点，对Siamese网络的结构进行了改进；
步骤②、使用Siamese网络结构将经过词向量表示的摘要文本与新闻短文本{CA(v),CB(v)}，其中CA(v),CB(v)分别表示为使用Siamese网络结构输入的词嵌入A序列和B序列)作为输入，并且通过不同深度的DPCNN网络1和DPCNN网络2作为文本特征提取层(文本特征提取层包含两个深度不同的DPCNN网络块，旨在更好的捕获CA(v),CB(v)中的上下文信息，因为摘要数据的参考文本就是新闻标题，其相对于新闻文本来说较为简短，而新闻内容文本较长，所以考虑通过不同深度的DPCNN网络来学习提取相应特征),将{CA(v),CB(v)}编码为两个相同维度的文本向量；
步骤③、对两个文本向量采用concatenate函数进行拼接处理，随后经过pooling层进行池化；
步骤④、在文本特征向量池化后，通过全连接层以及softmax函数之后进行分类处理。
采用CNN网络(卷积神经网络)捕捉文本中的局部特征的具体实施方式如下：
DPCNN网络(Deep PyramidConvolutional NeuralNetworks，深度卷积神经网络)是基于TextCNN网络(Text ConvolutionalNeural Networks网络，文本卷积神经网络)在自然语言处理领域中的应用而提出来的，CNN网络(卷积神经网络)的核心思想是捕捉局部特征，对于文本来说，局部特征就是由若干个单词或字符组成的滑动窗口，类似于N-gram，特征向量ci由滑动窗口xi:i+h-1中文本卷积所得到如式1：
ci＝f(W*xi:i+h-1+b)..................................................(1)
其中：ci表示为CNN网络中的第i个滑动窗口卷积所得到的特征向量，f表示为，W表示为CNN网络的系数矩阵参数，xi:i+h-1表示为为滑动窗口中所包含的文本向量，b表示为CNN网络的常数矩阵参数，h表卷积核移动的步长。
由CNN网络的滑动窗口采集完所有的文字向量所得到的特征即为
c＝[c1,c2,…,cn-h+1]；............................................(2)
其中：c为CNN卷积神经网络卷积完成后的的文本特征向量，c1,c2,…,cn-h+1分别为CNN神经网络中的第1，2…，n-h+1个滑动窗口卷积所得到的特征向量。
参见图4所示，在TextCNN网络中，文本中每个词都是由n维词向量组成，输入矩阵的大小为m*n，其中m为句子长度；CNN网络需要对输入样本进行卷积操作，对于文本数据，卷积核不在横向滑动，只向下滑动，类似于n-gram提取词语词之间的局部相关性，如图中含有三种步长策略(分别为2、3、4)，每个步长都有两个卷积核，在不同词窗上应用不同的卷积核，最终得到6个卷积后的向量；然后对每一个向量进行最大池化操作并进行全连接，最终得到句子的特征表示，将这个句子向量输入到分类器进行分类。
参见图5所示，DPCNN网络的底层保持了于TextCNN网络类似的结构，并将包含多尺寸卷积滤波器的卷积层的卷积结果成为Region embedding(区域嵌入)过程，其作用就是对一个文本区域或片段(比如3gram)进行一组卷积操作后生成的embedding特征；DPCNN网络在Region embedding之后进行两次等长卷积，以便让每个单词更丰富的表示出来；之后重复进行等长卷积和1/2池化来提取特征，同时进行残差连接来解决梯度弥散问题，由于1/2池化层的存在，文本序列的长度会随着block数量的增加呈指数级减少，如式2所示：
num_blocks＝log2seq_len.....................................(3)
其中：num_blocks为DPCNN网络中的block数量，seq_len为文本的序列长度。
DPCNN在深层次网络中为了解决梯度弥散问题，运用了shortcut connect方法，将前后等长卷积网络连接起来，如式3所示：
G(W)＝z+f(z)....................................................(4)
其中：z为前一层的神经网络的输出，f(z)为当前层的神经网络输出，G(W)为下一层的神经网络输出。
卷积神经网络之所以能在文本处理任务上发挥作用，其优势主要在于能够自动地对N-gram特征进行组合和筛选，获得不同抽象层次的语义信息。
参见图6所示，Siamese网络(神经网络)设置有两个结构相同且共享权值的子网络，两个所述的子网络分别用于接收两个输入X1与X2，将其转换为向量Gw(X1)与Gw(X2)，再通过余弦距离度量的方式计算两个输出向量的距离E(X1,X2)，如式4所示：
其中：E(X1,X2)使用的是余弦相似度计算公式，因此-1≤E(X1,X2)≤1，其与欧式距离的不同之处在于，Ecos的值越大则距离越近，即两段文本之间的相似度越高；Ecos的值越小则距离越远，即两段文本之间的相似度越低，因此在模型的LOSS函数的设计中也要与上文保持一致。
当y＝0时，LOSS函数随着E单调递增；当y＝1时，LOSS函数随着E单调递减，具体公式如下所示：
L-(X1,X2)＝0,otherwise.......................(8)
其中：y表示为两个语句是否相似的指征，相似为1，不相似为0；L表示为LOSS函数 的值，Ew表示为两个文本向量之间的距离，m表示为人为设定的阈值，otherwise表示为除开Ew<m的其他情况。
优选的，为更好的将摘要文本或新闻短文本的特征与人工标注进行语义相似度匹配，以获得一个符合中文使用者阅读的摘要文本或新闻短文本评价模型，在进行摘要文本或新闻短文本的特征与人工标注进行语义相似度匹配、打分时对所述DPCNN-Siamese混合网络模型进行训练。
所述DPCNN-Siamese混合网络模型的训练具体实施方式如下：
步骤1、在实验中选取了CNN1D、CNN2D、BiLSTM模型来与DPCNN-Siamese混合网络模型进行对比试验，其中，以CNN1D模型作为baseline进行效果对比；
步骤2、在embedding层中文选取中文***语料训练的词向量，英文选取斯坦福glove预训练的词向量，并将embedding设置为可训练，其中，BiLSTM网络的隐藏层设置为128，CNN网络与DPCNN网络的卷积核尺寸大小设置为3、4、5，卷积核的数量设置为256，并启用L1、L2正则化，优化算法使用Adam算法，学习率设置为0.001；
步骤4、模型训练结果以F1值三个评价指标作为结果进行评价。
优选的，所述F1值的计算公式为：
其中：P表示为正确率，R表示为召回率，TP表示为预测值与真实值同真，FP表示为预测值为真且真实值为假，FN表示为预测值为假且真实值为真。
其具体对应关系可见表1。
表1
经对比发现，DPCNN-Siamese混合网络模型在中文数据集上的表现要优于其他网络，效率更高，其在短文本语义特征相似度的比对上更具优势。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于语义相似度的中文自动文本摘要评价方法，其特征在于，包括以下步骤：
步骤一、从LCSTS中文摘要数据集PARTⅡ、PARTⅢ部分中抽取出摘要文本、新闻短文本和人工标注；
步骤二、对抽取出的摘要文本和新闻短文本进行预处理，使用预训练词向量对摘要文本和新闻短文本进行表征；
步骤三、将以预训练词向量进行表征的摘要文本和新闻短文本输入至DPCNN-Siamese混合网络模型中进行评分。
2.根据权利要求1所述的中文自动文本摘要评价方法，其特征在于，所述步骤二中对摘要文本和新闻短文本进行预处理的具体步骤如下：
步骤2.1、通过python的lxml库将LCSTS中文摘要数据集中的摘要文本、新闻短文本和人工标注的内容抽取出来，并按照对应顺序分别输出到不同文件中；
步骤2.2、使用LTP分词工具对从LCSTS中文摘要数据集中抽取出的摘要文本和新闻短文本进行分词处理，并使用中文***语料预训练词向量作为中文数据的文本词向量；
步骤2.3、将摘要文本和新闻短文本中的中文转换成300维的预训练词向量，并将每一条摘要文本的篇长处理成32字符、每一条新闻短文本的篇长处理成128字符；
步骤2.4、将已经处理成篇长32字符的摘要文本和128字符的新闻短文本分别输入到神经网络中。
3.根据权利要求2所述的中文自动文本摘要评价方法，其特征在于，
将摘要文本的篇长处理成32字符的具体方法如下：设置一个(n,32)维的空列表，并逐条录入摘要文本数据，当该条摘要文本的篇长小于32字符时，则在其后以补零的方式处理；当该条摘要文本的篇长大于32字符时，则截掉超出32字符的内容，只录入前32个字符的数据；
将新闻短文本的篇长处理成128字符的具体方法如下：设置一个(n,128)维的空列表，并逐条录入新闻短文本文本数据，当该条新闻短文本的篇长小于128字符时，则在其后以补零的方式进行处理；当该条新闻短文本的篇长大于128字符时，则截掉超出128字符的内容，只录入前128个字符的数据；
其中：n代表LCSTS中文摘要数据集的样本个数。
4.根据权利要求1所述的中文自动文本摘要评价方法，其特征在于，所述步骤三对摘要文本和新闻短文本进行评分的具体步骤如下：
步骤3.1、将摘要文本和新闻短文本分别输入至基于Siamese网络的结构中；
步骤3.2、根据输入至基于Siamese网络的结构中的摘要文本和新闻短文本的长度分别通过深度不同的DPCNN网络1和DPCNN网络2进行特征抽取；
步骤3.3、将摘要文本和新闻短文本的特征通过concat函数进行拼接池化后输入至全连接层中；
步骤3.4、将人工标注作为分类结果，使用softmax函数对输入至全连接层中的摘要文本和新闻短文本的特征与人工标注进行语义相似度进行匹配、打分；
步骤3.5、将生成摘要文本或新闻短文本相似度打分进行加权平均，得到该条摘要文本或新闻短文本的文本得分。
5.根据权利要求1所述的中文自动文本摘要评价方法，其特征在于，所述DPCNN-Siamese混合网络模型设置为Siamese网络模型与DPCNN网络模型相结合的混合网络模型，其中，Siamese网络模型用于进行语义相似度匹配，DPCNN网络模型用于对摘要文本或新闻短文本的特征进行提取。
6.根据权利要求5所述的中文自动文本摘要评价方法，其特征在于，为更好的将摘要文本或新闻短文本的特征与人工标注进行语义相似度匹配，以获得一个符合中文使用者阅读的摘要文本或新闻短文本评价模型，在进行摘要文本或新闻短文本的特征与人工标注进行语义相似度匹配、打分时对所述DPCNN-Siamese混合网络模型进行训练；
所述DPCNN-Siamese混合网络模型的训练具体实施方式如下：
步骤1、在实验中选取了CNN1D、CNN2D、BiLSTM模型来与DPCNN-Siamese混合网络模型进行对比试验，其中，以CNN1D模型作为baseline进行效果对比；
步骤2、在embedding层中文选取中文***语料训练的词向量，英文选取斯坦福glove预训练的词向量，并将embedding设置为可训练，其中，BiLSTM网络的隐藏层设置为128，CNN网络与DPCNN网络的卷积核尺寸大小设置为3、4、5，卷积核的数量设置为256，并启用L1、L2正则化，优化算法使用Adam算法，学习率设置为0.001；
步骤3、模型训练结果以F1值三个评价指标作为结果进行评价。
7.根据权利要求6所述的中文自动文本摘要评价方法，其特征在于，所述F1值的计算公式为：
其中：P表示为正确率，R表示为召回率，TP表示为预测值与真实值同真，FP表示为预测值为真且真实值为假，FN表示为预测值为假且真实值为真。
8.根据权利要求1所述的中文自动文本摘要评价方法，其特征在于，所述DPCNN-Siamese混合网络模型的搭建具体步骤如下：
步骤①、结合文本摘要数据结构的特点，对Siamese网络的结构进行了改进；
步骤②、使用Siamese网络结构将经过词向量表示的摘要文本与新闻短文本{CA(v),CB(v)}作为输入，并且通过不同深度的DPCNN网络1和DPCNN网络2作为文本特征提取层，将{CA(v),CB(v)}编码为两个相同维度的文本向量，其中CA(v),CB(v)分别表示为使用Siamese网络结构输入的词嵌入A序列和B序列；
步骤③、对两个文本向量采用concatenate函数进行拼接处理，随后经过pooling层进行池化；
步骤④、在文本特征向量池化后，通过全连接层以及softmax函数之后进行分类处理。
9.根据权利要求8所述的中文自动文本摘要评价方法，其特征在于，对所述Siamese网络的结构进行改进的具体方法如下：
将Siamese网络中的两个相同结构且共享权值的子网络改进为两个深度不同的DPCNN网络，用以对中文摘要数据集中长度不同的摘要文本与新闻短文本进行特征提取，使用concat操作将两个DPCNN网络的输出拼接成一个文本向量，在经过池化层与全连接层之后，最后使用softmax进行分类处理。
10.根据权利要求8所述的中文自动文本摘要评价方法，其特征在于，所述文本特征提取层包含两个深度不同的DPCNN网络模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110382498.2A CN113032569A (zh) | 2021-04-09 | 2021-04-09 | 一种基于语义相似度的中文自动文本摘要评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110382498.2A CN113032569A (zh) | 2021-04-09 | 2021-04-09 | 一种基于语义相似度的中文自动文本摘要评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113032569A true CN113032569A (zh) | 2021-06-25 |
Family
ID=76456077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110382498.2A Pending CN113032569A (zh) | 2021-04-09 | 2021-04-09 | 一种基于语义相似度的中文自动文本摘要评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113032569A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766432A (zh) * | 2018-07-12 | 2019-05-17 | 中国科学院信息工程研究所 | 一种基于生成对抗网络的中文摘要生成方法和装置 |
| CN110390103A (zh) * | 2019-07-23 | 2019-10-29 | 中国民航大学 | 基于双编码器的短文本自动摘要方法及*** |
| CN110688479A (zh) * | 2019-08-19 | 2020-01-14 | 中国科学院信息工程研究所 | 一种用于生成式摘要的评估方法及排序网络 |
| CN111325029A (zh) * | 2020-02-21 | 2020-06-23 | 河海大学 | 一种基于深度学习集成模型的文本相似度计算方法 |
| CN111552801A (zh) * | 2020-04-20 | 2020-08-18 | 大连理工大学 | 基于语义对齐的神经网络自动摘要模型 |
| CN111930931A (zh) * | 2020-07-20 | 2020-11-13 | 桂林电子科技大学 | 一种摘要评价方法及装置 |
-
2021
- 2021-04-09 CN CN202110382498.2A patent/CN113032569A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766432A (zh) * | 2018-07-12 | 2019-05-17 | 中国科学院信息工程研究所 | 一种基于生成对抗网络的中文摘要生成方法和装置 |
| CN110390103A (zh) * | 2019-07-23 | 2019-10-29 | 中国民航大学 | 基于双编码器的短文本自动摘要方法及*** |
| CN110688479A (zh) * | 2019-08-19 | 2020-01-14 | 中国科学院信息工程研究所 | 一种用于生成式摘要的评估方法及排序网络 |
| CN111325029A (zh) * | 2020-02-21 | 2020-06-23 | 河海大学 | 一种基于深度学习集成模型的文本相似度计算方法 |
| CN111552801A (zh) * | 2020-04-20 | 2020-08-18 | 大连理工大学 | 基于语义对齐的神经网络自动摘要模型 |
| CN111930931A (zh) * | 2020-07-20 | 2020-11-13 | 桂林电子科技大学 | 一种摘要评价方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| RIE JOHNSON等: "Deep Pyramid Convolutional Neural Networks for Text Categorization", 《PROCEEDINGS OF THE 55TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINDUISTICS》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119765B (zh) | 一种基于Seq2seq框架的关键词提取方法 | |
| CN109960724B (zh) | 一种基于tf-idf的文本摘要方法 | |
| CN111125349A (zh) | 基于词频和语义的图模型文本摘要生成方法 | |
| CN112257453B (zh) | 融合关键词和语义特征的汉越文本相似度计算方法 | |
| CN113011533A (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
| CN106598959B (zh) | 一种确定双语语句对互译关系方法及*** | |
| CN110362819B (zh) | 基于卷积神经网络的文本情感分析方法 | |
| CN111966826A (zh) | 一种构建文本分类***的方法、***、介质及电子设备 | |
| CN113505200B (zh) | 一种结合文档关键信息的句子级中文事件检测的方法 | |
| CN113377897B (zh) | 基于深度对抗学习的多语言医疗术语规范标准化***及方法 | |
| CN110717341B (zh) | 一种以泰语为枢轴的老-汉双语语料库构建方法及装置 | |
| CN111897917B (zh) | 基于多模态自然语言特征的轨道交通行业术语提取方法 | |
| CN111858842A (zh) | 一种基于lda主题模型的司法案例筛选方法 | |
| CN116244445B (zh) | 航空文本数据标注方法及其标注*** | |
| CN115204143B (zh) | 一种基于prompt的文本相似度计算方法及*** | |
| CN110222250A (zh) | 一种面向微博的突发事件触发词识别方法 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及*** | |
| CN111581943A (zh) | 一种基于句子关联图的汉越双语多文档新闻观点句识别方法 | |
| CN111984782A (zh) | 藏文文本摘要生成方法和*** | |
| CN113962228A (zh) | 一种基于记忆网络语义融合的长文档检索方法 | |
| CN116756303A (zh) | 一种多主题文本摘要自动生成方法及*** | |
| CN117371534B (zh) | 一种基于bert的知识图谱构建方法及*** | |
| CN115033753A (zh) | 训练语料集构建方法、文本处理方法及装置 | |
| CN111191029A (zh) | 基于监督学习和文本分类的ac构建方法 | |
| CN116127132A (zh) | 基于跨模态文本相关注意力的时序语言定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |
|
| RJ01 | Rejection of invention patent application after publication |