CN115048488A - 专利摘要自动生成方法及存储介质 - Google Patents
专利摘要自动生成方法及存储介质 Download PDFInfo
- Publication number
- CN115048488A CN115048488A CN202210622539.5A CN202210622539A CN115048488A CN 115048488 A CN115048488 A CN 115048488A CN 202210622539 A CN202210622539 A CN 202210622539A CN 115048488 A CN115048488 A CN 115048488A
- Authority
- CN
- China
- Prior art keywords
- abstract
- model
- sentence
- text
- unilm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 15
- 102100038612 Calmodulin-regulated spectrin-associated protein 3 Human genes 0.000 claims description 11
- 101000741294 Homo sapiens Calmodulin-regulated spectrin-associated protein 3 Proteins 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请提供一种专利摘要自动生成方法及存储介质,专利摘要自动生成方法包括:响应于获取专利说明书和参考摘要,对所述专利说明书和参考摘要使用抽取式模型生成抽取式摘要;以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示;将所述特征向量表示进行微调,获取生成式摘要。本申请提供的专利摘要自动生成方法及存储介质,可以将抽取式模型和生成式模型的优势结合起来,生成内容丰富、全面、可读性强的长文本摘要。
Description
技术领域
本申请涉及自然语言处理领域,具体涉及专利摘要自动生成方法及存储介质。
背景技术
摘要可以从长文本中概括出简洁而不失原意的信息,将用户从繁琐冗余的数据中解脱出来,节省查找时间,但人工进行摘要撰写需要耗费大量的人力和时间.文本摘要自动生成技术作为一种解决信息过剩问题的手段,在信息检索、舆情分析、内容审查等领域具有较高研究价值。
我国专利申请数量庞大,每年均在百万级以上,并呈现逐年上升的趋势,专利摘要自动生成工具的引入可以极大地提高研究人员研究效率、降低新兴技术开发成本。如何从海量的专利说明书中快速提取出有用的摘要来完善自己的工作、提出更好的解决方案、避免无意义的研究和资金浪费已经成为一个亟待解决的问题。
发明内容
针对上述技术问题,本申请提供一种专利摘要自动生成方法及存储介质,以缓解上述问题。
本申请提供一种专利摘要自动生成方法,具体地,包括:
响应于获取专利说明书和参考摘要,对所述专利说明书和参考摘要使用抽取式模型生成抽取式摘要;
以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示;
将所述特征向量表示进行微调,获取生成式摘要。
可选地,所述响应于获取专利说明书和参考摘要,对所述专利说明书和参考摘要使用抽取式模型生成抽取式摘要的步骤中包括:
分割所述参考摘要为多个第一句子,分割所述专利说明书为多个第二句子,根据所述第一句子与所述第二句子的相似度,生成句向量;
基于DGCNN模型对所述句向量构建标注模型主体,以获取抽取式摘要。
可选地,所述根据所述第一句子与所述第二句子的相似度,生成句向量的步骤包括:
根据所述相似度,将所述第一句子和所述第二句子进行匹配,将第二句子中匹配到的所有句子作为抽取句子标签,以获取抽取式语料;
由所述抽取式语料,生成所述句向量。
可选地,所述由所述抽取式语料,生成句向量的步骤包括:
基于Roberta模型,通过在所述Roberta模型的第一维度对所述抽取式语料进行平均池化操作,生成所述句向量。
可选地,所述基于DGCNN模型对所述抽取式语料构建标注模型主体,以获取抽取式摘要的步骤包括:
基于所述DGCNN模型具有不同权值的两个一维卷积,设置激活函数,若所述一维卷积的输入与输出一致,则使用残差结构,以对所述一维卷积设置门机制。
可选地,所述以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示的步骤包括:
将所述抽取式摘要进行预处理,所述预处理包括分词和去停用词。
可选地,以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示的步骤包括:
使用NEZHA模型用于预训练,以获取所述特征向量表示。
可选地,所述使用NEZHA模型用于预训练,以获取所述特征向量表示的步骤之后包括:
构造输入序列,并使用UniLM模型对所述输入序列进行微调,以获取生成式摘要。
可选地,所述构造输入序列,并使用UniLM模型对所述输入序列进行微调,以获取生成式摘要的步骤包括:
对所述输入序列的目标序列进行预设比例的掩盖,以获取掩盖序列;根据所述掩盖序列,使所述UniLM模型学习恢复被掩盖词进行任务微调;
和/或,根据所述输入序列,设置句子特征标识,并掩盖所述输入序列的结束标识,使所述UniLM模型进行自动结束任务学习。
另一方面,本申请还提供一种存储介质,具体地,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的专利摘要自动生成方法。
本申请提供的专利摘要自动生成方法及存储介质,通过先抽取再生成的方法可以将抽取式模型和生成式模型的优势结合起来,生成内容丰富、全面、可读性强的长文本摘要。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请专利说明书摘要自动生成的过程架构示意图。
图2为信息的多通道传输示意图。
图3为UniLM的Seq2Seq框架示意图。
图4为“抽取+生成”模型生成不同长度参考摘要下ROUGE-L得分示意图。
图5为实验结果对比图。
图6为本申请一实施例的专利摘要自动生成方法流程图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面结合附图与实施例对本发明作进一步的详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本申请构建一种专利说明书摘要自动生成的过程架构,图1为本申请专利说明书摘要自动生成的过程架构示意图。
如图1所示,本实施例专利说明书摘要生成步骤如下:
步骤1:对输入文本进行预处理,将原始语料转换为抽取式语料;
首先将专利说明书原文及参考摘要按照标点分割为多个子句,对于参考摘要中的每个子句,都在原文中找到与之相似的句子,将原文中匹配到的所有句子作为抽取句子标签,最终得到抽取式语料。
步骤2:由“Roberta+平均池化”模型生成句向量;
首先调用Roberta模型,再对第一维度进行平均池化操作,带mask的平均池化过程如下:
假设:input=[1,2,3,4,5],mask=[T,T,F,F,F],axis=1
则:input*mask=1*1+2*1+3*0+4*0+5*0=3
其有效位为2,最终结果为input*mask/2=1.5
步骤3:使用DGCNN模型构建标注模型主体,最后生成抽取式摘要;
假设需处理序列为X=[x1,x2,...,xn],则可以给一维卷积加入门机制:
其中Conv1D1和Conv1D2代表两个形式相同,但权值不互相共享的一维卷积,σ代表激活函数sigmoid。
图2为信息的多通道传输示意图。
请参考图2,为了解决梯度消失,使得信息能够在多通道传输,若输入和输出一致,可使用残差结构:
为了清晰的看到信息的流动,将(2)式进行等价代换:
ω=Conv1D2(X) (4)
信息流以1-ω的概率直接通过,以ω的概率经过变换后才通过,如图2所示。
所述DGCNN模型输出一个0/1序列,其中,“1”表示需要将该句抽取出来作为摘要,“0”表示不需要将该句抽取出来,最终得到抽取式摘要。
步骤4:将抽取式模型的输出作为生成式模型输入,并进行预处理,包括分词、去停用词等;
步骤5:NEZHA模型运用于预训练阶段,获取文本序列的特征向量表示,得到输入序列;
用x=(x1,x2,...,xn)表示输入,用z=(z1,z2,...,zn)表示输出,其长度与输入序列一致,在相对位置编码方案中,注意力分数的计算涉及到关于两个位置之间的相对距离的参数嵌入,每个注意力头都有三个参数矩阵,分别为Wk、WQ、WV,输出zi的计算公式如下所示:
其中,αij是由位置i和位置j的隐藏状态求softmax得到:
其中,和是位置i和位置j的相对位置编码,其均为正弦函数,且在训练过程中固定不变,为了简化起见,直接将和简写为αij,dz表示NEZHA 模型的每个注意力头的隐含层大小,维度为2k以及2k+1的αij分别如下所示:
步骤6:UniLM模型运用于微调阶段,将得到的输入序列输入到UniLM中进行微调,最终得到生成式摘要。
H1=Transformerl(Hl-1),l∈[1,L] (10) 在每个Transformer模块中,使用了多个自注意头来聚合前一层的输出向量,对于第l个Transformer层,自注意头Al的输出通过以下方式计算:
图3为UniLM的Seq2Seq框架示意图。
生成式模型微调部分选择UniLM的Seq2Seq框架结构,如图3所示,S1表示源序列,S2表示目标序列,构造输入序列“[SOS]S1[EOS]S2[EOS]”,通过对目标序列按一定比例进行掩盖,让UniLM模型学习恢复被掩盖的词进行任务微调,另外通过掩盖目标序列的结束标识[EOS],模型便可以学习自动结束任务。UniLM 模型基于前后文本被遮蔽的最大似然度得到文本摘要。
本实施例使用从专利之星网站收集的专利说明书及其摘要数据,建立数据集,10000条用作训练集,600条用作测试集,其中专利说明书平均文本字符为 2493,平均摘要字符为281。
本实施例使用ROUGE自动摘要评价算法对所生成摘要进行评价,通过将生成摘要与参考摘要进行比较计算,从而得出自动生成摘要与参考摘要之间的相似度。本发明使用ROUGE-1、ROUGE-2、ROUGE-L作为评价指标。
ROUGE-N是在n-gram上计算召回率(N是n-gram中的n,其值可为1,2, 3等),具体为生成摘要和参考摘要之间共有的n-gram个数与参考摘要n-gram 个数的比值,具体计算如下:
其中,{RefSum}为参考摘要,Cmatch(n-gram)为模型生成摘要与参考摘要之间共有的n-gram个数,C(n-gram)为参考摘要中的n-gram个数。
ROUGE-L指标通过计算参考摘要与生成摘要之间的最长公共子序列 (longestcommon subsequence,LCS)和参考摘要长度之间的占比情况来衡量生成摘要的质量,具体计算如下:
其中,C为生成摘要,len(c)为生成摘要的长度,S为参考摘要,len(s)为参考摘要的长度,LCS(C,S)为生成摘要和参考摘要之间的最长公共子序列,β一般取一个非常大的值,RLCS为召回率,PLCS为准确率。
实验环境和配置如表1所示:
表1实验环境和配置
实验环境 | 实验配置 |
显卡型号 | Tesla V100-32GB |
编程语言 | Python3.7 |
开发工具 | PyCharm |
深度学习框架 | Tensorflow1.14.0 |
图4为“抽取+生成”模型生成不同长度摘要下ROUGE-L得分示意图。
为评估生成摘要的长度对DGCNN-NEZHA-UniLM模型性能的影响,图4展示了该模型生成摘要的长度与ROUGE-L评分的关系。可以看出,随着生成摘要长度的增加,其ROUGE-L分值在可控范围内波动,该现象表明生成摘要的长度几乎不会影响模型的最终效果,证明在生成长文本摘要时,该模型具有较强的上下文语意捕捉能力以及较高的稳定性。
实验选取六种模型,包括TextRank、MMR、DGCNN 3种抽取式模型, Roberta-UniLM、NEZHA-UniLM 2种生成式模型以及1种“抽取+生成”模型,将其共同作用于本实验所建立的数据集进行生成指标对比。TextRank模型基于图模型,通过把文本分割成若干组成句子,再利用投票机制对文本中的重要句子进行排序,从而生成摘要。最大边界相关算法(MMR)设计之初用于计算查询文本和搜索文档之间的相似度,然后对文档进行排序;通过该算法可以实现文本按重要性进行句子的抽取组成摘要。DGCNN是本实验中用到的抽取式模型。Roberta-UniLM模型将Roberta预训练语言模型与UniLM模型相结合,其主要分成两个阶段实现,即基于Roberta预训练模型的词向量参数获取阶段以及 UniLM模型的摘要生成阶段。NEZHA-UniLM是本实验中用到的生成式模型。 DGCNN-NEZHA-UniLM是本实验所用“抽取+生成”模型。实验评测结果如表2所示。
图5为实验结果对比图。
根据表2各个模型的ROUGE分值,绘制出结果对比图,如图5所示。
与其他基准模型相比,本发明提出的DGCNN-NEZHA-UniLM模型在专利说明书摘要数据集上的表现最优。具体而言,在所选的三种抽取式模型中,基于DGCNN 的抽取式模型在本实验建立的数据集上表现明显优于TextRank以及MMR两种抽取式模型。选择UniLM作为Seq2Seq模型,与使用Roberta模型作为基础模型结构相比,使用华为NEZHA作为基础模型结构在长文本摘要生成任务中可以取得更好的效果,原因在于NEZHA模型使用相对位置编码,使得模型在长文本摘要生成任务中具有更强的扩展性,即使遇到比预训练中序列长度更长的序列时,依然可以发挥作用。从ROUGE的整体评分中可以看出,通过对文本的语义进行分析得到的生成式摘要普遍优于仅抽取文本中重要语句的抽取式摘要,并且与其他模型相比,本实验提出的“抽取+生成”模型在三项ROUGE评分上均取得了最高的成绩。
表2实验评测结果
表3实例结果对比
给出同一段专利说明书文本,表3为分别使用Roberta-UniLM模型以及 DGCNN-NEZHA-UniLM模型生成的摘要,与人工撰写的参考摘要进行对比,可以看出,Roberta-UniLM模型生成的摘要较短,且存在信息缺失等问题; DGCNN-NEZHA-UniLM模型生成的摘要内容概括更为全面,涵盖了参考摘要中提到的各个关键信息,语言通顺流畅,更贴近标准摘要。
综上所述,本实验提出的DGCNN-NEZHA-UniLM模型在专利说明书摘要数据集上的表现最好。表明“先抽取再生成”的方法可以将基于DGCNN的抽取式模型和基于NEZHA-UniLM的生成式模型的优势结合起来,生成内容丰富、全面、可读性强的长文本摘要。
本申请还提供一种专利摘要自动生成方法,图6为本申请一实施例的专利摘要自动生成方法流程图。
如图6所示,在一实施例中,专利摘要自动生成方法包括:
S10:响应于获取专利说明书和参考摘要,对专利说明书和参考摘要使用抽取式模型生成抽取式摘要。
S20:以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示;将所述特征向量表示进行微调。
S30:根据特征向量表示,获取生成式摘要。
可选地,响应于获取专利说明书和参考摘要,对专利说明书和参考摘要使用抽取式模型生成抽取式摘要的步骤中包括:
分割参考摘要为多个第一句子,分割专利说明书为多个第二句子,根据第一句子与第二句子的相似度,获取抽取式语料;基于DGCNN模型对抽取式语料构建标注模型主体,以获取抽取式摘要。
可选地,根据第一句子与第二句子的相似度,生成句向量的步骤包括:
根据相似度,将第一句子和第二句子进行匹配,将第二句子中匹配到的所有句子作为抽取句子标签,以获取抽取式语料;由抽取式语料,生成句向量。
示例性地,首先将专利说明书原文及参考摘要按照标点分割为多个子句,对于参考摘要中的每个子句,都在原文中找到与之相似的句子,将原文中匹配到的所有句子作为抽取句子标签,最终得到抽取式语料。
可选地,由抽取式语料,生成句向量的步骤包括:
基于Roberta模型,由上述得到的抽取式语料,通过在Roberta模型的第一维度进行平均池化操作,生成句向量。
示例性地,首先调用Roberta模型,再对第一维度进行平均池化操作,带 mask的平均池化过程如下:
假设:input=[1,2,3,4,5],mask=[T,T,F,F,F],axis=1
则:input*mask=1*1+2*1+3*0+4*0+5*0=3
其有效位为2,最终结果为input*mask/2=1.5
可选地,基于DGCNN模型对抽取式语料构建标注模型主体,以获取抽取式摘要的步骤包括:
基于DGCNN模型具有不同权值的两个一维卷积,设置激活函数,若所述一维卷积的输入与输出一致,则使用残差结构,以对所述一维卷积设置门机制。
示例性地,假设需处理序列为X=[x1,x2,...,xn],则可以给一维卷积加入门机制:
其中Conv1D1和Conv1D2代表两个形式相同,但权值不互相共享的一维卷积,σ代表激活函数sigmoid。
为了解决梯度消失,使得信息能够在多通道传输,若输入和输出一致,可使用残差结构:
为了清晰的看到信息的流动,将(2)式进行等价代换:
ω=Conv1D2(X) (4)
信息流以1-ω的概率直接通过,以ω的概率经过变换后才通过,如图2所示
DGCNN模型输出一个0/1序列,其中,“1”表示需要将该句抽取出来作为摘要,“0”表示不需要将该句抽取出来,最终得到抽取式摘要。
可选地,以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示的步骤包括:
将抽取式摘要进行预处理,预处理包括分词和去停用词。
示例性地,将抽取式模型的输出作为生成式模型输入,并进行预处理,包括分词、去停用词等。
可选地,以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示的步骤包括:
使用NEZHA模型用于预训练,以获取特征向量表示。
示例性地,用x=(x1,x2,…,xn)表示输入,用z=(z1,z2,...,zn)表示输出, 其长度与输入序列一致,在相对位置编码方案中,注意力分数的计算涉及到关于两个位置之间的相对距离的参数嵌入,每个注意力头都有三个参数矩阵,分别为Wk、WQ、WV,输出zi的计算公式如下所示:
其中,αij是由位置i和位置j的隐藏状态求softmax得到:
其中,和是位置i和位置j的相对位置编码,其均为正弦函数,且在训练过程中固定不变,为了简化起见,直接将和简写为αij,dz表示NEZHA 模型的每个注意力头的隐含层大小,维度为2k以及2k+1的αij分别如下所示:
可选地,使用NEZHA模型用于预训练,以获取特征向量表示的步骤之后包括:
构造输入序列,并使用UniLM模型对输入序列进行微调,以获取生成式摘要。
H1=Transformerl(Hl-1),l∈[1,L] (10)
在每个Transformer模块中,使用了多个自注意头来聚合前一层的输出向量,对于第l个Transformer层,自注意头Al的输出通过以下方式计算:
可选地,构造输入序列,并使用UniLM模型对输入序列进行微调,以获取生成式摘要的步骤包括:
对输入序列的目标序列进行预设比例的掩盖,以获取掩盖序列;根据掩盖序列,使UniLM模型学习恢复被掩盖词进行任务微调。
可选地,构造输入序列,并使用UniLM模型对输入序列进行微调,以获取生成式摘要的步骤包括:
根据输入序列,设置句子特征标识,并掩盖输入序列的结束标识,使UniLM 模型进行自动结束任务学习。
示例性地,生成式模型微调部分选择UniLM的Seq2Seq框架结构,如图3 所示,S1表示源序列,S2表示目标序列,构造输入序列“[SOS]S1[EOS]S2[EOS]”,通过对目标序列按一定比例进行掩盖,让UniLM模型学习恢复被掩盖的词进行任务微调,另外通过掩盖目标序列的结束标识[EOS],模型便可以学习自动结束任务。UniLM模型基于前后文本被遮蔽的最大似然度得到文本摘要。
另一方面,本申请还提供一种存储介质,具体地,存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的专利摘要自动生成方法。
本申请提供的专利摘要自动生成方法及存储介质,基于DGCNN-NEZHA-UniLM 模型,表明“先抽取再生成”的方法可以将基于DGCNN的抽取式模型和基于 NEZHA-UniLM的生成式模型的优势结合起来,生成内容丰富、全面、可读性强的长文本摘要。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。
需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
在本申请提供的智能终端和计算机可读存储介质的实施例中,可以包含任一上述XX方法实施例的全部技术特征,说明书拓展和解释内容与上述方法的各实施例基本相同,在此不再做赘述。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk(SSD))等。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种专利摘要自动生成方法,其特征在于,包括:
响应于获取专利说明书和参考摘要,对所述专利说明书和参考摘要使用抽取式模型生成抽取式摘要;
以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示;
将所述特征向量表示进行微调,获取生成式摘要。
2.如权利要求1所述的方法,其特征在于,所述响应于获取专利说明书和参考摘要,对所述专利说明书和参考摘要使用抽取式模型生成抽取式摘要的步骤中包括:
分割所述参考摘要为多个第一句子,分割所述专利说明书为多个第二句子,根据所述第一句子与所述第二句子的相似度,获取抽取式语料;
基于DGCNN模型对所述抽取式语料构建标注模型主体,以获取抽取式摘要。
3.如权利要求2所述的方法,其特征在于,所述根据所述第一句子与所述第二句子的相似度,生成抽取式语料的步骤包括:
根据所述相似度,将所述第一句子和所述第二句子进行匹配,将第二句子中匹配到的所有句子作为抽取句子标签,以获取抽取式语料;
由所述抽取式语料,生成句向量。
4.如权利要求3所述的方法,其特征在于,所述由所述抽取式语料,生成句向量的步骤包括:
基于Roberta模型,通过在所述Roberta模型的第一维度对所述抽取式语料进行平均池化操作,生成所述句向量。
5.如权利要求2所述的方法,其特征在于,所述基于DGCNN模型对所述抽取式语料构建标注模型主体,以获取抽取式摘要的步骤包括:
基于所述DGCNN模型具有不同权值的两个一维卷积,设置激活函数,若所述一维卷积的输入与输出一致,则使用残差结构,以对所述一维卷积设置门机制。
6.如权利要求1所述的方法,其特征在于,所述以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示的步骤包括:
将所述抽取式摘要进行预处理,所述预处理包括分词和去停用词。
7.如权利要求6所述的方法,其特征在于,所述以抽取式摘要作为输入文本,利用预训练语言模型,以获取文本的特征向量表示表示的步骤包括:
使用NEZHA模型用于预训练,以获取所述特征向量表示。
8.如权利要求7所述的方法,其特征在于,所述使用NEZHA模型用于预训练,以获取所述特征向量表示的步骤之后包括:
构造输入序列,并使用UniLM模型对所述输入序列进行微调,以获取生成式摘要。
9.如权利要求8所述的方法,其特征在于,所述构造输入序列,并使用UniLM模型对所述输入序列进行微调,以获取生成式摘要的步骤包括:
对所述输入序列中的目标序列进行预设比例的掩盖,以获取掩盖序列;根据所述掩盖序列,使所述UniLM模型学习恢复被掩盖词进行任务微调;
和/或,根据所述输入序列,设置句子特征标识,并掩盖所述输入序列的结束标识,使所述UniLM模型进行自动结束任务学习。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的专利摘要自动生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210622539.5A CN115048488A (zh) | 2022-06-02 | 2022-06-02 | 专利摘要自动生成方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210622539.5A CN115048488A (zh) | 2022-06-02 | 2022-06-02 | 专利摘要自动生成方法及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115048488A true CN115048488A (zh) | 2022-09-13 |
Family
ID=83160055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210622539.5A Pending CN115048488A (zh) | 2022-06-02 | 2022-06-02 | 专利摘要自动生成方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115048488A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116028620A (zh) * | 2023-02-20 | 2023-04-28 | 知呱呱(天津)大数据技术有限公司 | 一种基于多任务特征协同的生成专利摘要的方法及*** |
-
2022
- 2022-06-02 CN CN202210622539.5A patent/CN115048488A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116028620A (zh) * | 2023-02-20 | 2023-04-28 | 知呱呱(天津)大数据技术有限公司 | 一种基于多任务特征协同的生成专利摘要的方法及*** |
CN116028620B (zh) * | 2023-02-20 | 2023-06-09 | 知呱呱(天津)大数据技术有限公司 | 一种基于多任务特征协同的生成专利摘要的方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829104B (zh) | 基于语义相似度的伪相关反馈模型信息检索方法及*** | |
CN109885672B (zh) | 一种面向在线教育的问答式智能检索***及方法 | |
CN106776562B (zh) | 一种关键词提取方法和提取*** | |
CN104199965B (zh) | 一种语义信息检索方法 | |
US8577882B2 (en) | Method and system for searching multilingual documents | |
CN106776548B (zh) | 一种文本的相似度计算的方法和装置 | |
CN101739428B (zh) | 一种对多媒体创建索引的方法 | |
CN110929498B (zh) | 一种短文本相似度的计算方法及装置、可读存储介质 | |
CN112818093A (zh) | 基于语义匹配的证据文档检索方法、***及存储介质 | |
CN113111836B (zh) | 基于跨模态哈希学习的视频解析方法 | |
CN116628173B (zh) | 一种基于关键字提取的智能客服信息生成***及生成方法 | |
CN112307190B (zh) | 医学文献排序方法、装置、电子设备及存储介质 | |
CN115310448A (zh) | 一种基于bert和字词向量结合的中文命名实体识别方法 | |
CN116662502A (zh) | 基于检索增强的金融问答文本生成方法、设备及存储介质 | |
CN112417119A (zh) | 一种基于深度学习的开放域问答预测方法 | |
CN113962228A (zh) | 一种基于记忆网络语义融合的长文档检索方法 | |
CN115048488A (zh) | 专利摘要自动生成方法及存储介质 | |
CN111475607A (zh) | 一种基于Mashup服务功能特征表示与密度峰值检测的Web数据聚类方法 | |
CN110929518A (zh) | 一种使用重叠拆分规则的文本序列标注算法 | |
CN112949293A (zh) | 一种相似文本生成方法、相似文本生成装置及智能设备 | |
CN113220824B (zh) | 数据检索方法、装置、设备及存储介质 | |
CN112287217B (zh) | 医学文献检索方法、装置、电子设备及存储介质 | |
KR20220015129A (ko) | 대화 형식 기반의 도서 추천 서비스 제공 방법 및 그를 위한 장치 | |
CN111858908A (zh) | 一种摘报文本生成方法、装置、服务器及可读存储介质 | |
CN117076712B (zh) | 视频检索方法、***、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |