CN114943220A - 一种面向科研立项查重的句向量生成方法及查重方法 - Google Patents
一种面向科研立项查重的句向量生成方法及查重方法 Download PDFInfo
- Publication number
- CN114943220A CN114943220A CN202210382556.6A CN202210382556A CN114943220A CN 114943220 A CN114943220 A CN 114943220A CN 202210382556 A CN202210382556 A CN 202210382556A CN 114943220 A CN114943220 A CN 114943220A
- Authority
- CN
- China
- Prior art keywords
- sentence
- text
- participle
- sentence vector
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000011160 research Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 102100031554 Double C2-like domain-containing protein alpha Human genes 0.000 claims description 2
- 101000866272 Homo sapiens Double C2-like domain-containing protein alpha Proteins 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种面向科研立项查重的句向量生成方法及查重方法。本发明句向量生成方法为:1)对于一科研项目申报书的文本进行分词,计算每一分词w的词频及词频权重;2)设置每一分词w的词性权重;3)根据分词w所在句子在所述文本中的位置,确定该句子中分词w的位置权重;4)根据各句子中分词的分词w的词频权重、词性权重和位置权重计算对应句子中分词w的词权重;5)根据分词w的词权重生成文本的句向量矩阵;6)去除句向量矩阵的前m个主成分,对句向量矩阵中的每一句向量进行更新;7)将科研项目申报书的文本输入Doc2Vec模型,生成文本的句向量并将其与步骤6)更新后的句向量加权平均,得到文本中每一句子对应的句向量。
Description
技术领域
本发明涉及自然语言处理文本表示技术领域,是一种面向科研立项查重的由词向量生成句向量的改进方法及查重方法。
背景技术
近年来,我国对科研经费的投入越来越大,逐年增加的科研经费和海量的申报课题给科研项目立项决策带来了极大的困难,科技项目“重复立项”、“多头申报”问题日益凸显。科研项目的重复研究将造成科研资源的浪费,阻碍国家的科技发展规划,因此建立有效的科研项目立项查重机制已成为科技计划管理部门的当务之急。
对科技项目申报文本进行查重首先需要将文本表示为计算机可以处理的形式。目前文本表示的常用方式是把字或词处理成向量,在包含语义信息的同时,以便计算机能进行处理。当前文本表示的常用方法有Word2Vec,Doc2Vec,Glove,fastText,BERT等。
通常情况下,句子由若干字、词组成,一段文本由若干个句子组成。在使用文本表示技术将字或词表示为向量后,若要获得句子或段落的向量表示,需要通过某种方式将词向量转化为句向量,句向量再转化为段落向量。使句向量能够更为准确地表征文本语义,是进行语义理解、计算语义相似度的关键。
目前常用的句向量生成方式有以下两种:有监督的句向量生成方法和无监督的句向量生成方法。有监督的句向量生成方法对标注数据有较强的依赖,在一些特定领域,标注数据获取成本较高。无监督的句向量生成方法目前常见的有词向量直接相加平均、词向量通过TF-IDF、USIF等方式进行加权等。词向量直接相加平均没有考虑到训练样本中词频带来的影响和句子长度带来的影响。TF-IDF虽考虑到词频带来的影响,但是提升效果不大。USIF在考虑词频的基础上,通过删除句矩阵前m个主成分来消除词向量加权平均造成的无意义分量,但仍无法解决词序问题,且没有考虑到语法、位置等信息,无法准确表征句子语义。
发明内容
本发明旨在实现一种面向科研立项查重的句向量生成方法及查重方法,通过改进USIF加权方式并融合词序,提升句向量的语义表征能力,提高科研立项查重结果的准确率。
本发明面向科研立项查重的句向量生成方法,包括以下步骤:
在USIF计算词频权重的基础上,加入词词性权重、位置权重,并使用上述三种权重作为词的最终权重进行计算。在使用USIF方法去除了句向量矩阵前m个主成分后,将得到的句向量与Doc2Vec生成的句向量进行加权平均,得到融入词序特征后的句向量。
为实现上述目的,本发明采用以下技术方案:
一种面向科研立项查重的句向量生成方法,其步骤包括:
1)对于一科研项目申报书的文本进行分词,计算所述文本中每一分词w的词频p(w)及词频权重tf(w);
2)根据汉语的语法规则以及六类实词词性在科研项目文本中的分布,设置每一分词w的词性权重tag(w);其中六类实词词性包括名词、动词、形容词、代词、量词和数词;
3)根据分词w所在句子在所述文本中的位置,确定该句子中分词w的位置权重pos(w);
4)根据各句子中分词的分词w的词频权重tf(w)、词性权重tag(w)和位置权重pos(w)计算对应句子中分词w的词权重wgh(w);
5)根据分词w的词权重wgh(w)生成所述文本的句向量矩阵A;
6)去除所述句向量矩阵A的前m个主成分,对所述句向量矩阵A中的每一句向量进行更新;
7)将科研项目申报书的文本输入Doc2Vec模型,生成所述文本的句向量并将其与步骤6)更新后的对应句向量加权平均,得到所述文本中每一句子对应的句向量。
进一步的,确定分词w的位置权重的方法为:如果分词w所在句子为所述文本的段落首句或末句,则分词w的位置权重较高,否则分词w的位置权重较低。
进一步的,词权重wgh(w)=tf(w)*(1+tag(w)+pos(w))。
一种科研立项查重方法,其步骤包括:
1)采用上述方法生成待查重科研项目申报书中文本的句向量,并对所生成的句向量进行加和取平均得到该待查重科研项目申报书的语义表征向量;
2)计算该待查重科研项目申报书的语义表征向量与数据库中每一科研项目申报书对应的语义表征向量之间的相似度,如果相似度大于设定阈值,则判定该待查重科研项目申报书为重复申报项目。
一种服务器,其特征在于,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被配置为由所述处理器执行,所述计算机程序包括用于执行上述方法中各步骤的指令。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述方法的步骤。
与现有技术相比,本发明的优点如下:
(1)可以更准确地反映每个词对句子语义的贡献;
(2)可以为句向量保留句子的词序关系;
即使用本文提出的句向量生成方法可以更准确地提取句子语义特征,提升句向量对句子语义的表征能力。
为验证本文提出的句向量生成方法在语义表征能力方面具有一定的优势,我们选取了若干科研项目文本进行了多组实验。实验对比了基于USIF加权的句向量生成方法(UW)、基于TF-IDF加权的句向量生成方法(TW),部分实验数据如表1所示。
表1基于不同句向量生成方法的科研项目相似度
从表1中可以看出,该句向量生成方法总体上使不相似文本间的相似度更低,而相似文本间的相似度更高,相比TF-IDF加权的句向量生成方法提升约16%,相比于USIF加权的句向量生成方法提升约9.5%,可以更准确地计算项目文本间的相似度。
对科研项目申报书中的文本使用该句向量生成方法,并对生成的句向量进行加和取平均即可获得科研项目申报书的语义表征向量。科研项目申报书间的相似度通过计算语义表征向量间的相似度得到。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面对本发明进行进一步详细描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
本发明方法的流程如图1所示,其步骤包括:
1.对于一科研项目申报书的文本进行分词,得到多个分词及对应的词性;根据USIF算法计算该文本中每一分词的词频权重
其中,|V|是词典大小,n为随机游走的步数,α为需调优的超参数,a是词w偶然产生的概率,p(w)是词w在文本中的词频,tf(w)是词w的词频权重。
2.计算词性权重
根据汉语的语法规则以及六类实词词性在科研项目文本中的分布,设置了词性权重,如表2所示。
表2词性权重分配表
3.计算位置权重
将出现在段落首句、末句的词语w设置位置权重为pos(w)=0.2,其余位置的词语w位置权重设置为pos(w)=0.1。
4.计算词权重
wgh(w)=tf(w)*(1+tag(w)+pos(w)) (5)
其中,tf(w)是词w的词频权重,tag(w)为词w的词性权重,pos(w)为词w的位置权重。
5.生成句向量矩阵
其中,w为句子s中的分词,wgh(w)为分词w的词权重,vw为分词w的词向量,A为n个加权句向量cs组成的句向量矩阵。
6.去除句向量矩阵前m个主成分
其中,σi为句向量矩阵A的第i个奇异值,ci为句向量矩阵A的第i个奇异向量,λi为ci的权重,m为去除的主成分数,为处理后的句向量,为前m个奇异值的平方和,为句向量矩阵A中前m个奇异值中的第j个奇异值的平方;m为一设定值,其取值需要视实际情况而定。
7.融入词序特征
使用分词后的科研项目申报书文本作为语料集训练Doc2Vec模型,将Doc2Vec生成的句向量与改进的USIF加权的句向量加权平均,为改进的USIF加权生成的句向量融入词序特征。
8.计算科研项目的相似度
一段文本是由若干句子组成的,因此文本表征向量由文本中句子的句向量加和平均得到,如公式11所示。
科研项目间的相似度使用文本表征向量间的余弦相似度计算得到,如公示12所示。
其中,ui和vi分别是项目u和v的表征向量的第i个分量,n为表征向量的维数。
尽管为说明目的公开了本发明的具体实施例,其目的在于帮助理解本发明的内容并据以实施,本领域的技术人员可以理解:在不脱离本发明及所附的权利要求的精神和范围内,各种替换、变化和修改都是可能的。因此,本发明不应局限于最佳实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (10)
1.一种面向科研立项查重的句向量生成方法,其步骤包括:
1)对于一科研项目申报书的文本进行分词,计算所述文本中每一分词w的词频p(w)及词频权重tf(w);
2)根据汉语的语法规则以及六类实词词性在科研项目文本中的分布,设置每一分词w的词性权重tag(w);其中六类实词词性包括名词、动词、形容词、代词、量词和数词;
3)根据分词w所在句子在所述文本中的位置,确定该句子中分词w的位置权重pos(w);
4)根据各句子中分词的分词w的词频权重tf(w)、词性权重tag(w)和位置权重pos(w)计算对应句子中分词w的词权重wgh(w);
5)根据分词w的词权重wgh(w)生成所述文本的句向量矩阵A;
6)去除所述句向量矩阵A的前m个主成分,对所述句向量矩阵A中的每一句向量进行更新;
7)将科研项目申报书的文本输入Doc2Vec模型,生成所述文本的句向量并将其与步骤6)更新后的对应句向量加权平均,得到所述文本中每一句子对应的句向量。
2.根据权利要求1所述的方法,其特征在于,确定分词w的位置权重的方法为:如果分词w所在句子为所述文本的段落首句或末句,则分词w的位置权重较高,否则分词w的位置权重较低。
3.根据权利要求1或2所述的方法,其特征在于,词权重wgh(w)=tf(w)*(1+tag(w)+pos(w))。
8.一种科研立项查重方法,其步骤包括:
1)采用权利要求1所述方法生成待查重科研项目申报书中文本的句向量,并对所生成的句向量进行加和取平均得到该待查重科研项目申报书的语义表征向量;
2)计算该待查重科研项目申报书的语义表征向量与数据库中每一科研项目申报书对应的语义表征向量之间的相似度,如果相似度大于设定阈值,则判定该待查重科研项目申报书为重复申报项目。
9.一种服务器,其特征在于,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被配置为由所述处理器执行,所述计算机程序包括用于执行权利要求1至8任一所述方法中各步骤的指令。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210382556.6A CN114943220B (zh) | 2022-04-12 | 2022-04-12 | 一种面向科研立项查重的句向量生成方法及查重方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210382556.6A CN114943220B (zh) | 2022-04-12 | 2022-04-12 | 一种面向科研立项查重的句向量生成方法及查重方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114943220A true CN114943220A (zh) | 2022-08-26 |
CN114943220B CN114943220B (zh) | 2023-01-10 |
Family
ID=82908110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210382556.6A Active CN114943220B (zh) | 2022-04-12 | 2022-04-12 | 一种面向科研立项查重的句向量生成方法及查重方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114943220B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115329742A (zh) * | 2022-10-13 | 2022-11-11 | 深圳市大数据研究院 | 基于文本分析的科研项目产出评价验收方法及*** |
CN118333033A (zh) * | 2024-06-14 | 2024-07-12 | 广东省技术经济研究发展中心 | 基于深度学习的科技项目创新潜力预估方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109408802A (zh) * | 2018-08-28 | 2019-03-01 | 厦门快商通信息技术有限公司 | 一种提升句向量语义的方法、***及存储介质 |
CN109977410A (zh) * | 2019-03-28 | 2019-07-05 | 杭州电子科技大学 | 一种基于pca算法的中文主观题自动评分方法 |
CN111104799A (zh) * | 2019-10-16 | 2020-05-05 | 中国平安人寿保险股份有限公司 | 文本信息表征方法、***及计算机设备、存储介质 |
-
2022
- 2022-04-12 CN CN202210382556.6A patent/CN114943220B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109408802A (zh) * | 2018-08-28 | 2019-03-01 | 厦门快商通信息技术有限公司 | 一种提升句向量语义的方法、***及存储介质 |
CN109977410A (zh) * | 2019-03-28 | 2019-07-05 | 杭州电子科技大学 | 一种基于pca算法的中文主观题自动评分方法 |
CN111104799A (zh) * | 2019-10-16 | 2020-05-05 | 中国平安人寿保险股份有限公司 | 文本信息表征方法、***及计算机设备、存储介质 |
Non-Patent Citations (2)
Title |
---|
CHINTAN SHAH ET AL.: "A Hybrid Approach of Text Summarization Using Latent Semantic Analysis and Deep Learning", 《2018 INTERNATIONAL CONFERENCE ON ADVANCES IN COMPUTING, COMMUNICATIONS AND INFORMATICS (ICACCI)》 * |
祁荣苓 等: "基于句子向量表示和模糊C均值的电子政务文档自动摘要技术", 《数据与计算发展前沿》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115329742A (zh) * | 2022-10-13 | 2022-11-11 | 深圳市大数据研究院 | 基于文本分析的科研项目产出评价验收方法及*** |
CN115329742B (zh) * | 2022-10-13 | 2023-02-03 | 深圳市大数据研究院 | 基于文本分析的科研项目产出评价验收方法及*** |
CN118333033A (zh) * | 2024-06-14 | 2024-07-12 | 广东省技术经济研究发展中心 | 基于深度学习的科技项目创新潜力预估方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114943220B (zh) | 2023-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110442760B (zh) | 一种问答检索***的同义词挖掘方法及装置 | |
US11379668B2 (en) | Topic models with sentiment priors based on distributed representations | |
Cohen et al. | Exploiting dictionaries in named entity extraction: combining semi-markov extraction processes and data integration methods | |
US11068653B2 (en) | System and method for context-based abbreviation disambiguation using machine learning on synonyms of abbreviation expansions | |
CN114943220B (zh) | 一种面向科研立项查重的句向量生成方法及查重方法 | |
CN112347758B (zh) | 文本摘要的生成方法、装置、终端设备及存储介质 | |
Rahimi et al. | An overview on extractive text summarization | |
CN110457690A (zh) | 一种专利创造性的判断方法 | |
CN110705247A (zh) | 基于χ2-C的文本相似度计算方法 | |
CN112528653B (zh) | 短文本实体识别方法和*** | |
Sun et al. | Chinese new word identification: a latent discriminative model with global features | |
Lan | Research on Text Similarity Measurement Hybrid Algorithm with Term Semantic Information and TF‐IDF Method | |
Tlili-Guiassa | Hybrid method for tagging Arabic text | |
CN110020024B (zh) | 一种科技文献中链接资源的分类方法、***、设备 | |
Gupta et al. | Designing and development of stemmer of Dogri using unsupervised learning | |
CN111723583B (zh) | 基于意图角色的语句处理方法、装置、设备及存储介质 | |
CN111639189B (zh) | 一种基于文本内容特征的文本图构建方法 | |
Murata et al. | Comparison of three machine-learning methods for Thai part-of-speech tagging | |
Yuan et al. | Personalized sentence generation using generative adversarial networks with author-specific word usage | |
JP4567025B2 (ja) | テキスト分類装置、テキスト分類方法及びテキスト分類プログラム並びにそのプログラムを記録した記録媒体 | |
Moghadam et al. | Comparative study of various Persian stemmers in the field of information retrieval | |
CN114462378A (zh) | 科技项目查重方法、***、计算机设备及存储介质 | |
Niu et al. | Context clustering for word sense disambiguation based on modeling pairwise context similarities | |
Pan et al. | An Unsupervised Artificial Intelligence Strategy for Recognising Multi-word Expressions in Transformed Bengali Data | |
Wang et al. | Knowledge points extraction of junior high school english exercises based on SVM method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |