CN107908622A - 一种基于同义关联词的文本对比方法 - Google Patents
一种基于同义关联词的文本对比方法 Download PDFInfo
- Publication number
- CN107908622A CN107908622A CN201711174795.8A CN201711174795A CN107908622A CN 107908622 A CN107908622 A CN 107908622A CN 201711174795 A CN201711174795 A CN 201711174795A CN 107908622 A CN107908622 A CN 107908622A
- Authority
- CN
- China
- Prior art keywords
- synonym
- word
- words
- article
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013518 transcription Methods 0.000 title claims abstract description 11
- 230000035897 transcription Effects 0.000 title claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000012163 sequencing technique Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种基于同义关联词的文本对比方法,属于自然语言处理技术领域。本发明本发明对Simhash算法中TF‑IDF算法进行了改进,首先,对文章预处理,去除文章中无意义的词,留下实义词;然后,抽取与文章主题相关的同义词,及同义词的相关词进行权重的加权和调整,再将以上词进行权重排序后,选取关键字权重最大的前N个词作为文本的特征词,计算文章的Simhash值;最后,重复以上步骤,计算对比文章的特征词Simhash值,从两者之间的汉明距离,判断两篇文章的是否相似。本发明主要解决Simhash算法文本查重效果慢,准确率低等问题,大大提高了文本查重的效率和计算准确性。
Description
技术领域
本发明涉及一种基于同义关联词的文本对比方法,属于自然语言处理技术领域。
背景技术
在数据挖掘及知识信息发现领域,大量数据的喷涌带来的一大挑战就是信息的大量重复,在国内,据统计有30%重复网页,而重复信息太多是造成了检索困难的主要问题之一。simhash算法专门解决亿万级网页去重问题,当然在文本去重方面应用也非常广泛,不过相比网页去重更加复杂,因为中文句式结构特殊且一词多义。此算法主要的核心思想就是降维,将高维的特征向量映射到低维的特征向量,通过计算两个向量的汉明距离判断两文档相似或重复程度。在信息论中,两个等长字符串之间的汉明距离是两字符串之间对应位置数字不同的个数。比如,1000110和1000001的汉明距离为3。基于以上所述,可以推广到文本特征值进行查重,而且是基于反映主题同义词及相关词权重进行加权,选取权重最大的前N个词作为特征词计算进行查重。
发明内容
本发明提供了一种基于同义关联词的文本对比方法,以用于Simhash算法文本查重效果慢,准确率低等问题,本发明大大提高了文本查重的效率和计算准确性。
本发明的技术方案是:一种基于同义关联词的文本对比方法,所述方法的具体步骤如下:
Step1、对文章进行预处理;预处理包括:分词,去停用词,分别使用分词包,停用词库进行分词和去停用词;
Step2、选取文章主题词的同义词及同义词的相关词进行权重加权和调整,之后选出文章的特征词;
Step2.1、根据相似度查找文章主题词的同义词;
Step2.2、同义词加权;
Step2.3、同义词的相关词的权重加权和调整;
Step2.4、计算完所有词语的权重后,找出权重最大的前N个词语作为文本的特征词;其中30≤N≤50;
Step3、根据选出的特征词计算其Simhash值来作为被查文章的Simhash值;
Step4、重复以上步骤,计算对比文章Simhash值,然后计算两者的汉明距离,当两篇文档的汉明距离小于20,说明这两篇文章相似度很高,否则认为两篇文章的相似度不高。
所述步骤Step2.1中,文章主题词的同义词的查找通过《同义词词林》再结合相似度进行查找,采用相似度计算公式计算2个词语的相似度,表示为:其中,Simj(S1,S2)为2个概念的义原描述式,βi是可调参数,而且有β1+β2+β3+β4=1,β1≥β2≥β3≥β4;
同义词集合指词语t和与t在文本中有同义关系的所有词语的集合,用S={S1,S2,S3,...,Sm}表示。
所述步骤Step2.2中,同义词加权的方式为:同义词集合中权重最大的词作为标准词,其他的词语根据词语相似度来对标准词进行加权,给出了一个值β,0.6≤β<1只有相似度大于β的才被认为是能给标准词加权的同义词,同义词加权分3种情况:
1)词语ti没有同义词则wi不变;2)ti的同义词在V中,计算ti与其同义词之间的相似度Sim并与β比较,若Sim>β,则给ti加权并删除ti的同义词,若Sim<β,则不认为它是同义词,寻找下一个同义词;3)ti的同义词没有在V中,计算ti与其同义词之间的相似度Sim并与β比较,若Sim>β,则给ti加权,若Sim<β,寻找下一个同义词,若ti有同义词tj,则ti加权公式为:wi *=wi+wj*Sim(ti,tj),其中,V为同义词集合,wi为第i词对应的权重值。
所述步骤Step2.3中,文章主题词同义词的相关词也是通过《同义词词林》查找出来的,文章主题词同义词的相关词的权重加权和调整,是通过两个词出现在同一句子频对相关词权重加权和调整,表示为:其中,pij表示词语ti与词语tj的在同一个句子出现概率,词语tj在文本出现的次数为mj,词语ti在文本出现的次数为mi,词语ti与tj之间的在同一个句子出现频率mij,mij=mji,mii=mi,同义词集合中多个词语出现在同一个句子中的加权方式为:其中ps为与同义词集合中的多个词具有在同一个句子出现的概率;对同义词集合中的词语及其相关词进行权重调整,同义词集合中的词语修正方式为:同义词的相关词修正方式为:其中wi为第i词对应的权重值。
本发明的有益效果是:
本发明对Simhash算法中TF-IDF算法进行了改进,首先,对文章预处理,去除文章中无意义的词,留下实义词;然后,抽取与文章主题相关的同义词,及同义词的相关词进行权重的加权和调整,再将以上词进行权重排序后,选取关键字权重最大的前N个词作为文本的特征词,计算文章的Simhash值;最后,重复以上步骤,计算对比文章的特征词Simhash值,从两者之间的汉明距离,判断两篇文章的是否相似。本发明与现有技术相比,主要解决Simhash算法文本查重效果慢,准确率低等问题,大大提高了文本查重的效率和计算准确性。
附图说明
图1为本发明中的总流程图;
图2为本发明中步骤Step1详细流程图;
图3为本发明中步骤Step2详细流程图。
具体实施方式
实施例1:如图1-3所示,一种基于同义关联词的文本对比方法,所述方法的具体步骤如下:
Step1、对文章进行预处理;预处理包括:分词,去停用词,分别使用分词包,停用词库进行分词和去停用词;
Step2、选取文章主题词的同义词及同义词的相关词进行权重加权和调整,之后选出文章的特征词;比如一篇讲国足的文章,(国足*4,球队*3,球员*2,…)
Step2.1、根据相似度查找文章主题词的同义词;
所述步骤Step2.1中,文章主题词的同义词的查找通过《同义词词林》再结合相似度进行查找,《同义词词林》查找同义词,《同义词词林》是一部类义词典,先找到“国足”这个词,再一次比对找出文章中全部与其同义的词,及相关的词;采用相似度计算公式计算2个词语的相似度,表示为:其中,Simj(S1,S2)为2个概念的义原描述式,即更形象具体的描述一个词,比如“国足”,球是圆的,只能用脚踢等多个词描述国足的特点,βi是可调参数,而且有β1+β2+β3+β4=1,β1≥β2≥β3≥β4;
同义词集合指词语t和与t在文本中有同义关系的所有词语的集合,用S={S1,S2,S3,...,Sm}表示。比如,文中{国足,球队,球员,国家队,……},集合中指的是“国足”的所有同义词集合;
同一文本中某个词的同义词出现较多时,表明这篇文本的主题与这个同义词集合所表达的概念是相近的.因此,进行词频统计时将同义词因素考虑到特征词的选择中,能更好地选择表示文本主题的特征词,更能提高提取特征词的准确度。
Step2.2、同义词加权;
加权的标准:同义词集合中权重最大的词作为标准词,其他的词语根据词语相似度来对标准词进行加权.
《同义词词林》是一部类义词典,有些同属一类的词语之间的相似度并不高;所述步骤Step2.2中,同义词加权的方式为:同义词集合中权重最大的词作为标准词,其他的词语根据词语相似度来对标准词进行加权,给出了一个值β,β取0.6,只有相似度大于β的才被认为是能给标准词加权的同义词,同义词加权分3种情况:
1)词语ti没有同义词则wi不变;2)ti的同义词在V中,计算ti与其同义词之间的相似度Sim并与β比较,若Sim>β,则给ti加权并删除ti的同义词,若Sim<β,则不认为它是同义词,寻找下一个同义词;3)ti的同义词没有在V中,计算ti与其同义词之间的相似度Sim并与β比较,若Sim>β,则给ti加权,若Sim<β,寻找下一个同义词,若ti有同义词tj,则ti加权公式为:wi *=wi+wj*Sim(ti,tj),其中,V为同义词集合,wi为第i词对应的权重值。比如通过上面的方式:将所有跟“国足”的同义词进行合并加权;
Step2.3、同义词的相关词的权重加权和调整;
同义词集合表达的概念与文本的主题相近,那么同义词集合中的词语的相关词也必定与文本的主题有密切关系,在特征提取中它的权重也应该相应的增加;所述步骤Step2.3中,文章主题词同义词的相关词也是通过《同义词词林》查找出来的,文章主题词同义词的相关词的权重加权和调整,是通过两个词出现在同一句子频对相关词权重加权和调整,表示为:其中,2mij<mi+mj,pij表示词语ti与词语tj的在同一个句子出现概率,词语tj在文本出现的次数为mj,词语ti在文本出现的次数为mi,词语ti与tj之间的在同一个句子出现频率mij,mij=mji,mii=mi,比如,“国足”在文章出现了200次,球队出现100次,同时在同一个句子当中出现了50次,则概率为0.2;计算结果会得到同义词集合中的所有词与文本中词语的在同一个句子出现概率,一个m行n列的矩阵.在文本中因为同义词表达的是同一个概念,因此跟同义词集合中多个词都有同现关系的词语的权重也应该得到加强;
其中,同义词集合中多个词语出现在同一个句子中的加权方式为:其中ps为与同义词集合中的多个词具有在同一个句子出现的概率;
对同义词集合中的词语及其相关词进行权重调整,同义词集合中的词语修正方式为:
同义词的相关词修正方式为:其中wi为第i词对应的权重值。
同义词集合中的词语的权重得到了加强,跟同义词关联比较大的词语权重也得到了加强;比如:{国足,球队,球员,国家队,……中每个词权重通过公式加权,与主题相关的词比如:“世界杯”、“出线”等与主题相关的词也通过公式对权重加权;
Step2.4、计算完所有词语的权重后,找出权重最大的前N个词语作为文本的特征词;其中30≤N≤50;
Step3、根据选出的特征词计算其Simhash值来作为被查文章的Simhash值;
Step4、重复以上步骤,计算对比文章Simhash值,然后计算两者的汉明距离,当两篇文档的汉明距离小于20,说明这两篇文章相似度很高,否则认为两篇文章的相似度不高。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (4)
1.一种基于同义关联词的文本对比方法,其特征在于:所述方法的具体步骤如下:
Step1、对文章进行预处理;预处理包括:分词,去停用词,分别使用分词包,停用词库进行分词和去停用词;
Step2、选取文章主题词的同义词及同义词的相关词进行权重加权和调整,之后选出文章的特征词;
Step2.1、根据相似度查找文章主题词的同义词;
Step2.2、同义词加权;
Step2.3、同义词的相关词的权重加权和调整;
Step2.4、计算完所有词语的权重后,找出权重最大的前N个词语作为文本的特征词;其中30≤N≤50;
Step3、根据选出的特征词计算其Simhash值来作为被查文章的Simhash值;
Step4、重复以上步骤,计算对比文章Simhash值,然后计算两者的汉明距离,当两篇文档的汉明距离小于20,说明这两篇文章相似度很高,否则认为两篇文章的相似度不高。
2.根据权利要求1所述的基于同义关联词的文本对比方法,其特征在于:所述步骤Step2.1中,文章主题词的同义词的查找通过《同义词词林》再结合相似度进行查找,采用相似度计算公式计算2个词语的相似度,表示为:
其中,Simj(S1,S2)为2个概念的义原描述式,βi是可调参数,而且有β1+β2+β3+β4=1,β1≥β2≥β3≥β4;
同义词集合指词语t和与t在文本中有同义关系的所有词语的集合,用S={S1,S2,S3,...,Sm}表示。
3.根据权利要求2所述的基于同义关联词的文本对比方法,其特征在于:所述步骤Step2.2中,同义词加权的方式为:同义词集合中权重最大的词作为标准词,其他的词语根据词语相似度来对标准词进行加权,给出了一个值β,0.6≤β<1只有相似度大于β的才被认为是能给标准词加权的同义词,同义词加权分3种情况:
1)词语ti没有同义词则wi不变;2)ti的同义词在V中,计算ti与其同义词之间的相似度Sim并与β比较,若Sim>β,则给ti加权并删除ti的同义词,若Sim<β,则不认为它是同义词,寻找下一个同义词;3)ti的同义词没有在V中,计算ti与其同义词之间的相似度Sim并与β比较,若Sim>β,则给ti加权,若Sim<β,寻找下一个同义词,若ti有同义词tj,则ti加权公式为:其中,V为同义词集合,wi为第i词对应的权重值。
4.根据权利要求1所述的基于同义关联词的文本对比方法,其特征在于:
所述步骤Step2.3中,文章主题词同义词的相关词也是通过《同义词词林》查找出来的,文章主题词同义词的相关词的权重加权和调整,是通过两个词出现在同一句子频对相关词权重加权和调整,表示为:
其中,pij表示词语ti与词语tj的在同一个句子出现概率,词语tj在文本出现的次数为mj,词语ti在文本出现的次数为mi,词语ti与tj之间的在同一个句子出现频率mij,mij=mji,mii=mi,同义词集合中多个词语出现在同一个句子中的加权方式为:
其中ps为与同义词集合中的多个词具有在同一个句子出现的概率;
对同义词集合中的词语及其相关词进行权重调整,同义词集合中的词语修正方式为:
同义词的相关词修正方式为:其中wi为第i词对应的权重值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711174795.8A CN107908622A (zh) | 2017-11-22 | 2017-11-22 | 一种基于同义关联词的文本对比方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711174795.8A CN107908622A (zh) | 2017-11-22 | 2017-11-22 | 一种基于同义关联词的文本对比方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107908622A true CN107908622A (zh) | 2018-04-13 |
Family
ID=61847282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711174795.8A Pending CN107908622A (zh) | 2017-11-22 | 2017-11-22 | 一种基于同义关联词的文本对比方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107908622A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108595439A (zh) * | 2018-05-04 | 2018-09-28 | 北京中科闻歌科技股份有限公司 | 一种文字传播路径分析方法及*** |
CN108776654A (zh) * | 2018-05-30 | 2018-11-09 | 昆明理工大学 | 一种基于改进的simhash文本对比方法 |
CN110019814A (zh) * | 2018-07-09 | 2019-07-16 | 暨南大学 | 一种基于数据挖掘与深度学习的新闻信息聚合方法 |
CN112231439A (zh) * | 2020-09-27 | 2021-01-15 | 中国人民解放军军事科学院军事科学信息研究中心 | 一种文本语义分析与特征值提取的方法 |
CN113326688A (zh) * | 2021-06-16 | 2021-08-31 | 黑龙江八一农垦大学 | 一种基于思想政治词语查重处理方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8019708B2 (en) * | 2007-12-05 | 2011-09-13 | Yahoo! Inc. | Methods and apparatus for computing graph similarity via signature similarity |
CN102253982A (zh) * | 2011-06-24 | 2011-11-23 | 北京理工大学 | 一种基于查询语义和点击流数据的查询建议方法 |
CN103309869A (zh) * | 2012-03-09 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 数据对象的展示关键词推荐方法及*** |
CN106649222A (zh) * | 2016-12-13 | 2017-05-10 | 浙江网新恒天软件有限公司 | 基于语义分析与多重Simhash的文本近似重复检测方法 |
-
2017
- 2017-11-22 CN CN201711174795.8A patent/CN107908622A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8019708B2 (en) * | 2007-12-05 | 2011-09-13 | Yahoo! Inc. | Methods and apparatus for computing graph similarity via signature similarity |
CN102253982A (zh) * | 2011-06-24 | 2011-11-23 | 北京理工大学 | 一种基于查询语义和点击流数据的查询建议方法 |
CN103309869A (zh) * | 2012-03-09 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 数据对象的展示关键词推荐方法及*** |
CN106649222A (zh) * | 2016-12-13 | 2017-05-10 | 浙江网新恒天软件有限公司 | 基于语义分析与多重Simhash的文本近似重复检测方法 |
Non-Patent Citations (4)
Title |
---|
徐建民 等: "基于量化同义词关系的改进特征词提取方法", 《河北大学学报》 * |
罗文俊 等: "基于simhash的密文同义词检索方法", 《武汉大学学报(理学版)》 * |
蔡逸昊: "基于Simhash的英语句子快速检索算法研究", 《中国优秀硕士学位论文全文数据库》 * |
郭勇: "基于《知网》的词语相似度计算研究及应用", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108595439A (zh) * | 2018-05-04 | 2018-09-28 | 北京中科闻歌科技股份有限公司 | 一种文字传播路径分析方法及*** |
CN108595439B (zh) * | 2018-05-04 | 2022-04-12 | 北京中科闻歌科技股份有限公司 | 一种文字传播路径分析方法及*** |
CN108776654A (zh) * | 2018-05-30 | 2018-11-09 | 昆明理工大学 | 一种基于改进的simhash文本对比方法 |
CN110019814A (zh) * | 2018-07-09 | 2019-07-16 | 暨南大学 | 一种基于数据挖掘与深度学习的新闻信息聚合方法 |
CN110019814B (zh) * | 2018-07-09 | 2021-07-27 | 暨南大学 | 一种基于数据挖掘与深度学习的新闻信息聚合方法 |
CN112231439A (zh) * | 2020-09-27 | 2021-01-15 | 中国人民解放军军事科学院军事科学信息研究中心 | 一种文本语义分析与特征值提取的方法 |
CN113326688A (zh) * | 2021-06-16 | 2021-08-31 | 黑龙江八一农垦大学 | 一种基于思想政治词语查重处理方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107908622A (zh) | 一种基于同义关联词的文本对比方法 | |
CN107562824B (zh) | 一种文本相似度检测方法 | |
CN102799647B (zh) | 网页去重方法和设备 | |
CN104881458B (zh) | 一种网页主题的标注方法和装置 | |
CN105224695A (zh) | 一种基于信息熵的文本特征量化方法和装置及文本分类方法和装置 | |
CN105975459B (zh) | 一种词项的权重标注方法和装置 | |
CN103617157A (zh) | 基于语义的文本相似度计算方法 | |
Froud et al. | Stemming and similarity measures for Arabic Documents Clustering | |
KR20150037924A (ko) | 제품 인식에 근거한 정보 분류 기법 | |
CN104008187B (zh) | 一种基于最小编辑距离的半结构化文本匹配方法 | |
CN108920482A (zh) | 基于词汇链特征扩展和lda模型的微博短文本分类方法 | |
CN107122404A (zh) | 一种用户意图数据提取方法和装置 | |
Torres-Moreno | Artex is another text summarizer | |
CN107656920A (zh) | 一种基于专利的科技人才推荐方法 | |
CN103699567A (zh) | 一种基于标题指纹与正文指纹实现相同新闻聚类的方法 | |
CN113761114A (zh) | 短语生成方法、装置和计算机可读存储介质 | |
Li et al. | CIST@ CLSciSumm-18: Methods for Computational Linguistics Scientific Citation Linkage, Facet Classification and Summarization. | |
CN107239455B (zh) | 核心词识别方法及装置 | |
Sharaff et al. | Document Summarization by Agglomerative nested clustering approach | |
Cai et al. | Indonesian automatic text summarization based on a new clustering method in sentence level | |
Wu et al. | An approach to automatic summarization for chinese text based on the combination of spectral clustering and LexRank | |
Pourvali | A new graph based text segmentation using Wikipedia for automatic text summarization | |
CN107609006B (zh) | 一种基于地方志研究的搜索优化方法 | |
Siddiqi et al. | Keyword and keyphrase extraction from single Hindi document using statistical approach | |
Zhao et al. | Retracted: Chinese Document Keyword Extraction Algorithm Based on FP-growth |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180413 |
|
RJ01 | Rejection of invention patent application after publication |