CN111259136B - 一种基于用户偏好自动生成主题评价摘要的方法 - Google Patents

一种基于用户偏好自动生成主题评价摘要的方法 Download PDF

Info

Publication number
CN111259136B
CN111259136B CN202010022473.7A CN202010022473A CN111259136B CN 111259136 B CN111259136 B CN 111259136B CN 202010022473 A CN202010022473 A CN 202010022473A CN 111259136 B CN111259136 B CN 111259136B
Authority
CN
China
Prior art keywords
word
feature
occurrence
characteristic
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010022473.7A
Other languages
English (en)
Other versions
CN111259136A (zh
Inventor
何为
刘楠
马文鹏
李银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinyang Normal University
Original Assignee
Xinyang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinyang Normal University filed Critical Xinyang Normal University
Priority to CN202010022473.7A priority Critical patent/CN111259136B/zh
Publication of CN111259136A publication Critical patent/CN111259136A/zh
Application granted granted Critical
Publication of CN111259136B publication Critical patent/CN111259136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于用户偏好自动生成主题评价摘要的方法，通过采集顾客以往的评价信息，对顾客提供所感兴趣领域的评价样本文档进行分析，利用样本文档中词对的共现关系所隐含的语义联系，通过计算词对共现率建立共现词对的特征数据库；并利用该特征数据库，通过对目标文本进行特征词链的聚类和相似度的计算，提供顾客感兴趣的查询式自动摘要。该方法应用并不限于餐饮评价领域，也可用于网上购物消费、旅游等其他活动的推荐和公共及专业领域的信息检索。

Description

一种基于用户偏好自动生成主题评价摘要的方法
技术领域
本发明涉及计算机研究领域中自然语言处理方向的自动摘要处理技术，具体地指一种基于用户偏好自动生成主题评价摘要的方法。
背景技术
随着互联网和信息技术的不断发展，自动摘要方面的研究进入了前所未有的繁荣期。按其面向的用户不同，自动摘要可以划分为通用自动摘要(Generic Summarization)和查询式自动摘要(Query-biased Summarization)两类。查询式自动摘要(是根据需要或者用户的兴趣提供相应的有侧重点的文摘，也称为用户聚焦文摘(User-focusedSummarization)、主题聚焦文摘(Topic-focused Summarization)或查询聚焦文摘(Query-focused Summarization)。相对于着重对全文主体内容整体概括的通用摘要，查询式自动摘要更多的反映了用户的个性化需求。一篇文档的通用摘要应由固定的静态的单句构成，而查询式自动摘要则是动态生成的，它并非平均抽取全文各部分，而是根据用户的兴趣有侧重的返回用户感兴趣的文摘，因此也被称为动态摘要。查询式自动摘要多用于问答***、搜索引擎、网络爬虫、数据挖掘等信息领域。
国外最早从20世纪80年代开始研究查询式自动摘要，查询式自动摘要是自动摘要的重要组成部分，由于查询式自动摘要和通用自动摘要在结果规模上的相似限制，多采用抽取相似语义句子的方法来构成相关主题的摘要。文章Dempster-shafer theory for aquery-biased combination ofevidence on the web(作者为V.Plachouras和I.Ounis,发表于2005年Information Retrieval，第8卷第2期)研究了运用自动摘要技术来提高网页中查询精度的方法。文章Atask-oriented study on the influencing effects of query-biased summarisation in web searching(作者为R.White,J.Jose和I.Ruthven，发表于2003年Information Processing&Management，第39卷第5期)提出可根据查询词在网页各句出现频率和文本样式生成查询式自动摘要；文章关键词密度分布法在偏重摘要中的应用研究(作者为闫英杰，林鸿飞，杨志豪，赵晶，发表于2007年计算机工程，第33卷第6期)采用关键词密度算法来生成查询式自动摘要等。
查询式自动摘要的关键步骤在于如何获取所查询的偏重主题，获取偏重的通常策略是对用户的查询进行概念语义方面的扩展。一些学者利用用户查询关键词在文章中的词频、位置来获取偏重，但这种方法只能机械的获取结果，无法满足语义上的要求。单纯依靠简单的查询词，难于准确界定用户查询的真正兴趣所在。比较理想的方式是采用通用的语义资源对用户的查询词进行扩展，就目前而言，还没有一个可适用的通用语义资源，一些学者利用现有的语义库来获取偏重，如英文的WordNet，中文的知网HowNet、同义词词林等当做语义资源库。如文章A Sentence Selection Method of Query-Based Chinese Multi-Document Summarization(作者为X.Song,J.Huang,J.Zhou和H.Zhang，发表于2009出版的论文集：proceedings ofPACIIA2009)利用知网来计算特征词之间的相似度，并用于指导查询式自动摘要的摘要句选择。这样易受到语义库规模和更新速度的限制，难以应对互联网海量新增词汇的挑战。
随着移动互联网的广泛应用，选择就餐场所时先在网络上查看别人对餐厅的评价信息，并在餐后发表自己对此次就餐的评价，已成为年轻人一种流行的生活方式。现有的餐饮评价网站如大众点评网、美团网等已采集了大量的就餐人员评价信息，这些评价信息，已成为他人选择就餐场所的评价依据。但他人在选择餐厅时，需要对众多点评信息逐一查看阅读，才能了解是否满足自己需求。有些网站要求用户提交评价时进行打分，将汇总的分值作为推荐指标，但由于广大用户个性需求、消费习惯、口味皆不相同。这一单纯的打分数值无法为用户选择适合自己的餐厅提供依据。
发明内容
本发明的目的在于克服上述现有技术的不足而提供一种基于用户偏好自动生成主题评价摘要的方法，用于用户依据评价选择餐厅、酒店、旅游等的实际应用场景。
实现本发明目的采用的技术方案是：
一种基于用户偏好自动生成主题评价摘要的方法，包括如下步骤：
步骤101，采集用户以往基于特定场景在网上发表的评价文本作为样本文档；
步骤102，对样本文档进行预处理；
步骤103，从预处理后的样本文档中计算词对共现率；
步骤104，将所述词对共现率存入特征数据库；
步骤105，当缺少用户以往的评价文本时，或用户有其他偏好需求时，由用户手工输入多个特征关键词，将关键词作为两两关联的共现词对，存入特征数据库；
步骤106，采集符合用户挑选范围内上述特定场景内所对应的其他用户的评价文本，分别汇总生成目标文档；
步骤107，对所述目标文档进行预处理；
步骤108，提取所述目标文档的特征词集，从所述特征数据库中查找所述特征词集中各词汇的距离，生成特征词链；
步骤109，从所述目标文档中划分出单句；
步骤110，计算所述目标文档中各单句所含特征词与所述特征词链的相似度，根据单句和各特征词链的相似度关系，依次选取各特征词链相似度最高的单句生成摘要。
优选的，所述步骤103，1篇样本文档d中的词对共现率的具体计算方法是：
所述样本文档d中任意两个词汇wi和wj的词对共现率Pd(wi,wj)通过下式计算：
式中，T为所述样本文档d中的窗口单元集合；W为所述样本文档d中的词汇集合W＝{w1,w2,…,wn}，wi和wj为词汇集合W中的任意两个词汇，i、j、n均为正整数；Sd(wi)表示所述样本文档d中包含wi的窗口单元数；Sd(wj)表示所述样本文档d中包含wj的窗口单元数；Sd(wi,wj)表示所述样本文档d中同时包含wi和wj的窗口单元数；Nt(wi,wj)表示在某窗口单元t中wi和wj共现的次数，t∈T，其中当wi和wj在同一段落中出现的次数不同时，取以wi和wj的最小出现的次数为共现次数。
优选的，所述步骤103中，k篇样本文档{d1,d2,…,dk}中的词对总共现率的具体计算方法是：
式中，k为大于1的正整数；Pk-1(wi,wj)为前k-1篇样本文档{d1,d2,…,dk-1}中的词汇wi和wj的词对总共现率；Sk-1(wi,wj)为前k-1篇样本文档{d1,d2,…,dk-1}中词对wi和wj共现的总窗口单元数， 为第k篇样本文档dk中的词汇wi和wj的词对共现率；/>表示第k篇样本文档dk中同时包含wi和wj的窗口单元数；D为样本文档空间{d1,d2,…,dk}。
优选的，所述特征数据库由特征词和共现词对组成。
优选的，所述从所述特征数据库中查找所述特征词集中各词汇的距离，生成特征词链，包括：对于待生成摘要的目标文档d，从所述特征数据库和目标文档d中查找所述特征词集中各词汇的距离，生成特征词链，具体为：
特征数据库中存储的是特征词集V＝{v1,v2,…,vm}和共现词对集E＝{e(vi,vj)}，E中任意共现词对e(vi,vj)均为Word Co-occurrence结构，包含两个词汇的编号、共现率以及共现次数；
目标文档d中包含特征词集W＝{w1,w2,…,wn}；对于W中的任意词对(wi,wj)，若wi∈V、wj∈V，且该词对包含在E中即有e(wi,wj)，则这两词汇的关联度lij为e(wi,wj)中的对应共现率；若wi或wj不包含在V中或者该词对不包含在E中，两词汇的关联度为：lij＝Pd(wi,wj)；如此，生成目标文档d的特征词集W中所有词对的关联度集合L＝{l11,l12,…,l1n,l21,…l2n,…,l(n-1)n}；
根据词对之间关联程度，通过聚类方法，构建多个特征词链，从而显现出目标文档d的多个相关主题；根据聚类时产生特征词链的顺序，将各个特征词链汇总形成特征词链集合C。
优选的，所述单句中所含特征词与所述特征词链的相似度通过以下具体步骤计算：
目标文档d中存在包括单句集合S和特征词集W＝{w1,w2,…,wn}；根据单句集合S中的单句sq是否包含W中的特征词，可得sq与W中各特征词的关系其中：
目标文档d中存在包括特征词链集合C和特征词集W＝{w1,w2,…,wn}；根据词链集合C中的词链cp是否包含特征词集W中的特征词，可得cp与W中各特征词的关系其中：
单句sq和词链cp的相似度通过下式计算如下：
本发明的有益效果为：
采用本发明所述的方法克服了传统通过扩展用户提供查询词来获取查询式自动摘要时难以刻画用户所感兴趣的主题的缺陷。通过提取主题文本中的词对，能够发现主题文本的特征词之间的隐含联系，并能够从目标文本中抽取用户真正感兴趣的内容生成查询式自动摘要。本发明通过对评价文本的总体聚类，可以避免个别用户主观意见的偏差，使结论更趋于客观公正。
本发明之所以有上述发明效果，是因为本发明利用样本文档中词对的共现关系所隐含的语义联系，词对的共现频率和位置蕴含着词对与主题的隐性联系，在窗口单元中某词对出现次数越多，说明该词对在主题中有着更紧密的联系。通过对单一文本和多个文本中词对共现率的计算，使所生成的共现词对主题特征库具有可扩展和可更新的特点，而且随着主题文本数量的增长，更能明显体现用户所感兴趣的内容。
本发明根据用户以往评价展现的兴趣偏好，对餐馆现有的其他用户评价文本信息进行分析，自动生成该餐馆的评价摘要的方法。该方法关键是采用共现词对的方式挖掘用户评价中的关联关系，并作为挑选摘要句的依据。该方法应用并不限于餐饮评价领域，也同样适用于网上购物消费、旅游、住宿等其他活动的推荐。
附图说明
图1为本发明实施例1的方法流程图。
图2为本发明实施例2的方法流程图。
具体实施方式
下面结合附图和具体实施流程对本发明作进一步的详细说明。
词的共现分析是自然语言处理技术在信息检索中的成功应用之一，它的核心思想是词与词之间的共现频率在某种程度上反映了词之间的语义关联。共现词的研究基于以下假设：在一个大规模的文本语料中，如果两个词频繁地一起出现在同一个窗口单元中(例如：一篇文档、一个自然段、一句话)，则认为这两个词是语义关联的，而且两个词共同出现的频率越频繁，则两个词的语义越接近。
当共现率超过某个阈值的特征词对至少与一个主题相关。由于文档可能由一个或多个主题组成，可以用窗口单元来划分主题。按照人们组织语言习惯，文章大多都有着主题明确，结构紧凑的特点，文章的主题常由一个或几个自然段所组成，因此我们将按照自然段来划分窗口单元。
在文章一定距离内出现的两个词形成共现词对，词对的共现频率和位置蕴含着词对与主题的隐性联系，在窗口单元中某词对出现次数越多，说明该词对在主题中有着更紧密的联系，可能是语义相关的两个词，或者是固定搭配等。而两个词分别在不同的窗口单元出现，由于可能分属不同主题，因此不一定对主题有更高的贡献。
本发明利用样本文档中词对的共现关系所隐含的语义联系，通过计算词对共现率建立共现词对的主题特征库，实现面向用户感兴趣领域的可扩展和更新的语义资源库；利用该主题特征库，通过特征词链的聚类和相似度的计算，设计一种查询式自动摘要的抽取方法；该方法限定以段落为窗口单元，对于传统章节结构的文章有较好的摘要效果。
实施例1：
如图1所示，本实施例提供一种基于用户偏好自动生成主题评价摘要的方法，包括如下步骤：
步骤S1，采集用户以往基于特定场景在网上发表的评价文本作为样本文档，作为挖掘用户偏好的依据；所述特定场景包括餐厅、住宿、旅游、网上购物等；
步骤S2，通过对样本文档进行预处理，包括并不限于分词、去除停止词等方法；
步骤S3，从预处理后的样本文档中计算词对共现率；
步骤S4，将所述词对共现率存入特征数据库；
步骤S5，当缺少用户以往的评价文本，或用户有其他偏好需求时，可由用户手工输入多个特征关键词，将关键词作为两两关联的共现词对，存入特征数据库；
步骤S6，采集符合用户挑选范围内(如较近的地理位置，合适的价格范围等)特定场景内所对应的其他顾客评价文本，汇总生成目标文档；例如，各个餐厅或酒店等其他顾客的评价文本，以各餐厅或各酒店等为单位分别汇总生成目标文档；
步骤S7，对所述目标文档进行预处理，包括并不限于分词、去除停止词等方法；
步骤S8，提取所述目标文档的特征词集，从所述特征数据库中查找所述特征词集中各词汇的距离，生成特征词链；
步骤S9，从所述目标文档中划分出单句；
步骤S10，计算所述目标文档中各单句所含特征词与所述特征词链的相似度，根据摘要规模限制，依次选取各特征词链相似度最高的单句生成摘要。
在一个实施例中，所述步骤S3中，1篇样本文档d中的词对共现率的具体计算方法是：
所述样本文档d中任意两个词汇wi和wj的词对共现率Pd(wi,wj)通过下式计算：
式中，T为所述样本文档d中的窗口单元集合；W为所述样本文档d中的词汇集合W＝{w1,w2,…,wn}，wi和wj为词汇集合W中的任意两个词汇，i、j、n均为正整数；Sd(wi)表示所述样本文档d中包含wi的窗口单元数；Sd(wj)表示所述样本文档d中包含wj的窗口单元数；Sd(wi,wj)表示所述样本文档d中同时包含wi和wj的窗口单元数；Nt(wi,wj)表示在某窗口单元t中wi和wj共现的次数，t∈T，其中当wi和wj在同一段落中出现的次数不同时，取以wi和wj的最小出现的次数为共现次数。
在一个实施例中，所述步骤S3中，k篇样本文档{d1,d2,…,dk}中的词对总共现率的具体计算方法是：
式中，k为大于1的正整数；Pk-1(wi,wj)为前k-1篇样本文档{d1,d2,…,dk-1}中的词汇wi和wj的词对总共现率；Sk-1(wi,wj)为前k-1篇样本文档{d1,d2,…,dk-1}中词对wi和wj共现的总窗口单元数， 为第k篇样本文档dk中的词汇wi和wj的词对共现率；/>表示第k篇样本文档dk中同时包含wi和wj的窗口单元数；D为样本文档空间{d1,d2,…,dk}。
例如，首先计算出第1篇样本文档d1中词汇wi和wj的词对共现率和同时包含wi和wj的窗口单元数，记为P1(wi,wj)和S1(wi,wj)；再计算出第2篇文档中词汇wi和wj的词对共现率和同时包含wi和wj的窗口单元数/>则两篇文档中词汇wi和wj的词对总共现率和共现的总窗口单元数分别为：
依此类推，直至计算出k篇样本文档中词汇wi和wj的词对总共现率。
在一个实施例中，所述特征数据库的构建采用以下结构：
特征数据库结构由特征词和共现词对组成，设计特征词类型和共现词对类型。
其中Focus Word为特征词的数据结构：
其中Focus Word为特征词的数据结构，由数字编号WordID和文本WordName组成。Word Co-occurrence为共现词对的数据结构，由第一个词的数字编号IDone，第二个词的数字编号IDtwo，共现率value，共现次数CoNum组成。为减少存储空间，存储时可以设定阈值α，只有某词对的共现率高于阈值α时才将相应参数存入特征数据库。
具体操作如下：假设某样本文档空间包含多篇样本文档。每次选取一篇样本文档，通过1篇样本文档d中的词对共现率的计算方法计算任意词对的共现率。当找到词对共现率高于阈值α的词对时，在Focus Word中存入词对中两个词汇的名称并添加唯一编号，在WordCo-occurrence中存入两个词汇的编号、共现率和共现次数。当某词汇已存在Focus Word中时，不重复添加，直接使用对应编号。当Word Co-occurrence中已存在某词对时，通过k篇样本文档{d1,d2,…,dk}中的词对总共现率的具体计算方法更新该词对共现率，并更新共现次数。如此反复操作，直至遍历整个样本文档空间。
在一个实施例中，步骤S8，提取所述目标文档的特征词集，从所述特征数据库中查找所述特征词集中各词汇的距离，生成特征词链，具体包括：
对于待生成摘要的目标文档d，从所述特征数据库和目标文档d中查找所述特征词集中各词汇的距离，生成特征词链，包括：
特征数据库中存储的是特征词集V＝{v1,v2,…,vm}和共现词对集E＝{e(vi,vj)}；E中任意共现词对e(vi,vj)均为Word Co-occurrence结构，包含两个词汇的编号、共现率以及共现次数。目标文档d中包含特征词集W＝{w1,w2,…,wn}。
对于W中的任意词对(wi,wj)，若wi∈V、wj∈V，且该词对包含在E中即有e(wi,wj)，则这两词汇的关联度lij为e(wi,wj)中的对应共现率；若wi或wj不包含在V中或者该词对不包含在E中，两词汇的关联度为：lij＝Pd(wi,wj)。如此，生成目标文档d的特征词集W中所有词对的关联度集合L＝{l11,l12,…,l1n,l21,…l2n,…,l(n-1)n}。
关联度较高的词对之间存在较紧密的潜在语义。根据词对之间关联程度，通过聚类方法，可构建多个特征词链，从而显现出目标文档的多个相关主题。根据聚类时产生特征词链的顺序，将各个特征词链汇总形成特征词链集合C。具体方法如下：
输入：聚类的阈值γ
要聚类的词对关联度L
要聚类的词集W
输出：特征词链集合C
步骤：
(1)从特征词集W中选择一个未归类词语wi。
(2)从L中找到wi与C中已有各词链的已有各词汇的关联度。如果与词链cj的某个词汇的关联度大于阈值γ，则加入词链cj；如果wi与C中所有已有词链的所有已有词汇的关联度都小于γ，则wi成为新词链的第一个词。
(3)重复步骤(1)和(2)直到所有词汇均加入到C中。
(4)算法结束，返回特征词链集合C。
在一个实施例中，所述单句中所含特征词与所述特征词链的相似度通过以下具体步骤计算：
目标文档d中存在包括单句集合S和特征词集W＝{w1,w2,…,wn}。根据单句集合S中的单句sq是否包含W中的特征词，可得sq与W中各特征词的关系其中：
目标文档d中存在包括特征词链集合C和特征词集W＝{w1,w2,…,wn}。根据词链集合C中的词链cp是否包含特征词集W中的特征词，可得cp与W中各特征词的关系其中：
单句sq和词链cp的相似度通过下式计算如下：
在一个实施例中，主题评价摘要挑选文摘句通过以下步骤计算：
目标文档d中单句和词链的相似度用集合用U＝{u11,u12,…,ufg}表示，其中uij＝Sim(si,cj)，f为目标文档d中单句总数，g为特征词链总数。
允许进入摘要的句子数量通过下式确定：
N＝f×R
其中，N表示限定的文摘句数量，R表示文摘的压缩率，0<R<1，R的值由用户根据需要自行设定。如果需要抽取的文摘句个数N小于特征词链总数g，则从S中选择与词链集合C中前N个词链相似度最高的一个单句作为摘要句。如果需要抽取的文摘句个数N大于特征词链总数g，则从S中依次抽取与C中每个词链相似度最高的单句作为摘要句，再从单句最高相似度的词链中继续抽取，直到满足摘要句数量。
抽取方法如下：
输入：特征词链集合C
单句集合S
相似度集合U
待抽取的文摘句个数N
相似度阈值δ
输出：摘要句集合Y
步骤：
(1)j＝1,r＝0
(2)Do
(3)选择特征词链集合C的词链cj；
(4)从U中选取uij，使得uij＝max(u1j,u2j,…,ufj),且uij>δ,
(5)如果有uij满足选取条件，将si加入摘要句集合Y，否则记录空选次数r＝r+1；
(6)如果有j<聚类C中数量g，则j＝j+1，r＝0否则j＝1；
(7)UntilY个数n等于N，或r＝g即所有集合都不满足。
(8)算法结束，返回摘要句集合Y。
最后按照Y中的摘要句在目标文档d的原始顺序进行排序，形成满足用户偏好的主题评价摘要。
本发明除了餐饮类评价外，也可用于其他领域，比如酒店、旅游、网上购物等，基于评价文本生成查询式自动摘要。本实施例中，计算单句与特征词链之间的相似度值的方法不仅包括余弦相似度方法，还包括Jaccard公式、Dice公式、Overlap公式等其他相似度计算方法。
实施例2：
如图2所示，本实施例提供一种基于用户偏好自动生成主题评价摘要的方法，包括如下步骤：
步骤101，采集顾客以往就餐后在网上发表的评价文本作为样本文档，作为挖掘顾客餐饮偏好的依据；
步骤102，通过对样本文档进行预处理，包括并不限于分词、去除停止词等方法；
步骤103，从预处理后的样本文档中计算词对共现率；
步骤104，将所述词对共现率存入特征数据库；
步骤105，当缺少顾客以往就餐评价文本，或顾客有其他偏好需求时，可由顾客手工输入多个特征关键词，将关键词作为两两关联的共现词对，存入特征数据库；
步骤106，采集符合顾客挑选范围内(如较近的地理位置，合适的价格范围等)各餐厅所对应的其他顾客评价文本，以各餐厅为单位分别汇总生成目标文档；
步骤107，对所述目标文档进行预处理，包括并不限于分词、去除停止词等方法；
步骤108，提取所述目标文档的特征词集，从所述特征数据库中查找所述特征词集中各词汇的距离，生成特征词链；
步骤109，从所述目标文档中划分出单句；
步骤110，计算所述目标文档中各单句所含特征词与所述特征词链的相似度，根据摘要规模限制，依次选取各特征词链相似度最高的单句生成摘要。
实施例2与实施例1的不同之处在于：实施例2的特定场景为餐饮场合，采集顾客以往就餐后在网上发表的评价文本作为样本文档，作为挖掘顾客餐饮偏好的依据，进而根据用户以往评价展现的兴趣偏好，对餐馆现有的其他用户评价文本信息进行分析，自动生成该餐馆的评价摘要的方法。
需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于用户偏好自动生成主题评价摘要的方法，其特征在于：包括如下步骤：
步骤101，采集用户以往基于特定场景在网上发表的评价文本作为样本文档；
步骤102，对样本文档进行预处理；
步骤103，从预处理后的样本文档中计算词对共现率；
步骤104，将所述词对共现率存入特征数据库；
步骤105，当缺少用户以往的评价文本时，或用户有其他偏好需求时，由用户手工输入多个特征关键词，将关键词作为两两关联的共现词对，存入特征数据库；
步骤106，采集符合用户挑选范围内上述特定场景内所对应的其他用户的评价文本，分别汇总生成目标文档；
步骤107，对所述目标文档进行预处理；
步骤108，提取所述目标文档的特征词集，从所述特征数据库中查找所述特征词集中各词汇的距离，生成特征词链；
所述从所述特征数据库中查找所述特征词集中各词汇的距离，生成特征词链，包括：对于待生成摘要的目标文档d，从所述特征数据库和目标文档d中查找所述特征词集中各词汇的距离，生成特征词链，具体为：
特征数据库中存储的是特征词集V＝{v1,v2,…,vm}和共现词对集E＝{e(vi,vj)}，E中任意共现词对e(vi,vj)均为Word Co-occurrence结构，包含两个词汇的编号、共现率以及共现次数；
目标文档d中包含特征词集W＝{w1,w2,…,wn}；对于W中的任意词对(wi,wj)，若wi∈V、wj∈V，且该词对包含在E中即有e(wi,wj)，则这两词汇的关联度lij为e(wi,wj)中的对应共现率；若wi或wj不包含在V中或者该词对不包含在E中，两词汇的关联度为：lij＝Pd(wi,wj)；如此，生成目标文档d的特征词集W中所有词对的关联度集合L＝{l11,l12,…,l1n,l21,…l2n,…,l(n-1)n}；
根据词对之间关联程度，通过聚类方法，构建多个特征词链，从而显现出目标文档d的多个相关主题；根据聚类时产生特征词链的顺序，将各个特征词链汇总形成特征词链集合C；
步骤109，从所述目标文档中划分出单句；
步骤110，计算所述目标文档中各单句所含特征词与所述特征词链的相似度，根据单句和各特征词链的相似度关系，依次选取各特征词链相似度最高的单句生成摘要。
2.根据权利要求1所述一种基于用户偏好自动生成主题评价摘要的方法，其特征在于：所述步骤103，1篇样本文档d中的词对共现率的具体计算方法是：
所述样本文档d中任意两个词汇wi和wj的词对共现率Pd(wi,wj)通过下式计算：
式中，T为所述样本文档d中的窗口单元集合；W为所述样本文档d中的词汇集合W＝{w1,w2,…,wn}，wi和wj为词汇集合W中的任意两个词汇，i、j、n均为正整数；Sd(wi)表示所述样本文档d中包含wi的窗口单元数；Sd(wj)表示所述样本文档d中包含wj的窗口单元数；Sd(wi,wj)表示所述样本文档d中同时包含wi和wj的窗口单元数；Nt(wi,wj)表示在某窗口单元t中wi和wj共现的次数，t∈T，其中当wi和wj在同一段落中出现的次数不同时，取以wi和wj的最小出现的次数为共现次数。
3.根据权利要求2所述一种基于用户偏好自动生成主题评价摘要的方法，其特征在于：所述步骤103中，k篇样本文档{d1,d2,…,dk}中的词对总共现率的具体计算方法是：
式中，k为大于1的正整数；Pk-1(wi,wj)为前k-1篇样本文档{d1,d2,…,dk-1}中的词汇wi和wj的词对总共现率；Sk-1(wi,wj)为前k-1篇样本文档{d1,d2,…,dk-1}中词对wi和wj共现的总窗口单元数， 为第k篇样本文档dk中的词汇wi和wj的词对共现率；/>表示第k篇样本文档dk中同时包含wi和wj的窗口单元数；D为样本文档空间{d1,d2,…,dk}。
4.根据权利要求1、2或3所述一种基于用户偏好自动生成主题评价摘要的方法，其特征在于：所述特征数据库由特征词和共现词对组成。
5.对于权利要求4所述的一种基于用户偏好自动生成主题评价摘要的方法，其特征在于：所述单句中所含特征词与所述特征词链的相似度通过以下具体步骤计算：
目标文档d中存在包括单句集合S和特征词集W＝{w1,w2,…,wn}；根据单句集合S中的单句sq是否包含W中的特征词，可得sq与W中各特征词的关系其中：
目标文档d中存在包括特征词链集合C和特征词集W＝{w1,w2,…,wn}；根据词链集合C中的词链cp是否包含特征词集W中的特征词，可得cp与W中各特征词的关系Bcp＝{b′p1,b′p2,…,b′pn}，其中：
单句sq和词链cp的相似度通过下式计算如下：
CN202010022473.7A 2020-01-09 2020-01-09 一种基于用户偏好自动生成主题评价摘要的方法 Active CN111259136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010022473.7A CN111259136B (zh) 2020-01-09 2020-01-09 一种基于用户偏好自动生成主题评价摘要的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010022473.7A CN111259136B (zh) 2020-01-09 2020-01-09 一种基于用户偏好自动生成主题评价摘要的方法

Publications (2)

Publication Number Publication Date
CN111259136A CN111259136A (zh) 2020-06-09
CN111259136B true CN111259136B (zh) 2024-03-22

Family

ID=70954087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010022473.7A Active CN111259136B (zh) 2020-01-09 2020-01-09 一种基于用户偏好自动生成主题评价摘要的方法

Country Status (1)

Country Link
CN (1) CN111259136B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420142A (zh) * 2021-05-08 2021-09-21 广东恒宇信息科技有限公司 一种个性化自动文摘算法
CN113918708B (zh) * 2021-12-15 2022-03-22 深圳市迪博企业风险管理技术有限公司 一种摘要抽取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215850A (ja) * 2005-02-04 2006-08-17 Nippon Telegr & Teleph Corp <Ntt> 概念情報データベース作成装置、概念情報データベース作成方法、プログラムおよび記録媒体
CN106156272A (zh) * 2016-06-21 2016-11-23 北京工业大学 一种基于多源语义分析的信息检索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215850A (ja) * 2005-02-04 2006-08-17 Nippon Telegr & Teleph Corp <Ntt> 概念情報データベース作成装置、概念情報データベース作成方法、プログラムおよび記録媒体
CN106156272A (zh) * 2016-06-21 2016-11-23 北京工业大学 一种基于多源语义分析的信息检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于词汇链的多文档自动文摘研究;邓箴;包宏;;计算机与应用化学(第11期);全文 *
结合概念语义空间的语义扩展技术研究;王磊;黄广君;;计算机工程与应用(第35期);全文 *

Also Published As

Publication number Publication date
CN111259136A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
Al-Radaideh et al. A hybrid approach for arabic text summarization using domain knowledge and genetic algorithms
Yi et al. Linking folksonomy to Library of Congress subject headings: an exploratory study
Ma et al. Exploring performance of clustering methods on document sentiment analysis
Pu et al. Subject categorization of query terms for exploring Web users' search interests
Kang et al. Modeling user interest in social media using news media and wikipedia
US8560485B2 (en) Generating a domain corpus and a dictionary for an automated ontology
US8200671B2 (en) Generating a dictionary and determining a co-occurrence context for an automated ontology
WO2009059297A1 (en) Method and apparatus for automated tag generation for digital content
JP2011529600A (ja) 意味ベクトルおよびキーワード解析を使用することによるデータセットを関係付けるための方法および装置
Figueroa et al. Context-aware semantic classification of search queries for browsing community question–answering archives
Al-Taani et al. An extractive graph-based Arabic text summarization approach
Shani et al. Mining recommendations from the web
Alami et al. Hybrid method for text summarization based on statistical and semantic treatment
Atwan et al. Semantically enhanced pseudo relevance feedback for Arabic information retrieval
CN111259136B (zh) 一种基于用户偏好自动生成主题评价摘要的方法
Armentano et al. NLP-based faceted search: Experience in the development of a science and technology search engine
Kisilevich et al. “Beautiful picture of an ugly place”. Exploring photo collections using opinion and sentiment analysis of user comments
Anoop et al. A topic modeling guided approach for semantic knowledge discovery in e-commerce
Fócil-Arias et al. A tweets classifier based on cosine similarity
CN110457461A (zh) 基于隐语义主题的专利推荐方法及装置
D'Addio et al. A collaborative filtering approach based on user's reviews
Mizzaro et al. Short text categorization exploiting contextual enrichment and external knowledge
Gupta A survey of text summarizers for Indian Languages and comparison of their performance
Shatnawi et al. A framework for retrieving Arabic documents based on queries written in Arabic slang language
Phan et al. Applying skip-gram word estimation and SVM-based classification for opinion mining Vietnamese food places text reviews

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant