CN101515269A - 实现观点搜索引擎排序的方法 - Google Patents

Abstract

本发明公开了一种实现观点搜索引擎排序的方法，包括：使用网络爬虫对用户评论网页进行抓取，对抓取的网页进行预处理，从预处理后的网页中提取出用户评论信息；使用数据挖掘技术从该用户评论信息中提取产品的属性，并确定属性评论信息的极性，构建评论信息库；转换该评论信息库中所有用户评论信息文档的格式，构建用户评论信息文档的层次结构；对转换以后的用户评论信息建立倒排序索引；对建立倒排序索引的用户评论信息进行排序；对用户评论信息进行统计分析及可视化。利用本发明，有效地融合了用户评论信息的品质因素，并充分考虑了时间维度信息，能够为***提供更准确、更相关、更及时的观点信息服务。

Description

实现观点搜索引擎排序的方法

技术领域

本发明涉及信息检索和搜索引擎技术领域，是一种实现观点搜索引擎排序的方法。

背景技术

二十一世纪是信息化的时代，第三产业在各国的比重不断上升，特别是服务业，信息服务业成为21世纪的主导产业，这导致了电子商务的产生和发展，在全球信息化大势所驱的影响下，各国的电子商务不断的改进和完善，电子商务成为各个国家和各大公司争夺的焦点。而在我国，计算机与网络技术的普及与发展，电子商务迅速崛起，众多的信息技术企业、风险投资公司、生产流通企业纷纷开展电子商务。

2007年，世界电子商务继续快速发展，成为经济全球化的助推器。电子商务的广泛应用降低了企业经营、管理和商务活动的成本，促进了资金、技术、产品、服务和人员在全球范围的流动，推动了经济全球化的发展。目前，电子商务的应用已经成为决定企业国际竞争力的重要因素，以美国亚马逊、EBAY以及中国的阿里巴巴等公司的成功说明电子商务正在引领世界服务业发展，并影响着未来商业发展模式。

从整体情况看，2007年世界电子商务交易额达12.8万亿美元，占全球商品交易的18％。以美国为首的发达国家，仍然是电子商务主力军，中国等发展中国家电子商务异军突起，日益成为国际电子商务市场的重要力量。2007年，B2B电子商务仍占主导地位，B2C、G2C、G2B、C2C等电子商务发展迅猛，呈现多元发展态势。以大型骨干企业为龙头的行业电子商务是B2B主流力量，ASP等第三方电子商务平台成为中小企业电子商务应用的成功模式之一。

当在网上购物时，用户面临的一个很大的问题就是如何在众多的电子商务网站上找到自己想要的物品评价信息，基于用户评论信息的观点搜索引擎是解决这个问题的关键，当用户输入一个产品或产品属性时，观点搜索引擎就按照关键词语到索引文件中查找，并返回最相关的产品观点信息。

目前针对用户评论信息的观点搜索引擎还处在研究阶段。并且存在以下问题，第一没有充分考虑到评论信息的品质高低。第二没有考虑到时间维度信息在搜索结果排序中的重要性。第三没有对搜索结果进行统计分析及可视化。

发明内容

(一)要解决的技术问题

有鉴于此，为了为***提供方便快捷的观点信息服务，以及解决现有的观点搜索排序方法存在的问题，本发明的主要目的是提供一种实现观点搜索引擎排序的方法，以克服现有观点搜索引擎排序方法存在的问题，如只考虑观点信息的相关性，没有对搜索结果进行可视化等缺陷，为***提供更有效的观点信息服务。

(二)技术方案

为了达到上述目的，本发明提供了一种实现观点搜索引擎排序的方法，该方法包括：

步骤S1：使用网络爬虫对用户评论网页进行抓取，对抓取的网页进行预处理，从预处理后的网页中提取出用户评论信息；

步骤S2：使用数据挖掘技术从该用户评论信息中提取产品的属性，并确定属性评论信息的极性，构建评论信息库；

步骤S3：转换该评论信息库中所有用户评论信息文档的格式，构建用户评论信息文档的层次结构；

步骤S4：对转换以后的用户评论信息建立倒排序索引；

步骤S5：对建立倒排序索引的用户评论信息进行排序；

步骤S6：对用户评论信息进行统计分析及可视化。

优选地，步骤S1中所述对用户评论网页进行抓取，首先获得电子商务网站的URL网址，然后利用抓取器采用宽度优先抓取的策略对这些电子商务网站进行抓取。

优选地，步骤S1中所述提取出用户评论信息采用RoadRunner算法对抓取的用户评论信息网页进行提取。

优选地，步骤S2中所述数据挖掘技术为association rule mining技术，所述确定属性评论信息的极性是确定用户对该属性的评论是正面的还是反面的。

优选地，步骤S3中所述用户评论信息文档的层次结构用于表示用户评论信息中的元数据信息和用户评论信息的具体内容，在用户评论信息的具体内容表示上以用户评论信息中含有产品属性和观点极性的评论句子为单位，评论句子包括该句子含有的产品属性、观点极性和句子的具体内容。

优选地，步骤S4中所述建立的倒排序索引，用于存储用户评论信息中的元数据，同时索引了评论句子的具体内容，该索引是建立在句子层次上的索引，而不是在用户评论文档层次上的索引。

优选地，步骤S5中所述对建立倒排序索引的用户评论信息进行排序，以评论信息的相关性、评论信息的品质因子、评论信息的时间维度信息为关键词进行。

优选地，步骤S6中所述对用户评论信息进行统计分析及可视化，是通过对搜索出的用户评论信息进行统计分析，将用户评论信息随时间变化的趋势信息，以及对于某种产品属性的正反面评价对比信息进行可视化。

(三)有益效果

从上述技术方案可以看出，本发明提供的这种实现观点搜索引擎排序的方法，有效地融合了用户评论信息的品质因素，并充分考虑了时间维度信息，能够为***提供更准确、更相关、更及时的观点信息服务。因此，本发明从一定程度上解决了现有观点搜索排序方法存在的问题。同时本发明对搜索结果进行统计分析，将用户评论信息随时间变化的趋势信息，以及对于某种产品属性的正反面评价对比信息进行可视化，给***清晰直观的用户评论信息。

附图说明

图1是本发明提供的实现观点搜索引擎排序的方法流程图；

图2是依照本发明实施例经过步骤S1预处理后的结果示意图；

图3是依照本发明实施例步骤S2属性抽取以及属性评论信息的极性确定的结果示意图；

图4是依照本发明实施例表示用户评论信息文档的层次结构图；

图5是依照本发明实施例经过步骤S3转换后的结果示意图；

图6是依照本发明实施例评论信息随时间变化的曲线图；

图7是依照本发明实施例正反面观点对比用的直方图；

图8是依照本发明实施例用户搜索产品属性“Sony W55 Size”是***返回的结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

为了实现本发明的方法，考虑到算法涉及多线程抓取和建立倒排序索引，如果在单机实现，最好保证处理器主频不小于2GHz，内存不小于1G，可采用任何常用编程语言编写。

本发明提出的观点搜索引擎排序方法，总体流程如图1所示，具体包括：用户评论信息抓取(步骤S1)部分和构建评论信息库(S2)为整个搜索引擎准备数据；步骤S3将评论信息库中所有用户评论信息文档转换成如图4所示的层次结构；步骤S4是对转换以后的用户评论信息建立倒排序索引；步骤S5是对用户的搜索结果进行排序；步骤S6是对用户搜索结果进行统计分析及可视化。

基于图1所示的实现观点搜索引擎排序的方法流程图，以下详细说明本发明提供的这种实现观点搜索引擎排序的方法流程图。

步骤S1：使用网络爬虫对用户评论网页进行抓取，对抓取的网页进行预处理，从预处理后的网页中提取出用户评论信息。

在本步骤中，对用户评论网页进行抓取，首先获得电子商务网站网站的URL网址，然后利用抓取器采用宽度优先抓取的策略对这些电子商务网站进行抓取。对电子商务网站进行目录式抓取，因为本发明是针对用户评论信息，所以要抓取的目标网页主要来自电子商务网站，比如亚马逊等。首先人为获得这些网站的URL网址，用自己编写的抓取器对这些电子商务网站进行抓取。由于这些网站绝大多数都是电子商务主题的信息，而且层次较少，所以采用宽度优先抓取的策略。见图1中步骤S 1。由于网页抓取已经有许多成熟的方法，所以不属于本发明强调的内容。

使用基于RoadRunner算法对抓取的用户评论信息网页进行相关信息抽取，主要提取用户发表在网站上评论信息，RoadRunner算法参考文献：“RoadRunner：Towards Automatic Data Extraction from Large WebSites”。预处理的结果如图2所示。

步骤S2：使用数据挖掘技术从该用户评论信息中提取产品的属性，并确定属性评论信息的极性，构建评论信息库。

在本步骤中，所述提取出用户评论信息采用RoadRunner算法对抓取的用户评论信息网页进行提取，即采用数据挖掘中association rulemining技术从步骤S1预处理的结果提取产品属性以及对属性的评论信息，具体方法参考文献：“Mining Opinion Features in CustomerReviews”。然后确定属性的评论信息的观点极性，即确定用户对该属性的评论是正面的还是反面的，确定观点极性的方法参考文献：“Thumbs Up or Thumbs Down？Semantic Orientation Applied toUnsupervised Classification of Reviews”。提取结果如图3所示。

步骤S3：转换该评论信息库中所有用户评论信息文档的格式，构建用户评论信息文档的层次结构。

在本步骤中，所述用户评论信息文档的层次结构用于表示用户评论信息中的元数据信息和用户评论信息的具体内容，在用户评论信息的具体内容表示上以用户评论信息中含有产品属性和观点极性的评论句子为单位，评论句子包括该句子含有的产品属性、观点极性和句子的具体内容。

将步骤S2处理的结果转换成如图4所示的层次结构，转换结果如图5所示。该层次结构能够清晰表示用户评论文档的元数据以及用户评论文档的具体内容。

步骤S4：对转换以后的用户评论信息建立倒排序索引。

在本步骤中，所述建立的倒排序索引，用于存储用户评论信息中的元数据，同时索引了评论句子的具体内容，该索引是建立在句子层次上的索引，而不是在用户评论文档层次上的索引。为了能够快速找到用户需求的信息，我们为步骤S3处理的结果建立倒排序索引，所谓倒排序索引就是在搜索引擎实际的引用之中，有时需要按照关键字的某些值查找记录，所以我们是按照关键字建立索引，这个索引我们就称之为倒排索引，而带有倒排索引的文件我们又称作倒排索引文件也可以叫它为倒排文件来实现快速的检索与高速的效率。注意本发明中倒排序索引的特点是对元数据进行存储的，在实施例中的元数据为：“Avery good choice for lots of people-easy to carry，easy to use”；“257/261”；“2007年3月24日”。而对用户评论信息的具体内容我们是以句子为单位进行索引，而不是以一个用户评论信息文档为单位进行索引的。这样做的好处是，用户评论信息文档中往往会对产品的多个属性进行评论，而每个句子一般只含有对一个属性的评论信息，以句子为单位进行索引，有利于更精确的定位到用户查询的属性。

步骤S5：对建立倒排序索引的用户评论信息进行排序。

在本步骤中，所述对建立倒排序索引的用户评论信息进行排序，以评论信息的相关性、评论信息的品质因子、评论信息的时间维度信息为关键词进行。本发明中排序方法不单单考虑相关性，而且考虑了用户评论信息品质因子、时间维度信息。具体算法如下所述：

品质因子计算公式： ${\mathrm{OQ}}_i=\frac{a_i}{b_i}+\frac{a_i}{\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{b}_j},$ 其中OQ_i是第i个用户评论文档的品质因子；a_i是阅读了本评论的读者中认为该评论有帮助的人数；b_i是阅读了本条评论的读者人数。

时间维度信息计算公式： ${\mathrm{TDF}}_i=1+\exp \frac{(t_i-t)}{30*\mathrm{\β}},$ 其中TDF_i是第i个用户评论文档的时间维度信息；t_i是该用户评论信息发表的时间；t是用户查询的时间；β是一个常量。

相关性计算公式： ${\mathrm{LR}}_i=\underset{t\∈q}{\mathrm{\Σ}}\mathrm{tf}\left(t\right)*\mathrm{idf}\left(t\right)*b(t.\mathrm{field})*\mathrm{lN}(t.\mathrm{field}),$ 该公式。

最终得分计算公式：FR_i＝αLR+(1-α)(TDF_i+OQ_i)，FR_i为第i个用户评论文档的最终得分。它将决定该文档最终的排序；α为0到1的常量。

下面给出一个具体的计算排序的实例，为了简单在这里以3个用户评论信息文档为例，如表1所示。本例中α＝0.65，β＝10。

	Review1	Review2	Review3
				Help	257/261	16/17	15/18
Date	3/24/07	4/10/07	5/15/07

表1

三个评论信息的品质因子分别为：

${\mathrm{OQ}}_1=\frac{257}{261}+\frac{257}{261+17+18}=1.85$

${\mathrm{OQ}}_2=\frac{16}{17}+\frac{16}{261+17+18}=0.99$

${\mathrm{OQ}}_3=\frac{15}{18}+\frac{15}{261+17+18}=0.88$

三个评论信息的时间维度信息分别为：

${\mathrm{TDF}}_1=1+\exp \{-\frac{[30*(11-3)-24]}{30*10}\}=1.49$

${\mathrm{TDF}}_2=1+\exp \{-\frac{[30*(11-4)-10]}{30*10}\}=1.51$

${\mathrm{TDF}}_3=1+\exp \{-\frac{[30*(11-5)-15]}{30*10}\}=1.58$

三个评论信息的相关性分别为：

LR_i＝0.87

LR₂＝0.91

LR₃＝0.96

三个评论信息最终得分为：

FR₁＝0.65*0.87+0.35*(1.85+1.49)＝1.73

FR₂＝0.65*0.91+0.35*(0.99+1.51)＝1.47

FR₃＝0.65*0.96+0.35*(0.88+1.58)＝1.49

根据最后的得分FR₁＞FR₃＞FR₂，可以确定三个评论信息排名。

步骤S6：对用户评论信息进行统计分析及可视化。

在本步骤中，所述对用户评论信息进行统计分析及可视化，是通过对搜索出的用户评论信息进行统计分析，将用户评论信息随时间变化的趋势信息，以及对于某种产品属性的正反面评价对比信息进行可视化。

为了给用户提供更加直观的信息，需要对搜索结果进行可视化，评论信息随时间变化曲线具体实现方法如下，以月份为基本单位，统计每个月份中针对某种产品评论的总数，然后以月份为横坐标，每个月份的评论数为纵坐标得到用户评论信息随时间变化的趋势曲线，见图6。正反面观点信息对比直方图实现方法是，在搜索结果中统计正面观点总数与反面观点总数，然后将正反面观点对比用直方图表示，见图7。图8为用户搜索产品属性“Sony W55 Size”是***返回的结果图。其中左上方为“Sony W55 Size”的评论信息随时间变化趋势曲线，右上方为“Sony W55 Size”正反面观点信息对比直方图，下方为针对“Sony W55 Size”这一属性具体的评论信息。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1、一种实现观点搜索引擎排序的方法，其特征在于，该方法包括：

步骤S1：使用网络爬虫对用户评论网页进行抓取，对抓取的网页进行预处理，从预处理后的网页中提取出用户评论信息；

步骤S2：使用数据挖掘技术从该用户评论信息中提取产品的属性，并确定属性评论信息的极性，构建评论信息库；

步骤S3：转换该评论信息库中所有用户评论信息文档的格式，构建用户评论信息文档的层次结构；

步骤S4：对转换以后的用户评论信息建立倒排序索引；

步骤S5：对建立倒排序索引的用户评论信息进行排序；

步骤S6：对用户评论信息进行统计分析及可视化。

2、根据权利要求1所述的实现观点搜索引擎排序的方法，其特征在于，步骤S1中所述对用户评论网页进行抓取，首先获得电子商务网站的URL网址，然后利用抓取器采用宽度优先抓取的策略对这些电子商务网站进行抓取。

3、根据权利要求1所述的实现观点搜索引擎排序的方法，其特征在于，步骤S1中所述提取出用户评论信息采用RoadRunner算法对抓取的用户评论信息网页进行提取。

4、根据权利要求1所述的实现观点搜索引擎排序的方法，其特征在于，步骤S2中所述数据挖掘技术为association rule mining技术，所述确定属性评论信息的极性是确定用户对该属性的评论是正面的还是反面的。

5、根据权利要求1所述的实现观点搜索引擎排序的方法，其特征在于，步骤S3中所述用户评论信息文档的层次结构用于表示用户评论信息中的元数据信息和用户评论信息的具体内容，在用户评论信息的具体内容表示上以用户评论信息中含有产品属性和观点极性的评论句子为单位，评论句子包括该句子含有的产品属性、观点极性和句子的具体内容。

6、根据权利要求1所述的实现观点搜索引擎排序的方法，其特征在于，步骤S4中所述建立的倒排序索引，用于存储用户评论信息中的元数据，同时索引了评论句子的具体内容，该索引是建立在句子层次上的索引，而不是在用户评论文档层次上的索引。

7、根据权利要求1所述的实现观点搜索引擎排序的方法，其特征在于，步骤S5中所述对建立倒排序索引的用户评论信息进行排序，以评论信息的相关性、评论信息的品质因子、评论信息的时间维度信息为关键词进行。

8、根据权利要求1所述的实现观点搜索引擎排序的方法，其特征在于，步骤S6中所述对用户评论信息进行统计分析及可视化，是通过对搜索出的用户评论信息进行统计分析，将用户评论信息随时间变化的趋势信息，以及对于某种产品属性的正反面评价对比信息进行可视化。

Images