CN107122467A

CN107122467A - 一种搜索引擎的检索结果评价方法及装置、计算机可读介质

Info

Publication number: CN107122467A
Application number: CN201710293371.7A
Authority: CN
Inventors: 李悦
Original assignee: Nubia Technology Co Ltd
Current assignee: Nubia Technology Co Ltd
Priority date: 2017-04-26
Filing date: 2017-04-26
Publication date: 2017-09-01
Anticipated expiration: 2037-04-26
Also published as: CN107122467B

Abstract

本发明公开了一种搜索引擎的检索结果评价方法及装置、计算机可读介质，旨在解决现有的搜索引擎的检索结果评价方法缺乏通用性和客观性的问题。该方法包括以下步骤：获取检索结果页中对检索结果内容位置的点击数据，并以对应所述检索结果内容位置的点击率为位置得分；将根据所述位置得分，通过衡量搜索引擎质量指标(DCG)评价模型获得每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；根据搜索引擎的前K项(TOPK)搜索排序结果，结合所述每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；获得所述前K项(TOPK)搜索排序结果对应的衡量搜索引擎质量指标(DCG)总体评价分数。

Description

一种搜索引擎的检索结果评价方法及装置、计算机可读介质

技术领域

本发明涉及网络通信技术领域，尤其涉及一种搜索引擎的检索结果评价方法及装置、计算机可读介质。

背景技术

搜索引擎指自动从因特网搜集信息，经过一定整理以后，提供给用户进行查询的***。因特网上的信息浩瀚万千，而且毫无秩序，所有的信息像汪洋上的一个个小岛，网页链接是这些小岛之间纵横交错的桥梁，而搜索引擎，则为用户绘制一幅一目了然的信息地图，供用户随时查阅。它们从互联网提取各个网站的信息(以网页文字为主)，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。全文搜索引擎是目前广泛应用的主流搜索引擎，国外代表搜索是Google，国内则有最大中文搜索百度。它们从互联网提取各个网站的信息(以网页文字为主)，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。

由于互联网信息检索技术的快速发展，各种搜索引擎层出不穷，一方面为用户检索信息提供了便利，另一方面也使许多用户感到无所适从，不知道如何选择合适的检索引擎，因而提出了评价搜索引擎的要求。通过对搜索引擎进行合理的评价，不仅有利于用户的选择与使用，而且有利于其本身的改进和发展。现有主要的搜索引擎评价方法之一是Cranfield评价体系：Cranfield-like approach这个名称来源于英国CranfieldUniversity，因为在二十世纪五十年代该大学首先提出了这样一套评价***：由查询样例集、正确答案集、评测指标构成的完整评测方案，并从此确立了“评价”在信息检索研究中的核心地位。Cranfield评价***在各大搜索引擎公司内有广泛的应用。具体应用时，首先需要解决的问题是构造一个测试用查询词集合。常用的搜索引擎评价方法还包括Precision-Recall(准确率-召回率)方法、P@N方法、DCG(衡量搜索引擎质量指标)方法等。

但是，现有的搜索引擎搜索效果的在线评估，多和业务相关，即对在线用户进行某种规则的分流，将用户导向不同服务版本，并最终以和业务强相关的购买转化率、下载转化率、音乐播放转化率作为评价指标，来评估不同版本的搜索效果好坏，业务结合太紧密，不够通用。

同时，现有的搜索引擎搜索效果的DCG(衡量搜索引擎质量指标)评价算法多用于线下评价，且为为数不多的几个测试同事进行评价打分为主，主观性太强，导致线下搜索评价结果不理想、不客观。

发明内容

本发明的主要目的在于提出一种搜索引擎的检索结果评价方法及装置、计算机可读介质，旨在解决现有的搜索引擎的检索结果评价方法缺乏通用性和客观性的问题。

为实现上述目的，本发明提供的一种搜索引擎的检索结果评价方法，该方法包括以下步骤：

获取检索结果页中对检索结果内容位置的点击数据，并以对应所述检索结果内容位置的点击率为位置得分；

将根据所述位置得分，通过衡量搜索引擎质量指标(DCG)评价模型获得每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；

根据搜索引擎的前K项(TOPK)搜索排序结果，结合所述每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；获得所述前K项(TOPK)搜索排序结果对应的衡量搜索引擎质量指标(DCG)总体评价分数。

进一步，所述搜索引擎的检索结果评价方法还包括从服务器日志文件、访客访问日志文件等中获取搜索行为数据。

进一步的，所述搜索引擎的检索结果评价方法还包括从搜索行为数据中获取同一检索词的所有独立访客对应的所述检索结果页。

进一步的，所述搜索引擎的检索结果评价方法还包括从搜索行为数据中获取前K项(TOPK)搜索排序结果。

前K项(TOPK)搜索排序结果通过TOPK算法获取，搜索引擎会通过日志文件把独立访客每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录(这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的独立访客越多，也就是越热门。)，统计最热门的10个查询串，也即是这一搜索引擎中最热门的10个检索结果。

进一步的，所述搜索引擎的检索结果评价方法中，所述位置得分的计算过程如下：

每一独立访客的同一搜索词对应的检索结果页内容在同一检索结果内容位置的点击计数一次，对应检索结果内容不同位置的点击累加计数；

以点击率CTR为所述位置得分，所述CTR＝点击次数/曝光次数；其中，曝光次数为检索结果页的数量，也即是同一搜索词对应的独立访客数量。

其中，UV(独立访客)：即Unique Visitor，访问您网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。

例如，a)一个UV，同一个搜索词结果list，允许点击多个不同检索结果的位置，但对于同一个检索结果的位置点击，只计数1次，不同检索结果的位置则对应位置计数+1；

b)以点击率CTR作为位置得分，CTR＝点击次数/曝光次数；一次搜索行为，获得10个结果，独立访客A点击了位置2、3、5；另一个独立访客B，点击了位置1、2、3。那么位置1的点击率：1/2，位置2的点击率：2/2，位置3点击率：1/2，位置4点击率：0，位置5点击率：1/2。

进一步的，从搜索行为数据统计所有独立访客的所有搜索词对应的点击行为，所述前K项(TOPK)搜索排序结果按照点击位置对应的点击率为：

其中，i---表示检索结果位置数，k---表示独立访客数，CTR---点击率。

进一步的，根据所述前K项(TOPK)搜索排序结果，依照检索结果位置i进行log2的衰减，对应的衡量搜索引擎质量指标(DCG)总体评价分数计算公式为：

其中i---表示检索结果位置数，K---表示搜索排序前K条结果。

本发明的另一方面，为实现上述目的，本发明还提出一种搜索引擎的检索结果评价装置，该装置包括：

数据获取模块，用于获取所有独立访客的搜索行为数据，根据所述搜索行为数据获得前K项(TOPK)搜索排序结果，以及同一检索词的所有独立访客对应的检索结果页。

衡量搜索引擎质量指标(DCG)计算模块，用于根据检索结果页中对检索结果内容位置的点击数据获得对应所述检索结果内容位置的点击率为位置得分；并根据所述位置得分，通过衡量搜索引擎质量指标(DCG)评价模型获得每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；

同时，根据搜索引擎的前K项(TOPK)搜索排序结果，结合所述每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；获得所述前K项(TOPK)搜索排序结果对应的衡量搜索引擎质量指标(DCG)总体评价分数。

进一步的，所述数据获取模块从服务器日志文件、访客访问日志文件等中获取独立访客的搜索行为数据。

此外，为实现上述目的，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有搜索引擎的检索结果评价程序，所述搜索引擎的检索结果评价程序被处理器执行时实现如上述搜索引擎的检索结果评价方法的步骤：

本发明提出的搜索引擎的检索结果评价方法及装置、计算机可读介质将传统线下的搜索引擎通用搜索效果衡量搜索引擎质量指标(DCG)评价算法与在线用户搜索行为数据进行结合，优化得到在线搜索引擎评价模型，能够将用户点击率直接换成成搜索引擎衡量搜索引擎质量指标(DCG)得分，以真实用户的行为来最终评价检索结果的搜索效果。对所有用户的所有搜索词发生的搜索行为进行统计，并结合搜索引擎前K项(TOPK)搜索排序结果进行衡量搜索引擎质量指标(DCG)总体评价，得分越高说明结果越好。

附图说明

图1为实现本发明各个实施例的第一种搜索引擎的检索结果评价方法流程框图。

图2为实现本发明各个实施例的第二种搜索引擎的检索结果评价方法流程框图。

图3为实现本发明各个实施例的一种搜索引擎的检索结果评价装置结构框图。

图4为实现本发明各个实施例的DCG计算模块的结构框图。

图5为实现本发明各个实施例的搜索引擎的检索结果评价程序执行步骤框图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，″模块″与″部件″可以混合地使用。

本发明涉及的衡量搜索引擎质量指标(DCG)评价方法的原理说明：

DCG是英文Discounted Cumulative Gain的简称，中文可翻译为“衡量搜索引擎质量指标”。衡量搜索引擎质量指标(DCG)方法的基本思想是：

1.每条结果的相关性分等级来衡量；

2.考虑结果所在的位置，位置越靠前的则重要程度越高；

3.等级高(即好结果)的结果位置越靠前则值应该越高，否则给予惩罚。

首先来看第一条：相关性分级。这里比计算Precision时简单统计“准确”或“不准确”要更为精细。

我们可以将结果细分为多个等级。

比如常用的3级：Good(好)、Fair(一般)、Bad(差)。对应的分值rel为：Good：3/Fair：2/Bad：1。

一些更为细致的评估使用5级分类法：Very Good(明显好)、Good(好)、Fair(一般)、Bad(差)、Very Bad(明显差)，可以将对应分值rel设置为：Very Good：2/Good：1/Fair：0/Bad：-1/Very Bad：-2。

评判结果的标准可以根据具体的应用来确定，Very Good通常是指结果的主题完全相关，并且网页内容丰富、质量很高。而具体到每条

DCG的计算公式并不唯一，理论上只要求对数折扣因子的平滑性。例如下面的DCG公式更合理，强调了相关性，第1、2条结果的折扣系数也更合理：

此时DCG前4个位置上结果的折扣因子(Discount factor)数值如下表1所示为：

表1

i	log₂(i+1)	1/log₂(i+1)
			1	1	1
2	1.59	0.63
			3	2	0.5
4	2.32	0.43

取以2为底的log值也来自于经验公式，并不存在理论上的依据。实际上，Log的基数可以根据平滑的需求进行修改，当加大数值时(例如使用log₅代替log₂)，折扣因子降低更为迅速，此时强调了前面结果的权重。

为了便于不同类型的query结果之间横向比较，以DCG为基础，一些评价***还对DCG进行了归一，这些方法统称为nDCG(即normalize DCG)。最常用的计算方法是通过除以每一个查询的理想值iDCG(ideal DCG)来进行归一，公式为：

求nDCG需要标定出理想情况的iDCG，实际操作的时候是异常困难的，因为每个人对“最好的结果”理解往往各不相同，从海量数据里选出最优结果是很困难的任务，但是比较两组结果哪个更好通常更容易，所以实践应用中，通常选择结果对比的方法进行评估。

实施例1

基于上述衡量搜索引擎质量指标(DCG)评价方法，提出本发明方法各个实施例。

如图1所示，本发明第一实施例提出一种搜索引擎的检索结果评价方法，该方法包括以下步骤：

S101、获取检索结果页中对检索结果内容位置的点击数据，并以对应所述检索结果内容位置的点击率为位置得分；

S102、将根据所述位置得分，通过衡量搜索引擎质量指标(DCG)评价模型获得每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；

S103、根据搜索引擎的前K项(TOPK)搜索排序结果，结合所述每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；获得所述前K项(TOPK)搜索排序结果对应的衡量搜索引擎质量指标(DCG)总体评价分数。

上述评价方法中以独立访客搜索行为数据中的位置点击率作为衡量搜索引擎质量指标(DCG)评价中的测试同事打分：以独立访客点击行为为模型，独立访客对检索结果页内容进行点击时，表示对该位置检索结果满意；多数独立访客对同一个位置的点击率较高，认为该位置的检索结果质量较好；对排序靠下的资源，计算得分时予以得分衰减，因为排序越好的搜索引擎，前几位资源搜索质量越好；对所有独立访客的所有搜索词发生的搜索行为进行统计，并结合搜索引擎前K项(TOPK)搜索排序结果进行衡量搜索引擎质量指标(DCG)总体评价，得分越高说明结果越好。

如图2所示，本发明第一实施例提出第二种搜索引擎的检索结果评价方法，该方法包括以下步骤：

S201、从服务器日志文件、访客访问日志文件等中获取搜索行为数据；从搜索行为数据中获取同一检索词的所有独立访客对应的所述检索结果页和前K项(TOPK)搜索排序结果；

S202、获取检索结果页中对检索结果内容位置的点击数据，并以对应所述检索结果内容位置的点击率为位置得分；

S203、将根据所述位置得分，通过衡量搜索引擎质量指标(DCG)评价模型获得每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；

S204、根据搜索引擎的前K项(TOPK)搜索排序结果，结合所述每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；获得所述前K项(TOPK)搜索排序结果对应的衡量搜索引擎质量指标(DCG)总体评价分数。

从服务器日志文件、访客访问日志文件等服务器数据库可以获取用于网络用户行为分析的用户操作行为数据，如用户使用了哪一些搜索词，获得了哪一些检索结果页内容，对检索结果页内容的哪一些位置的结果进行了点击，然后将所有用户的用户操作行为数据进行分析，能够获得前K项(TOPK)的检索结果，最为热门的检索词，针对某一检索词，如手机，应当包括所有包含手机的检索词，如智能手机，以及手机的近义词，不同译文等。

前K项(TOPK)搜索排序结果通过TOPK算法获取，搜索引擎会通过日志文件把独立访客每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录(这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。)，统计最热门的10个查询串，也即是这一搜索引擎中最热门的10个检索结果。

其中，所述位置得分的计算过程如下：

例如，根据上述前K项(TOPK)搜索排序结果按照点击位置对应的位置点击率计算公式，如下表2所示的结果列表。

表2

位置i	CTR
		位置1	20％
位置2	50％
		位置3
位置4
		…
位置K

其中，根据所述前K项(TOPK)搜索排序结果，依照检索结果位置i进行log2的衰减，对应的衡量搜索引擎质量指标(DCG)总体评价分数计算公式为：

其中i---表示检索结果位置数，K---表示搜索排序前K条结果。

实施例2

本发明的另一方面，为实现上述目的，如图3所示，本发明还提出一种搜索引擎的检索结果评价装置，该装置包括：

数据获取模块200，用于获取所有独立访客的搜索行为数据，根据所述搜索行为数据获得前K项(TOPK)搜索排序结果，以及同一检索词的所有独立访客对应的检索结果页。

衡量搜索引擎质量指标(DCG)计算模块300，用于根据检索结果页中对检索结果内容位置的点击数据获得对应所述检索结果内容位置的点击率为位置得分；并根据所述位置得分，通过衡量搜索引擎质量指标(DCG)评价模型获得每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；

其中，该装置还包括DCG分数输出模块400，用于将DCG计算模块300获得结果在线输出到操作界面，使得用户能够直观地获取搜索引擎的评价结果。

其中，所述数据获取模块200从服务器日志文件、用户访问日志文件等中获取用户的搜索行为数据，这些日志文件存放在服务器数据库100内，与网络用户操作行为分析***共同使用同一数据库。

如图4所示，衡量搜索引擎质量指标(DCG)计算模块300包括点击率计算单元310和DCG评价分数计算单元320，点击率计算单元310用于根据检索结果页中对检索结果内容位置的点击数据获得对应所述检索结果内容位置的点击率，DCG评价分数计算单元320用于根据搜索引擎的前K项(TOPK)搜索排序结果，结合所述每一检索结果页的衡量搜索引擎质量指标(DCG)评价分数；获得所述前K项(TOPK)搜索排序结果对应的衡量搜索引擎质量指标(DCG)总体评价分数。

实施例3

具体地，如图5所示，所述搜索引擎在线通用评价程序执行过程如下：

搜索引擎的服务器实时采集独立访客的点击行为，获得用户搜索行为数据，以一定的时间周期存储这些用户搜索行为数据，如1天、1周或者1个月等。

以服务器的日志文件或者访客的日志文件存储在服务器数据库中，用户搜索行为数据的存储方式取决于服务器采集网络用户操作行为数据的方式。

从用户搜索行为数据中，可以获得每一独立访客对应的检索词、检索结果页面内容，用户在检索结果页面内容中的点击位置信息。基于同一检索词，包括近义词等同位词在内所对应的每一个检索结果页面内容，通过统计用户的点击位置信息，可以获得TOPK检索结果，也就是每一检索词对应排在前K条的检索结果。

根据点击位置，能够获得检索结果页面内容中的TOPK检索结果对应的位置点击率。

TOPK检索结果对应的位置点击率计算获得搜索引擎的DCG评价分数，当DCG评价分数越高，说明搜索引擎的检索结果准确性越高。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种搜索引擎的检索结果评价方法，其特征在于，所述方法包括以下步骤：

将根据所述位置得分，通过衡量搜索引擎质量指标评价模型获得每一检索结果页的衡量搜索引擎质量指标评价分数；

根据搜索引擎的前K项搜索排序结果，结合所述每一检索结果页的衡量搜索引擎质量指标评价分数；获得所述前K项搜索排序结果对应的衡量搜索引擎质量指标总体评价分数。

2.根据权利要求1所述的一种搜索引擎的检索结果评价方法，其特征在于，所述方法还包括从服务器日志文件、访客访问日志文件中获取搜索行为数据。

3.根据权利要求2所述的一种搜索引擎的检索结果评价方法，其特征在于，所述方法还包括从搜索行为数据中获取同一检索词的所有独立访客对应的所述检索结果页。

4.根据权利要求2所述的一种搜索引擎的检索结果评价方法，其特征在于，所述方法还包括从搜索行为数据中获取前K项搜索排序结果。

5.根据权利要求1所述的一种搜索引擎的检索结果评价方法，其特征在于，所述搜索引擎的检索结果评价方法中，所述位置得分的计算过程如下：

6.根据权利要求5所述的一种搜索引擎的检索结果评价方法，其特征在于，从搜索行为数据统计所有独立访客的所有搜索词对应的点击行为，所述前K项搜索排序结果按照点击位置对应的点击率为：

7.根据权利要求6所述的一种搜索引擎的检索结果评价方法，其特征在于，根据所述前K项搜索排序结果，依照检索结果位置i进行log2的衰减，对应的衡量搜索引擎质量指标总体评价分数计算公式为：

其中i---表示检索结果位置数，K---表示搜索排序前K条结果。

8.一种搜索引擎的检索结果评价装置，其特征在于，所述装置包括：

数据获取模块，用于获取所有独立访客的搜索行为数据，根据所述搜索行为数据获得前K项搜索排序结果，以及同一检索词的所有独立访客对应的检索结果页；

衡量搜索引擎质量指标计算模块，用于根据检索结果页中对检索结果内容位置的点击数据获得对应所述检索结果内容位置的点击率为位置得分；并根据所述位置得分，通过衡量搜索引擎质量指标评价模型获得每一检索结果页的衡量搜索引擎质量指标评价分数；

同时，根据搜索引擎的前K项搜索排序结果，结合所述每一检索结果页的衡量搜索引擎质量指标评价分数；获得所述前K项搜索排序结果对应的衡量搜索引擎质量指标总体评价分数。

9.根据权利要求8所述的一种搜索引擎的检索结果评价装置，其特征在于，所述数据获取模块从服务器日志文件、访客访问日志文件中获取独立访客的搜索行为数据。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有搜索引擎的检索结果评价程序，所述搜索引擎的检索结果评价程序被处理器执行时实现如权利要求1-7任一项所述的搜索引擎的检索结果评价方法的步骤。