CN107704467B - 搜索质量评估方法及装置 - Google Patents
搜索质量评估方法及装置 Download PDFInfo
- Publication number
- CN107704467B CN107704467B CN201610645103.2A CN201610645103A CN107704467B CN 107704467 B CN107704467 B CN 107704467B CN 201610645103 A CN201610645103 A CN 201610645103A CN 107704467 B CN107704467 B CN 107704467B
- Authority
- CN
- China
- Prior art keywords
- search
- search result
- result
- click
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种搜索质量评估方法及装置，所述方法包括：基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。本发明实施例使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
Description
技术领域
本发明实施例涉及信息搜索技术领域，尤其涉及一种搜索质量评估方法及装置。
背景技术
在当今互联网时代，网络上的信息量急速膨胀增长，用户想直接找到所需基本上是大海捞针；搜索引擎的出现，可以准确、快速地帮助人们从海量网络数据中获取所需信息。优化搜索引擎的排序效果，让用户快捷找到所需是搜索引擎的使命。因此如何快速对搜索引擎的搜索质量进行离线评估成为了一个热门研究领域，在搜索技术研发中扮演着重要角色。
搜索引擎结果的好坏与否，体现在业界所称的在相关性(Relevance)上。狭义的解释是：检索结果和用户查询的相关程度。目前，业界常用的离线评估有人工标注计算召回率、召回准确率、衡量搜索引擎质量指标(Discounted Cumulative Gain，DCG)、衡量排序质量的指标(Normalized Discounted Cumulative Gain，NDCG)等指标。由于这些指标都是基于人工标注数据来评价，受主观因素、数据量的影响，致使评价结果和线上实际效果相差甚远，且人工成本较高。
发明内容
本发明实施例提供一种搜索质量评估方法及装置，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
第一方面，本发明实施例提供了一种搜索质量评估方法，包括：
基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
第二方面，本发明实施例还提供了一种搜索质量评估装置，包括：
评估数据库构造模块，用于基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
排序模块，用于针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
评估模块，用于基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
本发明实施例通过基于用户历史搜索记录数据构造包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据的搜索质量评估数据库，并针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
附图说明
图1是本发明实施例一中的一种搜索质量评估方法的流程图；
图2是本发明实施例二中的一种搜索质量评估方法的流程图；
图3是本发明实施例三中的一种搜索质量评估方法的流程图；
图4是本发明实施例四中的一种搜索质量评估方法的流程图；
图5是本发明实施例五中的一种搜索质量评估装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种搜索质量评估方法的流程图，本实施例可适用于在开发搜索引擎时对待评估搜索策略的搜索质量进行评估的情况，该方法可以由本发明实施例提供的搜索质量评估装置来执行，该装置可集成于固定终端(例如，台式电脑或笔记本电脑)或服务器中，如图1所示，具体包括：
S101、基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据。
其中，用户历史搜索记录数据包括但不限于用户点击日志。所述用户点击日志中记录了用户针对每个查询关键词下的搜索结果项的点击情况，包括但不限于点击次数。所述用户操作特征数据包括但不限于用户针对所述搜索结果项的点击数据(例如，点击次数)。所述搜索结果项可以为但不限于以下任意一种：从网页中提取的连接地址URL、浏览网页或从网页中提取的其它网页特征。
具体的，可采用爬虫技术从互联网上提取网页，并基于用户历史搜索行为，获取用户对提取的网页的历史点击日志，从所述用户点击日志中随机抽取预设流量(例如2％)的查询关键词，召回所述查询关键词对应的网页中包含的搜索结果项的用户操作特征数据，并基于网页提取搜索结果项的特征信息。基于抽取的查询关键词、搜索结果项、搜索结果项的特征信息和用户操作特征数据三者之间的对应关系，构造搜索质量评估数据库。其中，所述搜索结果项的特征信息可预先通过机器学习得到，作为所述搜索结果项排序时的参考因素之一。
S102、针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果。
其中，所述基线搜索策略为现有的线上运行的搜索策略，所述待评估搜索策略为在现有的线上运行的搜索策略的基础上待评估搜索策略。
具体的，首先基于所述至少一个查询关键词中的每个查询关键词在搜索引擎中进行搜索，从所述搜索质量评估数据库中得到与每个查询关键词对应的搜索结果项和搜索结果项的特征信息，然后基于搜索结果项的特征信息和所述基线搜索策略对搜索结果项进行排序则得到第一排序结果，并基于搜索结果项的特征信息和所述待评估搜索策略对搜索结果项进行排序则得到第二排序结果。
S103、基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
具体的，当所述第一排序结果和所述第二排序结果一致时，则说明所述待评估搜索策略的搜索质量并没有得到提升。当所述第一排序结果和所述第二排序结果不一致时，则进一步根据所述用户历史操作特征数据对所述待评估搜索策略的搜索质量进行评估。
本实施例通过基于用户历史搜索记录数据构造包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据的搜索质量评估数据库，并针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
在上述实施例的基础上，基于用户历史搜索记录数据构造搜索质量评估数据库包括：
从用户历史搜索记录数据中抽取所述至少一个查询关键词；
从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；
将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
其中，所述用户历史搜索记录数据包括但不限于用户点击日志，所述用户操作特征数据包括但不限于用户历史点击数据。
具体的，通过挖掘用户历史搜索记录数据，从中抽取出用户浏览行为构造搜索质量评估数据库。例如，随机抽取2％流量的查询关键词，过滤出所述查询关键词对应的用户点击日志，召回每个查询关键词下的至少一个搜索结果项及搜索结果项的用户操作特征数据，将所述查询关键词及其对应的搜索结果项、及搜索结果项的用户操作特征数据作为搜索质量评估数据库。在进行搜索质量评估时，首先基于查询关键词在搜索引擎中进行搜索，并从所述搜索质量评估数据库中得到与所述查询关键词对应的至少一个搜索结果项，然后基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果。
在上述实施例的基础上，在从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，所述方法还包括：
基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。
其中，所述预定的搜索结果项筛选策略优选为召回策略。
具体的，以所述用户操作特征数据为用户历史点击数据为例对本实施例进行说明。在用户历史搜索记录数据中抽取预设比例(例如2％)的查询关键词，获取用户点击日志，例如，在所述点击日志中记录了用户历史点击行为如下所示：
查询关键词query-搜索结果项url-是否有点
query-url1-click
query-url2-no_click
query-url3-click
query-url4-click
query-url5-no_click
query-url6-no_click
根据上述记录的用户点击行为和召回策略，统计得到位置差异搜索结果对的历史点击数据。其中，所述召回策略包括但不限于以下至少一种：(1)仅点击第一条时，召回u1>u2，u1>u3；(2)第n条有点，第n+1条没点时，召回un>un+1；(3)点击比跳过好，第n条有点，第n-1条没点时，召回1条un>un-1；第n条有点，第n+1条没点，第n+2条有点，召回1条un+2>un+1；(4)连续点击或跳过为打平，第n条有点，第n-1条没点，第n-2条没点，召回un-2＝un+1，第n条有点，第n+1条没点，第n+2条没点，召回un＝un+1,un+1＝un+2。根据上述召回策略得到查询关键词对应的至少一个搜索结果项，依次对每个搜索结果项的点击行为及点击次数进行统计。例如，上述url有没有被点击，被点击了多少次等。根据上述各搜索结果项的点击次数构造位置差异搜索结果对。例如，搜索结果项1被点击10次，搜索结果项2被点击20次，则构造的位置差异搜索结果对为：搜索结果项2比搜索结果项1多点击10次。
或者，构造位置差异搜索结果对，针对所述每一个位置差异搜索结果对中，分别统计其中一个搜索结果项的多于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin；统计其中一个搜索结果项的少于另一个搜索结果项的用户历史点击次数的情况出现的总次数bwin；统计其中一个搜索结果项的等于另一个搜索结果项的用户历史点击次数的情况出现的总次数sum。
例如，最终构造的搜索质量评估数据库如下表一所示：
表一
| 查询关键词 | 位置差异搜索结果对 | [awinbwin sum] |
| 查询关键词1 | 搜索结果项1-搜索结果项2 | [001] |
| 查询关键词1 | 搜索结果项2-搜索结果项3 | [100] |
| 查询关键词1 | 搜索结果项3-搜索结果项4 | [010] |
| 查询关键词1 | 搜索结果项4-搜索结果项5 | [001] |
| …… | …… | …… |
在上述实施例的基础上，针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果包括：
针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；
从所提取的页面特征中，获取基线策略特征和待评估策略特征；
基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
在上述实施例的基础上，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估包括：
基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置；
将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；
基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
具体的，若在所述第一排序结果和所述第二排序结果中，所有相同排序位置处的搜索结果项均相同，则确定所述待评估搜索策略的搜索质量没有得到提升。若在所述第一排序结果和所述第二排序结果中，存在至少一个相同排序位置中对应的搜索结果项不同，则将所述排序位置上的不同搜索结果项组成位置差异搜索结果对，基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
例如，如果所述第一排序结果中的某一排序位置处为搜索结果项1，所述第二排序结果中同一排序位置处为搜索结果项2，则将所述搜索结果项1和所述搜索结果项2组成位置差异搜索结果对，分别统计用户对所述搜索结果项1和搜索结果项2历史点击行为，如果搜索结果项1的历史点击行为多于搜索结果项2，则说明所述待评估搜索策略的搜索质量得到提升，否则说明所述待评估搜索策略的搜索质量没有得到提升。
在上述实施例的基础上，基于所述差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估包括：
基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；
统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；
基于所统计的点击结果，对所述待评估搜索策略进行评估。
本实施例的其中的一种实现方式为，统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击次数，在相同排序位置下，如果所述第一排序结果中的搜索结果项的点击次数少于所述第二排序结果中的搜索结果项的点击次数，则说明所述待评估搜索策略的搜索质量得到提升，否则说明所述待评估搜索策略的搜索质量没有提升。
本实施例的另一种实现方式为，统计点击第一排序结果中的搜索结果项的次数多于点击第二排序结果中的搜索结果项的次数的总次数G；统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。
具体的，可通过公式P＝0.5*(G-B)/(G+S+B)计算得到评估系数P，如果P为正数，则说明所述待评估搜索策略的搜索质量有所提升，否则没有提升。
当所述查询关键词为多个时，将所有查询关键词下同一位置差异搜索结果对下的总次数G、总次数S和总次数B分别进行加和，基于加和后的总次数G、加和后的总次数S和加和后的总次数B得到评估系数P，基于得到的评估系数P对所述待评估搜索策略的搜索质量进行评估。
当包含不同搜索结果项的排序位置为多个时，将所有排序位置上的位置差异搜索结果对下的总次数G、总次数S和总次数B分别进行加和，基于加和后的总次数G、加和后的总次数S和加和后的总次数B得到评估系数P，基于得到的评估系数P对所述待评估搜索策略的搜索质量进行评估。
在上述实施例的基础上，若在基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果包括：
基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin、bwin和sum；
基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；
基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
在上述实施例的基础上，在基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果之前，所述方法还包括：
基于预设位置点击概率，利用随机数生成方法，确定所述位置差异搜索结果对是否发生点击行为，以及在发生点击行为时，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
具体的，如果在第一排序结果中位于第二排序位置的为搜索结果项1，在第二排序结果中位于第二排序位置的为搜索结果项2，则基于搜索结果项1和搜索结果项2构成位置差异搜索结果对，基于上述搜索质量评估数据分别统计该位置差异搜索结果对的awin、bwin和sum。假如，awin、bwin和sum分别为50、150和200，则得到搜索结果项1的点击概率为50/(50+150+200)＝12.5％，搜索结果项2的点击概率为150/(50+150+200)＝37.5％，则生成一组随机数，假如，生成的随机数为1,2,3,4,5,6,7,8,9,10；则根据点击概率12.5％和点击概率37.5％对随机数进行分组，由于12.5％与37.5％的比值为1:3，则将1,2,3归为搜索结果项1的对应的随机数，4,5,6,7,8,9,10归为搜索结果项2的对应的随机数，然后随机从该组随机数1,2,3,4,5,6,7,8,9,10中抽取一个随机数，如果该随机数为搜索结果项1的对应的随机数，则点击结果为点击的第一排序结果中的搜索结果项即搜索结果项1，如果该随机数为搜索结果项2的对应的随机数，则点击结果为点击的第二排序结果中的搜索结果项即搜索结果项2。最后统计第一排序结果和第二排序结果的点击总数，根据点击总数对所述待评估搜索策略的搜索质量进行评估。例如，如果第二排序结果的点击总数多于第一排序结果，则确定所述待评估搜索策略的搜索质量有所提升，否则没有得到提升。
上述实施例通过基于用户历史搜索记录数据构造包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据的搜索质量评估数据库，并针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
实施例二
图2为本发明实施例二提供的一种搜索质量评估方法的流程图，本实施例在上述实施例的基础上，基于用户历史搜索记录数据构造搜索质量评估数据库优选为，从用户历史搜索记录数据中抽取所述至少一个查询关键词；从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。在从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，所述方法还优选包括：基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。如图2所示，具体包括：
S201、从用户历史搜索记录数据中抽取所述至少一个查询关键词，并提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据。
其中，所述用户历史搜索记录数据包括但不限于用户点击日志，所述用户操作特征数据包括但不限于用户历史点击数据。
S202、基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
其中，所述搜索结果项筛选策略与用户操作特征数据相关联。
S203、针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果。
S204、基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
关于本实施例的各步骤的详细描述参见上述实施例，这里不再赘述。
本实施例通过基于用户历史搜索记录数据构造搜索质量评估数据库，并基于所述搜索质量评估数据库、基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果，并基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
实施例三
图3为本发明实施例三提供的一种搜索质量评估方法的流程图，本实施例在上述实施例的基础上，将针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果优选为：针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；从所提取的页面特征中，获取基线策略特征和待评估策略特征；基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。如图3所示，具体包括：
S301、基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据。
S302、针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征，从所提取的页面特征中，获取基线策略特征和待评估策略特征。
S303、基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
S304、基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
本实施例基于所述搜索质量评估数据库针对至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征，并从所提取的页面特征中，获取基线策略特征和待评估策略特征，并基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果，使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并提高搜索质量评估准确度。
实施例四
图4为本发明实施例四提供的一种搜索质量评估方法的流程图，本实施例在上述实施例的基础上，将基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估，优选为基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置；将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。进一步的，将基于所述差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估优选为：基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；基于所统计的点击结果，对所述待评估搜索策略进行评估。如图4所示，具体包括：
S401、基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据。
S402、针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果。
S403、基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置，将所述排序位置上的不同搜索结果项组成位置差异搜索结果对。
S404、基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果。
具体的，基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin、bwin和sum；基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
S405、统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果。
S406、基于所统计的点击结果，对所述待评估搜索策略进行评估。
具体的，可统计点击第一排序结果中的搜索结果项的次数多于点击第二排序结果中的搜索结果项的次数的总次数G；统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。根据所述评估系数对所述待评估搜索策略进行评估。
本实施例通过模拟搜索环境，并统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果。基于所统计的点击结果，对所述待评估搜索策略进行评估。不仅使整个评估过程完全自动化，以降低人工成本及人工干扰程度，并且提高了搜索质量评估准确度。
实施例五
图5所示为本发明实施例五提供的一种搜索质量评估装置的结构示意图，该装置可采用软件或硬件的方式实现，该装置可集成于固定终端或服务器中，如图5所示，该装置的具体结构如下：评估数据库构造模块51、排序模块52、评估模块53；
所述评估数据库构造模块51用于基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
所述排序模块52用于针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
所述评估模块53用于基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估。
本实施例所述的搜索质量评估装置用于执行上述各实施例所述的搜索质量评估方法，其技术原理和产生的技术效果类似，这里不再赘述。
在上述实施例的基础上，所述评估数据库构造模块51具体用于，从用户历史搜索记录数据中抽取所述至少一个查询关键词；从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
在上述实施例的基础上，所述装置还包括：筛选模块54；
所述筛选模块54用于在所述评估数据库构造模块51从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。
在上述实施例的基础上，所述用户历史搜索记录数据包括用户点击日志，以及所述用户操作特征数据包括用户历史点击数据。
在上述实施例的基础上，所述排序模块52具体用于，针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；从所提取的页面特征中，获取基线策略特征和待评估策略特征；基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
在上述实施例的基础上，所述评估模块53包括：位置确定单元531、配对单元532和评估单元533；
所述位置确定单元531用于基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置；
所述配对单元532用于将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；
所述评估单元533用于基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
在上述实施例的基础上，所述评估单元533包括：击中确定子单元5331、统计子单元5332和评估子单元5333；
所述击中确定子单元5331用于基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；
所述统计子单元5332用于统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；
所述评估子单元5333用于基于所统计的点击结果，对所述待评估搜索策略进行评估。
在上述实施例的基础上，所述统计子单元5332具体用于，统计点击第一排序结果中的搜索结果项的次数多于点击第二排序结果中的搜索结果项的次数的总次数G；统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。
在上述实施例的基础上，所述统计子单元5332具体用于，基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。
在上述实施例的基础上，所述击中确定子单元5331具体用于，基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin、bwin和sum；基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
在上述实施例的基础上，所述装置还包括：点击确定模块55；
所述点击确定模块55用于在所述击中确定子单元5331基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果之前，基于预设位置点击概率，利用随机数生成方法，确定所述位置差异搜索结果对是否发生点击行为，以及在发生点击行为时，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
上述各实施例所述搜索质量评估装置用于执行上述各实施例所述的搜索质量评估方法，其技术原理和产生的技术效果类似，这里不再赘述。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (20)
1.一种搜索质量评估方法，其特征在于，包括：
基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估；
其中，基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估包括：
基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置；
将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；
基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
2.根据权利要求1所述的方法，其特征在于，基于用户历史搜索记录数据构造搜索质量评估数据库包括：
从用户历史搜索记录数据中抽取所述至少一个查询关键词；
从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；
将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
3.根据权利要求2所述的方法，其特征在于，在从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，所述方法还包括：
基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述用户历史搜索记录数据包括用户点击日志，以及所述用户操作特征数据包括用户历史点击数据。
5.根据权利要求1所述的方法，其特征在于，针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果包括：
针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；
从所提取的页面特征中，获取基线策略特征和待评估策略特征；
基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
6.根据权利要求1所述的方法，其特征在于，基于所述差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估包括：
基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；
统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；
基于所统计的点击结果，对所述待评估搜索策略进行评估。
7.根据权利要求6所述的方法，其特征在于，统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果包括：
统计点击第一排序结果中的搜索结果项的次数多于点击第二排序结果中的搜索结果项的次数的总次数G；
统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；
统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。
8.根据权利要求7所述的方法，其特征在于，基于所统计的点击结果，对所述待评估搜索策略进行评估包括：
基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。
9.根据权利要求6所述的方法，其特征在于，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果包括：
基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin、bwin和sum；
基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；
基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
10.根据权利要求6所述的方法，其特征在于，在基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果之前，所述方法还包括：
基于预设位置点击概率，利用随机数生成方法，确定所述位置差异搜索结果对是否发生点击行为，以及在发生点击行为时，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
11.一种搜索质量评估装置，其特征在于，包括：
评估数据库构造模块，用于基于用户历史搜索记录数据构造搜索质量评估数据库，所述搜索质量评估数据库包含至少一个查询关键词、对应的至少一个搜索结果项以及针对所述搜索结果项的用户操作特征数据；
排序模块，用于针对所述至少一个查询关键词中的每个查询关键词，基于基线搜索策略和待评估搜索策略，分别对所述搜索质量评估数据库中的对应搜索结果项进行排序得到第一排序结果和第二排序结果；
评估模块，用于基于所述用户历史操作特征数据、所述第一排序结果和所述第二排序结果对所述待评估搜索策略的搜索质量进行评估；
其中，所述评估模块包括：
位置确定单元，用于基于所述第一排序结果和第二排序结果，确定出存在同一排序位置对应不同搜索结果项情形的排序位置；
配对单元，用于将所述排序位置上的不同搜索结果项组成位置差异搜索结果对；
评估单元，用于基于所述位置差异搜索结果对以及对应的用户操作特征数据，对所述待评估搜索策略进行评估。
12.根据权利要求11所述的装置，其特征在于，所述评估数据库构造模块具体用于，从用户历史搜索记录数据中抽取所述至少一个查询关键词；从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据；将所述至少一个查询关键词、对应的搜索结果项以及所述搜索结果项的用户操作特征数据作为所述搜索质量评估数据。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
筛选模块，用于在所述评估数据库构造模块从用户历史搜索记录数据中，提取与所抽取的查询关键词对应的搜索结果项的用户操作特征数据后，基于预定的搜索结果项筛选策略，对所述搜索结果项进行筛选处理，其中所述搜索结果项筛选策略与用户操作特征数据相关联。
14.根据权利要求11-13中任一所述的装置，其特征在于，所述用户历史搜索记录数据包括用户点击日志，以及所述用户操作特征数据包括用户历史点击数据。
15.根据权利要求11所述的装置，其特征在于，所述排序模块具体用于，针对所述至少一个查询关键词中的每个查询关键词，提取对应搜索结果项的页面特征；从所提取的页面特征中，获取基线策略特征和待评估策略特征；基于所述基线策略特征和待评估策略特征以及对应的基线策略模型和待评估策略模型，对所述搜索结果项进行排序来获得所述第一排序结果和所述第二排序结果。
16.根据权利要求11所述的装置，其特征在于，所述评估单元包括：
击中确定子单元，用于基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述差异搜索结果对中被击中的搜索结果；
统计子单元，用于统计模拟搜索环境下每个位置差异搜索结果对中的各个搜索结果的点击结果；
评估子单元，用于基于所统计的点击结果，对所述待评估搜索策略进行评估。
17.根据权利要求16所述的装置，其特征在于，所述统计子单元具体用于，统计点击第一排序结果中的搜索结果项的次数多于点击第二排序结果中的搜索结果项的次数的总次数G；统计点击第一排序结果中的搜索结果项的次数少于点击第二排序结果中的搜索结果项的次数的总次数B；统计点击第一排序结果中的搜索结果项的次数等于点击第二排序结果中的搜索结果项的次数的总次数S。
18.根据权利要求17所述的装置，其特征在于，所述统计子单元具体用于，基于所统计的次数G、B和S，计算所述待评估搜索策略的评估系数。
19.根据权利要求16所述的装置，其特征在于，所述击中确定子单元具体用于，基于用户操作特征数据，分别统计所述位置差异搜索结果对中一个搜索结果项的用户历史点击次数多于、少于以及等于另一个搜索结果项的用户历史点击次数的情况出现的总次数awin、bwin和sum；基于所述awin、bwin和sum计算出点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率；基于点击所述第一排序结果中的搜索结果的概率和点击第二排序结果中的搜索结果的概率，利用随机数生成方法，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
20.根据权利要求16所述的装置，其特征在于，所述装置还包括：
点击确定模块，用于在所述击中确定子单元基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果之前，基于预设位置点击概率，利用随机数生成方法，确定所述位置差异搜索结果对是否发生点击行为，以及在发生点击行为时，基于每个位置差异搜索结果对以及对应的用户操作特征数据，确定模拟搜索环境中的每次点击时所述位置差异搜索结果对中被击中的搜索结果。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610645103.2A CN107704467B (zh) | 2016-08-09 | 2016-08-09 | 搜索质量评估方法及装置 |
| PCT/CN2016/108422 WO2018028099A1 (zh) | 2016-08-09 | 2016-12-02 | 搜索质量评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610645103.2A CN107704467B (zh) | 2016-08-09 | 2016-08-09 | 搜索质量评估方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107704467A CN107704467A (zh) | 2018-02-16 |
| CN107704467B true CN107704467B (zh) | 2021-08-24 |
Family
ID=61161645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610645103.2A Active CN107704467B (zh) | 2016-08-09 | 2016-08-09 | 搜索质量评估方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107704467B (zh) |
| WO (1) | WO2018028099A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108897685B (zh) * | 2018-06-28 | 2022-02-25 | 百度在线网络技术（北京）有限公司 | 搜索结果的质量评估方法、装置、服务器和介质 |
| CN109543940B (zh) * | 2018-10-12 | 2024-04-09 | 中国平安人寿保险股份有限公司 | 活动评估方法、装置、电子设备及存储介质 |
| CN109582751B (zh) * | 2018-11-29 | 2021-01-01 | 百度在线网络技术（北京）有限公司 | 一种检索效果的度量方法及服务器 |
| CN110020209B (zh) * | 2019-04-18 | 2022-03-22 | 北京奇艺世纪科技有限公司 | 内容和搜索词的相关性确定方法及***、展示方法及*** |
| CN112115344B (zh) * | 2019-06-20 | 2024-07-09 | 百度(中国)有限公司 | 搜索结果的自动评估方法、装置、***及存储介质 |
| CN110727865A (zh) * | 2019-10-09 | 2020-01-24 | 北京百度网讯科技有限公司 | 检索策略的问题定位方法、装置、电子设备及存储介质 |
| CN112784141B (zh) * | 2019-10-23 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 搜索结果质量确定方法、装置、存储介质和计算机设备 |
| CN111367778B (zh) * | 2020-03-13 | 2023-07-07 | 百度在线网络技术（北京）有限公司 | 评估搜索策略的数据分析方法和装置 |
| CN112115340A (zh) * | 2020-09-14 | 2020-12-22 | 深圳市欢太科技有限公司 | 搜索策略的选择方法、移动终端以及可读存储介质 |
| CN113781146A (zh) * | 2020-11-17 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 产品信息的推荐方法、装置、设备和存储介质 |
| CN113626715A (zh) * | 2021-08-26 | 2021-11-09 | 北京字跳网络技术有限公司 | 查询结果显示方法、装置、介质和电子设备 |
| CN113849417A (zh) * | 2021-11-08 | 2021-12-28 | 杭州网易云音乐科技有限公司 | 测试方法、介质、装置和计算设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020143759A1 (en) * | 2001-03-27 | 2002-10-03 | Yu Allen Kai-Lang | Computer searches with results prioritized using histories restricted by query context and user community |
| US7644072B2 (en) * | 2006-01-31 | 2010-01-05 | Perfect Market, Inc. | Generating a ranked list of search results via result modeling |
| CN100440224C (zh) * | 2006-12-01 | 2008-12-03 | 清华大学 | 一种搜索引擎性能评价的自动化处理方法 |
| CN102760138B (zh) * | 2011-04-26 | 2015-03-11 | 北京百度网讯科技有限公司 | 用户网络行为的分类方法和装置及对应的搜索方法和装置 |
| US20140059062A1 (en) * | 2012-08-24 | 2014-02-27 | Google Inc. | Incremental updating of query-to-resource mapping |
| CN103593411A (zh) * | 2013-10-23 | 2014-02-19 | 江苏大学 | 一种测试搜索引擎评价指标的综合性能的方法和测试装置 |
| CN103544307B (zh) * | 2013-11-04 | 2017-08-08 | 北京中搜云商网络技术有限公司 | 一种不依赖文档库的多搜索引擎自动化对比评测方法 |
| CN103870607A (zh) * | 2014-04-08 | 2014-06-18 | 北京奇虎科技有限公司 | 多搜索引擎搜索结果的排序方法及装置 |
-
2016
- 2016-08-09 CN CN201610645103.2A patent/CN107704467B/zh active Active
- 2016-12-02 WO PCT/CN2016/108422 patent/WO2018028099A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018028099A1 (zh) | 2018-02-15 |
| CN107704467A (zh) | 2018-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107704467B (zh) | 搜索质量评估方法及装置 | |
| CN102760138B (zh) | 用户网络行为的分类方法和装置及对应的搜索方法和装置 | |
| CN105701216B (zh) | 一种信息推送方法及装置 | |
| CN107665444B (zh) | 一种基于用户在线行为的网络广告即时效应评价方法及*** | |
| CN107526807B (zh) | 信息推荐方法及装置 | |
| CN101321190B (zh) | 一种异构网络中的推荐方法及推荐*** | |
| Teevan et al. | Understanding and predicting personal navigation | |
| CN103365839A (zh) | 一种搜索引擎的推荐搜索方法和装置 | |
| US20110016121A1 (en) | Activity Based Users' Interests Modeling for Determining Content Relevance | |
| US20080313115A1 (en) | Behavioral Profiling Using a Behavioral WEB Graph and Use of the Behavioral WEB Graph in Prediction | |
| US20110225140A1 (en) | System and method for determining authority ranking for contemporaneous content | |
| CN105247507A (zh) | 品牌的影响力得分 | |
| CN104268142B (zh) | 基于可拒绝策略的元搜索结果排序方法 | |
| Arapakis et al. | On the feasibility of predicting news popularity at cold start | |
| CN104636407B (zh) | 参数取值训练及搜索请求处理方法和装置 | |
| CN104050197B (zh) | 一种信息检索***评测方法和装置 | |
| CN105701097A (zh) | 一种基于社交网络平台的舆情分析方法及*** | |
| CN102934110A (zh) | 研究任务识别 | |
| CN112612951B (zh) | 一种面向收益提升的无偏学习排序方法 | |
| CN107004200A (zh) | 排名功能的离线评价 | |
| CN101268465B (zh) | 分类一组电子文档的方法 | |
| CN103678709B (zh) | 一种基于时序数据的推荐***攻击检测方法 | |
| CN107577707B (zh) | 一种目标数据集生成方法、装置及电子设备 | |
| CN107590176B (zh) | 一种评价指标的获得方法、装置及电子设备 | |
| CN103312584A (zh) | 一种在网络社区中发布信息的方法与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |