CN108536709A

CN108536709A - 一种搜索优化方法及装置

Info

Publication number: CN108536709A
Application number: CN201710124430.8A
Authority: CN
Inventors: 李梅雯; 王啸风; 孟嘉; 邵蓥侠; 傅强; 冯是聪
Original assignee: Beijing Mininglamp Software System Co ltd
Current assignee: Beijing Mininglamp Software System Co ltd
Priority date: 2017-03-03
Filing date: 2017-03-03
Publication date: 2018-09-14
Anticipated expiration: 2037-03-03
Also published as: CN108536709B

Abstract

本发明公开了一种搜索优化方法及装置，该搜索优化方法包括：接收到查询请求后，获取与所述查询请求相关的实体集合；对所述实体集合中的任一实体，获取所述实体集合中与所述实体存在关联关系的关联实体；获取所述实体与所述查询请求的第一相关性，以及所述关联实体与所述查询请求的第二相关性，根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性。本发明实施例所述方案使用关联实体的相关性来确定实体的最终相关性，并根据最终相关性对实体进行排序后输出，能更准确的反映出实体与搜索之间的相关性，更加精准快速帮助用户定位到其所关心的实体。

Description

一种搜索优化方法及装置

技术领域

本发明涉及信息处理技术，尤指一种搜索优化方法及装置。

背景技术

在实体搜索领域，目前最流行的结果排名算法主要基于Lucene中的PSF(Practical Scoring Function)算法来计算命中实体与查询的相关性，同时加入搜索意图识别。搜索意图识别是指通过用户输入的请求来获取用户的真实需求，靠规则或者机器学习的方法来完成一个分类的问题。该搜索方法只考虑单个实体本身的属性，具有一定的局限性和片面性，从而影响用户真正需求结果的可视性，有碍用户快速定位到其真正感兴趣的实体对象。

发明内容

为了解决上述技术问题，本发明提供了一种搜索优化方法及装置，对现有搜索方法进行优化，有利于用户快速定位到其真正感兴趣的实体对象。

为了达到本发明目的，本发明提供了一种搜索优化方法，包括：

接收到查询请求后，获取与所述查询请求相关的实体集合；

对所述实体集合中的任一实体，获取所述实体集合中与所述实体存在关联关系的关联实体；

获取所述实体与所述查询请求的第一相关性，以及所述关联实体与所述查询请求的第二相关性，根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性。

可选的，所述方法还包括：确定所述实体集合中每个实体的最终相关性后，根据各实体的最终相关性对所述实体集合中的实体进行排序后输出。

可选的，所述获取所述实体集合中与所述实体存在关联关系的关联实体包括：

获取所述实体集合中与所述实体的关联关系满足预设条件的关联实体。

可选的，所述预设条件为：所述关联实体相对于所述实体的关系权重值大于0。

可选的，所述根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性包括：

根据所述第一相关性、所述第二相关性以及所述关联实体相对于所述实体的关系权重值确定所述实体与所述查询请求的最终相关性。

且所述

所述score_mx(q，d)为所述实体与所述查询请求的最终相关性，所述 score(q，d)为所述实体与所述查询请求的第一相关性，所述α为所述实体的权重，且0≤α≤1，所述score(q，dr_i)为所述实体的关联实体dr_i与所述查询请求的第二相关性，所述boost_i为所述关联实体dr_i相对于所述实体的关系权重值，所述i＝1～m。

本发明实施例还提供一种搜索优化装置，包括：

搜索单元，用于接收查询请求后，获取与所述查询请求相关的实体集合；

关联实体确定单元，用于对所述实体集合中的任一实体，获取所述实体集合中与所述实体存在关联关系的关联实体；

优化单元，用于获取所述实体与所述查询请求的第一相关性，获取所述关联实体与所述查询请求的第二相关性，根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性。

可选的，所述装置还包括：输出单元，用于确定所述实体集合中每个实体的所述最终相关性后，根据各实体的最终相关性对所述实体集合中的实体进行排序后输出。

可选的，所述关联实体确定单元获取所述实体集合中与所述实体存在关联关系的关联实体包括：

可选的，所述优化单元根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性包括：

且所述

所述score_mx(q，d)为所述实体d与所述查询请求q的最终相关性，所述 score(q，d)为所述实体d与所述查询请求q的第一相关性，所述α为所述实体 d的权重，且0≤α≤1，所述score(q，dr_i)为所述实体d的关联实体dr_i与所述查询请求q的第二相关性，所述boost_i为所述关联实体dr_i相对于所述实体d 的关系权重值，所述i＝1～m。

与现有技术相比，本发明实施例所述方案使用实体的关联实体的相关性来确定实体的最终相关性，并根据最终相关性对实体进行排序后输出，能更准确的反映出实体与搜索之间的相关性，更加精准快速帮助用户定位到其所关心的实体。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例搜索优化方法流程图；

图2为本发明实施例搜索优化装置框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机 ***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有技术中，使用PSF进行搜索计算时，所基于的信息完全来自实体本身的属性，而并未考虑影响实体的另一个关键信息“关系”。本发明实施例中，考虑了与实体有关联关系的其他实体，与实体有关的其他实体的特征对实体有着与属性相同的代表性，使用与实体有关联关系的实体的相关性值来修正实体的相关性值。

图1为本发明实施例提供的搜索优化方法流程图。如图1所示，本发明实施例提供的一种搜索优化方法，包括：

步骤101，接收到查询请求；

步骤102，获取与所述查询请求相关的实体集合；

步骤103，对所述实体集合中的任一实体，获取所述实体集合中与所述实体存在关联关系的关联实体；

步骤104，获取所述实体与所述查询请求的第一相关性，以及所述关联实体与所述查询请求的第二相关性，根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性。

在本发明另一实施例中，所述方法还包括步骤105，确定所述实体集合中每个实体的最终相关性后，根据各实体的最终相关性对所述实体集合中的实体进行排序后输出。

其中，所述步骤102中的实体可以是现实中不再做进一步分割的一类对象，通常被定义为在***中会被主要分析的对象种类，如人，车，户籍等。每个实体包括代表该实体特征的属性信息。比如，实体为人时，其属性信息可以包括如下之一或其组合：姓名、年龄、性别、籍贯、是否有犯罪记录、重点人类别(比如涉毒、涉恐等)、行为习惯等。

其中，实体之间的关联关系是刻画实体间各种关系的一类对象，通常被定义为实体之间的关联，比如，实体为人时，关联关系包括配偶、父子，夫妻，母子、同行、同住、同学关系等，还可包括人和户籍的所属关系。人与人之间的部分关联关系可从户口薄中提取。

其中，上述实体的属性信息和实体之间的关联关系可以存储在数据库中。该数据库可以是图数据库，实体的属性信息用点进行标记、实体之间的关联关系以边进行标记。

其中，所述步骤102中，可以使用现有的搜索算法获取与所述查询请求相关的实体集合。比如，可以使用PSF算法。当然，本申请不限于此，也可以使用其他搜索方法获取与所述查询请求相关的实体集合。并且，使用现有算法获取与所述查询请求相关的实体集合时，还可获得实体集合中各实体与所述查询请求的相关性。上述实体集合中的实体称为命中实体，记作{实体1，实体2，...，实体n}。

所述步骤103中，对实体集合中的任一实体，获取其对应的关联实体，其中，每个实体的关联实体可以是一个或多个，比如，实体1的关联实体可以记为：{实体1_1，实体1_2，...，实体1_m1}，实体2的关联实体可以记为： {实体2_1，实体2_2，...，实体2_m2}，实体n的关联实体可以{实体n_1，实体n_2，...，实体n_mn}。其中，关联实体也是实体集合中的实体。

所述步骤104中，对实体集合中的实体1，则获取实体1与所述查询请求的相关性，获取实体1的关联实体：实体1_1，实体1_2，...，实体1_m1中各实体与所述查询请求的相关性，根据实体1与查询请求的相关性、实体1_1 与所述查询请求的相关性、实体1_2与所述查询请求的相关性，…，实体1_m1 与所述查询请求的相关性确定所述实体1的最终相关性。以此类推，可以获取实体集合中的其他实体，比如实体2，…，实体n的最终相关性。

在本发明一实施例中，关联实体相对于实体存在一关系权重值。

对于不同的关系按照其亲密程度以及对本实体的影响力，设定不同的关系权重值来区别其分量。比如在“涉毒”实体相关查询中，配偶关系的关系权重值可以设定为大于父子关系的关系权重值，父子关系的关系权重值大于同学关系的关系权重值。比如，可以将配偶关系的关系权重值定为50％，父子关系的关系权重值定为30％，同学关系的关系权重值定为10％。表示在吸毒这个行为特征上，配偶对某人的影响力比父子关系或者同学关系要更加强烈。此处仅为示例，可以根据实际需要确定其关系权重值。关系权重值可以用boost值来表示。boost的具体取值需要根据应用领域，参考属性部分的boost 值的设定范围来综合设定。关系权重值可以有多个，比如，对实体的不同行为，配偶对其的关系权重值可以不同。关系权重值初期可来自历史经验，后期可引入机器学习的方法不断完善改进。

在本发明另一实施例中，所述步骤103中，获取所述实体集合中与所述实体存在关联关系的关联实体包括：

在本发明又一实施例中，所述预设条件为：所述关联实体相对于所述实体的关系权重值大于0。所述预设条件也可以根据需要设定为其他条件。预设条件设定为：所述关联实体相对于所述实体的关系权重值大于0。这一预设条件主要考虑不同的关联实体对本实体有着不同的影响力，为减少计算消耗，有些在某种应用场景下对本实体没有影响力的关联实体就不再纳入被计算范围。比如在对人实体的某些特征行为(如，吸毒)进行相关查询的时候，与其具有人车关系的关联实体(车)对本实体并无影响力。大多数情况下相同类型的实体(人人)之间才会有互相影响的能力。利用此配置，直接过滤掉大量无关实体计算。

在本发明又一实施例中，所述根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性包括：

对实体集合中任一实体d，其与查询请求q的相关性为score(q，d)，与该命中实体d的关联关系满足预设条件的关联实体dr_i，确定每个关联实体dr_i与查询请求q的相关性score(q，dr_i)，根据实体d与查询请求q的相关性 score(q，d)和该实体的每个关联实体的相关性score(q，dr_i)确定实体d的最终相关性score_mx(q，d)，一种实现方式如下：

且所述

其中，所述α为实体d对搜索的相关性计算的影响权重，相对应的，(1- α)为实体d的所有关联实体对于实体d的影响权重；z为关联实体对实体d 的贡献总值，所述boost_i为所述关联实体dr_i相对于所述实体d的关系权重值，所述i＝1～m。本实施例中，与该命中实体d的关联关系满足预设条件的关联实体dr_i称为与实体d具有正关系的关联实体。

在实体查询场景中，一个命中实体与搜索之间的相关性不仅和本身属性相关，而且与其他具有关联关系的实体的命中情况和程度相关。为了刻画第二部分对权重的影响，提出了z(相关联实体对实体d的贡献值z)的概念。所述z表示所有与实体d有正关系的关联实体在本次查询中对本实体与查询相关性分数的贡献总和。z的一种计算方式为，每个关联实体依据现有算法获得相关性乘以一个由该关联实体与实体d之间关系决定的权重，再相加的总和，从而定量的表现出周围人文环境，社会关系所体现出来的对于实体d的影响/代表力度。

本实施例中，根据实际应用，考虑本实体属性值以及关联实体对实体d 与查询请求之间相关性的影响度权重设置α。α取值一般在[0,1]之间，比如，可以将α取值为0.8，当然，可以根据需要取其他值。

本实施例中，通过引入使得由关联实体带来的分数落在某一度量范围之内，另外可以体现相关联实体的影响力是有一个大概的上限。在达到一定值以后，单位增量对于整体的影响成递减趋势，而且对最终相关性进行了归一化，以便使不同的查询之间的结果具有可比性。

当然，上述score_mx(q，d)的计算方式仅为一个示例，可以根据需要使用其他计算方法，综合考虑实体及其关联实体的相关性即可，本申请对此不作限定。比如，也可以不计算z，直接根据关联实体的相关性、关系权重值和实体 d的相关性计算实体d的最终相关性。

本发明实施例还提供一种搜索优化装置，如图2所示，包括：

搜索单元201，用于接收查询请求后，获取与所述查询请求相关的实体集合；

关联实体确定单元202，用于对所述实体集合中的任一实体，获取所述实体集合中与所述实体存在关联关系的关联实体；

优化单元203，用于获取所述实体与所述查询请求的第一相关性，获取所述关联实体与所述查询请求的第二相关性，根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性。

在本发明的另一实施例中，所述装置还包括：输出单元204，用于确定所述实体集合中每个实体的所述最终相关性后，根据各实体的最终相关性对所述实体集合中的实体进行排序后输出。

在本发明的另一实施例中，所述关联实体确定单元202获取所述实体集合中与所述实体存在关联关系的关联实体包括：

在本发明的另一实施例中，所述预设条件为：所述关联实体相对于所述实体的关系权重值大于0。

在本发明的另一实施例中，所述优化单元203根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性包括：

且所述

所述score_mx(q，d)为所述实体d与所述查询请求q的最终相关性，所述 score(q，d)为所述实体d与所述查询请求q的第一相关性，所述α为所述实体 d的权重，且0≤α≤1，所述score(q，dr_i)为所述实体d的关联实体dr_i与所述查询请求q的第二相关性，所述boost_i为所述关联实体dr_i相对于所述实体d的关系权重值，所述i＝1～m。

需要说明的是，上述搜索优化装置中各单元的技术细节可参考上述搜索优化方法中的描述，此处不再赘述。

本发明实施例所述方案可以应用于某公安领域的大数据应用***，用在对实体的查询中，尤其在人实体行为特征查询中取得比传统方法更加精确全面的结果排序，对相关业务人员快速处理业务提供了有利帮助，在一定程度上加快了业务人员侦破案件的速度，极大地提高了用户对搜索功能的体验。

下面通过一个具体实施例进一步说明本发明。现有应用中，由于重名等原因，结果输出众多，而PSF算法只考虑到实体本身的属性，因此排序也具有一定的局限性。排在前面的人实体有可能并没有其后面的人危险度大，影响力坏。

实例一

本实例中，搜索背景为需要搜索败火镇的吸毒人员赵山川，输入搜索关键字"败火镇涉毒赵山川"。

则，首先搜索引擎选中关键词击中的所有实体人，并根据这些实体人本身属性与关键字的相关性进行打分。为了简单明了的阐述问题，假设这个击中实体集合里只有11个人，其姓名、身份证号与第一次得分情况如下所示：

{(李某某,102398XXXXXXXX0740,0.03),

(赵山川,102398XXXXXXXX 0723,0.25),

(赵一爸,102398XXXXXXXX 0523,0.04),

(赵一妈,102398XXXXXXXX 0723,0.04),

(赵山川,212398XXXXXXXX 0723,0.26),

(张某某,102398XXXXXXXX 0522,0.04),

(高某,212398XXXXXXXX 0723,0.04),

(赵山川,262398XXXXXXXX 0723,0.25),

(汪某某,432398XXXXXXXX 0723,0.02),

(刘某,432398XXXXXXXX 0723,0.14),

(方某某,423193XXXXXXXX 0723,0.20)}

如果按照现有算法,此时分数计算结束,各个实体按照分数进行倒序排名展示到前端页面，则显示如下信息：

(赵山川,212398XXXXXXXX 0723)

(赵山川,262398XXXXXXXX 0723)

(赵山川,102398XXXXXXXX 0723)

(方某某,423193XXXXXXXX 0723)

(刘某,432398XXXXXXXX 0723)

(赵一爸,102398XXXXXXXX 0523)

(赵一妈,102398XXXXXXXX 0723)

(张某某,102398XXXXXXXX 0522)

(高某,212398XXXXXXXX 0723)

(李某某,102398XXXXXXXX 0740)

(汪某某,432398XXXXXXXX 0723)

但是如上文所述,这种排序方式只考虑了自身的属性,而社会是一个交互的社会，彼此之间的影响和关联非常重要。因此，应用本发明实施例所述方案，首先列一下这11个人之间的关系为：

夫妻关系(权重0.5),

(李某某,102398XXXXXXXX 0740),(赵山川,102398XXXXXXXX 0723)

(张某某,102398XXXXXXXX 0522),(赵山川,212398XXXXXXXX 0723)

(赵一爸,102398XXXXXXXX 0523),(赵一妈,102398XXXXXXXX 0723),

父/母子关系(权重0.3)

(赵一爸,102398XXXXXXXX 0523),(赵山川,102398XXXXXXXX 0723)

(赵一妈,102398XXXXXXXX 0723),(赵山川,102398XXXXXXXX 0723)

同学关系(权重0.1)

(刘某,432398XXXXXXXX 0723),(赵山川,102398XXXXXXXX 0723)

(方某某,423193XXXXXXXX 0723)，(赵山川,212398XXXXXXXX 0723),

无关系的孤点

(高某,212398XXXXXXXX 0723),

(赵山川,262398XXXXXXXX 0723)

(汪某某,432398XXXXXXXX 0723),

接下来套用上述实施例中的算法，根据权重等针对每个实体重新计算相关性分数

且所述

针对涉毒这个行为特征我们取经验值，将公式中的α设置为0.7，代表本人属性所产生的分数对最终分数的影响占70％，其他相关实体分数对本实体的影响占30％。那么套用公式重新计算后，则各实体最终得分情况(最后一列)如下：

(姓名,ID,score(q,d),score_mx(q,d))

{(李某某,102398XXXXXXXX 0740,0.03,0.03897843105874305046)

(赵山川,102398XXXXXXXX 0723,0.25,0.18294813956009582154

(赵一爸,102398XXXXXXXX 0523,0.04,0.04223929247593665204),

(赵一妈,102398XXXXXXXX 723,0.04,0.04223929247593665204),

(赵山川,212398XXXXXXXX 0723,0.26,0.18799920012797927954),

(张某某,102398XXXXXXXX 522,0.04,0.04747258383239125145),

(高某,212398XXXXXXXX 0723,0.04,0.028),

((赵山川,262398XXXXXXXX 0723,0.25,0.175),

(汪某某,432398XXXXXXXX 0723,0.02,0.014),

(刘某,432398XXXXXXXX 0723,0.14,0.10174980469970625927),

(方某某,423193XXXXXXXX 0723,0.20,0.14389978031485070414)}

接着再根据最终相关性(最后一列的值)进行排序：

(赵山川,102398XXXXXXXX 0723)

(赵山川,212398XXXXXXXX 0723)

(赵山川,262398XXXXXXXX 0723)

(张某某,102398XXXXXXXX 0522)

(赵一爸,102398XXXXXXXX 0523)

(赵一妈,102398XXXXXXXX 0723)

(李某某,102398XXXXXXXX 0740)

(高某,212398XXXXXXXX 0723)

(方某某,423193XXXXXXXX 0723)

(汪某某,432398XXXXXXXX 0723)

(刘某,432398XXXXXXXX 0723)

可以发现排序产生变化，经实践证明，排在前面的实体更具有涉毒的危险性。

为了简化问题，本例所取实体数量较少，而实际的应用环境里数据的数量是极大的，因而这种搜索结果的排序优化是非常具有意义的，可以帮助用户快速定位到他所感兴趣的结果记录。

相比较之下，采用本发明实施例提供的搜索方法，考虑到本实体的社会关系，以及周围环境，则能更准确的反映出实体与搜索之间的相关性，更加精准快速帮助用户定位到其所关心的实体。实际的查询结果中排在前面的实体经证实的确具有更大的危险度和更坏的影响力，是公安部门更关心和感兴趣的，在一定程度上加快了案件侦破的速度。通过合理调整α的值甚至有可能提前帮助公安部门发现隐藏的吸毒人员。

本发明实施例中将实体之间的关联关系数据引入实体本身与查询请求之间相关性的计算中，在大数据应用领域，尤其涉及到实体行为特征侦查的领域，将搜索结果的可视性与用户的意愿与需求更加完美的匹配，最终呈现给用户的搜索结果拥有更精准的顺序，能够更快速准确的帮助用户定位到其所关心的实体，很大程度上提高用户对查询结果的满意度。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims

1.一种搜索优化方法，其特征在于，包括：

接收到查询请求后，获取与所述查询请求相关的实体集合；

2.如权利要求1所述的方法，其特征在于，所述方法还包括：确定所述实体集合中每个实体的最终相关性后，根据各实体的最终相关性对所述实体集合中的实体进行排序后输出。

3.如权利要求1所述的方法，其特征在于，所述获取所述实体集合中与所述实体存在关联关系的关联实体包括：

4.如权利要求3所述的方法，其特征在于，所述预设条件为：所述关联实体相对于所述实体的关系权重值大于0。

5.如权利要求1所述的方法，其特征在于，所述根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性包括：

6.如权利要求1至5任一所述的方法，其特征在于，所述根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性包括：

且所述

所述score_mx(q，d)为所述实体与所述查询请求的最终相关性，所述score(q，d)为所述实体与所述查询请求的第一相关性，所述α为所述实体的权重，且0≤α≤1，所述score(q，dr_i)为所述实体的关联实体dr_i与所述查询请求的第二相关性，所述boost_i为所述关联实体dr_i相对于所述实体的关系权重值，所述i＝1～m。

7.一种搜索优化装置，其特征在于，包括：

8.如权利要求7所述的装置，其特征在于，所述装置还包括：输出单元，用于确定所述实体集合中每个实体的所述最终相关性后，根据各实体的最终相关性对所述实体集合中的实体进行排序后输出。

9.如权利要求7所述的装置，其特征在于，所述关联实体确定单元获取所述实体集合中与所述实体存在关联关系的关联实体包括：

10.如权利要求9所述的装置，其特征在于，所述预设条件为：所述关联实体相对于所述实体的关系权重值大于0。

11.如权利要求7所述的装置，其特征在于，所述优化单元根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性包括：

12.如权利要求7至11任一所述的装置，其特征在于，所述优化单元根据所述第一相关性与所述第二相关性确定所述实体与所述查询请求的最终相关性包括：

且所述

所述score_mx(q，d)为所述实体d与所述查询请求q的最终相关性，所述score(q，d)为所述实体d与所述查询请求q的第一相关性，所述α为所述实体d的权重，且0≤α≤1，所述score(q，dr_i)为所述实体d的关联实体dr_i与所述查询请求q的第二相关性，所述boost_i为所述关联实体dr_i相对于所述实体d的关系权重值，所述i＝1～m。