CN115829110A - 基于马尔可夫逻辑网预测用户行为的方法及装置 - Google Patents
基于马尔可夫逻辑网预测用户行为的方法及装置 Download PDFInfo
- Publication number
- CN115829110A CN115829110A CN202211489287.XA CN202211489287A CN115829110A CN 115829110 A CN115829110 A CN 115829110A CN 202211489287 A CN202211489287 A CN 202211489287A CN 115829110 A CN115829110 A CN 115829110A
- Authority
- CN
- China
- Prior art keywords
- variables
- target
- hidden
- potential energy
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例提供一种基于马尔可夫逻辑网预测用户行为的方法及装置。该方法包括:先获取基于用于限定用户行为之间关系的多条实例化规则而构建的马尔可夫逻辑网,其中包括与用户行为相关的多个变量,多个变量中涉及同一条实例化规则的变量共同形成对应的团;再基于马尔可夫逻辑网,对多个变量中各个隐变量在观测变量的观测值下的概率分布进行多轮次迭代更新,其中任一轮次包括:将各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、各个团中其他隐变量的上一轮概率分布,确定目标隐变量的逻辑值对应的目标势能,用以确定目标隐变量的本轮概率分布;然后,根据多轮次迭代更新后隐变量中的行为变量的概率分布,预测用户行为。
Description
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及一基于马尔可夫逻辑网预测用户行为的方法及装置。
背景技术
随着社会的发展和科技的进步,人们越来越多的使用服务平台中的服务,来满足生活、工作中的各种需求。为提升用户体验,向用户推荐贴合其偏好的产品或服务,服务平台通常希望对用户的行为偏好进行预测,例如,预测用户是否会购买某件商品。
然而,目前预测用户行为的方式难以满足实际应用中的更高要求。因此,需要一种方案,可以实现有效提高用户行为的预测准确度,等等。
发明内容
本说明书实施例描述一种基于马尔可夫逻辑网预测用户行为的方法及装置,可以更好地满足实际应用需求。
根据第一方面,提供一种基于马尔可夫逻辑网预测用户行为的方法。该方法包括:获取基于多条实例化规则而构建的马尔可夫逻辑网;所述多条实例化规则用于限定用户行为之间的关系;所述马尔可夫逻辑网包括与用户行为相关的多个变量,所述多个变量包括若干观测变量和若干隐变量;所述若干观测变量包括,表征已知用户行为的变量,所述若干隐变量包括,表征未知用户行为的行为变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数。基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新包括:将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;基于所述两个目标势能,确定所述目标隐变量的本轮概率分布。根据所述多轮次迭代更新后所述行为变量的概率分布,预测用户行为。
在一个实施例中,所述用户行为涉及与其他物品的交互;所述若干观测变量还包括,对用户属性的描述变量,和/或,对物品属性的描述变量。
在一个实施例中,所述多个变量中还包括描述多个用户之间关系的关系变量,和/或,描述多个物品之间关系的关系变量。
在一个实施例中,所述各个隐变量具有单变量势能函数;在基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量的概率分布进行多轮次迭代更新之前,所述方法还包括:针对所述各个隐变量,基于其单变量势能函数确定与所述两个逻辑值对应的两个单变量势能;对所述两个单变量势能进行归一化处理,形成该隐变量的初始概率分布。
在一个实施例中,所述两个目标势能的确定包括:将所述各个团分别作为目标团,基于其中的其他隐变量的上一轮概率分布,确定该其他隐变量的多组逻辑值对应的多个联合概率;基于所述目标团的团势能函数、所述目标团中各个观测变量的变量值,确定在所述两个逻辑值中的任一逻辑值下与所述多组逻辑值对应的多个团势能;利用所述多个联合概率对所述多个团势能进行加权求和,得到第一加权结果;基于所述若干团对应的若干第一加权结果,确定与所述任一逻辑值对应的目标势能。
在一个实施例中,所述多条实例化规则中的每条实例化规则包括前提部分和猜想部分;其中,所述两个目标势能的确定包括:确定在猜想部分包括所述目标隐变量的若干条实例化规则对应的所述若干团;将所述各个团分别作为目标团,根据其所对应的实例化规则的析取形式,确定所述目标团中的其他隐变量对应的一组目标逻辑值;基于该其他隐变量的上一轮概率分布,确定该组目标逻辑值对应的联合概率;基于所述目标团的团势能函数和所述两个逻辑值中的任一逻辑值,确定与该组目标逻辑值和该任一逻辑值对应的团势能;利用所述联合概率对所述团势能进行加权处理,得到第一加权结果;基于所述若干团对应的若干第一加权结果,确定与所述任一逻辑值对应的目标势能。
在一个具体的实施例中,将所述各个团分别作为目标团,根据其所对应的实例化规则的析取形式,确定所述目标团中的其他隐变量对应的一组目标逻辑值,包括:针对所述目标团中其他隐变量中的每个隐变量,将其所对应命题的逻辑值作为其目标逻辑值,所述命题为:该隐变量在所述析取形式中带有否定符号。
另一方面,在一个具体的实施例中,所述目标团的团势能函数包括:在所述任一逻辑值与命题逻辑值相同的情况下,所述团势能函数的输出为第一数值;所述命题逻辑值对应的命题是:所述目标隐变量在所述析取形式中带有否定符号;在所述任一逻辑值与所述命题逻辑值不同的情况下,所述团势能函数的输出为第二数值,所述第二数值大于所述第一数值。
进一步,在一个例子中,所述第二数值为1,第一数值为0。
在一个具体的实施例中,所述团的团势能函数关联所对应实例化规则的规则模板;其中,基于所述若干团对应的若干第一加权结果,确定与所述目标隐变量的任一逻辑值对应的目标势能,包括:基于所述若干团中各个团所对应规则模板的预设权重,对所述若干第一加权结果进行加权求和,得到第二加权结果,作为所述目标势能。
在一个实施例中,所述多条实例化规则是利用与所述用户行为相关的实体库对若干规则模板中的参数进行实例化处理而得到;其中每个规则模板包括对应的多个谓词表达式,每个谓词表达式中包括对应的参数;所述多条实例化规则涉及的多个实例化谓词表达式被作为所述多个变量;所述每个规则模板包括前提部分和猜想部分。所述任一轮迭代更新中,在将所述各个隐变量分别作为目标隐变量之前,所述方法还包括:将所述每个规则模板分别作为目标规则模板,针对其前提部分包含的若干谓词表达式中的各个谓词表达式,确定其对应的概率张量;所述概率张量的若干维度对应该谓词表达式中的若干参数,所述概率张量中每个元素的索引为利用实体库为所述若干参数赋予的一组实体标识,所述每个元素的元素值为用该一组实体标识实例化该谓词表达式而形成的变量在其逻辑值为第一命题逻辑值时其上一轮边缘分布中的概率值;所述第一命题逻辑值对应的命题是:该谓词表达式在所述目标规则模板的析取形式中带有否定符号;基于所述若干谓词表达式对应的若干概率张量进行乘积处理,得到乘积结果张量。其中,将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能,包括:将所述各个隐变量分别作为目标隐变量,基于所述乘积结果张量和团势能函数,确定在所述目标规则模板下所述目标隐变量的两个逻辑值对应的两个聚合势能;基于在所述若干规则模板下与所述目标隐变量的任一逻辑值对应的若干聚合势能,确定该任一逻辑值对应的目标势能。
在一个具体的实施例中,所述若干谓词表达式中包括第一谓词表达式和第二谓词表达式,所述第一谓词表达式和第二谓词表达式之间存在相同的参数。
在一个具体的实施例中,所述乘积结果张量中包括对应所述目标隐变量的向量元素;其中,基于所述乘积结果张量和团势能函数,确定在所述目标规则模板下所述目标隐变量的两个逻辑值对应的两个聚合势能,包括:将基于所述向量元素和所述目标团势能函数在所述任一逻辑值下的输出而得到的乘积结果,作为对应的聚合势能;所述目标团势能函数所对应的实例化规则在其猜想部分包含所述目标隐变量。
在一个更具体的实施例中,所述目标团势能函数包括:在所述任一逻辑值与第二命题逻辑值相同的情况下,所述目标团势能函数的输出为第一数值;所述第二命题逻辑值对应的命题是:所述目标隐变量在所述析取形式中带有否定符号;在所述任一逻辑值与所述第二命题逻辑值不同的情况下,所述目标团势能函数的输出为第二数值,所述第二数值大于所述第一数值。
在一个实施例中,基于在所述若干规则模板下与所述目标隐变量的任一逻辑值对应的若干聚合势能,确定该任一逻辑值对应的目标势能,包括:利用与所述若干规则模板对应的若干预设权重,对所述若干聚合势能进行加权求和,得到所述目标势能。
在一个实施例中,基于所述两个目标势能,确定所述目标隐变量的本轮概率分布,包括:基于对所述两个目标势能进行归一化处理的结果,形成所述本轮概率分布。
在一个实施例中,所述各个隐变量具有单变量势能函数;其中,基于所述两个目标势能,确定所述目标隐变量的本轮概率分布,包括:基于所述目标隐变量的单变量势能函数,确定所述两个逻辑值中任一逻辑值对应的单变量势能;对所述任一逻辑值对应的目标势能和单变量势能进行求和,得到对应的势能和值;基于对所述两个逻辑值所对应的两个势能和值进行归一化处理的结果,形成所述本轮概率分布。
根据第二方面,提供一种基于马尔可夫逻辑网进行逻辑推断的方法。该方法包括:获取基于多条实例化规则而构建的马尔可夫逻辑网;所述马尔可夫逻辑网包括多个变量,所述多个变量包括若干观测变量和若干隐变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数。基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新包括:将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;基于所述两个目标势能,确定所述目标隐变量的本轮概率分布。根据所述多轮次迭代更新后所述各个隐变量的概率分布进行逻辑推断。
根据第三方面,提供一种基于马尔可夫逻辑网预测用户行为的装置,包括:逻辑网获取模块,配置为获取基于多条实例化规则而构建的马尔可夫逻辑网;所述多条实例化规则用于限定用户行为之间的关系;所述马尔可夫逻辑网包括与用户行为相关的多个变量,所述多个变量包括若干观测变量和若干隐变量;所述若干观测变量包括,表征已知用户行为的变量,所述若干隐变量包括,表征未知用户行为的行为变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数。概率分布更新模块,配置为基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新通过所述概率分布更新模块中的以下单元实现:目标势能确定单元,配置为将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;概率分布确定单元,配置为基于所述两个目标势能,确定所述目标隐变量的本轮概率分布。用户行为预测模块,配置为根据所述多轮次迭代更新后所述行为变量的概率分布,预测用户行为。
根据第四方面,提供一种基于马尔可夫逻辑网进行逻辑推断的装置,包括:逻辑网获取模块,配置为获取基于多条实例化规则而构建的马尔可夫逻辑网;所述马尔可夫逻辑网包括多个变量,所述多个变量包括若干观测变量和若干隐变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数。概率分布更新模块,配置为基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新通过所述概率分布更新模块中的以下单元实现:目标势能确定单元,配置为将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;概率分布确定单元,配置为基于所述两个目标势能,确定所述目标隐变量的本轮概率分布。逻辑推断模块,配置为根据所述多轮次迭代更新后所述各个隐变量的概率分布进行逻辑推断。
根据第五方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当上述计算机程序在计算机中执行时,令计算机执行第一方面或第二方面的方法。
根据第六方面,提供了一种计算设备,包括存储器和处理器,上述存储器中存储有可执行代码,该处理器执行上述可执行代码时,实现第一方面或第二方面的方法。
通过采用本说明书实施例提供的上述方法和装置,可以实现对用户行为的精准预测。进一步,还可以有效降低计算的复杂度和提高计算效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的基于马尔可夫逻辑网预测用户行为的方法流程示意图;
图2示出一个马尔可夫逻辑网的网络结构样例;
图3示出基于图2省略规则枢纽的马尔可夫逻辑网的网络结构样例;
图4示出本说明书实施例披露的图2中步骤S121的子步骤执行流程示意图;
图5示出根据一个实施例的引入爱因斯坦求和的矩阵乘积运算索引示意图;
图6示出根据另一个实施例的基于马尔可夫逻辑网预测用户行为的方法流程示意图;
图7示出根据一个实施例的基于马尔可夫逻辑网预测用户行为的装置结构示意图;
图8示出根据另一个实施例的基于马尔可夫逻辑网预测用户行为的装置结构示意图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
本说明书实施例披露一种基于马尔可夫逻辑网(Markov Logic Networks,简称MLN)预测用户行为的方案,可以实现对用户行为的精准预测,同时有效降低计算量。
图1示出根据一个实施例的基于马尔可夫逻辑网预测用户行为的方法流程示意图,所述方法的执行主体可以为任何具有计算、处理能力的装置、平台或设备集群等,如服务平台。如图1所示,所述方法包括以下步骤:
步骤S110,获取基于多条实例化规则而构建的马尔可夫逻辑网,其中各条实例化规则用于限定用户行为之间的关系。
为便于理解,先描述图2中示出的一个马尔可夫逻辑网的网络结构样例,实际往往更复杂。如图2所示,其中包括6个变量,分别为:F(A,B)、S(A)、S(B)、F(B,A)、C(A)和C(B),其中A和B表示真实世界中的用户A和用户B;F、S和C的含义是朋友(Friend)、搜索(Search)预定对象和点击(Click)预定对象,都属于谓词,用于描述用户等实体(entity)的属性或关系,比如,F(A,B)对应用户关系命题:用户A是用户B的朋友,S(A)对应用户行为命题:用户A搜索预定对象,C(B)对应用户属性命题:用户B点击预定对象,其他变量对应的命题可以类似推知。需理解,预定对象是预先设定的业务对象,例如,可以是某件商品、某个社会任务或某段文本。
观察图2中示出的6个圆圈可知,有的变量的取值已知,也即其取值可以被观测到,属于观测变量,例如,“F(A,B)=1”,即F(A,B)所表示命题的逻辑值为真;而有的变量的取值未知,也即其取值没有被观测到,属于未观测变量,又称隐变量,例如,“S(B)=?”。
图2中还示意4条实例化规则,即f1(A,B)、f1(B,A)、f2(A)和f2(B)。其中,f1(A,B)为:S(A)∧F(A,B)→S(B),此规则对应的逻辑命题是:如果用户A搜索预定对象且用户A是用户B的朋友,那么用户B搜索预定对象;f2(A)为:S(A)→C(A),此规则对应的逻辑命题是:如果用户A搜索预定对象,那么用户A点击预定对象。另外,f1(B,A)和f2(B)所对应的逻辑命题可以类似推知。
如图2所示,4条实例化规则起到了枢纽(pivot)的作用,6个变量通过这4条实例化规则建立起连接关系,例如,规则f1(A,B)中涉及变量F(A,B)、S(A)和S(B),于是,这3个变量通过链接到规则f1(A,B),彼此之间两两建立起了连接。
以上对图2示出的马尔可夫逻辑网样例进行描述,接下来,对马尔可夫逻辑网的构建进行更加通用的介绍。
在一种可能的实施方式中,可以先定义若干规则模板。需要理解,文中的若干指代一个或多个。每个规则模板包括对应的多个谓词表达式,谓词表达式中包括谓词和对应的参数,例如,对于规则模板f1(a1,a2):=S(a1)∧F(a1,a2)→S(a2),其中包括3个谓词表达式,即S(a1)、F(a1,a2)和S(a2),S(a1)中包括谓词S和参数a1,F(a1,a2)中包括谓词F以及参数a1和参数a2,S(a2)中包括谓词S和参数a2;其中∧和→属于逻辑符号。可以理解的是,符号:=表示定义为,f1(a1,a2)可以视作规则S(a1)∧F(a1,a2)→S(a2)的规则标识或简化表示。
进一步,可以利用现实世界中的多个用户等实体,对若干规则模板中的参数进行赋值,从而实现对若干规则的实例化处理,得到多条实例化规则。比如,可以利用实体库(或称常量库)中包括的用户A和用户B对若干规则模板中包括的上述f1(a1,a2)进行实例化处理,从而得到两条实例化规则f1(A,B)、f1(B,A),也即,S(A)∧F(A,B)→S(B)、S(B)∧F(B,A)→S(A)。
又比如,可以利用实体库中包括的用户A、用户B和商品Z,对规则模板f3(a1,a2,b):=P(a1,b)∧F(a1,a2)→P(a2,b)进行实例化处理,其中谓词P表示购买(Purchase),谓词F表示朋友(Friend),从而得到两条实例化规则f3(A,B,Z)、f3(B,A,Z),也即,P(A,Z)∧F(A,B)→P(B,Z)、P(B,Z)∧F(B,A)→P(A,Z)。
需要理解,规则模板被实例化后,其中包含的谓词表达式相应被实例化,实例化后的谓词表达式被作为马尔可夫逻辑网中的变量,例如,可以将实例化规则f1(A,B)中包括的S(A)、F(A,B)、S(B)归为马尔可夫逻辑网中的变量。
另外,还可以利用针对实体观察到的事实(facts),为马尔可夫逻辑网中的变量进行赋值,例如,假定观测到的事实包括:用户A搜索了预定对象,则变量S(A)为可观测变量,且其变量值(或称观测值)为1,例如,可参见图2中示出的“S(A)=1”。对于没有相关事实可以为其赋值的变量,属于隐变量,例如,可参见图2中示出的“F(B,A)=?”。需要理解,变量值为逻辑值,包括真或假,或者说,1和0。
基于以上,需要说明的是,在本说明书披露的实施例中,至少一部分规则模板被定义为用于限定用户行为之间的行为关系,相应,马尔可夫逻辑网中包括与用户行为相关的多个变量。需理解,用户行为可以是用户在互联上做出的行为,也可以是线下行为。
具体地,上述多个变量中的若干观测变量包括表征已知用户行为的变量,如图2中示出的S(A),观测到用户A搜索了预定对象而得到S(A)=1。另外,在上述多个变量中的若干隐变量中,还包括表征未知用户行为的行为变量,如图2中示出的S(B),用户B是否搜索了预定对象是未知的。
另一方面,用户行为可以涉及与其他物品的交互,由此,在一个实施例中,上述多个变量还可以包括对用户属性的描述变量,例如,变量G(A),其对应的命题是:用户A是女性。在另一个实施例中,上述若干观测变量还可以包括对物品属性的描述变量,例如,变量E(M),其对应的命题是:商品M是海鲜。
以上介绍了定义用户行为之间关系的多条实例化规则、多条实例化规则中涉及的与用户行为相关的多个变量,以及对多个变量中观测变量和隐变量的划分。
进一步,可以基于多个变量和多条实例化规则,构建马尔可夫逻辑网的网络结构,也即无向概率图,构建过程包括将多个变量作为无向概率图中多个节点,并以多条实例化规则为枢纽,建立节点之间的连接边,节点之间的连接边表示两个节点之间的依赖关系。为简洁描述,文中或将节点和变量这两个词进行互换使用。具体地,对于被包含在同一条实例化规则之间的变量,两两之间建立连接边。对此,可以参见图2,变量F(A,B)、S(A)和S(B)之间以规则f1(A,B)为枢纽,两两连接在了一起,为便于理解,还可以参见图3,其中示出隐去了规则枢纽而直接在变量之间建立连接边的概率图。需要理解,图3和图2在变量之间的连接关系上是等价的。
在无向概率图中,节点之间的连接边是无向边,无向边连接的两个节点互相依赖但是没有明确的因果关系。在马尔可夫逻辑网络中,采用团势能(clique potential)函数,来衡量团中变量每一种可能的联合状态的密切程度,进而用作计算变量间联合概率的基础。
对于上述团的概念,在本说明书披露的实施例中,考虑与实例化规则对应的团,也就是,考虑由一条实例化规则中的所有变量形成的对应的团。对于团势能函数的确定,在一个实施例中,可以人为设定,例如,基于实例化规则f2(A):S(A)→C(A),其所对应的团中包括变量S(A)和变量C(A),可以由工作人员将该团的团势能函数设定为:
通过观察公式(1)可以看到,对于S(A)=1、C(A)=1,也即用户A搜索了预定对象且点击了预定对象的联合状态,分配了较高的势能,这会使得针对该联合状态计算出的的联合概率更高。
在另一个实施例中,可以利用机器学习技术确定团势能函数中各种联合状态下的势能值。具体地,可以将多条实例化规则和其中观测变量的观测值,作为机器学习的输入数据,从而输出势能函数中的系数值,如公式(1)中的0.3、0.3、0.1和0.8。至于更加细节的实施手段可以参考已有的相关资料,在此不作赘述。
另外,为了更好的计算变量的联合概率,还可以引入单势能函数(independentunary potential),或称单变量势能函数。可以理解,单势能函数只于单个变量的取值相关。类似地,单势能函数中的系数可以人为设定,也可以利用机器学习技术确定,后者的实施可以参考已有的相关资料,此处不作赘述。在一个示例中,针对变量S(A)确定出的单变量势能函数为:
由上,在确定出各个变量的单变量势能函数,以及各个团的团势能函数后,可以根据下式(3)求取基于多个变量而形成的任意变量组合的联合概率分布:
在公式(3)中,vH表示隐变量集合,vO表示观测变量集合,p(vH,vO)表示vH和vO的联合概率;符号∝表示其两侧的表达式成正比关系;φu(vi)表示vH和vO中任意的第i个变量vi的单变量势能函数;f表示由若干规则模板形成的模板集合F中的任意一个规则模板;wf表示规则模板f的权重,可以人为设定;Gf表示多条实例化规则中与规则模板f对应的实例化规则而形成的规则集合;g表示Gf中任意的一条规则;vg表示由实例化规则g中的变量形成的集合;φf(vg)表示实例化规则g所对应团的团势能函数。需说明,为简洁描述,文中或将实例化规则g所对应的团也用符号g表示。
以上,介绍构建马尔可夫逻辑网的一种可能实施方式,以及涉及的多个概念,例如,用于限定用户行为之间关系的规则模板和实例化规则,与用户行为相关的多个变量、多个变量中的若干观测变量和多干隐变量,与每条实例化规则对应的团和团势能函数,等等。需要理解,还可以采用其他方式构建马尔可夫逻辑网,例如,前述对规则模板的定义和实例化处理可以不是分开先后进行,而是同时进行。
在获取以上构建好的马尔可夫逻辑网后,执行步骤S120,基于马尔可夫逻辑网,对若干隐变量中各个隐变量在若干观测变量的观测值下的概率分布进行多轮次迭代更新。
首先需要说明,因为马尔可夫逻辑网中基于实例化的逻辑规则在变量之间建立了数量巨大的高阶连接边,被连接起来的变量之间是互相依赖的。对于这样一个复杂的图结构,精确推断的复杂度将随着变量数目的增加呈指数增长。
为了解决这个问题,本说明书实施例中提出使用平均场(Mean Field,简称MF)算法,或称变分推断算法,求解马尔可夫逻辑网络。具体地,针对马尔可夫逻辑网络中需要推断的若干隐变量vH,其中包括表征未知的用户行为的行为变量,通过计算vH的联合分布Q(vH)来近似vH在若干观测变量vO的观测值下的条件分布p(vH|vO)。
联合分布Q(vH)是vH中各个隐变量vi的独立边缘分布Qi(vi)的乘积,对此可记作:
Q(vH)=Πi∈HQi(vi) (4)
其中,每个边缘分布中的边缘概率大于0,且和值为1,对此可记作:
实际上,vi的逻辑值非1即0,因此,上式(5)还可以记作:
Qi(0)+Qi(1)=1,Qi(0)、Qi(1)≥0 (6)
基于以上,对马尔可夫网络的求解问题转化为最小化联合分布Q(vH)和条件分布p(vH|vO)之间差异,此差异可以用KL(Kullback-Leibler)散度来度量,计算公式为:
公式(7)是通过将公式(3)和公式(4)代入KL散度的定义函数式而得到,因而对公式(7)中各个数学符号的含义不另作介绍。
为了最小化公式(7),在本说明书披露的实施例中,对若干隐变量中各个隐变量vi的边缘分布Qi(vi)进行多轮次迭代更新,直到收敛。可以理解,边缘分布Qi(vi)用于近似vi在若干观测变量vO的观测值下的概率分布p(vi|vO),因而对Qi(vi)进行迭代更新,实质就是对p(vi|vO)进行迭代更新。
接下来,对上述多轮次迭代更新进行介绍,其中任意一个轮次的迭代更新包括两个子步骤,即,步骤S121和步骤S122。
在步骤S121,将各个隐变量vi分别作为目标隐变量,基于其所在若干团中各个团g的团势能函数φf(vg)、该各个团g中其他隐变量vg-i的上一轮概率分布{Qj(vj),j∈g-i},确定与目标隐变量vi的两个逻辑值对应的两个目标势能{Φ(vi)|vi=0,1}。
对于本步骤的执行,在一个实施例中,包括执行图4中示出的子步骤:S41至S44。
在步骤S41,将各个团g分别作为目标团,基于其中的其他隐变量vg-i的上一轮概率分布{Qj(vj),j∈g-i},确定该其他隐变量的多组逻辑值对应的多个联合概率{∏j∈g-iQj(vj)}。
对于上一轮概率分布Qj(vj),若当前轮次的迭代更新是首轮,则上一轮概率分布Qj(vj)是针对隐变量vj确定的初始概率分布。在一个实施例中,针对隐变量vj,可以先基于其单变量势能函数φu(vj),确定与两个逻辑值对应的两个单变量势能;再对该两个单变量势能进行归一化处理,形成隐变量vj的初始概率分布。在另一个实施例中,可以随机生成初始概率分布。
若当前轮次的迭代更新不是首轮,则上一轮概率分布Qj(vj)是隐变量vj经过上一轮迭代更新后的边缘分布。
基于目标团中其他隐变量vg-i的上一轮概率分布{Qj(vj),j∈g-i},可以得到vg-i对应的多组逻辑值中各组逻辑值对应的联合概率∏j∈g-iQj(vj)。需理解,多个联合概率的计算主要针对目标团中其他隐变量,观测变量的边缘分布是已知的,可以不考虑团中的观测变量。对于任一观测变量,其边缘分布包括:观测变量取观测值时的概率为1,取观测值的相反值时的概率为0。示例性地,假定vg-i中包括3个隐变量,则其对应的逻辑值组数为23,这8个联合状态对应8个联合概率。
由上,通过执行步骤S41,可以得到目标团中其他隐变量的多组逻辑值所对应的多个联合概率。另一方面,在步骤S42,基于目标团的团势能函数φf(vg)、目标团中各个观测变量的变量值,以及两个逻辑值中的任一逻辑值x,确定与多组逻辑值对应的多个团势能{φf(vi=x,vg-i)}。需理解的是,在φf(vi=x,vg-i)中没有示出目标团中的观测变量;另外,文中或将vi=x简记作vi。
基于步骤S41和步骤S42的执行结果,在步骤S43,利用多个联合概率{∏j∈g-iQj(vj)}对多个团势能{φf(vi,vg-i)}进行加权求和,得到第一加权结果,对此可记作:
在一个例子中,可以将对若干第一加权结果进行求和的结果,作为任一逻辑值x对应的目标势能,对此可记作:
在式(9)中,G(i)表示由目标隐变量vi所在的若干团组成的集合。
在另一个例子中,还考虑规则模板的权重。具体地,基于若干团中各个团所对应规则模板的预设权重,对上述若干第一加权结果进行加权求和,得到第二加权结果,作为对应的目标势能,对此可记作:
在上式(10)中,F表示规则模板集;f表示规则模板集合F中的任意一个规则模板;wf表示规则模板f的预设权重;Gf(i)表示由基于规则模板f得到的实例化规则中包括目标隐变量vi的部分规则所组成的集合;g表示Gf(i)中的任一条实例化规则。
由上,可以得到任一逻辑值x对应的目标势能Φ(vi=x),于是,可以得到两个目标势能Φ(vi=0)和Φ(vi=1),或记作{Φ(vi)|vi=0,1}。
以上介绍基于图4中的子步骤,完成对步骤S121执行的过程。
接下来,先对执行图4中步骤的计算复杂度进行分析,再介绍进一步的优化方式。
在分析过程中,用N表示实体库中的实体总个数,用M表示任一规则模板中最大的参数数量,用L表示任一规则模板中最大的谓词表达式数量。比如,就规则模板S(a1)∧F(a1,a2)→S(a2)而言,M=2,L=3。
上述第1个阶段中的实例化消息表示由团g中的其他变量g-i对目标隐变量vi产生的影响。在实例化消息的计算式中,∏j∈g-iQj(vj)的计算复杂度是,考虑vg-i的所有可能取值的复杂度是;于是,第1个阶段总的计算复杂度为
对于上述第2个阶段,假定对实例化消息的聚合,或者说对目标势能Φ(vi)的计算采用上述公式(10),观察等号右侧的计算式其中Gf中的实例化规则数量|Gf|对应复杂度,进一步,因为一条实例化规则会为其中涉及的所有隐变量传递实例化消息,所以一共有条实例化消息。
具体地,对于任意的一条实例化规则,可以将其划分为前提(premise)部分和猜想(hypothesis)部分,简单地,实例化规则中逻辑符号→的左侧为前提部分,右侧为猜想部分。进一步,对于实例化消息,可以视作从前提部分中的变量g-i传递到目标变量i的影响,通过分析可知,只有当前提正确时,才认为产生的影响有价值,因此可以忽略不正确的前提。
为清楚描述,此处先介绍实例化规则的析取形式(disjunctive form)。需说明,对于任意的一个规则模板或者说一条实例化规则,可以根据德·摩根律(De Morgan law),将其转换为对应的析取形式。例如,规则模板S(a1)→C(a1)的析取形式为:可以理解,实例化规则与其析取形式具有相同的真值表,示例性地,可以参见表1。
表1
通用化地,可以将析取形式记作f(·;nf),nf中的任一元素表示析取形式中第i个谓词表达式前是否带有否定符号,或者说,表示命题“第i个谓词表达式带有否定符号”的逻辑值。示例性地,对于析取形式其对应的nf为(1,0)。
错误的前提不参与消息传递(No msessage for false premise)。具体,将任意一条实例化规则g的析取形式记作f(·;nf),在其涉及的任一错误前提中,由此,可以将上述公式(8)中的计算优化为:
基于引理1,可以得到引理2:
基于引理2,可以将上述第1阶段对实例化消息的计算优化为:先确定猜想部分包括目标隐变量vi的若干条实例化规则,并将该若干条实例化规则所对应若干团中的各个团分别作为目标团,根据其所对应的析取形式,确定目标团中其他隐变量对应的一组目标逻辑值,记作。进一步,基于该其他隐变量的上一轮概率分布,确定该组目标逻辑值对应的联合概率从而基于所述目标团的团势能函数φf(vi,vg-i)和目标隐变量vi的两个逻辑值中的任一逻辑值,确定与该任一逻辑值和该组目标逻辑值对应的团势能;再利用联合概率对团势能进行加权处理,得到第一加权结果,对此可记作上述公式(12)。
其中,y1>y2≥0。
另外需说明的是,以上描述中主要以规则模板对应原子规则,如S(a1)→C(a1),为例进行介绍,而在实际应用中,存在规则模板对应复合规则,或者说合取范式(Conjunctivenormal form)的情况,复合规则可以被拆分成两个及以上的原子规则,例如,复合规则 可以被拆分为两条原子规则:S(a1)∧F(a1,a2)→S(a2)和S(a2)∧F(a1,a2)→S(a1)。在本说明书披露的实施例中,可以将复杂规则模板都拆分为原子规则模板以后,再进行后续的实例化处理等,或者,在对规则模板进行实例化处理后,再将复合实例化规则拆分成原子实例化规则,进而进行后续处理。如此,可以使得猜想部分只包括一个变量,适配于引理4.1和4.2。
接下来,描述对上述第2阶段的优化方式。通过优化第2阶段,实现对实例化消息的并行聚合,例如,可以利用图形处理器(Graphics Processing Unit,简称GPU)实施并行计算,从而有效加快计算速度,提升计算效率。
在一种可能的优化方式中,可以先计算出马尔可夫逻辑网络涉及的所有实例化消息,然后,基于所有实例化消息构建关系图谱,关系图谱中的变量为马尔可夫网络中的多个变量,关系图谱中的连接边为超边(hyper edges),一条超边对应一条实例化规则,且包括该条实例化规则中的全部变量。基于此,可以采用图神经网络(Graph Neural Network,简称GNN)对构建出的关系图谱进行嵌入处理,从而得到各个隐变量的两个逻辑值对应的两个目标势能。
在另一种可能的优化方式中,考虑引入爱因斯坦求和(Einstein summation)算子降低第2阶段的计算复杂度。需要理解,爱因斯坦求和是一种针对求和公式的简洁高效的记法,其原则是当变量下标重复出现时,即可省略繁琐的求和符号。
下面先介绍引入爱因斯坦求和的发明思路,再介绍使用爱因斯坦求和对实例化消息进行聚合得到聚合势能,从而计算目标势能的通用化方式。
对于任意一个规则模板f的析取形式f(·;nf),换个角度,将其记作[f,k],k表示第k个谓词表达式,对应规则模板f的猜想部分。以[f,3]为例,假定f为:也即,S(a1)∧F(a1,a2)→S(a2)。基于此,使用表示以S(a2)为猜想部分的实例化规则集合,其中C表示实体库。
基于上述引理4.2和公式(13),可以将通过规则模板f聚合到S(a2)的实例化消息表示为:也即,需理解,中的1是指为简洁描述,提出使用表示边缘分布集合其中ri是规则模板f中的第i个谓词表达式,表示ri中的参数形成的集合。进一步,可以将聚合过程中的求和运算转化为矩阵的乘积运算,从而实现对的并行计算。具体地,可以使用表示,从而得到对于此公式涉及的矩阵运算,可以参见图5。
在许多复杂情况中,例如,在规则模板前提部分包括的不同谓词表达式之间存在相同参数的情况下,采用矩阵乘积进行并行计算的方式可以大幅降低计算复杂度。例如,对于包括4个参数的规则模板f(a1,a2,a3,a4):=I(a1,a2)∧F(a2,a3)∧G(a3,a4)→S(a1,a4),谓词表达式I(a1,a2)和F(a2,a3)之间存在相同参数a2,F(a2,a3)和G(a3,a4)之间存在相同参数a3,实例化消息G[f,4](S(a1,a4))的数量为而通过进行矩阵乘积运算,可以将复杂度降低至。具体,等价于由此,的计算可以被拆解为两次复杂度为的矩阵乘积运算,总的计算复杂度从降低至
由上,通用化地,针对可以被归入[f,i]的所有实例化消息,对于实例化消息中第i个谓词表达式的消息聚合,可以利用下示引入了爱因斯坦求和运算的公式实现:
基于公式(15),可以计算目标势能的公式(10)变换为:
如此,可以大幅度降低目标势能的计算复杂度。需说明的是,公式(15)的计算基于将团势能函数设定为:实际上,团势能函数还可以为其他形式,例如,可以更为复杂。接下来,对引入爱因斯坦求和算子以完成步骤S121的执行过程进行更加通用的说明。
具体地,将若干规则模板中的每个规则模板分别作为目标规则模板,先针对其前提部分包含的若干谓词表达式中的各个谓词表达式,确定其对应的概率张量。
上述概率张量的若干维度对应该谓词表达式中的若干参数,也就是说,谓词表达式中包括几个参数,那么,其对应的概率张量就具有几个维度。例如,图5中的谓词表达式S(a1)包括1个参数a1,其对应的概率张量是一维向量,又例如,图5中的谓词表达式F(a1,a2)包括两个参数a1和a2,其对应的概率张量是二维矩阵。
上述概率张量中每个元素的索引为利用实体库为对应谓词表达式中的若干参数赋予的一组实体标识,每个元素的元素值为用该一组实体标识实例化该谓词表达式而形成的变量的概率值,此概率值是该变量在其上一轮边缘分布中取第一命题逻辑值时的概率值,该第一命题逻辑值对应的命题是:该谓词表达式在目标规则模板的析取形式中带有否定符号。例如,参见图5,其示出规则模板中各个谓词表达式所对应概率张量中的元素索引,假定实体库中只包括实体A和实体B,相应,谓词表达式S(a1)对应的概率张量 谓词表达式F(a1,a2)对应概率张量:
如此,可以得到目标规则模板的前提部分中若干谓词表达式对应的若干概率张量。例如,可以得到图5中规则模板S(a1)∧F(a1,a2)→S(a2)的前提部分中谓词表达式S(a1)和谓词表达式S(a2)所对应的概率张量:和
由上,可以得到目标规则模板对应的乘积结果张量,也就可以得到若干规则模板对应的若干乘积结果张量。可以理解,各个乘积结果张量均基于正确前提而得到。
基于以上,将马尔可夫逻辑网中的各个隐变量分别作为目标隐变量,基于其对应各个规则模板的团势能函数,确定与目标隐变量的两个逻辑值对应的两个目标势能。需理解,团势能函数的设定粒度可以是规则模板,此时,基于同一规则模板进行实例化而得到的实例化规则所对应的团具有形式一致的团势能函数。示例性地,团势能函数可以被设定为前述公式(13)或公式(14)。
针对目标隐变量的任一逻辑值,计算任一规则模板所对应的团势能函数在该逻辑值和正确前提下的团势能,基于此团势能和该任一规则模板所对应的乘积结果张量中对应该目标隐变量的向量元素进行乘积处理,可以得到该任一规则模板下传递到取值为该任一逻辑值的目标隐变量的聚合势能。
进一步,基于若干规则模板下传递到取值为该任一逻辑值的目标隐变量的若干聚合势能,可以得到该任一逻辑值对应的目标势能。在一个实施例中,可以直接对该若干聚合势能进行求和,得到对应的目标势能。在另一个实施例中,获取与若干规则模板对应的若干预设权重,利用此若干预设权重对若干聚合势能进行加权求和,得到对应的目标势能。
如此,可以实现利用爱因斯坦求和执行步骤S121,通过并行计算得到目标隐变量的两个逻辑值对应的两个目标势能,大幅提高计算效率并降低计算复杂度。
回到图1,在执行步骤S120中的子步骤S121之后,执行步骤S122,基于上述两个目标势能,确定目标隐变量的本轮概率分布。
在一个实施例中,对两个目标势能{Φ(vi)|vi=0,1}进行归一化处理,形成目标隐变量的本轮概率分布。在一个具体的实施例中,归一化处理可以利用softmax函数实现。在另一个具体的实施例中,归一化处理可以利用求占比的方式实现。
示例性地,假定目标隐变量为图2中示出的S(B),其两个目标势能分别为Φ(S(B)=0)=2和Φ(S(B)=1)=3,此时,利用softmax函数进行归一化处理,可以得到如下的概率分布:
在另一个实施例中,在确定本轮概率分布时还考虑目标隐变量vi的单变量势能函数φu(vi)。具体地,先基于目标隐变量的单变量势能函数,确定所述两个逻辑值中任一逻辑值对应的单变量势能,再对该任一逻辑值对应的目标势能和单变量势能进行求和,得到对应的势能和值;基于对两个逻辑值所对应的两个势能和值进行归一化处理的结果,形成所述本轮概率分布。
在一个示例中,假定目标势能的计算基于公式(10),此时,可以将本轮概率分布的计算式记作:
上式(19)中,Zi表示归一化因子,为公式(19)中exp()项在其中的vi分别取0和1时的两个运算结果的和值。
在另一个示例中,假定目标势能是基于公式(16)求得,此时,可以将本轮概率分布的计算式记作:
上式(20)中,Zr表示归一化因子,为公式(20)中exp()项在其中的vr分别取0和1时的两个运算结果的和值。
如此,可以得到目标隐变量的本轮概率分布。
以上,通过执行子步骤S121和S122,可以实现针对各个隐变量的概率分布的任一轮次迭代更新。于是,在步骤S120中,通过多次执行步骤S121和S122,可以实现对各个隐变量概率分布的多轮次迭代更新,直到达到收敛标准。例如,直到迭代轮次达到预定次数,或者,直到相邻两次或其他次数的迭代结果之间的差距小于预设阈值。
之后,在步骤S130,可以根据经过多轮次迭代更新后的若干隐变量中行为变量的概率分布,预测用户行为。需要理解,任一行为变量的概率分布中包括用户做出对应行为的第一概率和不做出对应行为的第二概率。基于此,在一个实施例中,可以判断第一概率是否大于阈值,若大于,则将用户做出对应行为作为预测结果,否则,将用户没有做出对应行为作为预测结果。
示例性地,可以查询图2中示出的行为变量S(B)的概率分布,若概率分布中对应用户B搜索预定对象的概率大于0.6,则可以将用户B搜索了预定对象作为预测结果,进一步,还可以向用户B推荐与预定对象相关的广告或内容资讯等。又例如,可以查询某个用户购买某件商品的概率分布,从而预测用户是否会购买商品,从而辅助决策是否向用户推送该件商品的广告信息。
根据另一方面的实施例,还可以根据若干隐变量中除了行为变量以外的其他变量,进行相关预测,例如,根据图2中F(B,A)的概率分布,推测用户B是用户A的朋友的概率,从而决策是否向用户A推荐与用户B相关的社交账号。
由上,可以实现基于马尔可夫逻辑网络预测用户行为。
根据另一方面的实施例,发明人发现,上述方法除了可以应用于用户行为的预测,还可以应用于其他预测任务,如企业之间是否有望建立合作,等等。由此,图6示出根据另一个实施例的基于马尔可夫逻辑网预测用户行为的方法流程示意图,所述方法的执行主体可以为任何具有计算、处理能力的平台、装置、服务器或设备集群等。如图6所示,所述方法包括以下步骤:
步骤S610,获取基于多条实例化规则而构建的马尔可夫逻辑网;该马尔可夫逻辑网包括多个变量,该多个变量包括若干观测变量和若干隐变量;该多个变量中涉及同一条实例化规则的变量共同形成对应的团,该团具有对应的团势能函数。步骤S620,基于该马尔可夫逻辑网,对该若干隐变量中各个隐变量在该若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新包括:步骤S621,将该各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、该各个团中其他隐变量的上一轮概率分布,确定与该目标隐变量的两个逻辑值对应的两个目标势能;步骤S622,基于该两个目标势能,确定该目标隐变量的本轮概率分布。步骤S630,根据该多轮次迭代更新后该各个隐变量的概率分布进行逻辑推断。
针对以上步骤,示例性的,用于生成上述多条实例化规则的实体库中包括企业标识、行业标识、业务标识、或地域标识等。示例性的,上述多个变量中包括描述企业之间关系的变量、描述企业属性的变量,等等。示例性的,上述逻辑推断包括,根据若干隐变量中描述企业之间关系的隐变量,预测其涉及的多个企业之间是否会建立合作关系。
需要说明,对图6示出步骤的描述,可以参见对图1示出步骤的描述。
与上述预测方法和逻辑推断方法相对应的,本说明书还披露预测装置和逻辑推断装置。图7示出根据一个实施例的基于马尔可夫逻辑网预测用户行为的装置结构示意图。如图7所示,所述装置700包括:
逻辑网获取模块710,配置为获取基于多条实例化规则而构建的马尔可夫逻辑网;所述多条实例化规则用于限定用户行为之间的关系;所述马尔可夫逻辑网包括与用户行为相关的多个变量,所述多个变量包括若干观测变量和若干隐变量;所述若干观测变量包括,表征已知用户行为的变量,所述若干隐变量包括,表征未知用户行为的行为变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数。
概率分布更新模块720,配置为基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新通过所述概率分布更新模块中的以下单元实现:目标势能确定单元721,配置为将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;概率分布确定单元722,配置为基于所述两个目标势能,确定所述目标隐变量的本轮概率分布。
用户行为预测模块730,配置为根据所述多轮次迭代更新后所述行为变量的概率分布,预测用户行为。
在一个实施例中,所述用户行为涉及与其他物品的交互;所述若干观测变量还包括,对用户属性的描述变量,和/或,对物品属性的描述变量。
在一个实施例中,所述多个变量中还包括描述多个用户之间关系的关系变量,和/或,描述多个物品之间关系的关系变量。
在一个实施例中,所述各个隐变量具有单变量势能函数;所述概率分布更新模块720还包括:初始化单元723,配置为针对所述各个隐变量,基于其单变量势能函数确定与所述两个逻辑值对应的两个单变量势能;对所述两个单变量势能进行归一化处理,形成该隐变量的初始概率分布。
在一个实施例中,目标势能确定单元721具体配置为:将所述各个团分别作为目标团,基于其中的其他隐变量的上一轮概率分布,确定该其他隐变量的多组逻辑值对应的多个联合概率;基于所述目标团的团势能函数、所述目标团中各个观测变量的变量值,确定在所述两个逻辑值中的任一逻辑值下与所述多组逻辑值对应的多个团势能;利用所述多个联合概率对所述多个团势能进行加权求和,得到第一加权结果;基于所述若干团对应的若干第一加权结果,确定与所述任一逻辑值对应的目标势能。
在一个实施例中,所述多条实例化规则中的每条实例化规则包括前提部分和猜想部分;目标势能确定单元721具体配置为:确定在猜想部分包括所述目标隐变量的若干条实例化规则对应的所述若干团;将所述各个团分别作为目标团,根据其所对应的实例化规则的析取形式,确定所述目标团中的其他隐变量对应的一组目标逻辑值;基于该其他隐变量的上一轮概率分布,确定该组目标逻辑值对应的联合概率;基于所述目标团的团势能函数和所述两个逻辑值中的任一逻辑值,确定与该组目标逻辑值和该任一逻辑值对应的团势能;利用所述联合概率对所述团势能进行加权处理,得到第一加权结果;基于所述若干团对应的若干第一加权结果,确定与所述任一逻辑值对应的目标势能。
在一个具体的实施例中,目标势能确定单元721配置为将所述各个团分别作为目标团,根据其所对应的实例化规则的析取形式,确定所述目标团中的其他隐变量对应的一组目标逻辑值,具体包括:针对所述目标团中其他隐变量中的每个隐变量,将其所对应命题的逻辑值作为其目标逻辑值,所述命题为:该隐变量在所述析取形式中带有否定符号。
在一个具体的实施例中,所述目标团的团势能函数包括:在所述任一逻辑值与命题逻辑值相同的情况下,所述团势能函数的输出为第一数值;所述命题逻辑值对应的命题是:所述目标隐变量在所述析取形式中带有否定符号;在所述任一逻辑值与所述命题逻辑值不同的情况下,所述团势能函数的输出为第二数值,所述第二数值大于所述第一数值。
在一个更具体的实施例中,所述第二数值为1,第一数值为0。
在一个更具体的实施例中,所述团的团势能函数关联所对应实例化规则的规则模板;其中,目标势能确定单元721具体配置为基于所述若干团对应的若干第一加权结果,确定与所述目标隐变量的任一逻辑值对应的目标势能,具体包括:基于所述若干团中各个团所对应规则模板的预设权重,对所述若干第一加权结果进行加权求和,得到第二加权结果,作为所述目标势能。
在一个实施例中,所述多条实例化规则是利用与所述用户行为相关的实体库对若干规则模板中的参数进行实例化处理而得到;其中每个规则模板包括对应的多个谓词表达式,每个谓词表达式中包括对应的参数;所述多条实例化规则涉及的多个实例化谓词表达式被作为所述多个变量;所述每个规则模板包括前提部分和猜想部分;
所述概率分布更新模块720还包括:矩阵乘积运算单元724,配置为将所述每个规则模板分别作为目标规则模板,针对其前提部分包含的若干谓词表达式中的各个谓词表达式,确定其对应的概率张量;所述概率张量的若干维度对应该谓词表达式中的若干参数,所述概率张量中每个元素的索引为利用实体库为所述若干参数赋予的一组实体标识,所述每个元素的元素值为用该一组实体标识实例化该谓词表达式而形成的变量在其逻辑值为第一命题逻辑值时其上一轮边缘分布中的概率值;所述第一命题逻辑值对应的命题是:该谓词表达式在所述目标规则模板的析取形式中带有否定符号;基于所述若干谓词表达式对应的若干概率张量进行乘积处理,得到乘积结果张量;目标势能确定单元721具体配置为:将所述各个隐变量分别作为目标隐变量,基于所述乘积结果张量和团势能函数,确定在所述目标规则模板下所述目标隐变量的两个逻辑值对应的两个聚合势能;基于在所述若干规则模板下与所述目标隐变量的任一逻辑值对应的若干聚合势能,确定该任一逻辑值对应的目标势能。
在一个具体的实施例中,所述若干谓词表达式中包括第一谓词表达式和第二谓词表达式,所述第一谓词表达式和第二谓词表达式之间存在相同的参数。
在一个具体的实施例中,所述乘积结果张量中包括对应所述目标隐变量的向量元素;目标势能确定单元721进一步配置为:将基于所述向量元素和所述目标团势能函数在所述任一逻辑值下的输出而得到的乘积结果,作为对应的聚合势能;所述目标团势能函数所对应的实例化规则在其猜想部分包含所述目标隐变量。
在一个更具体的实施例中,所述目标团势能函数包括:在所述任一逻辑值与第二命题逻辑值相同的情况下,所述目标团势能函数的输出为第一数值;所述第二命题逻辑值对应的命题是:所述目标隐变量在所述析取形式中带有否定符号;在所述任一逻辑值与所述第二命题逻辑值不同的情况下,所述目标团势能函数的输出为第二数值,所述第二数值大于所述第一数值。
在另一个具体的实施例中,目标势能确定单元721进一步配置为:利用与所述若干规则模板对应的若干预设权重,对所述若干聚合势能进行加权求和,得到所述目标势能。
在一个实施例中,概率分布确定单元722具体配置为:基于对所述两个目标势能进行归一化处理的结果,形成所述本轮概率分布。
在一个实施例中,所述各个隐变量具有单变量势能函数;概率分布确定单元722具体配置为:基于所述目标隐变量的单变量势能函数,确定所述两个逻辑值中任一逻辑值对应的单变量势能;对所述任一逻辑值对应的目标势能和单变量势能进行求和,得到对应的势能和值;基于对所述两个逻辑值所对应的两个势能和值进行归一化处理的结果,形成所述本轮概率分布。
图8示出根据另一个实施例的基于马尔可夫逻辑网预测用户行为的装置结构示意图。如图8所示,所述装置800包括:
逻辑网获取模块810,配置为获取基于多条实例化规则而构建的马尔可夫逻辑网;所述马尔可夫逻辑网包括多个变量,所述多个变量包括若干观测变量和若干隐变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数。
概率分布更新模块820,配置为基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新通过所述概率分布更新模块中的以下单元实现:目标势能确定单元821,配置为将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;概率分布确定单元822,配置为基于所述两个目标势能,确定所述目标隐变量的本轮概率分布。
逻辑推断模块830,配置为根据所述多轮次迭代更新后所述各个隐变量的概率分布进行逻辑推断。
需说明,对图8示出的装置800的介绍,可以参见对图7中示出的装置700的介绍。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行结合图1、或图4或图6所描述的方法。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现结合图1、图4或图6所描述的方法。本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (22)
1.一种基于马尔可夫逻辑网预测用户行为的方法,包括:
获取基于多条实例化规则而构建的马尔可夫逻辑网;所述多条实例化规则用于限定用户行为之间的关系;所述马尔可夫逻辑网包括与用户行为相关的多个变量,所述多个变量包括若干观测变量和若干隐变量;所述若干观测变量包括,表征已知用户行为的变量,所述若干隐变量包括,表征未知用户行为的行为变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数;
基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新包括:将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;基于所述两个目标势能,确定所述目标隐变量的本轮概率分布;
根据所述多轮次迭代更新后所述行为变量的概率分布,预测用户行为。
2.根据权利要求1所述的方法,其中,所述用户行为涉及与其他物品的交互;所述若干观测变量还包括,对用户属性的描述变量,和/或,对物品属性的描述变量。
3.根据权利要求1或2所述的方法,所述多个变量中还包括描述多个用户之间关系的关系变量,和/或,描述多个物品之间关系的关系变量。
4.根据权利要求1所述的方法,其中,所述各个隐变量具有单变量势能函数;在基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量的概率分布进行多轮次迭代更新之前,所述方法还包括:
针对所述各个隐变量,基于其单变量势能函数确定与所述两个逻辑值对应的两个单变量势能;对所述两个单变量势能进行归一化处理,形成该隐变量的初始概率分布。
5.根据权利要求1所述的方法,其中,所述两个目标势能的确定包括:
将所述各个团分别作为目标团,基于其中的其他隐变量的上一轮概率分布,确定该其他隐变量的多组逻辑值对应的多个联合概率;基于所述目标团的团势能函数、所述目标团中各个观测变量的变量值,确定在所述两个逻辑值中的任一逻辑值下与所述多组逻辑值对应的多个团势能;
利用所述多个联合概率对所述多个团势能进行加权求和,得到第一加权结果;
基于所述若干团对应的若干第一加权结果,确定与所述任一逻辑值对应的目标势能。
6.根据权利要求1所述的方法,其中,所述多条实例化规则中的每条实例化规则包括前提部分和猜想部分;其中,所述两个目标势能的确定包括:
确定在猜想部分包括所述目标隐变量的若干条实例化规则对应的所述若干团;
将所述各个团分别作为目标团,根据其所对应的实例化规则的析取形式,确定所述目标团中的其他隐变量对应的一组目标逻辑值;基于该其他隐变量的上一轮概率分布,确定该组目标逻辑值对应的联合概率;基于所述目标团的团势能函数和所述两个逻辑值中的任一逻辑值,确定与该组目标逻辑值和该任一逻辑值对应的团势能;
利用所述联合概率对所述团势能进行加权处理,得到第一加权结果;
基于所述若干团对应的若干第一加权结果,确定与所述任一逻辑值对应的目标势能。
7.根据权利要求6所述的方法,其中,将所述各个团分别作为目标团,根据其所对应的实例化规则的析取形式,确定所述目标团中的其他隐变量对应的一组目标逻辑值,包括:
针对所述目标团中其他隐变量中的每个隐变量,将其所对应命题的逻辑值作为其目标逻辑值,所述命题为:该隐变量在所述析取形式中带有否定符号。
8.根据权利要求6所述的方法,其中,所述目标团的团势能函数包括:
在所述任一逻辑值与命题逻辑值相同的情况下,所述团势能函数的输出为第一数值;所述命题逻辑值对应的命题是:所述目标隐变量在所述析取形式中带有否定符号;
在所述任一逻辑值与所述命题逻辑值不同的情况下,所述团势能函数的输出为第二数值,所述第二数值大于所述第一数值。
9.根据权利要求8所述的方法,其中,所述第二数值为1,第一数值为0。
10.根据权利要求5-9中任一项所述的方法,所述团的团势能函数关联所对应实例化规则的规则模板;其中,基于所述若干团对应的若干第一加权结果,确定与所述目标隐变量的任一逻辑值对应的目标势能,包括:
基于所述若干团中各个团所对应规则模板的预设权重,对所述若干第一加权结果进行加权求和,得到第二加权结果,作为所述目标势能。
11.根据权利要求1所述的方法,其中,所述多条实例化规则是利用与所述用户行为相关的实体库对若干规则模板中的参数进行实例化处理而得到;其中每个规则模板包括对应的多个谓词表达式,每个谓词表达式中包括对应的参数;所述多条实例化规则涉及的多个实例化谓词表达式被作为所述多个变量;所述每个规则模板包括前提部分和猜想部分;
所述任一轮迭代更新中,在将所述各个隐变量分别作为目标隐变量之前,所述方法还包括:
将所述每个规则模板分别作为目标规则模板,针对其前提部分包含的若干谓词表达式中的各个谓词表达式,确定其对应的概率张量;所述概率张量的若干维度对应该谓词表达式中的若干参数,所述概率张量中每个元素的索引为利用实体库为所述若干参数赋予的一组实体标识,所述每个元素的元素值为用该一组实体标识实例化该谓词表达式而形成的变量在其逻辑值为第一命题逻辑值时其上一轮边缘分布中的概率值;所述第一命题逻辑值对应的命题是:该谓词表达式在所述目标规则模板的析取形式中带有否定符号;
基于所述若干谓词表达式对应的若干概率张量进行乘积处理,得到乘积结果张量;
其中,将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能,包括:
将所述各个隐变量分别作为目标隐变量,基于所述乘积结果张量和团势能函数,确定在所述目标规则模板下所述目标隐变量的两个逻辑值对应的两个聚合势能;
基于在所述若干规则模板下与所述目标隐变量的任一逻辑值对应的若干聚合势能,确定该任一逻辑值对应的目标势能。
12.根据权利要求11所述的方法,其中,所述若干谓词表达式中包括第一谓词表达式和第二谓词表达式,所述第一谓词表达式和第二谓词表达式之间存在相同的参数。
13.根据权利要求11所述的方法,其中,所述乘积结果张量中包括对应所述目标隐变量的向量元素;其中,基于所述乘积结果张量和团势能函数,确定在所述目标规则模板下所述目标隐变量的两个逻辑值对应的两个聚合势能,包括:
将基于所述向量元素和所述目标团势能函数在所述任一逻辑值下的输出而得到的乘积结果,作为对应的聚合势能;所述目标团势能函数所对应的实例化规则在其猜想部分包含所述目标隐变量。
14.根据权利要求13所述的方法,其中,所述目标团势能函数包括:
在所述任一逻辑值与第二命题逻辑值相同的情况下,所述目标团势能函数的输出为第一数值;所述第二命题逻辑值对应的命题是:所述目标隐变量在所述析取形式中带有否定符号;
在所述任一逻辑值与所述第二命题逻辑值不同的情况下,所述目标团势能函数的输出为第二数值,所述第二数值大于所述第一数值。
15.根据权利要求11所述的方法,其中,基于在所述若干规则模板下与所述目标隐变量的任一逻辑值对应的若干聚合势能,确定该任一逻辑值对应的目标势能,包括:
利用与所述若干规则模板对应的若干预设权重,对所述若干聚合势能进行加权求和,得到所述目标势能。
16.根据权利要求1所述的方法,其中,基于所述两个目标势能,确定所述目标隐变量的本轮概率分布,包括:
基于对所述两个目标势能进行归一化处理的结果,形成所述本轮概率分布。
17.根据权利要求1所述的方法,其中,所述各个隐变量具有单变量势能函数;其中,基于所述两个目标势能,确定所述目标隐变量的本轮概率分布,包括:
基于所述目标隐变量的单变量势能函数,确定所述两个逻辑值中任一逻辑值对应的单变量势能;
对所述任一逻辑值对应的目标势能和单变量势能进行求和,得到对应的势能和值;
基于对所述两个逻辑值所对应的两个势能和值进行归一化处理的结果,形成所述本轮概率分布。
18.一种基于马尔可夫逻辑网进行逻辑推断的方法,包括:
获取基于多条实例化规则而构建的马尔可夫逻辑网;所述马尔可夫逻辑网包括多个变量,所述多个变量包括若干观测变量和若干隐变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数;
基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新包括:将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;基于所述两个目标势能,确定所述目标隐变量的本轮概率分布;
根据所述多轮次迭代更新后所述各个隐变量的概率分布进行逻辑推断。
19.一种基于马尔可夫逻辑网预测用户行为的装置,包括:
逻辑网获取模块,配置为获取基于多条实例化规则而构建的马尔可夫逻辑网;所述多条实例化规则用于限定用户行为之间的关系;所述马尔可夫逻辑网包括与用户行为相关的多个变量,所述多个变量包括若干观测变量和若干隐变量;所述若干观测变量包括,表征已知用户行为的变量,所述若干隐变量包括,表征未知用户行为的行为变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数;
概率分布更新模块,配置为基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新通过所述概率分布更新模块中的以下单元实现:
目标势能确定单元,配置为将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;
概率分布确定单元,配置为基于所述两个目标势能,确定所述目标隐变量的本轮概率分布;
用户行为预测模块,配置为根据所述多轮次迭代更新后所述行为变量的概率分布,预测用户行为。
20.一种基于马尔可夫逻辑网进行逻辑推断的装置,包括:
逻辑网获取模块,配置为获取基于多条实例化规则而构建的马尔可夫逻辑网;所述马尔可夫逻辑网包括多个变量,所述多个变量包括若干观测变量和若干隐变量;所述多个变量中涉及同一条实例化规则的变量共同形成对应的团,所述团具有对应的团势能函数;
概率分布更新模块,配置为基于所述马尔可夫逻辑网,对所述若干隐变量中各个隐变量在所述若干观测变量的观测值下的概率分布进行多轮次迭代更新;其中任一轮次迭代更新通过所述概率分布更新模块中的以下单元实现:
目标势能确定单元,配置为将所述各个隐变量分别作为目标隐变量,基于其所在若干团中各个团的团势能函数、所述各个团中其他隐变量的上一轮概率分布,确定与所述目标隐变量的两个逻辑值对应的两个目标势能;
概率分布确定单元,配置为基于所述两个目标势能,确定所述目标隐变量的本轮概率分布;
逻辑推断模块,配置为根据所述多轮次迭代更新后所述各个隐变量的概率分布进行逻辑推断。
21.一种计算机可读存储介质,其上存储有计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-18中任一项所述的方法。
22.一种计算设备,包括存储器和处理器,其中,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-18中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211489287.XA CN115829110A (zh) | 2022-11-25 | 2022-11-25 | 基于马尔可夫逻辑网预测用户行为的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211489287.XA CN115829110A (zh) | 2022-11-25 | 2022-11-25 | 基于马尔可夫逻辑网预测用户行为的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115829110A true CN115829110A (zh) | 2023-03-21 |
Family
ID=85531522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211489287.XA Pending CN115829110A (zh) | 2022-11-25 | 2022-11-25 | 基于马尔可夫逻辑网预测用户行为的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115829110A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117351324A (zh) * | 2023-12-04 | 2024-01-05 | 支付宝(杭州)信息技术有限公司 | 通过神经网络模型进行文档图像处理的方法及装置 |
-
2022
- 2022-11-25 CN CN202211489287.XA patent/CN115829110A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117351324A (zh) * | 2023-12-04 | 2024-01-05 | 支付宝(杭州)信息技术有限公司 | 通过神经网络模型进行文档图像处理的方法及装置 |
CN117351324B (zh) * | 2023-12-04 | 2024-03-01 | 支付宝(杭州)信息技术有限公司 | 通过神经网络模型进行文档图像处理的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhuang et al. | DynaMo: Dynamic community detection by incrementally maximizing modularity | |
Navarin et al. | LSTM networks for data-aware remaining time prediction of business process instances | |
Creager et al. | Causal modeling for fairness in dynamical systems | |
Ahmadian et al. | Alleviating data sparsity problem in time-aware recommender systems using a reliable rating profile enrichment approach | |
Parvin et al. | A scalable and robust trust-based nonnegative matrix factorization recommender using the alternating direction method | |
Dudík et al. | Doubly robust policy evaluation and optimization | |
Hammoudeh et al. | Training data influence analysis and estimation: A survey | |
Wan et al. | Deep matrix factorization for trust-aware recommendation in social networks | |
CN112529071B (zh) | 一种文本分类方法、***、计算机设备和存储介质 | |
CN114298851A (zh) | 基于图表征学习的网络用户社交行为分析方法、装置及存储介质 | |
Joshi | Multi-criteria decision making based on novel fuzzy knowledge measures | |
Khan et al. | Generalized fractional strategy for recommender systems with chaotic ratings behavior | |
CN115829110A (zh) | 基于马尔可夫逻辑网预测用户行为的方法及装置 | |
Chen et al. | Accelerating Matrix Factorization by Overparameterization. | |
CN115423037A (zh) | 一种基于大数据的用户分类方法及*** | |
Ballandies et al. | Mobile link prediction: Automated creation and crowdsourced validation of knowledge graphs | |
Abnane et al. | Evaluating ensemble imputation in software effort estimation | |
Cao et al. | Implicit user relationships across sessions enhanced graph for session-based recommendation | |
JP2012079225A (ja) | 協調フィルタリング処理方法およびプログラム | |
CN110992071B (zh) | 一种服务策略制定方法、装置、存储介质及电子设备 | |
CN113283589A (zh) | 事件预测***的更新方法及装置 | |
CN113761388A (zh) | 一种推荐方法、装置、电子设备及存储介质 | |
CN112988186A (zh) | 异常检测***的更新方法及装置 | |
Karavokyris et al. | Graph Neural Networks For Affective Social Media: A Comprehensive Overview. | |
Kavarakuntla et al. | A Generic Performance Model for deep learning in a Distributed Environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |