CN113987195A - 一种可微的挖掘常量规则的方法 - Google Patents
一种可微的挖掘常量规则的方法 Download PDFInfo
- Publication number
- CN113987195A CN113987195A CN202111150589.XA CN202111150589A CN113987195A CN 113987195 A CN113987195 A CN 113987195A CN 202111150589 A CN202111150589 A CN 202111150589A CN 113987195 A CN113987195 A CN 113987195A
- Authority
- CN
- China
- Prior art keywords
- constant
- rule
- relation
- attention
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000005065 mining Methods 0.000 title claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000006116 polymerization reaction Methods 0.000 claims description 4
- 230000009901 attention process Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000001556 precipitation Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种可微的挖掘常量规则的方法，在根据知识图谱定义常量操作符和路径操作符的基础上，采用了融合注意力机制，利用注意力值评估规则所经过的关系，同时对每跳的尾节点聚合周围属性及对应的属性值分别计算注意力，并用属性的注意力增强规则中的关系的选择，以实现链接预测；根据生成的模型参数经过参数解析并通过统计输出高质量的符号化规则。该方法特别适合需要较高预测准确度、为预测提供解释以及需要沉淀推理规则的拥有复合推理需求的应用场景。
Description
技术领域
本发明属于知识图谱推理的技术领域，尤其是涉及可微的挖掘常量规则的方法。
背景技术
传统的知识图谱嵌入表示学习方法多为输入的包含的头实体、关系以及尾实体的三元组，通过一定的假设如h+r＝t进行三元组得分计算并优化模型嵌入向量，计算过程一步到位，连接预测结果仅给出尾实体而没有步骤，因此多数为黑盒模型，可解释性较差。如公开号为CN113377968A的中国专利文献公开了一种采用融合实体上下文的知识图谱链路预测方法。
传统的知识图谱规则挖掘模型大多基于图上的搜索和匹配，进行规则挖掘，是一个搜索统计的过程而非计算的过程，在大型的知识图谱上搜索空间急剧增大，消耗的时间及硬件资源也同样如此。同时他们仅考虑关系到关系的关联，并未注意到中间实体所连接的属性也会对规则本身造成影响。如公开号为CN111126828A的中国专利文献公开了一种基于知识图谱的多层资金异常流向监控方法。
同时传统的知识图谱嵌入表示学习模型只能完成预测任务，推理过程为黑盒，无法为预测结果提供解释，也无法将预测的规则解析出来。而传统的规则挖掘模型以产出符号化规则为目标，但无法对节点对应属性进行约束，如一个人的父母这个关系，若性别为男则对应父亲关系，性别为女则为母亲关系。考虑到属性可以将关系本身细粒化。
现有需求中，知识图谱推理不仅仅需要准确率较高，也需要算法为预测结果提供解释并生成符号化规则。这样不仅可以帮助专家判断预测结果的合理性，发现目前并未发现的关系，还可以避免由于新增实体导致重新计算、多次开发，以拓宽模型的适用范围。
发明内容
鉴于上述，本发明提供了一种可微的挖掘常量规则的方法，适用于需要考虑常量来提升准确率的预测应用场景。该方法同时提供符号化规则的解释，避免由于新增实体导致重新计算，进而可以降低计算开销。
实施例提供的技术方案为：
一种可微的挖掘常量规则的方法，包括以下步骤：
步骤1，获取知识图谱，依据知识图谱为每种关系构建路径操作符，表示每种关系在实体中的连接情况，依据知识图谱为每种关系与实体的组合构建常量操作符，表示通过关系与实体相连的所有可能常量情况；
步骤2，将目标三元组的目标关系初始化为关系向量后，依据预期的规则长度T，重复输入关系向量2T次至双向长短期记忆模型中，得到2T个长度固定的向量序列；
步骤3，提取T个长度固定的向量序列进行第一注意力机制处理，得到T步规则提取时路径操作符的第一注意力参数，提取剩下的T个长度固定的向量序列进行第二注意力机制处理，得到T步规则提取时常量操作符的第二注意力参数；
步骤4，针对每步规则提取，首先根据路径操作符进行规则路径的拓展，即根据路径操作符和对应的第一注意力参数预测节点实体，然后根据常量操作符对规则是否需要常量进行判断，即以预测的节点实体为基准，采用常量操作符和对应的第二注意力参数进行考虑常量的节点实体预测；
步骤5，依据第一注意力参数和第二注意力参数，和步骤4规则提取过程中的预测中间参数解析生成每个目标关系的多条规则；
步骤6，对多个目标关系的所有规则进行筛选以确定提最终提取规则并输出。
与现有技术相比，本发明具有的有益效果至少包括：
实施例提供的一种可微的挖掘常量规则的方法是目前唯一能够同时拥有较高预测准确率、提供约束常量解释的能力以及解析为符号化规则的能力的技术方案，该方法采用了融合注意力机制，利用注意力值评估规则所经过的关系，同时对每步的尾节点聚合周围属性及对应的属性值分别计算注意力，并用属性的注意力增强规则中的关系的选择，特别适合需要对常量进行约束的可解析为符号化规则、需要较高预测准确度的拥有复合推理需求的应用场景，例如商品属性之于电商场景，如果能够根据属性解析出带有常量的规则，就可以根据这种规则将每种商品的推荐场景直接推理得到，省去人工进行标记的步骤，同时对于没有购物或者搜索记录的新用户，也可以根据其用户画像中具有的属性直接推荐具体的商品从而避免冷启动问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的可微的挖掘常量规则的方法的流程图；
图2是本发明实施例提供的根据常量操作符对规则是否需要常量进行判断过程示意图；
图3是本发明实施例提供的不同数据集规则解析数量统计。
图4是本发明实施例提供的规则解析具体样例。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是本发明实施例提供的可微的挖掘常量规则的方法的流程图。如图1所示，实施例提供的可微的挖掘常量规则的方法，包括以下步骤：
步骤1，获取知识图谱，依据知识图谱构建路径操作符和常量操作符。
实施例中，获取的知识图谱的三元组信息(h，r，t)，形成关系集合R和实体集合E，依据关系集合R和实体结合E，为每种关系ri构建的路径操作符。为了方便构建路径操作符，将知识图谱构造以关系为键值、指向头节点为键值对应的尾节点列表的字典，基于该字典为每种关系ri构建的路径操作符。该路径操作符表示每种关系在实体中的邻接情况，也即是邻接矩阵，用于拓展规则的整体长度，路径操作符表示为
中的元素值为1或0，其中，1表示两个实体之间存在关系ri，0表示两个实体之间不存在关系ri，需要注意的是，还定义了对角线上为1的特殊路径操作符，表示实体通向自身的关系，该关系一般不在知识图谱中直接显式描述。因此，共有|R|+1个路径操作符。
实施例中，依据知识图谱为每种关系与实体的组合构建常量操作符，表示通过关系与实体相连的其他可能常量情况，该常量操作符用来定义规则中间步骤需要的常量约束，实施例中常量即是实体，为了区分便于描述，叫做常量。对于关系ri和第k个实体ek的组合，构建的常量操作符表示为
每个元素值为1或0，1表示实体ek通过关系ri与其他可能常量e相连，0表示实体ek通过关系ri找不到与其相连的其他可能常量e，由于整个知识图谱中存在|E|*|R|个这样的组合，所以共有|E|*|R|个常量操作符。
步骤2，利用双向长短期记忆模型提取目标三元组中关系的向量序列。
实施例中，预设预期的规则长度T，随机初始化目标三元组的关系向量，该关系向量与所有关系一一对应，即关系向量维度与关系集合R中的关系个数相等。
依据预期的规则长度T，重复输入关系向量2T次至双向长短期记忆模型(BiLSTM)中，得到2T个长度固定的向量序列，具体过程为：
h0,h′2T＝BiLSTM(r)
ht,h′2T-t-1＝BiLSTM(r,ht-1,h′2T-t),t>1
其中，t为步数索引，r为关系向量，h表示正向计算得到的向量序列，h′表示逆向计算得到的向量序列。
步骤3，依据双向长短期记忆模型中提取的向量序列进行注意力机制处理，得到路径操作符和常量操作符对应的注意力参数。
实施例中，提取T个长度固定的向量序列进行第一注意力机制处理，得到T步规则提取时路径操作符的第一注意力参数，提取剩下的T个长度固定的向量序列进行第二注意力机制处理，得到T步规则提取时常量操作符的第二注意力参数。
在一种可能实施方式中，采用全连接层对向量序列进行注意力机制处理，具体过程为：
αt＝Softmax(Wa(ht+h′t)+ba),t＝1,3,...,2T-1
βt＝Softmax(Wb(ht+h′t)+bb),t＝2,4,...,2T
其中，t为步数的索引，αt表示路径操作符的第一注意力参数，βt表示常量操作符的第二注意力参数，ht、h′t分别表示第t步时双向长短期记忆模型输出的两个向量序列，Wa、ba分别表示第一注意力处理过程中的权重参数和偏置参数，Wb、bb分别表示第二注意力处理过程中的权重参数和偏置参数，Softmax(·)为Softmax函数。参数Wa、ba和Wb、bb是需要经过优化的，上述公式表示，提取奇数步的向量序列计算路径操作符的第一注意力参数αt，提取偶数步的向量序列计算常量操作符的第二注意力参数βt。
步骤4，依据第一注意力参数、第二注意力参数、路径操作符以及常量操作符进行规则推理。
实施例中，对于最大长度为T的规则来说，每一步规则提取，均需要利用路径操作符和规则操作符来进行两步操作，包括：首先根据路径操作符进行规则路径的拓展，即根据路径操作符和对应的第一注意力参数预测节点实体，然后根据常量操作符对规则是否需要常量进行判断，即以预测的节点实体为基准，采用常量操作符和对应的第二注意力参数进行考虑常量的节点实体预测。
在一个可能的实施方式中，根据路径操作符进行规则路径的拓展过程包括：
依据路径操作符和对应的第一注意力参数预测节点实体：
其中，zt-1表示第t-1步时考虑常量预测的节点实体，
表示第i个关系ri的路径操作符，
表示在第t步关系ri的路径操作符的第一注意力参数，zt′表示规则路径的拓展结果，也就是预测的节点实体，
为预测关系，当t＝1时，zt-1为目标三元组中目标头实体向量。
规则路径的拓展过程实质是通过路径操作符
找到预测结果的zt-1的邻居实体，因为路径操作符
的第一注意力参数
不同，
形成的邻居实体的权重也会有所不同的。由于采用路径操作符
的第一注意力参数
加权求和的方式来构造邻居实体的权重，这样充分考虑了知识图谱中的所有关系，实现了对规则路径的拓展，可以得到规则提取的多路径。
在一个可能的实施方式中，如图2所示，根据常量操作符对规则是否需要常量进行判断过程包括：
首先，对于第i个关系ri对应的常量操作符uik，将其与第t步的节点实体预测结果zt′相乘，得到常量的第三注意力参数
即
第三注意力参数作为常量的注意力，关注的是每步的节点实体与常量的关联程度，用于选择常量，实现对常量限制。
然后，利用第三注意力参数
对第i个关系ri对应的所有常量操作符uik进行聚合加权计算，得到聚合的常量操作符
即：
其中，k为常量的索引，Scale(·)的目的是将加权后的向量的每个值控制在(0,1)之间；常量聚合过程是用于筛选比较强的常量关系。
最后，基于节点实体预测结果zt′，依据常量操作符的第二注意力参数
和聚合的常量操作符
进行考虑常量的节点实体预测，即：
其中，zt表示考虑常量的节点实体，⊙代表的是哈达姆积，即两个向量按位相乘，同时当i＝0时，将
设为全1向量，表示这一步不需要考虑任何常量。
因为规则长度的最大值为T，所以以上步骤3-步骤4需要重复T次，从头实体向量h得到常量预测结果zT，这个常量预测结果zT就是推测出来的实体的概率分布，每个位置的值代表在对应位置的实体的可能性。
需要说明的是，步骤2中的双向长短期记忆模型和步骤3中的注意力机制在进行挖掘常量规则前，需要进行参数优化，具体参数优化过程为：
对于样本三元组(h,r,t)，将样本三元组中实体和关系进行向量初始化后，利用步骤2-步骤4的过程得到常量预测结果后，依据预测结果zT与样本三元组中真实的尾实体向量t计算推理结果的评价分数score(t|h,r)，即：
score(t|h,r)＝t·log[zT,τ]+
其中，τ表示设置好的过滤门槛，将zT中小于τ的值过滤掉，以一个训练批次中所有样本三元组的评价分数之和作为损失函数，并以损失函数最大为目标进行参数优化。
步骤5，依据第一注意力参数、第二注意力参数和第三注意力参数解析生成每个目标关系的多条规则。
在完成规则提取任务基础上，需要由上述第一注意力参数、第二注意力参数以及第三注意力参数解析生成符号化的规则。如前所述，利用α来选择路径，β来选择常量关系，b来选择具体的常量，基于此，解析生成每个目标关系的多条规则的过程为：
针对每步规则提取，依据预设的第一阈值从第一注意力参数中筛选数值大于第一阈值对应的关系作为当前步确定的关系，依据预设的第二阈值从第二注意力参数中筛选数值大于第二阈值对应的关系作为当前步确定的常量关系，依据预设的第三阈值从第三注意力参数中筛选数值大于第三阈值对应的常量作为当前步确定的常量；以此得到在目标三元组中所有可能经过的具体路径(由关系和常量关系按照步顺序形成)和约束常量，注意在此对于一条路径来说有可能存在多条能够推出结果的规则，因此，所有步确定的关系、常量关系以及常量按照步顺序形成多条规则。
实施例中，对于目标三元组，形成的长度为T的路径解释表示为：
r1∧r2…∧rT→r
其中每个ri表示为ri,attributej(valuejz)其中，attributej(·)表示节点实体与常量之间的常量关系，j为常量关系的索引，valuejz表示通过常量关系attributej确定的常量，z为常量的索引，即上一跳通过关系r连接到下一跳节点实体，该节点实体要求有属性attributej，同时该属性具有属性值valuejz，这里的value即常量，在规则中需要是一个确定的实体。
步骤6，对多个目标关系的多条规则进行筛选以确定提最终提取规则并输出。
对于每个目标三元组，采用步骤2-步骤5的过程生成多条规则，最后将整体解析出的所有规则进行统计，挑选出在所有三元组推理过程中应用次数较多的规则作为最后的提取规则。
实施例中，对多个目标关系的多条规则进行筛选以确定提最终提取规则并输出的过程为：
对于所有目标关系的每条规则，依据每步的第一注意力参数、第二注意力参数、第三注意力参数计算置信度，筛选置信度高的规则作为最终提取规则。作为优选，可以筛选置信度高于设定阈值的规则作为出现次数较高的规则并输出。
其中，每条规则的置信度计算公式为：
其中，其中i为步数索引，T为预设的规则长度，也就是步数，αir为第i步时路径操作符中关系r的第一注意力参数，βir为第i步时常量操作符中常量关系a的第二注意力参数，uia为第i步时在常量关系a下具体所有超过超参数阈值的常量的第三注意力参数的平均值。
上述可微的挖掘常量规则的方法首先能够利用神经网络对三元组进行推理，其次能够将由模型参数解析出符号化的规则，最后整体的框架是在可微的方式下进行，为利用神经网络进行推理提供基础。
不同于以往的对较为简单的链式的规进行可微推理的规则学习推理方法，本发明实施例提供的方法考虑了一种形式更加复杂的规则形式，将常量作为一种约束条件引入了规则之中，利用注意力值来对整体的规则路径进行模拟并以便生成解释，可以为每个三元组的预测生成至少一条规则，同时，本方法的框架也向下兼容了不含常量的规则形式。本方法特别适合需要较高预测准确度、为预测提供解释以及需要沉淀推理规则的拥有复合推理需求的应用场景。
实施例提供的一种可微的挖掘常量规则的方法，适用于需要考虑常量来提升准确率的预测应用场景，在应用在电商场景下，知识图谱对应为适用于电商场景的商品知识图谱，其中实体表示商品、属性，关系表示商品与属性之间的关系，规则挖掘的目标是找到具备某些属性的商品适用于哪些场景或者人群，电商场景下商品属性对于规则推理就有很强的作用，此场景下的属性值就可以视为常量，例如可以认为一个具有真皮属性的包更适用于商务场景，而且电商场景中不同商品之间的关系种类很少，反而是可以视为常量的属性非常多，导致在此场景下，本发明定义的带常量的规则的应用价值远大于传统方法定义的规则形式。
为验证上述实施例提供的可微的挖掘常量规则的方法的技术效果，进行了如下具体试验：
在训练过程中，使用了Adam优化器进行优化，进行了4次的训练迭代，每个迭代的批次大小设置为14，BiLSTM和全连接函数的维度均设置为256，学习率设置0.0001。模型的性能用MRR、Hit@10、Hit@3以及Hit@1评估，并且将除预测实体以外也正确的实体排除在评分范围之内。
其中，MRR代表的是正确实体在预测结果概率中排名的倒数均值。Hit@10、Hit@3以及Hit@1代表的是正确实体在预测结果概率中排名前十、前三和第一的概率。
在以FB15K-237数据集为目标的连接预测效果如下表1所示：
表1
其中，ConvE模型出自《Convolutional 2D Knowledge Graph Embeddings》，ComplEx模型出自《Complex Embeddings for Simple Link Prediction》，DistMult模型出自《Embedding Entities and Relations for Learning and Inference in KnowledgeBases》，RotatE模型出自《RotatE:Knowledge Graph Embedding by Relational Rotationin Complex Space》，Neural-LP模型出自《Differentiable Learning of Logical Rulesfor Knowledge Base Reasoning》，DRUM模型出自《DRUM:End-To-End DifferentiableRule Mining On Knowledge Graphs》，通过分析表1可得，在所有模型中，本发明实施例提供的方法在MRR、Hit@10、Hit@3以及Hit@1四个参数的值均高于其他模型，表明本发明实施例提供的方法具有较高的预测准确率。
为了验证本发明实施例提供的可微的挖掘常量规则的方法能够提供解释能力，对模型提供的解释质量和数量进行了评估，在Constant、Family-gender、UMLS以及FB15K-237四个数据集上挖掘出的规则，评估结果如图3所示，图3中，横轴表示了挖掘出的规则的置信度区间，而纵轴代表了在置信区间内的规则数量。分析图3可以得出，本发明实施例提供的方法在每个数据集上挖掘的处于高置信度区间的规则数量都比较多，表明能够挖掘出合适数量的规则。
为了对规则进行质量评价，实施例采用标准置信度来进行质量评价，标准置信度表示的是在满足规则体的情况下头关系确实存在的概率，标准置信度提升表示的是不考虑该规则中的常量的置信度和考虑常量时的标准置信度提升。以有关医疗和生物学概念的UMLS数据集为例，图4所示的是在UMLS数据集上的规则结果样例，图4中，带有C、C1、C2表记圆圈表示通过常量操作符预测得到的常量实体，剩下的圆圈表示通过路径操作符预测得到的节点实体，实心箭头表示两个实体之间的关系，空心箭头以及Uses表示通过多个关系，且经过多个实体得到的规则，分析图4可得，标准置信度SC均有提升，如针对第一条规则，通过预测常量实体，规则的标准置信度SC从0.818提升到1.00，这足表明本发明实施例提供的方法能够提升规则质量。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种可微的挖掘常量规则的方法，包括以下步骤：
步骤1，获取知识图谱，依据知识图谱为每种关系构建路径操作符，表示每种关系在实体中的连接情况，依据知识图谱为每种关系与实体的组合构建常量操作符，表示通过关系与实体相连的所有可能常量情况；
步骤2，将目标三元组的目标关系初始化为关系向量后，依据预期的规则长度T，重复输入关系向量2T次至双向长短期记忆模型中，得到2T个长度固定的向量序列；
步骤3，提取T个长度固定的向量序列进行第一注意力机制处理，得到T步规则提取时路径操作符的第一注意力参数，提取剩下的T个长度固定的向量序列进行第二注意力机制处理，得到T步规则提取时常量操作符的第二注意力参数；
步骤4，针对每步规则提取，首先根据路径操作符进行规则路径的拓展，即根据路径操作符和对应的第一注意力参数预测节点实体，然后根据常量操作符对规则是否需要常量进行判断，即以预测的节点实体为基准，采用常量操作符和对应的第二注意力参数进行考虑常量的节点实体预测；
步骤5，依据第一注意力参数和第二注意力参数，和步骤4规则提取过程中的预测中间参数解析生成每个目标关系的多条规则；
步骤6，对多个目标关系的所有规则进行筛选以确定提最终提取规则并输出。
2.根据权利要求1所述的可微的挖掘常量规则的方法，其特征在于，步骤1中，获取的知识图谱的三元组信息，形成关系集合R和实体集合E，依据关系集合R和实体结合E，为每种关系ri构建的路径操作符表示为
中的元素值为1或0，其中，1表示两个实体之间存在关系ri，0表示两个实体之间不存在关系ri，还定义了对角线上为1的特殊路径操作符，表示实体通向自身的关系，共有|R|+1个路径操作符；
对于关系ri和第k个实体ek的组合，构建的常量操作符表示为
每个元素值为1或0，1表示实体ek通过关系ri与其他可能常量e相连，0表示实体ek通过关系ri找不到与其相连的其他可能常量e，共有|E|*|R|个常量操作符。
3.根据权利要求1所述的可微的挖掘常量规则的方法，其特征在于，步骤3中，采用全连接层对向量序列进行注意力机制处理，具体过程为：
αt＝Softmax(Wa(ht+h′t)+ba),t＝1,3,...,2T-1
βt＝Softmax(Wb(ht+h′t)+bb),t＝2,4,...,2T
其中，t为步数的索引，αt表示路径操作符的第一注意力参数，βt表示常量操作符的第二注意力参数，ht、h′t分别表示第t步时双向长短期记忆模型输出的两个向量序列，Wa、ba分别表示第一注意力处理过程中的权重参数和偏置参数，Wb、bb分别表示第二注意力处理过程中的权重参数和偏置参数，Softmax(·)为Softmax函数。
4.根据权利要求1所述的可微的挖掘常量规则的方法，其特征在于，步骤4中，根据路径操作符进行规则路径的拓展过程包括：
依据路径操作符和对应的第一注意力参数预测节点实体：
其中，zt-1表示第t-1步时考虑常量预测的节点实体，
表示第i个关系ri的路径操作符，
表示在第t步关系ri的路径操作符的第一注意力参数，z′t表示规则路径的拓展结果，也就是预测的节点实体，
为预测关系，当t＝1时，zt-1为目标三元组中目标头实体向量。
5.根据权利要求1所述的可微的挖掘常量规则的方法，其特征在于，步骤4中，根据常量操作符对规则是否需要常量进行判断过程包括：
首先，对于第i个关系ri对应的常量操作符uik，将其与第t步的节点实体预测结果z′t相乘，得到常量的第三注意力参数
即
然后，利用第三注意力参数
对第i个关系ri对应的所有常量操作符uik进行聚合加权计算，得到聚合的常量操作符
即：
其中，k为常量的索引，Scale(·)的目的是将加权后的向量的每个值控制在(0,1)之间；
最后，基于节点实体预测结果z′t，依据常量操作符的第二注意力参数
和聚合的常量操作符
进行考虑常量的节点实体预测，即：
其中，zt表示考虑常量的节点实体，⊙代表的是哈达姆积，即两个向量按位相乘，同时当i＝0时，将
设为全1向量，表示这一步不需要考虑任何常量。
6.根据权利要求1所述的可微的挖掘常量规则的方法，其特征在于，步骤2中的双向长短期记忆模型和步骤3中的注意力机制在进行挖掘常量规则前，需要进行参数优化，具体参数优化过程为：
对于样本三元组(h,r,t)，将样本三元组中实体和关系进行向量初始化后，利用步骤2-步骤4的过程得到常量预测结果后，依据预测结果zT与样本三元组中真实的尾实体向量t计算推理结果的评价分数score(t|h，r)，即：
score(t|h，r)＝t·log[zT，τ]+
其中，τ表示设置好的过滤门槛，将zT中小于τ的值过滤掉，以所有样本三元组的评价分数之和作为损失函数，并以损失函数最大为目标进行参数优化。
7.根据权利要求4所述的可微的挖掘常量规则的方法，其特征在于，步骤5中，解析生成每个目标关系的多条规则的过程为：
针对每步规则提取，依据预设的第一阈值从第一注意力参数中筛选数值大于第一阈值对应的关系作为当前步确定的关系，依据预设的第二阈值从第二注意力参数中筛选数值大于第二阈值对应的关系作为当前步确定的常量关系，依据预设的第三阈值从第三注意力参数中筛选数值大于第三阈值对应的常量作为当前步确定的常量；
所有步确定的关系、常量关系以及常量按照步顺序形成多条规则。
8.根据权利要求1所述的可微的挖掘常量规则的方法，其特征在于，步骤6中，对多个目标关系的多条规则进行筛选以确定提最终提取规则并输出的过程为：
对于所有目标关系的每条规则，依据每步的第一注意力参数、第二注意力参数、第三注意力参数计算置信度，筛选置信度高的规则作为最终提取规则。
9.根据权利要求8所述的可微的挖掘常量规则的方法，其特征在于，每条规则的置信度计算公式为：
其中，其中i为步数索引，T为预设的规则长度，也就是步数，αir为第i步时路径操作符中关系r的第一注意力参数，βir为第i步时常量操作符中常量关系a的第二注意力参数，uia为第i步时在常量关系a下具体所有超过超参数阈值的常量的第三注意力参数的平均值。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111150589.XA CN113987195A (zh) | 2021-09-29 | 2021-09-29 | 一种可微的挖掘常量规则的方法 |
| PCT/CN2022/120842 WO2023051400A1 (zh) | 2021-09-29 | 2022-09-23 | 一种可微的挖掘常量规则的方法 |
| US18/279,865 US20240160961A1 (en) | 2021-09-29 | 2022-09-23 | Differentiable method for mining constant rules |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111150589.XA CN113987195A (zh) | 2021-09-29 | 2021-09-29 | 一种可微的挖掘常量规则的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113987195A true CN113987195A (zh) | 2022-01-28 |
Family
ID=79737190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111150589.XA Pending CN113987195A (zh) | 2021-09-29 | 2021-09-29 | 一种可微的挖掘常量规则的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240160961A1 (zh) |
| CN (1) | CN113987195A (zh) |
| WO (1) | WO2023051400A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023051400A1 (zh) * | 2021-09-29 | 2023-04-06 | 浙江大学 | 一种可微的挖掘常量规则的方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116882538B (zh) * | 2023-05-26 | 2024-03-05 | 海南大学 | 一种海洋环境预测模型的训练方法及相关装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107783960B (zh) * | 2017-10-23 | 2021-07-23 | 百度在线网络技术（北京）有限公司 | 用于抽取信息的方法、装置和设备 |
| CN109165385B (zh) * | 2018-08-29 | 2022-08-09 | 中国人民解放军国防科技大学 | 一种基于实体关系联合抽取模型的多三元组抽取方法 |
| CN112612903A (zh) * | 2020-12-24 | 2021-04-06 | 浙江大学 | 一种可解释的可生成规则的知识图谱嵌入表示学习方法 |
| CN113010691A (zh) * | 2021-03-30 | 2021-06-22 | 电子科技大学 | 一种基于图神经网络的知识图谱推理关系预测方法 |
| CN113282612A (zh) * | 2021-07-21 | 2021-08-20 | 中国人民解放军国防科技大学 | 一种基于科学合作异质网络分析的作者会议推荐方法 |
| CN113987195A (zh) * | 2021-09-29 | 2022-01-28 | 浙江大学 | 一种可微的挖掘常量规则的方法 |
-
2021
- 2021-09-29 CN CN202111150589.XA patent/CN113987195A/zh active Pending
-
2022
- 2022-09-23 US US18/279,865 patent/US20240160961A1/en active Pending
- 2022-09-23 WO PCT/CN2022/120842 patent/WO2023051400A1/zh active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023051400A1 (zh) * | 2021-09-29 | 2023-04-06 | 浙江大学 | 一种可微的挖掘常量规则的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240160961A1 (en) | 2024-05-16 |
| WO2023051400A1 (zh) | 2023-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330115B (zh) | 一种信息推荐方法及装置 | |
| CN111523047B (zh) | 基于图神经网络的多关系协同过滤算法 | |
| Peel et al. | Detecting change points in the large-scale structure of evolving networks | |
| CN112364976B (zh) | 基于会话推荐***的用户偏好预测方法 | |
| CN112232925A (zh) | 一种融合知识图谱对商品进行个性化推荐的方法 | |
| Shekhar et al. | Gaussian process bandits with adaptive discretization | |
| CN113987195A (zh) | 一种可微的挖掘常量规则的方法 | |
| CN111523682B (zh) | 训练交互预测模型、预测交互对象的方法及装置 | |
| CN108470052B (zh) | 一种基于矩阵补全的抗托攻击推荐算法 | |
| CN110990718A (zh) | 一种公司形象提升***的社会网络模型构建模块 | |
| CN114298851A (zh) | 基于图表征学习的网络用户社交行为分析方法、装置及存储介质 | |
| CN115358809A (zh) | 一种基于图对比学习的多意图推荐方法及装置 | |
| CN110232151B (zh) | 一种混合概率分布检测的QoS预测模型的构建方法 | |
| Anderson et al. | Meaningful uncertainties from deep neural network surrogates of large-scale numerical simulations | |
| CN114897085A (zh) | 一种基于封闭子图链路预测的聚类方法及计算机设备 | |
| CN110889493A (zh) | 针对关系网络添加扰动的方法及装置 | |
| CN112948681B (zh) | 一种融合多维度特征的时间序列数据推荐方法 | |
| CN112085279B (zh) | 训练交互预测模型、预测交互事件的方法及装置 | |
| Manoju et al. | Conductivity based agglomerative spectral clustering for community detection | |
| CN111460318B (zh) | 基于显性和隐性信任的协同过滤推荐方法 | |
| Liu et al. | Capsrec: A capsule graph neural network model for social recommendation | |
| CN114519605A (zh) | 广告点击欺诈检测方法、***、服务器和存储介质 | |
| Acampora et al. | Applying SPEA2 to prototype selection for nearest neighbor classification | |
| Rapley et al. | Model-based inferences from adaptive cluster sampling | |
| Chen et al. | Enhancing robustness of link prediction for noisy complex networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |