CN115292520A - 一种面向多源移动应用知识图谱构建方法 - Google Patents
一种面向多源移动应用知识图谱构建方法 Download PDFInfo
- Publication number
- CN115292520A CN115292520A CN202211187813.7A CN202211187813A CN115292520A CN 115292520 A CN115292520 A CN 115292520A CN 202211187813 A CN202211187813 A CN 202211187813A CN 115292520 A CN115292520 A CN 115292520A
- Authority
- CN
- China
- Prior art keywords
- app
- entity
- mobile application
- entities
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000006870 function Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 15
- 241000287196 Asthenes Species 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种面向多源移动应用知识图谱构建方法,基于获取的来自不同数据源的移动应用数据,生成三元组集合;对实体与关系进行编码,获得对应的向量表示;计算实体向量之间的相似度,将相似度超过设定阈值的向量表示所对应的实体确定为初始语义等价实体对,并确定种子集合;根据元规则从种子集合中推理出潜在语义等价实体对;计算潜在语义等价实体对成立的概率;将计算的概率与设定概率阈值比较,根据比较结果最终确定多源移动应用中实体之间的语义等价关系,进而获得多源移动应用知识图谱。本发明可以显著降低多源数据在知识图谱构建过程中实体语义等价关系的人工标注成本。
Description
技术领域
本发明属于知识工程中知识表示与处理领域,具体涉及一种在数据多源情况下,移动应用知识图谱构建方法。
背景技术
随着智能手机和移动设备的普及,移动应用(简称“APP”) 的数量迅速增长,为人们进行网上购物、教育、理财等诸多方面提供了诸多的便利。
然而,随着越来越多的APP被开发与发布,网络上也存在诸多含有恶意风险的APP,它们或传播不良信息、或侵犯用户隐私,甚至违反国家信息安全法令。对普通的网民来说,构建全面的移动应用知识库信息有助于用户查询和预防APP的欺诈;对网络安全分析人员来说,全面的移动应用知识图谱不仅可以帮助网络安全分析人员更加快速地找出潜在风险,也可以在一定程度上确保移动网络的安全。
尽管在相关领域的研究中,有DREBIN、AndroZoo++、AndroVault等移动应用知识库被学者提出。但这些知识库的构建仅聚焦于单一数据来源、整体数据量较少、属性不够全面等问题,从而无法全面地展示APP的信息。另一方面,已有的APP知识库重点聚焦在单个APP底层数据(如: 应用权限、应用隐私) 的分析上,导致此类方法在一定程度上缺少对APP之间的关联性分析,无法实现多源数据之间APP的共享与重用。为此,从多源数据中构建移动应用知识图谱,建立不同数据源之间APP的语义关联,对于APP的上层应用分析(如:风险预警、风险关联)有着十分重要。同时,它也能为知识工程与网络安全社区的研究提供高质量的数据资源。
发明内容
本发明旨在从多源数据中构建移动应用知识图谱,来获取低成本、高质量的移动应用知识图谱。
为实现该技术目的,本发明采用以下技术方案:
本发明提供一种面向多源移动应用知识图谱构建方法,包括:
基于获取的来自不同数据源的移动应用数据,生成三元组集合{(S o _app z , r,e)},其中S o _app z 对应头实体,S o _app z 定义为第o种数据来源编号为z的移动应用,r 对应关系,e对应尾实体;
分别对实体与关系进行编码,获得对应的向量表示;
利用余弦值计算实体向量之间的相似度,将相似度超过设定阈值的向量表示所对应的实体初步确定为实体的语义等价对;
根据初步确定的实体的语义等价对确定种子集合,根据元规则从所述种子集合中推理出潜在的实体或关系的语义等价对;
根据概率图模型计算潜在的实体或关系的语义等价对成立的概率;将计算的概率与设定概率阈值比较,根据比较结果最终确定多源移动应用中实体或关系之间的语义等价关系,进而获得多源移动应用知识图谱。
进一步地,分别对实体与关系进行编码,获得对应的向量表示,包括:
采用“主语谓语为宾语”的形式对每个三元组进行句子陈述表达,句子表示为:(S o _app z [SEP]r[SEP]为[SEP]e);其中[SEP]为分词符标识,“S o _app z ”、“r” 、“为”和“e”均看作是分词过程中的词块;
将句子作为输入,采用适配中文预训练模型BERT对分词获得的词块进行编码,获得每个三元组中“S o _app z ”、“r”和“e”的向量表示。
进一步地,对实体与关系进行编码的过程中,基于同义词词典将分词后词块中的名词或者形容词按照替换概率随机替换为其同义词,替换概率的计算公式如下:
其中,t i 为句子中的词块,n w 为句子中词块的个数,j为词块的序号,w(t i )为替换句子中的词块t i 所带来的损失,exp(.)为幂指数函数。
进一步地,所述种子集合记为ES=AES⋃RES⋃EES,其中AES表示头实体的语义等价对集合,RES表示关系的语义等价对集合,EES表示尾实体的语义等价对集合;
所述元规则包括:
第1条规则R 1:对于三元组和,其中S i _app x 为第i种数据来源编号为x的移动应用,S i _r x 为第i种数据来源编号为x的移动应用所对应的关系,S i _e x 为第i种数据来源编号为x的移动应用所对应的尾实体;S j _app y 为第j种数据来源编号为y的移动应用;S j _ry表示第j种数据来源编号为y的移动应用所对应的关系,S j _ey表示为j种数据来源编号为y的移动应用所对应的尾实体;
如果S i _app x 与S j _app y 是头实体的语义等价对,即存在头实体的语义等价关系,表示为,S i _e x 与S j _e y 是尾实体的语义等价对,即存在尾实体的语义等价关系,表示为,那么S i _r x 与S j _r y 是关系的语义等价对即具有关系的语义等价关系的置信度为p;规则R 1表示为:
第2条规则R 2 :对于三元组和,如果S i _app x 与S j _app y 存在头实体的语义等价关系,表示为,关系S i _r x 与S j _r y 存在关系的语义等价关系,表示为,那么S i _e x 与S j _e y 具有尾实体的语义等价关系的置信度为q;规则R 2表示为:
第3条规则R 3 :对于三元组和,如果S i _r x 与S j _r y 存在关系的语义等价关系,表示为:;S i _e x 与S j _e y 存在尾实体的语义等价关系,表示为,那么S i _app x 与S j _app y 存在头实体的语义等价关系的置信度为l;规则R 3表示为:
其中,R i = T表示第i条规则满足触发条件,i∈{1,2,3},R i = F表示第i条规则不满足触发条件,λ 0表示原始语义等价实体对之间的相似度,表示第R i 条规则成立的概率,对应第i条规则R i 的置信度,K i 表示第i条规则R i 触发的次数,表示第i条规则R i 的概率分布,S 0为不同数据源实体语义等价或关系语义等价的初始概率;表示在第1条规则R 1、第2条规则R 2 、第3条规则R 3与初始概率S 0条件下,不同数据源实体语义等价或关系语义等价不成立的概率,表示在第1条规则R 1、第2条规则R 2 、第3条规则R 3与初始概率S 0下,不同数据源实体语义等价或关系语义等价成立的概率。
进一步地,根据初始语义等价实体对确定种子集合,包括:
基于根据相似度初步确定的实体的语义等价对以及利用字符串比较实体之间的字符长度获得的实体的等价对,确定种子集合。
进一步地,对实体与关系进行编码,获得向量表示,之后还包括:
利用知识图谱表示学习模型,更新头实体和尾实体的向量表示,基于更新后的向量表示,利用网络表示学习模型获得最终的实体向量表示。
再进一步地,预先对网络表示学习模型和知识图谱表示学习模型进行迭代混合表示学习,包括:
步骤201:对知识图谱表示学习模型进行训练,训练模型的损失函数如下:
其中,k为迭代混合表示学习的循环次数,表示第k+1轮基于知识图谱表示学习模型的损失函数,表示通过负采样过程得到的负例三元组集合,所述负采样过程将三元组中的头实体h与尾实体e随机替换成头实体h'或者尾实体e',r对应关系,为折页损失函数,它是从x或者0中取两者的最大值,
步骤202:对于经过知识图谱表示学习训练后的三元组的向量表示,在网络表示学习模型训练中,头实体向量和尾实体向量被分别更新成网络表示学习模型中第k次迭代的节点v i 、节点v j 对应的向量表示,,d为向量表示的维度,R d 表示维度为d的网络语义空间,网络表示学习的损失函数定义如下:
步骤203:将学习得到节点v i 、节点v j 对应的向量表示作为第𝑘+1次知识图谱表示学习模型的头实体向量与尾实体向量,进行知识图谱表示学习模型的第𝑘+1轮训练;
根据拟定的迭代次数终止迭代混合表示学习,获得最终所有实体的向量表示。
进一步地,所述方法包括如下约束:
约束CS1:对于获得的头实体的语义等价对以及已知三元组表示和,在负采样过程,对上述两个三元组中对应头实体的S i _app x 与S j _app y 进行替换时,需将S i _app x 与S j _app y 作为负样例替换的情况排除;
约束CS2:对于获得的尾实体的语义等价对以及已知三元组表示和,在负采样过程,对上述两个三元组中对应尾实体的S i _e x 或S j _e y 进行替换时,需将S i _e x 与S j _e y 作为负样例的情况排除;其中S i _app x 为第i种数据来源编号为x的移动应用,S i _r x 为第i种数据来源编号为x的移动应用所对应的关系,S i _e x 为第i种数据来源编号为x的移动应用所对应的尾实体;S j _app y 为第j种数据来源编号为y的移动应用;S j _ry表示第j种数据来源编号为y的移动应用所对应的关系,S j _ey表示为j种数据来源编号为y的移动应用所对应的尾实体。
进一步地,利用余弦值计算实体向量之间的相似度,将相似度超过设定阈值的向量表示所对应的实体确定为初始语义等价实体对,包括:
其中第i种数据来源编号为x的移动应用S i _app x 所关联的尾实体的向量表示,记为:;第j种数据来源编号为y的移动应用S j _app y 所关联的尾实体的向量表示,记为:;N、M为个数;为第i种数据来源编号为x的移动应用S i _app x 所关联的实体的间接向量表示;为第j种数据来源编号为y的移动应用S j _app y 所关联的实体的间接向量表示;
步骤3.3:将第i种数据来源编号为x的移动应用S i _app x 与第j种数据来源编号为y的移动应用S j _app y 之间的直接相似度与间接相似度进行加权,获得S i _app x 与S j _app y 之间的最终相似度,计算公式如下:;
本发明所取得的有益技术效果:本发明利用相似度计算获得初始语义等价实体对,并进一步利用元规则来挖掘潜在的实体语义等价关系,并利用概率图模型根据概率图模型计算潜在语义等价实体对成立的概率,根据概率最终确定多源移动应用中实体之间的语义等价关系,降低了实体语义等价关系数据集计算的复杂度。有助于迁移到其它多领域多源知识图谱的构建过程中。本发明可以显著降低多源数据在知识图谱构建过程中实体语义等价关系的人工标注成本,可以生成高质量的结构化三元组与实体的等价关系,实现移动应用信息之间的共享与重用的价值。此外,本发明利用知识图谱表示学习与网络表示学习的混合训练模式可以进一步提高关联实体发现的精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明方法实施例的多源移动应用知识图谱构建方法的流程图;
图2是本发明方法实施例的基于知识图谱表示学习和网络表示的实体发现流程图;
图3是本发明方法实施例的基于概率图模型Noisy-or建模实体对齐的元规则。
具体实施方式
为进一步阐明本申请的技术方案,下面结合附图和具体实施方式,对本申请的实施方式作进一步地详细描述。应当指出的是,以下所述仅是本发明的优选实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
实施例:多源移动应用知识图谱构建方法,包括以下步骤:
步骤1:基于获取的来自不同数据源的移动应用数据,生成三元组集合{(S o _app z ,r,e)},S o _app z 为唯一标识,其中S o _app z 对应头实体,S o _app z 定义为第o种数据来源编号为z的移动应用,r 对应关系,e对应尾实体;
步骤2:分别对实体与关系进行编码,获得对应的向量表示;
步骤3:利用余弦值计算实体向量之间的相似度,将相似度超过设定阈值的向量表示所对应的实体初步确定为实体的语义等价对;
步骤4:根据初步确定的实体的语义等价对确定种子集合,根据元规则从所述种子集合中推理出潜在的实体或关系的语义等价对;
根据概率图模型计算潜在的实体或关系的语义等价对成立的概率;将计算的概率与设定概率阈值比较,根据比较结果最终确定多源移动应用中实体或关系之间的语义等价关系,进而获得多源移动应用知识图谱。
具体实施例中,采用scrapy框架从各大应用商城中采集移动应用相关联的数据,定义各移动应用的名称形成一个应用名称列表。从百科中获取更全面的数据对移动应用的名称列表进行补充,其中名称列表S可由以下集合操作获得;
S={app z | S o _app z , o=1,2,…,O;z=1,2,..,Z};
对于第z个移动应用app z ,定义其在数据源o的唯一标识,记为S o _app z ,其中O为不同来源的个数,Z为每个数据源中移动应用的个数。
对采集的数据进行预处理,解析采集的数据类型,将分类好的结构化和非结构化的数据都转换成结构化的三元组集合,包括:
步骤1.1:解析收集移动应用对应数据源所关联的数据类型,将数据类型分为两类,即结构化数据、无结构化数据;
步骤1.2:解析结构化数据的属性类型,通常为应用商店中移动应用的属性标签(如:应用商城中APP的开发者、公司、语言、版本号、发布日期等)以及百科中移动应用中的infobox描述,可将这类数据直接转换为结构化的三元组形式,{(S o _app z , r,e)},其中S o _appz对应头实体,r为属性标签对应关系,e为属性标签r所对应的实体,对应三元组中的尾实体;
步骤1.3:解析无结构化数据的属性类型,通常为移动商店与百科中关于移动应用的文字简介或文本描述,采用命名实体识别技术来识别文本中的实体,再采用已拟定的关系来对识别的实体进行关系分类,最终形成一定量的三元组{(S o _app z , r’, e’)}来补全移动应用中结构化三元组信息, 其中S o _appz对应头实体,r’为拟定的关系,对应三元组中的关系,e’为拟定关系r对应的实体,对应三元组中的尾实体。
本实施例中,对实体与关系进行编码,获得它们对应的向量表示,包括:步骤2.1:根据不同的数据类型,将它们转换成预训练模型所需要的文本格式,对于结构化的三元组形式{(S o _app z , r, e)},采用“主语谓语为宾语”进行句子陈述表达:(S o _app z [SEP]r[SEP]为[SEP]e),其中[SEP]为分词符标识,“S o _app z ” 、“r” 、“为”、“e”均看作是分词过程中的词块,记为token。
对于无结构化数据的属性类型,采用分词工具将文本进行分词,为了提升分词的精度,可在分词工具中绑定人工定义词典。
步骤2.2:采用适配中文预训练模型BERT对分词后的token进行编码,获得所有token的向量表示。
进一步地,在其它实施例中,为了提高编码的效果和原句子序列预测的准确性,在编码过程中,基于同义词词典将分词后的名词或者形容词进行随机替换,替换概率的计算公式如下:
其中,t i 为句子中的词块,n w 为句子中词块的个数,w(t i )为替换词块t i 所带来的损失,它的取值为[0,1],exp(.)为幂指数函数;
在具体实施例中,基于利用适配中文预训练模型BERT获得的向量表示,之后还包括:利用知识图谱表示学习模型,更新头实体和尾实体的向量表示,基于更新后的向量表示,利用网络表示学习模型获得最终的实体向量表示,所述最终的实体向量表示用于利用cosine余弦值计算实体向量之间的相似度。
采用知识图谱表示学习与网络表示学习的混合训练模式,将所有三元组进行混合迭代训练,如图2所示,具体包括:
步骤201:对于所有三元组,采用知识图谱表示学习模型进行训练,训练模型的损失函数如下:
其中,k为迭代混合表示学习的循环次数,表示第k+1轮基于知识图谱表示学习模型的损失函数,表示通过负采样过程得到的负例三元组集合,所述负采样过程将三元组中的头实体h与尾实体e随机替换成头实体h'或者尾实体e',为折页损失函数,它是从x或者0中取两者的最大值,
步骤202:对于经过知识图谱表示学习训练后的三元组的向量表示,在网络表示学习模型训练中,头实体向量和尾实体向量被分别更新成网络表示学习模型中第k次迭代的节点v i ,v j 对应的向量表示,,d为向量表示的维度,R d 表示维度为d的网络语义空间,网络表示学习的损失函数定义如下:
步骤203:将学习得到节点v i ,v j 对应的向量表示作为第𝑘+1次知识图谱表示学习模型的头实体向量与尾实体向量,进行知识图谱表示学习模型的第𝑘+1轮训练;
根据拟定的迭代次数终止迭代混合表示学习,获得最终所有实体的向量表示。
具体实施例中,具体的知识图谱表示学习模型和网络表示学习模型可采用现有技术实现,其不是本申请的发明点,而且本申请无需限定模型的具体实现方法,因此不做赘述。
本实施例中,将步骤3称为“多源实体发现算法”;将步骤4称为“多源实体对齐算法”,如图1所示。在其它实施例中,为了增加移动应用之间相似度的可靠性,采用的实体发现算法包括:利用移动应用所关联的实体向量来间接计算移动应用之间的相似度,与直接相似度进行加权,最终获得移动应用之间的相似度;包括:
步骤3.3:将第i种数据来源编号为x的移动应用S i _app x 与第j种数据来源编号为y的移动应用S j _app y 之间的直接相似度与间接相似度进行加权,获得S i _app x 与S j _app y 之间的最终相似度,计算公式如下:
本实施例中,将阈值筛选后的实体发现结果作为实体对齐算法的输入,从实体对齐算法中得到多源数据中实体之间的对应关系。
可选地,在多源实体发现算法中,从实体的语义层面,根据实体对应向量之间相似度获得初始语义等价对集合,从实体的语法层面,利用基于字符串长短距离的方法计算实体之间的语法相似度获得的语法等价对集合,将两者的结果进行互补,对语义等价对集合与语法等价对集合进行并集操作,确定初始的种子集合,能够提高实体发现的精度。
多源实体对齐算法具体包括:
步骤4.1:基于字符串相等算法获取不同数据源之间实体的语义等价对,同时,根据拟定阈值筛选出实体发现结果中高相似度的实体的等价对,将两者的结果经人工校验组成初始的语义等价对的种子集合,记为ES=AES⋃RES⋃EES,其中AES表示头实体的语义等价对集合,RES表示关系的语义等价对集合,EES表示尾实体的语义等价对集合;
步骤4.2:根据设计的元规则从AES、RES、EES来找出潜在实体或关系的语义等价对,所述元规则包括:
所述元规则包括:
第1条规则R 1:对于三元组和,其中S i _app x 为第i种数据来源编号为x的移动应用,S i _r x 为第i种数据来源编号为x的移动应用所对应的关系,S i _e x 为第i种数据来源编号为x的移动应用所对应的尾实体;S j _app y 为第j种数据来源编号为y的移动应用;S j _ry表示第j种数据来源编号为y的移动应用所对应的关系,S j _ey表示为j种数据来源编号为y的移动应用所对应的尾实体;
如果S i _app x 与S j _app y 存在头实体的语义等价关系,即头实体的语义等价对,表示为,S i _e x 与S j _e y 存在尾实体的语义等价关系,即尾实体的语义等价对,表示为,那么S i _r x 与S j _r y 具有关系的语义等价关系即关系的语义等价对的置信度为p;规则R 1表示为:
第2条规则R 2 :对于三元组和,如果S i _app x 与S j _app y 存在头实体的语义等价关系,表示为,关系S i _r x 与S j _r y 存在关系的语义等价关系,表示为,那么S i _e x 与S j _e y 具有尾实体的语义等价关系的置信度为q;
具体实施例中,可选地,同样利用余弦值计算关系向量之间的相似度,将相似度超过设定阈值的向量表示所对应的关系初步确定为关系的语义等价对。
规则R 2表示为:
第3条规则R 3 :对于三元组和,如果S i _r x 与S j _r y 存在关系的语义等价关系,表示为:;S i _e x 与S j _e y 存在尾实体的语义等价关系,表示为,那么S i _app x 与S j _app y 存在头实体的语义等价关系的置信度为l;规则R 3表示为:
其中,R i = T表示第i条规则满足触发条件,i∈{1,2,3},R i = F表示第i条规则不满足触发条件,λ 0表示原始语义等价实体对之间的相似度,表示第R i 条规则成立的概率,对应第i条规则R i 的置信度,K i 表示第i条规则R i 触发的次数,表示第i条规则R i 的概率分布,S 0为不同数据源实体语义等价或关系语义等价的初始概率;表示在第1条规则R 1、第2条规则R 2 、第3条规则R 3与初始概率S 0条件下,不同数据源实体语义等价或关系语义等价不成立的概率,表示在第1条规则R 1、第2条规则R 2 、第3条规则R 3与初始概率S 0下,不同数据源实体语义等价或关系语义等价成立的概率。可选地,S 0为不同数据源实体语义等价的初始概率,即λ 0。
步骤4.4:基于设计的三种等价关系的元规则计算不同数据源实体语义等价关系的成立的概率,并根据拟定的阈值进行筛选,获取最终语义等价实体对。
具体实施例中,所述面向多源移动应用知识图谱构建方法还包括:将多源实体对齐算法的结果作为多源实体发现算法的约束,从而使得实体发现算法与实体对齐算法实现相互补充与相互约束,最终完成算法的迭代,具体约束如下:
约束CS1:对于获得的头实体的语义等价关系以及已知三元组表示和,在负采样过程,对上述两个三元组中对应头实体的S i _app x 与S j _app y 进行替换时,需将S i _app x 与S j _app y 作为负样例替换的情况排除;
约束CS2:对于获得的尾实体的语义等价关系以及已知三元组表示和,在负采样过程,对上述两个三元组中对应尾实体的S i _e x 或S j _e y 进行替换时,需将S i _e x 与S j _e y 作为负样例的情况排除;其中S i _app x 为第i种数据来源编号为x的移动应用,S i _r x 为第i种数据来源编号为x的移动应用所对应的关系,S i _e x 为第i种数据来源编号为x的移动应用所对应的尾实体;S j _app y 为第j种数据来源编号为y的移动应用;S j _ry表示第j种数据来源编号为y的移动应用所对应的关系,S j _ey表示为j种数据来源编号为y的移动应用所对应的尾实体。
具体实施例中,可重复步骤3多源实体发现算法与步骤4的多源实体对齐算法的过程,直至无新增实体对出现,最终形成多源移动应用知识图谱。
以上实施例,基于设计的三种等价关系的元规则计算不同数据源初始语义等价实体对中实体语义等价关系的成立的概率,并根据拟定的阈值进行筛选,获取最终语义等价实体对。在其它的实施例中,可通过利用图像规则PR获取语义等价实体对,提实体对齐算法的精准度,包括:
将不同数据源的移动应用的图片标识进行向量表示,采用图片标识的灰度进行建模;
采用卷积神经网络对提取图像的灰度进行深度特征表示,利用图像匹配规则进行判断移动应用是否等价:
图像规则PR:
(S i _appx,图片标识,S i _Picx)∧(S j _appy,图片标识,S j _Picy) )∧Sim(S i _Picx,S j _Pict)≥δ⇒(S i _appx,S j _appy,≡);
其中S i _appx与S j _appy对应不同数据源i,j的移动应用,S i _Picx与S j _Picy对应移动应用S i _appx与S j _appy图片标识所关联的图像,“”为“语义等价”关系,表示图像匹配阈值,为[0,1]之间的实数值,若图像匹配的相似度大于设定的阈值,则移动应用S i _appx与S j _appy语义相等。
本发明联合实体发现与实体对齐的迭代策略可以显著降低多源数据在图谱构建过程中实体对应关系的人工标注成本,有助于扩展到其它领域的知识图谱构建过程中。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (10)
1.一种面向多源移动应用知识图谱构建方法,其特征在于,包括:
基于获取的来自不同数据源的移动应用数据,生成三元组集合{(S o _app z , r,e)},其中S o _app z 对应头实体,S o _app z 定义为第o种数据来源编号为z的移动应用,r 对应关系,e对应尾实体;
分别对实体与关系进行编码,获得对应的向量表示;
利用余弦值计算实体向量之间的相似度,将相似度超过设定阈值的向量表示所对应的实体初步确定为实体的语义等价对;
根据初步确定的实体的语义等价对确定种子集合,根据元规则从所述种子集合中推理出潜在的实体或关系的语义等价对;
根据概率图模型计算潜在的实体或关系的语义等价对成立的概率;将计算的概率与设定概率阈值比较,根据比较结果最终确定多源移动应用中实体或关系之间的语义等价关系,进而获得多源移动应用知识图谱。
2.根据权利要求1所述的一种面向多源移动应用知识图谱构建方法,其特征在于,分别对实体与关系进行编码,获得对应的向量表示,包括:
采用“主语谓语为宾语”的形式对每个三元组进行句子陈述表达,句子表示为:(S o _app z [SEP]r[SEP]为[SEP]e);其中[SEP]为分词符标识,“S o _app z ”、“r” 、“为”和“e”均看作是分词过程中的词块;
将句子作为输入,采用适配中文预训练模型BERT对分词获得的词块进行编码,获得每个三元组中“S o _app z ”、“r”和“e”的向量表示。
4.根据权利要求1所述的一种面向多源移动应用知识图谱构建方法,其特征在于,所述种子集合记为ES=AES⋃RES⋃EES,其中AES表示头实体的语义等价对集合,RES表示关系的语义等价对集合,EES表示尾实体的语义等价对集合;
所述元规则包括:
第1条规则R 1:对于三元组和,其中S i _app x 为第i种数据来源编号为x的移动应用,S i _r x 为第i种数据来源编号为x的移动应用所对应的关系,S i _e x 为第i种数据来源编号为x的移动应用所对应的尾实体;S j _app y 为第j种数据来源编号为y的移动应用;S j _ry表示第j种数据来源编号为y的移动应用所对应的关系,S j _ey表示为j种数据来源编号为y的移动应用所对应的尾实体;
如果S i _app x 与S j _app y 是头实体的语义等价对,表示为,S i _e x 与S j _e y 是尾实体的语义等价对,表示为,那么S i _r x 与S j _r y 是关系的语义等价对的置信度为p;规则R 1表示为:
第2条规则R 2 :对于三元组和,如果S i _app x 与S j _app y 是头实体的语义等价对,表示为,关系S i _r x 与S j _r y 是关系的语义等价对,表示为,那么S i _e x 与S j _e y 是尾实体的语义等价对的置信度为q;规则R 2表示为:
第3条规则R 3 :对于三元组和,如果S i _r x 与S j _r y 是关系的语义等价对,表示为:;S i _e x 与S j _e y 是尾实体的语义等价对,表示为,那么S i _app x 与S j _app y 是头实体的语义等价对,的置信度为l;规则R 3表示为:
其中,R i = T表示第i条规则满足触发条件,i∈{1,2,3},R i = F表示第i条规则不满足触发条件,λ 0表示原始语义等价实体对之间的相似度,表示第R i 条规则成立的概率,对应第i条规则R i 的置信度,K i 表示第i条规则R i 触发的次数,表示第i条规则R i 的概率分布,S 0为不同数据源实体语义等价或关系语义等价的初始概率;表示在第1条规则R 1、第2条规则R 2 、第3条规则R 3与初始概率S 0条件下,不同数据源实体语义等价或关系语义等价不成立的概率,表示在第1条规则R 1、第2条规则R 2 、第3条规则R 3与初始概率S 0下,不同数据源实体语义等价或关系语义等价成立的概率。
6.根据权利要求1所述的一种面向多源移动应用知识图谱构建方法,其特征在于,根据初始语义等价实体对确定种子集合,包括:
基于根据相似度初步确定的实体的语义等价对以及利用字符串比较实体之间的字符长度获得的实体的语义等价对,确定种子集合。
7.根据权利要求1所述的一种面向多源移动应用知识图谱构建方法,其特征在于,对实体与关系进行编码,获得向量表示,之后还包括:
利用知识图谱表示学习模型,更新头实体和尾实体的向量表示,基于更新后的向量表示,利用网络表示学习模型获得最终的实体向量表示。
8.根据权利要求7所述的一种面向多源移动应用知识图谱构建方法,其特征在于,预先对网络表示学习模型和知识图谱表示学习模型进行迭代混合表示学习,包括:
步骤201:对知识图谱表示学习模型进行训练,训练模型的损失函数如下:
其中,k为迭代混合表示学习的循环次数,表示第k+1轮基于知识图谱表示学习模型的损失函数,表示通过负采样过程得到的负例三元组集合,所述负采样过程将三元组中的头实体h与尾实体e随机替换成头实体h'或者尾实体e',为折页损失函数,它是从x或者0中取两者的最大值,表示知识图谱表示学习模型在第k个次迭代三元组 (h,r,e)的得分函数;表示知识图谱表示学习模型在第k个次迭代更新头实体和尾实体后的三元组 (h',r,e')的得分函数;
步骤202:对于经过知识图谱表示学习训练后的三元组的向量表示,在网络表示学习模型训练中,头实体向量和尾实体向量被分别更新成网络表示学习模型中第k次迭代的节点v i 、节点v j 对应的向量表示,,d为向量表示的维度,R d 表示维度为d的网络语义空间,网络表示学习的损失函数定义如下:
步骤203:将学习得到节点v i 、节点v j 对应的向量表示作为第𝑘+1次知识图谱表示学习模型的头实体向量与尾实体向量,进行知识图谱表示学习模型的第𝑘+1轮训练;
根据拟定的迭代次数终止迭代混合表示学习,获得最终所有实体的向量表示。
9.根据权利要求8所述的一种面向多源移动应用知识图谱构建方法,其特征在于,所述方法包括如下约束:
约束CS1:对于获得的头实体的语义等价对以及已知三元组表示和,在负采样过程,对上述两个三元组中对应头实体的S i _app x 与S j _app y 进行替换时,需将S i _app x 与S j _app y 作为负样例替换的情况排除;
约束CS2:对于获得的尾实体的语义等价对以及已知三元组表示和,在负采样过程,对上述两个三元组中对应尾实体的S i _e x 或S j _e y 进行替换时,需将S i _e x 与S j _e y 作为负样例的情况排除;其中S i _app x 为第i种数据来源编号为x的移动应用,S i _r x 为第i种数据来源编号为x的移动应用所对应的关系,S i _e x 为第i种数据来源编号为x的移动应用所对应的尾实体;S j _app y 为第j种数据来源编号为y的移动应用;S j _ry表示第j种数据来源编号为y的移动应用所对应的关系,S j _ey表示为j种数据来源编号为y的移动应用所对应的尾实体。
10.根据权利要求1所述的一种面向多源移动应用知识图谱构建方法,其特征在于,利用余弦值计算实体向量之间的相似度,将相似度超过设定阈值的向量表示所对应的实体确定为初始语义等价实体对,包括:
其中,第i种数据来源编号为x的移动应用S i _app x 所关联的尾实体的向量表示,记为:;第j种数据来源编号为y的移动应用S j _app y 所关联的尾实体的向量表示,记为,N、M为个数;为第i种数据来源编号为x的移动应用S i _app x 所关联的实体的间接向量表示,为第j种数据来源编号为y的移动应用S j _app y 所关联的实体的间接向量表示;
步骤3.3:将第i种数据来源编号为x的移动应用S i _app x 与第j种数据来源编号为y的移动应用S j _app y 之间的直接相似度与间接相似度进行加权,获得S i _app x 与S j _app y 之间的最终相似度,计算公式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211187813.7A CN115292520B (zh) | 2022-09-28 | 2022-09-28 | 一种面向多源移动应用知识图谱构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211187813.7A CN115292520B (zh) | 2022-09-28 | 2022-09-28 | 一种面向多源移动应用知识图谱构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115292520A true CN115292520A (zh) | 2022-11-04 |
CN115292520B CN115292520B (zh) | 2023-02-03 |
Family
ID=83833596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211187813.7A Active CN115292520B (zh) | 2022-09-28 | 2022-09-28 | 一种面向多源移动应用知识图谱构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115292520B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116049148A (zh) * | 2023-04-03 | 2023-05-02 | 中国科学院成都文献情报中心 | 一种元出版环境下领域元知识引擎的构建方法 |
CN116756327A (zh) * | 2023-08-21 | 2023-09-15 | 天际友盟(珠海)科技有限公司 | 基于知识推断的威胁情报关系抽取方法、装置和电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160335544A1 (en) * | 2015-05-12 | 2016-11-17 | Claudia Bretschneider | Method and Apparatus for Generating a Knowledge Data Model |
CN109582761A (zh) * | 2018-09-21 | 2019-04-05 | 浙江师范大学 | 一种基于网络平台的词语相似度的中文智能问答***方法 |
CN109992786A (zh) * | 2019-04-09 | 2019-07-09 | 杭州电子科技大学 | 一种语义敏感的rdf知识图谱近似查询方法 |
-
2022
- 2022-09-28 CN CN202211187813.7A patent/CN115292520B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160335544A1 (en) * | 2015-05-12 | 2016-11-17 | Claudia Bretschneider | Method and Apparatus for Generating a Knowledge Data Model |
CN109582761A (zh) * | 2018-09-21 | 2019-04-05 | 浙江师范大学 | 一种基于网络平台的词语相似度的中文智能问答***方法 |
CN109992786A (zh) * | 2019-04-09 | 2019-07-09 | 杭州电子科技大学 | 一种语义敏感的rdf知识图谱近似查询方法 |
Non-Patent Citations (2)
Title |
---|
傅端康: "基于知识图谱的软件众包服务的语义搜索", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 * |
胡盼盼: "《自然语言处理从入门到实战》", 30 April 2020, 中国铁道出版社 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116049148A (zh) * | 2023-04-03 | 2023-05-02 | 中国科学院成都文献情报中心 | 一种元出版环境下领域元知识引擎的构建方法 |
CN116049148B (zh) * | 2023-04-03 | 2023-07-18 | 中国科学院成都文献情报中心 | 一种元出版环境下领域元知识引擎的构建方法 |
CN116756327A (zh) * | 2023-08-21 | 2023-09-15 | 天际友盟(珠海)科技有限公司 | 基于知识推断的威胁情报关系抽取方法、装置和电子设备 |
CN116756327B (zh) * | 2023-08-21 | 2023-11-10 | 天际友盟(珠海)科技有限公司 | 基于知识推断的威胁情报关系抽取方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115292520B (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11501182B2 (en) | Method and apparatus for generating model | |
CN111444340B (zh) | 文本分类方法、装置、设备及存储介质 | |
CN115292520B (zh) | 一种面向多源移动应用知识图谱构建方法 | |
CN116775847B (zh) | 一种基于知识图谱和大语言模型的问答方法和*** | |
CN116992005B (zh) | 基于大模型及本地知识库的智能对话方法、***及设备 | |
CN117033571A (zh) | 知识问答***构建方法及*** | |
US20240143644A1 (en) | Event detection | |
Zhang et al. | Multifeature named entity recognition in information security based on adversarial learning | |
CN115310551A (zh) | 文本分析模型训练方法、装置、电子设备和存储介质 | |
CN113761190A (zh) | 文本识别方法、装置、计算机可读介质及电子设备 | |
Kathuria et al. | Real time sentiment analysis on twitter data using deep learning (Keras) | |
CN116383399A (zh) | 一种事件舆情风险预测方法及*** | |
CN116304748A (zh) | 一种文本相似度计算方法、***、设备及介质 | |
CN115759254A (zh) | 基于知识增强生成式语言模型的问答方法、***及介质 | |
CN116303881A (zh) | 一种基于自监督表示学习的企业单位地址匹配方法及装置 | |
Pu et al. | Lexical knowledge enhanced text matching via distilled word sense disambiguation | |
CN117807482A (zh) | 海关报关单的分类方法、装置、设备及存储介质 | |
Hao et al. | A novel method using LSTM-RNN to generate smart contracts code templates for improved usability | |
CN113704393A (zh) | 关键词提取方法、装置、设备及介质 | |
Yang et al. | CNN-based two-branch multi-scale feature extraction network for retrosynthesis prediction | |
CN115048929A (zh) | 敏感文本监测方法及装置 | |
Hu et al. | Joint contrastive learning and belief rule base for named entity recognition in cybersecurity | |
CN114756679A (zh) | 基于交谈注意力机制的中文医学文本实体关系联合抽取方法 | |
Sultana et al. | Fake News Detection Using Machine Learning Techniques | |
CN115757837B (zh) | 知识图谱的置信度评估方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |