CN112784049B - 一种面向文本数据的在线社交平台多元知识获取方法 - Google Patents
一种面向文本数据的在线社交平台多元知识获取方法 Download PDFInfo
- Publication number
- CN112784049B CN112784049B CN202110117805.4A CN202110117805A CN112784049B CN 112784049 B CN112784049 B CN 112784049B CN 202110117805 A CN202110117805 A CN 202110117805A CN 112784049 B CN112784049 B CN 112784049B
- Authority
- CN
- China
- Prior art keywords
- entity
- knowledge
- time
- entities
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 239000013598 vector Substances 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000000295 complement effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000011002 quantification Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 239000000203 mixture Substances 0.000 abstract description 3
- 238000007418 data mining Methods 0.000 abstract 1
- 238000005065 mining Methods 0.000 abstract 1
- 238000005457 optimization Methods 0.000 description 4
- 239000002537 cosmetic Substances 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及知识的表示和获取领域,其公开了一种面向文本数据的在线社交平台多元知识获取方法,解决传统技术中的知识获取方法存在的缺乏对多元知识的表示能力、获得的知识不完整、不准确的问题。本发明首先构造适合在线社交平台相关知识表示的多元知识的基本组成结构以及知识属性标签,然后从用户发言的文本数据中自动抽取知识实体与关系;并对文本数据进行数据挖掘,从所获得多元知识中,进一步提取蕴含隐藏的知识及关联,最终完成社交平台多元知识的全面获取。本发明提供的方法通过采用多元的知识结构和充分挖掘社交平台上文本数据中潜在的知识及关联,提高了获取的知识完整性和准确性,可以用于社交平台内容和商品等推荐。
Description
技术领域
本发明涉及知识的表示和获取领域,具体涉及一种可以用于内容推荐的面向文本数据的在线社交平台多元知识获取方法。
背景技术
随着网络技术和信息技术的飞速发展,全球的数据总量呈现指数级的增长态势,数据浪潮铺面而来。在线社交平台,作为普通用户日常交流的核心途径,其数据反映了客观世界的信息,通过对这些数据的分析,能从中获取到大量的知识信息。因此,为了挖掘社交平台上用户发言中的有价值信息并加以利用,各种知识获取技术不断涌现,并日趋活跃。然而,数据中通常蕴藏着多元知识,例如描述事物的属性、时空位置、逻辑关联等。现有知识获取方法,通常将知识获取的目标限定为RDF三元组<主-谓-宾>的方式,缺乏对多元知识的表示能力。同时,方法本身也难以支撑多元知识的全面获取,造成所得知识存在不完整的问题,而简单的结合不同抽取方法,会忽略多元知识内部的关联,造成知识获取不准确。
发明内容
本发明所要解决的技术问题是:提出一种面向文本数据的在线社交平台多元知识获取方法,解决传统技术中的知识获取方法存在的缺乏对多元知识的表示能力、获得的知识不完整、不准确的问题。
本发明解决上述技术问题采用的技术方案是:
一种面向文本数据的在线社交平台多元知识获取方法,包括:
A、设计多元知识六元组结构,所述六元组包括实体集、关系、时间约束、空间约束、类别和实体属性集;
B、基于所述多元知识六元组结构,获取文本数据的多元知识中的实体信息及其相关属性;
C、基于获取的多元知识中的实体信息及其相关属性,提取实体间的多元关系;
D、基于获取的实体间的多元关系,通过时间约束和空间约束抽取出蕴含的隐藏知识。
作为进一步优化,步骤A具体包括:
A1、定义多元知识的六元组结构表达形式,包含{实体集,关系,属性集,类别,时间约束,空间约束};
A2、设计多元知识实体集中的实体间关系映射规则;
A3、设计多元知识属性集结构,分别记录关系及实体非时空类的属性及标签;
A4、设计多元知识类别的结构,表示知识的粒度信息,从而将多元知识归类为表示个体关联的原子案例知识、表示多类实体或概念间关联的抽象知识、表示事件及情境间关联的逻辑知识;
A5、设计多元知识的时间约束{[b1,e1],[b2,e2],...,[bm,em]},其中每个时间区间记录多元知识的生效时间段,左端点为起始时间,右端点为结束时间;当约束具体指定一个时间点时,时间约束的区间两端的值相等;
A6、设计多元知识的空间约束{<{s11,s12,...},{s21,s22,...}>,...},其中{si1,si2,...}记录时间段[bi,ei]内知识生效的空间描述序列;若所有空间范围均生效,则对应空间约束为空集。
具体的,步骤A2中,所述设计多元知识实体集中的实体间关系映射规则,具体包括:
若六元组的实体集中,实体个数为2,则关系表示为{关系名称,<头实体,尾实体>},其中头实体对应实体集中的实体1,尾实体对应实体集中的实体2;
若六元组的实体集中,实体个数多于2,则关系表示为{关系名称,<要素实体1,要素实体2,…,要素实体n>},其中要素实体n对应实体集中的实体n;
当多元关系为并列关系时,采用一条无向超边连接这些实体;当多元关系为非并列逻辑关系时,用一条带方向顺序的超边依次连接要素实体,构成多元关系。
作为进一步优化,步骤B具体包括:
B1、预处理文本数据,完成文本中从代词到实体的替换;
B2、针对预处理后的文本数据,通过混合的规则匹配进行实体提取;
B3、从预处理后的文本数据中提取时间信息,并对应至实体,获得实体时间约束;
B4、结合实体时间约束从预处理后的文本数据中提取相应空间信息,并对应至实体,获得实体空间约束;
B5、基于实体集合和属性信息,结合时间约束和空间约束进行相同实体的消歧,获得新的实体集合;
B6、基于所述新的实体集合,从文本数据中抽取实体的属性信息。
具体的,步骤B2中,所述通过混合的规则匹配进行实体提取,具体包括:
收集社交平台相关规则模版,包括专有名词和类别信息;并通过这些规则模版的匹配,进行面向文本数据的实体获取,若匹配成功则获得对应的实体和类别信息;若匹配失败,再进行普遍规则模版匹配;最后,将得到的实体及其类别信息分别加入到六元组结构中。
具体的,步骤B3中,所述从预处理后的文本数据中提取时间信息,并对应至实体,获得实体时间约束,具体包括:
B31、提取文本数据中显式的时间信息,初步整合出只包含时间节点的时间序列,然后整理与时间转换有关的词汇和具有划分时间区间意义的词汇集合,按此集合将所述时间序列扩充,扩充结果是包含多段完整的时间区间和若干的无开始或者结束时间的时间区间的时间序列;
B32、按文本数据中实体出现的位置,将实体与时间区间对应起来:针对每个实体获取其对应的时间约束,对出现在多个时间区间的实体,如果这些时间区间没有重叠部分,本实体直接对应多个时间区间,如果这些时间区间有重叠部分,将这些时间区间取并集,去掉时间冗余。
具体的,步骤B4中,所述结合实体时间约束从预处理后的文本数据中提取相应空间信息,并对应至实体,获得实体空间约束,具体包括:
B41、以文本数据中的时间转换动作词作为标志,对文本数据进行划分;
B42、在每一个划分内部,通过规则匹配提取与地点空间相关的名词,并分析句子成分,若该名词不是主语或宾语,则作为空间约束;
B43、对划分内的每一个实体,将该约束加入相应的六元组空间约束中。
具体的,步骤B5中,所述基于实体集合和属性信息,结合时间约束和空间约束进行相同实体的消歧,具体包括:
B51、针对实体集合中的每一个实体,使用word2Vec方法将当前文本数据中实体指称项的上下文词组转化成N维词向量;
B52、按照{开始时间,结束时间,时间跨度,空间约束}的形式构建时空约束向量,若无开始时间或结束时间,相应位置为0;
B53、对所述N维词向量和时空约束向量进行组合,得到N+4维特征向量,绘制k-距离曲线图,图中明显拐点的位置参数设为DBSCAN的邻域半径参数,点在邻域内成为核心对象的最小邻域点数设置为大于N+4的数;
B54、通过DBSCAN方法进行聚类,聚为一类的实体名称归为一个类别,通过对类别内名称均匀采样,获得新的实体名称,完成实体消歧。
具体的,步骤B6中,所述基于所述新的实体集合,从文本数据中抽取实体的属性信息,具体包括:
B61、通过语义角色分析、句法分析及词性分析,从文中实体出现的所有位置的上下文中抽取实体属性;
B62、若实体的一个属性具有多个属性值,则采用层次化的评估方法进行属性值筛选,分为三个层次:第一层通过属性值可靠性评估,第二层通过相似属性值出现频率评估,第三层通过时效性评估,设置一个当前时间的时间标记,越靠近当前时间的属性值时效性指标评分越高;对上述三个指标进行加和,结果进行归一化,得到一个0至1之间的评分,保留评分最高的10个属性值,并将评分最高的属性值设置为主要,其余为次要。
作为进一步优化,步骤C具体包括:
C1、对文本数据进行向量化处理,获得对应的特征向量;
C2、通过关系模型学习、概率分析进行关系发现;
C3、通过基于关系相似性的分类方法实现关系合并。
具体的,步骤C1中,所述对文本数据进行向量化处理,获得对应的特征向量,包括:
C11、针对文本数据中实体的上下文信息,通过word2vec方法完成文字到向量的映射;
C12、针对文本数据中空间约束信息,基于地图数据库,将其转换为数字向量表示;
C13、针对文本数据中时间约束信息,将其粒度统一为日期向量;
C14、通过基于多元信息的向量整合方法,对C11-C13中的得到的对应向量进行合并得到目标特征向量。
具体的,步骤C2中,所述通过关系模型学习、概率分析进行关系发现,具体包括:
C21、针对每一个实体子集,基于目标特征向量,通过关系模型学习,从特征向量中提取出不同实体对间关系初值;
C22、基于所述关系初值,通过时间距离、空间距离以及实体间属性值差,逐个进行不同实体对间的关系量化比较,得到关系间值M:
M=α1·I+α2·t+α3·s+α4·i
其中,α1,α2,α3,α4分别是关系初值、时间距离、空间距离以及属性值差的系数,t,s,i分别是时间距离、空间距离以及属性值差;
C23、基于所述关系间值进行关系量化构建,若当前间值大于关系阈值,则构建实体子集内部的关系;其中,阈值设置方法为:根据总体实体数量,动态设定节点最大出入度,调整当前状态平均关系间值作为关系阈值;
C24、基于构建的实体子集内部的关系,若实体连接数大于出入度上限,则剪去最小关系间值一路;
C25、对同一实体子集的多种关系进行概率分析,取最大可能结果作为实体关系,加入到六元组结构中,若子集中的实体个数大于2,则为多元关系。
具体的,步骤C3中,所述通过基于关系相似性的分类方法实现关系合并,具体包括:
C31、针对每一对相同模式的关系中的实体集合,根据实体的时间约束和空间约束,采用欧氏距离计算方法计算对应实体间的时间距离和空间距离;
C32、根据实体间的关系,通过余弦相似度计算关系间的相似度;
C33、基于实体间的时间距离、空间距离以及关系间的相似度,通过归一化方法,结合三个变量得到关系总体相似性Cs:
Cs=β1·t+β2·s+β3·cos
其中,β1,β2,β3分别是时间距离、空间距离以及余弦相似性的系数,t,s分别是时间距离以及空间距离;
C34、基于关系总体相似性进行关系分类:将关系相似性大于或等于相似性阈值的关系归于一类,将低于相似性阈值的关系归于一类,直到所有关系分类完成,更新相似度阈值,进行下一轮关系分类;
C35、重复步骤C34,直到类数达到上限,关系分类结束,实现关系初步合并;
C36、针对关系初步合并结果,计算类中包含各实体的出现频率,取频率最高的两个实体,将它们之间的关系作为关系合并后的关系表征。
作为进一步优化,步骤D具体包括:
D1、根据知识表示结构以及蕴含知识提取所需元素,设计事件实体结构;
D2、通过基于事件实体的分类方法提取事件实体;
D3、采用基于相关度判断的事理知识提取方法获得事理知识,实现隐藏知识的提取。
具体的,步骤D1中,所述设计的事件实体结构为“谓词{主语、宾语、宾语补足语、备注}”,定义备注为时空约束信息。
具体的,步骤D2中,所述通过基于事件实体的分类方法提取事件实体,具体包括:
D21、针对六元组知识集合,按实体进行归类,将带有同一实体的六元组数据归于一类,提取实体集合;
D22、针对每一类六元组数据,基于规则模板方法,提取关系对应的谓词和介词集合;
D23、针对每一类六元组数据,判断其实体集合的对应事件成分,并将实体信息作为对应事件成分的属性值;
D24、合并各个实体的时间约束和空间约束,作为时空约束信息填充备注。
具体的,步骤D3中,所述采用基于相关度判断的事理知识提取方法获得事理知识,实现隐藏知识的提取,具体包括:
D31、针对同一类的事件实体,根据各事件内部实体间的时空约束信息、属性值,对类内事件实体逐个计算与其他事件实体的相关度S:
S=γ1·t+γ2·s+γ3·i
其中,γ1,γ2,γ3分别是时间距离、空间距离以及属性差值的系数,t,s,i分别是时间距离、空间距离以及属性差值;
D32、针对每一组事件,若总体相关度高于阈值,则提取两端谓词,宾语以及宾语补足语建立新的事件实体,完成类内蕴含事件实体提取,并保留原有的事件实体;
D33、针对不同类型的事件实体,根据实体的时空约束信息、属性值等条件,估计事件间联系,对类内事件实体逐个计算与其它类内事件实体的类间相关度ST:
其中,δi是第i跳的事件实体相关度的系数,Si是第i跳的事件实体相关度;
D34、基于类间事件相关度,若类间相关度高于阈值,则提取两端谓词,所填实体为同一实体以外的实体,建立新的事件实体,完成类间事件实体提取。
本发明的有益效果是:
该方法能够充分利用在线社交平台上文本数据中蕴含的丰富信息,进行知识的获取,将文本数据中的时空信息、类别属性信息等关联信息同知识三元组一同提取,与传统的对于文本数据进行知识提取相比,能构成更为全面的多元知识;所提出的关系发现方法,能够从文本数据中同时发现二元和多元关系,社交平台的文本数据的复杂性决定了关系的复杂性,而只有多元的形式才能更准确地表达这种关系,从而本发明扩展了多元知识的内涵;所提出的蕴含知识提取方法,能够充分挖掘蕴含在用户发言中的潜在知识和联系,从普通多元知识中,进一步提取事件逻辑知识,从而提升了多元知识获取的信息深度。
附图说明
图1是本发明实施例中的多元知识获取方法主要流程图;
图2是本发明实施例中的多元知识六元组结构示意图;
图3是本发明实施例中的实体提取的主要流程图;
图4是本发明实施例中的实体提取过程中的时间约束获取流程图;
图5是本发明实施例中的实体提取过程中的实体消歧流程图;
图6是本发明实施例中的实体提取过程中的实体属性获取流程图;
图7是本发明实施例中的关系发现的主要流程图;
图8是本发明实施例中的关系发现过程的关系模型学习、概率分析流程图;
图9是本发明实施例中的关系发现过程的关系合并流程图;
图10是本发明实施例中的蕴含知识提取的主要流程图。
具体实施方式
本发明旨在提出一种面向文本数据的在线社交平台多元知识获取方法,解决传统技术中的知识获取方法存在的缺乏对多元知识的表示能力、获得的知识不完整、不准确的问题。本发明首先构造多元知识的基本组成结构以及知识属性标签,然后从文本数据中自动抽取知识实体与关系;并从所获得多元知识中,进一步提取蕴含隐藏的知识及关联,最终完成多元知识的全面获取。
实施例:
以电商平台商品销售过程为例,采用其中所产生的用户浏览、购买、售后,以及用户交流、用户评论等半结构化、非结构化文本数据进行知识的全面获取。
参见图1,本实施例中的多元知识获取方法包括以下四个大步骤:
S101、设计多元知识的逻辑结构,构建知识提取的六元组;
S102、基于提出的知识六元组,从文本数据中提取实体集、时间约束、空间约束、类别、实体属性集信息;
S103、从文本中分析提取出的实体间的关系,形成完整的多元知识六元组;
S104、从完整的多元知识六元组中,通过时空约束和实体间的关系抽取出事理实体和事理关系。
步骤S101中,在进行知识抽取之前需要先分析定义我们需要知识的内容,定义出知识的多元表示结构,包括如下步骤:
1.1)根据总的知识表示结构,设计待获取多元知识的六元组结构(实体集、关系、属性集、类别、时间约束、空间约束),定义实体集为{实体1,实体2,…,实体n},如图2所示。一个六元组表示一个关系和其包含的所有实体信息,以网上购物为例,实体集中包含的内容有{购买人,购买商品,购买店铺,…}。
1.2)基于1.1中的六元组结构,设计实体集合间的关系映射,包含两个方面:
1)若六元组的实体集中,实体个数为2,则关系表示为{关系名称,<头实体,尾实体>},其中头实体对应实体集中的实体1,尾实体对应实体集中的实体2。
2)若六元组的实体集中,实体个数多于2,则关系表示为{关系名称,<要素实体1,要素实体2,…,要素实体n>},其中要素实体i分别对应实体集中的实体i;随后,当多元关系为并列关系时,采用一条无向超边连接这些实体;当多元关系为非并列逻辑关系时,用一条带方向顺序的超边依次连接要素实体,构成多元关系。
1.3)基于1.1中的六元组结构,提取知识的属性集结构{关系属性集,实体1属性集,实体2属性集,…,实体n属性集},其中每个实体属性有多个,分别记录关系及实体的非时空标签。相较于普通知识只能包含单一的属性,多元知识六元组包含实体全部的属性。
1.4)基于1.1中的六元组结构,多元知识的类别结构,表示知识的粒度信息,包含表示个体关联的原子案例知识、表示多类实体或概念间关联的抽象知识、表示事件及情境间关联的逻辑知识。
1.5)基于1.1中的六元组结构,多元知识的时间约束结构{[b1,e1],[b2,e2],...,[bm,em]},其中每个时间区间记录知识生效时间段,左端点为起始时间,右端点为结束时间。其中,具体指定一个时间点时,时间约束的区间两端的值相等;未知时间点记录为“?”,无时间限制记录为“-∞”及“+∞”。“∞”值表示一个持续性意思,以…为例,表示这一个实体的有效时间还在持续。
1.6)基于1.1中的六元组结构,多元知识的空间约束结构{<{s11,s12,...},{s21,s22,...}>,...},其中{si1,si2,...}记录时间段[bi,ei]内,知识生效的空间描述序列,若所有空间范围均生效,空间约束为空集。
步骤S102中,预处理文本数据,并进行实体抽取,之后获取实体的时空约束,借助时空约束进行实体消歧,获取新的实体类别,最后,获取实体属性,完善六元组信息。其主要流程图参见图3,包括以下步骤:
2.1)文本预处理:
2.1.1)预处理文本数据,从文本中检测是否包含实体,关系,时间空间信息及其他可构成六元组的信息。以推荐为例,{购买时间,购买地点,购买商品的名称,购买商品的信息,购买人}。
2.1.2)删除文本中的无关符号。
2.1.3)利用上下文,对发现的实体提及进行代词关联,完成从代词到实体的替换。
2.2)给出购买信息通过混合的规则匹配进行实体提取:
首先,收集电商相关规则的模版,其中包括电商的专有名词和类别信息。首先利用相关规则模版进行匹配,若匹配成功则获得对应的实体和类别信息;若匹配失败再进行普遍规则模版匹配。将得到的提取结果加入到六元组结构。
2.3)实体时空属性获取:
2.3.1)获取实体的时间约束参见图4。具体如下:
2.3.1.1)提取文本数据中显式的时间信息,比如:购买时间,初步整合出只包含时间节点的时间序列。然后整理与时间转换有关的词汇和具有划分时间区间意义的词汇集合,按此集合将上述时间序列扩充,扩充结果是包含多段完整的时间区间和若干的无开始或者结束时间的时间区间的时间序列,对处于只有开始时间或结束时间的时间区间中的实体,实体对应整个半无限的时间区间,对存在于整个文本数据中都没有任何时间有关元素的实体,实体对应整个无限的时间区间,例如{[9:15,10:05],[10:15,+∞),(-∞,11:00]…}。
2.3.1.2)按文本数据中实体出现的位置,将实体与时间区间对应起来。针对每个实体获取其对应的时间约束,对出现在多个时间区间的实体,如果这些时间区间没有重叠部分,本实体直接对应多个时间区间,如果这些时间区间有重叠部分,将这些时间区间取并集,去掉时间冗余,例如,一个实体提取到的时间区间是{[4:00,6:00],[5:00,7:00],…},合并结果为{[4:00,7:00],…}。
2.3.2)接着获取实体的空间约束。具体如下:
在提取文本中寻找时间转换动作词,每有一个时间转换动作,就根据动作在文本中的位置对应到将时间序列上进行切分。例如,用户进入了店铺A,又去了店铺B,用户进行了两次空间转移,用户的六元组{实体,空间约束}就应该为{用户,(店铺A,店铺B)}。
2.4)基于DBSCAN聚类的实体消歧,流程参见图5:
2.4.1)使用Word2Vec方法将文本数据中实体指称项的上下文词组转化成N维词向量。
2.4.2)将时间约束按照{开始时间,结束时间,时间跨度,空间约束}的形式构建时空约束向量,若无开始时间或结束时间,相应位置为0。
2.4.3)将时空向量和词向量组合得到N+4维特征向量,绘制k-距离曲线图,图中明显拐点的位置参数设为DBSCAN的邻域半径参数,点在邻域内成为核心对象的最小邻域点数设置为大于N+4的数。
2.4.4)通过DBSCAN方法进行聚类,聚为一类的实体名称归为一个类别,通过对类别内名称均匀采样,获得新的实体名称,完成实体消歧。
2.5)基于时间约束的实体属性获取方法,流程参见图6:
2.5.1)通过语义角色分析,句法分析及词性分析,从文中实体出现的所有位置的上下文中抽取实体属性。
2.5.2)获取实体的时间约束,同一时间约束的实体属性归为一组。
2.5.3)若实体的一个属性具有多个属性值,则采用层次化的评估方法:
2.5.3.1)第一层通过属性值可靠性评估,即文本数据中是否给出属性值的来源。以推荐中的用户反馈情况为例,引用用户自己的身高体重信息作为依据得出的评价可靠性评估更好。
2.5.3.2)第二层通过相似属性值出现频率评估。以推荐中购买用户对某一属性的看法为例,评论中表明衣服偏大的人数占比最多,那么偏大这个属性值的评估分数也因此最高。
2.5.3.3)第三层通过时效性评估。设置一个当前时间的时间标记,越靠近当前时间的属性值时效性指标评分越高,以购买用户对商品的反馈为例,当天的评论比一个月前的评论时效性评估分数高,一条评论的追评比首评时效性评估分数高。
2.5.4)对上述三个指标进行加和,结果进行归一化,得到一个0至1之间的评分,保留评分最高的10个属性值,并将评分最高的属性值设置为主要,其余为次要。
步骤S103中,基于文本数据,根据实体信息,通过可信度概率分析以及基于关系相似性的分类方法,实现实体间的关系发现,初步掌握知识,完善六元组实体信息。具体流程参见图7,包含以下步骤:
3.1)通过对数据进行预处理得到对应的特征向量。特征向量能够有效地表示对应数据所包含的信息特征,从而加强实验结果与信息特征间的联系。该步骤包括如下步骤:
3.1.1)对数据进行向量化处理。分别进行文字信息,空间约束信息,时间约束信息的映射工作;
3.1.2)通过word2vec方法完成文字映射工作;
3.1.3)基于地图数据库,将空间约束信息转换为形如“(经度,纬度)”数字向量表示方法;
3.1.4)时间约束信息,精确到日期。如“2020-01-01”转化为向量(20200101,1),针对时间约束信息不全的记录,如只有年份信息(“2020”)或只有日期信息(“01-01”),缺失信息用0来填补,如上例结果为(20200000,1)或(00000101,1)。
3.1.5)通过基于多元信息的向量整合方法,合并得到特征向量,完成映射工作。所述基于多元信息的向量整合方法,即合并提到的三种映射向量,从而得到目标特征向量,如文字映射向量为(a,b),空间约束信息映射向量为(c,d),时间约束信息映射向量为(e,1),则相应的特征向量表示为((a,b),(c,d),(e,1))。
3.2)通过关系模型学习、概率分析进行关系发现。关系发现是知识获取的第一步,直接决定了知识获取的广泛程度以及后期事理知识提取的可靠性。参见图8,包括以下步骤:
3.2.1)通过关系模型学习,从特征向量中提取出不同实体对间关系初值。所述关系模型即由卷积神经网络以及注意力模型结合而成,用于得到实体对间关系初值的网络模型。经过关系模型处理,两两实体对间存在表征关系紧密度的关系初值I。
3.2.2)通过时间距离、空间距离以及实体间属性值差,基于关系初值,逐个进行不同实体对间的关系量化得到关系间值。关于关系间值M的计算方法,遵照下式计算:
M=α1·I+α2·t+α3·s+α4·i
其中,α1,α2,α3,α4分别是关系初值、时间距离、空间距离以及属性值差的系数,t,s,i分别是时间距离、空间距离以及属性值差。所述时空距离是通过欧式距离计算方法计算实体对的时空约束信息差异得来。
3.2.3)根据实体数量动态设定节点最大出入度以及调整当前状态平均关系间值作为关系阈值。
3.2.4)在每次关系量化过程中,当且仅当实体对关系间值大于等于关系阈值,关系形成。
3.2.5)若实体连接数大于出入度,则剪去最小关系间值一路;最后,对单个实体所得的多种关系进行概率分析,取最大可能结果作为实体关系,实现关系发现。
3.3)通过基于关系相似性的分类方法实现关系合并。关系合并目的在于合并相似关系从而达到减少单实体拥有关系数,简化关系网络的目标。关系合并这项任务难点在于关系相似性计算以及关系表征。流程参见图9,包括以下步骤:
3.3.1)基于实体的时空约束,采用欧氏距离计算方法计算时空距离t和s。
3.3.2)得到关系表示的余弦相似度cos。
3.3.3)通过基于关系相似度的归一化方法结合三个变量得到关系相似性。所述的基于关系相似度的归一化方法指的是一种无量纲的加权求和方法。关于关系相似度Cs的计算方法,遵照下式计算:
Cs=β1·t+β2·s+β3·cos
其中,β1,β2,β3分别是时间距离、空间距离以及余弦相似性的系数,t,s分别是时间距离以及空间距离。
3.3.4)采用动态阈值的方法,根据当前关系分类的轮数,动态递增、递减地调整相似性阈值。
3.3.5)在每次关系分类过程中,将关系相似性大于或等于相似性阈值的数据归于一类,将低于相似性阈值的数据归于一类,直到所有数据分类完成,更新相似度阈值,进行下一轮关系分类。
3.3.6)直到类数达到一固定阈值,关系分类结束,实现关系初步合并。
3.3.7)通过计算类中包含各实体的出现频率,取频率最高的两个实体,将它们之间的关系作为关系合并后的关系表征。
3.3.8)若该两实体间并不存在联系,则剔除出现频率较差的实体,由频率其次的实体代替,如此往复,直至关系存在,实现最终关系合并。
步骤S104中,基于实体信息,构建事件实体,通过基于事件实体的分类方法以及基于相关度判断的事理知识提取方法,在已有的关系中发现内在潜藏的事理知识,实现蕴含知识的提取。具体流程参见图10,包含以下步骤:
4.1)根据知识表示结构以及蕴含知识提取所需元素,设计事件实体结构(“谓词{主语、宾语、宾语补足语、备注}”),定义备注为时空约束信息。
4.2)通过基于事件实体的分类方法提取事件实体。事件实体是多元知识表征方式的关键,以事件实体为节点构成的知识图谱是后续实现蕴含知识提取的基础。包括以下步骤:
4.2.1)按实体进行归类,将带有同一实体的六元组数据归于一类,提取实体集合。如在社交网络商品推荐环境中,将带有相同商品名称的六元组数据归于一类。
4.2.2)根据六元组数据信息,类内构建事件实体内容(如由关系提炼相关谓词,由实体集判断句子成分)。
4.2.3)对类内包含的六元组数据,基于规则模板方法,由关系提炼相关谓词;
4.2.4)对类内包含的六元组数据,通过实体集判断句子成分(识别主语、宾语、宾语补足语),并结合实体信息获得其属性值;
4.2.5)根据时空约束信息填充备注。
如面对目标六元组形如({小明,YSL小金条,小红}、购买、{名字(倾向男),化妆品(倾向女性用品),名字(倾向女)}、/、2020-11-11),能够提取事件实体形如(购买{小明,化妆品,小红,2020-8-25(情人节)})。则可大概率推断出小明在2020-8-25给小红买了一件化妆品,并可轻易根据时间约束信息进一步推理得到小明和小红关系很好。在社交网络商品推荐环境中,掌握这一关系,可以在未来重要时间点(如公共节日,纪念日等),向小明推荐化妆品类女性使用的,带有礼物属性的物品,同时也可向小红适当推荐适合男性使用的,带有礼物属性的物品。
4.3)通过基于相关度判断的事理知识提取方法得到事理知识,实现蕴含知识的获取。事理知识即根据事件实体因果关系,建立事件实体间联系,从而挖掘多个事件实体内实体间的关系。包括以下步骤:
4.3.1)关于类内事理知识提取,根据实体的时空约束信息、属性值等条件建立事件间联系,对类内事件实体逐个计算与其他事件实体的相关度。
关于相关度S的计算方法,遵照下式计算:
S=γ1·t+γ2·s+γ3·i
其中,γ1,γ2,γ3分别是时间距离、空间距离以及属性差值的系数,t,s,i分别是时间距离、空间距离以及属性差值。
4.3.2)若相关度高于阈值,则提取两端谓词,宾语以及宾语补足语建立新的事件实体,即完成新的事理知识提取。
如存在两个事件实体(购买{小明,鞋刷,/,/})、(购买{小明,清洁剂,/,/}),提取谓词,宾语后发现“鞋刷”、“清洁剂”都是清洗用品,或可推断出“小明鞋子脏了”的结论,从而通过推荐***,向小明推荐更多鞋类清洁用品。
4.3.3)关于类间事理知识提取,根据实体的时空约束信息、属性值等条件建立事件间联系,对类内事件实体逐个计算与其他事件实体的类间相关度。
4.3.4)若类间相关度高于阈值,则提取两端谓词,所填实体为同一实体以外的实体。建立新的事件实体,即完成新的事理知识提取。
该情况发生在某事件宾语、宾语补足语或备注信息与另一事件主语相关的时候。事理关系提取规则一致,只是在新事理关系构建时,所填实体应是该情况中同一实体以外的实体。
关于类间相关度ST的计算方法,遵照下式计算:
其中,δi是第i跳的事件实体相关度的系数,Si是第i跳的事件实体相关度。
如存在两个事件实体(购买{小明,帽子A,小红,2020-8-25})、(购买{小红,帽子B,/,2020-8-27}),由于存在“小红”这一共有实体,可以从两事件中获取蕴藏知识。如,双方时间约束信息相近可能推测出“小红不喜欢帽子A,更喜欢帽子B”,并从事件一可能推测出“小明存在某种动机愿意为小红购买一顶帽子”,双方结合,推荐***可以向“小明”推荐“帽子B”从而达到双赢效果。
Claims (15)
1.一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,包括:
A、设计多元知识六元组结构,所述六元组包括实体集、关系、时间约束、空间约束、类别和实体属性集;
B、基于所述多元知识六元组结构,获取文本数据的多元知识中的实体信息及其相关属性;
C、基于获取的多元知识中的实体信息及其相关属性,提取实体间的多元关系;
D、基于获取的实体间的多元关系,通过时间约束和空间约束抽取出蕴含的隐藏知识;
步骤C具体包括:
C1、对文本数据进行向量化处理,获得对应的特征向量;
C2、通过关系模型学习、概率分析进行关系发现;
C3、通过基于关系相似性的分类方法实现关系合并;
步骤C1中,所述对文本数据进行向量化处理,获得对应的特征向量,包括:
C11、针对文本数据中实体的上下文信息,通过word2vec方法完成文字到向量的映射;
C12、针对文本数据中空间约束信息,基于地图数据库,将其转换为数字向量表示;
C13、针对文本数据中时间约束信息,将其粒度统一为日期向量;
C14、通过基于多元信息的向量整合方法,对C11-C13中的得到的对应向量进行合并得到目标特征向量。
2.如权利要求1所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤A具体包括:
A1、定义多元知识的六元组结构表达形式,包含{实体集,关系,属性集,类别,时间约束,空间约束};
A2、设计多元知识实体集中的实体间关系映射规则;
A3、设计多元知识属性集结构,分别记录关系及实体非时空类的属性及标签;
A4、设计多元知识类别的结构,表示知识的粒度信息,从而将多元知识归类为表示个体关联的原子案例知识、表示多类实体或概念间关联的抽象知识、表示事件及情境间关联的逻辑知识;
A5、设计多元知识的时间约束{[b1,e1],[b2,e2],...,[bm,em]},其中每个时间区间记录多元知识的生效时间段,左端点为起始时间,右端点为结束时间;当约束具体指定一个时间点时,时间约束的区间两端的值相等;
A6、设计多元知识的空间约束{<{s11,s12,...},{s21,s22,...}>,...},其中{si1,si2,...}记录时间段[bi,ei]内知识生效的空间描述序列;若所有空间范围均生效,则对应空间约束为空集。
3.如权利要求2所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤A2中,所述设计多元知识实体集中的实体间关系映射规则,具体包括:
若六元组的实体集中,实体个数为2,则关系表示为{关系名称,<头实体,尾实体>},其中头实体对应实体集中的实体1,尾实体对应实体集中的实体2;
若六元组的实体集中,实体个数多于2,则关系表示为{关系名称,<要素实体1,要素实体2,…,要素实体n>},其中要素实体n对应实体集中的实体n;
当多元关系为并列关系时,采用一条无向超边连接这些实体;当多元关系为非并列逻辑关系时,用一条带方向顺序的超边依次连接要素实体,构成多元关系。
4.如权利要求1所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤B具体包括:
B1、预处理文本数据,完成文本中从代词到实体的替换;
B2、针对预处理后的文本数据,通过混合的规则匹配进行实体提取;
B3、从预处理后的文本数据中提取时间信息,并对应至实体,获得实体时间约束;
B4、结合实体时间约束从预处理后的文本数据中提取相应空间信息,并对应至实体,获得实体空间约束;
B5、基于实体集合和属性信息,结合时间约束和空间约束进行相同实体的消歧,获得新的实体集合;
B6、基于所述新的实体集合,从文本数据中抽取实体的属性信息。
5.如权利要求4所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤B2中,所述通过混合的规则匹配进行实体提取,具体包括:
收集社交平台相关规则模版,包括专有名词和类别信息;并通过这些规则模版的匹配,进行面向文本数据的实体获取,若匹配成功则获得对应的实体和类别信息;若匹配失败,再进行普遍规则模版匹配;最后,将得到的实体及其类别信息分别加入到六元组结构中。
6.如权利要求4所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤B3中,所述从预处理后的文本数据中提取时间信息,并对应至实体,获得实体时间约束,具体包括:
B31、提取文本数据中显式的时间信息,初步整合出只包含时间节点的时间序列,然后整理与时间转换有关的词汇和具有划分时间区间意义的词汇集合,按此集合将所述时间序列扩充,扩充结果是包含多段完整的时间区间和若干的无开始或者结束时间的时间区间的时间序列;
B32、按文本数据中实体出现的位置,将实体与时间区间对应起来:针对每个实体获取其对应的时间约束,对出现在多个时间区间的实体,如果这些时间区间没有重叠部分,本实体直接对应多个时间区间,如果这些时间区间有重叠部分,将这些时间区间取并集,去掉时间冗余。
7.如权利要求4所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤B4中,所述结合实体时间约束从预处理后的文本数据中提取相应空间信息,并对应至实体,获得实体空间约束,具体包括:
B41、以文本数据中的时间转换动作词作为标志,对文本数据进行划分;
B42、在每一个划分内部,通过规则匹配提取与地点空间相关的名词,并分析句子成分,若该名词不是主语或宾语,则作为空间约束;
B43、对划分内的每一个实体,将步骤B42获得的空间约束加入相应的六元组空间约束中。
8.如权利要求4所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤B5中,所述基于实体集合和属性信息,结合时间约束和空间约束进行相同实体的消歧,具体包括:
B51、针对实体集合中的每一个实体,使用word2Vec方法将当前文本数据中实体指称项的上下文词组转化成N维词向量;
B52、按照{开始时间,结束时间,时间跨度,空间约束}的形式构建时空约束向量,若无开始时间或结束时间,相应位置为0;
B53、对所述N维词向量和时空约束向量进行组合,得到N+4维特征向量,绘制k-距离曲线图,图中明显拐点的位置参数设为DBSCAN的邻域半径参数,点在邻域内成为核心对象的最小邻域点数设置为大于N+4的数;
B54、通过DBSCAN方法进行聚类,聚为一类的实体名称归为一个类别,通过对类别内名称均匀采样,获得新的实体名称,完成实体消歧。
9.如权利要求4所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤B6中,所述基于所述新的实体集合,从文本数据中抽取实体的属性信息,包括:
B61、通过语义角色分析、句法分析及词性分析,从文中实体出现的所有位置的上下文中抽取实体属性;
B62、若实体的一个属性具有多个属性值,则采用层次化的评估方法进行属性值筛选,分为三个层次:第一层通过属性值可靠性评估,第二层通过相似属性值出现频率评估,第三层通过时效性评估,设置一个当前时间的时间标记,越靠近当前时间的属性值时效性指标评分越高;对属性值可靠性评估、相似属性值出现频率评估和属性值时效性评估三个指标进行加和,结果进行归一化,得到一个0至1之间的评分,保留评分最高的10个属性值,并将评分最高的属性值设置为主要,其余为次要。
10.如权利要求1所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤C2中,所述通过关系模型学习、概率分析进行关系发现,具体包括:
C21、针对每一个实体子集,基于目标特征向量,通过关系模型学习,从特征向量中提取出不同实体对间关系初值;
C22、基于所述关系初值,通过时间距离、空间距离以及实体间属性值差,逐个进行不同实体对间的关系量化比较,得到关系间值M:
M=α1·I+α2·t+α3·s+α4·i
其中,α1,α2,α3,α4分别是关系初值、时间距离、空间距离以及属性值差的系数,t,s,i分别是时间距离、空间距离以及属性值差;
C23、基于所述关系间值进行关系量化构建,若当前间值大于关系阈值,则构建实体子集内部的关系;其中,阈值设置方法为:根据总体实体数量,动态设定节点最大出入度,调整当前状态平均关系间值作为关系阈值;
C24、基于构建的实体子集内部的关系,若实体连接数大于出入度上限,则剪去最小关系间值一路;
C25、对同一实体子集的多种关系进行概率分析,取最大可能结果作为实体关系,加入到六元组结构中,若子集中的实体个数大于2,则为多元关系。
11.如权利要求1所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤C3中,所述通过基于关系相似性的分类方法实现关系合并,具体包括:
C31、针对每一对相同模式的关系中的实体集合,根据实体的时间约束和空间约束,采用欧氏距离计算方法计算对应实体间的时间距离和空间距离;
C32、根据实体间的关系,通过余弦相似度计算关系间的相似度;
C33、基于实体间的时间距离、空间距离以及关系间的相似度,通过归一化方法,结合三个变量得到关系总体相似性Cs:
Cs=β1·t+β2·s+β3·cos
其中,β1,β2,β3分别是时间距离、空间距离以及余弦相似性的系数,t,s分别是时间距离以及空间距离,cos表示余弦相似性;
C34、基于关系总体相似性进行关系分类:将关系相似性大于或等于相似性阈值的关系归于一类,将低于相似性阈值的关系归于一类,直到所有关系分类完成,更新相似度阈值,进行下一轮关系分类;
C35、重复步骤C34,直到类数达到上限,关系分类结束,实现关系初步合并;
C36、针对关系初步合并结果,计算类中包含各实体的出现频率,取频率最高的两个实体,将它们之间的关系作为关系合并后的关系表征。
12.如权利要求1所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤D具体包括:
D1、根据知识表示结构以及蕴含知识提取所需元素,设计事件实体结构;
D2、通过基于事件实体的分类方法提取事件实体;
D3、采用基于相关度判断的事理知识提取方法获得事理知识,实现隐藏知识的提取。
13.如权利要求12所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤D1中,所述设计的事件实体结构为“谓词{主语、宾语、宾语补足语、备注}”,定义备注为时空约束信息。
14.如权利要求12所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤D2中,所述通过基于事件实体的分类方法提取事件实体,具体包括:
D21、针对六元组知识集合,按实体进行归类,将带有同一实体的六元组数据归于一类,提取实体集合;
D22、针对每一类六元组数据,基于规则模板方法,提取关系对应的谓词和介词集合;
D23、针对每一类六元组数据,判断其实体集合的对应事件成分,并将实体信息作为对应事件成分的属性值;
D24、合并各个实体的时间约束和空间约束,作为时空约束信息填充备注。
15.如权利要求12所述的一种面向文本数据的在线社交平台多元知识获取方法,其特征在于,步骤D3中,所述采用基于相关度判断的事理知识提取方法获得事理知识,实现隐藏知识的提取,具体包括:
D31、针对同一类的事件实体,根据各事件内部实体间的时空约束信息、属性值,对类内事件实体逐个计算与其他事件实体的相关度S:
S=γ1·t+γ2·s+γ3·i
其中,γ1,γ2,γ3分别是时间距离、空间距离以及属性差值的系数,t,s,i分别是时间距离、空间距离以及属性差值;
D32、针对每一组事件,若总体相关度高于阈值,则提取两端谓词,宾语以及宾语补足语建立新的事件实体,完成类内蕴含事件实体提取,并保留原有的事件实体;
D33、针对不同类型的事件实体,根据实体的时空约束信息、属性值等条件,估计事件间联系,对类内事件实体逐个计算与其它类内事件实体的类间相关度ST:
其中,δi是第i跳的事件实体相关度的系数,Si是第i跳的事件实体相关度;
D34、基于类间事件相关度,若类间相关度高于阈值,则提取两端谓词,所填实体为同一实体以外的实体,建立新的事件实体,完成类间事件实体提取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110117805.4A CN112784049B (zh) | 2021-01-28 | 2021-01-28 | 一种面向文本数据的在线社交平台多元知识获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110117805.4A CN112784049B (zh) | 2021-01-28 | 2021-01-28 | 一种面向文本数据的在线社交平台多元知识获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112784049A CN112784049A (zh) | 2021-05-11 |
CN112784049B true CN112784049B (zh) | 2023-05-12 |
Family
ID=75759382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110117805.4A Active CN112784049B (zh) | 2021-01-28 | 2021-01-28 | 一种面向文本数据的在线社交平台多元知识获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112784049B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116452047A (zh) * | 2023-04-12 | 2023-07-18 | 上海才历网络有限公司 | 一种候选人胜任能力测评方法及装置 |
CN116821692A (zh) * | 2023-08-28 | 2023-09-29 | 北京化工大学 | 描述文本和空间场景样本集的构建方法、装置及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103699663A (zh) * | 2013-12-27 | 2014-04-02 | 中国科学院自动化研究所 | 一种基于大规模知识库的热点事件挖掘方法 |
CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 多模态知识图谱构建方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5980096A (en) * | 1995-01-17 | 1999-11-09 | Intertech Ventures, Ltd. | Computer-based system, methods and graphical interface for information storage, modeling and stimulation of complex systems |
US8688791B2 (en) * | 2010-02-17 | 2014-04-01 | Wright State University | Methods and systems for analysis of real-time user-generated text messages |
US8818932B2 (en) * | 2011-02-14 | 2014-08-26 | Decisive Analytics Corporation | Method and apparatus for creating a predictive model |
US9544361B2 (en) * | 2013-12-02 | 2017-01-10 | Qbase, LLC | Event detection through text analysis using dynamic self evolving/learning module |
IL230969B (en) * | 2014-02-13 | 2018-10-31 | Sayiqan Ltd | A network-based system and method for influence |
CN110334219B (zh) * | 2019-07-12 | 2023-05-09 | 电子科技大学 | 基于注意力机制融入文本语义特征的知识图谱表示学习方法 |
CN111858944B (zh) * | 2020-07-31 | 2022-11-22 | 电子科技大学 | 一种基于注意力机制的实体方面级情感分析方法 |
CN112199491B (zh) * | 2020-10-14 | 2022-04-22 | 中国科学院计算技术研究所厦门数据智能研究院 | 一种基于bert与先验知识特征的关系五元组抽取方法 |
-
2021
- 2021-01-28 CN CN202110117805.4A patent/CN112784049B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103699663A (zh) * | 2013-12-27 | 2014-04-02 | 中国科学院自动化研究所 | 一种基于大规模知识库的热点事件挖掘方法 |
CN112200317A (zh) * | 2020-09-28 | 2021-01-08 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 多模态知识图谱构建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112784049A (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106649260B (zh) | 基于评论文本挖掘的产品特征结构树构建方法 | |
US9507824B2 (en) | Automated creation of join graphs for unrelated data sets among relational databases | |
CN113158033A (zh) | 一种基于知识图谱偏好传播的协同推荐模型构建方法 | |
CN111651447B (zh) | 一种智能建造全寿期数据处理分析管控*** | |
CN112784049B (zh) | 一种面向文本数据的在线社交平台多元知识获取方法 | |
WO2016029230A1 (en) | Automated creation of join graphs for unrelated data sets among relational databases | |
CN112559684A (zh) | 一种关键词提取及信息检索方法 | |
CN114254201A (zh) | 一种科技项目评审专家的推荐方法 | |
CN111858940A (zh) | 一种基于多头注意力的法律案例相似度计算方法及*** | |
CN113779264A (zh) | 基于专利供需知识图谱的交易推荐方法 | |
CN112182145A (zh) | 文本相似度确定方法、装置、设备和存储介质 | |
CN112148885A (zh) | 一种基于知识图谱的智能搜索方法及*** | |
CN116910238A (zh) | 一种基于孪生网络的知识感知虚假新闻检测方法 | |
CN112989215B (zh) | 一种基于稀疏用户行为数据的知识图谱增强的推荐*** | |
CN117149974A (zh) | 一种子图检索优化的知识图谱问答方法 | |
CN115982338A (zh) | 一种基于查询路径排序的领域知识图谱问答方法及*** | |
CN107766229B (zh) | 一种利用蜕变测试评价商品搜索***正确性的方法 | |
CN115438195A (zh) | 一种金融标准化领域知识图谱的构建方法及装置 | |
Lee et al. | A hierarchical document clustering approach with frequent itemsets | |
CN112685440B (zh) | 标记搜索语义角色的结构化查询信息表达方法 | |
CN114817454A (zh) | 一种结合信息量和BERT-BiLSTM-CRF的NLP知识图谱构建方法 | |
CN114239828A (zh) | 一种基于因果关系的供应链事理图谱构建方法 | |
CN111259223B (zh) | 基于情感分析模型的新闻推荐和文本分类方法 | |
CN117252186A (zh) | 基于xai的信息处理方法、装置、设备及存储介质 | |
CN116450938A (zh) | 一种基于图谱的工单推荐实现方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |