CN110795569B - 知识图谱的向量表示生成方法、装置及设备 - Google Patents

知识图谱的向量表示生成方法、装置及设备 Download PDF

Info

Publication number
CN110795569B
CN110795569B CN201910950874.6A CN201910950874A CN110795569B CN 110795569 B CN110795569 B CN 110795569B CN 201910950874 A CN201910950874 A CN 201910950874A CN 110795569 B CN110795569 B CN 110795569B
Authority
CN
China
Prior art keywords
graph
context
knowledge
entity
knowledge graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910950874.6A
Other languages
English (en)
Other versions
CN110795569A (zh
Inventor
王泉
黄苹苹
王海峰
姜文斌
吕雅娟
朱勇
吴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910950874.6A priority Critical patent/CN110795569B/zh
Publication of CN110795569A publication Critical patent/CN110795569A/zh
Priority to KR1020207036656A priority patent/KR102604959B1/ko
Priority to PCT/CN2020/083547 priority patent/WO2021068468A1/zh
Priority to EP20767703.0A priority patent/EP4044045A4/en
Priority to US17/043,227 priority patent/US11995560B2/en
Priority to JP2021515601A priority patent/JP7262571B2/ja
Application granted granted Critical
Publication of CN110795569B publication Critical patent/CN110795569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请提出了一种知识图谱的向量表示生成方法、装置及设备，涉及人工智能技术领域，具体实现方案为：获取知识图谱，其中，知识图谱包括多个实体节点；获取知识图谱对应的语境类型和语境数据；以及根据语境数据和语境类型通过语境模型生成多个实体节点对应的向量表示。由此，实现了实体在语境中的更精细化的语义表示，从而进一步提高了知识图谱表示学习的准确性。

Description

知识图谱的向量表示生成方法、装置及设备
技术领域
本申请涉及计算机技术领域，尤其涉及人工智能技术领域，提出一种知识图谱的向量表示生成方法、装置及设备。
背景技术
知识图谱是描述世界现实知识的有向图结构的知识库，知识图谱表示学习的目标是将知识图谱中离散符号的实体/关系以向量表示：向量表示一方面能保留实体在知识图谱中结构方面的关键信息，另一方面便于应用任务对知识图谱的利用。目前在信息抽取、问答、阅读理解等任务中，知识图谱都是以向量形式被应用并发挥作用。
相关技术中的知识图谱表示学习，对图谱元素(包括实体和关系)学习到静态的、固定的向量表示，表示能力受限，准确度有待提高。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种知识图谱的向量表示生成方法，以实现实体在语境中的更精细化的语义表示，进一步提高了知识图谱表示学习的准确性。
本申请的第二个目的在于提出一种知识图谱的向量表示生成装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
本申请第一方面实施例提出了一种知识图谱的向量表示生成方法，包括：
获取知识图谱，其中，所述知识图谱包括多个实体节点；
获取所述知识图谱对应的语境类型和语境数据；以及
根据所述语境数据和所述语境类型通过语境模型生成所述多个实体节点对应的向量表示。
本申请第二方面实施例提出了一种知识图谱的向量表示生成装置，包括：
获取模块，用于获取知识图谱，其中，所述知识图谱包括多个实体节点；
处理模块，用于获取所述知识图谱对应的语境类型和语境数据；以及
生成模块，用于根据所述语境数据和所述语境类型通过语境模型生成所述多个实体节点对应的向量表示。
本申请第三方面实施例提出了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面实施例所述的知识图谱的向量表示生成方法。
本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面实施例所述的知识图谱的向量表示生成方法。
上述申请中的一个实施例具有如下优点或有益效果：由于采用了获取知识图谱，进而获取知识图谱对应的语境类型和语境数据。进一步根据语境数据和语境类型通过语境模型生成多个实体节点对应的向量表示。由此，在生成实体的向量表示时考虑了实体所处的语境，实体所处的语境不同，则其获得的向量表示不同，提高了向量表示对复杂关系的建模能力，表示能力更充分，实现了实体在语境中的更精细化的语义表示，从而进一步提高了知识图谱表示学习的准确性。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例所提供的一种知识图谱的向量表示生成方法的流程示意图；
图2为本申请实施例所提供的另一种知识图谱的向量表示生成方法的流程示意图；
图3为本申请实施例所提供的一种知识图谱示意图；
图4为本申请实施例所提供的另一种知识图谱示意图；
图5为本申请实施例所提供的另一种知识图谱的向量表示生成方法的流程示意图；
图6为本申请实施例所提供的另一种知识图谱示意图；
图7为本申请实施例所提供的一种训练序列结构语境模型的流程示意图；
图8为序列结构语境模型示意图；
图9为本申请实施例所提供的一种训练子图结构语境模型的流程示意图；
图10为子图结构语境模型示意图；
图11为本申请实施例所提供的一种知识图谱的向量表示生成装置的结构示意图；
图12为本申请实施例所提供的另一种知识图谱的向量表示生成装置的结构示意图；
图13示出了适于用来实现本申请实施例的示例性电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1为本申请实施例所提供的一种知识图谱的向量表示生成方法的流程示意图，如图1所示，该方法包括：
步骤101，获取知识图谱，其中，知识图谱包括多个实体节点。
在实际应用中，在进行知识图谱表示学习时，需要获取知识图谱的向量表示，例如将知识图谱中离散符号的实体/关系以连续向量表示出来。本实施例中，在生成知识图谱的向量表示时，可以先获取知识图谱。
可选地，知识图谱包括多个实体节点和实体节点之间的边。作为一种示例，知识图谱包括实体节点“人物A”和“职业B”，以及连接两个实体节点的边，表示实体之间具有关系“担任职位”。
步骤102，获取知识图谱对应的语境类型和语境数据。
本实施例中，可以获取知识图谱对应的语境类型，进而根据语境类型确定知识图谱的语境数据。其中，语境类型包括序列结构语境类型、子图语境类型。
下面对获取知识图谱对应的语境类型进行说明。
作为一种示例，获取知识图谱之中多个实体节点的数量；如果知识图谱之中包括两个实体节点，则判断知识图谱对应的语境类型为序列结构语境类型；如果知识图谱之中包括两个以上实体节点，则判断知识图谱对应的语境类型为子图语境类型。
本实施例中，在确定知识图谱对应的语境类型后，根据不同的语境类型选择对应的方式确定知识图谱的语境数据。
作为一种示例，对于序列结构语境类型的知识图谱，可以将知识图谱中的实体节点以及实体节点之间的边加入语境数据。
作为另一种示例，对于子图语境类型的知识图谱，可以确定知识图谱中的目标实体节点，并将知识图谱中以目标实体节点为中心的预设范围内的实体节点和边加入语境数据。
步骤103，根据语境数据和语境类型通过语境模型生成多个实体节点对应的向量表示。
本实施例中，可以预先训练与语境类型对应的语境模型，其中，语境模型输入为语境数据，输出为向量表示。进而，通过将语境数据输入到语境模型中，生成知识图谱中多个实体节点对应的向量表示。
作为一种示例，如果语境类型为序列结构语境类型，则调用序列结构语境模型根据语境数据生成多个实体节点对应的向量表示；如果语境类型为子图语境类型，则调用子图结构语境模型根据语境数据生成多个实体节点对应的向量表示。
可以理解的是，相关技术中对图谱元素(包括实体节点和边)学习到静态的、固定的向量表示，例如对于同一实体，其对应的向量表示相同，而忽略了图谱元素的语境。其中，图谱元素的语境，是指该图谱元素与其他图谱元素组成的一个联通的结构。本实施例中，通过获取知识图谱对应的语境类型和语境数据，根据语境数据和语境类型通过语境模型生成多个实体节点对应的向量表示。由此，对于同一实体，实体所处的语境不同，获得的表示向量不同。例如，对于知识图谱中的实体人物A，其在不同语境中生成的向量表示不同。由此，在生成知识图谱中多个实体节点的向量表示时，考虑到了实体所处的语境，提高了向量表示对复杂关系(例如一对多、多对多)的建模能力，表示能力更充分。
本申请实施例的知识图谱的向量表示生成方法，通过获取知识图谱，进而获取知识图谱对应的语境类型和语境数据。进一步根据语境数据和语境类型通过语境模型生成多个实体节点对应的向量表示。由此，在生成实体的向量表示时考虑了实体所处的语境，实体所处的语境不同，则其获得的向量表示不同，提高了向量表示对复杂关系的建模能力，表示能力更充分，实现了实体在语境中的更精细化的语义表示，从而进一步提高了知识图谱表示学习的准确性。
基于上述实施例，下面以序列结构语境类型为例进行说明。
图2为本申请实施例所提供的另一种知识图谱的向量表示生成方法的流程示意图，如图2所示，该方法包括：
步骤201，获取知识图谱，其中，知识图谱包括多个实体节点。
步骤202，获取知识图谱之中多个实体节点的数量，如果知识图谱之中包括两个实体节点，则判断知识图谱对应的语境类型为序列结构语境类型。
本实施例中，知识图谱包括两个实体节点，即确定语境类型为序列结构语境类型后，还可以进一步确定两个实体节点之间边的数量。可选地，获取两个实体节点之间边的数量，如果两个实体节点之间边的数量等于1，则判断知识图谱对应的语境类型为边结构语境类型；如果两个实体节点之间边的数量大于1，则判断知识图谱对应的语境类型为路径结构语境类型。
作为一种示例，参照图3，知识图谱包括实体节点“人物A”和“职业B”，以及连接两个实体节点的边“担任职位”，则确定语境类型为边结构语境类型。
作为另一种示例，参照图4，知识图谱包括实体节点“人物A”和“英语”，以及依次连接两个实体节点的边“女儿”“生活国家”“官方语言”，则确定语境类型为路径结构语境类型。
步骤203，获取知识图谱对应的语境数据。
本实施例中，知识图谱的语境类型包括边结构语境类型和路径结构语境类型，根据知识图谱的语境类型获取知识图谱对应的语境数据。
作为一种示例，语境类型为边结构语境类型，则将知识图谱对应的三元组均加入语境数据。例如图3所示的知识图谱，将对应的三元组(人物A，担任职位，职业B)加入语境数据。
作为另一种示例，语境类型为路径结构语境类型，则获取知识图谱对应的路径，采用路径采样的方式获取路径的路径数据，并将路径数据和知识图谱之中的实体节点加入语境数据。例如图4所示的知识图谱，将路径数据“女儿”“生活国家”“官方语言”和实体节点“人物A”“英语”加入语境数据。可选地，可以基于知识图谱中的边，通过随机游走采样获得相应数量的路径数据。
步骤204，根据语境数据通过序列结构语境模型生成多个实体节点对应的向量表示。
本实施例中，知识图谱对应的语境类型为序列结构语境类型，则在获取知识图谱的语境数据后，将语境数据输入预先训练的序列结构语境模型进行处理，生成多个实体节点对应的向量表示。
本申请实施例的知识图谱的向量表示生成方法，能够对于序列结构语境类型的知识图谱获取对应的语境数据，进而根据语境数据生成知识图谱中多个实体节点的向量表示，在生成知识图谱中多个实体节点的向量表示时，考虑到了实体所处的语境，表示能力更充分。
基于上述实施例，下面以子图语境类型为例进行说明。
图5为本申请实施例所提供的另一种知识图谱的向量表示生成方法的流程示意图，如图5所示，该方法包括：
步骤501，获取知识图谱，其中，知识图谱包括多个实体节点。
步骤502，获取知识图谱之中多个实体节点的数量，如果知识图谱之中包括两个以上实体节点，则判断知识图谱对应的语境类型为子图语境类型。
作为一种示例，参照图6，知识图谱包括实体节点“人物A”“人物B”“人物C”“人物D”，以及边“女儿”“妻子”，则确定语境类型为子图语境类型。
步骤503，获取知识图谱对应的语境数据。
本实施例中，通过如下方式获取语境数据。
S1、生成知识图谱对应的实体节点集合；S2、从实体节点集合之中提取第一初始实体节点，并生成游走半径d；S3、以第一初始实体节点为中心，以游走半径d在知识图谱之上进行游走，以确定以第一初始实体节点为中心的d阶子图，并将以第一初始实体节点为中心的d阶子图添加至语境数据；S4、重复执行步骤S2和S3直至实体节点集合之中的实体节点完成提取。
可选地，可以通过从预设范围(例如1-Dmax)内随机采样的方式生成游走半径d。在确定以第一初始实体节点为中心的d阶子图后，还可以补全该子图中的边。
步骤504，根据语境数据通过子图语境类型生成多个实体节点对应的向量表示。
本实施例中，知识图谱对应的语境类型为子图语境类型，则在获取知识图谱的语境数据后，将语境数据输入预先训练的子图语境模型进行处理，生成多个实体节点对应的向量表示。
本申请实施例的知识图谱的向量表示生成方法，能够对于子图语境类型的知识图谱获取对应的语境数据，进而根据语境数据生成知识图谱中多个实体节点的向量表示，在生成知识图谱中多个实体节点的向量表示时，考虑到了实体所处的语境，表示能力更充分。
基于上述实施例，下面对训练序列结构语境模型进行说明。
图7为本申请实施例所提供的一种训练序列结构语境模型的流程示意图，如图7所示，包括：
步骤701，获取样本知识图谱，样本知识图谱包括实体节点和边。
本实施例中，在训练序列结构语境模型时，可以获取样本知识图谱，其中，样本知识图谱包括实体节点和边。例如，可以获取语境类型为序列结构语境类型的知识图谱作为样本知识图谱。
步骤702，通过查表操作获取样本知识图谱中实体节点和边的第一向量表示，以及样本知识图谱中实体节点和边的位置信息的第二向量表示。
本实施例中，通过查表操作获取实体节点的向量表示，以及边的向量表示，作为第一向量表示。以及，通过查表操作获取实体节点在序列中的位置信息对应的向量表示，以及边在序列中的位置信息对应的向量表示，作为第二向量表示。
步骤703，将第一向量表示和第二向量表示输入预设模型进行处理，获取样本知识图谱中每个实体节点对应的第三向量表示。
本实施例中，将实体节点和边均作为预设模型的输入，例如将实体节点/边对应的第一向量表示和第二向量表示相加，作为预设模型的输入。
即
Figure BDA0002225750320000071
其中，
Figure BDA0002225750320000072
是通过查表操作获得的实体/边的向量表示(该表的值可在模型训练中不断优化更新)，
Figure BDA0002225750320000081
是通过查表操作获得的实体/边在序列中的位置信息得到的向量表示，
Figure BDA0002225750320000082
为第i个输入。
在本申请的一个实施例中，预设模型为自注意力模型(Transformer)，将
Figure BDA0002225750320000083
均输入预设模型，经过L层自注意力模型处理,根据第L层输出的向量表示确定第三向量表示，即该语境中每个实体节点的第三向量表示
Figure BDA0002225750320000084
Figure BDA0002225750320000085
需要说明的是，根据Transformer模型进行计算获取向量表示的具体实现方式可以根据相关技术实现，此处不再赘述。
步骤704，根据第三向量表示进行实体分类预测，根据预测结果调整预设模型的处理参数，训练序列结构语境模型。
本实施例中，在获取实体节点的第三向量表示后，根据前向神经网络(FFNN)和softmax函数对第三向量表示进行处理，获得各预测结果的概率分布
Figure BDA0002225750320000086
进而，通过最大化实体节点对应的实际结果的概率值，进行模型的参数优化。
作为一种示例，实体节点为“英语”，获得的各预测结果包括英语、法语、日语等，通过调整模型参数，使得预测结果中英语的概率最大，从而训练序列结构语境模型。
作为一种示例，参照图8，以图4所示的知识图谱为例，将实体节点“人物A”“英语”、以及边“女儿”“生活国家”“官方语言”作为预设模型的输入，并确定遮挡位置为实体节点“英语”所在位置，经过L层自注意力模型处理，获取遮挡位置输出的第三向量表示，根据第三向量表示获得各预测结果的概率分布，通过最大化实体节点对应的实际结果的概率值，进行模型的参数优化。进一步将遮挡位置设置为实体节点“人物A”所在位置进行训练。
由此，通过遮挡语境中的一个实体节点，通过预设模型预测遮挡的实体节点，并将预测结果与实际结果进行比较，根据比较结果调整预设模型的参数，直至预测结果与实际结果一致，从而实现训练序列结构语境模型。
本申请实施例中，能够训练序列结构语境模型，使序列结构语境模型输入为语境数据，输出为实体节点对应的向量表示。
基于上述实施例，下面对训练子图结构语境模型进行说明。
图9为本申请实施例所提供的一种训练子图结构语境模型的流程示意图，如图9所示，包括：
步骤901，获取样本知识图谱，样本知识图谱包括实体节点和边。
本实施例中，在训练序列结构语境模型时，可以获取样本知识图谱，其中，样本知识图谱包括实体节点和边。例如，可以获取语境类型为子图语境类型的知识图谱作为样本知识图谱。
步骤902，通过查表操作获取样本知识图谱中实体节点的节点向量，将节点向量输入预设模型进行处理，获取样本知识图谱中每个实体节点对应的第四向量表示。
本实施例中，将实体节点作为预设模型的输入，即通过查表操作获取样本知识图谱中实体节点的节点向量，将节点向量输入预设模型进行处理，获取样本知识图谱中每个实体节点对应的第四向量表示。
即，
Figure BDA0002225750320000091
为节点向量，
Figure BDA0002225750320000092
为第i个输入。需要说明的是，前述实施例中对获取第一向量表示的解释说明，同样适用于本实施例中获取节点向量，此处不再赘述。
在本申请的一个实施例中，预设模型为自注意力模型(Transformer)，将节点向量均输入预设模型，经过L层自注意力模型(Transformer)处理，根据第L层输出的向量表示确定第四向量表示，即该语境中每个实体节点的第四向量表示
Figure BDA0002225750320000093
Figure BDA0002225750320000094
其中，获取实体间的关联矩阵，根据关联矩阵控制每个实体节点到其他实体节点的注意力计算的可达性。由此，能够支持子图结构的数据。
作为一种示例，步骤1：将模型head个数设置为知识图谱中关系类别的个数R，获得每个边关系下的Query(Q)/Kery(K)/Value(V)向量表示：
Figure BDA0002225750320000095
其中，l为当前的层数，r表示第r个head，H为该层的输入节点向量，
Figure BDA0002225750320000096
和
Figure BDA0002225750320000097
是相应的权重矩阵在第l层第r个head下的权重参数，上述权重参数在模型中学习得到。
步骤2：计算每个节点对其他节点的注意力值(attention)，在计算attention时，使用特定关系r下实体节点之间的关联矩阵Ar，来控制每个节点到其他实体节点的注意力计算的可达性，即：
Figure BDA0002225750320000101
其中Da是注意力向量的维度参数(例如常见值为64)。Ar是关系r下子图中各实体节点之间的关联矩阵，其每个元素取值为0或1，
Figure BDA0002225750320000102
表示在子图中第i个实体节点可以通过关系r与第j个实体节点联通，即(节点i，r，节点j)三元组成立；否则
Figure BDA0002225750320000103
步骤903，根据第四向量表示进行实体分类预测，根据预测结果调整预设模型的处理参数，训练子图结构语境模型。
本实施例中，在获取实体节点的第四向量表示后，根据前向神经网络(FFNN)和softmax函数对第四向量表示进行处理，获得各预测结果的概率分布
Figure BDA0002225750320000104
进而，通过最大化实体节点对应的实际结果的概率值，进行模型的参数优化。
作为一种示例，实体节点为“英语”，获得的各预测结果包括英语、法语、日语等，通过调整模型参数，使得预测结果中英语的概率最大，从而训练子图结构语境模型。
作为一种示例，参照图10，以图6所示的知识图谱为例，将实体节点“人物A”“人物B”“人物C”“人物D”作为预设模型的输入，并确定遮挡位置为实体节点“人物A”所在位置，经过L层自注意力模型处理，获取遮挡位置输出的第四向量表示，根据第四向量表示获得各预测结果的概率分布，通过最大化实体节点对应的实际结果的概率值，进行模型的参数优化。进一步将遮挡位置设置为实体节点“人物B”所在位置进行训练。
本申请实施例中，能够训练子图语境模型，使子图结构语境模型输入为语境数据，输出为实体节点对应的向量表示，能够支持子图结构的数据。
需要说明的是，上述序列结构语境模型和子图结构语境模型，可以共享查表操作对应的表，因而不同语境数据对实体表示学习会共同影响，从而实体能够充分学习各种语境数据。
为了实现上述实施例，本申请还提出一种知识图谱的向量表示生成装置。
图11为本申请实施例所提供的一种知识图谱的向量表示生成装置的结构示意图，如图11所示，该装置包括：获取模块10，处理模块20，生成模块30。
其中，获取模块10，用于获取知识图谱，其中，知识图谱包括多个实体节点。
处理模块20，用于获取知识图谱对应的语境类型和语境数据。
生成模块30，用于根据语境数据和语境类型通过语境模型生成多个实体节点对应的向量表示。
可选地，处理模块20具体用于：获取知识图谱之中多个实体节点的数量；如果知识图谱之中包括两个实体节点，则判断所述知识图谱对应的语境类型为序列结构语境类型；如果知识图谱之中包括两个以上实体节点，则判断所述知识图谱对应的语境类型为子图语境类型。
可选地，知识图谱对应的语境类型为子图语境类型，处理模块20具体用于：S1、生成所述知识图谱对应的实体节点集合；S2、从所述实体节点集合之中提取第一初始实体节点，并生成游走半径d；S3、以所述第一初始实体节点为中心，以所述游走半径d在所述知识图谱之上进行游走以确定以所述第一初始实体节点为中心的d阶子图，并将所述以所述第一初始实体节点为中心的d阶子图添加至所述语境数据；S4、重复执行所述步骤S2和S3直至所述实体节点集合之中的实体节点完成提取。
可选地，知识图谱对应的语境类型为边结构语境类型，处理模块20具体用于：将知识图谱对应的三元组均加入所述语境数据。
可选地，知识图谱对应的语境类型为路径结构语境类型，处理模块20具体用于：获取知识图谱对应的路径；采用路径采样的方式获取路径的路径数据，并将路径数据和知识图谱之中的实体节点接入语境数据。
可选地，语境模型包括序列结构语境模型和子图结构语境模型，生成模块30具体用于：如果所述语境类型为序列结构语境类型，则调用所述序列结构语境模型根据所述语境数据生成所述多个实体节点对应的向量表示；如果所述语境类型为子图语境类型，则调用所述子图结构语境模型根据所述语境数据生成所述多个实体节点对应的向量表示。
在图11的基础上，图12所示的装置还包括：判断模块40，第一训练模块50，第二训练模块60。
其中，判断模块40，用于如果判断知识图谱对应的语境类型为序列结构语境类型，获取两个实体节点之间边的数量；如果两个实体节点之间边的数量等于1，则判断知识图谱对应的语境类型为边结构语境类型；如果两个实体节点之间边的数量大于1，则判断知识图谱对应的语境类型为路径结构语境类型。
第一训练模块50，用于获取样本知识图谱，所述样本知识图谱包括实体节点和边；通过查表操作获取所述样本知识图谱中实体节点和边的第一向量表示，以及所述样本知识图谱中实体节点和边的位置信息的第二向量表示；将所述第一向量表示和所述第二向量表示输入预设模型进行处理，获取所述样本知识图谱中每个实体节点对应的第三向量表示；根据所述第三向量表示进行实体分类预测，根据预测结果调整所述预设模型的处理参数，训练所述序列结构语境模型。
第二训练模块60，用于获取样本知识图谱，所述样本知识图谱包括实体节点和边；通过查表操作获取所述样本知识图谱中实体节点的节点向量，将所述节点向量输入预设模型进行处理，获取所述样本知识图谱中每个实体节点对应的第四向量表示，其中，获取关联矩阵，根据所述关联矩阵控制每个实体节点到其他实体节点的注意力计算的可达性；根据所述第四向量表示进行实体分类预测，根据预测结果调整所述预设模型的处理参数，训练所述子图结构语境模型。
需要说明的是，前述实施例对知识图谱的向量表示生成方法的解释说明同样适用于本实施例的知识图谱的向量表示生成装置，此处不再赘述。
本申请实施例的知识图谱的向量表示生成装置，通过获取知识图谱，进而获取知识图谱对应的语境类型和语境数据。进一步根据语境数据和语境类型通过语境模型生成多个实体节点对应的向量表示。由此，在生成实体的向量表示时考虑了实体所处的语境，实体所处的语境不同，则其获得的向量表示不同，提高了向量表示对复杂关系的建模能力，表示能力更充分，实现了实体在语境中的更精细化的语义表示，从而进一步提高了知识图谱表示学习的准确性。
为了实现上述实施例，本申请还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的知识图谱的向量表示生成方法。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图13所示，是根据本申请实施例的知识图谱的向量表示生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图13所示，该电子设备包括：一个或多个处理器1301、存储器1302，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图13中以一个处理器1301为例。
存储器1302即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的知识图谱的向量表示生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的知识图谱的向量表示生成方法。
存储器1302作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的知识图谱的向量表示生成方法对应的程序指令/模块(例如，附图11所示的获取模块10，处理模块20，生成模块30)。处理器1301通过运行存储在存储器1302中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的知识图谱的向量表示生成方法。
存储器1302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器1302可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1302可选包括相对于处理器1301远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
知识图谱的向量表示生成方法的电子设备还可以包括：输入装置1303和输出装置1304。处理器1301、存储器1302、输入装置1303和输出装置1304可以通过总线或者其他方式连接，图13中以通过总线连接为例。
输入装置1303可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1304可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，获取的候选框位置更加准确，解决了密集场景知识图谱的向量表示生成获取候选框的准确度有待提高的问题，从而提高了知识图谱的向量表示生成的准确度。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种知识图谱的向量表示生成方法，其特征在于，包括：
获取知识图谱，其中，所述知识图谱包括多个实体节点；
获取所述知识图谱对应的语境类型和语境数据；以及
根据所述语境数据和所述语境类型通过语境模型生成所述多个实体节点对应的向量表示；
其中，所述获取所述知识图谱对应的语境类型，包括：
获取所述知识图谱之中所述多个实体节点的数量；
如果所述知识图谱之中包括两个实体节点，则判断所述知识图谱对应的语境类型为序列结构语境类型；
如果所述知识图谱之中包括两个以上实体节点，则判断所述知识图谱对应的语境类型为子图语境类型。
2.如权利要求1所述的知识图谱的向量表示生成方法，其特征在于，如果判断所述知识图谱对应的语境类型为序列结构语境类型，则还包括：
获取所述两个实体节点之间边的数量；
如果所述两个实体节点之间边的数量等于1，则判断所述知识图谱对应的语境类型为边结构语境类型；
如果所述两个实体节点之间边的数量大于1，则判断所述知识图谱对应的语境类型为路径结构语境类型。
3.如权利要求1所述的知识图谱的向量表示生成方法，其特征在于，所述知识图谱对应的语境类型为子图语境类型，则所述获取所述知识图谱对应的语境数据，包括：
S1、生成所述知识图谱对应的实体节点集合；
S2、从所述实体节点集合之中提取第一初始实体节点，并生成游走半径d；
S3、以所述第一初始实体节点为中心，以所述游走半径d在所述知识图谱之上进行游走以确定以所述第一初始实体节点为中心的d阶子图，并将所述以所述第一初始实体节点为中心的d阶子图添加至所述语境数据；
S4、重复执行所述步骤S2和S3直至所述实体节点集合之中的实体节点完成提取。
4.如权利要求2所述的知识图谱的向量表示生成方法，其特征在于，所述知识图谱对应的语境类型为边结构语境类型，则所述获取所述知识图谱对应的语境数据，包括：
将所述知识图谱对应的三元组均加入所述语境数据。
5.如权利要求2所述的知识图谱的向量表示生成方法，其特征在于，所述知识图谱对应的语境类型为路径结构语境类型，则所述获取所述知识图谱对应的语境数据，包括：
获取所述知识图谱对应的路径；
采用路径采样的方式获取所述路径的路径数据，并将所述路径数据和所述知识图谱之中的实体节点加入所述语境数据。
6.如权利要求1所述的知识图谱的向量表示生成方法，其特征在于，所述语境模型包括序列结构语境模型和子图结构语境模型，所述根据所述语境数据和所述语境类型通过语境模型生成所述多个实体节点对应的向量表示，包括：
如果所述语境类型为序列结构语境类型，则调用所述序列结构语境模型根据所述语境数据生成所述多个实体节点对应的向量表示；
如果所述语境类型为子图语境类型，则调用所述子图结构语境模型根据所述语境数据生成所述多个实体节点对应的向量表示。
7.如权利要求6所述的知识图谱的向量表示生成方法，其特征在于，所述序列结构语境模型通过以下步骤训练得到：
获取样本知识图谱，所述样本知识图谱包括实体节点和边；
通过查表操作获取所述样本知识图谱中实体节点和边的第一向量表示，以及所述样本知识图谱中实体节点和边的位置信息的第二向量表示；
将所述第一向量表示和所述第二向量表示输入预设模型进行处理，获取所述样本知识图谱中每个实体节点对应的第三向量表示；
根据所述第三向量表示进行实体分类预测，根据预测结果调整所述预设模型的处理参数，训练所述序列结构语境模型。
8.如权利要求6所述的知识图谱的向量表示生成方法，其特征在于，所述子图结构语境模型通过以下步骤训练得到：
获取样本知识图谱，所述样本知识图谱包括实体节点和边；
通过查表操作获取所述样本知识图谱中实体节点的节点向量，将所述节点向量输入预设模型进行处理，获取所述样本知识图谱中每个实体节点对应的第四向量表示，
其中，获取关联矩阵，根据所述关联矩阵控制每个实体节点到其他实体节点的注意力计算的可达性；
根据所述第四向量表示进行实体分类预测，根据预测结果调整所述预设模型的处理参数，训练所述子图结构语境模型。
9.一种知识图谱的向量表示生成装置，其特征在于，包括：
获取模块，用于获取知识图谱，其中，所述知识图谱包括多个实体节点；
处理模块，用于获取所述知识图谱对应的语境类型和语境数据；以及
生成模块，用于根据所述语境数据和所述语境类型通过语境模型生成所述多个实体节点对应的向量表示；
其中，所述处理模块具体用于：
获取所述知识图谱之中所述多个实体节点的数量；
如果所述知识图谱之中包括两个实体节点，则判断所述知识图谱对应的语境类型为序列结构语境类型；
如果所述知识图谱之中包括两个以上实体节点，则判断所述知识图谱对应的语境类型为子图语境类型。
10.如权利要求9所述的知识图谱的向量表示生成装置，其特征在于，还包括：
判断模块，用于如果判断所述知识图谱对应的语境类型为序列结构语境类型，获取所述两个实体节点之间边的数量；
如果所述两个实体节点之间边的数量等于1，则判断所述知识图谱对应的语境类型为边结构语境类型；
如果所述两个实体节点之间边的数量大于1，则判断所述知识图谱对应的语境类型为路径结构语境类型。
11.如权利要求9所述的知识图谱的向量表示生成装置，其特征在于，所述知识图谱对应的语境类型为子图语境类型，所述处理模块具体用于：
S1、生成所述知识图谱对应的实体节点集合；
S2、从所述实体节点集合之中提取第一初始实体节点，并生成游走半径d；
S3、以所述第一初始实体节点为中心，以所述游走半径d在所述知识图谱之上进行游走以确定以所述第一初始实体节点为中心的d阶子图，并将所述以所述第一初始实体节点为中心的d阶子图添加至所述语境数据；
S4、重复执行所述步骤S2和S3直至所述实体节点集合之中的实体节点完成提取。
12.如权利要求10所述的知识图谱的向量表示生成装置，其特征在于，所述知识图谱对应的语境类型为边结构语境类型，所述处理模块具体用于：
将所述知识图谱对应的三元组均加入所述语境数据。
13.如权利要求10所述的知识图谱的向量表示生成装置，其特征在于，所述知识图谱对应的语境类型为路径结构语境类型，所述处理模块具体用于：
获取所述知识图谱对应的路径；
采用路径采样的方式获取所述路径的路径数据，并将所述路径数据和所述知识图谱之中的实体节点加入所述语境数据。
14.如权利要求9所述的知识图谱的向量表示生成装置，其特征在于，所述语境模型包括序列结构语境模型和子图结构语境模型，所述生成模块具体用于：
如果所述语境类型为序列结构语境类型，则调用所述序列结构语境模型根据所述语境数据生成所述多个实体节点对应的向量表示；
如果所述语境类型为子图语境类型，则调用所述子图结构语境模型根据所述语境数据生成所述多个实体节点对应的向量表示。
15.如权利要求14所述的知识图谱的向量表示生成装置，其特征在于，还包括：
第一训练模块，用于获取样本知识图谱，所述样本知识图谱包括实体节点和边；
通过查表操作获取所述样本知识图谱中实体节点和边的第一向量表示，以及所述样本知识图谱中实体节点和边的位置信息的第二向量表示；
将所述第一向量表示和所述第二向量表示输入预设模型进行处理，获取所述样本知识图谱中每个实体节点对应的第三向量表示；
根据所述第三向量表示进行实体分类预测，根据预测结果调整所述预设模型的处理参数，训练所述序列结构语境模型。
16.如权利要求14所述的知识图谱的向量表示生成装置，其特征在于，还包括：
第二训练模块，用于获取样本知识图谱，所述样本知识图谱包括实体节点和边；
通过查表操作获取所述样本知识图谱中实体节点的节点向量，将所述节点向量输入预设模型进行处理，获取所述样本知识图谱中每个实体节点对应的第四向量表示，
其中，获取关联矩阵，根据所述关联矩阵控制每个实体节点到其他实体节点的注意力计算的可达性；
根据所述第四向量表示进行实体分类预测，根据预测结果调整所述预设模型的处理参数，训练所述子图结构语境模型。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的知识图谱的向量表示生成方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的知识图谱的向量表示生成方法。
CN201910950874.6A 2019-10-08 2019-10-08 知识图谱的向量表示生成方法、装置及设备 Active CN110795569B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910950874.6A CN110795569B (zh) 2019-10-08 2019-10-08 知识图谱的向量表示生成方法、装置及设备
KR1020207036656A KR102604959B1 (ko) 2019-10-08 2020-04-07 지식 그래프의 벡터 표시 생성 방법, 장치 및 기기
PCT/CN2020/083547 WO2021068468A1 (zh) 2019-10-08 2020-04-07 知识图谱的向量表示生成方法、装置及设备
EP20767703.0A EP4044045A4 (en) 2019-10-08 2020-04-07 METHOD, DEVICE AND DEVICE FOR VECTOR REPRESENTATION GENERATION FOR A KNOWLEDGE GRAPH
US17/043,227 US11995560B2 (en) 2019-10-08 2020-04-07 Method and apparatus for generating vector representation of knowledge graph
JP2021515601A JP7262571B2 (ja) 2019-10-08 2020-04-07 知識グラフのベクトル表現生成方法、装置及び電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910950874.6A CN110795569B (zh) 2019-10-08 2019-10-08 知识图谱的向量表示生成方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110795569A CN110795569A (zh) 2020-02-14
CN110795569B true CN110795569B (zh) 2021-06-15

Family

ID=69440099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910950874.6A Active CN110795569B (zh) 2019-10-08 2019-10-08 知识图谱的向量表示生成方法、装置及设备

Country Status (6)

Country Link
US (1) US11995560B2 (zh)
EP (1) EP4044045A4 (zh)
JP (1) JP7262571B2 (zh)
KR (1) KR102604959B1 (zh)
CN (1) CN110795569B (zh)
WO (1) WO2021068468A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795569B (zh) * 2019-10-08 2021-06-15 北京百度网讯科技有限公司 知识图谱的向量表示生成方法、装置及设备
CN111626044B (zh) * 2020-05-14 2023-06-30 北京字节跳动网络技术有限公司 文本生成方法、装置、电子设备及计算机可读存储介质
CN112052680B (zh) * 2020-10-14 2023-01-10 腾讯科技（深圳）有限公司 问题生成方法、装置、设备及存储介质
CN112580716B (zh) * 2020-12-16 2023-07-11 北京百度网讯科技有限公司 图谱中边类型的识别方法、装置、设备及存储介质
CN112948592A (zh) * 2021-02-26 2021-06-11 平安科技（深圳）有限公司 基于人工智能的订单分级方法、装置、设备及存储介质
CN113569773B (zh) * 2021-08-02 2023-09-15 南京信息工程大学 基于知识图谱和Softmax回归的干扰信号识别方法
CN113673249B (zh) * 2021-08-25 2022-08-16 北京三快在线科技有限公司 实体识别方法、装置、设备及存储介质
CN114817424A (zh) * 2022-05-27 2022-07-29 中译语通信息科技(上海)有限公司 一种基于语境信息的图表征方法和***
CN118132681A (zh) * 2024-04-30 2024-06-04 支付宝(杭州)信息技术有限公司 医疗知识图谱查询中对多个查询结果的排序方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339401A (zh) * 2015-07-16 2017-01-18 富士通株式会社 确定实体之间的关系的方法和设备
CN108052625A (zh) * 2017-12-18 2018-05-18 清华大学 一种实体精细分类方法
CN109165278A (zh) * 2018-09-07 2019-01-08 桂林电子科技大学 一种基于实体和关系结构信息的知识图谱表示学习方法
CN109189882A (zh) * 2018-08-08 2019-01-11 北京百度网讯科技有限公司 序列内容的回答类型识别方法、装置、服务器和存储介质
CN109271516A (zh) * 2018-09-26 2019-01-25 清华大学 一种知识图谱中实体类型分类方法及***
CN109902145A (zh) * 2019-01-18 2019-06-18 中国科学院信息工程研究所 一种基于注意力机制的实体关系联合抽取方法和***
CN110147414A (zh) * 2019-05-23 2019-08-20 北京金山数字娱乐科技有限公司 一种知识图谱的实体表征方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012176317A1 (ja) 2011-06-23 2012-12-27 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
CN106227794B (zh) * 2016-07-20 2019-09-17 北京航空航天大学 时态图数据中动态属性数据的存储方法和装置
US10515400B2 (en) * 2016-09-08 2019-12-24 Adobe Inc. Learning vector-space representations of items for recommendations using word embedding models
US10482336B2 (en) * 2016-10-07 2019-11-19 Noblis, Inc. Face recognition and image search system using sparse feature vectors, compact binary vectors, and sub-linear search
US11176188B2 (en) * 2017-01-11 2021-11-16 Siemens Healthcare Gmbh Visualization framework based on document representation learning
KR101914853B1 (ko) * 2017-02-08 2018-11-02 경북대학교 산학협력단 논리적 속성이 반영된 지식 그래프 임베딩 방법 및 시스템, 이를 수행하기 위한 기록매체
US20180232443A1 (en) * 2017-02-16 2018-08-16 Globality, Inc. Intelligent matching system with ontology-aided relation extraction
US11481603B1 (en) * 2017-05-19 2022-10-25 Wells Fargo Bank, N.A. System for deep learning using knowledge graphs
CN108959328B (zh) 2017-05-27 2021-12-21 株式会社理光 知识图谱的处理方法、装置及电子设备
US11176325B2 (en) 2017-06-26 2021-11-16 International Business Machines Corporation Adaptive evaluation of meta-relationships in semantic graphs
US11042922B2 (en) 2018-01-03 2021-06-22 Nec Corporation Method and system for multimodal recommendations
CN108153901B (zh) * 2018-01-16 2022-04-19 北京百度网讯科技有限公司 基于知识图谱的信息推送方法和装置
US11797838B2 (en) 2018-03-13 2023-10-24 Pinterest, Inc. Efficient convolutional network for recommender systems
CN108920527A (zh) * 2018-06-07 2018-11-30 桂林电子科技大学 一种基于知识图谱的个性化推荐方法
DE112018007932T5 (de) 2018-09-28 2021-06-17 Mitsubishi Electric Corporation Inferenzvorrichtung, inferenzverfahren und inferenzprogramm
CN109739995B (zh) 2018-12-21 2022-12-09 ***股份有限公司 一种信息处理方法及装置
US10902203B2 (en) * 2019-04-23 2021-01-26 Oracle International Corporation Named entity disambiguation using entity distance in a knowledge graph
CN110795569B (zh) 2019-10-08 2021-06-15 北京百度网讯科技有限公司 知识图谱的向量表示生成方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339401A (zh) * 2015-07-16 2017-01-18 富士通株式会社 确定实体之间的关系的方法和设备
CN108052625A (zh) * 2017-12-18 2018-05-18 清华大学 一种实体精细分类方法
CN109189882A (zh) * 2018-08-08 2019-01-11 北京百度网讯科技有限公司 序列内容的回答类型识别方法、装置、服务器和存储介质
CN109165278A (zh) * 2018-09-07 2019-01-08 桂林电子科技大学 一种基于实体和关系结构信息的知识图谱表示学习方法
CN109271516A (zh) * 2018-09-26 2019-01-25 清华大学 一种知识图谱中实体类型分类方法及***
CN109902145A (zh) * 2019-01-18 2019-06-18 中国科学院信息工程研究所 一种基于注意力机制的实体关系联合抽取方法和***
CN110147414A (zh) * 2019-05-23 2019-08-20 北京金山数字娱乐科技有限公司 一种知识图谱的实体表征方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TDN: An Integrated Representation Learning Model of Knowledge Graphs;X. Kang，等;《IEEE Access》;20190424;第7卷;第55199-55205页 *
基于表示学习的知识库问答研究进展与展望;刘康，等;《自动化学报》;20160630;第42卷(第6期);第807-816页 *

Also Published As

Publication number Publication date
KR20210043493A (ko) 2021-04-21
EP4044045A4 (en) 2023-07-19
US11995560B2 (en) 2024-05-28
JP7262571B2 (ja) 2023-04-21
WO2021068468A1 (zh) 2021-04-15
KR102604959B1 (ko) 2023-11-22
EP4044045A1 (en) 2022-08-17
US20230103430A1 (en) 2023-04-06
CN110795569A (zh) 2020-02-14
JP2022505015A (ja) 2022-01-14

Similar Documents

Publication Publication Date Title
CN110795569B (zh) 知识图谱的向量表示生成方法、装置及设备
KR102484617B1 (ko) 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN111582453B (zh) 生成神经网络模型的方法和装置
KR102615957B1 (ko) 점군 데이터 처리방법, 장치, 전자기기 및 판독 가능 기록매체
CN111738414B (zh) 推荐模型的生成、内容推荐方法、装置、设备和介质
CN111582479B (zh) 神经网络模型的蒸馏方法和装置
CN111667056B (zh) 用于搜索模型结构的方法和装置
CN112001180A (zh) 多模态预训练模型获取方法、装置、电子设备及存储介质
CN111931591A (zh) 用于构建关键点学习模型的方法、装置、电子设备及可读存储介质
CN111079945B (zh) 端到端模型的训练方法及装置
CN111241838B (zh) 文本实体的语义关系处理方法、装置及设备
CN111563593B (zh) 神经网络模型的训练方法和装置
CN111695698A (zh) 用于模型蒸馏的方法、装置、电子设备及可读存储介质
CN112561056A (zh) 神经网络模型的训练方法、装置、电子设备和存储介质
CN112529180A (zh) 模型蒸馏的方法和装置
CN111914994A (zh) 多层感知机的生成方法、装置、电子设备及存储介质
CN112508004A (zh) 一种文字识别方法、装置、电子设备及存储介质
CN111753964A (zh) 神经网络的训练方法和装置
CN111523467A (zh) 人脸跟踪方法和装置
CN112580723B (zh) 多模型融合方法、装置、电子设备和存储介质
CN113657468A (zh) 预训练模型的生成方法、装置、电子设备和存储介质
CN112561059A (zh) 用于模型蒸馏的方法和装置
CN112529181A (zh) 用于模型蒸馏的方法和装置
CN111767990A (zh) 神经网络的处理方法和装置
CN111914884A (zh) 梯度下降树的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant