CN117035078A - 一种多模态知识图谱统一表示学习框架 - Google Patents

Abstract

本发明涉及一种多模态知识图谱统一表示学习框架，包括以下结构：知识图谱数据处理模块，对输入的知识图谱数据集进行预处理；知识图谱数据采样模块，根据知识图谱数据集中的数据生成训练模型所需的正样本和负样本；基础知识表示模型支持库，通过基础知识表示模型支持库和知识图谱数据集构建和评估知识表示模型；基础知识表示模型支持库包括基础模型库、损失函数库和模型评估函数库；知识表示模型训练支持工具，知识表示模型训练支持工具用于辅助构建、训练和评估知识表示模型。本发明支持知识表示学习的便捷开展的多种采样器，大大简化了多模态知识表示学习的研究和开发过程。

Description

一种多模态知识图谱统一表示学习框架

技术领域

本发明涉及一种多模态知识图谱统一表示学习框架，属于知识图谱技术领域。

背景技术

知识图谱是一种表示事实、概念、事件和实体之间关系的图结构数据。知识图谱将现实世界的信息和关系整合到一个易于理解和查询的结构中，以便快速找到所需的信息。知识图谱已经成为了一种有效的知识表示、组织、关联与展示技术，被广泛应用于推荐***、自动问答、信息检索等方面，已经成为人工智能***的基础设施。传统的知识图谱都是单一模态的，依托网页、文档等文本信息构建，而新兴发展的多模态知识图谱则可以融合多种不同模态的数据，例如文字、图像、音频和视频，以结构化的形式组织不同类型的信息。对于每个实体，多模态知识图谱能够存储与其相关的图像、音频和视频信息，以及它们之间的关系。通过多模态知识图谱，计算机可以更好地利用这些数据进行语义理解、推理和预测，从而提高智能推荐、搜索、信息检索等应用的性能。与传统的知识图谱相比，多模态知识图谱能够更好地捕捉到实体背后丰富的信息，有助于实现更准确、更个性化的服务。

知识表示学习是一种使用计算机技术从知识图谱中自动学习和抽取有用信息的方法。它的目的是将事实、概念、事件和实体的关系表示为计算机可理解的形式。具体而言，知识表示学习是基于分布式表示的思想，将实体(或关系)的语义信息映射到低维、稠密、实值的向量空间中，使得语义相似的两个对象之间的距离也相近。通过知识表示学习，计算机能够对事物进行推理、预测，并提供更准确的结果。知识表示学习是更好理解、利用知识图谱的重要技术手段。传统的单模态知识表示学习有比较成熟的技术过程，也有知识图谱表示学习的模型可供不同的知识表示学习任务开展。相对而言，多模态知识图谱表示学习则处于早期阶段，它是在单模态知识图谱表示学习的基础上，额外考虑多种模态的数据，如图像、文本、视频、音频等的处理和表示，需要额外考虑多模态数据带来的特定挑战，包括异构数据处理、多模态数据对齐，以及模态数据缺失等。

现有技术中申请号为CN202110305818.4(一种基于协同演化建模的时序知识图谱表示学习方法)和CN201911380039.X(一种基于锚点的动态知识图谱表示学习方法及***)的专利主要关注时序和动态知识图谱表示学习，处理涉及时间演化和知识库的自适应增长。解决了传统表示学习方法在时序和动态知识图谱场景下的局限性。

但是，未考虑多源异质数据处理、通用采样器方法、全方位支持知识表示学习模型等服务，使得***通用性差，无法面向多任务工作。

现有技术中申请号为CN201911376444.4(一种基于双代理增强学习路径搜索的知识表示学习方法)、CN201910431538.0(一种面向大规模知识库的快速学习方法)、CN201910629813.X(基于注意力机制融入文本语义特征的知识图谱表示学习方法)和CN201911300781.5(一种基于特征张量的中文知识图谱表示学习方法)的专利使用特定技术(如增强学习、注意力机制等)进行知识图谱表示学习，以及融合实体、关系的文本语义特征来提高表示学习的效果。解决了传统表示学习方法面临的语义特征不足、收敛速度和精度的问题。

综上所述，现有技术中未考虑整体框架的通用性和便捷性，存在数据处理能力弱，模型训练效率不足的问题。

发明内容

为了克服上述问题，本发明提供一种多模态知识图谱统一表示学习框架，该框架支持知识表示学习的便捷开展的多种采样器，全方位支撑高性能的领域专业知识图谱表示模型训练的基础模型库、损失函数库、评估指标库，高效、简便的知识表示模型训练支持工具，大大简化了多模态知识表示学习的研究和开发过程。

本发明的技术方案如下：

第一方面

一种多模态知识图谱统一表示学习框架，包括以下结构：

知识图谱数据处理模块，对输入的知识图谱数据集进行预处理，包括为知识图谱数据集中的每个实体、关系和其他模态各分配一个唯一的ID；

知识图谱数据采样模块，根据所述知识图谱数据集中的数据生成训练模型所需的正样本和负样本；

基础知识表示模型支持库，通过所述基础知识表示模型支持库和所述知识图谱数据集构建和评估知识表示模型；所述基础知识表示模型支持库包括基础模型库、损失函数库和模型评估函数库；所述基础模型库提供知识图谱表示学习算法，所述损失函数库提供优化模型性能的损失函数，所述模型评估函数库提供评估知识表示学习模型性能的评估指标；

知识表示模型训练支持工具，所述知识表示模型训练支持工具用于辅助构建、训练和评估知识表示模型。

进一步的，知识图谱数据集中的其他模态包括图像和音频，知识图谱数据处理模块对知识图谱数据集进行预处理还包括：

多模态数据读取与处理，对所述知识图谱数据集中的图像数据进行预处理，使不同的图像数据具有相同的基本属性；

对所述知识图谱数据集中的音频数据进行特征提取；

多模态数据集的切分，根据预设的比例将所述知识图谱数据集中的数据划分为训练集、验证集和测试集；

生成统计数据，从实体、属性、关系及其他模态的维度，统计知识图谱数据集的构成。

进一步的，知识图谱数据采样通过基础采样器进行采样，所述基础采样器用于：

通过统计所述训练集，建立统计词典，所述统计词典记录所述训练集中实体及其对应关系以及实体和关系的频次；

生成负样本时，查找待生成的负样本是否在所述统计词典中，若存在，则剔除待生成的负样本，否则将待生成的负样本作为负样本；

设置阈值T₁，若待生成负样本的实体或关系在所述统计词典中出现频次低于阈值T₁则剔除；

若待生成负样本的实体在所述统计词典中实体度低于阈值T₂则剔除；所述实体度为实体所连接关系的数量。

进一步的，知识图谱数据采样通过负采样器进行采样，所述负采样器用于：

从所述训练集中随机选择头实体、尾实体和关系，生成三元组作为负样本A，对所述负样本A的头实体和尾实体按照预设概率进行替换；

从所述训练集中对每个头实体和尾实体按照相同的概率进行抽样，生成负样本。

进一步的，识图谱数据采样通过图采样器进行采样，所述图采样器用于：

根据所述训练集建立统计图，所述统计图记录实体间的关联程度及权重；

对所述训练集中的所有三元组进行如下操作：

对三元组A，从所述统计图中获取与三元组A的头实体和尾实体相关的其他实体及其权重，生成与三元组A相关的头实体集合A和尾实体集合A；

根据头实体集合A和尾实体集合A中实体的权重，按照归一化的概率抽样获得所述头实体集合A中的头实体A，获得所述尾实体集合A中的尾实体A，用头实体A替换所述三元组A的头实体，用尾实体A替换所述三元组A的尾实体，生成负样本。

进一步的，所述知识表示模型训练支持工具包括：

超参数调试：使用argparse接收和管理命令行参数，通过超参数优化库辅助进行超参数搜索以自动寻找最优超参数配置；

图形化训练曲线：将训练过程中获得的损失值和评估指标输出到TensorBoardX或TensorBoard，支持使用TensorBoard的web界面实时查看训练过程中的损失值和评估指标变化，

进一步的，所述知识表示模型训练支持工具还包括：

标准化模型保存，模型训练完成后，采用Pytorch的标准模型保存方法对模型进行保存；

日志记录及查看分析，通过logging库记录模型的训练过程信息。

第二方面

一种基于多模态知识图谱统一表示学习框架的知识表示模型构建方法，根据第一方面所述多模态知识图谱统一表示学习框架构建知识表示模型，包括：

通过所述知识图谱数据处理模块对输入的知识图谱数据进行处理；

通过所述知识图谱数据采样模块对所述知识图谱数据进行采样，生成正样本和负样本；

通过所述基础知识表示模型支持库和所述知识图谱数据集构建和评估知识表示模型；

通过所述知识表示模型训练支持工具辅助构建、训练和评估所述知识表示模型。

第三方面

一种基于多模态知识图谱统一表示学习框架的知识图谱数据采样方法，根据第一方面所述多模态知识图谱统一表示学习框架对输入的知识图谱数据进行采样，包括：

通过所述知识图谱数据采样模块对输入的知识图谱数据进行处理，生成正样本和负样本时，组合使用所述基础采样器、所述负采样器和所述图采样器。

进一步的，还包括：

生成正样本和负样本时，使得正样本与负样本的比例达到预设值。

本发明具有如下有益效果：

1.该框架支持知识表示学习的便捷开展的多种采样器，全方位支撑高性能的领域专业知识图谱表示模型训练的基础模型库、损失函数库、评估指标库，高效、简便的知识表示模型训练支持工具，大大简化了多模态知识表示学习的研究和开发过程。

2.该框架提供了对多模态数据的读取和处理功能，如大规模多模态知识图谱数据集的加载、图像音频数据的处理等，实现了高效的数据加载和管理。

3.该框架提供了多种通用的采样器，如基础采样器、负采样器、图采样器等，以支持知识表示学***衡正负样本比例，提高模型的泛化能力、准确性以及学习效果。同时，优化采样策略也有助于减少训练时间，提高模型训练的效率。

附图说明

图1为本发明实施例的模块示意图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

第一方面

参考图1，一种多模态知识图谱统一表示学习框架，包括以下结构：

知识图谱数据处理模块，对输入的知识图谱数据集进行预处理，包括为知识图谱数据集中的每个实体、关系和其他模态各分配一个唯一的ID，这些唯一的ID有助于对数据集中的元素进行快速定位、查询和操作，在后续的模型中作为输入特征之一，为不同的实体、关系和模态内容提供更好的区分性，从而提高数据处理流程的效率。

知识图谱数据采样模块，根据所述知识图谱数据集中的数据生成训练模型所需的正样本和负样本；

基础知识表示模型支持库，通过所述基础知识表示模型支持库和所述知识图谱数据集构建和评估知识表示模型；所述基础知识表示模型支持库包括基础模型库、损失函数库和模型评估函数库；所述基础模型库提供知识图谱表示学习算法，所述损失函数库提供优化模型性能的损失函数，所述模型评估函数库提供评估知识表示学习模型性能的评估指标；

知识表示模型训练支持工具，所述知识表示模型训练支持工具用于辅助构建、训练和评估知识表示模型。

该框架支持多源异质数据处理，为数据集中的每个实体、关系和其他模态内容分配唯一ID，实现高效的数据加载和管理。全方位支持知识表示学习模型的构建、训练、评估和优化，包括基础模型库、损失函数库以及评估指标库等。

在本发明的一种实施方式中，知识图谱数据集中的其他模态包括图像和音频，知识图谱数据处理模块具体用于：

多模态数据读取与处理，对所述知识图谱数据集中的图像数据进行预处理，使不同的图像数据具有相同的基本属性；具有相同基本属性的图像数据能够让模型统一处理；

对所述知识图谱数据集中的音频数据进行特征提取，目的是将原始的音频数据的波形数据转化为一种更具代表性且易于处理的形式，特征提取后的音频数据可以更好地反应音频的内容，同时减少了数据的维度，有利于提高模型的训练效率。

多模态数据集的切分，根据预设的比例将所述知识图谱数据集中的数据划分为训练集、验证集和测试集；考虑到构建专业多模态知识图谱的数据集都比较大，将指数图谱数据集进行切分，形成小批量数据构成的一系列易拆分计算的数据集合，便于后续在集群分布式环境的训练、验证和测试；

生成统计数据，从实体、属性、关系及其他模态的维度，统计知识图谱数据集的构成；统计知识图谱数据集的构成，为后续包括负采样器的选择等过程提供统计参考这有助于了解数据集的分布特点，优化模型的性能。

通过以上知识图谱数据处理模块能力的实现，知识图谱数据处理环节可有效地将大规模多模态知识图谱数据集高效地预处理、加载和分割为适合多模态深度学习模型训练的形式，从而解决了小批量训练、硬件资源利用率、跨模态负采样策略选择等方面的问题，提高了多模态知识表示学习的效率和效果

在本发明的一些实施例中，该框架基于开源的深度学习框架Pytorch构建。

在本发明的一种具体实施例中，通过扩展PyTorch的Dataset类，实现多模态数据读取。

在本发明的一种具体实施例中，图像数据的基本属性包括尺寸和比例。

在本发明的一种具体实施例中，对图像数据进行预处理通过裁剪、缩放和随机翻转实现。

其中，裁剪缩放和缩放能够让图像数据具有相同的尺寸和比例，随机翻转可以增加只是图谱数据集中数据的多样性，有助于提高模型的泛化能力。

在本发明的一种具体实施例中，音频数据的特征表示形式的梅尔频率倒谱系数(MFCC)。

在本发明的一种具体实施例中，通过扩展PyTorch的Dataloader类，支撑多模态数据集的切分。具体实现步骤包括：

利用PyTorch的random_split函数，根据给定的比例拆分数据集为训练集、验证集和测试集；

使用扩展的DataLoader加载切分后的子数据集。

采样环节是知识图谱表示学习中的一个重要环节，用于生成训练模型所需的正样本和负样本。正样本是从已有的知识图谱中抽取的正确的三元组，通常是训练集的全部或采样的子集，获取相对简单。而负样本是指不正确或不存在的三元组，但需要满足典型性、同分布等特性。负样本的生成有助于提高模型的泛化能力和区分正确和错误关系的能力，是构建数据集的难点。

在本发明的一种实施方式中，知识图谱数据采样通过基础采样器进行采样，所述基础采样器用于：

通过统计所述训练集，建立统计词典，所述统计词典记录所述训练集中实体及其对应关系以及实体和关系的频次；

错误负样本过滤，包括：

生成负样本时，查找待生成的负样本是否在所述统计词典中，若存在，则剔除待生成的负样本，否则将待生成的负样本作为负样本；在具体实施例中，可以通过此方法重复生成若干负样本

低质量负样本过滤，包括：

频次规则，设置阈值T₁，若待生成负样本的实体或关系在所述统计词典中出现频次低于阈值T₁则剔除，以提高生成负样本的质量和多样性；

实体度规则，若待生成负样本的实体在所述统计词典中实体度低于阈值T₂则剔除；所述实体度为实体所连接关系的数量。剩下的负样本中的实体具有较高的度，更有可能出现在实际的正样本中，因此可以更好地帮助模型学习实际信息。

在本发明的实施例中，基础采样器在获取负样本时，通过错误负样本过滤和低质量负样本过滤两种方式组合或者单独使用生成负样本。

在本发明的实施例中，进行低质量负样本过滤时，可以组合或者单独使用频次规则和实体度规则。

在本发明的一种实施方式中，知识图谱数据采样通过负采样器进行采样，所述负采样器用于：

随机替换策略，从所述训练集中随机选择头实体、尾实体和关系，生成三元组作为负样本A，对所述负样本A的头实体和尾实体按照预设概率进行替换；通过调整头实体或/和尾实体的替换比例来改变负样本的概率分布，可以平衡不同负样本出现在训练数据中的频次，从而提高了负样本的多样性，使模型能更好地学习和区分正确和错误的关系。

均匀分布策略，从所述训练集中对每个头实体和尾实体按照相同的概率进行抽样，生成负样本。

在本发明的实施例中，通过负采样器采样时，可以组合或者单独使用随机替换策略和均匀分布策略。

在本发明的一种具体实施例中，所述随机替换策略的头实体和尾实体的替换概率均为0.5。

如，三元组表示一个人(头实体)在一个城市中(尾实体)，关系是"lives_in"。三元组A表示为:

(小张,lives_in,福州)

通过替换头实体或尾实体来生成负样本。替换头实体的示例:

(老王,lives_in,福州)

根据给定概率，有时替换头实体，有时替换尾实体，有时同时替换头实体和尾实体。这种方法保证了负样本的多样性，并让模型能够学习到单边替换(仅替换头实体或尾实体)和双边替换(同时替换头实体和尾实体)时的区别。

替换时可以选择从当前实体集合中随机挑选一个不同与原始实体的实体作为替换对象。这样，可以得到多个不同的负样本，增强了模型的泛化能力。

在本发明的一种具体实施例中，通过均匀分布策略采样时，只是图谱中有5个实体和3个关系，每个实体和关系都有相同的概率被抽取，实体概率为1/5，关系概率为1/3。通过这种方式生成负样本，可以保证每个实体和关系都有相同的机会被选中，从而提高了负样本的多样性。

在本发明的一种实施方式中，识图谱数据采样通过图采样器进行采样，所述图采样器用于：

根据所述训练集建立统计图，所述统计图记录实体间的关联程度及权重；关联程度和权重用于描述实体之间的关系强度，在本发明的部分实施方式中关联程度表示实体之间在知识图谱中的相互联系，权重则表示这种联系的强度，如，实体B和C在知识图谱中共同出现在10个三元组中，而实体B和D仅在1个三元组中共同出现，则实体B和C的关联程度和权重要大于实体B和D。；

对所述训练集中的所有三元组进行如下操作：

对三元组A，从所述统计图中获取与三元组A的头实体和尾实体相关的其他实体及其权重，生成与三元组A相关的头实体集合A和尾实体集合A；

根据头实体集合A和尾实体集合A中实体的权重，按照归一化的概率抽样获得所述头实体集合A中的头实体A，获得所述尾实体集合A中的尾实体A，用头实体A替换所述三元组A的头实体，用尾实体A替换所述三元组A的尾实体，生成负样本。

通过在统计图中考虑实体之间的关联程度和权重，生成的负样本会考虑到实体之间的结构信息，这样，与正确三元组关联更紧密的负样本更可能被选中。所以，这种方法能保证生成的负样本具有更高的结构相关性，有助于模型学习到更多与结构密切相关的知识，从而提高对稀疏或容易被忽略关系的学习效果模型学习到知识图谱中容易被忽视或欠采样的关系。

按照归一化的概率抽样获得所述实体集合A中的实体A，具体为：

根据实体权重得到实体权重集合W＝{w₁,w₂,...,w_n}，其中，w₁,w₂,...,w_n为不同实体的权重；

计算归一化权重集合W'＝{w₁',w₂',...,w_n'}；

其中w_i'＝w_i/ΣW；

根据W'中的归一化权重进行抽样，每个实体被选中的概率等于它的归一化权重。

在本发明的实施方式中，可以组合或者单独使用上文所述的基础采样器、负采样器和图采样器。

在知识表示学***衡正负样本比例，进而提高模型的泛化能力、准确性以及学习效果。其中，基础采样器通常不直接生成负样本，重点是通过提供便捷的规则、策略机制，过滤掉不正确、低质量的负样本，获得更优的负样本数据集；负采样器专门负责产生负样本，基于随机替换或均匀分布策略来生成负样本，可以简单地采样得到大量负样本；图采样器从网络拓扑结构的角度去考虑采样问题，可以帮助模型捕捉到更丰富的数据特征，进而生成特定任务所需要的高质量样本。

通过使用不同的采样器，可以从正负样本平衡、拓扑结构捕捉等多个角度提高模型的泛化能力、准确性以及学习效果。这些采样器可以单独使用，也可以组合使用以实现更优的表现。实际案例可根据具体任务和数据集选用适当的采样引擎，并进行参数调整，以实现最佳性能。

在本发明的一种实施方式中，所述基础模型库包括传统知识图嵌入算法、基于图神经网络的知识图谱嵌入算法和基于规则的知识图谱嵌入算法；

所述基础模型库中的各算法具有统一的基类和接口。

所述基础模型库为知识图谱表示学习提供了一个高度灵活、模块化的框架，使得研究人员能更轻松快速地构建和调整领域专业知识图谱表示模型，降低了开发难度，加速了研究进展。

在本发明的一种实施方式中，所述损失函数库包括BCE Loss、Sigmod函数。

在本发明的一种实施方式中，所述模型评估函数库包括创建独立的模型评估工具类，所述模型评估工具类能够提供不同的评估指标。如Link Prediction(计算预测的知识图谱实体关系与真实实体关系的匹配程度)，Mean Reciprocal Rank(MRR，衡量模型将正确的实体或关系排名在列表前部的能力)等，有助于研究者和开发者了解模型性能，进一步优化模型。

在本发明的一种实施方式中，所述知识表示模型训练支持工具包括：

超参数调试：使用argparse接收和管理命令行参数，通过超参数优化库辅助进行超参数搜索以自动寻找最优超参数配置；在知识图谱表示学习中，不同的模型可能有许多超参数。这些超参数会影响模型的性能和收敛速度。训练支持工具模块提供了简化的超参数调试过程，使得开发人员能更便捷地调整参数以获得最佳的模型性能。

图形化训练曲线：将训练过程中获得的损失值和评估指标输出到TensorBoardX或TensorBoard，支持使用TensorBoard的web界面实时查看训练过程中的损失值和评估指标变化；直观的训练曲线可以帮助开发人员更好地理解模型的训练过程和性能。训练支持工具模块提供了绘制训练曲线的功能，从而实时反映模型在训练过程中的损失和精度变化，以评估模型的收敛性和稳定性。

在本发明的一种实施方式中，所述知识表示模型训练支持工具还包括：

标准化模型保存，模型训练完成后，采用Pytorch的标准模型保存方法对模型进行保存；在模型训练完成后，通常需要将模型保存，以便后续进行模型的验证、测试或部署，该方法简化了模型保存和加载的过程，方便后续直接使用。

日志记录及查看分析，通过logging库记录模型的训练过程信息。训练过程中，日志信息记录对模型调试、问题定位和性能优化至关重要，训练支持工具模块可以记录丰富的训练过程信息，如每一轮的损失值和精度、超参数设置和训练时长等，帮助开发人员更好地了解训练过程和性能表现。

第二方面

一种基于多模态知识图谱统一表示学习框架的知识表示模型构建方法，根据第一方面所述多模态知识图谱统一表示学习框架构建知识表示模型，包括：

通过所述知识图谱数据处理模块对输入的知识图谱数据进行处理；

通过所述知识图谱数据采样模块对所述知识图谱数据进行采样，生成正样本和负样本；

通过所述基础知识表示模型支持库和所述知识图谱数据集构建和评估知识表示模型；

通过所述知识表示模型训练支持工具辅助构建、训练和评估所述知识表示模型。

第三方面

一种基于多模态知识图谱统一表示学习框架的知识图谱数据采样方法，根据第一方面所述多模态知识图谱统一表示学习框架对输入的知识图谱数据进行采样，包括：

通过所述知识图谱数据采样模块对输入的知识图谱数据进行处理，生成正样本和负样本时，组合使用所述基础采样器、所述负采样器和所述图采样器。

在本发明的一种实施方式中，还包括：

生成正样本和负样本时，使得正样本与负样本的比例达到预设值。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种多模态知识图谱统一表示学习框架，其特征在于，包括以下结构：

知识图谱数据处理模块，对输入的知识图谱数据集中的每个实体、关系和其他模态各分配一个唯一的ID；

知识图谱数据采样模块，根据所述知识图谱数据集中的数据生成训练模型所需的正样本和负样本；

基础知识表示模型支持库，通过所述基础知识表示模型支持库和所述知识图谱数据集构建和评估知识表示模型；所述基础知识表示模型支持库包括基础模型库、损失函数库和模型评估函数库；所述基础模型库提供知识图谱表示学习算法，所述损失函数库提供优化模型性能的损失函数，所述模型评估函数库提供评估知识表示学习模型性能的评估指标；

知识表示模型训练支持工具，所述知识表示模型训练支持工具用于辅助构建、训练和评估知识表示模型。

2.根据权利要求1所述多模态知识图谱统一表示学习框架，其特征在于，知识图谱数据集中的其他模态包括图像和音频，知识图谱数据处理模块具体用于多模态数据读取与处理，对所述知识图谱数据集中的图像数据进行预处理，使不同的图像数据具有相同的基本属性；对所述知识图谱数据集中的音频数据进行特征提取；多模态数据集的切分，根据预设的比例将所述知识图谱数据集中的数据划分为训练集、验证集和测试集；生成统计数据，从实体、属性、关系及其他模态的维度，统计知识图谱数据集的构成。

3.根据权利要求2所述多模态知识图谱统一表示学习框架，其特征在于，知识图谱数据采样通过基础采样器进行采样，所述基础采样器用于通过统计所述训练集，建立统计词典，所述统计词典记录所述训练集中实体及其对应关系以及实体和关系的频次；

以及生成负样本时，查找待生成的负样本是否在所述统计词典中，若存在，则剔除待生成的负样本，否则将待生成的负样本作为负样本；

频次规则，设置阈值T₁，若待生成负样本的实体或关系在所述统计词典中出现频次低于阈值T₁则剔除；

实体度规则，设置阈值T₂，若待生成负样本的实体在所述统计词典中实体度低于阈值T₂则剔除；所述实体度为实体所连接关系的数量。

4.根据权利要求3所述多模态知识图谱统一表示学习框架，其特征在于，知识图谱数据采样通过负采样器进行采样，所述负采样器用于：

从所述训练集中随机选择头实体、尾实体和关系，生成三元组作为负样本A，对所述负样本A的头实体和尾实体按照预设概率进行替换；

从所述训练集中对每个头实体和尾实体按照相同的概率进行抽样，生成负样本。

5.根据权利要求4所述多模态知识图谱统一表示学习框架，其特征在于，识图谱数据采样通过图采样器进行采样，所述图采样器用于：

根据所述训练集建立统计图，所述统计图记录实体间的关联程度及权重；

对所述训练集中的所有三元组进行如下操作：

对三元组A，从所述统计图中获取与三元组A的头实体和尾实体相关的其他实体及其权重，生成与三元组A相关的头实体集合A和尾实体集合A；

根据头实体集合A和尾实体集合A中实体的权重，按照归一化的概率抽样获得所述头实体集合A中的头实体A，获得所述尾实体集合A中的尾实体A，用头实体A替换所述三元组A的头实体，用尾实体A替换所述三元组A的尾实体，生成负样本。

6.根据权利要求1所述多模态知识图谱统一表示学习框架，其特征在于，所述知识表示模型训练支持工具包括：

超参数调试：使用argparse接收和管理命令行参数，通过超参数优化库辅助进行超参数搜索以自动寻找最优超参数配置；

图形化训练曲线：将训练过程中获得的损失值和评估指标输出到TensorBoardX或TensorBoard，支持使用TensorBoard的web界面实时查看训练过程中的损失值和评估指标变化。

7.根据权利要求6所述多模态知识图谱统一表示学习框架，其特征在于，所述知识表示模型训练支持工具还包括：

标准化模型保存，模型训练完成后，采用Pytorch的标准模型保存方法对模型进行保存；

日志记录及查看分析，通过logging库记录模型的训练过程信息。

8.一种基于多模态知识图谱统一表示学习框架的知识表示模型构建方法，根据权利要求1-7中任一所述多模态知识图谱统一表示学习框架构建知识表示模型，其特征在于，包括：

通过所述知识图谱数据处理模块对输入的知识图谱数据进行处理；

通过所述知识图谱数据采样模块对所述知识图谱数据进行采样，生成正样本和负样本；

通过所述基础知识表示模型支持库和所述知识图谱数据集构建和评估知识表示模型；

通过所述知识表示模型训练支持工具辅助构建、训练和评估所述知识表示模型。

9.一种基于多模态知识图谱统一表示学习框架的知识图谱数据采样方法，根据权利要求5所述多模态知识图谱统一表示学习框架对输入的知识图谱数据进行采样，其特征在于，包括：

通过所述知识图谱数据采样模块对输入的知识图谱数据进行处理，生成正样本和负样本时，组合使用所述基础采样器、所述负采样器和所述图采样器。

10.根据权利要求9所述基于多模态知识图谱统一表示学习框架的知识图谱数据采样方法，其特征在于，还包括：

生成正样本和负样本时，使得正样本与负样本的比例达到预设值。