CN110751275A - 图训练***、数据访问方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开关于一种图训练***、数据访问方法及装置、电子设备、存储介质。一种图训练***，包括参数服务器，所述参数服务器内设置有持久性内存，所述持久性内存被配置为保证所述参数服务器在非对称场景下读数据和写数据的数据访问；其中，所述图训练***的参数以及嵌入，分布式地存储在所述参数服务器中。因此，通过在大规模图神经网络训练***中使用可持久性内存，带来极大的性能改善，为改善大规模机器学习模型训练***的性能开辟了新的方向。并且，该图训练***以及持久性内存也可以应用于推荐***以满足大规模推荐场景的需求，提高推荐***的数据吞吐量，并可以降低存储成本。同时，使得故障重启时间大大减少，极大提高了***可用性。

Description

图训练***、数据访问方法及装置、电子设备、存储介质

相关申请的交叉引用

本申请要求在2019年8月3日提交中国专利局、申请号为201910714160.5、申请名称为“推荐***、数据访问方法及装置、电子设备、存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开涉及视频编码技术领域，尤其涉及一种图训练***、数据访问方法及装置、电子设备、存储介质。

背景技术

近来，图神经网络(GNN)在各个领域广受关注，比如社交网络、知识图谱、推荐***以及生命科学等。GNN在对图节点之间依赖关系进行建模的强大功能使得与图分析相关的研究领域取得了突破。

为了支持数百亿边级别规模的动态图学习，传统的图计算引擎需要通过图划分算法将图划分成多个分片，然后进行分布式处理。而作为图神经网络训练中相对耗时的图遍历采样部分，图分片算法的好坏直接决定了图遍历采样中跨分片跨机器访问的数量，直接关系到图遍历采样的性能和效率。而且很多现有经典划分算法往往对稠密图是很难降低跨机器跨分片访问数量的。

因此，如何改善大规模机器学习模型训练***的性能，以突破由于跨分片跨机器访问导致的性能和效率差的问题，成为亟需解决的问题。

发明内容

本公开提供一种图训练***、数据访问方法及装置、电子设备、存储介质，以解决相关技术中存在的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图训练***，所述图训练***包括：参数服务器，所述参数服务器内设置有持久性内存，所述持久性内存被配置为保证所述参数服务器在非对称场景下读数据和写数据的数据访问；其中，所述图训练***的参数以及嵌入，分布式地存储在所述参数服务器中。

可选地，所述图训练***包括多个工作节点，每个工作节点内设置有持久性内存，所述持久性内存被配置为保证所述工作节点在非对称场景下读数据和写数据的数据访问，其中，所述图训练***将所训练的图的整个图链接结构数据存储在每个工作节点的持久性内存内。

可选地，所述参数服务器和/或所述工作节点基于键值存储***存储数据；所述键值存储***包括缓存池组件；所述缓存池组件与所述持久性内存和预先设置的动态随机存取存储器通信，被配置为获取数据访问请求的访问类型，并基于所述访问类型确定从所述持久性内存或所述动态随机存取存储器读写数据。

可选地，在在线模型预估服务的场景中，所述缓存池组件被配置为在接收到预估模型发送的数据访问请求时，确定所述预估模型从所述动态随机存取存储器内读写数据。

可选地，所述整个图链接结构数据压缩存储在每个工作节点的持久性内存内，其中，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，所述键值对的键对应于图节点的节点ID，所述键值对的值中保存所述节点ID对应的邻接节点信息。

可选地，使用循环数组保存所述邻接节点信息。

可选地，所述值的存储结构为容量大小固定的连续内存结构，所述容量为预先分配的。可选地，所述图训练***用于推荐***，所述参数服务器是所述推荐***的参数服务器，所述推荐***还包括分布式索引服务器，所述分布式索引服务器内设置有持久性内存，所述持久性内存被配置为保证所述分布式索引服务器在非对称场景下读数据和写数据的数据访问。

可选地，所述键值存储***内绑定非统一内容访问NUMA节点，以使所述持久性内存的数据访问不跨越NUMA节点。

可选地，所述键值存储***内采用零拷贝ZeroCopy方式访问所述持久性内存和所述动态随机存取存储器。

可选地，在设定时长内，所述键值存储***内临界区对所述持久性内存的数据访问次数不超过设定次数。

可选地，在预先设置的高频写入低字节的场景下，所述持久性内存内设置缓存，在所述缓存器内写满字节后，将其所述缓存器内的字节写入所述持久性内存内。

根据本公开实施例的第二方面，提供一种数据访问方法，适用于设置有持久性内存的图训练***的工作节点，所述方法包括：

获取所接收的数据访问请求的访问类型；

根据所述访问类型，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样。

可选地，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样，包括：

从所述键值对的键中获取节点ID；以及/或者

从所述键值对的值中获取所述节点ID对应的邻接点信息。

可选地，所述方法还包括：

获取样本流，所述样本流包括节点ID及其对应的邻接点信息；以及

基于所述样本流，更新所述整个图链接结构。

可选地，所述基于所述样本流，更新所述整个图链接结构，包括：

若所述样本流中的图节点为新增节点，则将所述新增节点的节点ID存储至所述键值对的键中，并基于训练好的图，将所述新增节点的邻接点信息存储至所述新增节点的键值对的值中。

可选地，使用循环数组保存所述邻接节点信息；并且/或者所述值的存储结构为容量大小固定的连续内存结构，所述容量为预先分配的。

可选地，所述方法还可以包括：

获取所接收的数据访问请求的访问类型；

根据所述访问类型从所述持久性内存或所述动态随机存取存储器读写数据。

可选地，根据所述访问类型从所述持久性内存或所述动态随机存取存储器读写数据包括：

若确定出数据访问请求来自预估模型，则确定所述预估模型从所述动态随机存取存储器内读写数据。

可选地，根据所述访问类型从所述持久性内存或所述动态随机存取存储器读写数据包括：

若写入数据的字节数低于设定数量，则将所述字节写入到所述持久性内存内的缓存内；

若所述缓存内已写满字节，则将所述缓存内的全部字节写入所述持久性内存。

根据本公开实施例的第三方面，提供一种数据访问装置，适用于设置有持久性内存的图训练***的工作节点，所述装置包括：

访问类型获取单元，被配置为执行获取所接收的数据访问请求的访问类型；

图引擎单元，被配置为执行根据所述访问类型，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样。

可选地，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，图引擎单元被配置为：

从所述键值对的键中获取节点ID；以及/或者

从所述键值对的值中获取所述节点ID对应的邻接点信息。

可选地，所述装置还包括图链接结构更新单元，所述图链接结构更新单元被配置为：

获取样本流，所述样本流包括节点ID及其对应的邻接点信息；以及

基于所述样本流，更新所述整个图链接结构。

可选地，所述图链接结构更新单元被配置为：

若所述样本流中的图节点为新增节点，则将所述新增节点的节点ID存储至所述键值对的键中，并基于训练好的图，将所述新增节点的邻接点信息存储至所述新增节点的键值对的值中。

可选地，使用循环数组保存所述邻接节点信息；并且/或者所述值的存储结构为容量大小固定的连续内存结构，所述容量为预先分配的。可选地，所述装置还可以包括读写位置确定单元，所述读写位置确定单元被配置为根据所述访问类型从所述持久性内存或所述动态随机存取存储器读写数据。

可选地，所述读写位置确定单元包括：

预估数据确定模块，被配置为执行在确定出数据访问请求来自预估模型时，确定所述预估模型从所述动态随机存取存储器内读写数据。

可选地，所述读写位置确定单元包括：

缓存写入模块，被配置为执行在写入数据的字节数低于设定数量时，将所述字节写入到所述持久性内存内的缓存内；

内存写入模块，被配置为执行在所述缓存内已写满字节时，将所述缓存内的全部字节写入所述持久性内存。

根据本公开实施例的第四方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现如第二方面任一项所述方法的步骤。

根据本公开实施例的第五方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第二方面所述方法的步骤。

本公开的实施例提供的技术方案至少带来以下有益效果：

本实施例中通过在推荐***中采用持久性内存，可以满足大规模推荐场景的需求，提高推荐***的数据吞吐量，并可以降低存储成本。同时，由于其持久性内存的特点，推荐***的数据恢复比以前从网络或者磁盘进行故障恢复时间能从小时级别降低到分钟级，使得故障重启时间大大减少，极大提高了***可用性。此外，在大规模图神经网络训练***中使用可持久性内存也带了极大的性能改善，为改善大规模机器学习模型训练***的性能开辟了新的方向。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种推荐***的框图；

图2是根据一示例性实施例示出的存储层次结构图；

图3是根据一示例性实施例示出的一种采用持久性内存的推荐***的框图；

图4是根据一示例性实施例示出的键值存储***的结构图；

图5是根据一示例性实施例示出的推荐***的压测效果对比图；

图6是根据一示例性实施例示出的一种图深度学习下的应用场景图；

图7是根据一示例性实施例示出的一种数据访问方法的流程图；

图8是根据一示例性实施例示出的一种数据访问装置的框图；

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

目前，大规模分布式存储***一直是各平台推荐***的核心基石。推荐***的各个模块包括用户和视频特征索引、推荐模型的训练和预估都对底层存储***的容量、延迟和吞吐量等各个方面的扩展性有着极其严格的要求。尤其是随着用户和视频规模的快速增长、以及大规模深度模型在推荐***中的广泛使用，增强存储***扩展性的需求日益凸显出来。

本实施例中，提供了一种推荐***，图1示出了一种推荐***的架构。参见图1，推荐***可以包括参数服务器(parameter server)、分布式索引服务器(index server)，并可以提供预估服务(prediction service)，该预估服务内的预估服务器可以从分布式索引服务器内的索引值和从参数服务器内读取参数生成预估数据，并提供给客户端。

本公开的发明人发现，分布式索引服务器需要提供每秒百万级别的在线查询量，十亿级别的存储数据量；而且索引需要实时更新，且同时满足低延迟的要求，是一种典型的读写性能非对称的应用场景。在线预估场景需要支持低延迟、高并发的访问，并且需要实时更新模型，同样是一种典型的读写性能非对称的应用场景。另外，分布式索引服务器每次读取内容大小是KB级别，大于参数服务器每次的读取内容，顺序读的性能更好。

基于上述两个场景的读写性能非对称，本公开的发明人考虑将具有读写性能非对称特点的持久性内存技术应用到图1所示的推荐***中。

图2示出了一种服务器的存储层次结构，参见图2，持久性内存是介于动态随机存取存储器(Dynamic Random Access Memory，DRAM)和固态硬盘(Solid State Drive，SSD)之间的一个新的存储层级，主要为温数据(即温数据是非即时的状态和行为数据)提供读写数据服务。持久性内存不仅能提供类似DRAM的延迟，同时提供持久化和更大的存储容量。持久性内存采用与DRAM相同的通道接口，直接插在DRAM插槽上，因此享用比PCI-e更高效的与CPU通讯带宽。DRAM主要为热数据(即指即时的位置状态、交易和浏览行为)提供读写数据服务。机械硬盘HDD主要为冷数据(即不需要实时访问的离线数据，用于灾难恢复的备份或者法律规定保留的数据)提供读写数据服务。

持久性内存支持多种操作模式，主要包括内存模式(Memory Mode)和应用直接访问模式(App Direct Mode)。因为上层应用对数据访问模式有更多的信息，因此本实施例中在推荐***中使用的是应用直接访问模式。

参见图3，在应用直接访问模式下，持久性内存将作为块设备(即是一类I/O设备，将信息存在在固定大小的块中，每个块有自己的地址，这样在知道块地址的情况下可以读取到该块内的数据)的形式使用Linux文件***的DAX挂载模式来使用，***扩展文件***(Fourth extended filesystem，Ext4)和高级日志文件***XFS都支持DAX模式。DAX挂载模式具有以下特点，分配和使用持久性内存空间对应的操作时在相应的文件***路径上创建并打开文件，并使用文件***接口或者Intel提供的和持久内存开发工具包(PersistentMemory Development Kit，PMDK)来进行访问和控制。

本实施例中，在推荐***中，大规模模型训练时，每个批处理batch会更新24GB/s的数据量，对于参数服务器的读写比约为1:1。在这种场景下，本实施例对持久性内存进行更加细致的架构设计，不仅仅是降低成本，同时通过单机大容量减少跨网络传输从而提升整体效率。

由于分布式索引服务器和参数服务器的存储内核都是基于键值存储(Key-Value，KV)，针对持久性内存的特性和键值存储***的结构，本实施例对持久性内存优化方案如下：在键值存储***中增加一个缓存池MemPool的组件，键值存储***结构如图4所示。

参见图4，键值存储***采用两层的索引结构：第一层为HashMap，存储HashKey和指向第二层的指针Index；第二层是按值大小(Value size)以Slab机制为组织方式的数据页，存储了实际的Value。其中，内存分配机制(Slab机制)下slab分配器的管理数据划分为两大结构：管理数据结构kmem_cache(称之为缓存)和保存3D模型文件(obj对象)的各个slab。即***启动时会进行预先分配数据页(Embedding Table)，以减少Slab动态分配带来的额外开销。MemPool组件可以获取访问请求的访问类型，并根据访问类型决定是从DRAM缓存读写数据，还是从持久性内存读写数据。例如，在推荐模型预估的场景中，由于模型中神经网络大小与数据页Embedding Table相比很小，因此神经网络也会被MemPool直接分配进入DRAM来提高预估的性能。

除了上述的架构优化，本实施例还对键值存储***进行如下处理，包括：

(1)对于数据读写场景采用非统一内存访问(NUMA)节点绑定的方式，使得持久性内存访问不跨越NUMA节点，从而获得更好的读写性能。在NUMA下，处理器访问自己的本地存储器的速度比非本地存储器快一些，其中非本地存储器是指其他处理器的本地存储器。

(2)采用零拷贝ZeroCopy方式访问持久性内存和动态随机存取存储器DRAM。

(3)键值存储***内临界区对所述持久性内存的数据访问次数不超过设定次数。即减少锁的使用，尤其是减少临界区中对持久性内存的数据访问，以提高持久性内存读写数据的性能。

(4)在预先设置的高频写入低字节的场景下，持久性内存内设置缓存器，在缓存器内写满字节后，将其所述缓存器内的字节写入所述持久性内存内。如，对于低字节、高频写的更新场景，对于持久性内存是不友好的，通过做缓存cache的方式，在内存中保持写入缓存器Buffer，合并写操作，缓存器Buffer满后再用PMDK的API刷入持久性内存NVM。虽然会损失一些持久化特性，但是带来写性能接近内存的性能提升。

本实施例还设置对比实验来验证上述推荐***的性能，参见图5，经过上述改进，将基于持久性内存的索引***用真实的线上请求数据进行模拟压测。在压测中，基于持久性内存的索引***的请求吞吐(request item)和网络带宽与基于DRAM的***比较基本持平；在平均时延(avg_time)上基本持平，比DRAM的平均时延略高5％；但是P99的性能持久性内存没有DRAM稳定，会有随时间和压力变化的现象，总体P99时延在测试中大概比DRAM高15％。其中改写相关的请求相比读请求少几个量级，因此基本不影响线上读写操作的性能。在机器重启的情况下，基于持久性内存的异常恢复时间相比DRAM方案降低120倍，从两小时降低到分钟级别，极大的提高***可用性。

在推荐***的高吞吐量数据请求的场景，可以大规模使用持久性内存，以降低存储成本的目的。同时，由于其持久性存储的特点，推荐***的数据恢复比以前从网络或者磁盘进行故障恢复时间能从小时级别降低到分钟级，使得故障重启时间大大减少，极大提高了推荐***可用性。

另外，实际应用中，为了支持数百亿边级别规模的动态图学习，传统的图计算引擎需要通过图划分算法将图划分成多个分片，然后进行分布式处理，来突破单机内存的限制。而作为图神经网络训练中相对耗时的图遍历采样部分，图分片算法的好坏直接决定了图遍历采样中跨分片跨机器访问的数量，直接关系到图遍历采样的性能和效率。而且很多现有经典划分算法往往对稠密图是很难降低跨机器跨分片访问数量的。因此，如何改善大规模机器学习模型训练***的性能，以突破由于跨分片跨机器访问导致的性能和效率差的问题，成为亟需解决的问题。

本公开的发明人发现，一些基于图神经网络训练***的平台(例如推荐***)往往存在海量的用户访问量和视频上传量，这些图的图节点数达到数亿量级，而边的数量达到百亿量级，需要占用TB量级的存储量；为了让图学习算法支持在线学习，这些新增的数据需要实时更新到图结构中，这就要求图存储引擎支持高吞吐的***更新操作和旧数据的淘汰机制；图算法在训练时会从图中采样出子图数据，每次采样需要访问数百甚至更多的图节点和边数据，单组模型训练每秒钟需要执行几万次采样操作，图存储引擎需要支持每秒钟至少上百万的数据访问请求。

基于上述场景的读写性能非对称，在一实施例中，本公开的发明人考虑，还可以将具有读写性能非对称特点的持久性内存技术应用于大规模图深度学习中，通过利用可持久性内存技术来直接提高单机存储容量。并可以重新设计图神经网络分布式训练***的架构，使得该图训练***能够快速地进行各种图遍历和/或图采样。并且，对于高阶的稠密图遍历，采用可持久化内存在本地运算甚至能节省数十次远程调用，从而极大的提升了图深度学习的训练效率。

图6是根据一示例性实施例示出的一种图深度学习下的应用场景图。其中，在该实施例中，以结合图1所示的推荐***这一应用场景，来对本申请的图训练***进行说明。

参见图6，本实施例中重新设计图神经网络分布式训练***(简称图训练***)的架构，在构建的图训练***中，可以包括参数服务器和工作节点(worker)。其中，图训练***中述及的参数服务器例如可以是图1所述推荐***中的参数服务器。其中，关于持久性内存的具体实现可参见上文的相关描述，在此不再赘述。

所述参数服务器内可以设置有持久性内存，所述持久性内存被配置为保证所述参数服务器在非对称场景下读数据和写数据的数据访问。在一个实施例中，可以将图训练***的相关的参数和嵌入(Embedding)，分布式地存储在参数服务器中。其中，该图训练***的相关参数例如可以包括模型参数、用于所训练的图的图节点以及边数据的相关参数等。

工作节点(Worker)可以内设置有持久性内存，所述持久性内存被配置为保证所述工作节点在非对称场景下读数据和写数据的数据访问。其中，对于每个工作节点(Worker)，可以将图训练***所训练的整个图的链接结构压缩后存储在Worker的持久性内存中。这样，由于每个Worker在本地都有图链接结构，因此能够快速的进行各种图遍历采样。对于高阶的稠密图遍历，采用持久性内存在本地运算甚至能节省数十次远程调用，从而极大的提升了图深度学习的训练效率。

本公开实施例中，可以使得整个图的链接结构随着样本流进行动态的结构更新。具体地，例如可以是通过获取样本流，并基于所述样本流，更新所述整个图链接结构。其中，该样本流可以包括图节点的节点ID及其邻接点信息，更新图链接结构例如可以是：若所述样本流中的图节点为新增节点，则将所述新增节点的节点ID存储至所述键值对的键中，并基于训练好的图，将所述新增节点的邻接点信息存储至所述新增节点的键值对的值中。若所述样本流中包括已有图节点的新增邻接点信息，则将新增的邻接点信息至所述已有图节点的节点ID的键值对的值中。由此，实现对整个图的链接结构的更新。

本公开实施例中，例如可以设计基于动态随机存取存储器、NVM的KV存储引擎，使得图引擎可以支持TB量级的数据存储，每秒钟至少上百万的数据访问请求，支持高吞吐的***更新操作和旧数据的淘汰机制，各种关系图每日新增的边数可以达到数亿甚至数十亿，新增的数据也可以实时更新到图结构中，并使得本公开实施例的图训练***支持在线学习。

其中具体地，与上文结合推荐***中的持久性内存的描述相似，图训练***的参数服务器和/或所述工作节点可以基于键值存储***存储数据；所述键值存储***包括缓存池组件；所述缓存池组件与所述持久性内存和预先设置的动态随机存取存储器通信，被配置为获取数据访问请求的访问类型，并基于所述访问类型确定从所述持久性内存或所述动态随机存取存储器读写数据。在另一个实施例中，在在线模型预估服务的场景中，所述缓存池组件被配置为在接收到预估模型发送的数据访问请求时，确定所述预估模型从所述动态随机存取存储器内读写数据。

在本公开实施例中，所述图链接结构的每个图节点及其邻接节点信息可以被存储为键值对，其中，所述键值对的键对应于图节点的节点ID，所述键值对的值中保存所述节点ID对应的邻接节点信息。在有数据访问需求时，工作节点或其图引擎，可以根据所接收的数据访问请求的访问类型，对存储在工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样。在一个实施例中，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样，例如可以包括：从所述键值对的键中获取节点ID；以及/或者从所述键值对的值中获取所述节点ID对应的邻接点信息。

由此，图算法在训练时会从图中采样出子图数据，每次采样可以访问数百甚至更多的图节点和边数据，单组模型训练每秒钟可以执行几万次采样操作，图引擎支持每秒钟至少上百万的数据访问请求。

此外，本公开实施例中，为了支持旧数据的快速淘汰，键值对的值(value)存储可以使用循环数组来保存邻接节点数据。这样，在***新的边节点数据后，会自动把超出容量的旧数据淘汰掉。

为了减小内存碎片和加快访问速度，键值对的值(value)存储的存储结构中也可以保持为容量大小固定的连续内存结构。该容量大小可以为预先设置的，在程序启动时可以预分配出与该容量大小对应的value存储。其中，该容量例如可以为设置的最大容量。此外，如果单机存储量不足，整个图可以以图节点为单位，分shard存储到多台物理机器上，采样过程读取多个图节点的数据，会按照图节点所在的物理机器分组，把相同物理机器上的多个图节点请求批量发送出去。

此外，本公开实施例中，通过将持久性内存应用于大规模图深度学习中，可以直接提高单机存储容量(例如TB量级)，使得所存储图的图节点数和边数可以达到数亿甚至是数百亿量级。基于该图训练***，可以存储多种异构图，例如，用户间社交关系图、对象(例如视频)点击关系图等。其中，用户间社交关系图可以表征不同用户之间的社交关系，对象点击关系图可以表征对象(例如视频)与点击该对象的用户的关系。图中可以由图节点和边构成，图中的图节点例如可以包括用户节点和对象节点，边例如可以包括表示用户间社交关系的边和/或表示用户和对象之间的点击关系的边。

由此，通过对图训练***的相关配置，以使得其能够快速地进行各种图遍历采样，并支持高吞吐的***更新操作和旧数据的淘汰机制，从而极大地改善大规模机器学习模型训练***的性能。

换言之，在大规模图神经网络训练***中使用可持久性内存也带了极大的性能改善，为改善大规模机器学习模型训练***的性能开辟了新的方向。

图7是根据一示例性实施例示出的一种数据访问方法的流程图。参见图7，一种数据访问方法，适用于图1～图6所示的设置有持久性内存的图训练***和/或推荐***，所述方法包括：

701，获取所接收的数据访问请求的访问类型；

702，根据所述访问类型从所述持久性内存或所述动态随机存取存储器读写数据。

在一实施例中，根据所述访问类型从所述持久性内存或所述动态随机存取存储器读写数据包括：

若确定出数据访问请求来自预估模型，则确定所述预估模型从所述动态随机存取存储器内读写数据。

在一实施例中，根据所述访问类型从所述持久性内存或所述动态随机存取存储器读写数据包括：

若写入数据的字节数低于设定数量，则将所述字节写入到所述持久性内存内的缓存内；

若所述缓存内已写满字节，则将所述缓存内的全部字节写入所述持久性内存。

在一个实施例中，本申请实施例的数据访问方法，可以适用于图6所示的设置有持久性内存的工作节点，所述方法包括：

获取所接收的数据访问请求的访问类型；

根据所述访问类型，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样。

在一个实施例中，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样，包括：

从所述键值对的键中获取节点ID；以及/或者

从所述键值对的值中获取所述节点ID对应的邻接点信息。

在一个实施例，所述方法还可以包括：

获取样本流，所述样本流包括节点ID及其对应的邻接点信息；以及

基于所述样本流，更新所述整个图链接结构。

在一个实施例，所述基于所述样本流，更新所述整个图链接结构，包括：

若所述样本流中的图节点为新增节点，则将所述新增节点的节点ID存储至所述键值对的键中，并基于训练好的图，将所述新增节点的邻接点信息存储至所述新增节点的键值对的值中。

在一个实施例，可以使用循环数组保存所述邻接节点信息；并且/或者

所述值的存储结构可以为容量大小固定的连续内存结构，所述容量为预先分配的。

图8是根据一示例性实施例示出的一种数据访问装置的框图。参见图8，一种数据访问装置，适用于设置有持久性内存的图训练***和/或推荐***，所述装置包括：

访问类型获取单元801，被配置为执行获取所接收的数据访问请求的访问类型；

读写位置确定单元802，被配置为执行根据所述访问类型从所述持久性内存或所述动态随机存取存储器读写数据。

在一实施例中，所述读写位置确定单元802包括：

预估数据确定模块，被配置为执行在确定出数据访问请求来自预估模型时，确定所述预估模型从所述动态随机存取存储器内读写数据。

在一实施例中，所述读写位置确定单元802包括：

缓存写入模块，被配置为执行在写入数据的字节数低于设定数量时，将所述字节写入到所述持久性内存内的缓存内；

内存写入模块，被配置为执行在所述缓存内已写满字节时，将所述缓存内的全部字节写入所述持久性内存。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在一个实施例中，本申请实施例的数据访问装置，可以适用于设置有持久性内存的图训练***的工作节点，所述装置包括：

访问类型获取单元，被配置为执行获取所接收的数据访问请求的访问类型；

图引擎单元，被配置为执行根据所述访问类型，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样。

在一实施例中，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，所述图引擎单元中包括键读取单元和值读取单元。其中，所诉键读取单元被配置为从所述键值对的键中获取节点ID，所述值读取单元被配置为从所述键值对的值中获取所述节点ID对应的邻接点信息。

在一个实施例中，所述装置还可以包括图链接结构更新单元。其中，所述图链接结构更新单元被配置为获取样本流，并基于所述样本流，更新所述整个图链接结构。其中，所述样本流包括节点ID及其对应的邻接点信息，所述基于所述样本流更新所述整个图链接结构可以包括：若所述样本流中的图节点为新增节点，则将所述新增节点的节点ID存储至所述键值对的键中，并基于训练好的图，将所述新增节点的邻接点信息存储至所述新增节点的键值对的值中。

在一个实施例中，使用循环数组保存所述邻接节点信息；并且/或者所述值的存储结构为容量大小固定的连续内存结构，所述容量为预先分配的。

图9是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备900可以是服务器，移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，电子设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制电子设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成图7所示方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在电子设备900的操作。这些数据的示例包括用于在电子设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为电子设备900的各种组件提供电力。电源组件906可以包括电源管理***，一个或多个电源，及其他与为电子设备900生成、管理和分配电力相关联的组件。

多媒体组件908包括在电子设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当电子设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当电子设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

I/O接口912为处理组件902和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为电子设备900提供各个方面的状态评估。例如，传感器组件914可以检测到电子设备900的打开/关闭状态，组件的相对定位，例如所述组件为电子设备900的显示器和小键盘，传感器组件914还可以检测电子设备900或电子设备900一个组件的位置改变，用户与电子设备900接触的存在或不存在，电子设备900方位或加速/减速和电子设备900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在本公开一实施例中，电子设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在本公开一实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由电子设备900的处理器920执行以完成上述方法的步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在本公开一实施例中，还提供了一种应用程序，当该应用程序由电子设备的处理器执行时，使得所述电子设备能够执行上述方法的步骤，以获取相同的技术效果。

在本公开一实施例中，还提供了一种计算机程序产品，当该计算机程序产品由电子设备的处理器执行时，使得所述电子设备能够执行上述方法的步骤，以获取相同的技术效果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图训练***，其特征在于，所述图训练***包括：

参数服务器，所述参数服务器内设置有持久性内存，所述持久性内存被配置为保证所述参数服务器在非对称场景下读数据和写数据的数据访问；

其中，所述图训练***的参数以及嵌入，分布式地存储在所述参数服务器中。

2.根据权利要求1所述的图训练***，其特征在于，所述图训练***包括多个工作节点，每个工作节点内设置有持久性内存，所述持久性内存被配置为保证所述工作节点在非对称场景下读数据和写数据的数据访问，

其中，所述图训练***将所训练的图的整个图链接结构数据存储在每个工作节点的持久性内存内。

3.根据权利要求2所述的图训练***，其特征在于，所述参数服务器和/或所述工作节点基于键值存储***存储数据；所述键值存储***包括缓存池组件；所述缓存池组件与所述持久性内存和预先设置的动态随机存取存储器通信，被配置为获取数据访问请求的访问类型，并基于所述访问类型确定从所述持久性内存或所述动态随机存取存储器读写数据；

或者，

在在线模型预估服务的场景中，所述缓存池组件被配置为在接收到预估模型发送的数据访问请求时，确定所述预估模型从所述动态随机存取存储器内读写数据。

4.根据权利要求3所述的图训练***，其特征在于，所述整个图链接结构数据压缩存储在每个工作节点的持久性内存内，其中，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，所述键值对的键对应于图节点的节点ID，所述键值对的值中保存所述节点ID对应的邻接节点信息。

5.一种数据访问方法，其特征在于，适用于设置有持久性内存的图训练***的工作节点，所述方法包括：

获取所接收的数据访问请求的访问类型；

根据所述访问类型，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样。

6.根据权利要求5所述的方法，其特征在于，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样，包括：

从所述键值对的键中获取节点ID；以及/或者

从所述键值对的值中获取所述节点ID对应的邻接点信息。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取样本流，所述样本流包括节点ID及其对应的邻接点信息；以及

基于所述样本流，更新所述整个图链接结构。

8.一种数据访问装置，其特征在于，适用于设置有持久性内存的图训练***的工作节点，所述装置包括：

访问类型获取单元，被配置为执行获取所接收的数据访问请求的访问类型；

图引擎单元，被配置为执行根据所述访问类型，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现如权利要求5-7中任何一项所述方法的步骤。

10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求5-7中任何一项所述方法的步骤。

Images