CN113392068A - 数据处理方法、装置和*** - Google Patents

Abstract

本公开实施例提供一种数据处理方法、装置和***，将神经网络的对象与对象之间的逻辑关系分别存储在数据管理模块和文件存储模块中，一方面，对象之间的逻辑关系通过树形结构存储，从而保留了对象之间的层级关系，以便于基于对象之间的层级关系为不同的对象设置不同的权限，提高了权限设置的灵活性；另一方面，模型文件本身通过对象存储的方式扁平化地存储在文件存储模块中，从而能够对模型文件进行高效的访问。本公开实施例的方案兼顾了权限管理的灵活性以及文件访问的效率。

Description

数据处理方法、装置和***

技术领域

本公开涉及数据存储技术领域，尤其涉及数据处理方法、装置和***。

背景技术

在传统的深度学习训练的全链条业务流程中，不同阶段不同类型的模型文件以及相关元数据的管理多数依赖于较为底层的文件***。然而，传统的文件***难以兼顾权限管理机制的灵活性以及文件访问的效率。

发明内容

本公开提供一种数据处理方法、装置和***。

第一方面，本公开实施例提供一种数据处理***，所述***包括：数据管理模块，用于存储逻辑树，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹；文件存储模块，用于提供对象存储服务，以对所述神经网络的模型文件进行存储，所述模型文件对与所述模型文件在所述逻辑树中对应的节点相关联。

在一些实施例中，所述数据管理模块还用于：存储各个对象对应的属性表，一个对象的属性表与所述对象对应的节点相关联。

在一些实施例中，所述数据管理模块还用于：读取所述对象的第一属性信息，将所述第一属性信息写入所述属性表；和/或响应于接收到属性编辑指令，基于所述属性编辑指令对所述属性表中的属性进行编辑。

在一些实施例中，所述数据管理模块还用于：获取所述逻辑树中目标节点对应的对象的目标数据访问权限；将所述逻辑树中以所述目标节点为根节点的子树上各个节点的数据访问权限均设置为所述目标数据访问权限。

在一些实施例中，每个节点对应一种节点属性，所述节点属性包括文件属性和文件夹属性；未与模型文件相关联的节点的属性为文件夹属性，与至少一个模型文件相关联的节点的属性为文件属性。

在一些实施例中，每个节点包括用于唯一标识所述节点的节点标识符，每个文件包括用于唯一标识所述文件的文件标识符；所述数据管理模块还用于：响应于对目标模型文件的文件存储指令，在所述逻辑树中创建新节点，并生成所述新节点的节点标识符；基于所述目标模型文件的哈希值和所述目标模型文件的大小，向所述文件存储模块请求所述目标模型文件的文件标识符；将所述新节点的节点标识符与所述目标模型文件的文件标识符进行关联。

在一些实施例中，所述文件存储模块还用于：基于所述目标模型文件的哈希值和所述目标模型文件的大小，在已存储的模型文件中查找所述目标模型文件；若未查找到，获取用户上传的所述目标模型文件，并对所述目标模型文件进行存储。

在一些实施例中，所述数据管理模块还用于：获取目标模型文件的下载请求，所述下载请求中携带所述目标模型文件对应节点的节点标识信息，所述节点的节点标识信息用于唯一标识所述节点；响应于所述下载请求，向所述文件存储模块请求所述目标模型文件的下载地址；将所述下载地址推送给用户，以使所述用户下载所述目标模型文件。

在一些实施例中，所述逻辑树包括多个子树，其中：不同的子树对应的对象所属的神经网络用于提供不同的服务；或者不同的子树对应的对象所属的神经网络用于为不同的用户提供服务。

第二方面，本公开实施例提供一种数据处理方法，所述方法包括：接收对目标对象的创建请求；响应于所述创建请求，在存储于数据管理模块中的逻辑树中创建一个新节点；其中，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹，所述模型文件存储于提供对象存储服务的文件存储模块；将所述新节点与所述目标对象进行关联。

在一些实施例中，所述方法还包括：在所述目标对象为目标模型文件的情况下，基于所述目标模型文件的哈希值和所述目标模型文件的大小，在所述文件存储模块中查找所述目标模型文件；若未查找到，获取用户上传的所述目标模型文件，并将所述目标模型文件存储至所述文件存储模块。

在一些实施例中，每个对象包括一个属性表，所述属性表存储在所述数据管理模块中，一个对象的属性表与所述对象对应的节点相关联；所述方法还包括：读取所述目标对象的第一属性信息，将所述第一属性信息写入所述目标对象的属性表；和/或响应于接收到对所述目标对象的属性编辑指令，基于所述属性编辑指令对所述目标对象的属性表中的属性进行编辑。

在一些实施例中，所述方法还包括：获取所述逻辑树中目标节点对应的对象的目标数据访问权限；将所述逻辑树中以所述目标节点为根节点的子树上各个节点的数据访问权限均设置为所述目标数据访问权限。

在一些实施例中，每个节点对应一种节点属性，所述节点属性包括文件属性和文件夹属性；未与模型文件相关联的节点的属性为文件夹属性，与至少一个模型文件相关联的节点的属性为文件属性。

在一些实施例中，所述逻辑树包括多个子树，其中：不同的子树对应的对象所属的神经网络用于提供不同的服务；或者不同的子树对应的对象所属的神经网络用于为不同的用户提供服务。

第三方面，本公开实施例提供一种数据处理方法，所述方法包括：获取目标模型文件的下载请求，所述下载请求中携带所述目标模型文件对应节点的节点标识信息，所述节点的节点标识信息用于唯一标识所述节点；响应于所述下载请求，从用于提供对象存储服务的文件存储模块获取所述目标模型文件的下载地址；将所述下载地址推送给用户，以使所述用户下载所述目标模型文件；其中，所述文件存储模块中的文件与存储于数据管理模块中的逻辑树的节点相关联，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹。

第四方面，本公开实施例提供一种数据交互装置，所述装置包括：接收模块，用于接收对目标对象的创建请求；创建模块，用于响应于所述创建请求，在存储于数据管理模块中的逻辑树中创建一个新节点；其中，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹，所述模型文件存储于提供对象存储服务的文件存储模块；关联模块，用于将所述新节点与所述目标对象进行关联。

在一些实施例中，所述装置还包括：查找模块，用于在所述目标对象为目标模型文件的情况下，基于所述目标模型文件的哈希值和所述目标模型文件的大小，在所述文件存储模块中查找所述目标模型文件；存储模块，用于若未查找到，获取用户上传的所述目标模型文件，并将所述目标模型文件存储至所述文件存储模块。

在一些实施例中，每个对象包括一个属性表，所述属性表存储在所述数据管理模块中，一个对象的属性表与所述对象对应的节点相关联；所述装置还包括：读取模块，用于读取所述目标对象的第一属性信息，将所述第一属性信息写入所述目标对象的属性表；和/或编辑模块，用于响应于接收到对所述目标对象的属性编辑指令，基于所述属性编辑指令对所述目标对象的属性表中的属性进行编辑。

在一些实施例中，所述装置还包括：权限获取模块，用于获取所述逻辑树中目标节点对应的对象的目标数据访问权限；权限设置模块，用于将所述逻辑树中以所述目标节点为根节点的子树上各个节点的数据访问权限均设置为所述目标数据访问权限。

在一些实施例中，每个节点对应一种节点属性，所述节点属性包括文件属性和文件夹属性；未与模型文件相关联的节点的属性为文件夹属性，与至少一个模型文件相关联的节点的属性为文件属性。

在一些实施例中，所述逻辑树包括多个子树，其中：不同的子树对应的对象所属的神经网络用于提供不同的服务；或者不同的子树对应的对象所属的神经网络用于为不同的用户提供服务。

第五方面，本公开实施例提供一种数据交互装置，所述装置包括：第一获取模块，用于获取目标模型文件的下载请求，所述下载请求中携带所述目标模型文件对应节点的节点标识信息，所述节点的节点标识信息用于唯一标识所述节点；第二获取模块，用于响应于所述下载请求，从用于提供对象存储服务的文件存储模块获取所述目标模型文件的下载地址；推送模块，用于将所述下载地址推送给用户，以使所述用户下载所述目标模型文件；其中，所述文件存储模块中的文件与存储于数据管理模块中的逻辑树的节点相关联，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹。

第六方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。

第七方面，本公开实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。

本公开实施例将神经网络的对象与对象之间的逻辑关系分别存储在数据管理模块和文件存储模块中，一方面，对象之间的逻辑关系通过树形结构存储，从而保留了对象之间的层级关系，以便于基于对象之间的层级关系为不同的对象设置不同的权限，提高了权限设置的灵活性；另一方面，模型文件本身通过对象存储的方式扁平化地存储在文件存储模块中，从而能够对模型文件进行高效的访问。本公开实施例的方案兼顾了权限管理的灵活性以及文件访问的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1A是一些实施例的基于文件的模型管理方式的示意图。

图1B是一些实施例的基于对象的模型管理方式的示意图。

图2A和图2B分别是本公开实施例的数据处理***的示意图。

图2C是本公开实施例的存储方式的示意图。

图3是本公开实施例的数据访问权限的设置过程的示意图。

图4是本公开实施例的数据处理方法的流程图。

图5是本公开另一实施例的数据处理方法的流程图。

图6是本公开实施例的数据处理装置的框图。

图7是本公开另一实施例的数据处理装置的框图。

图8是本公开实施例的计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

相关技术中的文件***的文件管理方式一般有两种，一种是基于文件的模型管理方式，另一种是基于对象的模型管理方式。如图1A所示，在基于文件的模型管理方式中，可以在一个文件夹中存储文件或者另一个文件夹，例如，可以在D磁盘的文件夹A中存储文件夹B、文件夹C和文件a，而在文件夹B中又可以存储其他的文件和文件夹，如图中的文件夹D、文件b和文件c。文件本身以及文件之间的层级关系都通过该文件所在的文件夹进行区分，通过这种方式，使得不同的文件具有不同的层级。然而，这种方式下对文件的访问效率较低，例如，在访问文件c时，需要先访问文件夹A，再从文件夹A中访问文件夹B，然后从文件夹B中访问文件c。在图1B所示的基于对象的模型管理方式中，各个文件通过扁平化的存储方式存储在桶(bucket)中，一个桶里的各个文件没有层级关系，这种方式虽然能够提高文件的访问效率，但是，不便于为各个文件设置不同的数据访问权限。综上所述，相关技术中的文件***难以兼顾权限管理机制的灵活性以及文件访问的效率。

基于此，本公开实施例提供一种数据处理***，参见图2A和图2B，所述***包括：

数据管理模块201，用于存储逻辑树，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹；

文件存储模块202，用于提供对象存储服务，以对所述神经网络的模型文件进行存储，所述模型文件对与所述模型文件在所述逻辑树中对应的节点相关联。

本实施例中的逻辑树是一个树形结构，至少包括一个根节点，所述根节点还可以包括至少一个子节点。每个节点均对应神经网络的一个对象。以图1A所示的文件夹和文件为例，可建立图2C所示的逻辑树，该逻辑树包括根节点A，对应文件夹A，根节点A的子节点B、子节点C和子节点a，分别对应文件夹B、文件夹C和文件a，子节点B进一步包括节点D、节点b和节点c这三个子节点，分别对应文件夹D、文件b和文件c。通过建立逻辑树，能够表示出各个文件以及文件夹之间的层级和从属关系。

上述各个文件夹可以是神经网络中的模型文件夹，上述各个文件可以是神经网络中的模型文件。一个根文件夹通常可以是一个大的项目，项目对应的文件夹可以包括不同阶段的文件夹，例如神经网络的预训练阶段、训练阶段、测试阶段、推理阶段、交付部署阶段等，每个模型文件夹中可以包括不同版本的具体模型文件。

数据管理模块仅存储文件和文件夹之间的逻辑关系，而不存储真实的文件本身。文件本身可存储在文件存储模块中。文件存储模块可以提供对象存储服务，即，采用基于对象的模型管理方式对各个文件进行存储。文件存储模块中可以包括多个桶(例如图2B中所示的桶K和桶J)，不同的文件可以存储在不同的桶中。如图2C所示，文件存储模块中存储有文件a、文件b和文件c，这三个文件在文件存储模块中是以扁平化的方式存储的，从而使得文件的访问效率较高。

文件存储模块中的模型文件对与模型文件在数据管理模块中的逻辑树中对应的节点相关联，从而使得能够基于数据管理模块中的逻辑树，在文件存储模块中查找到各个节点对应的模型文件。

进一步地，所述数据管理模块还用于存储各个对象对应的属性表，一个对象的属性表与所述对象对应的节点相关联。属性信息可以包括但不限于节点对应的对象的创建时间、大小、类型(包括文件类型和文件夹类型)以及自定义的其它属性信息。文件夹以及文件都可以包括至少一条属性信息，可以将这些属性信息存储到属性表中。由于文件存储模块中仅包括文件而不包括文件夹，因此，可以将属性表存储到数据管理模块中。每个节点都可以与一个属性表相关联，从而便于记录该节点对应的对象的属性。属性信息可以以键值对的形式存储，其中，键为属性名称，值为属性的值。

在一些实施例中，数据管理模块可以读取对象的第一属性信息，将所述第一属性信息写入所述对象的属性表。第一属性信息可以是对象的固有属性，例如，创建时间、大小、类型等，这些固有属性可以是每个对象都包括的属性信息。数据管理模块可以直接读取到这些固有属性，并将其写入属性表。

在另一些实施例中，数据管理模块还可以响应于接收到属性编辑指令，基于所述属性编辑指令对所述属性表中的属性进行编辑。所述编辑包括增加属性、删除属性和修改属性。不同节点可以包括不同的属性，例如，交付模型的版本号、芯片类型。通过这种方式，能够根据实际需要在属性表中记录用户所需的各种属性信息，便于对各个对象的属性表进行扩展和编辑。

每个节点都可以包括全局唯一的节点标识符(ID)，利用这个ID可以很方便地存储和查找对应的属性表。例如，当需要查找文件a的属性表时，则获取节点a的ID，并基于节点a的ID(假设为图2B中所示的id2)在数据管理模块中进行查找，得到{key21，value21}、{key22，value22}等属性键值对。此外，在需要为文件a增加新的属性信息时，同样获取节点a的ID，并基于节点a的ID(假设为图2B中所示的id2)在数据管理模块中查找到对应的属性表，并在查找到的属性表中***新增的属性键值对，例如，{key23，value23}。

在一些实施例中，所述数据管理模块还用于获取所述逻辑树中目标节点对应的对象的目标数据访问权限；将所述逻辑树中以所述目标节点为根节点的子树上各个节点的数据访问权限均设置为所述目标数据访问权限。所述权限可包括但不限于查看节点对应的对象或属性表(假设为权限1)、下载节点对应的文件(假设为权限2)、修改或删除节点以及节点对应的对象(假设为权限3)等。假设一个节点P为逻辑树中的一棵子树T的根节点，则通过设置节点P的权限，即可设置子树T上所有节点的权限，也就是说，通过节点P的权限能够自动覆盖子树上所有节点的权限，从而无需对子树T上其他节点的权限进行一一设置。通过这种方式，提高了权限设置的效率。

如图3所示，可以将辑树上的节点P0的权限设置为AC0，从而将以节点P0为根节点的子树T0上各个节点的权限均设置为AC0。进一步地，可以单独将逻辑树上的节点P1的权限设置为AC1，从而将以节点P1为根节点的子树T1上各个节点的权限均设置为AC1，而不在子树T1上的各个节点的权限仍然保持为AC0。进一步地，可以单独将逻辑树上的节点P2的权限设置为AC2，从而将以节点P2为根节点的子树T1上各个节点的权限均设置为AC2，而不在子树T2上的各个节点的权限仍然保持为AC0或AC1。图中用不同的颜色标识不同的权限，可以看出，通过上述设置方式，能够分别为逻辑树中不同的节点设置不同的权限，且支持以子树为单位进行批量设置，权限设置方式灵活高效。

在一些实施例中，不同的权限对应不同的权限等级。例如，上述权限3的权限等级高于权限2的权限等级，权限2的权限等级高于权限1的权限等级。假设一个节点的原权限等级为权限等级ACi，则仅可以将该节点的权限等级更改为高于权限等级ACi的权限等级。例如，在图3所示的实施例中，节点P1的原权限等级为AC0，则节点P1更改后的权限等级AC1应当高于AC0。也就是说，一个节点的权限等级不高于该节点的各个子节点的权限等级。

在这种情况下，可以对逻辑树中各个节点的权限进行向上校验。如果接收到的权限设置指令中为一个节点的子节点设置的权限等级低于该节点的权限等级，则返回错误信息，否则，基于权限设置指令对该节点的子节点设置对应的权限。

在一些实施例中，每个节点对应一种节点属性，所述节点属性包括文件属性和文件夹属性。其中，未与模型文件相关联的节点的属性为文件夹属性，与至少一个模型文件相关联的节点的属性为文件属性。由于文件存储模块中仅存储文件而不存储文件夹，因此，通过为节点设置不同的属性，能够区分哪些节点对应的对象为文件，从而能够将相应节点对应的对象存储到文件存储模块中。

在一些实施例中，每个节点包括用于唯一标识所述节点的节点标识符，例如图2B中所示的id1、id2；每个文件包括用于唯一标识所述文件的文件标识符，例如图2B中所示的fid1、fid2和fid3。所述数据管理模块可以基于节点标识符和文件标识符进行文件的上传和下载。

在进行文件上传的过程中，数据管理模块首先响应于对目标模型文件的文件存储指令，在所述逻辑树中创建文件类型的新节点，并生成所述新节点的节点标识符。再基于所述目标模型文件的哈希值(例如，MD5值，可通过文件摘要哈希算法生成)和所述目标模型文件的大小，向所述文件存储模块请求所述目标模型文件的文件标识符。然后，将所述新节点的节点标识符与所述目标模型文件的文件标识符进行关联。通过上述方式，实现了文件的逻辑关系与文件本身的解耦上传，使得既能够以扁平的对象存储方式存储文件本身，又能够以层级分明的树形结构存储文件的逻辑关系。

应当说明的是，同一个模型文件能够分别被逻辑树中的多个节点引用，在被不同的节点引用时，可以为该文件生成不同的文件标识符。例如，节点标识符为id2的节点以及节点标识符为id3的节点分别向文件存储模块请求文件a，则文件存储模块可以分别为文件a生成两个不同的文件标识符，如图2B中的fid1和fid2所示，并分别将fid1和fid2返回给数据管理模块中节点标识符为id2的节点以及节点标识符为id3的节点。

进一步地，所述文件存储模块可以基于所述目标模型文件的哈希值和所述目标模型文件的大小，在已存储的模型文件中查找所述目标模型文件；若未查找到，获取用户上传的所述目标模型文件，并对所述目标模型文件进行存储。在本实施例中，只有基于文件的哈希值和目标模型文件的大小在文件存储模块中未查找到目标模型文件的情况下，才需要上传目标模型文件，否则无需重复上传，实现了对目标模型文件的去重处理。可以通过数据管理模块的应用程序接口(Application Programming Interface，API)向用户的用户界面(User Interface，UI)返回一个链接，用于上传目标模型文件。

在进行文件下载的过程中，所述数据管理模块可以获取目标模型文件的下载请求，所述下载请求中携带所述目标模型文件对应节点的节点标识信息，所述节点的节点标识信息用于唯一标识所述节点；响应于所述下载请求，向所述文件存储模块请求所述目标模型文件的下载地址；将所述下载地址推送给用户，以使所述用户下载所述目标模型文件。通过上述方式，可以在文件的逻辑关系与文件本身解耦的情况下，基于文件的逻辑关系下载文件本身。

在一些实施例中，所述逻辑树包括多个子树，其中，不同的子树对应的对象所属的神经网络用于提供不同的服务；或者不同的子树对应的对象所属的神经网络用于为不同的用户提供服务。不同的子树可以从属于同一个根节点。不同的用户对不同的子树可以有不同的权限。通过这种方式，可以分别为不同用户设置不同的权限。

本公开实施例将文件和文件夹等抽象为文件***中的节点，并且定义为不同的类型，赋予全局唯一的节点标识符，并在数据管理模块中利用关系型数据库对节点的树形结构进行管理维护。同时，在数据管理模块中，结合节点标识符对节点的元数据的属性表进行管理维护。

对于文件类型的节点，其真正的文件数据通过对象存储的方式保存在文件存储模块中，在对象存储上层，通过数据管理模块并采用树形结构提供对象存储管理服务，实现文件对象的元信息维护和配置管理，通过全局唯一的文件标志符与文件类型节点的节点标识符关联，利用数据管理模块所提供的对象存储管理服务的API对文件数据进行上传下载。

本公开实施例将嵌套模型管理的树形结构的节点服务和基于对象存储的文件服务分离，对树形结构的节点服务定义类型和属性来灵活管理神经网络相关的元数据，用户基于本公开实施例的方案，可以非常方便地多层级分类管理不同业务场景下不同版本的预训练阶段、训练阶段和交付阶段的神经网络中的文件和文件夹，同时利用扩展元数据管理的方法为模型文件夹和模型文件设置不同的属性，并且通过属性来设置不同的文件视图，用以查看和标注神经网络，利用神经网络管理的API自动化生产、管理和上传下载神经网络的模型文件。本公开实施例提高了神经网络的管理自动化能力，降低了神经网络交付过程中的沟通成本，缩短了神经网络溯源路径，提高了神经网络的生产和交付效率。

如图4所示，本公开实施例还提供一种数据处理方法，所述方法包括：

步骤401：接收对目标对象的创建请求；

步骤402：响应于所述创建请求，在存储于数据管理模块中的逻辑树中创建一个新节点；其中，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹，所述模型文件存储于提供对象存储服务的文件存储模块；

步骤403：将所述新节点与所述目标对象进行关联。

在一些实施例中，所述方法还包括：在所述目标对象为目标模型文件的情况下，基于所述目标模型文件的哈希值和所述目标模型文件的大小，在所述文件存储模块中查找所述目标模型文件；若未查找到，获取用户上传的所述目标模型文件，并将所述目标模型文件存储至所述文件存储模块。

在一些实施例中，每个对象包括一个属性表，所述属性表存储在所述数据管理模块中，一个对象的属性表与所述对象对应的节点相关联；所述方法还包括：读取所述目标对象的第一属性信息，将所述第一属性信息写入所述目标对象的属性表；和/或响应于接收到对所述目标对象的属性编辑指令，基于所述属性编辑指令对所述目标对象的属性表中的属性进行编辑。

在一些实施例中，所述方法还包括：获取所述逻辑树中目标节点对应的对象的目标数据访问权限；将所述逻辑树中以所述目标节点为根节点的子树上各个节点的数据访问权限均设置为所述目标数据访问权限。

在一些实施例中，每个节点对应一种节点属性，所述节点属性包括文件属性和文件夹属性；未与模型文件相关联的节点的属性为文件夹属性，与至少一个模型文件相关联的节点的属性为文件属性。

在一些实施例中，所述逻辑树包括多个子树，其中：不同的子树对应的对象所属的神经网络用于提供不同的服务；或者不同的子树对应的对象所属的神经网络用于为不同的用户提供服务。

本公开实施例的方法可用于将模型文件存储至前述数据处理***的文件存储模块中，并将存储的模型文件与神经网络的其他模型文件和模型文件夹之间的层级关系存储至前述数据处理***的数据管理模块。本公开实施例的细节详见前述数据处理***的实施例，此处不再赘述。

如图5所示，本公开实施例还提供一种数据处理方法，所述方法包括：

步骤501：获取目标模型文件的下载请求，所述下载请求中携带所述目标模型文件对应节点的节点标识信息，所述节点的节点标识信息用于唯一标识所述节点；

步骤502：响应于所述下载请求，从用于提供对象存储服务的文件存储模块获取所述目标模型文件的下载地址；

步骤503：将所述下载地址推送给用户，以使所述用户下载所述目标模型文件；

其中，所述文件存储模块中的文件与存储于数据管理模块中的逻辑树的节点相关联，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹。

本公开实施例的方法可用于从前述数据处理***的文件存储模块中下载模型文件，所述模型文件可基于前述任一实施例中的数据处理方法存储至数据处理***的文件存储模块中，且所述模型文件与神经网络的其他模型文件和模型文件夹之间的层级关系可基于前述任一实施例中的数据处理方法存储至数据处理***的数据管理模块中。本公开实施例的细节详见前述数据处理***和数据处理方法的实施例，此处不再赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

如图6所示，本公开实施例还提供一种数据交互装置，所述装置包括：

接收模块601，用于接收对目标对象的创建请求；

创建模块602，用于响应于所述创建请求，在存储于数据管理模块中的逻辑树中创建一个新节点；其中，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹，所述模型文件存储于提供对象存储服务的文件存储模块；

关联模块603，用于将所述新节点与所述目标对象进行关联。

在一些实施例中，所述装置还包括：查找模块，用于在所述目标对象为目标模型文件的情况下，基于所述目标模型文件的哈希值和所述目标模型文件的大小，在所述文件存储模块中查找所述目标模型文件；存储模块，用于若未查找到，获取用户上传的所述目标模型文件，并将所述目标模型文件存储至所述文件存储模块。

在一些实施例中，每个对象包括一个属性表，所述属性表存储在所述数据管理模块中，一个对象的属性表与所述对象对应的节点相关联；所述装置还包括：读取模块，用于读取所述目标对象的第一属性信息，将所述第一属性信息写入所述目标对象的属性表；和/或编辑模块，用于响应于接收到对所述目标对象的属性编辑指令，基于所述属性编辑指令对所述目标对象的属性表中的属性进行编辑。

在一些实施例中，所述装置还包括：权限获取模块，用于获取所述逻辑树中目标节点对应的对象的目标数据访问权限；权限设置模块，用于将所述逻辑树中以所述目标节点为根节点的子树上各个节点的数据访问权限均设置为所述目标数据访问权限。

在一些实施例中，每个节点对应一种节点属性，所述节点属性包括文件属性和文件夹属性；未与模型文件相关联的节点的属性为文件夹属性，与至少一个模型文件相关联的节点的属性为文件属性。

在一些实施例中，所述逻辑树包括多个子树，其中：不同的子树对应的对象所属的神经网络用于提供不同的服务；或者不同的子树对应的对象所属的神经网络用于为不同的用户提供服务。

如图7所示，本公开实施例还提供一种数据交互装置，所述装置包括：

第一获取模块701，用于获取目标模型文件的下载请求，所述下载请求中携带所述目标模型文件对应节点的节点标识信息，所述节点的节点标识信息用于唯一标识所述节点；

第二获取模块702，用于响应于所述下载请求，从用于提供对象存储服务的文件存储模块获取所述目标模型文件的下载地址；

推送模块703，用于将所述下载地址推送给用户，以使所述用户下载所述目标模型文件；

其中，所述文件存储模块中的文件与存储于数据管理模块中的逻辑树的节点相关联，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。

图8示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器801、存储器802、输入/输出接口803、通信接口804和总线805。其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。

处理器801可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器801还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。

存储器802可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器802可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行。

输入/输出接口803用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口804用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线805包括一通路，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器801、存储器802、输入/输出接口803、通信接口804以及总线805，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (20)

1.一种数据处理***，其特征在于，所述***包括：

数据管理模块，用于存储逻辑树，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹；

文件存储模块，用于提供对象存储服务，以对所述神经网络的模型文件进行存储，所述模型文件对与所述模型文件在所述逻辑树中对应的节点相关联。

2.根据权利要求1所述的***，其特征在于，所述数据管理模块还用于：

存储各个对象对应的属性表，一个对象的属性表与所述对象对应的节点相关联。

3.根据权利要求2所述的***，其特征在于，所述数据管理模块还用于：读取所述对象的第一属性信息，将所述第一属性信息写入所述属性表；和/或

响应于接收到属性编辑指令，基于所述属性编辑指令对所述属性表中的属性进行编辑。

4.根据权利要求1-3任一所述的***，其特征在于，所述数据管理模块还用于：

获取所述逻辑树中目标节点对应的对象的目标数据访问权限；

将所述逻辑树中以所述目标节点为根节点的子树上各个节点的数据访问权限均设置为所述目标数据访问权限。

5.根据权利要求1-4任一所述的***，其特征在于，每个节点对应一种节点属性，所述节点属性包括文件属性和文件夹属性；

未与模型文件相关联的节点的属性为文件夹属性，与至少一个模型文件相关联的节点的属性为文件属性。

6.根据权利要求1-5任一所述的***，其特征在于，每个节点包括用于唯一标识所述节点的节点标识符，每个文件包括用于唯一标识所述文件的文件标识符；所述数据管理模块还用于：

响应于对目标模型文件的文件存储指令，在所述逻辑树中创建新节点，并生成所述新节点的节点标识符；

基于所述目标模型文件的哈希值和所述目标模型文件的大小，向所述文件存储模块请求所述目标模型文件的文件标识符；

将所述新节点的节点标识符与所述目标模型文件的文件标识符进行关联。

7.根据权利要求6所述的***，其特征在于，所述文件存储模块还用于：

基于所述目标模型文件的哈希值和所述目标模型文件的大小，在已存储的模型文件中查找所述目标模型文件；

若未查找到，获取用户上传的所述目标模型文件，并对所述目标模型文件进行存储。

8.根据权利要求1-7任一所述的***，其特征在于，所述数据管理模块还用于：

获取目标模型文件的下载请求，所述下载请求中携带所述目标模型文件对应节点的节点标识信息，所述节点的节点标识信息用于唯一标识所述节点；

响应于所述下载请求，向所述文件存储模块请求所述目标模型文件的下载地址；

将所述下载地址推送给用户，以使所述用户下载所述目标模型文件。

9.根据权利要求1-8任一所述的***，其特征在于，所述逻辑树包括多个子树，其中：

不同的子树对应的对象所属的神经网络用于提供不同的服务；或者

不同的子树对应的对象所属的神经网络用于为不同的用户提供服务。

10.一种数据处理方法，其特征在于，所述方法包括：

接收对目标对象的创建请求；

响应于所述创建请求，在存储于数据管理模块中的逻辑树中创建一个新节点；其中，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹，所述模型文件存储于提供对象存储服务的文件存储模块；

将所述新节点与所述目标对象进行关联。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

在所述目标对象为目标模型文件的情况下，基于所述目标模型文件的哈希值和所述目标模型文件的大小，在所述文件存储模块中查找所述目标模型文件；

若未查找到，获取用户上传的所述目标模型文件，并将所述目标模型文件存储至所述文件存储模块。

12.根据权利要求10或11所述的方法，其特征在于，每个对象包括一个属性表，所述属性表存储在所述数据管理模块中，一个对象的属性表与所述对象对应的节点相关联；所述方法还包括：

读取所述目标对象的第一属性信息，将所述第一属性信息写入所述目标对象的属性表；和/或

响应于接收到对所述目标对象的属性编辑指令，基于所述属性编辑指令对所述目标对象的属性表中的属性进行编辑。

13.根据权利要求10-12任一所述的方法，其特征在于，所述方法还包括：

获取所述逻辑树中目标节点对应的对象的目标数据访问权限；

将所述逻辑树中以所述目标节点为根节点的子树上各个节点的数据访问权限均设置为所述目标数据访问权限。

14.根据权利要求10-13任一所述的方法，其特征在于，每个节点对应一种节点属性，所述节点属性包括文件属性和文件夹属性；

未与模型文件相关联的节点的属性为文件夹属性，与至少一个模型文件相关联的节点的属性为文件属性。

15.根据权利要求10-14任一所述的方法，其特征在于，所述逻辑树包括多个子树，其中：

不同的子树对应的对象所属的神经网络用于提供不同的服务；或者

不同的子树对应的对象所属的神经网络用于为不同的用户提供服务。

16.一种数据处理方法，其特征在于，所述方法包括：

获取目标模型文件的下载请求，所述下载请求中携带所述目标模型文件对应节点的节点标识信息，所述节点的节点标识信息用于唯一标识所述节点；

响应于所述下载请求，从用于提供对象存储服务的文件存储模块获取所述目标模型文件的下载地址；

将所述下载地址推送给用户，以使所述用户下载所述目标模型文件；

其中，所述文件存储模块中的文件与存储于数据管理模块中的逻辑树的节点相关联，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹。

17.一种数据交互装置，其特征在于，所述装置包括：

接收模块，用于接收对目标对象的创建请求；

创建模块，用于响应于所述创建请求，在存储于数据管理模块中的逻辑树中创建一个新节点；其中，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹，所述模型文件存储于提供对象存储服务的文件存储模块；

关联模块，用于将所述新节点与所述目标对象进行关联。

18.一种数据交互装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标模型文件的下载请求，所述下载请求中携带所述目标模型文件对应节点的节点标识信息，所述节点的节点标识信息用于唯一标识所述节点；

第二获取模块，用于响应于所述下载请求，从用于提供对象存储服务的文件存储模块获取所述目标模型文件的下载地址；

推送模块，用于将所述下载地址推送给用户，以使所述用户下载所述目标模型文件；

所述文件存储模块中的文件与存储于数据管理模块中的逻辑树的节点相关联，所述逻辑树基于神经网络的对象之间的层级关系建立，所述逻辑树的一个节点对应所述神经网络的一个对象，所述对象包括模型文件和模型文件夹。

19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求10至16任意一项所述的方法。

20.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求10至16任意一项所述的方法。

Images