CN111882059A - 数据处理方法及装置、电子设备和存储介质 - Google Patents

Abstract

本公开实施例提出了一种数据处理方法及装置、电子设备和计算机存储介质，所述数据处理方法包括：基于第一选取指令选取工作流模板，基于用户第二选取指令从数据集中选取神经网络的训练集；根据所述工作流模板确定所述神经网络的训练框架，其中，所述训练框架具有所述实例对应的神经网络的网络结构；根据所述训练集和所述神经网络的网络结构训练神经网络，得到训练完成的神经网络模型。如此，可以针对用户需求实现神经网络模型的自动训练，不需要算法研究员针对不同的用户需求定制不同的神经网络模型，降低了时间成本和人力成本。

Description

数据处理方法及装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉技术，尤其涉及一种数据处理方法及装置、电子设备和计算机存储介质。

背景技术

随着人工智能的发展，越来越多行业开始利用人工智能技术来提升企业和组织运营的效率，降低运营的成本，但是现有的人工智能技术是针对不同的用户需求，由算法研究员定制不同的神经网络模型，神经网络模型的开发周期较长，成本较高。

发明内容

本公开实施例期望提供数据处理的技术方案。

本公开实施例提供了一种数据处理方法，所述方法包括：

基于第一选取指令选取工作流模板，基于第二选取指令从数据集中选取神经网络的训练集；所述工作流模板表示神经网络的训练框架的实例；

根据所述工作流模板确定所述神经网络的训练框架，其中，所述训练框架具有所述实例对应的神经网络的网络结构；

根据所述训练集和所述神经网络的网络结构训练神经网络，得到训练完成的神经网络模型。

可选地，所述根据所述工作流模板确定神经网络的训练框架，包括：

根据所述工作流模板确定神经网络的训练框架的网络参数；

基于所述网络参数，确定神经网络的训练框架。

可以看出，由于工作流模板中包括神经网络的训练框架的网络参数，因此，可以直接从根据用户所选择的工作流模板确定神经网路的训练框架的网络参数，然后可以基于网络参数，自动确定与工作流模板对应的神经网络训练框架。

可选地，所述基于所述网络参数，确定神经网络的训练框架，包括：

获取神经网络的初始模型；

确定所述初始模型对应的多个神经网络的训练框架；

在所述初始模型对应的多个神经网络的训练框架中，确定所述网络参数对应的神经网络的训练框架。

可以看出，根据网络参数，确定神经网络的训练框架的方法，可以基于神经网络的初始模型和网络参数，从多个神经网络框架中，自动确定出与网络参数对应的神经网络的训练框架，不需要用户建立神经网络的训练框架，降低了时间成本和人力成本。

可选地，所述获取神经网络的初始模型，包括：基于第三选取指令从多个神经网络的模型中选取出神经网络的初始模型；或者，建立神经网络的初始模型。

可以看出，通过该获取的神经网络初始模型的方法，可以从无到有建立神经网络的初始模型或从模型仓库中选取初始训练模型，如此，便于实现。

可选地，所述基于所述网络参数，确定神经网络的训练框架，包括：

获取已有的神经网络模型；

确定用于优化所述已有的神经网络模型的多个神经网络的训练框架；

在所述已有的神经网络模型的多个神经网络的训练框架中，确定所述网络参数对应的神经网络的训练框架。

可以看出，根据网络参数，确定神经网络的训练框架的方法，可以基于神经网络的特定模型和网络参数，从多个神经网络框架中，自动确定出与网络参数对应的神经网络的训练框架，不需要用户建立神经网络的训练框架，降低了时间成本和人力成本。

可选地，所述根据所述训练框架确定出神经网络的网络结构，包括：

获取所述训练框架对应的多个神经网络的网络结构；

从所述多个神经网络的网络结构中选择与所述训练集的数据分布状态相符的神经网络的网络结构。

可以看出，通过该确定神经网络结构的方法，能够从多个神经网络结构中确定合适的网络结构，该确定的神经网络的网络结构与用户所选择的训练集的数据分布状态更相符。

可选地，所述获取所述训练框架对应的多个神经网络的网络结构，包括：

在网络仓库中，确定所述训练框架对应的多个神经网络的网络结构，所述网络仓库用于存储神经网络的网络结构。

可以看出，该获取神经网络的网络结构的方法可以根据用户选择的训练集的数据分布状态自动从网络仓库中确定训练框架对应的神经网络的网络结构，不需要用户建立神经网络的网络架构，降低了时间成本和人力成本。

可选地，所述方法还包括：

根据至少一类第一数据操作权限，对所述数据集进行操作和/或训练所述神经网络；所述第一数据操作权限包括对所述数据集的操作权限和/或训练神经网络的权限。

可以看出，根据不同的用户的第一数据操作权限，确定是否可以对数据集进行操作和/或训练神经网络。

可选地，所述方法还包括：

基于所述第四选取指令从所述数据集中选取神经网络的评测集；

根据所述评测集，对所述训练完成的神经网络模型进行评测，得到评测结果。

可以看出，该神经网络模型的评测方法，能够针对用户选择的评测集，通过已有的模型评测工具自动完成对神经网络模型的评测。

可选地，所述方法还包括：

根据至少一类用户对所述神经网络模型的评测权限，对所述神经网络模型进行评测。

可以看出，根据不同用户对所述神经网络模型的不同评测权限，确定是否可以对神经网络模型进行评测。

可选地，所述方法还包括：

在评测结果满足预设条件时，利用预先确定的模型发布工具，将所述训练完成的神经网络模型进行发布，所述模型发布工具用于实现神经网络模型的发布。

可以看出，通过上述神经网络模型的发布方法，可以自动对评测结果满足预设条件的神经网络模型，通过已有的模型分布工具进行自动发布。

可选地，所述方法还包括：

根据至少一类用户对所述神经网络模型的发布权限，对所述神经网络模型进行发布。

可以看出，根据不同用户对神经网络模型的发布权限，确定是否可以对神经网络模型进行发布。

可选地，所述方法还包括：

根据预先确定的数据采集方式，采集原始数据；

根据预先确定的预处理工具，对所述原始数据进行预处理，得到预处理结果；

根据预先确定的数据标注方式，得到数据集，所述数据集包括对所述预处理结果的标注信息。

可以看出，由于该数据采集、数据预处理以及数据标注方法都是根据用户需求预先确定的，因此，能够更好地满足用户的需求。

可选地，所述方法还包括：

对所述原始数据、所述预处理结果和所述数据集中的至少一种进行修改或删除。

可以看出，通过对预处理结果和所述数据集中的至少一种进行修改或删除，可以实现对原始数据、预处理结果和数据集的管理，提升数据管理效率。

可选地，所述根据预先确定的数据采集方式，采集原始数据，包括：

通过本地上传数据的方式，采集原始数据；

或者，通过生产环境导入数据的方式，采集原始数据。

可以看出，上述数据采集方法，可以满足用户的多种需求，更灵活、更方便。

可选地，所述根据预先确定的数据标注方式，得到数据集，包括：

通过提供的手动标注接口或自动化标注平台，得到所述数据集。

可以看出，通过手动标注接口或自动化标注平台，可以根据需求选择对应的标注方式进行标注，能够满足用户的需求。

可选地，所述方法还包括：

根据至少一类第二数据操作权限，进行以下至少一项操作：数据采集、数据预处理、数据标注；所述第二数据操作权限包括以下至少一项：数据采集权限、数据预处理权限、数据标注权限。

可以看出，根据针对不同的用户的数据采集权限、数据预处理权限、数据标注权限，确定是否可以进行以下至少一项的操作：数据采集、数据预处理、数据标注。

本公开实施例还提供了一种数据处理装置，所述装置包括：选取模块和训练模块，其中，

选取模块，用于基于第一选取指令选取工作流模板，基于第二选取指令从数据集中选取神经网络的训练集；所述工作流模板表示神经网络的训练框架的实例；

训练模块，用于根据所述工作流模板确定所述神经网络的训练框架，其中，所述训练框架具有所述实例对应的神经网络的网络结构；根据所述训练集和所述神经网络的网络结构训练神经网络，得到训练完成的神经网络模型。

可选地，所述训练模块，用于根据所述工作流模板确定神经网络的训练框架，包括：根据所述工作流模板确定神经网络的训练框架的网络参数；基于所述网络参数，确定神经网络的训练框架。

可以看出，由于工作流模板中包括神经网络的训练框架的网络参数，因此，可以直接从根据用户所选择的工作流模板确定神经网路的训练框架的网络参数，然后可以基于网络参数，自动确定与工作流模板对应的神经网络训练框架。

可选地，所述训练模块，用于基于所述网络参数，确定神经网络的训练框架，包括：获取神经网络的初始模型；确定所述初始模型对应的多个神经网络的训练框架；在所述初始模型对应的多个神经网络的训练框架中，确定所述网络参数对应的神经网络的训练框架。

可以看出，根据网络参数，确定神经网络的训练框架的方法，可以基于神经网络的初始模型和网络参数，从多个神经网络框架中，自动确定出与网络参数对应的神经网络的训练框架，不需要用户建立神经网络的训练框架，降低了时间成本和人力成本。

可选地，所述训练模块，用于获取神经网络的初始模型，包括：基于第三选取指令从多个神经网络的模型中选取出神经网络的初始模型；或者，建立神经网络的初始模型。

可以看出，通过该获取的神经网络初始模型的方法，可以从无到有建立神经网络的初始模型或从模型仓库中选取初始训练模型，如此，便于实现。

可选地，所述训练模型，用于基于所述网络参数，确定神经网络的训练框架，包括：获取已有的神经网络模型；确定用于优化所述已有的神经网络模型的多个神经网络的训练框架；在所述已有的神经网络模型的多个神经网络的训练框架中，确定所述网络参数对应的神经网络的训练框架。

可以看出，根据网络参数，确定神经网络的训练框架的方法，可以基于神经网络的特定模型和网络参数，从多个神经网络框架中，自动确定出与网络参数对应的神经网络的训练框架，不需要用户建立神经网络的训练框架，降低了时间成本和人力成本。

可选地，所述训练模型，用于根据所述训练框架确定出神经网络的网络结构，包括：获取所述训练框架对应的多个神经网络的网络结构；从所述多个神经网络的网络结构中选择与所述训练集的数据分布状态相符的神经网络的网络结构。

可以看出，通过该确定神经网络结构的方法，能够从多个神经网络结构中确定合适的网络结构，该确定的神经网络的网络结构与用户所选择的训练集的数据分布状态更相符。

可选地，所述处理模块，用于获取所述训练框架对应的多个神经网络的网络结构，包括：在网络仓库中，确定所述训练框架对应的多个神经网络的网络结构，所述网络仓库用于存储神经网络的网络结构。

可以看出，该获取神经网络的网络结构的方法可以根据用户选择的训练集的数据分布状态自动从网络仓库中确定训练框架对应的神经网络的网络结构，不需要用户建立神经网络的网络架构，降低了时间成本和人力成本。

可选地，所述装置还包括权限管理模块，用于根据至少一类第一数据操作权限，确定对所述数据集进行操作和/或训练所述神经网络；所述第一数据操作权限包括对所述数据集的操作权限和/或训练神经网络的权限。

可以看出，根据不同的用户的第一数据操作权限，确定是否可以对数据集进行操作和/或训练神经网络。

可选地，所述装置还包括评测模块，用于基于所述第四选取指令从所述数据集中选取神经网络的评测集；根据所述评测集，对所述训练完成的神经网络模型进行评测，得到评测结果。

可以看出，该神经网络模型的评测方法，能够针对用户选择的评测集，通过已有的模型评测工具自动完成对神经网络模型的评测。

可选地，所述权限管理模块，用于根据至少一类用户对所述神经网络模型的评测权限，对所述神经网络模型进行评测。

可以看出，根据不同用户对所述神经网络模型的不同评测权限，确定是否可以对神经网络模型进行评测。

可选地，所述装置还包括发布模块，用于在评测结果满足预设条件时，利用预先确定的模型发布工具，将所述训练完成的神经网络模型进行发布，所述模型发布工具用于实现神经网络模型的发布。

可以看出，通过上述神经网络模型的发布方法，可以自动对评测结果满足预设条件的神经网络模型，通过已有的模型分布工具进行自动发布。

可选地，所述权限管理模块，用于根据至少一类用户所述神经网络模型的发布权限，对所述神经网络模型进行发布。

可以看出，根据不同用户对神经网络模型的发布权限，确定是否可以对神经网络模型进行发布。

可选地，所述获取模块，还用于根据预先确定的数据采集方式，采集原始数据；根据预先确定的预处理工具，对所述原始数据进行预处理，得到预处理结果；根据预先确定的数据标注方式，得到数据集，所述数据集包括对所述预处理结果的标注信息。

可以看出，由于该数据采集、数据预处理以及数据标注方法都是根据用户需求预先确定的，因此，能够更好地满足用户的需求。

可选地，所述获取模块，用于对所述原始数据、所述预处理结果和所述数据集中的至少一种进行修改或删除。

可以看出，通过对预处理结果和所述数据集中的至少一种进行修改或删除，可以实现对原始数据、预处理结果和数据集的管理，提升数据管理效率。

可选地，所述获取模块，用于根据预先确定的数据采集方式，采集原始数据，包括：通过本地上传数据的方式，采集原始数据；或者，通过生产环境导入数据的方式，采集原始数据。

可以看出，上述数据采集方法，可以满足用户的多种需求，更灵活、更方便。

可选地，所述获取模块，用于根据预先确定的数据标注方式，得到数据集，包括：通过提供的手动标注接口或自动化标注平台，得到所述数据集。

可以看出，通过手动标注接口或自动化标注平台，可以根据需求选择对应的标注方式进行标注，能够满足用户的需求。

可选地，所述权限管理模块，用于根据至少一类第二数据操作权限，进行以下至少一项操作：数据采集、数据预处理、数据标注；所述第二数据操作权限包括以下至少一项：数据采集权限、数据预处理权限、数据标注权限。

可以看出，根据针对不同的用户的数据采集权限、数据预处理权限、数据标注权限，确定是否可以进行以下至少一项操作：数据采集、数据预处理、数据标注。

本公开实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

所述处理器用于运行所述计算机程序时，执行上述任意一种所述的数据处理方法。

本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种所述的数据处理方法。

可以看出，本公开实施例提出了一种数据处理方法及装置、电子设备和计算机存储介质，所述数据处理方法包括：基于第一选取指令选取工作流模板，基于第二选取指令从数据集中选取神经网络的训练集；根据所述工作流模板确定所述神经网络的训练框架，其中，所述训练框架具有所述实例对应的神经网络的网络结构；根据所述训练集和所述神经网络的网络结构训练神经网络，得到训练完成的神经网络模型，由于该数据处理方法中可以根据用户需求选择工作流模板和训练集，并根据选择的工作流模板自动确定出对应的神经网络的训练框架，根据用户选择的训练集，自动确定训练框架对应的神经网络的网络结构，因此，可以根据选取的训练集和确定的神经网络的网络结构实现神经网络的自动训练，不需要算法研究员针对不同的用户需求定制不同的神经网络模型，降低了时间成本和人力成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本公开实施例的数据处理方法的流程图；

图2为本公开实施例的数据处理装置的一个组成结构示意图；

图3为本公开实施例的数据处理装置的另一个组成结构示意图；

图4为本公开实施例的电子设备的结构示意图。

具体实施方式

以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。

需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

例如，本公开实施例提供的数据处理方法包含了一系列的步骤，但是本公开实施例提供的数据处理方法不限于所记载的步骤，同样地，本公开实施例提供数据处理装置包括了一系列模块，但是本公开实施例提供的数据处理装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。

本公开实施例可以应用于终端和服务器等硬件或硬件组成的计算机***中，并可以与众多其它通用或专用计算***环境或配置一起操作，或者可通过处理器运行计算机可执行代码的方式实现本公开实施例。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***，等等，服务器可以是服务器计算机***小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。

终端、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

本公开的一些实施例中，提出了一种数据处理方法，本公开实施例可以应用于任意的数据处理场景，例如，可以应用于政府的城市管理，制糖业的甘蔗分类和检测，工业领域的智能质检等场景。

图1为本公开实施例的一种数据处理方法的流程图，如图1所示，该流程可以包括：

步骤101：基于用户的第一选取指令选取工作流模板，基于用户的第二选取指令从数据集中选取神经网络的训练集；所述工作流模板表示神经网络的训练框架的实例。

在一种实施方式中，用户的第一选取指令可以是基于用户需求从多个工作流模板中选取其中一个工作流模板的指令，例如，用户的第一选取指令可以是从包含多个工作流模板的工作流仓库中选择其中一个工作流模板的指令，其中，工作流仓库中可以包括：物体检测工作流模板、图像分类工作流模板和人脸增量识别工作流模板，用户可以根据需求从物体检测工作流模板、图像分类工作流模板和人脸增量识别工作流模板中选择一种工作流模板，且这里的工作流模板对应着一类神经网络模型的训练实例。

在一种实施方式中，工作流模板可以简单概括为神经网络模型训练的模板流程，且工作流模板可以包括一套通用的训练框架及该套通用的训练框架对应的网络参数，网络参数可以包括超参和初始参数，例如，所述工作流模板中可以包括多个训练框架，一个训练框架可以对应多组网路参数。

作为一种实施方式，用户的第二选取指令可以是基于用户需求从数据集中选取需要进行神经网络训练的训练集的指令；例如，用户的第二选取指令可以是根据用户需求从包含多个训练集的数据集中选择其中一个训练集的指令，其中，数据集中可以包括训练集和评测集，训练集可以是需要进行神经网络模型训练时，用户所选择的数据集，评测集可以是用于对神经网络模型进行精度评测时用户所选择使用的数据集。

对于基于用户的第一选取指令选取工作流模板，基于用户的第二选取指令从数据集中选取神经网络的训练集的实现方式，可以是用户分别从工作流仓库和数据集中，选取与需求相符的工作流模板和神经网络的训练集。

步骤102：根据所述工作流模板确定所述神经网络的训练框架，其中，所述训练框架具有所述实例对应的神经网络的网络结构。

作为一种实施方式，根据所述工作流模板确定所述神经网络的训练框架，可以是根据工作流模板确定神经网络的训练框架的网络参数，基于网络参数，确定神经网络的训练框架。

这里，由于工作流模板中包括神经网络的训练框架的网络参数，因此，可以直接根据用户所选择的工作流模板确定神经网路的训练框架的网络参数，然后可以基于网络参数，自动确定与工作流模板对应的神经网络训练框架。

在一种实施方式中，基于网络参数，确定神经网络的训练框架，可以是获取神经网络的初始模型，确定所述初始模型对应的多个训练框架，在初始模型对应的多个训练框架中，确定所述网络参数对应的神经网络的训练框架。

这里，神经网络的初始模型是一个总体的模型概念，例如，神经网络的初始模型可以是物体检测模型或人脸识别模型，获取神经网络的初始模型的方式可以根据用户的神经网络模型训练需求灵活确定，例如，对于需要从无到有训练神经网络模型的情况，获取神经网络的初始模型的方式可以是从无到有建立神经网络的初始模型，也可以是建立任意一个类型的神经网络初始模型，例如，建立的初始模型也可以是自定义模型库或预训练模型库中的任意一个模型；在一种实施方式中，获取神经网络的初始模型的方式可以是基于用户操作选择对应的初始模型库，从初始模型库中选择初始模型。

对于确定所述初始模型对应的多个训练框架，在初始模型对应的多个训练框架中，确定网络参数对应的神经网络的训练框架的实现方式，可以是在预存的神经网络训练框架中确定初始模型对应的多个神经网络的训练框架，并在对应的多个神经网络的训练框架中，确定与网络参数对应的一个神经网络训练框架。例如，预存的训练框架可以包括：训练框架1、训练框架2、训练框架3、训练框架4、训练框架5以及训练框架6，在用户选择的初始模型A对应的神经网络训练框架是训练框架2、训练框架4、训练框架5的情况下，在网络参数1对应的训练框架是训练框架4，网络参数2对应的训练框架是训练框架5的情况下，若网络参数是网络参数1，则可以确定网络参数1对应的神经网络框架是训练框架4。

可以看出，根据网络参数，确定神经网络的训练框架的方法，可以基于神经网络的初始模型和网络参数，从多个神经网络框架中，自动确定出与网络参数对应的神经网络的训练框架，不需要用户建立神经网络的训练框架，降低了时间成本和人力成本。

这里，获取神经网络的初始模型，可以包括：基于用户的第三选取指令从多个神经网络的模型中选取出神经网络的初始模型；或者，建立神经网络的初始模型。

在一种实施方式中，用户的第三选取指令可以是基于用户需求从包含多个模型库的模型仓库中选取其中一个模型库中的一个模型的指令，其中，模型仓库中可以包括：预训练模型库和自定义模型库，用户可以根据需求从预训练模型库或自定义模型库中选择一个神经网络模型作为初始模型。这里，预训练模型库，可以包括预先训练好的模型，用户可以基于选择的数据集对预训练模型库中的模型进行增量训练，以优化它们在特定场景下的效果；自定义模型库，可以包括用户自身从无到有创造的模型，自定义模型库中的这些模型可以是用户自行创建和训练得到的。

可以看出，通过该获取的神经网络初始模型的方法，可以从无到有建立神经网络的初始模型或从模型仓库中选取初始训练模型，如此，便于实现。

在一种实施方式中，基于网络参数，确定神经网络的训练框架，也可以是获取已有的神经网络模型，确定用于优化所述已有的神经网络模型的多个训练框架，在所述已有的神经网络模型的多个训练框架中，确定所述网络参数对应的神经网络的训练框架。

这里，已有的神经网络模型可以是人脸识别神经网络模型，已有的神经网络模型也可以是其它需要进行进一步优化的神经网络模型。对于用户的需求是对已有的神经网络模型进行优化的情况，获取已有的神经网络模型的方式可以是由用户直接上传。

对于确定用于优化所述已有的神经网络模型的多个训练框架，在所述已有的神经网络模型的多个训练框架中，确定所述网络参数对应的神经网络的训练框架的实现方式，可以是在预存的神经网络训练框架中确定已有模型对应的多个神经网络的训练框架，并在对应的多个神经网络训练框架中，确定和网络参数对应的一个神经网络训练框架。例如，预存的训练框架可以包括：训练框架1、训练框架2、训练框架3、训练框架4、训练框架5以及训练框架6，在用户选择特定模型B，且特定模型B对应的神经网络训练框架是训练框架1、训练框架2、训练框架6的情况下，在网络参数1对应的训练框架是训练框架1，网络参数2对应的训练框架是训练框架2的情况下，若网络参数是网络参数1，则可以确定网络参数1对应的神经网络框架是训练框架1。

可以看出，根据网络参数，确定神经网络的训练框架的方法，可以基于神经网络的已有模型和网络参数，从多个神经网络框架中，自动确定出与网络参数对应的神经网络的训练框架，不需要用户建立神经网络的训练框架，降低了时间成本和人力成本。

在一个示例中，根据所述训练框架确定出神经网络的网络结构，可以是获取所述训练框架对应的多个神经网络的网络结构；从所述多个神经网络的网络结构中选择与所述训练集的数据分布状态相符的神经网络的网络结构。

这里，训练集的分布状态可以至少包括以下至少一项：训练集的数量大小情况、训练集的数据分布均衡情况，例如，训练集的分布状态可以是训练集的数量很少，例如，训练集的数量少于100张，训练集的分布状态也可以是训练集的数据分布不均衡，例如，一个猫狗分类的训练集里，有900张猫，100张狗。

在一个示例中，从所述多个神经网络的网络结构中选择与所述训练集的数据分布状态相符的神经网络的网络结构，可以是从多个神经网络的网络结构中选择一个适用于数量较小的训练集的网络结构，也可以是从多个神经网络的网络结构中，选择一个适用于数据分布不平衡的训练集的网络结构。

可以看出，通过该确定神经网络结构的方法，能够从多个神经网络结构中确定合适的网络结构，所确定的神经网络的网络结构与用户所选择的训练集的数据分布状态更相符。

作为一种实施方式，获取所述训练框架对应的多个神经网络的网络结构，可以是在网络仓库中，确定所述训练框架对应的多个神经网络的网络结构，所述网络仓库用于存储神经网络的网络结构。

这里，网络仓库可以是集成了多个业界开源通用的，已经经过专门优化后的神经网络，包括ResNet、MobileNet、ShuffleNet、MNASNet、EfficientNet等，对于在网络仓库中，确定训练框架对应的多个神经网络的网络结构的实现方式，示例性地，可以是对于训练框架A，从网络仓库中确定训练框架A对应ShuffleNet、MNASNet、EfficientNet这三个神经网络的网络结构。

可以看出，该获取神经网络的网络结构的方法可以根据用户选择的训练集的数据分布状态自动从网络仓库中确定训练框架对应的神经网络的网络结构，不需要用户建立神经网络的网络架构，降低了时间成本和人力成本。

步骤103：根据所述训练集和所述神经网络的网络结构训练神经网络，得到训练完成的神经网络模型。

在一种实施方式中，根据所述训练集和所述神经网络的网络结构训练神经网络，得到训练完成的神经网络模型包括：根据选择的训练集和神经网络的网络结构进行神经网络训练，在训练过程中判断基于网络参数值调整后的神经网络模型是否满足设定条件，若不满足预设条件，则调整神经网络参数，再判断基于网络参数值调整后的神经网络模型是否满足预设条件；若满足预设条件，则结束训练，得到训练完成的神经网络模型；若不满足预设条件，则继续调整网络参数进行再判断。

这里，设定条件可以是调整神经网络的网络参数的次数等于设定迭代次数，也可以是神经网络的损失函数达到收敛条件。这里，设定迭代次数表示调整神经网络的网络参数的次数的最大值，设定迭代次数为大于1的整数；收敛条件可以是调整神经网络的损失函数的值小于设定损失，设定损失可以根据实际应用需求预先设置。需要说明的是，上述仅仅是对设定条件进行了示例性说明，本公开实施例的设定条件并不局限于此。

在实际应用中，步骤101至步骤103可以利用电子设备中的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种。

可以看出，本公开实施例中，由于该数据处理方法中可以根据用户需求选择工作流模板和训练集，并根据选择的工作流模板自动确定出对应的神经网络的训练框架，并根据用户选择的训练集，自动确定训练框架对应的神经网络的因此，可以根据选择的训练集和确定的神经网络的网络结构实现神经网络的自动训练，不需要算法研究员针对不同的用户需求定制不同的神经网络模型，降低了时间成本和人力成本。

在一种实施方式中，可以根据至少一类用户的第一数据操作权限，对所述数据集进行操作和/或训练所述神经网络；所述第一数据操作权限包括对所述数据集的操作权限和/或训练神经网络的权限。

在一个示例中，数据集的操作权限可以是创建数据集、删除数据集以及选择数据集等对数据集的操作权限；训练神经网络的权限可以包括选择训练集和工作流模板，以及进行神经网络训练所必须的其它操作的权限。

对于根据至少一类用户的第一数据操作权限，对所述数据集进行操作和/或训练所述神经网络的实现方式，可以是针对不同类型的用户的不同第一数据操作权限，也可以是针对不同类型的用户的相同第一数据操作权限，对数据集进行操作和/或训练神经网络。在一个示例中，可以通过管理员来设置不同用户的操作权限，进而获得至少一类第一数据操作权限。

可以看出，根据不同的用户第一数据操作权限，确定是否可以对数据集进行操作和/或训练神经网络。

在一种实施方式中，可以基于所述用户的第四选取指令从所述数据集中选取神经网络的评测集；根据所述评测集，对所述训练完成的神经网络模型进行评测，得到评测结果。

在一个示例中，用户的第四选取指令可以是基于用户需求从数据集中选取需要进行神经网络模型评测的评测集的指令；例如，用户的第四选取指令可以是根据用户需求从包含多个神经网络评测集的数据集中选择其中一个神经网络评测集的指令。

对于根据所述评测集，对所述训练完成的神经网络模型进行评测，得到评测结果的实现方式，可以是利用用户从数据平台中选择的评测集，通过模型评测工具对神经网络模型的精度进行评测，得到精度评测结果。这里，针对不同类别的神经网络模型，评测工具可以选择不同的指标进行评测，例如，对于物体检测的神经网络模型，可以选择主要评测平均准确率(mean Average Precision，mAP)、每张图片的错误的正例数-漏检率(FalsePositive Per Image-Miss Rate，FPPI-MR)@0.1等指标；对于图像分类的神经网络模型，可以选择主要评测准确率、精确率、召回率等指标；对于人脸识别的神经网络模型，可以选择主要评测动态布控下的误识率和通过率，以及静态检索下Top N的命中率等指标。

可以看出，该神经网络模型的评测方法，能够针对用户选择的评测集，通过已有的模型评测工具自动完成对神经网络模型的评测。

在一种实施方式中，可以根据至少一类用户对所述神经网络模型的评测权限，对所述神经网络模型进行评测。

在一个示例中，根据至少一类用户对所述神经网络模型的评测权限，对所述神经网络模型进行评测，可以是针对不同类型的用户的不同神经网络模型的评测权限，也可以是针对不同类型的用户的相同神经网络模型的评测权限，对所述神经网络模型进行评测。例如，针对用户A，可以设置对神经网络模型1和神经网络模型2的评测权限，针对用户B设置对神经网络模型3的评测权限，当然，也可以针对用户A和用户B均设置对神经网络模型1和神经网络模型2的评测权限。进而，可以根据用户A和用户B对神经网络模型的操作权限，对神经网络模型1和神经网络模型2进行评测。

可以看出，根据不同的用户对所述神经网络模型的评测权限，确定是否可以对所述神经网络模型进行评测。

在一个实施方式中，可以在评测结果满足预设条件时，利用预先确定的模型发布工具，将所述训练完成的神经网络模型进行发布，所述模型发布工具用于实现神经网络模型的发布。

在一个示例中，预设条件可以是评测结果达到预先设置的精度指标，当然，可以针对不同类型的神经网络模型设置不同的精度指标，针对同一类型的神经网络模型也可以设置不同的精度指标，具体地，该预先设置的精度指标可以是通过用户来确定的。

在一个示例中，模型发布工具可以是模型压缩工具、模型转换工具和模型加密工具中的一个或多个，其中，模型压缩工具可以用于对模型的体积进行压缩，以及模型结构的优化，以便模型达到最佳推理速度；模型转换工具可以支持将模型转换为不同人工智能(Artificial Intelligence，AI)芯片适配的结构，以确保模型在不同AI芯片上顺利运行；模型加密工具可以对模型进行加密，以确保模型安全，不被泄露和攻击。

对于在评测结果满足预设条件时，利用预先确定的模型发布工具，将所述训练完成的神经网络模型进行发布的实现方式，可以是在评测结果的精度满足预设的精度指标的情况下，利用模型压缩工具，实现对神经网络模型的体积压缩，以及结构的优化，也可以是利用模型转换工具将模型转换为不同AI芯片适配的结构，也可以是利用模型加密工作对神经网络模型进行加密，当然也可以是同时利用模型压缩工具、模型转换工具和模型加密工具中的多个，实现对神经网络模型的发布。在一个示例中，可以将神经网络模型转换为某种通用的神经网络模型框架(如Caffe等)，神经网络模型转换完成后，只需要替换生产环境的推理***中对应的神经网络模型即可完成对神经网络模型的发布。

可以看出，通过上述神经网络模型的发布方法，可以自动对评测结果满足预设条件的神经网络模型，通过已有的模型分布工具进行自动发布。

在一种实施方式中，可以根据至少一类用户对所述神经网络模型的发布权限，对所述神经网络模型进行发布。

这里，根据至少一类用户对所述神经网络模型的发布权限，对所述神经网络模型进行发布，可以是针对不同类型的用户的神经网络模型的发布权限，对所述神经网络模型进行发布；也可以是根据不同类型的用户的不同的神经网络模型的发布权限或不同类型的用户的相同的神经网络模型的发布权限，对所述神经网络模型进行发布。

可以看出，根据不同的用户对神经网络模型的发布权限，确定是否可以对神经网络模型进行发布。

在一种实施方式中，可以配置进行神经网络训练所需的训练环境，所述训练环境包括以下至少一项：深度学习框架、分布式训练的工具。

在一个示例中，对于配置进行神经网络训练所需的训练环境的实现方式，可以是自动调用深度学习框架和分布式训练的工具，其中，深度学习框架可以是SenseParrots、TensorFlow、Pytorch或飞桨PaddlePaddle等。分布式训练工具可以是单机多卡训练工具和多机多卡训练工具，其中，多机多卡分布式训练工具可以是MPI Launcher。

进一步地，在一个示例中，还可以进行训练任务调度，并配置进行神经网络训练所需的机器资源，这里，可以根据用户需求对训练任务进行调度，训练任务调度的作用是根据用户需求确定神经网络训练的先后顺序，以及进行神经网络训练的机器资源，例如，确定3个用户需要进行神经网络训练，训练任务调度即可以确定先进行那个用户的神经网络训练，以及在哪些机器上进行神经网络训练；配置进行神经网络所需的机器资源可以是确定神经网络训练所需的显卡以及数据盘等。

可以看出，通过该训练环境的配置，可以为神经网络的训练提供必要的资源环境的准备，有利于进一步进行神经网络训练。

在一种实施方式中，可以根据预先确定的数据采集方式，采集原始数据；根据预先确定的预处理工具，对所述原始数据进行预处理，得到预处理结果；根据预先确定的数据标注方式，得到数据集，所述数据集包括对所述预处理结果的标注信息。

在一个示例中，根据预先确定的数据采集方式，采集原始数据，可以是通过本地上传数据的方式，采集原始数据；或通过生产环境导入数据的方式，采集原始数据。

在一个示例中，用户可以根据需求选择数据采集方式，如果用户选择从本地上传，则可以将本地的图片打包成压缩包，然后通过数据平台的原始数据接入模块里提供的本地上传功能进行导入；如果用户选择从生产环境导入，那么用户需要配置生产环境的数据存储地址，即可通过数据平台的原始数据接入模块里提供的从生产环境导入功能进行导入。

可以看出，上述数据采集方法，可以满足用户的多种需求，更灵活、更方便。

在一个示例中，根据预先确定的预处理工具，对所述原始数据进行预处理，得到预处理结果，可以是根据抽取-转换-加载(Extract-Transform-Load，ETL)处理工具，对原始数据进行ETL处理，具体地，可以是对原始数据进行特征工程、转换和打包，经过ETL处理后的原始数据，不仅被转换为对于神经网络模型训练来说读写更加高效的格式，而且加上了数据的一些基本信息，例如，时间戳、摄像头点位信息、图片尺寸、分辨率等，这些信息有利于对图片数据进行结构化处理，且后续对图片数据的筛选和检索也会变得更加容易。

在一个示例中，根据预先确定的数据标注方式，得到数据集，可以是通过提供的手动标注接口或自动化标注平台，得到数据集。

在一个示例中，对于根据预先确定的数据标注方式，得到数据集的实现方式，可以是利用数据智能标注平台提供的人工标注和无监督自动标注，对数据进行标注处理，得到数据集。对于非人脸识别模型相关的数据，用户需要选择人工标注，由用户本人完成数据标注的过程，以得到数据集。如果是人脸识别相关的数据，可以通过无监督聚类的方法，将相似人脸聚类到一起，从而完成标注，得到数据集。

可以看出，通过手动标注接口或自动化标注平台，可以根据需求选择对应的标注方式进行标注，能够满足用户的需求。

可以看出，由于该数据采集、数据预处理以及数据标注方法都是根据用户需求预先确定的，因此，能够更好地满足用户的需求。

在一种实施方式中，可以对所述原始数据、所述预处理结果和所述数据集中的至少一种进行修改或删除。

示例性地，对所述原始数据、所述预处理结果和所述数据集中的至少一种进行修改或删除，可以是删除、创建、选取、修改原始数据、预处理结果和数据集中的至少一种，当然，数据集中也可以包含记忆数据，即，在训练某些特定模型的过程中所产生的与模型相关的数据，具体地，记忆数据，可以是指训练集中满足预设标准的图片数据，预设标准可以是指能够代表神经网络模型的样本，例如，对于一个苹果识别的神经网络模型，记忆数据可以是训练集中能够代表神经网络模型的图片数据。

可以看出，通过对预处理结果和所述数据集中的至少一种进行修改或删除，可以实现对原始数据、预处理结果和数据集的管理，提升数据管理效率。

在一个实施例中，可以根据至少一类第二数据操作权限，进行以下至少一项操作：数据采集、数据预处理、数据标注；所述第二数据操作权限包括以下至少一项：数据采集权限、数据预处理权限、数据标注权限。

可以看出，根据针对不同的用户的数据采集权限、数据预处理权限、数据标注权限，确定是否可以进行数据采集、数据预处理、数据标注。

在一种实施方式中，可以采用基于不同类型用户的权限设计，对用户的各项操作进行权限管理，使用户只能看到具备权限的数据，只能进行具备权限的操作。具体来说，可以内置可扩展的角色列表，以支持图片标注员、普通用户、群组管理员、用户管理员等不同类型用户。其中，图片标注员，只能查看具备权限的数据集，并对这些数据集完成数据标注工作；普通用户除了拥有图片标注员的全部权限外，还可以创建数据集和神经网络模型，也能利用标注后的数据集训练、评测和发布神经网络模型；群组管理员除了拥有普通用户的全部权限外，还可以对群组以及群组内的成员进行管理；用户管理员拥有除***管理员以外的其它用户的管理权限。

在前述实施例提出的数据处理方法的基础上，本公开实施例提出了一种数据处理装置。

图2为本公开实施例的数据处理装置的一个组成结构示意图，如图2所示，该平台可以包括：选取模块201和训练模块202，其中，

选取模块201，用于基于用户的第一选取指令选取工作流模板，基于用户的第二选取指令从数据集中选取神经网络的训练集；所述工作流模板表示神经网络的训练框架的实例；

训练模块202，用于根据所述工作流模板确定所述神经网络的训练框架，其中，所述训练框架具有所述实例对应的神经网络的网络结构；根据所述训练集和所述神经网络的网络结构训练神经网络，得到训练完成的神经网络模型。

可选地，所述训练模块202，用于根据所述工作流模板确定神经网络的训练框架，包括：根据所述工作流模板确定神经网络的训练框架的网络参数；基于所述网络参数，确定神经网络的训练框架。

可选地，所述训练模块202，用于基于所述网络参数，确定神经网络的训练框架，包括：获取神经网络的初始模型；确定所述初始模型对应的多个神经网络的训练框架；在所述初始模型对应的多个神经网络的训练框架中，确定所述网络参数对应的神经网络的训练框架。

可选地，所述训练模块202，用于获取神经网络的初始模型，包括：基于用户的第三选取指令从多个神经网络的模型中选取出神经网络的初始模型；或者，建立神经网络的初始模型。

可选地，所述训练模型202，用于基于所述网络参数，确定神经网络的训练框架，包括：获取已有的神经网络模型；确定用于优化所述已有的神经网络模型的多个神经网络的训练框架；在所述已有的神经网络模型的多个神经网络的训练框架中，确定所述网络参数对应的神经网络的训练框架。

可选地，所述训练模型202，用于根据所述训练框架确定出神经网络的网络结构，包括：获取所述训练框架对应的多个神经网络的网络结构；从所述多个神经网络的网络结构中选择与所述训练集的数据分布状态相符的神经网络的网络结构。

可选地，所述处理模块202，用于获取所述训练框架对应的多个神经网络的网络结构，包括：在网络仓库中，确定所述训练框架对应的多个神经网络的网络结构，所述网络仓库用于存储神经网络的网络结构。

可选地，所述装置还包括权限管理模块203，用于根据至少一类用户的第一数据操作权限，对所述数据集进行操作和/或训练所述神经网络；所述第一数据操作权限包括对所述数据集的操作权限和/或训练神经网络的权限。

可选地，所述装置还包括评测模块204，用于基于所述用户的第四选取指令从所述数据集中选取神经网络的评测集；根据所述评测集，对所述训练完成的神经网络模型进行评测，得到评测结果。

可选地，所述权限管理模块203，用于根据至少一类用户对所述神经网络模型的评测权限，对所述神经网络模型进行评测。

可选地，所述装置还包括发布模块205，用于在评测结果满足预设条件时，利用预先确定的模型发布工具，将所述训练完成的神经网络模型进行发布，所述模型发布工具用于实现神经网络模型的发布。

可选地，所述权限管理模块203用于根据至少一类用户对所述神经网络模型的发布权限，对所述神经网络模型进行发布。

可选地，所述获取模块201，还用于根据预先确定的数据采集方式，采集原始数据；根据预先确定的预处理工具，对所述原始数据进行预处理，得到预处理结果；根据预先确定的数据标注方式，得到数据集，所述数据集包括对所述预处理结果的标注信息。

可选地，所述获取模块201，用于对所述原始数据、所述预处理结果和所述数据集中的至少一种进行修改或删除。

可选地，所述获取模块201，用于根据预先确定的数据采集方式，采集原始数据，包括：通过本地上传数据的方式，采集原始数据；或者，通过生产环境导入数据的方式，采集原始数据。

可选地，所述获取模块201，用于根据预先确定的数据标注方式，得到数据集，包括：通过提供的手动标注接口或自动化标注平台，得到数据集。

可选地，所述权限管理模块203，用于根据至少一类用户的第二数据操作权限，进行以下至少一项操作：数据采集、数据预处理、数据标注；所述第二数据操作权限包括以下至少一项：数据采集权限、数据预处理权限、数据标注权限。

实际应用中，获取模块201、训练模块202、权限管理模块203、评测模块204和发布模块205可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。

图3为本公开实施例的数据处理装置的另一个组成结构示意图，如图3所示，该数据处理装置包含交互层，其中，交互层包括：图形化界面(Graphical User Interface，GUI)，主要提供面向用户的界面，由用户进行可视化的操作。

该数据处理装置还包括业务层，其中，业务层包括：用户中心和权限***，用户中心可以主要负责对用户的管理，包括用户和群组的增加、删除、修改和检查等；权限***可以主要负责权限和用户类型的管理。

该数据处理装置还包括平台层，其中，平台层包括：数据平台、算法平台、模型平台和资源监控中心，数据平台、算法平台、模型平台三者相互关联，数据平台负责对训练神经网络模型时要用到的各类数据进行加工处理；算法平台负责提供神经网络模型训练时要用到的各种神经网络结构；模型平台可以利用数据平台加工处理后的数据以及算法平台提供的神经网络结构，完成神经网络模型的自动训练和自动评测；资源监控中心，主要负责数据处理装置运行过程中的硬件资源的监控，例如，监控CPU使用率、图形处理器(GraphicsProcessing Unit，GPU)使用率等。

在一示例中，数据平台可以包括原始数据接入模块、数据预处理模块、数据仓库、数据精加工模块以及标注后数据管理模块。其中，原始数据接入模块可以包括原始数据接入部分和原始数据解析部分，用于对原始数据进行接入和解析；数据预处理模块可以包括抽取部分、转换部分和加载部分，用于对原始数据进行数据的抽取、转换和加载处理；数据仓库可以包括数据多格式存储部分和结构化搜索部分，用于对原始数据、预处理后的数据、标注后的数据、数据集等进行数据多格式存储和结构化搜索；数据精加工模块可以包括人工标注部分、无监督自动标注部分和数据智能标注平台，其中，人工标注部分用于对原始数据和/或预处理后的数据进行人工标注处理；无监督自动标注部分用于对原始数据和/或预处理后的数据进行无监督自动标注处理；数据智能标注平台用于对原始数据和/或预处理后的数据进行智能标注；标注后数据管理模块可以包括训练集管理部分、评测集管理部分以及技术数据管理部分，用于对训练集、评测集以及记忆数据进行管理。

在一个示例中，算法平台可以包括：深度学习框架模块、分布式训练模块、网络仓库、训练框架模块以及工作流仓库。其中，深度学习框架模块可以是SenseParrots模型，用于帮助用户进行深度学习；分布式训练模块可以包括单机多卡分布式训练工具和多机多卡分布式训练工具，单机多卡分布式训练工具可以是LinkLink工具，多机多卡分布式训练工具可以是MPI Launcher工具；网络仓库可以包括神经网络ResNet、MobileNet、ShuffleNet、MNASNet、EfficientNet；训练框架模块可以包括物体检测框架、图像分类框架和人脸增量识别框架，工作流仓库可以包括工作流模板1、工作流模板2和工作流模板3，其中，工作流模板1可以是物体检测工作流模板，工作流模板2可以是图像分类工作流模板，工作流模板3可以是人脸增量识别工作流模板。

在一个示例中，模型平台可以包括：模型仓库、资源管理模块、模型训练模块、评测模块以及模型发布模块，其中，模型仓库可以包括预训练模型库和自定义模型库，资源管理模块用于进行神经网络训练的任务调度以及实现显卡申请与管理、数据盘管理、训练环境管理；模型训练模块可以包括0-1训练体系、预训练模型训练体系部分以及特定模型定向优化训练体系部分，其中，在用户选择从无到有创建一个神经网络模型的情况下，可以调用模型训练模块中的0-1训练体系部分；在用户选择基于一个预先训练好的模型和选择的数据集对预先训练好的模型进行增量训练的情况下，可以调用模型平台的模型训练模块中的预训练训练体系部分；在用户需要对特定模型(如人脸识别)进行优化的情况下，可以调用模型平台的模型训练模块中的特定模型定向优化体系部分；在调用训练体系后，可以在算法平台中依次调用对应的训练框架，工作流模板和网络仓库中对应的网络结构，并利用用户从数据平台中选择的训练集，进行本次神经网络模型训练。评测模块可以包括单模型评测工具和评测指标可视化工具，单模型评测工具可以用于对训练得到的神经网络模型进行评测，评测指标可视化工具可以对评测后获得的评测指标进行可视化展示；模型发布模块可以包括压缩工具、转换工具以及加密工具，压缩工具用于对训练后所获得的神经网络模型进行压缩处理，转换工具用于训练后所获得的神经网络模型进行转化处理，加密工具用于对训练后所获得的神经网络模型进行加密处理。

在一种实施方式中，数据处理装置还包括调度层，其中，调度层包括：Kubernetes集群，用于管理云平台中多个主机上的容器化的应用，例如，对各类基础设施(如CPU、GPU)的调度和管理。

在一种实施方式中，数据处理装置还包括硬件层，其中，硬件层可以包括：CPU、GPU和网络附属存储(Network Attached Storage，NAS)，用于对神经网络训练提供必要的硬件资源。

在一个示例中，对于权限***，图片标注员可以只有数据平台中数据仓库的查看权限和数据精加工模块中进行数据人工标注的权限，例如，用户登录权限***后，用户只能在数据仓库中看到，由其他非图片标注员创建的原始数据或预处理后的数据，且在其他非图片标注员创建原始数据或预处理后的数据时，创建者可以设置某些图片标注员查看的权限。针对具备查看权限的原始数据或预处理后的数据，图片标注员可以对原始数据或预处理后的数据进行人工标注，包括对原始数据或预处理后的数据中的图片进行拉框和打标签的标注操作。对于不具备查看权限的原始数据或预处理后的数据集，图片标注员可以感知不到它的存在。

在一个示例中，除了图片标注员之外，如果是其它类型的用户登录权限***，可以获得数据平台、算法平台、模型平台的所有操作权限，不同之处在于：对于普通用户和群组管理员来说，所能管理的数据集和神经网络模型，可以只是自身创建的数据集和神经网络模型，以及其他人创建，且允许用户管理的数据集和神经网络模型。对于用户管理员来说，用户管理员能管理***内所有的数据集和神经网络模型，且无需经过这些数据集和模型的创建者授权。

在一种实施方式中，可以通过数据平台实现数据采集，预处理，标注以及管理的全流程。在数据采集方面，数据平台支持用户从本地上传数据，也支持从用户的生产环境中直接导入数据。当用户从生产环境中直接导入数据时，会使用数据流转引擎。通过数据流转引擎可以将生产环境中的真实场景的实时数据，导入到数据平台。当数据流转引擎中累计的真实场景的实时数据超过一个预先设置的阈值(例如1000张)时，数据流转引擎会将这些图片进行压缩打包，并将打包好的图片，分批导入到数据平台。

在一个示例中，在数据预处理方面，数据平台支持对用户上传或从生产环境中导入的数据进行ETL处理，包括为数据添加拍摄的摄像头的点位信息，时间信息，数据之间的时序关系等。经过预处理后的数据，具备了基本的结构化信息，可以用于用户数据集的检索。例如，用户可以输入关键词，直接搜索与此关键词相对应的图片，从而实现图片复用，最大化挖掘图片价值。

在一个示例中，在数据标注方面，用户可以利用提供的可扩展的数据智能标注平台中自带的数据标注工具，如拉框、打标签等，对数据进行标注，也可以开发满足自身需求的标注工具。在数据集管理方面，可以支持对原始数据、预处理后的数据、标注后的数据，获得的训练集和评测集以及通过神经网络模型所确定的记忆数据的管理。

在一种实施方式中，可以通过包含深度学***台来为训练神经网络提供必要的准备环境，例如，当用户需要训练神经网络模型时，首先需要准备训练环境，除了机器资源的调度以外，最重要的就是需要加载深度学***台中读取内置的深度学习框架，为了加快训练速度，提升训练效率，训练神经网络模型时通常需要进行分布式训练，这时，需要加载和使用算法仓库中分布式训练模块内置的单机多卡训练工具和多机多卡训练工具。环境准备就绪后，可以开始进行神经网络训练。

在一个示例中，在开始进行神经网络训练时，用户首先需要在算法平台的训练框架中根据需求选择对应的工作流模板，进而根据选择的工作流模板确定对应的训练框架。在根据神经网络训练框架对用户选取的训练集进行神经网络训练时，会从算法平台的网络仓库中，加载神经网络训练框架对应的网络结构，作为本次模型训练的神经网络初始模型，随后，将利用神经网络训练框架对应的网络参数，基于对应的网络结构进行神经网络训练，进而得到一个神经网络模型。

在一种实施方式中，可以通过模型平台训练神经网络、并对训练后得到的神经网络模型进行评测以及发布。在神经网络训练方面，可以根据用户选择的工作流模板，自动获取对应的神经网络的训练框架。通常一个神经网络训练框架中，会内置网络仓库模块中的多个网络结构。可以根据用户选择的数据集，自动从网络仓库模块中选择最佳的神经网络的网络结构作为训练的神经网络的网络结构。

在一个示例中，神经网络训练开始后，可以随机生成该神经网络的一组网络参数，针对每组神经网络的网络参数，基于选择的训练集，对神经网络的网络结构进行神经网络训练，优化神经网络参数，判断基于网络参数值调整后的神经网络模型是否满足设定条件，若不满足预设条件，则调整神经网络参数，判断基于网络参数值调整后的神经网络模型是否满足预设条件；若满足预设条件，则结束训练，得到训练完成的神经网络模型。

在一个示例中，对于特定的神经网络模型，如人脸识别，在神经网络训练完成后，还会将训练中所获得的有价值的数据进行整理和打包，输出一份与训练得到的新的神经网络模型相对应的记忆数据，用于后续对此神经网络模型进行优化。

另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

具体来讲，本实施例中的一种数据处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种数据处理方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种数据处理方法。

基于前述实施例相同的技术构思，参见图4，其示出了本公开实施例提供的一种电子设备400，可以包括：存储器401和处理器402；其中，

所述存储器401，用于存储计算机程序和数据；

所述处理器402，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种数据处理方法。

在实际应用中，上述存储器401可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器402提供指令和数据。

上述处理器402可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的增强现实云平台，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述

本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。

上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本公开的保护之内。

Claims (20)

1.一种数据处理方法，其特征在于，所述方法包括：

基于第一选取指令选取工作流模板，基于第二选取指令从数据集中选取神经网络的训练集；所述工作流模板表示神经网络的训练框架的实例；

根据所述工作流模板确定所述神经网络的训练框架，其中，所述训练框架具有所述实例对应的神经网络的网络结构；

根据所述训练集和所述神经网络的网络结构训练神经网络，得到训练完成的神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述工作流模板确定神经网络的训练框架，包括：

根据所述工作流模板确定神经网络的训练框架的网络参数；

基于所述网络参数，确定神经网络的训练框架。

3.根据权利要求2所述的方法，其特征在于，所述基于所述网络参数，确定神经网络的训练框架，包括：

获取神经网络的初始模型；

确定所述初始模型对应的多个神经网络的训练框架；

在所述初始模型对应的多个神经网络的训练框架中，确定所述网络参数对应的神经网络的训练框架。

4.根据权利要求3所述的方法，其特征在于，所述获取神经网络的初始模型，包括：基于第三选取指令从多个神经网络的模型中选取出神经网络的初始模型；或者，建立神经网络的初始模型。

5.根据权利要求2所述的方法，其特征在于，所述基于所述网络参数，确定神经网络的训练框架，包括：

获取已有的神经网络模型；

确定用于优化所述已有的神经网络模型的多个神经网络的训练框架；

在所述已有的神经网络模型的多个神经网络的训练框架中，确定所述网络参数对应的神经网络的训练框架。

6.根据权利要求1所述的方法，其特征在于，所述根据所述训练框架确定出神经网络的网络结构，包括：

获取所述训练框架对应的多个神经网络的网络结构；

从所述多个神经网络的网络结构中选择与所述训练集的数据分布状态相符的神经网络的网络结构。

7.根据权利要求6所述的方法，其特征在于，所述获取所述训练框架对应的多个神经网络的网络结构，包括：

在网络仓库中，确定所述训练框架对应的多个神经网络的网络结构，所述网络仓库用于存储神经网络的网络结构。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据至少一类第一数据操作权限，对所述数据集进行操作和/或训练所述神经网络；所述第一数据操作权限包括对所述数据集的操作权限和/或训练神经网络的权限。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述第四选取指令从所述数据集中选取神经网络的评测集；

根据所述评测集，对所述训练完成的神经网络模型进行评测，得到评测结果。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

根据所述神经网络模型的评测权限，对所述神经网络模型进行评测。

11.根据权利要求9所述的方法，其特征在于，所述方法还包括：

在评测结果满足预设条件时，利用预先确定的模型发布工具，将所述训练完成的神经网络模型进行发布，所述模型发布工具用于实现神经网络模型的发布。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

根据所述神经网络模型的发布权限，对所述神经网络模型进行发布。

13.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预先确定的数据采集方式，采集原始数据；

根据预先确定的预处理工具，对所述原始数据进行预处理，得到预处理结果；

根据预先确定的数据标注方式，得到数据集，所述数据集包括对所述预处理结果的标注信息。

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

对所述原始数据、所述预处理结果和所述数据集中的至少一种进行修改或删除。

15.根据权利要求13所述的方法，其特征在于，所述根据预先确定的数据采集方式，采集原始数据，包括：

通过本地上传数据的方式，采集原始数据；

或者，通过生产环境导入数据的方式，采集原始数据。

16.根据权利要求13所述的方法，其特征在于，所述根据预先确定的数据标注方式，得到数据集，包括：

通过提供的手动标注接口或自动化标注平台，得到所述数据集。

17.根据权利要求14所述的方法，其特征在于，所述方法还包括：

根据至少一类第二数据操作权限，进行以下至少一项操作：数据采集、数据预处理、数据标注；所述第二数据操作权限包括以下至少一项：数据采集权限、数据预处理权限、数据标注权限。

18.一种数据处理装置，其特征在于，所述装置包括：选取模块和训练模块，其中，

选取模块，用于基于第一选取指令选取工作流模板，基于第二选取指令从数据集中选取神经网络的训练集；所述工作流模板表示神经网络的训练框架的实例；

训练模块，用于根据所述工作流模板确定所述神经网络的训练框架，其中，具有所述实例对应神经网络的网络结构；根据所述训练集和所述神经网络的网络结构训练神经网络，得到训练完成的神经网络模型。

19.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，

所述处理器用于运行所述计算机程序时，执行权利要求1-17任一项所述的数据处理方法。

20.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-17任一项所述的数据处理方法。

Images