CN113626116A - 智能学习***及数据分析方法 - Google Patents

智能学习***及数据分析方法 Download PDF

Info

Publication number
CN113626116A
CN113626116A CN202110818507.8A CN202110818507A CN113626116A CN 113626116 A CN113626116 A CN 113626116A CN 202110818507 A CN202110818507 A CN 202110818507A CN 113626116 A CN113626116 A CN 113626116A
Authority
CN
China
Prior art keywords
algorithm
data set
data
canvas
learning system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110818507.8A
Other languages
English (en)
Other versions
CN113626116B (zh
Inventor
温建新
王宇晨
任呈祥
李海生
王金粱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Electronic and Information Technology of CETC
Original Assignee
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Electronic and Information Technology of CETC filed Critical China Academy of Electronic and Information Technology of CETC
Priority to CN202110818507.8A priority Critical patent/CN113626116B/zh
Publication of CN113626116A publication Critical patent/CN113626116A/zh
Application granted granted Critical
Publication of CN113626116B publication Critical patent/CN113626116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种智能学习***及数据分析方法。智能学习***，包括：树形菜单栏，用于提供多种数据集和多种算法；svg画布，用于基于多种数据集和多种算法，构建DAG流程图；属性页，用于修改数据集以及算法的属性参数，以构建专题类分析模型；流程交互区，用于保存、删除、运行以及发布专题类分析模型。采用本发明，可以简化专题类分析模型构建过程，提高数据分析效率，避免代码的二次开发。

Description

智能学习***及数据分析方法
技术领域
本发明涉及计算机领域，尤其涉及一种智能学习***及数据分析方法。
背景技术
信息化时代，数据爆发式增长，数据潜在价值的挖掘分析变得十分必要，运用大数据挖掘分析与人工智能技术，对用户数据进行智能化处理，自助式可视化探索分析，数据深度挖掘分析，在线进行模型参数智能化自动化调优成为当前亟待解决的问题。现市场上数据智能分析软件产品主要分为三类：(1)单机版的机器学***台多为单机版软件，内置了机器学***台基于分布式集群构建，部分算法基于分布式计算方法实现。需要用户具备分布式计算基础，多适用于具体领域具体需求的应用场景。(3)企业级数据智能分析平台。现有企业级的数据智能分析平台主要为各大互联网公司根据各自领域业务应用、已有的存储计算控件以及现有算法进行封装构建而成。企业级数据智能分析平台典型的有微软AzureML，百度Jarvis，阿里PAI等。其中微软数据智能分析平台应用算法涵盖较全面，但不支持分布式的机器学***台，为向导式的数据智能分析平台，用户必须上传符合软件规范内的数据并按照既定流程进行分析应用，较难实现应用的扩展；阿里PAI平台，搭积木式组装式数据智能分析平台，用户通过拖拉拽方式拖拽数据、算法形成业务应用模型，目前PAI平台支持分布式的计算分析，但不支持模型应用的发布与快速部署。
发明内容
本发明实施例提供一种智能学***台软件存在的问题。
根据本发明实施例的智能学习***，包括：
树形菜单栏，用于提供多种数据集和多种算法；
svg画布，用于基于多种所述数据集和多种所述算法，构建DAG流程图；
属性页，用于修改所述数据集以及所述算法的属性参数，以构建专题类分析模型；
流程交互区，用于保存、删除、运行以及发布所述专题类分析模型。
根据本发明的一些实施例，所述算法包括数据处理算子、数据分析算子、以及ETL类算子中的至少一种。
根据本发明的一些实施例，所述算法通过将SparkMlib、Tensorflow、以及Pytorch中的基础算子、数据、处理流程均封装获得。
根据本发明的一些实施例，所述数据集和所述算法均适于通过拖拽的方式移动至所述svg画布。
根据本发明的一些实施例，所述树形菜单栏和所述属性页分别位于所述svg画布的两侧，所述流程交互区位于所述svg画布的下方。
根据本发明的一些实施例，所述智能学习***还包括：
画布辅助功能框，包括放大编辑按钮、缩小编辑按钮、位置还原按钮以及全屏显示按钮。
根据本发明实施例的数据分析方法，所述方法基于如上所述的智能学习***实现，所述方法包括：
从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布；
基于所述待构建专题类分析模型，通过连线将至少一个所述数据集和至少一个所述算法连接起来，以构建DAG流程图；
修改所述算法和所述数据集的属性参数，以构建专题类分析模型；
运行所述专题类分析模型。
根据本发明的一些实施例，所述从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布，包括：
将待构建专题类分析模型所需的至少一个数据集和至少一个算法从树形菜单栏拖拽至svg画布。
根据本发明的一些实施例，所述修改所述算法和所述数据集的属性参数，包括：
在svg画布中单击所述算法或所述数据集，以在属性页显示所述算法或所述数据集的属性参数；
在所述属性页中修改所述算法或所述数据集的属性参数。
根据本发明的一些实施例，所述方法还包括：
右击所述连线、所述算法或所述数据集，以删除所述连线、所述算法或所述数据集。
采用本发明实施例，可以简化专题类分析模型构建过程，提高数据分析效率，避免代码的二次开发。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1是本发明实施例中智能学习***结构示意图；
图2是本发明实施例中智能学习***组成示意图；
图3是本发明实施例中智能学习***工作原理图；
图4是本发明实施例中属性页效果图；
图5是本发明实施例中运行日志效果图。
图6是本发明实施例中画布辅助功能框示意图；
图7是本发明实施例中节点操作图；
图8是本发明实施例中删除连线效果图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
当前企业级的数据智能分析平台软件研制较少，并且主要存在如下问题：(1)传统数据智能分析软件需要二次开发，无法支持海量数据集；分布式开源架构操作复杂，需要一定的开发技术背景。(2)现有企业级数据智能分析平台，部分为向导式数据操作，需要用户按照***规定的数据集、规定的操作方式进行输入和输出，可扩展性差；(3)另外一部分支持用户自由拖拽方式实现分析模型构建，但智能化程度不高，无法进行模型的自动化参数调优，需要用户手动进行参数配置。
基于此，本发明第一方面实施例提出一种智能学习***，如图1所示，包括：
树形菜单栏，用于提供多种数据集和多种算法；这里的算法包括算子和模型，这些数据集和算法以树形结构显示，从而方便用户定位以及获取所需数据集和算法。
svg画布，用于基于多种所述数据集和多种所述算法，构建DAG流程图。可以理解的是，从树形菜单栏获取的数据集和算法可以在svg画布显示，而且，在svg画布中还可以通过连线将这些数据集和算法连接起来，形成DAG流程图。
属性页，用于修改所述数据集以及所述算法的属性参数，以构建专题类分析模型。可以理解的是，属性页可以呈现数据集以及算法的属性参数，并且在属性页中可以对这些属性参数进行编辑，从而可以实现在线参数调优以及定制化参数或算法模型的在线配置。
流程交互区，用于保存、删除、运行以及发布所述专题类分析模型。
采用本发明实施例，可以简化专题类分析模型构建过程，提高数据分析效率，避免代码的二次开发。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，树形菜单栏中的数据集和算法可以实时更新。在svg画布中构建的专题类分析模型也可以保存在树形菜单栏中。
根据本发明的一些实施例，所述算法包括数据处理算子、数据分析算子、以及ETL类算子中的至少一种。
根据本发明的一些实施例，所述算法通过将SparkMlib、Tensorflow、以及Pytorch中的基础算子、数据、处理流程均封装获得。
根据本发明的一些实施例，所述数据集和所述算法均适于通过拖拽的方式移动至所述svg画布。
如图1所示，根据本发明的一些实施例，所述树形菜单栏和所述属性页分别位于所述svg画布的两侧，所述流程交互区位于所述svg画布的下方。
如图6所示，根据本发明的一些实施例，所述智能学习***还包括：
画布辅助功能框，包括放大编辑按钮、缩小编辑按钮、位置还原按钮以及全屏显示按钮。
本发明第二方面实施例提供一种数据分析方法，所述方法基于如上第一方面实施例所述的智能学习***实现，所述方法包括：
从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布；
基于所述待构建专题类分析模型，通过连线将至少一个所述数据集和至少一个所述算法连接起来，以构建DAG流程图，如图4所示；
修改所述算法和所述数据集的属性参数，以构建专题类分析模型；
运行所述专题类分析模型。图5为运行日志效果图。
采用本发明实施例，可以简化专题类分析模型构建过程，提高数据分析效率，避免代码的二次开发。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，所述从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布，包括：
将待构建专题类分析模型所需的至少一个数据集和至少一个算法从树形菜单栏拖拽至svg画布。
根据本发明的一些实施例，所述修改所述算法和所述数据集的属性参数，包括：
在svg画布中单击所述算法或所述数据集，以在属性页显示所述算法或所述数据集的属性参数；
在所述属性页中修改所述算法或所述数据集的属性参数。
根据本发明的一些实施例，所述方法还包括：
右击所述连线、所述算法或所述数据集，以删除所述连线、所述算法或所述数据集，如图7-图8所示。
下面参照图1-图8以一个具体的实施例详细描述根据本发明实施例的智能学习***及数据分析方法。值得理解的是，下述描述仅是示例性说明，而不是对本发明的具体限制。凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。
现有企业级数据智能分析平台，部分为向导式数据操作，需要用户按照***规定的数据集、规定的操作方式进行输入和输出，可扩展性差；另外一部分支持用户自由拖拽方式实现分析模型构建，但智能化程度不高，无法进行模型的自动化参数调优，需要用户手动进行参数配置。
针对这些缺点，本发明实施例通过将SparkMlib，Tensorflow，Pytorch等开源机器学习计算框架中的基础算子、数据、处理流程均封装为一个个流程模块，实现数据处理算子、数据分析算子、ETL类算子的分布式计算与单机模式计算，各类算子参数的界面化配置，支持参数的实时在线编辑调优，以及参数的自动化智能调优。并提供交互式拖拉拽的操作界面构建有向无环图DAG形成专题类分析模型；最后实现专题类分析模型分析的任务提交，进度查看，任务中止、任务重新提交等操作，主要流程如图3所示。
本发明实施例的智能学习***由前台和后台两个部分组成，组成结构图可见图2。智能学习前台为面向使用者的Web页面，该页面分为四个部分。第一部分为左侧的树形菜单栏，用来展示数据集，算法等数据。第二部分为中间svg画布，用来制作流程图。右侧的属性页为第三部分，第四部分位于页面下方，负责进行任务交互。页面示例如图1。从左侧的树形导航栏中拖动节点到画布中，并完成连线，点击保存模型按钮，进行选择当前画布图中的节点属于哪个模型，保存模型后，点击节点，在右侧属性页中设置参数信息。当参数信息设置完成后，点击开始运行，将dag画布的描述信息和参数，用户信息传入后台进行解析，生成可执行的xml，上传至hdfs，oozie调度，将执行成功节点的状态传入前台，前台实时更新这个状态，将效果展示到前台。下次点左侧树形节点中的模型，会显示当前的模型的状态。
在前台页面可以对在有向无环图画布上执行各类编辑操作，具体功能如下：
拖拽；在左侧的树形结构上，选中某个树节点，向右进行拖拽，此时形成矩形的图案，并且内部有相应的图标，和当前节点的名称。进入画布区域并松开鼠标，当前节点落在鼠标所在的位置，若拖拽至画布区域外，松开鼠标当前节点消失。
连线；节点上下各有五个空心圆代表要连线的起始点和结束点。鼠标悬浮节点的边缘，当鼠标样式从手型变为十字架时，上下的节点开始出现。按下鼠标进行移动到结束的位置，结束的位置为目标节点的上方的结束点。不可以形成回环，如图4所示。
节点右击弹框；右击画布上的节点，进行弹框，可以对当前节点进行操作，如图7所示。
连线编辑；在画布中点击连线可以弹出删除菜单，继续操作可以删除流程图中的连线，如图8所示。
画布辅助功能；提供一系列辅助功能以支持对DAG的编辑，如图6所示。第一个+为放大当前流程图，每次放大一倍；第二个-为缩小当前流程图，每次缩小一倍；第三个按钮，点击后会将流程图恢复到画布拖动前的位置；第四个按钮，点击后会进入全屏模式。
模型节点属性加载展示；单击模型节点后，右侧属性页中出现当前模型的状态码，摘要和描述信息，可修改，如图4所示。单击模型节点后，如果上次运行节点或者保存节点后，画布中出现流程图，并显示相关的状态。节点如果执行后错误，可查看错误信息。单击画布中的节点，右侧属性页中出现相应的样式，不同的节点出现不同的样式，输入参数后，进行判断是否合法。在第二次点击当前节点时，显示上一次输入的参数信息。并选中当前画布中的节点。
流程交互模块负责前台流程图与后台智能学习任务的交互，主要功能如下：
开始运行；点击开始运行，***依次进行如下检查：1).画布中是否存在节点；2).初始节点是否为数据集；3).是否创建了实验；4).节点是否存在参数。如果检查通过，就将前台的流程图提交后台。
暂停运行；如果当前实验正在运行中，点击暂停运行，会停止当前实验，实验状态变为SUSPENDED。如果当前实验失败或者没有运行，则提示运行失败或者当前实验未运行。
结束DAG；当实验处在运行状态或者暂停状态，此时点击结束任务按钮，会杀死当前任务。节点状态变为kill。
DAG运行日志；在画布的右下方添加图标，点击图标，呼出一个页面，有动画效果，如图5所示，包含：当前节点运行结束的时间、当前节点的名称、当前节点运行的状态(成功或失败)。若当前节点运行失败，出现错误信息。此外，页面的高度是一定的，所以超出当前这个高度时，出现滚动条。
后台负责对流程图进行处理，编译成相应任务。后台包括DAG流程描述解析模块、DAG调度执行模块以及执行状态查询显示模块。三个模块主要的设计依据为DAG存储格式规范和DAG任务提交接口规范。
DAG描述存储格式信息由前台编辑生成，采用JSON字典格式分别各个节点和边。在后台t_dag_job表中有一个字段，用来存储dag的描述信息，将dag数据以json的形式存储，方便前端展示。在后台t_dag_job_node表中存储dag描述信息的各个节点的详细信息。
本发明实施例的关键在于：将有向无环图的编辑和执行运用到智能学***台的实现分成前台和后台两个部分。前台包括树形菜单栏、DAG流程图制作画布、数据集和算子属性页，以及流程交互区四个组成部分。后台包括DAG流程描述解析模块、DAG调度执行模块以及执行状态查询显示模块。三个模块主要的设计依据为DAG存储格式规范和DAG任务提交接口规范。允许在前台页面对在有向无环图画布上执行各类编辑操作，具体包括拖曳、连线、节点右击弹框、连线编辑、画布辅助功能以及模型节点属性加载展示。通过流程交互模块负责前台流程图与后台智能学习任务的交互。具体交互方式包括：开始运行DAG、暂停运行DAG、结束DAG以及查看DAG日志。通过DAG存储格式规范和表3所定义的DAG任务提交接口规范对流程图进行处理，编译成相应任务并执行，最后将执行结果返回。DAG存储格式规范包括表1所述的连线信息属性描述说明以及表2所述的节点信息属性描述说明。通过以上各表中的属性规范完整定义了DAG任务提交接口以及DAG的存储格式。
表1连线信息属性描述说明
Figure BDA0003171025640000101
表2节点信息属性描述说明
节点标识 说明
id 节点的ID(唯一，不能重复)
pos_x 节点横坐标
pos_y 节点纵坐标
name 节点的名称
icon 节点所在的图标
in_ports 结束连线节点的下标
out_ports 开始连线节点的下标
isAlgorithm 是否为算法0是1否
labelId 当前节点在数据库中的id
bc 当前节点的颜色
表3 DAG任务提交接口规范
Figure BDA0003171025640000102
Figure BDA0003171025640000111
Figure BDA0003171025640000121
本发明实施例具体如下优点：
(1).支持通过拖拉拽方式利用丰富的算子算法模型进行构建，不再需要代码二次开发；
(2).各表中的属性规范完整定义了DAG任务提交接口以及DAG的存储格式，支持模型的在线参数调优以及定制化参数或算法模型的在线配置；
(3).通过在前台的拖曳、连线、节点右击弹框、连线编辑、画布辅助功能以及模型节点属性加载等操作支持参数的实时在线编辑调优以及参数的自动化智能调优。
本发明可以为数据分析师提供如下功能：(1)通过拖拉拽方式对各自领域的算法模型进行构建，不再需要进行代码二次开发；(2)支持模型的在线参数调优以及定制化参数或算法模型的在线配置；(3)将模型发布在数据智能应用平台，供其他用户以服务的方式进行调度或使用。
需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

Claims (10)

1.一种智能学习***，其特征在于，包括：
树形菜单栏，用于提供多种数据集和多种算法；
svg画布，用于基于多种所述数据集和多种所述算法，构建DAG流程图；
属性页，用于修改所述数据集以及所述算法的属性参数，以构建专题类分析模型；
流程交互区，用于保存、删除、运行以及发布所述专题类分析模型。
2.如权利要求1所述的智能学习***，其特征在于，所述算法包括数据处理算子、数据分析算子、以及ETL类算子中的至少一种。
3.如权利要求2所述的智能学习***，其特征在于，所述算法通过将SparkMlib、Tensorflow、以及Pytorch中的基础算子、数据、处理流程均封装获得。
4.如权利要求1所述的智能学习***，其特征在于，所述数据集和所述算法均适于通过拖拽的方式移动至所述svg画布。
5.如权利要求1所述的智能学习***，其特征在于，所述树形菜单栏和所述属性页分别位于所述svg画布的两侧，所述流程交互区位于所述svg画布的下方。
6.如权利要求1所述的智能学习***，其特征在于，所述智能学习***还包括：
画布辅助功能框，包括放大编辑按钮、缩小编辑按钮、位置还原按钮以及全屏显示按钮。
7.一种数据分析方法，其特征在于，所述方法基于权利要求1-6中任一项所述的智能学习***实现，所述方法包括：
从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布；
基于所述待构建专题类分析模型，通过连线将至少一个所述数据集和至少一个所述算法连接起来，以构建DAG流程图；
修改所述算法和所述数据集的属性参数，以构建专题类分析模型；
运行所述专题类分析模型。
8.如权利要求7所述的方法，其特征在于，所述从树形菜单栏获取待构建专题类分析模型所需的至少一个数据集和至少一个算法，并移动至svg画布，包括：
将待构建专题类分析模型所需的至少一个数据集和至少一个算法从树形菜单栏拖拽至svg画布。
9.如权利要求7所述的方法，其特征在于，所述修改所述算法和所述数据集的属性参数，包括：
在svg画布中单击所述算法或所述数据集，以在属性页显示所述算法或所述数据集的属性参数；
在所述属性页中修改所述算法或所述数据集的属性参数。
10.如权利要求7所述的方法，其特征在于，所述方法还包括：
右击所述连线、所述算法或所述数据集，以删除所述连线、所述算法或所述数据集。
CN202110818507.8A 2021-07-20 2021-07-20 智能学习***及数据分析方法 Active CN113626116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110818507.8A CN113626116B (zh) 2021-07-20 2021-07-20 智能学习***及数据分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110818507.8A CN113626116B (zh) 2021-07-20 2021-07-20 智能学习***及数据分析方法

Publications (2)

Publication Number Publication Date
CN113626116A true CN113626116A (zh) 2021-11-09
CN113626116B CN113626116B (zh) 2023-12-15

Family

ID=78380328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110818507.8A Active CN113626116B (zh) 2021-07-20 2021-07-20 智能学习***及数据分析方法

Country Status (1)

Country Link
CN (1) CN113626116B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153540A (zh) * 2021-11-30 2022-03-08 上海商汤科技开发有限公司 预训练模型发布方法及装置、电子设备和存储介质
CN117235172A (zh) * 2023-10-19 2023-12-15 之江实验室 一种融合数据分析流和可视化***构建的交互方法和设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120137018A1 (en) * 2010-11-30 2012-05-31 Volkmar Uhlig Methods and systems for reconfiguration and repartitioning of a parallel distributed stream process
CN105976158A (zh) * 2016-04-26 2016-09-28 中国电子科技网络信息安全有限公司 一种可视化的etl流程管理与调度监控方法
CN106202192A (zh) * 2016-06-28 2016-12-07 浪潮软件集团有限公司 一种基于工作流的大数据分析方法
CN107273193A (zh) * 2017-04-28 2017-10-20 中国科学院信息工程研究所 一种基于dag的面向多计算框架的数据处理方法及***
CN108776589A (zh) * 2018-06-04 2018-11-09 中国电子科技集团公司第十四研究所 雷达信号处理软件组件的部署方法
CN109800226A (zh) * 2018-12-25 2019-05-24 北京明略软件***有限公司 一种数据治理中的任务管理方法及装置
CN110825511A (zh) * 2019-11-07 2020-02-21 北京集奥聚合科技有限公司 一种基于建模平台模型运行流程调度方法
CN111259064A (zh) * 2020-01-10 2020-06-09 同方知网(北京)技术有限公司 一种可视化的自然语言分析挖掘***及其建模方法
US20200184376A1 (en) * 2018-12-05 2020-06-11 The Board Of Trustees Of The University Of Illinois Holistic Optimization for Accelerating Iterative Machine Learning
CN111291106A (zh) * 2020-05-13 2020-06-16 成都四方伟业软件股份有限公司 一种etl***的高效流程编排方法及***
CN111666152A (zh) * 2020-05-18 2020-09-15 中国电子科技集团公司电子科学研究院 面向异构计算平台的任务调度方法、设备及存储介质
CN111736819A (zh) * 2020-06-22 2020-10-02 上海富数科技有限公司 实现联邦学习流程控制处理的***
CN112463141A (zh) * 2020-11-25 2021-03-09 北京航空航天大学 一种基于bpmn的微服务工作流部署方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120137018A1 (en) * 2010-11-30 2012-05-31 Volkmar Uhlig Methods and systems for reconfiguration and repartitioning of a parallel distributed stream process
CN105976158A (zh) * 2016-04-26 2016-09-28 中国电子科技网络信息安全有限公司 一种可视化的etl流程管理与调度监控方法
CN106202192A (zh) * 2016-06-28 2016-12-07 浪潮软件集团有限公司 一种基于工作流的大数据分析方法
CN107273193A (zh) * 2017-04-28 2017-10-20 中国科学院信息工程研究所 一种基于dag的面向多计算框架的数据处理方法及***
CN108776589A (zh) * 2018-06-04 2018-11-09 中国电子科技集团公司第十四研究所 雷达信号处理软件组件的部署方法
US20200184376A1 (en) * 2018-12-05 2020-06-11 The Board Of Trustees Of The University Of Illinois Holistic Optimization for Accelerating Iterative Machine Learning
CN109800226A (zh) * 2018-12-25 2019-05-24 北京明略软件***有限公司 一种数据治理中的任务管理方法及装置
CN110825511A (zh) * 2019-11-07 2020-02-21 北京集奥聚合科技有限公司 一种基于建模平台模型运行流程调度方法
CN111259064A (zh) * 2020-01-10 2020-06-09 同方知网(北京)技术有限公司 一种可视化的自然语言分析挖掘***及其建模方法
CN111291106A (zh) * 2020-05-13 2020-06-16 成都四方伟业软件股份有限公司 一种etl***的高效流程编排方法及***
CN111666152A (zh) * 2020-05-18 2020-09-15 中国电子科技集团公司电子科学研究院 面向异构计算平台的任务调度方法、设备及存储介质
CN111736819A (zh) * 2020-06-22 2020-10-02 上海富数科技有限公司 实现联邦学习流程控制处理的***
CN112463141A (zh) * 2020-11-25 2021-03-09 北京航空航天大学 一种基于bpmn的微服务工作流部署方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
温建新等: ""基于AIS异常行为识别的海底资产保护预警服务"", 《新型工业化》, pages 15 - 18 *
郭豪: ""基于WEB移动端的态势标绘***的设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 139 - 128 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153540A (zh) * 2021-11-30 2022-03-08 上海商汤科技开发有限公司 预训练模型发布方法及装置、电子设备和存储介质
CN117235172A (zh) * 2023-10-19 2023-12-15 之江实验室 一种融合数据分析流和可视化***构建的交互方法和设备

Also Published As

Publication number Publication date
CN113626116B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
US11275742B2 (en) Digital processing systems and methods for smart table filter with embedded boolean logic in collaborative work systems
US20210256039A1 (en) Systems and Methods for Visualizing Object Models of Database Tables
KR101627594B1 (ko) 데이터 객체의 관리 및 자동 링킹
US8549353B2 (en) Batch processing error handling modes
CN101258490B (zh) 指定、设置和发现电子表格文档的参数
US8683431B2 (en) Applying rules to data
US20110161941A1 (en) Creation of form-based applications
CN112199086B (zh) 自动编程控制***、方法、装置、电子设备及存储介质
JP5984215B2 (ja) 動的マニュアル作成装置及びその方法並びにコンピュータプログラム
CN113626116B (zh) 智能学习***及数据分析方法
US10762292B2 (en) Systems and methods for collaborative editing of interactive walkthroughs of content
JPWO2008093569A1 (ja) 情報抽出規則作成支援システム、情報抽出規則作成支援方法及び情報抽出規則作成支援プログラム
US20180081994A1 (en) Automatically mapping data while designing process flows
CN103597469A (zh) 集成开发环境中的实况浏览器工具
EP2348401A1 (en) Transformation of hierarchical data formats using graphical rules
CN112148926A (zh) 一种图数据流的处理方法、处理装置和存储介质
WO2008044335A1 (fr) Dispositif et procédé de traitement de données
CN111273900A (zh) 基于gitlab实时代码共享的在线拖拽编码生成方法
JP5916897B2 (ja) プロジェクトデータ作成装置
KR20220121680A (ko) 딥러닝 네트워크 구성 방법, 딥러닝 자동화 플랫폼 서비스 시스템 및 이를 위한 컴퓨터 프로그램
JP6665637B2 (ja) プログラム作成支援システム
KR20190011186A (ko) 데이터 시각화를 위한 웹 기반 차트 라이브러리 시스템
JP3315890B2 (ja) データ処理システム
JPH04288674A (ja) ハイパーテキスト編集装置
CN111177902B (zh) 一种基于***参数的总体设计工具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant