CN107563731A - 一种基于数据分析的工程流搭建*** - Google Patents
一种基于数据分析的工程流搭建*** Download PDFInfo
- Publication number
- CN107563731A CN107563731A CN201710778824.5A CN201710778824A CN107563731A CN 107563731 A CN107563731 A CN 107563731A CN 201710778824 A CN201710778824 A CN 201710778824A CN 107563731 A CN107563731 A CN 107563731A
- Authority
- CN
- China
- Prior art keywords
- engineering
- component
- stream
- module
- engineering stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stored Programmes (AREA)
Abstract
本发明提供了一种基于数据分析的工程流搭建***,包括组件管理模块、模板管理模块、组件替换模块、工程流监控模块和工程流发布模块;所述模板管理模块用于存储工程流模板,所述工程流模板包括工程流组件;所述组件管理模块用于对所述工程流组件中可替换内容的进行修改;所述组件替换模块用于对所述工程流组件中可替换内容的进行替换;所述工程流监控模块用于在工程流运行时监控所述工程流组件的工作状态;所述工程流发布模块连接有前端服务器,用于测试所述工程流,并发布合格的工程流。本方案能够搭建针对不同应用的工程流,工程流搭建灵活方便。
Description
技术领域
本发明涉及工程流技术领域,尤其涉及一种基于数据分析的工程流搭建***。
背景技术
模型是对复杂问题的一种简化和抽象,它将复杂***的特征、行为和规律通过简单明了的形式表达出来。模型驱动构架(Model Driven Architecture,MDA)是由OMG定义的一个软件开发框架。在MDA中,软件开发过程是由对软件***的建模行为驱动的。模型驱动架构主要为了解决软件的复杂性和变更能力。构件技术是指通过组装一系列可复用的软件构件来构造软件***的软件技术。通过运用构件技术,开发人员可以有效的进行软件复用,减少重复开发,缩短软件的开发时间,降低软件的开发成本。构件技术在更高的层次对对象和业务逻辑进行抽象和封装,实现比类的粒度更大的复用。
目前在进行工程流的搭建时,模块固定化,无法针对不同的应用搭建合适的工程流,工程流搭建不够灵活。
发明内容
有鉴于此,本发明要解决的技术问题是提供一种基于数据分析的工程流搭建***,能够搭建针对不同应用的工程流,工程流搭建灵活方便。
本发明的技术方案是这样实现的:
一种基于数据分析的工程流搭建***,包括组件管理模块、模板管理模块、组件替换模块、工程流监控模块和工程流发布模块;
所述模板管理模块用于存储工程流模板,所述工程流模板包括工程流组件,所述工程流组件包括数据导入组件、数据格式转换组件、数据清洗与预处理组件、特征提取组件、模型选择组件、模型训练组件、模型评价组件和数据处理组件;
所述组件管理模块用于对所述工程流组件中可替换内容的进行修改;
所述组件替换模块用于对所述工程流组件中可替换内容的进行替换;
所述工程流监控模块用于在工程流运行时监控所述工程流组件的工作状态;
所述工程流发布模块连接有前端服务器,用于测试所述工程流,并发布合格的工程流。
优选的,所述工程流组件以json形式表示。
优选的,所述json形式表示的类型包括:
组件类型、组件输入来源、组件输出目标、组件内部方法、组件内部参数。
优选的,所述工程流监控模块包括日志单元;
所述日志单元用于生成监控日志并将所述监控日志发送至前台。
本发明提出的基于数据分析的工程流搭建***,组件替换模块和组件管理模块可以根据应用需要对组件内容进行修改和替换,发布模块可以判断工程流是否合格并将合格的工程流发布给前端应用,从而能够搭建针对不同应用的工程流,工程流搭建灵活方便。
附图说明
图1为本发明实施例提出的基于数据分析的工程流搭建***的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提出了一种基于数据分析的工程流搭建***,包括组件管理模块101、模板管理模块102、组件替换模块103、工程流监控模块104和工程流发布模块105;
所述模板管理模块102用于存储工程流模板1021,所述工程流模板1021包括工程流组件,所述工程流组件包括数据导入组件、数据格式转换组件、数据清洗与预处理组件、特征提取组件、模型选择组件、模型训练组件、模型评价组件和数据处理组件;
所述组件管理模块101用于对所述工程流组件中可替换内容的进行修改;
所述组件替换模块103用于对所述工程流组件中可替换内容的进行替换;
所述工程流监控模块104用于在工程流运行时监控所述工程流组件的工作状态;
所述工程流发布模块105连接有前端服务器,用于测试所述工程流,并发布合格的工程流。
可见,本发明实施例提出的基于数据分析的工程流搭建***,组件替换模块和组件管理模块可以根据应用需要对组件内容进行修改和替换,发布模块可以判断工程流是否合格并将合格的工程流发布给前端应用,从而能够搭建针对不同应用的工程流,工程流搭建灵活方便。
在本发明的一个优选实施例中,工程流组件以json形式表示,表示的内容可以包括:
组件类型、组件输入来源、组件输出目标、组件内部方法、组件内部参数。
在本发明的一个优选实施例中,所述工程流监控模块包括日志单元;
所述日志单元用于生成监控日志并将所述监控日志发送至前台。
在本实施例中,工程流监控模块在工程流在运行时监控工程流中各个组件的执行状态,状态包括:未执行、正在执行、执行成功、执行失败;工程流的执行指依照工程流文件内容对数据存储及机器学习后台操作,进行数据操作、特征提取、机器学习等功能,工程流监控实施监控依据对应后台生成日志,依据日志内容对工程流执行状态判断,并在前台为用户展示。
本发明提出的基于数据分析的工程流搭建***使用时,通过模板管理模块选择针对不同应用的工程流模板,组件管理模块可以对工程流组件中可替换内容的进行修改,比如数据导入中的数据源、数据格式,特征提取的提取算法,模型选择的机器学习算法等;两种管理通过文件与数据库同步操作实现,首先为根据组件内容或者工程流模板的需要改动对应文件内容,若新增或删除组件内容或模板则对对应的数据表项进行相应的操作,实现从数据库存储对应文件路径,文件内可以存储具体内容;组件替换模块在对应的工程流模板中可以替换组件的部分内容,包括数据导入源、数据清洗方法、特征选择方法、算法模型等,通过在模板中替换组件内容,可以实现适应性的多种智能应用搭建,具体通过可以为工程流模板创建副本文件,并在替换组件内容时更替副本文件的对应内容;工程流监控模块在工程流在运行时监控工程流中各个组件的执行状态,状态包括:未执行、正在执行、执行成功、执行失败,工程流的执行指依照工程流文件内容对数据存储及机器学习后台操作,进行数据操作、特征提取、机器学习等功能,工程流监控实施监控依据对应后台生成日志,依据日志内容对工程流执行状态判断,并在前台为用户展示;工程流发布模块在创建的工程流测试可用后,可以将工程流内容外接前端web服务器,在web服务器中配置对应工程流的RESTful API接口,并定义可替换参数用于替换工程流中部分组件内容,实现工程流web服务的发布,为前端应用提供人工智能服务。
在本发明的一个优选实施例中,模板管理模块可以包括面向集成学习的工程流模板,其中面向继承学习的工程流模板的模型选择组件可以为集成学习模型选择组件,模型训练组件可以为机器学习模型训练组件;特征提取组件可以连接特征库,机器学习模型训练组件可以连接模型库。
综上所述,本发明实施例至少可以实现如下效果:
在本发明实施例中,组件替换模块和组件管理模块可以根据应用需要对组件内容进行修改和替换,发布模块可以判断工程流是否合格并将合格的工程流发布给前端应用,从而能够搭建针对不同应用的工程流,工程流搭建灵活方便。
在本发明实施例中,工程流监控模块包括日志单元,从而可以依据日志内容对工程流执行状态判断,并在前台为用户展示。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (4)
1.一种基于数据分析的工程流搭建***,其特征在于,包括组件管理模块、模板管理模块、组件替换模块、工程流监控模块和工程流发布模块;
所述模板管理模块用于存储工程流模板,所述工程流模板包括工程流组件,所述工程流组件包括数据导入组件、数据格式转换组件、数据清洗与预处理组件、特征提取组件、模型选择组件、模型训练组件、模型评价组件和数据处理组件;
所述组件管理模块用于对所述工程流组件中可替换内容的进行修改;
所述组件替换模块用于对所述工程流组件中可替换内容的进行替换;
所述工程流监控模块用于在工程流运行时监控所述工程流组件的工作状态;
所述工程流发布模块连接有前端服务器,用于测试所述工程流,并发布合格的工程流。
2.如权利要求1所述的基于数据分析的工程流搭建***,其特征在于,所述工程流组件以json形式表示。
3.如权利要求2所述的基于数据分析的工程流搭建***,其特征在于,所述json形式表示的类型包括:
组件类型、组件输入来源、组件输出目标、组件内部方法、组件内部参数。
4.如权利要求1所述的基于数据分析的工程流搭建***,其特征在于,所述工程流监控模块包括日志单元;
所述日志单元用于生成监控日志并将所述监控日志发送至前台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710778824.5A CN107563731A (zh) | 2017-09-01 | 2017-09-01 | 一种基于数据分析的工程流搭建*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710778824.5A CN107563731A (zh) | 2017-09-01 | 2017-09-01 | 一种基于数据分析的工程流搭建*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107563731A true CN107563731A (zh) | 2018-01-09 |
Family
ID=60978724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710778824.5A Pending CN107563731A (zh) | 2017-09-01 | 2017-09-01 | 一种基于数据分析的工程流搭建*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107563731A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163381A (zh) * | 2019-04-26 | 2019-08-23 | 美林数据技术股份有限公司 | 智能学习方法及装置 |
CN111815284A (zh) * | 2020-07-14 | 2020-10-23 | 于思平 | 一种基于数据分析的工程流搭建*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1877523A (zh) * | 2006-06-23 | 2006-12-13 | 清华大学 | 一种支持异构构件的构件库统一管理方法 |
CN101403968A (zh) * | 2008-11-20 | 2009-04-08 | 用友软件股份有限公司 | 一种基于模板的模型驱动软件开发方法和*** |
CN103294475A (zh) * | 2013-06-08 | 2013-09-11 | 北京邮电大学 | 基于图形化业务场景和领域模板的业务自动生成***和方法 |
CN103744647A (zh) * | 2013-10-18 | 2014-04-23 | 北京邮电大学 | 一种基于工作流GPD的Java工作流开发***及其方法 |
CN104573205A (zh) * | 2014-12-26 | 2015-04-29 | 成都飞机设计研究所 | 一种基于构件技术的试验数据处理方法 |
CN105357274A (zh) * | 2015-10-10 | 2016-02-24 | 苏州工业园区凌志软件股份有限公司 | 一种企业平台开发框架与搭建方法 |
CN106202192A (zh) * | 2016-06-28 | 2016-12-07 | 浪潮软件集团有限公司 | 一种基于工作流的大数据分析方法 |
-
2017
- 2017-09-01 CN CN201710778824.5A patent/CN107563731A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1877523A (zh) * | 2006-06-23 | 2006-12-13 | 清华大学 | 一种支持异构构件的构件库统一管理方法 |
CN101403968A (zh) * | 2008-11-20 | 2009-04-08 | 用友软件股份有限公司 | 一种基于模板的模型驱动软件开发方法和*** |
CN103294475A (zh) * | 2013-06-08 | 2013-09-11 | 北京邮电大学 | 基于图形化业务场景和领域模板的业务自动生成***和方法 |
CN103744647A (zh) * | 2013-10-18 | 2014-04-23 | 北京邮电大学 | 一种基于工作流GPD的Java工作流开发***及其方法 |
CN104573205A (zh) * | 2014-12-26 | 2015-04-29 | 成都飞机设计研究所 | 一种基于构件技术的试验数据处理方法 |
CN105357274A (zh) * | 2015-10-10 | 2016-02-24 | 苏州工业园区凌志软件股份有限公司 | 一种企业平台开发框架与搭建方法 |
CN106202192A (zh) * | 2016-06-28 | 2016-12-07 | 浪潮软件集团有限公司 | 一种基于工作流的大数据分析方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163381A (zh) * | 2019-04-26 | 2019-08-23 | 美林数据技术股份有限公司 | 智能学习方法及装置 |
CN111815284A (zh) * | 2020-07-14 | 2020-10-23 | 于思平 | 一种基于数据分析的工程流搭建*** |
CN111815284B (zh) * | 2020-07-14 | 2022-10-21 | 广东冶建施工图审查中心有限公司 | 一种基于数据分析的工程流搭建*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Belani et al. | Requirements engineering challenges in building AI-based complex systems | |
Hehenberger et al. | Design, modelling, simulation and integration of cyber physical systems: Methods and applications | |
WO2021001845A1 (en) | System and method for modelling and monitoring processes in organizations using digital twins | |
CN109684053A (zh) | 大数据的任务调度方法和*** | |
US11314577B2 (en) | System and method for constructing fault-augmented system model for root cause analysis of faults in manufacturing systems | |
CN107015901B (zh) | 一种日志分析方法及装置 | |
CN112882810B (zh) | 基于超级计算机的高通量任务处理方法 | |
CN103714290B (zh) | 一种软件行为获取、监控与验证方法 | |
US20230025522A1 (en) | Process optimization using mixed integer nonlinear programming | |
CN104021438A (zh) | 基于业务模型对业务***中物理设备进行监控的方法和装置 | |
CN107563731A (zh) | 一种基于数据分析的工程流搭建*** | |
CN108459923A (zh) | 一种基于Actor模型的多设备运行管理方法 | |
CN110414938A (zh) | 一种基于物联网平台组态化构建的追溯源***及方法 | |
CN114707474A (zh) | 报表生成方法、装置、电子设备及计算机可读存储介质 | |
CN108985459A (zh) | 训练模型的方法和装置 | |
Bézivin et al. | Manifesto-model engineering for complex systems | |
CN113821538B (zh) | 一种基于元数据的流式数据处理*** | |
CN104778320B (zh) | 一种可配置的hla联邦成员构建方法及*** | |
Nyulas et al. | An ontology-driven framework for deploying JADE agent systems | |
KR102188044B1 (ko) | 뉴로모픽 아키텍처 기반 지능형 응용 개발을 위한 프레임워크 시스템 | |
Sunkle et al. | Using Intentional and System Dynamics Modeling to Address WHYs in Enterprise Architecture. | |
Gonzalez-Sanchez et al. | A system architecture for affective meta intelligent tutoring systems | |
CN116400987A (zh) | 持续集成方法、装置、电子设备及存储介质 | |
CN116009844A (zh) | 支持可视化拖拽进行车联网数据融合分析的产学研一体化平台 | |
US10387975B2 (en) | Viable system of governance for service provisioning engagements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |