CN113032647B - 数据分析*** - Google Patents
数据分析*** Download PDFInfo
- Publication number
- CN113032647B CN113032647B CN202110342628.XA CN202110342628A CN113032647B CN 113032647 B CN113032647 B CN 113032647B CN 202110342628 A CN202110342628 A CN 202110342628A CN 113032647 B CN113032647 B CN 113032647B
- Authority
- CN
- China
- Prior art keywords
- data analysis
- model
- data
- instruction
- analysis model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 333
- 238000013499 data model Methods 0.000 claims abstract description 31
- 238000007726 management method Methods 0.000 claims abstract description 30
- 230000004044 response Effects 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000000586 desensitisation Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000011022 operating instruction Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000006467 substitution reaction Methods 0.000 description 10
- 238000012827 research and development Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 238000012502 risk assessment Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000002346 layers by function Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及软件技术领域，具体提供了一种数据分析***，旨在解决如何降低数据分析***的***升级难度与周期的技术问题。为此目的，根据本发明实施例的数据分析***包括数据模型库和模型管控模块，数据模型库中存储的数据分析模型可以响应于运行指令对待分析数据进行数据分析；模型管控模块可以通过运行模型添加指令中的程序脚本，生成新的数据分析模型并将其存储至数据模型库。基于上述功能拓扑结构，本发明实施例能够支持用户灵活增加和删除数据分析模型，显著降低了***的升级难度以及周期。此外，当增加或删除数据分析模型时并不会影响其他数据分析模型的正常运行，从而可以在不影响用户正常使用数据分析***的情况下，完成***的升级工作。
Description
技术领域
本发明涉及软件技术领域，具体涉及一种数据分析***。
背景技术
随着大数据分析技术的快速发展，大数据分析***也在不同应用场景如银行中得到了广泛应用，大数据分析***能够对计算机设备获取/存储的大量数据进行数据分析与挖掘，以满足应用场景的业务需求。目前常规的大数据分析***主要是根据不同应用场景如银行的业务需求定制开发的，在***开发完成后，如果需要对***进行功能升级，往往需要研发人员对整个***进行重新研发设计，为此，研发人员必须与业务人员反复沟通，在确定好准确的业务需求以及软件***的运行环境后才能进行功能升级的研发工作，不仅会消耗大量的人力物力，还会显著增加***的升级周期。并且，在对升级后的***进行***安装时，必须先使未升级的旧***停止运行，才能进行***升级的安装操作，导致用户在***升级期间无法正常使用***。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何降低数据分析***的***升级难度与周期的技术问题的数据分析***，所述***包括数据模型库和模型管控模块；数据模型库被配置成存储一个或多个数据分析模型，每个所述数据分析模型分别被配置成响应于各自接收到的运行指令，根据各自预设的数据分析算法对待分析数据进行数据分析；模型管控模块被配置成响应于接收到的模型添加指令，通过运行所述模型添加指令中的程序脚本，生成新的数据分析模型并将所述新的数据分析模型存储至所述数据模型库内；其中，所述程序脚本是根据能够满足所述新的数据分析模型的数据分析需求的程序代码确定的，所述程序代码能够被加载并运行以执行所述新的数据分析模型进行数据分析时采用的数据分析算法。
在上述数据分析***的一个技术方案中，所述运行指令是根据用户在所述***的可视化界面上通过点击和/或拖拽的方式选择的信息生成的，所述选择的信息包括数据分析模型的运行方式；
其中，所述运行方式包括即时运行方式和定时运行方式，所述即时运行方式是在接收到的运行指令后立刻开始运行的方式，所述定时运行方式是在接收到的运行指令后按照预设周期运行的方式。
在上述数据分析***的一个技术方案中，所述模型管控模块被进一步配置成当多个所述数据分析模型的运行方式均是所述即时运行方式时，
根据每个所述数据分析模型的生成时间顺序，生成模型运行队列；
按照所述模型运行队列中每个所述数据分析模型的运行顺序，依次控制每个所述数据分析模型开始运行；
并且/或者，所述模型管控模块被进一步配置成响应于接收到的运行控制指令，控制已接收到运行指令且未开始运行的数据分析模型立刻开始运行；
其中，所述运行控制指令是用户在所述***的可视化界面上通过点击和/或拖拽的方式选择的信息生成的，所述选择的信息包括所述已接收到运行指令且未开始运行的数据分析模型的标识信息。
在上述数据分析***的一个技术方案中，所述模型管控模块包括模型分类单元和/或模型状态监测单元和/或模型筛查单元；
所述模型分类单元被配置成响应于接收到的分类指令，根据所述分类指令中的类别信息为所述分类指令指定的数据分类模型设置类别标签，其中，所述类别信息是根据数据分析模型的数据分析需求确定的；
所述模型状态监测单元被配置成统计并显示在一段时间内所述数据模型库内数据分析模型的总数、被运行过的数据分析模型的总数、运行成功的数据分析模型的总数以及运行失败的数据分析模型的总数；
所述模型筛选单元被配置成根据接收到的筛查条件，获取并显示满足所述筛查条件的数据分析模型，其中，所述筛查条件包括数据分析模型的类别和/或是否被运行过和/或运行时间和/或运行方式和/或运行成功/失败的结果；
并且/或者，所述模型管控模块被进一步配置成响应于接收到的模型删除指令，删除所述数据模型库中所述模型删除指令指定的数据分析模型。
在上述数据分析***的一个技术方案中，每个所述数据分析模型分别被进一步配置成执行下列操作：
根据数据分析结果，生成可视化的数据分析图表，以通过所述***的可视化界面显示所述数据分析图表，和/或
生成包含所述数据分析结果的网页以及相应的URL地址，以便外部***能够根据所述URL地址访问所述网页，获取所述数据分析结果。
在上述数据分析***的一个技术方案中，所述***还包括数据共享模块，所述数据共享模块包括第一数据共享单元和/或第二数据共享单元；
所述第一数据共享单元被配置成分别生成每个所述数据分析模型各自对应的可被外部***访问的API接口，以便所述外部***能够分别通过每个所述API接口获取相应数据分析模型得到的数据分析结果；
所述第二数据共享单元被配置成响应于接收到的数据共享指令，通过运行所述数据共享指令中的程序脚本，使所述数据共享指令指定的数据分析模型将自身得到的数据分析结果发送至所述数据共享指令指定的外部***；
其中，所述数据共享指令中的程序脚本是根据能够使数据分析模型将自身得到的数据分析结果发送至外部***的程序代码确定的，其中，所述程序代码包括所述数据分析模型与所述外部***的标识信息。
在上述数据分析***的一个技术方案中，所述***还包括安全模块，所述安全模块包括访问安全单元和/或数据安全单元；
所述访问安全单元被配置成分别对每个所述数据分析模型的API接口进行加密处理；
所述数据安全单元被配置成对待分析数据进行数据脱敏处理。
在上述数据分析***的一个技术方案中，所述数据分析***的部署架构是以nginx服务器为前端服务器且以tomcat服务器为后端服务器的web服务架构。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，数据分析***可以包括数据模型库和模型管控模块。数据模型库可以被配置成存储一个或多个数据分析模型，每个数据分析模型可以分别被配置成响应于各自接收到的运行指令，根据各自预设的数据分析算法对待分析数据进行数据分析。模型管控模块可以被配置成响应于接收到的模型添加指令，通过运行模型添加指令中的程序脚本如Python脚本，生成新的数据分析模型。其中，程序脚本是根据能够满足所述新的数据分析模型的数据分析需求的程序代码确定的，程序代码能够被加载并运行以执行所述新的数据分析模型进行数据分析时采用的数据分析算法。基于上述功能拓扑结构，数据分析***能够支持用户灵活增加、删除以及加载数据分析模型，当需要对数据分析***升级如使数据分析***能够满足新的数据分析需求时，只需要根据新的数据分析需求生成一个新的数据分析模型，再将这个新的数据分析模型添加至数据模型库即可完成升级工作，显著降低了数据分析***的升级难度以及周期。后续如果要调用这个新增加的数据分析模型，只要输入相应的运行指令就可以使用这个新增加的数据分析模型。此外，当增加新的数据分析模型或者删除原有的数据分析模型时(***升级)并不会影响其他数据分析模型的正常运行，从而可以在不影响用户正常使用数据分析***的情况下，完成数据分析***的升级工作。
附图说明
下面参照附图来描述本发明的具体实施方式，附图中：
图1是根据本发明的一个实施例的数据分析***的主要结构框图；
图2是根据本发明的一个实施例的模型管控模块的主要结构框图；
图3是根据本发明的一个实施例的数据分析***的功能层示意图。
附图标记列表：
11：数据模型库；12：模型管控模块；121：模型分类单元；122：模型状态监测单元；123：模型筛查单元。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。
这里先解释本发明涉及到的一些术语。
程序脚本指的是，采用计算机技术领域中的编程语言(Programming Language)编写且能够被计算机设备执行的可执行文件(Script)。例如，在本发明实施例中可以采用Python语言编写程序脚本，也可以描述成“Python脚本”。要说明的是，本发明实施例中采用的是计算机技术领域中常规的脚本编写方法来编写程序脚本，为了描述简洁，在此不再赘述。
目前传统的大数据分析***在需要进行***升级时，往往需要研发人员对整个大数据分析***进行重新研发设计，为此，研发人员必须与业务人员反复沟通，在确定好准确的业务需求以及软件***的运行环境后才能进行功能升级的研发工作。并且，在对升级后的***进行***安装时，必须先使未升级的旧***停止运行，才能进行***升级的安装操作，导致用户在***升级期间无法正常使用***。而根据本发明实施例的数据分析***能够支持用户灵活增加、删除以及加载数据分析模型，当需要对***升级如使***能够满足新的数据分析需求时，只需要根据新的数据分析需求生成一个新的数据分析模型，再将这个数据分析模型添加至数据模型库即可完成升级工作，显著降低了数据分析***的升级难度以及周期。后续如果要调用这个新增加的数据分析模型，只要输入相应的运行指令就可以使用这个新增加的数据分析模型。此外，当增加新的数据分析模型或者删除原有的数据分析模型时(***升级)并不会影响其他数据分析模型的正常运行，从而可以在不影响用户正常使用数据分析***的情况下，完成数据分析***的升级工作。
在本发明的一个应用场景的例子中，某银行的后台服务器上安装了根据本发明的一个实施例的数据分析***并且该数据分析***可以通过后台服务器与银行内专门用于存储客户数据的数据服务器通信连接。在将数据分析***部署到后台服务器上以后，首先获取银行的数据分析需求(包括但不限于：信贷申请客户的年龄统计、地域统计和信贷逾期统计)，针对每个数据分析需求分别编写好相应的程序脚本，然后在数据分析***中依次运行每个程序脚本，就可以生成每个数据分析需求各自对应的数据分析模型，将这些数据分析模型存储至数据分析***的数据模型库中。当银行需要对信贷申请客户进行信贷逾期统计时，可以向数据分析***输入“用于信贷逾期统计的数据分析模型”的运行指令，“用于信贷逾期统计的数据分析模型”在接收到运行指令后，就可以对数据服务器中存储的信贷申请客户的数据进行信贷逾期统计，在统计结束后可以通过数据分析***的可视化界面显示统计结果。当需要对数据分析***进行功能升级时，可以根据新的数据分析需求编写好程序脚本，然后在数据分析***中运行这个程序脚本就可以生成能够满足这个新的数据分析需求的数据分析模型，而在此过程中并不会影响其他数据分析模型的正常工作。
参阅附图1，图1是根据本发明的一个实施例的数据分析***的主要结构框图。如图1所示，本发明实施例中的数据分析***主要包括数据模型库11和模型管控模块12。下面分别对数据模型库11和模型管控模块12进行具体说明。
1、数据模型库11
在本实施例中数据模型库11可以被配置成存储一个或多个数据分析模型，每个数据分析模型分别可以被配置成响应于各自接收到的运行指令，根据各自预设的数据分析算法对待分析数据进行数据分析。
预设的数据分析算法指的是利用在根据数据分析需求确定程序脚本时在程序脚本中编写的算法逻辑得到的算法。例如：如果数据分析需求是从资产收益的角度对银行客户进行分类，则可以在程序脚本中编写能够从资产收益的角度对银行客户的分类算法逻辑，比如基于聚类分析的算法逻辑。需要说明的是，本领域技术人员可以灵活设置在程序脚本中编写的算法逻辑，只要通过该算法逻辑能够满足数据分析需求即可。在不偏离本发明的原理的前提下，本领域技术人员可以对程序脚本中编写的算法逻辑作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
运行指令指的是在数据分析模型接收到该指令后能够根据该指令指定的运行时间比如即时或定时开始运行，以对待分析数据进行数据分析的指令信息。在本实施例的一个实施方式中，运行指令可以是根据用户在数据分析***的可视化界面上通过点击和/或拖拽的方式选择的信息生成的，所述选择的信息包括数据分析模型的运行方式。也就是说，在本实施方式中，数据分析模型的运行方式是由用户选定的。数据分析模型在接收到上述信息后即可根据上述信息中的运行方式运行。
点击指的是，对可视化界面上显示的信息进行点击操作。
拖拽指的是，对可视化界面上显示的信息进行拖拽操作，即通过拖拽操作将信息由一个位置移动到另一个位置。
运行方式可以包括即时运行方式和定时运行方式，即时运行方式指的是在接收到的运行指令后立刻开始运行的方式，定时运行方式指的是在接收到的运行指令后按照预设周期运行的方式。例如，如果预设周期是24小时，那么数据分析模型将每隔24小时就运行一次(对待分析数据进行数据分析)。
需要说明的是，本发明实施例中预先存储了多个预设的数据分析模型的运行方式并且这些运行方式的基本信息如名称等可以显示在可视化界面上，以便用户可以从可视化界面上选择要使用的运行方式。
进一步，在本实施方式中为了避免在同一时刻控制多个数据分析模型同时采用即时运行方式，可能导致的数据分析***无法同时运行多个数据分析模型的情况，可以根据每个数据分析模型的生成时间(创建时间)顺序生成模型运行队列，按照模型运行队列中每个数据分析模型的运行顺序，依次控制每个数据分析模型开始运行。也就是说，在本实施方式中可以控制这些数据分析模型按照各自生成(创建)时间的先后顺序依次执行。
进一步，在实际应用中，对于已接收到运行指令且未开始运行的数据分析模型，可能存在需要使这些数据分析模型立刻开始运行的需求，对此，在本实施方式中可以向模型管控模块发送运行控制指令，模型管控模块可以响应于接收到的运行控制指令，控制已接收到运行指令且未开始运行的数据分析模型立刻开始运行。
运行控制指令可以是用户在数据分析***的可视化界面上通过点击和/或拖拽的方式选择的信息生成的，所述选择的信息包括已接收到运行指令且未开始运行的数据分析模型的标识信息。其中，可视化界面、点击和拖拽的含义分别与前述实施方式中的可视化界面、点击和拖拽的含义相同，在此不再赘述。数据分析模型的标识信息指的是能够表明数据分析模型具体是哪一个模型的信息，例如标识信息可以包括数据分析模型的名称。
进一步，在本发明实施例的一个实施方式中，数据分析***内的每个数据分析模型在得到数据分析结果后都可以通过执行下列操作中的一项或多项对数据分析结果作进一步处理，以便外部***能够更方便地获取这些数据分析结果：
操作一：根据数据分析结果，生成可视化的数据分析图表，以通过数据分析***的可视化界面显示数据分析图表。需要说明的是，本领域技术人员可以灵活选择常规的图表格式例如柱形图来生成可视化的数据分析图表。在不偏离本发明的原理的前提下，本领域技术人员可以对数据分析图表的图表格式作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
操作二：根据数据分析结果，生成包含数据分析结果的网页以及相应的URL地址，以便外部***能够根据URL地址访问网页，获取所述数据分析结果。
网页指的是互联网技术领域中的网络页面(web page)，URL地址指的是互联网技术领域中的统一资源定位符(Uniform Resource Locator)。需要说明的是，在本实施方式中，可以采用互联网技术领域中常规的网页生成方法以及URL地址生成方法，来生成包含数据分析结果的网页以及这个网页的URL地址，为了描述简洁，在此不再赘述。
2、模型管控模块12
在本实施例中模型管控模块12可以被配置成响应于接收到的模型添加指令，通过运行模型添加指令中的程序脚本，生成新的数据分析模型并将所述新的数据分析模型存储至数据模型库11内。其中，模型添加指令中的程序脚本是根据能够满足所述新的数据分析模型的数据分析需求的程序代码确定的，并且程序代码能够被加载并运行以执行所述新的数据分析模型进行数据分析时采用的数据分析算法。进一步，在本实施例中模型管控模块12可以被进一步配置成响应于接收到的模型删除指令，删除数据模型库11中模型删除指令指定的数据分析模型。也就是说，模型管控模块12不仅可以增加新的数据分析模型，也可以删除数据模型库11中已有的数据分析模型，通过模型管控模块12实现了对数据分析模型的动态增加与删除。
在本发明实施例的一个实施方式中，模型管控模块12可以包括模型分类单元和/或模型状态监测单元和/或模型筛查单元。例如，图2所示的模型管控模块同时包括模型分类单元121、模型状态监测单元122和模型筛查单元123。下面以图2所示的模型管控模块为例分别对模型分类单元121、模型状态监测单元122和模型筛查单元123进行说明。
(1)模型分类单元121
在本实施方式中模型分类单元121可以被配置成响应于接收到的分类指令，根据分类指令中的类别信息为分类指令指定的数据分类模型设置类别标签，其中，类别信息是根据数据分析模型的数据分析需求确定的。具体而言，在本实施方式中可以先判断数据分析需求属于哪一类需求，然后将数据分析需求的类别作为上述类别信息。例如：如果某个数据分析模型对应的数据分析需求是信贷逾期统计，而信贷逾期统计的类别的风险分析，因此可以将风险分析设置成这个数据分析模型的类别标签，即这个数据分析模型属于风险分析模型。通过对数据分析模型进行分类，有利于用户快速查找想要使用的数据分析模型。
(2)模型状态监测单元122
在本实施方式中模型状态监测单元122可以被配置成统计并显示在一段时间内数据模型库内数据分析模型的总数、被运行过的数据分析模型的总数、运行成功的数据分析模型的总数以及运行失败的数据分析模型的总数。其中，“一段时间”的具体时长是本领域技术人员可以灵活选择设置的。
运行成功的数据分析模型指的是对待分析数据成功完成数据分析的模型，运行失败的数据分析模型指的是对待分析数据没有成功完成数据分析的模型。例如：如果数据分析模型的运行时长超过预设的运行时长，仍然没有输出待分析数据的数据分析结果，则判定数据分析模型运行失败。相应地，如果数据分析模型在预设的运行时长内输出了待分析数据的数据分析结果，则判定数据分析模型运行成功。进一步，在判定出数据分析模型运行失败后可以控制数据分析模型停止运行，如果后续这个数据分析模型再次接收到运行指令，那么这个数据分析模型仍然可以根据这个再次接收到的运行指令进行运行。
(3)模型筛选单元123
在本实施方式中模型筛选单元123可以被配置成根据接收到的筛查条件，获取并显示满足筛查条件的数据分析模型，其中，筛查条件可以包括数据分析模型的类别和/或是否被运行过和/或运行时间和/或运行方式和/或运行成功/失败的结果。也就是说，用户可以根据“数据分析模型的类别、是否被运行过、运行时间、运行方式、运行成功/失败的结果”设定模型的筛查条件，使模型筛选单元123根据设定好的筛查条件显示相应的数据分析模型。例如：如果筛选条件是在2021年03月01日(运行时间)被运行过的数据分析模型，那么模型筛选单元123就可以筛选出在这一日所有被运行过的数据分析模型进行显示。
下面对本发明实施例中数据分析***的部署架构进行说明。
在本实施例中可以将数据分析***部署在单台服务器上，利用单台服务器完成数据分析***的所有数据分析工作，也可以将数据分析***部署在服务器集群上，使服务器集群中不同的服务器分别完成数据分析***中不同的数据分析工作，以减轻每台服务器的数据处理压力。而对于将数据分析***部署在服务器集群上的方案，在本实施例的一个实施方式中，可以采用以nginx服务器为前端服务器且以tomcat服务器为后端服务器的web服务架构作为数据分析***的部署架构。
nginx服务器是服务器技术领域中的一种常规服务器，并且nginx服务器是一种高性能的HTTP(超文本传输协议，Hypertext Transfer Protocol)和反向代理服务器(位于用户与目标服务器之间的服务器)，其中，HTTP和反向代理均是服务器技术领域中的常规技术，为了描述简洁，在此不再对HTTP和反向代理的具体含义和工作原理进行赘述。tomcat服务器也是服务器技术领域中的一种常规轻量级Web应用服务器。在本实施例中可以利用上述部署架构实现对服务器集群中每台服务器的负载均衡。具体而言，当用户通过终端设备(如用户使用的计算机设备)访问nginx服务器要获取某种数据时，如果用户的需求是获取静态资源数据，那么nginx服务器将直接从内存中调取相应的数据并将该数据发送至终端设备；如果用户的需求是获取动态资源数据，那么nginx服务器会将该需求发送至tomcat服务器，tomcat服务器从预设数据库中调取相应的数据，将该数据发送至nginx服务器(也可以根据需求先调取数据再进行数据分析处理，将处理得到的数据发送至nginx服务器)，nginx服务器再将接收到的数据发送至终端设备。其中，静态资源数据和动态资源数据均是数据处理技术领域中常规的数据类型。静态资源数据可以是设计好的不随数据需求而改变的数据，例如静态资源数据可以是设计好的HTML(Hyper Text Markup Language)页面；动态资源数据可以是根据数据需求动态响应的数据。为了描述简洁，在此不再对静态资源数据和动态资源数据的具体含义进行赘述。
进一步，在根据本发明的另一个数据分析***的实施例中，数据分析***不仅可以包括上述前述实施例中所描述的数据模型库11和模型管控模块12，还可以包括数据共享模块和/或安全模块，下面分别对数据共享模块和安全模块进行说明。
1、数据共享模块
在本实施例中数据共享模块可以包括第一数据共享单元和/或第二数据共享单元。
第一数据共享单元可以被配置成分别生成每个数据分析模型各自对应的可被外部***访问的API接口，以便外部***能够分别通过每个API接口获取相应数据分析模型得到的数据分析结果。
API接口指的是计算机技术领域中的应用程序接口(Application ProgrammingInterface)，这个API接口可以提供外部***访问应用程序(如本实施例中的数据分析模型)的例程(Routine)。需要说明的是，在本实施例中可以采用计算机技术领域中常规的API接口生成方法来分别生成每个数据分析模型各自对应的API接口，为了描述简洁，在此不再赘述。
第二数据共享单元可以被配置成响应于接收到的数据共享指令，通过运行数据共享指令中的程序脚本，使数据共享指令指定的数据分析模型将自身得到的数据分析结果发送至数据共享指令指定的外部***。其中，数据共享指令中的程序脚本与前述实施例中模型添加指令中的程序脚本的含义类似，在本实施例中程序脚本具体指的是根据能够使数据分析模型将自身得到的数据分析结果发送至外部***的程序代码确定的程序脚本，其中，程序代码可以包括数据分析模型与外部***的标识信息，数据分析模型的标识信息指的是能够识别出数据分析模型具体是哪一个模型的信息，外部信息的标识信息指的是能够识别出外部***具体是哪一个***的信息，例如标识信息可以是外部***的名称。
在本发明实施例中通过第一数据共享单元实现了数据分析模型的被动访问(由外部***访问数据分析模型，以获取数据分析结果)，通过第二数据共享单元实现了数据分析模型的主动访问(由数据分析模型向外部***主动发送数据分析结果)。
2、安全模块
在本实施例中安全模块可以包括访问安全单元和/或数据安全单元。
访问安全单元可以被配置成分别对每个数据分析模型的API接口进行加密处理，以提高数据分析模型被访问的安全性，只有在成功解密的情况下外部***才可以通过API接口访问数据分析模型，控制数据分析模型运行和/或获取数据分析模型对待分析数据进行数据分析后得到的数据分析结果。需要说明的是，在本实施例中可以采用数据加密技术领域中常规的加密方法对API接口进行加密处理，例如可以采用数据加密算法(DataEncryption Algorithm，EDA)为API接口设置密钥，外部***需要采用相同的密钥才能成功解密，获得通过API接口访问数据分析模型的权利。本领域技术人员可以灵活选择加密处理的方法，在不偏离本发明的原理的前提下，本领域技术人员可以对加密处理的方法作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
数据安全单元可以被配置成对待分析数据进行数据脱敏处理，以提高待分析数据的数据安全，特别是对于包含敏感数据如用户隐私数据的待分析数据进行数据脱敏处理，可以极大提高数据的安全性。需要说明的是，在本实施例中可以采用数据处理技术领域中常规的数据脱敏方法对待分析数据进行脱敏处理，例如对待分析数据中的敏感数据进行变形处理，使其无法显示真实的数据信息。本领域技术人员可以灵活选择数据脱敏处理的方法，在不偏离本发明的原理的前提下，本领域技术人员可以对数据脱敏处理的方法作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
进一步，在本实施例的一个实施方式中，安全模块可以被配置成监测数据分析***的运行状态，如果监测到数据分析***发生故障或者可能会影响数据分析***正常运行的情况比如数据存储空间小于预设值，则可以输出预警信息，以提醒用户及时查看数据分析***，消除已经发生的故障或可能影响***正常运行的问题。
此外，在本实施例中数据分析***的部署架构同样可以采用前述实施例中数据分析***的部署架构，在此不再对部署架构进行赘述。
基于上述图1和图2所示的实施例，已清楚地描述了数据分析***内每个功能结构的具体功能以及实施方式，下面结合附图3对数据分析***的功能层分布进行说明。如图3所示，数据分析***可以包括共享访问层、数据模型层、***调取层、计算引擎层和数据引擎层。
共享访问层主要是提供数据分析***与外部***通信交互等功能。具体地，共享访问层可以包括UI(User Interface)展示功能、API接口发布功能和预警通知功能等，UI展示功能、API接口发布功能和预警通知功能可以分别由图1和图2所示实施例中的数据分析模型、数据共享模块和安全模块实现。数据模型层主要是用于存储数据分析模块，其功能可以由图1和图2所示实施例中的数据模型库实现。***调取层主要是用于数据调取如获取待分析数据、对服务器进行负载均衡控制等。计算引擎层主要是用于对数据进行数据分析，数据分析模型可以根据自身的数据分析算法调用计算引擎层中的计算引擎对数据进行计算处理，以完成数据分析工作。在本实施例中可以采用批量计算引擎或流式计算引擎对数据进行预处理。需要说明的是，批量计算和流式计算均是数据处理技术领域中的常规数据计算方法，为了描述简洁，在此不再赘述。数据引擎层主要用于存储和处理数据等，如存储待分析数据以及对待分析数据进行数据预处理(如将待分析数据的数据格式转换成相同的数据格式)。
本领域技术人员能够理解的是，本发明实现上述一实施例的模块中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的***的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (6)
1.一种数据分析***，其特征在于，所述***包括：
数据模型库，其被配置成存储一个或多个数据分析模型，每个所述数据分析模型分别被配置成响应于各自接收到的运行指令，根据各自预设的数据分析算法对待分析数据进行数据分析；
模型管控模块，其被配置成响应于接收到的模型添加指令，通过运行所述模型添加指令中的程序脚本，生成新的数据分析模型并将所述新的数据分析模型存储至所述数据模型库内；所述模型管控模块被进一步配置成响应于接收到的模型删除指令，删除所述数据模型库中所述模型删除指令指定的数据分析模型；
其中，所述程序脚本是根据能够满足所述新的数据分析模型的数据分析需求的程序代码确定的，所述程序代码能够被加载并运行以执行所述新的数据分析模型进行数据分析时采用的数据分析算法；
所述模型管控模块包括模型分类单元和/或模型状态监测单元和/或模型筛查单元；所述模型分类单元被配置成响应于接收到的分类指令，根据所述分类指令中的类别信息为所述分类指令指定的数据分析模型设置类别标签，所述类别信息是根据数据分析模型的数据分析需求确定的；所述模型状态监测单元被配置成统计并显示在一段时间内所述数据模型库内数据分析模型的总数、被运行过的数据分析模型的总数、运行成功的数据分析模型的总数以及运行失败的数据分析模型的总数；所述模型筛选单元被配置成根据接收到的筛查条件，获取并显示满足所述筛查条件的数据分析模型，所述筛查条件包括数据分析模型的类别和/或是否被运行过和/或运行时间和/或运行方式和/或运行成功/失败的结果；
所述***还包括数据共享模块，所述数据共享模块包括第一数据共享单元和/或第二数据共享单元；
所述第一数据共享单元被配置成分别生成每个所述数据分析模型各自对应的可被外部***访问的API接口，以便所述外部***能够分别通过每个所述API接口获取相应数据分析模型得到的数据分析结果；所述第二数据共享单元被配置成响应于接收到的数据共享指令，通过运行所述数据共享指令中的程序脚本，使所述数据共享指令指定的数据分析模型将自身得到的数据分析结果发送至所述数据共享指令指定的外部***；所述数据共享指令中的程序脚本是根据能够使数据分析模型将自身得到的数据分析结果发送至外部***的程序代码确定的，所述程序代码包括所述数据分析模型与所述外部***的标识信息。
2.根据权利要求1所述的数据分析***，其特征在于，所述运行指令是根据用户在所述***的可视化界面上通过点击和/或拖拽的方式选择的信息生成的，所述选择的信息包括数据分析模型的运行方式；
其中，所述运行方式包括即时运行方式和定时运行方式，所述即时运行方式是在接收到的运行指令后立刻开始运行的方式，所述定时运行方式是在接收到的运行指令后按照预设周期运行的方式。
3.根据权利要求2所述的数据分析***，其特征在于，所述模型管控模块被进一步配置成当多个所述数据分析模型的运行方式均是所述即时运行方式时，
根据每个所述数据分析模型的生成时间顺序，生成模型运行队列；
按照所述模型运行队列中每个所述数据分析模型的运行顺序，依次控制每个所述数据分析模型开始运行；
并且/或者，
所述模型管控模块被进一步配置成响应于接收到的运行控制指令，控制已接收到运行指令且未开始运行的数据分析模型立刻开始运行；
其中，所述运行控制指令是用户在所述***的可视化界面上通过点击和/或拖拽的方式选择的信息生成的，所述选择的信息包括所述已接收到运行指令且未开始运行的数据分析模型的标识信息。
4.根据权利要求1所述的数据分析***，其特征在于，每个所述数据分析模型分别被进一步配置成执行下列操作：
根据数据分析结果，生成可视化的数据分析图表，以通过所述***的可视化界面显示所述数据分析图表，和/或
生成包含所述数据分析结果的网页以及相应的URL地址，以便外部***能够根据所述URL地址访问所述网页，获取所述数据分析结果。
5.根据权利要求1所述的数据分析***，其特征在于，所述***还包括安全模块，所述安全模块包括访问安全单元和/或数据安全单元；
所述访问安全单元被配置成分别对每个所述数据分析模型的API接口进行加密处理；
所述数据安全单元被配置成对待分析数据进行数据脱敏处理。
6.根据权利要求1至5中任一项所述的数据分析***，其特征在于，所述数据分析***的部署架构是以nginx服务器为前端服务器且以tomcat服务器为后端服务器的web服务架构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110342628.XA CN113032647B (zh) | 2021-03-30 | 2021-03-30 | 数据分析*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110342628.XA CN113032647B (zh) | 2021-03-30 | 2021-03-30 | 数据分析*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113032647A CN113032647A (zh) | 2021-06-25 |
| CN113032647B true CN113032647B (zh) | 2024-04-12 |
Family
ID=76453254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110342628.XA Active CN113032647B (zh) | 2021-03-30 | 2021-03-30 | 数据分析*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113032647B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117131036B (zh) * | 2023-10-26 | 2023-12-22 | 环球数科集团有限公司 | 一种基于大数据和人工智能的数据维护*** |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2272790A1 (en) * | 1999-05-21 | 2000-11-21 | Paul J. Melanson | System for data management, selective retrieval and modelling |
| CN102904341A (zh) * | 2012-09-20 | 2013-01-30 | 中国电力科学研究院 | 一种电网交换平台的实现方法 |
| KR101341986B1 (ko) * | 2013-06-14 | 2013-12-16 | 대한민국 | 관세행정 통합위험관리 시스템 및 그 방법 |
| AU2013296279A1 (en) * | 2012-08-03 | 2015-03-19 | Label Independent, Inc. | Systems and methods for designing, developing, and sharing assays |
| CN106570784A (zh) * | 2016-11-04 | 2017-04-19 | 广东电网有限责任公司电力科学研究院 | 电压监测一体化模型 |
| AU2016206450A1 (en) * | 2015-01-16 | 2017-07-20 | PwC Product Sales LLC | Healthcare data interchange system and method |
| CN109670583A (zh) * | 2018-12-27 | 2019-04-23 | 浙江省公众信息产业有限公司 | 去中心化的数据分析方法、***以及介质 |
| CN110602709A (zh) * | 2019-09-16 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 可穿戴式设备的网络数据安全方法、装置及存储介质 |
| CN111061756A (zh) * | 2019-10-16 | 2020-04-24 | 智慧足迹数据科技有限公司 | 数据平台、数据处理方法及电子设备 |
| CN111476380A (zh) * | 2020-04-07 | 2020-07-31 | 贵州电网有限责任公司输电运行检修分公司 | 一种电缆检修辅助测试平台 |
| CN112114914A (zh) * | 2020-08-03 | 2020-12-22 | 广州太平洋电脑信息咨询有限公司 | 生成报表的方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7349913B2 (en) * | 2003-08-21 | 2008-03-25 | Microsoft Corporation | Storage platform for organizing, searching, and sharing data |
-
2021
- 2021-03-30 CN CN202110342628.XA patent/CN113032647B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2272790A1 (en) * | 1999-05-21 | 2000-11-21 | Paul J. Melanson | System for data management, selective retrieval and modelling |
| AU2013296279A1 (en) * | 2012-08-03 | 2015-03-19 | Label Independent, Inc. | Systems and methods for designing, developing, and sharing assays |
| CN102904341A (zh) * | 2012-09-20 | 2013-01-30 | 中国电力科学研究院 | 一种电网交换平台的实现方法 |
| KR101341986B1 (ko) * | 2013-06-14 | 2013-12-16 | 대한민국 | 관세행정 통합위험관리 시스템 및 그 방법 |
| AU2016206450A1 (en) * | 2015-01-16 | 2017-07-20 | PwC Product Sales LLC | Healthcare data interchange system and method |
| CN106570784A (zh) * | 2016-11-04 | 2017-04-19 | 广东电网有限责任公司电力科学研究院 | 电压监测一体化模型 |
| CN109670583A (zh) * | 2018-12-27 | 2019-04-23 | 浙江省公众信息产业有限公司 | 去中心化的数据分析方法、***以及介质 |
| CN110602709A (zh) * | 2019-09-16 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 可穿戴式设备的网络数据安全方法、装置及存储介质 |
| CN111061756A (zh) * | 2019-10-16 | 2020-04-24 | 智慧足迹数据科技有限公司 | 数据平台、数据处理方法及电子设备 |
| CN111476380A (zh) * | 2020-04-07 | 2020-07-31 | 贵州电网有限责任公司输电运行检修分公司 | 一种电缆检修辅助测试平台 |
| CN112114914A (zh) * | 2020-08-03 | 2020-12-22 | 广州太平洋电脑信息咨询有限公司 | 生成报表的方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| The What-If Tool: Interactive Probing of Machine Learning Models;J. Wexler 等;《in IEEE Transactions on Visualization and Computer Graphics》;20190820;第26卷(第1期);56-65 * |
| 基于云平台的煤矿监测数据可视化计算***设计与应用;杨玉勤 等;《煤炭科学技术》;20170615;第45卷(第6期);142-146+151 * |
| 计算机数据库技术在信息管理中的应用研究;王峥;《科技创新与应用》;20210309(第10期);167-169 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113032647A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210279164A1 (en) | Real Time Application Error Identification and Mitigation | |
| US20230126597A1 (en) | Container orchestration framework | |
| US10084637B2 (en) | Automatic task tracking | |
| CN105205144A (zh) | 用于数据诊断优化的方法和*** | |
| CN111768322A (zh) | 慈善服务平台*** | |
| CN111310232A (zh) | 数据脱敏方法及装置、电子设备、存储介质 | |
| US10775751B2 (en) | Automatic generation of regular expression based on log line data | |
| CN112017007A (zh) | 用户行为数据的处理方法及装置、计算机设备、存储介质 | |
| CN111666201A (zh) | 回归测试方法、装置、介质及电子设备 | |
| CN113282560A (zh) | 一种快应用平台下的日志管理***、方法及移动终端 | |
| CN113032647B (zh) | 数据分析*** | |
| US20160260341A1 (en) | Cognitive bias determination and modeling | |
| CN113297287B (zh) | 用户策略自动部署方法、装置及电子设备 | |
| CN113821254A (zh) | 接口数据处理方法、装置、存储介质及设备 | |
| CN116126808A (zh) | 行为日志记录方法、装置、计算机设备和存储介质 | |
| CN111400623B (zh) | 用于搜索信息的方法和装置 | |
| US20180095835A1 (en) | Resilient analytics utilizing dark data | |
| CN113312900A (zh) | 数据校验的方法和装置 | |
| CN113220297A (zh) | 网页样式动态生成方法及装置、存储介质及电子设备 | |
| CN111399823A (zh) | 页面组件布局方法、***和前台终端 | |
| US20240176667A1 (en) | Multi-feature resource recommender system for process optimization and user preference inference | |
| US20230100315A1 (en) | Pattern Identification for Incident Prediction and Resolution | |
| CN112799710B (zh) | 一种模型发布***及模型发布方法 | |
| CN114881602A (zh) | 一种批量任务处理***和方法 | |
| WO2024118189A1 (en) | Multi-feature resource recommender system for process optimization and user preference inference |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |