CN112597233B - 数据指标的批量处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据指标的批量处理方法、装置、设备及存储介质，属于数据标准化领域。所述方法包括以下步骤：基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括扫描方式、触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务；基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。本发明通过将数据加工逻辑以配置文件的方式嵌入在指标加工流程的节点中，方便更新替换，大大缩短了逻辑变更流程的时间，提高了开发和发版效率。

Description

数据指标的批量处理方法、装置、设备及存储介质

技术领域

本发明涉及数据标准化领域，涉及一种数据指标的批量处理方法、装置、设备及存储介质。

背景技术

数据指标是企业在运营过程中，通过对本企业ODS数据的分析和汇总，提炼出来的反映企业经营状况的指标信息。数据指标的加工，一般包括，ODS数据的清洗和入仓，数据指标逻辑的提炼，指标逻辑的技术实现。通过使用数据指标，对数据进行分析，更清楚了解自己企业经营状况，可以更快，更好的做出各种决策，从而让企业的决策风险降低，更容易把握市场机会。

业内企业的数据指标加工平台一般采用大数据平台技术，***的技术关联多，依赖多，整个过程链条长，不易于做技术输出。指标加工逻辑确定之前，为了验证指标的准确性，有效性，需要进行多次的调试和完善和验证。在调试的过程中，指标加工逻辑变更流程长，不易开发调试。不同企业机构的指标加工逻辑有差异性，多机构支持功能薄弱，需要做较多改动才能够支持多机构。

发明内容

本发明要解决的技术问题是为了克服现有技术中指标加工逻辑变更流程长的问题，提出了一种数据指标的批量处理方法、装置、设备及存储介质，通过将指标加工逻辑以配置文件的方式嵌入定时任务的指标加工流程的节点中，实现了指标加工逻辑的快速可更换，大大缩短了逻辑变更流程的时间，提高了开发和发版效率。

本发明是通过下述技术方案来解决上述技术问题：

一种数据指标的批量处理方法，包括以下步骤：

基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务；

基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程的节点中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。

本技术方案中，通过定时任务结合指标加工流程配置指标处理任务的加工逻辑，实现了数据指标的批量处理。

优选地，所述基于配置的指标加工流程执行所述指标处理任务的步骤包括：

根据所述数据源信息从对应的数据库中抽取待处理数据；

根据所述数据加工逻辑信息对所述待处理数据进行加工处理，以得到符合指标要求的数据指标。

本技术方案中，指标处理任务支持多数据库，可同时对多个数据库中的数据进行数据指标的处理。

优选地，所述根据所述数据源信息从对应的数据库中抽取待处理数据的步骤包括：

从所述指标加工流程中截取数据源信息，所述数据源信息至少包含一个数据库；

基于所述数据源信息，抽象连接对应的数据库；

从连接的所述数据库中抽取待处理数据并暂存在资源库中，所述待处理数据上带有与所述数据库相对应的数据流转标识。

本技术方案中，指标处理任务支持多数据库，并通过数据流转标识进行数据隔离，保障了数据安全。

优选地，所述数据加工逻辑信息至少包含一套数据加工规则，所述数据加工规则被配置于property文件中，且所述数据加工规则与所述property文件一一对应；

每个所述数据库至少配置有一套数据加工规则；

所述对抽取的所述待处理数据进行加工处理的步骤包括：

从所述指标加工流程中截取所述数据加工逻辑信息，所述数据加工逻辑信息中包含有至少一个property文件的文件名；

基于所述数据加工逻辑信息，将对应的property文件加载至所述资源库中；

根据所述property文件中配置的所述数据加工规则，对所述资源库中的待处理数据进行加工处理。

本技术方案中，数据加工规则通过property文件进行配置，通过property文件加载，操作简便；指标处理任务可适配多种行业场景，可在加工任务流程的加工节点嵌入对应每种行业场景的指标加工规则，适用场景广泛。

优选地，在从所述指标加工流程中截取所述数据加工逻辑信息的步骤之前，还包括：

遍历所述property文件；

当所述property文件有更新时，对应更新所述指标加工流程中的所述数据加工逻辑信息。

本技术方案中，数据加工规则通过property文件进行配置，通过property文件加载的方式替换旧逻辑，提高了开发效率和发版效率。

优选地，所述数据指标由对应的所述待处理数据加工处理后得到，所述数据指标带有与其对应的所述待处理数据上的所述数据流转标识；

所述在得到符合指标要求的数据指标的步骤之后，还包括：

基于所述数据指标上带有的所述数据流转标识，将所述数据指标存入与所述数据流转标识相对应的数据库中。

本技术方案中，通过数据流转标识确保处理后的数据指标入库至对应的数据库中，防止数据泄露。

优选地，所述数据加工规则中包含有数据日期参数和数据加工逻辑；

所述根据所述property文件中配置的所述数据加工规则，对所述资源库中的待处理数据进行加工处理的步骤包括：

截取所述数据加工规则中的数据日期参数；

根据所述数据日期参数，从所述待处理数据中找出所述数据日期参数表征的时间产生的数据；

根据所述数据加工逻辑，针对找到的所述数据进行加工处理。

本技术方案中，通过数据加工规则中的数据日期参数，可以针对任意日期的数据进行加工，以将该日期的数据处理成符合指标要求的指标数据。

本发明还公开了一种数据指标的批量处理装置，包括：

任务管理模块，用于基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括扫描方式、触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务；

数据加工模块，用于基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程的节点中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。

本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现前述任一项技术方案中所述的数据指标的批量处理方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现前述任一项技术方案中所述的数据指标的批量处理方法的步骤。

本发明的积极进步效果在于：将数据指标的处理以定时任务的方式实现定期执行；数据加工逻辑以配置文件的方式嵌入在指标加工流程的节点中，方便更新替换，大大缩短了逻辑变更流程的时间，提高开发和发版效率；通过在节点中配置多个数据源，以实现对不同机构间数据的隔离，以提高数据的安全性。

附图说明

图1示出了本发明数据指标的批量处理方法实施例一的流程图；

图2示出了实施例一中步骤2的具体流程图；

图3示出了实施例一中步骤21的具体流程图；

图4示出了实施例一中步骤22的具体流程图；

图5示出了实施例一中步骤225的具体流程图；

图6示出了本发明数据指标的批量处理装置第一实施例的结构图；

图7示出了本发明计算机设备一实施例的硬件架构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

首先，本发明提出一种数据指标的批量处理方法。

在实施例一中，如图1所示，所述的数据指标的批量处理方法包括如下步骤：

步骤1：基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务。

这里的任务的监控扫描通过一任务管理平台来实现，可以采用市面上的开源任务管理平台TaskManager。

指标处理任务可以作为一个定时任务配置在任务管理平台中，为简化配置操作，使用任务管理平台前，先要在在任务管理平台中配置好定时任务的任务参数，通常通过一可视化界面或API的形式配置定时任务的任务参数。任务参数包括任务的扫描方式、触发条件、执行任务的***的调用接口(这里为ETL平台的调用接口)和判断方式。任务的扫描方式有多种，可以从轮询、随机、一致性hash、最不经常使用、最近最久未使用、故障转移、忙碌转移中选用任意一种。触发条件在这里可以是对应各任务的定时执行时间。判断方式指判断是否满足触发条件的方式，这里可以指检测当前时刻的时间，以判断是否到达任务的执行时间。

任务管理平台配置好任务参数后，就可以根据选用的扫描方式利用后台不断扫描定时任务，然后将满足条件的定时任务触发，例如定时每天零点开始执行指标处理任务。在指标处理任务被触发后，任务管理平台便根据配置的调用接口调用执行指标处理任务的ETL(Extract-Transform-Load)平台。

当扫描到满足条件的指标处理任务时，调用执行所述指标处理任务。

步骤2：基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。

这里的指标处理任务具体可以通过一ETL平台来实现，所述ETL平台是指可以实现将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的一种***工具，具体可以采用利用Java编写的Kettle(一种ETL平台)。

使用ETL平台时，需要预先在ETL中配置好指标处理任务的指标加工流程，在指标加工流程的每个加工节点都可以配置数据源、数据加工逻辑等信息，操作十分简便。然后通过截取指标加工流程中的数据源信息或者数据加工逻辑信息来执行对应的操作。如图2所示，具体包括如下步骤：

步骤21：根据所述数据源信息从对应的数据库中抽取待处理数据。

步骤22：根据所述数据加工逻辑信息对所述待处理数据进行加工处理，以得到符合指标要求的数据指标。

其中，如图3所示，步骤21包括以下分步骤：

步骤211：从所述指标加工流程中截取数据源信息，所述数据源信息至少包含一个数据库。

这里的数据源信息可以包含多个数据库，如此可以使得指标处理任务支持多数据库，例如同一套指标处理任务用来处理多个不同机构的数据，自然不同机构的数据被存储在不同的数据中，这里的数据源信息可以配置多个数据库，大大增强了指标处理任务的通用性。

步骤212：基于所述数据源信息，抽象连接对应的数据库。

当数据源信息包含多个数据库时，需要访问各个数据库，采用抽象连接可以通过相同的函数(方法)来查询和获取各个数据库中的数据。

步骤213：从连接的所述数据库中抽取待处理数据并暂存在资源库中，所述待处理数据上带有与所述数据库相对应的数据流转标识。

为了数据安全，不同数据库间的数据需要进行数据隔离，因此这里将待处理数据带上数据流转标识，通过数据流转标识可以识别其数据来源。例如：针对不同的机构的数据库分配一个机构号，该机构号就可以直接作为数据流转标识与从该数据库中的获取的数据进行关联，以便在后续数据入库、加工等过程中识别每一个数据的来源。通过机构号和数据库的对应关系，在后续加工出新数据后，只要识别到机构号，就可以方便地将数据分别存储，以避免数据泄露。

数据加工逻辑信息至少包含一套数据加工规则，数据加工规则被配置于property文件中，且数据加工规则与所述property文件一一对应。每个数据库至少配置有一套数据加工规则，但是通常会针对不同的业务需求配置多套数据加工规则，因此很多时候一个数据库会配置有多套数据加工规则。不同的数据加工规则通过维度来区别，同一维度的数据加工规则被配置于一个property文件中，相当于将同一维度的指标定义在同一张表中，而各指标则定义为表的不同字段，指标的数据加工规则定义为指标的属性值，实际是一串简单的sql语句。

如图4所示，步骤22可以具体包括以下分步骤：

步骤221：遍历所述property文件。

数据加工规则被配置于property文件，而property文件是可以更新的，因此在将数据加工规则从指标加工流程中提取出来前，需要先对所有property文件进行遍历，以判断是否存在新的数据加工规则。

步骤222：当所述property文件有更新时，对应更新所述指标加工流程中的所述数据加工逻辑信息。

这里所述更新是指有新增的property文件，即增加了新的数据加工规则，当有新增property文件，需要在从指标加工流程中截取数据加工逻辑信息前，先更新至指标加工流程中，否则便执行不到该数据加工规则。这里通过property文件加载的方式替换旧逻辑，可有效提高开发效率和发版效率。

步骤223：从所述指标加工流程中截取所述数据加工逻辑信息，所述数据加工逻辑信息中包含有至少一个property文件的文件名；

由于数据加工逻辑信息是嵌入在指标加工流程的加工节点中的，因此这里通过截取的方式获取数据加工逻辑信息。

步骤224：基于所述数据加工逻辑信息，将对应的property文件加载至所述资源库中；

数据加工逻辑信息中包含有property文件的文件名，因此在截取到数据加工逻辑信息后，根据其包含的各property文件的文件名将对应的property文件加载至资源库中。

步骤225：根据所述property文件中配置的所述数据加工规则，对所述资源库中的待处理数据进行加工处理。

这里的数据加工规则包括针对数据的抽取、清洗和加工，待处理数据经过抽取、清洗和加工处理后即可得到符合指标要求的数据指标。

这里的数据加工规则中可以包含数据日期参数，以明确指标加工是具体哪一天的数据。然后引入拉链表，结合数据加工规则中的数据日期参数，可以针对任意日期的数据进行加工，以将该日期的数据处理成符合指标要求的指标数据。如图5所示，步骤225具体包括以下分步骤：

步骤2251：截取所述数据加工规则中的数据日期参数；

步骤2252：根据所述数据日期参数，从所述待处理数据中找出所述数据日期参数表征的时间产生的数据；

步骤2253：根据所述数据加工逻辑，针对找到的所述数据进行加工处理。

这里数据指标由对应的待处理数据加工处理后得到，所以数据指标带有与其对应的待处理数据上的数据流转标识。因此在得到符合指标要求的数据指标之后，基于数据指标上带有的数据流转标识，可以将数据指标存入与数据流转标识相对应的数据库中。即在将加工后的数据指标入库时，需要根据数据流转标识选择不同的数据库进行入库保存，进一步防止数据泄露。

本实施例一通过将数据指标的处理以定时任务的方式实现定期执行；数据加工逻辑以配置文件的方式嵌入在指标加工流程的节点中，方便更新替换，提高开发和发版效率；通过在节点中配置多个数据源，以实现对不同机构间数据的隔离，以提高数据的安全性。

其次，本发明提出了一种数据指标的批量处理装置，所述装置20可以被分割为一个或者多个模块。

例如，图6示出了所述数据指标的批量处理装置20第一实施例的结构图，该实施例中，所述装置20可以被分割为任务管理模块201和数据加工模块202。以下描述将具体介绍所述任务管理模块201和所述数据加工模块202的具体功能。

所述任务管理模块201用于基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括扫描方式、触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务。

这里的任务的监控扫描通过一任务管理平台来实现，可以采用市面上的开源任务管理平台TaskManager。

指标处理任务可以作为一个定时任务配置在任务管理平台中，为简化配置操作，使用任务管理平台前，先要在在任务管理平台中配置好定时任务的任务参数，通常通过一可视化界面或API的形式配置定时任务的任务参数。任务参数包括任务的扫描方式、触发条件、执行任务的***的调用接口(这里为ETL平台的调用接口)和判断方式。任务的扫描方式有多种，可以从轮询、随机、一致性hash、最不经常使用、最近最久未使用、故障转移、忙碌转移中选用任意一种。触发条件在这里可以是对应各任务的定时执行时间。判断方式指判断是否满足触发条件的方式，这里可以指检测当前时刻的时间，以判断是否到达任务的执行时间。

任务管理平台配置好任务参数后，就可以根据选用的扫描方式利用后台不断扫描定时任务，然后将满足条件的定时任务触发，例如定时每天零点开始执行指标处理任务。在指标处理任务被触发后，任务管理平台便根据配置的调用接口调用执行指标处理任务的ETL(Extract-Transform-Load)平台。

所述数据加工模块202用于基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。

这里的指标处理任务具体可以通过一ETL平台来实现，所述ETL平台是指可以实现将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的一种***工具，具体可以采用利用Java编写的Kettle(一种ETL平台)。

使用ETL平台时，需要预先在ETL中配置好指标处理任务的指标加工流程，在指标加工流程的每个加工节点都可以配置数据源、数据加工逻辑等信息，操作十分简便。然后通过截取指标加工流程中的数据源信息或者数据加工逻辑信息来执行对应的操作。具体地，所述数据加工模块202可以被进一步划分为数据抽取子模块和处理加工子模块：

所述数据抽取子模块用于根据所述数据源信息从对应的数据库中抽取待处理数据。

所述处理加工子模块用于根据所述数据加工逻辑信息对所述待处理数据进行加工处理，以得到符合指标要求的数据指标。

其中，所述数据抽取子模块可以被进一步划分为数据源截取单元、数据库连接单元和数据抽取单元。

所述数据源截取单元用于从所述指标加工流程中截取数据源信息，所述数据源信息至少包含一个数据库。

这里的数据源信息可以包含多个数据库，如此可以使得指标处理任务支持多数据库，例如同一套指标处理任务用来处理多个不同机构的数据，自然不同机构的数据被存储在不同的数据中，这里的数据源信息可以配置多个数据库，大大增强了指标处理任务的通用性。

所述数据库连接单元用于基于所述数据源信息，抽象连接对应的数据库。

当数据源信息包含多个数据库时，需要访问各个数据库，采用抽象连接可以通过相同的函数(方法)来查询和获取各个数据库中的数据。

所述数据抽取单元用于从连接的所述数据库中抽取待处理数据并暂存在资源库中，所述待处理数据上带有与所述数据库相对应的数据流转标识。

为了数据安全，不同数据库间的数据需要进行数据隔离，因此这里将待处理数据带上数据流转标识，通过数据流转标识可以识别其数据来源。例如：针对不同的机构的数据库分配一个机构号，该机构号就可以直接作为数据流转标识与从该数据库中的获取的数据进行关联，以便在后续数据入库、加工等过程中识别每一个数据的来源。通过机构号和数据库的对应关系，在后续加工出新数据后，只要识别到机构号，就可以方便地将数据分别存储，以避免数据泄露。数据加工逻辑信息至少包含一套数据加工规则，数据加工规则被配置于property文件中，且数据加工规则与所述property文件一一对应。每个数据库至少配置有一套数据加工规则，但是通常会针对不同的业务需求配置多套数据加工规则，因此很多时候一个数据库会配置有多套数据加工规则。不同的数据加工规则通过维度来区别，同一维度的数据加工规则被配置于一个property文件中，相当于将同一维度的指标定义在同一张表中，而各指标则定义为表的不同字段，指标的数据加工规则定义为指标的属性值，实际是一串简单的sql语句。

所述处理加工子模块可以被进一步划分为遍历单元、逻辑更新单元、逻辑截取单元、逻辑加载单元和数据处理单元。

所述遍历单元用于遍历所述property文件。

数据加工规则被配置于property文件，而property文件是可以更新的，因此在将数据加工规则从指标加工流程中提取出来前，需要先对所有property文件进行遍历，以判断是否存在新的数据加工规则。

所述逻辑更新单元用于当所述property文件有更新时，对应更新所述指标加工流程中的所述数据加工逻辑信息。

这里所述更新是指有新增的property文件，即增加了新的数据加工规则，当有新增property文件，需要在从指标加工流程中截取数据加工逻辑信息前，先更新至指标加工流程中，否则便执行不到该数据加工规则。这里通过property文件加载的方式替换旧逻辑，可有效提高开发效率和发版效率。

所述逻辑截取单元用于从所述指标加工流程中截取所述数据加工逻辑信息，所述数据加工逻辑信息中包含有至少一个property文件的文件名。

由于数据加工逻辑信息是嵌入在指标加工流程的加工节点中的，因此这里通过截取的方式获取数据加工逻辑信息。

所述逻辑加载单元用于基于所述数据加工逻辑信息，将对应的property文件加载至所述资源库中。

数据加工逻辑信息中包含有property文件的文件名，因此在截取到数据加工逻辑信息后，根据其包含的各property文件的文件名将对应的property文件加载至资源库中。

所述数据处理单元用于根据所述property文件中配置的所述数据加工规则，对所述资源库中的待处理数据进行加工处理。

这里的数据加工规则包括针对数据的抽取、清洗和加工，待处理数据经过抽取、清洗和加工处理后即可得到符合指标要求的数据指标。

这里的数据加工规则中可以包含数据日期参数，以明确指标加工是具体哪一天的数据。然后引入拉链表，结合数据加工规则中的数据日期参数，可以针对任意日期的数据进行加工，以将该日期的数据处理成符合指标要求的指标数据。为实现上述功能，所述数据处理单元还可以被划分为日期截取子单元、数据匹配子单元和数据加工子单元。

所述日期截取子单元用于截取所述数据加工规则中的数据日期参数。

所述数据匹配子单元用于根据所述数据日期参数，从所述待处理数据中找出所述数据日期参数表征的时间产生的数据。

所述数据加工子单元用于根据所述数据加工逻辑，针对找到的所述数据进行加工处理。

这里数据指标由对应的待处理数据加工处理后得到，所以数据指标带有与其对应的待处理数据上的数据流转标识。因此在得到符合指标要求的数据指标之后，基于数据指标上带有的数据流转标识，可以将数据指标存入与数据流转标识相对应的数据库中。即在将加工后的数据指标入库时，需要根据数据流转标识选择不同的数据库进行入库保存，进一步防止数据泄露。

本实施例通过将指标加工逻辑以配置文件的方式嵌入定时任务的指标加工流程的节点中，实现了指标加工逻辑的快速可更换。。

再次，本发明还提出来一种计算机设备。

参阅图7所示，是本发明计算机设备一实施例的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过***总线相互通信连接存储器21、处理器22以及网络接口23。其中：

所述存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器21可以是所述计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，所述存储器21也可以是所述计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器21还可以既包括所述计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器21通常用于存储安装于所述计算机设备2的操作***和各类应用软件，例如用于实现所述数据指标的批量处理方法的计算机程序等。此外，所述存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制所述计算机设备2的总体操作，例如执行与所述计算机设备2进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器22用于运行所述存储器21中存储的程序代码或者处理数据，例如运行用于实现所述数据指标的批量处理方法的计算机程序等。

所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他计算机设备之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图7仅示出了具有组件21-23的计算机设备2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

在本实施例中，存储于存储器21中的用于实现所述数据指标的批量处理方法的计算机程序可以被一个或多个处理器(本实施例为处理器22)所执行，以完成以下步骤的操作：

步骤1：基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括扫描方式、触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务。

步骤2：基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程的节点中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。

此外，本发明一种计算机可读存储介质，所述计算机可读存储介质为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现上述数据指标的批量处理方法或装置的操作。

其中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作***和各类应用软件，例如前述用于实现所述数据指标的批量处理方法的计算机程序等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种数据指标的批量处理方法，其特征在于，包括以下步骤：

基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指标处理任务；

基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程的节点中包含有所述指标处理任务的数据源信息和数据加工逻辑信息；

其中，所述基于配置的指标加工流程执行所述指标处理任务的步骤包括：

根据所述数据源信息从对应的数据库中抽取待处理数据；

根据所述数据加工逻辑信息对所述待处理数据进行加工处理，以得到符合指标要求的数据指标；

所述根据所述数据源信息从对应的数据库中抽取待处理数据的步骤包括：

从所述指标加工流程中截取数据源信息，所述数据源信息至少包含一个数据库；

基于所述数据源信息，抽象连接对应的数据库；

从连接的所述数据库中抽取待处理数据并暂存在资源库中，所述待处理数据上带有与所述数据库相对应的数据流转标识。

2.根据权利要求1所述的数据指标的批量处理方法，其特征在于，所述数据加工逻辑信息至少包含一套数据加工规则，所述数据加工规则被配置于property文件中，且所述数据加工规则与所述property文件一一对应；

每个所述数据库至少配置有一套数据加工规则；

所述根据所述数据加工逻辑信息对所述待处理数据进行加工处理的步骤包括：

从所述指标加工流程中截取所述数据加工逻辑信息，所述数据加工逻辑信息中包含有至少一个property文件的文件名；

基于所述数据加工逻辑信息，将对应的property文件加载至所述资源库中；

根据所述property文件中配置的所述数据加工规则，对所述资源库中的待处理数据进行加工处理。

3.根据权利要求2所述的数据指标的批量处理方法，其特征在于，在从所述指标加工流程中截取所述数据加工逻辑信息的步骤之前，还包括：

遍历所述property文件；

当所述property文件有更新时，对应更新所述指标加工流程中的所述数据加工逻辑信息。

4.根据权利要求2所述的数据指标的批量处理方法，其特征在于，

所述数据指标由对应的所述待处理数据加工处理后得到，所述数据指标带有与其对应的所述待处理数据上的所述数据流转标识；

所述在得到符合指标要求的数据指标的步骤之后，还包括：

基于所述数据指标上带有的所述数据流转标识，将所述数据指标存入与所述数据流转标识相对应的数据库中。

5.根据权利要求2所述的数据指标的批量处理方法，其特征在于，所述数据加工规则中包含有数据日期参数和数据加工逻辑；

所述根据所述property文件中配置的所述数据加工规则，对所述资源库中的待处理数据进行加工处理的步骤包括：

截取所述数据加工规则中的数据日期参数；

根据所述数据日期参数，从所述待处理数据中找出所述数据日期参数表征的时间产生的数据；

根据所述数据加工逻辑，针对找到的所述数据进行加工处理。

6.一种数据指标的批量处理装置，其特征在于，包括：

任务管理模块，用于基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括扫描方式、触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指标处理任务；

数据加工模块，用于基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程的节点中包含有所述指标处理任务的数据源信息和数据加工逻辑信息；

其中，所述数据加工模块，被划分为数据抽取子模块和处理加工子模块：

所述数据抽取子模块，用于根据所述数据源信息从对应的数据库中抽取待处理数据；

所述处理加工子模块，用于根据所述数据加工逻辑信息对所述待处理数据进行加工处理，以得到符合指标要求的数据指标；

所述数据抽取子模块被划分为数据源截取单元、数据库连接单元和数据抽取单元：

所述数据源截取单元，用于从所述指标加工流程中截取数据源信息，所述数据源信息至少包含一个数据库；

所述数据库连接单元，用于基于所述数据源信息，抽象连接对应的数据库；

所述数据抽取单元，用于从连接的所述数据库中抽取待处理数据并暂存在资源库中，所述待处理数据上带有与所述数据库相对应的数据流转标识。

7.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5中任一项所述的数据指标的批量处理方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现如权利要求1-5中任一项所述的数据指标的批量处理方法的步骤。