CN106095560A - 数据批处理的方法及装置 - Google Patents

Abstract

本发明公开一种数据批处理的方法。该方法包括：设置工作日历、参数集及模板，其中，所述工作日历用于保存工作日及公共假期，所述参数集用于保存各分类数据的批处理参数，所述模板用于保存各分类数据的批处理作业；根据所述工作日历、所述参数集和所述模板生成各分类数据的批处理作业；执行所述批处理作业。本发明的数据批处理的方法及装置，简化了数据批处理的操作步骤，节约了操作时间，实现了操作过程的自动化，提高了操作员的工作效率，尤其是通过设置工作日历，可根据其调整执行时点，避免受公共假期的影响，使数据批处理作业的执行更有效率。在批处理操作质量方面，减少了人为判断出错的概率，提高了操作员的工作质量。

Description

数据批处理的方法及装置

技术领域

本公开总体涉及计算机技术领域，具体涉及一种数据批处理的方法及装置。

背景技术

批处理是批量数据处理的环境，可以支持整批的数据处理进程，通常是在自动控制流程中递交批处理的作业，用来处理数据库或文件的批量访问或更新。在自动控制流程完善的条件下，整个批处理过程可以无需人工干预的完成。例如，在保险核心***中，有许多批量的数据需要加工和处理，如保险公司的保单续保等。

在数据集中之前，各部门存储的数据分别由各部门单独进行处理，各部门数据单独核算，总部不能清楚了解各部门的数据，不使统一进行管理，也造成数据资源不能共享、数据安全性、完整性的风险大和维护费用多等问题，而且各部门均需自备备份主机及相应设备，硬件资源利用率低。

在数据集中存储后，即把待处理数据由原来的分散在各部门，并由各部门单独处理，改变为把各部门的数据进行集中存储，数据可以按部门进行分类，并集中进行处理，克服了分散带来的问题。但集中处理的数据量很大，执行时间长，数据处理结果实效性差，并且由于不同部门业务的差异，对各自部门的数据处理的要求也不同，需要针对每个部门的不同业务做出判断处理，现有统一批处理作业数据处理方式不能很好的满足数据处理的要求。

因此，针对大型业务部门的数据批处理，需要一种新的方法。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种数据批处理的方法及装置，能够进行自动数据批处理。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，一种数据批处理的方法，包括：

设置工作日历、参数集及模板，其中，所述工作日历用于保存工作日及公共假期，所述参数集用于保存各分类数据的批处理参数，所述模板用于保存各分类数据的批处理作业；

根据所述工作日历、所述参数集和所述模板生成各分类数据的批处理作业；

执行所述批处理作业。

根据本公开的一实施方式，还包括设置加载界面，所述加载界面用于加载要执行的所述批处理作业。

根据本公开的一实施方式，还包括设置修改界面，所述修改界面用于修改已加载的所述批处理作业。

根据本公开的一实施方式，还包括设置提交界面，所述提交界面用于一次性或者分多次提交已加载的所述批处理作业。

根据本公开的一实施方式，所述提交界面包括所述批处理作业的汇总及明细信息。

根据本公开的一实施方式，还包括设置明细提交界面，所述明细界面用于分别提交各分类数据的所述批处理作业。

根据本公开的一实施方式，所述明细提交界面还用于所述批处理作业的失败重启。

根据本公开的一实施方式，还包括设置查询界面，所述查询界面用于查询已提交的所述批处理作业。

根据本公开的一实施方式，所述各分类数据包括保险***各分公司的数据，所述批处理作业包括保险***各分公司的批处理作业。

根据本公开的一实施方式，所述参数集包括所述保险***各分公司的名称、产品码、执行参数。

根据本公开的一实施方式，所述模板包括所述保险***各分公司的批处理作业的执行时点，所述执行时点包括月初执行、月末执行、月末倒数2日执行、2号执行、非工作日不执行、月初月末不执行或者周日执行。

根据本公开的第二方面，一种数据批处理的装置，包括：

设置模块，用于设置工作日历、参数集及模板，其中，所述工作日历用于保存工作日及公共假期，所述参数集用于保存各分类数据的批处理参数，所述模板用于保存各分类数据的批处理作业；

生成模块，用于根据所述工作日历、所述参数集和所述模板生成各分类数据的批处理作业；

执行模块，用于执行所述批处理作业。

本发明的数据批处理的方法及装置，简化了数据批处理的操作步骤，节约了操作时间，实现了操作过程的自动化，提高了操作员的工作效率，尤其是通过设置工作日历，可根据其调整执行时点，避免受公共假期的影响，使数据批处理作业的执行更有效率。在批处理操作质量方面，减少了人为判断出错的概率，提高了操作员的工作质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。

图1示出根据本公开示例实施方式的一数据批处理的方法流程图。

图2为现有Life Asia保险业务***的数据处理流程图。

图3为Life Asia保险业务***采用本发明数据批处理的方法流程图。

图4示出根据本公开示例实施方式的一数据批处理的装置方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出根据本公开示例实施方式的一数据批处理的方法流程图。

如图1所示，数据批处理的方法，包括步骤S102～S106：

在步骤S102中，设置工作日历、参数集及模板，其中，工作日历用于保存工作日及公共假期，参数集用于保存各分类数据的批处理参数，模板用于保存各分类数据的批处理作业。

在进行批处理之前，可以对数据进行预处理，例如，可以按不同的来源、业务类型等属性进行分类。分类后的数据需要进行处理的具体过程可以有所不同，可以把分类后的数据要进行处理的具体参数设置在参数集中，参数集可以包含多个处理参数，例如可以包括批处理的分公司或部门名称、产品码和执行参数等。

设置工作日历，工作日历中可包含一年中的各种工作日、周末及假期等。设置模板，模板中包含批处理的执行时点，例如可设置月初执行、月末执行、月末倒数2日执行、2号执行、非工作日不执行、月初月末不执行及周日执行等，上述执行日期是根据工作日历中的内容进行设置的，如果遇到执行日为公共假期还可以根据工作日历进行自动调整。或者也可以在模板中设置批处理执行的先后顺序，例如可设置批处理1执行完毕后执行批处理2。模版中特定位置的参数可由变量代替，可以根据参数集中不同的参数进行替换，从而生成批处理作业。

在步骤S104中，根据工作日历、参数集和模板生成各分类数据的批处理作业。

可将模板中的变量用参数集中的参数替换，生成对不同分类数据进行处理的批处理作业。其中，不同分类的批处理作业使用同一个模板作业生成，维护人员只需要维护工作日历、模板和参数集，减少了维护人员的工作量。

在步骤S106中，执行批处理作业。

生成的批处理作业按照执行时点进行顺序执行，批处理作业开始执行后，可以分别对各分类的数据进行数据处理。

本实施方式的数据批处理的方法，简化了数据批处理的操作步骤，节约了操作时间，实现了操作过程的自动化，提高了操作员的工作效率，尤其是通过设置工作日历，可根据其调整执行时点，避免受公共假期的影响，使数据批处理作业的执行更有效率。在批处理操作质量方面，减少了人为判断出错的概率，提高了操作员的工作质量。

根据一示例实施例，还包括设置加载界面，加载界面用于加载要执行的批处理作业。可根据模板定义，结合批处理工作日历综合判断当日需要执行的批处理并显示在加载界面。

根据一示例实施例，还包括设置修改界面，修改界面用于修改已加载的批处理作业。该界面为已经加载的批处理提供了修改功能，可以修改已生成的批处理作业，也可以新增加批处理作业，新增批处理遵循工作日历、模板、参数集等定义。

根据一示例实施例，还包括设置提交界面，提交界面包括批处理作业的汇总及明细信息，提交界面用于一次性或者分多次提交已加载的批处理作业。对于加载无误的批处理作业，可以通过提交界面进行提交，可以汇总提交所有待处理的批处理作业，或者提交某一批处理作业。选择了全部提交后，***可根据批处理作业的内容，调用批处理接口程序，实现一次提交多个批处理作业。

根据一示例实施例，还包括设置明细提交界面，在提交界面点击进入明细界面，明细界面可用于分别提交各分类数据的批处理作业。

根据一示例实施例，明细提交界面还可用于批处理作业的失败重启。在明细提交界面，提供了失败批处理重启功能，在多个作业并行处理的中，很可能会有作业执行出错，当***检测到作业出错时如果出现批处理失败，可在此页面重新进行提交。

根据一示例实施例，还包括设置查询界面，查询界面用于查询已提交的批处理作业，对既往提交的批处理可以通过该界面进行查询。

关于上述数据批处理方法，下面以保险业务的数据处理举例进行具体说明。如图2所示，图2为现有Life Asia保险业务***的数据处理流程图。Life Asia保险业务***利用***中的批处理提交工具，由操作员按照运营部门的安排，每天在规定时间，例如19:00-次日07：00，提交批处理作业。在大型保险公司中，业务遍布全国，操作员需要在不同的分公司下切换提交批处理作业，随着分公司的增多，提交批处理作业的复杂度也随之增大。运营部门对批处理作业执行的顺序也有要求，例如：续期批处理，要求执行顺序必须是续期1，续期2，续期3的顺序执行。月初月末批处理作业会有调整，例如有些批处理作业只能在月初月末提交，有些批处理作业只能在每月2号提交，有些批处理作业只能在年结时提交等。批处理作业存储在一EXCEL表中，由操作员手工进行逐个提交，每个分公司的每种类型业务按照业务要求的顺序进行提交，例如，提交公司A的续期1、续期2、续期3、佣金、万能，然后提交公司B的续期1、续期2、续期3、佣金、万能，以此类推。如果遇到相互关联的批处理作业，则需要操作员判断执行的顺序，使批处理作业更加复杂。

在Life Asia保险业务***中，采用本发明的数据批处理方法，可大大提高批处理作业的效率。图3为Life Asia保险业务***采用本发明数据批处理的方法流程图。如图3所示，本发明数据批处理的方法提供了工作日历定义、批处理模板定义及参数定义，操作员可根据日常批处理作业的执行信息通过三个界面进行上述定义，其中参数集包括保险***各分公司的名称、产品码、执行参数等，模板包括保险***各分公司的批处理作业的执行时点，执行时点可包括月初执行、月末执行、月末倒数2日执行、2号执行、非工作日不执行、月初月末不执行或者周日执行。操作员每天从批处理作业加载界面，将需要执行的批处理作业一次或多次加载到批处理作业执行数据库中。一但加载完成后，操作员可立即将批处理作业进行提交。

批处理作业的提交界面为操作员提供了批处理作业的汇总及明细信息，例如续期1的批处理作业汇总ID是L*POLRNWL1，可包含全国各分公司的ID，例如为L1POLRNWL1、L2POLRNWL1…、LZPOLRNWL1，明细界面为操作员提供了各分公司批处理作业的具体信息。操作员可以在提交界面一次提交所有分公司的批处理作业，也可以进入明细界面分别提交各分公司的批处理作业。如果在提交前操作员发现批处理作业出现错误，在对批处理作业修改界面进行修改，修改完成后即更新批处理作业执行数据库的数据。还可以通过查询界面对批处理作业进行查询。操作员确定批处理作业无误后，即可明细界面点击提交，提交批处理作业，批处理作业提交后，进入生产机进行数据批处理。操作员在日常工作时能够得到非常明确的操作信息，无需在不同的分公司之间切换，减少了操作步骤，节约操作时间，提高工作效率。

Life Asia保险业务***是一套专用于保险业务操作的控制***，它不同于windows或linux等***，普通操作***的批处理作业与数据库等应用是无法在***上直接应用。因此Life Asia保险业务***具有很好的保密性同时也具有较差的兼容性与开放性。使用该***的公司一直致力于该***的开发，打破***原有的框架限制，用以提高工作效率。Life Asia保险业务***中，操作员需要分别在不同的分公司***下分别加载批处理作业，如果采用本发明的数据批处理方法，操作员可在一个分公司的***下一次性地布置所有的批处理作业。

图4示出根据本公开示例实施方式的一数据批处理的装置方框图。

如图4所示，一种数据批处理的装置，包括：

设置模块402，用于设置工作日历、参数集及模板，其中，工作日历用于保存工作日及公共假期，参数集用于保存各分类数据的批处理参数，模板用于保存各分类数据的批处理作业。

在进行批处理之前，可以对数据进行预处理，例如，可以按不同的来源、业务类型等属性进行分类。分类后的数据需要进行处理的具体过程可以有所不同，可以把分类后的数据要进行处理的具体参数设置在参数集中，参数集可以包含多个处理参数，例如可以包括批处理的分公司或部门名称、产品码和执行参数等。

设置工作日历，工作日历中可包含一年中的各种工作日、周末及假期等。设置模板，模板中包含批处理的执行时点，例如可设置月初执行、月末执行、月末倒数2日执行、2号执行、非工作日不执行、月初月末不执行及周日执行等，上述执行日期是根据工作日历中的内容进行设置的，如果遇到执行日为公共假期还可以根据工作日历进行自动调整。或者也可以在模板中设置批处理执行的先后顺序，例如可设置批处理1执行完毕后执行批处理2。模版中特定位置的参数可由变量代替，可以根据参数集中不同的参数进行替换，从而生成批处理作业。

生成模块404，用于根据工作日历、参数集和模板生成各分类数据的批处理作业。

可将模板中的变量用参数集中的参数替换，生成对不同分类数据进行处理的批处理作业。其中，不同分类的批处理作业使用同一个模板作业生成，维护人员只需要维护工作日历、模板和参数集，减少了维护人员的工作量。

执行模块406，用于执行批处理作业。

生成的批处理作业按照执行时点进行顺序执行，批处理作业开始执行后，可以分别对各分类的数据进行数据处理。

本实施方式的数据批处理的装置，简化了数据批处理的操作步骤，节约了操作时间，实现了操作过程的自动化，提高了操作员的工作效率，尤其是通过设置工作日历，可根据其调整执行时点，避免受公共假期的影响，使数据批处理作业的执行更有效率。在批处理操作质量方面，减少了人为判断出错的概率，提高了操作员的工作质量。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种数据批处理的方法，其特征在于，包括：

设置工作日历、参数集及模板，其中，所述工作日历用于保存工作日及公共假期，所述参数集用于保存各分类数据的批处理参数，所述模板用于保存各分类数据的批处理作业；

根据所述工作日历、所述参数集和所述模板生成各分类数据的批处理作业；

执行所述批处理作业。

2.如权利要求1所述的方法，其特征在于，还包括设置加载界面，所述加载界面用于加载要执行的所述批处理作业。

3.如权利要求2所述的方法，其特征在于，还包括设置修改界面，所述修改界面用于修改已加载的所述批处理作业。

4.如权利要求2所述的方法，其特征在于，还包括设置提交界面，所述提交界面用于一次性或者分多次提交已加载的所述批处理作业。

5.如权利要求4所述的方法，其特征在于，所述提交界面包括所述批处理作业的汇总及明细信息。

6.如权利要求5所述的方法，其特征在于，还包括设置明细提交界面，所述明细界面用于分别提交各分类数据的所述批处理作业。

7.如权利要求6所述的方法，其特征在于，所述明细提交界面还用于所述批处理作业的失败重启。

8.如权利要求4至7任一所述的方法，其特征在于，还包括设置查询界面，所述查询界面用于查询已提交的所述批处理作业。

9.如权利要求1所述的方法，其特征在于，所述各分类数据包括保险***各分公司的数据，所述批处理作业包括保险***各分公司的批处理作业。

10.如权利要求9所述的方法，其特征在于，所述参数集包括所述保险***各分公司的名称、产品码、执行参数。

11.如权利要求1所述的方法，其特征在于，所述模板包括保险***各分公司的批处理作业的执行时点，所述执行时点包括月初执行、月末执行、月末倒数2日执行、2号执行、非工作日不执行、月初月末不执行或者周日执行。

12.一种数据批处理的装置，其特征在于，包括：

设置模块，用于设置工作日历、参数集及模板，其中，所述工作日历用于保存工作日及公共假期，所述参数集用于保存各分类数据的批处理参数，所述模板用于保存各分类数据的批处理作业；

生成模块，用于根据所述工作日历、所述参数集和所述模板生成各分类数据的批处理作业；

执行模块，用于执行所述批处理作业。