CN107798614B - 数据处理的方法及装置 - Google Patents

Abstract

本发明适用于计算机技术领域，提供了一种数据处理的方法及装置，所述方法包括：在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；在对保单汇总数据进行处理时，获取用户触发的调度任务；执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。本发明无需依赖外购软件PROPHET，也无需精算组手动导出TXT文件，有效地简化了精算组对MP保单汇总数据的处理过程，降低了成本，提高了精算组进行月结的效率。

Description

数据处理的方法及装置

技术领域

本发明属于计算机技术领域，尤其涉及一种数据处理的方法及装置。

背景技术

在寿险精算组对MP(Model Points)保单汇总数据进行DCS(Data ConversionSystem)数据筛选时，现有技术主要是采用外购软件PROPHET来实现。PROPHET是Bacon&Woodrow公司开发的一套综合的精算操作***，包括寿险、非寿险以及其他部分，可以为金融服务业提供诸如利润测试、资产评估、业务模型设置等系列服务功能，能够满足包括保险公司在内的金融服务公司的大量技术上的要求。然而，在使用所述PROPHET的过程中，精算组人员需要在筛选前预先通过脚本文件将机构库、PALA库中的源表数据导出成TXT文件，然后再使用PROPHET读取导出的TXT文件进行数据处理，过程复杂，且该PROPHET为付费软件，成本高。

发明内容

鉴于此，本发明实施例提供了一种数据处理的方法及装置，以简化精算组对MP保单汇总数据的处理过程，降低成本。

第一方面，提供了一种数据处理的方法，所述方法包括：

在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；

在对保单汇总数据进行处理时，获取用户触发的调度任务；

执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。

进一步地，所述获取用户触发的调度任务包括：

当获取到用户输入的运行指令时，对指定机构库进行kettle同步；

若同步成功时，在计划表Pala_batch_plan中***指定数量的调度任务，以供存储过程扫描执行；

若同步失败时，弹出提示信息，以提示用户未完成同步的机构库并在确认所述机构库完成同步后进行补执行。

进一步地，所述执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析包括：

按照预设的时间间隔扫描所述计划表pala_batch_plan，获取最先的调度任务；

根据所述调度任务执行对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析；

根据调度任务的执行结果，更新日志表pol_ben_log中调度任务对应的状态信息。

进一步地，所述方法还包括：

若调度任务执行成功时，根据用户输入的查看指令，显示所述日志表pol_ben_log中的更新结果。

进一步地，所述方法还包括：

若调度任务执行失败时，进行补执行，对当前机构库进行kettle同步；

若同步成功时，在所述计划表Pala_batch_plan中***1条调度任务，以供存储过程扫描执行。

第二方面，提供了一种信息修改的装置，所述装置包括：

部署模块，用于在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；

获取模块，用于在对保单汇总数据进行处理时，获取用户触发的调度任务；

执行模块，用于执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。

进一步地，所述获取模块包括：

同步单元，用于当获取到用户输入的运行指令时，对指定机构库进行kettle同步；

任务***单元，用于若同步成功时，在计划表Pala_batch_plan中***指定数量的调度任务，以供存储过程扫描执行；

提示单元，用于若同步失败时，弹出提示信息，以提示用户未完成同步的机构库并在确认所述机构库完成同步后进行补执行。

进一步地，所述执行模块包括：

扫描单元，用于按照预设的时间间隔扫描所述计划表pala_batch_plan，获取最先的调度任务；

执行单元，用于根据所述调度任务执行对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析；

更新单元，用于根据调度任务的执行结果，更新日志表pol_ben_log中调度任务对应的状态信息。

进一步地，所述执行模块还包括：

查看单元，用于若调度任务执行成功时，根据用户输入的查看指令，显示所述日志表pol_ben_log中的更新结果。

进一步地，所述执行模块还包括：

补执行单元，用于若调度任务执行失败时，进行补执行，对当前机构库进行kettle同步；若同步成功时，在所述计划表Pala_batch_plan中***1条调度任务，以供存储过程扫描执行。

与现有技术相比，本发明实施例通过在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；在对保单汇总数据进行处理时，获取用户触发的调度任务；执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。通过本发明实施例，精算组无需依赖外购软件PROPHET，也无需手动导出TXT文件，有效地简化了精算组对MP保单汇总数据的处理过程，降低了成本，提高了精算组进行月结的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本发明第一实施例提供的数据处理的方法的实现流程图；

图2是本发明第二实施例提供的数据处理的装置的组成结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；在对保单汇总数据进行处理时，获取用户触发的调度任务；执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。通过本发明实施例，精算组无需依赖外购软件PROPHET，也无需手动导出TXT文件，有效地简化了精算组对MP保单汇总数据的处理过程，降低了成本，提高了精算组进行月结的效率。本发明实施例还提供了相应的数据处理的装置，以下分别进行详细的说明。

图1是本发明第一实施例提供的数据处理的方法的实现流程。

在本发明实施例中，所述数据处理的方法应用于终端设备上，所述终端设备包括但不限于计算机、服务器等。参阅图1，所述数据处理的方法包括：

在步骤S101中，在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到。

在这里，本发明实施例预先在保单汇总数据库中部署了批处理脚本，即pkg脚本。所述批处理脚本是基于外购软件PROPHET的功能开发的，其代码是按照PROPHET软件的内部数据处理逻辑进行编码的，能够实现PROPHET软件的数据转换及分析的功能。同时，本发明实施例还提供了前台的显示界面及功能标识供用户触发所述批处理脚本。用户在通过统一的UM(员工编号)账户登录后，在所述显示界面中触发所述功能标识即可触发所述批处理脚本。

在步骤S102中，在对保单汇总数据进行处理时，获取用户触发的调度任务。

本发明实施例根据用户在所述显示界面上对所述功能标识的触发获取调度任务，并缓存至保单汇总数据库中指定的计划表中。所述保单包括但不限于年金ANN保单、山羊计划GOAT保单、IRR产品保单、传统分红POL_BEN_MAIN保单、寿团产品LBS保单、分红激清增额PUA保单、投连产品ULINK保单、追加保费TOP保单、短险产品SHORT保单、万能产品UNIVERSAL保单、保证续保GUAR保单、特殊投连885&878保单。示例性地，所述功能标识可以为“运行”标识，用户通过触发所述“运行”标识输入运行指令，所述步骤S102具体包括：

当获取到用户输入的运行指令时，对指定机构库进行kettle同步；

若同步成功时，在计划表Pala_batch_plan中***指定数量的调度任务，以供存储过程扫描执行；

若同步失败时，弹出提示信息，以提示用户未完成同步的机构库并在确认所述机构库完成同步后进行补执行。

在这里，本发明实施例的保单汇总数据库中供有8个机构库，当用户触发“运行”标识之后，则对所述8个机构库进行kettle同步。若8个机构库均同步成功，则在计划表Pala_batch_plan中***8条调度任务，以供存储过程扫描执行；若同步失败，则弹出提示信息，以提示用户未完成同步的机构库并在确认所述机构库完成同步后进行补执行。示例性地，所述提示信息可以为：

机构库：XX、……、XX，kettle同步未完成，不能执行此操作，请确认这些机构库kettle同步完成后，前往查看结果页面补执行。

所述补执行是指重新对kettle同步失败的机构库进行kettle同步，若同步成功，则在计划表Pala_batch_plan中***1条调度任务。

在步骤S103中，执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。

在本发明实施例中，后台存储过程定时扫描计划表，根据计划表中的当前调度任务执行对应的批处理脚本，以按照PROPHET的数据处理逻辑读取数据库中的源表数据并进行DCS处理，即转换及分析处理。所述步骤S103具体包括：

按照预设的时间间隔扫描所述计划表pala_batch_plan，获取最先的调度任务；

根据所述调度任务执行对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析；

根据调度任务的执行结果，更新日志表pol_ben_log中调度任务对应的状态信息。

在这里，所述预设的时间间隔可以为1分钟，即每隔1分钟扫描一次计划表pala_batch_plan，按照先进先出的读取顺序获取最先缓存的调度任务。然后根据所述调度任务执行对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。现有技术是需要精算组从保单汇总数据库中将汇总表的数据全部导出成TXT文件，然后通过所述PROPHET软件对所述TXT文件进行DCS分析。而本发明实施例通过部署批处理脚本，由批处理脚本直接从保单汇总数据库中获取数据，无需精算组手动导出TXT文件，从而简化了精算组对MP保单汇总数据的处理过程，降低了人力成本，有效地提高了精算组进行月结的效率。

在执行调度任务之后，本发明实施例同步更新日志表pol_ben_log中调度任务对应的状态信息。可选地，所述状态信息包括但不限于机构库、处理代码(PROCESS_CODE)、汇总开始时间、汇总结束时间、remark状态。

可选地，所述步骤S103还可以包括：

若调度任务执行成功时，根据用户输入的查看指令，显示所述日志表pol_ben_log中的更新结果。

本发明实施例设置了查看功能标识。用户通过触发所述查看功能标识输入查看指令。终端设备将加载显示pol_ben_log中返回的更新结果，从而使得用户可以查看处理进度，提升了用户的体验感。

可选地，所述步骤S103还可以包括：

若调度任务执行失败时，进行补执行，对当前机构库进行kettle同步；

若同步成功时，在所述计划表Pala_batch_plan中***1条调度任务，以供存储过程扫描执行。

在这里，所***的调度任务为所述机构库对应的调度任务。

综上所述，本发明实施例通过在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；在对保单汇总数据进行处理时，获取用户触发的调度任务；执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。通过本发明实施例，精算组无需依赖外购软件PROPHET，也无需手动导出TXT文件，有效地简化了精算组对MP保单汇总数据的处理过程，降低了成本，提高了精算组进行月结的效率。

应理解，在上述实施例中，各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图2示出了本发明第二实施例提供的数据处理的装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例中，所述数据处理的装置用于实现上述图1实施例中所述的数据处理的方法，可以是内置于终端设备的软件单元、硬件单元或者软硬件结合的单元。所述终端设备包括但不限于计算机、服务器等。

参阅图2，所述数据处理的装置包括：

部署模块21，用于在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；

获取模块22，用于在对保单汇总数据进行处理时，获取用户触发的调度任务；

执行模块23，用于执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。

进一步地，所述获取模块22包括：

同步单元221，用于当获取到用户输入的运行指令时，对指定机构库进行kettle同步；

任务***单元222，用于若同步成功时，在计划表Pala_batch_plan中***指定数量的调度任务，以供存储过程扫描执行；

提示单元223，用于若同步失败时，弹出提示信息，以提示用户未完成同步的机构库并在确认所述机构库完成同步后进行补执行。

进一步地，所述执行模块23包括：

扫描单元231，用于按照预设的时间间隔扫描所述计划表pala_batch_plan，获取最先的调度任务；

执行单元232，用于根据所述调度任务执行对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析；

更新单元233，用于根据调度任务的执行结果，更新日志表pol_ben_log中调度任务对应的状态信息。

在这里，所述预设的时间间隔可以为1分钟，即扫描单元231每隔1分钟扫描一次计划表pala_batch_plan，按照先进先出的读取顺序获取最先缓存的调度任务。然后执行单元232根据所述调度任务执行对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。现有技术是需要精算组从数据库中将汇总表的数据全部导出成TXT文件，然后通过所述PROPHET软件对所述TXT文件进行DCS分析。而本发明实施例通过部署批处理脚本，由批处理脚本直接从保单汇总数据库中获取数据，无需精算组手动导出TXT文件，从而简化了精算组对MP保单汇总数据的处理过程，降低了人力成本，有效地提高了精算组进行月结的效率。进一步地，本发明实施例由所述批处理脚本模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析，无需依赖外购软件PROPHET，有利于降低精算成本。

在执行调度任务之后，本发明实施例通过所述更新单元233同步更新日志表pol_ben_log中调度任务对应的状态信息。可选地，所述状态信息包括但不限于机构库、处理代码(PROCESS_CODE)、汇总开始时间、汇总结束时间、remark状态。

进一步地，所述执行模块23还包括：

查看单元234，用于若调度任务执行成功时，根据用户输入的查看指令，显示所述日志表pol_ben_log中的更新结果。

进一步地，所述执行模块23还包括：

补执行单元235，用于若调度任务执行失败时，进行补执行，对当前机构库进行kettle同步；若同步成功时，在所述计划表Pala_batch_plan中***1条调度任务，以供存储过程扫描执行。

需要说明的是，本发明实施例中的装置可以用于实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实例中的相关描述，此处不再赘述。

综上所述，本发明实施例通过在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；在对保单汇总数据进行处理时，获取用户触发的调度任务；执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析。通过本发明实施例，精算组无需依赖外购软件PROPHET，也无需手动导出TXT文件，有效地简化了精算组对MP保单汇总数据的处理过程，降低了成本，提高了精算组进行月结的效率。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法及装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块、单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元、模块单独物理存在，也可以两个或两个以上单元、模块集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种数据处理的方法，其特征在于，所述方法包括：

在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；

在对保单汇总数据进行处理时，获取用户触发的调度任务；

执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析；

所述获取用户触发的调度任务包括：

当获取到用户输入的运行指令时，对指定机构库进行kettle同步；

若同步成功时，在计划表Pala_batch_plan中***指定数量的调度任务，以供存储过程扫描执行；

若同步失败时，弹出提示信息，以提示用户未完成同步的机构库并在确认所述机构库完成同步后进行补执行。

2.如权利要求1所述的数据处理的方法，其特征在于，所述执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析包括：

按照预设的时间间隔扫描所述计划表pala_batch_plan，获取最先的调度任务；

根据所述调度任务执行对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析；

根据调度任务的执行结果，更新日志表pol_ben_log中调度任务对应的状态信息。

3.如权利要求2所述的数据处理的方法，其特征在于，所述方法还包括：

若调度任务执行成功时，根据用户输入的查看指令，显示所述日志表pol_ben_log中的更新结果。

4.如权利要求2所述的数据处理的方法，其特征在于，所述方法还包括：

若调度任务执行失败时，进行补执行，对当前机构库进行kettle同步；

若同步成功时，在所述计划表Pala_batch_plan中***1条调度任务，以供存储过程扫描执行。

5.一种数据处理的装置，其特征在于，所述装置包括：

部署模块，用于在保单汇总数据库中部署批处理脚本，所述批处理脚本根据PROPHET软件的数据处理逻辑编写得到；

获取模块，用于在对保单汇总数据进行处理时，获取用户触发的调度任务；

执行模块，用于执行所述调度任务对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析；

所述获取模块包括：

同步单元，用于当获取到用户输入的运行指令时，对指定机构库进行kettle同步；

任务***单元，用于若同步成功时，在计划表Pala_batch_plan中***指定数量的调度任务，以供存储过程扫描执行；

提示单元，用于若同步失败时，弹出提示信息，以提示用户未完成同步的机构库并在确认所述机构库完成同步后进行补执行。

6.如权利要求5所述的数据处理的装置，其特征在于，所述执行模块包括：

扫描单元，用于按照预设的时间间隔扫描所述计划表pala_batch_plan，获取最先的调度任务；

执行单元，用于根据所述调度任务执行对应的批处理脚本，从所述保单汇总数据库中读取所述调度任务对应的源表数据，并模拟所述PROPHET的处理逻辑对所述源表数据进行转换及分析；

更新单元，用于根据调度任务的执行结果，更新日志表pol_ben_log中调度任务对应的状态信息。

7.如权利要求6所述的数据处理的装置，其特征在于，所述执行模块还包括：

查看单元，用于若调度任务执行成功时，根据用户输入的查看指令，显示所述日志表pol_ben_log中的更新结果。

8.如权利要求6所述的数据处理的装置，其特征在于，所述执行模块还包括：

补执行单元，用于若调度任务执行失败时，进行补执行，对当前机构库进行kettle同步；若同步成功时，在所述计划表Pala_batch_plan中***1条调度任务，以供存储过程扫描执行。

Images