CN101000562A - 一种执行批处理作业的方法及装置 - Google Patents
一种执行批处理作业的方法及装置 Download PDFInfo
- Publication number
- CN101000562A CN101000562A CN 200610173221 CN200610173221A CN101000562A CN 101000562 A CN101000562 A CN 101000562A CN 200610173221 CN200610173221 CN 200610173221 CN 200610173221 A CN200610173221 A CN 200610173221A CN 101000562 A CN101000562 A CN 101000562A
- Authority
- CN
- China
- Prior art keywords
- data information
- data
- processing
- handle
- marks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种执行批处理作业的方法及装置,其中所述方法包括下列步骤:读取数据资料,所述数据资料用于完成特定的批处理作业任务;按照预设的联机事务转换规则,将数据资料转换为联机事务作业;将所述联机事务作业发送给联机事务处理环境进行处理;接收并保存所述联机作业处理环境返回的处理结果;读取下一条数据资料并重复上述处理,直至处理完所有的数据资料。本发明能在批处理环境调用联机环境中的功能程序,节约了程序资源,***维护量工作量小,在开发新处理功能时,开发工作量小,本发明同时适用于文件***和数据库***,支持数据恢复和批量冲正功能。
Description
技术领域
本发明涉及数据处理领域,特别是涉及批处理环境和联机环境的数据处理领域。
背景技术
在大型的数据处理***中,一般采用核心***处理各种相关数据,核心***中可以提供两种数据处理环境:联机环境和批处理环境。它们是两类不同特性的数据处理环境,通常基于不同的中间件平台之上。
联机环境是实时的事务或交易处理环境,可以支持大量并发的事务进程,事务进程可以由使用者实时触发,并可根据所需要的条件来启动(Start)事务进程进行相关的事务处理,直到执行结束(Commit)。通常会在很短的时间内,完成一项事务的处理以及处理相关数据库记录的更新同步(Syncpoint)工作,并将处理结果返回给使用者。事务处理具有原子性,其含义是指:对于特定操作序列组成的事务,要么全部完成,要么就一件也不做。如果在事务处理的过程中,发生不可预料的错误,为保证事务的原子性,当事务中止时,必须根据日志执行回滚操作,以便消除已经执行的操作对数据库的影响。在核心***中有很多用于事务处理的联机事务程序,用来支持和实现各种联机事务处理功能。例如,在联机环境下,用户可以通过终端或各种电子渠道实时触发不同的联机事务,来完成各种金融事务的处理,如进行银行的存/取款、转帐、余额查询,证券的买入/卖出、交割,保险公司的保单受理、保费续缴、理赔等。
批处理环境是批量数据处理的环境,可以支持整批的数据处理进程,通常是在处理在自动控制流程中递交的批处理作业,可以用来处理数据库或文件的批量访问或更新等操作,数据库的更新通常需要设置同步(Syncpoint)的条件,可在更新多条数据库记录后进行同步。在自动控制流程完善的条件下,整个批处理过程可以无需人工干预的完成一批作业处理。在核心***中同样也有很多用于批量数据处理的程序来支持和实现各种批量处理功能。例如,在核心***中,每日日终后,有许多批量的数据加工和处理,如生成各类会计报表;银行计息、自动转存、自动还款等,保险公司的保单续保等。
对于部分批处理作业程序所实现的业务功能,例如,银行中有些作业如自动入账、扣款、还款等的批量数据加工,从单笔记录(每个人/笔)的处理来看,其数据信息处理流程与相应的联机事务的处理流程相同。在当前的应用的核心***中,联机和批处理作业分别在各自的环境中运行,分别由联机和批处理的业务程序提供功能支持,各自的作业通过调用各自的功能的程序完成功能。因为运行环境不同,两个环境中的程序代码的规格有比较大的差异。在现有的执行批处理作业的方法中存在下列缺点:
1、批处理环境和联机环境中分别有完成相同功能的程序,批处理作业调用批处理环境中的功能程序完成数据处理,浪费了联机环境中相同功能的程序资源,相同功能的程序占用了存储器的空间,浪费了硬件资源。
2、***维护人员在维护时,需要同时维护两个环境中完成相同功能的程序,程序维护工作量大。
3、在开发新的数据处理功能时,需要在批处理环境和联机处理环境同时开发完成同样功能的程序,开发工作量大。
发明内容
本发明所要解决的技术问题是提供一种执行批处理作业的方法及装置,以解决现有技术中浪费资源、维护工作量大和开发工作量大的问题。
为了解决上述技术问题,本发明公开了一种执行批处理作业的方法,包括:
读取数据资料,所述数据资料用于完成特定的批处理作业任务;
按照预设的联机事务转换规则,将数据资料转换为联机事务作业;
将所述联机事务作业发送给联机事务处理环境进行处理;
接收并保存所述联机作业处理环境返回的处理结果;
读取下一条数据资料并重复上述处理,直至处理完所有的数据资料。
优选的,所述方法还包括,
将已处理标记写入所述数据资料中。
优选的,所述方法还包括,
判断所述数据资料是否有已处理标记,若有,不对本条数据资料进行处理,读取下一条数据资料并进行处理,若无,继续处理;
如果上一条数据资料有已处理标记,并且本条数据资料无已处理标记,对本条数据资料进行恢复处理。
优选的,所述方法还包括,保存当前执行状态标志。
优选的,所述方法还包括,
接收控制指令;
判断控制指令是否正确;若正确,继续下一步处理;
读取执行状态标志;
按照所述执行状态标志判断所述控制指令是否可以执行,若可以执行,继续下一步处理。
优选的,所述方法还包括,
判断有无停止请求,若有,停止处理,若无,继续处理;
判断有无暂停请求,若有,暂停特定的时间后,继续处理。
优选的,所述数据资料是普通业务数据资料、冲正业务数据资料或者非标类型数据资料。
优选的,所述数据资料保存在数据库或者文件中。
本发明还提供了一种执行批处理作业的装置,包括:
读取单元,用于读取数据资料,所述数据资料用于完成特定的批处理作业任务;
转换单元,用于按照预设的联机事务转换规则,将数据资料转换为联机事务作业;
发送单元,用于将所述联机事务作业发送给联机事务处理环境进行处理;
接收单元,用于接收并保存所述联机事务处理环境返回的处理结果;
第一控制单元,用于控制读取单元读取下一条数据资料并重复进行处理,直至处理完所有的数据资料。
优选的,所述装置还包括,
标记写入单元,用于将已处理标记写入所述数据资料中。
优选的,所述装置还包括,
第二控制单元,用于判断所述数据资料是否有已处理标记,若有,不对本条数据资料进行处理,读取下一条数据资料并进行处理,若无,继续处理;
恢复处理单元,用于对数据资料进行恢复处理;
第三控制单元,用于如果上一条数据资料有已处理标记,并且本条数据资料无已处理标记,调用恢复处理单元对本条数据资料进行恢复处理。
优选的,所述装置还包括,
执行状态保存单元,用于保存当前执行状态标志。
优选的,所述装置还包括,
控制指令接收单元,用于接收控制指令;
控制指令判断单元,用于判断控制指令是否正确;若正确,继续下一步处理;
执行状态读取单元,用于读取执行状态标志;
控制指令执行单元,用于按照所述执行状态标志判断所述控制指令是否可以执行,若可以执行,继续下一步处理。
优选的,所述装置还包括,
停止判断单元,用于判断有无停止请求,若有,停止处理,若无,继续处理;
暂停判断单元,用于判断有无暂停请求,若有,暂停特定的时间后,继续处理。
与现有技术相比,本发明具有以下优点:
1、在批处理环境可以调用联机环境中处理相同功能的程序,节约了功能程序资源,减少了存储空间的占用,节约了硬件资源。
2、***维护人员只需要维护联机环境中的功能程序,维护工作量小。
3、开发与联机处理环境中现有程序相同功能的批处理应用时,可以调用联机环境中的功能程序完成数据处理,开发新功能时,只需要在联机环境中开发新的功能程序,开发工作量少。
4、当执行批处理作业发生中断时,本发明提供了自动的错误恢复操作,保证了数据的正确性。
5、本发明的数据资料可以从数据文件或者数据库中读取,同时适用于文件***和数据库***。
6、数据处理过程利用了联机事务处理的原子性,提高了批处理作业执行的可靠性和一致性。由于联机事务处理采用或者全部提交,或者全部回滚方式,再结合日志记录,可以方便的确定出错的位置,方便了批处理作业执行中的错误恢复。
7、由于采用将联机事务作业发送给联机环境进行处理的方法,可以不受联机环境的平台类型和地理位置的限制,实现跨平台和跨地域的数据数据处理。
8、可以接收控制指令对批处理作业进行控制,方便了用户的使用。
9、支持批量冲正功能,方便处理由于批处理作业递交错误等原因造成的大量处理错误,可以方便的挽救操作失误或者其它错误。
附图说明
图1是本发明的方法实施例1流程图;
图2是本发明的方法实施例2流程图;
图3是本发明的装置实施例1框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明的核心思想是:在批处理环境中执行的批处理作业里,从单笔数据资料的处理来看,信息处理流程与相应的联机环境的联机事务作业的处理流程是完全相同,这样的一个批处理作业对业务的处理可以等同于一个虚拟的柜员连续不断地触发联机事务作业进行处理,甚至触发的是同一个联机事务作业。如果在批处理作业中能重用已存在的联机事务程序,不仅节约资源,程序维护量小,而且对于新业务,不必另外在批处理环境开发一套程序做相同的业务处理;而且,如果联机事务作业的业务流程正确,就能保证批处理作业的业务流程与联机事务一样正确。另外,利用联机事务作业处理的原子性,还有利于对错误进行恢复操作,充分保证了业务处理的正确性。
参照图1,是本发明的方法实施例1流程图,包括:
步骤101,读取数据资料,所述数据资料用于完成特定的批处理作业任务。
批处理数据资料是在批处理环境下用于执行特定功能的的数据集合,可以包含有多条需要处理的数据。例如,完成转帐功能时,每笔数据资料中可以包括:多个用户的操作类型、帐户信息、目标帐户信息、转帐金额和当前时间等信息,依靠这些信息,批处理作业可以一次性完成多个用户的转帐操作。
步骤102,按照预设的联机事务转换规则,将数据资料转换为联机事务作业,所述联机事务转换规则用于将数据资料转换为联机事务作业。
联机环境的事务处理只接受特定格式的联机事务作业,在把数据资料发送给联机环境之前,需要按照联机环境的事务处理的格式进行处理成联机事务作业,以便联机环境执行。格式转换的规则可以预先设置,在读取每条数据资料后,自动按照转换规则的进行格式转换,形成联机环境的事务处理能够接受的联机事务作业的格式。转换规则可以是一个格式化的输入表格,规定了批处理数据资料中那些数据应该对应到联机事务作业的特定位置,依靠转换规则,可以将批处理数据资料格式化生成联机事务作业的格式。
步骤103,将所述联机事务作业发送给联机环境进行处理。
批处理环境和联机环境是两类不同特性的数据处理环境,一般处于不同的***平台、不同的中间件之上,把联机事务作业发送给联机环境需要调用中间件***提供的跨平台命令,所述的跨平台命令可以支持本地或远程的调用,这种跨平台命令间接的提供了调用平台之间的无关性,例如,可以是一个特定功能的接口调用命令,按照接口的调用规则发送调用命令。这里也可以使用由操作***提供的跨平台命令来发送联机事务作业。
联机环境对接收到的联机事务作业进行处理,将处理的结果毅一般的联机事务报文格式返回给批处理环境中的调用者。
步骤104,接收并保存所述联机环境返回的处理结果。
批处理环境接收联机环境返回的的结果报文,提取出报文头中的处理结果等信息,经过格式转换,和接收到的完整报文一起保存起来。可以保存在数据文件或者数据库中,作为后续处理的的基本数据,本步骤中保存的数据还可以作为异常中断恢复的辅助信息。
步骤105,读取下一条数据资料并重复上述处理,直至处理完所有的数据资料。
重复读取批处理数据资料,直到处理完所有的数据资料。
优选的,在接收并保存所述联机事务处理环境返回的处理结果之后,在读取下一条数据资料之前,还包括,将已处理标记写入所述数据资料中。
当处理完本条数据资料时,将已处理标记写入到原数据文件或者数据库内。本步骤写入的已处理标记可以用于定位最后一条成功执行的数据资料的为位置,也可以用于在出错或者执行被中断后,对未执行完的数据资料进行恢复操作使用。已处理标志可以是一个标志位,例如,标志位为1为已处理状态,无标志位为未处理状态。
优选的,在读取数据资料之后,在将数据资料转换为联机事务作业之前,还包括,
判断所述数据资料是否有已处理标记,若有,不对本条记录进行处理,读取下一条数据资料并进行处理,若无,继续处理;
如果上一条数据资料有已处理标记,并且本条数据资料无已处理标记,对本条数据资料进行恢复处理。
当上次执行被中断或者停止时,可以依靠对已处理标志的判断跳过已经处理完毕的数据资料,直到第一个未处理的数据资料位置,由于不能确定第一个未处理的数据资料的处理情况,需要对第一个未处理的数据资料进行恢复操作。
在进行恢复操作时,涉及到数据同步的问题,对于不同的数据同步方式,恢复操作的也有所不同。
在批处理环境跨联机环境的作业执行中,需要实现数据的同步操作,需要同步的数据可以是两种:执行的状态参数和资料数据。数据同步有两种实现方式:同步确认方式和非同步确认方式。本发明可以同时支持两种不同的数据同步点确认方式。
同步确认方式是作业在批处理环境对所处理的数据资料的更新,在等待跨联机环境的事务处理结束返回后一并进行数据同步确认“COMMIT SYNCPOINT”,在联机的事务处理程序中不单独进行数据同步确认,这样使得对同一笔记录的更新处理是同步的。这种方式的优点是不会出现批处理环境下更新成功、联机环境更新失败,或是联机环境更新成功、批处理环境更新失败的情况,使得异常出错处理变得简单,基本无需出错的恢复处理。但这种方式的缺点是对***资源的消耗较大,数据更新灵活度小,两平台间易出现锁定或挂起等异常状况。
非同步确认方式,是作业在批处理环境可以对数据更新并同步确认,且对同一记录可以更新多次,如跨联机环境调用之前更新某些数据项,返回结果后再次更新其他一些数据项,在联机环境的事务处理中对记录更新并同步确认。这种方式的优点是跨平台之间对数据的更新互相独立,使数据更新灵活度提高,并且对***的资源消耗相对小,但缺点是异常出错时要判别正在处理的记录在两个环境中的数据更新的确认是否完成,使得出错恢复变得复杂。
数据更新使用非同步确认方式时的恢复操作“RECOVER”的采用下面的方法实现:首先,在联机事务处理的事务的属性资料中设置是否要进行数据同步错误恢复,如果标志设置为“否”,则该事务不需要进行数据同步错误恢复处理,即不支持“RECOVER”功能;如果标志设置为“是”,则支持“RECOVER”功能。如果该联机事务支持“RECOVER”功能,则在处理时会记录该事务的执行报告,记录的内容包括有该笔事务的流水号等内容。当执行作业发生异常中断时,检查作业的执行控制资料,并取出最后一笔执行成功的数据资料的流水号,将流水号加1,即下一笔流水号去读取事务执行报告资料。如果事务执行报告资料中没有该笔流水的信息,表示该笔数据资料尚未开始执行,不用作任何动作,可以将作业继续执行;若事务执行报告资料档中已存在该笔流水的信息,则取出该笔流水的信息,补写到作业输入输出资料中,并同步更新作业执行控制资料。恢复完毕,继续执行作业。
优选的,所述方法还包括,保存当前执行状态标志。
在作业执行控制资料中记录当前作业的各种处理状态,以便监控和查询,状态可以有下面几种:
(1)INITIAL-初始化。当作业第一次执行之前,该作业执行控制资料档案中的状态为“初始化”状态,该作业可以被执行,当处理作业执行正常结束后的状态“处理完毕”,该作业也可以被执行。
(2)RUNNING-执行中。当作业被批处理联机事务模拟控制器调用执行后,控制器将该作业执行控制资料档案中的状态改变为正在“执行中”的状态。
(3)INTERRUPT-中断。当作业的执行由于种种原因被人为中断的命令中断后,作业状态变为“中断”,中断后重启动(Restart),作业状态恢复到“执行中”。
(4)PAUSE WAIT-暂停。当需要处理一些***问题,例如***资源高峰,需要将作业暂停劈开高峰,人为地设置一个等待时间使该作业暂停处理,控制器将该作业的状态改为“暂停”,当接收到解除暂停的命令后,作业继续执行,状态恢复到“执行中”。
(5)EOF-处理完毕。当作业正常执行结束,作业状态为“处理完毕”。
(6)ERROR-错误发生。当作业执行在跨本地的批处理和联机交易平台,作业自身执行出错而异常中断,作业状态为“错误发生”。
(7)REMOTE ERROR-远程错误发生。当批处理作业执行在跨易地的联机交易平台,作业自身执行出错而异常中断,作业状态为“远程错误发生”。
优选的,在所述方法之前,还包括,
接收控制指令;
判断控制指令是否正确,把接收到的控制指令和允许使用的控制指令进行比对,如果指令正确,继续下一步处理;
读取作业的执行状态标志;
按照所述执行状态标志判断所述控制指令是否可以执行,若可以执行,继续下一步处理。
跨批处理环境和联机环境的调用可以使用控制命令触发,也可以由单独的批处理的触发。在使用控制命令触发时,可以采用以下的命令来控制作业的执行:
(1)开始-正常开始“STRT”。
在该作业的状态为“初始化”或“处理完毕”这两种状态下,可以接受“STRT”命令正常开始执行该作业。作业执行行时从第一笔数据资料开始顺次执行,直到执行完最后一笔数据资料。
(2)重启-从头执行“RERUN”。
作业中断执行并无需恢复,将原先执行的状态重新初始化并重头开始执行,应用***要把握该作业是否可以重启“RERUN”,并在作业执行控制资料中将属性设置为可以“RERUN”,重启命令才会生效,否则返回命令无效。
(3)断点重启-中断后重启“RSTART”。
由于种种原因导致的作业处理异常中断,或作业异常出错,包括本地和异地的联机事务***,执行断点重启命令,事务模拟控制器可以跳过已正常执行完毕的记录,自动定位到最后一笔处理,对其进行恢复处理后,往下继续执行。
(4)错误恢复-作业异常出错恢复“RECOVER”。
这种情况往往是作业出现“错误发生”或“远程错误发生”的状态,不知道最后一笔记录是否处理完毕时需要做的恢复处理,本命令只对最后一笔数据资料进行恢复处理。这个命令可以独立执行,也可以直接执行上一命令出错恢复“RSTART”,因为它包含了本命令的功能。
优选的,还包括,
判断有无停止请求,若有,停止处理,若无,继续处理;
判断有无暂停请求,若有,暂停特定的时间后,继续处理。
在处理完当前的一笔数据资料,读取下一条数据资料前,判断是否有停止请求,如果有,停止当前的数据处理。可以预先设定一个要处理的数据资料的笔数和一个暂停时间,在要处理下一笔数据资料前,如果有暂停请求,则按站预置的暂停时间暂停执行,暂停时间过后,继续数据处理。
在作业执行中,可以相应下面的命令请求:
(1)暂停-暂停处理“PAUSE”。
当需要处理一些***问题,例如要劈开***资源高峰的时段,将作业人为暂停,暂停等待的时间在执行控制资料中预先设置,也可以通过命令及时修改,设置一个等待时间暂停该作业的处理,等待时间一到自动继续执行作业处理。
(2)终止-中断处理“STOP”。
当由于非作业自身错误的其他种种原因需要中断作业,下终止命令“STOP”,中断作业的执行,作业状态变为“中断”。中断后用中断后重启(RESTART)继续作业的执行。
在作业执行中,还可以同时接收下面的命令进行作业状态的查询和修改暂停的时间间隔。
(1)查询-查询处理状况“DISPLAY”。
执行该命令可以查询作业的执行状态,尤其是在作业重启时需要查明该作业处于何种状态,再决定采取何种重启的方式。
(2)更改-更改暂停数据“CHANGE”。
该命令仅仅对于暂停而言,用于修改作业暂停的时间间隔。
优选的,所述数据资料是普通业务数据资料、冲正业务数据资料或者非标类型业务数据资料。
数据资料可以是普通业务的数据资料,例如,存款或者扣款业务的数据资料。
数据资料还可以是冲正业务数据资料。
通常由于操作错误等原因,例如整批作业的输入数据拿错,或程序bug导致虽然执行成功,但执行结果错误,需要整批作业冲正操作。当作业执行完毕后,可以将包含处理结果信息的输入输出数据资料,经过转换生成冲正处理的冲正业务数据资料;或者当作业执行中发现此类错误,立即中断作业,为保险起见,再执行错误恢复“RECOVERY”后,将已经执行完毕的所有数据资料,经格式转换,生成冲正业务数据资料,由操作人员提交,完成冲正的功能,修复数据错误。
整批冲正执行完毕后,在输出结果报告中,也可能会有错误的报告,例如,自动发薪入账的冲正,由于某个帐户的入账款项已经被转帐转出,造成冲正失败,这时需要由人工干预,手工处理这种特殊的情况。
数据资料还可以是非标类型业务数据资料。
一般情况下,要处理的数据资料可以按照既定的格式提前生成好,例如,可以由程序去按业务逻辑和条件生成,生成的文件名需定义在作业执行控制资料中用以自动调用。另外一种情况是要处理的数据资料无法提前生成,而是在一个数据持续动态的环境下动态生成,并实时地跨联机环境处理,得到返回结果。为了解决此类的问题,可以由用户自行编写该作业对应的出口程序,此程序可以定义在作业执行控制资料中。
在特定业务满足一定条件的情况下,如汇率的波动,或在特定的时间间隔,触发该作业的出口程序,生成作业的输入资料,跨到联机环境调起联机事务处理程序,把返回后的结果信息写到作业输入输出资料中。
在非标类型事务处理中,批处理作业的进程需要设定关闭的条件来触发进程的结束,通常这类进程也可以建立为永久进程,支持24小时的不间断的业务处理。充分利用已经建立的联机事务的处理程序来自动完成业务的处理。
一般的批处理联机事务处理是通过已生成好的输入的数据资料文件(如批量代扣输入文件)进行的。而非标类型事务处理是通过应用进程的轮询,当它发现有满足条件可进行处理的数据时,触发该进程的出口程序,生成所需的数据资料,通过格式转换后调用联机环境中的功能代码进行处理,处理结束后将结果信息写到进程的输入输出资料中。
例如,对于外汇买卖入帐处理,由于汇率变动使外汇买卖的某笔业务撮合成功,外汇买卖入帐处理进程捕捉到该笔需要入帐的信息后,即触发相应的出口程序,生成输入数据资料,完成入帐处理,并将入帐信息写到相关的业务数据库中。
优选的,其特征在于,所述数据资料保存在数据库或者文件中。
本发明可以同时适用于基于文件***和数据库***的批处理平台和联机平台。
参照图2,是本发明的方法实施例2流程图,本实施例以批量代扣为例进行介绍。批量代扣是银行提供的一种代扣款服务,可以实现一次扣取一批客户的费用,例如,可以用于代扣水电费或者电话费。具体包括:
步骤201,接收控制指令。
步骤202,检查指令是否正确,若正确,执行步骤203,若否,执行步骤216。
步骤203,检查当前处理状况标志,判断是否允许指令的执行。若允许执行,执行步骤204,若否,执行步骤216。
例如,目前状态为处理过程中断,则不可用开始(Start)指令来继续执行,必须利用中断后重启(Restart)指令,来达到恢复处理的目的。
步骤204,从文件或数据库依次读取交易记录。
步骤205,判断是否还有未处理的交易记录,若是,执行步骤206,若否,执行步骤216。如果未读取到交易记录,则已经处理完全部的交易记录。
步骤206,把交易记录转变为联机环境可接受的既定格式的联机事务作业。
步骤207,利用中间件***或操作***提供的跨平台命令,将联机事务作业传送到联机环境。当联机环境到交易文件后,根据需要调用有关的联机应用程序来处理该笔事务的处理。
步骤208,由联机环境的处理程序进行处理后,以一般的联机事务报文格式返回处理结果,批处理环境接收返回的处理结果。
步骤209,将处理结果进行格式转换,提取出需要的数据。
步骤210,把转换后的数据和接受到的处理结果进行保存。可以写到一个文件或数据库内,作为后续处理的基本数据,并且可以对异常中断后的重新启动提供辅助。
步骤211,在原来的交易记录上加上一个“已处理”的标记,然后将整笔记录重写回原文件或数据库内。
步骤212,当处理完每一笔交易后,判断有无停止请求,若有,则执行步骤216,若无,执行步骤213。
步骤213,判断有无暂停请求,若有,执行步骤214,若无,执行步骤204
步骤214,判断已处理的记录是否达到暂停笔数,若是,执行步骤215,若否,执行步骤204。
步骤215,按照预先设定的暂停时间暂停,直到暂停时间结束,执行步骤204。
步骤216,停止处理。
本例中的批量代扣处理需要对大量的代扣账户做扣账处理,同时在扣账时又要保证客户账余额、客户账明细、收款账户余额、收款账户明细等业务数据的一致性;让客户感觉就像柜员操作的一笔临柜业务一样。
在进行批量代扣处理中,批处理环境,联机交易模拟控制器调用的联机交易与柜面单笔扣收的交易使用的是一个程序。因此代扣业务的需求发生变更时,维护人员只需维护一个程序即可完成批量和单笔扣收交易的变更,维护工作量小,进行业务功能的修改方便。
下面介绍一下批量代扣中的冲正处理过程。
当批量代扣成功执行后,事后发现分行发送代扣账户资料错误(可能会在分行核对代扣结果时发现),此时可以进行批量代扣整批冲正处理。操作人员提交整批冲正预处理作业,通过冲正转换将包含处理结果信息的批量代扣输入文件批量代扣输出文件的每笔记录都转换生成相应的冲正处理的输入报文格式。操作人员提交整批冲正处理作业,向联机环境发送冲正交易,完成账户的冲正处理,并生成冲正处理结果文件。分行业务人员比对批量代扣结果文件以及冲正的结果文件,对无法冲正的账户进行相关的调账处理。
参照图3,是本发明的装置实施例框图,包括:
读取单元301,用于读取数据资料,所述数据资料用于完成特定的批处理作业任务。
转换单元302,用于按照预设的联机事务转换规则,将数据资料转换为联机事务作业,所述联机事务转换规则用于将数据资料转换为联机事务作业。
发送单元303,用于将所述联机事务作业发送给联机事务处理环境进行处理。
接收单元304,用于接收并保存所述联机事务处理环境返回的处理结果。
第一控制单元305,用于控制读取单元301读取下一条数据资料并重复进行处理,直至处理完所有的数据资料。
由读取单元301读取批处理数据资料,转换单元302把读取的批处理数据资料转换成为联机事务作业的格式,生成的联机事务作业由发送单元303使用跨平台命令发送给联机环境,联机事务环境调用相应的功能代码执行联机事务作业,并将执行的结果返回给批处理环境的调用者,接收单元304接收联机环境返回的结果,并保存,第一控制单元305用于控制读取单元301读取下一条数据资料,重复进行上述处理,直到处理完所有的数据资料。
优选的,还包括,
标记写入单元306,用于将已处理标记写入所述数据资料中。
当处理完本条数据资料时,将已处理标记写入到原数据文件或者数据库内。
优选的,还包括,
第二控制单元307,用于判断所述数据资料是否有已处理标记,若有,不对本条数据资料进行处理,读取下一条数据资料并进行处理,若无,进行处理。
恢复处理单元308,用于对数据资料进行恢复处理。
第三控制单元309,用于如果上一条数据资料有已处理标记,并且本条数据资料无已处理标记,调用恢复处理单元对本条数据资料进行恢复处理。
当上次执行被中断或者停止时,可以依靠对已处理标志的判断跳过已经处理完毕的数据资料,直到第一个未处理的数据资料位置,由于不能确定第一个未处理的数据资料的处理情况,需要对第一个未处理的数据资料进行恢复操作。
在进行恢复操作时,涉及到数据同步的问题,对于不同的数据同步方式,可以采取不同的恢复操作。对于同步确认方式,基本无需出错恢复处理。对于非同步确认方式,数据更新使用非同步确认方式时的恢复操作“RECOVER”的采用下面的方法实现:首先,在联机事务处理的事务的属性资料中设置是否要进行数据同步错误恢复,如果标志设置为“否”,则该事务不需要进行数据同步错误恢复处理,即不支持“RECOVER”功能;如果标志设置为“是”,则支持“RECOVER”功能。如果该联机事务支持“RECOVER”功能,则在处理时会记录该事务的执行报告,记录的内容包括有该笔事务的流水号等内容。当执行作业发生异常中断时,检查作业的执行控制资料,并取出最后一笔执行成功的数据资料的流水号,将流水号加1,即下一笔流水号去读取事务执行报告资料。如果事务执行报告资料中没有该笔流水的信息,表示该笔数据资料尚未开始执行,不用作任何动作,可以将作业继续执行;若事务执行报告资料档中已存在该笔流水的信息,则取出该笔流水的信息,补写到作业输入输出资料中,并同步更新作业执行控制资料。恢复完毕,继续执行作业。
优选的,还包括,
执行状态保存单元310,用于保存当前执行状态标志。
在作业执行控制资料中记录当前作业的各种处理状态,以便监控和查询,状态可以有下面几种:初始化、执行中、中断、暂停、处理完毕、错误发生和远程错误发生等。
优选的,还包括,
控制指令接收单元312,用于接收控制指令;
控制指令判断单元313,用于判断控制指令是否正确;若正确,继续进行处理
执行状态读取单元314,用于读取执行状态标志;
控制指令执行单元315,用于按照所述执行状态标志判断所述控制指令是否可以执行。,若可以执行,继续进行处理。
跨批处理环境和联机环境的调用可以使用控制命令触发,也可以由单独的批处理的触发。在使用控制命令触发时,可以采用以下的命令来控制作业的执行:开始、重启、断点重启和错误恢复。
优选的,还包括,
停止判断单元316,用于判断有无停止请求,若有,停止处理,若无,继续处理;
暂停判断单元317,用于判断有无暂停请求,若有,暂停特定的时间后,继续处理。
当由于非作业自身错误的其他各种原因需要中断作业时,发出停止请求,中断作业的执行,作业状态变为“中断”。中断后可以用中断后重启(RESTART)命令继续作业的执行。
当需要处理一些***问题,例如要避开***资源高峰的时段,可以将作业暂停,暂停等待的时间在执行控制资料中预先设置,也可以通过命令及时修改,等待时间结束自动继续执行作业处理。
本发明在建立了本地批处理环境与异地联机事务平台的联接后,可实现远程访问,调用远程联机***的事务处理程序,可以实现跨地域的调用。
以上对本发明所提供的一种执行批处理作业的方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (14)
1、一种执行批处理作业的方法,其特征在于,包括:
读取数据资料,所述数据资料用于完成特定的批处理作业任务;
按照预设的联机事务转换规则,将数据资料转换为联机事务作业;
将所述联机事务作业发送给联机事务处理环境进行处理;
接收并保存所述联机作业处理环境返回的处理结果;
读取下一条数据资料并重复上述处理,直至处理完所有的数据资料。
2、根据权利要求1所述的方法,其特征在于,在接收并保存所述联机事务处理环境返回的处理结果之后,在读取下一条数据资料之前,还包括,
将已处理标记写入所述数据资料中。
3、根据权利要求2所述的方法,其特征在于,在读取数据资料之后,在将数据资料转换为联机事务作业之前,还包括,
判断所述数据资料是否有已处理标记,若有,不对本条数据资料进行处理,读取下一条数据资料并进行处理,若无,继续处理;
如果上一条数据资料有已处理标记,并且本条数据资料无已处理标记,对本条数据资料进行恢复处理。
4、根据权利要求1所述的方法,其特征在于,还包括,保存当前执行状态标志。
5、根据权利要求4所述的方法,其特征在于,在所述方法之前,还包括,
接收控制指令;
判断控制指令是否正确;若正确,继续下一步处理;
读取执行状态标志;
按照所述执行状态标志判断所述控制指令是否可以执行,若可以执行,继续下一步处理。
6、根据权利要求1所述的方法,其特征在于,在接收并保存所述联机事务处理环境返回的处理结果之后,读取下一条数据资料之前,还包括,
判断有无停止请求,若有,停止处理,若无,继续处理;
判断有无暂停请求,若有,暂停特定的时间后,继续处理。
7、根据权利要求1、2、3、4、5、6所述的方法,其特征在于,所述数据资料是普通业务数据资料、冲正业务数据资料或者非标类型数据资料。
8、根据权利要求1、2、3、4、5、6所述的方法,其特征在于,所述数据资料保存在数据库或者文件中。
9、一种执行批处理作业的装置,其特征在于,包括:
读取单元,用于读取数据资料,所述数据资料用于完成特定的批处理作业任务;
转换单元,用于按照预设的联机事务转换规则,将数据资料转换为联机事务作业;
发送单元,用于将所述联机事务作业发送给联机事务处理环境进行处理;
接收单元,用于接收并保存所述联机事务处理环境返回的处理结果;
第一控制单元,用于控制读取单元读取下一条数据资料并重复进行处理,直至处理完所有的数据资料。
10、根据权利要求9所述的装置,其特征在于,还包括,
标记写入单元,用于将已处理标记写入所述数据资料中。
11、根据权利要求10所述的装置,其特征在于,还包括,
第二控制单元,用于判断所述数据资料是否有已处理标记,若有,不对本条数据资料进行处理,读取下一条数据资料并进行处理,若无,继续处理;
恢复处理单元,用于对数据资料进行恢复处理;
第三控制单元,用于如果上一条数据资料有已处理标记,并且本条数据资料无已处理标记,调用恢复处理单元对本条数据资料进行恢复处理。
12、根据权利要求9所述的装置,其特征在于,还包括,
执行状态保存单元,用于保存当前执行状态标志。
13、根据权利要求12所述的装置,其特征在于,还包括,
控制指令接收单元,用于接收控制指令;
控制指令判断单元,用于判断控制指令是否正确;若正确,继续下一步处理;
执行状态读取单元,用于读取执行状态标志;
控制指令执行单元,用于按照所述执行状态标志判断所述控制指令是否可以执行,若可以执行,继续下一步处理。
14、根据权利要求9所述的装置,其特征在于,还包括,
停止判断单元,用于判断有无停止请求,若有,停止处理,若无,继续处理;
暂停判断单元,用于判断有无暂停请求,若有,暂停特定的时间后,继续处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101732214A CN100498719C (zh) | 2006-12-30 | 2006-12-30 | 一种执行批处理作业的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006101732214A CN100498719C (zh) | 2006-12-30 | 2006-12-30 | 一种执行批处理作业的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101000562A true CN101000562A (zh) | 2007-07-18 |
CN100498719C CN100498719C (zh) | 2009-06-10 |
Family
ID=38692546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006101732214A Active CN100498719C (zh) | 2006-12-30 | 2006-12-30 | 一种执行批处理作业的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100498719C (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556678A (zh) * | 2009-05-21 | 2009-10-14 | 中国建设银行股份有限公司 | 一种批处理业务的处理方法、***及业务处理控制设备 |
CN102222297A (zh) * | 2010-04-15 | 2011-10-19 | ***股份有限公司 | 数据处理方法及*** |
CN102221995A (zh) * | 2011-05-19 | 2011-10-19 | 中国石油集团川庆钻探工程有限公司 | 地震数据处理作业的断点恢复方法 |
CN103501326A (zh) * | 2013-09-26 | 2014-01-08 | 中国银行股份有限公司 | 基于中间件的数据处理方法及*** |
CN104007984A (zh) * | 2014-06-20 | 2014-08-27 | 中国银行股份有限公司 | 一种转换数据的方法及装置 |
CN104077362A (zh) * | 2014-06-09 | 2014-10-01 | 中国建设银行股份有限公司 | 一种联机批量处理数据的***和方法 |
CN104407847A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种批处理的方法及装置 |
CN101430687B (zh) * | 2007-11-09 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 基于oltp环境的统计表应用方法及*** |
CN105912541A (zh) * | 2015-12-12 | 2016-08-31 | 乐视移动智能信息技术(北京)有限公司 | 一种对数据库操作进行批处理的方法和装置 |
CN107609793A (zh) * | 2017-10-09 | 2018-01-19 | 税友软件集团股份有限公司 | 一种处理生产交易***异常状态的方法及装置 |
CN108376171A (zh) * | 2018-02-27 | 2018-08-07 | 平安科技(深圳)有限公司 | 大数据快速导入的方法、装置、终端设备及存储介质 |
CN108961039A (zh) * | 2018-07-02 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 交易处理方法、装置及*** |
CN109492034A (zh) * | 2018-09-17 | 2019-03-19 | 中国建设银行股份有限公司 | 批量处理***、方法、装置和存储介质 |
CN109658264A (zh) * | 2018-12-13 | 2019-04-19 | 泰康保险集团股份有限公司 | 收付方法、装置及设备 |
CN110070440A (zh) * | 2019-04-30 | 2019-07-30 | 苏州工业园区服务外包职业学院 | 一种业务数据处理方法、装置、设备和存储介质 |
CN110232571A (zh) * | 2019-06-04 | 2019-09-13 | 中国工商银行股份有限公司 | 跨行收单数据处理方法、装置及*** |
CN110381150A (zh) * | 2019-07-24 | 2019-10-25 | 中国工商银行股份有限公司 | 区块链上的数据处理方法、装置、电子设备及存储介质 |
CN110597668A (zh) * | 2019-09-20 | 2019-12-20 | 中国银行股份有限公司 | 一种常驻作业的处理方法及*** |
CN110825560A (zh) * | 2018-08-10 | 2020-02-21 | 北京嘀嘀无限科技发展有限公司 | 执行错误处理方法、装置、设备及计算机可读存储介质 |
CN110825771A (zh) * | 2019-10-12 | 2020-02-21 | 中国平安财产保险股份有限公司 | 批量数据处理方法、电子装置、计算机设备及存储介质 |
CN111210340A (zh) * | 2020-01-03 | 2020-05-29 | 中国建设银行股份有限公司 | 一种自动任务处理方法、装置、服务器及存储介质 |
CN111679896A (zh) * | 2020-06-03 | 2020-09-18 | 中国银行股份有限公司 | 基于tws的作业流程循环分析方法及装置 |
CN113971007A (zh) * | 2021-10-29 | 2022-01-25 | 中国建设银行股份有限公司 | 信息处理方法、装置、电子设备及介质 |
-
2006
- 2006-12-30 CN CNB2006101732214A patent/CN100498719C/zh active Active
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430687B (zh) * | 2007-11-09 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 基于oltp环境的统计表应用方法及*** |
CN101556678A (zh) * | 2009-05-21 | 2009-10-14 | 中国建设银行股份有限公司 | 一种批处理业务的处理方法、***及业务处理控制设备 |
CN102222297A (zh) * | 2010-04-15 | 2011-10-19 | ***股份有限公司 | 数据处理方法及*** |
CN102221995A (zh) * | 2011-05-19 | 2011-10-19 | 中国石油集团川庆钻探工程有限公司 | 地震数据处理作业的断点恢复方法 |
CN103501326A (zh) * | 2013-09-26 | 2014-01-08 | 中国银行股份有限公司 | 基于中间件的数据处理方法及*** |
CN104077362A (zh) * | 2014-06-09 | 2014-10-01 | 中国建设银行股份有限公司 | 一种联机批量处理数据的***和方法 |
CN104007984A (zh) * | 2014-06-20 | 2014-08-27 | 中国银行股份有限公司 | 一种转换数据的方法及装置 |
CN104007984B (zh) * | 2014-06-20 | 2017-06-16 | 中国银行股份有限公司 | 一种转换数据的方法及装置 |
CN104407847A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种批处理的方法及装置 |
CN104407847B (zh) * | 2014-10-29 | 2019-05-07 | 中国建设银行股份有限公司 | 一种批处理的方法及装置 |
CN105912541A (zh) * | 2015-12-12 | 2016-08-31 | 乐视移动智能信息技术(北京)有限公司 | 一种对数据库操作进行批处理的方法和装置 |
CN107609793A (zh) * | 2017-10-09 | 2018-01-19 | 税友软件集团股份有限公司 | 一种处理生产交易***异常状态的方法及装置 |
CN108376171A (zh) * | 2018-02-27 | 2018-08-07 | 平安科技(深圳)有限公司 | 大数据快速导入的方法、装置、终端设备及存储介质 |
CN108376171B (zh) * | 2018-02-27 | 2020-04-03 | 平安科技(深圳)有限公司 | 大数据快速导入的方法、装置、终端设备及存储介质 |
CN108961039A (zh) * | 2018-07-02 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 交易处理方法、装置及*** |
CN110825560A (zh) * | 2018-08-10 | 2020-02-21 | 北京嘀嘀无限科技发展有限公司 | 执行错误处理方法、装置、设备及计算机可读存储介质 |
CN110825560B (zh) * | 2018-08-10 | 2022-11-01 | 北京嘀嘀无限科技发展有限公司 | 执行错误处理方法、装置、设备及计算机可读存储介质 |
CN109492034A (zh) * | 2018-09-17 | 2019-03-19 | 中国建设银行股份有限公司 | 批量处理***、方法、装置和存储介质 |
CN109658264A (zh) * | 2018-12-13 | 2019-04-19 | 泰康保险集团股份有限公司 | 收付方法、装置及设备 |
CN110070440A (zh) * | 2019-04-30 | 2019-07-30 | 苏州工业园区服务外包职业学院 | 一种业务数据处理方法、装置、设备和存储介质 |
CN110232571A (zh) * | 2019-06-04 | 2019-09-13 | 中国工商银行股份有限公司 | 跨行收单数据处理方法、装置及*** |
CN110381150A (zh) * | 2019-07-24 | 2019-10-25 | 中国工商银行股份有限公司 | 区块链上的数据处理方法、装置、电子设备及存储介质 |
CN110381150B (zh) * | 2019-07-24 | 2021-12-17 | 中国工商银行股份有限公司 | 区块链上的数据处理方法、装置、电子设备及存储介质 |
CN110597668A (zh) * | 2019-09-20 | 2019-12-20 | 中国银行股份有限公司 | 一种常驻作业的处理方法及*** |
CN110825771A (zh) * | 2019-10-12 | 2020-02-21 | 中国平安财产保险股份有限公司 | 批量数据处理方法、电子装置、计算机设备及存储介质 |
CN110825771B (zh) * | 2019-10-12 | 2024-06-28 | 中国平安财产保险股份有限公司 | 批量数据处理方法、电子装置、计算机设备及存储介质 |
CN111210340A (zh) * | 2020-01-03 | 2020-05-29 | 中国建设银行股份有限公司 | 一种自动任务处理方法、装置、服务器及存储介质 |
CN111210340B (zh) * | 2020-01-03 | 2023-08-18 | 中国建设银行股份有限公司 | 一种自动任务处理方法、装置、服务器及存储介质 |
CN111679896A (zh) * | 2020-06-03 | 2020-09-18 | 中国银行股份有限公司 | 基于tws的作业流程循环分析方法及装置 |
CN113971007A (zh) * | 2021-10-29 | 2022-01-25 | 中国建设银行股份有限公司 | 信息处理方法、装置、电子设备及介质 |
CN113971007B (zh) * | 2021-10-29 | 2024-05-10 | 中国建设银行股份有限公司 | 信息处理方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN100498719C (zh) | 2009-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100498719C (zh) | 一种执行批处理作业的方法及装置 | |
US6138143A (en) | Method and apparatus for asynchronous transaction processing | |
US6990466B1 (en) | Method and system for integrating core banking business processes | |
US5151987A (en) | Recovery objects in an object oriented computing environment | |
US5923833A (en) | Restart and recovery of OMG-compliant transaction systems | |
CN102934114B (zh) | 用于文件***的检查点 | |
CN100452030C (zh) | 用于在数据库恢复期间快照查询的***和方法 | |
CN101601013B (zh) | 在处理环境中控制指令执行 | |
EP0351969A2 (en) | Exactly-once semantics in a TP queuing system | |
US20030046298A1 (en) | Transaction processing system providing improved methodology for two-phase commit decision | |
US6381617B1 (en) | Multiple database client transparency system and method therefor | |
US6389431B1 (en) | Message-efficient client transparency system and method therefor | |
JPH06301581A (ja) | 過ち許容トランザクション指向データ処理 | |
JPH10124371A (ja) | 取引処理方法及びシステム | |
CN101212336A (zh) | 一种客户端自动更新软件的方法及辅助方法以及相应装置 | |
CN104077362A (zh) | 一种联机批量处理数据的***和方法 | |
US5706500A (en) | Selective transaction oriented recovery and restart for message-driven business applications | |
CN115633025B (zh) | 基于USBServer的智能一体化设备及应用方法 | |
CN114925084A (zh) | 分布式事务处理方法、***、设备及可读存储介质 | |
US20060085473A1 (en) | Method and system for business process super-transaction | |
US6330686B1 (en) | Handling protected conversation messages across IMS restart in shared queues environment | |
CN111026769A (zh) | 双核心前置***的工作方法及其相关设备 | |
US7668093B1 (en) | Architecture for balancing workload | |
US6256641B1 (en) | Client transparency system and method therefor | |
CN100556026C (zh) | 基于Web的金融自助服务***的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |