CN1192308C

CN1192308C - 一种快速消除数据库差异信息的方法

Info

Publication number: CN1192308C
Application number: CNB011295910A
Authority: CN
Inventors: 卢志坚; 郭晓征; 刘靖
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2001-06-28
Filing date: 2001-06-28
Publication date: 2005-03-09
Anticipated expiration: 2021-06-28
Also published as: CN1393771A; WO2003003244A1

Abstract

一种在多数据库应用***中消除数据库差异信息的方法，在数据库操作产生差异信息时，管理配置模块中的管理后台将差异信息记录到差异信息内存表和差异信息文件中。接收管理前台发来的重试请求，根据收到的重试识别码取出差异信息中的标记和待执行的数据库结构化查询语言指令或存储过程，并由相应的数据库重新执行这些结构化查询语言指令或存储过程。重试操作成功时，从差异信息内存表和差异信息物理文件中删除差异信息记录。重试操作部分成功时，更新差异信息内存表和差异信息物理文件中该差异信息。

Description

一种快速消除数据库差异信息的方法

技术领域

本发明涉及快速消除数据库差异信息的方法。特别是一种消除大型分布***中并行处理的多个相关数据库中产生的数据库差异信息的方法，以保障对多个数据库操作的一致性。

背景技术

随着计算机技术的发展和普及，大型数据库迅速进入到电信、金融等各个行业。在当今信息***的年代，很多场合中单个数据库越来越难以满足性能和信息量的需要，因此，分布式数据库更多地投入使用。

以呼叫管理中心(CMC)为例，呼叫管理中心最主要的业务是拨号上网认证业务。一个拨号用户的拨号请求到达某台接入服务器(NAS)，接入服务器把该请求发送到呼叫管理中心，由呼叫管理中心根据某种认证策略来决定接受或拒绝该请求。呼叫管理中心的拨号上网认证业务具体由协议处理模块实施，协议处理模块运行后一直监听接入服务器发来的报文，并对其作相应的处理，把结果报文发回到接入服务器。

协议处理模块对接入服务器发来的报文的处理依赖于数据库提供的存储过程。即数据库提供各种报文处理的存储过程，协议处理模块在与接入服务器交互的过程中不断地调用数据库的存储过程，交互过程产生的大量拨号用户的上网信息也存入数据库。

因此，呼叫管理中心的拨号上网认证业务由协议处理模块和数据库模块相互配合实施(这两个模块可以在同一台机器上运行，也可以各占一台机器运行)。随着业务量的快速增长，单个呼叫管理中心的运作方式不能满足用户需求。为提高***端口批发处理能力而采用多个分布式的呼叫管理中心(DCMC)。分布式呼叫管理中心采用分布式并行处理的IP接入公共平台***，实现了多个数据库独立运行的机制。每个数据库对应一个呼叫管理中心，不同数据库管理不同接入码的呼叫控制。因此，各个数据库必需配置同样的端口、路由管理中心(RMC)等全网资源信息。在多数据库应用***中，管理台软件往往需要对多个数据库进行同步操作，调用同样的存储过程，负责***内所有数据库的配置查询工作。在对全网资源进行配置(增加、删除、修改)时，需要对***中所有数据库调用同样的存储过程。由于各种原因(例如网络故障)，可能导致某些数据库执行存储过程成功，而某些数据库执行存储过程失败，这时就出现了数据库差异信息。数据库差异信息会影响整个***的端口批发处理能力，造成不必要的呼叫损失。因此，如何快速可靠地消除数据库差异信息是多数据库应用***必需解决的问题。

在多数据库应用***中，消除数据库差异信息一般采用回滚的方法。回滚方法采用的策略是一旦产生差异信息，即对配置成功的数据库执行逆方向的存储过程。考虑到差异信息产生时，各个数据库都已经执行完了存储过程，因此无法利用数据库自身的回滚机制。另外，回滚方法还有以下缺陷：

1.增加了编写逆方向存储过程的开销，而且有些存储过程需要更新多个表时，编写对应的逆方向存储过程比较困难；

2.逆方向存储过程不能保证成功执行，可能导致消除差异信息失败。

发明内容

因此，针对多数据库应用***的上述问题，本发明的目的在于提供一种能够快速、可靠地消除数据库差异信息的方法。

本发明提供的消除数据库差异信息的方法采用重试机制。重试机制就是一旦产生数据库差异信息，记录下该差异信息(包括存储过程命令和操作失败数据库的标识)，并定时触发或手动控制对操作失败的数据库重新执行曾执行失败的存储过程。

根据本发明的一个方面，提供一种利用管理配置模块消除多数据库应用***中数据库差异信息的方法，该管理配置模块包括管理后台和管理前台，其特征在于该方法包括下列步骤：

(a)设置管理配置模块的管理后台，生成差异信息内存表和差异信息文件，

(b)在对应的数据库中执行结构化查询语言(SQL)指令或存储过程，

(c)检查数据库的结构化查询语言指令或存储过程的处理结果，判断数据库操作是否成功，

(d)如果在步骤(c)判断数据库操作部分成功，则针对操作失败的数据库产生一个带有重试识别码的差异信息，并将所述差异信息记录在所述差异信息内存表和差异信息文件中，向管理前台返回部分成功的指示，如果数据库操作全部成功，则向管理前台返回全部成功的指示，如果数据库操作全部失败，则向管理前台返回全部失败的指示，

(e)管理后台接收管理前台发送的携带有重试识别码的重试命令，根据收到的重试识别码在差异信息文件中找到与该重试识别码对应的差异信息，

(f)从对应的差异信息中得到该差异信息记录的标记字段和要执行的存储过程或结构化查询语言指令，并依据这些差异信息的指针到某个或某些数据库调用该存储过程或结构化查询语言指令并执行重试操作，

(g)检查重试操作的处理结果，判断重试操作是否全部成功，

(h)如果在步骤(g)判断重试操作全部成功，则删除差异信息内存表和差异信息文件中记录的差异信息，并向管理前台返回全部成功指示，

(i)如果在步骤(g)判断重试操作未全部成功，则判断重试操作是部分成功还是全部失败，

(j)如果在步骤(i)中判断重试操作部分成功，则更新差异信息内存表和差异信息文件中记录的差异信息，并向管理前台返回部分成功的指示，

(k)如果在步骤(i)判断重试操作全部失败，进一步包括向管理前台返回重试操作全部失败的指示的步骤。

另外，在对应的数据库中执行结构化查询语言指令或存储过程的步骤(b)之前，进一步包括接收前台的命令请求并将所述命令请求转化成相应的存储过程或结构化查询语言指令的步骤。

另外，在更新差异信息内存表和差异信息文件中记录的差异信息的步骤(i)中进一步包括删除与重试操作成功的数据库对应的差异信息。

本发明中的差异信息包含重试识别码字段，标记字段和产生该差异信息时数据库执行的查询语句或存储过程。

附图说明

下面结合附图对本发明消除数据库差异信息的方法进行详细描述，以便更好地理解本发明的目的，特性和优点。

图1是分布式呼叫管理中心的总体方框图；

图2是数据库产生差异信息的流程图；

图3是根据本发明的差异信息记录格式；

图4是根据本发明的消除数据库差异信息的流程图。

具体实施方式

参考图1说明分布式呼叫管理中心的结构和工作原理。图中以三台呼叫管理中心为例组成分布式呼叫管理中心。分布式呼叫管理中心主要由协议处理模块2、数据库3和管理配置模块4组成。操作中，接入服务器(NAS)1接收来自拨号用户访问数据的拨号请求，并把该访问请求发送给呼叫管理中心，呼叫管理中心的协议处理模块2根据数据库3提供的存储过程对接入服务器1发来的报文进行分析，对访问请求做合法性检查。根据特定的认证方式来决定接受或拒绝该访问请求。协议处理模块2运行后一直监听接入服务器1发来的报文，在与接入服务器1交互过程中不断地调用数据库的存储过程，并对该报文进行相应处理，把结果报文发回给接入服务器1。

数据库3主要有两个功能：第一，为主流程协议处理部分提供接口，并确保主流程处理效率；第二，为管理配置模块4提供接口，并确保管理配置模块的数据一致性。管理配置模块的主要功能有：第一，为***操作员提供呼叫管理的管理配置功能，包括客户管理、资源管理、操作员管理、性能管理和安全管理；第二，为端口租用客户实时提供网络运行情况信息，并具有统计分析的能力，让客户了解与其有关的性能指标。

管理配置模块4的作用是给***管理人员提供一个接口界面，以便配置数据库信息(如***中有哪些接入服务器等)和上网信息查询。管理配置模块4又分为管理后台和管理前台，管理后台是处理核心，整个呼叫管理中心***只配置一份，管理前台提供人机交互界面，***中可以有多个管理前台程序在同时运行。管理前台与管理后台通过CORBA(公用对象请求代理架构)标准和IIOP协议(因特网目标请求代理间协议)通信。IIOP协议可实现因特网客户机与CORBA服务器之间的互操作性，另一方面，可实现CORBA客户机与因特网服务器之间的互操作性，使得即使连接的不同类型的计算机或各种程序语言写成的对象只要符合CORPA标准即可在对象间相互通信。管理前台响应用户输入的配置或查询请求，把该配置或查询请求转化成对管理后台的命令请求。管理后台接到命令请求后，执行相关的数据库存储过程或查询命令，把最终处理结果交给对应的管理前台。管理前台最后把收到的结果显示在界面上。管理前台的操作人员只与管理前台打交道，感觉不到管理后台的存在。

在管理后台中，与***中每个数据库3对应，都有一个对应的数据库工作线程(简称工作线程)，一个工作线程可以理解成对相应的数据库的连接。图1所示***中有三个数据库，管理后台就有三个工作线程。所有工作线程都由管理后台中的主线程控制，在管理后台没有收到管理前台发来的命令请求时，管理后台的所有工作线程都处在等待状态；

下面结合图2描述数据库差异信息的产生过程。首先，在步骤S200，设置管理配置模块的管理后台，生成差异信息内存表和差异信息文件。差异信息内存表和差异信息文件用于记录多数据库应用***当前存在的所有差异信息。这样，即使管理后台异常退出(如掉电)，差异信息仍可从差异信息的物理文件中恢复。在步骤S201，呼叫管理中心中的管理配置模块的管理后台接收管理前台发来的命令请求，该命令请求包含表示每个数据库专有的数据库识别码(DBID)，管理后台分析该请求，将该命令请求转化成对应的数据库SQL(结构化查询语言)命令或存储过程。在步骤S202，管理后台从中提取DBID。DBID指示对那个数据库进行操作，例如，***中有三个数据库，其序号就分别是0、1、2，DBID＝2就表示本次命令只对序号为2的数据库进行操作。另外，设定一种情况，当DBID＝-1时就表示本次命令请求对***中所有数据库进行操作。在步骤S203，管理后台根据提取的DBID的值来设置该DBID对应的工作线程的初始环境。此后，在步骤S204，管理后台解开该DBID对应的一个或所有工作线程的互斥锁。解锁后的工作线程就进入工作状态，执行对应数据库的SQL命令或存储过程。管理后台在步骤S205等待所有工作线程处理结束，工作线程执行完数据库SQL命令或存储过程后，互斥锁重新由主线程锁住，工作线程回到等待状态。在步骤S206，检查数据库的SQL命令或存储过程的处理结果，判断数据库操作是否全部成功。如果在步骤S206判断数据库操作全部成功，则在步骤S207向管理前台返回全部成功指示。如果在步骤S206判断数据库操作没有全部成功，则在步骤S208判断数据库操作是否部分成功。如果在步骤S208判断数据库操作部分成功，则在步骤S209针对操作失败的数据库在差异信息内存表和差异信息文件中产生一个差异信息记录，记录产生该差异信息时数据库执行的查询语句或存储过程，并在步骤S210向管理前台返回部分成功的指示。如果在步骤S208判断数据库操作不是部分成功，则在步骤S211向管理前台返回全部失败的指示。

下面参考图3说明差异信息文件的结构。差异信息文件以二进制格式存储。每条差异信息对应一条记录，为保证记录快速读写，将差异信息记录设为定长结构。差异信息中包含表示差异信息记录的唯一标识的重试识别码(RedoID)字段，重试识别码指示管理后台到差异信息文件中的哪一部分去提取有关的差异信息。重试识别码字段之后是标记(Flag)字段，标记字段标识出哪些数据库需要对该差异信息进行重试。标记字段的长度可以是例如四个字节，共32位，每一位对应一个数据库。在本发明中设定为：如果该标记某一位的值为“1”，则表示该位所对应的数据库产生了差异信息，如果该标记某一位的值为“0”，则表示该位所对应的数据库未产生差异信息，即该数据库执行成功。标记字段后面是命令串(CommandString)。命令串是指产生该差异信息时数据库执行的查询语句或存储过程。管理后台一旦发现某条命令出现部分成功时，它知道具体是哪一个或一些数据库执行失败，也知道当时的命令具体是什么。因此，管理后台可以准确地将一条差异信息记录加到内存差异信息内存表以及差异信息文件中。然后给前台返回部分成功指示，该部分成功指示中携带重试识别码字段。

管理前台收到管理后台的部分成功指示后，输出由于部分成功而产生的差异信息，并提醒操作员。由操作员对产生差异信息的数据库进行定位。操作员判断数据库是否正常运行，连接是否正常，等等。假如操作员发现某数据库所在主机的网线掉了，重新接好，然后回到管理前台，输入重试指令，操作员就向管理前台发送了一条“重试”命令，管理前台再把携带重试识别码的命令发送给管理后台。

参考图4描述消除数据库差异信息的过程。在步骤S401，管理后台接收管理前台发送的携带有重试识别码的重试命令，管理后台在步骤S402根据收到的重试识别码到差异信息文件中找到与该重试识别码对应的具体差异信息，从对应的差异信息中得到差异信息记录的标记字段和要执行的存储过程或SQL命令，以及哪个或哪些数据库需要执行该存储过程或SQL命令的信息。然后，在步骤S403，管理后台按照标记字段的指示设置相应的工作线程的初始环境。在步骤S404，按照标记字段给相应的工作线程解锁，依据这条差异信息的指针到某个或某些数据库调用该存储过程或SQL命令并执行重试操作。在步骤S405，等待所有工作线程处理结束回到等待状态。在步骤S406，检查数据库的处理结果，判断重试操作是否全部成功。如果在步骤S406判断重试操作全部成功，在步骤S408删除差异信息内存表和差异信息文件中记录的差异信息，并在步骤S408向管理前台返回全部成功指示。如果在步骤S406判断重试操作没有全部成功，则在步骤S407判断重试操作是否部分成功。如果在步骤S407判断重试操作部分成功，则在步骤S409更新差异信息内存表和差异信息文件中记录的差异信息，删除与重试操作成功的数据库对应的差异信息，并在步骤S410向管理前台返回部分成功的指示。如果在步骤S407判断重试操作全部失败，则在步骤S411向管理前台返回全部失败的指示。

根据本发明，在管理后台设置一个轮巡线程，该轮巡线程可在管理前台未输入重试命令的情况下，定期对***中所有差异信息做一次重试，防止差异信息的累积增长。

在本发明的多数据库应用***中，管理台提供了交互式操作界面，每当新出现一个差异信息时，管理后台可以及时通知管理前台，便于操作员最快地定位故障问题，并对该差异信息进行重试。

多个数据库产生的差异信息统一由唯一的管理后台管理，管理前台只是输入对某条差异信息的重试请求，由管理后台实施重试操作，并把操作结果返回给管理前台；一个管理前台可以获取***中由所有数据库产生的差异信息，便于操作员快速全面地对问题定位，尽早消除差异信息。

至此已结合实施例说明了本发明的具体实施过程。本发明的消除数据库差异信息的方法在分布式多数据库应用***中运行取得了满意的结果，为分布式多数据库应用***提供了一种通用、快速地消除数据库差异信息的方法。

Claims

1.一种利用管理配置模块消除多数据库应用***中数据库差异信息的方法，所述管理配置模块包括管理后台和管理前台，其特征在于该方法包括下列步骤：

(g)检查重试操作的处理结果，判断重试操作是否全部成功，

2.根据权利要求1所述的消除数据库差异信息的方法，其特征在于，在对应的数据库中执行结构化查询语言指令或存储过程的步骤(b)之前，进一步包括接收前台的命令请求并将所述命令请求转化成相应的存储过程或结构化查询语言指令的步骤。

3.根据权利要求1所述的消除数据库差异信息的方法，其特征在于，在更新差异信息内存表和差异信息文件中记录的差异信息的步骤(i)中进一步包括删除与重试操作成功的数据库对应的差异信息。

4.根据权利要求1至3中任何一项所述的消除数据库差异信息的方法，其特征在于，记录的所述差异信息包含重试识别码字段，标记字段和产生所述差异信息时数据库执行的结构化查询语言指令或存储过程。