CN116541461A - 应用于数据库的数据处理方法、装置、设备及存储介质 - Google Patents

应用于数据库的数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116541461A
CN116541461A CN202310343657.7A CN202310343657A CN116541461A CN 116541461 A CN116541461 A CN 116541461A CN 202310343657 A CN202310343657 A CN 202310343657A CN 116541461 A CN116541461 A CN 116541461A
Authority
CN
China
Prior art keywords
database
slave
transaction
virtual address
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310343657.7A
Other languages
English (en)
Inventor
邓强
李保昌
迟爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310343657.7A priority Critical patent/CN116541461A/zh
Publication of CN116541461A publication Critical patent/CN116541461A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种应用于数据库的数据处理方法、装置、设备及存储介质,可以应用于大数据技术领域。该数据库的数据处理方法包括:响应于接收到来自应用软件的访问请求,根据访问请求的域名确定第一虚拟地址,访问请求用于访问主数据库,第一虚拟地址与主数据库对应;在确定主数据库出现故障的情况下,确定与主数据库相连的M个从数据库的运行状态,M大于等于2;根据运行状态,从M个从数据库中确定目标从数据库;解除第一虚拟地址与域名的绑定关系,并将与目标从数据库对应的第二虚拟地址与域名进行绑定;将访问请求通过第二虚拟地址发送至目标从数据库,以便通过目标从数据库执行与访问请求对应的操作。

Description

应用于数据库的数据处理方法、装置、设备及存储介质
技术领域
本公开涉及大数据技术领域,更具体地涉及一种应用于数据库的数据处理方法、装置、设备及存储介质。
背景技术
分布式数据库内的数据库采用一个主数据库多个从数据库的半同步架构。相关技术中,主数据库执行数据处理操作并将执行结果写入数据库,在从数据库实现数据同步之后,主数据库才返回执行结果。
在实现本公开发明构思的过程中,发明人发现相关技术中至少存在如下问题:在主数据库和从数据库之间的网络出现异常,但主数据库与应用软件之间的网络正常的情况下,应用软件的数据可以继续写入原主数据库和故障处理后新的主数据库,导致一个数据库内存在两个可以写入数据的主数据库,造成业务数据不一致的现象。
发明内容
鉴于上述问题,本公开提供了一种应用于数据库的数据处理方法、装置、设备及存储介质。
根据本公开的第一个方面,提供了一种应用于数据库的数据处理方法,包括:
响应于接收到来自应用软件的访问请求,根据访问请求的域名确定第一虚拟地址,访问请求用于访问主数据库,第一虚拟地址与主数据库对应;
在确定主数据库出现故障的情况下,确定与主数据库相连的M个从数据库的运行状态,M大于等于2;
根据运行状态,从M个从数据库中确定目标从数据库;
解除第一虚拟地址与域名的绑定关系,并将与目标从数据库对应的第二虚拟地址与域名进行绑定;以及
将访问请求通过第二虚拟地址发送至目标从数据库,以便通过目标从数据库执行与访问请求对应的操作。
根据本公开的实施例,该方法还包括:
在解除第一虚拟地址与域名的绑定关系之后,将第一虚拟地址更新为预设地址,预设地址表征无法访问的地址。
根据本公开的实施例,其中,根据运行状态,从M个从数据库中确定目标从数据库,包括:
获取确认字符的返回值,确认字符来自从数据库,用于表征从数据库已经完成数据同步,返回值表征已经完成数据同步的从数据库的数目;
根据运行状态,确定确认字符的标准值;
在返回值大于或等于标准值的情况下,从已经完成数据同步的从数据库中随机确定一个从数据库,作为目标从数据库。
根据本公开的实施例,其中,根据运行状态,确定确认字符的标准值,包括:
在确定M个从数据库的运行状态均为正常的情况下,确定标准值为M-1;
在确定M个从数据库的运行状态存在异常的情况下,将标准值更新为1。
根据本公开的实施例,该方法还包括:
主数据库的等待时长被配置为预设时长,以便主数据库在预设时长内等待M个从数据库返回运行状态,预设时长大于默认处理时长,默认处理时长表征正常情况下的处理时长。
根据本公开的实施例,该方法还包括:
响应于接收到来自检测服务器的检测请求,根据操作类型,确定主数据库的事务执行状况,事务执行状况包括数据库中对原始数据执行预设事务之后返回的第一数据量;
向检测服务器发送主数据库的事务执行状况,以便检测服务器根据第一数据量生成事务关闭语句,事务关闭语句用于关闭第一数据量超过预设阈值的目标事务;
响应于接收到来自检测服务器的事务关闭语句,执行事务关闭语句,以关闭目标事务。
根据本公开的实施例,其中,第一数据量包括返回记录数或字节数,预设阈值包括第一预设阈值或第二预设阈值,
事务关闭语句用于关闭返回记录数超过第一预设阈值的目标事务;或者,
事务关闭语句用于关闭字节数超过第二预设阈值的目标事务。
根据本公开的实施例,其中,响应于接收到来自检测服务器的检测请求,根据操作类型,确定主数据库的事务执行状况,包括:
根据操作类型,确定执行预设事务前后的数据量变化关系;
获取与原始数据对应的第二数据量;以及
根据数据量变化关系和第二数据量,生成第一数据量。
本公开的第二方面提供了一种应用于数据库的数据处理装置,包括:
第一确定模块,用于响应于接收到来自应用软件的访问请求,根据访问请求的域名确定第一虚拟地址,访问请求用于访问主数据库,第一虚拟地址与主数据库对应;
第二确定模块,用于在确定主数据库出现故障的情况下,确定与主数据库相连的M个从数据库的运行状态,M大于等于2;
第三确定模块,用于根据运行状态,从M个从数据库中确定目标从数据库;
绑定模块,用于解除第一虚拟地址与域名的绑定关系,并将与目标从数据库对应的第二虚拟地址与域名进行绑定;以及
发送模块,用于将访问请求通过第二虚拟地址发送至目标从数据库,以便通过目标从数据库执行与访问请求对应的操作。
本公开的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器执行上述应用于数据库的数据处理方法。
本公开的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述应用于数据库的数据处理方法。
本公开的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述应用于数据库的数据处理方法。
本公开的实施例通过响应于接收到来自应用软件的访问请求,根据访问请求的域名确定第一虚拟地址,第一虚拟地址与主数据库对应;在确定主数据库出现故障的情况下,确定与主数据库相连的M个从数据库的运行状态;根据运行状态,从M个从数据库中确定目标从数据库;解除第一虚拟地址与域名的绑定关系,并将与目标从数据库对应的第二虚拟地址与域名进行绑定;将访问请求通过第二虚拟地址发送至目标从数据库,以便通过目标从数据库执行与访问请求对应的操作,实现了数据库切换对应用无感知。
由于本公开的实施例通过将域名与虚拟地址进行绑定,在主数据库出现故障的情况下,更新域名与虚拟地址的绑定关系,使得通过访问请求无法访问主数据库,仅能访问一个目标从数据库,不仅实现了数据库切换对应用无感知,还能够避免出现两个数据库均可写入数据的现象,减少了数据库切换对业务的影响,减少了应急时间。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的应用于数据库的数据处理方法的应用场景;
图2示意性示出了根据本公开实施例的应用于数据库的数据处理方法的流程图;
图3示意性示出了根据本公开实施例的确定目标从数据库方法的流程图;
图4示意性示出了根据本公开实施例的数据库内数据处理流程的应用场景;
图5示意性示出了根据本公开实施例的目标事务的关闭方法的流程图;
图6示意性示出了根据本公开实施例的关闭目标事务的应用场景;
图7示意性示出了根据本公开实施例的应用于数据库的数据处理装置的结构框图;以及
图8示意性示出了根据本公开实施例的适于应用于数据库的数据处理方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
在本公开的技术方案中,所涉及的数据(如包括但不仅限于用户个人信息)的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
针对半同步复制方式,应用软件向数据库服务器提交新的事务,数据库服务器接收到新的事务之后,由主数据库自身执行上述事务,并将执行结果写入主数据库。在将执行结果写入主数据库之后,主数据库并不直接向应用软件返回执行结果,而是等待多个从数据库完成数据同步之后才向应用软件返回执行结果。
在主数据库和从数据库之间的网络出现异常,但主数据库与应用软件之间的网络正常时,由于主数据库和从数据库之间的网络出现异常,因此数据库服务器会将一个从数据库提升为主数据库;但是,主数据库与应用软件之间的网络正常,应用可以持续向数据库写入数据。在上述情况下,会存在一个数据库内存在两个可以写入数据的主数据库,导致数据库内数据不一致的脑裂现象。
本公开的实施例提供了一种应用于数据库的数据处理方法,包括:响应于接收到来自应用软件的访问请求,根据访问请求的域名确定第一虚拟地址,访问请求用于访问主数据库,第一虚拟地址与主数据库对应;在确定主数据库出现故障的情况下,确定与主数据库相连的M个从数据库的运行状态,M大于等于2;根据运行状态,从M个从数据库中确定目标从数据库;解除第一虚拟地址与域名的绑定关系,并将与目标从数据库对应的第二虚拟地址与域名进行绑定;以及将访问请求通过第二虚拟地址发送至目标从数据库,以便通过目标从数据库执行与访问请求对应的操作。
图1示意性示出了根据本公开实施例的应用于数据库的数据处理方法的应用场景。
如图1所示,根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103的客户端应用功能提供支持的数据库服务器。数据库服务器可以对接收到的用户请求等数据进行分析等处理,并在实现数据同步之后将执行结果返回终端设备。
本公开实施例所提供的应用于数据库的数据处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据库的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据库的数据处理方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据库的数据处理装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景,通过图2~图6对公开实施例的数据库的数据处理方法进行详细描述。
图2示意性示出了根据本公开实施例的应用于数据库的数据处理方法的流程图。
如图2所示,该方法200包括操作S210~S250。
在操作S210,响应于接收到来自应用软件的访问请求,根据访问请求的域名确定第一虚拟地址。
根据本公开的实施例,数据库服务器内包括一个主数据库和多个从数据库。应用软件的访问请求用于访问主数据库,在主数据库出现故障的情况下,访问请求用于访问上述主数据库的从数据库。
根据本公开的实施例,数据库服务器可以为分布式数据库中的一个数据库分片,用于存储并执行预定业务场景或预定业务类型的数据。分布式数据库可以为redis集群,主数据库和从数据库可以为MySQL数据库。
根据本公开的实施例,应用软件与数据库服务器通过域名***(Domain NameSystem,DNS)服务实现连接。具体的,域名***服务可以将域名和互联网协议(InternetProtocol,IP)地址相互映射的,使得应用软件通过DNS访问数据库服务器内的数据库。
根据本公开的实施例,主数据库和从数据库包括自身操作***所使用的物理IP地址,还包括与每个数据库对应的虚拟IP地址。其中,与主数据库对应的虚拟IP地址为第一虚拟地址,与从数据库对应的虚拟IP地址为第二虚拟地址。
在操作S220,在确定主数据库出现故障的情况下,确定与主数据库相连的M个从数据库的运行状态,M大于等于2。
根据本公开的实施例,在主数据库出现故障的情况下,为了保证应用软件访问请求的正常响应,数据库服务器将通过与主数据库相关联的从数据库处理上述访问请求。
根据本公开的实施例,在分布式服务器中,一个主数据库可以存在M个从数据库,由此,通过确定M个从数据库的运行状态,从M个从数据库中确定出用于处理访问请求的目标从数据库。
根据本公开的实施例,运行状态用于表征从数据库是否存在故障。
根据本公开的实施例,可以根据主数据库的运行状态,确定主数据库是否存在故障。其中,主数据库的故障类型包括:主数据库和从数据库之间的网络故障或断开,但主数据库可以正常接收应用软件的访问请求。
在操作S230,根据运行状态,从M个从数据库中确定目标从数据库。
根据本公开的实施例,在确定M个从数据库的运行状态之后,可以基于M个从数据库的运行状态,从M个从数据库中确定一个运行正常的从数据库,并将该运行正常的从数据库确定为目标从数据库。
在操作S240,解除第一虚拟地址与域名的绑定关系,并将与目标从数据库对应的第二虚拟地址与域名进行绑定。
根据本公开的实施例,应用软件是通过域名访问数据库服务器内的数据库。在主数据库未出现故障的情况下,访问请求的域名与第一虚拟地址进行绑定。
根据本公开的实施例,由于第一虚拟地址上仅挂载主数据库,在主数据库和从数据库之间的网络出现故障的情况下,为了避免访问请求访问主数据库,将访问请求的域名与第一虚拟地址接触绑定关系,并将域名与第二虚拟地址进行绑定。由此,访问请求可以通过与第二虚拟地址,访问与第二虚拟地址对应的从数据库。
根据本公开的实施例,由于第一虚拟地址与域名之间的绑定关系已经解除,因此,数据库服务器内不会出现主数据库和与第二虚拟地址对应的从数据库均可以写入数据的情况。
在操作S250,将访问请求通过第二虚拟地址发送至目标从数据库,以便通过目标从数据库执行与访问请求对应的操作。
根据本公开的实施例,在将域名与第二虚拟地址进行绑定之后,数据服务器可以根据访问请求的域名确定待访问的目标从数据库,即可将访问请求通过第二虚拟地址发送至目标从数据库,以便通过目标从数据库执行与访问请求对应的操作。
例如,第一虚拟地址可以为VIP1,第二虚拟地址可以为VIP2。主数据库的物理地址为TIP1,目标从数据库的物理地址为TIP2。第一虚拟地址上挂载主数据库,第二虚拟地址上挂载目标从数据库。即虚拟地址和物理地址之间的映射关系为VIP1-TIP1、VIP2-TIP2。
在主数据库未出现故障的情况下,由于域名***服务DNS中配置了主库数据库所使用的第一虚拟地址VIP1,应用软件可以通过DNS确定第一虚拟地址VIP1,并通过与第一虚拟地址VIP1关联的物理地址,如TIP1,访问主数据库。数据访问关系为DNS-VIP1-TIP1。
当主数据库出现故障时,将主数据库的第一虚拟地址VIP1与DNS解除绑定,将确定目标从数据库的第二虚拟地址VIP2与DNS绑定,以便数据服务器正常接入应用访问请求。此时,应用软件可以通过DNS确定第二虚拟地址VIP2,并通过与第二虚拟地址VIP2关联的物理地址,如TIP2,访问目标从数据库。数据访问关系为DNS-VIP2-TIP2。
根据本公开的实施例,由于第一虚拟地址上仅挂载主数据库,在主数据库和从数据库之间的网络出现故障的情况下,访问请求可以通过第一虚拟地址访问主数据库,但是主数据库无法接收从数据库的响应。此时,在数据库服务器会自动将一个从数据库提升为主数据库已完成数据处理并向应用软件返回执行结果。但是,这种情况下,半同步复制会降级为异步复制,无法保障从数据库的数据完整性。
本公开的实施例通过响应于接收到来自应用软件的访问请求,根据访问请求的域名确定第一虚拟地址,第一虚拟地址与主数据库对应;在确定主数据库出现故障的情况下,确定与主数据库相连的M个从数据库的运行状态;根据运行状态,从M个从数据库中确定目标从数据库;解除第一虚拟地址与域名的绑定关系,并将与目标从数据库对应的第二虚拟地址与域名进行绑定;将访问请求通过第二虚拟地址发送至目标从数据库,以便通过目标从数据库执行与访问请求对应的操作,实现了数据库切换对应用无感知。
由于本公开的实施例通过将域名与虚拟地址进行绑定,在主数据库出现故障的情况下,更新域名与虚拟地址的绑定关系,使得在同时间点无法访问主数据库,仅能访问一个目标从数据库,不仅实现了数据库切换对应用无感知,还能够避免出现两个数据库均可写入数据的现象,减少了数据库切换对业务的影响,减少了应急时间。
根据本公开的实施例,该方法还包括以下步骤:在解除第一虚拟地址与域名的绑定关系之后,将第一虚拟地址更新为预设地址,预设地址表征无法访问的地址。
根据本公开的实施例,在更新域名与虚拟地址之间的绑定关系之后,虽然数据库服务器内存在两个主数据库(故障的主数据库和目标从数据库),但是同一时间只有一个主数据库(目标从数据库)能写入数据,且被写入的主数据库内的数据具有时间连续行,从而保障了主数据库和从数据库的数据一致性。
根据本公开的实施例,为了进一步保证无法故障的主数据库无法写入数据,通过将第一虚拟地址指向无法访问的预设地址,使得第一虚拟地址上不再挂载主数据库。
本公开的实施例,由于对数据库的访问是通过域名-虚拟地址-物理地址的关系实现的,在解除域名和第一虚拟地址之间绑定关系之后,更进一步将虚拟地址指向无法访问的预设地址,实质上是解除了主数据库和虚拟地址之间的挂载,以确保主数据库不会收到访问请求,也不会执行数据写入操作,进一步保证了数据一致性。
图3示意性示出了根据本公开实施例的确定目标从数据库方法的流程图。
如图3所示,该实施例的确定目标从数据库方法300包括操作S331~操作S333,可以作为操作S230的一个具体实施例。
在操作S331,获取确认字符的返回值,确认字符来自从数据库,用于表征从数据库已经完成数据同步,返回值表征已经完成数据同步的从数据库的数目。
在操作S332,根据运行状态,确定确认字符的标准值。
在操作S333,在返回值大于或等于标准值的情况下,从已经完成数据同步的从数据库中随机确定一个从数据库,作为目标从数据库。
根据本公开的实施例,在返回值大于或等于标准值的情况下,表明已经满足标准值的从数据库完成了数据同步,可以将已完成数据同步的从数据库作为目标从数据库,以保证数据的完整性和一致性。
根据本公开的实施例,在返回值小于标准值的情况下,表明没有或者少于标准值的从数据库完成了数据同步。为了避免目标从数据库未完成数据同步就开始执行数据写入,导致目标从数据库的数据与主数据库的数据不一致的情况,在返回值小于标准值的情况下,等待未完成数据同步的从数据库执行数据同步并返回确认字符。
例如,主数据库对应三个从数据库,分别为从数据库A、从数据库B和从数据库C。主数据库接收到来自从数据库A和从数据库C的确认字符,表明从数据库A和从数据库C已经完成数据同步。主数据库未接收到来自从数据库B的确认字符,表明从数据库B未完成数据同步,此时,确认字符的返回值为2。
根据本公开的实施例,确认字符(Acknowledgement)可以缩写为ACK字符。在实际应用中,可以用ACK作为字段名。
根据本公开的实施例,根据M个从数据库的运行状态,确定确认字符的标准值,有助于根据从数据库的实际运行状态,灵活调整标准值,以减少响应时间。
例如,如果标准值固定不变,为2。针对一主三从的数据库架构,在两个从数据库出现故障的情况下,返回值最多为1,无法达到标准值,使得无法数据库服务器一直处于等待状态,无法执行操作。
根据本公开的实施例,根据M个从数据库的运行状态,确定确认字符的标准值,有助于根据从数据库的实际运行状态,灵活调整标准值,以减少响应时间。
根据本公开的实施例,根据运行状态,确定确认字符的标准值可以包括以下步骤。
在确定M个从数据库的运行状态均为正常的情况下,确定标准值为M-1。
在确定M个从数据库的运行状态存在异常的情况下,将标准值更新为1。
例如,针对一主三从的架构,当三个从数据库均正常的情况下,默认标准值为总从数据库数量减一,即2。当一个从数据库故障的情况下,标准值设置为1;当两个从数据库故障,ACK设置为1。
本公开的实施例通过在确定M个从数据库的运行状态均为正常的情况下,确定标准值为M-1;在确定M个从数据库的运行状态存在异常的情况下,将标准值更新为1,保障了至少有一个从数据库可以与主库数据同步,同时还可以减少从数据库故障对整个集群连续性运行的影响。
图4示意性示出了根据本公开实施例的数据库内数据处理流程的应用场景。
如图4所示,该实施例的应用场景400包括应用软件401和数据库服务器402。其中,数据库服务器包括主数据库4021、从数据库A4022、从数据库B4023、从数据库C 4024和高可用组件4025。
根据本公开的实施例,应用软件401通过域名***服务即DNS服务与数据库服务器内的数据库连接。具体地,应用软件401通过DNS访问数据库,DNS中配置了主数据库4021所使用的第一虚拟地址VIP1。在主数据库未出现故障的情况下,应用软件可以通过DNS确定第一虚拟地址VIP1,并通过与第一虚拟地址VIP1关联的物理地址,如TIP1,访问主数据库。数据访问关系为DNS-VIP1-TIP1。
当主库出现故障时,将主数据库4021的第一虚拟地址VIP1与DNS解除绑定,并将第一虚拟地址VIP1置为访问不可达。将目标从数据库的第二虚拟地址VIP2与DNS绑定,正常接入应用访问流量,实现数据库切换对应用无感知。
根据本公开的实施例,在主数据库和从数据库都正常的情况下,从数据库A 4022、从数据库B4023和从数据库C 4024均可以与主数据库4021进行主从复制,以实现数据同步。
根据本公开的实施例,高可用组件4025可以从主数据库4021、从数据库A 4022、从数据库B4023、从数据库C 4024中收集信息;高可用组件4025也可以向主数据库4021、从数据库A 4022、从数据库B4023、从数据库C 4024下达指令。
例如,高可用组件4025实时检测主数据库4021、从数据库A 4022、从数据库B 4023和从数据库C 4024状态,当主数据库4021出现异常时,从已经完成数据同的从数据库中选取一个从数据库提升为主数据库,出现故障的主数据库降级为从数据库。由于主数据库和从数据库的强一致保障,使得切换过程中主从数据库不会出现数据丢失的现象。
根据本公开的实施例,该方法还包括:主数据库的等待时长被配置为预设时长,以便主数据库在预设时长内等待M个从数据库返回运行状态,预设时长大于默认处理时长,默认处理时长表征正常情况下的处理时长。
根据本公开的实施例,相关技术中,主数据库的等待时长为3秒钟,如果主数据库收到的确认字符的数目一直未满足标准值,主数据库仅等待3秒钟就会自动将一个从数据库作为主数据库执行数据写入。但是在上述情况下,由于从数据库未完成数据同步,数据库的半同步复制方式则会降级为异步,导致无法保障从数据库的数据完整性。
根据本公开的实施例,将主数据库的等待时长配置为预设时长包括以下操作语句:set global rpl_semi_sync_master_timeout=999999999。
根据本公开的实施例,通过将等待时长配置为远大于默认处理时长的标准时长,将主数据库的等待时长配置为无限长,可以确保从数据库不降级,保证从数据库的数据完整性。
根据本公开的实施例,将等待时长延长为无限长、以及根据运行状态确定确认字符的标准值进行结合,在确保从数据库不降级,保证从数据库的数据完整性的同时,还可以降低主数据库的等待时间。
本公开的实施例还可以通过检测服务器检测数据库服务器的事务执行状况,以便及时关闭大事务,避免数据库集群内出现数据阻塞的现象,以保证业务数据的连续性。
图5示意性示出了根据本公开实施例的目标事务的关闭方法的流程图。
如图5所示,该实施例的目标事务的关闭方法500包括操作S510~操作S530。操作S510~操作S530可以与操作S210~操作S250并行执行,还可以在操作S210~操作S250之前进行。
在操作S510,响应于接收到来自检测服务器的检测请求,根据操作类型,确定主数据库的事务执行状况。
根据本公开的实施例,事务执行状况包括数据库中对原始数据执行预设事务之后返回的第一数据量。其中,原始数据包括来自应用软件的访问请求待使用数据库数据。
例如,访问请求用于注销用户A、用户B和用户C的信息,原始数据可以为用户A、用户B和用户C的账户数据,包括账户名、属性信息、交易信息等。
根据本公开的实施例,数据库中存在多种操作类型,通过多种操作类型对原始数据执行预设事务之后的第一数据量也存在多种情况。由此,根据操作类型和原始数据,可以确定主数据库的事务执行状况,而不需要数据库执行预设事务之后才确定第一数据量。避免主数据库执行大事务之后,造成数据库阻塞导致数据库夯库的现象。
在操作S520,向检测服务器发送主数据库的事务执行状况,以便检测服务器根据第一数据量生成事务关闭语句。
根据本公开的实施例,数据库服务器响应于接收到来自检测服务器的检测请求,确定主数据库当前的事务执行状况,并将当前的事务执行状况作为检测请求的响应,返回检测服务器。
根据本公开的实施例,检测服务器可以定时向数据库服务器发送检测请求,以便数据库服务器反应一段时间内主数据库的事务执行状况。例如,检测服务器可以间隔3秒、10秒或1分钟向数据库服务器发送检测请求。还可以根据实际情况确定间隔时长。
作为另一种具体的实施例,数据库服务器可以定时向检测服务器发送事务执行状况,无需检测服务器发送检测请求,数据库服务器无需响应检测请求发送事务执行状况。
根据本公开的实施例,检测服务器接收到来自数据库服务器的事务执行状况之后,对事务执行状况包括的第一数据量进行判断。在第一数据量超过预设阈值的情况下,生成用于关闭第一数据量超过预设阈值的目标事务的事务关闭语句,以便主数据库关闭所述目标事务。
在操作S530,响应于接收到来自检测服务器的事务关闭语句,执行事务关闭语句,以关闭目标事务。
根据本公开的实施例,数据库服务器在接收到来自检测服务器的事务关闭语句之后,在主数据库执行事务关闭语句,关闭与事务关闭语句对应的大事务会话,释放数据库资源,避免整个数据库集群夯库。
根据本公开的实施例,在主数据库出现故障的情况下,数据库服务器将目标从数据库作为新的主数据库执行数据库操作。此时,数据库服务器向检测服务器推送的事务执行状况还包括目标从数据库的第三数据量,以便检测服务器生成用于关闭目标从数据库中第三数据量超过预设阈值的目标事务。目标从数据库内的大事务检测操作,以及关闭操作与上述主数据库的操作相同,在此不再赘述。
本公开的实施例通过向检测服务器发送数据库服务器的事务执行状况,以便检测服务器根据事务执行状况生成事务关闭语句,使得数据库服务器可以根据事务关闭语句及时关闭大事务,避免数据库集群内出现数据阻塞的现象,以保证业务数据的连续性。
根据本公开的实施例,可以通过上述操作S510~操作S530及时关闭大事务,避免数据库集群内出现数据阻塞的现象。
根据本公开的实施例,上述操作S510~操作S530还可以与设置主数据库的等待时长并行。
在将等待时长延长为预设时长之后,如果主数据库出现大事务,从数据库需要较长的时间进行数据同步,主数据库会等待从数据库完成数据同步并反馈后,才将执行结果提交给应用软件,会导致交易响应时间长,整个数据库集群可能存在夯库的情况,进而影响业务连续性。
本公开的实施例通过上述操作S510~操作S530在将等待时长延长为预设时长之后,避免主数据库出现大事务,根据原始数据检测到存在大事务的情况下,无需执行该大事务即可及时关闭大事务,避免数据库集群内出现数据阻塞的现象。
图6示意性示出了根据本公开实施例的关闭目标事务的应用场景。
如图6所示,该实施例的应用场景600包括数据库服务器602和检测服务器603。其中,数据库服务器602与图4中的数据库服务器402类似,包括高可用组件、主数据库、从数据库A、从数据库B和从数据库C。
根据本公开的实施例,数据库服务器602还包括大事务处理模块6026,用于获取数据库服务器中主数据库或目标从数据库的事务执行状况,并向检测服务器603发送事务执行状况。
根据本公开的实施例,大事务处理模块6026可以响应于来自检测服务器603的检测请求,获取并发送事务执行状况。大事务处理模块6026还可以定时获取,并向检测服务器603发送事务执行状况,无需响应来自检测服务器的检测请求。
检测服务器603可以向数据库服务器602的大事务处理模块6026发送检测请求,以便大事务处理模块6026发送事务执行状况。检测服务器603还可以不产生检测请求,直接获取来自大事务处理模块6026的事务执行状况。
根据本公开的实施例,检测服务器603可以根据大事务处理模块6026发送的事务执行状况生成事务关闭语句,用于关闭第一数据量超过预设阈值的目标事务。
根据本公开的实施例,其中,第一数据量包括返回记录数或字节数,预设阈值包括第一预设阈值或第二预设阈值。
根据本公开的实施例,事务关闭语句用于关闭返回记录数超过第一预设阈值的目标事务。
根据本公开的实施例,事务关闭语句还可以用于关闭字节数超过第二预设阈值的目标事务。
根据本公开的实施例,数据库服务器内的数据库使用binlog日志记录数据更新情况,并通过传输binlog日志实现主数据库和从数据库的数据同步。例如,数据库可以为MySQL数据库。
响应于接收到来自应用软件的访问请求,主数据库在交易写binlog期间,以及半同步传输binlog期间,会阻塞来自其他应用软件的其他交易,使得数据库集群内的交易阻塞。其中,交易阻塞时间与binlog数据量成正比。由此,可以根据事务执行状况内的返回记录数或字节数关闭大事务,以避免数据库集群阻塞。
例如,对于单次返回记录数超过10万行的记录,检测服务器生成关闭该事务的事务关闭语句。或者,检测到字节数超过100M的SQL语句,检测服务器生成关闭该事务的事务关闭语句。单个事务的更新、***、删除的记录数小于10万行,且产生的binlog应小于100M。
根据本公开的实施例,上述第一预设阈值和第二预设阈值均作为一个具体实施例,在实际使用中,第一预设阈值和第二预设阈值可以根据实际情况确定,不局限于上述数值。
根据本公开的实施例,响应于接收到来自检测服务器的检测请求,根据操作类型,确定主数据库的事务执行状况,包括:
根据操作类型,确定执行预设事务前后的数据量变化关系;
获取与原始数据对应的第二数据量;以及
根据数据量变化关系和第二数据量,生成第一数据量。
根据本公开的实施例,可以根据操作类型和原始数据,确定主数据库的事务执行状况,而不需要数据库执行预设事务之后才确定第一数据量。数据库中存在多种操作类型,多种操作类型对应多种数据量变化关系。
例如,在操作类型为***或更新的情况下,第一数据量为第二数据量的2倍,数据量变化关系为2。其中,***操作为INSERT操作,更新操作为UPDATE操作。
根据本公开的实施例,数据库的日志binlog除了记录ROW数据变化情况,还会记录原始的SQL语句。INSERT语句中包含的数据值,加上记录的ROW变化,最终得到的数据量是原始数据量2倍。
根据本公开的实施例,由于一条UPDATE语句可以对应多个ROW变化,在ROW模式下,SQL语句本身忽略不计。但是,UPDATE操作的ROW变化会记录更新前和更新后的所有字段值,所以最终得到的数据量是原始数据量2倍。
根据本公开的实施例,在操作类型为删除的情况下,第一数据量为第二数据量的1倍,数据量变化关系为1。其中,删除操作为DELETE操作。
根据本公开的实施例,一条DELETE语句可对应很多ROW变化,所以语句本身忽略不计,DELETE操作的ROW变化会记录删除前的所有字段值,所以最终得到的数据量是原始数据量1倍。
根据本公开的实施例,在操作类型为载入的情况下,第一数据量为第二数据量的1-3倍,数据量变化关系为1或2或3。其中,载入操作为REPLACE INTO操作。
根据本公开的实施例,针对REPLACE INTO(LOAD DATA)操作,REPLACE INTO语句本身忽略不计。REPLACE INTO有两种情况:新增、替换。如果是新增,是1倍数据量;如果是替换,MySQL内部执行DELETE+INSERT,即2倍数据量。
根据本公开的实施例,针对REPLACE INTO(非LOAD DATA)操作,REPLACE INTO语句中包含数据值(1倍),考虑新增(1倍)、替换(2倍)两种情况。对于新增情况,最终得到的数据量为数据值+新增,是原始数据量2倍的数据量。对于替换情况,最终得到的数据量数据值+替换,是原始数据量3倍的数据量。
本公开的实施例在未执行数据处理之前,根据变化关系可以确定最终返回的数据量,减少计算资源的浪费,减少响应时长。
本公开的实施例提供了一种应用于数据库的数据处理方法,提供了一种大事务自动查杀、从数据库复制不降级、数据库自动化切换的实现方案,有效实现了故障场景主从切换的数据完整性需求,保障业务的稳定性与可靠性。具体地,通过主从不降级机制,实现主数据库故障场景下重传超时时间(Retransmission Time Out,RTO)为0的主从自动化切换,保障主从切换数据零丢失。为了降低主从不降级带来了主库容易夯库的负面影响,兼顾业务连续性运行的RTO需求,实现了大事务自动化检测和关闭机制,在生产数据库出现异常前进行预处理机制,大幅降低主库因为大事务夯库概率。通过高可用组件和特殊DNS配置(DNS与VIP进行绑定),实现了数据库切换对应用无感知,减少数据库切换的业务影响范围,减少应急时间。
图7示意性示出了根据本公开实施例的应用于数据库的数据处理装置的结构框图。
如图7所示,该实施例的应用于数据库的数据处理装置700包括第一确定模块710、第二确定模块720、第三确定模块730、绑定模块740和发送模块750。
第一确定模块710,用于响应于接收到来自应用软件的访问请求,根据访问请求的域名确定第一虚拟地址,访问请求用于访问主数据库,第一虚拟地址与主数据库对应。在一实施例中,第一确定模块710,可以用于执行前文描述的操作S210,在此不再赘述。
第二确定模块720,用于在确定主数据库出现故障的情况下,确定与主数据库相连的M个从数据库的运行状态,M大于等于2。在一实施例中,第二确定模块720可以用于执行前文描述的操作S220,在此不再赘述。
第三确定模块730,用于根据运行状态,从M个从数据库中确定目标从数据库。在一实施例中,第三确定模块730可以用于执行前文描述的操作S230,在此不再赘述。
绑定模块740,用于解除第一虚拟地址与域名的绑定关系,并将与目标从数据库对应的第二虚拟地址与域名进行绑定。在一实施例中,绑定模块740可以用于执行前文描述的操作S240,在此不再赘述。
发送模块750,用于将访问请求通过第二虚拟地址发送至目标从数据库,以便通过目标从数据库执行与访问请求对应的操作。在一实施例中,发送模块750可以用于执行前文描述的操作S250,在此不再赘述。
根据本公开的实施例,应用于数据库的数据处理装置700还包括地址更新模块,用于在解除第一虚拟地址与域名的绑定关系之后,将第一虚拟地址更新为预设地址,预设地址表征无法访问的地址。
根据本公开的实施例,第三确定模块730包括第一确定单元、第二确定单元和第三确定单元。
第一确定单元用于获取确认字符的返回值,确认字符来自从数据库,用于表征从数据库已经完成数据同步,返回值表征已经完成数据同步的从数据库的数目。在一实施例中,第一确定单元可以用于执行前文描述的操作S331,在此不再赘述。
第二确定单元用于根据运行状态,确定确认字符的标准值。在一实施例中,第二确定单元可以用于执行前文描述的操作S332,在此不再赘述。
第三确定单元用于在返回值大于或等于标准值的情况下,从已经完成数据同步的从数据库中随机确定一个从数据库,作为目标从数据库。在一实施例中,第三确定单元可以用于执行前文描述的操作S333,在此不再赘述。
根据本公开的实施例,第二确定单元包括第一确定子单元和第二确定子单元。
第一确定子单元用于在确定M个从数据库的运行状态均为正常的情况下,确定标准值为M-1。
第二确定子单元用于在确定M个从数据库的运行状态存在异常的情况下,将标准值更新为1。
根据本公开的实施例,应用于数据库的数据处理装置700还包括时长配置模块,以便将主数据库的等待时长配置为预设时长,以便主数据库在预设时长内等待M个从数据库返回运行状态,预设时长大于默认处理时长,默认处理时长表征正常情况下的处理时长。
根据本公开的实施例,应用于数据库的数据处理装置700还包括大事务处理模块。其中,大事务处理模块包括第四确定单元、发送单元和执行单元。
第四确定单元用于响应于接收到来自检测服务器的检测请求,根据操作类型,确定主数据库的事务执行状况,事务执行状况包括数据库中对原始数据执行预设事务之后返回的第一数据量。在一实施例中,第四确定单元可以用于执行前文描述的操作S510,在此不再赘述。
发送单元用于向检测服务器发送主数据库的事务执行状况,以便检测服务器根据第一数据量生成事务关闭语句,事务关闭语句用于关闭第一数据量超过预设阈值的目标事务。在一实施例中,发送单元可以用于执行前文描述的操作S520,在此不再赘述。
执行单元用于响应于接收到来自检测服务器的事务关闭语句,执行事务关闭语句,以关闭目标事务。在一实施例中,执行单元可以用于执行前文描述的操作S530,在此不再赘述。
根据本公开的实施例,第一数据量包括返回记录数或字节数,预设阈值包括第一预设阈值或第二预设阈值。
事务关闭语句用于关闭返回记录数超过第一预设阈值的目标事务。
事务关闭语句用于关闭字节数超过第二预设阈值的目标事务。
根据本公开的实施例,第四确定单元包括第三确定子单元、获取子单元和生成子单元。
第三确定子单元用于根据操作类型,确定执行预设事务前后的数据量变化关系。
获取子单元用于获取与原始数据对应的第二数据量。
生成子单元用于根据数据量变化关系和第二数据量,生成第一数据量。
根据本公开的实施例,第一确定模块710、第二确定模块720、第三确定模块730、绑定模块740和发送模块750中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。
根据本公开的实施例,第一确定模块710、第二确定模块720、第三确定模块730、绑定模块740和发送模块750中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一确定模块710、第二确定模块720、第三确定模块730、绑定模块740和发送模块750中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图8示意性示出了根据本公开实施例的适于应用于数据库的数据处理方法的电子设备的方框图。
如图8所示,根据本公开实施例的电子设备800包括处理器801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中,存储有电子设备800操作所需的各种程序和数据。处理器801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备800还可以包括输入/输出(I/O)接口805,输入/输出(I/O)接口805也连接至总线804。电子设备800还可以包括连接至输入/输出I/O接口805的以下部件中的一项或多项:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机***中运行时,该程序代码用于使计算机***实现本公开实施例所提供上述方法。
在该计算机程序被处理器801执行时执行本公开实施例的***/装置中限定的上述功能。根据本公开的实施例,上文描述的***、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分809被下载和安装,和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时,执行本公开实施例的***中限定的上述功能。根据本公开的实施例,上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上所述的具体实施例,对本公开的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本公开的具体实施例而已,并不用于限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (12)

1.一种应用于数据库的数据处理方法,包括:
响应于接收到来自应用软件的访问请求,根据所述访问请求的域名确定第一虚拟地址,所述访问请求用于访问主数据库,所述第一虚拟地址与所述主数据库对应;
在确定所述主数据库出现故障的情况下,确定与所述主数据库相连的M个从数据库的运行状态,M大于等于2;
根据所述运行状态,从所述M个从数据库中确定目标从数据库;
解除所述第一虚拟地址与所述域名的绑定关系,并将与所述目标从数据库对应的第二虚拟地址与所述域名进行绑定;以及
将所述访问请求通过所述第二虚拟地址发送至所述目标从数据库,以便通过所述目标从数据库执行与所述访问请求对应的操作。
2.根据权利要求1所述的方法,还包括:
在解除所述第一虚拟地址与所述域名的绑定关系之后,将所述第一虚拟地址更新为预设地址,所述预设地址表征无法访问的地址。
3.根据权利要求1所述的方法,其中,所述根据所述运行状态,从所述M个从数据库中确定目标从数据库,包括:
获取确认字符的返回值,所述确认字符来自所述从数据库,用于表征所述从数据库已经完成数据同步,所述返回值表征已经完成数据同步的从数据库的数目;
根据所述运行状态,确定所述确认字符的标准值;
在所述返回值大于或等于所述标准值的情况下,从所述已经完成数据同步的从数据库中随机确定一个从数据库,作为所述目标从数据库。
4.根据权利要求3所述的方法,其中,所述根据所述运行状态,确定所述确认字符的标准值,包括:
在确定所述M个从数据库的运行状态均为正常的情况下,确定所述标准值为M-1;
在确定所述M个从数据库的运行状态存在异常的情况下,将所述标准值更新为1。
5.根据权利要求1所述的方法,还包括:
所述主数据库的等待时长被配置为预设时长,以便所述主数据库在所述预设时长内等待所述M个从数据库返回运行状态,所述预设时长大于默认处理时长,所述默认处理时长表征正常情况下的处理时长。
6.根据权利要求1所述的方法,还包括:
响应于接收到来自检测服务器的检测请求,根据操作类型,确定所述主数据库的事务执行状况,所述事务执行状况包括所述数据库中对原始数据执行预设事务之后返回的第一数据量;
向检测服务器发送所述主数据库的事务执行状况,以便所述检测服务器根据所述第一数据量生成事务关闭语句,所述事务关闭语句用于关闭所述第一数据量超过预设阈值的目标事务;
响应于接收到来自所述检测服务器的事务关闭语句,执行所述事务关闭语句,以关闭所述目标事务。
7.根据权利要求6所述的方法,其中,所述第一数据量包括返回记录数或字节数,所述预设阈值包括第一预设阈值或第二预设阈值,
所述事务关闭语句用于关闭所述返回记录数超过所述第一预设阈值的目标事务;或者,
所述事务关闭语句用于关闭所述字节数超过所述第二预设阈值的目标事务。
8.根据权利要求6所述的方法,其中,所述响应于接收到来自检测服务器的检测请求,根据操作类型,确定所述主数据库的事务执行状况,包括:
根据操作类型,确定执行所述预设事务前后的数据量变化关系;
获取与所述原始数据对应的第二数据量;以及
根据所述数据量变化关系和所述第二数据量,生成所述第一数据量。
9.一种应用于数据库的数据处理装置,包括:
第一确定模块,用于响应于接收到来自应用软件的访问请求,根据所述访问请求的域名确定第一虚拟地址,所述访问请求用于访问主数据库,所述第一虚拟地址与所述主数据库对应;
第二确定模块,用于在确定所述主数据库出现故障的情况下,确定与所述主数据库相连的M个从数据库的运行状态,M大于等于2;
第三确定模块,用于根据所述运行状态,从所述M个从数据库中确定目标从数据库;
绑定模块,用于解除所述第一虚拟地址与所述域名的绑定关系,并将与所述目标从数据库对应的第二虚拟地址与所述域名进行绑定;以及
发送模块,用于将所述访问请求通过所述第二虚拟地址发送至所述目标从数据库,以便通过所述目标从数据库执行与所述访问请求对应的操作。
10.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~8中任一项所述的方法。
11.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~8中任一项所述的方法。
12.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~8中任一项所述的方法。
CN202310343657.7A 2023-04-03 2023-04-03 应用于数据库的数据处理方法、装置、设备及存储介质 Pending CN116541461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310343657.7A CN116541461A (zh) 2023-04-03 2023-04-03 应用于数据库的数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310343657.7A CN116541461A (zh) 2023-04-03 2023-04-03 应用于数据库的数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116541461A true CN116541461A (zh) 2023-08-04

Family

ID=87453218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310343657.7A Pending CN116541461A (zh) 2023-04-03 2023-04-03 应用于数据库的数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116541461A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117667319A (zh) * 2024-02-02 2024-03-08 建信金融科技有限责任公司 一种事务处理方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117667319A (zh) * 2024-02-02 2024-03-08 建信金融科技有限责任公司 一种事务处理方法和装置
CN117667319B (zh) * 2024-02-02 2024-05-03 建信金融科技有限责任公司 一种事务处理方法和装置

Similar Documents

Publication Publication Date Title
CN109842651B (zh) 一种业务不间断的负载均衡方法和***
CN108712457B (zh) 基于Nginx反向代理的后端服务器动态负载调整方法及装置
CN112118315A (zh) 数据处理***、方法、装置、电子设备和存储介质
CN111046310B (zh) 页面处理方法、装置、服务器及计算机可读存储介质
CN102411598A (zh) 一种实现数据一致性的方法及其***
CN107707619B (zh) 分布式存储方法及装置
CN110647460B (zh) 一种测试资源管理方法、装置和测试客户端
CN113094430B (zh) 一种数据处理方法、装置、设备以及存储介质
US20190317692A1 (en) Method and apparatus for ensuring data consistency
CN108418859B (zh) 写数据的方法和装置
CN116541461A (zh) 应用于数据库的数据处理方法、装置、设备及存储介质
WO2019041670A1 (zh) 一种降低功能页面请求次数的方法、存储介质、设备及***
CN111338834B (zh) 数据存储方法和装置
CN112685499A (zh) 一种工作业务流的流程数据同步方法、装置及设备
CN112835885B (zh) 一种分布式表格存储的处理方法、装置及***
CN114338684B (zh) 一种能源管理***及方法
CN113722154B (zh) 数据管理方法和***、监测服务器及存储介质
US20130124971A1 (en) Real time web script refresh using asynchronous polling without full web page reload
CN110795495A (zh) 数据处理方法、装置、电子设备及计算机可读介质
US9031969B2 (en) Guaranteed in-flight SQL insert operation support during an RAC database failover
CN111225003A (zh) 一种nfs节点配置方法和装置
US20150205675A1 (en) Method and System for Improving Reliability of a Background Page
KR102665749B1 (ko) 클라우드 저하 모드에서 지속적인 디바이스 동작 안정성을 보장하기 위한 방법 및 장치
US9898490B2 (en) Systems and methods for supporting multiple database server versions on a database machine
CN115098469A (zh) 数据库迁移方法及装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination