CN117539682A - 一种大数据交易备份方法及*** - Google Patents

一种大数据交易备份方法及*** Download PDF

Info

Publication number
CN117539682A
CN117539682A CN202311380158.1A CN202311380158A CN117539682A CN 117539682 A CN117539682 A CN 117539682A CN 202311380158 A CN202311380158 A CN 202311380158A CN 117539682 A CN117539682 A CN 117539682A
Authority
CN
China
Prior art keywords
transaction
data
backup
big data
host computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202311380158.1A
Other languages
English (en)
Inventor
徐晓清
李喆
卢梅珍
卞羽
王栋弘
林伟
黄登煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Big Data Trading Co ltd
Original Assignee
Fujian Big Data Trading Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Big Data Trading Co ltd filed Critical Fujian Big Data Trading Co ltd
Priority to CN202311380158.1A priority Critical patent/CN117539682A/zh
Publication of CN117539682A publication Critical patent/CN117539682A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1461—Backup scheduling policy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/505—Clust
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了大数据交易技术领域的一种大数据交易备份方法及***，方法包括：步骤S10、从服务器集群中选取一服务器作为主机，其余作为从机；步骤S20、卖家客户端通过主机上架交易信息，买家客户端通过交易信息先购买数据样本进行融合试验，再购买大数据；步骤S30、主机在大数据交易过程中，将产生的交易数据实时存储至本机的mysq l数据库；步骤S40、主机将交易数据备份至从机的mysq l数据库，通过区块链对备份的交易数据进行公证；步骤S50、当主机的运行状态为故障时，从运行状态为正常的从机中选取一个服务器作为新的主机；步骤S60、当故障的服务器故障恢复时执行数据恢复操作。本发明的优点在于：极大的提升了大数据交易的交易数据备份的可靠性。

Description

一种大数据交易备份方法及***
技术领域
本发明涉及大数据交易技术领域，特别指一种大数据交易备份方法及***。
背景技术
随着大数据、云计算和人工智能等新一代信息技术的快速发展，数据已成为数字时代的基础性战略资源和革命性关键要素，因此产生了大数据交易的需求。
由于大数据交易的标的就是数据本身，属于无形的标的，且大数据交易过程中会产生大量的交易数据(交易日志、大数据标的等)，当大数据交易***的软件或者硬件出现故障时，将导致数据丢失，给大数据交易带来不可估量的损失；例如掉电，mysql错误、操作***错误、非正常关机等引起的软件故障，介质故障(如磁盘崩溃)引起的硬件故障；因此，需要对大数据交易的交易数据进行备份。
针对大数据交易产生的交易数据的备份，传统上采取在本机额外开辟一个存储空间，周期性的将交易数据全量备份至存储空间内，并删除旧的备份数据的方法，存在如下问题：当本机的硬件产生故障时备份将形同虚设，且每次都采取全量备份的方法，当需要备份的交易数据增多时，将延长备份的时间，增加了在备份过程中出现故障而导致数据丢失的风险。
因此，如何提供一种大数据交易备份方法及***，实现提升大数据交易的交易数据备份的可靠性，成为一个亟待解决的技术问题。
发明内容
本发明要解决的技术问题，在于提供一种大数据交易备份方法及***，实现提升大数据交易的交易数据备份的可靠性。
第一方面，本发明提供了一种大数据交易备份方法，包括如下步骤：
步骤S10、从服务器集群中选取一服务器作为主机，其余服务器作为从机，各服务器均运行一mysql数据库；
步骤S20、卖家客户端通过所述主机上架交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本进行融合试验后，再购买对应的大数据，以进行大数据交易；
步骤S30、所述主机在大数据交易过程中，将产生的交易数据实时存储至本机的所述mysql数据库；
步骤S40、所述主机将mysql数据库内存储的交易数据，通过级联复制的方式备份至从机的mysql数据库中，通过区块链对备份的所述交易数据进行公证；
步骤S50、当所述主机的运行状态为故障时，从运行状态为正常的所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易；
步骤S60、当故障的服务器故障恢复时，通过备份的所述交易数据执行数据恢复操作。
进一步的，所述步骤S10具体为：
通过负载均衡技术从服务器集群中选取一负载最小的服务器作为主机，其余服务器作为从机，各服务器均运行一用于存储交易数据的mysql数据库。
进一步的，所述步骤S20具体为：
卖家客户端通过所述主机上架至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息的交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本；
买家客户端通过所述主机的数据沙箱访问数据样本，基于本地数据对所述数据样本进行在线的融合试验，以进行需求匹配验证，并在融合试验结束后立即自动销毁所述数据样本；
买家客户端在融合试验通过后购买对应的大数据，以进行大数据交易。
进一步的，所述步骤S40具体为：
所述主机将mysql数据库内存储的交易数据，基于预设的备份周期，定时通过级联复制的方式，以全量备份、增量备份或者差异备份的备份方式备份至从机的mysql数据库中；
各所述从机对备份的交易数据进行哈希计算得到哈希值，将所述哈希值绑定备份时间上传至区块链，进而通过区块链对备份的所述交易数据进行公证。
进一步的，所述步骤S50具体为：
各所述从机实时监控主机的运行状态，当所述主机的运行状态为故障时，将所述主机设为从机，通过负载均衡技术从运行状态为正常的各所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易。
第二方面，本发明提供了一种大数据交易备份***，包括如下模块：
第一主从设定模块，用于从服务器集群中选取一服务器作为主机，其余服务器作为从机，各服务器均运行一mysql数据库；
大数据交易模块，用于卖家客户端通过所述主机上架交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本进行融合试验后，再购买对应的大数据，以进行大数据交易；
交易数据存储模块，用于所述主机在大数据交易过程中，将产生的交易数据实时存储至本机的所述mysql数据库；
交易数据备份模块，用于所述主机将mysql数据库内存储的交易数据，通过级联复制的方式备份至从机的mysql数据库中，通过区块链对备份的所述交易数据进行公证；
第二主从设定模块，用于当所述主机的运行状态为故障时，从运行状态为正常的所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易；
交易数据恢复模块，用于当故障的服务器故障恢复时，通过备份的所述交易数据执行数据恢复操作。
进一步的，所述第一主从设定模块具体用于：
通过负载均衡技术从服务器集群中选取一负载最小的服务器作为主机，其余服务器作为从机，各服务器均运行一用于存储交易数据的mysql数据库。
进一步的，所述大数据交易模块具体用于：
卖家客户端通过所述主机上架至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息的交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本；
买家客户端通过所述主机的数据沙箱访问数据样本，基于本地数据对所述数据样本进行在线的融合试验，以进行需求匹配验证，并在融合试验结束后立即自动销毁所述数据样本；
买家客户端在融合试验通过后购买对应的大数据，以进行大数据交易。
进一步的，所述交易数据备份模块具体用于：
所述主机将mysql数据库内存储的交易数据，基于预设的备份周期，定时通过级联复制的方式，以全量备份、增量备份或者差异备份的备份方式备份至从机的mysql数据库中；
各所述从机对备份的交易数据进行哈希计算得到哈希值，将所述哈希值绑定备份时间上传至区块链，进而通过区块链对备份的所述交易数据进行公证。
进一步的，所述第二主从设定模块具体用于：
各所述从机实时监控主机的运行状态，当所述主机的运行状态为故障时，将所述主机设为从机，通过负载均衡技术从运行状态为正常的各所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易。
本发明的优点在于：
1、通过从服务器集群中选取一服务器作为主机，其余服务器作为从机；卖家客户端通过主机上架交易信息，买家客户端通过交易信息先购买数据样本进行融合试验后，再购买对应的大数据，以进行大数据交易；主机在大数据交易过程中，将产生的交易数据实时存储至本机的mysql数据库，主机将mysql数据库内存储的交易数据，通过级联复制的方式备份至从机的mysql数据库中，通过区块链对备份的交易数据进行公证；当主机的运行状态为故障时，从运行状态为正常的从机中选取一个服务器作为新的主机，通过新的主机进行大数据交易；当故障的服务器故障恢复时，通过备份的交易数据执行数据恢复操作；即通过服务器集群中的各服务器同时对交易数据进行备份，即采取多机备份策略，当作为主机的服务器出现故障时，可利用运行正常的从机对其进行数据恢复操作，避免因备份在本机而导致硬件产生故障时备份形同虚设；而主机的交易数据备份至从机时，按需采取全量备份、增量备份或者差异备份的备份方式，即在数据量少时采取全量备份，在数据量多时采取增量备份或者差异备份，以保障备份的及时性；通过将备份的交易数据进行哈希计算得到的哈希值上传至区块链，避免哈希值被篡改，后期数据恢复时，通过哈希值可快速校验备份的交易数据是否被篡改，结合备份周期的定时备份，最终极大的提升了大数据交易的交易数据备份的可靠性。
2、通过负载均衡技术从服务器集群中的各服务器中，选取负载最小的服务器作为主机进行大数据交易，极大的保障了大数据交易的稳定性。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明一种大数据交易备份方法的电路原理框图。
图2是本发明一种大数据交易备份***的结构示意图。
具体实施方式
本申请实施例中的技术方案，总体思路如下：通过服务器集群中的各服务器同时对交易数据进行备份，当作为主机的服务器出现故障时，可利用运行正常的从机对其进行数据恢复操作，避免因备份在本机而导致硬件产生故障时备份形同虚设；通过设置主机的交易数据备份至从机时，按需采取全量备份、增量备份或者差异备份的备份方式，即在数据量少时采取全量备份，在数据量多时采取增量备份或者差异备份，以保障备份的及时性；通过将备份的交易数据进行哈希计算得到的哈希值上传至区块链，避免哈希值被篡改，后期数据恢复时，通过哈希值可快速校验备份的交易数据是否被篡改，结合备份周期的定时备份，以提升大数据交易的交易数据备份的可靠性。
请参照图1至图2所示，本发明一种大数据交易备份方法的较佳实施例，包括如下步骤：
步骤S10、从服务器集群中选取一服务器作为主机，其余服务器作为从机，各服务器均运行一mysql数据库；
步骤S20、卖家客户端通过所述主机上架交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本进行融合试验后，再购买对应的大数据，以进行大数据交易；
步骤S30、所述主机在大数据交易过程中，将产生的交易数据实时存储至本机的所述mysql数据库；
步骤S40、所述主机将mysql数据库内存储的交易数据，通过级联复制的方式备份至从机的mysql数据库中，通过区块链对备份的所述交易数据进行公证；通过级联复制可极大的减轻所述主机的压力，进而保障备份的可靠性；区块链具有数据难以篡改和去中心化的特点，使得区块链所记录的信息更加真实可靠，可以帮助解决人们互不信任的问题；
步骤S50、当所述主机的运行状态为故障时，从运行状态为正常的所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易；
步骤S60、当故障的服务器故障恢复时，通过备份的所述交易数据执行数据恢复操作。
所述步骤S10具体为：
通过负载均衡技术从服务器集群中选取一负载最小的服务器作为主机，其余服务器作为从机，各服务器均运行一用于存储交易数据的mysql数据库。
所述步骤S20具体为：
卖家客户端通过所述主机上架至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息的交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本；
买家客户端通过所述主机的数据沙箱访问数据样本，基于本地数据对所述数据样本进行在线的融合试验，以进行需求匹配验证，并在融合试验结束后立即自动销毁所述数据样本；数据沙箱即进行明文的数据计算，计算后沙箱销毁，只带走计算结果；通过在融合试验结束后自动销毁所述数据样本避免数据样本的泄露；
买家客户端在融合试验通过后购买对应的大数据，以进行大数据交易。
所述步骤S40具体为：
所述主机将mysql数据库内存储的交易数据，基于预设的备份周期，定时通过级联复制的方式，以全量备份、增量备份或者差异备份的备份方式备份至从机的mysql数据库中；具体实施时，也可以对所述交易数据执行手动备份；具体实施时，可设定一数据量阈值，当所述交易数据的大小未超过数据量阈值时，采取全量备份的备份方式，否则采取增量备份或者差异备份的备份方式，以此来结合全量备份、增量备份以及差异备份的优点，在保障备份可靠性的同时，提升备份的及时性；
各所述从机对备份的交易数据进行哈希计算得到哈希值，将所述哈希值绑定备份时间上传至区块链，进而通过区块链对备份的所述交易数据进行公证。
由于哈希计算不可逆，后续对所述交易数据再次进行哈希计算，通过比对计算得到的哈希值与区块链存储的哈希值是否一致，即可快速判断所述交易数据是否被篡改；通过区块链对所述哈希值进行公证，避免所述哈希值被篡改，通过可信的哈希值对所述交易数据进行哈希校验，进一步保障安全性。
所述步骤S50具体为：
各所述从机实时监控主机的运行状态，当所述主机的运行状态为故障时，将所述主机设为从机，通过负载均衡技术从运行状态为正常的各所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易。通过负载均衡技术从服务器集群中的各服务器中，选取负载最小的服务器作为主机进行大数据交易，极大的保障了大数据交易的稳定性。
所述步骤S60具体为：
当故障的服务器故障恢复时，基于故障时点以及备份时间选取备份的所述交易数据，通过区块链存储的所述哈希值对交易数据进行完整性校验后，将所述交易数据镜像至故障恢复的服务器执行数据恢复操作。
本发明一种大数据交易备份***的较佳实施例，包括如下模块：
第一主从设定模块，用于从服务器集群中选取一服务器作为主机，其余服务器作为从机，各服务器均运行一mysql数据库；
大数据交易模块，用于卖家客户端通过所述主机上架交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本进行融合试验后，再购买对应的大数据，以进行大数据交易；
交易数据存储模块，用于所述主机在大数据交易过程中，将产生的交易数据实时存储至本机的所述mysql数据库；
交易数据备份模块，用于所述主机将mysql数据库内存储的交易数据，通过级联复制的方式备份至从机的mysql数据库中，通过区块链对备份的所述交易数据进行公证；通过级联复制可极大的减轻所述主机的压力，进而保障备份的可靠性；区块链具有数据难以篡改和去中心化的特点，使得区块链所记录的信息更加真实可靠，可以帮助解决人们互不信任的问题；
第二主从设定模块，用于当所述主机的运行状态为故障时，从运行状态为正常的所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易；
交易数据恢复模块，用于当故障的服务器故障恢复时，通过备份的所述交易数据执行数据恢复操作。
所述第一主从设定模块具体用于：
通过负载均衡技术从服务器集群中选取一负载最小的服务器作为主机，其余服务器作为从机，各服务器均运行一用于存储交易数据的mysql数据库。
所述大数据交易模块具体用于：
卖家客户端通过所述主机上架至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息的交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本；
买家客户端通过所述主机的数据沙箱访问数据样本，基于本地数据对所述数据样本进行在线的融合试验，以进行需求匹配验证，并在融合试验结束后立即自动销毁所述数据样本；数据沙箱即进行明文的数据计算，计算后沙箱销毁，只带走计算结果；通过在融合试验结束后自动销毁所述数据样本避免数据样本的泄露；
买家客户端在融合试验通过后购买对应的大数据，以进行大数据交易。
所述交易数据备份模块具体用于：
所述主机将mysql数据库内存储的交易数据，基于预设的备份周期，定时通过级联复制的方式，以全量备份、增量备份或者差异备份的备份方式备份至从机的mysql数据库中；具体实施时，也可以对所述交易数据执行手动备份；具体实施时，可设定一数据量阈值，当所述交易数据的大小未超过数据量阈值时，采取全量备份的备份方式，否则采取增量备份或者差异备份的备份方式，以此来结合全量备份、增量备份以及差异备份的优点，在保障备份可靠性的同时，提升备份的及时性；
各所述从机对备份的交易数据进行哈希计算得到哈希值，将所述哈希值绑定备份时间上传至区块链，进而通过区块链对备份的所述交易数据进行公证。
由于哈希计算不可逆，后续对所述交易数据再次进行哈希计算，通过比对计算得到的哈希值与区块链存储的哈希值是否一致，即可快速判断所述交易数据是否被篡改；通过区块链对所述哈希值进行公证，避免所述哈希值被篡改，通过可信的哈希值对所述交易数据进行哈希校验，进一步保障安全性。
所述第二主从设定模块具体用于：
各所述从机实时监控主机的运行状态，当所述主机的运行状态为故障时，将所述主机设为从机，通过负载均衡技术从运行状态为正常的各所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易。通过负载均衡技术从服务器集群中的各服务器中，选取负载最小的服务器作为主机进行大数据交易，极大的保障了大数据交易的稳定性。
所述交易数据恢复模块具体用于：
当故障的服务器故障恢复时，基于故障时点以及备份时间选取备份的所述交易数据，通过区块链存储的所述哈希值对交易数据进行完整性校验后，将所述交易数据镜像至故障恢复的服务器执行数据恢复操作。
综上所述，本发明的优点在于：
1、通过从服务器集群中选取一服务器作为主机，其余服务器作为从机；卖家客户端通过主机上架交易信息，买家客户端通过交易信息先购买数据样本进行融合试验后，再购买对应的大数据，以进行大数据交易；主机在大数据交易过程中，将产生的交易数据实时存储至本机的mysql数据库，主机将mysql数据库内存储的交易数据，通过级联复制的方式备份至从机的mysql数据库中，通过区块链对备份的交易数据进行公证；当主机的运行状态为故障时，从运行状态为正常的从机中选取一个服务器作为新的主机，通过新的主机进行大数据交易；当故障的服务器故障恢复时，通过备份的交易数据执行数据恢复操作；即通过服务器集群中的各服务器同时对交易数据进行备份，即采取多机备份策略，当作为主机的服务器出现故障时，可利用运行正常的从机对其进行数据恢复操作，避免因备份在本机而导致硬件产生故障时备份形同虚设；而主机的交易数据备份至从机时，按需采取全量备份、增量备份或者差异备份的备份方式，即在数据量少时采取全量备份，在数据量多时采取增量备份或者差异备份，以保障备份的及时性；通过将备份的交易数据进行哈希计算得到的哈希值上传至区块链，避免哈希值被篡改，后期数据恢复时，通过哈希值可快速校验备份的交易数据是否被篡改，结合备份周期的定时备份，最终极大的提升了大数据交易的交易数据备份的可靠性。
2、通过负载均衡技术从服务器集群中的各服务器中，选取负载最小的服务器作为主机进行大数据交易，极大的保障了大数据交易的稳定性。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种大数据交易备份方法，其特征在于：包括如下步骤：
步骤S10、从服务器集群中选取一服务器作为主机，其余服务器作为从机，各服务器均运行一mysql数据库；
步骤S20、卖家客户端通过所述主机上架交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本进行融合试验后，再购买对应的大数据，以进行大数据交易；
步骤S30、所述主机在大数据交易过程中，将产生的交易数据实时存储至本机的所述mysql数据库；
步骤S40、所述主机将mysql数据库内存储的交易数据，通过级联复制的方式备份至从机的mysql数据库中，通过区块链对备份的所述交易数据进行公证；
步骤S50、当所述主机的运行状态为故障时，从运行状态为正常的所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易；
步骤S60、当故障的服务器故障恢复时，通过备份的所述交易数据执行数据恢复操作。
2.如权利要求1所述的一种大数据交易备份方法，其特征在于：所述步骤S10具体为：
通过负载均衡技术从服务器集群中选取一负载最小的服务器作为主机，其余服务器作为从机，各服务器均运行一用于存储交易数据的mysql数据库。
3.如权利要求1所述的一种大数据交易备份方法，其特征在于：所述步骤S20具体为：
卖家客户端通过所述主机上架至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息的交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本；
买家客户端通过所述主机的数据沙箱访问数据样本，基于本地数据对所述数据样本进行在线的融合试验，以进行需求匹配验证，并在融合试验结束后立即自动销毁所述数据样本；
买家客户端在融合试验通过后购买对应的大数据，以进行大数据交易。
4.如权利要求1所述的一种大数据交易备份方法，其特征在于：所述步骤S40具体为：
所述主机将mysql数据库内存储的交易数据，基于预设的备份周期，定时通过级联复制的方式，以全量备份、增量备份或者差异备份的备份方式备份至从机的mysql数据库中；
各所述从机对备份的交易数据进行哈希计算得到哈希值，将所述哈希值绑定备份时间上传至区块链，进而通过区块链对备份的所述交易数据进行公证。
5.如权利要求1所述的一种大数据交易备份方法，其特征在于：所述步骤S50具体为：
各所述从机实时监控主机的运行状态，当所述主机的运行状态为故障时，将所述主机设为从机，通过负载均衡技术从运行状态为正常的各所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易。
6.一种大数据交易备份***，其特征在于：包括如下模块：
第一主从设定模块，用于从服务器集群中选取一服务器作为主机，其余服务器作为从机，各服务器均运行一mysql数据库；
大数据交易模块，用于卖家客户端通过所述主机上架交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本进行融合试验后，再购买对应的大数据，以进行大数据交易；
交易数据存储模块，用于所述主机在大数据交易过程中，将产生的交易数据实时存储至本机的所述mysql数据库；
交易数据备份模块，用于所述主机将mysql数据库内存储的交易数据，通过级联复制的方式备份至从机的mysql数据库中，通过区块链对备份的所述交易数据进行公证；
第二主从设定模块，用于当所述主机的运行状态为故障时，从运行状态为正常的所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易；
交易数据恢复模块，用于当故障的服务器故障恢复时，通过备份的所述交易数据执行数据恢复操作。
7.如权利要求6所述的一种大数据交易备份***，其特征在于：所述第一主从设定模块具体用于：
通过负载均衡技术从服务器集群中选取一负载最小的服务器作为主机，其余服务器作为从机，各服务器均运行一用于存储交易数据的mysql数据库。
8.如权利要求6所述的一种大数据交易备份***，其特征在于：所述大数据交易模块具体用于：
卖家客户端通过所述主机上架至少包括大数据类型、大数据数量、交易价格、确权信息以及卖方信息的交易信息，买家客户端通过所述主机上架的交易信息先购买数据样本；
买家客户端通过所述主机的数据沙箱访问数据样本，基于本地数据对所述数据样本进行在线的融合试验，以进行需求匹配验证，并在融合试验结束后立即自动销毁所述数据样本；
买家客户端在融合试验通过后购买对应的大数据，以进行大数据交易。
9.如权利要求6所述的一种大数据交易备份***，其特征在于：所述交易数据备份模块具体用于：
所述主机将mysql数据库内存储的交易数据，基于预设的备份周期，定时通过级联复制的方式，以全量备份、增量备份或者差异备份的备份方式备份至从机的mysql数据库中；
各所述从机对备份的交易数据进行哈希计算得到哈希值，将所述哈希值绑定备份时间上传至区块链，进而通过区块链对备份的所述交易数据进行公证。
10.如权利要求6所述的一种大数据交易备份***，其特征在于：所述第二主从设定模块具体用于：
各所述从机实时监控主机的运行状态，当所述主机的运行状态为故障时，将所述主机设为从机，通过负载均衡技术从运行状态为正常的各所述从机中选取一个服务器作为新的主机，通过新的所述主机进行大数据交易。
CN202311380158.1A 2023-10-24 2023-10-24 一种大数据交易备份方法及*** Withdrawn CN117539682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311380158.1A CN117539682A (zh) 2023-10-24 2023-10-24 一种大数据交易备份方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311380158.1A CN117539682A (zh) 2023-10-24 2023-10-24 一种大数据交易备份方法及***

Publications (1)

Publication Number Publication Date
CN117539682A true CN117539682A (zh) 2024-02-09

Family

ID=89783115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311380158.1A Withdrawn CN117539682A (zh) 2023-10-24 2023-10-24 一种大数据交易备份方法及***

Country Status (1)

Country Link
CN (1) CN117539682A (zh)

Similar Documents

Publication Publication Date Title
Hamilton On Designing and Deploying Internet-Scale Services.
US9940206B2 (en) Handling failed cluster members when replicating a database between clusters
US10204019B1 (en) Systems and methods for instantiation of virtual machines from backups
CN111597079B (zh) 针对MySQL Galera集群故障的检测和恢复方法及***
US9098439B2 (en) Providing a fault tolerant system in a loosely-coupled cluster environment using application checkpoints and logs
US7065674B2 (en) Computer system fault recovery using distributed fault-recovery information
CN110990124B (zh) 云主机恢复方法和装置
US11782800B2 (en) Methods to automatically correct and improve system recovery and replication processes
CN113821376A (zh) 一种基于云灾备的一体化备份容灾方法及***
CN113535665B (zh) 一种主数据库与备数据库之间同步日志文件的方法及装置
CN113312205B (zh) 数据校验方法、装置、存储介质和计算机设备
CN110543385A (zh) 一种虚拟化备份方法和虚拟化备份还原方法
CN111752755A (zh) 一种继电保护关键数据冗余存储及可靠性恢复***及方法
CN117539682A (zh) 一种大数据交易备份方法及***
CN109104314B (zh) 一种修改日志配置文件的方法及装置
CN115421990A (zh) 分布式存储***数据一致性测试方法、***、终端及介质
JP2778798B2 (ja) 制御データのキュー構造管理処理方式
CN112084097B (zh) 一种磁盘告警方法及装置
JPH07183891A (ja) 計算機システム
US20210157680A1 (en) Protecting storage backup configuration
CN107544868B (zh) 数据恢复方法和装置
CN112148532A (zh) 硬盘数据的批量恢复方法、装置、存储介质及电子设备
Khiat Cloud-RAIR: A Cloud Redundant Array of Independent Resources
CN116578446B (zh) 虚拟机备份方法、装置、***、电子设备及存储介质
US11669413B2 (en) Object metadata maintenance pertinent to object restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20240209

WW01 Invention patent application withdrawn after publication