CN112866406B - 一种数据存储方法、***、装置、设备及存储介质 - Google Patents

一种数据存储方法、***、装置、设备及存储介质 Download PDF

Info

Publication number
CN112866406B
CN112866406B CN202110158232.XA CN202110158232A CN112866406B CN 112866406 B CN112866406 B CN 112866406B CN 202110158232 A CN202110158232 A CN 202110158232A CN 112866406 B CN112866406 B CN 112866406B
Authority
CN
China
Prior art keywords
data
storage
server
request
storage server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110158232.XA
Other languages
English (en)
Other versions
CN112866406A (zh
Inventor
董思
廖敏飞
刘丽娟
吴孟晴
梁伟韬
徐福坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202110158232.XA priority Critical patent/CN112866406B/zh
Publication of CN112866406A publication Critical patent/CN112866406A/zh
Application granted granted Critical
Publication of CN112866406B publication Critical patent/CN112866406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据存储方法、***、装置、设备及存储介质。该方法包括：在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；其中，每个存储服务器编号对应的存储服务器均部署在不同的服务器集群中；将写数据请求分别发送至与各存储服务器编号对应的存储服务器中，以使各存储服务器进行写数据请求中数据的写入操作。该方法可以将接口服务与数据存储服务解耦合，易于扩展实现对大量非结构化数据的存储，并且对数据进行多重备份，可以提高数据的可靠性以及容错性。

Description

一种数据存储方法、***、装置、设备及存储介质
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据存储方法、***、装置、设备及存储介质。
背景技术
随着计算机技术以及生物识别技术的蓬勃发展，在用户进行身份认证时产生了海量的图片、文档、音频和视频等非结构化数据，对存储的性能以及容量产生了新的挑战。
在金融领域，现有技术采用网络附属存储(Network Attached Storage，NAS)外置存储设备来放置非结构化数据。但随着用户数量以及对应的数据爆发式增长，单台NAS会造成用户访问时的高延时，已无法满足数据的存储。而采用多台NAS外置存储设备的方案，会导致存储管理复杂性更高，同一应用***数据可能需要存放在不同的设备上造成数据割裂。此外，数据的维护也将变得更加复杂，***的扩展性差。
发明内容
本发明实施例提供了一种数据存储方法、***、装置、设备及存储介质，易于数据存储***的扩展，实现对大量非结构化数据的存储，并可以提高数据的可靠性以及容错性。
第一方面，本发明实施例提供了一种数据存储方法，由数据存储***中的代理服务器执行，所述数据存储***包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器，该方法包括：
在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作。
第二方面，本发明实施例还提供了一种数据存储***，该***包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器；
所述负载均衡服务器，用于获取用户的写数据请求，并将所述写数据请求分配至一个代理服务器进行请求处理；
所述代理服务器，用于在接收到所述负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；并将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中；
其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
所述存储服务器，用于接收所述代理服务器发送的所述写数据请求时，将所述写数据请求中的数据进行存储。
第三方面，本发明实施例还提供了一种数据存储装置，由数据存储***中的代理服务器执行，所述数据存储***包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器，该装置包括：
编号获取模块，用于在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
写数据请求发送模块，用于将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作。
第四方面，本发明实施例还提供了一种电子设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的一种数据存储方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的一种数据存储方法。
本发明实施例的技术方案，通过在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；其中，每个存储服务器编号对应的存储服务器均部署在不同的服务器集群中；将写数据请求分别发送至与各存储服务器编号对应的存储服务器中，以使各存储服务器进行写数据请求中数据的写入操作，解决了金融领域中非结构化数据的存储问题，实现了可以将接口服务与数据存储服务解耦合，易于扩展实现对大量非结构化数据的存储，并且对数据进行多重备份，可以提高数据的可靠性以及容错性的效果。
附图说明
图1a是本发明实施例一提供的一种数据存储方法的流程图；
图1b是本发明实施例一提供的一种数据存储***的结构示意图；
图1c是本发明实施例一提供的一种确定存储服务器编号的示意图；
图2是本发明实施例二提供的一种数据存储方法的流程图；
图3是本发明实施例四提供的一种数据存储装置的结构示意图；
图4是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一提供的一种数据存储方法的流程图，本实施例可适用于在金融领域中对非结构化的数据进行存储的情况，该方法可以由数据存储装置来执行，该装置可以通过软件，和/或硬件的方式实现，装置可以集成在电子设备如服务器中。
具体的，该数据存储方法可以由数据存储***中的代理服务器执行。图1b是本发明实施例一提供的一种数据存储***的结构示意图。如图1b所示，数据存储***包括：负载均衡服务器110、至少一个服务器集群120，各服务器集群120包括一个代理服务器121和至少一个存储服务器122。对于服务器集群可以进行区域的划分。区域可以是抽象概念，可以是某台机器、某个机架或者某个建筑内的集群，便于对数据存储***的整体扩展。其中：
负载均衡服务器110可以用于对用户请求进行分发，下发至服务器集群120中的代理服务器121。用户请求可以包括用户的写数据请求或者读数据请求。分发可以是按照一定的预设规则进行的，例如，可以是轮询的方式；或者，可以是用户与代理服务器之间存在映射关系，如用户所处的地理位置与代理服务器所覆盖地区之间的映射关系；或者，可以是随机的方式等。
服务器集群120包括一个代理服务器121和至少一个存储服务器122，可以将接口服务与数据存储服务解耦合。代理服务器121用于对用户请求进行请求处理。存储服务器122用于实现数据的存储或者读取。通过服务器集群的设置可以将现有技术中的NAS存储方式分离为专门的接口服务和数据存储服务。在存储服务器122满载时，可以增加新的存储服务器122，实现数据存储扩展。在增加存储设备时，无需更新像NAS进行数据迁移。当用户请求多时，可以增加代理服务器121，进行横向扩展均衡负载。
具体的，如图1a所示，该方法具体包括：
步骤210、在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号。
其中，用户请求中可以包括多种信息。例如，用户请求中可以包括用户访问对象名称、用户访问数据标识以及数据等。示例性的，写数据请求可以包括用户访问对象名称，用户访问数据标识以及用户对访问数据标识对应数据的更新数据等。数据可以是结构化数据也可以是非结构化数据。具体的，数据可以是图片、文档、音频或者视频等。
示例性的，当用户请求为超文本传输协议(Hypertext Transfer Protocol，HTTP)请求时，对象名称可以是与HTTP请求对应的统一资源定位符(Uniform Resource Locator，URL)；或者，可以是URL中域名后面的信息，如.com之后的内容。
存储服务器编号可以是对应的存储服务器的编号信息。根据对象名称进行请求处理得到多个存储服务器编号的方式可以是多样的。例如，获取编号的方式可以是对象名称与存储服务器编号之间存在映射关系。对于同一对象名称，或者多个对象名称，可以与固定的至少三个存储服务器编号对应。示例性的，对象名称A和B均可以与存储服务器编号d0、d8和d16对应。
或者，获取编号的方式可以是对对象名称进行处理，如数值化处理。可以根据数值化处理的结果确定对应的存储服务器编号。
在本实施例中通过请求处理得到的每个存储服务器编号对应的存储服务器均部署在不同的服务器集群中。可以确定多个存储服务器，实现对数据的多重备份，从而提高数据的可靠性。同时，通过确定的存储数据器部署在不同服务器集群的方式，可以实现最高级别的冗余性。例如，各服务器集群部署在不同地区时，可以实现用户对数据的多地区快速访问。
在本发明实施例的一个可选实施方式中，在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号，包括：根据写数据请求中的对象名称进行数值化操作，得到与对象名称对应的目标数值；对目标数值进行移位操作得到预设位数的分区索引，并确定与分区索引匹配的存储服务器分区所对应的存储服务器编号。
其中，图1c是本发明实施例一提供的一种确定存储服务器编号的示意图。如图1c所示，可以对对象名称进行数值化操作，得到对应的目标数值。数值化操作的方式可以是多样的，例如可以是通过算法实现的，如散列算法。
在本发明实施例的一个可选实施方式中，根据写数据请求中的对象名称进行数值化操作，得到与对象名称对应的目标数值，包括：根据写数据请求中的对象名称采用消息摘要算法进行数值化操作，得到与对象名称对应的目标数值。
其中，消息摘要算法第五版(Message-Digest Algorithm 5，MD5)可以将对象名称运算变为固定长度值。MD5算法的主要步骤包括将对象名称的数据长度填充1和/或0、记录对象名称的数据长度、装入标准的幻数以及四轮循环运算。通过MD5算法可以防止数据被篡改、防止直接看到明文以及防止抵赖等。在本发明实施例中，通过MD5算法，还可以用户对同一对象的多次请求相关的数据可以在固定的存储服务器中进行写入或者读取。
目标数值可以是固定长度的数值。如图1c所示，目标数值的长度可能超出分区索引的位数。因此，可以对目标数值进行移位操作，例如向右移除。移除后可以得到的预设位数的分区索引。预设位数可以是与分区的数量相关的，例如，预设位数表示的数值可以满足分区数量的要求。示例性的，分区数量为8，预设位数可以是3位，可以通过二进制方式表示分区索引。
分区索引用于表示存储服务器的分区。分区可以是一个抽象的概念。分区可以是对存储服务器的划分。在本发明实施例中，分区需要满足：各存储服务器分区对应于不同服务器集群中的至少三个存储服务器，所有存储服务器分区对应全部存储服务器，且任意两个存储服务器分区对应存储服务器不重复。分区数量可以与存储服务器的总数以及每个分区中的存储服务器数量相关。
示例性的，如图1c所示，对于服务器集群z1，z2和z3。各服务器集群中存在8个存储器设备。例如，z1中存在存储服务器d0、d1、…、d7；z2中存在存储服务器d8、d9、…、d15；z3中存在存储服务器d16、d17、…、d23。可以根据存储服务器的部署情况建立分区。
例如，可以建立分区p0、p1、…、p7，其中，分区与存储服务器编号之间可以存在映射表。例如，可以是分区p0与存储服务器编号d0、d8和d16存在映射；可以是分区p1与存储服务器编号d1、d9和d17存在映射；以此类推，如图1c所示，可以是分区p7与存储服务器编号d7、d15和d23存在映射。预设位数可以是3为，可以通二进制表示分区p0、p1、…、p7。
如图1c所示，分区索引为000，可以与分区p0对应，对应的存储服务器编号可以是d0、d8和d16，对应的存储服务器分别部署在服务器集群z1，z2和z3。
在本发明实施例的一个可选实施方式中，写数据请求对应数据的结构为扁平结构；其中，扁平结构的数据包括键值与数值，键值与存储服务器编号对应，数值为写数据请求或者读数据请求对应的真实数据。
用户在进行数据写入时可以通过键值-数值的形式进行写入；进行数据读取时，可以根据键值查找数据。可以避免维护庞大的文件目录表，通过元数据检索的方式进行数据管理，对于数据的查询仅维护键值-数值关系，避免了传统数据存储***中的多层级关系，简化了数据查询过程，更容易满足数据管理的需求。
步骤220、将写数据请求分别发送至与各存储服务器编号对应的存储服务器中，以使各存储服务器进行写数据请求中数据的写入操作。
其中，存储服务器可以获取写数据请求中的数据，进行与用户访问对象对应的数据更新操作。通过不同多个服务集群中存储服务器对同一数据的存储，可以实现数据的多重备份，提高数据的可靠性。数据存储的方式可以是以文件形式保存至存储服务器中的磁盘中。
在本发明实施例的一个实施方式中，可选的，将写数据请求分别发送至与各存储服务器编号对应的存储服务器中，以使各存储服务器进行写数据请求中数据的写入操作，包括：将写数据请求分别发送至第一目标编号集合对应的第一存储服务器中，以使第一存储服务器进行写数据请求中数据的写入操作；将第一目标编号集合分别发送至第二目标编号集合对应的第二存储服务器中，以使第二存储服务器进行与第一存储服务器的数据同步操作。
其中，第一目标编号集合包括至少两个存储服务器编号，第二目标编号集合不包括第一目标编号集合。示例性的，如图1c所示，第一目标编号集合可以包括d0、d8和d16中的任意两个，第二目标编号集合可以包括d0、d8和d16中除去第一目标集合中元素剩余的存储服务器编号。例如，第一目标编号集合包括d8和d16，第二目标集合包括d0。
第一存储服务器可以是对数据进行写入形式的存储；第二存储服务器可以是对数据进行同步形式的存储。其中，同步可以是在后台运行的。在第一存储服务器实现成功写入时，可以向代理服务器进行反馈，代理服务器可以将写入成功指示通过负载均衡器反馈至用户。通过写入与后台同步的形式可以提高数据写入速度，使用户快速得到反馈，降低延时。
在本发明实施例的一个实施方式中，可选的，将写数据请求分别发送至与各存储服务器编号对应的存储服务器中，以使各存储服务器进行写数据请求中数据的写入操作，包括：将写数据请求中的数据以及与数据对应的校验结果发送至与至少一个存储服务器编号对应的存储服务器中，以使存储服务器进行写数据请求中数据的写入操作。
其中，为了提高数据存储的可靠性，在数据出现丢失或者损坏等异常时，可以对数据进行恢复。在本发明实施例中，可以对数据进行验证，将数据以及校验结果一起存储在存储服务器中。校验结果可以用于恢复数据。例如，在数据存在部分丢失时，可以通过校验结果以及未丢失的数据对丢失数据进行恢复。校验结果可以是通过纠删码技术对数据进行验证生成的，如纠删码编码。
对于据以及校验结果的存储可以是在确定的存储器编号对应的任一存储服务器中进行存储，可以占用少量的存储空间提高数据的容错能力。或者，对于据以及校验结果的存储可以是在确定的存储器编号对应的全部存储服务器中进行存储，可以进一步提升数据的容错能力。或者，对于据以及校验结果的存储可以是在确定的存储器编号对应的多个而非全部存储服务器中进行存储，可以在存储空间的占用以及容错能力之间得到一定的协调。
本实施例的技术方案，通过在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；其中，每个存储服务器编号对应的存储服务器均部署在不同的服务器集群中；将写数据请求分别发送至与各存储服务器编号对应的存储服务器中，以使各存储服务器进行写数据请求中数据的写入操作，解决了金融领域中非结构化数据的存储问题，实现了可以将接口服务与数据存储服务解耦合，易于扩展实现对大量非结构化数据的存储，并且对数据进行多重备份，可以提高数据的可靠性以及容错性的效果。
实施例二
图2是本发明实施例二提供的一种数据存储方法的流程图。本实施例是对上述技术方案的进一步细化，本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合。如图2所示，该方法包括：
步骤310、在接收到负载均衡服务器下发的写数据请求时，根据写数据请求中的对象名称进行数值化操作，得到与对象名称对应的目标数值。
在本发明实施例的一个可选实施方式中，根据写数据请求中的对象名称进行数值化操作，得到与对象名称对应的目标数值，包括：根据写数据请求中的对象名称采用MD5算法进行数值化操作，得到与对象名称对应的目标数值。
步骤320、对目标数值进行移位操作得到预设位数的分区索引，并确定与分区索引匹配的存储服务器分区所对应的存储服务器编号。
其中，各存储服务器分区对应于不同服务器集群中的至少三个存储服务器，所有存储服务器分区对应全部存储服务器，且任意两个存储服务器分区对应存储服务器不重复。
步骤330、将写数据请求分别发送至第一目标编号集合对应的第一存储服务器中，以使第一存储服务器进行写数据请求中数据的写入操作。
在本发明实施例的一个可选实施方式中，将写数据请求分别发送至第一目标编号集合对应的第一存储服务器中，包括：将写数据请求中的数据以及与数据对应的校验结果分别发送至第一目标编号集合对应的第一存储服务器中。
在本发明实施例的一个可选实施方式中，写数据请求对应数据的结构为扁平结构；其中，扁平结构的数据包括键值与数值，键值与存储服务器编号对应，数值为写数据请求或者读数据请求对应的真实数据。
步骤340、将第一目标编号集合分别发送至第二目标编号集合对应的第二存储服务器中，以使第二存储服务器进行与第一存储服务器的数据同步操作。
其中，第一目标编号集合包括至少两个存储服务器编号，第二目标编号集合不包括第一目标编号集合。
步骤350、在接收到负载均衡服务器下发的读数据请求时，获取读数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号。
其中，根据读数据请求确定存储器服务器编号的过程与根据写数据请求确定存储服务器编号的过程是相似的，均可以参照图1c所示的过程，这里不再赘述。需要说明的是，用户针对同一对象进行写数据请求或者读数据请求时，确定的存储服务器编号是相同的，可以保证用户对于同一对象的读写数据对应的存储服务器固定，可以有效查询或者更新数据。
步骤360、分别读取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的数据。
其中，用户在查询数据时，代理服务器可以读取与读数据请求对应的至少两个存储服务器中的数据。可以根据多副本数据的读取保证数据的可靠性。例如，可以对读取的数据通过时间戳确定数据是否是最新版本，确定最新版本的数据为与读数据请求对应的数据。
在本发明实施例的一个可选实施方式中，分别读取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的数据，包括：获取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的至少两个备选数据；如果各备选数据一致，则将备选数据作为目标数据进行数据的读取操作；否则，获取剩余的至少一个存储服务器编号对应的存储服务器中与读数据请求对应的备选数据，并对各备选数据进行一致性判断，获取一致性最高的备选数据作为目标数据，进行数据的读取操作。
其中，为了进一步提高查询数据的可靠性，可以对读取的至少两个备选数据进行数据一致性判断。一致性判断可以是确定数据的时间戳信息以及数据的更新信息是否一致。如果读取不同副本的备选数据一致，可以将备选数据作为目标数据。如果读取的不同副本的备选数据不一致，可以再获取新的副本进行数据读取，得到新的备选数据，并进行一致性判断，从而确定目标数据。通过多副本数据的读取以及一致性判断可以提高数据读取的可靠性。此外，对于不一致的数据，可以通过后台同步的方式进行数据同步，保证数据存储的一致性，便于数据下次查询时的可靠性。
在本发明实施例的一个可选实施方式中，读数据请求对应数据的结构为扁平结构；其中，扁平结构的数据包括键值与数值，键值与存储服务器编号对应，数值为写数据请求或者读数据请求对应的真实数据。通过扁平结构进行数据的写入以及读取，可以简化数据的查询过程。
本实施例的技术方案，通过在接收到负载均衡服务器下发的写数据请求时，根据写数据请求中的对象名称进行数值化操作，得到与对象名称对应的目标数值；对目标数值进行移位操作得到预设位数的分区索引，并确定与分区索引匹配的存储服务器分区所对应的存储服务器编号；将写数据请求分别发送至第一目标编号集合对应的第一存储服务器中，以使第一存储服务器进行写数据请求中数据的写入操作；将第一目标编号集合分别发送至第二目标编号集合对应的第二存储服务器中，以使第二存储服务器进行与第一存储服务器的数据同步操作；在接收到负载均衡服务器下发的读数据请求时，获取读数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；分别读取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的数据，解决了金融领域中非结构化数据的存储以及查询问题，实现了可以将接口服务与数据存储服务解耦合，易于扩展实现对大量非结构化数据的存储，并且对数据进行多重备份，可以提高数据查询时的可靠性以及容错性的效果。
实施例三
本发明实施例提供了一种数据存储***。如图1b所示，该数据存储***包括：负载均衡服务器110、至少一个服务器集群120，各服务器集群包括一个代理服务器121和至少一个存储服务器122。其中：
负载均衡服务器110，用于获取用户的写数据请求，并将写数据请求分配至一个代理服务器进行请求处理。负载均衡服务器110可以与客户端进行通信获取用户的请求或者向用户反馈结果。
代理服务器121，用于在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；并将写数据请求分别发送至与各存储服务器编号对应的存储服务器中。其中，每个存储服务器编号对应的存储服务器均部署在不同的服务器集群中。
可选的，代理服务器121与负载均衡器110之间可以通过接口连接。例如，可以是HTTP协议的RESTful应用程序接口。接口协议简单，使用方便。通过接口连接可以实现用户简便地对数据进行获取、创建、修改以及删除等。通过接口的方式用户需要采用定制的客户端，使用轻量级化。
存储服务器122，用于接收代理服务器发送的写数据请求时，将写数据请求中的数据进行存储。对于不同服务器集群之间的存储服务器122可以进行数据同步，例如可以通过远程访问方式进行数据同步。代理服务器可以通过远程访问的方式进行与存储服务器的数据写入和/或读取。
可选的，代理服务器，具体用于：根据写数据请求中的对象名称进行数值化操作，得到与对象名称对应的目标数值；对目标数值进行移位操作得到预设位数的分区索引，并确定与分区索引匹配的存储服务器分区所对应的存储服务器编号。
其中，各存储服务器分区对应于不同服务器集群中的至少三个存储服务器，所有存储服务器分区对应全部存储服务器，且任意两个存储服务器分区对应存储服务器不重复。
可选的，代理服务器，具体用于：根据写数据请求中的对象名称采用MD5算法进行数值化操作，得到与对象名称对应的目标数值。
可选的，代理服务器，具体用于：将写数据请求分别发送至第一目标编号集合对应的第一存储服务器中；第一存储服务器，用于根据写数据请求将写数据请求中的数据进行存储；代理服务器，还具体用于将第一目标编号集合分别发送至第二目标编号集合对应的第二存储服务器中；第二存储服务器，用于根据第一目标编号集合进行与第一存储服务器的数据同步操作。
其中，第一目标编号集合包括至少两个存储服务器编号，第二目标编号集合不包括第一目标编号集合。
可选的，代理服务器，具体用于：将写数据请求中的数据以及与数据对应的校验结果发送至与至少一个存储服务器编号对应的存储服务器中；存储服务器，用于对写数据请求中的数据以及与数据对应的校验结果进行存储。
可选的，负载均衡服务器，还用于：获取用户的读数据请求，并将读数据请求分配至一个代理服务器进行请求处理。
可选的，代理服务器，还用于在接收到负载均衡服务器下发的读数据请求时，获取读数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；并分别读取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的数据。
可选的，代理服务器，具体用于：获取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的至少两个备选数据；如果各备选数据一致，则将备选数据作为目标数据进行数据的读取操作；否则，获取剩余的至少一个存储服务器编号对应的存储服务器中与读数据请求对应的备选数据，并对各备选数据进行一致性判断，获取一致性最高的备选数据作为目标数据，进行数据的读取操作。
本发明实施例所提供的数据存储***中的代理服务器可执行本发明任意实施例所提供的数据存储方法，具备执行方法相应的有益效果。
实施例四
图3是本发明实施例四提供的一种数据存储装置的结构示意图。该数据存储装置由数据存储***中的代理服务器执行，数据存储***包括：负载均衡服务器、至少一个服务器集群，各服务器集群包括一个代理服务器和至少一个存储服务器。结合图3，该装置包括：编号获取模块410和写数据请求发送模块420。其中：
编号获取模块410，用于在接收到负载均衡服务器下发的写数据请求时，获取写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
其中，每个存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
写数据请求发送模块420，用于将写数据请求分别发送至与各存储服务器编号对应的存储服务器中，以使各存储服务器进行写数据请求中数据的写入操作。
可选的，编号获取模块410包括：
目标数值确定单元，用于根据写数据请求中的对象名称进行数值化操作，得到与对象名称对应的目标数值；
存储服务器编号确定单元，用于对目标数值进行移位操作得到预设位数的分区索引，并确定与分区索引匹配的存储服务器分区所对应的存储服务器编号；
其中，各存储服务器分区对应于不同服务器集群中的至少三个存储服务器，所有存储服务器分区对应全部存储服务器，且任意两个存储服务器分区对应存储服务器不重复。
可选的，目标数值确定单元，具体用于：
根据写数据请求中的对象名称采用MD5算法进行数值化操作，得到与对象名称对应的目标数值。
可选的，写数据请求发送模块420包括：
写数据请求发送单元，用于将写数据请求分别发送至第一目标编号集合对应的第一存储服务器中，以使第一存储服务器进行写数据请求中数据的写入操作；
编号发送单元，用于将第一目标编号集合分别发送至第二目标编号集合对应的第二存储服务器中，以使第二存储服务器进行与第一存储服务器的数据同步操作；
其中，第一目标编号集合包括至少两个存储服务器编号，第二目标编号集合不包括第一目标编号集合。
可选的，写数据请求发送模块420包括：
数据及校验结果发送单元，用于将写数据请求中的数据以及与数据对应的校验结果发送至与至少一个存储服务器编号对应的存储服务器中，以使存储服务器进行写数据请求中数据的写入操作。
可选的，该装置，还包括：
第二编号获取模块，用于在接收到负载均衡服务器下发的读数据请求时，获取读数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
数据读取模块，用于分别读取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的数据。
可选的，数据读取模块，具体用于：
获取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的至少两个备选数据；
如果各备选数据一致，则将备选数据作为目标数据进行数据的读取操作；
否则，获取剩余的至少一个存储服务器编号对应的存储服务器中与读数据请求对应的备选数据，并对各备选数据进行一致性判断，获取一致性最高的备选数据作为目标数据，进行数据的读取操作。
可选的，写数据请求或者读数据请求对应数据的结构为扁平结构；
其中，扁平结构的数据包括键值与数值，键值与存储服务器编号对应，数值为写数据请求或者读数据请求对应的真实数据。
本发明实施例所提供的数据存储装置可执行本发明任意实施例所提供的数据存储方法，具备执行方法相应的功能模块和有益效果。
实施例五
图4是本发明实施例五提供的一种电子设备的结构示意图，如图4所示，该设备包括：
一个或多个处理器510，图4中以一个处理器510为例；
存储器520；
所述设备还可以包括：输入装置530和输出装置540。
所述设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图4中以通过总线连接为例。
存储器520作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种数据存储方法对应的程序指令/模块(例如，附图3所示的编号获取模块410和写数据请求发送模块420)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种数据存储方法，即：
在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作。
存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器520可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例六
本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的一种数据存储方法：
在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种数据存储方法，由数据存储***中的代理服务器执行，所述数据存储***包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器；其特征在于，所述方法包括：
在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作；
在接收到负载均衡服务器下发的读数据请求时，获取所述读数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
分别读取至少两个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的数据；
其中，分别读取至少两个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的数据，包括：
获取至少两个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的至少两个备选数据；
如果各所述备选数据一致，则将所述备选数据作为目标数据进行数据的读取操作；
否则，获取剩余的至少一个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的备选数据，并对各备选数据进行一致性判断，获取一致性最高的备选数据作为目标数据，进行数据的读取操作。
2.根据权利要求1所述的方法，其特征在于，在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号，包括：
根据所述写数据请求中的对象名称进行数值化操作，得到与所述对象名称对应的目标数值；
对所述目标数值进行移位操作得到预设位数的分区索引，并确定与所述分区索引匹配的存储服务器分区所对应的存储服务器编号；
其中，各所述存储服务器分区对应于不同服务器集群中的至少三个存储服务器，所有所述存储服务器分区对应全部存储服务器，且任意两个所述存储服务器分区对应存储服务器不重复。
3.根据权利要求2所述的方法，其特征在于，根据所述写数据请求中的对象名称进行数值化操作，得到与所述对象名称对应的目标数值，包括：
根据所述写数据请求中的对象名称采用消息摘要算法MD5进行数值化操作，得到与所述对象名称对应的目标数值。
4.根据权利要求1所述的方法，其特征在于，将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作，包括：
将所述写数据请求分别发送至第一目标编号集合对应的第一存储服务器中，以使所述第一存储服务器进行所述写数据请求中数据的写入操作；
将所述第一目标编号集合分别发送至第二目标编号集合对应的第二存储服务器中，以使所述第二存储服务器进行与所述第一存储服务器的数据同步操作；
其中，所述第一目标编号集合包括至少两个存储服务器编号，所述第二目标编号集合不包括所述第一目标编号集合。
5.根据权利要求1所述的方法，其特征在于，将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作，包括：
将所述写数据请求中的数据以及与数据对应的校验结果发送至与至少一个所述存储服务器编号对应的存储服务器中，以使存储服务器进行所述写数据请求中数据的写入操作。
6.根据权利要求1所述的方法，其特征在于，所述写数据请求或者所述读数据请求对应数据的结构为扁平结构；
其中，所述扁平结构的数据包括键值与数值，所述键值与所述存储服务器编号对应，所述数值为所述写数据请求或者所述读数据请求对应的真实数据。
7.一种数据存储***，其特征在于，包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器；
所述负载均衡服务器，用于获取用户的写数据请求，并将所述写数据请求分配至一个代理服务器进行请求处理；
所述代理服务器，用于在接收到所述负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；并将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中；
其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
所述存储服务器，用于接收所述代理服务器发送的所述写数据请求时，将所述写数据请求中的数据进行存储；
所述负载均衡服务器，还用于：
获取用户的读数据请求，并将所述读数据请求分配至一个代理服务器进行请求处理；
所述代理服务器，还用于在接收到负载均衡服务器下发的读数据请求时，获取所述读数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；并分别读取至少两个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的数据；
所述代理服务器，具体用于：
获取至少两个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的至少两个备选数据；
如果各所述备选数据一致，则将所述备选数据作为目标数据进行数据的读取操作；
否则，获取剩余的至少一个所述存储服务器编号对应的存储服务器中与所述读数据请求对应的备选数据，并对各备选数据进行一致性判断，获取一致性最高的备选数据作为目标数据，进行数据的读取操作。
8.根据权利要求7所述的***，其特征在于，所述代理服务器，具体用于：
根据所述写数据请求中的对象名称进行数值化操作，得到与所述对象名称对应的目标数值；
对所述目标数值进行移位操作得到预设位数的分区索引，并确定与所述分区索引匹配的存储服务器分区所对应的存储服务器编号；
其中，各所述存储服务器分区对应于不同服务器集群中的至少三个存储服务器，所有所述存储服务器分区对应全部存储服务器，且任意两个所述存储服务器分区对应存储服务器不重复。
9.根据权利要求8所述的***，其特征在于，所述代理服务器，具体用于：
根据所述写数据请求中的对象名称采用消息摘要算法MD5进行数值化操作，得到与所述对象名称对应的目标数值。
10.根据权利要求7所述的***，其特征在于，所述代理服务器，具体用于：
将所述写数据请求分别发送至第一目标编号集合对应的第一存储服务器中；
所述第一存储服务器，用于根据所述写数据请求将所述写数据请求中的数据进行存储；
所述代理服务器，还具体用于将所述第一目标编号集合分别发送至第二目标编号集合对应的第二存储服务器中；
所述第二存储服务器，用于根据所述第一目标编号集合进行与所述第一存储服务器的数据同步操作；
其中，所述第一目标编号集合包括至少两个存储服务器编号，所述第二目标编号集合不包括所述第一目标编号集合。
11.根据权利要求7所述的***，其特征在于，所述代理服务器，具体用于：
将所述写数据请求中的数据以及与数据对应的校验结果发送至与至少一个所述存储服务器编号对应的存储服务器中；
所述存储服务器，用于对所述写数据请求中的数据以及与数据对应的校验结果进行存储。
12.一种数据存储装置，由数据存储***中的代理服务器执行，所述数据存储***包括：负载均衡服务器、至少一个服务器集群，各所述服务器集群包括一个代理服务器和至少一个存储服务器；其特征在于，所述装置包括：
编号获取模块，用于在接收到负载均衡服务器下发的写数据请求时，获取所述写数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
其中，每个所述存储服务器编号对应的存储服务器均部署在不同的服务器集群中；
写数据请求发送模块，用于将所述写数据请求分别发送至与各所述存储服务器编号对应的存储服务器中，以使各存储服务器进行所述写数据请求中数据的写入操作；
该装置，还包括：
第二编号获取模块，用于在接收到负载均衡服务器下发的读数据请求时，获取读数据请求中的对象名称进行请求处理，得到至少三个存储服务器编号；
数据读取模块，用于分别读取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的数据；
数据读取模块，具体用于：
获取至少两个存储服务器编号对应的存储服务器中与读数据请求对应的至少两个备选数据；
如果各备选数据一致，则将备选数据作为目标数据进行数据的读取操作；
否则，获取剩余的至少一个存储服务器编号对应的存储服务器中与读数据请求对应的备选数据，并对各备选数据进行一致性判断，获取一致性最高的备选数据作为目标数据，进行数据的读取操作。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的方法。
CN202110158232.XA 2021-02-04 2021-02-04 一种数据存储方法、***、装置、设备及存储介质 Active CN112866406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110158232.XA CN112866406B (zh) 2021-02-04 2021-02-04 一种数据存储方法、***、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110158232.XA CN112866406B (zh) 2021-02-04 2021-02-04 一种数据存储方法、***、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112866406A CN112866406A (zh) 2021-05-28
CN112866406B true CN112866406B (zh) 2023-03-24

Family

ID=75988963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110158232.XA Active CN112866406B (zh) 2021-02-04 2021-02-04 一种数据存储方法、***、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112866406B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590595A (zh) * 2021-09-30 2021-11-02 苏州浪潮智能科技有限公司 一种数据库多写方法、装置及相关设备
CN117134918A (zh) * 2023-07-20 2023-11-28 威艾特科技(深圳)有限公司 一种分布式数据签名校验方法及装置
CN117240917B (zh) * 2023-11-08 2024-04-05 阿里云计算有限公司 缓存型云存储***与数据读写方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378423A (zh) * 2014-11-13 2015-02-25 普华基础软件股份有限公司 元数据集群分布式存储***及读取、写入存储数据的方法
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储***及其数据路由方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4457240B2 (ja) * 2007-05-09 2010-04-28 フェリカネットワークス株式会社 データ管理システム、管理サーバ、データ管理方法、およびプログラム
CN103369051B (zh) * 2013-07-22 2016-04-27 中安消技术有限公司 一种数据服务器集群***及数据同步方法
CN104202375B (zh) * 2014-08-22 2017-10-24 广州华多网络科技有限公司 同步数据的方法及***
CN104679896A (zh) * 2015-03-18 2015-06-03 成都金本华科技股份有限公司 一种大数据环境下的智能检索方法
CN108234630B (zh) * 2017-12-29 2021-03-23 北京奇虎科技有限公司 基于分布式一致性协议实现的数据读取方法及装置
CN110399097A (zh) * 2019-06-25 2019-11-01 苏州浪潮智能科技有限公司 一种分布式存储***数据一致性的检查方法以及装置
CN111031096B (zh) * 2019-11-15 2022-05-31 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 一种基于拟态防御的分布式存储***构建方法
CN111343277B (zh) * 2020-03-04 2021-12-14 腾讯科技（深圳）有限公司 分布式数据存储方法、***、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104378423A (zh) * 2014-11-13 2015-02-25 普华基础软件股份有限公司 元数据集群分布式存储***及读取、写入存储数据的方法
CN109327539A (zh) * 2018-11-15 2019-02-12 上海天玑数据技术有限公司 一种分布式块存储***及其数据路由方法

Also Published As

Publication number Publication date
CN112866406A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112866406B (zh) 一种数据存储方法、***、装置、设备及存储介质
JP6778795B2 (ja) データを記憶するための方法、装置及びシステム
US10951702B2 (en) Synchronized content library
US10277673B2 (en) Local server for synced online content management system
US7793112B2 (en) Access to content addressable data over a network
AU757667B2 (en) Access to content addressable data over a network
CN108683668B (zh) 内容分发网络中的资源校验方法、装置、存储介质及设备
US20190140902A1 (en) Centralized configuration data in a distributed file system
CN104348859B (zh) 文件同步方法、装置、服务器、终端及***
US9930063B2 (en) Random identifier generation for offline database
CN108540510B (zh) 一种云主机创建方法、装置及云服务***
CN113792885A (zh) 一种深度学习训练的执行方法及相关装置
CN111225003B (zh) 一种nfs节点配置方法和装置
EP3349416B1 (en) Relationship chain processing method and system, and storage medium
CN114422538B (zh) 多云存储***、多云数据读写方法及电子设备
CN113535478B (zh) 数据备份方法及装置、存储介质及电子设备
CN116389516A (zh) 文件分片传输方法、装置、服务器、介质、产品及***
CN118192897A (zh) 数据存储***、方法和装置
CN114338692A (zh) 一种基于分片集群扩容的数据平衡方法与设备
CN114547678A (zh) 风险控制方法和装置
CN114840144A (zh) 一种存储数据的***和方法
CN117370295A (zh) 一种文件拷贝方法、装置、服务器及存储介质
CN114490128A (zh) 一种异地多活架构下的数据存储方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220920

Address after: 25 Financial Street, Xicheng District, Beijing 100033

Applicant after: CHINA CONSTRUCTION BANK Corp.

Address before: 12 / F, 15 / F, 99 Yincheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 200120

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant