CN105516284A - 一种集群数据库分布式存储的方法和装置 - Google Patents

一种集群数据库分布式存储的方法和装置 Download PDF

Info

Publication number
CN105516284A
CN105516284A CN201510866829.4A CN201510866829A CN105516284A CN 105516284 A CN105516284 A CN 105516284A CN 201510866829 A CN201510866829 A CN 201510866829A CN 105516284 A CN105516284 A CN 105516284A
Authority
CN
China
Prior art keywords
storage server
data
pending data
buffer memory
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510866829.4A
Other languages
English (en)
Other versions
CN105516284B (zh
Inventor
冯骏
黄超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huaxun Ark Photoelectric Technology Co ltd
Original Assignee
Shenzhen Huaxun Fangzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huaxun Fangzhou Software Technology Co Ltd filed Critical Shenzhen Huaxun Fangzhou Software Technology Co Ltd
Priority to CN201510866829.4A priority Critical patent/CN105516284B/zh
Publication of CN105516284A publication Critical patent/CN105516284A/zh
Priority to PCT/CN2016/092188 priority patent/WO2017092384A1/zh
Application granted granted Critical
Publication of CN105516284B publication Critical patent/CN105516284B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1087—Peer-to-peer [P2P] networks using cross-functional networking aspects
    • H04L67/1091—Interfacing with client-server systems or between P2P systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)

Abstract

本发明属于数据存储技术领域，提供了一种集群数据库分布式存储的方法和装置，所述方法包括：接收数据处理请求信息，所述处理请求信息包括待处理数据的关键字；根据所述关键字，查询所述存储服务器的缓存中是否存在所述待处理的数据；若否，查询所述存储服务器的节点数据库中是否存在所述待处理的数据，若存在，则对所述待处理的数据进行处理，并将处理结果反馈至所述存储服务器的缓存，以使所述存储服务器的缓存将所述处理结果发送至客户端。通过本发明提高了存储服务器的数据读取效率。

Description

一种集群数据库分布式存储的方法和装置
技术领域
本发明属于数据存储技术领域，尤其涉及一种集群数据库分布式存储的方法和装置。
背景技术
传统的网络存储***采用集中的存储服务器存放所有的数据，存储服务器成为***性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。
目前的分布式存储***，是将数据分散存储在多***立的设备上。采用可扩展的***结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，这种方案虽然在一定程度上缓解了单一存储服务器的压力，提高了***的可靠性、可用性和存取效率、易于扩展。但需要依赖存储服务器的读写与存储的效率，对于大规模的数据，存储服务器的要求也相应提高，多个服务器数据节点意味着要在多个存储服务器上存储数据，存储服务器的磁盘大小与读写数据都会降低存储服务器的读取效率。
故，有必要提出一种新的技术方案，以解决上述技术问题。
发明内容
鉴于此，本发明实施例提供一种集群数据库分布式存储的方法和装置，以提高存储服务器的数据读取效率。
本发明实施例的第一方面，提供一种集群数据库分布式存储的方法，所述方法包括：
接收数据处理请求信息，所述处理请求信息包括待处理数据的关键字；
根据所述关键字，查询所述存储服务器的缓存中是否存在所述待处理的数据；
若否，查询所述存储服务器的节点数据库中是否存在所述待处理的数据，若存在，则对所述待处理的数据进行处理，并将处理结果反馈至所述存储服务器的缓存，以使所述存储服务器的缓存将所述处理结果发送至客户端。
本发明实施例的第二方面，提供一种集群数据库分布式存储的装置，所述装置包括：
接收模块、查询模块以及处理模块；
所述接收模块，用于接收数据处理请求信息，所述处理请求信息包括待处理数据的关键字；
所述查询模块，用于根据所述关键字，查询所述存储服务器的缓存中是否存在所述待处理的数据；
所述处理模块，用于若否，查询所述存储服务器的节点数据库中是否存在所述待处理的数据，若存在，则对所述待处理的数据进行处理，并将处理结果反馈至所述存储服务器的缓存，以使所述存储服务器的缓存将所述处理结果发送至客户端。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例接收数据处理请求信息，所述处理请求信息包括待处理数据的关键字，根据所述关键字，查询所述存储服务器的缓存中是否存在所述待处理的数据，若否，查询所述存储服务器的节点数据库中是否存在所述待处理的数据，若存在，则对所述待处理的数据进行处理，并将处理结果反馈至所述存储服务器的缓存，以使所述存储服务器的缓存将所述处理结果发送至客户端，当所述存储服务器再次接收相同的数据处理请求信息时，就不再需要从所述存储服务器的节点数据库中进行读取，而是直接从所述存储服务器的缓存中读取，提高了存储服务器的数据读取效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的集群数据库分布式存储方法的实现流程图；
图2是本发明实施例二提供的集群数据库分布式存储装置的组成示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
图1示出了本发明实施例一提供的集群数据库分布式存储方法的实现流程，所述实现流程详述如下：
在步骤S101中，接收数据处理请求信息，所述处理请求信息包括待处理数据的关键字；
在本发明实施例中，存储服务器接收客户端发送的数据处理请求信息，所述处理请求信息包括待处理数据的关键字，所述关键字包括但不限于数据表名、数据库表中的字段名等。
在步骤S102中，根据所述关键字，查询所述存储服务器的缓存中是否存在所述待处理的数据；
在本发明实施例中，所述存储服务器包括多个节点数据库和一个缓存，所述缓存用于缓存节点数据库中的部分数据，与一个或多个节点数据库连接。所述多个节点数据库可以提供统一、完整的数据库视图。所述缓存为所述存储服务器的内存。
在步骤S103中，若否，查询所述存储服务器的节点数据库中是否存在所述待处理的数据，若存在，则对所述待处理的数据进行处理，并将处理结果反馈至所述存储服务器的缓存，以使所述存储服务器的缓存将所述处理结果发送至客户端。
需要说明的是，当不同节点数据库中都存在待处理的数据时，则选择数据库状态相对空闲的节点，例如，三个节点数据库A、B、C中都存在待处理的数据，若节点数据库A当前的读取操作量小于节点数据库B、C当前的读取操作量，则选择节点数据库A对所述待处理的数据进行处理；当不同节点数据库中都存在待处理的数据，且数据库状态相同时，则按照节点数据库的数据存储顺序进行优先选取，均衡节点数据库的数据处理压力。所述数据存储顺序为在对节点数据库分配数据时，将待处理的数据分配给不同节点数据库的顺序。
在本发明实施例中，所述处理请求信息还可以包括处理结果的返回类型，所述处理结果可以为处理后的数据和/或处理完成与否的信息。
进一步的，在将所述处理结果发送至客户端之前，还包括：
将所述处理结果缓存至所述存储服务器的缓存。
进一步的，当所述存储服务器的缓存中存在待处理的数据时，则直接对所述待处理的数据进行处理，并将处理结果发送至客户端。
在本发明实施例中，所述对所述待处理的数据进行处理包括但不限于对所述待处理的数据进行查询、增加、删除和/或修改等。
在本发明实施例中，基于集群数据库分布式存储的概念，使用存储服务器的节点数据库和存储服务器的缓存来存储数据，并使用存储服务器的缓存进行节点数据库数据的查询。
本发明实施例通过存储服务器的节点数据库和存储服务器的缓存来存储数据，当所述存储服务器再次接收相同的数据处理请求信息时，就不再需要从所述存储服务器的节点数据库中进行读取，而是直接从所述存储服务器的缓存中读取，提高了存储服务器的数据读取效率，同时，由于所述存储服务器中的多个节点数据库之间不需要进行数据同步，提高了存储服务器的性能。
实施例二：
图2示出了本发明实施例二提供的集群数据库分布式存储装置的组成示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
接收模块21，用于接收数据处理请求信息，所述处理请求信息包括待处理数据的关键字；
在本发明实施例中，接收模块21接收客户端发送的数据处理请求信息，所述处理请求信息包括待处理数据的关键字，所述关键字包括但不限于数据表名、数据库表中的字段名等。
查询模块22，用于根据所述关键字，查询所述存储服务器的缓存中是否存在所述待处理的数据；
在本发明实施例中，所述存储服务器包括多个节点数据库和一个缓存，所述缓存用于缓存节点数据库中的部分数据，与一个或多个节点数据库连接。所述多个节点数据库可以提供统一、完整的数据库视图。所述缓存为所述存储服务器的内存。
处理模块23，用于若否，查询所述存储服务器的节点数据库中是否存在所述待处理的数据，若存在，则对所述待处理的数据进行处理，并将处理结果反馈至所述存储服务器的缓存，以使所述存储服务器的缓存将所述处理结果发送至客户端。
需要说明的是，当不同节点数据库中都存在待处理的数据时，则选择数据库状态相对空闲的节点，例如，三个节点数据库A、B、C中都存在待处理的数据，若节点数据库A当前的读取操作量小于节点数据库B、C当前的读取操作量，则选择节点数据库A对所述待处理的数据进行处理；当不同节点数据库中都存在待处理的数据，且数据库状态相同时，则按照节点数据库的数据存储顺序进行优先选取，均衡节点数据库的数据处理压力。所述数据存储顺序为在对节点数据库分配数据时，将待处理数据分配给不同节点数据库的顺序。
在本发明实施例中，所述处理请求信息还可以包括处理结果的返回类型，所述处理结果可以为处理后的数据和/或处理完成与否的信息。
进一步的，所述处理模块23还用于：
将所述处理结果缓存至所述存储服务器的缓存。
进一步的，所述处理模块23还用于：
当所述存储服务器的缓存中存在待处理的数据时，则直接对所述待处理的数据进行处理，并将处理结果发送至客户端。
在本发明实施例中，所述对所述待处理的数据进行处理包括但不限于对所述待处理的数据进行查询、增加、删除和/或修改等。
在本发明实施例中，基于集群数据库分布式存储的概念，使用存储服务器的节点数据库和存储服务器的缓存来存储数据，并使用存储服务器的缓存进行节点数据库数据的查询。
本发明实施例提供的集群数据库分布式存储装置可以使用在前述对应的方法实施例一中。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即所述装置的内部结构划分成不同的功能模块，上述功能模块既可以采用硬件的形式实现，也可以采用软件的形式实现。另外，各功能模块的具体名称也只是为了便于相互区别，并不用于限制本申请的保护范围。
综上所述，本发明实施例通过存储服务器的节点数据库和存储服务器的缓存来存储数据，当所述存储服务器再次接收相同的数据处理请求信息时，就不再需要从所述存储服务器的节点数据库中进行读取，而是直接从所述存储服务器的缓存中读取，提高了存储服务器的数据读取效率，同时，由于所述存储服务器中的多个节点数据库之间不需要进行数据同步，提高了存储服务器的性能。
本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种集群数据库分布式存储的方法，其特征在于，所述方法包括：
接收数据处理请求信息，所述处理请求信息包括待处理数据的关键字；
根据所述关键字，查询存储服务器的缓存中是否存在所述待处理的数据；
若否，查询所述存储服务器的节点数据库中是否存在所述待处理的数据，若存在，则对所述待处理的数据进行处理，并将处理结果反馈至所述存储服务器的缓存，以使所述存储服务器的缓存将所述处理结果发送至客户端。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述存储服务器的缓存中存在待处理的数据时，则直接对所述待处理的数据进行处理，并将处理结果发送至客户端。
3.根据权利要求1所述的方法，其特征在于，在将所述处理结果发送至客户端之前，还包括：
将所述处理结果缓存至所述存储服务器的缓存。
4.根据权利要求1或2所述的方法，其特征在于，所述对所述待处理的数据进行处理包括：对所述待处理的数据进行查询、增加、删除和/或修改。
5.一种集群数据库分布式存储的装置，其特征在于，所述装置包括：
接收模块、查询模块以及处理模块；
所述接收模块，用于接收数据处理请求信息，所述处理请求信息包括待处理数据的关键字；
所述查询模块，用于根据所述关键字，查询所述存储服务器的缓存中是否存在所述待处理的数据；
所述处理模块，用于若否，查询所述存储服务器的节点数据库中是否存在所述待处理的数据，若存在，则对所述待处理的数据进行处理，并将处理结果反馈至所述存储服务器的缓存，以使所述存储服务器的缓存将所述处理结果发送至客户端。
6.根据权利要求5所述的装置，其特征在于，所述处理模块还用于：
当所述存储服务器的缓存中存在待处理的数据时，则直接对所述待处理的数据进行处理，并将处理结果发送至客户端。
7.根据权利要求5所述的装置，其特征在于，所述处理模块还用于：
将所述处理结果缓存至所述存储服务器的缓存。
8.根据权利要求5或6所述的装置，其特征在于，所述对所述待处理的数据进行处理包括：对所述待处理的数据进行查询、增加、删除和/或修改。
CN201510866829.4A 2015-12-01 2015-12-01 一种集群数据库分布式存储的方法和装置 Expired - Fee Related CN105516284B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510866829.4A CN105516284B (zh) 2015-12-01 2015-12-01 一种集群数据库分布式存储的方法和装置
PCT/CN2016/092188 WO2017092384A1 (zh) 2015-12-01 2016-07-29 一种集群数据库分布式存储的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510866829.4A CN105516284B (zh) 2015-12-01 2015-12-01 一种集群数据库分布式存储的方法和装置

Publications (2)

Publication Number Publication Date
CN105516284A true CN105516284A (zh) 2016-04-20
CN105516284B CN105516284B (zh) 2019-05-03

Family

ID=55723915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510866829.4A Expired - Fee Related CN105516284B (zh) 2015-12-01 2015-12-01 一种集群数据库分布式存储的方法和装置

Country Status (2)

Country Link
CN (1) CN105516284B (zh)
WO (1) WO2017092384A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528833A (zh) * 2016-11-14 2017-03-22 天津南大通用数据技术股份有限公司 一种mpp数据库数据动态重分布的方法及装置
WO2017092384A1 (zh) * 2015-12-01 2017-06-08 深圳市华讯方舟软件技术有限公司 一种集群数据库分布式存储的方法和装置
CN106874371A (zh) * 2016-12-30 2017-06-20 新华三技术有限公司 一种数据处理方法及装置
CN107239570A (zh) * 2017-06-27 2017-10-10 联想(北京)有限公司 数据处理方法及服务器集群
CN107493308A (zh) * 2016-06-12 2017-12-19 阿里巴巴集团控股有限公司 一种发送消息的方法和装置及分布式设备集群***
CN107888686A (zh) * 2017-11-14 2018-04-06 西南医科大学 一种位于HBase客户端的用户数据有效性验证方法
CN109150998A (zh) * 2018-08-01 2019-01-04 北京奇虎科技有限公司 基于云测试平台的日志文件处理***及方法
CN110505257A (zh) * 2018-05-17 2019-11-26 北京国双科技有限公司 请求消息处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833352A (zh) * 2012-09-17 2012-12-19 深圳中兴网信科技有限公司 分布式缓存管理***和实现分布式缓存管理的方法
CN104077397A (zh) * 2014-07-01 2014-10-01 成都康赛信息技术有限公司 一种分布式的大数据分类检索网页的响应方法
CN104317926A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种持久化的数据存储和查询方法及对应的装置和***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123300B (zh) * 2013-04-26 2017-10-13 上海云人信息科技有限公司 数据分布式存储***及方法
CN104572862A (zh) * 2014-12-19 2015-04-29 阳珍秀 一种海量数据存储访问方法及***
CN105516284B (zh) * 2015-12-01 2019-05-03 深圳市华讯方舟软件技术有限公司 一种集群数据库分布式存储的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833352A (zh) * 2012-09-17 2012-12-19 深圳中兴网信科技有限公司 分布式缓存管理***和实现分布式缓存管理的方法
CN104077397A (zh) * 2014-07-01 2014-10-01 成都康赛信息技术有限公司 一种分布式的大数据分类检索网页的响应方法
CN104317926A (zh) * 2014-10-31 2015-01-28 北京思特奇信息技术股份有限公司 一种持久化的数据存储和查询方法及对应的装置和***

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017092384A1 (zh) * 2015-12-01 2017-06-08 深圳市华讯方舟软件技术有限公司 一种集群数据库分布式存储的方法和装置
CN107493308A (zh) * 2016-06-12 2017-12-19 阿里巴巴集团控股有限公司 一种发送消息的方法和装置及分布式设备集群***
CN106528833A (zh) * 2016-11-14 2017-03-22 天津南大通用数据技术股份有限公司 一种mpp数据库数据动态重分布的方法及装置
CN106874371A (zh) * 2016-12-30 2017-06-20 新华三技术有限公司 一种数据处理方法及装置
CN107239570A (zh) * 2017-06-27 2017-10-10 联想(北京)有限公司 数据处理方法及服务器集群
CN107888686A (zh) * 2017-11-14 2018-04-06 西南医科大学 一种位于HBase客户端的用户数据有效性验证方法
CN107888686B (zh) * 2017-11-14 2020-10-02 西南医科大学 一种位于HBase客户端的用户数据有效性验证方法
CN110505257A (zh) * 2018-05-17 2019-11-26 北京国双科技有限公司 请求消息处理方法及装置
CN109150998A (zh) * 2018-08-01 2019-01-04 北京奇虎科技有限公司 基于云测试平台的日志文件处理***及方法

Also Published As

Publication number Publication date
CN105516284B (zh) 2019-05-03
WO2017092384A1 (zh) 2017-06-08

Similar Documents

Publication Publication Date Title
CN105516284A (zh) 一种集群数据库分布式存储的方法和装置
CN103106249B (zh) 一种基于Cassandra的数据并行处理***
CN103268318B (zh) 一种强一致性的分布式键值数据库***及其读写方法
CN103530388A (zh) 一种云存储***中提升性能的数据处理方法
CN107180113B (zh) 一种大数据检索平台
CN105242881A (zh) 分布式存储***及其数据读写方法
CN104050250A (zh) 一种分布式键-值查询方法和查询引擎***
US20140156586A1 (en) Big-fast data connector between in-memory database system and data warehouse system
US20160364407A1 (en) Method and Device for Responding to Request, and Distributed File System
CN104050249A (zh) 分布式查询引擎***和方法及元数据服务器
US11586646B2 (en) Transforming data structures and data objects for migrating data between databases having different schemas
CN103744906A (zh) 一种数据同步***、方法及装置
CN104820717A (zh) 一种海量小文件存储及管理方法和***
CN102937964B (zh) 基于分布式***的智能数据服务方法
CN102541990A (zh) 利用虚拟分区的数据库重新分布方法和***
CN105740248B (zh) 一种数据同步方法、装置及***
CN106953910A (zh) 一种Hadoop计算存储分离方法
CN104184812A (zh) 一种基于私有云的多点数据传输方法
CN109271449A (zh) 一种基于文件的分布式存储查询***及查询方法
CN103516809A (zh) 一种高扩展、高性能的分布式存储体系结构
CN104881466A (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN103595799A (zh) 一种实现分布式共享数据库的方法
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
CN105227672A (zh) 数据存储及访问的方法和***
CN109783018A (zh) 一种数据存储的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211109

Address after: 518000 404, building 37, chentian Industrial Zone, chentian community, Xixiang street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Huaxun ark Photoelectric Technology Co.,Ltd.

Address before: 518000 3rd floor, building 37, chentian Industrial Zone, Baotian 1st Road, Xixiang street, Bao'an District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN HUAXUN FANGZHOU SOFTWARE TECHNOLOGY Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190503