CN104035522A - 大数据库一体机 - Google Patents
大数据库一体机 Download PDFInfo
- Publication number
- CN104035522A CN104035522A CN201410266458.1A CN201410266458A CN104035522A CN 104035522 A CN104035522 A CN 104035522A CN 201410266458 A CN201410266458 A CN 201410266458A CN 104035522 A CN104035522 A CN 104035522A
- Authority
- CN
- China
- Prior art keywords
- large database
- database
- san
- switch
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了大数据库一体机，属于数据处理技术领域。本发明提供的大数据库一体机，包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；若干个SSD磁盘阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。本发明采用SSD磁盘阵列作为共享存储设备提高读写速度，实现多节点负载均衡，通过并行数据库技术提高响应时间，可按需扩展***，保证***性能的稳定。为保障大数据库一体机持续稳定运行,SAN交换机采用两台，用于双备份。本发明采用JobKeeper分布式调度引擎，使大数据库一体机达到负载均衡、集群性能更优。
Description
技术领域
本发明涉一种大数据库一体机，具体讲是一种处理速度快且性能稳定的大数据库一体机，属于数据处理技术领域。
背景技术
随着计算机技术的飞速发展，各行各领域数据的呈几何级快速增长。这些数据来自各方面，从搜集天气情况的感测器、数码图片、在线的视频资料，到网络购物的交易记录、手机的全球定位***信号等应有尽有。伴随数据规模的急剧膨胀，各行业累积的数据量越来越巨大，数据类型也越来越多、数据结构越来越复杂，已经超越了传统数据管理***、处理模式的能力范围，传统的串行数据库***已经难以适应这种飞速增长的应用需求，在生产实践中表现出明显的能力不足，无法满足大数据时代的数据处理需求。
发明内容
本发明所要解决的技术问题在于克服现有技术缺陷，提供一种处理速度快、操作效率高能适应大数据处理的大数据库一体机。
为了解决上述技术问题，本发明提供的大数据库一体机，包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；若干个SSD磁盘阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。
本发明的有益效果在于：本发明采用SSD磁盘阵列作为共享存储设备提高读写速度，实现多节点负载均衡，通过并行数据库技术提高响应时间，可按需扩展***，保证***性能的稳定；本发明可使EB级数据能够秒级处理，极大极高了用户执行查询操作后的使用效率，其不仅在查询和检索数据时具有非常高的性能优势，还可以支持数据仓库存储、数据深度挖掘和商业智能分析等。
为保障大数据库一体机持续稳定运行，所述SAN交换机为两台，用于双备份。
本大数据库一体机采用JobKeeper分布式调度引擎，使达到大数据库一体机负载均衡、集群性能更优。
附图说明
图1为本发明大数据库一体机结构图；
图2为本发明大数据库一体机内部连接示意图；
图3为JobKeeper分布式调度引擎***架构图。
具体实施方式
下面结合附图对本发明作详细说明。
如图1所示，本发明大数据库一体机包括由下而上依次安装标准机架1内的SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3、SAN交换机1、SAN交换机2、数据库处理单元1、数据库处理单元2、数据库处理单元3和光纤交换机，所有设备通过机架电源统一供电运行。
如图2所示，SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3分别与SAN交换机1、SAN交换机2相互连接通信，SAN交换机1、SAN交换机2同时分别与数据库处理单元1、数据库处理单元2、数据库处理单元3连接，实现SSD磁盘阵列1、SSD磁盘阵列2、SSD磁盘阵列3与数据库处理单元1、数据库处理单元2、数据库处理单元3之间数据传输；数据库处理单元1、数据库处理单元2、数据库处理单元3均连接光纤交换机，光纤交换机提供对外服务网络接口，连接对外服务网络，实现数据网络间传输。
本发明中每个数据库处理单元设置2块HBA卡，用于连接SAN交换机，共享磁盘阵列。每个数据库处理单元安装统一关系型数据库，上层应用为通用的数据库平台，***根据负载情况自动切换访问独立节点的数据库。SSD磁盘阵列采用闪存作为存储介质，读写速度相对机械硬盘更快，功耗比传统硬盘低，实现低能耗高效率的数据存储。SAN交换机用于数据库处理单元共享磁盘阵列，通过2台SAN交换机实现备份，保证了大数据库一体机的持续稳定运行。
本实例中大数据库一体机采用3个SSD磁盘阵列和3个数据库处理单元，在实际工作过程中，SSD磁盘阵列和数据库处理单元的数量可根据需要进行增减，以实现不同级别的数据处理需求。
本发明中每个数据处理单元独立装载关系型数据库***，共用阵列存储，形成组群模式。用户向JobKeeper分布式调度引擎提交数据库操作请求。JobKeeper分布式调度引擎根据各个数据处理单元的实际运行负载情况，将此操作请求下达到适合处理的数据处理单元之上，此处理单元独立完成操作后反馈给用户请求结果。以此模式达到利用SSD盘阵的高效IOPS和JobKeeper分布式调度引擎的负载均衡的优势，使得数据库操作的效率显著提高。通过引入索引模块、并行执行架构以及读取本地磁盘的方式，使EB级数据能够秒级处理。
如图3所示，本发明大数据库一体机采用JobKeeper分布式调度引擎，JobKeeper是一种处理任务的超高性能分布式调度平台，JobKeeper可不间断接受从各台计算机提交的任务，再按照当前集群中所有机器的压力，智能进行分配任务，进而达到集群负载均衡，使得整个集群的性能始终保持最优。通过JobKeeper还可以对当前分布式集群的所有机器的状况进行监控，对集群中所有的任务进行停止、删除等功能。JobKeeper分布式调度引擎包括应用层、业务层、数据处理层、存储层、虚拟化资源层和调度平台，其中：
应用层：用于管理和结果反馈的显示组件，是整个***面向用户和开发人员的基础承载。
业务层：对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。
数据处理层：独立的数据处理程序，是对不同需求数据的统一处理方案，由JobKeeper调度平台进行统一的配置管理。
存储层：存储数据的处理结果集或其他中间结果集的单元。
虚拟化资源层：将机器进行虚拟化，形成更大范围的服务集群。
JobKeeper分布式调度引擎具有如下优势：
1）、高可靠性: 采用“多主多备，负载均衡”的管理节点设计模式，和“处理实时跟踪”的处理节点设计模式，从而保证无论管理节点还是处理节点都不存在任何单点故障问题。
2）、低依赖性: 采用模块化设计思想，通过统一化配置和API接口的方式向用户提供服务。无论用户应用是用何种语言开发，何种处理方式，都可以交由平台进行统一的调度管理。
3）、低干预性: 采用基于事件化的统一管理模式。无论是动态扩展集群处理***能力，还是单点故障的任务转移，又或者是任务的实时监控和动态分配，都将在***无人值守的情况下自动完成。
4）、高实时性: 在高效率并行分布式软件的支撑下，可以实现对任务的实时分配，实时调度，实时处理。在机器性能允许的范围内，计算任务不会出现堆积的显现，所有任务的控制工作基本都在秒级完成，具有前所未有的高效性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以做出若干改进，这些改进也应视为本发明的保护范围。
Claims (3)
1.一种大数据库一体机，其特征在于：所述大数据库一体机包括若干个数据库处理单元、若干个SSD磁盘阵列、光纤交换机和SAN交换机；所述若干个SSD磁盘SSD阵列均与SAN交换机连接，若干个数据库处理单元均分别与SAN交换机和光纤交换机连接。
2.根据权利要求1所述的种大数据库一体机，其特征在于：所述SAN交换机为两台，用于双备份。
3.根据权利要求1所述的种大数据库一体机，其特征在于：所述大数据库一体机采用JobKeeper分布式调度引擎。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410266458.1A CN104035522A (zh) | 2014-06-16 | 2014-06-16 | 大数据库一体机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410266458.1A CN104035522A (zh) | 2014-06-16 | 2014-06-16 | 大数据库一体机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104035522A true CN104035522A (zh) | 2014-09-10 |
Family
ID=51466326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410266458.1A Pending CN104035522A (zh) | 2014-06-16 | 2014-06-16 | 大数据库一体机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104035522A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104391989A (zh) * | 2014-12-16 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种分布式etl一体机*** |
| CN104615384A (zh) * | 2015-02-11 | 2015-05-13 | 浪潮集团有限公司 | 一种磁盘阵列及数据存储方法 |
| CN106066890A (zh) * | 2016-06-16 | 2016-11-02 | 上海天玑科技股份有限公司 | 一种分布式高性能数据库一体机*** |
| CN107704204A (zh) * | 2017-09-30 | 2018-02-16 | 长沙准光里电子科技有限公司 | 一种大数据一体机 |
| CN107995293A (zh) * | 2017-12-04 | 2018-05-04 | 南京海道普数据技术有限公司 | 基于物联网信息的大数据一体机和应用*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1373871A (zh) * | 1999-08-23 | 2002-10-09 | 泰拉斯普林公司 | 可扩展的计算*** |
| WO2003025802A1 (en) * | 2001-09-21 | 2003-03-27 | Polyserve, Inc. | A system and method for collaborative caching in a multinode system |
| CN101207520A (zh) * | 2007-12-14 | 2008-06-25 | 上海华为技术有限公司 | 一种实现分布式网络管理的方法及*** |
| CN102413172A (zh) * | 2011-10-31 | 2012-04-11 | 北京联创信安科技有限公司 | 一种基于集群技术的并行数据共享装置方法和装置 |
| CN103544196A (zh) * | 2012-07-16 | 2014-01-29 | 闫忠华 | BigBase高通量大数据在线分析软硬件一体机 |
| CN103746941A (zh) * | 2014-01-18 | 2014-04-23 | 浪潮集团有限公司 | 一种板级互联大数据一体机 |
| CN204102026U (zh) * | 2014-06-16 | 2015-01-14 | 南京云创存储科技有限公司 | 大数据库一体机 |
-
2014
- 2014-06-16 CN CN201410266458.1A patent/CN104035522A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1373871A (zh) * | 1999-08-23 | 2002-10-09 | 泰拉斯普林公司 | 可扩展的计算*** |
| WO2003025802A1 (en) * | 2001-09-21 | 2003-03-27 | Polyserve, Inc. | A system and method for collaborative caching in a multinode system |
| CN101207520A (zh) * | 2007-12-14 | 2008-06-25 | 上海华为技术有限公司 | 一种实现分布式网络管理的方法及*** |
| CN102413172A (zh) * | 2011-10-31 | 2012-04-11 | 北京联创信安科技有限公司 | 一种基于集群技术的并行数据共享装置方法和装置 |
| CN103544196A (zh) * | 2012-07-16 | 2014-01-29 | 闫忠华 | BigBase高通量大数据在线分析软硬件一体机 |
| CN103746941A (zh) * | 2014-01-18 | 2014-04-23 | 浪潮集团有限公司 | 一种板级互联大数据一体机 |
| CN204102026U (zh) * | 2014-06-16 | 2015-01-14 | 南京云创存储科技有限公司 | 大数据库一体机 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104391989A (zh) * | 2014-12-16 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种分布式etl一体机*** |
| CN104615384A (zh) * | 2015-02-11 | 2015-05-13 | 浪潮集团有限公司 | 一种磁盘阵列及数据存储方法 |
| CN106066890A (zh) * | 2016-06-16 | 2016-11-02 | 上海天玑科技股份有限公司 | 一种分布式高性能数据库一体机*** |
| CN106066890B (zh) * | 2016-06-16 | 2020-02-18 | 上海天玑科技股份有限公司 | 一种分布式高性能数据库一体机*** |
| CN107704204A (zh) * | 2017-09-30 | 2018-02-16 | 长沙准光里电子科技有限公司 | 一种大数据一体机 |
| CN107995293A (zh) * | 2017-12-04 | 2018-05-04 | 南京海道普数据技术有限公司 | 基于物联网信息的大数据一体机和应用*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11422982B2 (en) | Scaling stateful clusters while maintaining access | |
| US9569457B2 (en) | Data processing method and apparatus for distributed systems | |
| CN103312791B (zh) | 物联网异构数据存储方法及*** | |
| CN105243155A (zh) | 一种大数据抽取和交换*** | |
| CN103116661B (zh) | 一种数据库的数据处理方法 | |
| CN107180113B (zh) | 一种大数据检索平台 | |
| CN101866359B (zh) | 一种机群文件***中的小文件存储和访问方法 | |
| CN102012789A (zh) | 集中管理式备份容灾*** | |
| CN104035522A (zh) | 大数据库一体机 | |
| CN100452046C (zh) | 一种海量文件的存储方法及*** | |
| EP2923271A2 (en) | Scaling computing clusters | |
| CN102164177A (zh) | 一种集群共享存储池的方法、装置及*** | |
| CN102937964B (zh) | 基于分布式***的智能数据服务方法 | |
| CN104219318A (zh) | 一种分布式文件存储***及方法 | |
| CN104462185A (zh) | 一种基于混合结构的数字图书馆云存储*** | |
| CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
| CN103440290A (zh) | 大数据加载***和方法 | |
| CN102521419A (zh) | 分级存储的实现方法和*** | |
| CN103491155A (zh) | 一种实现移动计算和获取移动数据的云计算方法及*** | |
| CN103595799A (zh) | 一种实现分布式共享数据库的方法 | |
| CN103593420A (zh) | 一种利用共享在线日志实现异构同平台的数据库集群搭建方法 | |
| CN104834635A (zh) | 一种数据处理方法和装置 | |
| CN103116475B (zh) | 一种自动精简配置扩容的方法 | |
| CN102820998B (zh) | 实现面向办公应用的双机容错服务***及其数据存储方法 | |
| Luo et al. | Big-data analytics: challenges, key technologies and prospects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140910 |