CN206212051U - 一种分布式搜索优化服务器集群架构 - Google Patents
一种分布式搜索优化服务器集群架构 Download PDFInfo
- Publication number
- CN206212051U CN206212051U CN201621302833.4U CN201621302833U CN206212051U CN 206212051 U CN206212051 U CN 206212051U CN 201621302833 U CN201621302833 U CN 201621302833U CN 206212051 U CN206212051 U CN 206212051U
- Authority
- CN
- China
- Prior art keywords
- cluster
- data
- search
- optimization
- base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 239000000284 extract Substances 0.000 claims abstract description 18
- 238000011161 development Methods 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本实用新型创造提供了一种分布式搜索优化服务器集群架构，包括数据库集群、数据提取集群、搜索服务集群，所述数据库集群连接数据提取集群，所述数据提取集群连接搜索服务集群；所述数据库集群包括依次连接的优化磁盘阵列集群、数据库后端交换机集群、优化数据库集群、数据库前端交换机集群。本实用新型创造实现了集群的各个部分均可以在不影响业务服务的前提下快速的进行平滑升级扩容，满足业务高峰和后续业务发展需要；服务器与InfiniBand交换机均进行双卡4接口负载均衡冗余链接，可以提供160GB的峰值吞吐量，同时避免数据链路的单点故障；服务器集群与交换机集群均能实现负载均衡和故障转移的功能，避免了数据输出瓶颈。
Description
技术领域
本发明创造属于集群服务器技术领域，尤其是涉及一种分布式搜索优化服务器集群架构。
背景技术
集群是由一些互相连接在一起的计算机构成的一个并行或分布式***。这些计算机一起工作并运行一系列共同的应用程序，同时，为用户和应用程序提供单一的***映射。从外部来看，它们仅仅是一个***，对外提供统一的服务。集群内的计算机物理上通过电缆连接，程序上则通过集群软件连接。这些连接允许计算机使用故障应急与负载平衡功能，而故障应急与负载平衡功能在单机上是不可能实现的。
服务器集群***通俗地讲就是把多台服务器通过快速通信链路连接起来，从外部看来，这些服务器就像一台服务器在工作，而对内来说，外面来的负载通过一定的机制动态地分配到这些节点机中去，从而达到超级服务器才有的高性能、高可用。
然而，随着搜索业务越来越多，需要集群的各个部分进行升级扩容优化来满足业务高峰的发展。
实用新型内容
有鉴于此，本发明创造旨在提出一种分布式搜索优化服务器集群架构，以满足高峰搜索业务的需求。
为达到上述目的，本发明创造的技术方案是这样实现的：
一种分布式搜索优化服务器集群架构，包括数据库集群、数据提取集群、搜索服务集群，所述数据库集群连接数据提取集群，所述数据提取集群连接搜索服务集群；
所述数据库集群包括依次连接的优化磁盘阵列集群、数据库后端交换机集群、优化数据库集群、数据库前端交换机集群；
所述数据库前端交换机集群通过数据交换机集群连接数据提取集群；
所述数据交换机集群通过搜索交换机集群连接搜索服务集群，所述搜索服务集群还连接搜索汇聚交换机集群。
进一步的，所述优化磁盘阵列集群、优化数据库集群都与所述数据库后端交换机集群进行双卡4接口负载均衡冗余链接。
进一步的，所述优化数据库集群与所述数据库前端交换机集群进行双卡4接口负载均衡冗余链接。
进一步的，所述数据提取集群与所述数据交换机集群进行双卡4接口负载均衡冗余链接。
进一步的，所述搜索服务集群与所述搜索交换机集群、搜索汇聚交换机集群均进行双卡4接口负载均衡冗余链接。
相对于现有技术，本发明创造所述的一种分布式搜索优化服务器集群架构具有以下优势：本发明创造实现了集群的各个部分均可以在不影响业务服务的前提下快速的进行平滑升级扩容，满足业务高峰和后续业务发展需要；服务器与InfiniBand交换机均进行双卡4接口负载均衡冗余链接，可以提供160GB的峰值吞吐量，同时避免数据链路的单点故障；服务器集群与交换机集群均能实现负载均衡和故障转移的功能，避免了数据输出瓶颈。
附图说明
构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：
图1为本发明创造实施例所述一种分布式搜索优化服务器集群架构的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。
在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本 发明创造中的具体含义。
下面将参考附图并结合实施例来详细说明本发明创造。
如图1所示，一种分布式搜索优化服务器集群架构，包括数据库集群、数据提取集群、搜索服务集群，所述数据库集群连接数据提取集群，所述数据提取集群连接搜索服务集群；
所述数据库集群包括依次连接的优化磁盘阵列集群、数据库后端交换机集群、优化数据库集群、数据库前端交换机集群；
所述数据库前端交换机集群通过数据交换机集群连接数据提取集群；
所述数据交换机集群通过搜索交换机集群连接搜索服务集群，所述搜索服务集群还连接搜索汇聚交换机集群。
所述优化磁盘阵列集群、优化数据库集群都与所述数据库后端交换机集群进行双卡4接口负载均衡冗余链接。
所述优化数据库集群与所述数据库前端交换机集群进行双卡4接口负载均衡冗余链接。
所述数据提取集群与所述数据交换机集群进行双卡4接口负载均衡冗余链接。
所述搜索服务集群与所述搜索交换机集群、搜索汇聚交换机集群均进行双卡4接口负载均衡冗余链接。
为了更好的满足搜索业务需要，本发明创造提供了分布式搜索优化服务器集群架构，实现了以下实用新特性：
全套搜索优化服务器集群由数据库集群、数据提取集群、搜索服务集群三部分构成，各部分全部参照全链路冗余的思想进行设计，从物理链路层到 应用层均能完全避免单点故障；集群的各个部分均可以在不影响业务服务的前提下快速的进行平滑升级扩容，满足业务高峰和后续业务发展需要。
服务器集群之间的数据链接和集群节点之间的数据链接使用InfiniBand架构，可以提供单链路峰值40GB的高吞吐量，这是特别针对内存数据库集群间高吞吐量需求做的优化。
全部服务器与InfiniBand交换机均进行双卡4接口负载均衡冗余链接，可以提供160GB的峰值吞吐量，同时避免数据链路的单点故障；服务器集群与交换机集群均提供了负载均衡和故障转移的功能，实现了架构全链路冗余设计，避免了数据输出瓶颈。
数据库集群特别针对数据库常用的随机读写和4kblock读写进行了I/O优化，数据库服务器集群和磁盘阵列间的数据链路使用了InfiniBand架构进行数据链路和心跳保障。
数据提取集群由优化的分布式计算框架提供服务，通过数据交换机对数据库集群的数据进行提取，并通过搜索交换机传递数据到搜索服务集群进行缓存和索引；服务器特别对运算能力进行了优化，以满足搜索业务的需要。
搜索服务集群通过搜索汇聚交换机对外提供服务，服务器经过针对性优化，加强了网络并发和吞吐稳定性，改善了寻址能力，以最大化实现分布式引擎的性能需求。
以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。
Claims (5)
1.一种分布式搜索优化服务器集群架构，其特征在于：包括数据库集群、数据提取集群、搜索服务集群，所述数据库集群连接数据提取集群，所述数据提取集群连接搜索服务集群；
所述数据库集群包括依次连接的优化磁盘阵列集群、数据库后端交换机集群、优化数据库集群、数据库前端交换机集群；
所述数据库前端交换机集群通过数据交换机集群连接数据提取集群；
所述数据交换机集群通过搜索交换机集群连接搜索服务集群，所述搜索服务集群还连接搜索汇聚交换机集群。
2.根据权利要求1所述的一种分布式搜索优化服务器集群架构，其特征在于：所述优化磁盘阵列集群、优化数据库集群都与所述数据库后端交换机集群进行双卡4接口负载均衡冗余链接。
3.根据权利要求1所述的一种分布式搜索优化服务器集群架构，其特征在于：所述优化数据库集群与所述数据库前端交换机集群进行双卡4接口负载均衡冗余链接。
4.根据权利要求1所述的一种分布式搜索优化服务器集群架构，其特征在于：所述数据提取集群与所述数据交换机集群进行双卡4接口负载均衡冗余链接。
5.根据权利要求1所述的一种分布式搜索优化服务器集群架构，其特征在于：所述搜索服务集群与所述搜索交换机集群、搜索汇聚交换机集群均进行双卡4接口负载均衡冗余链接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201621302833.4U CN206212051U (zh) | 2016-11-30 | 2016-11-30 | 一种分布式搜索优化服务器集群架构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201621302833.4U CN206212051U (zh) | 2016-11-30 | 2016-11-30 | 一种分布式搜索优化服务器集群架构 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN206212051U true CN206212051U (zh) | 2017-05-31 |
Family
ID=58751024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201621302833.4U Expired - Fee Related CN206212051U (zh) | 2016-11-30 | 2016-11-30 | 一种分布式搜索优化服务器集群架构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN206212051U (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108123975A (zh) * | 2016-11-30 | 2018-06-05 | 天津易遨在线科技有限公司 | 一种分布式搜索优化服务器集群架构 |
| CN109639785A (zh) * | 2018-12-03 | 2019-04-16 | 上海熙菱信息技术有限公司 | 一种数据汇聚集群管理***及方法 |
-
2016
- 2016-11-30 CN CN201621302833.4U patent/CN206212051U/zh not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108123975A (zh) * | 2016-11-30 | 2018-06-05 | 天津易遨在线科技有限公司 | 一种分布式搜索优化服务器集群架构 |
| CN109639785A (zh) * | 2018-12-03 | 2019-04-16 | 上海熙菱信息技术有限公司 | 一种数据汇聚集群管理***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103106249B (zh) | 一种基于Cassandra的数据并行处理*** | |
| CN102663117B (zh) | 面向数据库与Hadoop混合平台的OLAP查询处理方法 | |
| CN102567495B (zh) | 一种海量信息存储***及实现方法 | |
| US9880972B2 (en) | Computer subsystem and computer system with composite nodes in an interconnection structure | |
| CN104252536B (zh) | 一种基于hbase的上网日志数据查询方法及装置 | |
| CN103455512A (zh) | Saas平台多租户数据管理模型 | |
| CN101594319B (zh) | 表项查找方法和装置 | |
| CN103312791A (zh) | 物联网异构数据存储方法及*** | |
| CN103560967A (zh) | 一种业务需求感知的虚拟数据中心映射方法 | |
| CN102163218A (zh) | 基于图索引的图数据库关键词邻近搜索方法 | |
| CN103617276A (zh) | 一种分布式层次化的rdf数据的存储方法 | |
| CN102722553A (zh) | 基于用户日志分析的分布式倒排索引组织方法 | |
| CN206212051U (zh) | 一种分布式搜索优化服务器集群架构 | |
| CN103646051A (zh) | 一种基于列存储的大数据并行处理***及方法 | |
| CN110991626B (zh) | 一种多cpu类脑模拟*** | |
| CN106055678A (zh) | 一种基于hadoop的全景大数据分布式存储方法 | |
| CN105843955A (zh) | 一种数据迁移*** | |
| CN110109948A (zh) | 数据查询方法、计算机设备及计算机可读存储介质 | |
| EP2946304A1 (en) | Vertically-tiered client-server architecture | |
| CN114372097A (zh) | 一种数据集列序列化的高效连接比对实现方法及装置 | |
| CN108123975A (zh) | 一种分布式搜索优化服务器集群架构 | |
| CN206195837U (zh) | 一种内存数据库优化服务器集群架构 | |
| CN206226493U (zh) | 一种erp优化服务器集群*** | |
| CN108123978A (zh) | 一种erp优化服务器集群*** | |
| Rupprecht | Exploiting in-network processing for big data management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170531 |