CN115827086A - 一种基于分布式集群架构的高可用软件开发集成平台 - Google Patents

一种基于分布式集群架构的高可用软件开发集成平台 Download PDF

Info

Publication number
CN115827086A
CN115827086A CN202211270842.XA CN202211270842A CN115827086A CN 115827086 A CN115827086 A CN 115827086A CN 202211270842 A CN202211270842 A CN 202211270842A CN 115827086 A CN115827086 A CN 115827086A
Authority
CN
China
Prior art keywords
data
configuration
service
distributed cluster
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211270842.XA
Other languages
English (en)
Inventor
刘西锋
张挺
王博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingyi Instrument & Meter General Research Institute Co ltd
Original Assignee
Beijing Jingyi Instrument & Meter General Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingyi Instrument & Meter General Research Institute Co ltd filed Critical Beijing Jingyi Instrument & Meter General Research Institute Co ltd
Priority to CN202211270842.XA priority Critical patent/CN115827086A/zh
Publication of CN115827086A publication Critical patent/CN115827086A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于分布式集群架构的高可用软件开发集成平台,包括分布式集群架构、报表集成、工作流集成;所述分布式集群架构包括应用、数据管理、日志***、配置中心、自动部署、数据备份;所述报表集成采用JiMu Report技术,实现集成平台报表生成功能,满足业务需求中多源数据库的要求,通过使用数据库连接和AOP切面编程技术来实现数据源的动态切换;所述工作流集成采用Activiti技术,实现集成平台工作业务流程的可配置功能,根据所画流程图对应节点发起的表单会自动转到对应权限用户下,将表单html页面存到数据库,转到对应角色审批。通过以上架构的构建提供一种高可靠性、不中断服务、可持续化自动部署及监控运维的基于分布式集群架构的软件开发平台。

Description

一种基于分布式集群架构的高可用软件开发集成平台
技术领域
本发明涉及一种智能软件开发平台的构建,具体是一种基于分布式集群架构的高可用软件开发集成平台。
背景技术
随着智能制造的发展,传统生产制造企业纷纷引入信息管理***,从供应链、库存、生产到售后,对产品实施全生命周期的监管,以便提高生产效率,节约生产成本。这对***的开发在开发周期、开发流程、可持续化自动部署及监控运维提出了更高的要求。可靠性及可用性可持续性已经成为衡量一个***优劣的重要方面。一个高可用的软件开发集成平台可以帮助企业在搭建***基础架构,实现敏捷开发,集中资源、提高业务服务水平的同时降低运行成本。
目前传统的单一软件***架构或平台主要存在以下几个方面的问题:(1)采用磁盘镜像、软件包备份等保障***的可靠性和可用性。这些方法一般只适用于单一的服务器范围内,而对于分散在不同服务器的分布式***却并不适用。(2)传统的数据库技术需要从数据库规划阶段就开始设计,实施配置周期较长,对于已建成运行的数据业务***,如果要将单数据库服务器模式改造成数据库集群模式,需要较长时间的中断业务运行才能完成配置工作,这样对于数据实时性和服务持续性要求高的业务***,将会造成无法挽回的后果。(3)传统的软件平台缺乏对业务的实时管控,对所有日志的实时采集及对***的实时监控分析。
发明内容
为了解决上述技术问题,本发明提供一种基于分布式集群架构的高可用软件开发集成平台,包括分布式集群架构、报表集成、工作流集成;所述分布式集群架构包括应用、数据管理、日志***、配置中心、自动部署、数据备份;所述报表集成采用JiMu Report技术,实现集成平台报表生成功能,满足业务需求中多源数据库的要求,通过使用数据库连接和AOP切面编程技术来实现数据源的动态切换;所述工作流集成采用Activiti技术,实现集成平台工作业务流程的可配置功能,根据所画流程图对应节点发起的表单会自动转到对应权限用户下,将表单html页面存到数据库,转到对应角色审批。
优选的,所述应用采用前后端分离技术,前端采用Vue+es6+Nodejs+Elementui作为独立的前端框架,路由守卫作为前端的权限管理;所述Vue是用于构建用户界面的渐进式框架;
所述es6是javaScript语言的标准;
所述Nodejs是应用程序框架,为运行环境,对于请求是异步的,几个请求可同时进行;
所述Elementui是基于Vue的后台组件库,方便开发人员进行页面快速布局和构建;
后端采用Springboot+Mybatis+SpringSecurity+JWT+SpringAOP+SpringIOC技术框架,能适配各种先进技术,支持集群、支持多数据源、支持分布式事务;所述Springboot技术框架提供各种默认配置来简化项目配置;
所述Mybatis是持久层框架,用来持久化数据,将数据存入数据库中和从数据库中取数据;
所述SpringSecurity是安全管理框架,为后端提供认证机制和方法级的授权功能,所述JWT用于用户登录鉴权,支持多终端认证***;
所述SpringAOP用于对业务逻辑的各个部分进行隔离,使业务逻辑各部分之间的耦合度降低;
所述SpringIOC用来解决的对象管理和对象依赖的问题,将对象进行统一管理。
优选的,所述数据管理包括基本数据管理和大数据管理;
所述基本数据中非结构化数据通过NFS共享文件存储,安装组件nfs-utils、rpcbind,创建虚拟化网络共享服务器目录,设置好挂载点,用户通过HTTP网络请求即可存储到文件***;
所述大数据管理采用分布式集群,包括ElasticSearch搜索引擎,实现数据高可用以及易拓展及快速检索;采用Kafka做消息队列来处理数据同步和解决数据负载问题。
优选的,所述日志***采用完整ElasticSearch+Logstash+Kibana+Filebeat架构,所述Filebeat读取日志文件,并把获取到的日志发送给所述Logstash,所述Logstash将所有的日志过滤、清洗、拆分出来,并存入所述Elasticsearch集群,最后导入至所述Kibana,通过其可视化工具在Web前端通过图形、汇总等将日志展示给用户,满足大数据日志数据管理高效率处理及查看,方便运维开发人员进行错误排查。
优选的,所述配置中心采用集成分布式配置中心Spring cloud config,统一管理各个服务配置,实现配置中心化、服务化、配置热部署;所述Spring cloud config分服务端和客户端,配置文件存储在Git上;所述服务端用来连接配置服务器并为客户端提供获取配置信息,加密/解密信息等访问接口;所述客户端通过接口获取数据,并依据此数据初始化自己的应用;当配置修改后,通过消息总线通知各个服务,使其从配置中心拉取修改后的配置。
优选的,所述自动部署包括集群协调***、分发负载机制、服务安全机制、自动化部署***;所述集群协调***包括后台监控***、容错***,通过k8s管理监控容器状态,对容器服务进行编排和自动替补;所述分发负载机制通过nginx负载策略,分发前后端请求到不同服务器,达到负载抗压效果;所述服务安全机制通过反向代理技术,隐匿服务真实IP地址,防止攻击,并使用Lua语言,对文件资源进行安全访问防护;所述自动化部署***通过集成Docker/Jenkins/Shell脚本,实时监控远程Git仓库代码变化,自动打包、编译、部署,及发布前后端指定分支代码,到指定版本指定环境,开发人员提交代码后自动执行,实现持续开发,持续集成,持续部署。
优选的,所述数据备份采用快照备份,自动备份自动恢复,共享文件***挂载备份、定时脚本备份,缓存数据库Redis采用RDB和AOF冷热备份,Mysql数据库采用SCP远程备份。
附图说明
本发明有如下附图:
图1高可用软件开发集成平台分布式集群***架构;
图2配置中心工作流程图。
具体实施方式
以下结合附图1-2对本发明作进一步详细说明。
本发明提供了一种基于分布式集群架构的高可用软件开发集成平台主要包括分布式集群架构、报表集成、工作流集成。
分布式集群架构包括应用、数据管理、日志管理、配置中心、自动部署、数据备份六个部分。
应用采用前后端分离技术,前端采用Vue+es6+Nodejs+Elementui作为独立的前端框架,路由守卫作为前端的权限管理。其中Vue是用于构建用户界面的渐进式框架;es6全称ECMAScript,是javaScript语言的标准。Nodejs是应用程序框架,即运行环境,它对于请求是异步的,几个请求可同时进行。Elementui是基于Vue的后台组件库,方便开发人员进行页面快速布局和构建。Vue中的vue-router提供的导航守卫主要用来通过跳转或取消的方式守卫***导航,分为全局的、组件内的、单个路由独享。导航守卫的解析流程为:当导航被触发后,如果是从另一个页面离开,在失活的组件里调用组件内beforeRouteLeave守卫,如果不是从另一个页面离开,调用全局前置守卫beforeEach守卫控制,调用后再判断是否为同一路由,如果是同一路由就去调用组件内守卫beforeRouteUpdate。如果不是同一路由那么在路由配置里调用beforeEnter进行解析异步的路由组件。一旦导航被确认,全局afterEach钩子函数生效触发DOM更新,beforeRouteEnter守卫中传给next的回调函数,创建好的组件实例会作为回调函数的参数传入执行放行等操作。
后端采用Springboot+Mybatis+SpringSecurity+JWT+SpringAOP+SpringIOC技术框架,能适配各种先进技术,支持集群、支持多数据源、支持分布式事务。Springboot技术框架提供各种默认配置来简化项目配置。Mybatis是持久层框架,用来持久化数据,将数据存入数据库中和从数据库中取数据。SpringSecurity是安全管理框架,为后端提供认证机制和方法级的授权功能,JWT(Jason Web Token)用于用户登录鉴权,支持多终端认证***。SpringAOP用于对业务逻辑的各个部分进行隔离,从而使得业务逻辑各部分之间的耦合度降低,提高程序的可重用性,同时提高了开发的效率。SpringIOC用来解决的对象管理和对象依赖的问题,将对象进行统一管理。
通过前后端分离技术集成开发平台内置功能模块包括用户管理、角色管理、菜单及按钮授权、***参数、日志管理、代码生成、在线构建器、在线定时任务配置。用户管理:是对平台使用者的账号信息、身份管理。角色管理:角色菜单权限分配、将用户按组或机构管理。菜单按钮授权:配置***菜单,操作权限,按钮权限标识等。***参数:对***动态配置常用参数。日志管理:***正常操作日志记录和查询;***异常信息日志记录和查询;***登录日志记录查询包含登录异常。代码生成:能生成适配此平台模块的基础代码,帮助使用者快速上手集成。在线定时任务配置:在线任务调度模块,能按需定时执行远程操作(例如对数据的采集备份等)。在线构建器:前端构建器,是一个可视化画布,可以在前端直接通过鼠标拖动实现页面元素布局,让集成更简单。
数据管理包括基本数据管理和大数据管理。基本数据中非结构化数据通过NFS共享文件存储,安装组件nfs-utils、rpcbind,创建虚拟化网络共享服务器目录,设置好挂载点,用户通过HTTP网络请求即可存储到文件***。结构化数据存在关系型数据库Mysql中,由主从数据库***管理,通过监听BINLOG二进制操作,主服务器上面的任何修改都会通过自己的I/O线程保存在二进制日志里面。从服务器上面也启动一个I/O线程,通过配置好的用户名和密码,连接到主服务器上面请求读取二进制日志,然后把读取到的二进制日志写到本地的一个中继日志里面。从服务器上面同时开启一个SQL进程定时检查中继日志,如果发现有更新立即把更新的内容在本机的数据库上面执行一遍。每个从服务器都会记录二进制日志坐标实现主从复制,并支持配置多数据源;采用Redis Cluster缓存数据库集群作为用户信息以及信息验证的部分缓存数据的存储共享,集群一共搭建6个节点,三主三从,把数据进行分片管理,一共分为16384(2^14)个槽,集群中的每个n节点负责分摊这些槽,每个进入Redis的键值对,根据键值进行哈希运算,除以16384取模,匹配相应的槽,再分配进相应的节点的实例中。Redis集群总线采用特殊的二进制协议,通信及响应速度极快,它提供节点故障检测、故障转移、新节点识别等节点管理功能,该功能的进程间通信端口号为服务端口号值+10000,一旦有主节点发生故障,Redis集群可以选举出对应的从节点成为新的主节点,继续对外服务,从而保证服务的高可用性。大数据管理采用分布式集群,其中的ElasticSearch搜索引擎,实现数据高可用以及易拓展及快速检索;Kafka做消息队列来处理数据同步和解决数据负载问题。
日志***采用完整ELKF(ElasticSearch+Logstash+Kibana+Filebeat)架构,Filebeat读取日志文件,并把获取到的日志发送给Logstash,Logstash将所有的日志过滤、清洗、拆分出来,并存入Elasticsearch集群,最后导入至Kibana,通过其可视化工具在Web前端通过图形、汇总等将日志展示给用户,满足大数据日志数据管理高效率处理及查看,方便运维开发人员进行错误排查。
配置中心采用集成分布式配置中心Spring cloud config,统一管理各个服务配置,实现配置中心化、服务化、配置热部署。Spring cloud config分服务端(ConfigServer)和客户端(Config Client),配置文件存储在Git上。服务端用来连接配置服务器并为客户端提供获取配置信息,加密/解密信息等访问接口。客户端通过接口获取数据,并依据此数据初始化自己的应用。当配置修改后,可以通过消息总线通知各个服务,使其从配置中心拉取修改后的配置。
自动部署包括集群协调***、分发负载机制、服务安全机制、自动化部署***。集群协调***包括后台监控***、容错***,通过k8s管理监控容器状态,对容器服务进行编排和自动替补。分发负载机制通过nginx负载策略,分发前后端请求到不同服务器,达到负载抗压效果。服务安全机制通过反向代理技术,隐匿服务真实IP地址,防止攻击,并使用Lua语言,对文件资源进行安全访问防护。自动化部署***通过集成Docker/Jenkins/Shell脚本,实时监控远程Git仓库代码变化,自动打包、编译、部署,及发布前后端指定分支代码,到指定版本指定环境,开发人员只需要提交代码,后续的操作会自动执行,实现持续开发,持续集成,持续部署。
备份方面,大数据备份采用快照备份,自动备份自动恢复,共享文件***挂载备份、定时脚本备份,缓存数据库Redis采用RDB(Redis Database Backup file)和AOF(Append Only File)冷热备份,Mysql数据库采用SCP(secure copy)远程备份。
报表集成采用JiMu Report技术,实现集成平台报表生成功能,满足业务需求中多源数据库的要求,通过使用数据库连接和AOP切面编程等技术来实现数据源的动态切换。
工作流集成Activiti技术,实现集成平台工作业务流程的可配置功能,根据所画流程图对应节点发起的表单会自动转到对应权限用户下。同时将表单html页面存到数据库,转到对应角色审批时,只需从数据库查页面代码即可,充分做到数据的复用以及解耦。
如图1高可用软件开发集成平台分布式集群***架构,该分布式集群架构包括应用、数据管理、日志管理、配置、自动部署、数据备份五个部分。
应用采用前后端分离技术,前端采用Vue+es6+Nodejs+Elementui作为独立的前端框架,路由守卫作为前端的权限管理。后端采用Springboot+Mybatis+SpringSecurity+JWT+SpringAOP+SpringIOC技术框架,能适配各种先进技术,支持集群、支持多数据源、支持分布式事务。
数据管理包括基本数据管理和大数据管理。基本数据中非结构化数据通过NFS共享文件存储,结构化数据存在关系型数据库Mysql中。大数据管理采用分布式集群,其中的ElasticSearch搜索引擎,实现数据高可用以及易拓展及快速检索;Kafka做消息队列来处理数据同步和解决数据负载问题。
日志***采用完整ELKF(ElasticSearch+Logstash+Kibana+Filebeat)架构,Filebeat读取日志文件,并把获取到的日志发送给Logstash,Logstash将所有的日志过滤、清洗、拆分出来,并存入Elasticsearch集群,最后导入至Kibana,通过其可视化工具在Web前端通过图形、汇总等将日志展示给用户,满足大数据日志数据管理高效率处理及查看,方便运维开发人员进行错误排查。
配置中心采用集成分布式配置中心Spring cloud config,统一管理各个服务配置,实现配置中心化、服务化、配置热部署。当配置发生变化时,配置中心工作流程如图2所示,配置中心的客户端在消息总线上订阅主题,当Git配置库内的配置文件更改时,用户通过POST方法向其中自己的客户端发送请求触发/bus/refersh接口,此时该客户端会发送一个消息给消息总线,消息总线通过广播向客户端传递该消息,服务端会监听客户端消息,当服务端监听到消息向Git请求从配置中心配置库中获取最新配置信息,返回最新配置给整个客户端集群,完成配置的动态修改。
自动部署包括集群协调***、分发负载机制、服务安全机制、自动化部署***。集群协调***包括后台监控***、容错***,通过k8s管理监控容器状态,对容器服务进行编排和自动替补。分发负载机制通过nginx负载策略,分发前后端请求到不同服务器,达到负载抗压效果。服务安全机制通过反向代理技术,隐匿服务真实IP地址,防止攻击,并使用Lua语言,对文件资源进行安全访问防护。自动化部署***通过集成Docker/Jenkins/Shell脚本,实时监控远程Git仓库代码变化,自动打包、编译、部署,及发布前后端指定分支代码,到指定版本指定环境,开发人员只需要提交代码,后续的操作会自动执行,实现持续开发,持续集成,持续部署。
备份方面,大数据备份采用快照备份,自动备份自动恢复,共享文件***挂载备份、定时脚本备份,缓存数据库Redis采用RDB(Redis Database Backup file)和AOF(Append Only File)冷热备份,Mysql数据库采用SCP(secure copy)远程备份。
通过该架构的构建,集成平台开发业务***时的工作流程:
(1)用户通过http协议访问web前端服务器地址请求获取UI层,获取静态资源文件。前端服务器拿到用户请求通过nginx反向代理隐匿前端服务器真实地址、分发请求,验证用户信息返回静态资源。前端服务器转发用户的结构化数据请求到后端nginx服务器,nginx通过校验前端信息安全性后,分发请求到真实的后端服务器。
(2)后端服务器拿到请求后,从Redis服务集群中,校验用户信息,并通过SpringSecurity+JWT技术验证用户对***权限及数据的可见性,通过验证后,返回对应数据给前端。后端服务器用Docker部署,实现快速集成和应用服务容器化管理。
(3)用户请求访问大数据模块时,后端转发请求到搜索引擎ElasticSearch分布式集群,快速查询数据,并且在可视化工具Kibana中可生成数据图表。对于***的高频数据、重要数据,进行同步双写进Mysql、ElasticSearch中,使用Kafka消息队列同步。
(4)用户操作日志通过ELKF大数据日志采集分析***实现。首先会用采集器filebeat采集,然后通过Logsatsh过滤清洗后,通过Kafka消息队列同步到搜索引擎ElasticSearch中。
(5)配置使用分布式配置中心spring cloud config统一管理,热部署配置。
(6)开发人员提交代码到Git仓库,CICD工具自动触发,通过Shell脚本打包发布,创建相应的服务和端口,出现问题,会自动监控以邮件方式发送到相关人,实现持续集成,持续部署,自动监控。
(7)数据备份Redis采用AOF和RDB冷热备份,定时远程传输到备份服务器、ElasticSearch快照备份,NFS共享文件服务***自动备份,Mysql采用定时备份。
本发明相对现有技术的有益效果:
本发明克服单一软件平台的缺点,通过路由守卫作为前端的权限管理;采用nginx集群轮询模式及权重配置实现服务器负载均衡;采用nginx反向代理隐藏IP地址,增加***的安全性;数据方面采用分布式大数据检索和存储,实现数据的高可用以及易拓展;kafka做消息队列处理数据同步和解决数据负载;日志***采用完整ELKF(ElasticSearch+Logstash+Kibana+Filebeat)架构,满足大数据日志管理高效的需求;集成和部署采用完整的Devops理念,实现持续集成/持续部署(CI/CD)的开发运维一体化。通过以上架构的构建提供一种高可靠性、不中断服务、可持续化自动部署及监控运维的基于分布式集群架构的软件开发平台。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种基于分布式集群架构的高可用软件开发集成平台,其特征在于,包括分布式集群架构、报表集成、工作流集成;
所述分布式集群架构包括应用、数据管理、日志***、配置中心、自动部署、数据备份;
所述报表集成采用JiMu Report技术,实现集成平台报表生成功能,满足业务需求中多源数据库的要求,通过使用数据库连接和AOP切面编程技术来实现数据源的动态切换;
所述工作流集成采用Activiti技术,实现集成平台工作业务流程的可配置功能,根据所画流程图对应节点发起的表单会自动转到对应权限用户下,将表单html页面存到数据库,转到对应角色审批。
2.如权利要求1所述一种基于分布式集群架构的高可用软件开发集成平台,其特征在于,所述应用采用前后端分离技术,前端采用Vue+es6+Nodejs+Elementui作为独立的前端框架,路由守卫作为前端的权限管理;
所述Vue是用于构建用户界面的渐进式框架;
所述es6是javaScript语言的标准;
所述Nodejs是应用程序框架,为运行环境,对于请求是异步的,几个请求能同时进行;
所述Elementui是基于Vue的后台组件库,方便开发人员进行页面快速布局和构建;
后端采用Springboot+Mybatis+SpringSecurity+JWT+SpringAOP+SpringIOC技术框架,能适配各种先进技术,支持集群、支持多数据源、支持分布式事务;
所述Springboot技术框架提供各种默认配置来简化项目配置;
所述Mybatis是持久层框架,用来持久化数据,将数据存入数据库中和从数据库中取数据;
所述SpringSecurity是安全管理框架,为后端提供认证机制和方法级的授权功能,所述JWT用于用户登录鉴权,支持多终端认证***;
所述SpringAOP用于对业务逻辑的各个部分进行隔离,使业务逻辑各部分之间的耦合度降低;
所述SpringIOC用来解决的对象管理和对象依赖的问题,将对象进行统一管理。
3.如权利要求1所述一种基于分布式集群架构的高可用软件开发集成平台,其特征在于,所述数据管理包括基本数据管理和大数据管理;所述基本数据中非结构化数据通过NFS共享文件存储,安装组件nfs-utils、rpcbind,创建虚拟化网络共享服务器目录,设置好挂载点,用户通过HTTP网络请求即可存储到文件***;
所述大数据管理采用分布式集群,包括ElasticSearch搜索引擎,实现数据高可用以及易拓展及快速检索;采用Kafka做消息队列来处理数据同步和解决数据负载问题。
4.如权利要求1所述一种基于分布式集群架构的高可用软件开发集成平台,其特征在于,所述日志***采用完整ElasticSearch+Logstash+Kibana+Filebeat架构,所述Filebeat读取日志文件,并把获取到的日志发送给所述Logstash,所述Logstash将所有的日志过滤、清洗、拆分出来,并存入所述Elasticsearch集群,最后导入至所述Kibana,通过其可视化工具在Web前端通过图形、汇总将日志展示给用户,满足大数据日志数据管理高效率处理及查看,方便运维开发人员进行错误排查。
5.如权利要求1所述一种基于分布式集群架构的高可用软件开发集成平台,其特征在于,所述配置中心采用集成分布式配置中心Spring cloud config,统一管理各个服务配置,实现配置中心化、服务化、配置热部署;所述Spring cloud config分服务端和客户端,配置文件存储在Git上;所述服务端用来连接配置服务器并为客户端提供获取配置信息,加密/解密信息访问接口;所述客户端通过接口获取数据,并依据此数据初始化自己的应用;当配置修改后,通过消息总线通知各个服务,使其从配置中心拉取修改后的配置。
6.如权利要求1所述一种基于分布式集群架构的高可用软件开发集成平台,其特征在于,所述自动部署包括集群协调***、分发负载机制、服务安全机制、自动化部署***;所述集群协调***包括后台监控***、容错***,通过k8s管理监控容器状态,对容器服务进行编排和自动替补;所述分发负载机制通过nginx负载策略,分发前后端请求到不同服务器,达到负载抗压效果;所述服务安全机制通过反向代理技术,隐匿服务真实IP地址,防止攻击,并使用Lua语言,对文件资源进行安全访问防护;所述自动化部署***通过集成Docker/Jenkins/Shell脚本,实时监控远程Git仓库代码变化,自动打包、编译、部署,及发布前后端指定分支代码,到指定版本指定环境,开发人员提交代码后自动执行,实现持续开发,持续集成,持续部署。
7.如权利要求1所述一种基于分布式集群架构的高可用软件开发集成平台,其特征在于,所述数据备份采用快照备份,自动备份自动恢复,共享文件***挂载备份、定时脚本备份,缓存数据库Redis采用RDB和AOF冷热备份,Mysql数据库采用SCP远程备份。
CN202211270842.XA 2022-10-17 2022-10-17 一种基于分布式集群架构的高可用软件开发集成平台 Pending CN115827086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211270842.XA CN115827086A (zh) 2022-10-17 2022-10-17 一种基于分布式集群架构的高可用软件开发集成平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211270842.XA CN115827086A (zh) 2022-10-17 2022-10-17 一种基于分布式集群架构的高可用软件开发集成平台

Publications (1)

Publication Number Publication Date
CN115827086A true CN115827086A (zh) 2023-03-21

Family

ID=85524903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211270842.XA Pending CN115827086A (zh) 2022-10-17 2022-10-17 一种基于分布式集群架构的高可用软件开发集成平台

Country Status (1)

Country Link
CN (1) CN115827086A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116400987A (zh) * 2023-06-06 2023-07-07 智者四海(北京)技术有限公司 持续集成方法、装置、电子设备及存储介质
CN116492690A (zh) * 2023-04-13 2023-07-28 广州炫动信息科技有限公司 游戏数据处理方法、***及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116492690A (zh) * 2023-04-13 2023-07-28 广州炫动信息科技有限公司 游戏数据处理方法、***及存储介质
CN116400987A (zh) * 2023-06-06 2023-07-07 智者四海(北京)技术有限公司 持续集成方法、装置、电子设备及存储介质
CN116400987B (zh) * 2023-06-06 2023-08-18 智者四海(北京)技术有限公司 持续集成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP6250189B2 (ja) データストリームのためのクライアント構成可能なセキュリティオプション
CN105765575B (zh) 数据流摄取和持久性技术
CN105706086B (zh) 用于获取、存储和消费大规模数据流的管理服务
JP6450756B2 (ja) パーティションベースのデータストリーム処理フレームワーク
CN115827086A (zh) 一种基于分布式集群架构的高可用软件开发集成平台
CN111327681A (zh) 一种基于Kubernetes的云计算数据平台构建方法
CN106547914B (zh) 一种数据采集管理***及其方法
US10235372B1 (en) Log message storage
US11567899B2 (en) Managing dependent delete operations among data stores
US11409711B2 (en) Barriers for dependent operations among sharded data stores
WO2021112907A1 (en) Replication barriers for dependent data transfers between data stores
US20220318265A1 (en) System And Method For Switching From Consistent Database To An Eventual Consistent Database Replica In Real Time While Preventing Reads Of Past Versions Of The Data
US11079960B2 (en) Object storage system with priority meta object replication
Chullipparambil Big data analytics using Hadoop tools
Singh Cluster-level logging of containers with containers: Logging challenges of container-based cloud deployments
Tisbeni et al. A Big Data Platform for heterogeneous data collection and analysis in large-scale data centres
US11093465B2 (en) Object storage system with versioned meta objects
US11074002B2 (en) Object storage system with meta object replication
Li et al. A hybrid disaster-tolerant model with DDF technology for MooseFS open-source distributed file system
RU2699683C1 (ru) Способ построения распределенной информационной системы
Qingfeng et al. Development Framework Technology of Multi-Cloud Adaptation Micro-Service Based on Customization and Metadata Verification Technology
Carchiolo et al. ICs Manufacturing Workflow Assessment via Multiple Logs Analysis.
Curtis Pro Oracle GoldenGate for the DBA
CN105706047B (zh) 基于分区的数据流处理框架
Sulkava Building scalable and fault-tolerant software systems with Kafka

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination