CN105843871A - 分布式应用文件的控制与管理*** - Google Patents
分布式应用文件的控制与管理*** Download PDFInfo
- Publication number
- CN105843871A CN105843871A CN201610156022.6A CN201610156022A CN105843871A CN 105843871 A CN105843871 A CN 105843871A CN 201610156022 A CN201610156022 A CN 201610156022A CN 105843871 A CN105843871 A CN 105843871A
- Authority
- CN
- China
- Prior art keywords
- file
- difference
- management
- pool
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种用于分布式应用文件的控制与管理***，所述***包括：管理控制平台，其配置成接收由用户录入的待获取的信息，并生成获取列表；文件池，用于存储文件；文件获取模块，其配置成根据所述获取列表，并发地从目标主机获取目标文件，并存入所述文件池；文件版本管理模块，其配置成从所述文件池获取最新进入所述文件池的内容，并进行版本入库管理；以及文件差异管理模块，其配置成对所述文件池中的文件进行比对，并形成差异库。
Description
技术领域
本发明涉及用于分布式应用文件的控制与管理***。
背景技术
随着大数据时代的到来，很多企业级应用已经不得不向云进行迁移，然而，在迁云后该些应用无不面临分布式应用多主机文件的管理效率低、难度大等问题。另外，伴随着企业的业务的发展，在技术上也面临着快速迭代的问题，然而面对多主机应用及文件的变更问题，如果能够让加速实现变更的自动化也是企业说面临的另一个难题。
目前现有技术都是工具性质的，比如
SVN
（即
Subversion,
一种开源的版本控制***）、
CVS
（即，
Concurrent Version System
，与
SVN
类似的版本控制***）等具有文件版本管理的功能，
UE
等文本比对工具具有比对文件内容的功能，但是不存在一个完整平台的***来用于分布式应用文件的控制与管理。
发明内容
为解决上述问题，根据本发明的一个方面，提供了一种用于分布式应用文件的控制与管理***，所述***包括：管理控制平台，其配置成接收由用户录入的待获取的信息，并生成获取列表；文件池，用于存储文件；文件获取模块，其配置成根据所述获取列表，并发地从目标主机获取目标文件，并存入所述文件池；文件版本管理模块，其配置成从所述文件池获取最新进入所述文件池的内容，并进行版本入库管理；以及文件差异管理模块，其配置成对所述文件池中的文件进行比对，并形成差异库。
在上述***中，所述差异库为预先建立的数据库，其配置成存储可接受的差异。
在上述***中，所述管理控制平台还配置成从用户处接收待变更文件。
在一个实施例中，该***还可包括：文件自动变更模块，其配置成通过调用所述文件差异管理模块，对所述待变更文件进行比对和差异匹配，从而生成适配个主机的文件。
在上述***中，所述管理控制平台还配置成展示文件差异、告警提醒以及变更控制。
在上述***中，所述文件获取模块配置成根据所述获取列表，通过
SSH
或
FTP
的方式将文件获取到指定服务器。
在上述***中，所述文件池配置成存储每天从各个服务上获取到的最新文件、用户上传的待变更文件以及从
SVN
中检出的历史文件。
在上述***中，所述文件差异管理模块配置成将文件间比对后的差异，通过一数据模型进行记录并存储在数据库中。
在上述***中，在所述文件差异管理模块中设置有比对黑名单和白名单。
通过使用本申请的技术方案，可以取得如下优势：
1.
通过该***可以方便地保障不同环境下多主机应用文件的相对一致性，不会出现文件的不一致导致测试问题和生产事件；
2.
通过该***对文件的统筹管理和控制，可以大大减少了差异文件管理的复杂度和难度；
3.
以差异库为基础，可以最大程度地减少人为误差，增强了文件管理的可靠性，更好地满足文件管理的各项需求（文件快速比对、文件智能修改、文件自动生成等功能）。
4.
通过设置比对黑名单和压缩包白名单，能够有效地减少不必要的比对，提升比对效率。
5.
该***支持差异的实时监控，能够非常及时的将应用的真实调用情况进入到差异数据库中进行分析，不依赖应用自身的逻辑处理，更加的客观真实，具有更高的安全性。
6.
整个***采用中央集成控制，尤其支持差异库与各模块的快速联动与调用，可控性强；并且能与已有的文件处理工具（如文件比对工具）进行集成耦合，***可移植性高，具有广泛的应用价值。
附图说明
在参照附图阅读了本发明的具体实施方式以后，本领域技术人员将会更清楚地了解本发明的各个方面。本领域技术人员应当理解的是：这些附图仅仅用于配合具体实施方式说明本发明的技术方案，而并非意在对本发明的保护范围构成限制。
图
1
是根据本申请的一个实施例、用于分布式应用文件的控制与管理***的结构示意图；
图
2
至图
4
是根据本申请的各个实施例、***运作的流程示意图。
具体实施方式
下面介绍的是本发明的多个可能实施例中的一些，旨在提供对本发明的基本了解，并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。容易理解，根据本发明的技术方案，在不变更本发明的实质精神下，本领域的一般技术人员可以提出可相互替换的其它实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。
图
1
是根据本申请的一个实施例、用于分布式应用文件的控制与管理***的结构示意图。如图
1
所示，***可包括如下模块：文件获取模块、文件版本管理模块、文件差异管理模块、文件变更自动化模块、文件池和管理控制平台。文件获取模块负责便捷地获取各个主机上的文件（支持定时和手工）。版本控制模块利于快速恢复到历史版本，并保障文件不会遗失。差异管理模块，包含文件间比对，比对后差异结果的存储和应用等。变更自动化模块，用于根据文件固有差异实现对多主机文件的变更自动化。文件池，用于存储获取的文件以及待上传的文件等。管理控制平台，包含基础信息的录入和管理、文件差异的展示、告警提醒以及变更控制等。通过如图
1
所示的***可以实现分布式应用多主机文件的差异监控与文件级自动化变更和恢复等功能，从而实现对分布式应用多主机文件的统筹控制与智能管理。
在一个实施例中，用户可根据自身应用情况，在管理控制平台录入要待获取的文件信息和主机信息等内容。文件获取模块根据管理控制平台生成的获取列表，并发地到目标主机获取目标文件，并存入文件池。文件版本管理模块将最新进入文件池的内容，进行版本入库管理。该流程如图
2
所示。
差异管理模块对文件池中的文件进行比对，并形成差异库。用户通过管理控制平台查看比对后的结果，并对差异库进行管理。用户通过管理控制平台上传待变更的文件，变更自动化模块通过调用差异管理模块，对待变更的文件进行比对和差异匹配，使得文件能够自动适应多主机的配置，并上传到指定服务器，同时可以自定义一些远程操作指令，比如应用重启、生效文件等（如图
3
和图
4
所示）。
在另一个实施例中，用于分布式应用文件的控制与管理***可包括：管理控制平台，其配置成接收由用户录入的待获取的信息，并生成获取列表；文件池，用于存储文件；文件获取模块，其配置成根据所述获取列表，并发地从目标主机获取目标文件，并存入所述文件池；文件版本管理模块，其配置成从所述文件池获取最新进入所述文件池的内容，并进行版本入库管理；以及文件差异管理模块，其配置成对所述文件池中的文件进行比对，并形成差异库。可选地，该***还可包括文件自动变更模块，其配置成通过调用所述文件差异管理模块，对待变更文件进行比对和差异匹配，从而生成适配个主机的文件。
在一个实施例中，管理控制平台是连接本***各个核心模块的操作平台，为各个模块提供运行的基本参数和信息，目的是通过简单的配置可以灵活地协调各模块有机地完成各自功能。在一个实施例中，管理控制平台可配置成具有如下子管理功能：
（
1
）主机信息管理，供用户配置待管理的主机信息，包含
IP
、主机名、用户名等信息，支持正删改功能；
（
2
）待获取文件管理，供用户配置每台主机上要获取哪些文件和目录，支持匹配符、排查文件规则制定等功能；
（
3
）获取列表生成管理，根据用户配置的主机信息和带获取文件，生成可供文件获取模块使用的获取列表；
（
4
）文件获取调度和配置，供用户配置文件获取规则，比如时间、频次、失败告警等规则；
（
5
）文件比对关系和规则配置，供用户对文件间的比对关系和规则进行配置，并利用树形结构友好地展示关系和配置；
（
6
）文件比对结果展示，用户可以通过时间、比对关系等途径查找到比对后的结果，并在
WEB
页面上展示文件比对后的结果，对二进制展示
MD5
是否相等，对文本文件，展示差异的具体内容；
（
7
）比对结果告警管理，可以对比对后的结果设置告警级别，邮件发送名单等；
（
8
）文件版本控制管理，在该项目中，选用
SVN
作为文件版本管理底层支撑，并结合
SVN
的
api
接口，发开一些管理类的操作内容，便于文件管理；
（
9
）上传待变更文件，通过
WEB
页面供用户上传带变更的文件，并在上传完毕后，对文件进行初步的预处理；
（
10
）适配规则管理，用于管理由单一主机上特定的文件如何通过规则转换成
N
个
主机上的文件；
（
11
）变更自定义命令管理，用于设置一些自定义的变更命令，比如应用重启、配置文件生效等；
（
12
）变更调度管理，用于管理变更时间和控制变更执行过程，并用于调试变更执行过程中出现的问题。
在一个实施例中，文件获取模块根据文件获取列表，通过
SSH
、
FTP
等方式将文件获取到指定服务器。例如，由管理控制平台上的文件获取列表功能生成文件获取列表，通过
SCP
命令将特定的文件放置到特定的目的服务器，并通过
SHELL
脚本利用获取列表，将待获取的文件打包成
tar
文件，然后利用
SCP
和
FTP
命令通过中转服务器，将
tar
文件传输到指定文件服务器。
在一个实施例中，文件池有以下几个应用场景：最新生产文件存放区，用于存放每天从各个服务器上获取到的最新文件；变更文件存放区，用于存放用户上传的待变更的文件；以及
SVN
临时存放区，用于存放从
SVN
中
check out
出来的历史文件。
在一个实施例中，差异管理模块配置成对文件进行比对。按照比对对象的不同，可以对分为两类类型，分别是最新文件在相同应用不同主机间的比对以及相同文件与历史文件的比对。比如应用
A
为了高可用机制，分别在主机
1
、主机
2
和主机
3
上均都部署了相同的应用，当最新文件进入到文件池后，可以将文件
1
、
2
和主机
3
之间的相同文件进行比对。再比如应用
B
仅在一台主机上部署了应用，那么可以通过文件版本管理模块，将最新的文件与上个具有差异的文件版本进行比对。在另一个实施例中，差异管理模块配置成记录和存储文件差异。将文件间比对后的差异，通过一定的数据模型进行记录并存储在数据库当中。在又一个实施例中，差异管理模块配置成将文件比对后的结果通过友好的形式展示给用户，便于用户对文件差异的把控。在又一个实施例中，差异管理模块配置成根据文件比对后的结果，将不认可的差异通过邮件、短信等方式向特定人进行发出告警通知。
在一个实施例中，在进行文本比对时，差异管理模块可配置成先去差异库中查找是否存在记录，如果存在则结合差异库“过滤”差异，最终展现给用户的将是用户需要关心的差异。其中，差异库为预先建立的数据库，其配置成存储可接受的差异。
这样，当在差异库中找到一条差异记录后，就可以快速定位出其中哪些差异是可接受差异，哪些差异是非预期差异。
就差异库而言，一种可考虑的实现方式是通过人工做第一次判断，将可以接受的差异以上述数据结构将比对后的结果集继续存储从而形成差异库。
在一个实施例中，文件版本管理模块可配置成采用
SVN
作为底层管理支撑。在该模块中除了应用到
SVN
的基础功能，还封装了其部分
API
接口，用于其它模块调用，比如检出
(check out)
某一特定版本的文件，定期对版本库中的文件进行版本更新等。
在一个实施例中，文件变更自动化模块对以上各个模块进行综合利用。首先，用户可根据变更需求，通过管理控制平台上传变更所需文件，然后根据需求选用合适的匹配规则，并生成各个主机应用所需用的文件。比如，主机
A
上有
env.cfg
文件其内容如下：
localhostIP
=
192.151.1.1
hostname=
PPhostA
Server_domain
=MTQ_ONL1
该文件需要部署到
A
、
B
、
C
、
D
四台主机上，并且需要对其中
localhostIP
等三个参数进行适配，做到分别符合四台主机的个性化需求。该功能的实现则需要依托差异管理模块中差异库的积累，最终生成四个不一样的
env.cfg
文件。
然后，通过文件获取模块的逆向运作，分别将四个文件上传至目的四台主机。在该模块中，同样需要自定义命令的辅助功能，这样才能保障这个变更的自动化。
在一个实施例中，差异管理模块或分布式应用文件的控制与管理***中的其他模块配置有比对黑名单和压缩包白名单。这能够有效地减少不必要的比对，提升比对效率。
综上所述，本申请的分布式应用文件的控制与管理***可以方便地保障不同环境下多主机应用文件的相对一致性，不会出现文件的不一致导致测试问题和生产事件，并通过对文件的统筹管理和控制，可以大大减少了差异文件管理的复杂度和难度。另外，本申请的分布式应用文件的控制与管理***以差异库为基础，可以最大程度地减少人为误差，增强了文件管理的可靠性，更好地满足文件管理的各项需求（文件快速比对、文件智能修改、文件自动生成等功能）。
上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。
Claims (9)
1. 一种用于分布式应用文件的控制与管理***，所述***包括：
管理控制平台，其配置成接收由用户录入的待获取的信息，并生成获取列表；
文件池，用于存储文件；
文件获取模块，其配置成根据所述获取列表，并发地从目标主机获取目标文件，并存入所述文件池；
文件版本管理模块，其配置成从所述文件池获取最新进入所述文件池的内容，并进行版本入库管理；以及
文件差异管理模块，其配置成对所述文件池中的文件进行比对，并形成差异库。
2. 如权利要求1所述的***，其中，所述差异库为预先建立的数据库，其配置成存储可接受的差异。
3. 如权利要求1所述的***，其中，所述管理控制平台还配置成从用户处接收待变更文件。
4. 如权利要求3所述的***，其中，所述***还包括：
文件自动变更模块，其配置成通过调用所述文件差异管理模块，对所述待变更文件进行比对和差异匹配，从而生成适配个主机的文件。
5. 如权利要求1所述的***，其中，所述管理控制平台还配置成展示文件差异、告警提醒以及变更控制。
6. 如权利要求1所述的***，其中，所述文件获取模块配置成根据所述获取列表，通过SSH或FTP的方式将文件获取到指定服务器。
7. 如权利要求1所述的***，其中，所述文件池配置成存储每天从各个服务上获取到的最新文件、用户上传的待变更文件以及从SVN中检出的历史文件。
8. 如权利要求1所述的***，其中，所述文件差异管理模块配置成将文件间比对后的差异，通过一数据模型进行记录并存储在数据库中。
9. 如权利要求8所述的***，其中，在所述文件差异管理模块中设置有比对黑名单和白名单。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610156022.6A CN105843871B (zh) | 2016-03-18 | 2016-03-18 | 分布式应用文件的控制与管理*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610156022.6A CN105843871B (zh) | 2016-03-18 | 2016-03-18 | 分布式应用文件的控制与管理*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105843871A true CN105843871A (zh) | 2016-08-10 |
| CN105843871B CN105843871B (zh) | 2020-02-28 |
Family
ID=56588011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610156022.6A Active CN105843871B (zh) | 2016-03-18 | 2016-03-18 | 分布式应用文件的控制与管理*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105843871B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107948316A (zh) * | 2017-12-25 | 2018-04-20 | 北京搜狐新媒体信息技术有限公司 | 一种文件同步方法、装置及设备 |
| CN109086062A (zh) * | 2018-07-26 | 2018-12-25 | 云南电网有限责任公司电力科学研究院 | 一种变电站文件版本管理方法及*** |
| CN109710519A (zh) * | 2018-12-13 | 2019-05-03 | 平安普惠企业管理有限公司 | 项目差异报告生成方法、装置、计算机设备及存储介质 |
| CN111221777A (zh) * | 2020-01-02 | 2020-06-02 | 中国银行股份有限公司 | 一种数据记录的匹配方法及装置 |
| CN117454856A (zh) * | 2023-12-22 | 2024-01-26 | 达州爱迦飞诗特科技有限公司 | 基于线上点对点模式的医疗诊断数据编辑方法和*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1859160A (zh) * | 2005-04-30 | 2006-11-08 | 华为技术有限公司 | 用户驻地设备配置管理方法及其*** |
| CN101206564A (zh) * | 2006-12-20 | 2008-06-25 | 鸿富锦精密工业（深圳）有限公司 | 文件版本管控接口装置及方法 |
| CN103092761A (zh) * | 2013-02-05 | 2013-05-08 | 烽火通信科技股份有限公司 | 基于差异信息文件识别和检查修改代码块的方法及装置 |
| CN104750469A (zh) * | 2013-12-30 | 2015-07-01 | ***股份有限公司 | 源代码统计分析方法和*** |
| CN105183797A (zh) * | 2015-08-25 | 2015-12-23 | 许继集团有限公司 | 一种基于iec61850文件服务的变电站文件管控方法 |
-
2016
- 2016-03-18 CN CN201610156022.6A patent/CN105843871B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1859160A (zh) * | 2005-04-30 | 2006-11-08 | 华为技术有限公司 | 用户驻地设备配置管理方法及其*** |
| CN101206564A (zh) * | 2006-12-20 | 2008-06-25 | 鸿富锦精密工业（深圳）有限公司 | 文件版本管控接口装置及方法 |
| CN103092761A (zh) * | 2013-02-05 | 2013-05-08 | 烽火通信科技股份有限公司 | 基于差异信息文件识别和检查修改代码块的方法及装置 |
| CN104750469A (zh) * | 2013-12-30 | 2015-07-01 | ***股份有限公司 | 源代码统计分析方法和*** |
| CN105183797A (zh) * | 2015-08-25 | 2015-12-23 | 许继集团有限公司 | 一种基于iec61850文件服务的变电站文件管控方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107948316A (zh) * | 2017-12-25 | 2018-04-20 | 北京搜狐新媒体信息技术有限公司 | 一种文件同步方法、装置及设备 |
| CN107948316B (zh) * | 2017-12-25 | 2020-11-03 | 北京搜狐新媒体信息技术有限公司 | 一种文件同步方法、装置及设备 |
| CN109086062A (zh) * | 2018-07-26 | 2018-12-25 | 云南电网有限责任公司电力科学研究院 | 一种变电站文件版本管理方法及*** |
| CN109710519A (zh) * | 2018-12-13 | 2019-05-03 | 平安普惠企业管理有限公司 | 项目差异报告生成方法、装置、计算机设备及存储介质 |
| CN111221777A (zh) * | 2020-01-02 | 2020-06-02 | 中国银行股份有限公司 | 一种数据记录的匹配方法及装置 |
| CN111221777B (zh) * | 2020-01-02 | 2024-01-30 | 中国银行股份有限公司 | 一种数据记录的匹配方法及装置 |
| CN117454856A (zh) * | 2023-12-22 | 2024-01-26 | 达州爱迦飞诗特科技有限公司 | 基于线上点对点模式的医疗诊断数据编辑方法和*** |
| CN117454856B (zh) * | 2023-12-22 | 2024-04-16 | 达州爱迦飞诗特科技有限公司 | 基于线上点对点模式的医疗诊断数据编辑方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105843871B (zh) | 2020-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10817410B2 (en) | Application programming interface for providing access to computing platform definitions | |
| AU2020291917B2 (en) | Big data application lifecycle management | |
| CN105843871A (zh) | 分布式应用文件的控制与管理*** | |
| US11163791B2 (en) | Transformation configuration in instance data replication with bi-directional replication support | |
| US10469315B2 (en) | Using computing platform definitions to provide segmented computing platforms in a computing system | |
| CN104679717B (zh) | 集群弹性部署的方法和管理*** | |
| US20180048521A1 (en) | Orchestration Pipeline for Providing and Operating Segmented Computing Resources | |
| CN105515872B (zh) | 配置信息的更新方法、装置及*** | |
| CN104866391B (zh) | 一种基于增量信息***的终端信息备份方法和装置 | |
| CN110019138B (zh) | 一种基于Zabbix的传输表空间自动迁移方法和*** | |
| WO2014071189A1 (en) | An interactive organizational decision-making and compliance facilitation portal | |
| US20150121155A1 (en) | Performing customized deployment scenarios in shared environments | |
| CN104517181B (zh) | 一种核电站企业内容管理***及方法 | |
| CN105653425A (zh) | 基于复杂事件处理引擎的监控*** | |
| CN108156030B (zh) | 一种配置策略同步的方法及装置 | |
| CN108563440A (zh) | 列表控制器代码自动添加方法、装置及可读存储介质 | |
| CN110389766A (zh) | HBase容器集群部署方法、***、设备及计算机可读存储介质 | |
| US11349905B2 (en) | Selective master data transport | |
| CN105912329B (zh) | 版本自动化统一方法及*** | |
| US10055474B1 (en) | Method and system for connecting a content repository to a file sharing service | |
| CN110784347A (zh) | 一种容器集群的节点管理方法、***、设备及存储介质 | |
| US10963227B2 (en) | Technique for transforming a standard messaging component to a customized component | |
| US10732948B2 (en) | System and method for implementing automated deployment | |
| BR112019013444A2 (pt) | sistema implementado em computador e método para conformidade de procedimento | |
| WO2016197953A1 (zh) | 一种部署多模基站的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |