CN108287897A - 一种可视化的分布式数据修复工具及其方法 - Google Patents
一种可视化的分布式数据修复工具及其方法 Download PDFInfo
- Publication number
- CN108287897A CN108287897A CN201810058950.8A CN201810058950A CN108287897A CN 108287897 A CN108287897 A CN 108287897A CN 201810058950 A CN201810058950 A CN 201810058950A CN 108287897 A CN108287897 A CN 108287897A
- Authority
- CN
- China
- Prior art keywords
- configuration
- execution
- sql
- data
- executes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开一种可视化的分布式数据修复工具,其包括以下模块:可视化配置模块:用于修复任务的可视化配置服务;日志模块:记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯;权限控制模块:基于角色的访问控制的权限控制,对分布式数据修复的配置与执行做精确的控制,保障数据的安全性;任务调度模块:调用分布式任务调度实现任务的定时执行;sql审核模块:对编写的python脚本进行sql检查,防止不安全的sql脚本混入;修复执行模块:通过指定执行主机,运行配置的python脚本,完成修复作业。本发明在提升数据修复成功率和可回溯性,具备一定的SQL审核校验和动态扩缩容能力,节约人力成本,降低了数据修复的难度。
Description
技术领域
本发明涉及数据修复领域,尤其涉及一种可视化的分布式数据修复工具及其方法。
背景技术
随我国IT***建设取得阶段性成果,IT的发展由普遍建设向普遍运维转型,面对电信行业多级、分域、面向社会服务的特性,福建电信互联网化分布式应用可视化项目,为中国电信福建分公司的互联网分布式的运维,提供了从IT可用到服务可用的保障性解决方案,助力IT企业服务型组织的快速转型。
主要着力于解决互联网化分布式试点项目建设带来的新的运维难题,对***存在的几大类亟待改进的内容进行分析,同时对解决过程中的一些经验进行分享。传统的SSH架构待分布式应用架构的转换过程中,运维的技术特点和业务特点都发生了极大的改变,现有的一系列运维工具和流程逐步不适应新的架构,需要有一套运维体系来支撑IT***的日常运行维护。接下来,让我们来看看在分布式架构下,分布式数据修复存在哪些问题:
基于存储过程的修复不可用:在传统的数据修复中,运维人员只需要编写存储过程,对单库的数据进行提数,修复。而在分布式数据库下,原本只存在单库的数据会落到不同机器、数据库以及不同的分片下,要在数据库上使用存储过程将要面临重复创建,脚本一致性等问题。有时分片的规则又复杂多变,不能简单的建过程就能满足需求。
关联查询数据的不准确:在分布式数据库下,不同表之间的物理存储有可能不在一起,或者有些表虽然在同一个物理库上,但是他们的数据是落在不同的物理库,通过关联可能会丢失不在相同物理库上的数据。
人工操作修数的不可复制繁琐:针对每一次的数据修复都需要人工操作,提数并将获得的数据进行判断,修复。针对简单的提数,将是及其痛苦的,有时还要求运维人员编写代码进行操作。判断所得数据的操作情况往往需要人工介入,大大加大的运维人员的工作量,还无法保证操作的准确性。在进行修复时难以保证事务的一致性,万一出错往往不知如何回滚。
修复数据人员要求高:对数据修复人员的要求较高,还要了解分布式数据的使用与限制,有时根本不知道自己操作的数据在哪里,以及在传统单库上正常执行的脚本,在分布式数据库上执行的异常一头雾水;
发明内容
本发明的目的在于克服现有技术的不足,提供一种可视化的分布式数据修复工具及其方法。
本发明采用的技术方案是:
一种可视化的分布式数据修复工具,其包括以下模块:
可视化配置模块:用于修复任务的可视化配置服务;
日志模块:记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯;
权限控制模块:基于角色的访问控制(RBAC)的权限控制,对分布式数据修复的配置与执行做精确的控制,保障数据的安全性;
任务调度模块:调用分布式任务调度实现任务的定时执行;
sql审核模块:对编写的python脚本进行sql检查,防止不安全的sql脚本混入;
修复执行模块:通过指定执行主机,运行配置的python脚本,完成修复作业。
可视化配置模块包括单次执行配置和批量执行配置,
单次执行配置通过python IDE 编写数据修复逻辑单次执行配置,通过python IDE调试修复逻辑的可靠性,单次执行配置通过分布式上传可用的python脚本到所有的服务器节点,并将上传的python脚本自动生成可视化web端配置;
批量执行配置用于选择批量执行sql查询数据库,批量执行配置编写批量执行的sql语句并拆分sql查询的结果,再将查询结果作为入参循环执行单次配置。
单次执行配置还用于手动补充额外扩展配置。
单次执行配置包括python封装库,用于脚本编写时调用,以提高编写效率。
本发明还公开了一种可视化的分布式数据修复方法,其包括单次执行步骤和批量执行步骤,单次执行配置步骤包括以下步骤:
1-1,单次执行配置依赖IDE进行python原始数据数据修复的逻辑编写以及调试,
1-2,单次执行配置将编写好的脚本通过web端上传到服务器,
1-3,单次执行配置自动解析所上传脚本,生成可视化web端配置,
1-5,修复执行模块通过指定执行主机运行配置的python脚本,
1-6,python脚本执行动态获取配置好的数据库资源,防止用户名,密码的外泄引发安全问题,
1-7,权限控制模块对分布式数据修复的配置与执行做精确的权限控制,防止非相关人员的操作引起生产事故,保障数据的安全性,
1-8,任务调度模块配置修复过程的轮询,节约人工执行的成本,
1-9,日志模块执行过程中记录执行日志,记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯,
1-10,修复成功后,返回符合预期执行的结果值。
批量执行配置步骤包括以下步骤:
2-1,选择批量执行sql查询数据库,
2-2,编写批量执行的sql语句,
2-3,拆分sql查询的结果,
2-4,将查询结果作为入参循环执行单次配置,
2-5,修复执行模块通过指定执行主机运行配置的python脚本,
2-6,python脚本执行动态获取配置好的数据库资源,防止用户名,密码的外泄引发安全问题,
2-7,权限控制模块对分布式数据修复的配置与执行做精确的权限控制,防止非相关人员的操作引起生产事故,保障数据的安全性,
2-8,任务调度模块配置修复过程的轮询,节约人工执行的成本,
2-9,日志模块执行过程中记录执行日志,记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯,
2-10,修复成功后,返回符合预期执行的结果值。
本发明采用以上技术方案,具有如下优点:1)本发明利用记录各个执行状态的执行信息,提供中断继续执行功能,提升了数据修复的可操作性;2) 本发明提供了分布式并发调度执行的能力,提供了多并发执行机制,极大的提升了数据修复的进度,具备动态扩缩数据修复能力。3)本发明能够统计分析执行过程中一些关键数据,为分析问题数据,避免产生类似的问题提供参考依据,并能够实时记录执行现场信息,确保问题回溯和安全审计。4)本发明能够针对不同的权限,提供相应的功能,并且审核配置的sql语句,严格规范生产数据操作,避免对生产数据的不受控制的操作;5)本发明能够在SQL语句执行前进行相关的语法和执行下来的审核与校验,确保数据修复逻辑的正确和高效的执行。6) 任务调度模块实现轮询调度的功能,避免运维人员需要7*24小时的值班,提升工作效率和节约工作成本。
总而言之,本发明的实施,在分布式数据库运维的数据操作上,大提升了数据修复成功率和可回溯性,并具备一定的SQL审核校验和动态扩缩容能力,大节约了运维人力成本,降低了数据修复的难度,提升了数据修复的效率。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明;
图1为本发明一种可视化的分布式数据修复工具的框架示意图;
图2为本发明一种可视化的分布式数据修复工具的修复方法示意图。
具体实施方式
如图1所示,本发明公开了一种可视化的分布式数据修复工具,其包括以下模块:
可视化配置模块:用于修复任务的可视化配置服务;
日志模块:记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯;
权限控制模块:基于角色的访问控制(RBAC)的权限控制,对分布式数据修复的配置与执行做精确的控制,保障数据的安全性;
任务调度模块:调用分布式任务调度实现任务的定时执行;
sql审核模块:对编写的python脚本进行sql检查,防止不安全的sql脚本混入;
修复执行模块:通过指定执行主机,运行配置的python脚本,完成修复作业。
可视化配置模块包括单次执行配置和批量执行配置,
单次执行配置通过python IDE 编写数据修复逻辑单次执行配置,通过python IDE调试修复逻辑的可靠性,单次执行配置通过分布式上传可用的python脚本到所有的服务器节点,并将上传的python脚本自动生成可视化web端配置;
批量执行配置用于选择批量执行sql查询数据库,批量执行配置编写批量执行的sql语句并拆分sql查询的结果,再将查询结果作为入参循环执行单次配置。
单次执行配置还用于手动补充额外扩展配置。
单次执行配置包括python封装库,用于脚本编写时调用,以提高编写效率。
如图2所示,本发明还公开了一种可视化的分布式数据修复方法,其包括单次执行步骤和批量执行步骤,单次执行配置步骤包括以下步骤:
1-1,单次执行配置依赖IDE进行python原始数据数据修复的逻辑编写以及调试,
1-2,单次执行配置将编写好的脚本通过web端上传到服务器,
1-3,单次执行配置自动解析所上传脚本,生成可视化web端配置,
1-5,修复执行模块通过指定执行主机运行配置的python脚本,
1-6,python脚本执行动态获取配置好的数据库资源,防止用户名,密码的外泄引发安全问题。
1-7,权限控制模块对分布式数据修复的配置与执行做精确的权限控制,防止非相关人员的操作引起生产事故,保障数据的安全性。
1-8,任务调度模块配置修复过程的轮询,节约人工执行的成本。
1-9,日志模块执行过程中记录执行日志,记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯,
1-10,修复成功后,返回符合预期执行的结果值。
批量执行配置步骤包括以下步骤:
2-1,选择批量执行sql查询数据库,
2-2,编写批量执行的sql语句,
2-3,拆分sql查询的结果,
2-4,将查询结果作为入参循环执行单次配置,
2-5,修复执行模块通过指定执行主机运行配置的python脚本,
2-6,python脚本执行动态获取配置好的数据库资源,防止用户名,密码的外泄引发安全问题。
2-7,权限控制模块对分布式数据修复的配置与执行做精确的权限控制,防止非相关人员的操作引起生产事故,保障数据的安全性。
2-8,任务调度模块配置修复过程的轮询,节约人工执行的成本。
2-9,日志模块执行过程中记录执行日志,记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯,
2-10,修复成功后,返回符合预期执行的结果值。
本发明采用以上技术方案,具有如下优点:1)本发明利用记录各个执行状态的执行信息,提供中断继续执行功能,提升了数据修复的可操作性;2) 本发明提供了分布式并发调度执行的能力,提供了多并发执行机制,极大的提升了数据修复的进度,具备动态扩缩数据修复能力。3)本发明能够统计分析执行过程中一些关键数据,为分析问题数据,避免产生类似的问题提供参考依据,并能够实时记录执行现场信息,确保问题回溯和安全审计。4)本发明能够针对不同的权限,提供相应的功能,并且审核配置的sql语句,严格规范生产数据操作,避免对生产数据的不受控制的操作;5)本发明能够在SQL语句执行前进行相关的语法和执行下来的审核与校验,确保数据修复逻辑的正确和高效的执行。6) 任务调度模块实现轮询调度的功能,避免运维人员需要7*24小时的值班,提升工作效率和节约工作成本。
总而言之,本发明的实施,在分布式数据库运维的数据操作上,大提升了数据修复成功率和可回溯性,并具备一定的SQL审核校验和动态扩缩容能力,大节约了运维人力成本,降低了数据修复的难度,提升了数据修复的效率。
Claims (6)
1.一种可视化的分布式数据修复工具,其特征在于:其包括以下模块:
可视化配置模块:用于修复任务的可视化配置服务;
日志模块:记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯;
权限控制模块:基于角色的访问控制的权限控制,对分布式数据修复的配置与执行做精确的控制,保障数据的安全性;
任务调度模块:调用分布式任务调度实现任务的定时执行;
sql审核模块:对编写的python脚本进行sql检查,防止不安全的sql脚本混入;
修复执行模块:通过指定执行主机,运行配置的python脚本,完成修复作业。
2.根据权利要求1所述的一种可视化的分布式数据修复工具,其特征在于:所述可视化配置模块包括单次执行配置和批量执行配置,单次执行配置通过python IDE 编写数据修复逻辑单次执行配置,通过python IDE调试修复逻辑的可靠性,单次执行配置通过分布式上传可用的python脚本到所有的服务器节点,并将上传的python脚本自动生成可视化web端配置;批量执行配置用于选择批量执行sql查询数据库,批量执行配置编写批量执行的sql语句并拆分sql查询的结果,再将查询结果作为入参循环执行单次配置。
3.根据权利要求1所述的一种可视化的分布式数据修复工具,其特征在于:所述单次执行配置还用于手动补充额外扩展配置。
4.根据权利要求1所述的一种可视化的分布式数据修复工具,其特征在于:所述单次执行配置包括python封装库,用于脚本编写时调用。
5.一种可视化的分布式数据修复方法,基于权利要求1-4之一所述的一种可视化的分布式数据修复工具,可视化的分布式数据修复方法包括单次执行步骤和批量执行步骤,单次执行配置步骤包括以下步骤:
1-1,单次执行配置依赖IDE进行python原始数据数据修复的逻辑编写以及调试,
1-2,单次执行配置将编写好的脚本通过web端上传到服务器,
1-3,单次执行配置自动解析所上传脚本,生成可视化web端配置,
1-5,修复执行模块通过指定执行主机运行配置的python脚本,
1-6,python脚本执行动态获取配置好的数据库资源,防止用户名,密码的外泄引发安全问题;
1-7,权限控制模块对分布式数据修复的配置与执行做精确的权限控制,防止非相关人员的操作引起生产事故,保障数据的安全性;
1-8,任务调度模块配置修复过程的轮询,节约人工执行的成本;
1-9,日志模块执行过程中记录执行日志,记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯,
1-10,修复成功后,返回符合预期执行的结果值。
6.根据权利要求5所述的一种可视化的分布式数据修复方法,其特征在于:批量执行配置步骤包括以下步骤:
2-1,选择批量执行sql查询数据库,
2-2,编写批量执行的sql语句,
2-3,拆分sql查询的结果,
2-4,将查询结果作为入参循环执行单次配置,
2-5,修复执行模块通过指定执行主机运行配置的python脚本,
2-6,python脚本执行动态获取配置好的数据库资源,防止用户名,密码的外泄引发安全问题;
2-7,权限控制模块对分布式数据修复的配置与执行做精确的权限控制,防止非相关人员的操作引起生产事故,保障数据的安全性;
2-8,任务调度模块配置修复过程的轮询,节约人工执行的成本;
2-9,日志模块执行过程中记录执行日志,记录每次执行的成功失败,已经执行结果等信息,可用于历史追溯,
2-10,修复成功后,返回符合预期执行的结果值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810058950.8A CN108287897A (zh) | 2018-01-22 | 2018-01-22 | 一种可视化的分布式数据修复工具及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810058950.8A CN108287897A (zh) | 2018-01-22 | 2018-01-22 | 一种可视化的分布式数据修复工具及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108287897A true CN108287897A (zh) | 2018-07-17 |
Family
ID=62835510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810058950.8A Withdrawn CN108287897A (zh) | 2018-01-22 | 2018-01-22 | 一种可视化的分布式数据修复工具及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108287897A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109144762A (zh) * | 2018-07-19 | 2019-01-04 | 厦门集微科技有限公司 | 一种修复异常调度任务的处理方法及装置 |
CN111090665A (zh) * | 2019-11-15 | 2020-05-01 | 广东数果科技有限公司 | 一种数据任务调度方法及调度*** |
CN113190407A (zh) * | 2021-05-07 | 2021-07-30 | 北京金融资产交易所有限公司 | 数据运维*** |
CN113791785A (zh) * | 2021-09-18 | 2021-12-14 | 大连华信计算机技术股份有限公司 | 基于混合基础设施可随处运维的可视化运维平台 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050021274A1 (en) * | 2003-07-07 | 2005-01-27 | Matthew Eden | Method and system for information handling system automated and distributed test |
CN102148702A (zh) * | 2011-01-13 | 2011-08-10 | 华为数字技术有限公司 | 一种使用网络配置协议进行网络管理的方法 |
CN102323945A (zh) * | 2011-09-02 | 2012-01-18 | 南京中兴力维软件有限公司 | 一种基于sql的数据库管理方法和装置 |
CN111324595A (zh) * | 2020-02-25 | 2020-06-23 | 中信银行股份有限公司 | 数据迁移的方法、***、设备及计算机可读存储介质 |
-
2018
- 2018-01-22 CN CN201810058950.8A patent/CN108287897A/zh not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050021274A1 (en) * | 2003-07-07 | 2005-01-27 | Matthew Eden | Method and system for information handling system automated and distributed test |
CN102148702A (zh) * | 2011-01-13 | 2011-08-10 | 华为数字技术有限公司 | 一种使用网络配置协议进行网络管理的方法 |
CN102323945A (zh) * | 2011-09-02 | 2012-01-18 | 南京中兴力维软件有限公司 | 一种基于sql的数据库管理方法和装置 |
CN111324595A (zh) * | 2020-02-25 | 2020-06-23 | 中信银行股份有限公司 | 数据迁移的方法、***、设备及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
刘壮飞: "可视化数据修复技术在分布式数据库***中的应用", 《电子技术与软件工程》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109144762A (zh) * | 2018-07-19 | 2019-01-04 | 厦门集微科技有限公司 | 一种修复异常调度任务的处理方法及装置 |
CN109144762B (zh) * | 2018-07-19 | 2022-01-07 | 厦门集微科技有限公司 | 一种修复异常调度任务的处理方法及装置 |
CN111090665A (zh) * | 2019-11-15 | 2020-05-01 | 广东数果科技有限公司 | 一种数据任务调度方法及调度*** |
CN113190407A (zh) * | 2021-05-07 | 2021-07-30 | 北京金融资产交易所有限公司 | 数据运维*** |
CN113190407B (zh) * | 2021-05-07 | 2024-06-07 | 北京金融资产交易所有限公司 | 数据运维*** |
CN113791785A (zh) * | 2021-09-18 | 2021-12-14 | 大连华信计算机技术股份有限公司 | 基于混合基础设施可随处运维的可视化运维平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108287897A (zh) | 一种可视化的分布式数据修复工具及其方法 | |
US7234131B1 (en) | Peer review evaluation tool | |
CN106777101B (zh) | 数据处理引擎 | |
CN107689887B (zh) | 一种核电厂控制***临时控制变更在线管理*** | |
CN102693183B (zh) | 一种实现软件自动化测试的方法及*** | |
CN105786998B (zh) | 数据库中间件***及利用其处理数据的方法 | |
CN110764753A (zh) | 一种业务逻辑代码生成方法、装置、设备及存储介质 | |
CN102998996A (zh) | 一种飞机机载实时故障诊断方法 | |
CN103309804A (zh) | 自动化代码规则检查平台 | |
CN102156784A (zh) | 验证环境图形化的芯片验证方法与装置 | |
CN112561370B (zh) | 软件发版的管理方法、装置、计算机设备及存储介质 | |
CN110162365A (zh) | 一种自动操作sap业务软件的方法和*** | |
CN101008915A (zh) | 网络芯片的自动化验证方法 | |
Boring | Human reliability analysis for digital human-machine interfaces: a wish list for future research | |
CN115169011A (zh) | 一种飞机装配大纲的编辑***及应用*** | |
CN110611312A (zh) | 一种变电站间隔层全景数据在线模拟***及方法 | |
CN110019118A (zh) | 基于DevOps提升数据库运维效率的***及其方法 | |
Han et al. | Automated warship software testing system based on loadrunner automation API | |
CN111898993A (zh) | 操作票管理*** | |
CN110413532A (zh) | 适用于敏捷测试的多过程版本变更代码覆盖率获取方法 | |
CN108228448B (zh) | 一种代码跟踪方法及装置 | |
CN115543377A (zh) | 一种基于人工智能的erp***升级方法及erp*** | |
CN107844838A (zh) | 电网调度自动化主站运维操作票***及全过程防误方法 | |
CN113919309A (zh) | 基于Excel宏功能的字段比对方法、装置、设备及存储介质 | |
Wakefield et al. | Riskman™, celebrating 20+ years of excellence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180717 |
|
WW01 | Invention patent application withdrawn after publication |