CN108287897A - 一种可视化的分布式数据修复工具及其方法 - Google Patents

一种可视化的分布式数据修复工具及其方法 Download PDF

Info

Publication number
CN108287897A
CN108287897A CN201810058950.8A CN201810058950A CN108287897A CN 108287897 A CN108287897 A CN 108287897A CN 201810058950 A CN201810058950 A CN 201810058950A CN 108287897 A CN108287897 A CN 108287897A
Authority
CN
China
Prior art keywords
configuration
execution
sql
data
executes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810058950.8A
Other languages
English (en)
Inventor
刘壮飞
连超
郑国伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Fufu Mdt Infotech Ltd
Original Assignee
China Electric Fufu Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Fufu Mdt Infotech Ltd filed Critical China Electric Fufu Mdt Infotech Ltd
Priority to CN201810058950.8A priority Critical patent/CN108287897A/zh
Publication of CN108287897A publication Critical patent/CN108287897A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开一种可视化的分布式数据修复工具，其包括以下模块：可视化配置模块：用于修复任务的可视化配置服务；日志模块：记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯；权限控制模块：基于角色的访问控制的权限控制，对分布式数据修复的配置与执行做精确的控制，保障数据的安全性；任务调度模块：调用分布式任务调度实现任务的定时执行；sql审核模块：对编写的python脚本进行sql检查，防止不安全的sql脚本混入；修复执行模块：通过指定执行主机，运行配置的python脚本，完成修复作业。本发明在提升数据修复成功率和可回溯性，具备一定的SQL审核校验和动态扩缩容能力，节约人力成本，降低了数据修复的难度。

Description

一种可视化的分布式数据修复工具及其方法
技术领域
本发明涉及数据修复领域，尤其涉及一种可视化的分布式数据修复工具及其方法。
背景技术
随我国IT***建设取得阶段性成果，IT的发展由普遍建设向普遍运维转型，面对电信行业多级、分域、面向社会服务的特性，福建电信互联网化分布式应用可视化项目，为中国电信福建分公司的互联网分布式的运维，提供了从IT可用到服务可用的保障性解决方案，助力IT企业服务型组织的快速转型。
主要着力于解决互联网化分布式试点项目建设带来的新的运维难题，对***存在的几大类亟待改进的内容进行分析，同时对解决过程中的一些经验进行分享。传统的SSH架构待分布式应用架构的转换过程中，运维的技术特点和业务特点都发生了极大的改变，现有的一系列运维工具和流程逐步不适应新的架构，需要有一套运维体系来支撑IT***的日常运行维护。接下来，让我们来看看在分布式架构下，分布式数据修复存在哪些问题：
基于存储过程的修复不可用：在传统的数据修复中，运维人员只需要编写存储过程，对单库的数据进行提数，修复。而在分布式数据库下，原本只存在单库的数据会落到不同机器、数据库以及不同的分片下，要在数据库上使用存储过程将要面临重复创建，脚本一致性等问题。有时分片的规则又复杂多变，不能简单的建过程就能满足需求。
关联查询数据的不准确：在分布式数据库下，不同表之间的物理存储有可能不在一起，或者有些表虽然在同一个物理库上，但是他们的数据是落在不同的物理库，通过关联可能会丢失不在相同物理库上的数据。
人工操作修数的不可复制繁琐：针对每一次的数据修复都需要人工操作，提数并将获得的数据进行判断，修复。针对简单的提数，将是及其痛苦的，有时还要求运维人员编写代码进行操作。判断所得数据的操作情况往往需要人工介入，大大加大的运维人员的工作量，还无法保证操作的准确性。在进行修复时难以保证事务的一致性，万一出错往往不知如何回滚。
修复数据人员要求高：对数据修复人员的要求较高，还要了解分布式数据的使用与限制，有时根本不知道自己操作的数据在哪里，以及在传统单库上正常执行的脚本，在分布式数据库上执行的异常一头雾水；
发明内容
本发明的目的在于克服现有技术的不足，提供一种可视化的分布式数据修复工具及其方法。
本发明采用的技术方案是：
一种可视化的分布式数据修复工具，其包括以下模块：
可视化配置模块：用于修复任务的可视化配置服务；
日志模块：记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯；
权限控制模块：基于角色的访问控制（RBAC）的权限控制，对分布式数据修复的配置与执行做精确的控制，保障数据的安全性；
任务调度模块：调用分布式任务调度实现任务的定时执行；
sql审核模块：对编写的python脚本进行sql检查，防止不安全的sql脚本混入；
修复执行模块：通过指定执行主机，运行配置的python脚本，完成修复作业。
可视化配置模块包括单次执行配置和批量执行配置，
单次执行配置通过python IDE 编写数据修复逻辑单次执行配置，通过python IDE调试修复逻辑的可靠性，单次执行配置通过分布式上传可用的python脚本到所有的服务器节点，并将上传的python脚本自动生成可视化web端配置；
批量执行配置用于选择批量执行sql查询数据库，批量执行配置编写批量执行的sql语句并拆分sql查询的结果，再将查询结果作为入参循环执行单次配置。
单次执行配置还用于手动补充额外扩展配置。
单次执行配置包括python封装库，用于脚本编写时调用，以提高编写效率。
本发明还公开了一种可视化的分布式数据修复方法，其包括单次执行步骤和批量执行步骤，单次执行配置步骤包括以下步骤：
1-1，单次执行配置依赖IDE进行python原始数据数据修复的逻辑编写以及调试，
1-2，单次执行配置将编写好的脚本通过web端上传到服务器，
1-3，单次执行配置自动解析所上传脚本，生成可视化web端配置，
1-5，修复执行模块通过指定执行主机运行配置的python脚本，
1-6，python脚本执行动态获取配置好的数据库资源，防止用户名，密码的外泄引发安全问题，
1-7，权限控制模块对分布式数据修复的配置与执行做精确的权限控制，防止非相关人员的操作引起生产事故，保障数据的安全性，
1-8，任务调度模块配置修复过程的轮询，节约人工执行的成本，
1-9，日志模块执行过程中记录执行日志，记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯，
1-10，修复成功后，返回符合预期执行的结果值。
批量执行配置步骤包括以下步骤：
2-1，选择批量执行sql查询数据库，
2-2，编写批量执行的sql语句，
2-3，拆分sql查询的结果，
2-4，将查询结果作为入参循环执行单次配置，
2-5，修复执行模块通过指定执行主机运行配置的python脚本，
2-6，python脚本执行动态获取配置好的数据库资源，防止用户名，密码的外泄引发安全问题，
2-7，权限控制模块对分布式数据修复的配置与执行做精确的权限控制，防止非相关人员的操作引起生产事故，保障数据的安全性，
2-8，任务调度模块配置修复过程的轮询，节约人工执行的成本，
2-9，日志模块执行过程中记录执行日志，记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯，
2-10，修复成功后，返回符合预期执行的结果值。
本发明采用以上技术方案，具有如下优点：1)本发明利用记录各个执行状态的执行信息，提供中断继续执行功能，提升了数据修复的可操作性；2) 本发明提供了分布式并发调度执行的能力，提供了多并发执行机制，极大的提升了数据修复的进度，具备动态扩缩数据修复能力。3）本发明能够统计分析执行过程中一些关键数据，为分析问题数据，避免产生类似的问题提供参考依据，并能够实时记录执行现场信息，确保问题回溯和安全审计。4)本发明能够针对不同的权限，提供相应的功能，并且审核配置的sql语句，严格规范生产数据操作，避免对生产数据的不受控制的操作；5）本发明能够在SQL语句执行前进行相关的语法和执行下来的审核与校验，确保数据修复逻辑的正确和高效的执行。6) 任务调度模块实现轮询调度的功能，避免运维人员需要7*24小时的值班，提升工作效率和节约工作成本。
总而言之，本发明的实施，在分布式数据库运维的数据操作上，大提升了数据修复成功率和可回溯性，并具备一定的SQL审核校验和动态扩缩容能力，大节约了运维人力成本，降低了数据修复的难度，提升了数据修复的效率。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种可视化的分布式数据修复工具的框架示意图；
图2为本发明一种可视化的分布式数据修复工具的修复方法示意图。
具体实施方式
如图1所示，本发明公开了一种可视化的分布式数据修复工具，其包括以下模块：
可视化配置模块：用于修复任务的可视化配置服务；
日志模块：记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯；
权限控制模块：基于角色的访问控制（RBAC）的权限控制，对分布式数据修复的配置与执行做精确的控制，保障数据的安全性；
任务调度模块：调用分布式任务调度实现任务的定时执行；
sql审核模块：对编写的python脚本进行sql检查，防止不安全的sql脚本混入；
修复执行模块：通过指定执行主机，运行配置的python脚本，完成修复作业。
可视化配置模块包括单次执行配置和批量执行配置，
单次执行配置通过python IDE 编写数据修复逻辑单次执行配置，通过python IDE调试修复逻辑的可靠性，单次执行配置通过分布式上传可用的python脚本到所有的服务器节点，并将上传的python脚本自动生成可视化web端配置；
批量执行配置用于选择批量执行sql查询数据库，批量执行配置编写批量执行的sql语句并拆分sql查询的结果，再将查询结果作为入参循环执行单次配置。
单次执行配置还用于手动补充额外扩展配置。
单次执行配置包括python封装库，用于脚本编写时调用，以提高编写效率。
如图2所示，本发明还公开了一种可视化的分布式数据修复方法，其包括单次执行步骤和批量执行步骤，单次执行配置步骤包括以下步骤：
1-1，单次执行配置依赖IDE进行python原始数据数据修复的逻辑编写以及调试，
1-2，单次执行配置将编写好的脚本通过web端上传到服务器，
1-3，单次执行配置自动解析所上传脚本，生成可视化web端配置，
1-5，修复执行模块通过指定执行主机运行配置的python脚本，
1-6，python脚本执行动态获取配置好的数据库资源，防止用户名，密码的外泄引发安全问题。
1-7，权限控制模块对分布式数据修复的配置与执行做精确的权限控制，防止非相关人员的操作引起生产事故，保障数据的安全性。
1-8，任务调度模块配置修复过程的轮询，节约人工执行的成本。
1-9，日志模块执行过程中记录执行日志，记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯，
1-10，修复成功后，返回符合预期执行的结果值。
批量执行配置步骤包括以下步骤：
2-1，选择批量执行sql查询数据库，
2-2，编写批量执行的sql语句，
2-3，拆分sql查询的结果，
2-4，将查询结果作为入参循环执行单次配置，
2-5，修复执行模块通过指定执行主机运行配置的python脚本，
2-6，python脚本执行动态获取配置好的数据库资源，防止用户名，密码的外泄引发安全问题。
2-7，权限控制模块对分布式数据修复的配置与执行做精确的权限控制，防止非相关人员的操作引起生产事故，保障数据的安全性。
2-8，任务调度模块配置修复过程的轮询，节约人工执行的成本。
2-9，日志模块执行过程中记录执行日志，记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯，
2-10，修复成功后，返回符合预期执行的结果值。
本发明采用以上技术方案，具有如下优点：1)本发明利用记录各个执行状态的执行信息，提供中断继续执行功能，提升了数据修复的可操作性；2) 本发明提供了分布式并发调度执行的能力，提供了多并发执行机制，极大的提升了数据修复的进度，具备动态扩缩数据修复能力。3）本发明能够统计分析执行过程中一些关键数据，为分析问题数据，避免产生类似的问题提供参考依据，并能够实时记录执行现场信息，确保问题回溯和安全审计。4)本发明能够针对不同的权限，提供相应的功能，并且审核配置的sql语句，严格规范生产数据操作，避免对生产数据的不受控制的操作；5）本发明能够在SQL语句执行前进行相关的语法和执行下来的审核与校验，确保数据修复逻辑的正确和高效的执行。6) 任务调度模块实现轮询调度的功能，避免运维人员需要7*24小时的值班，提升工作效率和节约工作成本。
总而言之，本发明的实施，在分布式数据库运维的数据操作上，大提升了数据修复成功率和可回溯性，并具备一定的SQL审核校验和动态扩缩容能力，大节约了运维人力成本，降低了数据修复的难度，提升了数据修复的效率。

Claims (6)

1.一种可视化的分布式数据修复工具，其特征在于：其包括以下模块：
可视化配置模块：用于修复任务的可视化配置服务；
日志模块：记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯；
权限控制模块：基于角色的访问控制的权限控制，对分布式数据修复的配置与执行做精确的控制，保障数据的安全性；
任务调度模块：调用分布式任务调度实现任务的定时执行；
sql审核模块：对编写的python脚本进行sql检查，防止不安全的sql脚本混入；
修复执行模块：通过指定执行主机，运行配置的python脚本，完成修复作业。
2.根据权利要求1所述的一种可视化的分布式数据修复工具，其特征在于：所述可视化配置模块包括单次执行配置和批量执行配置，单次执行配置通过python IDE 编写数据修复逻辑单次执行配置，通过python IDE调试修复逻辑的可靠性，单次执行配置通过分布式上传可用的python脚本到所有的服务器节点，并将上传的python脚本自动生成可视化web端配置；批量执行配置用于选择批量执行sql查询数据库，批量执行配置编写批量执行的sql语句并拆分sql查询的结果，再将查询结果作为入参循环执行单次配置。
3.根据权利要求1所述的一种可视化的分布式数据修复工具，其特征在于：所述单次执行配置还用于手动补充额外扩展配置。
4.根据权利要求1所述的一种可视化的分布式数据修复工具，其特征在于：所述单次执行配置包括python封装库，用于脚本编写时调用。
5.一种可视化的分布式数据修复方法，基于权利要求1-4之一所述的一种可视化的分布式数据修复工具，可视化的分布式数据修复方法包括单次执行步骤和批量执行步骤，单次执行配置步骤包括以下步骤：
1-1，单次执行配置依赖IDE进行python原始数据数据修复的逻辑编写以及调试，
1-2，单次执行配置将编写好的脚本通过web端上传到服务器，
1-3，单次执行配置自动解析所上传脚本，生成可视化web端配置，
1-5，修复执行模块通过指定执行主机运行配置的python脚本，
1-6，python脚本执行动态获取配置好的数据库资源，防止用户名，密码的外泄引发安全问题；
1-7，权限控制模块对分布式数据修复的配置与执行做精确的权限控制，防止非相关人员的操作引起生产事故，保障数据的安全性；
1-8，任务调度模块配置修复过程的轮询，节约人工执行的成本；
1-9，日志模块执行过程中记录执行日志，记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯，
1-10，修复成功后，返回符合预期执行的结果值。
6.根据权利要求5所述的一种可视化的分布式数据修复方法，其特征在于：批量执行配置步骤包括以下步骤：
2-1，选择批量执行sql查询数据库，
2-2，编写批量执行的sql语句，
2-3，拆分sql查询的结果，
2-4，将查询结果作为入参循环执行单次配置，
2-5，修复执行模块通过指定执行主机运行配置的python脚本，
2-6，python脚本执行动态获取配置好的数据库资源，防止用户名，密码的外泄引发安全问题；
2-7，权限控制模块对分布式数据修复的配置与执行做精确的权限控制，防止非相关人员的操作引起生产事故，保障数据的安全性；
2-8，任务调度模块配置修复过程的轮询，节约人工执行的成本；
2-9，日志模块执行过程中记录执行日志，记录每次执行的成功失败，已经执行结果等信息，可用于历史追溯，
2-10，修复成功后，返回符合预期执行的结果值。
CN201810058950.8A 2018-01-22 2018-01-22 一种可视化的分布式数据修复工具及其方法 Withdrawn CN108287897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810058950.8A CN108287897A (zh) 2018-01-22 2018-01-22 一种可视化的分布式数据修复工具及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810058950.8A CN108287897A (zh) 2018-01-22 2018-01-22 一种可视化的分布式数据修复工具及其方法

Publications (1)

Publication Number Publication Date
CN108287897A true CN108287897A (zh) 2018-07-17

Family

ID=62835510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810058950.8A Withdrawn CN108287897A (zh) 2018-01-22 2018-01-22 一种可视化的分布式数据修复工具及其方法

Country Status (1)

Country Link
CN (1) CN108287897A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144762A (zh) * 2018-07-19 2019-01-04 厦门集微科技有限公司 一种修复异常调度任务的处理方法及装置
CN111090665A (zh) * 2019-11-15 2020-05-01 广东数果科技有限公司 一种数据任务调度方法及调度***
CN113190407A (zh) * 2021-05-07 2021-07-30 北京金融资产交易所有限公司 数据运维***
CN113791785A (zh) * 2021-09-18 2021-12-14 大连华信计算机技术股份有限公司 基于混合基础设施可随处运维的可视化运维平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050021274A1 (en) * 2003-07-07 2005-01-27 Matthew Eden Method and system for information handling system automated and distributed test
CN102148702A (zh) * 2011-01-13 2011-08-10 华为数字技术有限公司 一种使用网络配置协议进行网络管理的方法
CN102323945A (zh) * 2011-09-02 2012-01-18 南京中兴力维软件有限公司 一种基于sql的数据库管理方法和装置
CN111324595A (zh) * 2020-02-25 2020-06-23 中信银行股份有限公司 数据迁移的方法、***、设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050021274A1 (en) * 2003-07-07 2005-01-27 Matthew Eden Method and system for information handling system automated and distributed test
CN102148702A (zh) * 2011-01-13 2011-08-10 华为数字技术有限公司 一种使用网络配置协议进行网络管理的方法
CN102323945A (zh) * 2011-09-02 2012-01-18 南京中兴力维软件有限公司 一种基于sql的数据库管理方法和装置
CN111324595A (zh) * 2020-02-25 2020-06-23 中信银行股份有限公司 数据迁移的方法、***、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘壮飞: "可视化数据修复技术在分布式数据库***中的应用", 《电子技术与软件工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144762A (zh) * 2018-07-19 2019-01-04 厦门集微科技有限公司 一种修复异常调度任务的处理方法及装置
CN109144762B (zh) * 2018-07-19 2022-01-07 厦门集微科技有限公司 一种修复异常调度任务的处理方法及装置
CN111090665A (zh) * 2019-11-15 2020-05-01 广东数果科技有限公司 一种数据任务调度方法及调度***
CN113190407A (zh) * 2021-05-07 2021-07-30 北京金融资产交易所有限公司 数据运维***
CN113190407B (zh) * 2021-05-07 2024-06-07 北京金融资产交易所有限公司 数据运维***
CN113791785A (zh) * 2021-09-18 2021-12-14 大连华信计算机技术股份有限公司 基于混合基础设施可随处运维的可视化运维平台

Similar Documents

Publication Publication Date Title
CN108287897A (zh) 一种可视化的分布式数据修复工具及其方法
US7234131B1 (en) Peer review evaluation tool
CN106777101B (zh) 数据处理引擎
CN107689887B (zh) 一种核电厂控制***临时控制变更在线管理***
CN102693183B (zh) 一种实现软件自动化测试的方法及***
CN105786998B (zh) 数据库中间件***及利用其处理数据的方法
CN110764753A (zh) 一种业务逻辑代码生成方法、装置、设备及存储介质
CN102998996A (zh) 一种飞机机载实时故障诊断方法
CN103309804A (zh) 自动化代码规则检查平台
CN102156784A (zh) 验证环境图形化的芯片验证方法与装置
CN112561370B (zh) 软件发版的管理方法、装置、计算机设备及存储介质
CN110162365A (zh) 一种自动操作sap业务软件的方法和***
CN101008915A (zh) 网络芯片的自动化验证方法
Boring Human reliability analysis for digital human-machine interfaces: a wish list for future research
CN115169011A (zh) 一种飞机装配大纲的编辑***及应用***
CN110611312A (zh) 一种变电站间隔层全景数据在线模拟***及方法
CN110019118A (zh) 基于DevOps提升数据库运维效率的***及其方法
Han et al. Automated warship software testing system based on loadrunner automation API
CN111898993A (zh) 操作票管理***
CN110413532A (zh) 适用于敏捷测试的多过程版本变更代码覆盖率获取方法
CN108228448B (zh) 一种代码跟踪方法及装置
CN115543377A (zh) 一种基于人工智能的erp***升级方法及erp***
CN107844838A (zh) 电网调度自动化主站运维操作票***及全过程防误方法
CN113919309A (zh) 基于Excel宏功能的字段比对方法、装置、设备及存储介质
Wakefield et al. Riskman™, celebrating 20+ years of excellence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180717

WW01 Invention patent application withdrawn after publication