CN106156076B - 数据处理的方法和*** - Google Patents

数据处理的方法和*** Download PDF

Info

Publication number
CN106156076B
CN106156076B CN201510149484.0A CN201510149484A CN106156076B CN 106156076 B CN106156076 B CN 106156076B CN 201510149484 A CN201510149484 A CN 201510149484A CN 106156076 B CN106156076 B CN 106156076B
Authority
CN
China
Prior art keywords
data set
data
master
cell
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510149484.0A
Other languages
English (en)
Other versions
CN106156076A (zh
Inventor
杜嘉宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510149484.0A priority Critical patent/CN106156076B/zh
Publication of CN106156076A publication Critical patent/CN106156076A/zh
Application granted granted Critical
Publication of CN106156076B publication Critical patent/CN106156076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据处理方法及***,方法包括:查找修改的数据单元所在的主数据集或从数据集的数据集标识;数据集标识为主数据集的数据集标识时,根据数据集标识,找到与主数据集有主从扩展关系的从数据集,在从数据集中查找与数据单元对应的数据单元,或,数据集标识为从数据集的数据集标识时,根据数据集标识,找到与从数据集有主从扩展关系的主数据集,在主数据集中查找与数据单元对应的数据单元;依照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份主数据集、数据集标识、从数据集。数据单元修改后备份时可通过调用上次修改记录,不再从多个位置调取数据。每次修改都形成修改记录,发生错误操作时不会导致全部修改记录错误。

Description

数据处理的方法和***
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据处理的方法和***。
背景技术
现实中存在一种数据库,该数据库中一种常见的关系是数据集与数据集之间的关联关系。例如,数据集A为主集合,数据集A中某个数据单元对应一个从数据集B,数据集A中另一个数据单元则对应另一个从数据集C,数据集A中第三个数据单元对应第三个从数据集D。数据库通过数据集与数据集之间的这种主从关联关系不断扩展。
在使用数据库的过程中,经常需要对数据库中的数据进行修改、删除、***等操作。为了避免错误操作,需要将数据库还原到某一个时间点的状态,为了完成数据库的还原,首先需要对该时间点的数据库进行备份。在实际使用过程中,主数据集和各从数据集往往分布于同一台计算机的不同位置,甚至是分布于不同服务器。因此,对于主数据集和各从数据集中数据的备份,为了操作方便,通常是单独备份的。也就是说,存储主数据集的计算机,按照主数据集的结构来将主数据集的数据存储于一个位置,而存储从数据集的计算机,按照从数据集的结构来将从数据集的数据存储于另一个位置。
假设,某计算机的主数据集A(操作***)于1月1日创建并保存于位置甲;从数据集B(输入输出设备驱动更新程序)于2月1日修改并保存于位置乙;从数据集C(显卡驱动更新程序)于3月1日修改并保存于位置丙;从数据集B(输入输出设备驱动更新程序)于4月1日进行再次修改并保存于位置丁。
为了方便将***还原到1月1日至在4月1日之间的任意一个时间点,一
种备份方法是,主数据集和从数据集每进行一次变动,则进行一次整体数据的备份。主数据集按照主数据集的结构存储数据,从数据集按照从数据集的结构存储数据,这样,计算机的存储资源被大量的占用。
另一种方法是,记录数据集A、B、C的位置、修改日期及各个数据集之间的关联关系(注册表中各键值的对应关系)。在进行数据恢复时,逐次按照时间顺序操作,则可完成数据的恢复。当然,由于主数据集和各从数据集的数据存储于不同位置,对于单一主机的计算机而言,数据备份比较繁琐。可以想到的是,对分布于不同服务器上的主数据集和从数据集中的数据进行备份,其复杂性会显著增大。
对于数据库的还原,仍以上例来说明,假设,从数据集B(输入输出设备驱动更新程序)中对应的注册表键值于4月1日被错误地删除,则计算机中的数据无法正确地恢复到4月1日之前任意一个时间点。因为从数据集B与主数据集A的唯一关联断开。
因此,现有的数据处理的方法操作性复杂,稳定性差。
因此,发明人在对现有的计算机技术进行研究的基础上提供一种操作简便、稳定性好的数据处理的方法和***。
发明内容
本申请实施例提供一种操作简便、稳定性好的数据处理的方法,具体的,一种数据处理的方法,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,包括:
当对数据单元进行修改时,查找所述数据单元所在的主数据集或从数据集的数据集标识;
当所述数据集标识为主数据集的数据集标识时,根据所述数据集标识,找到与所述主数据集具有主从扩展关系的从数据集,在从数据集中查找与所述数据单元对应的数据单元,或,当所述数据集标识为从数据集的数据集标识时,根据所述数据集标识,找到与所述从数据集具有主从扩展关系的主数据集,在主数据集中查找与所述数据单元对应的数据单元;
依照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份主数据集、数据集标识、从数据集。
本申请实施例还提供一种数据处理的方法,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,包括:
根据备份文档中主数据集的数据单元、数据集标识、从数据集的数据单元,分别恢复主数据集、由主数据集按照主从关联关系扩展出的从数据集。
本申请实施例还提供一种数据处理的***,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,包括:
搜索模块,用于查找被修改的数据单元所在的主数据集或从数据集的数据集标识;
匹配模块,用于:当所述数据集标识为主数据集的数据集标识时,根据所述数据集标识,找到与所述主数据集具有主从扩展关系的从数据集,在从数据集中查找与所述数据单元对应的数据单元,或,当所述数据集标识为从数据集的数据集标识时,根据所述数据集标识,找到与所述从数据集具有主从扩展关系的主数据集,在主数据集中查找与所述数据单元对应的数据单元;
备份模块,用于依照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份主数据集、数据集标识、从数据集。
本申请实施例还提供一种数据处理的***,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,包括:
恢复模块,用于根据备份文档中主数据集的数据单元、数据集标识、从数据集的数据单元,分别恢复主数据集、由主数据集按照主从关联关系扩展出的从数据集。
本申请实施例提供的数据处理的方法和***,至少具有如下有益效果:
依照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份主数据集、数据集标识、从数据集。数据单元修改后备份时可通过调用上次修改记录,而不用再从多个位置调取数据,因此,操作简便。而且每次修改都形成修改记录,发生错误操作时不会导致全部的修改记录错误,因此,稳定性好。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为高等学校的组织结构图。
图2为本申请实施例数据处理的方法的流程图。
图3为本申请实施例提供的一个数据处理的***的结构示意图。
图4为本申请实施例提供的另一个数据处理的***的结构示意图。
具体实施方式
为了解决现有的数据处理的方法操作性复杂,稳定性差的技术问题,本申请实施例提供的数据处理的方法,依照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份主数据集、数据集标识、从数据集。数据单元修改后备份时可通过调用上次修改记录,而不用再从多个位置调取数据,因此,操作简便。而且每次修改都形成修改记录,发生错误操作时不会导致全部的修改记录错误,因此,稳定性好。
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在与数据库相关的计算机技术中,数据结构是指数据的组织形式或数据之间的联系。数据结构又分为数据的逻辑结构和数据的物理结构。数据的逻辑结构是从逻辑的角度——数据间的联系和组织方式——来观察数据,分析数据,与数据的存储位置无关。本申请实施例中只涉及数据的逻辑结构,并将反映和实现数据间联系和组织方式的方法称为数据模型。数据模型主要有三种,即按图论理论建立的层次结构模型和网状结构模型以及按关系理论建立的关系结构模型。
层次结构模型实质上是一种有根结点的定向有序树。在数学中“树”被定义为一个无回的连通图。请参照图1,图1是一个高等学校的组织结构图。在图1中,XX学校处于根节点的位置,是一个数据集。A系处于枝节点的位置,同样是一个数据集。在XX学校和A系的在相互关系中,XX学校包括A系,XX学校是主数据集,A系是从数据集。XX学校包括A系的这种包含关系,是本申请实施例中指出的主从扩展关系中的一种。层次结构模型通过这种主从扩展关系不断延伸。IMS(Information Management System)是其典型代表。
网状结构模型中,数据集之间呈网状,其典型代表是DBTG(Database TaskGroup)。用数学方法可将网状结构模型转化为层次结构模型。
关系式结构模型中,一些复杂的数据结构归结为简单的二元关系,即二维表格形式。例如,某班级包含所有学生成绩的成绩表就是二元关系的关系式结构。
图2为本申请实施例提供的数据处理的方法的流程图,具体包括以下步骤:
S100:当对数据单元进行修改时,查找所述数据单元所在的主数据集或从数据集的数据集标识。
主数据集或从数据集等各个数据集具有唯一的数据集标识。在数据单元修改时,首先确定该数据单元的位置,即数据单元所在的数据集。该数据单元所在的数据集可能是主数据集,也可能是从数据集。
例如,对某班级中某位学生的成绩进行改动时,查找该成绩所在的成绩表的编码。
再例如,对计算中输入输出设备驱动程序进行更新时,查找该输入输出设备驱动程序在注册表中的键值。
S200:当所述数据集标识为主数据集的数据集标识时,根据所述数据集标识,找到与所述主数据集具有主从扩展关系的从数据集,在从数据集中查找与所述数据单元对应的数据单元,或,当所述数据集标识为从数据集的数据集标识时,根据所述数据集标识,找到与所述从数据集具有主从扩展关系的主数据集,在主数据集中查找与所述数据单元对应的数据单元。
在上一个步骤中,根据数据集标识,找到的数据集,可能是主数据集,也可能是从数据集。主数据集与从数据集具有主从扩展关系,例如,图2中的包含关系,或者引用关系、索引关系等。利用这种主从扩展关系,被修改的数据单元在主数据集时,可以找出由主数据集扩展出的从数据集,并在从数据集中进一步找到与被修改的数据单元对应的数据单元。或者,利用这种主从扩展关系,被修改的数据单元在从数据集时,可以找出扩展出的从数据集的主数据集,并从主数据集中进一步找到与被修改的数据单元对应的数据单元。
例如,在图2中的高等学校的组织结构图中,假设A系的X专业某学生转到Y专业。在执行步骤S100时,查找该学生的学号(所述数据单元)所在的X专业(从数据集)的专业代码X(数据集标识)。在本步骤中,根据专业代码X(数据集标识)找到包含X专业的A系(与从数据集具有主从扩展关系的主数据集)。在A系(主数据集)中查找与该学生的学号(X专业中被修改的数据单元)对应的学号(主数据集的数据单元)。
需要指出的是,上例中修改的数据单元来自于从数据集,对于本领域人员而言,当修改的数据单元来自主数据集的情形与上面介绍的情形类似,这里不再赘述。
同时,需要指出的是,这里主数据集和从数据集之间是一层主从扩展关系,对于多层主从扩展关系而言,重复迭代地进行操作即可实现,这里不再进行说明。
S300:依照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份主数据集、数据集标识、从数据集。
根据主数据集和从数据集的主从扩展关系,将主数据集中所有的数据单元、从数据集中的所有的数据单元、以及各数据集的标识全部查询出来,并按照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份。后续会对备份操作进行详细说明。
在本申请实施例中,每次数据单元修改后,都会进行备份。数据单元再次修改后备份时可通过调用上次修改记录,而不用再从多个位置调取数据,因此,操作简便。而且每次修改都形成修改记录,发生错误操作时不会导致全部的修改记录错误,因此,稳定性好。
正如背景技术中所记载,主数据集和各从数据集往往分布于同一台计算机的不同位置,甚至是分布于不同服务器。同时,在主数据集和各从数据集中的数据单元备份时往往是按照各数据集独立的结构进行备份的。这样,备份的内容中不仅包含数据单元自身的数据内容,还包含数据的结构,需要大量的存储资源。在本申请实施例中,还提供一种使用轻量级的数据交换语言备份数据的技术方案,用以减轻对存储空间的需求。
下面先对本申请实施例使用轻量级的数据交换语言做简要说明。
JSON(JavaScript Object Notation)是一种由道格拉斯·克罗克福特构想设计、轻量级的数据交换语言。
JSON用于描述数据结构,有以下形式存在:
对于对象(object),一个对象以“{”开始,并以“}”退出。一个对象包含一系列非排序的“名称/值”,每个“名称/值”之间使用“,”隔开。例如:{“姓名”:“王小二”}。
对于名称/值(collection),名称和值之间使用“:”隔开,例如,“姓名”:“王小二”。
一个名称是一个字符串。一个字符串是以“”括起来的一串字符。
一个值可以是一个字符串,一个数值,一个对象,一个布尔值,一个有序列表,或者一个null值。
数值是指一系列0-9的数字组合,可以为负数或者小数。还可以用“e”或者“E”表示为指数形式。
布尔值:表示为true或者false。
对于值的有序列表(Array)是指一个或者多个值用“,”隔开后,使用“[”,“]”括起来的列表。值的有序列表,形如[collection,collection]。
进一步的,备份主数据集、数据集标识、从数据集,具体包括:
将主数据集的数据单元、数据集标识、从数据集的数据单元,按照JSON格式转化为由对象和列表组合而成的JSON文档。
下面以主数据集包含程序员、作者、音乐家三个数据单元,其中,每个数据单元对应一个从数据集为例来说明。
{“programmers”:[
{“firstName”:“Brett”,“lastName”:“McLaughlin”,“email”:“aaaa”},
{“firstName”:“Jason”,“lastName”:“Hunter”,“email”:“bbbb”},
{“firstName”:“Elliotte”,“lastName”:“Harold”,“email”:“cccc”}
],
“authors”:[
{“firstName”:“Isaac”,“lastName”:“Asimov”,“genre”:“sciencefiction”},
{“firstName”:“Tad”,“lastName”:“Williams”,“genre”:“fantasy”},
{“firstName”:“Frank”,“lastName”:“Peretti”,“genre”:“christianfiction”}
],
“musicians”:[
{“firstName”:“Eric”,“lastName”:“Clapton”,“instrument”:“guitar”},
{“firstName”:“Sergei”,“lastName”:“Rachmaninoff”,“instrument”:“piano”}
]}
其中,最***的一对“{}”包围的内容构成对象。对于名称/值(collection),
“programmers”:
[
{“firstName”:“Brett”,“lastName”:“McLaughlin”,“email”:“aaaa”},
{“firstName”:“Jason”,“lastName”:“Hunter”,“email”:“bbbb”},
{“firstName”:“Elliotte”,“lastName”:“Harold”,“email”:“cccc”}
],
由一对“[]”括起来的内容构成列表。而其中的“Brett”、“McLaughlin”、“aaaa”则分别作为从数据集——程序员(programmers)的数据单元。在本申请实施例中,将主数据集的数据单元(程序员、作者、音乐家)、从数据集的数据单元(“Brett”、“McLaughlin”、“aaaa”)、数据集标识(“firstName”、“lastName”、“email”)等按照JSON格式转化为由对象和列表组合而成的JSON文档。在本申请实施例中,由于JSON格式是一种轻量集数据交换语言,因此备份文档的存储空间要求大幅减小。
进一步的,所述方法还包括:
按照预设的压缩算法对JSON文档进行压缩。
为了进一步降低备份文档对存储空间的要求,本申请实施例对JSON文档进行压缩处理。本申请实施例使用GZIP压缩技术,根据GZIP的压缩算法对JSON文档进行压缩处理。应当指出的是,使用其他不同的压缩算法也是可以的,而且,不应当理解为脱离了本申请实施例的实质性保护范围。
进一步的,所述方法还包括:
按照预设的编码算法对经压缩的JSON文档进行编码。
由于压缩的JSON文档对于使用者难以阅读,而且难以移植。因此,本申请实施例,还提供经压缩JSON文档的进一步处理。本申请实施例使用BASE64编码技术,根据BASE64编码算法对经压缩的JSON进行编码处理。同样,应当指出的是,使用其他不同的编码算法也是可以的,而且,不应当理解为脱离了本申请实施例的实质性保护范围。
进一步的,所述方法还包括:
按照预设的加密算法对JSON文档进行加密。
在本申请实施例中,为了保护备份文档的安全,对JSON文档进行加密处理。本申请实施例使用MD5加密技术,根据MD5加密算法对JSON进行加密处理。同样,应当指出的是,使用其他不同的加密算法也是可以的,而且,不应当理解为脱离了本申请实施例的实质性保护范围。
进一步的,所述方法还包括:
按照顺序存储经加密的JSON文档或经编码的压缩JSON文档形成版次信息。
为了保证修改的连续性,本申请实施例按照顺序存储经加密的JSON文档或经编码的压缩JSON文档形成版次信息。根据版次信息方便地识别备份文档的次序,方便管理。
以上是数据的备份方法,容易想到的是恢复方法是对备份方法的逆操作,下面来介绍数据的恢复方法。
进一步的,一种数据处理的方法,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,包括:
根据备份文档中主数据集的数据单元、数据集标识、从数据集的数据单元,分别恢复主数据集、由主数据集按照主从关联关系扩展出的从数据集。
通过上面的描述,由于备份文档中存储了主数据集的数据单元、数据集标识、从数据集的数据单元的全部内容,因此,可以根据各数据集的具体数据结构和要求,分别恢复主数据集、由主数据集按照主从关联关系扩展出的从数据集。
进一步的,所述备份文档为经压缩的JSON文档,所述方法还包括:
对经压缩的JSON文档,按照对应的解压算法进行解压。
本申请实施例使用GZIP压缩技术,根据GZIP的解压算法对JSON文档进行解压处理。应当指出的是,使用其他不同的解压算法也是可以的,而且,不应当理解为脱离了本申请实施例的实质性保护范围。
进一步的,所述备份文档为经编码的压缩JSON文档,所述方法还包括:
对于经编码的压缩JSON文档,按照对应的解码算法进行解码。
本申请实施例使用BASE64解码技术,根据BASE64解码算法对经编码的压缩JSON文档进行解码处理。同样,应当指出的是,使用其他不同的解码算法也是可以的,而且,不应当理解为脱离了本申请实施例的实质性保护范围。
进一步的,所述备份文档为经加密的JSON文档,所述方法还包括:
对经加密的JSON文档,按照对应的解密算法进行解密。
本申请实施例使用MD5解密技术,根据MD5解密算法对JSON进行解密处理。同样,应当指出的是,使用其他不同的加密算法也是可以的,而且,不应当理解为脱离了本申请实施例的实质性保护范围。
进一步的,所述方法还包括:
对解密后的JSON文档进行再次加密;
判断再次加密的JSON文档与解密前的JSON文档是否一致;
当两者一致时,发出解密成功的消息,反之,发出解密失败的消息。
需要指出的是,为了验证备份文档的正确性,防止做无效工作,本申请实施例对解密后JSON文档进行再次加密,并比较再次加密的JSON文档与解密前的JSON文档是否一致。当两者不一致时,则发出解密失败的消息,并结束数据的恢复。
进一步的,所述方法还包括:
获取要恢复的版次信息;
根据版次信息提取要恢复的备份文档。
在本申请实施例中,通过版次信息方便地识别备份文档的次序,从而便于提取需要的备份文档的版本便于恢复。
以上为本申请实施例提供的数据处理的方法,基于同样的思路,本申请实施例还提供了一种数据处理的***。
请参照图3,为本申请实施例提供一种数据处理的***的结构示意图。
一种数据处理的***1,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,包括:
搜索模块11,用于查找被修改的数据单元所在的主数据集或从数据集的数据集标识;
匹配模块12,用于:当所述数据集标识为主数据集的数据集标识时,根据所述数据集标识,找到与所述主数据集具有主从扩展关系的从数据集,在从数据集中查找与所述数据单元对应的数据单元,或,当所述数据集标识为从数据集的数据集标识时,根据所述数据集标识,找到与所述从数据集具有主从扩展关系的主数据集,在主数据集中查找与所述数据单元对应的数据单元;
备份模块13,用于依照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份主数据集、数据集标识、从数据集。
在本申请实施例中,数据处理的***1在使用时,数据单元修改后备份时可通过调用上次修改记录,而不用再从多个位置调取数据,因此,操作简便。而且每次修改都形成修改记录,发生错误操作时不会导致全部的修改记录错误,因此,稳定性好。
进一步的,备份模块13,用于备份主数据集、数据集标识、从数据集,具体用于:
将主数据集的数据单元、数据集标识、从数据集的数据单元,按照JSON格式转化为由对象和列表组合而成的JSON文档。
进一步的,***1还包括压缩模块14,压缩模块14用于:
按照预设的压缩算法对JSON文档进行压缩。
进一步的,***1还包括编码模块15,编码模块15用于:
按照预设的编码算法对经压缩的JSON文档进行编码。
进一步的,***1还包括加密模块16,加密模块16用于:
按照预设的加密算法对JSON文档进行加密。
进一步的,***1还包括版本管理模块17,版本管理模块17用于:
按照顺序存储经加密的JSON文档或经编码的压缩JSON文档形成版次信息。
一种数据处理的***2,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,包括:
恢复模块21,用于根据备份文档中主数据集的数据单元、数据集标识、从数据集的数据单元,分别恢复主数据集、由主数据集按照主从关联关系扩展出的从数据集。
在本申请实施例中,数据处理的***2在使用时,通过备份文档可以分别恢复主数据集、由主数据集按照主从关联关系扩展出的从数据集。并且,相互的多个修改记录是各自独立的,因此,稳定性好。
进一步的,备份文档为经压缩的JSON文档。
***1还包括解压模块22,解压模块22用于:
对经压缩的JSON文档,按照对应的解压算法进行解压。
进一步的,备份文档为经编码的压缩JSON文档;
***1还包括解码模块23,解码模块23用于:
对于经编码的压缩JSON文档,按照对应的解码算法进行解码。
进一步的,所述备份文档为经加密的JSON文档;
***1还包括解密模块24,解密模块24用于:
对经加密的JSON文档,按照对应的解密算法进行解密。
进一步的,***1还包括校检模块25,校检模块25用于:
对解密后的JSON文档进行再次加密;
判断再次加密的JSON文档与解密前的JSON文档是否一致;
当两者一致时,发出解密成功的消息,反之,发出解密失败的消息。
进一步的,***1还包括版本管理模块26,版本管理模块26用于:
获取要恢复的版次信息;
根据版次信息提取要恢复的备份文档。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数值处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数值处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数值处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数值处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数值结构、程序的模块或其他数值。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数值信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (24)

1.一种数据处理的方法,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,其特征在于,包括:
当对数据单元进行修改时,查找所述数据单元所在的主数据集或从数据集的数据集标识;
当所述数据集标识为主数据集的数据集标识时,根据所述数据集标识,找到与所述主数据集具有主从扩展关系的从数据集,在从数据集中查找与所述数据单元对应的数据单元,或,当所述数据集标识为从数据集的数据集标识时,根据所述数据集标识,找到与所述从数据集具有主从扩展关系的主数据集,在主数据集中查找与所述数据单元对应的数据单元;
依照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份主数据集、数据集标识、从数据集。
2.如权利要求1所述的方法,其特征在于,备份主数据集、数据集标识、从数据集,具体包括:
将主数据集的数据单元、数据集标识、从数据集的数据单元,按照JSON格式转化为由对象和列表组合而成的JSON文档。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
按照预设的压缩算法对JSON文档进行压缩。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
按照预设的编码算法对经压缩的JSON文档进行编码。
5.如权利要求2所述的方法,其特征在于,所述方法还包括:
按照预设的加密算法对JSON文档进行加密。
6.如权利要求4或5所述的方法,其特征在于,所述方法还包括:
按照顺序存储经加密的JSON文档或经编码的压缩JSON文档形成版次信息。
7.一种数据处理的方法,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,其特征在于,包括:
根据备份文档中主数据集的数据单元、数据集标识、从数据集的数据单元,当所述数据集标识为主数据集的数据集标识时,根据所述数据集标识,找到与所述主数据集具有主从扩展关系的从数据集,在从数据集中查找与所述从数据集的数据单元对应的数据单元,或,当所述数据集标识为从数据集的数据集标识时,根据所述数据集标识,找到与所述从数据集具有主从扩展关系的主数据集,在主数据集中查找与所述主数据集的数据单元对应的数据单元;
根据所述从数据集的数据单元对应的数据单元、所述主数据集的数据单元对应的数据单元、所述数据集标识,分别恢复主数据集、由主数据集按照主从关联关系扩展出的从数据集。
8.如权利要求7所述的方法,其特征在于,所述备份文档为经压缩的JSON文档,所述方法还包括:
对经压缩的JSON文档,按照对应的解压算法进行解压。
9.如权利要求8所述的方法,其特征在于,所述备份文档为经编码的压缩JSON文档,所述方法还包括:
对于经编码的压缩JSON文档,按照对应的解码算法进行解码。
10.如权利要求7所述的方法,其特征在于,所述备份文档为经加密的JSON文档,所述方法还包括:
对经加密的JSON文档,按照对应的解密算法进行解密。
11.如权利要求10所述的方法,其特征在于,所述方法还包括:
对解密后的JSON文档进行再次加密;
判断再次加密的JSON文档与解密前的JSON文档是否一致;
当两者一致时,发出解密成功的消息,反之,发出解密失败的消息。
12.如权利要求7所述的方法,其特征在于,所述方法还包括:
获取要恢复的版次信息;
根据版次信息提取要恢复的备份文档。
13.一种数据处理的***,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,其特征在于,包括:
搜索模块,用于查找被修改的数据单元所在的主数据集或从数据集的数据集标识;
匹配模块,用于:当所述数据集标识为主数据集的数据集标识时,根据所述数据集标识,找到与所述主数据集具有主从扩展关系的从数据集,在从数据集中查找与所述数据单元对应的数据单元,或,当所述数据集标识为从数据集的数据集标识时,根据所述数据集标识,找到与所述从数据集具有主从扩展关系的主数据集,在主数据集中查找与所述数据单元对应的数据单元;
备份模块,用于依照修改后的主数据集的数据单元、数据集标识、从数据集的数据单元的格式备份主数据集、数据集标识、从数据集。
14.如权利要求13所述的***,其特征在于,所述备份模块,用于备份主数据集、数据集标识、从数据集,具体用于:
将主数据集的数据单元、数据集标识、从数据集的数据单元,按照JSON格式转化为由对象和列表组合而成的JSON文档。
15.如权利要求14所述的***,其特征在于,所述***还包括压缩模块,压缩模块用于:
按照预设的压缩算法对JSON文档进行压缩。
16.如权利要求15所述的***,其特征在于,所述***还包括编码模块,编码模块用于:
按照预设的编码算法对经压缩的JSON文档进行编码。
17.如权利要求14所述的***,其特征在于,所述***还包括加密模块,加密模块用于:
按照预设的加密算法对JSON文档进行加密。
18.如权利要求16或17所述的***,其特征在于,所述***还包括版本管理模块,版本管理模块用于:
按照顺序存储经加密的JSON文档或经编码的压缩JSON文档形成版次信息。
19.一种数据处理的***,用于处理主数据集、由主数据集扩展出的从数据集所包含的数据单元,其特征在于,包括:
恢复模块,用于根据备份文档中主数据集的数据单元、数据集标识、从数据集的数据单元,当所述数据集标识为主数据集的数据集标识时,根据所述数据集标识,找到与所述主数据集具有主从扩展关系的从数据集,在从数据集中查找与所述从数据集的数据单元对应的数据单元,或,当所述数据集标识为从数据集的数据集标识时,根据所述数据集标识,找到与所述从数据集具有主从扩展关系的主数据集,在主数据集中查找与所述主数据集的数据单元对应的数据单元;
根据所述从数据集的数据单元对应的数据单元、所述主数据集的数据单元对应的数据单元、所述数据集标识,分别恢复主数据集、由主数据集按照主从关联关系扩展出的从数据集。
20.如权利要求19所述的***,其特征在于,所述备份文档为经压缩的JSON文档;
所述***还包括解压模块,解压模块用于:
对经压缩的JSON文档,按照对应的解压算法进行解压。
21.如权利要求20所述的***,其特征在于,所述备份文档为经编码的压缩JSON文档;
所述***还包括解码模块,解码模块用于:
对于经编码的压缩JSON文档,按照对应的解码算法进行解码。
22.如权利要求19所述的***,其特征在于,所述备份文档为经加密的JSON文档;
所述***还包括解密模块,解密模块用于:
对经加密的JSON文档,按照对应的解密算法进行解密。
23.如权利要求22所述的***,其特征在于,所述***还包括校检模块,校检模块用于:
对解密后的JSON文档进行再次加密;
判断再次加密的JSON文档与解密前的JSON文档是否一致;
当两者一致时,发出解密成功的消息,反之,发出解密失败的消息。
24.如权利要求19所述的***,其特征在于,所述***还包括版本管理模块,版本管理模块用于:
获取要恢复的版次信息;
根据版次信息提取要恢复的备份文档。
CN201510149484.0A 2015-03-31 2015-03-31 数据处理的方法和*** Active CN106156076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510149484.0A CN106156076B (zh) 2015-03-31 2015-03-31 数据处理的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510149484.0A CN106156076B (zh) 2015-03-31 2015-03-31 数据处理的方法和***

Publications (2)

Publication Number Publication Date
CN106156076A CN106156076A (zh) 2016-11-23
CN106156076B true CN106156076B (zh) 2019-09-06

Family

ID=57337237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510149484.0A Active CN106156076B (zh) 2015-03-31 2015-03-31 数据处理的方法和***

Country Status (1)

Country Link
CN (1) CN106156076B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445190B2 (en) * 2017-11-08 2019-10-15 Alibaba Group Holding Limited Method and system for enhancing backup efficiency by bypassing encoding and decoding
CN108268658B (zh) * 2018-02-06 2021-02-26 政采云有限公司 基于MySQL数据库的大文本字段存储方法和***
CN112286674B (zh) * 2019-07-24 2023-12-19 广东知业科技有限公司 一种基于边缘计算的行转列方法及***
CN115686939A (zh) * 2022-10-27 2023-02-03 湖南长银五八消费金融股份有限公司 数据备份方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801911B1 (en) * 2004-06-11 2010-09-21 Seisint, Inc. System and method for using activity identifications in a database system
CN102402596B (zh) * 2011-11-07 2016-01-20 北京搜狗科技发展有限公司 一种主从分离数据库的读写方法和***
US8762378B2 (en) * 2011-12-23 2014-06-24 Sap Ag Independent table nodes in parallelized database environments
CN102880531B (zh) * 2012-09-27 2014-04-16 新浪网技术(中国)有限公司 数据库备份***及其备份方法和从数据库服务器
CN102955851B (zh) * 2012-10-30 2016-05-11 北京奇虎科技有限公司 一种数据库的切换方法和装置
CN103500229B (zh) * 2013-10-24 2017-04-19 北京奇虎科技有限公司 一种数据库同步方法和数据库***

Also Published As

Publication number Publication date
CN106156076A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN109271326B (zh) 云数据库的测试方法及其装置、设备和存储介质
US10102198B2 (en) Automatic generation of action items from a meeting transcript
CN102541998B (zh) 业务智能和报表故事板
CN105335412A (zh) 用于数据转换、数据迁移的方法和装置
CN106156076B (zh) 数据处理的方法和***
US10860616B2 (en) Test data management
CN101901265B (zh) 一种虚拟试验数据对象化管理***
CN110825363B (zh) 智能合约获取方法、装置、电子设备及存储介质
CN106933703A (zh) 一种数据库数据备份的方法、装置及电子设备
CN107148616A (zh) 用于分布式版本控制的高效注释***
CN105930479A (zh) 一种数据倾斜处理方法及装置
US10031936B2 (en) Database table data fabrication
CN110442371A (zh) 一种发布代码的方法、装置、介质及计算机设备
Silva et al. Integrating big data into the computing curricula
JP4477531B2 (ja) データインポート方法およびデータインポート装置
JP2016009344A (ja) テストケース生成プログラム、テストケース生成方法、及びテストケース生成装置
US20210303404A1 (en) Systems and methods for database migration
JP2023553220A (ja) マルチインスタンスプロセスのためのプロセスマイニング
JP2018045286A (ja) 前処理装置、インデックス追加ツリーデータ修正方法及びインデックス追加ツリーデータ修正プログラム
US20150134704A1 (en) Real Time Analysis of Big Data
CN102495838B (zh) 数据处理方法及装置
CN115952201A (zh) 数据查询方法、装置、***及存储介质
Vázquez-Barreiros et al. Repairing alignments: striking the right nerve
US20220237165A1 (en) Efficient creation and/or restatement of database tables
US20150006578A1 (en) Dynamic search system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right