CN109189609A - 一种非结构化数据快速备份***和方法 - Google Patents

一种非结构化数据快速备份***和方法 Download PDF

Info

Publication number
CN109189609A
CN109189609A CN201810932671.XA CN201810932671A CN109189609A CN 109189609 A CN109189609 A CN 109189609A CN 201810932671 A CN201810932671 A CN 201810932671A CN 109189609 A CN109189609 A CN 109189609A
Authority
CN
China
Prior art keywords
unstructured data
backup
quick
master
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810932671.XA
Other languages
English (en)
Inventor
衡春露
黄疆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810932671.XA priority Critical patent/CN109189609A/zh
Publication of CN109189609A publication Critical patent/CN109189609A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种非结构化数据快速备份***和方法，***包括：数据源服务器，其存放有非结构化数据；客户端模块，其用于接收快速备份消息、用于读取和发送非结构化数据以及用于根据非结构化数据的所在位置记录生成位置目录索引信息；主备份模块，其用于生成并发送快速备份消息、用于接收和发送位置目录索引信息以及用于根据位置目录索引信息将接收到的整个目录下的非结构化数据发送出去；数据库，其用于接收和存放主备份模块发送过来的位置目录索引信息；存储设备，其用于接收和存放主备份模块发送过来的非结构化数据。本发明的有益效果：大大提高了海量非结构化数据的备份效率，节省了备份时间窗口，减化用户对非结构化数据的容灾管理。

Description

一种非结构化数据快速备份***和方法
技术领域
本发明涉及声数据备份技术领域，具体来说，涉及一种非结构化数据快速备份***和方法。
背景技术
随着计算机、互联网和数字媒体等的进一步普及，以办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等数据结构不规则，没有预定义数据模型的非结构化数据为主的信息急剧增加，面对如此巨大的信息海洋，特别是非结构化数据信息，如何快速备份、存储这些海量信息资源就显得尤为关键。
数据备份是容灾的基础。现代数据保护的趋势对于非结构化的数据的备份在细粒度、频繁快速备份、数据分类和归档等方面还缺少的保护手段。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的上述技术问题，本发明提出一种非结构化数据快速备份***和方法，针对海量非结构化数据，可提升其备份和归档的效率。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种非结构化数据快速备份***，包括：
数据源服务器，其存放有非结构化数据；
客户端模块，其用于接收快速备份消息、用于读取和发送所述非结构化数据以及用于根据所述非结构化数据的所在位置记录生成位置目录索引信息；
主备份模块，其用于生成并发送所述快速备份消息、用于接收和发送所述位置目录索引信息以及用于根据所述位置目录索引信息将接收到的整个目录下的所述非结构化数据发送出去；
数据库，其用于接收和存放所述主备份模块发送过来的所述位置目录索引信息；
存储设备，其用于接收和存放所述主备份模块发送过来的所述非结构化数据。
进一步地，所述主备份模块包括快速备份模块，所述快速备份模块用于生成所述快速备份消息。
进一步地，所述数据库为Postgres数据库。
进一步地，所述客户端模块安装在所述数据源服务器上。
进一步地，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络连接，所述网络为LAN或LAN-Free。
进一步地，所述非结构化数据包括内容数据和元数据；
本发明还公开了一种非结构化数据快速备份方法，包括以下步骤：
S1主备份模块生成快速备份信息并发送出去；
S2客户端模块接收到所述快速备份信息，读取数据源服务器中存放的非结构化数据，根据所述非结构化数据的所在位置记录生成位置目录索引信息并将所述非结构化数据和所述位置目录索引信息发送出去；
S3所述主备份模块接收到所述非结构化数据和所述位置目录索引信息，根据所述位置目录索引信息将整个目录下的所述非结构化数据发送给存储设备，并将所述位置目录索引信息发送给数据库。
进一步地，所述非结构化数据包括内容数据和元数据。
进一步地，所述数据库为Postgres数据库。
进一步地，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络进行数据传输，所述网络为LAN或LAN-Free。
本发明的有益效果：大大提高了海量非结构化数据的备份效率，节省了备份时间窗口，减化用户对非结构化数据的容灾管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的非结构化数据快速备份***的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，根据本发明实施例所述的一种非结构化数据快速备份***，包括：
数据源服务器，其存放有非结构化数据；
客户端模块，其用于接收快速备份消息、用于读取和发送所述非结构化数据以及用于根据所述非结构化数据的所在位置记录生成位置目录索引信息；
主备份模块，其用于生成并发送所述快速备份消息、用于接收和发送所述位置目录索引信息以及用于根据所述位置目录索引信息将接收到的整个目录下的所述非结构化数据发送出去；
数据库，其用于接收和存放所述主备份模块发送过来的所述位置目录索引信息；
存储设备，其用于接收和存放所述主备份模块发送过来的所述非结构化数据。
在本发明的一个具体实施例中，所述主备份模块包括快速备份模块，所述快速备份模块用于生成所述快速备份消息。
在本发明的一个具体实施例中，所述数据库为Postgres数据库。
在本发明的一个具体实施例中，所述客户端模块安装在所述数据源服务器上。
在本发明的一个具体实施例中，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络连接，所述网络为LAN或LAN-Free。
在本发明的一个具体实施例中，所述非结构化数据包括内容数据和元数据；
本发明还公开了一种非结构化数据快速备份方法，包括以下步骤：
S1主备份模块生成快速备份信息并发送出去；
S2客户端模块接收到所述快速备份信息，读取数据源服务器中存放的非结构化数据，根据所述非结构化数据的所在位置记录生成位置目录索引信息并将所述非结构化数据和所述位置目录索引信息发送出去；
S3所述主备份模块接收到所述非结构化数据和所述位置目录索引信息，根据所述位置目录索引信息将整个目录下的所述非结构化数据发送给存储设备，并将所述位置目录索引信息发送给数据库。
在本发明的一个具体实施例中，所述非结构化数据包括内容数据和元数据。
在本发明的一个具体实施例中，所述数据库为Postgres数据库。
在本发明的一个具体实施例中，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络进行数据传输，所述网络为LAN或LAN-Free。
为了方便理解本发明的上述技术方案，以下通过具体使用方式对本发明的上述技术方案进行详细说明。
本发明涉及到两个主要功能模块，一是主备份模块，是整个快速备份***的核心，负责整个快速备份***的消息通信、读写快速备份信息，控制备份与恢复的运行。二是客户端模块（备份代理），安装在数据源服务器上，负责将要备份的非结构化数据发送到主备份模块和接收恢复的数据。其中快速备份模块内嵌在主备份模块中，Postgres数据库用于记录非结构化数据的位置目录索引信息。备份模式主要采用LAN、LAN-Free混合备份模式。
数据源服务器中存放有非结构化数据，客户端模块预先安装在数据源服务器上。
内容数据与元数据组成非结构化数据，均放在数据源服务器存储设备上。
客户端模块负责读取非结构化数据的内容数据和元数据。
客户端模块会将数据源服务器上想要备份的非结构化数据的等内容通过网络发送消息队列给主备份模块。
在主备份模块通过开启快速备份模块来实现快速备份功能。提高非结构化数据备份效率。
主备份模块获取到客户端模块发送的消息队列，将客户端获取到的非结构化数据调用LAN网络或者光纤网络（LAN-Free）方式传输数据。
主备份模块会与客户端模块实时通信，保证消息队列传输正常，获取客户端模块所在的数据源服务器上的非结构化数据。
主备份模块将获取到的非结构化数据发送给存储设备。
具体使用时，开启主备份模块中内嵌的快速备份模块以实现快速备份功能。此时客户端模块接收到主备份模块发出的快速备份消息后，客户端模块对非结构化数据所在位置进行记录生成非结构化数据的位置目录索引信息，客户端模块不再对非结构化的元数据和内容数据的文件索引、路径、大小和时间戳等进行记录以提高整体效率。
客户端将位置目录索引信息发送给主备份模块，主备份模块将其记录到Postgres数据库中保存。同时主备份模块根据位置目录索引信息，将客户端模块获取到的整个目录下的所有非结构化数据通过网络发送到存储设备中，以完成备份。
综上所述，借助于本发明的上述技术方案，大大提高了海量非结构化数据的备份效率，节省了备份时间窗口，减化用户对非结构化数据的容灾管理。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种非结构化数据快速备份***，其特征在于，包括：
数据源服务器，其存放有非结构化数据；
客户端模块，其用于接收快速备份消息、用于读取和发送所述非结构化数据以及用于根据所述非结构化数据的所在位置记录生成位置目录索引信息；
主备份模块，其用于生成并发送所述快速备份消息、用于接收和发送所述位置目录索引信息以及用于根据所述位置目录索引信息将接收到的整个目录下的所述非结构化数据发送出去；
数据库，其用于接收和存放所述主备份模块发送过来的所述位置目录索引信息；
存储设备，其用于接收和存放所述主备份模块发送过来的所述非结构化数据。
2.根据权利要求1所述的非结构化数据快速备份***，其特征在于，所述主备份模块包括快速备份模块，所述快速备份模块用于生成所述快速备份消息。
3.根据权利要求1所述的非结构化数据快速备份***，其特征在于，所述数据库为Postgres数据库。
4.根据权利要求1所述的非结构化数据快速备份***，其特征在于，所述客户端模块安装在所述数据源服务器上。
5.根据权利要求4所述的非结构化数据快速备份***，其特征在于，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络连接，所述网络为LAN或LAN-Free。
6.根据权利要求1所述的非结构化数据快速备份***，其特征在于，所述非结构化数据包括内容数据和元数据；
一种非结构化数据快速备份方法，其特征在于，包括以下步骤：
S1主备份模块生成快速备份信息并发送出去；
S2客户端模块接收到所述快速备份信息，读取数据源服务器中存放的非结构化数据，根据所述非结构化数据的所在位置记录生成位置目录索引信息并将所述非结构化数据和所述位置目录索引信息发送出去；
S3所述主备份模块接收到所述非结构化数据和所述位置目录索引信息，根据所述位置目录索引信息将整个目录下的所述非结构化数据发送给存储设备，并将所述位置目录索引信息发送给数据库。
7.根据权利要求6所述的非结构化数据快速备份方法，其特征在于，所述非结构化数据包括内容数据和元数据。
8.根据权利要求6所述的非结构化数据快速备份方法，其特征在于，所述数据库为Postgres数据库。
9.根据权利要求6所述的非结构化数据快速备份方法，其特征在于，所述主备份模块与所述客户端模块之间、所述主备份模块与所述数据库之间以及所述主备份模块与所述存储设备之间均通过网络进行数据传输，所述网络为LAN或LAN-Free。
CN201810932671.XA 2018-08-16 2018-08-16 一种非结构化数据快速备份***和方法 Pending CN109189609A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810932671.XA CN109189609A (zh) 2018-08-16 2018-08-16 一种非结构化数据快速备份***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810932671.XA CN109189609A (zh) 2018-08-16 2018-08-16 一种非结构化数据快速备份***和方法

Publications (1)

Publication Number Publication Date
CN109189609A true CN109189609A (zh) 2019-01-11

Family

ID=64918082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810932671.XA Pending CN109189609A (zh) 2018-08-16 2018-08-16 一种非结构化数据快速备份***和方法

Country Status (1)

Country Link
CN (1) CN109189609A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764975A (zh) * 2020-12-29 2021-05-07 中国人寿保险股份有限公司上海数据中心 一种非结构化数据存储保护的灾备***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070027937A1 (en) * 2004-05-21 2007-02-01 Mcgrattan Emma K Method and apparatus for storage backup
US20070043705A1 (en) * 2005-08-18 2007-02-22 Emc Corporation Searchable backups
CN102722584A (zh) * 2012-06-08 2012-10-10 北京天地云箱科技有限公司 数据存储***及方法
US8433863B1 (en) * 2008-03-27 2013-04-30 Symantec Operating Corporation Hybrid method for incremental backup of structured and unstructured files
CN104298574A (zh) * 2014-09-16 2015-01-21 南京斯坦德云科技股份有限公司 一种数据高速存储处理***
CN104331343A (zh) * 2014-11-06 2015-02-04 深圳市中兴移动通信有限公司 文件备份方法和***
CN105005515A (zh) * 2015-07-10 2015-10-28 上海爱数软件有限公司 一种LAN-free备份***
CN105956491A (zh) * 2016-05-19 2016-09-21 北京春鸿企业管理咨询有限公司 对公有云存储***的数据进行多账号备份的方法及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070027937A1 (en) * 2004-05-21 2007-02-01 Mcgrattan Emma K Method and apparatus for storage backup
US20070043705A1 (en) * 2005-08-18 2007-02-22 Emc Corporation Searchable backups
US8433863B1 (en) * 2008-03-27 2013-04-30 Symantec Operating Corporation Hybrid method for incremental backup of structured and unstructured files
CN102722584A (zh) * 2012-06-08 2012-10-10 北京天地云箱科技有限公司 数据存储***及方法
CN104298574A (zh) * 2014-09-16 2015-01-21 南京斯坦德云科技股份有限公司 一种数据高速存储处理***
CN104331343A (zh) * 2014-11-06 2015-02-04 深圳市中兴移动通信有限公司 文件备份方法和***
CN105005515A (zh) * 2015-07-10 2015-10-28 上海爱数软件有限公司 一种LAN-free备份***
CN105956491A (zh) * 2016-05-19 2016-09-21 北京春鸿企业管理咨询有限公司 对公有云存储***的数据进行多账号备份的方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张睿: "面向云存储的非结构化数据存储分析", 《电脑知识与技术》 *
徐英辉等: "MongoDB索引的用电信息非结构化数据存储方法", 《电力***及其自动化学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764975A (zh) * 2020-12-29 2021-05-07 中国人寿保险股份有限公司上海数据中心 一种非结构化数据存储保护的灾备***

Similar Documents

Publication Publication Date Title
US8688992B2 (en) System and method for generating agreements
US20120173633A1 (en) Email conversation management support
US8825611B1 (en) Policy enabled information sharing system
TW201106173A (en) Multimedia system providing database of shared text comment data indexed to video source data and related methods
US9843625B2 (en) System and method for aggregating and providing data from enterprise systems to mobile devices
US20150066935A1 (en) Crowdsourcing and consolidating user notes taken in a virtual meeting
CN109240997A (zh) 一种文件的上传保存方法、***和客户端
CN106960164A (zh) 一种现场固定电子证据的方法及***
Acker et al. Tweets may be archived: civic engagement, digital preservation and Obama White House social media data
CN105828017B (zh) 一种面向视频会议的云存储接入***及方法
CN110175316B (zh) 一种基于区块链的媒体号交互方法、***及存储介质
US20220114142A1 (en) Method and System for Real-Time Collaboration and Event Linking to Documents and Video Recordings
KR20180042145A (ko) 미디어 파일 위변조 검증 방법
EP3497875B1 (en) A method of generating a secure record of a conversation
CN103152363A (zh) 用于表示层协议数据流的记录及实时回放和搜索的方法和***
TWI263915B (en) System and method for logging event of telecommunications devices
CN109189609A (zh) 一种非结构化数据快速备份***和方法
CN106330661A (zh) 一种数据集中处理方法
CN110505444A (zh) 基于大数据的安防监控***
CN112287403B (zh) 基于区块链的电子卷宗管理方法、装置、电子设备及介质
CN103176866A (zh) 一种应用于ntfs文件***下的文件权限备份方法
CN106230880B (zh) 一种数据的存储方法以及应用服务器
CN112511501A (zh) 一种面向5g应用的数据安全监测***
CN105704236A (zh) 一种信息发布方法及***
CN204795352U (zh) 一种视音频记录仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111