CN104166520B - 分布式硬盘***及在其中进行数据迁移的方法 - Google Patents

分布式硬盘***及在其中进行数据迁移的方法 Download PDF

Info

Publication number
CN104166520B
CN104166520B CN201310187468.1A CN201310187468A CN104166520B CN 104166520 B CN104166520 B CN 104166520B CN 201310187468 A CN201310187468 A CN 201310187468A CN 104166520 B CN104166520 B CN 104166520B
Authority
CN
China
Prior art keywords
source
data
hard
file
title
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310187468.1A
Other languages
English (en)
Other versions
CN104166520A (zh
Inventor
修文群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huake Incubation Technology Development Co.,Ltd.
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201310187468.1A priority Critical patent/CN104166520B/zh
Publication of CN104166520A publication Critical patent/CN104166520A/zh
Application granted granted Critical
Publication of CN104166520B publication Critical patent/CN104166520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种分布式硬盘***，其包括，一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据；多硬盘上各自接口数据控制器，用于连接服务器外置I\O接口，记录拷贝文件及目录的名称、大小、数量及逻辑关系；一硬盘阵列主控器***，用于控制接口数据控制器，实现数据文件的同步并行上传、下载并记录各硬盘复制文件及目录的名称、大小、数量的总数及其逻辑关系。本发明的分布式硬盘***及在其中进行数据迁移的方法可以有效加快数据文件及目录传输速率以及提高其使用效率。

Description

分布式硬盘***及在其中进行数据迁移的方法
【技术领域】
本发明涉及大数据存储领域，尤其涉及一种端对端分布式硬盘***及在其中进行数据迁移的方法。
【背景技术】
在超算服务中，数据传输效率是带有普遍性的瓶颈因素。目前的分布式***中的大数据传输，无论上传还是下载，一般通过单点复制的方式进行。即首先通过某台服务器，以全局拷贝的方式，将原业务***中分布在各服务器硬盘或硬盘阵列上的相关数据传输到存贮介质上，而在超算端，则需要由另一台数据服务器，完成大数据的读取、上载并分配到超算指定区域。这种多对一、一对多的大规模数据汇聚、处理及复制过程，完全依赖于单台服务器的运算性能及I\O水平，在数据传输过程中，其他运算节点的计算及I\O能力则完全闲置。本发明将改变上述传输模式，通过改变数据传输模式，以同步、并行、多对多的数据复制模式，充分利用***整体的处理能力，使数据的下载及上传效率获得几何增长。
【发明内容】
本发明要解决的技术问题在于数据库的数据传输速率慢及使用效率低，为此，本发明一方面提供一种分布式硬盘***，其包括，
一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据；
多硬盘上各自接口数据控制器，用于连接服务器外置I\O接口，记录拷贝文件及目录的名称、大小、数量及逻辑关系；
一硬盘阵列主控器***，用于控制接口数据控制器，实现数据文件的同步并行上传、下载并记录各硬盘复制文件及目录的名称、大小、数量的总数及其逻辑关系。
本发明还提供一种在所述分布式硬盘***中进行数据迁移的方法，其特征在于，其包括以下步骤：
（一）、将分布式硬盘***中各硬盘分别连接到源服务器群各服务器数据接口上，由源服务器操作***进行识别、连接后，通过发布命令将源文件及源目录进行拷贝，过程中由接口数据控制器记录源文件及源目录的名称、大小、数量及其逻辑关系；
（二）、将源文件及源目录的名称、大小、数量及逻辑关系向所述硬盘阵列主控器***汇集，形成完整的源数据描述***；
（三）、将分布式硬盘***各硬盘并行连接到目标服务器群服务器上，由目标服务器操作***进行识别、连接后，发布命令对其所携带的源文件及源目录进行拷贝；
（四）、读取移动硬盘阵列中的数据特征记录，与源数据***进行完整性及关系性检验，通过文件目录扫描，并根据数据逻辑关系重建源数据***。
本发明的分布式硬盘***及在其中进行数据迁移的方法，通过设计多接口的移动式硬盘阵列及其硬盘阵列主控器***，实现了从分布式文件***中同步上传、下载数据，从而避免了大数据传输中在上传、下载时单点拷贝的瓶颈因素，可以有效加快数据传输及其使用效率。
【附图说明】
图1为本发明一实施例分布式硬盘***的***架构示意图。
【具体实施方式】
参考图1所示，本实施例公开的一种分布式硬盘***，其包括，
一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据；
多硬盘上各自接口数据控制器，用于连接服务器外置I\O接口，记录拷贝文件及目录的名称、大小、数量及逻辑关系；
一硬盘阵列主控器***，用于控制接口数据控制器，实现数据文件的同步并行上传、下载并记录各硬盘复制文件及目录的名称、大小、数量的总数及其逻辑关系。
本发明还提供一种在所述分布式硬盘***中进行数据迁移的方法，其特征在于，其包括以下步骤：
（一）、将分布式硬盘***中各硬盘分别连接到源服务器群各服务器数据接口上，由源服务器操作***进行识别、连接后，通过发布命令将源文件及源目录进行拷贝，过程中由接口数据控制器记录源文件及源目录的名称、大小、数量及其逻辑关系；
（二）、将源文件及源目录的名称、大小、数量及逻辑关系向所述硬盘阵列主控器***汇集，形成完整的源数据描述***；
（三）、将分布式硬盘***各硬盘并行连接到目标服务器群服务器上，由目标服务器操作***进行识别、连接后，发布命令对其所携带的源文件及源目录进行拷贝；
（四）、读取移动硬盘阵列中的数据特征记录，与源数据***进行完整性及关系性检验，通过文件目录扫描，并根据数据逻辑关系重建源数据***。
本发明的分布式硬盘***及在其中进行数据迁移的方法，通过设计多接口的移动式硬盘阵列及其硬盘阵列主控器***，实现了从分布式文件***中同步上传、下载数据，从而避免了大数据传输中在上传、下载时单点拷贝的瓶颈因素，可以有效加快数据传输及其使用效率。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (2)

1.一种分布式硬盘***，其特征在于：其包括，
一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据；
多硬盘上各自接口数据控制器，用于连接服务器外置I\O接口，记录拷贝文件的名称、大小、数量和拷贝文件之间的逻辑关系及目录的名称、大小和数量；其中，所述服务器包括源服务器群中的各服务器和目标服务器群中的各服务器；
一硬盘阵列主控器***，用于控制接口数据控制器，将分布式硬盘***中各硬盘分别连接到源服务器群各服务器数据接口上，由源服务器操作***进行识别、连接后，通过发布命令将源文件及源目录进行拷贝，过程中由接口数据控制器记录源文件的名称、大小、数量、各源文件之间的逻辑关系及源目录的名称、大小和数量；将源文件的名称、大小、数量和各源文件的逻辑关系及源目录的名称、大小和数量向硬盘阵列主控制***汇集，形成完整的源数据描述***；将分布式硬盘***各硬盘并行连接到目标服务器群服务器上，由目标服务器操作***进行识别、连接后，发布命令对其所携带的源文件及源目录进行拷贝；读取移动硬盘阵列中的数据特征记录，与源数据***进行完整性及关系性检验，通过文件目录扫描，并根据数据逻辑关系重建源数据***；源文件及源目录即前述拷贝文件及目录。
2.一种于如权利要求1所述的分布式硬盘***中进行数据迁移的方法，其特征在于，其包括以下步骤：
(一)、将分布式硬盘***中各硬盘分别连接到源服务器群各服务器数据接口上，由源服务器操作***进行识别、连接后，通过发布命令将源文件及源目录进行拷贝，过程中由接口数据控制器记录源文件的名称、大小、数量和源文件之间的逻辑关系及源目录的名称、大小、数量；
(二)、将源文件的名称、大小、数量和源文件之间的逻辑关系及源目录的名称、大小、数量向所述硬盘阵列主控器***汇集，形成完整的源数据描述***；
(三)、将分布式硬盘***各硬盘并行连接到目标服务器群的各服务器上，由目标服务器操作***进行识别、连接后，发布命令对各硬盘所携带的源文件及源目录进行拷贝；
(四)、读取移动硬盘阵列中的数据特征记录，与源数据***进行完整性及关系性检验，通过文件目录扫描，并根据数据逻辑关系重建源数据***，所述数据特征记录包括源文件的名称、大小、数量、各源文件之间的逻辑关系及源目录的名称、大小和数量。
CN201310187468.1A 2013-05-20 2013-05-20 分布式硬盘***及在其中进行数据迁移的方法 Active CN104166520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310187468.1A CN104166520B (zh) 2013-05-20 2013-05-20 分布式硬盘***及在其中进行数据迁移的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310187468.1A CN104166520B (zh) 2013-05-20 2013-05-20 分布式硬盘***及在其中进行数据迁移的方法

Publications (2)

Publication Number Publication Date
CN104166520A CN104166520A (zh) 2014-11-26
CN104166520B true CN104166520B (zh) 2019-01-11

Family

ID=51910362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310187468.1A Active CN104166520B (zh) 2013-05-20 2013-05-20 分布式硬盘***及在其中进行数据迁移的方法

Country Status (1)

Country Link
CN (1) CN104166520B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684298B (zh) * 2018-09-07 2024-02-20 平安科技（深圳）有限公司 数据库迁移方法、装置、设备及存储介质
CN110032339B (zh) * 2019-04-12 2022-11-04 北京旷视科技有限公司 数据迁移方法、装置、***、设备和存储介质
CN112968763B (zh) * 2019-12-13 2023-04-18 北京百度网讯科技有限公司 用于传输数据的方法、装置和***
CN112102519B (zh) * 2020-09-14 2022-08-16 广州小鹏自动驾驶科技有限公司 一种车辆数据的上传方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2791752Y (zh) * 2005-04-04 2006-06-28 苏州鹞鹰数据技术有限公司 高速数据存储设备
CN101149755A (zh) * 2007-10-25 2008-03-26 中国科学院计算技术研究所 一种分布式文件***的文件写入***和方法
CN101399840A (zh) * 2007-09-26 2009-04-01 新奥特硅谷视频技术有限责任公司 利用虚拟文件***技术实现镜像存储的方法及***
CN102004769A (zh) * 2010-11-12 2011-04-06 成都市华为赛门铁克科技有限公司 文件管理方法、设备及存储***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2791752Y (zh) * 2005-04-04 2006-06-28 苏州鹞鹰数据技术有限公司 高速数据存储设备
CN101399840A (zh) * 2007-09-26 2009-04-01 新奥特硅谷视频技术有限责任公司 利用虚拟文件***技术实现镜像存储的方法及***
CN101149755A (zh) * 2007-10-25 2008-03-26 中国科学院计算技术研究所 一种分布式文件***的文件写入***和方法
CN102004769A (zh) * 2010-11-12 2011-04-06 成都市华为赛门铁克科技有限公司 文件管理方法、设备及存储***

Also Published As

Publication number Publication date
CN104166520A (zh) 2014-11-26

Similar Documents

Publication Publication Date Title
JP6211173B2 (ja) オブジェクト情報の複数の次元を用いたオブジェクトストレージ
JP6021680B2 (ja) 自律分散重複排除ファイルシステム、記憶装置ユニット及びデータアクセス方法
CN103793425B (zh) 用于分布式***的数据处理方法及装置
JP6044539B2 (ja) 分散ストレージシステムおよび方法
KR101626186B1 (ko) 피어 및 클라우드로부터 파일 및 시스템의 차분 복구
JP6056453B2 (ja) プログラム、データ管理方法および情報処理装置
CN104166520B (zh) 分布式硬盘***及在其中进行数据迁移的方法
WO2014083591A1 (en) Storage system and file management method
CN106407040A (zh) 一种远程数据复制方法及***
US8578112B2 (en) Data management system and data management method
CN104679665A (zh) 一种实现分布式文件***块存储的方法及***
CN102317901B (zh) 对象调整方法、装置及***
CN103917962A (zh) 读取存储在存储***上的文件
CN103647797A (zh) 一种分布式文件***及其数据访问方法
CN109522283A (zh) 一种重复数据删除方法及***
CN101751307A (zh) 数据存储***、方法以及数据存储和备份***
CN103412929A (zh) 一种海量数据的存储方法
CN103023996A (zh) 一种云数据存储***
CN104298697A (zh) 一种fat32格式的数据文件管理***
WO2014054065A1 (en) Backup and restore system for a deduplicated file system and corresponding server and method
CN102750196A (zh) 一种用于数据存储和备份***及方法
CN107798063A (zh) 快照处理方法和快照处理装置
CN101901173A (zh) 一种灾备***及灾备方法
CN107710144B (zh) 跨越逻辑卷的数据存储装置复制数据
TWI569159B (zh) 避免多餘的資料複製的資料同步方法及裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220901

Address after: Room 2301, Building 6, Zhongke Valley Industrial Park, Zhonghuan Avenue, Shanxia Community, Pinghu Street, Longgang District, Shenzhen, Guangdong 518111

Patentee after: Shenzhen Huake Incubation Technology Development Co.,Ltd.

Address before: 1068 No. 518055 Guangdong city in Shenzhen Province, Nanshan District City Xili University School Avenue

Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY

TR01 Transfer of patent right