CN110365764B - 一种用于计算集群的数据拷贝装置 - Google Patents

一种用于计算集群的数据拷贝装置 Download PDF

Info

Publication number
CN110365764B
CN110365764B CN201910625533.1A CN201910625533A CN110365764B CN 110365764 B CN110365764 B CN 110365764B CN 201910625533 A CN201910625533 A CN 201910625533A CN 110365764 B CN110365764 B CN 110365764B
Authority
CN
China
Prior art keywords
data
type
attribute data
user
mobile storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910625533.1A
Other languages
English (en)
Other versions
CN110365764A (zh
Inventor
冯景华
张健
李宇奇
徐斌
孙福兴
谭昕雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Supercomputer Center In Tianjin
Original Assignee
National Supercomputer Center In Tianjin
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Supercomputer Center In Tianjin filed Critical National Supercomputer Center In Tianjin
Priority to CN201910625533.1A priority Critical patent/CN110365764B/zh
Publication of CN110365764A publication Critical patent/CN110365764A/zh
Application granted granted Critical
Publication of CN110365764B publication Critical patent/CN110365764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种用于计算集群的数据拷贝装置,包括:数据拷贝服务器,用于在接收到用户提交的新建数据拷贝任务请求时,生成第一类型任务属性数据并将其发送至所述计算集群的管理人员和装置控制器;且自动识别连接至所述数据拷贝服务器的移动存储设备并将移动存储设备挂载至目标挂载目录,以便于所述用户执行数据拷贝;所述装置控制器,用于接收、核验所述管理人员输入的第一类型任务属性数据,并根据核验结果控制所述N个第二储存单元的打开;所述N个第二储存单元,用于放置可连接至所述数据拷贝服务器的移动存储设备。

Description

一种用于计算集群的数据拷贝装置
技术领域
本发明涉及信息处理装置,尤其涉及一种用于计算集群的数据拷贝装置。
背景技术
超级计算机,作为一个计算集群,由于其高效、安全的服务,已得到了广泛应用,这使得其能够服务的用户很多。数据拷贝是用户使用超级计算机的一个基本需求,现有技术中,小容量数据拷贝可以远程通过ftp或sftp上传、下载,链路带宽受运营商限制,基本满足GB级的数据拷贝。当超级计算机的用户需要拷贝TB级大容量数据时,通常可以将移动存储装置(例如移动硬盘)邮寄到超级计算机的数据中心,并由数据中心管理人员代为执行数据拷贝即可。然而,对于管理人员来说,由于超级计算机的机房规模大,进出机房流程多,办公区域和机房大多数情况不在同一楼层,甚至不在同一栋大楼,因此每次插盘、拔盘都要消耗很多不必要的时间,效率低;另外,数据服务节点自身的数据拷贝接口数量有限,无法满足当前用户日益增长的数据拷贝任务需求。
发明内容
为解决上述技术问题,本发明公开了一种用于计算集群的数据拷贝装置,包括:包括:第一储存单元、N个第二储存单元S1,S2,…,SN,还包括装置控制器、放置于第一储存单元中的数据拷贝服务器;其中,所述数据拷贝服务器,与所述装置控制器连接,且通过所述计算集群的核心交换机与Web服务器连接;进一步,所述数据拷贝服务器,用于在接收到用户通过所述Web服务器提交的新建数据拷贝任务请求时,生成第一类型任务属性数据并将其发送至所述计算集群的管理人员和所述装置控制器;自动识别连接至所述数据拷贝服务器的移动存储设备并将移动存储设备挂载至目标挂载目录,以便于所述用户执行数据拷贝;所述装置控制器,用于根据从所述数据拷贝服务器接收的第一类型任务属性数据,核验所述管理人员输入至该装置控制器的第一类型任务属性数据,并根据核验结果控制所述第二储存单元S1,S2,…,SN的打开;所述N个第二储存单元S1,S2,…,SN,用于放置可连接至所述数据拷贝服务器的移动存储设备,N≥1;所述第一类型任务属性数据至少包括:第一拷贝任务编码、第一开柜码、M个移动存储设备号D1,D2,…,DM,1≤M≤N。
附图说明
图1是本发明用于计算集群的数据拷贝装置的***示意图;
图2为本发明的所述数据拷贝装置的数据拷贝服务器的一***流程图;
图3为本发明的所述数据拷贝装置的一***功能图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,将结合附图对本发明作进一步地详细描述。这种描述是通过示例而非限制的方式介绍了与本发明的原理相一致的具体实施方式,这些实施方式的描述是足够详细的,以使得本领域技术人员能够实践本发明,在不脱离本发明的范围和精神的情况下可以使用其他实施方式并且可以改变和/或替换各要素的结构。因此,不应当从限制性意义上来理解以下的详细描述。
本发明公开了一种用于计算集群的数据拷贝装置,如图1所示。在图1中,所述数据拷贝装置1包括:第一储存单元40、N个第二储存单元S1(对应于附图标记41),S2(对应于附图标记42),…,SN(对应于附图标记4N),还包括装置控制器2、放置于第一储存单元40中的数据拷贝服务器3,N≥1。根据本发明的一个实施例,所述第一存储单元40和/或N个第二储存单元S1,S2,…,SN可以为抽屉,在本发明优选的实施例中,所述第一存储单元40和/或N个第二储存单元S1,S2,…,SN可以为包括柜体和柜门的柜子,且本领域技术人员可以理解,所述第一存储单元40和/或N个第二储存单元S1,S2,…,SN可以为现有技术中的任何其他可放置所述数据拷贝服务器和/或移动存储设备的可开合腔体,且其大小和形状可以根据需要进行自定义设置。
根据本发明,所述计算集群可以为任意类型的计算集群,例如框架不同的计算集群,在本发明一个优选的实施方式中,所述计算集群为超级计算机。
根据本发明,N的取值范围为[10,50],优选为20,以便于满足用户数据拷贝任务量大的要求。在本发明中,所述N个第二储存单元S1,S2,…,SN在所述数据拷贝装置1上可以有不同的排列方式,例如,如附图1所示,排列在所述数据拷贝装置1其中一面的两边,也可以均匀分布在所述数据拷贝服务器3和装置控制器2的四周等等。
根据本发明,所述数据拷贝服务器3,与所述装置控制器2连接,且通过所述计算集群的核心交换机与Web服务器连接,用于在接收到用户通过所述Web服务器提交的新建数据拷贝任务请求时,生成第一类型任务属性数据并将其发送至所述计算集群的管理人员和所述装置控制器2。具体的,在本发明中,所述数据拷贝服务器3通过第一网线和所述装置控制器2连接,通过第二网线和所述核心交换机连接。在本发明的一个实施方式,所述数据拷贝服务器3通过所述装置控制器2向所述管理人员发送所述第一类型任务属性数据,在本发明的另一实施方式,所述数据拷贝服务器3通过所述核心交换机向所述管理人员发送所述第一类型任务属性数据,在本发明优选的实施方式,所述数据拷贝服务器3通过自身设置的无线通信模块向所述管理人员发送所述第一类型任务属性数据,其中所述无线通信模块可以为现有技术中常用的3G、4G等通信模块。根据本发明,所述计算集群可以为Linux计算集群或者其他类型的计算集群,其通过与所述计算集群连接的核心交换机实现和所述数据拷贝服务器3的连接,此时,所述数据拷贝服务器3可以和与所述核心交换机连接的计算集群进行通信。
在本发明优选的一个实施例中,所述数据拷贝服务器3还将所述第一类型任务属性数据发送至所述用户,以便于所述用户知晓其所提交的数据拷贝任务的相关执行情况。
进一步,所述数据拷贝服务器3还用于自动识别连接至所述数据拷贝服务器的移动存储设备并将移动存储设备挂载至目标挂载目录,以便于所述用户执行数据拷贝。在本发明中,所述数据拷贝服务器3自动识别和挂载连接的移动存储设备,以使得用户可以通过所述Web服务器在所述挂载目录下拷贝所需的数据。
根据本发明,所述第一类型任务属性数据至少包括:第一拷贝任务编码、第一开柜码、M个移动存储设备号D1,D2,…,DM,1≤M≤N。具体的,所述第一拷贝任务编码为所述数据拷贝服务器3生成的关于所述数据拷贝任务的标识信息,用于唯一确定所述数据拷贝任务;所述第一开柜码用于验证是否可以打开所述N个第二储存单元S1,S2,…,SN中的一个或多个;每个移动存储设备号对应于一个移动存储设备,为所述一个移动存储设备的唯一标识码,由用户根据数据拷贝量的大小提供,示例性的,当一个移动存储设备即可满足用户的数据拷贝任务时,则所述M=1,否则用户可根据实际需要,提供多个移动存储设备,此时M>1,进一步,所述移动存储设备号可以用于当所述数据拷贝服务器3自动检测到连接的移动存储设备时,判断所述移动存储设备的合法性。
根据本发明,所述数据拷贝服务器1在接收到用户通过所述Web服务器提交的新建数据拷贝任务请求时,生成第一类型任务属性数据并将其发送至所述计算集群的管理人员和所述装置控制器具体包括:
步骤10,在接收到用户通过所述Web服务器提交的新建数据拷贝任务请求时,检测是否存在闲置的第二储存单元。具体的,在该步骤中,所述数据拷贝服务器3通过检测是否存在闲置的连接端口(例如未连接有移动存储设备的USB端口)来获取是否存在闲置的第二储存单元。
步骤20,如果存在闲置的第二储存单元,获取闲置的第二储存单元的总量Q以及用户输入的数据拷贝任务相关数据,其中,所述数据拷贝任务相关数据包括M,1≤Q≤N。具体的,在该步骤中,用户输入的数据拷贝任务相关数据可以是按照预设方式填写的数据,例如预设的数据拷贝任务表格等,且本领域技术人员可以,以上所举例子仅为示范性例子,不作为限制本发明权利要求保护范围的唯一示例。具体的,所述数据拷贝任务相关数据例如可以包括:用户名、计算集群的目标挂载目录、拷贝的用户账号、M个移动存储设备号、用户通信方式(例如手机号码和/或邮箱)等。
步骤30,基于所述总量Q验证所述数据拷贝任务相关数据,当验证成功后,获取所述数据拷贝任务挂载的目标挂载目录并生成所述第一类型任务属性数据,将所述第一类型任务属性数据发送至所述计算集群的管理人员和所述装置控制器。具体的,在该步骤中,验证所述数据拷贝任务相关数据包括验证所述总量Q是否满足M的需求(即Q是否大于M),还可以包括其他验证例如验证用户名以及所述拷贝的用户账号的合法性等等。进一步,将第一类型任务属性数据发送至所述计算集群的管理人员为将所述第一类型任务属性数据发送至所述管理人员指定的通信方式,例如固定的手机号码或者邮箱。且在本发明中,所述管理人员的通信方式可预先设置,以减少频繁输入相同内容而造成时间和资源上的浪费。根据本发明,所述数据拷贝服务器3根据用户输入的数据拷贝任务相关数据可以获取用户数据拷贝需要挂载的计算集群的目标挂载目录,以便于所述数据拷贝服务器3在识别到移动存储设备时,自动将移动存储设备挂载至所述目录下,实现数据拷贝。
根据本发明,所述数据拷贝服务器3还可以接收用户通过所述Web服务器提交的重新挂载指令;且所述数据拷贝服务器3在接收到用户提交的重新挂载指令时,执行以下方法:
步骤100,生成所述数据拷贝任务的第二类型任务属性数据,其中,所述第二类型任务属性数据至少包括第二开柜码、第二移动存储设备号B1,B2,…,BK,K≥1。具体的,在该步骤中,所述第二移动存储设备号B1,B2,…,BK为由于原有的移动存储设备挂载失败而重新提交的新的移动存储设备的唯一标识码。
步骤200,将第三类型任务属性数据发送至所述用户、所述计算集群的管理人员和所述装置控制器,其中,所述第三类型任务属性数据包括所述第二类型任务属性数据、所述第一类型任务属性数据中的第一拷贝任务编码。
根据本发明,所述第二开柜码用于所述数据拷贝服务器3重新打开未成功挂载移动存储设备的第二储存单元以挂载与第二移动存储设备号B1,B2,…,BK对应移动存储设备。将需要重新挂载的移动存储设备对应的第二储存单元打开,可以更好地管理每个用户的移动存储设备,并最大程度地使用所述数据拷贝装置,该方法不会因为对一个移动存储设备的操作而影响该数据拷贝任务中的其他移动存储设备的操作,提高了数据拷贝的效率。
根据本发明,所述数据拷贝服务器还可以接收用户通过所述Web服务器提交的用户确认指令;且所述数据拷贝服务器在接收到用户提交的用户确认指令时,执行以下方法:
步骤0001,生成所述数据拷贝任务的第四类型任务属性数据,其中,所述第四类型任务属性数据至少包括第四开柜码。其中,所述第四开柜码用于打开存放和所述第一拷贝任务编码对应的移动存储设备的第二储存单元。根据本发明,当用户通过Web服务器提交的用户确认指令时,可能会出现用户首次提交的移动硬盘成功挂载并完成数据拷贝,也可以是部分或全部移动存储设备被替换后完成数据拷贝,还可以是部分移动存储设备完成数据拷贝,部分移动存储设备未成功挂载。因此,和所述第一拷贝任务编码对应的移动存储设备可以为与移动存储设备码D1,D2,…,DM对应的移动存储设备,也可以是与移动存储设备码D1,D2,…,DM对应成功挂载的移动存储设备以及与所述第二移动存储号B1,B2,…,BK对应的移动存储设备。
步骤0002,将第四类型任务属性数据中的第四开柜码和所述第一类型任务属性数据中的第一拷贝任务编码发送至所述用户、所述计算集群的管理人员和所述装置控制器。
根据本发明的一优选实施例,所述第一类型任务属性数据、所述第二类型任务属性数据和第四类型任务属性数据还可以包括用户请求指令类型,例如所述第一类型任务属性数据可以包括用户创建数据拷贝任务的新建指令、第二类型任务属性数据可以包括重新挂载指令、第四类型任务属性数据可以包括用户确认指令。
进一步,根据本发明,所述数据拷贝服务器3还可以执行以下方法:
步骤1000,获取用户请求指令类型。在该步骤中,一个实施方式中,可以根据第一类型任务属性数据、第三类型任务属性数据或第四类型任务属性数据中的用户指令类型来获取所述用户请求指令类型;另一个实施方式中,可以从用户在Web服务器端提交的指令类型来获取所述用户请求指令类型。
步骤2000,如果所述用户请求指令类型为新建指令,执行所述自动识别连接至所述数据拷贝服务器的移动存储设备并将移动存储设备挂载至目标挂载目录,以便于所述用户执行数据拷贝,如果所述用户请求指令类型为重新挂载指令,执行步骤3001,如果所述用户请求指令类型为用户确认指令,执行步骤3002;
步骤3001,卸载与移动存储设备号E1,E2,…,EK对应的未挂载成功的移动存储设备,等待***与第二移动存储设备号B1,B2,…,BK对应的移动存储设备,在检测到有移动存储设备***时自动识别与第二移动存储设备号B1,B2,…,BK对应的移动存储设备并将与第二移动存储设备号B1,B2,…,BK对应的移动存储设备自动挂载至所述目标挂载目录,方法结束,其中,Eh属于{D1,D2,…,DM},1≤h≤M;
步骤3002,等待拔出与所述第一拷贝任务编码对应的移动存储设备,在检测到拔出与所述第一拷贝任务编码对应的移动存储设备后,方法结束。根据本发明,当用户通过Web服务器提交的用户确认指令时,可能会出现用户首次提交的移动硬盘成功挂载并完成数据拷贝,也可以是部分或全部移动存储设备被替换后完成数据拷贝,还可以是部分移动存储设备完成数据拷贝,部分移动存储设备未成功挂载。因此,和所述第一拷贝任务编码对应的移动存储设备可以为与移动存储设备码D1,D2,…,DM对应的移动存储设备,也可以是与移动存储设备码D1,D2,…,DM对应成功挂载的移动存储设备以及与所述第二移动存储号B1,B2,…,BK对应的移动存储设备。
根据本发明,所述数据拷贝服务器3还可以执行异常处理结果和执行结果反馈等,例如,短信或邮件通知用户和管理人员移动存储设备已挂载成功,可以开始进行数据拷贝;在挂载失败时首先通知管理人员进行挂载异常处理,且异常处理成功时向用户和管理人员发送可以开始进行数据拷贝的消息,异常处理失败时,将数据拷贝任务的属性数据以及异常处理失败结果发送至用户;在收到用户指令为用户确认指令时,检测是否有未完成的移动存储设备,并进一步检测是否为异常工单等。
所述装置控制器2,用于根据从所述数据拷贝服务器接收的第一类型任务属性数据,核验所述管理人员输入至该装置控制器的第一类型任务属性数据,并根据核验结果控制所述第二储存单元S1,S2,…,SN的打开。
根据本发明,根据从所述数据拷贝服务器接收的第一类型任务属性数据,核验所述管理人员输入至该装置控制器的第一类型任务属性数据,并根据核验结果控制所述第二储存单元S1,S2,…,SN的打开具体包括:
步骤001,比较从所述数据拷贝服务器接收的第一类型任务属性数据中的第一开柜码和所述管理人员输入至所述装置控制器的所述第一类型任务属性数据中的第一开柜码是否相同。
步骤002,如果相同,检测是否有闲置的第二储存单元。根据本发明,该步骤可避免因为同时有多个用户进行数据拷贝时,导致在生成所述第一类型任务属性数据时闲置的第二储存单元被占用而无法进行移动存储设备的挂载。
步骤003,当存在闲置的第二储存单元,获取所有闲置的第二储存单元T1,T2,…,TP,如果P≥M,按照预设规则打开T1,T2,…,TP中的M个,其中,1≤P≤N,且Tj属于{S1,S2,…,SN},1≤j≤P。根据本发明,所述预设规则可以为按照随机规则打开闲置的所有第二储存单元中的一个,也可以是按照编号的大小顺序打开闲置的所有第二储存单元中的一个,且本领域技术人员可知,还可以按照其他的规则选择被打开的闲置的第二储存单元。
根据本发明,所述装置控制器2还可以用于根据从所述数据拷贝服务器3接收的第三类型任务属性数据,核验所述管理人员输入至该装置控制器2的第三类型任务属性数据,并根据核验结果控制第二储存单元S1,S2,…,SN的打开;其中,根据从所述数据拷贝服务器3接收的第三类型任务属性数据,核验所述管理人员输入至该装置控制器2的第三类型任务属性数据,并根据核验结果控制第二储存单元S1,S2,…,SN的打开具体包括:
步骤01,比较从所述数据拷贝服务器接收的第三类型任务属性数据包括的开柜码和所述管理人员输入至该装置控制器的第三类型任务属性数据包括开柜码是否相同;
步骤02,如果相同,获取未挂载成功的移动存储设备的移动存储设备号E1,E2,…,EK并打开与移动存储设备号E1,E2,…,EK对应的第二储存单元。在该步骤中,所述装置控制器2可通过和所述数据拷贝服务器3通信以获取未挂载成功的移动存储设备的移动存储设备号E1,E2,…,EK,并根据E1,E2,…,EK打开相应的第二储存单元。
所述装置控制器2还可以根据从所述数据拷贝服务器3接收的第四类型任务属性数据,核验所述管理人员输入至该装置控制器2的第四类型任务属性数据,并根据核验结果控制第二储存单元S1,S2,…,SN的打开;其中,根据从所述数据拷贝服务器3接收的第四类型任务属性数据,核验所述管理人员输入至该装置控制器2的第四类型任务属性数据,并根据核验结果控制第二储存单元S1,S2,…,SN的打开具体包括:
步骤0001,比较从所述数据拷贝服务器接收的第四类型任务属性数据包括的开柜码和所述管理人员输入至该装置控制器的第四类型任务属性数据包括开柜码是否相同。
步骤0002,如果相同,打开与所述第一拷贝任务编码对应的第二储存单元。
根据本发明的一个优选实施例,所述装置控制器2还可以用于接收所述数据拷贝服务器3发送的第一任务属性数据,并将所述第一任务属性数据发送至所述用户。
根据本发明,所述装置控制器2包括数据输入模块,用于所述管理人员输入所述第一类型任务属性数据、第三类型任务属性数据或第四类型任务属性数据。根据本发明,所述输入模块可以为触摸屏等本领域常用的输入模块。
进一步,在本发明中,所述装置控制器2还可以接收到所述数据拷贝服务器反馈的“插盘成功”、“拔盘完成”等指令之后,提醒所述管理人员关闭所述第二储存单元S1,S2,…,SN。其中,可以通过声音、文字等方式提醒所述管理人员,提醒管理人员关闭所述第二储存单元,可以进一步确保数据拷贝的安全性。
所述N个第二储存单元S1,S2,…,SN,用于放置可连接至所述数据拷贝服务器的移动存储设备。根据本发明,第二储存单元Sx用于放置一个可连接至所述数据拷贝服务器3的移动存储设备,其中1≤x≤N;在本发明中,所述数据拷贝服务器3安装有M个USB拓展卡,所述移动存储设备通过一条连接至所述USB拓展卡的USB延长线和所述数据拷贝服务器连接,以便于所述数据拷贝服务器自动检测连接的移动存储设备,并在挂载成功后使用户可以执行数据拷贝任务。且本领域技术人员可知,可以将USB延长线的部分以及连接接口放置于所述第二储存单元中,以便于提高移动存储设备连接时的便利性,也可以仅仅将所述USB延长线的连接接口放置于所述第二储存单元,这样可以跟好地管理USB延长线。
根据本发明,所述管理人员在接收到用户的一个移动存储设备时,可以通过一条USB延长线Lx连接至所述数据拷贝服务器3,当所述管理人员在接收到用户的C(C>1)个移动存储设备时,则可以使用C条USB延长线连接至所述数据拷贝服务器3。
根据本发明,M的取值范围为[2,10],优选为4,所述USB拓展卡可以为5口的USB拓展卡或者本领域技术人员常用的其他类型的USB拓展卡。
综合上述内容可知,通过设置一个和计算集群(例如超级计算机)以及Web服务器连接的独立的数据拷贝装置,可大大减少管理人员因为频繁进出机房消耗的时间,另一方面,通过集成多个独立的USB接口及其相应数量的第二独立储存单元,可以满足多个用户并行执行数据拷贝任务,且同时满足了不同用户之间数据拷贝的安全性,提高了数据拷贝的效率。
图2为本发明的所述数据拷贝装置的数据拷贝服务器的一***流程图,在图2中,首先用户登陆到***中,其中,用户在登录***的过程中,一个实施例中,可以通过使用用户名和/或密码的方式来验证用户的合法性,另一个实施例中,可以使用随机验证码的方式来验证用户的合法性。在用户登录到***中后,点击“数据拷贝”以查看该用户是否提交有数据拷贝任务,或者查看已提交的数据拷贝任务的拷贝进度等情况,其中数据拷贝进度等情况包括数据拷贝完成情况、硬盘挂载失败需要重新挂载情况;之后用户点击“新建”以向***提交新的数据拷贝任务,之后数据拷贝服务器查看是否有空余的硬盘格(所述硬盘格对应于第二储存单元),且当有空余的硬盘格时,允许用户填写数据拷贝任务相关的表单(该表单用于用户填写和数据拷贝任务相关的数据),并对填写好的表单进行验证,验证通过时,首先生成工单号(对应于第一拷贝任务编码)和开柜码,然后短信通知用户和***人工单号、硬盘号和开柜码(对应于第一类型任务属性数据)。***进一步根据生成开柜码的条件(对应于获取用户请求指令类型),等待***人插盘或者***自动卸载硬盘或者等待***人开柜拔盘。当生成开柜码的条件为新建数据拷贝任务时,等待***人开柜插盘,***人插盘之后,***自动识别硬盘并自动挂载至目标目录,之后判断硬盘挂载成功,如果成功,则短信通知用户和***人开柜码已使用,硬盘已挂载,请开始拷贝等提醒;如果硬盘挂载失败,则短信通知管理员(这里可以为装置维修人员等)进行异常处理;判断异常处理是否成功,异常处理成功,则则短信通知用户和***人开柜码已使用,硬盘已挂载,请开始拷贝等提醒,否则,管理人员输入工单号、硬盘号,点击“发送异常”按钮,然后***短信通知用户和***人某工单的硬盘无法挂载,请换盘重新挂载或拔盘。
当生成开柜码的条件为重新挂载时,则***卸载硬盘,等待***人开柜拔盘重新插盘,之后***自动识别硬盘并自动挂载至目标目录,判断硬盘挂载成功,如果成功,则短信通知用户和***人开柜码已使用,硬盘已挂载,请开始拷贝等提醒;如果硬盘挂载失败,则短信通知管理员(这里可以为装置维修人员等)进行异常处理;判断异常处理是否成功,异常处理成功,则则短信通知用户和***人开柜码已使用,硬盘已挂载,请开始拷贝等提醒,否则,管理人员输入工单号、硬盘号,点击“发送异常”按钮,然后***短信通知用户和***人某工单的硬盘无法挂载,请换盘重新挂载或拔盘。
当生成开柜码的条件为数据拷贝完成时(对应于用户确认指令),等待***人开柜拔盘,当***人开柜拔盘之后,判断是否有未完成的硬盘,如果没有未完成的硬盘,则判断是否异常工单,如果不是异常工单,则短信通知用户和***人开柜码已使用,硬盘已完成拷贝,工单已完成,之后***回收硬盘格,结束。如果判断有未完成的硬盘,则判断是否异常工单,如果是,则短信通知用户和***人开柜码y已使用,x工单z硬盘由于无法挂载拔盘,之后返回到用户查看拷贝任务;如果不是异常工单,则短信通知用户和***人开柜码y已使用,x工单z硬盘完成拷贝,之后返回到用户查看拷贝任务。如果判断没有未完成的硬盘且判断为异常工单,则短信通知用户和***人开柜码y已使用,z硬盘无法挂载x工单结束,之后返***回收硬盘格,结束。
进一步,当判断用户点击“重新加载”或“完成”指令时,生成开柜码,并短信通知用户和***人工单号、硬盘号和开柜码。
图3为本发明的所述数据拷贝装置的一***功能图。在图3中,***调用API来验证表单,当验证没有成功时,结束,否则获取TOKEN,执行Flask,调用短信API和包含开柜模块、关柜模块和提醒模块的腾讯云平台通信;调用MountAPI和可实现硬盘状态查询、挂载、卸载等功能的ShellScript通信;调用CheckProcAPI和查询数据拷贝任务状态查询、异常、完成等功能的用户拷贝脚本通信;调用柜子API和可实现验证码、开柜、关柜等功能的智能硬盘柜通信。
此外,根据公开的本发明的说明书,本发明的其他实现对于本领域的技术人员是明显的。实施方式和/或实施方式的各个方面可以单独或者以任何组合用于本发明的***和方法中。说明书和其中的示例应该是仅仅看作示例性,本发明的实际范围和精神由所附权利要求书表示。

Claims (10)

1.一种用于计算集群的数据拷贝装置,其特征在于,包括:第一储存单元、N个第二储存单元S1,S2,…,SN,还包括装置控制器、放置于第一储存单元中的数据拷贝服务器;
其中,所述数据拷贝服务器,与所述装置控制器连接,且通过所述计算集群的核心交换机与Web服务器连接;
进一步,所述数据拷贝服务器,用于在接收到用户通过所述Web服务器提交的新建数据拷贝任务请求时,生成第一类型任务属性数据并将其发送至所述计算集群的管理人员和所述装置控制器;自动识别连接至所述数据拷贝服务器的移动存储设备并将移动存储设备挂载至目标挂载目录,以便于所述用户执行数据拷贝;
所述装置控制器,用于根据从所述数据拷贝服务器接收的第一类型任务属性数据,核验所述管理人员输入至该装置控制器的第一类型任务属性数据,并根据核验结果控制所述第二储存单元S1,S2,…,SN的打开;
所述N个第二储存单元S1,S2,…,SN,用于放置可连接至所述数据拷贝服务器的移动存储设备,N≥1;
所述第一类型任务属性数据至少包括:第一拷贝任务编码、第一开柜码、M个移动存储设备号D1,D2,…,DM,1≤M≤N,所述第一拷贝任务编码为用于唯一确定所述数据拷贝任务的标识信息,所述第一开柜码用于验证是否可以打开所述N个第二储存单元S1,S2,…,SN中的一个或多个。
2.根据权利要求1所述的数据拷贝装置,其特征在于,N的取值范围为[10,50]。
3.根据权利要求1所述的数据拷贝装置,其特征在于,所述数据拷贝服务器在接收到用户通过所述Web服务器提交的新建数据拷贝任务请求时,生成第一类型任务属性数据并将其发送至所述计算集群的管理人员和所述装置控制器具体包括:
步骤10,在接收到用户通过所述Web服务器提交的新建数据拷贝任务请求时,检测是否存在闲置的第二储存单元;
步骤20,如果存在闲置的第二储存单元,获取闲置的第二储存单元的总量Q以及用户输入的数据拷贝任务相关数据,其中,所述数据拷贝任务相关数据包括M,1≤Q≤N;
步骤30,基于所述总量Q验证所述数据拷贝任务相关数据,当验证成功后,获取所述数据拷贝任务挂载的目标挂载目录并生成所述第一类型任务属性数据,将所述第一类型任务属性数据发送至所述计算集群的管理人员和所述装置控制器。
4.根据权利要求3所述的数据拷贝装置,其特征在于,所述数据拷贝服务器还可以接收用户通过所述Web服务器提交的重新挂载指令;且所述数据拷贝服务器在接收到用户提交的重新挂载指令时,执行以下方法:
步骤100,生成所述数据拷贝任务的第二类型任务属性数据,其中,所述第二类型任务属性数据至少包括第二开柜码、第二移动存储设备号B1,B2,…,BK,K≥1,所述第二开柜码用于数据拷贝服务器重新打开未成功挂载移动存储设备的第二储存单元以挂载与第二移动存储设备号B1,B2,…,BK对应的移动存储设备;
步骤200,将第三类型任务属性数据发送至所述用户、所述计算集群的管理人员和所述装置控制器,其中,所述第三类型任务属性数据包括所述第二类型任务属性数据、所述第一类型任务属性数据中的第一拷贝任务编码。
5.根据权利要求4所述的数据拷贝装置,其特征在于,所述数据拷贝服务器还可以接收用户通过所述Web服务器提交的用户确认指令;且所述数据拷贝服务器在接收到用户提交的用户确认指令时,执行以下方法:
步骤0001,生成所述数据拷贝任务的第四类型任务属性数据,其中,所述第四类型任务属性数据至少包括第四开柜码,所述第四开柜码用于打开存放和所述第一拷贝任务编码对应的移动存储设备的第二储存单元;
步骤0002,将第四类型任务属性数据中的第四开柜码和所述第一类型任务属性数据中的第一拷贝任务编码发送至所述用户、所述计算集群的管理人员和所述装置控制器。
6.根据权利要求5所述的数据拷贝装置,其特征在于,所述第一类型任务属性数据、所述第二类型任务属性数据和第四类型任务属性数据还可以包括用户请求指令类型。
7.根据权利要求6所述的数据拷贝装置,其特征在于,所述数据拷贝服务器还可以执行以下方法:
步骤1000,获取用户请求指令类型;
步骤2000,如果所述用户请求指令类型为新建指令,执行所述自动识别连接至所述数据拷贝服务器的移动存储设备并将移动存储设备挂载至目标挂载目录,以便于所述用户执行数据拷贝,如果所述用户请求指令类型为重新挂载指令,执行步骤3001,如果所述用户请求指令类型为用户确认指令,执行步骤3002;
步骤3001,卸载与移动存储设备号E1,E2,…,EK对应的未挂载成功的移动存储设备,等待***与第二移动存储设备号B1,B2,…,BK对应的移动存储设备,在检测到有移动存储设备***时自动识别与第二移动存储设备号B1,B2,…,BK对应的移动存储设备并将与第二移动存储设备号B1,B2,…,BK对应的移动存储设备自动挂载至所述目标挂载目录,方法结束,其中,Eh属于{D1,D2,…,DM},1≤h≤M;
步骤3002,等待拔出与所述第一拷贝任务编码对应的移动存储设备,在检测到拔出与所述第一拷贝任务编码对应的移动存储设备后,方法结束。
8.根据权利要求1所述的数据拷贝装置,其特征在于,根据从所述数据拷贝服务器接收的第一类型任务属性数据,核验所述管理人员输入至该装置控制器的第一类型任务属性数据,并根据核验结果控制所述第二储存单元S1,S2,…,SN的打开具体包括:
步骤001,比较从所述数据拷贝服务器接收的第一类型任务属性数据中的第一开柜码和所述管理人员输入至所述装置控制器的所述第一类型任务属性数据中的第一开柜码是否相同;
步骤002,如果相同,检测是否有闲置的第二储存单元;
步骤003,当存在闲置的第二储存单元,获取所有闲置的第二储存单元T1,T2,…,TP,如果P≥M,按照预设规则打开T1,T2,…,TP中的M个,其中,1≤P≤N,且Tj属于{S1,S2,…,SN},1≤j≤P。
9.根据权利要求7所述的数据拷贝装置,其特征在于,所述装置控制器还可以用于根据从所述数据拷贝服务器接收的第三类型任务属性数据,核验所述管理人员输入至该装置控制器的第三类型任务属性数据,并根据核验结果控制第二储存单元S1,S2,…,SN的打开;其中,根据从所述数据拷贝服务器接收的第三类型任务属性数据,核验所述管理人员输入至该装置控制器的第三类型任务属性数据,并根据核验结果控制第二储存单元S1,S2,…,SN的打开具体包括:
步骤01,比较从所述数据拷贝服务器接收的第三类型任务属性数据包括的开柜码和所述管理人员输入至该装置控制器的第三类型任务属性数据包括的开柜码是否相同;
步骤02,如果相同,获取未挂载成功的移动存储设备的移动存储设备号E1,E2,…,EK并打开与移动存储设备号E1,E2,…,EK对应的第二储存单元。
10.根据权利要求9所述的数据拷贝装置,其特征在于,所述装置控制器还包括输入模块,使得所述管理人员输入所述第一类型任务属性数据、第三类型任务属性数据或第四类型任务属性数据。
CN201910625533.1A 2019-07-11 2019-07-11 一种用于计算集群的数据拷贝装置 Active CN110365764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625533.1A CN110365764B (zh) 2019-07-11 2019-07-11 一种用于计算集群的数据拷贝装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625533.1A CN110365764B (zh) 2019-07-11 2019-07-11 一种用于计算集群的数据拷贝装置

Publications (2)

Publication Number Publication Date
CN110365764A CN110365764A (zh) 2019-10-22
CN110365764B true CN110365764B (zh) 2020-08-11

Family

ID=68218938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625533.1A Active CN110365764B (zh) 2019-07-11 2019-07-11 一种用于计算集群的数据拷贝装置

Country Status (1)

Country Link
CN (1) CN110365764B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021195803A1 (zh) * 2020-03-28 2021-10-07 南京博士汇创产业发展有限公司 一种网络安全应急处置装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101097539A (zh) * 2006-06-30 2008-01-02 联想(北京)有限公司 一种移动存储设备的数据拷贝装置与方法
CN101878470A (zh) * 2007-11-27 2010-11-03 国际商业机器公司 用于管理存储拷贝服务***的装置以及方法
CN106844254A (zh) * 2016-12-29 2017-06-13 武汉烽火众智数字技术有限责任公司 移动存储介质切换装置、数据摆渡***及方法
CN107483434A (zh) * 2017-08-10 2017-12-15 郑州云海信息技术有限公司 一种移动存储设备的管理***及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728848B2 (en) * 2001-06-11 2004-04-27 Hitachi, Ltd. Method and system for backing up storage system data
US20150212913A1 (en) * 2014-01-28 2015-07-30 International Business Machines Corporation Performance mitigation of logical unit numbers (luns) using small computer system interface (scsi) inband management

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101097539A (zh) * 2006-06-30 2008-01-02 联想(北京)有限公司 一种移动存储设备的数据拷贝装置与方法
CN101878470A (zh) * 2007-11-27 2010-11-03 国际商业机器公司 用于管理存储拷贝服务***的装置以及方法
CN106844254A (zh) * 2016-12-29 2017-06-13 武汉烽火众智数字技术有限责任公司 移动存储介质切换装置、数据摆渡***及方法
CN107483434A (zh) * 2017-08-10 2017-12-15 郑州云海信息技术有限公司 一种移动存储设备的管理***及方法

Also Published As

Publication number Publication date
CN110365764A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN111582827B (zh) 一种审批流程控制方法及***
CN104834602B (zh) 一种程序发布方法、装置和程序发布***
CN100583114C (zh) 用于远程安全启用的***和方法
US20060129617A1 (en) Method for controlling an information processing apparatus
CN106648781B (zh) 通信设备远程固件升级方法及***
CN103761131B (zh) 一种基于内存共享的多板卡部件自动更新方法及***
CN108768709A (zh) 一种网络设备的串口远程升级方法
CN110365764B (zh) 一种用于计算集群的数据拷贝装置
CN107483261A (zh) 一种升级方法和网关设备
CN113885911A (zh) 基于rpa及ai的机器人版本更新方法及其装置
CN113382056A (zh) 数据上报方法、装置、设备、存储介质及***
JPH0612347A (ja) 分散コンピュータシステム上での遠隔操作コマンド実行制御方式
CN108769241B (zh) 一种热泵机组远程控制的操作方法、装置及***
CN112099911B (zh) 一种基于Kubernetes构建动态资源准入控制器的方法
CN113296795A (zh) 应用部署方法、装置、设备、存储介质及程序产品
CN110852571B (zh) 加盟商的房源管理方法、计算机可读存储介质及服务器
CN109684274B (zh) 文件归档方法、设备及计算机可读存储介质
CN103777982B (zh) 开放root权限更新***的方法及其移动终端
KR101758337B1 (ko) 메시지의 중복알림을 방지하는 방법, 저장 매체 및 이를 운용하는 사용자 장치
CN100502318C (zh) 网元设备接入网管***时的兼容性检测方法及网管***
CN115220871A (zh) 一种虚拟机克隆方法、装置及存储介质
CN108001489A (zh) 一种控制命令交互方法、调度工作站及监控***
CN111752627A (zh) 一种云环境中虚拟机的外部设备挂载方法及***
CN112416805A (zh) 一种测试管理云平台和方法
CN114070856A (zh) 数据处理方法、装置、***、运维审计设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant