CN112491953B - 支持云平台镜像数据续传的实现方法、***、设备和介质 - Google Patents

支持云平台镜像数据续传的实现方法、***、设备和介质 Download PDF

Info

Publication number
CN112491953B
CN112491953B CN202011129915.4A CN202011129915A CN112491953B CN 112491953 B CN112491953 B CN 112491953B CN 202011129915 A CN202011129915 A CN 202011129915A CN 112491953 B CN112491953 B CN 112491953B
Authority
CN
China
Prior art keywords
mirror image
image data
cloud platform
data
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011129915.4A
Other languages
English (en)
Other versions
CN112491953A (zh
Inventor
徐源浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011129915.4A priority Critical patent/CN112491953B/zh
Publication of CN112491953A publication Critical patent/CN112491953A/zh
Application granted granted Critical
Publication of CN112491953B publication Critical patent/CN112491953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/1085—Resource delivery mechanisms involving dynamic management of active down- or uploading connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种支持云平台镜像数据续传的实现方法、***、设备和存储介质，属于数据传输技术领域。所述方法包括用户再次上传镜像数据并下发任务给云平台；云平台根据用户上一次上传镜像数据的ID到云平台的glance服务中进行查询，并判断当前上传的镜像数据是否为数据续传；利用所述glance服务查询确定当前上传镜像数据的续传点；云平台接收到用户上传的镜像数据，并计算镜像数据的MD5值和镜像偏移量；将镜像数据存储到glance服务后端，并对镜像数据的镜像偏移量和临时MD5值进行删除。所述实现***包括与所述方法的步骤对应的模块。

Description

支持云平台镜像数据续传的实现方法、***、设备和介质
技术领域
本发明提出了一种支持云平台镜像数据续传的实现方法、***、设备和存储介质，属于数据传输技术领域。
背景技术
用户在日常使用云平台创建云主机时，往往需要使用镜像作为云主机的***，比如windows、centos或Linux等等。用户在使用镜像文件创建云主机之前需要首先让管理员将镜像上传到云平台存储后端由glance服务对镜像数据进行管理，一般***镜像数据文件都比较大，在上传数据过程中会由于网络不好或平台服务掉电等原因，导致镜像数据上传失败而需要管理员再次重新上传，如果由于网络原因导致的镜像文件上传失败，则再次上传可能还会出现同样问题，云平台用户反复上传镜像失败对用户体验极其不友好。
发明内容
本发明提供了一种支持云平台镜像数据续传的实现方法、***、设备和存储介质，在网络不好导致云平台传入数据效率低甚至传输断连情况下，支持用户接着上次已经传输到glance后端的数据继续上传，避免重复上传镜像数据造成用户浪费时间及体验不友好的问题。所采取的技术方案如下：
一种支持云平台镜像数据续传的实现方法，所述实现方法包括：
用户再次上传镜像数据并下发任务给云平台；
所述云平台根据用户上一次上传镜像数据的ID到所述云平台的glance服务中进行查询，并判断当前上传的镜像数据是否为数据续传；如果判断结果为当前上传的镜像数据是数据续传，则执行续传点确定步骤；如果判断结果为当前上传的镜像数据不是数据续传，则直接执行接收数据步骤；
续传点确定：利用所述glance服务查询确定当前上传镜像数据的续传点；
接收数据：所述云平台接收到用户上传的镜像数据，并计算所述镜像数据的MD5值和镜像偏移量；
将所述镜像数据存储到glance服务后端，并对所述镜像数据的镜像偏移量和临时MD5值进行删除。
进一步地，利用所述glance服务查询确定当前上传镜像数据的续传点，包括：
利用所述glance服务查询获取上次镜像数据上传的镜像偏移量和已完成上传的镜像数据的MD5值；
通过镜像偏移量和所述MD5值确定当前上传镜像数据的续传点；
所述云平台按照所述续传点将镜像数据上传至glance服务。
进一步地，所述云平台接收到用户上传的镜像数据，并计算所述镜像数据的MD5值和镜像偏移量，包括：
所述云平台利用glance服务接收到用户上传的镜像数据；
将接收到的所述镜像数据进行分块读取，获得多个镜像块，并计算每个镜像块的MD5值；
将每个镜像块对应的数据写入glance服务的存储后端，根据已写入镜像数据的数据大小与本次写入存储后端镜像块对应数据的大小计算镜像数据的偏移量offset值，所述偏移量offset值即为镜像偏移量；
所述glance服务后端更新镜像数据的MD5值和镜像偏移量，将更新后MD5值和镜像偏移量存储至数据库。
进一步地，将所述镜像数据存储到glance服务后端，并对所述镜像数据的镜像偏移量和临时MD5值进行删除，包括：
将每块镜像数据写入glance服务的存储后端；
镜像数据进行上传直至上传完毕，所述镜像数据完全写入glance服务的存储后端；
清理所述镜像数据的镜像偏移量和临时MD5值，完成当前镜像数据至云平台的上传。
一种支持云平台镜像数据续传的实现***，所述实现***包括：
云平台界面模块，用于为用户再次上传镜像数据并下发任务给云平台提供界面；
查询判断模块，用于所述云平台根据用户上一次上传镜像数据的ID到所述云平台的glance服务中进行查询，并判断当前上传的镜像数据是否为数据续传；如果判断结果为当前上传的镜像数据是数据续传，则启动续传点确定模块；如果判断结果为当前上传的镜像数据不是数据续传，则启动接收数据模块；
续传点确定模块，用于利用所述glance服务查询确定当前上传镜像数据的续传点；
接收数据模块，用于所述云平台接收到用户上传的镜像数据，并计算所述镜像数据的MD5值和镜像偏移量；
存储清除模块，用于将所述镜像数据存储到glance服务后端，并对所述镜像数据的镜像偏移量和临时MD5值进行删除。
进一步地，所述续传点确定模块包括：
获取模块，用于利用所述glance服务查询获取上次镜像数据上传的镜像偏移量和已完成上传的镜像数据的MD5值；
续传点获取模块，用于通过镜像偏移量和所述MD5值确定当前上传镜像数据的续传点；
上传数据模块，用于控制所述云平台按照所述续传点将镜像数据上传至glance服务。
进一步地，所述接收数据模块包括：
接收模块，用于所述云平台利用glance服务接收到用户上传的镜像数据；
分块模块，用于将接收到的所述镜像数据进行分块读取，获得多个镜像块，并计算每个镜像块的MD5值；
偏移量获取模块，用于将每个镜像块对应的数据写入glance服务的存储后端，根据已写入镜像数据的数据大小与本次写入存储后端镜像块对应数据的大小计算镜像数据的偏移量offset值，所述偏移量offset值即为镜像偏移量；
存储模块，用于所述glance服务后端更新镜像数据的MD5值和镜像偏移量，将更新后MD5值和镜像偏移量存储至数据库。
进一步地，所述存储清除模块包括：
后端存储模块，用于镜像数据进行上传直至上传完毕，所述镜像数据完全写入glance服务的存储后端；
清理模块，用于清理所述镜像数据的镜像偏移量和临时MD5值，完成当前镜像数据至云平台的上传。
一种支持云平台镜像数据续传的设备，所述设备包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行时实现上述任意一项所述的实现方法。
一种非临时性计算机可读存储介质，包括：存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，实现上述任意一项所述的实现方法。
本发明有益效果：
本发明提出一种支持云平台镜像数据续传的实现方法、***、设备和存储介质，针对用户在日常上传镜像数据失败的情况下无需重新上传全量镜像数据，可以接着最近一次上传到云平台的镜像数据继续上传同时保证用户镜像数据完整上传至云平台。本次发明提出一种支持云平台镜像数据续传的实现方法、***、设备和存储介质可以有效避免用户在上传镜像数据时由于网络等原因上传镜像失败后需要重复上传全量镜像数据的问题，在一定程度可以节省用户上传镜像数据到云平台减少用户网络与云平台内部网络压力，尤其在网络较差的情况下，能够极大程度上做到网络压力的缓解。
附图说明
图1为本发明所述方法的流程图；
图2为本发明所述方法的原理图一；
图3为本发明所述方法的原理图二；
图4为发明所述***的***框图；
图5为本发明所述设备的示意图；
图6为本发明所述存储介质示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供了一种支持云平台镜像数据续传的实现方法、***、设备和存储介质，支持用户可以续传上次未完成上传的镜像数据到云平台，防止用户在已上传部分镜像到glance后端由于服务断连导致用户重复上传镜像数据。
本发明实施例提出一种支持云平台镜像数据续传的实现方法，如图1至图3所示，用户在上传镜像到云平台时，云平台管理员由于需要上传***等镜像文件到云平台以便创建云主机供平台用户使用，在镜像文件上传到云平台的过程中由于镜像文件比较大，平台用户网与平台内部网络的通信质量较差，导致镜像文件上传一部分时数据传输断开，在此情况下，利用如下所述实现方法进行镜像数据传输，具体为：
所述实现方法包括：
S1、用户再次上传镜像数据并下发任务给云平台；
S2、所述云平台根据用户上一次上传镜像数据的ID到所述云平台的glance服务中进行查询，并判断当前上传的镜像数据是否为数据续传；如果判断结果为当前上传的镜像数据是数据续传，则执行步骤S3；如果判断结果为当前上传的镜像数据不是数据续传，则直接执行步骤S4；
S3、利用所述glance服务查询确定当前上传镜像数据的续传点；
S4、所述云平台接收到用户上传的镜像数据，并计算所述镜像数据的MD5值和镜像偏移量；
S5、将所述镜像数据存储到glance服务后端，并对所述镜像数据的镜像偏移量和临时MD5值进行删除。
其中，S3、利用所述glance服务查询确定当前上传镜像数据的续传点，包括：
S301、利用镜像ID到所述glance服务查询镜像properties信息，获取上次镜像数据上传的偏移量offset值和已完成上传的镜像数据的MD5值；其中，所述偏移量offset值即为镜像偏移量；
S302、通过镜像偏移量和所述MD5值确定当前上传镜像数据的续传点；
S303、所述云平台按照所述续传点将镜像数据上传至glance服务。
S4、所述云平台接收到用户上传的镜像数据，并计算所述镜像数据的MD5值和镜像偏移量，包括：
S401、所述云平台利用glance服务接收到用户上传的镜像数据；
S402、将接收到的所述镜像数据进行分块读取，获得多个镜像块，并计算每个镜像块的MD5值；所述镜像块得的数据大小可以为8M；
S403、将每个镜像块对应的数据写入glance服务的存储后端，根据已写入镜像数据的数据大小与本次写入存储后端镜像块对应数据的大小计算镜像数据的偏移量offset值，所述偏移量offset值即为镜像偏移量；
S404、所述glance服务后端更新镜像数据的MD5值和镜像偏移量，将更新后MD5值和镜像偏移量存储至数据库。
S5、将所述镜像数据存储到glance服务后端，并对所述镜像数据的镜像偏移量和临时MD5值进行删除，包括：
S501、将每块镜像数据写入glance服务的存储后端；
S502、镜像数据进行上传直至上传完毕，所述镜像数据完全写入glance服务的存储后端；
S503、清理所述镜像数据的镜像偏移量和临时MD5值，完成当前镜像数据至云平台的上传。
上述技术方案的工作原理为：本发明提出的支持云平台镜像数据续传的实现方法通过云平台界面，在云平台用户在上传一部分镜像数据由于某种原因导致镜像上传任务中断时，支持用户继续上传镜像数据；然后云平台通过查询上次上传镜像数据的偏移位置和已上传到存储后端的数据MD5值确认本次镜像数据续传点；之后利用云平台glance服务上传镜像到存储后端逻辑将剩余镜像数据写入存储后端并计算上传镜像的偏移量和MD5值保存在共享存储(如NFS或者数据库等供多实例glance服务查询的共享存储后端)；最后待镜像数据完全上传云平台后清理镜像数据偏移量和临时MD5值，完成云平台镜像数据上传。
上述技术方案的效果为：针对用户在日常上传镜像数据失败的情况下无需重新上传全量镜像数据，可以接着最近一次上传到云平台的镜像数据继续上传同时保证用户镜像数据完整上传至云平台。可以有效避免用户在上传镜像数据时由于网络等原因上传镜像失败后需要重复上传全量镜像数据的问题，在一定程度可以节省用户上传镜像数据到云平台减少用户网络与云平台内部网络压力，尤其在网络较差的情况下，能够极大程度上做到网络压力的缓解。
本发明实施例提出一种支持云平台镜像数据续传的实现***，如图4所示，所述实现***包括：
云平台界面模块，用于为用户再次上传镜像数据并下发任务给云平台提供界面；
查询判断模块，用于所述云平台根据用户上一次上传镜像数据的ID到所述云平台的glance服务中进行查询，并判断当前上传的镜像数据是否为数据续传；如果判断结果为当前上传的镜像数据是数据续传，则启动续传点确定模块；如果判断结果为当前上传的镜像数据不是数据续传，则启动接收数据模块；
续传点确定模块，用于利用所述glance服务查询确定当前上传镜像数据的续传点；
接收数据模块，用于所述云平台接收到用户上传的镜像数据，并计算所述镜像数据的MD5值和镜像偏移量；
存储清除模块，用于将所述镜像数据存储到glance服务后端，并对所述镜像数据的镜像偏移量和临时MD5值进行删除。
其中，所述续传点确定模块包括：
获取模块，用于利用所述glance服务查询获取上次镜像数据上传的镜像偏移量和已完成上传的镜像数据的MD5值；
续传点获取模块，用于通过镜像偏移量和所述MD5值确定当前上传镜像数据的续传点；
上传数据模块，用于控制所述云平台按照所述续传点将镜像数据上传至glance服务。
所述接收数据模块包括：
接收模块，用于所述云平台利用glance服务接收到用户上传的镜像数据；
分块模块，用于将接收到的所述镜像数据进行分块读取，获得多个镜像块，并计算每个镜像块的MD5值；
偏移量获取模块，用于将每个镜像块对应的数据写入glance服务的存储后端，根据已写入镜像数据的数据大小与本次写入存储后端镜像块对应数据的大小计算镜像数据的偏移量offset值，所述偏移量offset值即为镜像偏移量；
存储模块，用于所述glance服务后端更新镜像数据的MD5值和镜像偏移量，将更新后MD5值和镜像偏移量存储至数据库。
所述存储清除模块包括：
后端存储模块，用于镜像数据进行上传直至上传完毕，所述镜像数据完全写入glance服务的存储后端；
清理模块，用于清理所述镜像数据的镜像偏移量和临时MD5值，完成当前镜像数据至云平台的上传。
上述技术方案的工作原理为：用户下发云平台创建镜像请求，由于镜像文件过大或网络环境不好导致镜像A一部分A1已经存入云平台后端，而镜像剩余部分数据A2未来得及上传至云平台存储后端(这里假设A＝A1+A2)用户创建镜像的请求就断开；所述支持云平台镜像数据续传的实现***控制云平台根据镜像A的任务状态以及网络断连等可以判断镜像上传未完成，界面可以提示用户继续创建镜像；用户点击继续创建镜像A；所述云平台接收到继续创建镜像A请求，到glance服务获取镜像A的上传偏移量offset_latest和最后一次上传的镜像数据块的md5值。所述实现***控制云平台根据最近一次上传的偏移量和镜像块md5值计算获得镜像数据的续传点，然后由续传点开始给glance传输镜像剩余数据。glance服务接收镜像数据，并更新最新写入存储后端的镜像块img_block的md5值(镜像块数据通过哈希算法获得)和镜像偏移量offset＝offset_latest+img_block.size到镜像A的元数据中。glance确认镜像数据完全写入云平台存储后端，同时清理镜像A元数据中的最后镜像块md5值和偏移量。
上述技术方案的效果为：针对用户在日常上传镜像数据失败的情况下无需重新上传全量镜像数据，可以接着最近一次上传到云平台的镜像数据继续上传同时保证用户镜像数据完整上传至云平台。可以有效避免用户在上传镜像数据时由于网络等原因上传镜像失败后需要重复上传全量镜像数据的问题，在一定程度可以节省用户上传镜像数据到云平台减少用户网络与云平台内部网络压力，尤其在网络较差的情况下，能够极大程度上做到网络压力的缓解。
一种支持云平台镜像数据续传的设备，所述设备包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行时实现上述任意一项所述的实现方法。如图5所示。所述设备包括至少一个存储单元11、至少一个处理器12以及连接不同平台***的总线13。
存储单元11可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)111和/或高速缓存存储单元112，还可以进一步包括只读存储单元(ROM)113。
其中，存储单元11还存储有程序产品2，程序产品2可以被处理器12执行，使得处理器12执行本申请实施例中一种支持云平台镜像数据续传的实现方法的步骤(如图1所示)。存储单元11还可以包括具有一组(至少一个)程序模块115的程序/实用工具114，这样的程序模块包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器12可以执行上述的程序产品2，以及可以执行程序/实用工具114。
总线13可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
一种支持云平台镜像数据续传的设备1也可以与一个或多个外部设备14例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该设备1交互的设备通信，和/或与使得该设备1能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口15进行。并且，设备1还可以通过网络适配器16与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器16可以通过总线13与设备1的其它模块通信。应当明白，尽管图5中未示出，可以结合设备1使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储平台等。
一种非临时性计算机可读存储介质，如图6所示，包括：存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，实现上述任意一所述的方法。具体的，参见图4，本发明实施例还提供了一种支持云平台镜像数据续传的计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本发明实施例中一种支持云平台镜像数据续传的实现方法的步骤(如图1所示)。图6示出了本实施例提供的用于实现上述方法的程序产品2，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品2不限于此，在本发明中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。程序产品2可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种支持云平台镜像数据续传的实现方法，其特征在于，所述实现方法包括：
用户再次上传镜像数据并下发任务给云平台；
所述云平台根据用户上一次上传镜像数据的ID到所述云平台的glance服务中进行查询，并判断当前上传的镜像数据是否为数据续传；如果判断结果为当前上传的镜像数据是数据续传，则执行续传点确定步骤；如果判断结果为当前上传的镜像数据不是数据续传，则直接执行接收数据步骤；
续传点确定：利用所述glance服务查询确定当前上传镜像数据的续传点；
接收数据：所述云平台接收到用户上传的镜像数据，并计算所述镜像数据的MD5值和镜像偏移量；
将所述镜像数据存储到glance服务后端，并对所述镜像数据的镜像偏移量和临时MD5值进行删除。
2.根据权利要求1所述实现方法，其特征在于，利用所述glance服务查询确定当前上传镜像数据的续传点，包括：
利用所述glance服务查询获取上次镜像数据上传的镜像偏移量和已完成上传的镜像数据的MD5值；
通过镜像偏移量和所述MD5值确定当前上传镜像数据的续传点；
所述云平台按照所述续传点将镜像数据上传至glance服务。
3.根据权利要求1所述实现方法，其特征在于，所述云平台接收到用户上传的镜像数据，并计算所述镜像数据的MD5值和镜像偏移量，包括：
所述云平台利用glance服务接收到用户上传的镜像数据；
将接收到的所述镜像数据进行分块读取，获得多个镜像块，并计算每个镜像块的MD5值；
将每个镜像块对应的数据写入glance服务的存储后端，根据已写入镜像数据的数据大小与本次写入存储后端镜像块对应数据的大小计算镜像数据的偏移量offset值，所述偏移量offset值即为镜像偏移量；
所述glance服务后端更新镜像数据的MD5值和镜像偏移量，将更新后MD5值和镜像偏移量存储至数据库。
4.根据权利要求1所述实现方法，其特征在于，将所述镜像数据存储到glance服务后端，并对所述镜像数据的镜像偏移量和临时MD5值进行删除，包括：
将每块镜像数据写入glance服务的存储后端；
镜像数据进行上传直至上传完毕，所述镜像数据完全写入glance服务的存储后端；
清理所述镜像数据的镜像偏移量和临时MD5值，完成当前镜像数据至云平台的上传。
5.一种支持云平台镜像数据续传的实现***，其特征在于，所述实现***包括：
云平台界面模块，用于为用户再次上传镜像数据并下发任务给云平台提供界面；
查询判断模块，用于所述云平台根据用户上一次上传镜像数据的ID到所述云平台的glance服务中进行查询，并判断当前上传的镜像数据是否为数据续传；如果判断结果为当前上传的镜像数据是数据续传，则启动续传点确定模块；如果判断结果为当前上传的镜像数据不是数据续传，则启动接收数据模块；
续传点确定模块，用于利用所述glance服务查询确定当前上传镜像数据的续传点；
接收数据模块，用于所述云平台接收到用户上传的镜像数据，并计算所述镜像数据的MD5值和镜像偏移量；
存储清除模块，用于将所述镜像数据存储到glance服务后端，并对所述镜像数据的镜像偏移量和临时MD5值进行删除。
6.根据权利要求5所述实现***，其特征在于，所述续传点确定模块包括：
获取模块，用于利用所述glance服务查询获取上次镜像数据上传的镜像偏移量和已完成上传的镜像数据的MD5值；
续传点获取模块，用于通过镜像偏移量和所述MD5值确定当前上传镜像数据的续传点；
上传数据模块，用于控制所述云平台按照所述续传点将镜像数据上传至glance服务。
7.根据权利要求5所述实现***，其特征在于，所述接收数据模块包括：
接收模块，用于所述云平台利用glance服务接收到用户上传的镜像数据；
分块模块，用于将接收到的所述镜像数据进行分块读取，获得多个镜像块，并计算每个镜像块的MD5值；
偏移量获取模块，用于将每个镜像块对应的数据写入glance服务的存储后端，根据已写入镜像数据的数据大小与本次写入存储后端镜像块对应数据的大小计算镜像数据的偏移量offset值，所述偏移量offset值即为镜像偏移量；
存储模块，用于所述glance服务后端更新镜像数据的MD5值和镜像偏移量，将更新后MD5值和镜像偏移量存储至数据库。
8.根据权利要求5所述实现***，其特征在于，所述存储清除模块包括：
后端存储模块，用于镜像数据进行上传直至上传完毕，所述镜像数据完全写入glance服务的存储后端；
清理模块，用于清理所述镜像数据的镜像偏移量和临时MD5值，完成当前镜像数据至云平台的上传。
9.一种支持云平台镜像数据续传的设备，其特征在于，所述设备包括：
处理器；
配置为存储可执行指令的存储器；
其中，所述处理器被配置为：执行可执行指令时实现权利要求1-4任意一项所述的实现方法。
10.一种非临时性计算机可读存储介质，其特征在于，包括：存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，实现权利要求1-4任意一项所述的实现方法。
CN202011129915.4A 2020-10-21 2020-10-21 支持云平台镜像数据续传的实现方法、***、设备和介质 Active CN112491953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011129915.4A CN112491953B (zh) 2020-10-21 2020-10-21 支持云平台镜像数据续传的实现方法、***、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011129915.4A CN112491953B (zh) 2020-10-21 2020-10-21 支持云平台镜像数据续传的实现方法、***、设备和介质

Publications (2)

Publication Number Publication Date
CN112491953A CN112491953A (zh) 2021-03-12
CN112491953B true CN112491953B (zh) 2022-06-14

Family

ID=74927106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011129915.4A Active CN112491953B (zh) 2020-10-21 2020-10-21 支持云平台镜像数据续传的实现方法、***、设备和介质

Country Status (1)

Country Link
CN (1) CN112491953B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277723B (zh) * 2022-07-19 2024-06-18 国能信控互联技术有限公司 边缘采集历史模块基于缓冲事件的断点续传方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888695A (zh) * 2017-11-23 2018-04-06 新华三云计算技术有限公司 云平台创建镜像的方法和云平台设备
CN109104451A (zh) * 2017-06-21 2018-12-28 阿里巴巴集团控股有限公司 Docker镜像的下载方法及节点、Docker镜像的预热方法及节点
CN109783193A (zh) * 2018-12-27 2019-05-21 南京优速网络科技有限公司 一种可在多域云平台中复用的镜像文件管理方法
CN110336883A (zh) * 2019-07-09 2019-10-15 深信服科技股份有限公司 镜像数据传输方法、装置、设备及计算机可读存储介质
CN111221556A (zh) * 2020-01-09 2020-06-02 联陆智能交通科技(上海)有限公司 一种远程升级rsu镜像方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104451A (zh) * 2017-06-21 2018-12-28 阿里巴巴集团控股有限公司 Docker镜像的下载方法及节点、Docker镜像的预热方法及节点
CN107888695A (zh) * 2017-11-23 2018-04-06 新华三云计算技术有限公司 云平台创建镜像的方法和云平台设备
CN109783193A (zh) * 2018-12-27 2019-05-21 南京优速网络科技有限公司 一种可在多域云平台中复用的镜像文件管理方法
CN110336883A (zh) * 2019-07-09 2019-10-15 深信服科技股份有限公司 镜像数据传输方法、装置、设备及计算机可读存储介质
CN111221556A (zh) * 2020-01-09 2020-06-02 联陆智能交通科技(上海)有限公司 一种远程升级rsu镜像方法及***

Also Published As

Publication number Publication date
CN112491953A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN107122379B (zh) 收集与本地存储的数据文件相关联的事务数据
CN110891057B (zh) 一种协议转换的方法、装置、设备及存储介质
US20180349458A1 (en) Consistent query execution for big data analytics in a hybrid database
WO2021051563A1 (zh) 目标数据归档方法、装置、电子设备及计算机非易失性可读存储介质
JP2016537703A (ja) バックアップシステムの性能の改善
CN111382123B (zh) 文件存储方法、装置、设备及存储介质
CN104252466A (zh) 流计算处理方法、设备和***
CN113760509B (zh) 一种超时管理方法、装置及电子设备
CN113961510B (zh) 一种文件处理方法、装置、设备及存储介质
CN112905537B (zh) 文件处理方法、装置、电子设备和存储介质
US10802922B2 (en) Accelerated deduplication block replication
CN112491953B (zh) 支持云平台镜像数据续传的实现方法、***、设备和介质
US10574751B2 (en) Identifying data for deduplication in a network storage environment
KR20210040864A (ko) 파일 디렉터리 순회 방법, 장치, 기기, 매체 및 컴퓨터 프로그램
CN111818145A (zh) 一种文件传输方法、装置、***、设备及存储介质
US9146816B2 (en) Managing system image backup
CN110290196B (zh) 一种内容分发方法及装置
CN112925584A (zh) 基于场景的文件配置方法、设备、存储介质及程序产品
US10402373B1 (en) Filesystem redirection
US11169714B1 (en) Efficient file replication
CN111770208A (zh) 一种物联设备的控制方法和装置
CN111124291A (zh) 分布式存储***的数据存储处理方法、装置、电子设备
CN113076175B (zh) 用于虚拟机的内存共享方法及装置
US11176097B2 (en) Accelerated deduplication block replication
CN111142790A (zh) 对磁盘写请求的控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant