CN116560581A - 一种虚拟机磁盘文件迁移方法、***、存储介质及设备 - Google Patents
一种虚拟机磁盘文件迁移方法、***、存储介质及设备 Download PDFInfo
- Publication number
- CN116560581A CN116560581A CN202310579373.8A CN202310579373A CN116560581A CN 116560581 A CN116560581 A CN 116560581A CN 202310579373 A CN202310579373 A CN 202310579373A CN 116560581 A CN116560581 A CN 116560581A
- Authority
- CN
- China
- Prior art keywords
- data blocks
- disk file
- hash value
- file
- virtual machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013508 migration Methods 0.000 title claims abstract description 60
- 230000005012 migration Effects 0.000 title claims abstract description 60
- 238000007906 compression Methods 0.000 claims abstract description 34
- 230000006835 compression Effects 0.000 claims abstract description 30
- 230000004044 response Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 230000006837 decompression Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 235000013405 beer Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/137—Hash-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种虚拟机磁盘文件迁移方法、***、存储介质及设备,方法包括:响应于接收到关于虚拟机磁盘文件从源节点迁移至目标节点的指令,基于指令将源节点上的磁盘文件中的数据划分为多个数据块,并计算每个数据块的第一哈希值;判断多个数据块的第一哈希值与目标节点上已有数据块的第二哈希值是否相同;响应于若干数据块的第一哈希值与第二哈希值不同,利用压缩算法对若干数据块进行压缩,并计算压缩后的若干数据块的MD5值,并将压缩后的若干数据块进行迁移;响应于目标节点接收到压缩后的若干数据块,对其MD5值进行校验,并在校验通过后对其进行解压缩,以完成磁盘文件的迁移。本发明提高了虚拟机磁盘文件的迁移效率,减少了资源占用。
Description
技术领域
本发明涉及云计算技术领域,尤其涉及一种虚拟机磁盘文件迁移方法、***、存储介质及设备。
背景技术
随着云计算技术的发展,虚拟化技术已经成为了云计算的主要支柱之一。目前在教育、金融、政务等方面的应用越来越广泛,平台之上可以搭建各种操作***的虚拟机来运行客户的业务。虚拟机面临的主要挑战之一是管理用于存储其虚拟硬盘驱动器的大型磁盘文件,业务数据量随着时间会不断增长,会导致磁盘使用空间变得很大。磁盘文件迁移需要耗费大量时间和网络带宽,而且在迁移完成后,由于虚拟机的磁盘文件过大,还会导致目标节点上的存储空间不足,甚至可能会出现故障。因此,如何对虚拟机磁盘文件进行高效的压缩和优化,成为了当前云计算领域中一个重要的研究方向。
在当前虚拟化技术中,虚拟机跨存储池迁移是通过libvirt(对虚拟机进行管理的工具和应用程序接口)实现的,客户端读取迁移命令传入的xml文件加载到内存,连接目的端libvirt的服务接口,调用qemu-img convert接口拷贝整个磁盘,拷贝至目的存储池后,再删除掉原存储池中的磁盘。存储迁移时,每传输1M数据就会执行一次seek(一种查找函数)获取数据和空洞位置,导致seek频繁被调用。当磁盘文件很大且文件碎片化严重,文件空洞位置靠后时,seek操作会导致缓存中的文件元数据失效,不断从磁盘读取元数据,此时seek会很慢,迁移进程占用全局锁资源过久,其他的vcpu(虚拟处理器)无法获取到锁资源,导致虚拟机出现卡死。
发明内容
有鉴于此,本发明的目的在于提出一种虚拟机磁盘文件迁移方法、***、存储介质及设备,用以解决目前虚拟机磁盘文件过大时,会导致迁移效率低,且占用资源时间长的问题。
基于上述目的,本发明提供了一种虚拟机磁盘文件迁移方法,包括以下步骤:
响应于接收到关于虚拟机磁盘文件从源节点迁移至目标节点的指令,基于指令将源节点上的磁盘文件中的数据划分为多个数据块,并计算每个数据块的第一哈希值;
判断多个数据块的第一哈希值与目标节点上已有数据块的第二哈希值是否相同;
响应于若干数据块的第一哈希值与第二哈希值不同,利用压缩算法对若干数据块进行压缩,并计算压缩后的若干数据块的MD5值,并将压缩后的若干数据块进行迁移;
响应于目标节点接收到压缩后的若干数据块,对其MD5值进行校验,并在校验通过后对其进行解压缩,以完成磁盘文件的迁移。
在一些实施例中,利用压缩算法对若干数据块进行压缩包括:
利用霍夫曼压缩算法对若干数据块进行压缩。
在一些实施例中,利用霍夫曼压缩算法对若干数据块进行压缩包括:
对若干数据块进行扫描,并统计其中每个字符出现的频率,并将所有字符按照频率大小进行顺序排列,得到字符队列;
将字符队列转换为霍夫曼编码树,得到所有字符的二进制编码表,并根据二进制编码表对若干数据块中的字符串进行编码。
在一些实施例中,方法还包括:
存储压缩后的若干数据块对应的文件头,文件头包括原文件名称、文件类型以及二进制编码表。
在一些实施例中,对其进行解压缩包括:
读取文件头,并根据二进制编码表构建霍夫曼编码树;
遍历编码后的字符串,并根据霍夫曼编码树中的映射关系获得对应字符,并将对应字符还原至新文件中。
在一些实施例中,方法还包括:
响应于校验不通过,发出相应的错误提示。
在一些实施例中,方法还包括:
响应于部分数据块的第一哈希值与第二哈希值相同,确定部分数据块不进行迁移。
本发明的另一方面,还提供了一种虚拟机磁盘文件迁移***,包括:
划分模块,配置用于响应于接收到关于虚拟机磁盘文件从源节点迁移至目标节点的指令,基于指令将源节点上的磁盘文件中的数据划分为多个数据块,并计算每个数据块的第一哈希值;
判断模块,配置用于判断多个数据块的第一哈希值与目标节点上已有数据块的第二哈希值是否相同;
压缩模块,配置用于响应于若干数据块的第一哈希值与第二哈希值不同,利用压缩算法对若干数据块进行压缩,并计算压缩后的若干数据块的MD5值,并将压缩后的若干数据块进行迁移;以及
解压缩模块,配置用于响应于目标节点接收到压缩后的若干数据块,对其MD5值进行校验,并在校验通过后对其进行解压缩,以完成磁盘文件的迁移。
本发明的又一方面,还提供了一种计算机可读存储介质,存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述方法。
本发明的再一方面,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该计算机程序被处理器执行时执行上述方法。
本发明至少具有以下有益技术效果:
本发明的虚拟机磁盘文件迁移方法,通过将虚拟机磁盘文件划分为多个数据块,并计算哈希值,并判断目标节点上是否存在相同的哈希值,从而只对不存在于目标节点上的数据块进行迁移,减少了资源占用;通过采用压缩算法对数据块进行压缩后再迁移,可以大大减小磁盘文件的大小,减少虚拟机存储迁移流程所耗费的时间,降低网络带宽的消耗,从而提高磁盘文件的传输速度;并且压缩过程中可以识别到空洞数据,只针对有效数据进行压缩,压缩后的磁盘文件相较于之前占用空间更小,进一步缩短了整个存储迁移流程的时间;该方法对于虚拟机在线存储迁移或是离线存储迁移均适用,不影响虚拟机的业务运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为根据本发明实施例提供的虚拟机磁盘文件迁移方法的示意图;
图2为根据本发明实施例提供的虚拟机磁盘文件迁移方法的流程示意图;
图3为根据本发明实施例提供的字符队列转换为霍夫曼编码树的初始过程的结构示意图;
图4为根据本发明实施例提供的字符队列转换为霍夫曼编码树的中间过程的结构示意图;
图5为根据本发明实施例提供的字符队列转换的霍夫曼编码树的最终过程结构示意图;
图6为根据本发明实施例提供的基于霍夫曼编码树进行编码的结构示意图;
图7为根据本发明实施例提供的虚拟机磁盘文件迁移***的示意图;
图8为根据本发明实施例提供的实现虚拟机磁盘文件迁移方法的计算机可读存储介质的示意图;
图9为根据本发明实施例提供的执行虚拟机磁盘文件迁移方法的计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备固有的其他步骤或单元。
基于上述目的,本发明实施例的第一个方面,提出了一种虚拟机磁盘文件迁移方法的实施例。图1示出的是本发明提供的虚拟机磁盘文件迁移方法的实施例的示意图。如图1所示,本发明实施例包括如下步骤:
步骤S10、响应于接收到关于虚拟机磁盘文件从源节点迁移至目标节点的指令,基于指令将源节点上的磁盘文件中的数据划分为多个数据块,并计算每个数据块的第一哈希值;
步骤S20、判断多个数据块的第一哈希值与目标节点上已有数据块的第二哈希值是否相同;
步骤S30、响应于若干数据块的第一哈希值与第二哈希值不同,利用压缩算法对若干数据块进行压缩,并计算压缩后的若干数据块的MD5值,并将压缩后的若干数据块进行迁移;
步骤S40、响应于目标节点接收到压缩后的若干数据块,对其MD5值进行校验,并在校验通过后对其进行解压缩,以完成磁盘文件的迁移。
本发明实施例的虚拟机磁盘文件迁移方法,通过将虚拟机磁盘文件划分为多个数据块,并计算哈希值,并判断目标节点上是否存在相同的哈希值,从而只对不存在于目标节点上的数据块进行迁移,减少了资源占用;通过采用压缩算法对数据块进行压缩后再迁移,可以大大减小磁盘文件的大小,减少虚拟机存储迁移流程所耗费的时间,降低网络带宽的消耗,从而提高磁盘文件的传输速度;并且压缩过程中可以识别到空洞数据,只针对有效数据进行压缩,压缩后的磁盘文件相较于之前占用空间更小,进一步缩短了整个存储迁移流程的时间;该方法对于虚拟机在线存储迁移或是离线存储迁移均适用,不影响虚拟机的业务运行。
在一些实施例中,利用压缩算法对若干数据块进行压缩包括:利用霍夫曼压缩算法对若干数据块进行压缩。
在一些实施例中,利用霍夫曼压缩算法对若干数据块进行压缩包括:对若干数据块进行扫描,并统计其中每个字符出现的频率,并将所有字符按照频率大小进行顺序排列,得到字符队列;将字符队列转换为霍夫曼编码树,得到所有字符的二进制编码表,并根据二进制编码表对若干数据块中的字符串进行编码。
在一些实施例中,方法还包括:存储压缩后的若干数据块对应的文件头,文件头包括原文件名称、文件类型以及二进制编码表。
在一些实施例中,对其进行解压缩包括:读取文件头,并根据二进制编码表构建霍夫曼编码树;遍历编码后的字符串,并根据霍夫曼编码树中的映射关系获得对应字符,并将对应字符还原至新文件中。
在一些实施例中,方法还包括:响应于校验不通过,发出相应的错误提示。
在一些实施例中,方法还包括:响应于部分数据块的第一哈希值与第二哈希值相同,确定部分数据块不进行迁移。
图2示出了根据本发明实施例提供的虚拟机磁盘文件迁移方法的流程示意图。如图2所示,首先对虚拟机磁盘文件中的数据进行分块,并计算每个数据块的哈希值;如果源节点与目标节点上已有的数据块哈希值相同,则说明这些数据块不需要进行传输。而对于那些哈希值不相同的数据块,则采用霍夫曼压缩算法对其进行压缩,并将压缩后的数据计算MD5(信息摘要算法)值然后进行传输,远端接收数据块后先校验数据块的MD5值,确认一致后根据霍夫曼算法生成树解码数据块,从而完成整个虚拟机磁盘文件迁移流程。
采用霍夫曼压缩算法的具体压缩流程如下:
1)对若干数据块进行扫描,统计每个字符出现的频率,以确定出现最频繁的字符,该过程为霍夫曼编码树的构建,构建结果为一棵二叉树,其中的叶子节点表示数据块中出现的字符,非叶子节点表示字符出现的次数;
2)根据霍夫曼编码树对文件进行编码,将出现频率高的数据用短的二进制编码表示,而出现频率低的数据用长的二进制编码表示;编码规则基于霍夫曼编码树上的路径,当走到叶子节点时,得到的路径即为该字符的编码;
3)分别存储压缩后文件的文件头和主体数据,文件头中原文件名称、文件类型、霍夫曼编码表等信息,主体数据中存储压缩后的数据。
4)对压缩后的文件进行解压缩时,先读取文件头信息,根据霍夫曼编码表构建霍夫曼树。然后遍历主体数据中的每个编码,根据霍夫曼树中的映射获得对应字符,并将字符还原到新文件中。
以下举例说明编码压缩过程:
计算机在存储数据时,底层实际存储的就是二进制的0和1。如存储一段字符:“beep boop beer!”,通过ASCII(American Standard Code for InformationInterchange,美国信息交换标准代码)编码后的结果为62 65 6570 20 62 6F 6F 70 2062 65 65 72 21(十六进制),总共15*8bits,即15个字节。
①首先统计每个字符出现的频率,统计后结果如下表1所示:
表1
字符 | 次数 |
b | 3 |
e | 4 |
p | 2 |
” | 2 |
o | 2 |
r | 1 |
! | 1 |
②把这些字符安装出现频率放在有优先级排列的字符队列,从左至右,频率逐渐增加,如下表2所示:
表2
r | ! | p | o | ” | b | e |
③将这个队列转换为霍夫曼二叉树,该二叉树带有权重,在队列中字符出现的次数标识它的权重,二叉树始终保持权重高的在最高的地方。图3示出了字符队列转换为霍夫曼编码树的初始过程的结构示意图。如图3所示,从左边开始,取两个元素r、!,r元素为左节点,!为右节点,并把两个元素的权重相加,得到新的空元素。
④同理,继续取最左边两个元素进行权重相加(2+2=4)。图4示出了字符队列转换为霍夫曼编码树的中间过程的结构示意图。如图4所示,最左边两个元素相加后权重为4,对权重序列重新排序。
⑤继续执行同样的操作,自底向上构建二叉树;
⑥图5示出了字符队列转换的霍夫曼编码树的结构示意图。如图5所示,最终得到了带有权重的二叉树。
⑦图6示出了基于霍夫曼编码树进行编码的结构示意图。如图6所示,将这个二叉树的左边分支用0编码,右边分支用1,这样就可以遍历这棵二叉树获取每个字符的编码,例如:‘b’的编码是00,’p’的编码是101,‘r’的编码是1000。出现次数越多的字符会越在上层,它的编码也越短,次数少的字符,编码越长。
⑧最后根据霍夫曼编码树,得到字符的二进制编码表,如下表3所示:
表3
字符 | 编码 |
b | 0 |
e | 11 |
p | 101 |
” | 011 |
o | 010 |
r | 1000 |
! | 1001 |
根据编码表对这串字符“beep boop beer!”重新编码,得到:0011 11101011 00010010 1010 1100 1111 1000 1001,共40bits,相比编码前的120bits,压缩比例达到66.7%。
对压缩后的文件进行解码时,先读取文件头信息,根据霍夫曼编码表构建霍夫曼树。然后遍历主体数据中的每个编码,读到1时,往二叉树右侧走,读到0时,往二叉树左侧走,直至读取到有字符的节点。
解码流程具体如下:
压缩后的数据为0011 1110 1011 0001 0010 1010 1100 1111 1000 1001,从图6的根节点出发,第一个二进制为0,往左侧走;第二个二进制为0,继续往左侧走,读取到字符b,返回此字符;重新从根节点出发,继续读取二进制序列直至全部读取完毕,整个解码过程结束。
本发明实施例的第二个方面,还提供了一种虚拟机磁盘文件迁移***。图7示出的是本发明提供的虚拟机磁盘文件迁移***的实施例的示意图。如图7所示,一种虚拟机磁盘文件迁移***包括:划分模块10,配置用于响应于接收到关于虚拟机磁盘文件从源节点迁移至目标节点的指令,基于指令将源节点上的磁盘文件中的数据划分为多个数据块,并计算每个数据块的第一哈希值;判断模块20,配置用于判断多个数据块的第一哈希值与目标节点上已有数据块的第二哈希值是否相同;压缩模块30,配置用于响应于若干数据块的第一哈希值与第二哈希值不同,利用压缩算法对若干数据块进行压缩,并计算压缩后的若干数据块的MD5值,并将压缩后的若干数据块进行迁移;以及解压缩模块40,配置用于响应于目标节点接收到压缩后的若干数据块,对其MD5值进行校验,并在校验通过后对其进行解压缩,以完成磁盘文件的迁移。
本发明实施例的虚拟机磁盘文件迁移***,通过将虚拟机磁盘文件划分为多个数据块,并计算哈希值,并判断目标节点上是否存在相同的哈希值,从而只对不存在于目标节点上的数据块进行迁移,减少了资源占用;通过采用压缩算法对数据块进行压缩后再迁移,可以大大减小磁盘文件的大小,减少虚拟机存储迁移流程所耗费的时间,降低网络带宽的消耗,从而提高磁盘文件的传输速度;并且压缩过程中可以识别到空洞数据,只针对有效数据进行压缩,压缩后的磁盘文件相较于之前占用空间更小,进一步缩短了整个存储迁移流程的时间;该方法对于虚拟机在线存储迁移或是离线存储迁移均适用,不影响虚拟机的业务运行。
在一些实施例中,压缩模块30包括霍夫曼压缩模块,配置用于利用霍夫曼压缩算法对若干数据块进行压缩。
在一些实施例中,霍夫曼压缩模块进一步配置用于对若干数据块进行扫描,并统计其中每个字符出现的频率,并将所有字符按照频率大小进行顺序排列,得到字符队列;将字符队列转换为霍夫曼编码树,得到所有字符的二进制编码表,并根据二进制编码表对若干数据块中的字符串进行编码。
在一些实施例中,***还包括存储模块,配置用于存储压缩后的若干数据块对应的文件头,文件头包括原文件名称、文件类型以及二进制编码表。
在一些实施例中,解压缩模块40进一步配置用于读取文件头,并根据二进制编码表构建霍夫曼编码树;遍历编码后的字符串,并根据霍夫曼编码树中的映射关系获得对应字符,并将对应字符还原至新文件中。
在一些实施例中,***还包括校验不通过模块,配置用于响应于校验不通过,发出相应的错误提示。
在一些实施例中,***还包括确定模块,配置用于响应于部分数据块的第一哈希值与第二哈希值相同,确定部分数据块不进行迁移。
本发明实施例的第三个方面,还提供了一种计算机可读存储介质,图8示出了根据本发明实施例提供的实现虚拟机磁盘文件迁移方法的计算机可读存储介质的示意图。如图8所示,计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现上述任意一项实施例的方法。
应当理解,在相互不冲突的情况下,以上针对根据本发明的虚拟机磁盘文件迁移方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的虚拟机磁盘文件迁移***和存储介质。
本发明实施例的第四个方面,还提供了一种计算机设备,包括如图9所示的存储器402和处理器401,该存储器402中存储有计算机程序,该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。
如图9所示,为本发明提供的执行虚拟机磁盘文件迁移方法的计算机设备的一个实施例的硬件结构示意图。以如图9所示的计算机设备为例,在该计算机设备中包括一个处理器401以及一个存储器402,并还可以包括:输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图9中以通过总线连接为例。输入装置403可接收输入的数字或字符信息,以及产生与虚拟机磁盘文件迁移***的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的虚拟机磁盘文件迁移方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储虚拟机磁盘文件迁移方法的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的虚拟机磁盘文件迁移方法。
最后需要说明的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM可以以多种形式获得,比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个***的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器,但是可替换地,处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种虚拟机磁盘文件迁移方法,其特征在于,包括以下步骤:
响应于接收到关于虚拟机磁盘文件从源节点迁移至目标节点的指令,基于所述指令将所述源节点上的所述磁盘文件中的数据划分为多个数据块,并计算每个数据块的第一哈希值;
判断所述多个数据块的第一哈希值与所述目标节点上已有数据块的第二哈希值是否相同;
响应于若干数据块的第一哈希值与所述第二哈希值不同,利用压缩算法对所述若干数据块进行压缩,并计算压缩后的若干数据块的MD5值,并将所述压缩后的若干数据块进行迁移;
响应于所述目标节点接收到所述压缩后的若干数据块,对其MD5值进行校验,并在校验通过后对其进行解压缩,以完成所述磁盘文件的迁移。
2.根据权利要求1所述的方法,其特征在于,利用压缩算法对所述若干数据块进行压缩包括:
利用霍夫曼压缩算法对所述若干数据块进行压缩。
3.根据权利要求2所述的方法,其特征在于,利用霍夫曼压缩算法对所述若干数据块进行压缩包括:
对所述若干数据块进行扫描,并统计其中每个字符出现的频率,并将所有字符按照频率大小进行顺序排列,得到字符队列;
将所述字符队列转换为霍夫曼编码树,得到所述所有字符的二进制编码表,并根据所述二进制编码表对所述若干数据块中的字符串进行编码。
4.根据权利要求3所述的方法,其特征在于,还包括:
存储所述压缩后的若干数据块对应的文件头,所述文件头包括原文件名称、文件类型以及所述二进制编码表。
5.根据权利要求4所述的方法,其特征在于,对其进行解压缩包括:
读取所述文件头,并根据所述二进制编码表构建所述霍夫曼编码树;
遍历编码后的字符串,并根据所述霍夫曼编码树中的映射关系获得对应字符,并将所述对应字符还原至新文件中。
6.根据权利要求1所述的方法,其特征在于,还包括:
响应于校验不通过,发出相应的错误提示。
7.根据权利要求1所述的方法,其特征在于,还包括:
响应于部分数据块的第一哈希值与所述第二哈希值相同,确定所述部分数据块不进行迁移。
8.一种虚拟机磁盘文件迁移***,其特征在于,包括:
划分模块,配置用于响应于接收到关于虚拟机磁盘文件从源节点迁移至目标节点的指令,基于所述指令将所述源节点上的所述磁盘文件中的数据划分为多个数据块,并计算每个数据块的第一哈希值;
判断模块,配置用于判断所述多个数据块的第一哈希值与所述目标节点上已有数据块的第二哈希值是否相同;
压缩模块,配置用于响应于若干数据块的第一哈希值与所述第二哈希值不同,利用压缩算法对所述若干数据块进行压缩,并计算压缩后的若干数据块的MD5值,并将所述压缩后的若干数据块进行迁移;以及
解压缩模块,配置用于响应于所述目标节点接收到所述压缩后的若干数据块,对其MD5值进行校验,并在校验通过后对其进行解压缩,以完成所述磁盘文件的迁移。
9.一种计算机可读存储介质,其特征在于,存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的方法。
10.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310579373.8A CN116560581A (zh) | 2023-05-19 | 2023-05-19 | 一种虚拟机磁盘文件迁移方法、***、存储介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310579373.8A CN116560581A (zh) | 2023-05-19 | 2023-05-19 | 一种虚拟机磁盘文件迁移方法、***、存储介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116560581A true CN116560581A (zh) | 2023-08-08 |
Family
ID=87496232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310579373.8A Pending CN116560581A (zh) | 2023-05-19 | 2023-05-19 | 一种虚拟机磁盘文件迁移方法、***、存储介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116560581A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116915262A (zh) * | 2023-09-12 | 2023-10-20 | 北京路畅均安科技有限公司 | 一种基于物联网的智慧工地工程质量管理*** |
CN117435776A (zh) * | 2023-12-20 | 2024-01-23 | 杭州拓数派科技发展有限公司 | 元数据存储和查询方法、装置、计算机设备及存储介质 |
CN117806776A (zh) * | 2024-02-29 | 2024-04-02 | 山东海量信息技术研究院 | 一种数据迁移方法、装置及电子设备和存储介质 |
-
2023
- 2023-05-19 CN CN202310579373.8A patent/CN116560581A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116915262A (zh) * | 2023-09-12 | 2023-10-20 | 北京路畅均安科技有限公司 | 一种基于物联网的智慧工地工程质量管理*** |
CN116915262B (zh) * | 2023-09-12 | 2023-12-08 | 北京路畅均安科技有限公司 | 一种基于物联网的智慧工地工程质量管理*** |
CN117435776A (zh) * | 2023-12-20 | 2024-01-23 | 杭州拓数派科技发展有限公司 | 元数据存储和查询方法、装置、计算机设备及存储介质 |
CN117435776B (zh) * | 2023-12-20 | 2024-04-30 | 杭州拓数派科技发展有限公司 | 元数据存储和查询方法、装置、计算机设备及存储介质 |
CN117806776A (zh) * | 2024-02-29 | 2024-04-02 | 山东海量信息技术研究院 | 一种数据迁移方法、装置及电子设备和存储介质 |
CN117806776B (zh) * | 2024-02-29 | 2024-05-10 | 山东海量信息技术研究院 | 一种数据迁移方法、装置及电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116560581A (zh) | 一种虚拟机磁盘文件迁移方法、***、存储介质及设备 | |
US8700803B2 (en) | Web page optimization | |
US9882582B2 (en) | Non-transitory computer-readable recording medium, encoding method, encoding device, decoding method, and decoding device | |
US11514003B2 (en) | Data compression based on key-value store | |
US11070231B2 (en) | Reducing storage of blockchain metadata via dictionary-style compression | |
CN112597356B (zh) | 模型训练方法、个性化数据推荐方法、装置及电子设备 | |
CN111249736B (zh) | 代码处理方法及装置 | |
CN112099725A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
CN113300715B (zh) | 一种数据处理方法、装置、硬件压缩设备以及介质 | |
US20220129430A1 (en) | Optimizing storage and retrieval of compressed data | |
CN115208414A (zh) | 数据压缩方法、数据压缩装置、计算机设备及存储介质 | |
CN111651417B (zh) | 日志处理方法及装置 | |
CN116192154B (zh) | 数据压缩及数据解压方法、装置、电子设备、芯片 | |
CN117290332A (zh) | 一种数据迁移校验方法、装置、设备及存储介质 | |
CN111897833A (zh) | 数据处理方法及装置 | |
CN108959411B (zh) | Etl任务的处理方法、装置和设备 | |
CN116760661A (zh) | 数据存储方法、装置、计算机设备、存储介质和程序产品 | |
CN113497627A (zh) | 一种数据压缩和解压缩方法、装置及*** | |
JP7475319B2 (ja) | ストレージシステム及びストレージシステムにおけるデータ処理方法 | |
CN114071154A (zh) | 一种数据解码方法、装置、电子设备及可读存储介质 | |
CN114125071A (zh) | 数据压缩传输方法及装置 | |
CN107391583B (zh) | 网站登陆日志信息转换为向量化数据的方法及*** | |
US10168909B1 (en) | Compression hardware acceleration | |
US11853262B2 (en) | System and method for computer data type identification | |
CN113407508B (zh) | 一种日志文件压缩的方法、***、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |