WO2015154352A1 - 分布式文件***的数据迁移方法、装置及元数据服务器 - Google Patents

分布式文件***的数据迁移方法、装置及元数据服务器 Download PDF

Info

Publication number
WO2015154352A1
WO2015154352A1 PCT/CN2014/083751 CN2014083751W WO2015154352A1 WO 2015154352 A1 WO2015154352 A1 WO 2015154352A1 CN 2014083751 W CN2014083751 W CN 2014083751W WO 2015154352 A1 WO2015154352 A1 WO 2015154352A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
fragment
access
file fragment
heat
Prior art date
Application number
PCT/CN2014/083751
Other languages
English (en)
French (fr)
Inventor
胡剑华
韩盛中
朱鹏
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Publication of WO2015154352A1 publication Critical patent/WO2015154352A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems

Definitions

  • the present invention relates to the field of communications, and in particular to a data migration method, apparatus, and metadata server for a distributed file system.
  • BACKGROUND A distributed file system realizes mass storage and rapid deployment of data by storing data distribution on multiple disks of multiple servers. As the type of storage device is updated, new storage devices are continuously added to the disk cluster, and the performance of different storage devices varies. In a distributed file system, only a small number of files in a stored file are frequently accessed, that is, file access is localized. In addition, file access locality is also reflected in the file itself only part of the content is frequently accessed. Frequently accessed files require higher performance, and there is no effective mechanism in the related art to take into account the space and performance of the storage device.
  • a data migration method, a device, and a metadata server of a distributed file system are provided to solve at least the problem that the space and performance utilization of the storage device in the related art are not high.
  • a data migration method for a distributed file system including: calculating, according to a file fragment size and a number of bytes accessed by the file fragment, the access popularity of the file fragment; And migrating the file fragments on different performance storage devices according to the access heat of the file fragments.
  • the migrating the file fragments on different storage devices according to the access heat of the file fragments includes: if the access heat of the file fragments is greater than a first threshold, migrating the file fragments from a storage device with low performance To a storage device with high performance; and/or if the access heat of the file fragment is less than a second threshold, the file fragment is migrated from a high performance storage device to a low performance storage device.
  • the access heat of the file fragment according to the file fragment size and the number of bytes accessed by the file fragment includes: the number of bytes accessed according to the file fragment, the file fragment size, and a preset.
  • the heat coefficient counts the access heat of the file.
  • a data migration apparatus for a distributed file system, comprising: a statistics module, configured to count the file according to a file fragment size and a number of bytes accessed by the file fragment The access quality of the fragmentation; and, the migration module, is configured to migrate the file fragments on different performance storage devices according to the access heat of the file fragments.
  • the migration module includes: a first migration unit, configured to migrate the file fragment from a storage device with low performance to a storage device with high performance if the access heat of the file fragment is greater than a first threshold; And/or, the second migration unit is configured to migrate the file fragment from the high performance storage device to the low performance storage device if the access heat of the file fragment is less than the second threshold.
  • a first migration unit configured to migrate the file fragment from a storage device with low performance to a storage device with high performance if the access heat of the file fragment is greater than a first threshold
  • the second migration unit is configured to migrate the file fragment from the high performance storage device to the low performance storage device if the access heat of the file fragment is less than the second threshold.
  • a metadata server including: a processor; a statistics module, configured to count the file fragment according to a file fragment size and a number of bytes accessed by the file fragment
  • the migration module is configured to migrate the file fragments on different performance storage devices according to the access heat of the file fragments.
  • the migration module is configured to send a migration notification message to the file access server according to the access heat of the file fragment, and notify the file access server to migrate the file fragment. The larger the number of bytes accessed by the file fragment and the smaller the fragment size of the file, the greater the access popularity of the file fragment obtained by statistics.
  • the access heat of the file fragment is counted according to the number of bytes accessed by the file and the file fragment size, and the file fragmentation is migrated on the storage device of different performance according to the access heat of the file fragment, thereby improving the distribution.
  • Space and performance utilization of storage devices for file systems BRIEF DESCRIPTION OF THE DRAWINGS.
  • FIG. 1 is a flowchart of a data migration method of a distributed file system according to an embodiment of the present invention
  • 2 is a structural block diagram of a data migration apparatus of a distributed file system according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a distributed file system in the related art
  • FIG. 4 is a structural block diagram of a metadata server according to an embodiment of the present invention
  • Figure 5 is a schematic diagram of a preferred distributed file system in accordance with an embodiment of the present invention.
  • a data migration method of a distributed file system is provided.
  • 1 is a flowchart of a data migration method of a distributed file system according to an embodiment of the present invention.
  • the method includes steps S102 to S104.
  • Step S102 the access heat of the file fragment is counted according to the file fragment size and the number of bytes accessed by the file fragment.
  • the larger the number of bytes accessed by the file fragment and the smaller the file fragment size the greater the accessibility of the statistically obtained file fragments.
  • Step S104 The file fragment is migrated on different performance storage devices according to the access heat of the file fragment.
  • the performance in the embodiment of the present invention can be measured by factors such as read/write speed, efficiency, and the like.
  • the access heat of the file can be more accurately determined.
  • File fragmentation is migrated on different performance storage devices according to the access heat of file fragmentation, thereby improving the space and performance utilization of the storage device of the distributed file system.
  • the access degree of the file is counted based on the number of times the file is opened, and the accuracy of the access heat is not high. For example, file A is opened once, closed after a continuous loop read, file B is opened once, only once, and then closed.
  • the access heats of files A and B are the same. This is obviously not accurate.
  • the access heat of the file fragment is counted according to the number of bytes accessed by the file fragment and the file fragment size, which can effectively improve the accuracy of the access heat.
  • the migrating the file fragment on different storage devices according to the access heat of the file fragment may include: if the access heat of the file fragment is greater than the first threshold, fragmenting the file from the file Low-performance storage devices migrate to high-performance storage devices.
  • migrating file fragments with high access efficiency from a low-performance storage device to a high-performance storage device can improve the file access response efficiency of the distributed file system and improve the utilization of the distributed file system.
  • migrating the file on different storage devices according to the access heat of the file fragment may include: if the access heat of the file fragment is less than the second threshold, the file is fragmented from high Performance storage devices are migrated to low-performance storage devices.
  • migrating file fragments with low access popularity from high-performance storage devices to low-performance storage devices can improve the utilization of high-performance storage devices and improve system performance of distributed file systems.
  • the file segments with high access popularity may be migrated from a storage device with low performance to a storage device with high performance, and the access heat may be accessed in combination with the above two preferred embodiments.
  • Low file fragmentation migrates from high-performance storage devices to low-performance storage devices, so that the storage location of file fragments can be dynamically adjusted according to the access heat of file fragments, and the performance of distributed file systems can be improved.
  • Accuracy may not be relatively high.
  • a 1024MB file containing 1024 file fragments the number of bytes accessing its file fragment a is 200MB, for the entire file, its number of bytes is small relative to the file size, but for files Fragment a is very large, but in fact the access to a certain part of the file is very hot.
  • the partial data of the file is read, such as the most accessed at the end of the file, and then the entire file is migrated to a high-performance storage device, but the beginning of the file is not accessed or It is rarely accessed, which makes the migration workload larger and consumes system resources. Therefore, in the embodiment of the present invention, file fragmentation can be migrated on different storage devices according to the access heat of the file fragment.
  • the access heat of the file fragment may be counted according to the number of bytes accessed by the file fragment, the file fragment size, and the preset heat coefficient.
  • the heat coefficient may be set according to actual needs. , you can also dynamically adjust its size according to a predetermined algorithm.
  • the access heat is counted by the number of bytes accessed or read (eg, read) by the file or file fragment. For example, the number of bytes of the file or file fragment is 20 MB, and the number of bytes is read in the second open. 20 times, then the number of bytes this time can be recorded as 400 (ie 20*20), and the cumulative calculation can be performed when multiple readings are opened multiple times.
  • a data migration apparatus for a distributed file system is provided to implement the method of the foregoing implementation example of the present invention.
  • the apparatus may be a software function module stored in a storage medium for execution by a processor.
  • 2 is a structural block diagram of a data migration apparatus of a distributed file system according to an embodiment of the present invention. As shown in FIG. 2, the apparatus may include: a statistics module 202 and a migration module 204, where the statistics module 202 is set to be based on a file.
  • the fragment size and the number of bytes accessed by the file fragment are used to count the access heat of the file fragment; the migration module 204 is connected to the statistics module 202, and is set to be based on the access heat of the file fragmentation on different performance storage devices. Migrate file fragments.
  • the migration module 204 may include: a first migration unit, configured to slice the file from the storage device with low performance if the access heat of the file fragment is greater than the first threshold Migrating to a high-performance storage device; and/or, the second migration unit, is configured to migrate file fragments from a high-performance storage device to a low-performance storage if the file slice access heat is less than a second threshold device.
  • the migration module 204 is configured to migrate the file fragments from the low performance storage device to the high performance storage device if the file fragmentation access heat is greater than the first threshold.
  • migrating file fragments with high access efficiency from a low-performance storage device to a high-performance storage device can improve the file access response efficiency of the distributed file system and improve the utilization of the distributed file system.
  • the migration module 204 is configured to migrate the file fragments from the high performance storage device to the low performance storage device if the access heat of the file fragment is less than the second threshold.
  • migrating file fragments with low access popularity from high-performance storage devices to low-performance storage devices can improve the utilization of high-performance storage devices and improve system performance of distributed file systems.
  • the file segments with high access popularity may be migrated from a storage device with low performance to a storage device with high performance, and the access heat may be accessed in combination with the above two preferred embodiments.
  • Low file fragmentation migrates from high-performance storage devices to low-performance storage devices, so that the file storage location can be dynamically adjusted according to the access heat of file fragments, and the performance of the distributed file system can be improved.
  • FIG. 3 is a schematic diagram of a distributed file system in the related art.
  • the system includes: a metadata server, a file access client, a file access server, and a storage medium.
  • Metadata server (1 to n) responsible for managing metadata such as file names and shards of all files in the file system; and providing metadata write and query operations to the file access client.
  • File access server (1 to n) responsible for interacting with the storage medium in the file system to perform real-time slice read and write operations; responding to file access client data read and write requests, reading data from storage medium and returning to File access client; reads data from the file access client and writes to the storage medium.
  • Storage media including low-performance integrated drive electronics (IDE), disk or Serial Advanced Technology Attachment (SATA) disks or high-performance solid state drives (SSD) ), Serial Attached SCSI (SAS), Serial Advanced Technology Attachment (SATA) and other storage devices.
  • a metadata server is further provided, which can be applied to the system shown in FIG. 3 to implement the foregoing method.
  • 4 is a structural block diagram of a metadata server according to an embodiment of the present invention.
  • the metadata server may include: a processor 402; a statistics module 404 connected to the processor 402, configured to be fragmented according to files. The size and file fragment are accessed by the number of bytes of the statistical file fragmentation access; and, the migration module 406 is connected to the statistics module 404, and is configured to migrate files on different performance storage devices according to the access heat of the file fragmentation. Fragmentation.
  • the migration module 406 may send a migration notification message to the file access server according to the access heat of the file fragment, and notify the file access server to migrate the file fragment.
  • the migration module 406 is configured to migrate files from a low-performance storage device to a high-performance storage device if the access heat of the file fragment is greater than the first threshold.
  • migrating file fragments with high access efficiency from a low-performance storage device to a high-performance storage device can improve the file access response efficiency of the distributed file system and improve the utilization of the distributed file system.
  • the migration module 406 is configured to migrate the file fragments from the high performance storage device to the low performance storage device if the access heat of the file fragment is less than the second threshold.
  • migrating file fragments with low access popularity from high-performance storage devices to low-performance storage devices can improve the utilization of high-performance storage devices and improve system performance of distributed file systems.
  • the file segments with high access popularity may be migrated from a storage device with low performance to a storage device with high performance, and the access heat may be accessed in combination with the above two preferred embodiments.
  • Low file fragmentation migrates from high-performance storage devices to low-performance storage devices, so that the file storage location can be dynamically adjusted according to the access heat of file fragments, and the performance of the distributed file system can be improved.
  • FIG. 5 is a schematic diagram of a preferred distributed file system according to an embodiment of the present invention.
  • the main modules in the system include: a fragment access statistics module 502, a fragment access statistics management module 504, and a fragmentation hot and cold The scheduling module 506, the fragment migration module 508.
  • the fragmentation access statistics module 502 may be located in the file access client, and configured to report the access statistics of the file specified file fragment to the fragment access statistics management module 504 when the file is closed or closed.
  • the access statistics of the fragment may include: a fragment identifier (id), and a number of bytes accessed. For the number of bytes accessed, if access is multiple times, the number of bytes per access is accumulated.
  • the fragment access statistics management module 504 may be located in the metadata server, configured to collect access statistics on file fragments, calculate access heat to file fragments in a statistical period, and store access heat data of each file fragment. And according to the popularity of file fragmentation in the statistical period, combined with historical access heat, recalculate the access heat of file fragmentation.
  • the shards that reach the thermal threshold are placed in the shard heat meter in high or low order.
  • the fragmentation hot and cold scheduling module 506 can be located in the metadata server, and is configured to collect the length of the migration queue reported by the file access server and the queue length of the disk read and write access during the set migration period (referred to as 10 load reporting). ), and take the hottest slice in the slice heat meter, if it is stored in the SATA hard disk, and 10 load is within the threshold, put the slice into the slice upgrade queue and notify the file access Server will divide The slice is migrated from a SATA hard drive to an SSD hard drive.
  • the shards are migrated from SATA hard drives to SSD hard drives.
  • the fragment migration module 508 can be located in the file access server, and configured to receive the message of the fragment hot and cold scheduling module 506, dynamically migrate the specific file fragments between the SATA hard disk and the SSD hard disk, and perform file file upgrade. With downgrade.
  • the following describes the implementation of dynamic tiered storage according to the upgrade and downgrade process of file sharding.
  • file a file a has three file shards, namely slice 1, slice 2, and slice 3.
  • the file fragment size is 64MB, assuming that the dynamic tiered storage settings are as follows:
  • the heat statistics period is one hour
  • the heat threshold is 1000
  • the heat coefficient is 1000.
  • the file a is frequently read, wherein the slice 2 is accessed the most, and the access reaches 640 MB in one hour.
  • the slice 1 and the slice 3 have no access, and the file access statistics module 502 is closed when the file a is closed.
  • the access statistics of all the fragments are reported to the file access statistics management module 504. 2.
  • the file access statistics management module 504 calculates the access heat of the fragment according to the reported number of fragment access bytes, and is divided into current heat and historical heat. The current heat is determined by the heat coefficient, the fragment size, and the fragmentation within one access period. The number of access bytes is determined.
  • the current heat of the slice 2 can be calculated as 2000, and recorded in the current heat field of the slice 2 in the slice table.
  • the historical heat is determined by the current heat and the historical heat in the previous access statistical period. Assume that the historical heat of the slice 2 in the previous access statistical period is 0, and the historical heat of the slice 2 is calculated to be 2000, and is recorded in the historical heat field of the slice 2 in the slice table.
  • the hot traversal thread in the fragmentation hot and cold scheduling module 506 is mainly responsible for timing the traversal of the fragmentation table, comparing the historical heat and the set heat threshold, and found that the historical heat 2000 of the slice 2 exceeds the heat threshold of 1000. Place it in the heat meter and sort by heat from high to low.
  • the upgrade scan thread in the fragment hot and cold dispatch module 506 is mainly responsible for scanning the slice heat table, taking the highest heat value from the team leader, assuming that the slice 2 is taken, and not in the SSD hard disk, judging the disk where the slice 2 is located.
  • the upgrade thread in the fragment hot and cold dispatching module 506 scans the upgrade queue, finds the fragment 2, and sends the migration message of the fragment 2 to the fragment migration module 508, where the message includes the source SATA hard disk where the fragment 2 is located. Need to move to the destination SSD hard drive, size and other content.
  • the fragment migration module 508 receives the migration message of the fragment 2, reads the data of the fragment 2 on the source SATA hard disk, writes the data to the destination SSD hard disk, and sends a migration success message to the fragmentation hot and cold scheduling module 506, if the migration Failure, the same message that the migration failed.
  • the fragmentation hot and cold scheduling module 506 receives the fragment 2 migration success message, modifies the storage location information of the fragment 2 in the fragmentation table, deletes from the upgrade queue, and sends the delete fragment 2 source fragmentation message to the file access server. . If you receive a failure message, do nothing and wait for the upgrade thread to scan the next time. 8.
  • the file access server deletes the source fragmentation data of the fragment 2 on the SATA hard disk when receiving the message of deleting the source fragment of the fragment 2. If it is not received, the data of the newly written fragment 2 on the SSD hard disk will become garbage, and the distributed file system will clean up the garbage by sweeping the garbage mechanism without occupying resources.
  • the above is a shard upgrade process, including fragment access statistics reporting, fragmentation heat management, upgrade scheduling, fragment migration, 10 load reporting, and other abnormal processes, such as 10 load exceeds threshold, migration Failure, etc.
  • the fragmentation process is relative to the upgraded slice. Assuming that the slice 2 upgrade is successful, the following describes the degradation of the slice:
  • Fragment 2 is in the SSD hard disk, but the access volume of the fragment 2 is 0 in the next several access statistical periods, and the current heat is calculated as 0, the historical heat is continuously reduced, and when the fourth cycle is calculated, The historical heat of the obtained slice 2 is already less than the set threshold 1000, and the heat traversal thread will remove the slice 2 from the heat meter.
  • the degraded scanning thread in the fragmentation hot and cold scheduling module 506 scans the fragmentation table and finds that the fragment 2 is currently in the SSD hard disk, but is not in the heat meter. Like the upgrade, it is necessary to determine the read and write of the disk where the fragment 2 is located. The length of the queue, and the length of the migration queue of the file access server where the fragment 2 is located. If both are within the threshold, put the fragment 2 into the degraded queue. If one is not within the threshold, continue to find the next one that meets the requirements. Fragmentation.
  • the degraded thread in the fragmentation hot and cold scheduling module 506 scans the degraded queue, and sends the migration message of the fragment 2 to the fragment migration module 508, where the message includes the source SSD hard disk where the fragment 2 is located, and the destination SATA to be moved to. Hard disk, size, etc. 4.
  • the fragment migration module 508 receives the migration message of the fragment 2, reads the data of the fragment 2 on the source SSD hard disk, writes the data into the destination SATA hard disk, and sends a migration success message to the fragmentation hot and cold scheduling module 506, if the migration Failure, the same message that the migration failed.
  • the fragmentation hot and cold scheduling module 506 receives the fragment 2 migration success message, modifies the storage location information of the fragment 2 in the fragmentation table, deletes from the degraded queue, and sends the delete fragment 2 source fragmentation message to the file access server. . If you receive a failed message, do nothing else, wait for the next step of the downgrade thread.
  • the file access server if the message of the source fragment of the fragment 2 is deleted, deletes the source fragmentation data of the fragment 2 on the SSD hard disk. If it is not received, the data of the newly written slice 2 on the SATA hard disk will become garbage, which can also be swept away by the spam mechanism.
  • the above is a degraded process of fragmentation, which also includes some main processes, such as fragmentation statistics reporting, fragmentation heat management, downgrade scheduling, fragment migration, 10 load reporting, etc., and some abnormal processes: such as 10 load exceeds Threshold, migration failure, etc.
  • Fragment heat calculation the grading storage in the related art is only based on the heat of the file, but the heat is calculated by the number of times the file is opened. This display is relatively simple and inaccurate. For example, the file a is opened once, and the loop is kept. Read, then close, file b opens once, only reads once, then closes, the calculation heat is the same, obviously not accurate. In addition, for some large files, sometimes some data is read, such as the most accessed at the end of the file, and then the entire file is migrated to a high-performance storage device, but the beginning of the file is not accessed or rarely Being accessed, this makes the migration workload larger and consumes system resources. In the embodiment of the present invention, the hot content is calculated by accessing the number of bytes of the file fragment, the fragment size, and the heat coefficient, and the actual situation that the file is accessed is more reflected, so that the high-performance storage device is maximized.
  • Dynamic tiered storage The tiered storage scheme in the related technology is a static tiered storage.
  • the files with high access popularity are placed on high-performance storage devices. When the heat of these files is reduced, the system cannot detect them. Moving from high-performance storage devices to low-performance storage devices also wastes a lot of high-performance storage space and increases storage costs.
  • the embodiment of the present invention senses the change of the fragmentation heat of the file, and can migrate the file fragments stored on the high performance storage device with the heat lower than the threshold to the low performance storage device, so that the high performance storage device is maximized.
  • modules or steps of the present invention can be implemented by a general-purpose computing device, which can be concentrated on a single computing device or distributed over a network composed of multiple computing devices. Alternatively, they may be implemented by program code executable by the computing device, thereby Storing them in a storage device is performed by a computing device, and in some cases, the steps shown or described may be performed in an order different than that herein, or they may be separately fabricated into individual integrated circuit modules, or Multiple of these modules or steps are fabricated as a single integrated circuit module. Thus, the invention is not limited to any specific combination of hardware and software.
  • a data migration method, apparatus, and metadata server for a distributed file system provided by an embodiment of the present invention have the following beneficial effects: Improved space and performance utilization of a storage device of a distributed file system .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种分布式文件***的数据迁移方法、装置及元数据服务器，其中分布式文件***的数据迁移方法包括：根据文件分片被访问的字节数和文件分片大小统计文件分片的访问热度；根据文件分片的访问热度在不同性能的存储设备上迁移文件分片。该方法提高了分布式文件***的存储设备的空间和性能利用率。

Description

分布式文件***的数据迁移方法、 装置及元数据服务器 技术领域 本发明涉及通信领域， 具体而言， 涉及一种分布式文件***的数据迁移方法、 装 置及元数据服务器。 背景技术 分布式文件***通过将数据分布保存在多个服务器的多个磁盘上来实现数据的海 量存储和快速部署。 随着存储设备的类型更新， 新的存储设备不断地加入到磁盘集群 中， 不同的存储设备性能存在差异。 在分布式文件***中， 存储的文件中只有少量的文件是经常访问的， 即文件访问 呈现局部性。 另外， 文件访问局部性还体现在文件本身只有部分内容被经常访问。 经常访问的文件需要较高的性能， 而相关技术中没有有效的机制兼顾存储设备的 空间和性能。 因此， 存储设备的空间和性能利用率不高， 针对该问题， 目前尚未提出 有效的解决方案。 发明内容 在本发明实施例中， 提供了一种分布式文件***的数据迁移方法、 装置及元数据 服务器， 以至少解决相关技术中存储设备的空间和性能利用率不高的问题。 根据本发明的一个实施例， 提供了一种分布式文件***的数据迁移方法， 包括： 根据文件分片大小和所述文件分片被访问的字节数统计所述文件分片的访问热度； 以 及根据所述文件分片的访问热度在不同性能的存储设备上迁移所述文件分片。 根据所述文件分片的访问热度在不同的存储设备上迁移所述文件分片包括： 如果 所述文件分片的访问热度大于第一阈值， 将所述文件分片从性能低的存储设备迁移到 性能高的存储设备； 和 /或如果所述文件分片的访问热度小于第二阈值， 将所述文件分 片从高性能的存储设备迁移到性能低的存储设备。 根据文件分片大小和所述文件分片被访问的字节数统计所述文件分片的访问热度 包括： 根据所述文件分片被访问的字节数、 所述文件分片大小以及预设的热度系数统 计所述文件的访问热度。 所述文件分片被访问的字节数越大且所述文件分片大小越小， 统计得到的所述文 件分片的访问热度越大。 根据本发明的另一个实施例，提供了一种分布式文件***的数据迁移装置，包括： 统计模块， 设置为根据文件分片大小和所述文件分片被访问的字节数统计所述文件分 片的访问热度； 以及， 迁移模块， 设置为根据所述文件分片的访问热度在不同性能的 存储设备上迁移所述文件分片。 所述迁移模块包括： 第一迁移单元， 设置为在所述文件分片的访问热度大于第一 阈值的情况下， 将所述文件分片从性能低的存储设备迁移到性能高的存储设备； 和 / 或， 第二迁移单元， 设置为在所述文件分片的访问热度小于第二阈值的情况下， 将所 述文件分片从高性能的存储设备迁移到性能低的存储设备。 所述文件分片被访问的字节数越大且所述文件分片大小越小， 统计得到的所述文 件分片的访问热度越大。 根据本发明的再一个实施例， 提供了一种元数据服务器， 包括： 处理器； 统计模 块， 设置为根据文件分片大小和所述文件分片被访问的字节数统计所述文件分片的访 问热度； 以及， 迁移模块， 设置为根据所述文件分片的访问热度在不同性能的存储设 备上迁移所述文件分片。 所述迁移模块， 设置为根据所述文件分片的访问热度向文件访问服务器发送迁移 通知消息， 通知所述文件访问服务器迁移所述文件分片。 所述文件分片被访问的字节数越大且所述文件分片大小越小， 统计得到的所述文 件分片的访问热度越大。 通过本发明实施例， 根据文件被访问的字节数和文件分片大小统计文件分片的访 问热度， 并根据文件分片的访问热度在不同性能的存储设备上迁移文件分片， 提高了 分布式文件***的存储设备的空间和性能利用率。 附图说明 此处所说明的附图用来提供对本发明的进一步理解， 构成本申请的一部分， 本发 明的示意性实施例及其说明用于解释本发明， 并不构成对本发明的不当限定。 在附图 中： 图 1是根据本发明实施例的分布式文件***的数据迁移方法的流程图； 图 2是根据本发明实施例的分布式文件***的数据迁移装置的结构框图; 图 3是相关技术中的分布式文件***的示意图; 图 4是根据本发明实施例的元数据服务器的结构框图； 以及 图 5是根据本发明实施例优选的分布式文件***的示意图。 具体实施方式 下文中将参考附图并结合实施例来详细说明本发明。 需要说明的是， 在不冲突的 情况下， 本申请中的实施例及实施例中的特征可以相互组合。 根据本发明实施例， 提供了一种分布式文件***的数据迁移方法。 图 1是根据本发明实施例的分布式文件***的数据迁移方法的流程图， 如图 1所 示， 该方法包括步骤 S102至步骤 S104。 步骤 S102，根据文件分片大小和文件分片被访问的字节数统计文件分片的访问热 度。 优选地， 文件分片被访问的字节数越大且文件分片大小越小， 统计得到的文件分 片的访问热度越大。 步骤 S104, 根据文件分片的访问热度在不同性能的存储设备上迁移上述文件分 片。 优选地， 本发明实施例中的性能可以通过读写速度、 效率等因素来衡量。 通过本发明实施例， 根据文件分片大小和文件分片被访问的字节数统计文件的访 问热度， 能够更为准确的确定文件的访问热度。 根据文件分片的访问热度在不同性能 的存储设备上迁移文件分片， 从而提高分布式文件***的存储设备的空间和性能利用 率。 具体地， 相关技术中基于文件的打开次数来统计文件的访问热度， 其访问热度的 精度不高。 例如， 文件 A打开一次， 在不停的循环读取后关闭， 文件 B打开一次， 只 读取了一次， 然后关闭， 根据相关技术中的访问热度统计方法， 文件 A和 B的访问热 度是相同的， 这显然是不准确的。 而在本发明实施例中， 根据文件分片被访问的字节 数和文件分片大小来统计文件分片的访问热度， 可以有效提高访问热度的精度。 在本发明实施例的一个优选实施方式中， 根据文件分片的访问热度在不同的存储 设备上迁移该文件分片可以包括： 如果文件分片的访问热度大于第一阈值， 将文件分 片从性能低的存储设备迁移到性能高的存储设备。 通过本优选实施方式， 将访问热度 大的文件分片从性能低的存储设备迁移到性能高的存储设备， 可以提高分布式文件系 统的文件访问响应效率， 提高分布式文件***的利用率。 在本发明实施例的另一个优选实施方式中， 根据文件分片的访问热度在不同的存 储设备上迁移该文件可以包括： 如果文件分片的访问热度小于第二阈值， 将文件分片 从高性能的存储设备迁移到性能低的存储设备。 通过本优选实施方式， 将访问热度低 的文件分片从高性能的存储设备迁移到性能低的存储设备， 可以提高高性能存储设备 的利用率， 从而提高分布式文件***的***性能。 进一步的， 在本发明实施例的再一个优选实施方式中， 可以结合上述两个优选实 施方式， 将访问热度大的文件分片从性能低的存储设备迁移到性能高的存储设备， 将 访问热度低的文件分片从高性能的存储设备迁移到性能低的存储设备， 从而可以根据 文件分片的访问热度动态调整文件分片的存储位置， 提高分布式文件***的性能。 针对一些大文件来说， 在读取的是文件的部分文件分片的情况下， 在确定文件的 访问热度时， 如果按照文件被访问的字节数和文件大小来统计文件的访问热度， 其准 确度相对而言可能不高。例如， 一个 1024MB的文件， 其包含 1024个文件分片， 访问 其文件分片 a的字节数是 200MB, 对于整个文件而言， 其字节数相对于文件大小而言 很小， 但是对于文件分片 a而言非常大， 而实际上文件某部分的访问热度是很大的。 另外， 对于一些大文件来说， 有时候读取的是文件的部分数据， 比如文件结尾处 被访问最多， 然后将整个文件都迁移到高性能的存储设备上去， 然而文件开头部分不 被访问或者很少被访问， 这样使迁移工作量变大， 耗费***资源。 因此， 在本发明实 施例中， 可以根据文件分片的访问热度在不同的存储设备上迁移文件分片。 在本发明实施例的一个优选实施方式中， 可以根据文件分片被访问的字节数、 文 件分片大小以及预设的热度系数统计文件分片的访问热度， 热度系数可以根据实际需 要进行设置， 也可以按照预定的算法动态调整其大小。 本发明实施例中， 以文件或文件分片被访问 （例如读取） 的字节数来统计访问热 度， 例如， 文件或文件分片的字节数为 20MB, —次打开中被读取了 20次， 那么这一 次的字节数可以记为 400 (即 20*20)， 多次打开多次读取时可以进行累加计算。 根据本发明实施例， 还提供了一种分布式文件***的数据迁移装置， 用以实现本 发明上述实施实例的方法， 该装置可以是存储在存储介质中供处理器执行的软件功能 模块。 图 2是根据本发明实施例的分布式文件***的数据迁移装置的结构框图， 如图 2 所示， 该装置可以包括： 统计模块 202和迁移模块 204， 其中， 统计模块 202， 设置为 根据文件分片大小和文件分片被访问的字节数统计所述文件分片的访问热度； 迁移模 块 204， 与统计模块 202相连接， 设置为根据文件分片的访问热度在不同性能的存储 设备上迁移文件分片。 在本发明实施例的一个优选实施方式中，迁移模块 204可以包括：第一迁移单元， 设置为在文件分片的访问热度大于第一阈值的情况下， 将文件分片从性能低的存储设 备迁移到性能高的存储设备； 和 /或， 第二迁移单元， 设置为在文件分片的访问热度小 于第二阈值的情况下， 将文件分片从高性能的存储设备迁移到性能低的存储设备。 在本发明实施例的一个优选实施方式中， 迁移模块 204， 设置为如果文件分片的 访问热度大于第一阈值， 将文件分片从性能低的存储设备迁移到性能高的存储设备。 通过本优选实施方式， 将访问热度大的文件分片从性能低的存储设备迁移到性能高的 存储设备， 可以提高分布式文件***的文件访问响应效率， 提高分布式文件***的利 用率。 在本发明实施例的另一个优选实施方式中， 迁移模块 204， 设置为如果文件分片 的访问热度小于第二阈值，将文件分片从高性能的存储设备迁移到性能低的存储设备。 通过本优选实施方式， 将访问热度低的文件分片从高性能的存储设备迁移到性能低的 存储设备，可以提高高性能存储设备的利用率，从而提高分布式文件***的***性能。 进一步的， 在本发明实施例的再一个优选实施方式中， 可以结合上述两个优选实 施方式， 将访问热度大的文件分片从性能低的存储设备迁移到性能高的存储设备， 将 访问热度低的文件分片从高性能的存储设备迁移到性能低的存储设备， 从而可以根据 文件分片的访问热度动态调整文件的存储位置， 提高分布式文件***的性能。 下面以相关技术中的一种分布式文件***架构为例， 对本发明实施例进行说明。 图 3是相关技术中的分布式文件***的示意图， 如图 3所示， 该***包括： 元数 据服务器、 文件访问客户端、 文件访问服务器以及存储媒介。 其中， 元数据服务器 （1至 n): 负责管理本文件***内所有文件的文件名、 分片等元数 据信息； 并面向文件访问客户端提供元数据写入和查询等操作。 文件访问客户端 （1至 n): 负责为本文件***面向的应用程序提供类似于标准文 件***的接口调用服务； 发起访问请求， 获取数据后返回给应用程序。 用户通过文件 访问客户端访问分布式***中的文件。 文件访问服务器 （1至 n): 负责与本文件***内的存储媒介进行交互， 进行实际 分片的读写操作； 响应文件访问客户端的数据读写请求， 从存储媒介上读取数据并返 回给文件访问客户端； 从文件访问客户端读取数据并写入存储媒介。 存储媒介：包括低性能的电子集成驱动器（Integrated Drive Electronics,简称 IDE)、 磁盘或串行高级技术附件 （ Serial Advanced Technology Attachment, 简称为 SATA) 磁 盘或高性能的固态硬盘 （Solid State Disk,简称 SSD )、 串行连接 SCSI接口 （Serial Attached SCSI,简称 SAS)、串行高级技术附件 ( Serial Advanced Technology Attachment, 简称 SATA) 等存储设备。 根据本发明实施例， 还提供了一种元数据服务器， 可以应用在如图 3所示的*** 中， 用以实现上述方法。 图 4是根据本发明实施例的元数据服务器的结构框图， 如图 4所示， 该元数据服 务器可以包括： 处理器 402; 统计模块 404， 与处理器 402相连接， 设置为根据文件分 片大小和文件分片被访问的字节数统计文件分片的访问热度； 以及， 迁移模块 406， 与统计模块 404相连接， 设置为根据文件分片的访问热度在不同性能的存储设备上迁 移文件分片。 在本发明实施例的一个优选实施方式中， 迁移模块 406可以根据文件分片的访问 热度向文件访问服务器发送迁移通知消息， 通知文件访问服务器迁移文件分片。 在本发明实施例的一个优选实施方式中， 迁移模块 406， 设置为如果文件分片的 访问热度大于第一阈值， 将文件从性能低的存储设备迁移到性能高的存储设备。 通过 本优选实施方式， 将访问热度大的文件分片从性能低的存储设备迁移到性能高的存储 设备，可以提高分布式文件***的文件访问响应效率，提高分布式文件***的利用率。 在本发明实施例的另一个优选实施方式中， 迁移模块 406， 设置为如果文件分片 的访问热度小于第二阈值，将文件分片从高性能的存储设备迁移到性能低的存储设备。 通过本优选实施方式， 将访问热度低的文件分片从高性能的存储设备迁移到性能低的 存储设备，可以提高高性能存储设备的利用率，从而提高分布式文件***的***性能。 进一步的， 在本发明实施例的再一个优选实施方式中， 可以结合上述两个优选实 施方式， 将访问热度大的文件分片从性能低的存储设备迁移到性能高的存储设备， 将 访问热度低的文件分片从高性能的存储设备迁移到性能低的存储设备， 从而可以根据 文件分片的访问热度动态调整文件的存储位置， 提高分布式文件***的性能。 本发明实施例的各个模块的功能与本发明实施例的上述方法对应， 可以对照本发 明上述实施例的描述， 在此不再赘述。 为了便于理解本发明实施例， 下面结合一个具体应用实例对本发明实施例进行描 述。 根据本发明实施例， 提出一种分布式文件***的动态分级存储的实现方案。 通过 该方案， 可以实现分布式文件***中的文件分片实行按其访问热度的动态分级存储， 根据文件分片的访问热度，自动将文件分片在高性能与低性能存储设备之间动态迁移， 始终保持将热度高的文件分片存储在高性能存储设备上， 热度低的文件分片放在低性 能存储设备上。 最大程度的利用存储设备的空间和性能， 不让低性能的存储设备成为 分布式存储***的短板， 提高整个***的存储效率和降低***的存储成本。 图 5是根据本发明实施例优选的分布式文件***的示意图， 如图 5所示， 该*** 中的主要模块包括： 分片访问统计模块 502， 分片访问统计管理模块 504， 分片冷热调 度模块 506， 分片迁移模块 508。 其中， 分片访问统计模块 502， 可以位于文件访问客户端中， 设置为在读文件结束、 关 闭文件时， 将对文件指定文件分片的访问统计信息上报给分片访问统计管理模块 504。 其中， 分片的访问统计信息可以包括： 分片标识符 （id)、 访问的字节数。 对于访问的 字节数， 如果访问多次则累加每次访问的字节数。 分片访问统计管理模块 504， 可以位于元数据服务器中， 设置为收集对文件分片 的访问统计信息， 计算在统计周期内对文件分片的访问热度， 存储每个文件分片的访 问热度数据， 并根据统计周期内文件分片访问热度， 结合历史访问热度， 重新计算文 件分片的访问热度。 将达到热度阀值的分片， 按照高低顺序放到分片热度表中。 分片冷热调度模块 506， 可以位于元数据服务器中， 设置为在设定的迁移周期内， 收集文件访问服务器上报的迁移队列的长度， 以及磁盘读写访问的队列长度（称为 10 负载上报）， 并且在分片热度表中取热度最高的分片， 如果其存储在 SATA硬盘中， 并 且 10负载在阀值之内的，将该分片放入分片升级队列中，并通知文件访问服务器将分 片从 SATA硬盘迁移到 SSD硬盘。 同时， 扫描分片表中分片在 SSD硬盘中， 但不在 分片热度表中， 并且 10负载在阀值之内的， 将该分片放入分片降级队列中， 并通知文 件访问服务器将分片从 SATA硬盘迁移到 SSD硬盘中。 分片迁移模块 508， 可以位于文件访问服务器中， 设置为接收分片冷热调度模块 506的消息， 将具体的文件分片在 SATA硬盘和 SSD硬盘之间进行动态迁移， 执行文 件分片的升级与降级。 下面根据文件分片的升级降级过程来具体阐述动态分级存储的实现， 分布式*** 中文件 a， 文件 a有三个文件分片， 分别为分片 1， 分片 2， 分片 3。 文件分片大小都 为 64MB， 假设动态分级存储的设置有如下一些： 热度统计周期为一个小时， 热度阀 值为 1000， 热度系数为 1000等。 分片的升级：
1、 文件 a被频繁读取， 其中分片 2被访问的最多， 在一个小时内访问累计达到了 640MB, 分片 1和分片 3没有访问量， 文件访问统计模块 502在文件 a关闭的时候将 所有分片的访问统计上报给文件访问统计管理模块 504。 2、 文件访问统计管理模块 504根据上报的分片访问字节数计算分片的访问热度， 分为当前热度和历史热度， 当前热度由热度系数、 分片大小、 以及一个访问周期内的 分片访问字节数决定， 可以计算得到分片 2的当前热度为 2000， 记录到分片表中分片 2的当前热度字段中， 历史热度由当前热度和前一个访问统计周期内的历史热度决定， 假设前一个访问统计周期内分片 2 的历史热度为 0， 计算得到分片 2 的历史热度为 2000， 并且记录到分片表中分片 2的历史热度字段中。
3、分片冷热调度模块 506中的热度遍历线程， 主要负责定时的遍历分片表， 比较 历史热度和设定的热度阀值， 发现分片 2的历史热度 2000超过了热度阀值 1000， 将 其放到热度表中， 并按照热度由高到低排序。
4、分片冷热调度模块 506中的升级扫描线程， 主要负责扫描分片热度表， 从队首 取热度最高值， 假设取到分片 2， 并且不在 SSD硬盘中， 判断分片 2所在磁盘的读写 队列长度， 以及分片 2所在文件访问服务器的迁移队列长度，如果都在阀值以内的话， 将分片 2放到升级队列中， 如果有一个不在阀值以内的话， 继续取下一个分片， 分片 2只能等待 10负载符合要求后才能升级了， 假设此时 10负载在阀值以内， 分片 2被 放到升级队列中。 5、 分片冷热调度模块 506中的升级线程扫描升级队列， 找到分片 2， 并且将分片 2的迁移消息发送给分片迁移模块 508， 消息中包括分片 2所在的源 SATA硬盘， 需要 迁往的目的 SSD硬盘， 大小等内容。
6、分片迁移模块 508收到分片 2的迁移消息，读取源 SATA硬盘上分片 2的数据， 写入目的 SSD硬盘中， 并发迁移成功消息给分片冷热调度模块 506， 如果迁移失败， 一样发迁移失败的消息回去。
7、分片冷热调度模块 506收到分片 2迁移成功消息，修改分片表中分片 2的存储 位置信息， 从升级队列中删除， 发送删除分片 2源分片消息给文件访问服务器。 如果 收到失败的消息， 那就什么也不做， 等待升级线程下次扫描。 8、 文件访问服务器， 收到删除分片 2的源分片的消息的话， 删除在 SATA硬盘上 的分片 2的源分片数据。 如果没有收到， 那么在 SSD硬盘上的新写入的分片 2的数据 将成为垃圾， 分布式文件***通过扫垃圾机制来清扫垃圾， 不会占用资源。 以上为一个分片的升级过程， 包括了分片访问统计上报， 分片热度管理， 升级调 度， 分片迁移， 10负载上报等主要流程， 以及一些异常的流程： 如 10负载超出阀值， 迁移失败等。 分片降级过程是相对于已经升级的分片来说的， 假设分片 2升级成功， 下面介绍 分片的降级：
1、 分片 2处于 SSD硬盘中， 但是分片 2的访问量在接下来几个访问统计周期内 为 0， 计算得到当前热度为 0， 历史热度不断减少， 到第四个周期的时候， 计算得到分 片 2的历史热度已经少于设定的阀值 1000了，热度遍历线程会将分片 2从热度表中删 除。
2、 分片冷热调度模块 506中的降级扫描线程， 扫描分片表， 找到分片 2 目前在 SSD硬盘中， 但是不在热度表中， 同升级一样， 需要判断分片 2所在磁盘的读写队列 长度， 以及分片 2所在文件访问服务器的迁移队列长度， 如果都在阀值以内的话， 将 分片 2放到降级队列中， 如果有一个不在阀值以内的话， 继续找下一个符合要求的分 片。
3、分片冷热调度模块 506中的降级线程扫描降级队列，将分片 2的迁移消息发送 给分片迁移模块 508， 消息中包括分片 2所在的源 SSD硬盘， 需要迁往的目的 SATA 硬盘， 大小等内容。 4、 分片迁移模块 508收到分片 2的迁移消息， 读取源 SSD硬盘上分片 2的数据， 写入目的 SATA硬盘中， 并发迁移成功消息给分片冷热调度模块 506， 如果迁移失败， 一样发迁移失败的消息回去。
5、分片冷热调度模块 506收到分片 2迁移成功消息，修改分片表中分片 2的存储 位置信息， 从降级队列中删除， 发送删除分片 2源分片消息给文件访问服务器。 如果 收到失败的消息， 同样什么也不做， 等待降级线程下次扫描。
6、 文件访问服务器， 收到删除分片 2的源分片的消息的话， 删除在 SSD硬盘上 的分片 2的源分片数据。 如果没有收到， 那么在 SATA硬盘上的新写入的分片 2的数 据将成为垃圾， 同样可以通过扫垃圾机制扫除掉。 以上为一个分片的降级过程， 同样包括了一些主要流程， 如分片访问统计上报， 分片热度管理， 降级调度， 分片迁移， 10 负载上报等， 以及一些异常的流程： 如 10 负载超出阀值， 迁移失败等。 从以上的描述中， 可以看出， 本发明实施例实现了如下技术效果：
1、分片热度计算， 相关技术中的分级存储只是基于文件热度的， 只是通过打开文 件的次数来计算热度， 这显示比较简单并且不准确， 举例说明， 文件 a打开一次， 在 不停的循环读取， 然后关闭， 文件 b打开一次， 只读取了一次， 然后关闭， 计算热度 是一样的， 显然是不准确的。 另外， 对于一些大文件来说， 有时候读取的是部分数据， 比如文件结尾处被访问最多， 然后将整个文件都迁移到高性能的存储设备上去， 然而 文件开头部分不被访问或者很少被访问， 这样使迁移工作量变大， 耗费***资源。 本 发明实施例， 通过访问文件分片的字节数、 分片大小以及热度系数计算得到热度的方 案， 更能反应文件被访问的实际情况， 使高性能存储设备得到最大化利用。
2、动态分级存储， 相关技术中的分级存储方案是静态的分级存储， 将访问热度高 的文件放到了高性能的存储设备上， 当这些文件访问热度降低了， ***并不能察觉出 来， 将其从高性能的存储设备中转移到低性能存储设备中， 这样同样也会浪费大量的 高性能的存储空间， 提高存储成本。 本发明实施例感知文件分片热度的变化， 并且能 将热度低于阀值的存储在高性能存储设备上的文件分片迁移到低性能存储设备上， 使 高性能存储设备得到最大化利用。 显然， 本领域的技术人员应该明白， 上述的本发明的各模块或各步骤可以用通用 的计算装置来实现， 它们可以集中在单个的计算装置上， 或者分布在多个计算装置所 组成的网络上， 可选地， 它们可以用计算装置可执行的程序代码来实现， 从而， 可以 将它们存储在存储装置中由计算装置来执行， 并且在某些情况下， 可以以不同于此处 的顺序执行所示出或描述的步骤， 或者将它们分别制作成各个集成电路模块， 或者将 它们中的多个模块或步骤制作成单个集成电路模块来实现。 这样， 本发明不限制于任 何特定的硬件和软件结合。 以上所述仅为本发明的优选实施例而已， 并不用于限制本发明， 对于本领域的技 术人员来说， 本发明可以有各种更改和变化。 凡在本发明的精神和原则之内， 所作的 任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。 工业实用性 如上所述， 本发明实施例提供的一种分布式文件***的数据迁移方法、 装置及元 数据服务器， 具有以下有益效果： 提高了分布式文件***的存储设备的空间和性能利 用率。

Claims

权 利 要 求 书
1. 一种分布式文件***的数据迁移方法， 包括： 根据文件分片大小和所述文件分片被访问的字节数统计所述文件分片的访 问热度； 以及
根据所述文件分片的访问热度在不同性能的存储设备上迁移所述文件分 片。
2. 根据权利要求 1所述的方法， 其中， 根据所述文件分片的访问热度在不同的存 储设备上迁移所述文件分片包括： 如果所述文件分片的访问热度大于第一阈值， 将所述文件分片从性能低的 存储设备迁移到性能高的存储设备； 和 /或
如果所述文件分片的访问热度小于第二阈值， 将所述文件分片从高性能的 存储设备迁移到性能低的存储设备。
3. 根据权利要求 1所述的方法， 其中， 根据文件分片大小和所述文件分片被访问 的字节数统计所述文件分片的访问热度包括：
根据所述文件分片被访问的字节数、 所述文件分片大小以及预设的热度系 数统计所述文件的访问热度。
4. 根据权利要求 1所述的方法， 其中， 所述文件分片被访问的字节数越大且所述 文件分片大小越小， 统计得到的所述文件分片的访问热度越大。
5. 一种分布式文件***的数据迁移装置， 包括： 统计模块， 设置为根据文件分片大小和所述文件分片被访问的字节数统计 所述文件分片的访问热度； 以及
迁移模块， 设置为根据所述文件分片的访问热度在不同性能的存储设备上 迁移所述文件分片。
6. 根据权利要求 5所述的装置， 其中， 所述迁移模块包括： 第一迁移单元，设置为在所述文件分片的访问热度大于第一阈值的情况下， 将所述文件分片从性能低的存储设备迁移到性能高的存储设备； 和 /或 第二迁移单元，设置为在所述文件分片的访问热度小于第二阈值的情况下， 将所述文件分片从高性能的存储设备迁移到性能低的存储设备。 根据权利要求 5或 6所述的装置， 其中， 所述文件分片被访问的字节数越大且 所述文件分片大小越小， 统计得到的所述文件分片的访问热度越大。 一种元数据服务器， 包括： 处理器；
统计模块， 设置为根据文件分片大小和所述文件分片被访问的字节数统计 所述文件分片的访问热度； 以及
迁移模块， 设置为根据所述文件分片的访问热度在不同性能的存储设备上 迁移所述文件分片。 根据权利要求 8所述的元数据服务器， 其中， 所述迁移模块， 设置为根据所述 文件分片的访问热度向文件访问服务器发送迁移通知消息， 通知所述文件访问 服务器迁移所述文件分片。 根据权利要求 8或 9所述的元数据服务器， 其中， 所述文件分片被访问的字节 数越大且所述文件分片大小越小， 统计得到的所述文件分片的访问热度越大。
PCT/CN2014/083751 2014-04-11 2014-08-05 分布式文件***的数据迁移方法、装置及元数据服务器 WO2015154352A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410146780.0A CN104978362B (zh) 2014-04-11 2014-04-11 分布式文件***的数据迁移方法、装置及元数据服务器
CN201410146780.0 2014-04-11

Publications (1)

Publication Number Publication Date
WO2015154352A1 true WO2015154352A1 (zh) 2015-10-15

Family

ID=54274876

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/083751 WO2015154352A1 (zh) 2014-04-11 2014-08-05 分布式文件***的数据迁移方法、装置及元数据服务器

Country Status (2)

Country Link
CN (1) CN104978362B (zh)
WO (1) WO2015154352A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10031675B1 (en) * 2016-03-31 2018-07-24 Emc Corporation Method and system for tiering data

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574153A (zh) * 2015-12-16 2016-05-11 南京信息工程大学 一种基于文件热度分析和K-means的副本放置方法
CN106909472B (zh) * 2015-12-22 2020-09-11 ***通信集团河北有限公司 一种分布式文件***的输入/输出负载调整方法及装置
CN105653642A (zh) * 2015-12-25 2016-06-08 曙光信息产业股份有限公司 分布式文件***的数据管理方法和装置
CN105760114B (zh) * 2016-02-05 2020-07-03 浪潮(北京)电子信息产业有限公司 一种并行文件***资源管理方法、装置和***
CN107229657A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 数据迁移方法及装置
CN106227466B (zh) * 2016-07-15 2019-03-15 浪潮(北京)电子信息产业有限公司 一种数据段迁移方法及***
CN107329700A (zh) * 2017-06-29 2017-11-07 郑州云海信息技术有限公司 一种分布式集群数据存储方法及***
CN110019529B (zh) * 2017-12-29 2024-01-30 华为技术有限公司 数据节点的管理方法、***以及相关设备
CN109002543A (zh) * 2018-07-24 2018-12-14 北京京东尚科信息技术有限公司 一种文件存储的方法和装置
CN109246198B (zh) * 2018-08-16 2022-01-07 杭州数梦工场科技有限公司 一种基于分布式存储集群的云主机启动控制方法和***
CN110162273A (zh) * 2019-05-28 2019-08-23 北京计算机技术及应用研究所 一种基于分布式存储***的衰减式分层存储***及方法
CN112148690A (zh) * 2019-06-26 2020-12-29 深圳市茁壮网络股份有限公司 一种文件缓存方法、文件访问请求处理方法及装置
CN110688360A (zh) * 2019-09-17 2020-01-14 济南浪潮数据技术有限公司 分布式文件***存储管理方法、装置、设备及存储介质
CN111475108B (zh) * 2020-03-20 2023-11-28 深圳赛安特技术服务有限公司 一种分布式存储方法、计算机设备及计算机可读存储介质
CN111158613B (zh) * 2020-04-07 2020-07-31 上海飞旗网络技术股份有限公司 基于访问热度的数据块存储方法、装置及存储设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060112155A1 (en) * 2004-11-24 2006-05-25 Agami Systems, Inc. System and method for managing quality of service for a storage system
CN102364474A (zh) * 2011-11-17 2012-02-29 中国科学院计算技术研究所 用于机群文件***的元数据存储***和管理方法
CN102487456A (zh) * 2009-11-30 2012-06-06 国际商业机器公司 用于提供网络视频访问热度的方法和装置
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件***的存储方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060112155A1 (en) * 2004-11-24 2006-05-25 Agami Systems, Inc. System and method for managing quality of service for a storage system
CN102487456A (zh) * 2009-11-30 2012-06-06 国际商业机器公司 用于提供网络视频访问热度的方法和装置
CN102364474A (zh) * 2011-11-17 2012-02-29 中国科学院计算技术研究所 用于机群文件***的元数据存储***和管理方法
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件***的存储方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10031675B1 (en) * 2016-03-31 2018-07-24 Emc Corporation Method and system for tiering data

Also Published As

Publication number Publication date
CN104978362A (zh) 2015-10-14
CN104978362B (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
WO2015154352A1 (zh) 分布式文件***的数据迁移方法、装置及元数据服务器
US10346081B2 (en) Handling data block migration to efficiently utilize higher performance tiers in a multi-tier storage environment
US9830101B2 (en) Managing data storage in a set of storage systems using usage counters
US10140050B2 (en) Providing access information to a storage controller to determine a storage tier for storing data
US10168912B2 (en) Short stroking and data tiering for a distributed filesystem
CN109947668B (zh) 存储数据的方法和装置
US9348842B2 (en) Virtualized data storage system optimizations
US9703500B2 (en) Reducing power consumption by migration of data within a tiered storage system
US10860245B2 (en) Method and apparatus for optimizing data storage based on application
US20140337562A1 (en) Journal management
US10509739B1 (en) Optimized read IO for mix read/write scenario by chunking write IOs
WO2011144175A1 (zh) 分布式哈希表dht存储***的数据预取方法、节点和***
WO2013178155A1 (zh) 分布式文件***的存储方法及装置
TW201140430A (en) Allocating storage memory based on future use estimates
WO2014101108A1 (zh) 分布式存储***的缓存方法、节点和计算机可读介质
CN107273040A (zh) 数据缓存方法和装置
US8601210B2 (en) Cache memory allocation process based on TCPIP network and/or storage area network array parameters
KR20180086120A (ko) 테일 레이턴시를 인식하는 포어그라운드 가비지 컬렉션 알고리즘
WO2015184710A1 (zh) 磁盘休眠处理方法及装置
US10572464B2 (en) Predictable allocation latency in fragmented log structured file systems
CN102510390B (zh) 利用硬盘温度自检测指导数据迁移的方法和装置
WO2014153931A1 (zh) 文件存储方法、装置、访问客户端及元数据服务器***
CN101788887A (zh) 磁盘阵列中一种基于数据库的i/o缓存流的***及方法
WO2014094303A1 (zh) 一种监控记录管理方法与装置
WO2019120226A1 (zh) 数据访问预测方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14888852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14888852

Country of ref document: EP

Kind code of ref document: A1