TW201520889A - 混合儲存的控制方法及混合儲存系統 - Google Patents

混合儲存的控制方法及混合儲存系統 Download PDF

Info

Publication number
TW201520889A
TW201520889A TW103110103A TW103110103A TW201520889A TW 201520889 A TW201520889 A TW 201520889A TW 103110103 A TW103110103 A TW 103110103A TW 103110103 A TW103110103 A TW 103110103A TW 201520889 A TW201520889 A TW 201520889A
Authority
TW
Taiwan
Prior art keywords
type storage
storage device
data block
hdd
ssd
Prior art date
Application number
TW103110103A
Other languages
English (en)
Other versions
TWI654558B (zh
Inventor
hua-bing Du
Yang-Jun Ma
zhen-kun Yang
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201520889A publication Critical patent/TW201520889A/zh
Application granted granted Critical
Publication of TWI654558B publication Critical patent/TWI654558B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本發明提供了一種混合儲存的控制方法，應用於具有一個或多個HDD型儲存裝置以及一個或多個SSD型儲存裝置的儲存系統中的每一個HDD型儲存裝置和每一個SSD型儲存裝置中，所述儲存系統中的每一個HDD型儲存裝置和SSD型儲存裝置相連接，所述每一個HDD型儲存裝置和每一個SSD型儲存裝置中分別儲存有一個或多個資料塊，該方法包括：週期性地獲取儲存裝置中儲存的每個資料塊的存取資訊；根據獲取到的所述每個資料塊的存取資訊，調整所述每個資料塊在所述儲存系統中的儲存位置，採用本發明的技術方案，能夠根據存取頻率動態配置資料塊的儲存位置，以充分利用不同儲存裝置的優勢。

Description

混合儲存的控制方法及混合儲存系統
本發明涉及資料儲存領域，尤其涉及一種混合儲存的控制方法及混合儲存系統。
目前，混合儲存技術已經成為一種趨勢，混合儲存，即是指根據不同的儲存裝置不同的特性，將多種不同儲存裝置依照一定的策略組成的儲存系統，使用混合儲存系統一般可以具有比使用單一儲存更好的系統性能。比如：CPU的隨機儲存部分，有一級快取(L1 Cache)、二級快取(L2 Cache)、三級快取(L3 Cache)、主記憶體(主記憶體Main Memory)，這些儲存裝置的資料存取速度逐步減低，但是容量逐步增大，按照一定的快取Cache一致性機制，可以讓大量的資料存取在容量較小、單速度更快的快取Cache進行，以提高整體系統性能。
現有的混合儲存技術，主要有混合硬碟技術、快閃快取(flashcache)技術等。
混合硬碟技術，硬碟內部直接集成一定大小SSD(固態硬碟)的混合HDD硬碟並由磁碟控制卡控制的SSD與 HDD融合技術，HDD一般容量大，但資料存取速度稍慢，而SSD一般容量小，資料存取速度快，SSD與HDD的配比一般是固定的，無法有效適配不同的場景獲得最佳性價比。
快閃快取(flashcache)技術，透過在檔案系統(VFS)和設備驅動之間新增了一快取層，來實現對熱門資料的快取。快閃快取(flashcache)，一般用SSD作為媒體的快取(一般的快取用的是記憶體)，透過將傳統硬碟上的熱門資料快取到SSD上，然後利用SSD優秀的讀性能來加速系統。
混合硬碟技術和快閃快取(flashcache)技術都是基於單機的混合機制，單機設備配置複雜，且靈活性較差。而隨著分散式儲存技術的發展，在集群層面也需要混合儲存技術。但現有的混合儲存技術還無法在集群層面實現。
本發明的主要目的在於提供一種混合儲存的控制方法及混合儲存系統，以解決現有技術存在的上述問題，其中：本發明提供了一種混合儲存的控制方法，應用於具有一個或多個HDD型儲存裝置以及一個或多個SSD型儲存裝置的儲存系統中的每一個HDD型儲存裝置和每一個SSD型儲存裝置中，所述儲存系統中的每一個HDD型儲存裝置和SSD型儲存裝置相連接，所述每一個HDD型儲 存裝置和每一個SSD型儲存裝置中分別儲存有一個或多個資料塊，該方法包括：週期性地獲取儲存裝置中儲存的每個資料塊的存取資訊；根據獲取到的所述每個資料塊的存取資訊，調整所述每個資料塊在所述儲存系統中的儲存位置。
根據本發明的實施例，在該方法中，還包括：記錄儲存的每個資料塊的存取資訊，其中，所述存取資訊至少包括：資料塊的被存取次數。
根據本發明的實施例，在該方法中，根據獲取到的所述每個資料塊的存取資訊，調整所述每個資料塊在所述儲存系統中的儲存位置，包括：將HDD型儲存裝置中儲存的被存取次數超過第一預定次數的資料塊遷移到所述儲存系統中任意的SSD型儲存裝置中儲存；或者，將SSD型儲存裝置中儲存的被存取次數少於第二預定次數的資料塊遷移到所述儲存系統中任意的HDD型儲存裝置中儲存。
根據本發明的實施例，在該方法中，將HDD型儲存裝置中儲存的被存取次數超過第一預定次數的資料塊遷移到所述儲存系統中任意的SSD型儲存裝置中儲存，進一步包括：將HDD型儲存裝置中儲存的被存取次數超過第一預定次數的資料塊複製到所述儲存系統中任意的SSD型儲存裝置中，並從原來儲存所述資料塊的HDD型儲存裝置中刪除所述資料塊；將SSD型儲存裝置中儲存的被存取次數少於第二預定次數的資料塊遷移到所述儲存系統中任意的HDD型儲存裝置中儲存，進一步包括：將SSD 型儲存裝置中儲存的被存取次數少於第二預定次數的資料塊複製到所述儲存系統中任意的HDD型儲存裝置中，並從原來儲存所述資料塊的SSD型儲存裝置中刪除所述資料塊。
本發明還提供了一種混合儲存系統，包括：一個或多個HDD型儲存裝置以及一個或多個SSD型儲存裝置，每一個所述HDD型儲存裝置包括：HDD型儲存單元和控制單元；每一個所述SSD型儲存裝置包括：SSD型儲存單元和控制單元；所述HDD型儲存單元和所述SSD型儲存單元用於儲存一個或多個資料塊；所述控制單元包括：存取資訊獲取模組，用於週期性地獲取所述HDD型儲存單元或SSD型儲存單元中儲存的每個資料塊的存取資訊；儲存位置調整模組，用於根據獲取到的所述每個資料塊的存取資訊，調整所述每個資料塊在所述儲存系統中的儲存位置。
根據本發明的實施例，在該系統中，所述控制單元還包括：記錄模組，用於記錄所述HDD型儲存單元或SSD型儲存單元中儲存的每個資料塊的存取資訊，其中，所述存取資訊至少包括：資料塊的被存取次數。
根據本發明的實施例，在該系統中，所述儲存位置調整模組進一步用於：將HDD型儲存裝置的HDD型儲存單元中儲存的被存取次數超過第一預定次數的資料塊遷移到所述儲存系統中任意的SSD型儲存裝置的SSD型儲存單元中儲存；或者，進一步用於：將SSD型儲存裝置的 SSD型儲存單元中儲存的被存取次數少於第二預定次數的資料塊的遷移到所述儲存系統中任意的HDD型儲存裝置的HDD型儲存單元中儲存。
根據本發明的實施例，在該系統中，所述儲存位置調整模組進一步用於：將HDD型儲存裝置的HDD型儲存單元中儲存的被存取次數超過第一預定次數的資料塊複製到所述儲存系統中任意的SSD型儲存裝置的SSD型儲存單元中，並從原來儲存所述資料塊的HDD型儲存裝置的HDD型儲存單元中刪除所述資料塊；或者，進一步用於：將SSD型儲存裝置的SSD型儲存單元中儲存的被存取次數少於第二預定次數的資料塊複製到所述儲存系統中任意的HDD型儲存裝置的HDD型儲存單元中，並從原來儲存所述資料塊的SSD型儲存裝置的SSD型儲存單元中刪除所述資料塊。
與現有技術相比，根據本發明的技術方案，可以充分利用不同儲存裝置的優勢，根據存取頻率動態配置資料塊的儲存位置，以達到在儲存容量與資料操作速度上的性能優化。
200‧‧‧混合儲存系統
210‧‧‧HDD型儲存裝置
220‧‧‧SSD型儲存裝置
311‧‧‧HDD型儲存單元
312‧‧‧控制單元
3121‧‧‧存取資訊獲取模組
3122‧‧‧儲存位置調整模組
321‧‧‧SSD型儲存單元
322‧‧‧控制單元
3221‧‧‧存取資訊獲取模組
3222‧‧‧儲存位置調整模組
此處所說明的圖式用來提供對本發明的進一步理解，構成本發明的一部分，本發明的示意性實施例及其說明用於解釋本發明，並不構成對本發明的不當限定。在圖式中： 圖1是根據本發明一個實施例的混合儲存的控制方法的流程圖；圖2是根據本發明一個實施例的混合儲存系統的結構方塊圖；圖3a是根據本發明一個實施例的混合儲存系統中每一個HDD型儲存裝置的結構方塊圖；以及圖3b是根據本發明一個實施例的混合儲存系統中每一個SSD型儲存裝置的結構方塊圖。
本發明的主要思想在於，只需配置HDD和SSD兩種類型的儲存裝置，實現並優化資料的混合儲存。
為使本發明的目的、技術方案和優點更加清楚，下面將結合本發明具體實施例及相應的圖式對本發明技術方案進行清楚、完整地描述。顯然，所描述的實施例僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
根據本發明的實施例，提供了一種混合儲存的控制方法。該方法可以應用於具有一個或多個HDD型儲存裝置以及一個或多個SSD型儲存裝置的儲存系統中的每一個HDD型儲存裝置和每一個SSD型儲存裝置中，所述儲存系統中的所有的HDD型儲存裝置和SSD型儲存裝置相連接，所述每一個HDD型儲存裝置和每一個SSD型儲存裝 置中分別儲存有一個或多個資料塊。其中，資料塊是指在儲存裝置之間進行傳輸的一個資料單位。
應當理解，在所述儲存系統中，所述HDD型儲存裝置和SSD型儲存裝置分別是單獨的計算節點。也即是說，每個計算節點只包含一種類型的儲存媒體。例如，某個計算節點(儲存裝置)包含HDD型儲存單元，則該計算節點(儲存裝置)就不會包含SSD型儲存單元，從而該計算節點可以為HDD型儲存裝置。類似地，某個計算節點(儲存裝置)包含SSD型儲存單元，則該計算節點(儲存裝置)就不會包含HDD型儲存單元，從而該計算節點可以為SSD型儲存裝置。
也就是說，HDD型儲存裝置中只包含HDD(機械硬碟)，SSD型儲存裝置中只包含SSD(固態硬碟)，所述一個或多個HDD型儲存裝置可以是同一尺寸HDD型儲存裝置，所述一個或多個SSD型儲存裝置可以是同一尺寸的SSD型儲存裝置，即每一個HDD型儲存裝置可以都是相同的，每一個SSD型儲存裝置也可以都是相同的。當然，也應該理解，所述一個或多個HDD型儲存裝置也可以是不同尺寸的HDD型儲存裝置，所述一個或多個SSD型儲存裝置也可以是不同尺寸的SSD型儲存裝置。
參考圖1，圖1是本發明實施例的一種混合儲存的控制方法的流程圖，如圖1所示，對於儲存系統中的每個儲存裝置：在步驟S101中，週期性地獲取儲存裝置中儲存的每 個資料塊的存取資訊。其中，所述存取資訊至少包括：資料塊的被存取次數。即，每隔一預定週期，獲取HDD或SSD型儲存裝置中儲存的每個資料塊的被存取次數。其中，資料塊的劃分，可以將資料劃分為百萬位元組(MB，MByte)級別的資料塊，例如，幾兆大小的資料塊，以防止元資訊過多，節省儲存空間。所述存取資訊還可以包括：資料塊的元資訊，例如資料塊的儲存位址等。
根據本發明的一個實施例，還包括：記錄儲存的每個資料塊的存取資訊的步驟，即，統計並記錄儲存的每個資料塊的被存取次數。記錄時，可以採用非同步方式記錄每個資料塊的存取資訊，即，可以同時分別記錄兩個以上的資料塊的存取資訊，例如，在記錄一個資料塊的存取資訊時，如果另一個資料塊也被存取了，那麼可以同時再去統計並記錄該另一個資料塊的存取資訊。
在步驟S102中，根據獲取到的所述每個資料塊的存取資訊，調整所述每個資料塊在所述儲存系統中的儲存位置。
步驟S102可以包括：將HDD型儲存裝置中儲存的被存取次數超過第一預定次數的資料塊遷移到所述儲存系統中任意的SSD型儲存裝置中儲存；或者，將SSD型儲存裝置中儲存的被存取次數少於第二預定次數的資料塊的遷移到所述儲存系統中任意的HDD型儲存裝置中儲存。
也即是說，由於HDD型設備一般容量較大，但是資料存取速度較慢，相對來說，SSD設備一般容量較小，但 是資料存取速度相對較快，因此，如果儲存裝置為HDD型設備，則將被存取頻率較高(被存取次數超過第一預定次數)的資料塊遷移到儲存系統中任意的SSD型儲存裝置中儲存，以提高對被存取頻率較高的資料塊的讀取速度。而如果儲存裝置為SSD型儲存裝置，則將被存取頻率較低(被存取次數少於第二預定次數)的資料塊遷移到該儲存系統中任意的HDD型儲存裝置中儲存。從而，能夠根據資料塊的被存取次數，調整資料塊在儲存系統中的儲存的設備，實現儲存系統性能的最大優化。
採用上述的方案，則儲存系統只需要配置兩種類型的儲存裝置：HDD型的一個或多個儲存裝置和SSD型的一個或多個儲存裝置，並且可以根據一般場景的需要分別配置適當數量的兩種儲存裝置，透過週期性地統計每個儲存裝置中所儲存的資料塊的被存取次數，將存取較頻繁的資料塊遷移至讀取速度較快的SSD型儲存裝置中儲存，將存取不頻繁的資料塊遷移至容量較大的HDD型儲存裝置中儲存，以充分利用不同類型設備的優勢，達到儲存容量與資料操作速度上的性能平衡。
根據本發明的實施例，將資料塊從一個儲存裝置(原儲存裝置中)遷移到另一個儲存裝置(目標儲存裝置)中，可以先將該資料塊複製到目標儲存裝置中，再從原儲存裝置中將該資料塊刪除，即完成了遷移。
也就是說，將HDD型儲存裝置中儲存的被存取次數超過第一預定次數的資料塊遷移到所述儲存系統中任意的 SSD型儲存裝置中儲存，即是將HDD型儲存裝置中儲存的被存取次數超過第一預定次數的資料塊複製到所述儲存系統中任意的SSD型儲存裝置中，並從原來儲存所述資料塊的HDD型儲存裝置中刪除所述資料塊。將SSD型儲存裝置中儲存的被存取次數少於第二預定次數的資料塊遷移到所述儲存系統中任意的HDD型儲存裝置中儲存，即是將SSD型儲存裝置中儲存的被存取次數少於第二預定次數的資料塊複製到所述儲存系統中任意的HDD型儲存裝置中，並從原來儲存所述資料塊的SSD型儲存裝置中刪除所述資料塊。
本發明還提供了一種混合儲存系統。
圖2示意性地示出了根據本發明一個實施例的混合儲存系統的結構方塊圖。根據本發明的一個實施例，該混合儲存系統200包括：一個或多個HDD型儲存裝置210以及一個或多個SSD型儲存裝置220。
為了更清楚的說明每個儲存裝置的結構，圖3a、圖3b分別示意性地示出了根據本發明的一個實施例的混合儲存系統中每個HDD型儲存裝置和SSD型儲存裝置的結構方塊圖。如圖3a所示，每一個所述HDD型儲存裝置310包括：HDD型儲存單元311和控制單元312；如圖3b所示，每一個所述SSD型儲存裝置320包括：SSD型儲存單元321和控制單元322。
其中，HDD型儲存裝置310和SSD型儲存裝置320的構成可以如前所述，在此不再重複描述。
所述HDD型儲存單元311和所述SSD型儲存單元321可以用於儲存一個或多個資料塊。
所述控制單元312/322可以包括：存取資訊獲取模組3121/3221和儲存位置調整模組3122/3222。
存取資訊獲取模組3121/3221可以用於週期性地獲取所述HDD型儲存單元311或SSD型儲存單元321中儲存的每個資料塊的存取資訊。
儲存位置調整模組3122/3222可以用於根據獲取到的所述每個資料塊的存取資訊，調整所述每個資料塊在所述儲存系統中的儲存位置。
所述控制單元312/322還可以包括記錄模組，用於記錄所述HDD型儲存單元311或SSD型儲存單元321中儲存的每個資料塊的存取資訊，其中，所述存取資訊至少包括：資料塊的被存取次數。
HDD型儲存裝置310的HDD型儲存單元311中，儲存位置調整模組3122可以進一步用於：將HDD型儲存裝置310的HDD型儲存單元311中儲存的被存取次數超過第一預定次數的資料塊遷移到所述儲存系統中任意的SSD型儲存裝置320的SSD型儲存單元321中儲存。SSD型儲存裝置320的SSD型儲存單元321中，儲存位置調整模組3222可以進一步用於：將SSD型儲存裝置320的SSD型儲存單元321中儲存的被存取次數少於第二預定次數的資料塊的遷移到所述儲存系統中任意的HDD型儲存裝置310的HDD型儲存單元311中儲存。
HDD型儲存裝置310的HDD型儲存單元311中，儲存位置調整模組3122可以進一步用於：將HDD型儲存裝置310的HDD型儲存單元311中儲存的被存取次數超過第一預定次數的資料塊複製到所述儲存系統中任意的SSD型儲存裝置320的SSD型儲存單元321中，並從原來儲存所述資料塊的HDD型儲存裝置310的HDD型儲存單元311中刪除所述資料塊。SSD型儲存裝置320的SSD型儲存單元321中，儲存位置調整模組3222可以進一步用於：將SSD型儲存裝置320的SSD型儲存單元321中儲存的被存取次數少於第二預定次數的資料塊複製到所述儲存系統中任意的HDD型儲存裝置310的HDD型儲存單元311中，並從原來儲存所述資料塊的SSD型儲存裝置320的SSD型儲存單元321中刪除所述資料塊。
由於本實施例的系統所實現的功能基本相應於前述圖1所示的方法實施例，故本實施例的描述中未詳盡之處，可以參見前述實施例中的相關說明，在此不做贅述。
在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。
記憶體可能包括電腦可讀取媒體中的非永久性記憶體，隨機存取記憶體(RAM)和/或非易失性記憶體等形式，如唯讀記憶體(ROM)或快閃隨機存取記憶體(flash RAM)。記憶體是電腦可讀取媒體的示例。
電腦可讀取媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊 可以是電腦可讀取指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁磁片儲存或其他磁性儲存裝置或任何其他非傳輸媒體，可用於儲存可以被計算設備存取的資訊。按照本文中的界定，電腦可讀取媒體不包括非暫存電腦可讀取媒體(transitory media)，如調變的資料信號和載波。
還需要說明的是，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的要素，並不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。
本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或電腦程式產品。因此，本發明可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本發明可採用在一個或多個其中 包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。
以上所述僅為本發明的實施例而已，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的申請專利範圍的範圍之內。

Claims (8)

  1. 一種混合儲存的控制方法，應用於具有一個或多個HDD型儲存裝置以及一個或多個SSD型儲存裝置的儲存系統中的每一個HDD型儲存裝置和每一個SSD型儲存裝置中，該儲存系統中的每一個HDD型儲存裝置和SSD型儲存裝置相連接，該每一個HDD型儲存裝置和每一個SSD型儲存裝置中分別儲存有一個或多個資料塊，其特徵在於，包括：週期性地獲取儲存裝置中儲存的每個資料塊的存取資訊；根據獲取到的該每個資料塊的存取資訊，調整該每個資料塊在該儲存系統中的儲存位置。
  2. 根據申請專利範圍第1項的方法，其中，還包括：記錄儲存的每個資料塊的存取資訊，其中，該存取資訊至少包括：資料塊的被存取次數。
  3. 根據申請專利範圍第1項的方法，其中，根據獲取到的該每個資料塊的存取資訊，調整該每個資料塊在該儲存系統中的儲存位置，包括：將HDD型儲存裝置中儲存的被存取次數超過第一預定次數的資料塊遷移到該儲存系統中任意的SSD型儲存裝置中儲存；或者，將SSD型儲存裝置中儲存的被存取次數少於第二預定次數的資料塊遷移到該儲存系統中任意的HDD型儲存裝置中儲存。
  4. 根據申請專利範圍第3項的方法，其中，將HDD型儲存裝置中儲存的被存取次數超過第一預定次數的資料塊遷移到該儲存系統中任意的SSD型儲存裝置中儲存，進一步包括：將HDD型儲存裝置中儲存的被存取次數超過第一預定次數的資料塊複製到該儲存系統中任意的SSD型儲存裝置中，並從原來儲存該資料塊的HDD型儲存裝置中刪除該資料塊；將SSD型儲存裝置中儲存的被存取次數少於第二預定次數的資料塊遷移到該儲存系統中任意的HDD型儲存裝置中儲存，進一步包括：將SSD型儲存裝置中儲存的被存取次數少於第二預定次數的資料塊複製到該儲存系統中任意的HDD型儲存裝置中，並從原來儲存該資料塊的SSD型儲存裝置中刪除該資料塊。
  5. 一種混合儲存系統，其特徵在於，包括：一個或多個HDD型儲存裝置以及一個或多個SSD型儲存裝置，每一個該HDD型儲存裝置包括：HDD型儲存單元和控制單元；每一個該SSD型儲存裝置包括：SSD型儲存單元和控制單元；該HDD型儲存單元和該SSD型儲存單元用於儲存一個或多個資料塊；該控制單元包括：存取資訊獲取模組，用於週期性地獲取該HDD型儲存單元或SSD型儲存單元中儲存的每個資料塊的存取資訊； 儲存位置調整模組，用於根據獲取到的該每個資料塊的存取資訊，調整該每個資料塊在該儲存系統中的儲存位置。
  6. 根據申請專利範圍第5項的系統，其中，該控制單元還包括：記錄模組，用於記錄該HDD型儲存單元或SSD型儲存單元中儲存的每個資料塊的存取資訊，其中，該存取資訊至少包括：資料塊的被存取次數。
  7. 根據申請專利範圍第5項的系統，其中，該儲存位置調整模組進一步用於：將HDD型儲存裝置的HDD型儲存單元中儲存的被存取次數超過第一預定次數的資料塊遷移到該儲存系統中任意的SSD型儲存裝置的SSD型儲存單元中儲存；或者，進一步用於：將SSD型儲存裝置的SSD型儲存單元中儲存的被存取次數少於第二預定次數的資料塊的遷移到該儲存系統中任意的HDD型儲存裝置的HDD型儲存單元中儲存。
  8. 根據申請專利範圍第7項的系統，其中，該儲存位置調整模組進一步用於：將HDD型儲存裝置的HDD型儲存單元中儲存的被存取次數超過第一預定次數的資料塊複製到該儲存系統中任意的SSD型儲存裝置的SSD型儲存單元中，並從原來儲存該資料塊的HDD型儲存裝置的HDD型儲存單元中刪除該資料塊；或者，進一步用於：將SSD型儲存裝置的SSD型儲存單元中儲存的被存取次數少於第二預定次數的資料塊複 製到該儲存系統中任意的HDD型儲存裝置的HDD型儲存單元中，並從原來儲存該資料塊的SSD型儲存裝置的SSD型儲存單元中刪除該資料塊。
TW103110103A 2013-11-27 2014-03-18 混合儲存的控制方法及混合儲存系統 TWI654558B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201310618239.0 2013-11-27
CN201310618239.0A CN104679661B (zh) 2013-11-27 2013-11-27 混合存储的控制方法及混合存储***

Publications (2)

Publication Number Publication Date
TW201520889A true TW201520889A (zh) 2015-06-01
TWI654558B TWI654558B (zh) 2019-03-21

Family

ID=52232418

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103110103A TWI654558B (zh) 2013-11-27 2014-03-18 混合儲存的控制方法及混合儲存系統

Country Status (8)

Country Link
US (2) US10048872B2 (zh)
EP (2) EP3869316B1 (zh)
JP (1) JP6651444B2 (zh)
KR (2) KR102228748B1 (zh)
CN (2) CN110825324B (zh)
HK (1) HK1206839A1 (zh)
TW (1) TWI654558B (zh)
WO (1) WO2015081206A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235677A (ja) * 2013-06-05 2014-12-15 株式会社東芝 データ記憶装置およびデータ記憶制御方法
CN110825324B (zh) 2013-11-27 2023-05-30 北京奥星贝斯科技有限公司 混合存储的控制方法及混合存储***
EP3200083B1 (en) * 2014-12-23 2019-03-13 Huawei Technologies Co. Ltd. Resource scheduling method and related apparatus
JP2017027388A (ja) * 2015-07-23 2017-02-02 株式会社東芝 メモリシステムおよび不揮発性メモリの制御方法
US9823875B2 (en) * 2015-08-31 2017-11-21 LinkedIn Coporation Transparent hybrid data storage
CN105426129A (zh) * 2015-11-18 2016-03-23 上海新储集成电路有限公司 一种优化混合存储器数据存储的方法
CN105573669A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种存储***的io读加速缓存方法和***
CN105741875A (zh) * 2016-01-28 2016-07-06 上海新储集成电路有限公司 一种提高混合存储器随机读性能的方法
CN107273040A (zh) * 2016-04-08 2017-10-20 北京优朋普乐科技有限公司 数据缓存方法和装置
CN106055272A (zh) * 2016-05-20 2016-10-26 乐视控股（北京）有限公司 存储介质的选择方法与装置
CN106775500A (zh) * 2017-02-10 2017-05-31 郑州云海信息技术有限公司 一种计算机硬盘存储文件的方法与装置
CN107193500A (zh) * 2017-05-26 2017-09-22 郑州云海信息技术有限公司 一种分布式文件***分层存储方法及***
CN109144403B (zh) * 2017-06-19 2021-10-01 阿里巴巴集团控股有限公司 一种用于云盘模式切换的方法与设备
CN109508140B (zh) * 2017-09-15 2022-04-05 阿里巴巴集团控股有限公司 存储资源管理方法、装置、电子设备及电子设备、***
US10659531B2 (en) * 2017-10-06 2020-05-19 International Business Machines Corporation Initiator aware data migration
US10769074B2 (en) * 2017-11-09 2020-09-08 Microsoft Technology Licensing, Llc Computer memory content movement
CN108268802A (zh) * 2017-12-20 2018-07-10 深圳市杉岩数据技术有限公司 一种加密混合存储的方法和***
CN108363553A (zh) * 2018-01-31 2018-08-03 北京兰云科技有限公司 一种数据处理方法、装置及***
CN108762670B (zh) * 2018-05-22 2021-06-29 郑州云海信息技术有限公司 一种ssd固件中数据块的管理方法、***及装置
CN109151358A (zh) * 2018-09-10 2019-01-04 郑州云海信息技术有限公司 一种视频处理***与方法
CN111078126B (zh) * 2018-10-19 2023-09-15 阿里巴巴集团控股有限公司 分布式存储***及其存储方法
CN109445695A (zh) * 2018-10-19 2019-03-08 郑州云海信息技术有限公司 一种数据迁移方法
CN110109620B (zh) * 2019-04-25 2023-08-04 上海淇毓信息科技有限公司 混合存储方法、装置和电子设备
CN110209350B (zh) * 2019-05-10 2020-07-10 华中科技大学 一种混合存储架构hpc***中应用i/o请求的动态调度方法
CN110362277B (zh) * 2019-07-19 2021-03-02 重庆大学 基于混合存储***的数据分类存储方法
JP7050034B2 (ja) * 2019-07-29 2022-04-07 株式会社日立製作所 ストレージシステム及びノード管理方法
CN115398874A (zh) 2019-09-12 2022-11-25 创新先进技术有限公司 日志结构存储***
SG11202002614XA (en) * 2019-09-12 2020-04-29 Alibaba Group Holding Ltd Log-structured storage systems
WO2019228574A2 (en) * 2019-09-12 2019-12-05 Alibaba Group Holding Limited Log-structured storage systems
US11157179B2 (en) 2019-12-03 2021-10-26 Pure Storage, Inc. Dynamic allocation of blocks of a storage device based on power loss protection
CN111078160B (zh) * 2020-03-23 2020-06-23 上海飞旗网络技术股份有限公司 基于调用比例及响应时长的数据迁移存储方法及装置
US11531582B2 (en) 2020-07-22 2022-12-20 Western Digital Technologies, Inc. Data storage device dynamically relocating data sectors based on map-out value
CN111625203A (zh) * 2020-07-31 2020-09-04 苏州浪潮智能科技有限公司 一种分级存储的方法、***、设备及介质
CN112433679B (zh) * 2020-12-01 2023-06-16 广州城市职业学院 一种数据存储方法、装置、电子设备及存储介质
CN112540727A (zh) * 2020-12-04 2021-03-23 北京百度网讯科技有限公司 数据管理方法、装置、计算设备、存储介质和云平台
CN113885797B (zh) * 2021-09-24 2023-12-22 济南浪潮数据技术有限公司 一种数据存储方法、装置、设备及存储介质

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6412080B1 (en) * 1999-02-23 2002-06-25 Microsoft Corporation Lightweight persistent storage system for flash memory devices
US20050251617A1 (en) 2004-05-07 2005-11-10 Sinclair Alan W Hybrid non-volatile memory system
US20070083697A1 (en) * 2005-10-07 2007-04-12 Microsoft Corporation Flash memory management
JP4900784B2 (ja) * 2006-04-13 2012-03-21 株式会社日立製作所 ストレージシステム及びストレージシステムのデータ移行方法
US20080005462A1 (en) 2006-06-30 2008-01-03 Mosaid Technologies Incorporated Method of configuring non-volatile memory for a hybrid disk drive
US8165177B2 (en) 2006-12-22 2012-04-24 Lenovo (Singapore) Pte. Ltd. System and method for hybrid virtual machine monitor file system operations
US8375187B1 (en) * 2007-09-27 2013-02-12 Emc Corporation I/O scheduling for flash drives
US8028126B2 (en) * 2008-06-09 2011-09-27 Oracle America, Inc. Scheduling spin-up operations for a set of hard disk drives
US8224782B2 (en) * 2008-09-29 2012-07-17 Hitachi, Ltd. System and method for chunk based tiered storage volume migration
US8725946B2 (en) * 2009-03-23 2014-05-13 Ocz Storage Solutions, Inc. Mass storage system and method of using hard disk, solid-state media, PCIe edge connector, and raid controller
JP2010238138A (ja) * 2009-03-31 2010-10-21 Hitachi Ltd ストレージシステムおよびファイル階層管理方法
US8903816B2 (en) 2009-04-08 2014-12-02 Ebay Inc. Methods and systems for deriving a score with which item listings are ordered when presented in search results
US8321645B2 (en) * 2009-04-29 2012-11-27 Netapp, Inc. Mechanisms for moving data in a hybrid aggregate
US20120166749A1 (en) * 2009-09-08 2012-06-28 International Business Machines Corporation Data management in solid-state storage devices and tiered storage systems
JP5427533B2 (ja) * 2009-09-30 2014-02-26 株式会社日立製作所 階層ストレージ管理システムにおける重複ファイルの転送方法及びシステム
US8843459B1 (en) * 2010-03-09 2014-09-23 Hitachi Data Systems Engineering UK Limited Multi-tiered filesystem
US8850151B2 (en) 2010-03-24 2014-09-30 Apple Inc. Hybrid-device storage based on environmental state
JP2011209973A (ja) * 2010-03-30 2011-10-20 Hitachi Ltd ディスクアレイ構成プログラム、計算機、計算機システム
JP5070315B2 (ja) * 2010-04-28 2012-11-14 株式会社日立製作所 ストレージ装置及びストレージ装置におけるデータ階層管理方法
US8495296B2 (en) * 2010-05-18 2013-07-23 International Business Machines Corporation System and method for optimizing data remanence over hubrid disk clusters using various storage technologies
US9355109B2 (en) * 2010-06-11 2016-05-31 The Research Foundation For The State University Of New York Multi-tier caching
CN101907978B (zh) * 2010-07-27 2011-12-07 浙江大学 基于固态硬盘和磁性硬盘的混合存储***及存储方法
CN102346740B (zh) 2010-08-02 2016-08-10 联想(北京)有限公司 一种文件同步方法、电子设备和同步***
JP5594647B2 (ja) * 2010-08-10 2014-09-24 日本電気株式会社 ストレージ装置及びその制御方法
US8345489B2 (en) * 2010-09-02 2013-01-01 International Business Machines Corporation Caching scheme synergy for extent migration between tiers of a storage system
US20120066712A1 (en) 2010-09-13 2012-03-15 Jennifer Schultz System and method for notifying advertisers of available targeted advertising slots
US8621134B2 (en) * 2010-11-08 2013-12-31 Lsi Corporation Storage tiering with minimal use of DRAM memory for header overhead
US8782340B2 (en) * 2010-12-06 2014-07-15 Xiotech Corporation Hot sheet upgrade facility
WO2012081089A1 (ja) * 2010-12-15 2012-06-21 株式会社日立製作所 計算機システムの管理装置及び管理方法
JP5632082B2 (ja) * 2011-02-02 2014-11-26 株式会社日立製作所 ストレージ装置及びデータ管理方法
US8775731B2 (en) * 2011-03-25 2014-07-08 Dell Products, L.P. Write spike performance enhancement in hybrid storage systems
CN102156738B (zh) * 2011-04-13 2012-12-19 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及***
US8639899B2 (en) * 2011-04-26 2014-01-28 Hitachi, Ltd. Storage apparatus and control method for redundant data management within tiers
US8688909B2 (en) * 2011-06-07 2014-04-01 Hitachi, Ltd. Storage apparatus and data management method
US8782369B2 (en) * 2011-11-15 2014-07-15 Lsi Corporation Apparatus to manage efficient data migration between tiers
US9471243B2 (en) * 2011-12-15 2016-10-18 Veritas Technologies Llc Dynamic storage tiering in a virtual environment
KR20130070178A (ko) * 2011-12-19 2013-06-27 한국전자통신연구원 하이브리드 저장 장치 및 그것의 동작 방법
CN106469029B (zh) * 2011-12-31 2019-07-23 华为数字技术（成都）有限公司 数据分层存储处理方法、装置和存储设备
JP2013164822A (ja) * 2012-02-13 2013-08-22 Fujitsu Ltd 負荷閾値算出プログラム、負荷閾値算出装置および負荷閾値算出方法
US20130238832A1 (en) * 2012-03-07 2013-09-12 Netapp, Inc. Deduplicating hybrid storage aggregate
JP5886963B2 (ja) * 2012-03-21 2016-03-16 株式会社日立製作所 ストレージ装置及びデータ管理方法
US9703500B2 (en) * 2012-04-25 2017-07-11 International Business Machines Corporation Reducing power consumption by migration of data within a tiered storage system
US9098202B2 (en) * 2012-04-27 2015-08-04 Hitachi, Ltd. Storage apparatus and data management method
WO2014016866A1 (en) * 2012-07-24 2014-01-30 Hitachi, Ltd. Storage system, storage control method and storage control program
CN102831088A (zh) * 2012-07-27 2012-12-19 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据迁移方法和装置
WO2014041591A1 (ja) * 2012-09-11 2014-03-20 株式会社日立製作所 管理装置及び管理方法
WO2014057521A1 (en) * 2012-10-12 2014-04-17 Hitachi, Ltd. Storage apparatus and data management method
US9319464B2 (en) * 2013-01-22 2016-04-19 International Business Machines Corporation Storage managment in a multi-tiered storage architecture
JP6065695B2 (ja) * 2013-03-26 2017-01-25 富士通株式会社 ストレージ制御方法、ストレージシステム、およびストレージ制御プログラム
CN105009092A (zh) * 2013-04-26 2015-10-28 株式会社日立制作所 存储***
JP6160236B2 (ja) * 2013-05-20 2017-07-12 富士通株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法及び情報処理装置の制御プログラム
US20140351505A1 (en) * 2013-05-21 2014-11-27 International Business Machines Corporation Providing data attributes to a storage manager to use to select a storage tier to use for a data set management operation
US20140351515A1 (en) * 2013-05-21 2014-11-27 International Business Machines Corporation Providing data attributes to a storage manager to use to select a storage tier to use for a data set management operation
JP5944587B2 (ja) * 2013-07-29 2016-07-05 株式会社日立製作所 計算機システム及び制御方法
JP2015052853A (ja) * 2013-09-05 2015-03-19 富士通株式会社 ストレージ制御装置、制御方法及びプログラム
CN104516678B (zh) * 2013-09-29 2017-09-26 国际商业机器公司 用于数据存储的方法和设备
US20160253114A1 (en) * 2013-11-14 2016-09-01 Hitachi, Ltd. Method and apparatus for optimizing data storage in heterogeneous environment
CN110825324B (zh) 2013-11-27 2023-05-30 北京奥星贝斯科技有限公司 混合存储的控制方法及混合存储***
US20150199129A1 (en) * 2014-01-14 2015-07-16 Lsi Corporation System and Method for Providing Data Services in Direct Attached Storage via Multiple De-clustered RAID Pools
JP5707540B1 (ja) * 2014-01-31 2015-04-30 株式会社東芝 階層化ストレージシステム、ストレージコントローラ、及び階層間のデータ移動を代替する方法
US9323462B2 (en) * 2014-04-08 2016-04-26 International Business Machines Corporation File system snapshot data management in a multi-tier storage environment
US9411539B2 (en) * 2014-09-24 2016-08-09 International Business Machines Corporation Providing access information to a storage controller to determine a storage tier for storing data

Also Published As

Publication number Publication date
US20180307413A1 (en) 2018-10-25
TWI654558B (zh) 2019-03-21
US10048872B2 (en) 2018-08-14
CN104679661B (zh) 2019-12-10
CN110825324B (zh) 2023-05-30
US10671290B2 (en) 2020-06-02
EP3869316B1 (en) 2024-01-03
CN110825324A (zh) 2020-02-21
US20150149709A1 (en) 2015-05-28
HK1206839A1 (zh) 2016-01-15
EP3869316A1 (en) 2021-08-25
EP3074854A1 (en) 2016-10-05
CN104679661A (zh) 2015-06-03
KR20200011579A (ko) 2020-02-03
JP2016539406A (ja) 2016-12-15
KR102228748B1 (ko) 2021-03-18
KR20160090298A (ko) 2016-07-29
KR102080967B1 (ko) 2020-02-24
JP6651444B2 (ja) 2020-02-19
WO2015081206A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
TWI654558B (zh) 混合儲存的控制方法及混合儲存系統
US9311252B2 (en) Hierarchical storage for LSM-based NoSQL stores
US9317214B2 (en) Operating a memory management controller
KR20170133247A (ko) 어드레스 기반의 멀티-스트림 스토리지 장치 액세스
US9189494B2 (en) Object file system
US20170329554A1 (en) File migration to persistent memory
CN113568562A (zh) 一种存储***、内存管理方法和管理节点
US20220350779A1 (en) File system cloning method and apparatus
US11010091B2 (en) Multi-tier storage
US11334456B1 (en) Space efficient data protection
WO2022257685A1 (zh) 存储***、网卡、处理器、数据访问方法、装置及***
US11662949B2 (en) Storage server, a method of operating the same storage server and a data center including the same storage server
KR20210116158A (ko) 분할된 저장장치에서의 스냅샷 관리
CN114442934B (zh) 数据处理方法、装置及存储引擎
US11625184B1 (en) Recalling files from tape
US11079951B2 (en) Multi-tier storage and mirrored volumes
CN117785035A (zh) 一种数据管理方法、装置、设备及存储介质