TWI511037B - 儲存叢集化系統與提供對叢集式儲存的存取的方法 - Google Patents

Description

儲存叢集化系統與提供對叢集式儲存的存取的方法

本發明係關於儲存叢集化，特別係關於叢集式儲存中的效能考量與資料去重複(de-duplication)。

傳統儲存架構一般只能垂直延伸(scale up)而無法水平延伸(scale out)。換句話說，架構中主機數量與規格不變，需要更多儲存空間時只有安裝或替換更多硬碟一途，因此垂直延伸不能無限制地擴張，也對效能無益。垂直延伸時將資料由早先較小的硬碟遷移到新購置較大的硬碟非常耗時，遑論硬碟的容量與要價並不成正比。

將儲存叢集化、以節點為單位管理可局部解決上述問題。然而在小型電腦系統介面(Small Computer System Interface，簡稱SCSI)儲存叢集之一例中，叢集化與存取權的賦予發生在SCSI標的(target)之後的邏輯卷管理層(logical volume management，簡稱LVM)，用戶端本身需具備識別標的的能力，每一標的只能控制八到十六個SCSI裝置，而若對諸標的也用上分散式存取權管理(distributed lock management，簡稱DLM)則 效能之低落不堪設想。

鑑於上述，本發明旨在揭露用戶端指示讀取和寫入時儲存叢集化系統分別的樣態，以及提供對叢集式儲存的存取的方法。

本發明揭露一種儲存叢集化系統，其包含多個儲存前端和多個叢集化模組。叢集化模組其中至少一用以自用戶端接收指示讀取資料項的存取指令。叢集化模組其中之一用以檢閱元資料(metadata)，以選擇儲存前端其中之一。叢集化模組其中之一用以透過被選擇的儲存前端讀取資料項。當被選擇的儲存前端回傳資料項時，用以讀取資料項的叢集化模組回傳資料項予用戶端；當被選擇的儲存前端回傳資料項的第一衍生值時，用以讀取資料項的叢集化模組依據第一衍生值檢閱一份索引，以合成資料項予用戶端。上述用以檢閱元資料的叢集化模組可為用以接收存取指令者，用以讀取資料項的叢集化模組也可為用以檢閱元資料者。

本發明揭露一種提供對叢集式儲存的存取的方法，其包含：自用戶端接收指示讀取資料項的存取指令；檢閱元資料，以選擇對應資料項的一個儲存前端；以及透過該儲存前端讀取資料項。讀取資料項包含：當儲存前端回傳資料項的第一衍生值時，依據第一衍生值檢閱索引，以合成資料項予用戶端；以及當儲存前端回傳資料項時，回傳資料項予用戶端。

本發明揭露另一種儲存叢集化系統，其包含多個儲存前端、多個叢集化模組以及多個運算模組。叢集化模組其中至少一用以自用戶端接收指示寫入資料項的存取指令。叢集化模組其中之一用以調用(invoke)至少一個運算模組運算資料項的至少一衍生值。叢集化模組其中至少一用以透過儲存前端其中之一寫入資料項，並對應更新元資料。當衍生值不存在於某索引時，用以寫入資料項的叢集化模組寫入至少部分的資料項；當衍生值存在於該索引時，用以寫入資料項的叢集化模組寫入衍生值。上述用以調用運算模組的叢集化模組可為用以接收存取指令者，用以寫入資料項的叢集化模組也可為用以調用運算模組者。

本發明揭露另一種提供對叢集式儲存的存取的方法，其包含：接收指示寫入資料項的存取指令；運算資料項的至少一衍生值；以及透過一儲存前端寫入資料項，並對應更新元資料。寫入資料項包含：當衍生值存在於某索引時，寫入衍生值；以及當衍生值不存在於該索引時，寫入至少部分的資料項。

以上關於本發明內容及以下關於實施方式之說明係用以示範與闡明本發明之精神與原理，並提供對本發明之申請專利範圍更進一步之解釋。

1‧‧‧儲存叢集化系統

112、114、116‧‧‧叢集化模組

132、134、136‧‧‧儲存前端

152、154、156‧‧‧運算模組

第1圖係依據本發明一實施例儲存叢集化系統的方塊圖。

第2圖係依據本發明一實施例提供對叢集式儲存的存取的方 法的流程圖。

第3圖係依據本發明另一實施例提供對叢集式儲存的存取的方法的流程圖。

以下在實施方式中敘述本發明之詳細特徵，其內容足以使任何熟習相關技藝者瞭解本發明之技術內容並據以實施，且依據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下實施例係進一步說明本發明之諸面向，但非以任何面向限制本發明之範疇。

請參見第1圖。第1圖係依據本發明一實施例儲存叢集化系統的方塊圖。如第1圖所示，儲存叢集化系統1包含叢集化模組112、114和116、分別對應的儲存前端132、134和136以及分別對應的運算模組152、154和156。一般而言，儲存叢集必須有足夠的節點(quorate)才能運作，而此處三個叢集化模組112、114和116代表著儲存叢集化系統1分布於三臺主機(實體或虛擬)上，而叢集化模組112所在的主機包含儲存前端132和運算模組152，以此類推。在其他實施例中，叢集化模組112不一定只對應儲存前端132和運算模組152；也就是說，叢集化模組112所在的主機上可以有更多的儲存前端或運算模組。叢集化模組112、114和116彼此耦接(未繪示)。實務上，作為其各自主機上的服務，任一儲存前端132、134和136可被任一叢集化模 組112、114和116存取，任一運算模組152、154和156也可被任一叢集化模組112、114和116調用。

對於叢集化模組112、114和116而言，儲存前端132、134和136隱藏了其後的硬體細節，分別提供一套檔案系統或一塊邏輯儲存空間。以底層為SCSI裝置為例，則儲存前端132、134和136就是SCSI標的，可以常見的tgtd實作。當然儲存前端132、134和136也可以衍生的網際網路SCSI(簡稱iSCSI)或其乙太網路對應(HyperSCSI)、串接式(Serial Attached)SCSI(簡稱SAS)或其並接對應(Parallel SCSI)、InfiniBand、光纖通道(Fibre Channel，簡稱FC)或其乙太網路或網際網路協定上的(Internet Protocol，簡稱IP)變形(FC over Ethernet或FC over IP)或乙太網路上的先進技術附件(ATA over Ethernet，ATA係Advanced Technology Attachment的縮寫)為依歸。

叢集化模組112、114和116和運算模組152、154和156形成一個分散式運算平臺。若套用以Apache Storm，則每個叢集化模組112、114和116皆為可啟始和分配工作或運算給至少一運算模組152、154和156的主節點，而任一運算模組152、154和156又可將被分配到的工作拆派給彼此，如此遞迴直到最後工作完成。

請配合第1圖參見第2圖。第2圖係依據本發明一實施例提供對叢集式儲存的存取的方法的流程圖。如第2圖所示，於步驟S201中，叢集化模組112、114和116中至少一個自 某用戶端接收指示寫入某資料項的存取指令。用戶端可將存取指令發給多個叢集化模組，也可以固定或隨機發給某個叢集化模組，如112。視儲存叢集化系統1的環境設定，叢集化模組112可自行執行步驟S203以處理存取指令，或將所有與該用戶端的往來轉介給負責的另一個叢集化模組，如114。具體而言，叢集化模組112可以代理端點指標(proxy end-pointer)的方式告知用戶端其已被轉介給叢集化模組114，則之後至少在本次寫入的流程中用戶端只會和叢集化模組114往來。或者叢集化模組114可冒用(assume)叢集化模組112的身分，或儲存叢集化系統1另包含一個叢集化模組112、114和116的共用前端，對用戶端隱藏上述轉介的過程。

假設存取指令由收到的叢集化模組112處理，則於步驟S203中，叢集化模組112調用運算模組152、154和156中至少一個運算資料項的至少一個衍生值。請注意叢集化模組112可以但不一定偏好由與自己對應或在同一主機上的運算模組152開始運算。衍生值通常指的是對資料項投以一雜湊函式(hash function)的輸出。步驟S203是本發明資料去重複的第一個環節；一般而言，處理資料項的衍生、雜湊或摘要(digest)值會比處理資料項本身來得輕鬆。工作或運算的分配可以發生在叢集化模組112或任何被調用的運算模組。資料項可以被分段，而任一被調用的運算模組負責的可以是其中一段的衍生值。在另一實施例中，假設叢集化模組112調用了運算模組152，而後者又調用了 運算模組154。運算模組152負責的可以是資料項的粗略或模糊(fuzzy)摘要，亦即對資料項的特徵(feature或characteristic)的大致描述，而運算模組154負責細部、精確的描述。因此，步驟S203所謂「至少一」衍生值可以是平行的任意數量，可以是遞迴任意次的運算，或這兩種概念的結合。

接續上述調用運算模組152和154的例子，於步驟S205中，運算模組152檢閱儲存叢集化系統1的一份索引是否已經記載所運算出的模糊摘要。當模糊摘要存在於索引時，表示儲存叢集化系統1已處理過和所述資料項類似者，索引可間接指示模糊摘要所對應的資料位元透過諸前端132、134和136儲存於何處，不需再被寫入，因此僅於步驟S207寫入一遍模糊摘要以為記錄。當模糊摘要不存在於索引時，顯然其對應的至少部分的資料項需於步驟S209中被寫入，且在一實施例中伴隨著對索引的更新，亦即在索引中添加關聯於本模糊摘要的條目。在一實施例中，僅在此模糊摘要出現達一定頻率或次數時索引才會被更新，凸顯資料去重複的價值。運算模組154運算精確摘要後的處理與上述類似，包括選擇性地更新索引。當精確摘要存在於索引時，表示儲存叢集化系統1已處理過和所述資料項雷同者，當下寫入一遍精確摘要即可。

索引由叢集化模組112、114和116共用，索引可為關於資料項內容的查詢表。在一實施例中，叢集化模組112、114和116各有索引的一份副本，且彼此差值(incremental或delta) 同步或維護之，同步的方式可以是一對多或類似前述運算模組152、154和156的遞迴傳播。

總地來說，於步驟S205至S209中，資料項以原始位元和衍生值的某種組合被至少一叢集化模組透過某儲存前端寫入。當寫入一個以上的衍生值時，這個組合被稱為「第一衍生值」，而其中包含的無論是粗略、細部或分段的衍生值稱為「第二衍生值」。負責寫入的叢集化模組是任意的。舉例來說，運算模組152可以使其對應的叢集化模組112選定某儲存前端(如132)寫入模糊摘要或部分的資料項，而運算模組154使其對應的叢集化模組114透過同一個儲存前端寫入。每一儲存前端132、134和136管理自身對應的檔案系統或邏輯儲存空間，這些管理資訊集成整個儲存叢集化系統1的元資料，由叢集化模組112、114和116共用。叢集化模組寫入資料項時亦於步驟S211對應更新元資料。在一實施例中，叢集化模組112、114和116各有元資料的一份副本，且和對索引一樣彼此差值維護之。

步驟S203至S209嘗試去重複的過程可視為機器學習(machine learning)的模型建構。具體而言，儲存叢集化系統1可在叢集化模組112、114和116和運算模組152、154和156形成的分散式運算平臺上進行統計分類(statistical classification)，如線性分類(linear classification，包括信度加權者〔confidence-weighted〕)、感知器(perceptron)、消極反抗(passive-aggressive)等演算法。

請配合第1圖與第2圖參見第3圖。第3圖係依據本發明另一實施例提供對叢集式儲存的存取的方法的流程圖。步驟S301與步驟S201類似，唯本實施例中存取指令係指示讀取某資料項。假設存取指令由叢集化模組112接收，則其可自行全權處理之、直接轉介給另一叢集化模組或執行步驟S303後再決定是否轉介。假設用戶端被直接轉介給叢集化模組114。於步驟S303中，叢集化模組114檢閱元資料，以得知資料項需透過儲存前端132、134和136中何者讀取。假設被選擇的是儲存前端136。在一實施例中，叢集化模組114逕於步驟S305中存取儲存前端136。另一實施例則偏好由儲存前端136所對應的叢集化模組116來讀取資料項。一般而言，讀取資料項的叢集化模組亦負責將資料項回傳給用戶端。

假設步驟S305由叢集化模組114執行。因應叢集化模組114的存取，儲存前端136於步驟S307中回傳資料項本身或第一衍生值。當回傳的是完整資料項時，叢集化模組114即可於步驟S309中將資料項回傳給用戶端。當回傳的是第一衍生值時，依據第一衍生值的結構(請參見對步驟S203的描述)，叢集化模組114於步驟S311中循序或遞迴地檢閱索引，以讀取第一或第二衍生值所代表的資料位元，最終合成或還原資料項，並回傳給用戶端。

本發明主要在於同一設計的多個叢集化模組的協同運作，因此實務上部署儲存叢集化系統時，提供一份叢集化模組 即可。舉例而言，一內容遞送裝置可用以使主機具有叢集化模組、儲存前端和運算模組。內容遞送裝置可以讓主機下載這些模組的安裝或修補(patch)檔案，或內容遞送裝置可以將作業系統組態推送(push)至主機。又者，內容遞送裝置可以單純是檔案伺服器，供一叢集式儲存的管理端下載實作至少部分提供對其存取的方法的程式碼，以配送給所管理的節點。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

1‧‧‧儲存叢集化系統

112、114、116‧‧‧叢集化模組

132、134、136‧‧‧儲存前端

152、154、156‧‧‧運算模組

Claims (22)

1. 一種儲存叢集化系統，包含：多個儲存前端；以及多個叢集化模組，該些叢集化模組其中至少一用以自一用戶端接收一存取指令，該存取指令指示讀取一資料項，該些叢集化模組其中之一用以檢閱一元資料，以選擇該些儲存前端其中之一，該些叢集化模組其中之一用以透過被選擇的該儲存前端讀取該資料項；其中讀取該資料項包含：當被選擇的該儲存前端回傳該資料項的一第一衍生值時，用以讀取該資料項的該叢集化模組依據該第一衍生值檢閱一索引，以合成該資料項予該用戶端；以及當被選擇的該儲存前端回傳該資料項時，用以讀取該資料項的該叢集化模組回傳該資料項予該用戶端。
2. 如請求項1所述的儲存叢集化系統，其中每一該叢集化模組更用以對另一該叢集化模組維護該元資料或該索引。
3. 如請求項1所述的儲存叢集化系統，其中該第一衍生值包含部分的該資料項或至少一第二衍生值。
4. 如請求項3所述的儲存叢集化系統，其中該索引係遞迴地被用以讀取該資料項的該叢集化模組檢閱。
5. 如請求項3所述的儲存叢集化系統，其中當該第一衍生值包含多個第二衍生值時，該些第二衍生值其中之一所對應的部 分的該資料項廣於另一該第二衍生值所對應的部分的該資料項。
6. 如請求項1所述的儲存叢集化系統，其中每一該叢集化模組對應至少一該儲存前端。
7. 一種提供對叢集式儲存的存取的方法，包含：自一用戶端接收一存取指令，該存取指令指示讀取一資料項；檢閱一元資料，以選擇對應該資料項的一儲存前端；以及透過該儲存前端讀取該資料項；其中讀取該資料項包含：當該儲存前端回傳該資料項的一第一衍生值時，依據該第一衍生值檢閱一索引，以合成該資料項予該用戶端；以及當該儲存前端回傳該資料項時，回傳該資料項予該用戶端。
8. 如請求項7所述提供對叢集式儲存的存取的方法，更包含維護該元資料或該索引。
9. 如請求項7所述提供對叢集式儲存的存取的方法，其中該第一衍生值包含部分的該資料項或至少一第二衍生值。
10. 如請求項9所述提供對叢集式儲存的存取的方法，其中該索引係遞迴地被檢閱。
11. 如請求項9所述提供對叢集式儲存的存取的方法，其中當該第一衍生值包含多個第二衍生值時，該些第二衍生值其中之一所對應的部分的該資料項廣於另一該第二衍生值所對應的部分的該資料項。
12. 一種儲存叢集化系統，包含：多個儲存前端；多個運算模組；以及多個叢集化模組，該些叢集化模組其中至少一用以自一用戶端接收一存取指令，該存取指令指示寫入一資料項，該些叢集化模組其中之一用以調用至少一該運算模組運算該資料項的至少一衍生值，該些叢集化模組其中至少一用以透過該些儲存前端其中之一寫入該資料項並對應更新一元資料；其中寫入該資料項包含：當該衍生值存在於一索引時，用以寫入該資料項的該叢集化模組寫入該衍生值；以及當該衍生值不存在於該索引時，用以寫入該資料項的該叢集化模組寫入至少部分的該資料項。
13. 如請求項12所述的儲存叢集化系統，其中每一該叢集化模組更用以對另一該叢集化模組維護該元資料或該索引。
14. 如請求項12所述的儲存叢集化系統，其中每一該運算模組被調用時進行至少部分的一運算，並選擇性地調用另一該運算模組進行部分的該運算。
15. 如請求項12所述的儲存叢集化系統，其中當該至少一衍生值係多個衍生值時，該些衍生值其中之一所對應的部分的該資料項廣於另一該衍生值所對應的部分的該資料項。
16. 如請求項12所述的儲存叢集化系統，其中寫入該資料項更包含：當該衍生值不存在於該索引時，用以寫入該資料項的該叢集化模組選擇性地對應更新該索引。
17. 如請求項12所述的儲存叢集化系統，其中每一該叢集化模組對應至少一該儲存前端與至少一該運算模組。
18. 一種提供對叢集式儲存的存取的方法，包含：接收一存取指令，該存取指令指示寫入一資料項；運算該資料項的至少一衍生值；以及透過一儲存前端寫入該資料項，並對應更新一元資料；其中寫入該資料項包含：當該衍生值存在於一索引時，寫入該衍生值；以及當該衍生值不存在於該索引時，寫入至少部分的該資料項。
19. 如請求項18所述提供對叢集式儲存的存取的方法，更包含維護該元資料或該索引。
20. 如請求項18所述提供對叢集式儲存的存取的方法，其中當該至少一衍生值係多個衍生值時，該些衍生值係遞迴地被運算。
21. 如請求項18所述提供對叢集式儲存的存取的方法，其中當該至少一衍生值係多個衍生值時，該些衍生值其中之一所對應的部分的該資料項廣於另一該衍生值所對應的部分的該資料項。
22. 如請求項18所述提供對叢集式儲存的存取的方法，其中寫入該資料項更包含：當該衍生值不存在於該索引時，選擇性地對應更新該索引。