TW201423424A - 儲存集群中的資料塊去重系統及方法 - Google Patents

Abstract

一種儲存集群中的資料塊去重系統及方法，該方法包括：監視儲存集群中各伺服器內每個儲存區的儲存容量；當有伺服器中儲存區的儲存容量達到預設去重值時，獲取該伺服器的哈希資料庫中的所有記錄，並通知儲存集群中其他伺服器上傳其哈希資料庫的記錄；確定哈希資料庫間所有相同的哈希值，並由此確定重復資料塊；根據重復資料塊的儲存指針找出剩餘空間最大的儲存區，將重復資料塊在該儲存區內的儲存指針發送給包含該重復資料塊的其他儲存區所在的伺服器；及刪除包含該重復資料塊的其他儲存區中的該重復資料塊。

Description

儲存集群中的資料塊去重系統及方法

本發明涉及一種雲端技術，尤其涉及一種透過雲端技術去除儲存集群中的重復資料塊的系統及方法。

在分散式雲儲存中，一台伺服器可能會有多個儲存區。當其中某台伺服器的儲存區中儲存了一文檔的某個資料塊，而該伺服器的其他儲存區或儲存集群中的另一台伺服器的儲存區中也儲存了該資料塊時，會導致相同資料塊被重複儲存，儲存空間被過多浪費。

鑒於以上內容，有必要提供一種儲存集群中的資料塊去重系統及方法，能夠合理分配資料塊的儲存區。

所述儲存集群中的資料塊去重系統，應用於一台電子設備中，該電子設備透過網路連接一個儲存集群中的多台伺服器，該方法包括：監視步驟，監視儲存集群中各伺服器內每個儲存區的儲存容量；獲取步驟，當有伺服器中儲存區的儲存容量達到預設去重值時，獲取該伺服器的哈希資料庫中的所有記錄，並通知儲存集群中其他伺服器上傳其哈希資料庫的記錄；分析步驟一，確定哈希資料庫間所有相同的哈希值，並由此確定重復資料塊；分析步驟二，根據重復資料塊的儲存指針找出剩餘空間最大的儲存區，將重復資料塊在該儲存區內的儲存指針發送給包含該重復資料塊的其他儲存區所在的伺服器；及去重步驟，刪除包含該重復資料塊的其他儲存區中的該重復資料塊。

所述儲存集群中的資料塊去重方法，應用於一台電子設備中，該電子設備透過網路連接一個儲存集群中的多台伺服器，該方法包括：監視步驟，監視儲存集群中各伺服器內每個儲存區的儲存容量；獲取步驟，當有伺服器中儲存區的儲存容量達到預設去重值時，獲取該伺服器的哈希資料庫中的所有記錄，並通知儲存集群中其他伺服器上傳其哈希資料庫的記錄；分析步驟一，確定哈希資料庫間所有相同的哈希值，並由此確定重復資料塊；分析步驟二，根據重復資料塊的儲存指針找出剩餘空間最大的儲存區，將重復資料塊在該儲存區內的儲存指針發送給包含該重復資料塊的其他儲存區所在的伺服器；及去重步驟，刪除包含該重復資料塊的其他儲存區中的該重復資料塊。

所述儲存集群中的資料塊去重方法，應用於一台電子設備中，該電子設備透過網路連接一個儲存集群中的多台伺服器，該方法包括：在各哈希資料庫中寫入一個觸發事件，當哈希資料庫的記錄總數達到該觸發事件中設置的數量時，觸發該哈希資料庫將所有記錄上傳至所述電子設備中；所述電子設備通知儲存集群中的其他伺服器上傳其哈希資料庫的記錄，確定哈希資料庫間所有相同的哈希值，並由此確定重復資料塊；所述電子設備根據重復資料塊的儲存指針找出剩餘空間最大的儲存區，將重復資料塊在該儲存區內的儲存指針發送給包含該重復資料塊的其他儲存區所在的伺服器，及刪除包含該重復資料塊的其他儲存區中的該重復資料塊。

相較於習知技術，所述儲存集群中的資料塊去重系統及方法，能夠快速地查找出儲存集群中的重復資料塊，刪除重復資料塊，保留一份該重復資料塊，並合理分配所保留的重復資料塊的儲存區。

如圖1所示，是本發明儲存集群中的資料塊去重系統較佳實施例的運行環境示意圖。該儲存集群中的資料塊去重系統100運行於一個資料庫分析器1中，該資料庫分析器1透過網路連接一個儲存集群。該儲存集群是一個分散式的伺服器集群，其中有多台伺服器3。所述資料庫分析器1可以為電腦、手機、掌上電腦等能安裝軟體的電子設備。

本實施例中，一台或多台伺服器3共用一個哈希資料庫30。例如，A伺服器3、B伺服器3和C伺服器3共用一個M哈希資料庫30，A伺服器3、B伺服器3和C伺服器3中的文檔資訊均儲存在M哈希資料庫30中。D伺服器3單獨用一個N哈希資料庫30，D伺服器3中的文檔資訊儲存在該N哈希資料庫30中。其中，所述哈希資料庫30可以為內置於某個伺服器3中的資料庫，也可以為外置的資料庫。例如，哈希資料庫30內置於A伺服器3，並被A伺服器3、B伺服器3和C伺服器3共用。

所述文檔資訊包括文檔的名稱和文檔的屬性。每個文檔對應一個哈希列表，及每個文檔對應一個哈希值。為了節省儲存空間、避免重複儲存，本實施例中的文檔由資料塊組成。哈希列表中記錄了文檔多個資料塊的名稱、各資料塊的哈希值及資料塊的分割順序。本實施例中，所述資料塊的名稱可依據資料塊的哈希值來命名。

另外，所述儲存集群中的伺服器3還可以透過網路連接一個或多個用戶端（圖中未示出）。

如圖2所示，是圖1中資料庫分析器1的主要組成示意圖。該資料庫分析器1主要包括儲存設備10和至少一台處理設備12。

所述儲存設備10用於儲存所述儲存集群中的資料塊去重系統100的電腦程式化代碼。該儲存設備10可以為資料庫分析器1內置的記憶體，也可以為資料庫分析器1外接的記憶體。

處理設備12用於執行所述儲存集群中的資料塊去重系統100的電腦程式代碼，實現儲存集群中的資料塊去重。此處，去重指的是去掉重複的資料塊，保留一份該資料塊，以避免重複儲存，佔用儲存空間。

所述儲存集群中的資料塊去重系統100包括監視模組1000、獲取模組1002、分析模組1004和去重模組1006。本發明所稱的模組是完成一特定功能的電腦程式段，比程式更適合於描述軟體在電腦中的執行過程，因此在本發明以下對軟體描述都以模組描述。

所述監視模組1000用於監視儲存集群中各伺服器3內每個儲存區的儲存容量。本實施例中，每個伺服器3的儲存空間可以被分成一個或多個儲存區。

當有伺服器3中儲存區的儲存容量達到預設去重值時，例如A伺服器3中儲存區A的儲存容量達到所述預設去重值時，所述獲取模組1002用於獲取該伺服器3（如A伺服器3）的哈希資料庫30中的所有記錄，並通知儲存集群中其他伺服器3上傳其哈希資料庫30的記錄。該記錄包括哈希資料庫30中所有哈希列表中的內容。

在此需要說明的是，由於存在多個伺服器3共用一個哈希資料庫30的情況，因此，當獲取模組1002獲取了某個哈希資料庫30（如A伺服器3、B伺服器3和C伺服器3共用一個M哈希資料庫30）中的所有記錄時，所通知的伺服器3中不包括共用該哈希資料庫30的伺服器。例如，A伺服器3、B伺服器3和C伺服器3共用M哈希資料庫30，該M哈希資料庫30為內置於A伺服器3的資料庫，當獲取模組1002獲取了該M哈希資料庫30中的所有記錄後，會通知所述儲存集群中除了該A伺服器3、B伺服器3和C伺服器3之外的所有伺服器3，內置了哈希資料庫30的伺服器3會將其哈希資料庫30中的所有記錄上傳至資料庫分析器1，獲取模組1002接收所上傳的記錄。

所述分析模組1004用於確定哈希資料庫30間所有相同的哈希值，並由此確定重復資料塊。需要說明的是，重復資料塊實質為內容相同的資料塊，相同的哈希值也有可能存在同一個哈希資料庫30中。

例如，所述分析模組1004經比對確定M哈希資料庫30中有相同的哈希值，且M哈希資料庫30中還有哈希值與N哈希資料庫30中的哈希值相同，則確定M哈希資料庫30對應的伺服器3中儲存了重復資料塊，且M哈希資料庫30對應的伺服器3和N哈希資料庫30對應的伺服器3中有重復資料塊被儲存。例如，分析模組1004確定M哈希資料庫30對應的A伺服器3中儲存了相同的資料塊，N哈希資料庫30對應的D伺服器3中也儲存了與A伺服器3所儲存的資料塊相同的資料塊。如圖4所示，A伺服器3的儲存區A和儲存區B中有重復資料塊b，D伺服器3的儲存區N與A伺服器3的儲存區A有重復資料塊a和c。

所述分析模組1004還用於根據重復資料塊的儲存指針找出剩餘空間最大的儲存區，並將重復資料塊在該儲存區內的儲存指針發送給包含該重復資料塊的其他儲存區所在的伺服器3。

具體地，所述分析模組1004找出儲存了重復資料塊的儲存區中誰的剩餘空間最大，並將該剩餘空間最大的儲存區的編號、該儲存區所在的伺服器3等資訊發送給其他包含該重復資料塊的伺服器3。

如圖4所示，儲存區A和儲存區B中有重復資料塊b，儲存區B的剩餘空間比儲存區A的剩餘空間大，因此，分析模組1004將資料塊b於儲存區B的儲存指針發送給儲存區A所在的伺服器3。儲存區A與儲存區N有重復資料塊a和c，儲存區N的剩餘空間比儲存區A的剩餘空間大，因此，分析模組1004將資料塊a和c於D伺服器儲存區N的儲存指針發送給儲存區A所在的伺服器3。

去重模組1006用於利用上述發送的儲存指針更新該重復資料塊於各哈希資料庫30中的記錄，並刪除包含該重復資料塊的其他儲存區中的該重復資料塊，即保留剩餘空間最大的儲存區中所儲存的該重復資料塊。例如，去重模組1006將資料塊a和c的儲存指針（如該儲存指針為“資料塊a和c存於D伺服器的儲存區N中）更新至A伺服器儲存區A對應的M哈希資料庫30中，及將資料塊b的儲存指針（如該儲存指針為“資料塊b存於A伺服器的儲存區B中）更新至A伺服器儲存區B對應的M哈希資料庫30中。去重模組1006刪除圖4中A伺服器儲存區A內的資料塊a、b和c。

如圖3所示，是本發明儲存集群中的資料塊去重方法較佳實施例的作業流程圖。

步驟S100，監視模組1000監視儲存集群中各伺服器3內每個儲存區的儲存容量，並於步驟S102中判斷是否有儲存區達到預設去重值。

當判斷結果為沒有儲存區的儲存容量達到預設去重值時，流程返回至步驟S100。

當有儲存區的儲存容量達到預設去重值時，例如A伺服器3中儲存區A的儲存容量達到所述預設去重值時，步驟S104，獲取模組1002獲取該伺服器3（如A伺服器3）的哈希資料庫30中的所有記錄，並通知儲存集群中其他伺服器3上傳其哈希資料庫30的記錄。該記錄包括哈希資料庫30中所有哈希列表中的內容。

步驟S106，分析模組1004確定哈希資料庫30間所有相同的哈希值，並由此確定重復資料塊。需要說明的是，重復資料塊實質為內容相同的資料塊，相同的哈希值也有可能存在同一個哈希資料庫30中。

步驟S108，所述分析模組1004根據重復資料塊的儲存指針找出剩餘空間最大的儲存區，並將重復資料塊在該儲存區內的儲存指針發送給包含該重復資料塊的其他儲存區所在的伺服器3。

在其他實施例中，還可以在各哈希資料庫30中寫入一個觸發事件來觸發哈希資料庫30上傳記錄至資料庫分析器1。具體地，當某個哈希資料庫30中的記錄總數達到觸發事件中設置的數量時，觸發該哈希資料庫30將所有記錄上傳至所述資料庫分析器1中，同時，所述資料庫分析器1通知儲存集群中的其他伺服器3上傳其哈希資料庫30中的記錄。

如圖4所示，儲存區A和儲存區B中有重復資料塊b，儲存區B的剩餘空間比儲存區A的剩餘空間大，因此，分析模組1004將資料塊b於儲存區B的儲存指針發送給儲存區A所在的伺服器3。

步驟S110，去重模組1006利用上述發送的儲存指針更新該重復資料塊於各哈希資料庫30中的記錄，並刪除包含該重復資料塊的其他儲存區中的該重復資料塊，即保留剩餘空間最大的儲存區中所儲存的該重復資料塊。例如，去重模組1006將資料塊b的儲存指針（如該儲存指針為“資料塊b存於A伺服器的儲存區B中”）更新至儲存區B對應的M哈希資料庫30中，並刪除圖4中儲存區A內的資料塊b。

如圖5所示，是本發明用戶於用戶端下載伺服器3中文檔的作業流程圖。

步驟S200，用戶端根據要下載的文檔的儲存指針從對應的伺服器3中獲取文檔各資料塊的哈希值與儲存指針。具體地，每個文檔都有一個儲存指針，該儲存指針由文檔多個資料塊的儲存指針組成。文檔各資料塊的哈希值是從伺服器3的哈希資料庫30中獲取。

步驟S202，根據該文檔各資料塊的儲存指針從相應的儲存區下載資料塊。

步驟S204，校驗各資料塊的哈希值與從哈希資料庫30的哈希列表中獲取的相應資料塊的哈希值是否相同。

當校驗結果為不同時，流程返回至步驟S200，重新獲取哈希值及重新下載資料塊。

當校驗結果為相同時，步驟S206，用戶端將通過校驗的資料塊寫入臨時儲存區中，按照所述資料塊的分割順序將上述通過校驗的資料塊進行排序組合，生成文檔。

步驟S208，校驗組合後文檔的哈希值與上傳到伺服器3之前文檔的哈希值是否相同。

當校驗結果為相同時，於步驟S210，將通過校驗的文檔返回給用戶端的用戶。當校驗結果為不同時，流程返回至步驟S200。

最後所應說明的是，以上實施例僅用以說明本發明的技術方案而非限制，儘管參照以上較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

1．．．資料庫分析器

3．．．伺服器

30．．．哈希資料庫

10．．．儲存設備

12．．．處理設備

100．．．儲存集群中的資料塊去重系統

1000．．．監視模組

1002．．．獲取模組

1004．．．分析模組

1006．．．去重模組

圖1是本發明儲存集群中的資料塊去重系統較佳實施例的運行環境示意圖。

圖2是圖1中資料庫分析器的主要組成示意圖。

圖3是本發明儲存集群中的資料塊去重方法較佳實施例的作業流程圖。

圖4以示意圖的形式舉例說明本發明的去重方法。

圖5是本發明用戶於用戶端下載儲存伺服器中文檔的作業流程圖。

1．．．資料庫分析器

10．．．儲存設備

100．．．儲存集群中的資料塊去重系統

1000．．．監視模組

1002．．．獲取模組

1004．．．分析模組

1006．．．去重模組

12．．．處理設備

Claims (10)

1. 一種儲存集群中的資料塊去重方法，應用於一台電子設備中，該電子設備透過網路連接一個儲存集群中的多台伺服器，該方法包括：
   監視步驟，監視儲存集群中各伺服器內每個儲存區的儲存容量；
   獲取步驟，當有伺服器中儲存區的儲存容量達到預設去重值時，獲取該伺服器的哈希資料庫中的所有記錄，並通知儲存集群中其他伺服器上傳其哈希資料庫的記錄；
   分析步驟一，確定哈希資料庫間所有相同的哈希值，並由此確定重復資料塊；
   分析步驟二，根據重復資料塊的儲存指針找出剩餘空間最大的儲存區，將重復資料塊在該儲存區內的儲存指針發送給包含該重復資料塊的其他儲存區所在的伺服器；及
   去重步驟，刪除包含該重復資料塊的其他儲存區中的該重復資料塊。
2. 如申請專利範圍第1項所述之儲存集群中的資料塊去重方法，其中所述去重步驟還包括：
   利用所發送的儲存指針更新該重復資料塊於各哈希資料庫中的記錄。
3. 如申請專利範圍第1項所述之儲存集群中的資料塊去重方法，其中所述儲存集群中的多台伺服器透過網路連接一個或多個用戶端，當用戶需要透過用戶端從伺服器下載文檔時，所述用戶端執行以下步驟：
   根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值；
   根據各資料塊的儲存指針從相應的儲存區下載各資料塊；
   校驗各資料塊的哈希值與從哈希資料庫中獲取的相應資料塊的哈希值是否相同；
   當校驗結果為不相同時，返回上述根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值的步驟，當校驗結果為相同時，將通過校驗的資料塊寫入臨時儲存區中；
   按照所述資料塊的分割順序將上述通過校驗的資料塊進行排序組合，生成文檔；及
   校驗組合後文檔的哈希值與上傳到伺服器之前文檔的哈希值是否相同，當校驗結果為相同時，將通過校驗的文檔返回給用戶端的用戶，當校驗結果為不相同時，返回上述根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值的步驟。
4. 一種儲存集群中的資料塊去重系統，運行於一台電子設備中，該電子設備透過網路連接一個儲存集群中的多台伺服器，該系統包括：
   監視模組，用於監視儲存集群中各伺服器內每個儲存區的儲存容量；
   獲取模組，用於當有伺服器中儲存區的儲存容量達到預設去重值時，獲取該伺服器的哈希資料庫中的所有記錄，並通知儲存集群中其他伺服器上傳其哈希資料庫的記錄；
   分析模組，用於確定哈希資料庫間所有相同的哈希值，並由此確定重復資料塊，根據重復資料塊的儲存指針找出剩餘空間最大的儲存區，將重復資料塊在該儲存區內的儲存指針發送給包含該重復資料塊的其他儲存區所在的伺服器；及
   去重模組，用於刪除包含該重復資料塊的其他儲存區中的該重復資料塊。
5. 如申請專利範圍第4項所述之儲存集群中的資料塊去重系統，其中所述去重模組還用於：
   利用所發送的儲存指針更新該重復資料塊於各哈希資料庫中的記錄。
6. 如申請專利範圍第4項所述之儲存集群中的資料塊去重系統，其中所述儲存集群中的多台伺服器透過網路連接一個或多個用戶端，當用戶需要透過用戶端從伺服器下載文檔時，所述用戶端用於：
   根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值；
   根據各資料塊的儲存指針從相應的儲存區下載各資料塊；
   校驗各資料塊的哈希值與從哈希資料庫中獲取的相應資料塊的哈希值是否相同；
   當校驗結果為不相同時，返回上述根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值的步驟，當校驗結果為相同時，將通過校驗的資料塊寫入臨時儲存區中；
   按照所述資料塊的分割順序將上述通過校驗的資料塊進行排序組合，生成文檔；及
   校驗組合後文檔的哈希值與用戶端上傳的文檔的哈希值是否相同，當校驗結果為相同時，將通過校驗的文檔返回給用戶端的用戶，當校驗結果為不相同時，返回上述根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值的步驟。
7. 一種儲存集群中的資料塊去重方法，應用於一台電子設備中，該電子設備透過網路連接一個儲存集群中的多台伺服器，該方法包括：
   在各伺服器的哈希資料庫中寫入一個觸發事件，當哈希資料庫的記錄總數達到該觸發事件中設置的數量時，觸發該哈希資料庫將所有記錄上傳至所述電子設備中；
   所述電子設備通知儲存集群中的其他伺服器上傳其哈希資料庫的記錄，確定哈希資料庫間所有相同的哈希值，並由此確定重復資料塊；
   所述電子設備根據重復資料塊的儲存指針找出剩餘空間最大的儲存區，將重復資料塊在該儲存區內的儲存指針發送給包含該重復資料塊的其他儲存區所在的伺服器，及刪除包含該重復資料塊的其他儲存區中的該重復資料塊。
8. 如申請專利範圍第7項所述之儲存集群中的資料塊去重方法，還包括：
   利用所發送的儲存指針更新該重復資料塊於各哈希資料庫中的記錄。
9. 如申請專利範圍第7項所述之儲存集群中的資料塊去重方法，其中所述儲存集群中的多台伺服器透過網路連接一個或多個用戶端，當用戶需要透過用戶端從伺服器下載文檔時，所述用戶端執行以下步驟：
   根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值；
   根據各資料塊的儲存指針從相應的儲存區下載各資料塊；
   校驗各資料塊的哈希值與從哈希資料庫中獲取的相應資料塊的哈希值是否相同；
   當校驗結果為相同時，將通過校驗的資料塊寫入臨時儲存區中；
   按照所述資料塊的分割順序將上述通過校驗的資料塊進行排序組合，生成文檔；及
   校驗組合後文檔的哈希值與上傳到伺服器之前文檔的哈希值是否相同，當校驗結果為相同時，將通過校驗的文檔返回給用戶端的用戶。
10. 如申請專利範圍第9項所述之儲存集群中的資料塊去重方法，在用戶透過用戶端從伺服器下載文檔過程中，資料塊的哈希值校驗結果為不相同，或者文檔的哈希值校驗結果為不相同時，返回上述根據文檔的儲存指針從對應的伺服器中獲取文檔各資料塊的哈希值的步驟。