JP2012523023A - 重複したデータを排除するストレージシステム - Google Patents
重複したデータを排除するストレージシステム Download PDFInfo
- Publication number
- JP2012523023A JP2012523023A JP2011543014A JP2011543014A JP2012523023A JP 2012523023 A JP2012523023 A JP 2012523023A JP 2011543014 A JP2011543014 A JP 2011543014A JP 2011543014 A JP2011543014 A JP 2011543014A JP 2012523023 A JP2012523023 A JP 2012523023A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- stored
- server
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0658—Controller construction arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
ストレージシステム103が、クライアント101からライト要求を受信したときに第一の重複排除処理を行い、その後、任意のタイミングで、第二の重複排除処理を行う。第一の重複排除処理では、記憶装置209に格納されているユーザデータ群である格納データ群の一部のいずれかの格納データにライト対象データが重複するか否かが判定され、その判定の結果が肯定的であれば、ライト対象データが記憶装置209に格納されないようにする。第二の重複排除処理では、第一の重複排除処理において重複するか否かの評価が完了していない対象格納データが、その他の格納データと重複するか否かが判定され、その判定の結果が肯定的であれば、対象格納データ又は対象格納データと重複する同一データが記憶装置209から削除される。
Description
Claims (13)
- クライアント(101)が接続されている通信ネットワーク(102)に接続された通信インタフェース装置(207)と、
前記クライアントからライト/リードされるユーザデータが記憶される記憶装置(209)と、
前記通信インタフェース装置及び前記記憶装置に接続されたコントローラ(202)と
を有し、
前記コントローラが、前記クライアントからライト要求を受信したときに第一の重複排除処理を行い、その後、任意のタイミングで、第二の重複排除処理を行い、
前記第一の重複排除処理では、前記コントローラは、前記記憶装置に格納されているユーザデータ群である格納データ群の一部のいずれかの格納データにライト対象のユーザデータであるライト対象データが重複するか否かを判定し、その判定の結果が肯定的であれば、前記ライト対象データを前記記憶装置に格納せず、
前記第二の重複排除処理では、前記コントローラは、前記第一の重複排除処理において重複するか否かの評価が完了していない対象格納データが、その他の格納データと重複するか否かを判定し、その判定の結果が肯定的であれば、前記対象格納データ又は前記対象格納データと重複する同一データを前記記憶装置から削除する、
ストレージシステム。 - 前記格納データのうちの第一の重複排除処理において比較の対象となり得るデータである比較候補を示した第一の処理情報が記憶されたメモリ(204)、
を更に有し、
前記記憶装置又は前記メモリには、前記格納データに関する情報を示した格納データ情報が記憶され、
前記コントローラは、
(A)前記第一の重複排除処理において、以下(A1)〜(A4)の処理を行い、
(A1)前記ライト要求で指定されたライト対象データと前記比較候補に含まれる格納データとを比較し、前記ライト対象データが、格納データのいずれかと重複する重複データであるか、格納データのいずれとも重複しない非重複データであるか、重複データとも非重複データとも判定できない重複不明データであるかの第一の重複判定を行い、
(A2)前記第一の重複判定において重複データと判定された場合は、前記ライト対象データを前記記憶装置に記憶せずに、前記ライト対象データと、前記ライト対象データと重複する同一データとを関連付ける処理を行い、
(A3)前記第一の重複判定において非重複データと判定された場合は、前記ライト対象データを前記記憶装置に記憶するとともに、前記ライト対象データについて重複データか否かの評価が完了した旨を前記格納データ情報に記憶し、
(A4)前記第一の重複判定において重複不明データと判定された場合は、前記ライト対象データを前記記憶装置に記憶するとともに、前記ライト対象データについて重複データか否かの評価が完了していない旨を前記格納データ情報に記憶する、
(B)前記第二の重複排除処理において、以下(B1)〜(B3)の処理を行う、
(B1)重複データか否かの評価が完了していない対象格納データとその他の格納データとを比較し、前記対象格納データが、その他の格納データのいずれかと重複する重複データであるか、その他の格納データのいずれとも重複しない非重複データであるかの第二の重複判定を行い、
(B2)前記第二の重複判定において重複データと判定された場合は、前記対象格納データを前記記憶装置から削除するとともに、前記対象格納データと、前記対象格納データと重複する同一データとを関連付ける処理を行い、
(B3)前記第二の重複判定において非重複データと判定された場合は、前記対象格納データについて重複データか否かの評価が完了した旨を前記格納データ情報に記憶する、
請求項1記載のストレージシステム。 - 前記メモリには、前記格納データのそれぞれに付与されたランクを世代ごとに示したランク情報が記憶され、
前記格納データに付与されるランクは、定期的に又は不定期的に更新され、更新されると、ランクの世代が次世代に移行し、
前記コントローラは、
(1)前記第一の重複排除処理において、
(1−1)前記ライト対象データが前記比較候補に含まれる格納データのいずれかと一致した場合、又は、前記ライト対象データに関する特徴データが前記比較候補に含まれる格納データのいずれかに関する特徴データと一致した場合に、前記ライト対象データを重複データと判定し、
(1−2)前記ライト対象データと比較する格納データを、前記比較候補に含まれる格納データの中から、前記格納データに付与されているランクがより高い順に選択し、重複データと判定された時点で前記第一の重複判定を終了し、
(1−3)重複不明データと判定された場合、前記ライト対象データについての前記第一の重複排除処理が、どの世代のどのランクの格納データまで比較が完了したかを示す比較済み情報を前記記憶装置又は前記メモリに記憶し、
(2)どの程度重複記憶が排除されているかを示す値である重複排除率を計算し、現在の重複排除率が所定の目標値以下である場合に、前記第二の重複排除処理を行い、
(3)前記第二の重複排除処理において、
(3−1)前記対象格納データが前記その他の格納データのいずれかと一致した場合、又は、前記対象格納データに関する特徴データが前記その他の格納データのいずれかに関する特徴データと一致した場合に、前記対象格納データを重複データと判定し、
(3−2)前記対象格納データと比較する格納データを、前記その他の格納データの中から、前記格納データに付与されているランクがより高い順に選択し、重複データと判定された時点で前記第二の重複判定を終了し、
(3−3)前記比較済み情報を参照して、前記他の格納データのうち比較の完了していない格納データとの間でのみ比較を行う、
請求項2記載のストレージシステム。 - 前記コントローラは、どの程度重複記憶が排除されているかを示す値である重複排除率を計算し、現在の重複排除率が所定の目標値以下である場合に、前記第二の重複排除処理を行う、
請求項1又は2記載のストレージシステム。 - 前記第一の処理情報には、ハッシュ空間に含まれるハッシュ値ごとに、ハッシュ値を生成した場合に前記ハッシュ値となる格納データが存在するか否かを示した格納データ存否情報が含まれ、
前記コントローラは、前記第一の重複判定において、以下の(a1)〜(a3)の処理を行う、
(a1)前記ライト対象データに関するハッシュ値を生成し、
(a2)前記格納データ存否情報を参照して、前記生成されたハッシュ値となる格納データが存在するか否かを判定し、
(a3)前記生成されたハッシュ値となる格納データが存在しない場合は、前記ライト対象データを非重複データと判定する、
請求項2〜4のうちのいずれかに記載のストレージシステム。 - 前記ハッシュ値は、ユーザデータ全体若しくはユーザデータ本体から生成されたハッシュ値又はユーザデータ本体に付加されたデータから生成されたハッシュ値である、
請求項5記載のストレージシステム。 - 前記メモリには、前記格納データのそれぞれに付与された、比較の順序を決定する際に参照されるランクを示したランク情報が記憶され、
前記コントローラは、
前記第一の重複判定において、前記ライト対象データと比較する格納データを、前記比較候補に含まれる格納データの中から、前記格納データに付与されているランクがより高い順に選択し、重複データと判定された時点で前記第一の重複判定を終了し、
前記第二の重複判定において、前記対象格納データと比較する格納データを、前記その他の格納データの中から、前記格納データに付与されているランクがより高い順に選択し、重複データと判定された時点で前記第二の重複判定を終了する、
請求項2、4〜6のうちのいずれかに記載のストレージシステム。 - 前記コントローラは、
重複する可能性が高いと見込まれる格納データに対してより高いランクを付与し、又は前記記憶装置の使用率の削減効果が大きいデータに対してより高いランクを付与する、
請求項3又は7に記載のストレージシステム。 - 前記ランク情報において、前記ランクが世代ごとに管理されており、
前記格納データに付与されるランクは、定期的に又は不定期的に更新され、更新されると、ランクの世代が次世代に移行し、
前記コントローラは、
前記第一の重複判定において重複不明データと判定された場合、前記ライト対象データについての前記第一の重複排除処理が、どの世代のどのランクの格納データまで比較が完了したかを示す比較済み情報を前記記憶装置又は前記メモリに記憶し、
前記第二の重複排除処理において、前記比較済み情報を参照して、前記他の格納データのうち比較の完了していない格納データとの間でのみ比較を行う、
請求項7又は8に記載のストレージシステム。 - 前記コントローラは、
前記第一の重複判定において、前記ライト対象データが前記比較候補に含まれる格納データのいずれかと一致した場合、又は、前記ライト対象データに関する特徴データが前記比較候補に含まれる格納データのいずれかに関する特徴データと一致した場合に、前記ライト対象データを重複データと判定し、
前記第二の重複判定において、前記対象格納データが前記その他の格納データのいずれかと一致した場合、又は、前記対象格納データに関する特徴データが前記その他の格納データのいずれかに関する特徴データと一致した場合に、前記対象格納データを重複データと判定する、
請求項2、4〜9のうちのいずれかに記載のストレージシステム。 - 複数のストレージサーバ(201)を有し、
前記ストレージサーバの各々は、
前記通信インタフェース装置、前記記憶装置、前記メモリ、及び前記コントローラのそれぞれを有し、
前記メモリには、ユーザデータに関するハッシュ空間であるデータハッシュ空間と前記データハッシュ空間に含まれるユーザデータを管理するストレージサーバとの対応関係を示したサーバ管理情報が、更に記憶され、
前記クライアントからライト要求を受信したストレージサーバである要求受信サーバのコントローラが、
(X1)前記ライト要求で指定されたライト対象データに関するハッシュ値を生成し、
(X2)前記サーバ管理情報を参照して、前記ライト対象データを管理するストレージサーバであるデータ担当サーバを決定し、
(X3)前記データ担当サーバに対して前記ライト対象データを送信し、
前記データ担当サーバのコントローラが、
前記要求受信サーバから前記ライト対象データを受信した際、前記第一の重複排除処理を行い、その後、任意のタイミングで、前記第二の重複排除処理を行う、
請求項2〜10のうちのいずれかに記載のストレージシステム。 - 前記データ担当サーバのコントローラは、ライト対象データを記憶装置に記憶する際、(Y1)前記データ担当サーバの記憶装置に十分な空き容量があるかないかを判定し、
(Y2)前記データ担当サーバの記憶装置に十分な空き容量がある場合は、前記データ担当サーバの記憶装置に前記ライト対象データを記憶し、
(Y3)前記データ担当サーバの記憶装置に十分な空き容量がない場合は、前記データ担当サーバ以外の他のストレージサーバの記憶装置に前記ライト対象データを記憶する、
請求項11記載のストレージシステム。 - 前記サーバ管理情報には、ユーザデータのグローバルパスに関するハッシュ空間である名前ハッシュ空間と前記名前ハッシュ空間に含まれるグローパスパスのパス名を管理するストレージサーバとの対応関係を示した情報が含まれ、
前記クライアントからライト要求を受信したストレージサーバである要求受信サーバのコントローラが、
(Z1)前記ライト対象データのグローバルパスであるライト対象グローバルパスに関するハッシュ値を生成し、
(Z2)前記サーバ管理情報を参照して、前記ライト対象グローバルパスを管理するストレージサーバである名前担当サーバを決定し、
(Z3)前記名前担当サーバに対して前記ライト対象グローバルパスのパス名を送信し、
前記名前担当サーバのコントローラが、
前記要求受信サーバから前記ライト対象グローバルパスのパス名を受信した際、前記ライト対象グローバルパスのパス名を前記名前担当サーバの記憶装置に格納する、
請求項11又は12記載のストレージシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/004744 WO2011033582A1 (en) | 2009-09-18 | 2009-09-18 | Storage system for eliminating duplicated data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012523023A true JP2012523023A (ja) | 2012-09-27 |
JP5303038B2 JP5303038B2 (ja) | 2013-10-02 |
Family
ID=42061125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011543014A Expired - Fee Related JP5303038B2 (ja) | 2009-09-18 | 2009-09-18 | 重複したデータを排除するストレージシステム |
Country Status (5)
Country | Link |
---|---|
US (3) | US8285690B2 (ja) |
EP (1) | EP2414926A1 (ja) |
JP (1) | JP5303038B2 (ja) |
CN (1) | CN102741800B (ja) |
WO (1) | WO2011033582A1 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013156846A (ja) * | 2012-01-30 | 2013-08-15 | Fujitsu Ltd | ストレージ管理方法およびストレージ管理装置 |
JP2014179094A (ja) * | 2013-03-14 | 2014-09-25 | Lsi Corp | ストレージ・デバイスによって支援されるデータ重複排除 |
JP2015528928A (ja) * | 2012-10-31 | 2015-10-01 | 株式会社日立製作所 | ストレージ装置及びストレージ装置の制御方法 |
WO2016006050A1 (ja) * | 2014-07-09 | 2016-01-14 | 株式会社日立製作所 | ストレージシステム及び記憶制御方法 |
JP2016040654A (ja) * | 2014-08-12 | 2016-03-24 | 株式会社Nttドコモ | データ復元装置及びデータ復元方法 |
CN105765575A (zh) * | 2013-11-11 | 2016-07-13 | 亚马逊科技公司 | 数据流摄取和持久性技术 |
JP2016218906A (ja) * | 2015-05-25 | 2016-12-22 | パナソニックIpマネジメント株式会社 | データ記録再生システム |
WO2017149592A1 (ja) * | 2016-02-29 | 2017-09-08 | 株式会社日立製作所 | ストレージ装置 |
KR20180015896A (ko) * | 2016-08-04 | 2018-02-14 | 에스케이하이닉스 주식회사 | 저항 변화 메모리의 수명 연장 방법 및 그 방법을 이용하는 데이터 저장 시스템 |
JP2019016293A (ja) * | 2017-07-10 | 2019-01-31 | 富士通株式会社 | 情報処理装置、重複除去率特定方法及び重複除去率特定プログラム |
US10387380B2 (en) | 2016-11-21 | 2019-08-20 | Fujitsu Limited | Apparatus and method for information processing |
US10691716B2 (en) | 2013-11-11 | 2020-06-23 | Amazon Technologies, Inc. | Dynamic partitioning techniques for data streams |
JP2020190812A (ja) * | 2019-05-20 | 2020-11-26 | 日本電気株式会社 | 重複排除記憶方法、重複排除記憶制御装置、重複排除ストレージシステム、プログラム |
US20220253222A1 (en) * | 2019-11-01 | 2022-08-11 | Huawei Technologies Co., Ltd. | Data reduction method, apparatus, computing device, and storage medium |
JP7468068B2 (ja) | 2020-03-30 | 2024-04-16 | 日本電気株式会社 | 情報処理装置、情報処理方法及びプログラム |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8938595B2 (en) | 2003-08-05 | 2015-01-20 | Sepaton, Inc. | Emulated storage system |
US8825792B1 (en) | 2008-03-11 | 2014-09-02 | United Services Automobile Association (Usaa) | Systems and methods for online brand continuity |
US8447741B2 (en) * | 2010-01-25 | 2013-05-21 | Sepaton, Inc. | System and method for providing data driven de-duplication services |
US8429137B2 (en) * | 2010-09-02 | 2013-04-23 | Federal Express Corporation | Enterprise data duplication identification |
JP5623239B2 (ja) * | 2010-10-28 | 2014-11-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 書込みレコードの重複を排除する記憶装置、及びその書込み方法 |
US8396841B1 (en) * | 2010-11-30 | 2013-03-12 | Symantec Corporation | Method and system of multi-level and multi-mode cloud-based deduplication |
US8533407B2 (en) * | 2010-12-01 | 2013-09-10 | International Business Machines Corporation | Capacity management in deduplication storage systems |
JP5485866B2 (ja) * | 2010-12-28 | 2014-05-07 | 株式会社日立ソリューションズ | 情報管理方法、及び情報提供用計算機 |
US8266115B1 (en) * | 2011-01-14 | 2012-09-11 | Google Inc. | Identifying duplicate electronic content based on metadata |
US8688651B2 (en) * | 2011-01-25 | 2014-04-01 | Sepaton, Inc. | Dynamic deduplication |
US9223511B2 (en) | 2011-04-08 | 2015-12-29 | Micron Technology, Inc. | Data deduplication |
US20130054919A1 (en) * | 2011-08-30 | 2013-02-28 | International Business Machines Corporation | Methods and physical computer storage media for transferring de-duplicated data organized in virtual volumes to a target set of physical media |
JP5780067B2 (ja) * | 2011-09-01 | 2015-09-16 | 富士通株式会社 | ストレージシステム、ストレージ制御装置およびストレージ制御方法 |
WO2013070792A1 (en) * | 2011-11-07 | 2013-05-16 | Nexgen Storage, Inc. | Primary data storage system with staged deduplication |
US8504533B2 (en) * | 2011-12-20 | 2013-08-06 | Matthew Dewey | De-duplication reference tag reconciliation |
JP6005951B2 (ja) * | 2012-02-28 | 2016-10-12 | 東芝メディカルシステムズ株式会社 | バックアップデータストレージ及びデータバックアップシステム |
US20130232124A1 (en) * | 2012-03-05 | 2013-09-05 | Blaine D. Gaither | Deduplicating a file system |
US9779103B2 (en) | 2012-04-23 | 2017-10-03 | International Business Machines Corporation | Preserving redundancy in data deduplication systems |
US10133747B2 (en) | 2012-04-23 | 2018-11-20 | International Business Machines Corporation | Preserving redundancy in data deduplication systems by designation of virtual device |
US9262428B2 (en) | 2012-04-23 | 2016-02-16 | International Business Machines Corporation | Preserving redundancy in data deduplication systems by designation of virtual address |
US8996881B2 (en) * | 2012-04-23 | 2015-03-31 | International Business Machines Corporation | Preserving redundancy in data deduplication systems by encryption |
JP2014026620A (ja) * | 2012-07-30 | 2014-02-06 | Fujitsu Ltd | 情報処理装置及びコンテンツ管理方法 |
US9348538B2 (en) * | 2012-10-18 | 2016-05-24 | Netapp, Inc. | Selective deduplication |
CN103870514B (zh) * | 2012-12-18 | 2018-03-09 | 华为技术有限公司 | 重复数据删除方法和装置 |
US9766832B2 (en) | 2013-03-15 | 2017-09-19 | Hitachi Data Systems Corporation | Systems and methods of locating redundant data using patterns of matching fingerprints |
US9361028B2 (en) * | 2013-05-07 | 2016-06-07 | Veritas Technologies, LLC | Systems and methods for increasing restore speeds of backups stored in deduplicated storage systems |
US9256611B2 (en) | 2013-06-06 | 2016-02-09 | Sepaton, Inc. | System and method for multi-scale navigation of data |
US9342253B1 (en) * | 2013-08-23 | 2016-05-17 | Nutanix, Inc. | Method and system for implementing performance tier de-duplication in a virtualization environment |
US9378535B2 (en) * | 2013-08-29 | 2016-06-28 | Advanced Micro Devices, Inc. | Efficient duplicate elimination |
US9678973B2 (en) | 2013-10-15 | 2017-06-13 | Hitachi Data Systems Corporation | Multi-node hybrid deduplication |
JP6008820B2 (ja) * | 2013-10-24 | 2016-10-19 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | WORM(WriteOnceReadMany)を実現するファイルシステム |
US10108644B1 (en) * | 2014-03-12 | 2018-10-23 | EMC IP Holding Company LLC | Method for minimizing storage requirements on fast/expensive arrays for data mobility and migration |
US9753955B2 (en) | 2014-09-16 | 2017-09-05 | Commvault Systems, Inc. | Fast deduplication data verification |
US10437784B2 (en) * | 2015-01-30 | 2019-10-08 | SK Hynix Inc. | Method and system for endurance enhancing, deferred deduplication with hardware-hash-enabled storage device |
WO2016163025A1 (ja) * | 2015-04-10 | 2016-10-13 | 株式会社日立製作所 | データ量削減機能に関する課金額を算出する方法及び管理システム |
US9639274B2 (en) | 2015-04-14 | 2017-05-02 | Commvault Systems, Inc. | Efficient deduplication database validation |
US9904473B2 (en) * | 2015-11-20 | 2018-02-27 | International Business Machines Corporation | Memory and processor affinity in a deduplicated environment |
CN105491149B (zh) * | 2015-12-26 | 2019-04-23 | 深圳市金立通信设备有限公司 | 一种数据存储方法及终端 |
US9697224B1 (en) * | 2016-02-09 | 2017-07-04 | International Business Machines Corporation | Data deduplication for an eventually consistent system |
US11228635B2 (en) * | 2016-03-30 | 2022-01-18 | Nec Corporation | Information sharing method |
DE102016205827B3 (de) * | 2016-04-07 | 2017-08-17 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung, Fahrzeug und Zentralstelle zum Feststellen einer Aktualität einer lokalen Benutzereinstellung |
US10235396B2 (en) * | 2016-08-29 | 2019-03-19 | International Business Machines Corporation | Workload optimized data deduplication using ghost fingerprints |
US11226929B2 (en) | 2016-09-14 | 2022-01-18 | International Business Machines Corporation | WORM data falsification detection |
US10789002B1 (en) * | 2017-10-23 | 2020-09-29 | EMC IP Holding Company LLC | Hybrid data deduplication for elastic cloud storage devices |
WO2019087786A1 (ja) * | 2017-11-06 | 2019-05-09 | 日本電信電話株式会社 | 情報分散記憶システム、方法およびプログラム |
CN111723050A (zh) * | 2019-03-22 | 2020-09-29 | 伊姆西Ip控股有限责任公司 | 用于文件管理的方法、电子设备和计算机程序产品 |
US11086794B2 (en) * | 2019-04-30 | 2021-08-10 | EMC IP Holding Company LLC | Managing eviction from a deduplication cache |
US11294871B2 (en) | 2019-07-19 | 2022-04-05 | Commvault Systems, Inc. | Deduplication system without reference counting |
US11144550B2 (en) * | 2019-09-25 | 2021-10-12 | Snowflake Inc. | Pipeline level optimization of aggregation operators in a query plan during runtime |
US11620287B2 (en) | 2020-02-26 | 2023-04-04 | Snowflake Inc. | Framework for providing intermediate aggregation operators in a query plan |
JP7476715B2 (ja) * | 2020-08-07 | 2024-05-01 | 富士通株式会社 | 情報処理装置及び重複率見積もりプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008243138A (ja) * | 2007-03-29 | 2008-10-09 | Hitachi Ltd | ストレージシステム及びデータ復元方法 |
JP2009059096A (ja) * | 2007-08-30 | 2009-03-19 | Hitachi Ltd | ストレージシステム及びストレージシステムの消費電力低減方法 |
JP2009087021A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | ストレージ装置及びデータ重複排除方法 |
WO2009066611A1 (ja) * | 2007-11-20 | 2009-05-28 | Nec Corporation | 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU5386796A (en) * | 1995-04-11 | 1996-10-30 | Kinetech, Inc. | Identifying data in a data processing system |
US5732265A (en) | 1995-11-02 | 1998-03-24 | Microsoft Corporation | Storage optimizing encoder and method |
US7092956B2 (en) * | 2001-11-02 | 2006-08-15 | General Electric Capital Corporation | Deduplication system |
US6934714B2 (en) * | 2002-03-04 | 2005-08-23 | Intelesis Engineering, Inc. | Method and system for identification and maintenance of families of data records |
US7200604B2 (en) * | 2004-02-17 | 2007-04-03 | Hewlett-Packard Development Company, L.P. | Data de-duplication |
JP2005274991A (ja) | 2004-03-25 | 2005-10-06 | Sony Corp | 楽曲データ格納装置および重複楽曲削除方法 |
US9772981B2 (en) * | 2006-03-29 | 2017-09-26 | EMC IP Holding Company LLC | Combined content indexing and data reduction |
US7747584B1 (en) * | 2006-08-22 | 2010-06-29 | Netapp, Inc. | System and method for enabling de-duplication in a storage system architecture |
US9465823B2 (en) * | 2006-10-19 | 2016-10-11 | Oracle International Corporation | System and method for data de-duplication |
US7640280B2 (en) * | 2006-10-31 | 2009-12-29 | Rebit, Inc. | System for automatically shadowing data and file directory structures that are recorded on a computer memory |
US7840537B2 (en) * | 2006-12-22 | 2010-11-23 | Commvault Systems, Inc. | System and method for storing redundant information |
JP5020673B2 (ja) * | 2007-03-27 | 2012-09-05 | 株式会社日立製作所 | 重複したファイルの記憶を防ぐコンピュータシステム |
US7873809B2 (en) * | 2007-03-29 | 2011-01-18 | Hitachi, Ltd. | Method and apparatus for de-duplication after mirror operation |
US8204866B2 (en) * | 2007-05-18 | 2012-06-19 | Microsoft Corporation | Leveraging constraints for deduplication |
US8209506B2 (en) * | 2007-09-05 | 2012-06-26 | Emc Corporation | De-duplication in a virtualized storage environment |
US7822939B1 (en) * | 2007-09-25 | 2010-10-26 | Emc Corporation | Data de-duplication using thin provisioning |
US8548953B2 (en) * | 2007-11-12 | 2013-10-01 | F5 Networks, Inc. | File deduplication using storage tiers |
US7870105B2 (en) * | 2007-11-20 | 2011-01-11 | Hitachi, Ltd. | Methods and apparatus for deduplication in storage system |
US7962452B2 (en) * | 2007-12-28 | 2011-06-14 | International Business Machines Corporation | Data deduplication by separating data from meta data |
US7836053B2 (en) * | 2007-12-28 | 2010-11-16 | Group Logic, Inc. | Apparatus and methods of identifying potentially similar content for data reduction |
US7979670B2 (en) * | 2008-01-24 | 2011-07-12 | Quantum Corporation | Methods and systems for vectored data de-duplication |
US20090193210A1 (en) * | 2008-01-29 | 2009-07-30 | Hewett Jeffrey R | System for Automatic Legal Discovery Management and Data Collection |
US20090204636A1 (en) * | 2008-02-11 | 2009-08-13 | Microsoft Corporation | Multimodal object de-duplication |
US7962706B2 (en) * | 2008-02-14 | 2011-06-14 | Quantum Corporation | Methods and systems for improving read performance in data de-duplication storage |
JP5084551B2 (ja) * | 2008-02-26 | 2012-11-28 | Kddi株式会社 | 重複排除技術を用いたデータバックアップ方法、記憶制御通信装置及びプログラム |
US8825617B2 (en) * | 2008-03-14 | 2014-09-02 | International Business Machines Corporation | Limiting deduplication based on predetermined criteria |
US7519635B1 (en) * | 2008-03-31 | 2009-04-14 | International Business Machines Corporation | Method of and system for adaptive selection of a deduplication chunking technique |
US8650228B2 (en) * | 2008-04-14 | 2014-02-11 | Roderick B. Wideman | Methods and systems for space management in data de-duplication |
US7984022B2 (en) * | 2008-04-18 | 2011-07-19 | International Business Machines Corporation | Space recovery with storage management coupled with a deduplicating storage system |
US8346730B2 (en) * | 2008-04-25 | 2013-01-01 | Netapp. Inc. | Deduplication of data on disk devices based on a threshold number of sequential blocks |
US7996371B1 (en) * | 2008-06-10 | 2011-08-09 | Netapp, Inc. | Combining context-aware and context-independent data deduplication for optimal space savings |
US7913114B2 (en) * | 2008-07-31 | 2011-03-22 | Quantum Corporation | Repair of a corrupt data segment used by a de-duplication engine |
US7814149B1 (en) * | 2008-09-29 | 2010-10-12 | Symantec Operating Corporation | Client side data deduplication |
AU2009335697A1 (en) * | 2008-12-18 | 2011-08-04 | Copiun, Inc. | Methods and apparatus for content-aware data partitioning and data de-duplication |
US7921086B1 (en) * | 2008-12-23 | 2011-04-05 | Symantec Corporation | Deterministic space management in deduplication applications |
US20110055471A1 (en) * | 2009-08-28 | 2011-03-03 | Jonathan Thatcher | Apparatus, system, and method for improved data deduplication |
-
2009
- 2009-09-18 EP EP09787925A patent/EP2414926A1/en not_active Withdrawn
- 2009-09-18 WO PCT/JP2009/004744 patent/WO2011033582A1/en active Application Filing
- 2009-09-18 CN CN200980159529.5A patent/CN102741800B/zh active Active
- 2009-09-18 JP JP2011543014A patent/JP5303038B2/ja not_active Expired - Fee Related
- 2009-09-18 US US12/663,885 patent/US8285690B2/en active Active
-
2012
- 2012-09-07 US US13/606,683 patent/US8793227B2/en active Active
-
2014
- 2014-06-20 US US14/310,487 patent/US9317519B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008243138A (ja) * | 2007-03-29 | 2008-10-09 | Hitachi Ltd | ストレージシステム及びデータ復元方法 |
JP2009059096A (ja) * | 2007-08-30 | 2009-03-19 | Hitachi Ltd | ストレージシステム及びストレージシステムの消費電力低減方法 |
JP2009087021A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | ストレージ装置及びデータ重複排除方法 |
WO2009066611A1 (ja) * | 2007-11-20 | 2009-05-28 | Nec Corporation | 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013156846A (ja) * | 2012-01-30 | 2013-08-15 | Fujitsu Ltd | ストレージ管理方法およびストレージ管理装置 |
JP2015528928A (ja) * | 2012-10-31 | 2015-10-01 | 株式会社日立製作所 | ストレージ装置及びストレージ装置の制御方法 |
JP2014179094A (ja) * | 2013-03-14 | 2014-09-25 | Lsi Corp | ストレージ・デバイスによって支援されるデータ重複排除 |
US10691716B2 (en) | 2013-11-11 | 2020-06-23 | Amazon Technologies, Inc. | Dynamic partitioning techniques for data streams |
CN105765575A (zh) * | 2013-11-11 | 2016-07-13 | 亚马逊科技公司 | 数据流摄取和持久性技术 |
JP2017501515A (ja) * | 2013-11-11 | 2017-01-12 | アマゾン・テクノロジーズ・インコーポレーテッド | データストリーム取り込み及び永続性ポリシ |
CN105765575B (zh) * | 2013-11-11 | 2019-11-05 | 亚马逊科技公司 | 数据流摄取和持久性技术 |
US9658774B2 (en) | 2014-07-09 | 2017-05-23 | Hitachi, Ltd. | Storage system and storage control method |
WO2016006050A1 (ja) * | 2014-07-09 | 2016-01-14 | 株式会社日立製作所 | ストレージシステム及び記憶制御方法 |
JP2016040654A (ja) * | 2014-08-12 | 2016-03-24 | 株式会社Nttドコモ | データ復元装置及びデータ復元方法 |
JP2016218906A (ja) * | 2015-05-25 | 2016-12-22 | パナソニックIpマネジメント株式会社 | データ記録再生システム |
WO2017149592A1 (ja) * | 2016-02-29 | 2017-09-08 | 株式会社日立製作所 | ストレージ装置 |
JPWO2017149592A1 (ja) * | 2016-02-29 | 2018-09-27 | 株式会社日立製作所 | ストレージ装置 |
KR102565005B1 (ko) | 2016-08-04 | 2023-08-07 | 에스케이하이닉스 주식회사 | 저항 변화 메모리의 수명 연장 방법 및 그 방법을 이용하는 데이터 저장 시스템 |
KR20180015896A (ko) * | 2016-08-04 | 2018-02-14 | 에스케이하이닉스 주식회사 | 저항 변화 메모리의 수명 연장 방법 및 그 방법을 이용하는 데이터 저장 시스템 |
US10387380B2 (en) | 2016-11-21 | 2019-08-20 | Fujitsu Limited | Apparatus and method for information processing |
JP2019016293A (ja) * | 2017-07-10 | 2019-01-31 | 富士通株式会社 | 情報処理装置、重複除去率特定方法及び重複除去率特定プログラム |
JP2020190812A (ja) * | 2019-05-20 | 2020-11-26 | 日本電気株式会社 | 重複排除記憶方法、重複排除記憶制御装置、重複排除ストレージシステム、プログラム |
US20220253222A1 (en) * | 2019-11-01 | 2022-08-11 | Huawei Technologies Co., Ltd. | Data reduction method, apparatus, computing device, and storage medium |
JP7468068B2 (ja) | 2020-03-30 | 2024-04-16 | 日本電気株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN102741800A (zh) | 2012-10-17 |
US20140304242A1 (en) | 2014-10-09 |
US20110191305A1 (en) | 2011-08-04 |
CN102741800B (zh) | 2015-11-25 |
JP5303038B2 (ja) | 2013-10-02 |
WO2011033582A1 (en) | 2011-03-24 |
EP2414926A1 (en) | 2012-02-08 |
US9317519B2 (en) | 2016-04-19 |
US20120330907A1 (en) | 2012-12-27 |
US8285690B2 (en) | 2012-10-09 |
US8793227B2 (en) | 2014-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5303038B2 (ja) | 重複したデータを排除するストレージシステム | |
US10303797B1 (en) | Clustering files in deduplication systems | |
KR102378367B1 (ko) | 분산 파일 시스템 | |
CN107798130B (zh) | 一种分布式存储快照的方法 | |
JP5775177B2 (ja) | クローンファイル作成方法と、それを用いたファイルシステム | |
US9952940B2 (en) | Method of operating a shared nothing cluster system | |
US20190026042A1 (en) | Deduplication-Aware Load Balancing in Distributed Storage Systems | |
US20170300550A1 (en) | Data Cloning System and Process | |
US9547706B2 (en) | Using colocation hints to facilitate accessing a distributed data storage system | |
US9384201B2 (en) | Method of managing data of file system using database management system | |
US10108644B1 (en) | Method for minimizing storage requirements on fast/expensive arrays for data mobility and migration | |
JP5650982B2 (ja) | ファイルの重複を排除する装置及び方法 | |
JP5886447B2 (ja) | ロケーション非依存のファイル | |
US10437682B1 (en) | Efficient resource utilization for cross-site deduplication | |
WO2015049747A1 (ja) | データ管理システム、及び、データ管理方法 | |
JP2014503086A (ja) | ファイルシステム及びデータ処理方法 | |
JP6288596B2 (ja) | データ処理方法および装置 | |
CN107038092B (zh) | 一种数据复制方法及装置 | |
US20180107404A1 (en) | Garbage collection system and process | |
JP2009259007A (ja) | 分散格納方法、分散格納システム及び分散格納装置 | |
JP2020506444A (ja) | 期限切れバックアップ処理方法及びバックアップサーバ | |
WO2020215580A1 (zh) | 一种分布式全局数据去重方法和装置 | |
JP7505252B2 (ja) | ファイルサーバ、重複排除システム、処理方法、プログラム | |
US9575679B2 (en) | Storage system in which connected data is divided | |
US20170124107A1 (en) | Data deduplication storage system and process |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5303038 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |