JP7082373B2 - データ管理装置およびデータ管理方法 - Google Patents
データ管理装置およびデータ管理方法 Download PDFInfo
- Publication number
- JP7082373B2 JP7082373B2 JP2019060402A JP2019060402A JP7082373B2 JP 7082373 B2 JP7082373 B2 JP 7082373B2 JP 2019060402 A JP2019060402 A JP 2019060402A JP 2019060402 A JP2019060402 A JP 2019060402A JP 7082373 B2 JP7082373 B2 JP 7082373B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- score
- storage device
- data management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Retry When Errors Occur (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
ストレージデバイス50は容量αを有し、図7の符号T1の時点ではデータa,b,cが記憶されている。符号T1の時点ではストレージデバイス50に空き容量があるため、新たなデータdはそのまま記憶可能である。データa,b,cはこの順にストレージデバイス50に記憶されたものであり、新たなデータdはデータcの次に記憶される。
また、上述した従来技術では、ストレージデバイスが一杯の場合、ストレージデバイスからデータを削除することしかできず、例えば古くなっても削除されては困るデータがある場合などに不都合が生じる。
また、データ管理装置は、データの重要度を示すスコアに基づき、重要度の高いデータを他のストレージデバイスに移動させ、重要度の低いデータを退避ストレージに移動させることができる。よって、データ管理装置は、データの重要度に応じた適切なストレージにデータを削除せず移動させることができる。
図1は、実施の形態にかかるストレージネットワーク10の構成の一例を示す図である。ストレージネットワーク10は、複数のストレージノード12が相互に接続されている。
図1に例示するストレージネットワーク10は、データを利用するユーザ14に対して階層構造を形成している。例えば、ユーザ14Aを基準とすると、ストレージノード12A、ストレージノード12B、ストレージノード12C、ストレージノード12Dの順にユーザ14に近い位置にある。本実施の形態では、ユーザ14に近いストレージノード12を上位、ユーザ14から遠いストレージノード12を下位とする。すなわち、ユーザ14Aを基準にすると、上位のストレージノードから順に、ストレージノード12A、ストレージノード12B、ストレージノード12C、ストレージノード12Dとなっている。
なお、ストレージネットワーク10の構成は、図1に例示する階層構造を備えるものに限定されない。例えば、各ストレージノード12それぞれが相互に通信接続されてネットワーク上でクラウドを構成していてもよい。
ホットストレージデバイスに比べ、アクセスに時間がかかる(アクセスの遅延が大きい)、情報(データ)がリムーバブルな媒体(例えば、DVD(登録商標)、ブルーレイ(登録商標)などのディスクやテープ)に記憶される、通信費用がかからない、などの所定の条件を満たすストレージデバイスを予めストレージネットワーク10の管理者がコールドデバイス(退避ストレージ100A)として設置しておく。
データ管理装置20は、新規データ受信部202、データ記憶部204、容量監視部206、スコア付与部208、データ移動部210を備える。
新規データ受信部202は、他のストレージデバイスやユーザ14などから、ストレージデバイス100で記憶すべき新規のデータを受信する。
データ記憶部204は、ストレージデバイス100に新規のデータを記憶する。
容量監視部206は、ストレージデバイス100の空き容量を監視する。
スコア = Σ{データに設定された消費期限TTU-(データがアクセスされた時刻-データが生成された時刻)}+最後にアクセスされた時刻 ・・・(1)
ストレージデバイス100に、3つのデータA,B,Cが保持されているものとする。各データの生成時刻は、データA:10、データB:5、データC:100である。なお、ここで時刻は、説明の便宜のため、ある基準時刻からの経過時間(例えば「秒」)を数値化した値として、例えば「10」「5」「100」のように表現している。各データのTTUを500とする。また、以下の時刻において各データにアクセスがあったものとする。A:200(アクセス回数1回)、B:110,200(アクセス回数2回)、C:200(アクセス回数1回)。
SA={500-(200-10)}+200=510
SB={500-(110-5)}+{500-(200-5)}+200=900
SC={500-(200-100)}+200=600
よって、スコアが大きい順に、データB,C,Aの順に重要なデータであると推定することができる。すなわち、本発明では、データBのようにAoIが小さい段階でアクセスされたデータや複数回アクセスされたデータに大きいスコア値を付与し、重要度が高いと判断する。
なお、スコア付与部208によるスコアの算出手法は式(1)を用いるに限らず、データへのアクセスタイミング(データアクセスタイミング値)やデータへのアクセス回数を反映させられるような手法であればよい。
従来のTLRUにおいて、スコアは、例えば下記式(2)のように算出される。
スコア = {(データ生成時刻+TTU)-現在時刻}+最後にアクセスされた時刻 ・・・(2)
上記式(2)中、{(データ生成時刻+TTU)-現在時刻}は、データのTTUの残り値に対応する。
SA’={(10+500)-300}+200=410
SB’={(5+500)-300}+200=405
SC’={(100+500)-300}+200=500
この場合、スコアが大きい順に、データC,A,Bの順となる。
このように、従来技術では、データBのようにAoIが小さい時にアクセスされ、かつ複数回アクセスされたデータであっても重要度が低いと判断されてしまう。
例えばストレージデバイス100が図1におけるストレージノード12Bにある場合、重要度の高いデータはストレージノード12Aに移動される。また、重要度が低いデータは、自身のストレージノード12内の退避ストレージ100A(図2,図3)に移動されることになる。
データ移動部210によるデータの移動は、例えばストレージデバイス100に空き容量がない状態で更に新しいデータを記憶したい場合の他、所定の時間間隔ごとに定期的に行ってもよい。これは、データ移動部210は従来技術のようにデータを削除するのではなく、データを移動させるものであるためであり、重要度により定期的にデータを移動させることにより、ストレージネットワーク10におけるデータ配置を最適化することができる。
すなわち、データ移動部210は、他のストレージデバイスの稼働状況に基づいてデータの移動先ストレージデバイスを決定する。その際、ストレージネットワーク10が図1に示すような階層構造を備える場合には、データ移動部210は、移動先ストレージデバイスの階層構造における位置に基づいて移動対象データを決定するようにしてもよい。
このようにすることで、移動先の稼働状況に基づいて移動させるデータを選択することができ、ストレージネットワーク10内で効率よくデータを移動させることができる。
ストレージデバイス100は容量αを有し、図5の符号T10の時点ではデータa,b,cがこの順に記憶されている。符号T10の時点ではストレージデバイス100に空き容量があるため、新規データdはそのまま記憶可能である。新規データdはデータcの次に記憶される。
スコア付与部208は、ストレージデバイス100内の各データへのアクセスを監視し、逐次重要度に関するスコアを算出し、スコアに基づいてデータを並び替える(ステップS1)。
次に、新規データ受信部202が新規データを受信したかを判定する(ステップS2)。そして、新規データ受信部202は、新規データを受信していなければ(ステップS2:No)、受信するまで待つ。一方、新規データ受信部202は、新規データを受信すると(ステップS2:Yes)、ステップS3へ進む。
なお、スコア付与部208によるスコアの算出とデータの並び替えは、ステップS1において所定の時間間隔ごとに行われてもよいし、ステップS2において、新規データを受信したこと(ステップS2:Yes)を契機として行ってもよい。
一方、容量監視部206が新規データを記憶できるだけの空き容量がないと判定した場合には(ステップS3:No)、次のステップS5へ進む。
なお、ステップS5とステップS7の判定処理は、どちらを先に行ってもよい。またステップS5およびステップS7において、移動対象となるデータ(移動対象データ)が複数見つかった場合に、その移動対象データのうち少なくとも1つのデータを移動させるように設定しておいてもよい。また、ステップS7において見つかった重要度が低いスコアのデータを削除するように設定してもよい。
12,12A~12D ストレージノード
14,14A ユーザ
20 データ管理装置
100 ストレージデバイス
100A 退避ストレージ
202 新規データ受信部
204 データ記憶部
206 容量監視部
208 スコア付与部
210 データ移動部
Claims (6)
- 複数のストレージデバイスが接続されたストレージネットワークにおけるデータ管理装置であって、
前記ストレージデバイスそれぞれには、当該ストレージデバイスに記憶されたデータの移動先となる退避ストレージが接続されており、
前記ストレージデバイスそれぞれにおいて前記データ管理装置は、
前記ストレージデバイスの記憶容量が不足した際に、当該ストレージデバイスに記憶されたデータの内の少なくとも1つを、他のストレージデバイスまたは前記退避ストレージに移動させるデータ移動部と、
前記ストレージデバイスに記憶された各データに対して、当該データの重要度に関するスコアを付与するスコア付与部とを備え、
前記データ移動部は、移動対象データの前記スコアが前記重要度の高いことを示す第1の範囲内にある場合には前記他のストレージデバイスに前記移動対象データを移動し、前記移動対象データの前記スコアが前記重要度の低いことを示す第2の範囲にある場合には前記退避ストレージに前記移動対象データを移動する、
ことを特徴とするデータ管理装置。 - 前記スコア付与部は、前記データがアクセスされた時刻から前記データが生成された時刻を差し引いた値を用いて前記スコアを算出する、
ことを特徴とする請求項1に記載のデータ管理装置。 - 前記スコア付与部は、前記データにアクセスがあるごとに前記値を算出し、前記値の和に基づいて前記スコアを算出する、
ことを特徴とする請求項2に記載のデータ管理装置。 - 前記データ移動部は、前記他のストレージデバイスの稼働状況に基づいて、前記スコアが前記第1の範囲内にあるデータ、または、前記スコアが前記第2の範囲内にあるデータを前記移動対象データとして決定する、
ことを特徴とする請求項1から請求項3のいずれか1項に記載のデータ管理装置。 - 前記ストレージネットワークは、データを利用するユーザに対して階層構造が形成されており、
前記データ移動部は、前記スコアが前記第1の範囲内にあるデータを前記他のストレージデバイスに移動させる際に、当該ストレージデバイスの前記階層構造における位置よりも、前記ユーザにより近い上位に位置する前記他のストレージデバイスに、前記移動対象データを移動する、
ことを特徴とする請求項1から請求項3のいずれか1項に記載のデータ管理装置。 - 複数のストレージデバイスが接続されたストレージネットワークにおけるデータ管理装置のデータ管理方法であって、
前記ストレージデバイスそれぞれには、当該ストレージデバイスに記憶されたデータの移動先となる退避ストレージが接続されており、
前記ストレージデバイスそれぞれにおいて前記データ管理装置は、
前記ストレージデバイスに記憶された各データに対して、当該データの重要度に関するスコアを付与するスコア付与ステップと、
前記ストレージデバイスの記憶容量が不足した際に、当該ストレージデバイスに記憶されたデータの内の少なくとも1つを、他のストレージデバイスまたは前記退避ストレージに移動させるデータ移動ステップとを実行し、
前記データ移動ステップにおいて、移動対象データの前記スコアが前記重要度の高いことを示す第1の範囲内にある場合には前記他のストレージデバイスに前記移動対象データを移動し、前記移動対象データの前記スコアが前記重要度の低いことを示す第2の範囲にある場合には前記退避ストレージに前記移動対象データを移動する
ことを特徴とするデータ管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019060402A JP7082373B2 (ja) | 2019-03-27 | 2019-03-27 | データ管理装置およびデータ管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019060402A JP7082373B2 (ja) | 2019-03-27 | 2019-03-27 | データ管理装置およびデータ管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020160859A JP2020160859A (ja) | 2020-10-01 |
JP7082373B2 true JP7082373B2 (ja) | 2022-06-08 |
Family
ID=72643564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019060402A Active JP7082373B2 (ja) | 2019-03-27 | 2019-03-27 | データ管理装置およびデータ管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7082373B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009289252A (ja) | 2008-05-30 | 2009-12-10 | Hitachi Ltd | 階層ストレージシステムでのリモート複製 |
WO2011148496A1 (ja) | 2010-05-27 | 2011-12-01 | 株式会社日立製作所 | 通信ネットワークを介してリモートのファイルサーバにファイルを転送するローカルのファイルサーバ、及び、それらのファイルサーバを有するストレージシステム |
US20120191912A1 (en) | 2011-01-20 | 2012-07-26 | Google Inc. | Storing data on storage nodes |
US20150373108A1 (en) | 2014-06-18 | 2015-12-24 | International Business Machines Corporation | Dynamic proximity based networked storage |
WO2017042972A1 (ja) | 2015-09-11 | 2017-03-16 | 株式会社エーピーコミュニケーションズ | ストレージシステム、アーカイブ処理方法、ストレージ通信装置、及びコンピュータプログラム |
JP2017519299A (ja) | 2014-06-24 | 2017-07-13 | グーグル インコーポレイテッド | コンテンツアイテムの記憶 |
JP2018116348A (ja) | 2017-01-16 | 2018-07-26 | 株式会社東芝 | データベースシステムおよびデータ処理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02226443A (ja) * | 1989-02-28 | 1990-09-10 | Ricoh Co Ltd | 補助記憶装置 |
-
2019
- 2019-03-27 JP JP2019060402A patent/JP7082373B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009289252A (ja) | 2008-05-30 | 2009-12-10 | Hitachi Ltd | 階層ストレージシステムでのリモート複製 |
WO2011148496A1 (ja) | 2010-05-27 | 2011-12-01 | 株式会社日立製作所 | 通信ネットワークを介してリモートのファイルサーバにファイルを転送するローカルのファイルサーバ、及び、それらのファイルサーバを有するストレージシステム |
US20120191912A1 (en) | 2011-01-20 | 2012-07-26 | Google Inc. | Storing data on storage nodes |
US20150373108A1 (en) | 2014-06-18 | 2015-12-24 | International Business Machines Corporation | Dynamic proximity based networked storage |
JP2017519299A (ja) | 2014-06-24 | 2017-07-13 | グーグル インコーポレイテッド | コンテンツアイテムの記憶 |
WO2017042972A1 (ja) | 2015-09-11 | 2017-03-16 | 株式会社エーピーコミュニケーションズ | ストレージシステム、アーカイブ処理方法、ストレージ通信装置、及びコンピュータプログラム |
JP2018116348A (ja) | 2017-01-16 | 2018-07-26 | 株式会社東芝 | データベースシステムおよびデータ処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020160859A (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3334123B1 (en) | Content distribution method and system | |
US7472143B2 (en) | File migration device | |
JP5320678B2 (ja) | データ分散格納システム及びデータ分散方法、それに用いる装置並びにそのプログラム | |
CN110502452B (zh) | 访问电子设备中的混合缓存的方法及装置 | |
CN103365954A (zh) | 提高线上重复删除效率的方法和*** | |
JP2007510224A (ja) | プロキシキャッシュにおいてマルチメディアコンテンツのセグメントの優先順位を決める方法 | |
KR20190078836A (ko) | 그래프 처리 성능 향상을 위한 복수 계층 캐싱 방법 및 복수 계층 캐싱 시스템 | |
CN116009788A (zh) | 计算集群的性能优化方法、***、设备及存储介质 | |
JP7082373B2 (ja) | データ管理装置およびデータ管理方法 | |
CN107704507A (zh) | 数据库处理方法和设备 | |
CN110581873B (zh) | 一种跨集群重定向方法及监控服务器 | |
Zhou et al. | TAP: Timeliness‐aware predication‐based replica selection algorithm for key‐value stores | |
JP4592014B2 (ja) | トラヒック軽減システム | |
Bsoul et al. | A dynamic replication strategy based on categorization for data grid | |
JP6015660B2 (ja) | データ配置システム、分散アクセスノード、データ配置方法およびプログラム | |
JP7174372B2 (ja) | 分散ストレージネットワークにおけるデータ管理方法、装置、プログラム | |
CN104333803B (zh) | 防止视频编辑时丢帧的方法、设备及*** | |
JP2007264692A (ja) | メモリ管理方法、装置、およびプログラム | |
AT&T | ||
JP6592584B2 (ja) | Ipアドレス管理方法及び装置、ipアドレスアンカー、並びにモバイルノード | |
US10726348B2 (en) | Probabilistic HTTP request routing | |
CN106572501B (zh) | 基于双重阈值判决的内容中心移动自组织网络缓存方法 | |
JP5633927B2 (ja) | フレーム転送装置、フレーム転送方法、及び、フレーム転送プログラム | |
JP2010218235A (ja) | アーカイブ装置、分散管理装置および分散管理プログラム | |
JP5071990B2 (ja) | データベース装置、データベースシステム、キャッシュメンテナンス方法およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20190410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190410 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7082373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |