JP7082373B2 - データ管理装置およびデータ管理方法 - Google Patents

データ管理装置およびデータ管理方法 Download PDF

Info

Publication number
JP7082373B2
JP7082373B2 JP2019060402A JP2019060402A JP7082373B2 JP 7082373 B2 JP7082373 B2 JP 7082373B2 JP 2019060402 A JP2019060402 A JP 2019060402A JP 2019060402 A JP2019060402 A JP 2019060402A JP 7082373 B2 JP7082373 B2 JP 7082373B2
Authority
JP
Japan
Prior art keywords
data
storage
score
storage device
data management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019060402A
Other languages
English (en)
Other versions
JP2020160859A (ja
Inventor
操 片岡
博史 野口
卓万 磯田
庸次 山登
智稀 伊藤
勉 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Original Assignee
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Tokai National Higher Education and Research System NUC filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019060402A priority Critical patent/JP7082373B2/ja
Publication of JP2020160859A publication Critical patent/JP2020160859A/ja
Application granted granted Critical
Publication of JP7082373B2 publication Critical patent/JP7082373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Retry When Errors Occur (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、複数のストレージデバイスが接続されたストレージネットワークにおけるデータ管理装置およびデータ管理方法に関する。
従来、データにアクセスするデバイスまたはアプリケーション(以下「ユーザ」という)にとって便利な場所にあるデータ保存場所(ストレージ)にデータを配備する技術として、キャッシュ制御技術が知られている。データ保存場所として選択される場所(便利な場所)の特徴として、例えば遅延の有無などで定義されるQoS(Quality of Service)が良好な場所、物理的に近いなどデータ転送エネルギーが小さい場所などが挙げられる。
キャッシュ制御技術では、ユーザのローカリティ(同じ場所からのアクセスが多い)という特性を想定して、ユーザが利用したデータを一時的にユーザの近くに保存する機能を提供する。この一時保存データはキャッシュデータと呼ばれ、オリジナルデータの一時的なコピーである。一方で、ストレージの容量は有限であり、不要と思われるキャッシュデータは消去される。不要と判断するアルゴリズムとして、置き換えアルゴリズムと呼ばれるLRU(Least Recent Used)およびTLRU(Time aware Least Recent Used)が知られている(非特許文献1~3参照)。
LRUは、最近アクセスされたデータから順に並べたデータ列の最後部が削除対象となるアルゴリズムである。また、TLRUは、TTL(Time To Live)およびTTU(Time To Use)を考慮したLRUである。TTLは、データがキャッシュに存在できる時間の限界を示し、いわばデータの賞味期限である。キャッシュデータが生成されてから時間が経過するとオリジナルデータが変化する可能性があるため、TTLを設定することによりデータの正当性を保証する。また、TTUは、データが生成されたときから生存できる時間の限界を示し、いわばデータの消費期限である。
Kai Cheng他、"LRU-SP: A Size-Adjusted and Popularity-Aware LRU Replacement Algorithm for Web Caching"、 Proceedings 24th Annual International Computer Software and Applications Conference. COMPSAC2000、IEEE、2000年10月 Giovanni Neglia他、"Access-time aware cache algorithms"、 2016 28th International Teletraffic Congress (ITC 28)、IEEE、2016年9月 Zhongxing Ming他、"Age-based Cooperative Caching in Information-Centric Networks"、 2012 Proceedings IEEE INFOCOM Workshops、IEEE、2012年3月
図7は、従来技術にかかるキャッシュ制御を模式的に示す説明図である。
ストレージデバイス50は容量αを有し、図7の符号T1の時点ではデータa,b,cが記憶されている。符号T1の時点ではストレージデバイス50に空き容量があるため、新たなデータdはそのまま記憶可能である。データa,b,cはこの順にストレージデバイス50に記憶されたものであり、新たなデータdはデータcの次に記憶される。
その後、図7の符号T2の時点ではストレージデバイス50にはデータa,b,c,d,e,f,g,hが記憶されており、空き容量がなくなっている。この状態で新たなデータiを記憶するには、いずれかのデータを削除する必要がある。この場合、図7の符号T3に示すように、データ列の先頭にあるデータaが削除され、最後尾にデータiが記憶される。
また、ストレージデバイス50内のデータにユーザからのアクセスがあった場合、そのデータはデータ列の最後尾に移動される。例えば、図7の符号T3でデータbにユーザからのアクセスがあった場合(符号T3の矢印31)、図7の符号T4で示すようにデータbはデータ列の最後尾に移される。この状態で新たなデータjを記憶する場合、先頭のデータであるデータcが削除される。
上述した従来技術では、最近記憶されたデータまたは最近アクセスされたデータがデータ列の最後尾(削除されにくいデータ)となっている。すなわち、新しいデータや最後にアクセスがあった時刻が最近のデータを重要なデータとして取り扱っている。しかしながら、これらの指標は、データの重要性を測る指標として十分とは言えない。
また、上述した従来技術では、ストレージデバイスが一杯の場合、ストレージデバイスからデータを削除することしかできず、例えば古くなっても削除されては困るデータがある場合などに不都合が生じる。
本発明は、このような事情に鑑みなされたものであり、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことを目的とする。
上述の目的を達成するため、請求項1に記載の発明は、複数のストレージデバイスが接続されたストレージネットワークにおけるデータ管理装置であって、前記ストレージデバイスそれぞれには、当該ストレージデバイスに記憶されたデータの移動先となる退避ストレージが接続されており、前記ストレージデバイスそれぞれにおいて前記データ管理装置が、前記ストレージデバイスの記憶容量が不足した際に、当該ストレージデバイスに記憶されたデータの内の少なくとも1つを、他のストレージデバイスまたは前記退避ストレージに移動させるデータ移動部と、前記ストレージデバイスに記憶された各データに対して、当該データの重要度に関するスコアを付与するスコア付与部とを備え、前記データ移動部は、移動対象データの前記スコアが前記重要度の高いことを示す第1の範囲内にある場合には前記他のストレージデバイスに前記移動対象データを移動し、前記移動対象データの前記スコアが前記重要度の低いことを示す第2の範囲にある場合には前記退避ストレージに前記移動対象データを移動する、ことを特徴とするデータ管理装置とした。
また、請求項に記載の発明は、複数のストレージデバイスが接続されたストレージネットワークにおけるデータ管理装置のデータ管理方法であって、前記ストレージデバイスそれぞれには、当該ストレージデバイスに記憶されたデータの移動先となる退避ストレージが接続されており、前記ストレージデバイスそれぞれにおいて前記データ管理装置が、前記ストレージデバイスに記憶された各データに対して、当該データの重要度に関するスコアを付与するスコア付与ステップと、前記ストレージデバイスの記憶容量が不足した際に、当該ストレージデバイスに記憶されたデータの内の少なくとも1つを、他のストレージデバイスまたは前記退避ストレージに移動させるデータ移動ステップを実行し、前記データ移動ステップにおいて、移動対象データの前記スコアが前記重要度の高いことを示す第1の範囲内にある場合には前記他のストレージデバイスに前記移動対象データを移動し、前記移動対象データの前記スコアが前記重要度の低いことを示す第2の範囲にある場合には前記退避ストレージに前記移動対象データを移動することを特徴とするデータ管理方法とした。
このようにすることで、データ管理装置は、ストレージデバイスの記憶容量が不足する場合であっても、データを削除することなく他のストレージデバイスまたは退避ストレージに移動させることができる。
また、データ管理装置は、データの重要度を示すスコアに基づき、重要度の高いデータを他のストレージデバイスに移動させ、重要度の低いデータを退避ストレージに移動させることができる。よって、データ管理装置は、データの重要度に応じた適切なストレージにデータを削除せず移動させることができる。
請求項に記載の発明は、前記スコア付与部が、前記データがアクセスされた時刻から前記データが生成された時刻を差し引いた値を用いて前記スコアを算出する、ことを特徴とする請求項に記載のデータ管理装置とした。
このようにすることで、データが生成されてからアクセスされるまでの時間をスコアに反映させることができ、データの重要度をより精度よくスコアに反映させることができる。
請求項に記載の発明は、前記スコア付与部が、前記データにアクセスがあるごとに前記値を算出し、前記値の和に基づいて前記スコアを算出する、ことを特徴とする請求項に記載のデータ管理装置とした。
このようにすることで、データに対するアクセス回数をスコアに反映させることができ、データの重要度をより精度よくスコアに反映させることができる。
請求項に記載の発明は、前記データ移動部が、前記他のストレージデバイスの稼働状況に基づいて、前記スコアが前記第1の範囲内にあるデータ、または、前記スコアが前記第2の範囲内にあるデータを前記移動対象データとして決定する、ことを特徴とする請求項から請求項のいずれか1項に記載のデータ管理装置とした。
このようにすることで、移動先の稼働状況に基づいて移動させるデータを選択することができ、ストレージネットワーク内で効率よくデータを移動させることができる。
請求項に記載の発明は、前記ストレージネットワークは、データを利用するユーザに対して階層構造が形成されており、前記データ移動部が、前記スコアが前記第1の範囲内にあるデータを前記他のストレージデバイスに移動させる際に、当該ストレージデバイスの前記階層構造における位置よりも、前記ユーザにより近い上位に位置する前記他のストレージデバイスに、前記移動対象データを移動する、ことを特徴とする請求項から請求項3のいずれか1項に記載のデータ管理装置とした。
このようにすることで、ユーザに近いストレージデバイスに重要度の高いデータを移動することができる。よって、ストレージネットワーク内におけるデータへのアクセス効率を向上させることができる。
本発明によれば、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことができる。
実施の形態にかかるストレージネットワークの構成を示す図である。 各ストレージノードの詳細な構成を例示する図である。 各ストレージノードの詳細な構成を例示する図である。 データ管理装置の機能的構成を示すブロック図である。 データ管理装置におけるキャッシュ制御を模式的に示す説明図である。 データ管理装置の処理手順を示すフローチャートである。 従来技術にかかるキャッシュ制御を模式的に示す説明図である。
以下に添付図面を参照して、本発明にかかるデータ管理装置およびデータ管理方法の好適な実施の形態を詳細に説明する。
図1は、実施の形態にかかるストレージネットワーク10の構成の一例を示す図である。ストレージネットワーク10は、複数のストレージノード12が相互に接続されている。
図1に例示するストレージネットワーク10は、データを利用するユーザ14に対して階層構造を形成している。例えば、ユーザ14Aを基準とすると、ストレージノード12A、ストレージノード12B、ストレージノード12C、ストレージノード12Dの順にユーザ14に近い位置にある。本実施の形態では、ユーザ14に近いストレージノード12を上位、ユーザ14から遠いストレージノード12を下位とする。すなわち、ユーザ14Aを基準にすると、上位のストレージノードから順に、ストレージノード12A、ストレージノード12B、ストレージノード12C、ストレージノード12Dとなっている。
各ストレージノード12には、ユーザ14である各種デバイスやアプリケーションが利用するデータのコピーであるキャッシュデータ(以下単に「データ」という場合もある)が記憶されている。例えば、ユーザ14が所定のストレージに記憶されている真のデータβ(オリジナルデータ)にアクセスすると、真のデータβのコピー(複製データ)であるキャッシュデータβ’がユーザにより近いストレージノード12に配置される。ユーザ14は次回以降データβにアクセスする必要がある場合には、キャッシュデータβ’にアクセスする。
なお、ストレージネットワーク10の構成は、図1に例示する階層構造を備えるものに限定されない。例えば、各ストレージノード12それぞれが相互に通信接続されてネットワーク上でクラウドを構成していてもよい。
各ストレージノード12は、例えば図2に示すように、スイッチデバイス120を介してネットワークに接続され、頻繁にアクセスされるデータ(ホット・データ)を記憶する高速ストレージであるホットストレージデバイス(以下、単に「ストレージデバイス100」と称する。)と、アクセスされる頻度の低いデータ(コールド・データ)を記憶するコールドストレージデバイス(以下、「退避ストレージ100A」と称する。)とを含んで構成される。
コールドストレージデバイス(退避ストレージ100A)は、ホットストレージデバイス(ストレージデバイス100)と比較し、後記する重要度を示すスコアの低いデータを記憶するストレージデバイスである。このコールドストレージデバイス(退避ストレージ100A)は、図2に示したように、スイッチデバイス120を介してネットワークに接続されてもよいし、図3に示すように、ネットワークとは接続せずローカルにホットストレージデバイス(ストレージデバイス100)に接続されてもよい。
また、コールドストレージデバイス(退避ストレージ100A)は、例えば、以下に示すような所定の条件により、ホットストレージデバイスと区別される。
ホットストレージデバイスに比べ、アクセスに時間がかかる(アクセスの遅延が大きい)、情報(データ)がリムーバブルな媒体(例えば、DVD(登録商標)、ブルーレイ(登録商標)などのディスクやテープ)に記憶される、通信費用がかからない、などの所定の条件を満たすストレージデバイスを予めストレージネットワーク10の管理者がコールドデバイス(退避ストレージ100A)として設置しておく。
ここで、各ストレージデバイス100(または各ストレージノード12)は、自身が記憶するデータを管理するデータ管理装置20(データ管理機能)を備える。なお、データ管理装置20は、ストレージノード12内に1つの筐体を備える装置として含まれてもよいし、ストレージデバイス100内にデータ管理装置20が備える機能(データ管理機能)を有するものとして実現してもよい。また、データ管理装置20内にストレージデバイス100を備える構成にしてもよい。
図4は、データ管理装置20の機能的構成を示すブロック図である。
データ管理装置20は、新規データ受信部202、データ記憶部204、容量監視部206、スコア付与部208、データ移動部210を備える。
新規データ受信部202は、他のストレージデバイスやユーザ14などから、ストレージデバイス100で記憶すべき新規のデータを受信する。
データ記憶部204は、ストレージデバイス100に新規のデータを記憶する。
容量監視部206は、ストレージデバイス100の空き容量を監視する。
スコア付与部208は、ストレージデバイス100に記憶された各データに対して、当該データの重要度に関するスコアを付与する。スコア付与部208は、従来のような「データにアクセスがあった時刻(最近アクセスされたデータほど重要)」という要素に加えて、「データが生成されてからアクセスされるまでの時間(データ生成後早期にアクセスされたデータほど重要)」および「アクセス回数(アクセス回数が多いデータほど重要)」という要素を用いて、データの重要度を示すスコアを算出する。そして、スコア付与部208は、算出したスコアに基づきデータ(データ列)の並び替えを行う。
より詳細には、スコア付与部208は、下記式(1)を用いて各データのスコアを算出する。
スコア = Σ{データに設定された消費期限TTU-(データがアクセスされた時刻-データが生成された時刻)}+最後にアクセスされた時刻 ・・・(1)
すなわち、スコア付与部208は、データがアクセスされた時刻からデータが生成された時刻を差し引いた値(以下「データアクセスタイミング値」という)を用いてスコアを算出する。これにより、データが生成されてからアクセスされるまでの経過時間(AoI:Age of Information)をスコアに反映させることができる。また、スコア付与部208は、データにアクセスがある毎にデータアクセスタイミング値を算出し、データアクセスタイミング値の和に基づいてスコアを算出する。これにより、データに対するアクセス頻度(アクセスの総量)をスコアに反映させることができる。
より具体的な例を挙げて説明する。
ストレージデバイス100に、3つのデータA,B,Cが保持されているものとする。各データの生成時刻は、データA:10、データB:5、データC:100である。なお、ここで時刻は、説明の便宜のため、ある基準時刻からの経過時間(例えば「秒」)を数値化した値として、例えば「10」「5」「100」のように表現している。各データのTTUを500とする。また、以下の時刻において各データにアクセスがあったものとする。A:200(アクセス回数1回)、B:110,200(アクセス回数2回)、C:200(アクセス回数1回)。
上記の条件において、各データのスコアSX(Xはデータ名(A,B,C))は、以下のようになる。
SA={500-(200-10)}+200=510
SB={500-(110-5)}+{500-(200-5)}+200=900
SC={500-(200-100)}+200=600
よって、スコアが大きい順に、データB,C,Aの順に重要なデータであると推定することができる。すなわち、本発明では、データBのようにAoIが小さい段階でアクセスされたデータや複数回アクセスされたデータに大きいスコア値を付与し、重要度が高いと判断する。
なお、スコア付与部208によるスコアの算出手法は式(1)を用いるに限らず、データへのアクセスタイミング(データアクセスタイミング値)やデータへのアクセス回数を反映させられるような手法であればよい。
比較のため、従来技術にかかる手法で算出したスコアについても検討する。
従来のTLRUにおいて、スコアは、例えば下記式(2)のように算出される。
スコア = {(データ生成時刻+TTU)-現在時刻}+最後にアクセスされた時刻 ・・・(2)
上記式(2)中、{(データ生成時刻+TTU)-現在時刻}は、データのTTUの残り値に対応する。
上記データA,B,Cについて、上記式(2)を用いて算出したスコアSX’(Xはデータ名(A,B,C))は、以下のようになる。なお、現在時刻:300とする。
SA’={(10+500)-300}+200=410
SB’={(5+500)-300}+200=405
SC’={(100+500)-300}+200=500
この場合、スコアが大きい順に、データC,A,Bの順となる。
このように、従来技術では、データBのようにAoIが小さい時にアクセスされ、かつ複数回アクセスされたデータであっても重要度が低いと判断されてしまう。
データ移動部210は、ストレージデバイス100に記憶された各データの少なくとも1つを、スコアに基づいて他のストレージデバイス100(他のストレージノード12)や退避ストレージ100Aに移動させる。データ移動部210は、移動対象となるデータ(移動対象データ)のスコアが重要度の高いことを示す第1の範囲内にある場合には、自身以外の(他の)ストレージノード12(図1参照)に備わる他のストレージデバイス100に移動対象データを移動する。その際、ストレージネットワーク10が図1に示すような階層構造を備える場合には、データ移動部210は、移動対象データを現在のストレージデバイス100よりも上位のストレージデバイスに移動することが望ましい。また、移動対象データのスコアが重要度の低いことを示す第2の範囲にある場合には、データ移動部210は、移動対象データを退避ストレージ100A(図2,図3参照)に移動する。
すなわち、データ移動部210は、ストレージデバイス100に記憶されたデータのうち、重要度の高いデータを他のストレージデバイス100(例えば、上位のストレージデバイス)に移動する「処理A」、重要度の低いデータを退避ストレージ100Aに移動する「処理B」を行い得る。なお、この他重要度の低いデータを削除する「処理C」を行うようにしてもよい。
例えばストレージデバイス100が図1におけるストレージノード12Bにある場合、重要度の高いデータはストレージノード12Aに移動される。また、重要度が低いデータは、自身のストレージノード12内の退避ストレージ100A(図2,図3)に移動されることになる。
第1の範囲または第2の範囲は、具体的なスコアの値により定義してもよいし、例えば「スコアが高い(または低い)順に所定個数(または所定容量)のデータ」などのように定義してもよい。
データ移動部210によるデータの移動は、例えばストレージデバイス100に空き容量がない状態で更に新しいデータを記憶したい場合の他、所定の時間間隔ごとに定期的に行ってもよい。これは、データ移動部210は従来技術のようにデータを削除するのではなく、データを移動させるものであるためであり、重要度により定期的にデータを移動させることにより、ストレージネットワーク10におけるデータ配置を最適化することができる。
なお、データ移動部210で上記処理A,Bのいずれを行うかは、例えばストレージネットワーク10内の各ストレージデバイスの状況に応じて決定してもよい。例えば、ストレージデバイス100が図1におけるストレージノード12Bにある場合、ストレージノード12Aおよびストレージノード12Cにあるストレージデバイスの稼働状況、例えば空き状況やノード間の転送速度などを取得し、データ転送を行いやすいノード(例えば十分な空き容量があるストレージデバイスを有する方のノードや、転送速度が速い(ネットワーク遅延が生じていない)方のノードなど)を選択する。その結果、例えば、上位のノード(または下位のノード)を選択した場合には重要度の高いデータに対して上記処理Aを行う。また、稼働状況に基づき、所定の条件を満たす他のストレージデバイス100が見つからなかった場合に、重要度の低いデータに対して上記処理Bを行うようにしてもよい。それ以外に、稼働状況に基づき、所定の条件を満たす移動可能な上位のノードが存在しなかった場合(移動可能な下位のノードのみ存在する場合)に、重要度の低いデータに対して上記処理Bを行うようにしてもよい。
すなわち、データ移動部210は、他のストレージデバイスの稼働状況に基づいてデータの移動先ストレージデバイスを決定する。その際、ストレージネットワーク10が図1に示すような階層構造を備える場合には、データ移動部210は、移動先ストレージデバイスの階層構造における位置に基づいて移動対象データを決定するようにしてもよい。
このようにすることで、移動先の稼働状況に基づいて移動させるデータを選択することができ、ストレージネットワーク10内で効率よくデータを移動させることができる。
図5は、データ管理装置20におけるキャッシュ制御を模式的に示す説明図である。
ストレージデバイス100は容量αを有し、図5の符号T10の時点ではデータa,b,cがこの順に記憶されている。符号T10の時点ではストレージデバイス100に空き容量があるため、新規データdはそのまま記憶可能である。新規データdはデータcの次に記憶される。
また、ストレージデバイス100内のデータにユーザからのアクセスがあった場合、スコア付与部208によりスコアの再計算が行われ、スコアに基づくデータの並び替えが行われる。例えば、図5の符号T11の時点でデータaにユーザからのアクセスがあった場合(符号T11の矢印111)、データaのスコアが再計算され、並び替えが行われる。従来技術ではアクセスがあったデータはデータ列の最後尾となるが、本実施の形態では必ずしも最後尾とはならず、例えば符号T12のように最後尾から2番目などとなる可能性もある。この場合に最後尾にあるデータhは、例えば頻繁にアクセスを受けるデータなどとなる。
また、図5の符号T13の時点のようにストレージデバイス100に空き容量がない状態で新たなデータiを記憶するには、データ移動部210によりいずれかのデータを他のストレージデバイス100または退避ストレージ100Aに移動させる。例えば上記処理Aを行う場合には、最も重要度の高いデータであるデータhを他のストレージデバイス100(例えば、上位のストレージデバイス)に移動させる(符号T13の矢印131)。また、上記処理Bを行う場合には、最も重要度の低いデータであるデータbを退避ストレージ100Aに移動させる(符号T13の矢印132)。なお、上記処理Cを行う場合には、最も重要度の低いデータであるデータbを削除する。
図6は、データ管理装置20の処理手順を示すフローチャートである。
スコア付与部208は、ストレージデバイス100内の各データへのアクセスを監視し、逐次重要度に関するスコアを算出し、スコアに基づいてデータを並び替える(ステップS1)。
次に、新規データ受信部202が新規データを受信したかを判定する(ステップS2)。そして、新規データ受信部202は、新規データを受信していなければ(ステップS2:No)、受信するまで待つ。一方、新規データ受信部202は、新規データを受信すると(ステップS2:Yes)、ステップS3へ進む。
なお、スコア付与部208によるスコアの算出とデータの並び替えは、ステップS1において所定の時間間隔ごとに行われてもよいし、ステップS2において、新規データを受信したこと(ステップS2:Yes)を契機として行ってもよい。
ステップS3において、容量監視部206は、ストレージデバイス100の空き容量を確認する。そして、容量監視部206が新規データを記憶できるだけの空き容量があると判定した場合には(ステップS3:Yes)、データ記憶部204がストレージデバイス100に新規データを記憶する(ステップS4)。
一方、容量監視部206が新規データを記憶できるだけの空き容量がないと判定した場合には(ステップS3:No)、次のステップS5へ進む。
ステップS5において、データ移動部210は、ストレージデバイス100に記憶した各データのスコアを参照し、当該スコアが重要度の高いことを示す第1の範囲内にあるデータが存在するか否かを判定する。そして、データ移動部210は、スコアが第1の範囲内にあるデータが存在すると判定した場合に(ステップS5:Yes)、当該データを他のストレージデバイス100(例えば、上位のストレージデバイス)に移動する(ステップS6)。そして、次のステップS7に進む。一方、スコアが第1の範囲内にあるデータが存在しなかった場合には(ステップS5:No)、ステップS7に進む。
ステップS7において、データ移動部210は、ストレージデバイス100に記憶した各データのスコアを参照し、当該スコアが重要度の低いことを示す第2の範囲内にあるデータが存在するか否かを判定する。そして、データ移動部210は、スコアが第2の範囲内にあるデータが存在すると判定した場合に(ステップS7:Yes)、当該データを退避ストレージ100Aに移動する(ステップS8)。そして、次のステップS9に進む。一方、スコアが第2の範囲内にあるデータが存在しなかった場合には(ステップS7:No)、ステップS9に進む。
なお、ステップS5とステップS7の判定処理は、どちらを先に行ってもよい。またステップS5およびステップS7において、移動対象となるデータ(移動対象データ)が複数見つかった場合に、その移動対象データのうち少なくとも1つのデータを移動させるように設定しておいてもよい。また、ステップS7において見つかった重要度が低いスコアのデータを削除するように設定してもよい。
ステップS6またはステップS8の処理が実行された結果、データが移動され、ストレージデバイス100に新規データを記憶できるだけの空き容量が形成される。その後、データ記憶部204が新規データをストレージデバイス100に記憶する(ステップS9)。
以上説明したように、実施の形態にかかるデータ管理装置20によれば、重要度の高いデータを削除することなく他のストレージデバイス100(例えば、上位のストレージデバイス)に移動させることができる。また、重要度の低いデータも削除することなく退避ストレージ100Aに移動させることができる。よって、削除されては困るデータを確実に記憶しておくことができる。また、データ管理装置20によれば、データが生成されてからアクセスされるまでの時間およびデータに対するアクセス回数を、重要度を示すスコアに反映させることができる。このスコアに基づき、データの移動先を判定することにより、ストレージネットワーク10内におけるデータへのアクセス効率を向上させることができる。
10 ストレージネットワーク
12,12A~12D ストレージノード
14,14A ユーザ
20 データ管理装置
100 ストレージデバイス
100A 退避ストレージ
202 新規データ受信部
204 データ記憶部
206 容量監視部
208 スコア付与部
210 データ移動部

Claims (6)

  1. 複数のストレージデバイスが接続されたストレージネットワークにおけるデータ管理装置であって、
    前記ストレージデバイスそれぞれには、当該ストレージデバイスに記憶されたデータの移動先となる退避ストレージが接続されており、
    前記ストレージデバイスそれぞれにおいて前記データ管理装置は、
    前記ストレージデバイスの記憶容量が不足した際に、当該ストレージデバイスに記憶されたデータの内の少なくとも1つを、他のストレージデバイスまたは前記退避ストレージに移動させるデータ移動部と、
    前記ストレージデバイスに記憶された各データに対して、当該データの重要度に関するスコアを付与するスコア付与部とを備え、
    前記データ移動部は、移動対象データの前記スコアが前記重要度の高いことを示す第1の範囲内にある場合には前記他のストレージデバイスに前記移動対象データを移動し、前記移動対象データの前記スコアが前記重要度の低いことを示す第2の範囲にある場合には前記退避ストレージに前記移動対象データを移動する、
    ことを特徴とするデータ管理装置。
  2. 前記スコア付与部は、前記データがアクセスされた時刻から前記データが生成された時刻を差し引いた値を用いて前記スコアを算出する、
    ことを特徴とする請求項に記載のデータ管理装置。
  3. 前記スコア付与部は、前記データにアクセスがあるごとに前記値を算出し、前記値の和に基づいて前記スコアを算出する、
    ことを特徴とする請求項に記載のデータ管理装置。
  4. 前記データ移動部は、前記他のストレージデバイスの稼働状況に基づいて、前記スコアが前記第1の範囲内にあるデータ、または、前記スコアが前記第2の範囲内にあるデータを前記移動対象データとして決定する、
    ことを特徴とする請求項から請求項のいずれか1項に記載のデータ管理装置。
  5. 前記ストレージネットワークは、データを利用するユーザに対して階層構造が形成されており、
    前記データ移動部は、前記スコアが前記第1の範囲内にあるデータを前記他のストレージデバイスに移動させる際に、当該ストレージデバイスの前記階層構造における位置よりも、前記ユーザにより近い上位に位置する前記他のストレージデバイスに、前記移動対象データを移動する、
    ことを特徴とする請求項から請求項3のいずれか1項に記載のデータ管理装置。
  6. 複数のストレージデバイスが接続されたストレージネットワークにおけるデータ管理装置のデータ管理方法であって、
    前記ストレージデバイスそれぞれには、当該ストレージデバイスに記憶されたデータの移動先となる退避ストレージが接続されており、
    前記ストレージデバイスそれぞれにおいて前記データ管理装置は、
    前記ストレージデバイスに記憶された各データに対して、当該データの重要度に関するスコアを付与するスコア付与ステップと、
    前記ストレージデバイスの記憶容量が不足した際に、当該ストレージデバイスに記憶されたデータの内の少なくとも1つを、他のストレージデバイスまたは前記退避ストレージに移動させるデータ移動ステップを実行し、
    前記データ移動ステップにおいて、移動対象データの前記スコアが前記重要度の高いことを示す第1の範囲内にある場合には前記他のストレージデバイスに前記移動対象データを移動し、前記移動対象データの前記スコアが前記重要度の低いことを示す第2の範囲にある場合には前記退避ストレージに前記移動対象データを移動する
    ことを特徴とするデータ管理方法。
JP2019060402A 2019-03-27 2019-03-27 データ管理装置およびデータ管理方法 Active JP7082373B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019060402A JP7082373B2 (ja) 2019-03-27 2019-03-27 データ管理装置およびデータ管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019060402A JP7082373B2 (ja) 2019-03-27 2019-03-27 データ管理装置およびデータ管理方法

Publications (2)

Publication Number Publication Date
JP2020160859A JP2020160859A (ja) 2020-10-01
JP7082373B2 true JP7082373B2 (ja) 2022-06-08

Family

ID=72643564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019060402A Active JP7082373B2 (ja) 2019-03-27 2019-03-27 データ管理装置およびデータ管理方法

Country Status (1)

Country Link
JP (1) JP7082373B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289252A (ja) 2008-05-30 2009-12-10 Hitachi Ltd 階層ストレージシステムでのリモート複製
WO2011148496A1 (ja) 2010-05-27 2011-12-01 株式会社日立製作所 通信ネットワークを介してリモートのファイルサーバにファイルを転送するローカルのファイルサーバ、及び、それらのファイルサーバを有するストレージシステム
US20120191912A1 (en) 2011-01-20 2012-07-26 Google Inc. Storing data on storage nodes
US20150373108A1 (en) 2014-06-18 2015-12-24 International Business Machines Corporation Dynamic proximity based networked storage
WO2017042972A1 (ja) 2015-09-11 2017-03-16 株式会社エーピーコミュニケーションズ ストレージシステム、アーカイブ処理方法、ストレージ通信装置、及びコンピュータプログラム
JP2017519299A (ja) 2014-06-24 2017-07-13 グーグル インコーポレイテッド コンテンツアイテムの記憶
JP2018116348A (ja) 2017-01-16 2018-07-26 株式会社東芝 データベースシステムおよびデータ処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02226443A (ja) * 1989-02-28 1990-09-10 Ricoh Co Ltd 補助記憶装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289252A (ja) 2008-05-30 2009-12-10 Hitachi Ltd 階層ストレージシステムでのリモート複製
WO2011148496A1 (ja) 2010-05-27 2011-12-01 株式会社日立製作所 通信ネットワークを介してリモートのファイルサーバにファイルを転送するローカルのファイルサーバ、及び、それらのファイルサーバを有するストレージシステム
US20120191912A1 (en) 2011-01-20 2012-07-26 Google Inc. Storing data on storage nodes
US20150373108A1 (en) 2014-06-18 2015-12-24 International Business Machines Corporation Dynamic proximity based networked storage
JP2017519299A (ja) 2014-06-24 2017-07-13 グーグル インコーポレイテッド コンテンツアイテムの記憶
WO2017042972A1 (ja) 2015-09-11 2017-03-16 株式会社エーピーコミュニケーションズ ストレージシステム、アーカイブ処理方法、ストレージ通信装置、及びコンピュータプログラム
JP2018116348A (ja) 2017-01-16 2018-07-26 株式会社東芝 データベースシステムおよびデータ処理方法

Also Published As

Publication number Publication date
JP2020160859A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
EP3334123B1 (en) Content distribution method and system
US7472143B2 (en) File migration device
JP5320678B2 (ja) データ分散格納システム及びデータ分散方法、それに用いる装置並びにそのプログラム
CN110502452B (zh) 访问电子设备中的混合缓存的方法及装置
CN103365954A (zh) 提高线上重复删除效率的方法和***
JP2007510224A (ja) プロキシキャッシュにおいてマルチメディアコンテンツのセグメントの優先順位を決める方法
KR20190078836A (ko) 그래프 처리 성능 향상을 위한 복수 계층 캐싱 방법 및 복수 계층 캐싱 시스템
CN116009788A (zh) 计算集群的性能优化方法、***、设备及存储介质
JP7082373B2 (ja) データ管理装置およびデータ管理方法
CN107704507A (zh) 数据库处理方法和设备
CN110581873B (zh) 一种跨集群重定向方法及监控服务器
Zhou et al. TAP: Timeliness‐aware predication‐based replica selection algorithm for key‐value stores
JP4592014B2 (ja) トラヒック軽減システム
Bsoul et al. A dynamic replication strategy based on categorization for data grid
JP6015660B2 (ja) データ配置システム、分散アクセスノード、データ配置方法およびプログラム
JP7174372B2 (ja) 分散ストレージネットワークにおけるデータ管理方法、装置、プログラム
CN104333803B (zh) 防止视频编辑时丢帧的方法、设备及***
JP2007264692A (ja) メモリ管理方法、装置、およびプログラム
AT&T
JP6592584B2 (ja) Ipアドレス管理方法及び装置、ipアドレスアンカー、並びにモバイルノード
US10726348B2 (en) Probabilistic HTTP request routing
CN106572501B (zh) 基于双重阈值判决的内容中心移动自组织网络缓存方法
JP5633927B2 (ja) フレーム転送装置、フレーム転送方法、及び、フレーム転送プログラム
JP2010218235A (ja) アーカイブ装置、分散管理装置および分散管理プログラム
JP5071990B2 (ja) データベース装置、データベースシステム、キャッシュメンテナンス方法およびそのプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220519

R150 Certificate of patent or registration of utility model

Ref document number: 7082373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150