JP6229684B2 - ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム - Google Patents

ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム Download PDF

Info

Publication number
JP6229684B2
JP6229684B2 JP2015055891A JP2015055891A JP6229684B2 JP 6229684 B2 JP6229684 B2 JP 6229684B2 JP 2015055891 A JP2015055891 A JP 2015055891A JP 2015055891 A JP2015055891 A JP 2015055891A JP 6229684 B2 JP6229684 B2 JP 6229684B2
Authority
JP
Japan
Prior art keywords
storage
time
write data
data
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015055891A
Other languages
English (en)
Other versions
JP2016177429A (ja
Inventor
禎秀 尾芦
禎秀 尾芦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015055891A priority Critical patent/JP6229684B2/ja
Priority to US15/044,262 priority patent/US20160274793A1/en
Publication of JP2016177429A publication Critical patent/JP2016177429A/ja
Application granted granted Critical
Publication of JP6229684B2 publication Critical patent/JP6229684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)
  • Computer Security & Cryptography (AREA)

Description

本発明は、ストレージ装置、ストレージ制御方法、及びストレージ制御プログラムに関し、特に、バックアップ装置における目標復旧時点の増加を抑制するストレージ装置、ストレージ制御方法、及びストレージ制御プログラムに関する。
近年、災害対策の重要度の高まりに伴い、電子データのバックアップのために、メインサイトから地理的に離れたリモートサイトへデータを送信する場合が増加している。大規模なシステムについても、メインサイトと同様のシステムがリモートサイトに準備され、システムの冗長化が図られる場合が多い。このような場合、メインサイトのデータとリモートサイトのバックアップデータとの間で、データの整合性が保証される必要がある。
バックアップデータの整合性を保証する技術の一例が、特許文献１に開示されている。
特許文献１のリモートコピーシステムは、メインセンターとリモートセンターとを含む。メインセンターは、複数のディスクサブシステムを含む。リモートセンターは、メインセンターの各ディスクサブシステムに対応するディスクサブシステムを含む。メインセンターの各ディスクサブシステムは、リモートセンターの対応するディスクサブシステムにインタフェースケーブルを介して接続される。各ディスクサブシステムは、ディスク記憶装置を含む。
特許文献１のリモートコピーシステムは、以下のように動作する。まず、メインセンターのディスクサブシステムは、内蔵されたディスク記憶装置にデータを書き込むとともに、データに通番と時刻を付与する。次に、メインセンターのディスクサブシステムは、リモートセンターのディスクサブシステムへデータを送信する。次に、リモートセンターのディスクサブシステムは、受け取ったデータを通番の順に配列させ、リモートセンターのディスクサブシステム間の通信によって、各ディスクサブシステムのデータに付与された最新の時刻の中で最古の時刻を決定する。次に、リモートセンターのディスクサブシステムは、決定された最古の時刻以前の時刻を付与されたデータをディスク記憶装置へのデータ書き込み対象とする。
上記動作の結果、特許文献１のリモートコピーシステムでは、メインセンターにおいて特定の時刻以前に書き込まれたすべてのデータが、リモートセンターのディスク装置へ書き込まれる。従って、特許文献１のリモートコピーシステムでは、リモートセンターのディスク装置へ書き込まれたデータ間の整合性が保証される。
また、メインサイトとリモートサイトとの間の通信において、バックアップデータの喪失が発生すると、リモートサイトにおいて所望の時点におけるバックアップデータが保持されないことがある。特にクラウドシステムのようなシステムでは、各ストレージ装置に対するデータ書き込み量を予測することは難しい。そのため、リモートサイトへの通信回線において、各ストレージ装置に必要な帯域幅をシステムの設計時に予め割り振ることは困難である。そこで、リモートサイトへのバックアップデータの喪失を低減することが必要である。
リモートサイトへのバックアップデータの喪失を低減する技術の一例が、特許文献２に開示されている。
特許文献２の情報処理システムは、複数のコピー元ストレージシステムと、複数のコピー先ストレージシステムと、回線と、管理計算機とを含む。コピー元ストレージシステムは、ストレージと、キャッシュとを含む。コピー元ストレージシステムは、更新データをストレージに記憶し、更新データをコピー先ストレージシステムに送信するまでキャッシュに記憶する。コピー先ストレージシステムは、複数のコピー元ストレージシステムに記憶されたデータの複製を記憶する。回線は、コピー元ストレージシステムからコピー先ストレージシステムへのデータ送信に用いられる。管理計算機は、コピー元ストレージシステムを制御する。
特許文献２の情報処理システムは、以下のように動作する。まず、管理計算機は、各コピー元ストレージシステムのキャッシュの使用率を取得する。次に、管理計算機は、キャッシュの使用率が高いコピー元ストレージシステムには回線の帯域をより多く割り当て、キャッシュの使用率が低いコピー元ストレージシステムには回線の帯域をより少なく割り当てる。
上記動作の結果、特許文献２の情報処理システムでは、キャッシュの使用率が高いコピー元ストレージシステムのデータがより多く送信され、キャッシュの使用率が低いコピー元ストレージシステムのデータがより少なく送信される。従って、特許文献２の情報処理システムでは、他のコピー元ストレージシステムのキャッシュに余裕があるにもかかわらず、あるコピー元ストレージシステムのキャッシュが溢れる可能性を低減する。
さて、メインサイトにおけるデータの障害発生時には、メインサイトにおける元データの最終更新時点にできるだけ近い時点における、リモートサイトにおけるバックアップデータを利用してデータが復旧されることが望ましい。メインサイトにおける元データの書き込み時点と、リモートサイトにおける対応データのバックアップ完了時点との時間差を「目標復旧時点」という。目標復旧時点は、「ＲＰＯ（Recovery Point Objective）」または「復旧ポイント」ともいわれる。例えば、ＲＰＯが０秒であれば、常に最新のデータへの復旧が可能である。ＲＰＯが１日であれば、１日前のデータへの復旧が可能である。
なお、１つのシステム内に互いに関連するデータを有する複数のストレージ装置が存在する場合には、システムにおけるデータの整合性を保証するために、システム全体としてのＲＰＯは、ストレージ装置の中で最もＲＰＯが大きいストレージ装置に合わせられる必要がある。つまり、システムのＲＰＯは、リモートサイトへのデータ送信が最も遅いストレージ装置のＲＰＯに一致する。
特許文献１や特許文献２の技術では、ストレージ装置への書き込みデータの生成速度がバックアップ装置への通信回線の帯域幅を一時的に超える場合に、ＲＰＯの増大を抑制できないという問題がある。
ストレージ装置への書き込みデータの生成速度がバックアップ装置への通信回線の帯域幅を一時的に超える場合にＲＰＯの増大を抑制する技術の一例が、特許文献３に開示されている。
特許文献３のストレージシステムは、正ストレージ装置と、副ストレージ装置とを含む。
正ストレージ装置は、上位装置に対して、データを読み書きするための第１のボリュームを提供する。正ストレージ装置は、少なくとも１つの記憶デバイスと、ジャーナル作成部とを含む。ジャーナル作成部は、第１のボリュームを含む複数の第１のグループを設定する。ジャーナル作成部は、設定した第１のグループごとに、第１のボリュームに対するデータの書き込みがあったときに、データ及びデータの書き込み時刻を示すタイムスタンプを含むジャーナルを作成する。
副ストレージ装置は、第１のボリュームに書き込まれたデータを複製するための第２のボリュームを提供する。副ストレージ装置は、少なくとも１つの記憶デバイスと、ジャーナル取得反映部と、時間差検出部と、ジャーナル取得制御部とを含む。ジャーナル取得反映部は、各第１のグループに対応させて、第２のボリュームを含む第２のグループを設定する。ジャーナル取得反映部は、設定した第２のグループごとに、ジャーナルを定期的にかつ作成された順番で第１のストレージ装置から取得する。また、ジャーナル取得反映部は、取得したジャーナルを対応する第２のグループ内の対応する第２のボリュームに反映する。
特許文献３のストレージシステムは、以下のように動作する。
まず、時間差検出部は、第２のボリュームに未反映の状態で滞留しているジャーナルに含まれる第２のグループごとの最新のタイムスタンプを比較し、その中で最新及び最古のタイムスタンプの時間差を検出する。
次に、ジャーナル取得制御部は、時間差が予め設定された閾値を超えた場合に、予め定められた所定のジャーナル量だけジャーナルが取得されるまで、タイムスタンプが最古の第２のグループのジャーナルのみを取得させ、他の第２のグループのジャーナルの取得を停止させる。
上記動作の結果、特許文献３のストレージシステムでは、タイムスタンプが最古の第２のグループのジャーナルの取得が優先される。従って、特許文献３のストレージシステムでは、ストレージ装置への書き込みデータの生成速度がバックアップ装置への通信回線の帯域幅を一時的に超える場合に、タイムスタンプが最古の第２のグループのデータに関するＲＰＯの増大が抑制される。
特開２００１−２８２６２８号公報 特開２００６−０５９２６０号公報 特開２００９−１２３０５５号公報
特許文献３のストレージシステムは、第２のグループごとの最新のタイムスタンプの時間差が予め設定された閾値を超えた場合に、予め定められた所定のジャーナル量だけジャーナルを取得するまで、タイムスタンプが最古の第２のグループ以外の第２のグループのジャーナルの取得を停止する。つまり、特許文献３のストレージシステムでは、時間差が予め設定された閾値を超えた場合に、予め定められた所定のジャーナル量だけジャーナルを取得するまで、タイムスタンプが最古の第２のグループ以外の第２のグループのデータに関するＲＰＯが増大する。ところが、タイムスタンプが最古の第２のグループのデータのＲＰＯのみを減少させ、その間、他の第２のグループのデータのＲＰＯを増大させることは、必ずしもシステムのＲＰＯの増大を抑制することを意味しない。従って、特許文献３のストレージシステムには、ストレージ装置への書き込みデータの生成速度がバックアップ装置への通信回線の帯域幅を一時的に超える場合にＲＰＯの増大を抑制する効果が不十分であるという問題がある。
（発明の目的）
本発明の主たる目的は、ストレージ装置への書き込みデータの生成速度がバックアップ装置への通信回線の帯域幅を一時的に超える場合にも、目標復旧時点の増加を抑制することができるストレージ装置、ストレージ制御方法、及びストレージ制御プログラムを提供することにある。
本発明のストレージ装置は、複数の記憶手段と、各記憶手段に対する書き込みデータ、書き込みデータの書き込み先の情報、及び書き込みデータの書き込み時刻の情報を、書き込みデータが送信されるまで一時的に保持するデータ保持手段と、記憶手段毎の最古の書き込み時刻を集計し、集計した最古の書き込み時刻と所定の基準時刻との時間差と正の相関を有する優先度に基づいて、記憶手段毎の書き込みデータの送信のための送信帯域を割り当て、送信帯域に従って書き込みデータを外部のバックアップ装置へ送信する通信制御手段とを備えることを特徴とする。
本発明のストレージ制御方法は、複数の記憶手段のうちの各記憶手段に対する書き込みデータ、書き込みデータの書き込み先の情報、及び書き込みデータの書き込み時刻の情報を、書き込みデータが送信されるまで一時的に保持し、記憶手段毎の最古の書き込み時刻を集計し、集計した最古の書き込み時刻と所定の基準時刻との時間差と正の相関を有する優先度に基づいて、記憶手段毎の書き込みデータの送信のための送信帯域を割り当て、送信帯域に従って書き込みデータを外部のバックアップ装置へ送信することを特徴とする。
本発明のストレージ制御プログラムは、複数の記憶手段のうちの各記憶手段に対する書き込みデータ、書き込みデータの書き込み先の情報、及び書き込みデータの書き込み時刻の情報を、書き込みデータが送信されるまで一時的に保持するデータ保持処理と、記憶手段毎の最古の書き込み時刻を集計し、集計した最古の書き込み時刻と所定の基準時刻との時間差と正の相関を有する優先度に基づいて、記憶手段毎の書き込みデータの送信のための送信帯域を割り当て、送信帯域に従って書き込みデータを外部のバックアップ装置へ送信する通信制御処理とをコンピュータに実行させることを特徴とする。
本発明によれば、ストレージ装置への書き込みデータの生成速度がバックアップ装置への通信回線の帯域幅を一時的に超える場合にも、目標復旧時点の増加を抑制することができるという効果がある。
本発明の第１の実施形態のストレージ装置の構成の一例を示すブロック図である。 本発明の第１の実施形態のストレージ装置の動作を示すフローチャートである。 本発明の第１の実施形態のストレージ装置の処理の具体例を説明するための図である。 比較例のストレージ装置の処理の具体例を説明するための図である。 本発明の第２の実施形態及び第３の実施形態のストレージ装置の動作を示すフローチャートである。 本発明の第４の実施形態のストレージ装置の構成の一例を示すブロック図である。 本発明の第４の実施形態のメインサイトの詳細構成の一例を示すブロック図である。 本発明の第４の実施形態のメインサイトの送信速度管理テーブルの一例を示す図である。 本発明の第４の実施形態のメインサイトのバッファメモリ管理テーブルの一例を示す図である。 本発明の第４の実施形態のメインサイトのホストからのデータの書き込みがあった際の動作を示すフローチャートである。 本発明の第４の実施形態のメインサイトのリモートサイトへのデータ送信の動作を示すフローチャートである。 本発明の第４の実施形態のメインサイトのデータ送信速度の制御の動作を示すフローチャートである。
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、すべての図面において、同等の構成要素には同じ符号を付し、適宜説明を省略する。
（第１の実施形態）
本実施形態の構成について説明する。
図１は、本発明の第１の実施形態のストレージ装置１００の構成の一例を示すブロック図である。
本実施形態のストレージ装置１００は、外部のホスト８００から書き込みデータを受信して、データを記憶する。また、ストレージ装置１００は、通信回線を介して、外部のバックアップ装置９００へ書き込みデータを送信する。なお、通信回線の送信帯域（送信速度）は所定の上限値（以下、「上限帯域」という）を有する。
バックアップ装置９００は、ストレージ装置１００から書き込みデータを受信して、データを記憶する。なお、バックアップ装置９００により記憶されたデータは、ストレージ装置１００により記憶されたデータが使用できない場合に、バックアップ用のデータとして使用される。
ストレージ装置１００は、データ保持手段１２０と、記憶手段１３０と、記憶手段１４０と、通信制御手段１１０とを含む。なお、記憶手段１３０及び記憶手段１４０は、必ずしも物理的に異なる記憶装置である必要はなく、同一の記憶装置上の論理的に異なる記憶装置であってもよい。また、ストレージ装置１００は、複数の記憶手段を含めばよく、３台以上の記憶手段を含んでもよい。
記憶手段１３０は、自身に対する書き込みデータを保持する。記憶手段１３０は、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Disk）である。
記憶手段１４０は、自身に対する書き込みデータを保持する。記憶手段１４０は、例えば、ＨＤＤ又はＳＳＤである。
データ保持手段１２０は、ホスト８００から受信した各記憶手段に対する書き込みデータを各記憶手段に書き込ませる。また、データ保持手段１２０は、書き込みデータ、データ書き込み先である記憶手段の識別情報、及び書き込みデータの書き込み時刻である時刻情報を、書き込みデータがバックアップ装置９００へ送信されるまで一時的に保持する。なお、データ保持手段１２０の機能は、各記憶手段に対応して複数の要素に分割されてもよい。分割されたデータ保持手段の各要素は、ネットワーク等で互いに接続され、１つのデータ保持手段１２０として機能してもよい。
通信制御手段１１０は、記憶手段毎の「送信前ＲＰＯ」を集計する。また、通信制御手段１１０は、集計した送信前ＲＰＯと正の相関を有する重み（以下、「優先度」という）を算出し、優先度に基づいて各記憶手段に関する未送信の書き込みデータの送信のための送信帯域を割り当てる。なお、「各記憶手段に関する未送信の書き込みデータの送信のための送信帯域を割り当てる」ことを、以下、単に「各記憶手段に送信帯域を割り当てる」という。
なお、記憶手段毎の「送信前ＲＰＯ」とは、データ保持手段１２０により保持される未送信の書き込みデータにおける、記憶手段毎の最古のデータ書き込み時刻と所定の「基準時刻」との時間差である。すなわち、記憶手段毎の送信前ＲＰＯは、データ保持手段１２０により保持される未送信の書き込みデータがバックアップ装置９００へまったく送信されなかった場合の、記憶手段毎の最古のデータ書き込み時刻と所定の「基準時刻」との時間差である。「基準時刻」は、例えば、送信前ＲＰＯの集計時点における現在時刻、又は書き込みデータの送信が一定の送信周期で行われる場合の送信周期における特定のタイミングである。
また、優先度は、送信前ＲＰＯと正の相関を有する任意の量である。優先度は、例えば、送信前ＲＰＯ自身、送信前ＲＰＯの冪乗、又は送信前ＲＰＯとデータ保持手段１２０により保持される記憶手段毎の書き込みデータの量との積である。
通信制御手段１１０は、割り当てた送信帯域に従って、記憶手段毎に古い書き込みデータから順に、書き込みデータをバックアップ装置９００へ送信する。
ホスト８００は、記憶手段１３０と記憶手段１４０のそれぞれに対して、個別の書き込みデータを送信する。
バックアップ装置９００は、通信手段９１０と、記憶手段９３０と、記憶手段９４０とを含む。通信手段９１０は、ストレージ装置１００から書き込みデータを受信する。バックアップ装置９００は、記憶手段１３０に対する書き込みデータを記憶手段９３０に記憶し、記憶手段１４０に対する書き込みデータを記憶手段９４０に記憶する。なお、記憶手段９３０及び記憶手段９４０は、必ずしも物理的に異なる記憶装置である必要はなく、同一の記憶装置上の論理的に異なる記憶装置であってもよい。また、バックアップ装置９００は、ストレージ装置１００に含まれる記憶手段と同数の記憶手段を含めばよく、３台以上の記憶手段を含んでもよい。
次に、本実施形態における動作について説明する。
図２は、本発明の第１の実施形態のストレージ装置１００の動作を示すフローチャートである。具体的には、図２は通信制御手段１１０の処理を示す。なお、図２に示すフローチャート及び以下の説明は一例であり、適宜求める処理に応じて、処理順等を入れ替えたり、処理を戻したり、又は処理を繰り返したりしてもよい。
通信制御手段１１０は、まず、記憶手段毎の送信前ＲＰＯを集計する（ステップＳ１１０）。
次に、通信制御手段１１０は、集計した送信前ＲＰＯと正の相関を有する優先度を算出し、優先度に基づいて各記憶手段に送信帯域を割り当てる（ステップＳ１２０）。なお、通信制御手段１１０は、常に上記優先度に基づいて各記憶手段に送信帯域を割り当てなくてもよく、いくつかバリエーションがある。通信制御手段１１０は、例えば、データ保持手段１２０により保持されるすべての書き込みデータを上限帯域内で送信できない場合に、上記優先度に基づいて各記憶手段に送信帯域を割り当ててもよい。あるいは、通信制御手段１１０は、例えば、データ保持手段１２０により保持される書き込みデータのうちの１つ以上の記憶手段に関するデータを上限帯域内で送信できない場合に、上記優先度に基づいて各記憶手段に送信帯域を割り当ててもよい。また、通信制御手段１１０は、必ずしもすべての記憶手段に上記優先度に基づいて送信帯域を割り当てなくてもよい。通信制御手段１１０は、例えば、１つの記憶手段を除く記憶手段に上記優先度に基づいて送信帯域を割り当て、この１つの記憶手段に残りの送信帯域を割り当ててもよい。また、通信制御手段１１０は、送信帯域の全てを上記優先度に基づいて各記憶手段毎に割り当てなくてもよい。通信制御手段１１０は、例えば、最低限の帯域を確保した上で、残りの帯域を上記優先度に基づいて各記憶手段に送信帯域を割り当ててもよい。
次に、通信制御手段１１０は、割り当てられた送信帯域に従って、記憶手段毎に古い書き込みデータから順に、書き込みデータをバックアップ装置９００へ送信する（ステップＳ１３０）。
なお、通信制御手段１１０は、上記の処理の全体を所定のタイミングで繰り返し実行する。
次に、本実施形態における処理の具体例について説明する。
図３は、本発明の第１の実施形態のストレージ装置１００の処理の具体例を説明するための図である。図３（ａ）は、ホスト８００からストレージ装置１００に入力されたデータ生成量の時間変化の具体例を示す。図３（ｂ）は、ストレージ装置１００が保持するデータの送信前ＲＰＯの時間変化の具体例を示す。図３（ｃ）は、ストレージ装置１００がバックアップ装置９００へ送信するデータ送信量の時間変化の具体例を示す。図３（ｄ）は、バックアップ装置におけるＲＰＯの時間変化の具体例を示す。バックアップ装置におけるＲＰＯの時間変化は、２つのグラフの値の大きい方により示される。また、記憶手段１３０（記憶手段Ａ）に関するグラフは実線で、記憶手段１４０（記憶手段Ｂ）に関するグラフは破線で示される。また、グラフにおいて縦軸、横軸とも単位は省略される。また、送信帯域の上限帯域は、単位時間当たり“５０”である。また、通信制御手段１１０は、上記のステップＳ１１０からステップＳ１３０までの処理の全体を１単位時間毎に繰り返し実行する。また、図３の各グラフはシミュレーション結果を示す。以下では、通信制御手段１１０は、データ保持手段１２０により保持されるすべての書き込みデータを上限帯域内で送信できない場合に、集計した送信前ＲＰＯを優先度として、各記憶手段に送信帯域を割り当てる場合について説明する。
図３（ａ）について説明する。記憶手段Ａに対するデータ生成速度は“５”から“３１”までの間で増減を繰り返す。記憶手段Ｂに対するデータ生成速度は、“５”から“５０”までの間で増減を繰り返す。記憶手段Ａ及び記憶手段Ｂに対するデータ生成速度の合計は、時刻“１”、時刻“６”、時刻“１１”、及び時刻“１２”では上限帯域“５０”以下であり、その他の時刻では上限帯域“５０”を超える。
まず、通信制御手段１１０は、図３（ｂ）に示される記憶手段毎の送信前ＲＰＯを集計する（ステップＳ１１０）。
次に、通信制御手段１１０は、集計した送信前ＲＰＯを優先度として、各記憶手段に優先度に比例した送信帯域を割り当てる（ステップＳ１２０）。なお、通信制御手段１１０は、データ保持手段１２０により保持されるすべての書き込みデータを上限帯域内で送信できる場合には、データ保持手段１２０により保持されるすべての書き込みデータが送信されるように各記憶手段に送信帯域を割り当てる。なお、データ保持手段１２０により保持されるすべての書き込みデータを上限帯域内で送信できるか否かは、データ保持手段１２０により保持されるすべての書き込みデータの量と上限帯域の大きさとを比較することにより判定される。
次に、通信制御手段１１０は、まず、図３（ｃ）に示されるように、割り当てられた送信帯域に従って、データ保持手段１２０により保持される記憶手段毎の書き込みデータを古いものから順に、バックアップ装置９００へ送信する（ステップＳ１３０）。
上記の動作の結果、図３（ｄ）に示されるように、バックアップ装置９００により受信される書き込みデータのＲＰＯは、約“０．６”以下に抑えられる。
次に、比較例のストレージ装置（不図示）の処理の具体例について説明する。なお、本比較例は、本実施形態のストレージ装置ではない。
比較例のストレージ装置は、ストレージ毎の送信前ＲＰＯが最大である記憶手段の書き込みデータを優先して送信し、帯域が余れば、他方の記憶手段の書き込みデータを送信する。すなわち、比較例のストレージ装置は、ストレージ毎の送信前ＲＰＯが最大である記憶手段の書き込みデータの送信と、他方の記憶手段の書き込みデータの送信とを同時には行わない。なお、ストレージ毎の送信前ＲＰＯが最大である記憶手段が複数存在する場合には、一方（ここでは、記憶手段Ａ）をストレージ毎の送信前ＲＰＯが最大である記憶手段とみなして選択する。
図４は、比較例のストレージ装置の処理の具体例を説明するための図である。図４に関する前提条件は、ストレージ装置１００が比較例のストレージ装置に置き換わったことを除いて、図３と同じである。
比較例のストレージ装置は、図４（ｃ）に示されるように、時刻“５”及び時刻“１０”では、データ保持手段１２０により保持される、記憶手段Ｂに関する書き込みデータのみを送信し、記憶手段Ａに関する書き込みデータを送信しない。
図４（ｄ）に示されるように、バックアップ装置９００により受信される書き込みデータのＲＰＯは、約“１．０”に達する。一方、ストレージ装置１００では、ＲＰＯは約“０．６”以下に抑えられる。従って、ストレージ装置１００では、比較例のストレージ装置に比べて、ＲＰＯの増加がより抑制される。
以上説明したように、本実施形態のストレージ装置１００は、記憶手段毎の送信前ＲＰＯと正の相関を有する優先度に基づいて、各記憶手段に送信帯域を割り当てる。つまり、ストレージ装置１００は、各記憶手段のＲＰＯの増加を並行して抑制する。従って、本実施形態のストレージ装置１００には、ストレージ装置への書き込みデータの生成速度がバックアップ装置への通信回線の帯域幅を一時的に超える場合にも、目標復旧時点の増加を抑制することができるという効果がある。
なお、上述の具体例では、通信制御手段１１０が、データ保持手段１２０により保持されるすべての書き込みデータを上限帯域内で送信できない場合に、集計した送信前ＲＰＯを優先度として、各記憶手段に送信帯域を割り当てる場合について示した。しかしながら、本実施形態のストレージ装置１００は、ステップＳ１２０の説明において示された送信帯域の割り当て方法のバリエーションが採用された場合であっても、上述の具体例と類似の動作を行う。従って、ステップＳ１２０の説明において示された送信帯域の割り当て方法のバリエーションが採用された場合であっても、上記の効果は近似的に実現される。
（第２の実施形態）
次に、上述した本発明の第１の実施形態を基本とする、本発明の第２の実施形態について、図面を参照して詳細に説明する。本実施形態では、１つの特定の記憶手段を除く記憶手段には送信前ＲＰＯに基づいて送信帯域が割り当てられ、この１つ特定の記憶手段には残りの送信帯域が割り当てられる。以下の説明において、第１の実施形態と同等の構成要素には同じ符号を付し、適宜説明を省略する。
本実施形態の構成について説明する。
本実施形態のストレージ装置２００の構成は、第１の実施形態のストレージ装置１００の構成と同じである。ただし、本実施形態のストレージ装置２００の通信制御手段２１０は、第１の実施形態のストレージ装置１００の通信制御手段１１０と動作が異なる。
次に、本実施形態における動作について説明する。
図５（ａ）は、本発明の第２の実施形態のストレージ装置２００の動作を示すフローチャートである。具体的には、図５（ａ）は通信制御手段２１０の処理を示す。なお、図５（ａ）に示すフローチャート及び以下の説明は一例であり、適宜求める処理に応じて、処理順等を入れ替えたり、処理を戻したり、又は処理を繰り返したりしてもよい。
通信制御手段２１０は、まず、記憶手段毎の送信前ＲＰＯを集計する（ステップＳ１１０）。
次に、通信制御手段２１０は、各記憶手段について順に送信帯域の割り当てを行うが、各記憶手段が送信帯域を未割り当ての最後の記憶手段であるか否かを判定する（ステップＳ２１０）。
記憶手段が最後の記憶手段でなければ（ステップＳ２１０：Ｎｏ）、通信制御手段２１０は、集計した送信前ＲＰＯと正の相関を有する優先度を算出し、優先度に基づいて記憶手段に送信帯域を割り当てる（ステップＳ１２０）。
記憶手段が最後の記憶手段であれば（ステップＳ２１０：Ｙｅｓ）、通信制御手段２１０は、記憶手段に残りの全ての送信帯域を割り当てる（ステップＳ２２０）。
次に、通信制御手段２１０は、割り当てられた送信帯域に従って、記憶手段毎に古い書き込みデータから順に、書き込みデータをバックアップ装置９００へ送信する（ステップＳ１３０）。
なお、通信制御手段２１０は、上記の処理の全体を所定のタイミングで繰り返し実行する。
本実施形態における他の動作は、第１の実施形態における動作と同様である。
以上説明したように、本実施形態のストレージ装置２００は、１つの特定の記憶手段を除く記憶手段に送信前ＲＰＯに基づいて送信帯域を割り当てる。従って、本実施形態のストレージ装置２００は、第１の実施形態における効果と同様の効果を有する。
また、本実施形態のストレージ装置２００は、１つの特定の記憶手段に残りの送信帯域を割り当てる。従って、本実施形態のストレージ装置２００は、割り当てられない送信帯域がないという効果を有する。
（第３の実施形態）
次に、上述した本発明の第１の実施形態を基本とする、本発明の第３の実施形態について、図面を参照して詳細に説明する。本実施形態では、記憶手段毎の送信前ＲＰＯと記憶手段毎の未送信データ量との両方に基づいて送信帯域が割り当てられる。以下の説明において、第１の実施形態と同等の構成要素には同じ符号を付し、適宜説明を省略する。
本実施形態の構成について説明する。
本実施形態のストレージ装置３００の構成は、第１の実施形態のストレージ装置１００の構成と同じである。ただし、本実施形態のストレージ装置３００の通信制御手段３１０は、第１の実施形態のストレージ装置１００の通信制御手段１１０と動作が異なる。
次に、本実施形態における動作について説明する。
図５（ｂ）は、本発明の第３の実施形態のストレージ装置３００の動作を示すフローチャートである。具体的には、図５（ｂ）は通信制御手段３１０の処理を示す。なお、図５（ｂ）に示すフローチャート及び以下の説明は一例であり、適宜求める処理に応じて、処理順等を入れ替えたり、処理を戻したり、又は処理を繰り返したりしてもよい。
通信制御手段３１０は、まず、記憶手段毎の未送信データ量を集計する（ステップＳ３１０）。
次に、通信制御手段３１０は、記憶手段毎の送信前ＲＰＯを集計する（ステップＳ１１０）。
次に、通信制御手段３１０は、集計した送信前ＲＰＯと未送信データ量との積である優先度を算出し、優先度に基づいて記憶手段に送信帯域を割り当てる（ステップＳ３２０）。
次に、通信制御手段３１０は、割り当てられた送信帯域に従って、記憶手段毎に古い書き込みデータから順に、書き込みデータをバックアップ装置９００へ送信する（ステップＳ１３０）。
なお、通信制御手段３１０は、上記の処理の全体を所定のタイミングで繰り返し実行する。
本実施形態における他の動作は、第１の実施形態における動作と同様である。
以上説明したように、本実施形態のストレージ装置３００は、各記憶手段に、記憶手段毎の送信前ＲＰＯと正の相関を有する送信帯域を割り当てる。従って、本実施形態のストレージ装置３００は、第１の実施形態における効果と同様の効果を有する。
また、本実施形態のストレージ装置３００は、各記憶手段に、記憶手段毎の未送信データ量と正の相関を有する送信帯域を割り当てる。従って、本実施形態のストレージ装置３００は、記憶手段間で送信前ＲＰＯに違いがない場合にも、未送信データ量に応じた帯域割り当てが行われるという効果を有する。
（第４の実施形態）
次に、上述した本発明の第１の実施形態を基本とする、本発明の第４の実施形態について、図面を参照して詳細に説明する。本実施形態では、ストレージ装置は、記憶手段毎に異なる信号線を介して書き込みデータをホストから受信する。また、本実施形態では、ストレージ装置は、記憶手段毎に異なる通信インタフェースを介して書き込みデータをバックアップ装置へ送信する。以下の説明において、第１の実施形態と同等の構成要素には同じ符号を付し、適宜説明を省略する。
本実施形態の構成について説明する。
図６は、本発明の第４の実施形態のストレージ装置の構成の一例を示すブロック図である。本実施形態のストレージ装置であるメインサイト４００は、記憶手段である、ストレージ４３０（ストレージＡ）及びストレージ４４０（ストレージＢ）を含む。ストレージＡ及びストレージＢはそれぞれ、ホスト８１０に接続される。メインサイト４００は、第１の実施形態のストレージ装置１００に対応する。バックアップ装置であるリモートサイト９０５は、記憶手段である、副ストレージ９３５（副ストレージＡ）及び副ストレージ９４５（副ストレージＢ）を含む。ストレージＡとストレージＢとは、通信回線４０６を介して接続される。ストレージＡ、ストレージＢは、中継装置７１０、中継装置７２０、及びネットワーク７３０を共用する。ストレージＡは副ストレージＡにデータを送信し、ストレージＢは副ストレージＢにデータを送信する。
図７は、本発明の第４の実施形態のメインサイト４００の詳細構成の一例を示すブロック図である。具体的には、図７は、メインサイト４００のストレージＡ及びストレージＢの詳細構成を示す。
ストレージＡについて、説明する。
ストレージＡは、入出力手段４３９と、時刻付加手段４３２と、制御手段４３１と、バッファメモリ４３３と、記憶装置４３４と、バッファメモリ管理テーブル４３６と、入出力手段４３７と、通信手段４３８と、送信速度管理テーブル４３５とを含む。なお、ストレージＢは、入出力手段４４９と、時刻付加手段４４２と、制御手段４４１と、バッファメモリ４４３と、記憶装置４４４と、バッファメモリ管理テーブル４４６と、入出力手段４４７と、通信手段４０６と、送信速度管理テーブル４４５とを含む。ストレージＢは、ストレージＡと同じ構成を有する。
入出力手段４３９は、ホスト８１０から書き込みデータを受信する。
時刻付加手段４３２は、入出力手段４３９により受信された書き込みデータを、バッファメモリ４３３と記憶装置４３４との両方に書き込む。それと同時に、時刻付加手段４３２は、書き込みデータのアドレス、現在時刻、及び書き込みデータの「送信状態」を、制御手段４３１を介してバッファメモリ管理テーブル４３６に書き込む。「送信状態」は、書き込みデータが、送信中であるか、送信のための待機中であるかを示す情報である。
バッファメモリ４３３は、書き込まれたデータをリモートサイト９０５の副ストレージＡに送信されるまで保持する。
記憶装置４３４は、書き込まれたデータを保持する。
バッファメモリ管理テーブル４３６は、未送信の書き込みデータに関する、アドレス、記憶手段への書き込み時刻、及び送信状態を保持する。
図９は、本実施形態のメインサイト４００のバッファメモリ管理テーブル４３６の一例を示す図である。図９において、“データアドレス”の列は書き込みデータのアドレスを、“データ書き込み時刻”の列は書き込みデータの書き込み時刻を、“送信状態”の列は書き込みデータの送信状態を示す。図９の１行目は、アドレスが“０００００００１”で、書き込み時刻が“２０１４／９／１０ １３：００”で、送信状態が“送信中”であることを示す。図９の２行目は、アドレスが“０００００００Ａ”で、書き込み時刻が“２０１４／９／１０ １３：１０”で、送信状態が“待機中”であることを示す。
図７の説明に戻る。
入出力手段４３７は、バッファメモリ４３３により保持される書き込みデータを、中継装置７１０へ送信する。
通信手段４３８は、ストレージＢの通信手段４４８に接続される。通信手段４３８は、バッファメモリ管理テーブル４３６が保持するデータ書き込み時刻６０５の内の、最古のデータ書き込み時刻をストレージＢと共有するための通信手段である。
送信速度管理テーブル４３５は、記憶手段の識別子、記憶手段毎の最古のデータ書き込み時刻、及び記憶手段毎のデータの送信速度を保持する。
図８は、本実施形態のメインサイト４００の送信速度管理テーブル４３５の一例を示す図である。図８において、“記憶手段名”の列は記憶手段の識別子を、“最古のデータ書き込み時刻”の列は書き込み手段毎の未送信の書き込みデータの最古の書き込み時刻を、“送信速度”の列は書き込み手段毎のデータの送信速度を示す。図８の１行目は、記憶手段の識別子が“ストレージＡ”で、最古のデータ書き込み時刻が“２０１４／９／１０ １３：１０”で、送信速度が“５００Ｍｂｐｓ”であることを示す。図８の２行目は、記憶手段の識別子が“ストレージＢ”で、最古のデータ書き込み時刻が“２０１４／９／１０ １３：００”で、送信速度が“２００Ｍｂｐｓ”であることを示す。
図７の説明に戻る。
制御手段４３１は、送信速度管理テーブル４３５の記憶手段毎の最古のデータ書き込み時刻に基づいて、送信速度管理テーブル４３５の記憶手段毎の送信速度を決定する。また、制御手段４３１は、送信速度管理テーブル４３５の記憶手段毎の送信速度に基づいて、入出力手段４３７の送信速度の制御を行う。
ストレージＢは、ストレージＡと同様の詳細構成を有する。
次に、本実施形態のメインサイト４００の動作について説明する。なお、特に明記しない限り、ストレージＡの動作を例に説明する。
図１０は、本発明の第４の実施形態のメインサイト４００のホスト８１０からのデータの書き込みがあった際の動作を示すフローチャートである。具体的には、図１０は、ホスト８１０からデータの書き込みを受信した際の記憶手段（ストレージＡ又はストレージＢ）の動作を示す。ストレージＡの動作について説明する。なお、図１０に示すフローチャート及び以下の説明は一例であり、適宜求める処理に応じて、処理順等を入れ替えたり、処理を戻したり、又は処理を繰り返したりしてもよい。
入出力手段４３９は、ホスト８１０から書き込みデータを受信する（ステップＳ４１０）。
時刻付加手段４３２は、受信された書き込みデータの書き込み時刻として、現在時刻を取得する（ステップＳ４１１）。
時刻付加手段４３２は、書き込みデータを、バッファメモリ４３３と記憶装置４３４の両方に書き込む（ステップＳ４１２）。
時刻付加手段４３２は、バッファメモリ管理テーブル４３６において、バッファメモリ４３３における書き込みデータのアドレスをデータアドレス６０４に、データ書き込み時刻をデータ書き込み時刻６０５に、及び送信状態が“待機中”である旨を送信状態６０６に登録する（ステップＳ４１３）。
上記の動作は、繰り返し実行される。
図１１は、本発明の第４の実施形態のメインサイト４００のリモートサイト９０５へのデータ送信の動作を示すフローチャートである。具体的には、図１１は、記憶手段が、リモートサイト９０５の記憶手段に対して書き込みデータを送信する動作を示す。ストレージＡの動作について説明する。なお、図１１に示すフローチャート及び以下の説明は一例であり、適宜求める処理に応じて、処理順等を入れ替えたり、処理を戻したり、又は処理を繰り返したりしてもよい。
入出力手段４３７は、バッファメモリ管理テーブル４３６において、送信状態６０６が“待機中”であり、かつデータ書き込み時刻６０５が最古のデータを検索し、そのデータアドレス６０４を取得する（ステップＳ４２０）。
入出力手段４３７は、バッファメモリ４３３により保持される、取得したデータアドレスにより指定された書き込みデータを、副ストレージＡへ送信する（ステップＳ４２１）
入出力手段４３７は、バッファメモリ管理テーブル４３６の送信状態６０６を“送信中”に更新する（ステップＳ４２２）。
入出力手段４３７は、副ストレージＡへの書き込みデータの送信が完了し、確認応答を受信する（ステップＳ４２３）。
入出力手段４３７は、バッファメモリ管理テーブル４３６から、送信した書き込みデータの情報を削除する（ステップＳ４２４）。
入出力手段４３７は、バッファメモリ４３３から送信した書き込みデータを削除する（ステップＳ４２５）。
なお、図１１に示される動作は、図１０に示される動作と並行に実行される。また、送信速度は、制御手段４３１により、送信速度管理テーブル４３５の送信速度６０３の値に基づいて制御される（後述）。
図１２は、本発明の第４の実施形態のメインサイト４００のデータ送信速度の制御の動作を示すフローチャートである。具体的には、図１２は、メインサイト４００の各記憶手段（ストレージＡ又はストレージＢ）が、記憶手段毎の最古の書き込み時刻を共有し、各記憶手段の送信速度を制御する手順を示す。ストレージＡの動作について説明する。なお、図１２に示すフローチャート及び以下の説明は一例であり、適宜求める処理に応じて、処理順等を入れ替えたり、処理を戻したり、又は処理を繰り返したりしてもよい。
制御手段４３１は、バッファメモリ管理テーブル４３６のデータ書き込み時刻６０５の内の最古のデータ書き込み時刻を検索し、データ書き込み時刻を取得する（ステップＳ４３０）。
制御手段４３１は、送信速度管理テーブル４３５の装置名６０１から自身の記憶手段名（“ストレージＡ”）を検索し、“最古のデータ書き込み時刻”６０２に取得した時刻を登録する（ステップＳ４３１）。
制御手段４３１は、登録したデータ書き込み時刻６０２の値を、通信手段４３８を用いてストレージＢに送信する（ステップＳ４３２）。
また、制御手段４３１は、ストレージＢがストレージＡと同様に送信したデータ書き込み時刻６０２を受信する（ステップＳ４３３）。
制御手段４３１は、送信速度管理テーブル４３５の記憶手段名６０１から対象の記憶手段名（“ストレージＢ”）を検索し、“最古のデータ書き込み時刻”６０２に、受信したデータ書き込み時刻を登録する（ステップＳ４３４）。
なお、ステップＳ４３３及びステップＳ４３４の処理は、ステップＳ４３０、ステップＳ４３１、ステップＳ４３２の処理と並行して実行される。また、他の記憶手段が複数台ある場合には、制御手段４３１は、送信速度管理テーブル４３５の最古のデータ書き込み時刻６０２に、すべての記憶手段の最古のデータ書き込み時刻が登録されるまで、他の記憶手段からの受信を待って（ステップＳ４３５：Ｎｏ）、ステップＳ４３３及びステップＳ４３４の処理を実行する。
すべての記憶手段の最古のデータ書き込み時刻が登録されると（ステップＳ４３５：Ｙｅｓ）、制御手段４３１は、記憶手段毎の最古のデータ書き込み時刻６０２の内、最古の時刻を検索する。対応する記憶手段名６０１が自装置（“ストレージＡ”）ならば（ステップＳ４３６：Ｙｅｓ）、制御手段４３１は、他の記憶手段（“ストレージＢ”）の送信速度６０３を所定の量（例えば、“１５０Ｍｂｐｓ”）だけ下げ、自身（“ストレージＡ”）の送信速度６０３を所定の量（例えば、“１５０Ｍｂｐｓ”）だけ上げて、送信速度管理テーブル４３５を更新する（ステップＳ４３７）。なお、送信速度が下げられる場合にも、送信速度は０より大きい値になるように設定される。
制御手段４３１は、送信速度管理テーブル４３５の情報を他の記憶手段（“ストレージＢ”）に送信する（ステップＳ４３８）。
最古のデータ書き込み時刻に対応する記憶手段名が自身でないならば（ステップＳ４３６：Ｎｏ）、制御手段４３１は、他の記憶手段（“ストレージＢ”）からの送信速度管理テーブル４４５の情報を受信する（ステップＳ４３９）。
制御手段４３１は、送信速度管理テーブル４３５の情報を受信した送信速度管理テーブル４４５の情報に従って更新する（ステップＳ４４０）。
ステップＳ４３８又はステップＳ４４０の処理が終了すると、制御手段４３１は、最古のデータ書き込み時刻６０２の値を削除し、送信速度６０３の値を初期化する（ステップＳ４４１）。送信速度６０３の初期値は、例えば、ネットワーク７３０の送信帯域（例えば、“７００Ｍｂｐｓ”）を記憶手段の数（例えば、“２”）で割った値（例えば、“３５０Ｍｂｐｓ”）である。
なお、図１２に示される動作は、例えば、管理者により設定される、一定の周期で実行される。また、図１２に示される動作は、図１０、１１に示される動作と並行に実行される。また、送信速度管理テーブル４３５に登録されている装置名６０１および送信速度６０３の初期値は、例えば、管理者により予め設定される。
以上説明したように、本実施形態のメインサイト４００は、バックアップ装置９０５に書き込みデータを送信する際に、書き込み時刻がより古い書き込みデータを有する記憶手段の送信速度をより高くし、書き込み時刻がより新しい書き込みデータを有する記憶手段の送信速度をより低くする。なお、送信速度が下げられる場合にも、送信速度は０より大きい値になるように設定される。つまり、送信速度が上げられた記憶手段からバックアップ装置へ送信された書き込みデータについてのみでなく、送信速度が下げられた記憶手段からバックアップ装置へ送信された書き込みデータについてもＲＰＯの増加が抑制される。従って、本実施形態のメインサイト４００には、ストレージ装置（メインサイト４００）への書き込みデータの生成速度がバックアップ装置への通信回線の帯域幅を一時的に超える場合にも、目標復旧時点の増加を抑制することができるという効果がある。
なお、メインサイト４００にある記憶手段が３台以上である場合にも、各記憶手段は、上述されたストレージＡと同様に動作する。また、図１０、図１１、図１２に示された動作は一例であり、各記憶手段が未送信データの最古の書き込み時刻の情報を共有することを除けば、図１０、図１１、図１２に示された通りでなくてもよい。
なお、上述した本発明の各実施形態のストレージ装置は、専用の装置によって実現してもよいが、コンピュータ（情報処理装置）によっても実現可能である。この場合、係るコンピュータは、メモリ（不図示）に格納されたソフトウェア・プログラムをＣＰＵ（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ、不図示）に読み出し、読み出したソフトウェア・プログラムをＣＰＵにおいて実行することにより、実行結果を、例えば、ユーザ・インタフェースに出力する。上述した各実施形態の場合、係るソフトウェア・プログラムには、上述したところの、図１に示したストレージ装置１００、ストレージ装置２００、もしくはストレージ装置３００の各手段、又は図７に示したメインサイト４００の各手段の機能を実現可能な記述がなされていればよい。ただし、ストレージ装置１００、ストレージ装置２００、もしくはストレージ装置３００の記憶手段１３０、又はメインサイト４００の記憶装置４３４、入出力手段４３９、入出力手段４３７、通信手段４３８もしくは記憶装置４４４、入出力手段４４９、入出力手段４４７、通信手段４４８には、適宜ハードウェアを含むことも想定される。そして、このような場合、係るソフトウェア・プログラム（コンピュータ・プログラム）は、本発明を構成すると捉えることができる。更に、係るソフトウェア・プログラムを格納した、コンピュータ読み取り可能な記憶媒体も、本発明を構成すると捉えることができる。
以上、本発明を、上述した各実施形態およびその変形例によって例示的に説明した。しかしながら、本発明の技術的範囲は、上述した各実施形態およびその変形例に記載した範囲には限定されない。当業者には、係る実施形態に対して多様な変更又は改良を加えることが可能であることは明らかである。そのような場合、係る変更又は改良を加えた新たな実施形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、特許請求の範囲に記載した事項から明らかである。
本発明は、ストレージ装置のリモートバックアップにおいてＲＰＯを改善する用途において利用できる。
１００ ストレージ装置
１２０ データ保持手段
１３０、１４０ 記憶手段
１１０ 通信制御手段
８００ ホスト
９００ バックアップ装置
９１０ 通信手段
９３０、９４０ 記憶手段
４００ メインサイト
４３０、４４０ ストレージ
９０５ リモートサイト
９３５、９４５ 副ストレージ
１３０、１４０ 記憶手段
７１０、７２０ 中継装置
８１０ ホスト
４３３、４４３ バッファメモリ
４３９、４４９ 入出力手段
４３８、４０６ 通信手段
４３１、４４１ 制御手段
４３２、４４２ 時刻付加手段
４３４、４４４ 記憶装置
４３７、４４７ 入出力手段
４３５、４４５ 送信速度管理テーブル
４３６、４４６ バッファメモリ管理テーブル

Claims (9)

  1. 複数の記憶手段と、
    前記各記憶手段に対する書き込みデータ、前記書き込みデータの書き込み先の情報、及び前記書き込みデータの書き込み時刻の情報を、前記書き込みデータが送信されるまで一時的に保持するデータ保持手段と、
    前記記憶手段毎の最古の前記書き込み時刻を集計し、集計した前記最古の前記書き込み時刻と、前記集計時点における現在時刻又は前記書き込みデータの送信が一定の送信周期で行われる場合における前記送信周期における特定のタイミングを表す時刻である基準時刻との時間差と正の相関を有する優先度に基づいて、前記記憶手段毎の前記書き込みデータの送信のための送信帯域を割り当て、前記送信帯域に従って前記書き込みデータを外部のバックアップ装置へ送信する通信制御手段と
    を備えたことを特徴とするストレージ装置。
  2. １つの前記記憶手段を除く前記記憶手段毎の前記送信帯域は、前記記憶手段毎の前記優先度に比例し、前記１つの前記記憶手段の前記送信帯域は、残された送信帯域である
    ことを特徴とする請求項１に記載のストレージ装置。
  3. 前記優先度は、前記時間差、前記時間差の冪乗、又は前記時間差と前記記憶手段毎の未送信の前記書き込みデータの量との積である
    ことを特徴とする請求項１に記載のストレージ装置。
  4. 前記通信制御手段は、前記データ保持手段により保持されるすべての前記書き込みデータを送信帯域の上限内で送信できない場合に、前記優先度に基づいて前記記憶手段毎の前記送信帯域を割り当てる
    ことを特徴とする請求項２に記載のストレージ装置。
  5. 前記通信制御手段は、前記データ保持手段により保持される、前記記憶手段毎の前記書き込みデータのうちの１つ以上のデータを送信帯域の上限内で送信できない場合に、前記優先度に基づいて前記記憶手段毎の前記送信帯域を割り当てる
    ことを特徴とする請求項２に記載のストレージ装置。
  6. 前記通信制御手段は、前記記憶手段毎に確保された所定の通信帯域に加えて、前記優先度に基づいて残りの送信帯域を前記記憶手段毎に割り当てる
    ことを特徴とする請求項２に記載のストレージ装置。
  7. 前記ストレージ装置は、
    第１の前記記憶手段専用の書き込みデータを入力する第１の入力手段と、
    前記第１の前記記憶手段専用の書き込みデータを送信する第１の通信手段と、
    第２の前記記憶手段専用の書き込みデータを入力する第２の入力手段と、
    前記第２の前記記憶手段専用の書き込みデータを送信する第２の通信手段とを更に有し、
    前記データ保持手段は、
    前記第１の入力手段を介して入力した書き込みデータを保持する第１のデータ保持手段と、
    前記第２の入力手段を介して入力した書き込みデータを保持する第２のデータ保持手段とを有し、
    前記通信制御手段は、
    前記第１のデータ保持手段から前記第１の前記記憶手段の最古の第１の前記書き込み時刻を受信し、
    前記第２のデータ保持手段から前記第２の前記記憶手段の最古の第２の前記書き込み時刻を受信し、
    受信した前記時刻が最古である前記記憶手段に、より大きな送信帯域を割り当て、前記割り当てられた前記送信帯域の設定を前記第１の通信手段及び前記第２の通信手段に指示する
    ことを特徴とする請求項１に記載のストレージ装置。
  8. 複数の記憶手段のうちの前記各記憶手段に対する書き込みデータ、前記書き込みデータの書き込み先の情報、及び前記書き込みデータの書き込み時刻の情報を、前記書き込みデータが送信されるまで一時的に保持し、
    前記記憶手段毎の最古の前記書き込み時刻を集計し、集計した前記最古の前記書き込み時刻と、前記集計時点における現在時刻又は前記書き込みデータの送信が一定の送信周期で行われる場合における前記送信周期における特定のタイミングを表す時刻である基準時刻との時間差と正の相関を有する優先度に基づいて、前記記憶手段毎の前記書き込みデータの送信のための送信帯域を割り当て、前記送信帯域に従って前記書き込みデータを外部のバックアップ装置へ送信する
    ことを特徴とするストレージ制御方法。
  9. 複数の記憶手段のうちの前記各記憶手段に対する書き込みデータ、前記書き込みデータの書き込み先の情報、及び前記書き込みデータの書き込み時刻の情報を、前記書き込みデータが送信されるまで一時的に保持するデータ保持処理と、
    前記記憶手段毎の最古の前記書き込み時刻を集計し、集計した前記最古の前記書き込み時刻と、前記集計時点における現在時刻又は前記書き込みデータの送信が一定の送信周期で行われる場合における前記送信周期における特定のタイミングを表す時刻である基準時刻との時間差と正の相関を有する優先度に基づいて、前記記憶手段毎の前記書き込みデータの送信のための送信帯域を割り当て、前記送信帯域に従って前記書き込みデータを外部のバックアップ装置へ送信する通信制御処理と
    をコンピュータに実行させることを特徴とするストレージ制御プログラム。
JP2015055891A 2015-03-19 2015-03-19 ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム Active JP6229684B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015055891A JP6229684B2 (ja) 2015-03-19 2015-03-19 ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム
US15/044,262 US20160274793A1 (en) 2015-03-19 2016-02-16 Storage apparatus, storage control method, and computer-readable recording medium for recording storage control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015055891A JP6229684B2 (ja) 2015-03-19 2015-03-19 ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム

Publications (2)

Publication Number Publication Date
JP2016177429A JP2016177429A (ja) 2016-10-06
JP6229684B2 true JP6229684B2 (ja) 2017-11-15

Family

ID=56925025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015055891A Active JP6229684B2 (ja) 2015-03-19 2015-03-19 ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム

Country Status (2)

Country Link
US (1) US20160274793A1 (ja)
JP (1) JP6229684B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111030945B (zh) * 2019-12-06 2023-05-16 深信服科技股份有限公司 容灾方法、容灾网关、存储介质、装置以及***
US11687269B2 (en) * 2021-08-23 2023-06-27 Hitachi, Ltd. Determining data copy resources
US11425196B1 (en) * 2021-11-18 2022-08-23 International Business Machines Corporation Prioritizing data replication packets in cloud environment

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2124718T3 (es) * 1992-08-21 1999-02-16 Alsthom Cge Alcatel Sistema de transmision de datos, asi como modulo de interfaz y medios de generacion de prioridad incluidos en el mismo.
US6057847A (en) * 1996-12-20 2000-05-02 Jenkins; Barry System and method of image generation and encoding using primitive reprojection
JP4044717B2 (ja) * 2000-03-31 2008-02-06 株式会社日立製作所 記憶サブシステムのデータ二重化方法及びデータ二重化システム
JP4582297B2 (ja) * 2004-06-25 2010-11-17 日本電気株式会社 レプリケーションシステム、装置、方法、およびプログラム
JP4494905B2 (ja) * 2004-08-23 2010-06-30 株式会社日立製作所 情報処理システム、管理計算機及びリモートコピー方法
US8468313B2 (en) * 2006-07-14 2013-06-18 Oracle America, Inc. Asynchronous replication with write concurrency grouping
US7809884B1 (en) * 2006-09-29 2010-10-05 Emc Corporation Data storage system power management
US8634431B1 (en) * 2006-11-10 2014-01-21 Marvell International Ltd. Quality of service and flow control architecture for a passive optical network
JP4916420B2 (ja) * 2007-11-16 2012-04-11 株式会社日立製作所 ストレージシステム及びリモートコピー制御方法
JP4598817B2 (ja) * 2007-12-18 2010-12-15 株式会社日立製作所 計算機システム及びデータ消失回避方法
US8239589B1 (en) * 2010-03-31 2012-08-07 Amazon Technologies, Inc. Balancing latency and throughput for shared resources
WO2011121590A1 (en) * 2010-03-31 2011-10-06 Kaminario Technologies Ltd. Log structure array
US8799226B2 (en) * 2010-09-28 2014-08-05 International Business Machines Corporation Prioritization of data items for backup in a computing environment
US9077670B2 (en) * 2010-12-15 2015-07-07 Microsoft Corporation Deadline-aware network protocol
US9665304B2 (en) * 2011-09-07 2017-05-30 Nec Corporation Storage system with fast snapshot tree search
EP2915079A4 (en) * 2012-10-31 2016-10-26 Hewlett Packard Entpr Dev Lp CATALOGING OF BACKUP DATA
US9489305B2 (en) * 2014-12-16 2016-11-08 Qualcomm Incorporated System and method for managing bandwidth and power consumption through data filtering

Also Published As

Publication number Publication date
US20160274793A1 (en) 2016-09-22
JP2016177429A (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6437656B2 (ja) ストレージ装置、ストレージシステム、ストレージシステムの制御方法
US10977124B2 (en) Distributed storage system, data storage method, and software program
JP4744171B2 (ja) 計算機システム及び記憶制御方法
EP2557494B1 (en) Storage apparatus and data copy method between thin-provisioning virtual volumes
US9444678B2 (en) Automatic cloud-based disaster recovery system including modifying a copy command based on a copy time threshold
CN107402722B (zh) 一种数据迁移方法及存储设备
WO2014174570A1 (ja) ストレージ管理計算機、ストレージ管理方法、およびストレージシステム
CN111124254B (zh) 调度存储空间回收请求的方法、电子设备和程序产品
JP5323554B2 (ja) ジョブ処理方法、ジョブ処理プログラムを格納したコンピュータ読み取り可能な記録媒体、および、ジョブ処理システム
CN111712802A (zh) 数据存储***中的虚拟存储驱动器管理
US20110246599A1 (en) Storage control apparatus and storage control method
JP6229684B2 (ja) ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム
CN103699429A (zh) 虚拟机迁移方法及装置
US7650476B2 (en) System, method and computer program product for generating a consistent point in time copy of data
US10664193B2 (en) Storage system for improved efficiency of parity generation and minimized processor load
CN110609807A (zh) 用于删除快照数据的方法、设备和计算机可读存储介质
US10019182B2 (en) Management system and management method of computer system
JP5853109B2 (ja) 計算機、計算機システムの制御装置及び記録媒体
CN102629223B (zh) 一种数据修复方法及装置
CN108733307B (zh) 存储管理方法、设备以及计算机可读介质
US9015385B2 (en) Data storage device and method of controlling data storage device
JP6287308B2 (ja) レプリケーション制御システム、レプリケーション制御方法、及び、レプリケーション制御プログラム
WO2018055686A1 (ja) 情報処理システム
WO2017098591A1 (ja) 計算機及びストレージ装置を有するシステム、及びシステムの制御方法
JP2022133058A (ja) リモートコピーシステム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171002

R150 Certificate of patent or registration of utility model

Ref document number: 6229684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150