JP2012174096A - 計算機システム及びデータ管理方法 - Google Patents
計算機システム及びデータ管理方法 Download PDFInfo
- Publication number
- JP2012174096A JP2012174096A JP2011036880A JP2011036880A JP2012174096A JP 2012174096 A JP2012174096 A JP 2012174096A JP 2011036880 A JP2011036880 A JP 2011036880A JP 2011036880 A JP2011036880 A JP 2011036880A JP 2012174096 A JP2012174096 A JP 2012174096A
- Authority
- JP
- Japan
- Prior art keywords
- file
- information
- data
- management
- divided data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】データを格納する複数の計算機と、各計算機上に格納されるデータを管理する管理計算機とを備える計算機システムであって、計算機システムは、複数の計算機が備える記憶領域を統合して生成されたストレージを備え、管理計算機は、ストレージに格納される分割データの配置に関する情報を含むファイル管理情報、及び配置定義情報を含むファイルシステム管理情報を格納し、ファイルデータ単位のデータを処理するアプリケーションから任意のファイルのファイル識別情報を含むファイル生成要求を受け付けた場合に、任意のファイルの格納先であるファイルシステムを特定し、対応するファイルシステム管理情報を参照してストレージを構成する記憶領域への分割データの配置方法を決定し、ファイル管理情報を生成する。
【選択図】図1
Description
本発明は、管理サーバ101が、オープンファイル情報161を備える形態にも適用可能である。この場合、管理サーバ101が、オープンファイル情報161に基づいて、ローカルファイル管理情報132、又は、グローバルファイル管理情報132へのアクセスか否かを判定する。
他の実施形態としては、オープン処理、読み出し処理、及び書き込み処理などのファイルに対する処理を専用のライブラリで行う方法が考えられる。すなわち、オープン処理、読み出し処理、書き込み処理などのファイルに対する処理を実行する関数として、専用のライブラリ関数を用いる。
103 記憶装置
104 ネットワーク
121 分散メモリストレージ管理部
122 ファイルシステム管理部
123 AP
124 分散メモリストレージアクセス部
125 ファイルシステムアクセス部
126 ローカルファイル管理情報
130 対象仮想ファイルシステム情報
131 キー・バリュー型データ管理部
132 グローバルファイル管理情報
133 分散メモリストレージ構成情報
134 分散メモリストレージ管理情報
135 ディレクトリ管理情報
141 ファイルシステム名前空間アクセス部
142 ファイルアクセス部
143 ディレクトリ属性管理部
144 ディレクトリ管理情報
151 マウント情報
152 オープンファイル情報
301 分散メモリストレージ
302 キー・バリュー型データ
Claims (16)
- 第1のプロセッサ、前記第1のプロセッサに接続される第1のメモリ、及び前記第1のプロセッサに接続される第1のネットワークインタフェースを備え、データを格納する複数の計算機と、第2のプロセッサ、前記第2のプロセッサに接続される第2のメモリ、及び前記第2のプロセッサに接続される第2のネットワークインタフェースを備え、前記各計算機上に格納されるデータを管理する管理計算機と、を備える計算機システムであって、
前記計算機システムは、前記複数の計算機が備える記憶領域を統合して生成されたストレージを備え、
前記ストレージは、複数のファイルデータを含むファイルを分割して、検索キー及び前記ファイルデータから構成される分割データを、当該ストレージを構成する前記記憶領域に分散して格納し、
前記管理計算機は、
前記ストレージに対するアクセスを制御するアクセス管理部、及び、前記ストレージを管理するストレージ管理部を備え、
前記ストレージを構成する記憶領域の情報を含むストレージ構成情報、及び、前記ストレージに格納される前記分割データの配置に関する情報を含むファイル管理情報を格納し、
前記ストレージ管理部は、
前記ストレージに格納される前記分割データに対応する前記ファイル及び前記ファイルが格納されるファイルシステムを識別するための情報を含むファイル識別情報、並びに、前記ファイルシステムが構築される前記ストレージにおける前記分割データの配置方法を定義する配置定義情報を含むファイルシステム管理情報を格納し、
前記各計算機は、
ファイルデータ単位のデータを処理するアプリケーション前記ストレージにアクセスするデータアクセス管理部を備え、
前記管理計算機は、
少なくとも一つの前記アプリケーションから任意のファイルの前記ファイル識別情報を含むファイル生成要求を受け付けた場合に、前記任意のファイルのファイル識別情報に基づいて、前記任意のファイルの格納先である前記ファイルシステムを特定し、前記特定されたファイルシステムに対応する前記ファイルシステム管理情報を検索し、
前記検索されたファイルシステム管理情報に、前記任意のファイルのファイル識別情報を登録し、
前記ストレージ構成情報、及び、前記検索されたファイルシステム管理情報を参照して、前記ストレージを構成する記憶領域への前記任意のファイルの前記ファイルデータから生成される前記分割データの配置方法を決定し、
前記決定された配置方法に基づいて、前記ファイル管理情報を生成し、
少なくとも一つの前記アプリケーションから前記任意のファイルのファイル識別情報を含むアクセス要求を受け付けた場合に、前記任意のファイルのファイル識別情報に基づいて前記ファイル管理情報を参照して、前記任意のファイルの前記分割データを格納する前記複数の計算機を特定し、
前記特定された複数の計算機に格納された前記任意のファイルの分割データへアクセスするためのポインタを設定することを特徴とする計算機システム。 - 前記各計算機は、当該計算機が備え、前記ストレージを構成する記憶領域に格納される前記分割データを管理する分割データ管理情報を格納し、
前記管理計算機は、
前記ストレージを構成する記憶領域への前記任意のファイルの分割データの配置方法を決定した後に、前記決定された配置方法に基づいて前記分割データ管理情報を生成し、
前記ファイルシステム管理情報に、前記生成された分割データ管理情報へアクセスするためのポインタを格納し、
前記決定された配置方法に基づいて、前記生成された分割データ管理情報を前記各計算機に送信することを特徴とする請求項1に記載の計算機システム。 - 前記ストレージ上には階層的なディレクトリ構造のファイルシステムが構築され、前記管理計算機は、前記ディレクトリ毎の前記ファイルシステム管理情報を格納し、
前記ファイルシステム管理情報は、さらに、前記ファイルシステムに格納される前記分割データにおける前記検索キー及び前記ファイルデータの構造を定義する分割データ定義情報を含み、
前記分割データ定義情報は、前記ディレクトリの配下に格納される前記ファイルの前記分割データにおける、前記検索キー及び前記ファイルデータの構造を定義する情報を含み、
前記配置定義情報は、前記ディレクトリの配下に格納される前記ファイルの前記分割データの配置方法に関する情報を含むことを特徴とする請求項2に記載の計算機システム。 - 前記管理計算機は、
少なくとも一つの前記アプリケーションから第1ファイルの前記ファイル識別情報を含むファイルデータの書き込み要求を受信した場合に、前記第1ファイルのファイル識別情報に基づいて前記第1ファイルの前記ファイルデータが書き込まれる前記ディレクトリを特定し、
前記特定されたディレクトリに対応する前記ファイルシステム管理情報に含まれる前記配置定義情報を参照して、前記第1ファイルのファイルデータから生成される第1分割データを配置する前記複数の計算機を決定し、
前記特定されたディレクトリに対応する前記ファイルシステム管理情報に含まれる前記分割データ定義情報を参照して、前記特定されたディレクトリ配下に書き込まれる前記第1ファイルのファイルデータから前記第1分割データを生成し、
前記決定された複数の計算機に、前記生成された第1分割データを送信し、
前記各計算機は、前記第1分割データを受信した場合に、当該計算機が備え、前記ストレージを構成する記憶領域に前記受信した第1分割データを格納し、前記分割データ管理情報に前記格納された第1分割データへアクセスするためのポインタを格納することを特徴とする請求項3に記載の計算機システム。 - 少なくとも一つの前記アプリケーションから送信される前記第1ファイルのファイル識別情報を含むファイルデータの書き込み要求には、特定の前記分割データ管理情報への書き込みを指定する情報が含まれ、
前記管理計算機は、
前記特定の分割データ管理情報への書き込みを指定する情報が含まれる前記ファイルデータの書き込み要求を受信した場合に、前記ファイル管理情報を参照して、前記特定の分割データ管理情報を格納する前記計算機を特定し、
前記特定された計算機に対して前記生成された第1分割データを送信することを特徴とする請求項4に記載の計算機システム。 - 前記管理計算機は、
少なくとも一つの前記アプリケーションから第1ファイルの前記ファイル識別情報を含むファイルデータの読み出し要求を受信した場合に、前記第1ファイルのファイル識別情報に基づいて前記第1ファイルの前記ファイルデータを読み出す前記一以上の計算機を特定し、
前記特定された一以上の計算機に、前記第1ファイルのファイルデータから生成された第1分割データの読み出し要求を送信し、
前記各計算機は、
前記読み出し要求を受信した場合に、前記分割データ管理情報を参照して、前記第1分割データを検索し、
検索された前記第1分割データから取得された前記第1ファイルのファイルデータを前記管理計算機に送信し、
前記管理計算機は、前記一以上の計算機から受信した前記第1ファイルのファイルデータを前記ファイルデータの読み出し要求を送信した前記アプリケーションに送信することを特徴とする請求項3に記載の計算機システム。 - 少なくとも一つの前記アプリケーションから送信される前記第1ファイルのファイル識別情報を含むファイルデータの読み出し要求には、特定の前記分割データ管理情報への読み出しを指定する情報が含まれ、
前記管理計算機は、
前記特定の分割データ管理情報への読み出しを指定する情報が含まれる前記ファイルデータの読み出し要求を受信した場合に、前記ファイル管理情報を参照して、前記特定の分割データ管理情報を格納する前記計算機を特定し、
前記特定された計算機に対して前記第1ファイルの前記第1分割データの読み出し要求を送信することを特徴とする請求項6に記載の計算機システム。 - 前記ファイルシステムは、第1ディレクトリと第2ディレクトリとを含み、
前記第1ディレクトリには第2ファイルが格納され、
前記ストレージには前記第2ファイルから生成された第2分割データが格納され、
前記管理計算機は、
少なくとも一つの前記アプリケーションから前記第2ファイルの前記ファイル識別情報を含み、前記第2ファイルを前記第2ディレクトリにコピーするためのコピー要求を受信した場合に、前記第2ファイルのファイル識別情報に基づいて、前記第2ファイルの前記ファイルデータを読み出す前記複数の計算機を特定し、
前記特定された複数の計算機に、前記第2ファイルの前記第2分割データの読み出し要求を送信し、
前記各計算機は、
前記読み出し要求を受信した場合に、前記分割データ管理情報を参照して、前記検索キーに基づいて前記第2分割データを検索し、
検索された前記第2分割データから取得された前記第2ファイルのファイルデータを前記管理計算機に送信し、
前記管理計算機は、
前記第2ファイルのファイルデータが読み出された後に、前記第2ディレクトリに対応する前記ファイルシステム管理情報に含まれる前記分割データ定義情報を参照して、前記第2ファイルのファイルデータから第3分割データを生成し、
前記第2ディレクトリに対応する前記ファイルシステム管理情報に含まれる前記配置定義情報を参照して、前記生成された第3分割データを配置する前記複数の計算機を決定し、
前記決定された複数の計算機に、前記生成された第3分割データを送信し、
前記各計算機は、前記第3分割データを受信した場合に、当該計算機が備え、前記ストレージを構成する記憶領域に前記受信した第3分割データを格納し、前記分割データ管理情報に前記格納された第3分割データへアクセスするためのポインタを格納することを特徴とする請求項3に記載の計算機システム。 - 第1のプロセッサ、前記第1のプロセッサに接続される第1のメモリ、及び前記第1のプロセッサに接続される第1のネットワークインタフェースを備え、データを格納する複数の計算機と、第2のプロセッサ、前記第2のプロセッサに接続される第2のメモリ、及び前記第2のプロセッサに接続される第2のネットワークインタフェースを備え、前記各計算機上に格納されるデータを管理する管理計算機と、を備える計算機システムにおけるデータ管理方法であって、
前記計算機システムは、前記複数の計算機が備える記憶領域を統合して生成されたストレージを備え、
前記ストレージは、複数のファイルデータを含むファイルを分割して、検索キー及び前記ファイルデータから構成される分割データを、当該ストレージを構成する前記記憶領域に分散して格納し、
前記管理計算機は、
前記ストレージに対するアクセスを制御するアクセス管理部、及び、前記ストレージを管理するストレージ管理部を備え、
前記ストレージを構成する記憶領域の情報を含むストレージ構成情報、及び、前記ストレージに格納される前記分割データの配置に関する情報を含むファイル管理情報を格納し、
前記ストレージ管理部は、
前記ストレージに格納される前記分割データに対応する前記ファイル及び前記ファイルが格納されるファイルシステムを識別するための情報を含むファイル識別情報、並びに、前記ファイルシステムが構築される前記ストレージにおける前記分割データの配置方法を定義する配置定義情報を含むファイルシステム管理情報を格納し、
前記各計算機は、
ファイルデータ単位のデータを処理するアプリケーション、及び、前記ストレージにアクセスするデータアクセス管理部を備え、
前記方法は、
前記管理計算機が、少なくとも一つの前記アプリケーションから任意のファイルの前記ファイル識別情報を含むファイル生成要求を受け付けた場合に、前記任意のファイルのファイル識別情報に基づいて、前記任意のファイルの格納先である前記ファイルシステムを特定し、前記特定されたファイルシステムに対応する前記ファイルシステム管理情報を検索する第1のステップと、
前記管理計算機が、前記検索されたファイルシステム管理情報に、前記任意のファイルのファイル識別情報を登録する第2のステップと、
前記管理計算機が、前記ストレージ構成情報、及び、前記検索されたファイルシステム管理情報を参照して、前記ストレージを構成する記憶領域への前記任意のファイルの前記ファイルデータから生成される前記分割データの配置方法を決定する第3のステップと、
前記管理計算機が、前記決定された配置方法に基づいて、前記ファイル管理情報を生成する第4のステップと、
前記管理計算機が、少なくとも一つの前記アプリケーションから前記任意のファイルのファイル識別情報を含むアクセス要求を受け付けた場合に、前記任意のファイルのファイル識別情報に基づいて前記ファイル管理情報を参照して、前記任意のファイルの前記分割データを格納する前記複数の計算機を特定する第5のステップと、
前記管理計算機が、前記特定された複数の計算機に格納された前記任意ファイルに対応する分割データへアクセスするためのポインタを設定する第6のステップと、を含むことを特徴とするデータ管理方法。 - 前記各計算機は、当該計算機が備え、前記ストレージを構成する記憶領域に格納される前記分割データを管理する分割データ管理情報を格納し、
前記第4のステップは、前記決定された配置方法に基づいて前記分割データ管理情報を生成するステップと、
前記ファイルシステム管理情報に、前記生成された分割データ管理情報へアクセスするためのポインタを格納するステップと、
前記決定された配置方法に基づいて、前記生成された分割データ管理情報を前記各計算機に送信するステップと、を含むことを特手様とする請求項9に記載のデータ管理方法。 - 前記ストレージ上には階層的なディレクトリ構造のファイルシステムが構築され、前記管理計算機は、前記ディレクトリ毎の前記ファイルシステム管理情報を格納し、
前記ファイルシステム管理情報は、さらに、前記ファイルシステムに格納される前記分割データにおける前記検索キー及び前記ファイルデータの構造を定義する分割データ定義情報を含み、
前記分割データ定義情報は、前記ディレクトリの配下に格納される前記ファイルの前記分割データにおける、前記検索キー及び前記ファイルデータの構造を定義する情報を含み、
前記配置定義情報は、前記ディレクトリの配下に格納される前記ファイルの前記分割データの配置方法に関する情報を含むことを特徴とする請求項10に記載のデータ管理方法。 - 前記方法は、さらに、
前記管理計算機が、少なくとも一つの前記アプリケーションから第1ファイルの前記ファイル識別情報を含むファイルデータの書き込み要求を受信した場合に、前記第1ファイルのファイル識別情報に基づいて前記第1ファイルデータの前記ファイルデータが書き込まれる前記ディレクトリを特定する第7のステップと、
前記管理計算機が、前記特定されたディレクトリに対応する前記ファイルシステム管理情報に含まれる前記配置定義情報を参照して、前記第1のファイルのファイルデータから生成される第1分割データを配置する前記複数の計算機を決定する第8のステップと、
前記管理計算機が、前記特定されたディレクトリに対応する前記ファイルシステム管理情報に含まれる前記分割データ定義情報を参照して、前記特定されたディレクトリ配下に書き込まれる前記第1ファイルのファイルデータから前記第1分割データを生成する第9のステップと、
前記管理計算機が、前記決定された複数の計算機に、前記生成された第1分割データを送信する第10のステップと、
前記各計算機が、前記第1分割データを受信した場合に、当該計算機が備え、前記ストレージを構成する記憶領域に前記受信した第1分割データを格納し、前記分割データ管理情報に前記格納された第1分割データへアクセスするためのポインタを格納する第11のステップと、を含むことを特徴とする請求項11に記載のデータ管理方法。 - 少なくとも一つの前記アプリケーションから送信される前記第1ファイルのファイル識別情報を含むファイルデータの書き込み要求には、特定の前記分割データ管理情報への書き込みを指定する情報が含まれ、
前記第8のステップは、前記特定の分割データ管理情報への書き込みを指定する情報が含まれる前記ファイルデータの書き込み要求を受信した場合に、前記ファイル管理情報を参照して、前記特定の分割データ管理情報を格納する前記計算機を特定するステップを含み、
前記第10のステップは、前記特定された計算機に対して前記生成された第1分割データを送信するステップを含むことを特徴とする請求項12に記載のデータ管理方法。 - 前記方法は、さらに、
前記管理計算機が、少なくとも一つの前記アプリケーションから第1ファイルの前記ファイル識別情報を含むファイルデータの読み出し要求を受信した場合に、前記第1ファイルのファイル識別情報に基づいて前記第1ファイルの前記ファイルデータを読み出す前記一以上の計算機を特定する第12のステップと、
前記管理計算機が、前記特定された一以上の計算機に、前記第1ファイルのファイルデータから生成された第1分割データの読み出し要求を送信する第13のステップと、
前記各計算機が、前記読み出し要求を受信した場合に、前記分割データ管理情報を参照して、前記第1分割データを検索する第14のステップと、
前記各計算機が、検索された前記第1分割データから取得された前記第1ファイルのファイルデータを前記管理計算機に送信する第15のステップと、
前記管理計算機が、前記一以上の計算機から受信した前記第1ファイルのファイルデータを前記ファイルデータの読み出し要求を送信した前記アプリケーションに送信する第16のステップと、を含むことを特徴とする請求項11に記載のデータ管理方法。 - 少なくとも一つの前記アプリケーションから送信される前記第1ファイルのファイル識別情報を含むファイルデータの読み出し要求には、特定の前記分割データ管理情報への読み出しを指定する情報が含まれ、
前記第15のステップは、前記特定の分割データ管理情報への読み出しを指定する情報が含まれる前記ファイルデータの読み出し要求を受信した場合に、前記ファイル管理情報を参照して、前記特定の分割データ管理情報を格納する前記計算機を特定するステップと、
前記特定された計算機に対して前記第1ファイルの前記第1分割データの読み出し要求を送信するステップと、を含むことを特徴とする請求項14に記載のデータ管理方法。 - 前記ファイルシステムは、第1ディレクトリと第2ディレクトリとを含み、
前記第1ディレクトリには第2ファイルが格納され、
前記ストレージには前記第2ファイルから生成された第2分割データが格納され、
前記方法は、さらに、
前記管理計算機が、少なくとも一つの前記アプリケーションから前記第2ファイルの前記ファイル識別情報を含み、前記第2ファイルを前記第2ディレクトリにコピーするためのコピー要求を受信した場合に、前記第2ファイルのファイル識別情報に基づいて、前記第2ファイルの前記ファイルデータを読み出す前記複数の計算機を特定する第17のステップと、
前記管理計算機が、前記特定された複数の計算機に、前記第2ファイルの前記第2分割データの読み出し要求を送信する第18のステップと、
前記各計算機が、前記読み出し要求を受信した場合に、前記分割データ管理情報を参照して、前記検索キーに基づいて前記第2分割データを検索する第19のステップと、
前記各計算機が、検索された前記第2分割データから取得された前記第2ファイルのファイルデータを前記管理計算機に送信する第20のステップと、
前記管理計算機が、前記第2ファイルのファイルデータが読み出された後に、前記第2ディレクトリに対応する前記ファイルシステム管理情報に含まれる前記分割データ定義情報を参照して、前記第2ファイルのファイルデータから第3分割データを生成する第21のステップと、
前記管理計算機が、前記第2ディレクトリに対応する前記ファイルシステム管理情報に含まれる前記配置定義情報を参照して、前記生成された第3分割データを配置する前記複数の計算機を決定する第22のステップと、
前記管理計算機が、前記決定された複数の計算機に、前記生成された第3分割データを送信する第23のステップと、
前記各計算機が、前記第3分割データを受信した場合に、当該計算機が備え、前記ストレージを構成する記憶領域に前記受信した第3分割データを格納し、前記分割データ管理情報に前記格納された第3分割データへアクセスするためのポインタを格納する第24のステップと、を含むことを特徴とする請求項11に記載のデータ管理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011036880A JP5589205B2 (ja) | 2011-02-23 | 2011-02-23 | 計算機システム及びデータ管理方法 |
PCT/JP2011/054646 WO2012114531A1 (ja) | 2011-02-23 | 2011-03-01 | 計算機システム及びデータ管理方法 |
US13/823,186 US20130325915A1 (en) | 2011-02-23 | 2011-03-01 | Computer System And Data Management Method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011036880A JP5589205B2 (ja) | 2011-02-23 | 2011-02-23 | 計算機システム及びデータ管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012174096A true JP2012174096A (ja) | 2012-09-10 |
JP5589205B2 JP5589205B2 (ja) | 2014-09-17 |
Family
ID=46720345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011036880A Expired - Fee Related JP5589205B2 (ja) | 2011-02-23 | 2011-02-23 | 計算機システム及びデータ管理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130325915A1 (ja) |
JP (1) | JP5589205B2 (ja) |
WO (1) | WO2012114531A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150061864A (ko) * | 2013-11-28 | 2015-06-05 | 한국전자통신연구원 | 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치 및 이의 데이터 처리방법 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI507891B (zh) * | 2012-03-23 | 2015-11-11 | Egis Technology Inc | 具雲端儲存空間管理功能之電子裝置、雲端儲存系統、其方法及其電腦程式產品 |
JP6155861B2 (ja) * | 2013-06-06 | 2017-07-05 | 富士通株式会社 | データ管理方法、データ管理プログラム、データ管理システム及びデータ管理装置 |
WO2015097774A1 (ja) * | 2013-12-25 | 2015-07-02 | 株式会社日立製作所 | 計算機システム及びデータ管理方法 |
US9805389B2 (en) | 2014-01-13 | 2017-10-31 | Facebook, Inc. | Systems and methods for near real-time merging of multiple streams of data |
US11157641B2 (en) * | 2016-07-01 | 2021-10-26 | Microsoft Technology Licensing, Llc | Short-circuit data access |
US9934287B1 (en) * | 2017-07-25 | 2018-04-03 | Capital One Services, Llc | Systems and methods for expedited large file processing |
CA3071965C (en) * | 2017-08-10 | 2024-01-16 | Shardsecure, Inc. | Method for securing data utilizing microshard fragmentation |
US10831552B1 (en) * | 2017-08-15 | 2020-11-10 | Roblox Corporation | Using map-reduce to increase processing efficiency of small files |
US20190087440A1 (en) * | 2017-09-15 | 2019-03-21 | Hewlett Packard Enterprise Development Lp | Hierarchical virtual file systems for accessing data sets |
JP6785205B2 (ja) | 2017-09-21 | 2020-11-18 | キオクシア株式会社 | メモリシステムおよび制御方法 |
JP2019079464A (ja) | 2017-10-27 | 2019-05-23 | 東芝メモリ株式会社 | メモリシステムおよび制御方法 |
JP6982468B2 (ja) | 2017-10-27 | 2021-12-17 | キオクシア株式会社 | メモリシステムおよび制御方法 |
US11003372B2 (en) * | 2018-05-31 | 2021-05-11 | Portworx, Inc. | Protecting volume namespaces from corruption in a distributed container orchestrator |
JP2020004465A (ja) | 2018-06-26 | 2020-01-09 | キオクシア株式会社 | 半導体記憶装置 |
US20200174814A1 (en) * | 2018-11-30 | 2020-06-04 | Nutanix, Inc. | Systems and methods for upgrading hypervisor locally |
JP2022189454A (ja) * | 2021-06-11 | 2022-12-22 | 株式会社日立製作所 | ファイルストレージシステム、及び管理情報ファイル回復方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07219905A (ja) * | 1994-02-07 | 1995-08-18 | Fujitsu Ltd | 分散ファイルシステム |
JP2005063214A (ja) * | 2003-08-15 | 2005-03-10 | National Institute Of Advanced Industrial & Technology | データ管理方法および装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6360330B1 (en) * | 1998-03-31 | 2002-03-19 | Emc Corporation | System and method for backing up data stored in multiple mirrors on a mass storage subsystem under control of a backup server |
US7310644B2 (en) * | 2001-06-06 | 2007-12-18 | Microsoft Corporation | Locating potentially identical objects across multiple computers |
US7716180B2 (en) * | 2005-12-29 | 2010-05-11 | Amazon Technologies, Inc. | Distributed storage system with web services client interface |
WO2011023134A1 (en) * | 2009-08-28 | 2011-03-03 | Beijing Innovation Works Technology Company Limited | Method and system for managing distributed storage system through virtual file system |
-
2011
- 2011-02-23 JP JP2011036880A patent/JP5589205B2/ja not_active Expired - Fee Related
- 2011-03-01 US US13/823,186 patent/US20130325915A1/en not_active Abandoned
- 2011-03-01 WO PCT/JP2011/054646 patent/WO2012114531A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07219905A (ja) * | 1994-02-07 | 1995-08-18 | Fujitsu Ltd | 分散ファイルシステム |
JP2005063214A (ja) * | 2003-08-15 | 2005-03-10 | National Institute Of Advanced Industrial & Technology | データ管理方法および装置 |
Non-Patent Citations (4)
Title |
---|
CSND200300585006; 高橋 浩和 他: '図解Linuxカーネル2.4の設計と実装(6)' Linux Japan 第4巻 第4号, 20010401, pp. 179-180, 株式会社五橋研究所 * |
CSNG201000086030; 平賀弘平ほか1名: '広域ファイルシステムのための分散メタデータサーバの設計' 情報処理学会研究報告 平成21年度(3) [CD-ROM] , 20091015, pp. 1-7, 社団法人情報処理学会 * |
JPN6011019918; 高橋 浩和 他: '図解Linuxカーネル2.4の設計と実装(6)' Linux Japan 第4巻 第4号, 20010401, pp. 179-180, 株式会社五橋研究所 * |
JPN6011019920; 平賀弘平ほか1名: '広域ファイルシステムのための分散メタデータサーバの設計' 情報処理学会研究報告 平成21年度(3) [CD-ROM] , 20091015, pp. 1-7, 社団法人情報処理学会 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150061864A (ko) * | 2013-11-28 | 2015-06-05 | 한국전자통신연구원 | 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치 및 이의 데이터 처리방법 |
JP2015106406A (ja) * | 2013-11-28 | 2015-06-08 | 韓國電子通信研究院Electronics and Telecommunications Research Institute | 大容量の順次収集データを処理するためのフレームワーク提供装置及びそのデータ処理方法 |
KR102075386B1 (ko) | 2013-11-28 | 2020-02-11 | 한국전자통신연구원 | 대용량 순차 수집 데이터 처리를 위한 프레임워크 제공장치 및 이의 데이터 처리방법 |
Also Published As
Publication number | Publication date |
---|---|
US20130325915A1 (en) | 2013-12-05 |
WO2012114531A1 (ja) | 2012-08-30 |
JP5589205B2 (ja) | 2014-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5589205B2 (ja) | 計算機システム及びデータ管理方法 | |
US11288267B2 (en) | Pluggable storage system for distributed file systems | |
JP7090606B2 (ja) | データベース・システムにおけるテスト・データの形成及び動作 | |
US11119678B2 (en) | Transactional operations in multi-master distributed data management systems | |
US11468103B2 (en) | Relational modeler and renderer for non-relational data | |
JP4816281B2 (ja) | 文書利用管理システム、文書管理サーバ及びそのプログラム | |
US7376658B1 (en) | Managing cross-store relationships to data objects | |
US20160267132A1 (en) | Abstraction layer between a database query engine and a distributed file system | |
US9378216B2 (en) | Filesystem replication using a minimal filesystem metadata changelog | |
US20100036872A1 (en) | Data management method | |
US20160364407A1 (en) | Method and Device for Responding to Request, and Distributed File System | |
CN103544045A (zh) | 一种基于hdfs的虚拟机镜像存储***及其构建方法 | |
KR101621385B1 (ko) | 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법 | |
KR100529661B1 (ko) | 오브젝트 통합 관리 시스템 | |
US11151081B1 (en) | Data tiering service with cold tier indexing | |
KR20120106544A (ko) | 메타 데이터에 따라 파일 시스템의 파일들을 액세스하는 방법 및 상기 방법을 구현하는 디바이스 | |
US20210232554A1 (en) | Resolving versions in an append-only large-scale data store in distributed data management systems | |
US9934248B2 (en) | Computer system and data management method | |
KR101272656B1 (ko) | 태그 기반 파일 관리 방법 및 그 시스템 | |
JP2006031608A (ja) | 計算機、ストレージシステム、計算機が行うファイル管理方法、およびプログラム | |
CN113811867A (zh) | 用于文件***中的文件的硬链接操作 | |
EP3436973A1 (en) | File system support for file-level ghosting | |
JP4079990B2 (ja) | オブジェクト統合管理システムの生成方法 | |
KR101368441B1 (ko) | 데이터베이스의 공간 재사용 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
Groth | A distributed algorithm for determining the provenance of data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5589205 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |