JP6069503B2

JP6069503B2 - 系列データ並列分析基盤およびその並列分散処理方法

Info

Publication number: JP6069503B2
Application number: JP2015524916A
Authority: JP
Inventors: 太亮尾崎; 啓朗室; 室　　啓朗
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2013-07-01
Filing date: 2013-07-01
Publication date: 2017-02-01
Anticipated expiration: 2033-07-01
Also published as: WO2015001596A1; CN105308579A; US20160203032A1; JPWO2015001596A1; CN105308579B; US10048991B2

Description

本発明は、複数の分散した計算機を用いて大量の系列データを並列に処理する並列分散処理方法、及び、計算機システムに関する。

近年、大量のデータを分析・処理することで、これまで得られなかった知見を発見し活用していく、ビックデータ処理が注目されている。ビッグデータの内、例えば装置等のセンサデータなどは、所謂、系列データと呼ばれるデータの様態である。系列データとは、複数のデータ項目について各々値が設定された複数のデータが、所定の順序性ラベルの値に従って並べられたデータの集合である。

このように大量のデータを分析するニーズは存在するものの、既存の分散分析システムでは、処理内容毎にシステムを設計する必要があり、システム構成のコストが高かった。

これに対し、特許文献１及び非特許文献１に示すように分析処理を簡便に実装する基盤技術として、MapReduceフレームワークが知られている。MapReduceフレームワークとは、データの分析処理を、データストアから所望のデータを抽出する、抽出処理（Map処理）と抽出されたデータを利用しやすい形態や統計情報などに加工する集約処理（Reduce処理）との二段階で記述するプログラミングモデルである。これにより、MapReduceフレームワークの実行エンジンは分析アプリケーションの処理の分割単位を決定し、並列処理を制御することが可能となる。

しかしながら、これまで、MapReduceフレームワークは元来Webにおける検索システムなど、主に非構造・順序性のないデータに対しての処理を記述することを目的にしており、系列データに対してはMapReduceフレームワークによる処理能力向上が見込めなかった。例えば、抽出処理は、多くの基盤で同時に複数のタスクとして実施されるため、処理の高速化に大きく寄与するが、その結果出力は非順序で行われるため、移動平均やフーリエ変換など、系列データに一般的に適用される分析手法の適用が困難であった。

これらの処理をMapReduceフレームワークで記述する場合は、集約処理で実施することになるが、集約処理においては処理に係る基盤数を増大させることが困難であり、十分な高速化が得られなかった。

これに対し、例えば非特許文献２に示すように集約処理においてストリーム処理基盤を利用することで、高速化する手法が知られている。しかし、ストリーム処理基盤を用いた場合においても、抽出処理において全データが抽出されるまでの待ち時間が発生し、抽出したデータを直接ネットワーク等で別のサーバに送信するなど、通信の負荷が高くなるなどの問題があった。さらに、結果の書き出し処理においては、系列データの場合、集約処理の結果、十分にデータ量が削減できるとは限らず、大量のデータを再配置等する必要があり、通信や処理の負荷の増大や、速度の低下を招いていた。

米国特許出願公開第２００８／００８６４４２号明細書

「MapReduce: Simplified Data Processing on Large Clusters」 Jeffrey Dean, Sanjay Ghemawat, Google, Inc. OSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA, December 6, 2004. 「SCOPE: parallel databases meet MapReduce」Jingren Zhou，Nicolas Bruno，Ming-Chuan Wu，Per-Ake Larson，Ronnie Chaiken，Darren Shakib，Microsoft Corp., The VLDB Journal

MapReduceフレームワークを使用しない分散分析システムでは、柔軟にデータ処理を記述できなかった。

一方、MapReduceフレームワークを活用した従来のシステム構成では、計算機器台数に応じた処理向上（スケーラビリティ)が得られていなかった。また、MapReduceフレームワークを活用した従来のシステム構成では、元データを１次加工し、２次加工する際、１次加工データを高速に保存できなかった。

本願において開示される発明の代表的な一例を示せば以下の通りである。

すなわち、順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う系列データ並列分析基盤あるいは分散処理システムであって、
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成されるデータ処理を並列に行う並列処理基盤と、前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部とを具備し、
前記並列処理基盤は、前記計算機器毎に、前記系列データの内複数の順序性ラベルそれぞれに対応付けられた値を含むように構成された少なくとも一つ以上のデータブロックと、前記計算機器毎に、前記データブロックに対して処理を行う、少なくとも一つ以上のデータブロック処理サーバと、前記計算機器毎に、前記データブロック処理サーバの結果を処理する少なくとも一つ以上のブロック処理集約サーバとを具備し、
前記分散系列データ管理部は、前記系列データを前記系列データ並列分析基盤に保持するためのデータ読込部と、前記系列データを前記系列データ並列分析基盤にから取得するためのデータ選択部と、前記データブロックを管理するための分散情報管理データベースを具備し、前記分散情報管理データベースには、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報と、で構成された管理データを保持することを特徴とする。

上記構成の系列データ並列分析基盤あるいは分散処理システムによれば、系列データに対しても柔軟に分散処理を記述可能となる。また、系列データに対してもスケーラビリティのあるデータストア及び処理基盤を実現可能となる。更に、
データストアに保存されている元データを加工し、新たにデータを生成する場合に、新たなデータを高速に保存することが可能となる。

本発明の第１の実施の形態の系列データ並列分析基盤の概要を示した説明図である。本発明の第１の実施の形態の系列データの概要を示した説明図である。本発明の第１の実施の形態の系列データ並列ストアの構成を示した説明図である。本発明の第１の実施の形態の並列処理基盤の構成を示した説明図である。本発明の第１の実施の形態の系列データ並列分析基盤の構成を示したブロック図である。本発明の第１の実施の形態の系列データ並列分析処理の手順を示したフローチャートである。本発明の第１の実施の形態の系列データ並列ストアのデータ選択の手順を示したフローチャートである。本発明の第１の実施の形態の系列データ並列ストアのデータ登録の手順を示したフローチャートである。本発明の実施の形態の系列データ並列ストアのデータ登録における分散先決定の手順を示したフローチャートである。本発明の実施の形態の系列データ並列ストアのデータ登録における分散先決定の手順を示したフローチャートである。本発明の実施の形態の系列データ並列ストアのデータ登録における分散先決定の手順を示したフローチャートである。本発明の実施の形態の系列データ並列ストアのデータ登録における分散先決定の手順を示したフローチャートである。本発明の第１の実施の形態の系列データ並列ストアのＭａｐ処理中におけるデータ登録の手順を示したフローチャートである。本発明の第１の実施の形態の実施効果を示した説明図である。本発明の第２の実施の形態を示したブロック図である。本発明の第２の実施の形態の系列データ並列分析処理の手順を示したフローチャートである。本発明の第２の実施の形態の系列データ並列ストアのデータ選択の手順を示したフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
図１には本発明における系列データ並列分析基盤１０２の概要を示す。系列データ並列分析基盤１０２は系列データ１０１を入力、蓄積する系列データ並列ストア１０３と系列データ並列ストア１０３のデータを利用して分散分析を行う並列処理基盤１０４とから構成される。並列処理基盤１０４にはユーザ１０６が処理指示を行い、その結果を系列データ並列ストア１０３か分析結果データ１０５として出力することができる。ユーザ１０６は、人間であってもよいし、別のシステムやプログラム等であってもよい。

このように構成することで、逐次的に系列データ１０１を蓄積することができ、さらに並列分析基盤を利用して蓄積された系列データ１０１に対して、ユーザ１０６の任意のタイミングで分析を行うことができる。

図２には系列データの構成を示す。系列データは、1つ以上のデータブロック２０３から構成され、一つのデータブロック２０３は順序を示す順序性ラベル２０１と1つ以上の値２０２とから構成される。順序性ラベルには、一般的には数値や日時が利用されるが、その他、順序性が定義可能な、例えばａ、ｂ、ｃなどの記号などでもよい。

図３には一般的な系列データカラムストア３０１の構成を示す。系列データカラムストア３０１系列データ１０１を読み込むデータ読込部３０７とデータを格納するデータベース３０２とデータを取得するデータ選択部とから構成されている。データベース３０２には系列データ１０１が順序ラベル範囲３０３と系列ＩＤ３０４と値ブロック３０５の所謂、カラムストアの形式で格納されている。データ選択部に対して、ユーザ１０６が指示・操作を与えることで、データを取得できる構成である。

このようにすることで、ユーザ１０６が所望の順序ラベル範囲３０３と系列ＩＤ３０４に対して、その順序性ラベルと値の集合を高速に取得することが可能となり、さらに値ブロックに圧縮技術を適用することで蓄積している系列データ１０１の容量を削減することが可能となる。

図４には一般的な並列処理基盤１０４の構成を示す。並列処理基盤１０４は、処理状況を監視・管理するジョブ・タスク管理サーバ４０１とデータを管理するデータブロック管理サーバ４０２とデータブロック２０３を処理するデータブロック処理サーバ４０３とデータブロック処理サーバの結果を集約処理するブロック処理集約サーバ４０４から構成されている。データブロック処理サーバ４０３及びブロック処理集約サーバ４０４は一つ以上存在し、データブロック処理サーバ４０３及びブロック処理集約サーバ４０４を同一の機器上に設置するようにしてもよい。ユーザ１０６は、ジョブ・タスク管理サーバ４０１に対して、指示・操作を行い、処理の結果を取得することができる。このようにすることで、様々なデータに対する分散分析処理を柔軟にかつ、少ない工数で記述することが可能となる。

図５には、本発明第一の実施例における系列データ並列分析基盤１０２の構成を示す。処理状況を監視・管理するジョブ・タスク管理サーバ４０１とデータブロック５０９とデータブロック５０９を処理するデータブロック処理サーバ４０３とデータブロック処理サーバの結果を集約処理するブロック処理集約サーバ４０４と分散系列データ管理部５０１から構成されている。

分散系列データ管理部５０１は、データ読込部５０２とデータ選択部５０３と分散先決定部５０４とデータ検索部５０５とデータ入出力部５０６と分散情報管理データベース５０７から構成されている。分散情報管理データベース５０７は順序ラベル範囲３０３と系列ＩＤ３０４とメタ情報５０８から構成されている。メタ情報５０８にはデータブロック５０９が実際に保持されているサーバの情報を格納しており、データブロック５０９は複数のサーバに重複してデータを設置してもよく、その場合にはメタ情報５０８に複数のデータ保持サーバの情報が格納されている。

本構成は、図３に示した系列データカラムストア３０１と図４に示した並列処理基盤１０４を組み合わせた構成を基本としているが、データブロックについては分散情報管理データベース５０７には保持せず、データブロック処理サーバ４０３と同一または、データブロック処理サーバ４０３が容易にデータ取得可能な機器にデータブロック５０９を保持している点が特徴である。データブロック５０９は図３における値ブロック３０５をファイル化したものを利用することができる。

このような構成とすることで、系列データ１０１を複数のサーバ・機器等に保持することができ、データ蓄積における保持容量の増大や、機器類等を増設することによる保持容量の拡大を容易にすることができると共に、データが増大した場合においても機器類を増大させることで分析処理能力も向上させることが可能となる。

以下、系列データ並列分析基盤１０２の基本動作を図６乃至図１１のフローチャート図を用いて説明する。

図６には系列データ並列分析基盤１０２における分散分析の実行の方法を示す。最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４と処理内容を記述したプログラムが含まれている（Ｓｔｅｐ１）。次に処理実行要求に含まれる、順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得する（Ｓｔｅｐ２）。

並列処理基盤１０４は、ジョブ・タスク管理サーバ４０１において、分散情報管理データベースから得られたデータブロック５０９の情報に基づいて、同時に抽出処理を行うデータブロックを選択し、一つのチャンクとする。この際、データブロックと抽出処理を行うサーバは同一の機器であることが望ましいが、異なる機器であってもよい。異なる機器である場合には、その機器から例えばssh, scpなどの手段でデータブロック５０９のデータを取得することができる（Ｓｔｅｐ３）。ジョブ・タスク管理サーバ４０１は、チャンク毎に抽出処理タスクを生成し、データブロック処理サーバ４０３に抽出処理タスクを指示する（Ｓｔｅｐ４）。

データブロック処理サーバ４０３は、チャンクから順序性ラベルにおける順序に従って、データを取得し、Ｓｔｅｐ１で指定された処理内容を記述したプログラムに従って、抽出処理を行う。抽出処理においては、処理結果のデータは、データブロック５０９における値に対応する順序性ラベルとは別の順序性ラベル（以下、ｋｅｙと呼ぶ）が付与された、値（以下、ｖａｌｕｅと呼ぶ）の形式をとる。ｋｅｙは前述のデータブロック５０９における順序性ラベルと同一であってもよく、ｋｅｙに指定されるラベルは重複していてもよい（Ｓｔｅｐ５）。抽出処理の結果は、ブロック処理集約サーバ４０４に送信される（Ｓｔｅｐ６）。

送信されたデータは、ブロック処理集約サーバ４０４においてｋｅｙによってソートされる（Ｓｔｅｐ７）。ブロック処理集約サーバ４０４では、同一のｋｅｙを持つ値毎に集約処理が行われる（Ｓｔｅｐ８）。最後に集約処理の結果を出力して分析処理は終了である。この際、出力先として、任意のファイル（例えばタブ区切りテキストやＸＭＬファイル）であってもよいし、分散系列データ管理部５０１にデータを登録してもよいし、系列データ並列分析基盤１０２外の別プログラムにメモリ上で受け渡しを行ってもよい（Ｓｔｅｐ９）
このようにすると、データブロックの順序ラベル範囲３０３を適切。に指定することで、Ｓｔｅｐ５における抽出処理で、データの順序性が保証されるため、例えば移動平均やフーリエ変換などの順序性に基づいて行われる処理が、抽出処理において記述できる。

一般的に、集約処理は抽出処理よりも少ないサーバ数、タスク数で実行されるため、抽出処理において順序性に基づいて行われる処理が記述可能となることは、処理の高速化やＳｔｅｐ６における処理結果の送信量を削減することが可能となり、低負荷で高速な分散分析が、系列データ１０１に対しても実現できる。

図７には系列データ並列分析基盤１０２におけるデータ選択の方法を示す。

最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４とが含まれている（Ｓｔｅｐ１１）。次に処理実行要求に含まれる、順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得する（Ｓｔｅｐ１２）。データブロックの内のデータを、例えばssh、scpなどの通信手段でデータ入出力部５０６とデータ検索部５０５を介して分散系列データ選択部に送信する（Ｓｔｅｐ１３）。データ選択部では、ユーザ１０６の所望の形式となるように、データを、ファイル（例えばタブ区切りテキストやＸＭＬファイル）や、系列データ並列分析基盤１０２外の別プログラムにメモリ上で受け渡し可能な形式に変換したうえで出力を行って終了となる（Ｓｔｅｐ１４）。このようにすることで、並列処理基盤１０４を介さずにデータを入手することが可能となる。

図８には系列データ並列分析基盤１０２におけるデータ登録の方法を示す。

最初に、ユーザ１０６からの処理実行要求がデータ読込部５０２を介して系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる系列データ１０１と登録に使用する系列ＩＤ３０４とが含まれている（Ｓｔｅｐ２１）。次に、データ読込部では、例えば、バイナリ・タブ区切りテキスト・ＸＭＬなどの形式で入力された系列データ１０１を系列ＩＤ３０４とあらかじめ設定された順序ラベル範囲３０３で分割を行う（Ｓｔｅｐ２２）。

Ｓｔｅｐ２２で分割されたデータをブロック化する。例えば、圧縮技術を適用することでデータを削減したブロックを生成することができる（Ｓｔｅｐ２３）。分散先決定部５０４に具備されている分散先決定方法に従って、どのサーバ・機器にデータブロック５０９を保持するかを決定する。この際、可用性を考慮して複数のサーバ・機器を選択することができる（Ｓｔｅｐ２４）。Ｓｔｅｐ２４までに得られた順序ラベル範囲３０３と系列ＩＤ３０４と分散先サーバ・機器の情報を含むメタ情報とを分散情報管理データベース５０７に登録を行う（Ｓｔｅｐ２５）。最後に、データ入出力部５０６を介して、サーバ・機器等にデータブロック５０９を配置して終了となる（Ｓｔｅｐ２６）。

このように構成することで、ユーザ１０６がカスタマイズ可能か形式で分散先を決定可能なデータ登録が可能となる。

図９には分散先決定方法の一例を示す。図９に示す方法は、一般的にラウンドロビンと呼ばれる決定手法である。本方法は、分散先サーバ・機器の情報を保持したリストと、リストの内一つの分散先を示す分散先リストポインタを具備している。

最初に、決定数を０とする（Ｓｔｅｐ３１）。データブロック５０９毎に、分散先リストポインタが示しているサーバ・機器を分散先として指定する（Ｓｔｅｐ３２）。Ｓｔｅｐ３３にて分散先リストポインタがリスト上の最後の分散先でないと判明したときは、分散先リストポインタは一つリスト上で移動する（Ｓｔｅｐ３４）。Ｓｔｅｐ３３にて分散先リストポインタがリスト上で最後の分散先を指示している場合はリストの先頭に移動する（Ｓｔｅｐ３５）。次に決定数を一つ増加させる（Ｓｔｅｐ３６）。以上の処理（Ｓｔｅｐ３２からＳｔｅｐ３６まで）を、決定数があらかじめ設定された多重度となるまで繰り返し、処理を終了する（Ｓｔｅｐ３７）。このようにすることで、特定のサーバ・機器に偏ることがなくデータブロック５０９を分散配置することが可能となる。

図１０には分散先決定方法の一例を示す。図１０に示す方法は、各サーバ・機器の使用記憶容量を均等化する決定手法である。本方法は、分散先リストと分散先リストの使用記憶容量を取得する手段を具備している。

最初に、決定数を０とする。（Ｓｔｅｐ４１）。各サーバ・機器の使用記憶容量を取得し最も使用容量が少ないサーバ・機器を分散先に決定する（Ｓｔｅｐ４２）。次に、決定数を一つ増加させる（Ｓｔｅｐ４３）。以上の動作（Ｓｔｅｐ４２からＳｔｅｐ４３まで）を決定数があらかじめ設定された多重度となるまで繰り返し、終了する（Ｓｔｅｐ４４）。このようにすることで、各サーバ・機器の使用記憶容量を均等化することが可能となる。

図１１には分散先決定方法の一例を示す。図１１に示す方法は、系列ＩＤ３０４毎に分散先を指定する決定手法である。本方法は、分散先リストと分散先リストと系列ＩＤ３０４の紐付けを行う関数ｆを具備している。

最初に、決定数を０とする（Ｓｔｅｐ５１）。データブロック５０９毎に、関数ｆを実行する（Ｓｔｅｐ５２）。関数ｆの値に対応する分散先リストが示しているサーバ・機器を分散先として指定する（Ｓｔｅｐ５３）。決定数を一つ増加させる（Ｓｔｅｐ５４）。以上の動作（Ｓｔｅｐ５２からＳｔｅｐ５４まで）を決定数があらかじめ設定された多重度となるまで繰り返し、終了する（Ｓｔｅｐ５５）。関数ｆとしては、例えばハッシュ関数や、剰余算などが利用でき、引数には、系列ＩＤ３０４や系列ＩＤ３０４を数値化したものを使用することができる。この際、分散先リストにサーバ等が追加、削除された場合において、ある系列ＩＤ３０４に紐付くサーバ等が削除されていない場合においては、旧来と同じサーバ等が得られるような関数ｆとする。

このようにすることで、複数の系列ＩＤ３０４に対し、同じ順序ラベル範囲３０３での分散処理が行われる場合において、効率的に複数の基盤で分散処理タスクを実行することが可能となる。

図１２には分散先決定方法の一例を示す。図１２に示す方法は、順序ラベル範囲３０３毎に分散先を指定する決定手法である。本方法は、分散先リストと分散先リストと順序ラベル範囲３０３の紐付けを行う関数ｇを具備している。

最初に、決定数を０とする（Ｓｔｅｐ６１）。データブロック５０９毎に、関数ｇを実行する（Ｓｔｅｐ６２）。次に、関数ｇの値に対応する分散先リストが示しているサーバ・機器を分散先として指定する（Ｓｔｅｐ６３）。次に、決定数を一つ増加させる（Ｓｔｅｐ６４）。以上の動作（Ｓｔｅｐ６２からＳｔｅｐ６４まで）を決定数があらかじめ設定された多重度となるまで繰り返し、終了する。（Ｓｔｅｐ６５）。関数ｇとしては、例えばハッシュ関数や、剰余算などが利用でき、引数には、順序ラベル範囲３０３や順序ラベル範囲３０３を数値化したものを使用することができる。この際、分散先リストにサーバ等が追加、削除された場合において、ある順序ラベル範囲３０３に紐付くサーバ等が削除されていない場合においては、旧来と同じサーバ等が得られるような関数ｇとする。

このようにすることで、複数の順序ラベル範囲３０３に対し、同じ系列ＩＤ３０４での分散処理が行われる場合において、効率的に複数の基盤で分散処理タスクを実行することが可能となる。

図１３には系列データ並列分析基盤１０２における抽出処理中におけるデータブロックの登録の方法を示す。

最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４とデータブロック登録時の系列ＩＤ３０４と分散配置先情報と処理内容を記述したプログラムが含まれている（Ｓｔｅｐ７１）。次に処理実行要求に含まれる、処理対象の順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得すると共に、分散先決定部を介してあらかじめデータブロック５０９の登録先となるサーバ・機器等を決定し、その情報をデータ登録時の方法と同様に分散情報管理データベースに登録を行う（Ｓｔｅｐ７２）。並列処理基盤１０４は、ジョブ・タスク管理サーバ４０１において、分散情報管理データベースから得られたデータブロック５０９の情報に基づいて、同時に抽出処理を行うデータブロックを選択し、一つのチャンクとする。この際、データブロックと抽出処理を行うサーバは同一の機器であることが望ましいが、異なる機器であってもよい。異なる機器である場合には、その機器から例えばssh, scpなどの手段でデータブロック５０９のデータを取得することができる（Ｓｔｅｐ７３）。

ジョブ・タスク管理サーバ４０１は、チャンク毎に抽出処理タスクを生成し、データブロック処理サーバ４０３に抽出処理タスクを指示する（Ｓｔｅｐ７４）。データブロック処理サーバ４０３は、チャンクから順序性ラベルにおける順序に従って、データを取得し、Ｓｔｅｐ７１で指定された処理内容を記述したプログラムに従って、抽出処理を行う（Ｓｔｅｐ７５）。抽出処理においてデータブロックの登録を行う場合は、抽出処理タスクの対象となっているチャンクと同一の時間範囲と、Ｓｔｅｐ７１で指定された系列ＩＤ３０４で抽出処理結果のデータをデータブロック５０９の形状に変換し、Ｓｔｅｐ７２で決定されたサーバ・機器等に書き出しを行って終了となる（Ｓｔｅｐ７６）。この際、データブロックの配置には、ｓｓｈ、ｓｃｐなどの通信手段を用いてもよいが、分散配置先のサーバ・機器等は、抽出処理となるべく同一のサーバ・機器等となるように設定することで、通信量を削減することができる。

このようにすると、一度集約処理をしてからデータ登録をする場合に対して、集約処理のためのデータ送信・書き出しや、集約処理後のデータ送信・書き出しを削減することができ、システムの負荷を軽減することが可能となり、システムの動作の高速化を実現することが可能となる。

図１４には、系列データ並列分析基盤１０２と既存の分散分析基盤を使用した場合の、移動平均を計算した場合の処理時間比較を示す。システムの機器構成は同一のものを使用し、データブロック処理サーバとブロック処理集約サーバはどちらも５台サーバを利用した。

どちらの場合も、計算時間のうち３０秒程度は、並列処理基盤の初期設定に時間を要しており、その他が実際に分析処理に係る時間である。本実施例の場合、既存技術と比較しておよそ５倍程度高速化しており、これはデータブロック処理サーバ中で移動平均の計算を実施可能であるためである。以上のように、系列データ１０１に対する様々な分析処理を柔軟に記述可能であり、データ量の増大に合わせて、機器を増加させることで、データ蓄積可能な領域と、分析処理を行う計算機能力を向上させることが可能な、系列データ並列分析基盤を構成することができる。

（第二の実施例）
第二の実施例は、第一の実施例に対し、データブロックをファイルで直接保持するのではなく、データブロックサーバ１５０１に格納して保持する点が異なる。図１５には、本発明第二の実施例における系列データ並列分析基盤１０２の構成を示す。

処理状況を監視・管理するジョブ・タスク管理サーバ４０１とデータブロックサーバ１５０１とデータブロックサーバ１５０１から提供されるデータブロック５０９を処理するデータブロック処理サーバ４０３と、データブロック処理サーバの結果を集約処理するブロック処理集約サーバ４０４と、分散系列データ管理部５０１から構成されている。

分散系列データ管理部５０１は、データ読込部５０２とデータ選択部５０３と分散先決定部５０４とデータ検索部５０５とデータ入出力部５０６と分散情報管理データベース５０７から構成されている。分散情報管理データベース５０７は順序ラベル範囲３０３と系列ＩＤ３０４とメタ情報５０８から構成されている。メタ情報５０８にはデータブロック５０９が実際に保持されているデータブロックサーバ１５０１の情報を格納しており、データブロック５０９は複数のデータブロックサーバ１５０１に重複してデータを設置してもよく、その場合にはメタ情報５０８に複数のデータブロックサーバ１５０１の情報が格納されている。

本構成は、図３に示した系列データカラムストア３０１と図４に示した並列処理基盤１０４を組み合わせた構成を基本としているが、データブロック５０９については分散情報管理データベース５０７には保持せず、データブロック処理サーバ４０３と同一または、データブロック処理サーバ４０３が容易にデータ取得可能な機器にデータブロックサーバ１５０１を保持している点が特徴である。データブロック５０９は図３における値ブロック３０５をファイル化したものを利用することができ、データブロック５０９はデータブロックサーバ１５０１に保持されている。

図１６には系列データ並列分析基盤１０２における分散分析の実行の方法を示す。

最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４と処理内容を記述したプログラムが含まれている（Ｓｔｅｐ８１）。次に処理実行要求に含まれる、順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得する（Ｓｔｅｐ８２）。

並列処理基盤１０４は、ジョブ・タスク管理サーバ４０１において、分散情報管理データベースから得られたデータブロック５０９の情報に基づいて、同時に抽出処理を行うデータブロックを選択し、一つのチャンクとする（Ｓｔｅｐ８３）。この際、データブロックサーバ１５０１が存在する機器と抽出処理を行う機器は同一の機器であることが望ましいが、異なる機器であってもよい。異なる機器である場合には、その機器から例えばssh, scpなどの手段でデータブロック５０９のデータを取得することができる。

次に、ジョブ・タスク管理サーバ４０１は、チャンク毎に抽出処理タスクを生成し、データブロック処理サーバ４０３に抽出処理タスクを指示する（Ｓｔｅｐ８４）。データブロック処理サーバ４０３は、チャンクから順序性ラベルにおける順序に従って、データを取得し、Ｓｔｅｐ８１で指定された処理内容を記述したプログラムに従って、抽出処理を行う。抽出処理においては、処理結果のデータは、データブロック５０９における値に対応する順序性ラベルとは別の順序性ラベル（以下、ｋｅｙと呼ぶ）が付与された、値（以下、ｖａｌｕｅと呼ぶ）の形式をとる。ｋｅｙは前述のデータブロック５０９における順序性ラベルと同一であってもよく、ｋｅｙに指定されるラベルは重複していてもよい（Ｓｔｅｐ８５）。

次に、抽出処理の結果は、ブロック処理集約サーバ４０４に送信される（Ｓｔｅｐ８６）。送信されたデータは、ブロック処理集約サーバ４０４においてｋｅｙによってソートされる（Ｓｔｅｐ８７）。ブロック処理集約サーバ４０４では、同一のｋｅｙを持つ値毎に集約処理が行われる（Ｓｔｅｐ８）。

最後に集約処理の結果を出力して分析処理は終了である。この際、出力先として、任意のファイル（例えばタブ区切りテキストやＸＭＬファイル）であってもよいし、分散系列データ管理部５０１にデータを登録してもよいし、系列データ並列分析基盤１０２外の別プログラムにメモリ上で受け渡しを行ってもよい（Ｓｔｅｐ８９）。

このようにすると、データブロックの順序ラベル範囲３０３を適切に指定することで、Ｓｔｅｐ８５における抽出処理で、データの順序性が保証されるため、例えば移動平均やフーリエ変換などの順序性に基づいて行われる処理が、抽出処理において記述できる。

図１７には系列データ並列分析基盤１０２におけるデータ選択の方法を示す。

最初に、ユーザ１０６からの処理実行要求が系列データ並列分析基盤１０２に指示される。処理実行要求には、処理に用いる順序ラベル範囲３０３と系列ＩＤ３０４とが含まれている（Ｓｔｅｐ９１）。次に処理実行要求に含まれる、順序ラベル範囲３０３と系列ＩＤ３０４に対応するデータブロック５０９を示す情報を、データ検索部５０５を介して分散情報管理データベース５０７から取得する（Ｓｔｅｐ９２）。データブロックの内のデータを、例えばssh、scpなどの通信手段でデータブロックサーバ１５０１とデータ入出力部５０６とデータ検索部５０５を介して分散系列データ選択部に送信する（Ｓｔｅｐ９３）。データ選択部では、ユーザ１０６の所望の形式となるように、データを、ファイル（例えばタブ区切りテキストやＸＭＬファイル）や、系列データ並列分析基盤１０２外の別プログラムにメモリ上で受け渡し可能な形式に変換したうえで出力を行って終了となる（Ｓｔｅｐ９４）。このようにすることで、並列処理基盤１０４を介さずにデータを入手することが可能となる。

１０１系列データ
１０２系列データ並列分析基盤
１０３系列データ並列ストア
１０４並列処理基盤
１０５分析結果データ
１０６ユーザ
２０１順序性ラベル
２０２値
２０３データブロック
３０１系列データカラムストア
３０２データベース
３０３順序性ラベル範囲
３０４系列ＩＤ
３０５値ブロック
３０６データ選択部
３０７データ読込部
４０１ジョブ・タスク管理サーバ
４０２データブロック管理サーバ
４０３データブロック処理サーバ
４０４ブロック処理集約サーバ
５０１分散系列データ管理部
５０２データ読込部
５０３データ選択部
５０４分散先決定部
５０５データ検索部
５０６データ入出力部
５０７分散情報管理データベース
５０８メタ情報
５０９データブロック
１５０１データブロックサーバ

Claims

順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と、前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う系列データ並列分析基盤であって、
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成されるデータ処理を並列に行う並列処理基盤と、
前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部を具備し、
前記並列処理基盤は、
前記計算機器毎に、前記系列データの内複数の順序性ラベルそれぞれに対応付けられた値を含むように構成された少なくとも一つ以上のデータブロックと、
前記計算機器毎に、前記データブロックに対して処理を行う、少なくとも一つ以上のデータブロック処理サーバと、
前記計算機器毎に、前記データブロック処理サーバの結果を処理する少なくとも一つ以上のブロック処理集約サーバとを具備し、
前記分散系列データ管理部は、
前記系列データを前記系列データ並列分析基盤に保持するためのデータ読込部と、
前記系列データを前記系列データ並列分析基盤にから取得するためのデータ選択部と、
前記データブロックを管理するための分散情報管理データベースを具備し、
前記分散情報管理データベースには、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報とで構成された管理データを保持すること
を特徴とする系列データ並列分析基盤。
前記分散系列データ管理部には、前記データブロックを保持する前記計算機器を決定する分散先決定部を具備することを特徴とする請求項１記載の系列データ並列分析基盤。
前記分散先決定部は、前記順序ラベル範囲が同一の前記データブロックを、前記計算機器のうち同一の前記計算機器に保持するように決定することを特徴とする請求項２記載の系列データ並列分析基盤。
前記分散先決定部は、前記系列ＩＤが同一の前記データブロックを、
前記計算機器のうち同一の前記計算機器に保持するように決定することを特徴とする請求項２記載の系列データ並列分析基盤。
前記分散先決定部は、前記計算機器の記録装置の占有容量が最も少ない前記計算機器に決定することを特徴とする請求項２記載の系列データ並列分析基盤。
前記分散先決定部は、前記データブロックを保持する前記計算機器を周期的に決定することを特徴とする請求項２記載の系列データ並列分析基盤。
前記データブロックがファイル形式であることを特徴とする請求項１記載の系列データ並列分析基盤。
一つ以上の計算機器と前記計算機器がデータ授受を行うためのネットワークで構成される並列処理基盤を用い、順序性ラベルと前記順序性ラベルに一対一、もしくは一対多で対応付けされる少なくとも一つ以上の値と、前記値の内一つずつを区別するための値名とで構成された系列データに対して並列分散処理を行う並列分散処理方法であって、
前記並列処理基盤の前記計算機器毎に、前記系列データの内複数の順序性ラベルそれぞれに対応付けられた値を含むように構成された少なくとも一つ以上のデータブロックと、前記データブロックに対して処理を行う少なくとも一つ以上のデータブロック処理サーバと、前記データブロック処理サーバの結果を処理する少なくとも一つ以上のブロック処理集約サーバとを準備し、
前記計算機器に分散されて配置された前記系列データを管理する分散系列データ管理部に、前記データブロックを管理するための分散情報管理データベースとして、前記データブロックの前記順序性ラベルの範囲を指示す順序ラベル範囲と、前記データブロックの前記値名に対応する系列ＩＤと、前記データブロックを配置した前記計算機器を特定するメタ情報とを保持管理することを特徴とする系列データの並列分散処理方法。