JP4967014B2 - ストリームデータ処理装置及び方法 - Google Patents
ストリームデータ処理装置及び方法 Download PDFInfo
- Publication number
- JP4967014B2 JP4967014B2 JP2009285785A JP2009285785A JP4967014B2 JP 4967014 B2 JP4967014 B2 JP 4967014B2 JP 2009285785 A JP2009285785 A JP 2009285785A JP 2009285785 A JP2009285785 A JP 2009285785A JP 4967014 B2 JP4967014 B2 JP 4967014B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- stream
- processing
- divided
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
(A1)1回目で送信される分割データは、<1>、<2>、<3>、<4>及び<5>を有する。サーバ計算機から出力される処理結果は、1、3(1+2)、6(1+2+3)、9(6+4−1)、12(9+5−2)である。
(A2)2回目で送信される分割データは、<6>、<7>、<8>、<9>及び<10>を有する。サーバ計算機から出力される処理結果は、15(12+6−3)、18(15+7−4)、21(18+8−5)、24(21+9−6)、27(24+10−7)である。
(A3)3回目で送信される分割データは、<11>、<12>、<13>、<14>及び<15>を有する。サーバ計算機から出力される処理結果は、30、33、36、39、42である。
(B1)1回目で送信される分割データは、<1>、<2>、<3>、<4>及び<5>を有する。1回目の分割データなので、補助データ部は無い。この分割データは第1のサーバ計算機140に送信される。第1のサーバ計算機140から出力される処理結果は、1、3(1+2)、6(1+2+3)、9(6+4−1)、12(9+5−2)である。
(2)2回目で送信される分割データは、<4>、<5>、<6>、<7>及び<8>を有する。ウィンドウサイズ「3」より1つ少ない数が、補助データ部を構成するデータ要素の数(補助データ量)であるため、先頭から2個のデータ要素<4>及び<5>が、補助データ部を構成するデータ要素であり、残りのデータ要素<6>、<7>及び<8>が、結果利用データ部に属するデータ要素である。この分割データは第2のサーバ計算機160に送信される。第2のサーバ計算機160から出力される処理結果は、15(9+6)、18(15+7−4)、21(18+8−5)である。つまり、補助データ部を構成する<4>及び<5>は、演算処理の対象となり、結果利用データの演算処理に用いられるものの、処理結果としては出力されない。
(3)3回目で送信される分割データは、<7>、<8>、<9>、<10>及び<11>を有する。先頭から2個のデータ要素<7>及び<8>が、補助データ部を構成するデータ要素である。この分割データは第1のサーバ計算機140に送信される。第1のサーバ計算機140から出力される処理結果は、24(21+9−6)、27(24+10−7)、30(27+11−8)である。
(1)このステップ2880での「補助データ量+1」という値は、後述のステップ2890で、サーバ管理表128のウィンドウサイズ750として記録される。
(2)個数指定に従うウィンドウサイズの場合、分割処理では、補助データ部に含まれるデータ要素の数は、「ウィンドウサイズ−1」である。
Claims (9)
- 時系列の複数のデータ要素で構成されているストリームデータにおけるデータ要素を処理する複数の計算機に接続された装置であって、
ストリームデータソースからストリームデータを受信する通信インタフェースと、
前記通信インタフェースに接続されており、前記受信したストリームデータを記憶資源に蓄積し、前記記憶資源内のストリームデータを基に分割データを生成しその分割データを前記複数の計算機から送信先として選択した計算機に送信することで、複数の分割データを複数の計算機に分散するコントローラと
を有し、
データ要素は、ストリームデータソースで発生した時刻を示すタイムスタンプと、ストリームデータ処理における演算対象となる値とを含んでおり、
分割データは、前記ストリームデータのうちの連続した二以上のデータ要素であるデータ要素群と、分割データの終端を表すデータであるENDデータとで構成されており、前記データ要素群は、第1のパートである補助データ部と、前記第1のパートの次のパートである結果利用データ部とで構成されており、
前記コントローラは、以下の(X)を行い、
(X)前記送信先の計算機が単位時間当たりに処理可能なデータ要素の数である処理性能と、前記送信先のクエリで定義されているウィンドウサイズと、前記記憶資源に蓄積されているストリームデータを構成するデータ要素の数である蓄積データ要素数とに基づいて、負荷分散を行うか否かを判定する、
前記コントローラは、前記(X)の判定結果が肯定的の場合に、下記(A)乃至(E)を行い、
(A)分割データの送信先の計算機の単位時間当たりに処理可能なデータ要素数で構成されたデータ要素群を前記ストリームデータから取得し、
(B)前記(A)で取得したデータ要素群の補助データ部を、処理内容とデータ範囲サイズであるウィンドウサイズとが前記送信先の計算機について定義されたクエリが表す前記ウィンドウサイズを基に決定し、
(C)前記データ要素群と前記ENDデータとを含んだ分割データを生成し、
(D)前記(B)で決定された補助データ部に続く結果利用データ部の先頭のデータ要素を特定するための情報である結果利用特定情報を、前記送信先の計算機に送信し、
(E)前記分割データを前記送信先の計算機に送信する、
前記ウィンドウサイズは、データ要素の個数を表しており、
前記(B)で決定された補助データ部を構成するデータ要素の数Kは、前記ウィンドウサイズから1を引いた数であり、
前記(X)の判定結果は、下記の(x1)及び(x2)を満たす場合に肯定的となる、
(x1)前記蓄積データ要素数が、前記処理性能よりも大きい、
(x2)前記蓄積データ要素数が、前記ウィンドウサイズの2倍よりも大きい、
ストリームデータ処理装置。 - 時系列の複数のデータ要素で構成されているストリームデータにおけるデータ要素を処理する複数の計算機に接続された装置であって、
ストリームデータソースからストリームデータを受信する通信インタフェースと、
前記通信インタフェースに接続されており、前記受信したストリームデータを記憶資源に蓄積し、前記記憶資源内のストリームデータを基に分割データを生成しその分割データを前記複数の計算機から送信先として選択した計算機に送信することで、複数の分割データを複数の計算機に分散するコントローラと
を有し、
データ要素は、ストリームデータソースで発生した時刻を示すタイムスタンプと、ストリームデータ処理における演算対象となる値とを含んでおり、
分割データは、前記ストリームデータのうちの連続した二以上のデータ要素であるデータ要素群と、分割データの終端を表すデータであるENDデータとで構成されており、前記データ要素群は、第1のパートである補助データ部と、前記第1のパートの次のパートである結果利用データ部とで構成されており、
前記コントローラは、以下の(X)を行い、
(X)前記送信先の計算機が単位時間当たりに処理可能なデータ要素の数である処理性能と、前記送信先のクエリで定義されているウィンドウサイズと、前記記憶資源に蓄積されているストリームデータを構成するデータ要素の数である蓄積データ要素数と、前記送信先の計算機において処理されずに蓄積されているデータ要素の数である処理待ち数とに基づいて、負荷分散を行うか否かを判定する、
前記コントローラは、前記(X)の判定結果が肯定的の場合に、下記(A)乃至(E)を行い、
(A)分割データの送信先の計算機の単位時間当たりに処理可能なデータ要素数で構成されたデータ要素群を前記ストリームデータから取得し、
(B)前記(A)で取得したデータ要素群の補助データ部を、処理内容とデータ範囲サイズであるウィンドウサイズとが前記送信先の計算機について定義されたクエリが表す前記ウィンドウサイズを基に決定し、
(C)前記データ要素群と前記ENDデータとを含んだ分割データを生成し、
(D)前記(B)で決定された補助データ部に続く結果利用データ部の先頭のデータ要素を特定するための情報である結果利用特定情報を、前記送信先の計算機に送信し、
(E)前記分割データを前記送信先の計算機に送信する、
前記ウィンドウサイズは、データ要素の個数を表しており、
前記(B)で決定された補助データ部を構成するデータ要素の数Kは、前記ウィンドウサイズから1を引いた数であり、
前記(X)の判定結果は、下記の(x1)乃至(x3)を満たす場合に肯定的となる、
(x1)前記送信先の計算機の処理性能から前記処理待ち数を引いた値が、正の値である、
(x2)前記蓄積データ要素数が、前記処理性能から前記処理待ち数を引いた値よりも大きい、
(x3)前記蓄積データ要素数が、前記ウィンドウサイズで定義するデータ要素の個数よりも大きい、
ストリームデータ処理装置。 - 時系列の複数のデータ要素で構成されているストリームデータにおけるデータ要素を処理する複数の計算機に接続された装置であって、
ストリームデータソースからストリームデータを受信する通信インタフェースと、
前記通信インタフェースに接続されており、前記受信したストリームデータを記憶資源に蓄積し、前記記憶資源内のストリームデータを基に分割データを生成しその分割データを前記複数の計算機から送信先として選択した計算機に送信することで、複数の分割データを複数の計算機に分散するコントローラと
を有し、
データ要素は、ストリームデータソースで発生した時刻を示すタイムスタンプと、ストリームデータ処理における演算対象となる値とを含んでおり、
分割データは、前記ストリームデータのうちの連続した二以上のデータ要素であるデータ要素群と、分割データの終端を表すデータであるENDデータとで構成されており、前記データ要素群は、第1のパートである補助データ部と、前記第1のパートの次のパートである結果利用データ部とで構成されており、
前記コントローラは、以下の(X)を行い、
(X)前記送信先の計算機が単位時間当たりに処理可能なデータ要素の数である処理性能と、前記送信先のクエリで定義されているウィンドウサイズと、前記記憶資源に蓄積されているストリームデータを構成するデータ要素の数である蓄積データ要素数と、前記記憶資源に蓄積されているストリームデータのうち最古のデータ要素が有するタイムスタンプと最新のデータ要素が有するタイムスタンプとの差分である蓄積時間長とに基づいて、負荷分散を行うか否かを判定する、
前記コントローラは、前記(X)の判定結果が肯定的の場合に、下記(A)乃至(E)を行い、
(A)分割データの送信先の計算機の単位時間当たりに処理可能なデータ要素数で構成されたデータ要素群を前記ストリームデータから取得し、
(B)前記(A)で取得したデータ要素群の補助データ部を、処理内容とデータ範囲サイズであるウィンドウサイズとが前記送信先の計算機について定義されたクエリが表す前記ウィンドウサイズを基に決定し、
(C)前記データ要素群と前記ENDデータとを含んだ分割データを生成し、
(D)前記(B)で決定された補助データ部に続く結果利用データ部の先頭のデータ要素を特定するための情報である結果利用特定情報を、前記送信先の計算機に送信し、
(E)前記分割データを前記送信先の計算機に送信する、
を行い、
前記ウィンドウサイズは、データ要素のタイムスタンプの範囲としての時間を表しており、
前記(B)で決定された補助データ部を構成するデータ要素の数Kは、前記ウィンドウサイズが表す値と同じであり、
前記(X)の判定結果は、下記の(x1)及び(x2)を満たす場合に肯定的となり、
(x1)前記蓄積データ要素数が、前記処理性能よりも大きい、
(x2)前記蓄積時間長が、前記ウィンドウサイズの2倍よりも大きい、
ストリームデータ処理装置。 - 時系列の複数のデータ要素で構成されているストリームデータにおけるデータ要素を処理する複数の計算機に接続された装置であって、
ストリームデータソースからストリームデータを受信する通信インタフェースと、
前記通信インタフェースに接続されており、前記受信したストリームデータを記憶資源に蓄積し、前記記憶資源内のストリームデータを基に分割データを生成しその分割データを前記複数の計算機から送信先として選択した計算機に送信することで、複数の分割データを複数の計算機に分散するコントローラと
を有し、
データ要素は、ストリームデータソースで発生した時刻を示すタイムスタンプと、ストリームデータ処理における演算対象となる値とを含んでおり、
分割データは、前記ストリームデータのうちの連続した二以上のデータ要素であるデータ要素群と、分割データの終端を表すデータであるENDデータとで構成されており、前記データ要素群は、第1のパートである補助データ部と、前記第1のパートの次のパートである結果利用データ部とで構成されており、
前記コントローラは、以下の(X)を行い、
(X)前記送信先の計算機が単位時間当たりに処理可能なデータ要素の数である処理性能と、前記送信先のクエリで定義されているウィンドウサイズと、前記記憶資源に蓄積されているストリームデータを構成するデータ要素の数である蓄積データ要素数と、前記記憶資源に蓄積されているストリームデータのうち最古のデータ要素が有するタイムスタンプと最新のデータ要素が有するタイムスタンプとの差分である蓄積時間長と、前記送信先の計算機において処理されずに蓄積されているデータ要素の数である処理待ち数とに基づいて、負荷分散を行うか否かを判定する、
前記コントローラは、前記(X)の判定結果が肯定的の場合に、下記(A)乃至(E)を行い、
(A)分割データの送信先の計算機の単位時間当たりに処理可能なデータ要素数で構成されたデータ要素群を前記ストリームデータから取得し、
(B)前記(A)で取得したデータ要素群の補助データ部を、処理内容とデータ範囲サイズであるウィンドウサイズとが前記送信先の計算機について定義されたクエリが表す前記ウィンドウサイズを基に決定し、
(C)前記データ要素群と前記ENDデータとを含んだ分割データを生成し、
(D)前記(B)で決定された補助データ部に続く結果利用データ部の先頭のデータ要素を特定するための情報である結果利用特定情報を、前記送信先の計算機に送信し、
(E)前記分割データを前記送信先の計算機に送信する、
を行い、
前記ウィンドウサイズは、データ要素のタイムスタンプの範囲としての時間を表しており、
前記(B)で決定された補助データ部を構成するデータ要素の数Kは、前記ウィンドウサイズが表す値と同じであり、
前記(X)の判定結果は、下記の(x1)乃至(x3)を満たす場合に肯定的となる、
(x1)前記送信先の計算機の処理性能から前記処理待ち数を引いた値が、正の値である、
(x2)前記蓄積データ要素数が、前記処理性能から前記処理待ち数を引いた値よりも大きい、
(x3)前記蓄積時間長が、前記ウィンドウサイズの2倍よりも大きい、
ストリームデータ処理装置。 - 請求項1乃至4のいずれか1項に記載の装置であって、
前記(A)で取得されたデータ要素群を構成するデータ要素の数は、前記送信先の計算機が単位時間当たりに処理可能なデータ要素の数である処理性能と同じ数、又は、その数よりも1少ない数である、
ストリームデータ処理装置。 - 請求項1乃至4のいずれか1項に記載の装置であって、
前記(A)で取得されたデータ要素群を構成するデータ要素の数は、前記送信先の計算機が単位時間当たりに処理可能なデータ要素の数である処理性能から、前記送信先の計算機において処理されずに蓄積されているデータ要素の数である処理待ち数を引いた値と同じ数、又は、その数よりも1少ない数である、
ストリームデータ処理装置。 - 請求項1乃至4のいずれか1項に記載の装置であって、
前記コントローラは、前記(E)の後、前記分割データに含まれるデータ要素群のうち、演算対象となる終端のデータ要素から連続したK個のデータ要素以外のデータ要素を削除し、
前記Kの値は、前記補助データ部を構成するデータ要素の数と同じ値である、
ストリームデータ処理装置。 - 時系列の複数のデータ要素で構成されているストリームデータの処理方法であって、
(A)ストリームデータソースからストリームデータを受信し、
(B)前記受信したストリームデータを記憶資源に蓄積し、
(C)前記記憶資源内のストリームデータを基に分割データを生成し、その分割データを前記複数の計算機から送信先として選択した計算機に送信することで、複数の分割データを複数の計算機に分散し、
前記データ要素は、ストリームデータソースで発生した時刻を示すタイムスタンプと、ストリームデータ処理における演算対象となる値とを含んでおり、
前記分割データは、前記ストリームデータのうちの連続した二以上のデータ要素であるデータ要素群と、分割データの終端を表すデータであるENDデータとで構成されており、前記データ要素群は、第1のパートである補助データ部と、前記第1のパートの次のパートである結果利用データ部とで構成されており、
以下の(X)を行い、
(X)前記送信先の計算機が単位時間当たりに処理可能なデータ要素の数である処理性能と、前記送信先のクエリで定義されているウィンドウサイズと、前記記憶資源に蓄積されているストリームデータを構成するデータ要素の数である蓄積データ要素数とに基づいて、負荷分散を行うか否かを判定する、
前記(X)の判定結果が肯定的の場合に、前記(C)において、下記(c1)乃至(c5)を行い、
(c1)分割データの送信先の計算機の単位時間当たりに処理可能なデータ要素数で構成されたデータ要素群を前記ストリームデータから取得し、
(c2)前記(c1)で取得したデータ要素群の補助データ部を、処理内容とデータ範囲サイズであるウィンドウサイズとが前記送信先の計算機について定義されたクエリが表す前記ウィンドウサイズを基に決定し、
(c3)前記データ要素群と前記ENDデータとを含んだ分割データを生成し、
(c4)前記(c2)で決定された補助データ部に続く結果利用データ部の先頭のデータ要素を特定するための情報である結果利用特定情報を、前記送信先の計算機に送信し、
(c5)前記分割データを前記送信先の計算機に送信する、
前記ウィンドウサイズは、データ要素の個数を表しており、
前記(B)で決定された補助データ部を構成するデータ要素の数Kは、前記ウィンドウサイズから1を引いた数であり、
前記(X)の判定結果は、下記の(x1)及び(x2)を満たす場合に肯定的となる、
(x1)前記蓄積データ要素数が、前記処理性能よりも大きい、
(x2)前記蓄積データ要素数が、前記ウィンドウサイズの2倍よりも大きい、
ストリームデータ処理方法。 - 時系列の複数のデータ要素で構成されているストリームデータの処理をコンピュータに実行させるためのコンピュータプログラムであって、
(A)ストリームデータソースからストリームデータを受信し、
(B)前記受信したストリームデータを記憶資源に蓄積し、
(C)前記記憶資源内のストリームデータを基に分割データを生成し、その分割データを前記複数の計算機から送信先として選択した計算機に送信することで、複数の分割データを複数の計算機に分散し、
をコンピュータに実行させ、
前記データ要素は、ストリームデータソースで発生した時刻を示すタイムスタンプと、ストリームデータ処理における演算対象となる値とを含んでおり、タイムスタンプは、そのタイムタンプを含んだデータ要素の発生した時刻を表しており、
前記分割データは、前記ストリームデータのうちの連続した二以上のデータ要素であるデータ要素群と、分割データの終端を表すデータであるENDデータとで構成されており、前記データ要素群は、第1のパートである補助データ部と、前記第1のパートの次のパートである結果利用データ部とで構成されており、
前記コンピュータに、下記(X)を実行させ、
(X)前記送信先の計算機が単位時間当たりに処理可能なデータ要素の数である処理性能と、前記送信先のクエリで定義されているウィンドウサイズと、前記記憶資源に蓄積されているストリームデータを構成するデータ要素の数である蓄積データ要素数とに基づいて、負荷分散を行うか否かを判定する、
前記(X)の判定結果が肯定的の場合に、前記(C)において、前記コンピュータに下記(c1)乃至(c5)を実行させ、
(c1)分割データの送信先の計算機の単位時間当たりに処理可能なデータ要素数で構成されたデータ要素群を前記ストリームデータから取得し、
(c2)前記(c1)で取得したデータ要素群の補助データ部を、処理内容とデータ範囲サイズであるウィンドウサイズとが前記送信先の計算機について定義されたクエリが表す前記ウィンドウサイズを基に決定し、
(c3)前記データ要素群と前記ENDデータとを含んだ分割データを生成し、
(c4)前記(c2)で決定された補助データ部に続く結果利用データ部の先頭のデータ要素を特定するための情報である結果利用特定情報を、前記送信先の計算機に送信し、
(c5)前記分割データを前記送信先の計算機に送信する、
前記ウィンドウサイズは、データ要素の個数を表しており、
前記(B)で決定された補助データ部を構成するデータ要素の数Kは、前記ウィンドウサイズから1を引いた数であり、
前記(X)の判定結果は、下記の(x1)及び(x2)を満たす場合に肯定的となる、
(x1)前記蓄積データ要素数が、前記処理性能よりも大きい、
(x2)前記蓄積データ要素数が、前記ウィンドウサイズの2倍よりも大きい、
ストリームデータの処理をコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009285785A JP4967014B2 (ja) | 2009-12-16 | 2009-12-16 | ストリームデータ処理装置及び方法 |
US12/716,713 US8782650B2 (en) | 2009-12-16 | 2010-03-03 | Distributed processing of partitioned stream data including data element group and end data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009285785A JP4967014B2 (ja) | 2009-12-16 | 2009-12-16 | ストリームデータ処理装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011128818A JP2011128818A (ja) | 2011-06-30 |
JP4967014B2 true JP4967014B2 (ja) | 2012-07-04 |
Family
ID=44144384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009285785A Expired - Fee Related JP4967014B2 (ja) | 2009-12-16 | 2009-12-16 | ストリームデータ処理装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8782650B2 (ja) |
JP (1) | JP4967014B2 (ja) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5712851B2 (ja) * | 2011-07-29 | 2015-05-07 | 富士通株式会社 | データ分割装置、データ分割方法およびデータ分割プログラム |
JP2013052817A (ja) * | 2011-09-06 | 2013-03-21 | Toyota Motor Corp | 車両用ストリームデータ管理システム |
CN103299298B (zh) * | 2011-12-31 | 2016-11-02 | 华为技术有限公司 | 处理业务的方法和*** |
US9239864B2 (en) * | 2012-04-17 | 2016-01-19 | Cisco Technology, Inc. | Distributing and processing streams over one or more networks |
US9207964B1 (en) * | 2012-11-15 | 2015-12-08 | Google Inc. | Distributed batch matching of videos with dynamic resource allocation based on global score and prioritized scheduling score in a heterogeneous computing environment |
WO2014174671A1 (ja) * | 2013-04-26 | 2014-10-30 | 株式会社日立製作所 | 計算機システム及び負荷分散方法 |
WO2014188500A1 (ja) | 2013-05-20 | 2014-11-27 | 富士通株式会社 | データストリーム処理の並列化プログラム、及びデータストリーム処理の並列化システム |
FR3008505B1 (fr) * | 2013-07-10 | 2017-03-03 | Thales Sa | Procede d'optimisation de traitement parallele de donnees sur une plateforme materielle |
US9819558B2 (en) * | 2014-03-03 | 2017-11-14 | Microsoft Technology Licensing, Llc | Streaming query resource control |
CN107729147B (zh) * | 2014-03-06 | 2021-09-21 | 华为技术有限公司 | 流计算***中的数据处理方法、控制节点及流计算*** |
US20150363800A1 (en) * | 2014-03-27 | 2015-12-17 | Google Inc. | Merchant performance evaluation in a computer networked environment |
US9959301B2 (en) | 2014-07-25 | 2018-05-01 | Cisco Technology, Inc. | Distributing and processing streams over one or more networks for on-the-fly schema evolution |
US9438676B2 (en) | 2014-07-25 | 2016-09-06 | Cisco Technology, Inc. | Speculative data processing of streaming data |
JP6442951B2 (ja) * | 2014-09-25 | 2018-12-26 | 富士通株式会社 | データ処理方法、データ処理プログラム及びデータ処理装置 |
CN104504143B (zh) * | 2015-01-04 | 2017-12-29 | 华为技术有限公司 | 一种流图优化方法及其装置 |
US10404787B1 (en) | 2015-04-06 | 2019-09-03 | EMC IP Holding Company LLC | Scalable distributed data streaming computations across multiple data processing clusters |
US10791063B1 (en) * | 2015-04-06 | 2020-09-29 | EMC IP Holding Company LLC | Scalable edge computing using devices with limited resources |
US10776404B2 (en) | 2015-04-06 | 2020-09-15 | EMC IP Holding Company LLC | Scalable distributed computations utilizing multiple distinct computational frameworks |
US10505863B1 (en) | 2015-04-06 | 2019-12-10 | EMC IP Holding Company LLC | Multi-framework distributed computation |
US10515097B2 (en) | 2015-04-06 | 2019-12-24 | EMC IP Holding Company LLC | Analytics platform for scalable distributed computations |
US10270707B1 (en) | 2015-04-06 | 2019-04-23 | EMC IP Holding Company LLC | Distributed catalog service for multi-cluster data processing platform |
US10496926B2 (en) | 2015-04-06 | 2019-12-03 | EMC IP Holding Company LLC | Analytics platform for scalable distributed computations |
US10706970B1 (en) | 2015-04-06 | 2020-07-07 | EMC IP Holding Company LLC | Distributed data analytics |
US10541938B1 (en) | 2015-04-06 | 2020-01-21 | EMC IP Holding Company LLC | Integration of distributed data processing platform with one or more distinct supporting platforms |
US10860622B1 (en) * | 2015-04-06 | 2020-12-08 | EMC IP Holding Company LLC | Scalable recursive computation for pattern identification across distributed data processing nodes |
US10509684B2 (en) | 2015-04-06 | 2019-12-17 | EMC IP Holding Company LLC | Blockchain integration for scalable distributed computations |
US10511659B1 (en) | 2015-04-06 | 2019-12-17 | EMC IP Holding Company LLC | Global benchmarking and statistical analysis at scale |
US10425350B1 (en) | 2015-04-06 | 2019-09-24 | EMC IP Holding Company LLC | Distributed catalog service for data processing platform |
US10812341B1 (en) * | 2015-04-06 | 2020-10-20 | EMC IP Holding Company LLC | Scalable recursive computation across distributed data processing nodes |
US10528875B1 (en) | 2015-04-06 | 2020-01-07 | EMC IP Holding Company LLC | Methods and apparatus implementing data model for disease monitoring, characterization and investigation |
US10541936B1 (en) | 2015-04-06 | 2020-01-21 | EMC IP Holding Company LLC | Method and system for distributed analysis |
US9875281B2 (en) | 2015-06-10 | 2018-01-23 | International Business Machines Corporation | Performance monitoring of wait times |
US10656861B1 (en) | 2015-12-29 | 2020-05-19 | EMC IP Holding Company LLC | Scalable distributed in-memory computation |
JP6638544B2 (ja) | 2016-04-27 | 2020-01-29 | 富士通株式会社 | 複合イベント処理プログラム、情報処理装置、情報処理システム、及び複合イベント処理方法 |
US10459922B2 (en) | 2016-11-08 | 2019-10-29 | At&T Intellectual Property I, L.P. | Unique identification generation for records in a data streaming processing system |
US10374968B1 (en) | 2016-12-30 | 2019-08-06 | EMC IP Holding Company LLC | Data-driven automation mechanism for analytics workload distribution |
WO2018216139A1 (ja) * | 2017-05-24 | 2018-11-29 | 三菱電機株式会社 | データ処理システム、データ処理装置およびデータ処理プログラム |
US10902000B2 (en) | 2017-09-29 | 2021-01-26 | Oracle International Corporation | Heartbeat propagation in a distributed stream processing system |
US10826801B1 (en) | 2019-07-31 | 2020-11-03 | Bank Of America Corporation | Multi-level data channel and inspection architectures |
US11115310B2 (en) | 2019-08-06 | 2021-09-07 | Bank Of America Corporation | Multi-level data channel and inspection architectures having data pipes in parallel connections |
US11470046B2 (en) | 2019-08-26 | 2022-10-11 | Bank Of America Corporation | Multi-level data channel and inspection architecture including security-level-based filters for diverting network traffic |
CN110825061B (zh) * | 2019-11-29 | 2023-08-11 | 新疆新能集团有限责任公司乌鲁木齐电力建设调试所 | 一种分散处理单元的流数据二维处理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09265459A (ja) * | 1996-03-28 | 1997-10-07 | Mitsubishi Electric Corp | データ処理装置の制御方法 |
US6801938B1 (en) * | 1999-06-18 | 2004-10-05 | Torrent Systems, Inc. | Segmentation and processing of continuous data streams using transactional semantics |
JP2006252394A (ja) * | 2005-03-14 | 2006-09-21 | Sony Corp | 情報処理システム、情報処理装置および方法、並びにプログラム |
JP4687253B2 (ja) | 2005-06-03 | 2011-05-25 | 株式会社日立製作所 | ストリームデータ処理システムのクエリ処理方法 |
US7487206B2 (en) * | 2005-07-15 | 2009-02-03 | International Business Machines Corporation | Method for providing load diffusion in data stream correlations |
JP4723301B2 (ja) * | 2005-07-21 | 2011-07-13 | 株式会社日立製作所 | ストリームデータ処理システムおよびストリームデータ処理方法 |
US7945540B2 (en) * | 2007-05-04 | 2011-05-17 | Oracle International Corporation | Method to create a partition-by time/tuple-based window in an event processing service |
JP2009087190A (ja) * | 2007-10-02 | 2009-04-23 | Nec Corp | ストリームデータ解析高速化装置、方法およびプログラム |
-
2009
- 2009-12-16 JP JP2009285785A patent/JP4967014B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-03 US US12/716,713 patent/US8782650B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011128818A (ja) | 2011-06-30 |
US20110145828A1 (en) | 2011-06-16 |
US8782650B2 (en) | 2014-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4967014B2 (ja) | ストリームデータ処理装置及び方法 | |
US7953691B2 (en) | Performance evaluating apparatus, performance evaluating method, and program | |
JP5664098B2 (ja) | 複合イベント分散装置、複合イベント分散方法および複合イベント分散プログラム | |
JP5018774B2 (ja) | 監視装置、監視システム、監視方法およびプログラム | |
US20150341239A1 (en) | Identifying Problems In A Storage Area Network | |
JP2004206495A (ja) | 管理システム、管理計算機、管理方法及びプログラム | |
US20110113429A1 (en) | Incident management method and operation management server | |
JP2014123354A (ja) | グラフデータの再帰クエリを用いたストリームデータ処理方法 | |
US20180067995A1 (en) | Sensor Data Search System, Sensor Data Search Method and Management Computer | |
JP2007087232A (ja) | システム構成変更によるポリシ修正を容易にするポリシ作成方法、及びポリシ管理方法 | |
JP2008033725A (ja) | 運用管理システム、監視装置、監視設定情報生成方法及びプログラム | |
US7613680B2 (en) | Computer system and the computer control method | |
JP6451359B2 (ja) | 通信記録装置、通信記録システム、通信記録プログラムおよび通信記録方法 | |
JP5050878B2 (ja) | 監視装置、監視システム、監視方法およびプログラム | |
CN108932241B (zh) | 日志数据统计方法、装置及节点 | |
JP2010128597A (ja) | 情報処理装置及び情報処理装置の運用方法 | |
JP2005128866A (ja) | 計算機装置及び計算機装置の制御方法 | |
CN112102040A (zh) | 一种分布式环境下全局库存控制方法及*** | |
US10904324B2 (en) | Computer system and method of controlling data processing | |
CN115080215A (zh) | 由状态监控芯片在计算节点间进行任务调度的方法及*** | |
US20220300509A1 (en) | Database system, distributed processing apparatus, database apparatus, distributed processing method and distributed processing program | |
JP2019502969A (ja) | スーパーコンピュータの保守および最適化を支援するための方法およびシステム | |
WO2014075425A1 (zh) | 数据处理方法、计算节点及*** | |
US11132235B2 (en) | Data processing method, distributed data processing system and storage medium | |
JP2012123539A (ja) | 管理装置、管理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120402 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |