JP6114473B2 - 時間調整を使用したストリームデータ処理方法 - Google Patents
時間調整を使用したストリームデータ処理方法 Download PDFInfo
- Publication number
- JP6114473B2 JP6114473B2 JP2016521387A JP2016521387A JP6114473B2 JP 6114473 B2 JP6114473 B2 JP 6114473B2 JP 2016521387 A JP2016521387 A JP 2016521387A JP 2016521387 A JP2016521387 A JP 2016521387A JP 6114473 B2 JP6114473 B2 JP 6114473B2
- Authority
- JP
- Japan
- Prior art keywords
- interval
- stream data
- tuple
- column
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
Description
図4Aは、実施例に係る、ストリームデータ処理サーバ121の例を示す。ストリームデータ処理サーバ121は、メモリ402、1又は複数の中央演算ユニット(CPU)401、ネットワークインタフェースコントローラ403、ホストバスアダプタ(HBA)404、1又は複数のHDD405、を含むことができる。図4Aにおいて、ストリームデータ間隔設定部411は、ストリームデータ間隔設定コマンドを受信し、ストリームデータ間隔定義テーブル418を更新する。RStream出力間隔設定部412は、rstream出力間隔設定コマンドを受信し、RStream出力間隔定義テーブル419を更新する。クエリパーサ413は、クエリ151をパースして、クエリ実行部431を生成する。入力間隔チェック生成部414は、入力間隔チェック部432をクエリ実行部431の前に挿入し、さらに、間隔調整タプル生成部433を挿入して、入力間隔チェック部432と接続する。列ウィンドウ変換部415は、範囲スライディングウィンドウ演算子を、列スライディング演算子に置き換える。
図13は、ストリームデータ処理サーバの実施例を示し、図4Aに類似する。クエリ151は、クエリ1351に変更されている。図13において、ストリームデータ間隔設定部411は、ストリームデータ間隔設定部1311に変更されている。クエリ1351におけるストリームデータ間隔定義をパースし、ストリームデータ間隔定義テーブル418を更新する。RStream出力間隔設定部412は、RStream出力間隔設定部1312に変更されている。クエリ1351におけるrstream出力間隔定義をパースし、RStream出力間隔定義テーブル419を更新する。
図16は、ストリームデータ処理サーバの実施例を示し、図4Aに類似する。クエリ変換部1601は、クエリストリングを変換し、入力間隔チェック生成部414、列ウィンドウ変換部1603、RStream変換部1604、出力タイムスタンプ調整生成部417を、呼び出す。入力間隔チェック生成部414と出力タイムスタンプ調整生成部417とは、図4Aと同様である。
Claims (6)
- 処理を実行する命令を含む計算機プログラムであって、前記命令は、
1以上のストリームデータ間隔定義を、ストリームデータ間隔情報から決定し、
ストリームデータの定期的な到着を検出する入力間隔チェック部を、前記1以上のストリームデータ間隔定義に基づいて生成し、
前記1以上のストリームデータ間隔定義の各ストリームデータ間隔定義のために、クエリ実行部を構成する、ことを含み、
前記クエリ実行部は、
前記1以上のストリームデータ間隔定義の各ストリームデータ間隔定義と関連づけられた前記クエリ実行部の1以上の範囲ウィンドウ演算子を決定し、
前記決定された1以上の範囲ウィンドウ演算子を、列スライディングウィンドウ演算子又は分割列スライディングウィンドウ演算子の一方、に変更し、
前記クエリ実行部の列ウィンドウサイズを調整する、ことにより構成され、
前記クエリ実行部を構成することは、
前記ストリームデータの周期的な到着が調整される場合、間隔調整タプル生成部を挿入し、前記入力間隔チェック部と接続する、ことを含み、
前記間隔調整タプル生成部は、1以上の超過タプルを受信した場合に少なくとも一つのタプルを廃棄し、タプルの省略を検出した場合に間隔調整タプルを挿入する、計算機プログラム。 - 請求項1に記載の計算機プログラムであって、前記命令はさらに、
前記ストリームデータの周期的な到着が調整される場合、
受信されたタプルの数が受信すべき間隔より大きい場合に、前記ストリームデータの前記周期的な到着からタプルを廃棄し、
受信されたタプルの数が受信すべき間隔より小さい場合に、前記間隔調整タプル生成部における間隔調整バッファから同一グループ化値を有する前回タプルを挿入し、
前記間隔調整タプル生成部における前記間隔調整バッファから前記同一グループ化値を有する前記前回タプルを削除する、ことを含む、計算機プログラム。 - 1以上のストリームデータ間隔定義を、ストリームデータ間隔情報から決定し、
ストリームデータの定期的な到着を検出する入力間隔チェック部を、前記1以上のストリームデータ間隔定義に基づいて生成し、
前記1以上のストリームデータ間隔定義の各ストリームデータ間隔定義のために、クエリ実行部を構成する、ことを含み、
前記クエリ実行部を構成することは、
前記1以上のストリームデータ間隔定義の各ストリームデータ間隔定義と関連づけられた前記クエリ実行部の1以上の範囲ウィンドウ演算子を決定し、
前記決定された1以上の範囲ウィンドウ演算子を、列スライディングウィンドウ演算子又は分割列スライディングウィンドウ演算子の一方、に変更し、
前記クエリ実行部の列ウィンドウサイズを調整し、
前記クエリ実行部を構成することは、
前記ストリームデータの周期的な到着が調整される場合、間隔調整タプル生成部を挿入し、前記入力間隔チェック部と接続する、ことを含み、
前記間隔調整タプル生成部は、1以上の超過タプルを受信した場合に少なくとも一つのタプルを廃棄し、タプルの省略を検出した場合に間隔調整タプルを挿入する、方法。 - 請求項3に記載の方法であって、
前記ストリームデータの周期的な到着が調整される場合、
受信されたタプルの数が受信すべき間隔より大きい場合に、前記ストリームデータの前記周期的な到着からタプルを廃棄し、
受信されたタプルの数が受信すべき間隔より小さい場合に、前記間隔調整タプル生成部における間隔調整バッファから同一グループ化値を有する前回タプルを挿入し、
前記間隔調整タプル生成部における前記間隔調整バッファから前記同一グループ化値を有する前記前回タプルを削除する、ことを含む、方法。 - プロセッサを含むサーバであって、前記プロセッサは、
1以上のストリームデータ間隔定義を、ストリームデータ間隔情報から決定し、
ストリームデータの定期的な到着を検出する入力間隔チェック部を、前記1以上のストリームデータ間隔定義に基づいて生成し、
前記1以上のストリームデータ間隔定義の各ストリームデータ間隔定義のために、クエリ実行部を構成し、
前記クエリ実行部の構成を、
前記1以上のストリームデータ間隔定義の各ストリームデータ間隔定義と関連づけられた前記クエリ実行部の1以上の範囲ウィンドウ演算子を決定し、
前記決定された1以上の範囲ウィンドウ演算子を、列スライディングウィンドウ演算子又は分割列スライディングウィンドウ演算子の一方、に変更し、
前記クエリ実行部の列ウィンドウサイズを調整する、ことにより行い、
前記ストリームデータの周期的な到着が調整される場合、間隔調整タプル生成部を挿入し、前記入力間隔チェック部と接続することにより、前記クエリ実行部を構成し、
前記間隔調整タプル生成部は、1以上の超過タプルを受信した場合に少なくとも一つのタプルを廃棄し、タプルの省略を検出した場合に間隔調整タプルを挿入する、サーバ。 - 請求項5に記載のサーバであって、前記プロセッサは、
前記ストリームデータの周期的な到着が調整される場合、
受信されたタプルの数が受信すべき間隔より大きい場合に、前記ストリームデータの前記周期的な到着からタプルを廃棄し、
受信されたタプルの数が受信すべき間隔より小さい場合に、前記間隔調整タプル生成部における間隔調整バッファから同一グループ化値を有する前回タプルを挿入し、
前記間隔調整タプル生成部における前記間隔調整バッファから前記同一グループ化値を有する前記前回タプルを削除する、サーバ。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2013/047120 WO2014204489A2 (en) | 2013-06-21 | 2013-06-21 | Stream data processing method with time adjustment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016526719A JP2016526719A (ja) | 2016-09-05 |
JP6114473B2 true JP6114473B2 (ja) | 2017-04-12 |
Family
ID=52105457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016521387A Active JP6114473B2 (ja) | 2013-06-21 | 2013-06-21 | 時間調整を使用したストリームデータ処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10331672B2 (ja) |
JP (1) | JP6114473B2 (ja) |
WO (1) | WO2014204489A2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6114473B2 (ja) * | 2013-06-21 | 2017-04-12 | 株式会社日立製作所 | 時間調整を使用したストリームデータ処理方法 |
CN106911589B (zh) * | 2015-12-22 | 2020-04-24 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和设备 |
US20170220616A1 (en) * | 2016-02-02 | 2017-08-03 | International Business Machines Corporation | Efficiently applying timestamps to high volume streaming data |
WO2018002976A1 (ja) * | 2016-06-27 | 2018-01-04 | 株式会社日立製作所 | 管理装置、実行環境設定方法、ストリームデータ処理システム |
US10514952B2 (en) * | 2016-09-15 | 2019-12-24 | Oracle International Corporation | Processing timestamps and heartbeat events for automatic time progression |
US10417235B2 (en) | 2017-02-03 | 2019-09-17 | International Business Machines Corporation | Window management in a stream computing environment |
WO2019033397A1 (en) * | 2017-08-18 | 2019-02-21 | Paypal, Inc. | REAL-TIME DATA PROCESSING AT SELF-GENERATION |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6842715B1 (en) * | 2003-07-21 | 2005-01-11 | Qualcomm Incorporated | Multiple measurements per position fix improvements |
US8639520B2 (en) * | 2003-10-06 | 2014-01-28 | Cerner Innovations, Inc. | System and method for creating a visualization indicating relationships and relevance to an entity |
US7447666B2 (en) * | 2004-04-09 | 2008-11-04 | The Boeing Company | System and method for analyzing a pattern in a time-stamped event sequence |
KR100813000B1 (ko) * | 2005-12-01 | 2008-03-13 | 한국전자통신연구원 | 데이터 중복 처리 방지 기능을 가지는 스트림 데이터 처리시스템 및 그 방법 |
US7548937B2 (en) * | 2006-05-04 | 2009-06-16 | International Business Machines Corporation | System and method for scalable processing of multi-way data stream correlations |
JP4804233B2 (ja) * | 2006-06-09 | 2011-11-02 | 株式会社日立製作所 | ストリームデータ処理方法 |
JP4933222B2 (ja) * | 2006-11-15 | 2012-05-16 | 株式会社日立製作所 | インデックス処理方法及び計算機システム |
US7945540B2 (en) * | 2007-05-04 | 2011-05-17 | Oracle International Corporation | Method to create a partition-by time/tuple-based window in an event processing service |
US8392381B2 (en) * | 2007-05-08 | 2013-03-05 | The University Of Vermont And State Agricultural College | Systems and methods for reservoir sampling of streaming data and stream joins |
US20080301135A1 (en) * | 2007-05-29 | 2008-12-04 | Bea Systems, Inc. | Event processing query language using pattern matching |
US7979420B2 (en) * | 2007-10-16 | 2011-07-12 | Oracle International Corporation | Handling silent relations in a data stream management system |
US7991766B2 (en) * | 2007-10-20 | 2011-08-02 | Oracle International Corporation | Support for user defined aggregations in a data stream management system |
JP5377897B2 (ja) * | 2007-10-29 | 2013-12-25 | 株式会社日立製作所 | ストリームデータのランキングクエリ処理方法およびランキングクエリ処理機構を有するストリームデータ処理システム |
JP5198929B2 (ja) * | 2008-04-25 | 2013-05-15 | 株式会社日立製作所 | ストリームデータ処理方法及び計算機システム |
JP5337447B2 (ja) * | 2008-10-28 | 2013-11-06 | 株式会社日立製作所 | ストリームデータ処理方法、及びシステム |
JP5154366B2 (ja) * | 2008-10-28 | 2013-02-27 | 株式会社日立製作所 | ストリームデータ処理プログラム及び計算機システム |
JP4659877B2 (ja) * | 2008-12-03 | 2011-03-30 | 株式会社日立製作所 | ストリームデータ処理制御方法、ストリームデータ処理装置及びストリームデータ処理制御プログラム |
US8180801B2 (en) * | 2009-07-16 | 2012-05-15 | Sap Ag | Unified window support for event stream data management |
JP5396184B2 (ja) * | 2009-07-31 | 2014-01-22 | 株式会社日立製作所 | 計算機システム及び複数計算機によるストリームデータ分散処理方法 |
JP4880025B2 (ja) * | 2009-11-26 | 2012-02-22 | 株式会社日立製作所 | ストリームデータ処理方法、ストリームデータ処理プログラム及びストリームデータ処理装置 |
US8661014B2 (en) * | 2010-09-23 | 2014-02-25 | Hewlett-Packard Development Company, L.P. | Stream processing by a query engine |
US8620945B2 (en) * | 2010-09-23 | 2013-12-31 | Hewlett-Packard Development Company, L.P. | Query rewind mechanism for processing a continuous stream of data |
US8788484B2 (en) * | 2010-12-27 | 2014-07-22 | Software Ag | Systems and/or methods for user feedback driven dynamic query rewriting in complex event processing environments |
JP5634607B2 (ja) * | 2011-07-20 | 2014-12-03 | 株式会社日立製作所 | ストリームデータ処理サーバ及びストリームデータ処理プログラムを記録した記録媒体 |
US9361342B2 (en) * | 2011-10-10 | 2016-06-07 | Hewlett Packard Enterprise Development Lp | Query to streaming data |
US9910118B2 (en) * | 2012-04-20 | 2018-03-06 | University Of Virginia Patent Foundation | Systems and methods for cartesian dynamic imaging |
US8768956B2 (en) * | 2012-04-25 | 2014-07-01 | Hitachi, Ltd. | Stream data processing method with multiple windows on single stream |
KR101959562B1 (ko) * | 2012-07-03 | 2019-03-18 | 삼성전자 주식회사 | 데이터 스트림에서 효율적인 다중 연속 집계 질의 처리 장치 및 방법 |
US9563663B2 (en) * | 2012-09-28 | 2017-02-07 | Oracle International Corporation | Fast path evaluation of Boolean predicates |
JP5433760B2 (ja) * | 2012-10-18 | 2014-03-05 | 株式会社日立製作所 | 会議分析システム |
US9400823B2 (en) * | 2012-12-20 | 2016-07-26 | Hitachi, Ltd. | Stream data processing method on recursive query of graph data |
US10298444B2 (en) * | 2013-01-15 | 2019-05-21 | Oracle International Corporation | Variable duration windows on continuous data streams |
US9596279B2 (en) * | 2013-02-08 | 2017-03-14 | Dell Products L.P. | Cloud-based streaming data receiver and persister |
US9477722B1 (en) * | 2013-03-07 | 2016-10-25 | Arris Enterprises, Inc. | Sliding window view constructs in relational database query language |
US9674249B1 (en) * | 2013-03-11 | 2017-06-06 | DataTorrent, Inc. | Distributed streaming platform for real-time applications |
JP6114473B2 (ja) * | 2013-06-21 | 2017-04-12 | 株式会社日立製作所 | 時間調整を使用したストリームデータ処理方法 |
-
2013
- 2013-06-21 JP JP2016521387A patent/JP6114473B2/ja active Active
- 2013-06-21 US US14/898,727 patent/US10331672B2/en active Active
- 2013-06-21 WO PCT/US2013/047120 patent/WO2014204489A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2014204489A2 (en) | 2014-12-24 |
US20160125033A1 (en) | 2016-05-05 |
JP2016526719A (ja) | 2016-09-05 |
US10331672B2 (en) | 2019-06-25 |
WO2014204489A3 (en) | 2015-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6114473B2 (ja) | 時間調整を使用したストリームデータ処理方法 | |
US11882054B2 (en) | Terminating data server nodes | |
US9396158B2 (en) | Stream application performance monitoring metrics | |
US20190165990A1 (en) | Variable duration windows on continuous data streams | |
JP6190255B2 (ja) | グラフデータの再帰クエリを用いたストリームデータ処理方法 | |
JP5906161B2 (ja) | シングルストリームの複数ウィンドウでのストリームデータ処理方法 | |
JP5377897B2 (ja) | ストリームデータのランキングクエリ処理方法およびランキングクエリ処理機構を有するストリームデータ処理システム | |
US8730819B2 (en) | Flexible network measurement | |
US9910896B2 (en) | Suspending and resuming continuous queries over data streams | |
EP3096250B1 (en) | System and method for distributed database query engines | |
JP5154366B2 (ja) | ストリームデータ処理プログラム及び計算機システム | |
US8290939B2 (en) | Visualizing query results in stream processing systems | |
US20140201225A1 (en) | Variable duration non-event pattern matching | |
US9959301B2 (en) | Distributing and processing streams over one or more networks for on-the-fly schema evolution | |
WO2019120093A1 (en) | Cardinality estimation in databases | |
US20210089426A1 (en) | Parsing hierarchical session log data for search and analytics | |
Yue et al. | Deco: Fast and Accurate Decentralized Aggregation of Count-Based Windows in Large-Scale IoT Applications. | |
JP5594460B2 (ja) | 送信情報制御装置、方法及びプログラム | |
CN117112697A (zh) | 数据管理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6114473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |