JP5939583B2 - 抽出装置、データ処理システム、抽出方法および抽出プログラム - Google Patents
抽出装置、データ処理システム、抽出方法および抽出プログラム Download PDFInfo
- Publication number
- JP5939583B2 JP5939583B2 JP2013257689A JP2013257689A JP5939583B2 JP 5939583 B2 JP5939583 B2 JP 5939583B2 JP 2013257689 A JP2013257689 A JP 2013257689A JP 2013257689 A JP2013257689 A JP 2013257689A JP 5939583 B2 JP5939583 B2 JP 5939583B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- processing
- query
- nodes
- stream data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 209
- 238000000605 extraction Methods 0.000 title claims description 47
- 238000000034 method Methods 0.000 claims description 55
- 238000006243 chemical reaction Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 47
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
- G06F16/2445—Data retrieval commands; View definitions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
Description
(i)複数のテーブルを結合(join)する処理がある場合、入力されたデータを直積したデータ・サイズを計算する。
(ii)where節、having節がある場合、予め過去に蓄積されたデータ(統計情報)からその各条件のフィルタ率、すなわち該当するデータを抽出できる確率を求めておき、上記(i)の処理後のデータに対して、そのフィルタ率を適用したときのデータ・サイズを計算する。ここで、having節は、where節と同様、条件を指定するものであるが、AVG等の集約演算において使用されるコマンドである。
(iii)上記(ii)の処理後のデータに対して、Select処理で選択されるカラム選択率を適用したときのデータ・サイズを計算する。ここで、カラム選択率は、選択されるカラム数を、入力されるデータのカラム数を除することにより算出される値である。
(a)メモリ増加量は、入力されるデータのデータ量とされ、データ・レート×バッファリング時間により算出する。すなわち、4MB/sec×1sec=4MBとなる。
(b)操作対象データ・サイズは、上記(a)で算出したメモリ増加量+そのメモリ増加量×フィルタ率により算出する。すなわち、4MB+4MB×0.01=4.04MBとなる。
(c)RDBMSで処理を行う場合の処理時間tRDBMSは、上記(a)で算出したメモリ増加量×RDBMSで処理を行う場合の単位データ・スキャン時間+上記(b)で算出した操作対象データ・サイズ×RDBMSで処理を行う場合の単位データ操作時間により算出する。すなわち、tRDBMS=4MB×10sec/MB+4.04MB×2sec/MB=48.08secとなる。
(d)ストリーム・データ処理を行う場合の処理時間tSは、上記(a)で算出したメモリ増加量×ストリーム・データ処理における単位データ・スキャン時間+上記(b)で算出した操作対象データ・サイズ×ストリーム・データ処理における単位データ操作時間により算出する。すなわち、tS=4MB×2sec/MB+4.04MB×1sec/MB=12.04secとなる。
(e)削減される処理時間tDは、tRDBMS−tSにより算出する。すなわち、tD=48.08sec−12.04sec=36.04secとなる。
(f)ノード72へ出力するデータのデータ・サイズは、上記(a)で算出したメモリ増加量×フィルタ率×カラム選択率により算出する。カラム選択率は、選択されるカラム数が1で、入力されるカラム数が100であるため、1/100=0.01である。すると、このデータ・サイズは、4MB×0.01×0.01=0.0004MB(0.4kB)となる。
(a’)メモリ増加量は、入力されるデータであり、1.2MBである。
(b’)操作対象データ・サイズは、上記(a’)と同じ1.2MBである。
(c’)tRDBMSは、1.2MB×10sec/MB+1.2MB×2sec/MB=14.4secとなる。
(d’)tSは、1.2MB×2sec/MB+1.2MB×1sec/MB=3.6secとなる。
(e’)tDは、14.4sec−3.6sec=10.8secとなる。
(f’)ノード72へ出力するデータのデータ・サイズは、上記(a’)のメモリ増加量×カラム選択率により算出する。カラム選択率は、選択されるカラム数が1で、入力されるカラム数が30であるため、1/30である。すると、このデータ・サイズは、1.2MB×1/30=0.04MB(40kB)となる。
(a”)メモリ増加量は、WINDOW時間分の入力データで、WINDOW時間分のノード70から出力されるデータと、WINDOW時間分のノード71から出力されるデータとの直積により算出する。ここでは、WINDOW時間を10分(600sec)とする。すると、(0.4kB×600sec)×(40kB×600sec)=5760000kB(5760MB)となる。
(b”)操作対象データ・サイズは、上記(a”)と同じ5760MBである。
(c”)tRDBMSは、5760MB×10sec/MB+5760MB×2sec/MB=69120secとなる。
(d”)tSは、5760MB×2sec/MB+5760MB×1sec/MB=17280secとなる。
(e”)tDは、69120sec−17280sec=51840secとなる。
Claims (16)
- データベースを管理するデータベース管理システムに発行する1以上の命令をサブクエリーとして含むクエリーから、前記データベースへ継続的に入力されるストリーム・データに対して処理を行うためのプログラムに変換するサブクエリーを変換対象として抽出する抽出装置であって、
前記クエリーと、前記ストリーム・データの処理により使用量が増加するメモリの最大メモリ増加量と、前記データベース管理システムが前記クエリーを実行した場合と比較して前記プログラムにより前記ストリーム・データを処理した場合に削減される単位メモリ増加量当たりの処理時間としての効率の下限値との入力を受け付ける入力部と、
前記クエリーに含まれる各前記サブクエリーにつき、前記プログラムに変換して前記ストリーム・データを処理した場合のメモリ増加量と、前記データベース管理システムが実行した場合と比較して前記ストリーム・データを処理した場合に削減される処理時間とを計算し、計算した少なくとも1つの前記メモリ増加量と前記削減される処理時間とを用いて前記効率を算出する演算部と、
算出された前記効率が前記下限値以上の前記サブクエリーを少なくとも1つ選択し、選択した前記サブクエリーにつき計算されたメモリ増加量を積算し、積算した前記メモリ増加量が前記最大メモリ増加量以下となることを条件として、選択した前記サブクエリーを前記変換対象として抽出する抽出部とを含む、抽出装置。 - 前記抽出部は、算出された前記効率が大きい順に前記サブクエリーを選択する、請求項1に記載の抽出装置。
- 前記クエリーを構文解析し、各前記サブクエリーを各ノードとするツリー構造で表されるグラフを生成するグラフ生成部と、
前記クエリーを構文解析した結果に基づき、前記各ノードにつき、入力されたデータを処理し、処理結果を出力するパイプライン処理が可能な第1ノードか、前記パイプライン処理が不可の第2ノードかを決定し、生成された前記グラフを参照して、根ノードから階層的に繋がるノードが前記第1ノードのみからなる1以上の第1ノード群と、残りのノードからなる1以上の第2ノード群とに分類する分類部とをさらに含み、
前記抽出部は、前記第1ノード群に分類されたノードにつき、前記効率が前記下限値以上であるノードを選択し、前記変換対象を抽出する、請求項1に記載の抽出装置。 - 前記分類部は、前記グラフを参照して、1以上の前記第2ノード群を、葉ノードから階層的に繋がるノードが前記第1ノードのみからなる1以上の第3ノード群と、残りのノードからなる1以上の第4ノード群に分類し、
前記抽出部は、前記第1ノード群に分類されたノードにつき、前記下限値以上であるノードを選択し、前記変換対象を全て抽出した後、積算した前記メモリ増加量が前記最大メモリ増加量に達していない場合、前記第3ノード群に分類されたノードにつき、前記効率が前記下限値以上であるノードを選択し、前記変換対象を抽出する、請求項3に記載の抽出装置。 - 前記演算部は、前記メモリ増加量と前記削減される処理時間を、前記ストリーム・データのデータ・レート、前記ストリーム・データに対して処理を行う時間範囲、過去に前記クエリーを実行した結果から得られた統計情報、前記クエリーの操作に関する情報に基づき算出する、請求項1に記載の抽出装置。
- 請求項1に記載の抽出装置と、前記抽出装置により抽出された変換対象のサブクエリーを、ストリーム・データを処理するためのプログラムに変換し、変換されない残りのサブクエリーを生成する変換装置と、変換された前記プログラムを実行して、前記ストリーム・データを処理し、処理結果を出力する第1処理装置と、前記残りのクエリーを実行し、前記処理結果とデータベースに格納されたストリーム・データとに対して処理を行う該データベースを管理するデータベース管理システムを備える第2処理装置とを含む、データ処理システム。
- データベースを管理するデータベース管理システムに発行する1以上の命令をサブクエリーとして含むクエリーから、前記データベースへ継続的に入力されるストリーム・データに対して処理を行うためのプログラムに変換するサブクエリーを変換対象として抽出する方法であって、
前記クエリーと、前記ストリーム・データの処理により使用量が増加するメモリの最大メモリ増加量と、前記データベース管理システムが前記クエリーを実行した場合と比較して前記プログラムにより前記ストリーム・データを処理した場合に削減される単位メモリ増加量当たりの処理時間としての効率の下限値との入力を受け付けるステップと、
前記クエリーに含まれる各前記サブクエリーにつき、前記プログラムに変換して前記ストリーム・データを処理した場合のメモリ増加量と、前記データベース管理システムが実行した場合と比較して前記ストリーム・データを処理した場合に削減される処理時間とを計算し、計算した少なくとも1つの前記メモリ増加量と前記削減される処理時間とを用いて前記効率を算出するステップと、
算出された前記効率が前記下限値以上の前記サブクエリーを少なくとも1つ選択し、選択した前記サブクエリーにつき計算されたメモリ増加量を積算し、積算した前記メモリ増加量が前記最大メモリ増加量以下となることを条件として、選択した前記サブクエリーを前記変換対象として抽出するステップとを含む、抽出方法。 - 前記抽出するステップでは、前記算出するステップで算出された前記効率が大きい順に前記サブクエリーを選択する、請求項7に記載の抽出方法。
- 前記入力を受け付けるステップ後、前記クエリーを構文解析し、各前記サブクエリーを各ノードとするツリー構造で表されるグラフを生成するステップと、
前記クエリーを構文解析した結果に基づき、前記各ノードにつき、入力されたデータを処理し、処理結果を出力するパイプライン処理が可能な第1ノードか、前記パイプライン処理が不可の第2ノードかを決定し、生成された前記グラフを参照して、根ノードから階層的に繋がるノードが前記第1ノードのみからなる1以上の第1ノード群と、残りのノードからなる1以上の第2ノード群とに分類するステップとをさらに含み、
前記抽出するステップでは、前記第1ノード群に分類されたノードにつき、前記効率が前記下限値以上であるノードを選択し、前記変換対象を抽出する、請求項7に記載の抽出方法。 - 前記分類するステップでは、前記グラフを参照して、1以上の前記第2ノード群を、葉ノードから階層的に繋がるノードが前記第1ノードのみからなる1以上の第3ノード群と、残りのノードからなる1以上の第4ノード群に分類し、
前記抽出するステップでは、前記第1ノード群に分類されたノードにつき、前記下限値以上であるノードを選択し、前記変換対象を全て抽出した後、積算した前記メモリ増加量が前記最大メモリ増加量に達していない場合、前記第3ノード群に分類されたノードにつき、前記効率が前記下限値以上であるノードを選択し、前記変換対象を抽出する、請求項9に記載の抽出方法。 - 前記算出するステップでは、前記メモリ増加量と前記削減される処理時間を、前記ストリーム・データのデータ・レート、前記ストリーム・データに対して処理を行う時間範囲、過去に前記クエリーを実行した結果から得られた統計情報、前記クエリーの操作に関する情報に基づき算出する、請求項7に記載の抽出方法。
- データベースを管理するデータベース管理システムに発行する1以上の命令をサブクエリーとして含むクエリーから、前記データベースへ継続的に入力されるストリーム・データに対して処理を行うためのプログラムに変換するサブクエリーを変換対象として抽出する処理をコンピュータに実行させるための抽出プログラムであって、前記コンピュータに、
前記クエリーと、前記ストリーム・データの処理により使用量が増加するメモリの最大メモリ増加量と、前記データベース管理システムが前記クエリーを実行した場合と比較して前記プログラムにより前記ストリーム・データを処理した場合に削減される単位メモリ増加量当たりの処理時間としての効率の下限値との入力を受け付けるステップと、
前記クエリーに含まれる各前記サブクエリーにつき、前記プログラムに変換して前記ストリーム・データを処理した場合のメモリ増加量と、前記データベース管理システムが実行した場合と比較して前記ストリーム・データを処理した場合に削減される処理時間とを計算し、計算した少なくとも1つの前記メモリ増加量と前記削減される処理時間とを用いて前記効率を算出するステップと、
算出された前記効率が前記下限値以上の前記サブクエリーを少なくとも1つ選択し、選択した前記サブクエリーにつき計算されたメモリ増加量を積算し、積算した前記メモリ増加量が前記最大メモリ増加量以下となることを条件として、選択した前記サブクエリーを前記変換対象として抽出するステップとを実行させる、抽出プログラム。 - 前記抽出するステップでは、前記算出するステップで算出された前記効率が大きい順に前記サブクエリーを選択するステップを実行させる、請求項12に記載の抽出プログラム。
- 前記入力を受け付けるステップ後、前記クエリーを構文解析し、各前記サブクエリーを各ノードとするツリー構造で表されるグラフを生成するステップと、
前記クエリーを構文解析した結果に基づき、前記各ノードにつき、入力されたデータを処理し、処理結果を出力するパイプライン処理が可能な第1ノードか、前記パイプライン処理が不可の第2ノードかを決定し、生成された前記グラフを参照して、根ノードから階層的に繋がるノードが前記第1ノードのみからなる1以上の第1ノード群と、残りのノードからなる1以上の第2ノード群とに分類するステップとをさらに実行させ、
前記抽出するステップでは、前記第1ノード群に分類されたノードにつき、前記効率が前記下限値以上であるノードを選択し、前記変換対象を抽出するステップを実行させる、請求項12に記載の抽出プログラム。 - 前記分類するステップでは、前記グラフを参照して、1以上の前記第2ノード群を、葉ノードから階層的に繋がるノードが前記第1ノードのみからなる1以上の第3ノード群と、残りのノードからなる1以上の第4ノード群に分類するステップを実行させ、
前記抽出するステップでは、前記第1ノード群に分類されたノードにつき、前記下限値以上であるノードを選択し、前記変換対象を全て抽出した後、積算した前記メモリ増加量が前記最大メモリ増加量に達していない場合、前記第3ノード群に分類されたノードにつき、前記効率が前記下限値以上であるノードを選択し、前記変換対象を抽出するステップを実行させる、請求項14に記載の抽出プログラム。 - 前記算出するステップでは、前記メモリ増加量と前記削減される処理時間を、前記ストリーム・データのデータ・レート、前記ストリーム・データに対して処理を行う時間範囲、過去に前記クエリーを実行した結果から得られた統計情報、前記クエリーの操作に関する情報に基づき算出するステップを実行させる、請求項12に記載の抽出プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013257689A JP5939583B2 (ja) | 2013-12-13 | 2013-12-13 | 抽出装置、データ処理システム、抽出方法および抽出プログラム |
CN201410662870.5A CN104714997B (zh) | 2013-12-13 | 2014-11-19 | 提取装置、数据处理***和提取方法 |
US14/557,459 US9984134B2 (en) | 2013-12-13 | 2014-12-02 | Extraction device, data processing system, and extraction method |
US14/748,205 US10089370B2 (en) | 2013-12-13 | 2015-06-23 | Extraction device, data processing system, and extraction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013257689A JP5939583B2 (ja) | 2013-12-13 | 2013-12-13 | 抽出装置、データ処理システム、抽出方法および抽出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015114937A JP2015114937A (ja) | 2015-06-22 |
JP5939583B2 true JP5939583B2 (ja) | 2016-06-22 |
Family
ID=53368744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013257689A Expired - Fee Related JP5939583B2 (ja) | 2013-12-13 | 2013-12-13 | 抽出装置、データ処理システム、抽出方法および抽出プログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US9984134B2 (ja) |
JP (1) | JP5939583B2 (ja) |
CN (1) | CN104714997B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9984134B2 (en) | 2013-12-13 | 2018-05-29 | International Business Machines Corporation | Extraction device, data processing system, and extraction method |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9189212B2 (en) * | 2014-03-31 | 2015-11-17 | International Business Machines Corporation | Predicted outputs in a streaming environment |
US10303697B1 (en) * | 2015-06-25 | 2019-05-28 | National Technology & Engineering Solutions Of Sandia, Llc | Temporal data system |
US10671607B2 (en) * | 2016-09-23 | 2020-06-02 | Futurewei Technologies, Inc. | Pipeline dependent tree query optimizer and scheduler |
US10970284B2 (en) * | 2017-05-12 | 2021-04-06 | Oracle International Corporation | Dynamic self-reconfiguration of nodes in a processing pipeline |
CN107463623B (zh) * | 2017-07-06 | 2020-06-09 | 积成电子股份有限公司 | 一种变电站历史事项数据库的动态查询方法 |
US10936585B1 (en) * | 2018-10-31 | 2021-03-02 | Splunk Inc. | Unified data processing across streaming and indexed data sets |
CA3119273A1 (en) | 2018-11-09 | 2020-05-14 | Iocurrents, Inc. | Machine learning-based prediction, planning, and optimization of trip time, trip cost, and/or pollutant emission during navigation |
JP7239433B2 (ja) * | 2019-10-02 | 2023-03-14 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
CN111078948A (zh) * | 2019-11-22 | 2020-04-28 | 深圳市元征科技股份有限公司 | 汽车诊断数据解析方法及***、存储介质 |
US11989592B1 (en) | 2021-07-30 | 2024-05-21 | Splunk Inc. | Workload coordinator for providing state credentials to processing tasks of a data processing pipeline |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7216116B1 (en) * | 1996-05-06 | 2007-05-08 | Spotfire Ab | Data analysis system with automated query and visualization environment setup |
US7584418B2 (en) | 2001-05-31 | 2009-09-01 | Oracle International Corporation | Methods, systems, and articles of manufacture for prefabricating an information page |
US7379654B2 (en) | 2002-06-19 | 2008-05-27 | Microsoft Corporation | Programmable video recorder backing store for non-byte stream formats |
US8170906B2 (en) * | 2002-11-15 | 2012-05-01 | Erick Von Schweber | Method and apparatus for information surveying |
US6865627B2 (en) | 2002-12-27 | 2005-03-08 | Microsoft Corp | Regulating real-time data capture rates to match processor-bound data consumption rates |
US7174328B2 (en) | 2003-09-02 | 2007-02-06 | International Business Machines Corp. | Selective path signatures for query processing over a hierarchical tagged data structure |
US7698267B2 (en) * | 2004-08-27 | 2010-04-13 | The Regents Of The University Of California | Searching digital information and databases |
US20060068911A1 (en) | 2004-09-30 | 2006-03-30 | Microsoft Corporation | Game console communication with a computer |
US7856523B2 (en) * | 2005-06-01 | 2010-12-21 | Microsoft Corporation | Random Access Memory (RAM) based Content Addressable Memory (CAM) management |
JP4687253B2 (ja) * | 2005-06-03 | 2011-05-25 | 株式会社日立製作所 | ストリームデータ処理システムのクエリ処理方法 |
US8903810B2 (en) * | 2005-12-05 | 2014-12-02 | Collarity, Inc. | Techniques for ranking search results |
US8429184B2 (en) * | 2005-12-05 | 2013-04-23 | Collarity Inc. | Generation of refinement terms for search queries |
TWI313983B (en) * | 2006-06-08 | 2009-08-21 | Nat Univ Tsing Hua | A method for processing multiple continuous top-k queries |
US7475214B2 (en) * | 2006-08-16 | 2009-01-06 | International Business Machines Corporation | Method and system to optimize java virtual machine performance |
US8219518B2 (en) | 2007-01-09 | 2012-07-10 | International Business Machines Corporation | Method and apparatus for modelling data exchange in a data flow of an extract, transform, and load (ETL) process |
US8005848B2 (en) | 2007-06-28 | 2011-08-23 | Microsoft Corporation | Streamlined declarative parsing |
US8174620B2 (en) | 2007-11-06 | 2012-05-08 | Microsoft Corporation | High definition media content processing |
US8156134B2 (en) * | 2007-11-15 | 2012-04-10 | International Business Machines Corporation | Using different groups of query graph transform modules to generate execution plans for queries for different database types |
US8156495B2 (en) * | 2008-01-17 | 2012-04-10 | Oracle America, Inc. | Scheduling threads on processors |
US20090259646A1 (en) * | 2008-04-09 | 2009-10-15 | Yahoo!, Inc. | Method for Calculating Score for Search Query |
JP4796108B2 (ja) * | 2008-09-26 | 2011-10-19 | 株式会社東芝 | 構造化文書検索装置、方法及びプログラム |
JP5337447B2 (ja) * | 2008-10-28 | 2013-11-06 | 株式会社日立製作所 | ストリームデータ処理方法、及びシステム |
JP4870183B2 (ja) | 2009-03-13 | 2012-02-08 | 株式会社日立製作所 | ストリームデータ処理システムにおける障害回復方法、計算機システム及び障害回復プログラム |
US8479216B2 (en) | 2009-08-18 | 2013-07-02 | International Business Machines Corporation | Method for decentralized load distribution in an event-driven system using localized migration between physically connected nodes and load exchange protocol preventing simultaneous migration of plurality of tasks to or from a same node |
US8479215B2 (en) | 2009-08-18 | 2013-07-02 | International Business Machines Corporation | Decentralized load distribution to reduce power and/or cooling costs in an event-driven system |
JP4992945B2 (ja) | 2009-09-10 | 2012-08-08 | 株式会社日立製作所 | ストリームデータ生成方法、ストリームデータ生成装置及びストリームデータ生成プログラム |
US20110161371A1 (en) * | 2009-12-29 | 2011-06-30 | Microgen Plc | Sql generation |
US9081501B2 (en) * | 2010-01-08 | 2015-07-14 | International Business Machines Corporation | Multi-petascale highly efficient parallel supercomputer |
JP2012059152A (ja) | 2010-09-10 | 2012-03-22 | Internatl Business Mach Corp <Ibm> | データ処理を行うシステムおよびメモリを割り当てる方法 |
CN101996250B (zh) * | 2010-11-15 | 2012-07-25 | 中国科学院计算技术研究所 | 一种基于Hadoop的海量流数据存储和查询方法及*** |
US8745591B2 (en) | 2011-10-19 | 2014-06-03 | Microsoft Corporation | Data flow visualization and debugging |
JP5801732B2 (ja) * | 2012-01-24 | 2015-10-28 | 株式会社日立製作所 | 情報処理システムの運用管理方法 |
WO2013145310A1 (ja) * | 2012-03-30 | 2013-10-03 | 富士通株式会社 | データストリームの並列処理プログラム、方法、及びシステム |
US9208254B2 (en) * | 2012-12-10 | 2015-12-08 | Microsoft Technology Licensing, Llc | Query and index over documents |
JP2014157510A (ja) | 2013-02-15 | 2014-08-28 | International Business Maschines Corporation | ストリーム・データ処理システム、方法及びプログラム |
JP5939583B2 (ja) * | 2013-12-13 | 2016-06-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 抽出装置、データ処理システム、抽出方法および抽出プログラム |
-
2013
- 2013-12-13 JP JP2013257689A patent/JP5939583B2/ja not_active Expired - Fee Related
-
2014
- 2014-11-19 CN CN201410662870.5A patent/CN104714997B/zh active Active
- 2014-12-02 US US14/557,459 patent/US9984134B2/en not_active Expired - Fee Related
-
2015
- 2015-06-23 US US14/748,205 patent/US10089370B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9984134B2 (en) | 2013-12-13 | 2018-05-29 | International Business Machines Corporation | Extraction device, data processing system, and extraction method |
US10089370B2 (en) | 2013-12-13 | 2018-10-02 | International Business Machines Corporation | Extraction device, data processing system, and extraction method |
Also Published As
Publication number | Publication date |
---|---|
CN104714997B (zh) | 2018-05-01 |
JP2015114937A (ja) | 2015-06-22 |
US20150293981A1 (en) | 2015-10-15 |
US20150169714A1 (en) | 2015-06-18 |
US10089370B2 (en) | 2018-10-02 |
US9984134B2 (en) | 2018-05-29 |
CN104714997A (zh) | 2015-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5939583B2 (ja) | 抽出装置、データ処理システム、抽出方法および抽出プログラム | |
US11461320B2 (en) | Determining a user-specific approach for disambiguation based on an interaction recommendation machine learning model | |
US10885026B2 (en) | Translating a natural language request to a domain-specific language request using templates | |
KR102134494B1 (ko) | 위치 정보를 가진 데이터 프로파일링 | |
US9922102B2 (en) | Templates for defining fields in machine data | |
US20190034813A1 (en) | Suggesting follow-up queries based on a follow-up recommendation machine learning model | |
US11409645B1 (en) | Intermittent failure metrics in technological processes | |
US10713269B2 (en) | Determining a presentation format for search results based on a presentation recommendation machine learning model | |
US11494395B2 (en) | Creating dashboards for viewing data in a data storage system based on natural language requests | |
US10901811B2 (en) | Creating alerts associated with a data storage system based on natural language requests | |
KR20160030351A (ko) | 정보 처리 방법 및 장치 | |
US20190034430A1 (en) | Disambiguating a natural language request based on a disambiguation recommendation machine learning model | |
US20190213612A1 (en) | Map based visualization of user interaction data | |
US20190034519A1 (en) | Methods and Systems For Optimized Visual Summarization for Sequences of Temporal Event Data | |
EP3674912A1 (en) | Data stitching and harmonization for machine learning | |
KR20110086066A (ko) | 산출장치, 시스템 관리장치, 산출방법 및 프로그램 | |
CN111581479A (zh) | 一站式数据处理的方法、装置、存储介质及电子设备 | |
CN116257663A (zh) | 面向无人地面车辆的异常检测与关联分析方法及相关设备 | |
JP6201053B2 (ja) | 素性データ管理システム、および素性データ管理方法 | |
CN110543467B (zh) | 时间序列数据库的模式转换方法及装置 | |
US20190034555A1 (en) | Translating a natural language request to a domain specific language request based on multiple interpretation algorithms | |
Singhal et al. | Comparative analysis of big data technologies | |
US12033727B2 (en) | Managing and accessing experiment data using referential indentifiers | |
US20240031312A1 (en) | System and method for establishing channelized communications and resource management | |
Diván et al. | Articulating heterogeneous data streams with the attribute-relation file format |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151127 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160114 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160419 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20160419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5939583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |