JP5238219B2 - 情報処理システム及びパイプライン処理制御方法 - Google Patents
情報処理システム及びパイプライン処理制御方法 Download PDFInfo
- Publication number
- JP5238219B2 JP5238219B2 JP2007280649A JP2007280649A JP5238219B2 JP 5238219 B2 JP5238219 B2 JP 5238219B2 JP 2007280649 A JP2007280649 A JP 2007280649A JP 2007280649 A JP2007280649 A JP 2007280649A JP 5238219 B2 JP5238219 B2 JP 5238219B2
- Authority
- JP
- Japan
- Prior art keywords
- data set
- data
- transmission
- server
- buffered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24542—Plan optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Operations Research (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
(1)構成
図1は、本の実施の形態にかかる並列データベースシステムの構成を例示する図である。並列データベースシステムは、アプリケーションプログラムが実行されるクライアントコンピュータ(以下、クライアントという)50と、並列データベース51とを有し、これらがネットワーク52を介して接続されて構成される。並列データベース51は1台のコーディネータサーバ60と複数台のDBサーバ70A〜70Bとを有する。ネットワーク52は、例えば、LAN(Local Area Network)、イントラネット、イーサネット(登録商標)又はインターネットなどである。コーディネータサーバ60は、クライアント50と複数のDBサーバ70A〜70Bと接続され、クライアント50からの問合せ要求を受け付けて、当該要求に応じてDBサーバ70A〜70Bに対してコマンドや実行プランなどの処理要求を送信し、その処理結果をDBサーバ70A〜70Bから受け取り、問い合わせ要求に応じた処理結果をクライアント50に送信する。DBサーバ70A〜70Bは、並列化されたリレーショナルデータベースなどのデータベースを各々有し、当該データベースへの記憶やアクセスを各々制御する。DBサーバ70A〜70Bは各々、コーディネータサーバ60から送信されたコマンドや実行プランなどの処理要求を受け付けて、その要求に応じた処理結果をコーディネータサーバ60に送信する。
(a)各DBサーバ70A〜70Bは、「出版年が1996年以降の出版物で、タイトルを出版社名で昇順にした」データ集合をコーディネータサーバ60に返す。
(b)コーディネータサーバ60は、DBサーバ70A〜70Bから得られた2つのデータ集合を出版社カラムで昇順にしてマージする。
(c)索引スキャン:書籍データの出版社名に付いている文字列索引により索引スキャンを行い、昇順になった各レコードに付与されているレコードIDの集合を得る。
(d)データ取得:索引スキャンの結果得られた各レコードIDを基に、書籍データの各レコードに含まれるカラムのうちタイトル、出版社名及び出版年の3つのカラムのカラム値を取得する。
(e)データ比較:取得した出版年のカラム値が「1996」を超えたレコードだけをフィルタリングする。
次に、本実施の形態にかかる並列データベースシステムの動作について説明する。まず、コーディネータサーバ60の行う処理の手順について図8を参照しながら説明する。ここでは、上述したように、コーディネータサーバ60の問合せ解析部602が、クライアント50から送信された問合せを解析し、分散プラン生成部602が各分散プランを生成して送信部605を介して各DBサーバ70A〜70Bに対して送信する。そして、その結果、各DBサーバ70A〜70Bから送信された各データ集合が入力ライン608A〜608Bに各々バッファリングされ、これらがマージされて出力ライン608Dにバッファリングされているものとする。このとき、コーディネータサーバ60は、出力ライン608Dにバッファリングされているデータ集合のデータサイズが、条件1を満たすか否かを判断する(ステップS1)。条件1とは、当該データサイズが第1最低水位線(LWM:Low Watermark)以下であることである。当該判断結果が肯定的である場合、出力ラインにおけるデータ集合は不足している又は不足気味であると判断される。
LWM=W
W:入力のデータサイズと出力のデータサイズとをブロックサイズで割った値
尚、フェーズ処理は1ブロック(例えば、4KB)を1単位としてパイプライン処理を行うものとする。
送信ブロックサイズ:y
送信回数:x
定数:C(ブロックサイズなど)
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。
上述した実施の形態において、コーディネータサーバ60で実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、当該プログラムを、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。DBサーバ70A〜70Bで各々実行される各種プログラムについても同様である。
上述した実施の形態においては、コーディネータサーバ60は、データマージ部608を有したが、この他に又はこれの代わりに各種の方法(ユニオンやジョインなど)によりデータを集約する手段を有するように構成しても良い。
51 並列データベース
52 ネットワーク
60 コーディネータサーバ
70A DBサーバ
70B DBサーバ
600 受信部
601 送信部
602 問合せ解析部
603 分散プラン生成部
604 分散プラン実行部
604 分散プラン生成部
605 送信部
606 受信部
607 フェッチ制御部
608 データマージ部
608A 入力ライン
608B 入力ライン
608C 制御ライン
608D 出力ライン
700A,700B 受信部
701A,701B 送信部
702A,702B 問合せ解析部
703A,703B 単体プラン生成部
704A,704B 単体プラン実行部
705A,705B フェッチ制御部
Claims (8)
- データを各々記憶する複数の並列化されたデータベースサーバと、前記データベースサーバに接続されパイプライン処理可能なコーディネータサーバとを備える情報処理システムであって、
前記コーディネータサーバは、
クライアントからのデータ取得を要求する問合せ要求に応じて複数の前記データベースサーバに対して処理命令を送信する第1送信手段と、
前記処理命令に応じて処理された結果前記データベースサーバから送信されたデータ集合を集約して前記クライアントに送信する第2送信手段と、
前記データベースサーバから送信されたデータ集合をバッファリングするバッファ手段と、
前記バッファ手段にバッファリングされたデータ集合を集約する集約手段と、
前記バッファ手段にバッファリングされた前記データ集合のデータ量に基づいて、前記データベースサーバからの前記データ集合の送信開始又は送信停止を決定する第1決定手段と、
前記第1決定手段の決定結果に基づいて、前記データ集合の送信開始又は送信停止を命令する制御命令を前記データベースサーバに対して送信する第3送信手段と、
を備え、
前記データベースサーバは、
前記コーディネータサーバに対して処理結果として送信するデータ集合の1回あたりの送信量を、回数を重ねる毎に増加させるよう設定する設定手段と、
設定された送信量のデータ集合を前記コーディネータサーバに対して送信する第4送信手段と、
前記データ集合の送信開始又は送信停止を命令する制御命令を前記コーディネータサーバから受信する受信手段と、を備え、
前記受信手段が、前記データ集合の送信停止を命令する制御コマンドを受信した後、前記データ集合の送信開始を命令する制御コマンドを受信した場合、前記設定手段は、前記送信量の設定を初期値に戻す
ことを特徴とする情報処理システム。 - 前記バッファ手段は、複数の前記データベースサーバから各々送信されたデータ集合を各々バッファリングする複数の第1バッファ手段と、複数の前記第1バッファ手段にバッファリングされたデータ集合が集約された結果のデータ集合をバッファリングする第2バッファ手段とを有し、
前記集約手段は、複数の前記第1バッファ手段にバッファリングされたデータ集合を集約して前記第2バッファ手段にバッファリングし、
前記第1決定手段は、前記第1バッファ手段にバッファリングされた前記データ集合のデータ量又は前記第2バッファ手段にバッファリングされた前記データ集合のデータ量のうち少なくとも一方を用いて、前記データベースサーバからの前記データ集合の送信開始及び送信停止を決定する
ことを特徴とする請求項1に記載の情報処理システム。 - 前記第1決定手段は、前記第1バッファ手段にバッファリングされた前記データ集合のデータ量が第1閾値以下である場合且つ前記第2バッファ手段にバッファリングされた前記データ集合のデータ量が第2閾値以下である場合、前記データベースサーバからの前記データ集合の送信開始を決定する
ことを特徴とする請求項2に記載の情報処理システム。 - 前記第1決定手段は、前記第1バッファ手段にバッファリングされた前記データ集合のデータ量が第3閾値以上である場合且つ前記第2バッファ手段にバッファリングされた前記データ集合のデータ量が第4閾値以上である場合、前記データベースサーバからの前記データ集合の送信停止を決定する
ことを特徴とする請求項2に記載の情報処理システム。 - 前記バッファ手段は、前記クライアントから送信された、前記処理結果の送信に関する処理要求をバッファリングする第3バッファ手段を更に有し、
前記第3バッファ手段にバッファリングされた処理要求に応じて、前記第2バッファ手段にバッファリングされた前記データ集合を前記クライアントに送信するか否かを決定する第2決定手段と、
前記第2決定手段の決定結果に応じて、前記第2バッファ手段にバッファリングされた前記データ集合を前記クライアントに送信する第2送信手段とを更に備える
ことを特徴とする請求項2に記載の情報処理システム。 - 前記集約手段は、前記データベースサーバから送信されたデータ集合をマージする
ことを特徴とする請求項1乃至請求項5に記載の情報処理システム。 - 前記集約手段は、前記データベースサーバから送信されたデータ集合をマージする
ことを特徴とする請求項1乃至請求項6に記載の情報処理システム。 - 第1送信手段と、第2送信手段と、集約手段と、決定手段と、第3送信手段とを有し、データベースサーバに接続されパイプライン処理可能なコーディネータサーバと、設定手段と、第4送信手段とを有するデータを各々記憶する複数の並列化されたデータベースサーバと、を備える情報処理システムで実行されるパイプライン処理制御方法であって、
前記第1送信手段が、クライアントからのデータの取得を要求する問合せ要求に応じて複数の前記データベースサーバに対して処理命令を送信するステップと、
前記第2送信手段が、前記処理命令に応じて処理された結果前記データベースサーバから送信されたデータ集合を集約して前記クライアントに送信するステップと、
前記集約手段が、前記データベースサーバから送信されバッファ手段にバッファリングされたデータ集合を集約するステップと、
前記決定手段が、前記バッファ手段にバッファリングされた前記データ集合のデータ量に基づいて、前記データベースサーバからの前記データ集合の送信開始又は送信停止を決定するステップと、
前記第3送信手段が、前記決定手段の決定結果に基づいて、前記データ集合の送信開始又は送信停止を命令する制御命令を前記データベースサーバに対して送信するステップと
前記設定手段が、前記コーディネータサーバに対して処理結果として送信するデータ集合の1回あたりの送信量を、回数を重ねる毎に増加させるよう設定するステップと、
前記第4送信手段が、設定された送信量のデータ集合を前記コーディネータサーバに対して送信するステップとを含む
ことを特徴とするパイプライン処理制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007280649A JP5238219B2 (ja) | 2007-10-29 | 2007-10-29 | 情報処理システム及びパイプライン処理制御方法 |
EP08016631A EP2056224A1 (en) | 2007-10-29 | 2008-09-22 | Coordinator server, database server, and pipeline processing control method |
US12/234,727 US8112438B2 (en) | 2007-10-29 | 2008-09-22 | Coordinator server, database server, and pipeline processing control method |
CN200810175923.5A CN101425077B (zh) | 2007-10-29 | 2008-10-29 | 协调服务器、数据库服务器、及流水线处理控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007280649A JP5238219B2 (ja) | 2007-10-29 | 2007-10-29 | 情報処理システム及びパイプライン処理制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009110193A JP2009110193A (ja) | 2009-05-21 |
JP5238219B2 true JP5238219B2 (ja) | 2013-07-17 |
Family
ID=40239779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007280649A Active JP5238219B2 (ja) | 2007-10-29 | 2007-10-29 | 情報処理システム及びパイプライン処理制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8112438B2 (ja) |
EP (1) | EP2056224A1 (ja) |
JP (1) | JP5238219B2 (ja) |
CN (1) | CN101425077B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110289070A1 (en) * | 2010-05-20 | 2011-11-24 | Lockheed Martin Corporation | Dynamic resource orchestration system for data retrieval and output generation |
JP5342087B2 (ja) * | 2011-03-30 | 2013-11-13 | 株式会社日立製作所 | 計算機システム及びデータ管理方法 |
CN102957622B (zh) * | 2011-08-16 | 2015-05-27 | 阿里巴巴集团控股有限公司 | 一种数据处理的方法、装置及*** |
CN107066509B (zh) * | 2012-04-26 | 2020-12-04 | 阿里巴巴集团控股有限公司 | 信息提供方法、处理服务器及合并服务器 |
US9342557B2 (en) * | 2013-03-13 | 2016-05-17 | Cloudera, Inc. | Low latency query engine for Apache Hadoop |
US9767149B2 (en) * | 2014-10-10 | 2017-09-19 | International Business Machines Corporation | Joining data across a parallel database and a distributed processing system |
US20230040834A1 (en) * | 2021-08-03 | 2023-02-09 | Data Culpa, Inc. | Elastic data sampling in a data pipeline |
CN115167317B (zh) * | 2022-08-04 | 2024-05-14 | 中国核动力研究设计院 | 一种用于核电厂安全级dcs的维护方法、***及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3004102B2 (ja) * | 1991-10-04 | 2000-01-31 | 株式会社東芝 | データベース演算処理装置 |
JP3266351B2 (ja) * | 1993-01-20 | 2002-03-18 | 株式会社日立製作所 | データベース管理システムおよび問合せの処理方法 |
US6556988B2 (en) * | 1993-01-20 | 2003-04-29 | Hitachi, Ltd. | Database management apparatus and query operation therefor, including processing plural database operation requests based on key range of hash code |
JPH06348554A (ja) | 1993-06-07 | 1994-12-22 | Toshiba Corp | データ処理装置 |
JP2933486B2 (ja) | 1994-06-17 | 1999-08-16 | 株式会社日立製作所 | データベースの同時全件検索方法 |
US6594651B2 (en) | 1999-12-22 | 2003-07-15 | Ncr Corporation | Method and apparatus for parallel execution of SQL-from within user defined functions |
US6507834B1 (en) * | 1999-12-22 | 2003-01-14 | Ncr Corporation | Method and apparatus for parallel execution of SQL from stored procedures |
JP2001147847A (ja) | 2000-10-10 | 2001-05-29 | Hitachi Ltd | データベース管理システムおよび問合せの処理方法 |
US6961728B2 (en) * | 2000-11-28 | 2005-11-01 | Centerboard, Inc. | System and methods for highly distributed wide-area data management of a network of data sources through a database interface |
US7418441B2 (en) * | 2001-02-28 | 2008-08-26 | International Business Machines Corporation | Data loading from a remote data source record by record |
US6691109B2 (en) * | 2001-03-22 | 2004-02-10 | Turbo Worx, Inc. | Method and apparatus for high-performance sequence comparison |
US7519577B2 (en) | 2003-06-23 | 2009-04-14 | Microsoft Corporation | Query intermediate language method and system |
US7565370B2 (en) * | 2003-08-29 | 2009-07-21 | Oracle International Corporation | Support Vector Machines in a relational database management system |
JP2005101936A (ja) * | 2003-09-25 | 2005-04-14 | Canon Inc | 通信装置及び通信装置の制御方法 |
JP4227033B2 (ja) | 2004-01-20 | 2009-02-18 | 富士通株式会社 | データベース統合参照装置、データベース統合参照方法およびデータベース統合参照プログラム |
US7761406B2 (en) * | 2004-03-16 | 2010-07-20 | International Business Machines Corporation | Regenerating data integration functions for transfer from a data integration platform |
JP2007280649A (ja) | 2006-04-03 | 2007-10-25 | Sumitomo Wiring Syst Ltd | コネクタ接続部の補強カバー |
US9112808B2 (en) * | 2007-02-06 | 2015-08-18 | At&T Intellectual Property Ii, L.P. | Devices, systems, and methods for providing data |
-
2007
- 2007-10-29 JP JP2007280649A patent/JP5238219B2/ja active Active
-
2008
- 2008-09-22 US US12/234,727 patent/US8112438B2/en active Active
- 2008-09-22 EP EP08016631A patent/EP2056224A1/en not_active Withdrawn
- 2008-10-29 CN CN200810175923.5A patent/CN101425077B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US8112438B2 (en) | 2012-02-07 |
CN101425077B (zh) | 2015-07-15 |
US20090113188A1 (en) | 2009-04-30 |
CN101425077A (zh) | 2009-05-06 |
EP2056224A1 (en) | 2009-05-06 |
JP2009110193A (ja) | 2009-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5238219B2 (ja) | 情報処理システム及びパイプライン処理制御方法 | |
US11188562B2 (en) | Adaptive distribution for hash operations | |
US8799267B2 (en) | Optimizing storage allocation | |
US20170344539A1 (en) | System and method for improved scalability of database exports | |
WO2015029187A1 (ja) | データベース管理システム及び計算機システム | |
CN103353901B (zh) | 基于Hadoop分布式文件***的表数据的有序管理方法以及*** | |
US11669505B2 (en) | Partitioning, processing, and protecting data | |
WO2013139379A1 (en) | Replicated data storage system and methods | |
JP6262505B2 (ja) | 分散型データ仮想化システム、クエリ処理方法及びクエリ処理プログラム | |
Richard et al. | Digital forensic tools: the next generation | |
US20170337253A1 (en) | In-memory db connection support type scheduling method and system for real-time big data analysis in distributed computing environment | |
US20080082516A1 (en) | System for and method of searching distributed data base, and information management device | |
CN106649847A (zh) | 一种基于Hadoop的大数据实时处理*** | |
CN106503038B (zh) | 一种自动缓存网络请求返回数据的方法及*** | |
KR20160145250A (ko) | 가상 머지를 지원하는 셔플 내장형 분산 스토리지 시스템 및 그 방법 | |
JP7211255B2 (ja) | 検索処理プログラム、検索処理方法及び情報処理装置 | |
O'Gorman et al. | Multiple query optimization in middleware using query teamwork | |
KR20030065684A (ko) | 색인 기반의 동영상 컨텐츠 관리 시스템 및 그 서비스 방법 | |
US20220164349A1 (en) | Distributed queries through dynamic views | |
JP4238318B2 (ja) | データ管理装置 | |
CN113157736B (zh) | 分布式数据库中的查询计划优化方法及*** | |
KR20240068982A (ko) | 다수의 연산 스토리지 기반 dbms 스토리지 엔진에서의 연산 모델 적용 방법 | |
Marcu et al. | Kera: A Unified Storage and Ingestion Architecture for Efficient Stream Processing | |
CN113742346A (zh) | 资产大数据平台架构优化方法 | |
Imasaki | Parallel query processing on a cluster-based database system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130401 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5238219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |