JP5586417B2 - ストリームデータ処理における性能保証方法および装置 - Google Patents
ストリームデータ処理における性能保証方法および装置 Download PDFInfo
- Publication number
- JP5586417B2 JP5586417B2 JP2010238782A JP2010238782A JP5586417B2 JP 5586417 B2 JP5586417 B2 JP 5586417B2 JP 2010238782 A JP2010238782 A JP 2010238782A JP 2010238782 A JP2010238782 A JP 2010238782A JP 5586417 B2 JP5586417 B2 JP 5586417B2
- Authority
- JP
- Japan
- Prior art keywords
- performance
- stream data
- data processing
- performance value
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/38—Flow control; Congestion control by adapting coding or compression rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/30—Flow control; Congestion control in combination with information about buffer occupancy at either end or at transit nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
処理部は、インタフェース部を介して受信した入力データに対し,ストリームデータ処理を実行する際に、未処理の入力データの量から性能値を予測し、予測した性能値に基づき要求性能値を満たす実行方式を決定し、決定した実行方式に切替えてストリームデータ処理を実行し、処理結果を出力データとしてインタフェース部に出力するストリームデータ処理における性能保証方法を提供する。
なお、本明細書において、便宜上、入力データ受信部301と出力データ送信部304、更には要求入力部312を総称してインタフェース部と呼ぶ場合があるが、このインタフェース部は、図2のインタフェース部と同一物としても良いが、同一のものである必要はなく、好適にはストリームデータ処理サーバ100上で動作するストリームデータ処理システム自身の機能的なインタフェース部とすることができる。
、関数cosに対応する。それぞれ、方式a、方式b、方式cと、方式α、方式β、方式γに対応し、図6同様、演算時間の短、中、長と、且つその精度が求められ保持される。なお、同図において、精度は指数表示で示してある。
複数の方式の測定結果がある場合(Y)、引き続いて要求レイテンシ、精度の両方を満たす有効方式を、切替え時間を足して探索する(1604、1605)。その結果、有効な方式が有れば(Y)、その有効な方式に変更し(1606)、処理を終了する(1611)。有効な方式が無い場合は、エラー出力し(1607)、終了する(1611)。
101、102、103、200…計算機
104…ネットワーク
201…CPU
202…メモリ
203…ストレージ装置
204…ネットワークI/F
205…計算機内部バス
206…ストリームデータ処理システム
301…入力データ受信部
302…クエリ実行部
303…実行方式切替え部
304…出力データ送信部
305…外部定義関数
306…クエリ受信・解析部
307…外部定義関数組込部
308…クエリ実行ワークエリア
309…ユーザ要求
310…要求レイテンシ
311…要求演算精度
312…要求入力部
313…実行方式決定部
314…レイテンシ予測部
315…レイテンシ評価部
316…演算精度評価部
317…有効方式決定部
318…実行結果取得部
319…キュー
1800…GUI画面
1800…最適化実施実行ボタン
1800…設定実行ボタン。
Claims (22)
- 処理部とインタフェース部を備えた計算機により実行されるストリームデータ処理における性能保証方法であって,
前記ストリームデータ処理に対する、処理性能の異なる複数の実行方式を備えておき、
前記処理部は、
前記インタフェース部を介して受信した前記入力データに対し,前記ストリームデータ処理を実行する際に、未処理の前記入力データの量から性能値を予測し、
予測した前記性能値と要求性能値に基づき、前記要求性能値を満たす前記実行方式を決定し、
決定した前記実行方式に切替えて前記ストリームデータ処理を実行し、
得られた処理結果を出力データとして前記インタフェース部に出力し、
前記入力データ及び前記出力データの前記インタフェース部の通過時刻を取得し、
取得した前記通過時刻から未処理の前記入力データの量ごとの前記性能値を取得し、
取得した前記性能値と前記要求性能値を比較して評価し、
前記要求性能値を下回ったと評価したことを契機に前記実行方式を切替える、
ことを特徴とするストリームデータ処理における性能保証方法。 - 処理部とインタフェース部を備えた計算機により実行されるストリームデータ処理における性能保証方法であって,
前記ストリームデータ処理に対する、処理性能の異なる複数の実行方式を備えておき、
前記処理部は、
前記インタフェース部を介して受信した前記入力データに対し,前記ストリームデータ処理を実行する際に、未処理の前記入力データの量から性能値を予測し、
予測した前記性能値と要求性能値に基づき、前記要求性能値を満たす前記実行方式を決定し、
決定した前記実行方式に切替えて前記ストリームデータ処理を実行し、
得られた処理結果を出力データとして前記インタフェース部に出力し、
取得した前記性能値が前記要求性能値を上回っている状態において,未処理の前記入力データの量が増加した場合に、前記実行方式を切替える決定をする、
ことを特徴とするストリームデータ処理における性能保証方法。 - 請求項1に記載のストリームデータ処理における性能保証方法であって、
前記処理部は、
保持された過去の性能値と、未処理の前記入力データの量を比較し,前記要求性能値を満たす前記実行方式に切替える決定をする、
ことを特徴とするストリームデータ処理における性能保証方法。 - 請求項3に記載のストリームデータ処理における性能保証方法であって、
前記処理部は、
前記実行方式の切替えに必要となる切替え時間と前記過去の性能値を合計し,その合計値が前記要求性能値を満たす前記実行方式に切替える決定をする、
ことを特徴とするストリームデータ処理における性能保証方法。 - 請求項1に記載のストリームデータ処理における性能保証方法であって、
前記処理部は、
前記出力データの演算精度が、前記インタフェース部より入力される要求精度を満たすか否かを評価し、
予測した前記性能値が前記要求性能値を満たすか否か、及び前記出力データの演算精度が前記要求精度を満たしているかを評価し、
当該評価結果を元に、前記要求性能値と前記要求精度の双方を満たす実行方式に切替える、
ことを特徴とするストリームデータ処理における性能保証方法。 - 請求項1に記載のストリームデータ処理における性能保証方法であって、
前記処理部は、
前記ストリームデータ処理において,単一,もしくは複数のオペレータで複数の前記実行方式の変更点が存在する場合に,前記出力データの演算精度を基準として,当該演算精度で最も性能の高い前記実行方式の組を決定する、
ことを特徴とするストリームデータ処理における性能保証方法。 - 請求項2に記載のストリームデータ処理における性能保証方法であって、
前記処理部は、
保持された過去の性能値と、未処理の前記入力データの量を比較し,前記要求性能値を満たす前記実行方式に切替える決定をする、
ことを特徴とするストリームデータ処理における性能保証方法。 - 請求項7に記載のストリームデータ処理における性能保証方法であって、
前記処理部は、
前記実行方式の切替えに必要となる切替え時間と前記過去の性能値を合計し,その合計値が前記要求性能値を満たす前記実行方式に切替える決定をする、
ことを特徴とするストリームデータ処理における性能保証方法。 - 請求項2に記載のストリームデータ処理における性能保証方法であって、
前記処理部は、
前記出力データの演算精度が、前記インタフェース部より入力される要求精度を満たすか否かを評価し、
予測した前記性能値が前記要求性能値を満たすか否か、及び前記出力データの演算精度が前記要求精度を満たしているかを評価し、
当該評価結果を元に、前記要求性能値と前記要求精度の双方を満たす実行方式に切替える、
ことを特徴とするストリームデータ処理における性能保証方法。 - 請求項2に記載のストリームデータ処理における性能保証方法であって、
前記処理部は、
前記ストリームデータ処理において,単一,もしくは複数のオペレータで複数の前記実行方式の変更点が存在する場合に,前記出力データの演算精度を基準として,当該演算精度で最も性能の高い前記実行方式の組を決定する、
ことを特徴とするストリームデータ処理における性能保証方法。 - ストリームデータ処理における性能保証装置であって、
入力データを受信する入力データ受信部、
前記入力データに対するクエリ処理を実行する処理部、
前記処理部の実行結果を出力データとして出力するデータ送信部、
要求性能値が入力される要求入力部を備え、
前記処理部は、
前記クエリ処理に対する、処理性能の異なる複数の実行方式を備えておき、
前記入力データ受信部を介して受信した前記入力データに対し,前記クエリ処理を実行する際に、未処理の前記入力データの量から性能値を予測し、
予測した前記性能値に基づき、前記要求性能値を満たす前記実行方式を決定し、
決定した前記実行方式に切替えて前記ストリームデータに対する前記クエリ処理を実行し、
前記処理部の前記実行結果を前記データ送信部に出力し、
前記入力データの前記入力データ受信部、及び前記出力データの前記データ送信部の通過時刻を取得し、
取得した前記通過時刻から未処理の前記入力データの量ごとの前記性能値を取得し,取得した前記性能値と前記要求性能値を比較して評価し、前記要求性能値を下回っていると評価したことを契機に前記実行方式を切替える、
ことを特徴とするストリームデータ処理における性能保証装置。 - ストリームデータ処理における性能保証装置であって、
入力データを受信する入力データ受信部、
前記入力データに対するクエリ処理を実行する処理部、
前記処理部の実行結果を出力データとして出力するデータ送信部、
要求性能値が入力される要求入力部を備え、
前記処理部は、
前記クエリ処理に対する、処理性能の異なる複数の実行方式を備えておき、
前記入力データ受信部を介して受信した前記入力データに対し,前記クエリ処理を実行する際に、未処理の前記入力データの量から性能値を予測し、
予測した前記性能値に基づき、前記要求性能値を満たす前記実行方式を決定し、
決定した前記実行方式に切替えて前記ストリームデータに対する前記クエリ処理を実行し、
前記処理部の前記実行結果を前記データ送信部に出力し、
取得した前記性能値が前記要求性能値を上回っている状態において,さらに未処理の前記入力データの量が増加した場合に、前記実行方式を切替える、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項11に記載のストリームデータ処理における性能保証装置であって、
前記処理部は、
過去の性能値を保持するよう制御し、
保持された前記過去の性能値と、未処理の前記入力データの量を比較し,前記要求性能値を満たす前記実行方式に切替える、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項13に記載のストリームデータ処理における性能保証装置であって、
前記処理部は、
前記実行方式の切替えに必要となる時間と前記過去の性能値を合計し,当該合計値が前記要求性能値を満たす前記実行方式に切替える、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項11に記載のストリームデータ処理における性能保証装置であって、
前記要求入力部から前記出力結果の要求精度が入力され、
前記処理部は、
前記出力データの演算精度が前記出力結果の要求精度を満たすか否かを評価し、
予測した前記性能値が前記要求性能値を満たすか否か、及び前記出力データの演算精度が前記出力結果の要求精度を満たしているかを評価し、
評価結果を元に、前記要求性能値と前記要求精度の双方を満たす実行方式に切替える、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項11に記載のストリームデータ処理における性能保証装置であって、
前記処理部は、
前記クエリ処理において,単一,もしくは複数のオペレータで、切替えすべき複数の前記実行方式が存在する場合に,前記出力データの演算精度を基準として,当該演算精度で最も性能の高い前記実行方式の組を決定する、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項11に記載のストリームデータ処理における性能保証装置であって、
前記処理部は、
前記実行方式を切替えた時刻と切替えた前記実行方式を識別する識別情報を保持、出力する、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項12に記載のストリームデータ処理における性能保証装置であって、
前記処理部は、
過去の性能値を保持するよう制御し、
保持された前記過去の性能値と、未処理の前記入力データの量を比較し,前記要求性能値を満たす前記実行方式に切替える、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項18に記載のストリームデータ処理における性能保証装置であって、
前記処理部は、
前記実行方式の切替えに必要となる時間と前記過去の性能値を合計し,当該合計値が前記要求性能値を満たす前記実行方式に切替える、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項12に記載のストリームデータ処理における性能保証装置であって、
前記要求入力部から前記出力結果の要求精度が入力され、
前記処理部は、
前記出力データの演算精度が前記出力結果の要求精度を満たすか否かを評価し、
予測した前記性能値が前記要求性能値を満たすか否か、及び前記出力データの演算精度が前記出力結果の要求精度を満たしているかを評価し、
評価結果を元に、前記要求性能値と前記要求精度の双方を満たす実行方式に切替える、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項12に記載のストリームデータ処理における性能保証装置であって、
前記処理部は、
前記クエリ処理において,単一,もしくは複数のオペレータで、切替えすべき複数の前記実行方式が存在する場合に,前記出力データの演算精度を基準として,当該演算精度で最も性能の高い前記実行方式の組を決定する、
ことを特徴とするストリームデータ処理における性能保証装置。 - 請求項12に記載のストリームデータ処理における性能保証装置であって、
前記処理部は、
前記実行方式を切替えた時刻と切替えた前記実行方式を識別する識別情報を保持、出力する、
ことを特徴とするストリームデータ処理における性能保証装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010238782A JP5586417B2 (ja) | 2010-10-25 | 2010-10-25 | ストリームデータ処理における性能保証方法および装置 |
PCT/JP2011/051484 WO2012056732A1 (ja) | 2010-10-25 | 2011-01-26 | ストリームデータ処理における性能保証方法および装置 |
US13/820,048 US9247025B2 (en) | 2010-10-25 | 2011-01-26 | Method and device for guaranteeing performance in stream data processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010238782A JP5586417B2 (ja) | 2010-10-25 | 2010-10-25 | ストリームデータ処理における性能保証方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012094996A JP2012094996A (ja) | 2012-05-17 |
JP5586417B2 true JP5586417B2 (ja) | 2014-09-10 |
Family
ID=45993475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010238782A Expired - Fee Related JP5586417B2 (ja) | 2010-10-25 | 2010-10-25 | ストリームデータ処理における性能保証方法および装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9247025B2 (ja) |
JP (1) | JP5586417B2 (ja) |
WO (1) | WO2012056732A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10083465B2 (en) * | 2013-09-06 | 2018-09-25 | Facebook, Inc. | Allocating information for content selection among computing resources of an online system |
JP6244771B2 (ja) * | 2013-09-24 | 2017-12-13 | 日本電気株式会社 | 情報処理システム、処理装置、分散処理方法、及び、プログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5408465A (en) * | 1993-06-21 | 1995-04-18 | Hewlett-Packard Company | Flexible scheme for admission control of multimedia streams on integrated networks |
US6006264A (en) * | 1997-08-01 | 1999-12-21 | Arrowpoint Communications, Inc. | Method and system for directing a flow between a client and a server |
US7616640B1 (en) * | 1998-12-02 | 2009-11-10 | Cisco Technology, Inc. | Load balancing between service component instances |
US6944678B2 (en) * | 2001-06-18 | 2005-09-13 | Transtech Networks Usa, Inc. | Content-aware application switch and methods thereof |
US7035210B2 (en) * | 2001-07-12 | 2006-04-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Media stream delay monitoring for node |
JP2003069109A (ja) | 2001-08-30 | 2003-03-07 | Sony Corp | 磁気抵抗効果型磁気センサ、磁気抵抗効果型磁気ヘッド、磁気再生装置と、磁気抵抗効果型磁気センサおよび磁気抵抗効果型磁気ヘッドの製造方法 |
JP2006350828A (ja) * | 2005-06-17 | 2006-12-28 | Matsushita Electric Ind Co Ltd | ストリーム制御装置 |
JP4291306B2 (ja) * | 2005-07-22 | 2009-07-08 | 株式会社日立製作所 | 数値計算ライブラリのチューニングパラメータ算出プログラム及び方法 |
US7613848B2 (en) | 2006-06-13 | 2009-11-03 | International Business Machines Corporation | Dynamic stabilization for a stream processing system |
JP2009055327A (ja) * | 2007-08-27 | 2009-03-12 | Hitachi Ltd | ネットワークシステム |
JP2009122925A (ja) * | 2007-11-14 | 2009-06-04 | Toshiba Corp | データ処理プログラム、データ処理方法およびデータ処理システム |
US8228929B2 (en) * | 2008-10-24 | 2012-07-24 | Juniper Networks, Inc. | Flow consistent dynamic load balancing |
KR101519825B1 (ko) * | 2008-12-05 | 2015-05-13 | 삼성전자주식회사 | 데이터 처리 장치 및 그 제어 방법 |
JP2010206486A (ja) * | 2009-03-03 | 2010-09-16 | Sharp Corp | 動画像ストリーム復号装置及びその制御方法並びにプログラム、記録媒体 |
JP5149840B2 (ja) * | 2009-03-03 | 2013-02-20 | 株式会社日立製作所 | ストリームデータ処理方法、ストリームデータ処理プログラム、および、ストリームデータ処理装置 |
-
2010
- 2010-10-25 JP JP2010238782A patent/JP5586417B2/ja not_active Expired - Fee Related
-
2011
- 2011-01-26 US US13/820,048 patent/US9247025B2/en not_active Expired - Fee Related
- 2011-01-26 WO PCT/JP2011/051484 patent/WO2012056732A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20130204931A1 (en) | 2013-08-08 |
JP2012094996A (ja) | 2012-05-17 |
WO2012056732A1 (ja) | 2012-05-03 |
US9247025B2 (en) | 2016-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4654707B2 (ja) | ボトルネック検出システム、測定対象サーバ、ボトルネック検出方法およびプログラム | |
Subraya et al. | Object driven performance testing of Web applications | |
US8024737B2 (en) | Method and a system that enables the calculation of resource requirements for a composite application | |
KR101471749B1 (ko) | 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법 | |
US11966778B2 (en) | Cloud application scaler | |
JP2004220453A (ja) | ソフトウェア・コンポーネントの性能測定を基にしたシステム性能予測方式および方法 | |
US9191330B2 (en) | Path selection for network service requests | |
US9268609B2 (en) | Application thread to cache assignment | |
KR101916294B1 (ko) | 클라우드 데이터 센터 분석을 위한 기술 | |
Ahmad et al. | Predicting system performance for multi-tenant database workloads | |
JP2018005896A (ja) | シミュレーションジョブを実行するためのシステム、コントローラ、方法、及びプログラム | |
WO2014054230A1 (ja) | 情報システム構築装置、情報システム構築方法および記憶媒体 | |
WO2013038473A1 (ja) | ストリームデータの異常検知方法および装置 | |
US11354163B2 (en) | Virtual machine placement method and virtual machine placement device implementing the same | |
JP5586417B2 (ja) | ストリームデータ処理における性能保証方法および装置 | |
US20230088581A1 (en) | Predicting microservices required for incoming requests | |
US9864964B2 (en) | Job monitoring support method and information processing apparatus | |
JP4843379B2 (ja) | 計算機システムの開発プログラム | |
US7162665B2 (en) | Information processing system, method for outputting log data, and computer-readable medium storing a computer software program for the same | |
JP2006092053A (ja) | システム使用率管理装置及びそれに用いるシステム使用率管理方法並びにそのプログラム | |
JP5879117B2 (ja) | 情報処理システムおよび運用管理方法 | |
JP2009193205A (ja) | 自動チューニングシステム、自動チューニング装置、自動チューニング方法 | |
US11960939B2 (en) | Management computer, management system, and recording medium | |
CN112732765B (zh) | 一种实验路径的确定方法及装置、电子设备 | |
US20230091753A1 (en) | Systems and methods for data processing unit aware workload migration in a virtualized datacenter environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5586417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |