JP3683216B2

JP3683216B2 - Performance evaluation apparatus, information processing method, and program

Info

Publication number: JP3683216B2
Application number: JP2001399509A
Authority: JP
Inventors: 賢太郎栗並; 卓大城; 良文坂井; 達也長谷川
Original assignee: NS Solutions Corp
Current assignee: NS Solutions Corp
Priority date: 2001-12-28
Filing date: 2001-12-28
Publication date: 2005-08-17
Anticipated expiration: 2021-12-28
Also published as: JP2003196125A

Description

【０００１】
【発明の属する技術分野】
本発明は、性能評価装置、情報処理方法およびプログラムに関し、特に、情報処理システムの性能評価を行う性能評価装置に用いて好適なものである。
【０００２】
【従来の技術】
従来から、情報処理システム（１つの情報処理装置により構成される場合も含む。）のハードウェアおよびソフトウェアの性能を評価するために、情報処理システムの性能を測定する方法として、ベンチマークテスト（以下、「ベンチマーク」とも称す。）と呼ばれる性能測定試験があった。ベンチマークでは、複数のパラメータからなる測定条件を入力して定義し、定義した測定条件に応じた処理を評価対象の情報処理システムに実行させ性能を測定していた。そして、測定により得られた性能評価情報（ベンチマーク結果データ）を用いて、例えば、新しく構築した情報処理システムの性能を評価したり、情報処理システムが所望の性能要件を満足するか否かを判断したりして、情報処理システムの性能を評価していた。
【０００３】
例えば、情報処理システムとして所定のサービスを提供するサーバの性能を評価する場合には、サーバが有するＣＰＵ数、サーバを使用するユーザ数、ユーザのアクセス頻度および処理内容等を測定条件として定義していた。そして、定義された測定条件をデータ（プログラム）化して仮想的なプロセスを生成し、生成した仮想的なプロセスをクライアント端末に実行させたりしてサーバの性能を測定していた。
【０００４】
【発明が解決しようとする課題】
ここで、従来のベンチマークでは、ある測定条件のベンチマークを評価対象の情報処理システムで実行した際、その結果として得られる性能評価情報を、評価対象の情報処理システム毎あるいは実行したベンチマーク毎に個別に保存し、それぞれ独立して管理していた。そのため、従来は、過去に実行したベンチマークにより得られた性能評価情報を検索したり、比較したりすることは非常に困難であった。
【０００５】
例えば、過去に実行したベンチマークにより得られた性能評価情報を参照して、ある測定条件での情報処理システムの性能を評価しようとする。このとき、過去に得られた性能評価情報を参照しようとする者（性能の評価を行う者）は、同様の情報処理システムおよび測定条件でベンチマークを実行した事例を、性能評価の報告書等から自らの記憶を頼りに手作業で検索し抽出する。
【０００６】
しかしながら、ベンチマークを行うためのツール毎に性能評価情報の内容（項目）および出力形式が異なったり、記載者毎に性能評価の報告書の記載等も異なったりしているとともに、必ずしも同様の情報処理システムおよび測定条件でベンチマークを実行した事例を抽出できるとも限らなかった。したがって、過去に実行したベンチマークにより得られた性能評価情報を検索したり、比較したりすることは煩雑であるとともに、性能の評価を行う者の時間および労力を非常に浪費してしまう。
【０００７】
本発明は、上述したような問題に鑑みてなされたものであり、さまざまな測定条件での性能測定試験を情報処理システムで実行することにより得られた性能評価情報を共通の記憶媒体に保存蓄積し、一元的に管理できるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の性能評価装置は、評価対象の情報処理システムにて、複数の測定条件で実行した性能測定試験の実行結果をそれぞれ取得する結果取得手段と、上記結果取得手段により取得した実行結果からそれぞれ得られる性能評価情報と、当該性能評価情報に対応する上記測定条件とを関連付けて記憶媒体に記憶する情報記憶手段と、上記記憶媒体に記憶された上記性能評価情報と測定条件とに基づいて、上記測定条件の変化に対する上記性能評価情報に示される性能の変化を解析する変化解析手段と、上記変化解析手段による解析結果に基づいて、推奨測定条件を決定し提供する測定条件提供手段とを備えることを特徴とする。
【０００９】
本発明の性能評価装置の他の特徴とするところは、上記変化解析手段は、上記測定条件の変化に対する上記性能評価情報に示される性能の変化の割合を算出し、上記測定条件提供手段は、上記変化解析手段により算出した性能の変化の割合に基づいて、上記推奨測定条件を決定することを特徴とする。
【００１０】
本発明の性能評価装置のその他の特徴とするところは、上記測定条件提供手段により提供される推奨測定条件に応じた上記情報処理システムでの性能測定試験の実行を制御する実行制御手段をさらに備えることを特徴とする。
【００１１】
本発明の情報処理方法は、情報処理システムの性能評価を行う性能評価装置に於ける情報処理方法であって、評価対象の情報処理システムにて、複数の測定条件で実行した性能測定試験の実行結果をそれぞれ性能評価装置が備える結果取得手段で取得し、上記結果取得手段により取得した実行結果からそれぞれ得られる性能評価情報と、当該性能評価情報に対応する上記測定条件とを関連付けて性能評価装置が備える記憶媒体に記憶し、上記記憶媒体に記憶された上記性能評価情報と測定条件とに基づいて、上記測定条件の変化に対する上記性能評価情報に示される性能の変化を性能評価装置が備える変化解析手段で解析し、上記変化解析手段による解析結果に基づいて、推奨測定条件を性能評価装置が備える測定条件提供手段が出力することを特徴とする。
【００１２】
本発明の情報処理方法の他の特徴とするところは、上記変化解析手段が、上記測定条件の変化に対する上記性能評価情報に示される性能の変化の割合を算出し、上記測定条件提供手段は、上記変化解析手段により算出した性能の変化の割合に基づいて、上記推奨測定条件を決定することを特徴とする。
【００１３】
本発明の情報処理方法のその他の特徴とするところは、上記測定条件提供手段により出力される推奨測定条件に基づいて、性能評価装置が備える実行制御手段が上記情報処理システムの測定条件の変更を指示して性能測定試験を実行することを特徴とする。
【００１４】
本発明のプログラムは、上述した性能評価装置の各手段としてコンピュータを機能させることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態による性能評価情報管理装置を適用した性能評価システムの一構成例を示すブロック図である。
【００２３】
図１において、１００は実行制御部であり、測定条件入力部１０１、実行制御データ生成部１０２および実行制御データ出力部１０３により構成される。
測定条件入力部１０１は、後述する測定（評価）対象の情報処理システム２００において実行するベンチマークの測定条件（パラメータおよびその設定値等）を入力するためのものである。実行制御データ生成部１０２は、測定条件入力部１０１に入力された測定条件に基づいて、情報処理システム２００においてベンチマークを実行するための実行制御データを生成する。実行制御データ出力部１０３は、実行制御データ生成部１０２が生成した実行制御データを情報処理システム２００に出力する。
【００２４】
情報処理システム２００は、測定（評価）対象の情報処理システムであり、ベンチマークの測定条件に応じた処理を実行する。情報処理システム２００は、サーバ２０１とクライアント端末２０２とにより構成される。
【００２５】
サーバ２０１は、クライアント端末２０２に所定のサービスを提供するものである。また、サーバ２０１は、実行制御部１００から供給される実行制御データに応じて、自らが有するＣＰＵの数、メモリサイズ等のハードウェア構成を変更したり、１つの測定条件でのベンチマークが終了すると結果データ管理部３００に実行結果（ＣＰＵ稼働率等のリソース情報）を出力したりする。
【００２６】
クライアント端末２０２は、サーバ２０１が提供するサービスを受ける端末である。また、クライアント端末２０２は、実行制御部１００から供給される実行制御データに基づいて仮想プロセスを生成し、生成した仮想プロセスに従って、サーバ２０１に対するアクセス等の処理を実行したり、１つの測定条件でのベンチマークが終了すると結果データ管理部３００に実行結果（サーバ２０１の応答時間等）を出力したりする。なお、仮想プロセスの生成は、クライアント端末２０２でなく、実行制御部１００内の実行制御データ生成部１０２で行っても良く、その場合には、仮想プロセスを実行するためのデータが実行制御部１００から実行制御データとして供給される。
【００２７】
ここで、サーバ２０１とクライアント端末２０２とは、それぞれが備える図示しないネットワークインタフェースにより、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワーク２０３を介して互いに通信可能なように接続されている。なお、図１においては、１つのサーバ２０１と２つのクライアント端末２０２とで構成される情報処理システム２００を一例として示しているが、サーバおよびクライアント端末の数はそれぞれ任意である。
【００２８】
結果データ管理部３００は、結果取得部３０１、結果記憶部３０２、特徴量抽出部３０３、結果データベース（以下、「結果ＤＢ」と称す。）３０４、検索実行部３０５、検索条件入力部３０６および検索結果出力部３０７により構成される。
【００２９】
結果取得部３０１は、１つの測定条件でのベンチマークが情報処理システム２００で終了する毎に、サーバ２０１およびクライアント端末２０２からベンチマークの実行結果（ＣＰＵ稼働率、処理応答時間等）を取得する。また、結果取得部３０１は、後述する特徴量抽出部３０３にて抽出される性能評価情報としての特徴量に対応する値を、取得したベンチマークの実行結果から直ちに得られる場合（取得したベンチマークの実行結果に特徴量が情報として含まれている場合）には、特徴量を結果ＤＢ３０４に出力する。上記結果取得部３０１は、本発明の結果取得手段を構成する。
【００３０】
結果記憶部３０２は、結果取得部３０１により取得されたベンチマークの実行結果を記憶するためのものである。なお、結果記憶部３０２に記憶されるベンチマークの実行結果は、ベンチマークの実行時に１回の処理（例えば、サーバ２０１に対するアクセス等）毎に逐次得られるベンチマークの詳細な実行結果である。特徴量抽出部３０３は、結果記憶部３０２に記憶されたベンチマークの詳細な実行結果から性能評価情報としての特徴量を抽出（算出）し、結果ＤＢ３０４に出力する。上記特徴量抽出部３０３は、本発明の情報抽出手段を構成する。
【００３１】
結果ＤＢ３０４は、ベンチマークの測定条件と、実行結果から得られた特徴量とを自らが備えるハードディスク等の記憶媒体に記憶蓄積する。具体的には、結果ＤＢ３０４は、測定条件入力部１０１から供給されるベンチマークの測定条件と、結果取得部３０１あるいは特徴量抽出部３０３から供給される、当該測定条件でのベンチマークの実行結果から得られた特徴量とを、図２に示すように１つのＩＤ（識別番号）により結び付けて（関連付けて）記憶し蓄積する。上記結果ＤＢ３０４は、本発明の情報記憶手段を構成する。
【００３２】
図２は、結果ＤＢ３０４におけるデータ構造の一例を示す図である。
図２において、４０１はベンチマーク条件データであり、ベンチマークの測定条件（ＣＰＵ数、ユーザ数、アクセス頻度等）に係るデータである。４０２、４０３は、それぞれベンチマーク結果データ、ベンチマークリソース結果データであり、ベンチマークの実行結果から得られた特徴量に係るデータである。ベンチマーク結果データ４０２は、ベンチマークの実行結果から得られた特徴量の応答時間やスループット（単位時間当たりの処理量）等の実際の処理に関わる結果データである。また、ベンチマークリソース結果４０３は、ベンチマークの実行結果から得られた特徴量のＣＰＵ稼働率等のベンチマーク実行時におけるリソース（ハードウェア資源）の使用状況に関わる結果データである。
【００３３】
図２に示すように、ベンチマークの測定条件およびベンチマークの実行結果から得られた特徴量は、１つの測定条件でのベンチマーク毎に、１組のベンチマーク条件データ（条件１、条件２、条件３、…）、ベンチマーク結果データ（結果１、結果２、結果３、…）およびベンチマークリソース結果データ（リソース結果１、リソース結果２、リソース結果３、…）に分けられる。１組のベンチマーク条件データ、ベンチマーク結果データおよびベンチマークリソース結果データは、１つの測定条件でのベンチマーク毎に同一のＩＤが付与され管理される。
【００３４】
なお、以下では、１つのＩＤにより結び付けられたベンチマークの測定条件と、当該測定条件での実行結果から得られた特徴量との組を性能評価データと称す。
【００３５】
図１に戻り、検索実行部３０５は、検索条件入力部３０６を介して外部から入力された検索条件に基づいて、検索条件を満足する性能評価データを結果ＤＢ３０４から検索し、検索結果出力部３０７を介して検索結果を外部に出力する。上記検索実行部３０５は、本発明の情報検索手段を構成する。
【００３６】
なお、上記図１においては、結果データ管理部３００内に、ベンチマークの詳細な実行結果を記憶する結果記憶部３０２を設けているが、結果データ管理部３００内に結果記憶部３０２を設けずに、ベンチマークの詳細な実行結果を外部の記憶媒体（ハードディスク、磁気テープ等）に個別に保存し、当該外部の記憶媒体から特徴量抽出部３０３にベンチマークの詳細な実行結果を供給するようにしても良い。
【００３７】
また、特徴量抽出部３０３にて抽出される特徴量に対応する値が、結果取得部３０１により取得するベンチマークの実行結果に常に含まれている場合には、結果データ管理部３００は、結果記憶部３０２および特徴量抽出部３０３を備えてなくとも良い。
【００３８】
次に、上記図１に示した性能評価システムの動作について説明する。
まず、ベンチマークを実行して、測定条件と、実行結果から得られる性能評価情報としての特徴量とを結び付けて結果ＤＢ３０４に記憶し蓄積する性能評価データ保存動作について説明し、次に結果ＤＢ３０４に記憶し蓄積した性能評価データを検索する性能評価データ検索動作について説明する。
【００３９】
＜性能評価データ保存動作＞
まず、ベンチマークのオペレータは、図示しない入力装置等を用いて、実行するベンチマークの測定条件（パラメータおよびその設定値等）を入力する。例えば、「ユーザ数」、「アクセス頻度」、および「ＣＰＵ数」等の測定条件のパラメータに対して、オペレータは入力装置等を用いて「ユーザ数」＝“１００”、「アクセス頻度」＝“２”、および「ＣＰＵ数」＝“２”等と入力する。入力装置等を用いてオペレータにより入力された測定条件は、測定条件入力部１０１に供給される。
【００４０】
測定条件入力部１０１は、供給された測定条件を実行制御データ生成部１０２および結果ＤＢ３０４に供給する。測定条件が供給された実行制御データ生成部１０２は、供給された測定条件に基づいて、情報処理システム２００を構成するサーバ２０１およびクライアント端末２０２に対してそれぞれ供給するベンチマークの実行制御データを生成する。
【００４１】
例えば、供給された測定条件が「ＣＰＵ数」＝“２”である場合には、実行制御データ生成部１０２は、ベンチマークの実行処理に使用するＣＰＵ数を“２”にするようにハードウェア構成の変更を指示するサーバ２０１の実行制御データを生成する。また、例えば、供給された測定条件が「ユーザ数」＝“１００”および「アクセス頻度」＝“２”である場合には、実行制御データ生成部１０２は、サーバ２０１に対する全てのクライアント端末２０２からの全処理要求により、ユーザ数が“１００”およびアクセス頻度が“２”に相当する処理をサーバ２０１に実行させるように制御する各クライアント端末２０２の実行制御データを生成する。
【００４２】
実行制御データ生成部１０２がそれぞれ生成したサーバ２０１およびクライアント端末２０２の実行制御データは、実行制御データ出力部１０３によりサーバ２０１およびクライアント端末２０２に対してそれぞれ供給される。サーバ２０１は、供給された実行制御データに応じて、自らのハードウェア構成を変更したり、所定の初期設定を行ったりする。また、クライアント端末２０２は、供給された実行制御データに基づいて、ベンチマークにおける仮想プロセスをそれぞれ生成する。
【００４３】
さらに、ベンチマークの実行開始が実行制御部１００より情報処理システム２００に対して指示されると、クライアント端末２０２による仮想プロセスの実行が開始され、情報処理システム２００においてベンチマークが実行される。
クライアント端末２０２による仮想プロセスの実行が終了する、すなわち、１つの測定条件でのベンチマークが情報処理システム２００において終了すると、結果取得部３０１は、サーバ２０１およびクライアント端末２０２からベンチマークの実行結果を取得する。取得したベンチマークの実行結果は、結果記憶部３０２に供給され記憶される。
【００４４】
次に、特徴量抽出部３０３は、応答時間の平均値、分散値、最大値、９０％の確率で応答が返ってくる時間の値や、スループットや、ＣＰＵ稼働率等の特徴量を結果記憶部３０２に記憶されたベンチマークの実行結果から抽出（算出）する。特徴量抽出部３０３により抽出された特徴量は、結果ＤＢ３０４に供給される。
【００４５】
そして、測定条件入力部１０１から供給されたベンチマークの測定条件と、特徴量抽出部３０３にて実行結果から得られた性能評価情報としての特徴量とが、１つの測定条件のベンチマーク毎に１組の性能評価データとして結果ＤＢ３０４に記憶される。このとき、性能評価データは、図３に示すような保存形式（フォーマット）で結果ＤＢ３０４に記憶される。
【００４６】
図３は、結果ＤＢ３０４に性能評価データを記憶する際の保存形式の一例を示す図である。ベンチマークにより得られる性能評価データ５０１、５０２、５０３、…は、１つの測定条件のベンチマーク毎にそれぞれ管理するための１つのＩＤと、ベンチマーク条件（ユーザ数、アクセス頻度およびＣＰＵ数等）と、ベンチマーク結果（応答時間の平均、分散およびスループット等）と、ベンチマークリソース結果（ＣＰＵ稼働率等）とが並列に記述された一定の保存形式で結果ＤＢ３０４に記憶される。
【００４７】
なお、上述したように、結果取得部３０１により取得されたベンチマークの実行結果から直ちに特徴量が得られる場合には、測定条件入力部１０１から供給されたベンチマークの測定条件と、結果取得部３０１にて実行結果から直接得られた特徴量とを、１組の性能評価データとして結果ＤＢ３０４に記憶するようにしても良い。
【００４８】
測定条件入力部１０１に入力される、さまざまな測定条件でのベンチマークにおいて、上述した処理動作を繰り返し行うことにより、さまざまな測定条件で実行したベンチマークにより得られた性能評価データが、共通の結果ＤＢ３０４に記憶され蓄積される。
【００４９】
＜性能評価データ検索動作＞
次に、結果ＤＢ３０４に記憶し蓄積した性能評価データを検索する性能評価データ検索動作について説明する。
まず、さまざまな測定条件でのベンチマークによりそれぞれ得られた性能評価データを検索しようとするオペレータは、図示しない入力装置等を用いて、性能評価データの検索条件を入力し、検索条件入力部３０６に供給する。ここで、上記検索条件としては、ベンチマークの測定条件を入力しても良いし、情報処理システムの性能要件を入力しても良い。
【００５０】
次に、検索条件入力部３０６は、供給された検索条件を検索実行部３０５に供給する。これにより、検索実行部３０５は、検索条件に合致する性能評価データを結果ＤＢ３０４から検索して抽出し、抽出した性能評価データを検索結果出力部３０７を介して出力する。オペレータは、検索結果出力部３０７より出力され、図示しない表示装置等に表示された検索結果を参照する。
【００５１】
例えば、ベンチマークの測定条件のユーザ数が“１００〜２００”を検索条件として入力した場合には、検索実行部３０５は、ユーザ数が１００〜２００であるベンチマーク条件データを結果ＤＢ３０４から検索する。検索実行部３０５は、ユーザ数が合致したベンチマーク条件データに付与されているＩＤの性能評価データ（ユーザ数が合致したベンチマーク条件データ、およびそのベンチマーク結果データとベンチマークリソース結果データ）を結果ＤＢ３０４から抽出する。さらに、検索実行部３０５は、ユーザ数が合致した性能評価データを検索結果として出力する。これにより、オペレータは、検索結果として出力されたベンチマーク結果データとベンチマークリソース結果データとを参照して、情報処理システムの性能を見積もることができる。
【００５２】
また、例えば、情報処理システムの性能要件として応答時間の平均が“５秒以内”を検索条件として入力した場合には、検索実行部３０５は、応答時間の平均が５秒以内であるベンチマーク結果データを結果ＤＢ３０４から検索する。検索実行部３０５は、応答時間の平均が５秒以内であるベンチマーク結果データに付与されているＩＤの性能評価データを結果ＤＢ３０４から抽出する。さらに、検索実行部３０５は、応答時間の平均が５秒以内である性能評価データを検索結果として出力する。これにより、オペレータは、検索結果として出力されたベンチマーク条件データを参照して、情報処理システムが備えるべきハードウェア等を見積もることができる。
【００５３】
なお、上記図１においては、それぞれ１つの実行制御部１００、情報処理システム２００および結果データ管理部３００により構成される性能評価システムを一例として示したが、本発明はこれに限られるものではなく、例えば、図４に示すような複数の実行制御部１００−Ｎおよび情報処理システム２００−Ｎ（Ｎは自然数）と、１つの結果データ管理部３００とにより性能評価システムを構成することができる。
【００５４】
図４は、第１の実施形態における性能評価システムの一般的な構成例を示すブロック図である。
図４において、実行制御部１００−Ｎ（Ｎは自然数）は、それぞれ図１に示した実行制御部１００と同様の機能を備える。情報処理システム２００−Ｎ（Ｎは自然数）は、図１に示した情報処理システム２００と同様に、実行制御部１００−Ｎ（Ｎは自然数）から供給された実行制御データに従って、ベンチマークを実行しベンチマークの実行結果を結果データ管理部３００に供給する任意の情報処理システムである。
【００５５】
結果データ管理部３００は、上記図１に示す結果データ管理部であり、情報処理システム２００−Ｎにおいてそれぞれ実行したベンチマークの性能評価データを記憶し蓄積する。すなわち、図４に示すように、本実施形態における性能評価システムの結果データ管理部３００は、複数の情報処理システム２００−Ｎにてそれぞれ実行したベンチマークにより得られる性能評価データを一元的に管理する。
【００５６】
以上、詳しく説明したように本実施形態によれば、さまざまな測定条件で実行したベンチマークの実行結果を結果取得部３０１により情報処理システム２００から取得し、測定条件と、取得した実行結果から得られた性能評価情報としての特徴量とを、１つの測定条件のベンチマーク毎に関連付けて結果ＤＢ３０４に記憶する。
【００５７】
これにより、測定条件と、当該測定条件でのベンチマークの実行結果からそれぞれ得られる性能評価情報としての特徴量とからなる性能評価データが、１つの測定条件でのベンチマーク毎に結果ＤＢ３０４に記憶し蓄積することができ、さまざまな測定条件でのベンチマークにより得られた性能評価情報をそれぞれ含む複数の性能評価データを結果ＤＢ３０４に一元的に管理することができる。したがって、さまざまな測定条件で実行したベンチマークの性能評価データの検索および比較を容易に行うことができる。
【００５８】
また、検索条件に合致した性能評価データを結果ＤＢ３０４に記憶された複数の性能評価データの中から検索して、検索結果に基づいて抽出した性能評価データを出力するようにしたので、過去に実行したベンチマークにより得られた性能評価データの検索を容易に行うことができる。また、顧客等から多数の測定条件が提示されたりしてパラメータの設定値を変更して複数のベンチマークを実行した場合には、当該複数のベンチマークの性能評価データをそれぞれ検索して、得られた性能評価データを容易に比較することができる。
【００５９】
例えば、過去に実行したベンチマークとわずかに異なる測定条件で（例えば、アプリケーションの負荷に相当する測定条件を変更したり、情報処理システムのハードウェア構成に相当する測定条件を変更したりして）ベンチマークを実行しようとする場合には、ベンチマークを実行しなくとも、過去に実行したベンチマークでの性能評価データを検索して参照および比較することにより、得られる性能評価データを推測して評価することができる。
【００６０】
また、結果ＤＢ３０４のデータ構造を、性能評価データを構成するベンチマーク条件データ、ベンチマーク結果データおよびベンチマークリソース結果データを１つのＩＤにて関連付けた並列のデータ構造として相互に検索できるようにするとともに、検索条件として、測定条件の構成要素に限らず、性能評価情報の構成要素を入力することができるようにしたので、ベンチマークの測定条件から得られる性能評価情報を検索するに限らず、性能評価情報から測定条件等を検索することができ、結果ＤＢ３０４に記憶されている性能評価データを多面的に利用することができる。これにより、所望の性能要件等を検索条件として入力することで、情報処理システムが備えるべき構成（ハードウェア等）を参照することができる。
【００６１】
また、複数の性能評価データを結果ＤＢ３０４に記憶する際、一定の保存形式で性能評価データをそれぞれ記憶するようにしたので、検索条件に合致した性能評価データの検索、および検索結果を用いた性能評価データの比較をさらに容易に行うことができる。
【００６２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
評価対象である情報処理システムの性能を全体的に（さまざまな条件下での性能を）把握したりするためにベンチマークを実行する場合には、あらゆる全てのベンチマークの測定条件でのベンチマークを情報処理システムで実行し、性能評価データを取得することは非常に困難である。そのため、従来はベンチマークを実行するオペレータ等が、おおまかに設定された情報処理システムの性能を測定したい測定条件の範囲内で、性能評価データがほぼ均等に得られるような幾つかの（例えば、５〜６つの）測定条件を決定してベンチマークを実行していた。さらに、決定した測定条件での全てのベンチマーク終了後にベンチマークの実行結果の整理および解析により、あらためて詳細に測定したい測定条件が生じた場合には、当該測定条件でのベンチマークを実行していた。
【００６３】
しかしながら、上述した従来の方法では、性能評価データがほぼ均等に得られるような幾つかの測定条件を決定してベンチマークを実行する際、測定条件を決定するための指標となる情報がないため、例えば、情報処理システムにおける性能の変化が少なく、性能に関して得られる情報量が結果的に少ない測定条件でもベンチマークを実行してみなければならないという問題があった。また、あらためて詳細に測定したい測定条件は、全ての測定条件でのベンチマーク終了後の実行結果を整理して解析しなければ判明しないという問題があった。したがって、上述のようにして情報処理システムの性能を全体的に把握し評価するには、労力を浪費するとともに多大な時間を要するという問題があった。
【００６４】
そこで、本発明の第２の実施形態では、上述した第１の実施形態による性能評価情報管理装置を利用して、推奨するベンチマークの測定条件を自動的に提示できるようにする。
【００６５】
図５は、本発明の第２の実施形態による性能評価装置を適用した性能評価システムの一構成例を示すブロック図である。なお、この図５において、図１に示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。また、図１に示したブロックと同一ではないが対応する機能を有するブロックには、同じ符号に'を付している。
【００６６】
図５において、３００’は結果データ管理部であり、上記図１に示した結果データ管理部３００に、結果解析部３０８とパラメータ出力部３１０とをさらに設けたものである。
結果解析部３０８は、変化量解析部３０９を含み構成され、変化量解析部３０９による解析結果に基づいて、情報処理システム２００の詳細な性能評価データを得るための、推奨するベンチマークの測定条件（推奨測定条件）を決定し出力する。変化量解析部３０９は、結果ＤＢ３０４に蓄積された性能評価データに基づいて、情報処理システム２００における性能変化の割合を解析する。測定条件出力部３１０は、結果解析部３０８により決定し出力された推奨測定条件を外部に出力するためのものである。ここで、上記結果解析部３０８は、本発明の測定情報提供手段を構成し、上記変化量解析部３０９は、本発明の変化解析手段を構成する。
【００６７】
次に、上記図５に示す性能評価システムの動作について説明する。
図６は、第２の実施形態による性能評価システムの処理動作を示すフローチャートである。
まず、ステップＳ６０１にて、オペレータは、図示しない入力装置等を用いて、評価対象である情報処理システム２００にて測定可能な測定条件の範囲内である幾つかの（例えば３〜４つの）ベンチマークの測定条件を入力し、測定条件入力部１０１を介して実行制御データ生成部１０２に順次供給する。なお、入力する測定条件は、任意であり、例えば、測定条件の範囲内にて等間隔に分割しても良いし、オペレータの過去の経験に基づいたものであっても良い。また、オペレータは、測定条件の最小値と最大値とを入力するだけで、実行制御部１００がその間を任意に自動的に分割するようにしても良い。
【００６８】
そして、上述した第１の実施形態での性能評価データ保存動作と同様にして、供給された測定条件でのベンチマークを実行し（ステップＳ６０２）、実行したベンチマークの実行結果を収集して、性能評価データを結果ＤＢ３０４に記憶蓄積する（ステップＳ６０３）。この性能評価データ保存動作（ステップＳ６０２、Ｓ６０３）を繰り返し行い、上記ステップＳ６０１において入力した全ての測定条件でのベンチマークを実行する。
【００６９】
そして、上記ステップＳ６０１において入力した全ての測定条件でのベンチマークの実行が終了して性能評価データが得られると（ステップＳ６０４のＮ）、ステップＳ６０５に進む。
【００７０】
ここで、情報処理システム２００の性能を的確に把握したりする際に、情報処理システム２００の性能に関して多くの情報量が得られる（実行したベンチマークにより得られた実行結果が大きな意味をなす）のは、性能変化の挙動がかわり、性能変化の割合が大きい（例えば、性能曲線を描いた際に小さな曲率を示す部分）測定条件で得られるベンチマークの実行結果である。そこで、ステップＳ６０５にて、変化量解析部３０９は、上述したステップＳ６０１〜Ｓ６０４での動作により、結果ＤＢ３０４に記憶された性能評価データに基づいて、ベンチマークを実行し評価するにあたり着目している性能の変化の割合（性能変化の変化率）を自動で計算する。
【００７１】
変化量解析部３０９は、例えば、性能評価データに基づいて、ベンチマークを実行した複数の測定条件間での着目している性能の変化量をそれぞれ算出し、さらに算出した変化量に基づいて、各測定条件間での性能変化の変化率を算出する。
【００７２】
次に、ステップＳ６０６にて、結果解析部３０８は、上記ステップＳ６０５において変化量解析部３０９にて算出した性能変化の変化率の中で、大きな変化率を示す測定点があるか否かを判断する。ここで、結果解析部３０８は、例えば、予め設定された性能変化の変化率の基準値と、変化量解析部３０９により算出された性能変化の変化率とを比較することにより変化率が大きいか否かを判断するようにしても良いし、例えば、変化量解析部３０９により算出された各測定条件間での性能変化の変化率を互いに比較することにより変化率が大きいか否かを判断するようにしても良い。
【００７３】
上記判断の結果、性能変化の変化率が大きい測定点があると判断した場合には、ステップＳ６０７にて、結果解析部３０８は、上記性能変化の変化率が大きい測定点におけるパラメータの設定値を含む推奨測定条件を、測定条件出力部３１０を介して外部（例えば、オペレータが使用可能な表示装置等）に出力し、処理を終了する。また、上記ステップＳ６０６での判断の結果、性能変化の変化率が大きい測定点がないと判断した場合にも処理を終了する。
【００７４】
上述した処理を繰り返し行うことにより、さまざまな測定条件により得られた性能評価データが結果ＤＢ３０４に蓄積されていくとともに、情報処理システム２００において性能変化の変化率が大きい点を細かく重点的に測定することができる。
【００７５】
以上、説明したように本実施形態によれば、上述した第１の実施形態にて得られる効果に加え、結果ＤＢ３０４に記憶されている性能評価データに基づいて、評価対象である情報処理システム２００にて性能変化の変化率が大きい測定点を推奨測定条件として出力する。
【００７６】
これにより、情報処理システム２００にて性能変化の変化率が大きい測定点を重点的に測定し、性能変化の変化率が小さい測定点は、粗い間隔で測定することにより、情報処理システム２００における性能を、少ない測定条件の数で効率良く測定することができる。
【００７７】
また、結果ＤＢ３０４に記憶されている性能評価データに基づいて、情報処理システム２００にて性能変化の変化率を変化量解析部３０９により自動的に算出し、結果解析部３０８により性能変化の変化率が大きいか否かを判断するようにしたので、オペレータは性能評価データの整理および解析を行わなくとも、次に測定すべき測定条件を得ることができ、オペレータ等が性能評価データ等の計算を行う手間を削減することができる。
【００７８】
なお、上述した本実施形態では、結果解析部３０８は、性能変化の変化率が大きい測定点におけるパラメータの設定値を含む推奨測定条件を、測定条件出力部３１０を介して外部に出力するようにしているが、性能変化の変化率が大きい測定点におけるパラメータの設定値のみを当該パラメータ名とともに出力するようにしても良い。
【００７９】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図７は、本発明の第３の実施形態による性能評価装置を適用した性能評価システムの一構成例を示すブロック図である。なお、この図７において、図１および図５に示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。また、図１および図５に示したブロックと同一ではないが対応する機能を有するブロックには、同じ符号に'を付している。
【００８０】
上述した第２の実施形態における性能評価システムでは、結果解析部３０８より出力された推奨測定条件を、測定条件出力部３１０を介して外部に出力していたが、第３の実施形態における性能評価システムでは、結果解析部３０８より出力される推奨測定条件を測定条件入力部１０１’に供給してベンチマークを自動的に実行させるようにする。
【００８１】
図７において、測定条件入力部１０１’は、外部から供給されるベンチマークの測定条件および測定条件出力部３１０から供給されるベンチマークの推奨測定条件を入力するためのものである。ここで、本実施形態において実行制御部１００は、本発明の実行制御手段を構成する。
【００８２】
次に、上記図７に示す性能評価システムの動作について説明する。
図８は、第３の実施形態による性能評価システムの処理動作を示すフローチャートである。
【００８３】
図８において、ステップＳ８０１〜ステップＳ８０６は、上記図６に示したステップＳ６０１〜ステップＳ６０６にそれぞれ対応しており、上述した第２の実施形態における性能評価システムと同じ動作を行い、ステップＳ８０６において、結果解析部３０８は、変化量解析部３０９にて算出した性能変化の変化率の中で大きな変化率を示す測定点があるか否かを判断する。
【００８４】
上記判断の結果、性能変化の変化率が大きい測定点があると判断した場合には、ステップＳ８０７にて、結果解析部３０８は、上記性能変化の変化率が大きい測定点におけるパラメータの設定値を含む推奨測定条件を、測定条件出力部３１０を介して測定条件入力部１０１’に出力する。そして、ステップＳ８０２〜ステップＳ８０６の処理を再び行う。
【００８５】
そして、上記ステップＳ８０６での判断の結果、結果解析部３０８により性能変化の変化率が大きい測定点がないと判断されるまで、ステップＳ８０２〜ステップＳ８０７の処理を繰り返し行い、上記ステップＳ８０６での判断の結果、性能変化の変化率が大きい測定点がないと判断した場合には処理を終了する。
【００８６】
上述したようにして、性能評価システムにて処理を行うことにより、例えば、図９に示すような性能曲線を得ることができる。
図９は、第３の実施形態における性能評価システムにより得られる性能曲線の一例を示す図である。図９に示す性能曲線は、パラメータ「ＣＰＵ数」の設定値のみを変化させ、他のパラメータの設定値は固定とした測定条件での、情報処理システム２００における単位時間当たりの処理能力（スループット）を示す性能曲線である。
【００８７】
図９において、点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５は、初期設定（図８のステップＳ８０１）にてパラメータ「ＣＰＵ数」の設定値を、それぞれ“２”、“４”、“６”、“８”、“１０”と設定したときの情報処理システム２００でのスループットを示す点である。図９に示すように、点Ｐ１〜Ｐ３の間では、ＣＰＵ数の増加とともに、スループットもほぼ比例して増加し、点Ｐ３〜Ｐ４の間では、ＣＰＵ数の増加に対してスループットはわずかに増加し、点Ｐ４〜Ｐ５の間では、ＣＰＵ数の増加に対して、スループットはほぼ変わらず同じ値を示す。
【００８８】
上記点Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５に示すような性能評価データが得られたとき、図７に示す結果解析部３０８では、点Ｐ３〜Ｐ４間での性能変化の変化率が大きいと判断され、点Ｐ３〜Ｐ４間に対応するパラメータ「ＣＰＵ数」の設定値を“７”にした測定条件を出力し、ベンチマークを実行することで点Ｐ３〜Ｐ４間を補う点Ｐ６に示す性能評価データが得られ、図９に示すような情報処理システム２００の性能曲線を得ることができる。
このようにして、情報処理システム２００の詳細な性能曲線を得ることで、任意の測定条件での性能評価データを推測したりすることができるとともに、逆に性能要件を満足する情報処理システムの構成（ハードウェアおよびソフトウェア）を推測することができる。
【００８９】
以上、説明したように本実施形態によれば、上述した第１および第２の実施形態により得られる効果に加え、結果解析部３０８より出力された推奨測定条件でのベンチマークを自動的に実行して性能評価データを得る。これにより、オペレータに最小限の測定条件をはじめに入力させるだけで、必要かつ適切な測定条件を自動的に生成してベンチマークを実行し、情報処理システム２００における性能評価データを詳細に取得することができるので、オペレータ等は測定中に何ら作業を行わなくとも、非常に効率良く情報処理システム２００における性能を自動的に測定し、性能評価データを取得することができる。
【００９０】
なお、以上に説明した実施形態の性能評価情報管理装置および性能評価装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成できるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【００９１】
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、および当該送信装置を備えるネットワークシステム等がある。
【００９２】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていても良い。
【００９３】
例えば、上述した実施形態に示した性能評価情報管理装置および性能評価装置は、図１０に示すようなコンピュータ機能１０００を有し、そのＣＰＵ１００１により本実施形態での動作が実施される。
【００９４】
コンピュータ機能１０００は、上記図１０に示すように、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３と、キーボード（ＫＢ）１００９のキーボードコントローラ（ＫＢＣ）１００５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）１０１０のＣＲＴコントローラ（ＣＲＴＣ）１００６と、ハードディスク（ＨＤ）１０１１およびフレキシブルディスク（ＦＤ）１０１２のディスクコントローラ（ＤＫＣ）１００７と、ネットワークインタフェースカード（ＮＩＣ）１００８とが、システムバス１００４を介して互いに通信可能に接続された構成としている。
【００９５】
ＣＰＵ１００１は、ＲＯＭ１００２あるいはＨＤ１０１１に記憶されたソフトウェア（プログラム）、あるいはＦＤ１０１２より供給されるソフトウェア（プログラム）を実行することで、システムバス１００４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ１００１は、上述したような動作を行うための処理プログラムを、ＲＯＭ１００２、あるいはＨＤ１０１１、あるいはＦＤ１０１２から読み出して実行することで、本実施形態での動作を実現するための制御を行う。
【００９６】
ＲＡＭ１００３は、ＣＰＵ１００１の主メモリあるいはワークエリア等として機能する。
ＫＢＣ１００５は、ＫＢ１００９や図示していないポインティングデバイス等からの指示入力を制御する。ＣＲＴＣ１００６は、ＣＲＴ１０１０の表示を制御する。ＤＫＣ１００７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、および本実施形態における上記処理プログラム等を記憶するＨＤ１０１１およびＦＤ１０１２とのアクセスを制御する。ＮＩＣ１００８はネットワーク１０１３上の他の装置と双方向にデータをやりとりする。
【００９７】
【発明の効果】
以上説明したように、本発明によれば、さまざまな測定条件で評価対象の情報処理システムにて実行した性能測定試験の実行結果をそれぞれ取得して、当該実行結果からそれぞれ得られる性能評価情報と、それに対応する測定条件とを関連付けて記憶媒体に記憶する。
【０１００】
そして、記憶媒体に記憶した性能評価情報と測定条件とに基づいて、測定条件の変化に対する性能評価情報に示される性能の変化を解析し、その解析結果に基づいて、推奨測定条件を決定し提供する。これにより、測定者等が性能評価情報等に基づいて計算を行わなくとも、情報処理システムの性能測定に適切な測定条件を容易に取得することができるので、効率良く、しかも少ない測定条件の数で情報処理システムの性能を測定することができる。
【０１０１】
また、提供される推奨測定条件に応じた性能測定試験を情報処理システムにて自動的に実行させるようにした場合には、測定者に最小限の測定条件をはじめに入力させるだけで、自動的に情報処理システムの性能を詳細に測定することができる。したがって、測定者等は測定中に何ら作業を行わなくとも、非常に効率良く情報処理システムの性能を測定し、性能評価情報を取得することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による性能評価情報管理装置を適用した性能評価システムの一構成例を示すブロック図である。
【図２】結果データベースにおけるデータ構造の一例を示す図である。
【図３】性能評価データの保存形式の一例を示す図である。
【図４】第１の実施形態における性能評価システムの一般的な構成例を示すブロック図である。
【図５】本発明の第２の実施形態による性能評価装置を適用した性能評価システムの一構成例を示すブロック図である。
【図６】第２の実施形態における性能評価システムの処理動作を示すフローチャートである。
【図７】本発明の第３の実施形態による性能評価装置を適用した性能評価システムの一構成例を示すブロック図である。
【図８】第３の実施形態における性能評価システムの処理動作を示すフローチャートである。
【図９】第３の実施形態における性能評価システムにより得られる性能曲線の一例を示す図である。
【図１０】性能評価情報管理装置および性能評価装置を実現可能なコンピュータの一構成例を示すブロック図である。
【符号の説明】
１００実行制御部
１０１、１０１’ 測定条件入力部
１０２実行制御データ生成部
１０３実行制御データ出力部
２００測定対象システム
２０１サーバ
２０２クライアント端末
２０３ネットワーク
３００、３００’ 結果データ管理部
３０１結果取得部
３０２結果記憶部
３０３特徴量抽出部
３０４結果データベース
３０５検索実行部
３０６検索条件入力部
３０７検索結果出力部
３０８結果解析部
３０９変化量解析部
３１０測定条件出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a performance evaluation apparatus, an information processing method, and a program, and is particularly suitable for use in a performance evaluation apparatus that performs performance evaluation of an information processing system.
[0002]
[Prior art]
Conventionally, in order to evaluate the performance of the information processing system in order to evaluate the performance of the hardware and software of the information processing system (including a case where the information processing system is configured by one information processing apparatus), a benchmark test (hereinafter, referred to as a benchmark test) There was also a performance measurement test called “Benchmark”. In the benchmark, a measurement condition composed of a plurality of parameters is input and defined, and a process according to the defined measurement condition is executed by the information processing system to be evaluated to measure performance. Then, using the performance evaluation information (benchmark result data) obtained from the measurement, for example, evaluate the performance of the newly constructed information processing system, and determine whether the information processing system satisfies the desired performance requirements. As a result, the performance of the information processing system was evaluated.
[0003]
For example, when evaluating the performance of a server that provides a predetermined service as an information processing system, the number of CPUs that the server has, the number of users that use the server, the access frequency of the users, and the processing content are defined as measurement conditions. It was. Then, the defined measurement condition is converted into data (program) to generate a virtual process, and the server performance is measured by causing the client terminal to execute the generated virtual process.
[0004]
[Problems to be solved by the invention]
Here, in the conventional benchmark, when a benchmark under a certain measurement condition is executed by the information processing system to be evaluated, the performance evaluation information obtained as a result is individually obtained for each information processing system to be evaluated or for each executed benchmark. Stored and managed independently. Therefore, conventionally, it has been very difficult to search and compare performance evaluation information obtained by benchmarks executed in the past.
[0005]
For example, an attempt is made to evaluate the performance of an information processing system under a certain measurement condition with reference to performance evaluation information obtained by a benchmark executed in the past. At this time, a person who wants to refer to performance evaluation information obtained in the past (a person who evaluates performance) can use the same information processing system and measurement conditions as an example from a performance evaluation report, etc. Search and extract manually by relying on your own memory.
[0006]
However, the contents (items) and output format of performance evaluation information differ for each tool used for benchmarking, and the description of performance evaluation reports differs for each reporter. It was not always possible to extract the case where the benchmark was executed with the system and measurement conditions. Therefore, searching and comparing performance evaluation information obtained by benchmarks executed in the past is complicated, and time and labor of a person who performs performance evaluation are wasted.
[0007]
The present invention has been made in view of the above-described problems, and saves and accumulates performance evaluation information obtained by executing a performance measurement test under various measurement conditions in an information processing system in a common storage medium. The purpose is to enable centralized management.
[0008]
[Means for Solving the Problems]
The performance evaluation apparatus according to the present invention includes a result acquisition unit that acquires an execution result of a performance measurement test performed under a plurality of measurement conditions in an information processing system to be evaluated, and an execution result acquired by the result acquisition unit, respectively. Based on the obtained performance evaluation information, information storage means for associating and storing the measurement conditions corresponding to the performance evaluation information in a storage medium, and the performance evaluation information and measurement conditions stored in the storage medium, A change analysis unit that analyzes a change in performance indicated in the performance evaluation information with respect to a change in the measurement condition; and a measurement condition providing unit that determines and provides a recommended measurement condition based on an analysis result by the change analysis unit. It is characterized by that.
[0009]
Another feature of the performance evaluation apparatus of the present invention is that the change analysis unit calculates a ratio of the performance change indicated in the performance evaluation information with respect to the change in the measurement condition, and the measurement condition providing unit includes: The recommended measurement conditions are determined based on a performance change ratio calculated by the change analysis means.
[0010]
Another feature of the performance evaluation apparatus of the present invention further includes execution control means for controlling execution of the performance measurement test in the information processing system according to the recommended measurement conditions provided by the measurement condition providing means. It is characterized by that.
[0011]
An information processing method of the present invention is an information processing method in a performance evaluation apparatus that performs performance evaluation of an information processing system, and performs an execution of a performance measurement test performed under a plurality of measurement conditions in the information processing system to be evaluated. A performance evaluation apparatus that associates the performance evaluation information obtained from the execution results acquired by the result acquisition means and the measurement conditions corresponding to the performance evaluation information, respectively, by acquiring the results by the result acquisition means included in the performance evaluation apparatus. A change that the performance evaluation apparatus has a change in performance indicated in the performance evaluation information with respect to a change in the measurement condition based on the performance evaluation information and the measurement condition stored in the storage medium. Based on the analysis result by the analysis means and the analysis result by the change analysis means, the measurement condition providing means provided in the performance evaluation device outputs the recommended measurement conditions. The features.
[0012]
Another feature of the information processing method of the present invention is that the change analysis means calculates a ratio of a change in performance indicated in the performance evaluation information with respect to a change in the measurement condition, and the measurement condition providing means includes: The recommended measurement conditions are determined based on a performance change ratio calculated by the change analysis means.
[0013]
Another feature of the information processing method of the present invention is that, based on the recommended measurement conditions output by the measurement condition providing means, the execution control means provided in the performance evaluation device changes the measurement conditions of the information processing system. Instructed to perform a performance measurement test.
[0014]
The program of the present invention is characterized by causing a computer to function as each means of the performance evaluation apparatus described above.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a configuration example of a performance evaluation system to which the performance evaluation information management apparatus according to the first embodiment of the present invention is applied.
[0023]
In FIG. 1, reference numeral 100 denotes an execution control unit, which includes a measurement condition input unit 101, an execution control data generation unit 102, and an execution control data output unit 103.
The measurement condition input unit 101 is for inputting benchmark measurement conditions (parameters and their set values, etc.) to be executed in the information processing system 200 to be measured (evaluated) described later. The execution control data generation unit 102 generates execution control data for executing a benchmark in the information processing system 200 based on the measurement conditions input to the measurement condition input unit 101. The execution control data output unit 103 outputs the execution control data generated by the execution control data generation unit 102 to the information processing system 200.
[0024]
The information processing system 200 is an information processing system to be measured (evaluated), and executes processing according to the measurement conditions of the benchmark. The information processing system 200 includes a server 201 and a client terminal 202.
[0025]
The server 201 provides a predetermined service to the client terminal 202. Further, the server 201 changes the hardware configuration such as the number of CPUs and the memory size of the server 201 according to the execution control data supplied from the execution control unit 100, or when the benchmark under one measurement condition ends. An execution result (resource information such as a CPU operation rate) is output to the result data management unit 300.
[0026]
The client terminal 202 is a terminal that receives a service provided by the server 201. In addition, the client terminal 202 generates a virtual process based on the execution control data supplied from the execution control unit 100, executes processing such as access to the server 201 according to the generated virtual process, or uses one measurement condition. When the above benchmark is completed, an execution result (response time of the server 201 or the like) is output to the result data management unit 300. The virtual process may be generated not by the client terminal 202 but by the execution control data generation unit 102 in the execution control unit 100. In this case, data for executing the virtual process is stored in the execution control unit 100. Is supplied as execution control data.
[0027]
Here, the server 201 and the client terminal 202 are connected so as to be able to communicate with each other via a network 203 such as a LAN (Local Area Network) or a WAN (Wide Area Network) by a network interface (not shown) provided in each. Yes. In FIG. 1, an information processing system 200 including one server 201 and two client terminals 202 is shown as an example, but the number of servers and client terminals is arbitrary.
[0028]
The result data management unit 300 includes a result acquisition unit 301, a result storage unit 302, a feature amount extraction unit 303, a result database (hereinafter referred to as “result DB”) 304, a search execution unit 305, a search condition input unit 306, and a search. The result output unit 307 is configured.
[0029]
The result acquisition unit 301 acquires a benchmark execution result (CPU availability, processing response time, etc.) from the server 201 and the client terminal 202 every time a benchmark under one measurement condition ends in the information processing system 200. In addition, the result acquisition unit 301 can immediately obtain a value corresponding to the feature amount as performance evaluation information extracted by the feature amount extraction unit 303 described later from the acquired benchmark execution result (execution of the acquired benchmark When the result includes a feature amount as information), the feature amount is output to the result DB 304. The result acquisition unit 301 constitutes a result acquisition unit of the present invention.
[0030]
The result storage unit 302 is for storing the execution result of the benchmark acquired by the result acquisition unit 301. Note that the execution result of the benchmark stored in the result storage unit 302 is a detailed execution result of the benchmark that is sequentially obtained for each process (for example, access to the server 201) at the time of execution of the benchmark. The feature amount extraction unit 303 extracts (calculates) a feature amount as performance evaluation information from the detailed execution result of the benchmark stored in the result storage unit 302, and outputs it to the result DB 304. The feature amount extraction unit 303 constitutes an information extraction unit of the present invention.
[0031]
The result DB 304 stores and accumulates benchmark measurement conditions and feature quantities obtained from the execution results in a storage medium such as a hard disk provided in the result DB 304. Specifically, the result DB 304 is obtained from a benchmark measurement condition supplied from the measurement condition input unit 101 and a benchmark execution result under the measurement condition supplied from the result acquisition unit 301 or the feature amount extraction unit 303. As shown in FIG. 2, the obtained feature amount is stored (associated) with one ID (identification number) and stored. The result DB 304 constitutes information storage means of the present invention.
[0032]
FIG. 2 is a diagram illustrating an example of a data structure in the result DB 304.
In FIG. 2, 401 is benchmark condition data, which is data related to benchmark measurement conditions (number of CPUs, number of users, access frequency, etc.). Reference numerals 402 and 403 denote benchmark result data and benchmark resource result data, respectively, which are data related to the feature amount obtained from the benchmark execution result. The benchmark result data 402 is result data related to actual processing such as response time and throughput (processing amount per unit time) of the feature amount obtained from the execution result of the benchmark. The benchmark resource result 403 is result data related to the usage status of resources (hardware resources) at the time of benchmark execution, such as the CPU operation rate of the feature amount obtained from the benchmark execution result.
[0033]
As shown in FIG. 2, the feature quantity obtained from the benchmark measurement conditions and the benchmark execution result is a set of benchmark condition data (condition 1, condition 2, condition 3, ...), benchmark result data (result 1, result 2, result 3, ...) and benchmark resource result data (resource result 1, resource result 2, resource result 3, ...). A set of benchmark condition data, benchmark result data, and benchmark resource result data is assigned and managed with the same ID for each benchmark under one measurement condition.
[0034]
Hereinafter, a set of a benchmark measurement condition linked by one ID and a feature amount obtained from an execution result under the measurement condition is referred to as performance evaluation data.
[0035]
Returning to FIG. 1, the search execution unit 305 searches the result DB 304 for performance evaluation data satisfying the search condition based on the search condition input from the outside via the search condition input unit 306, and the search result output unit 307. The search result is output to the outside via. The search execution unit 305 constitutes information search means of the present invention.
[0036]
In FIG. 1, the result data management unit 300 includes a result storage unit 302 that stores detailed execution results of benchmarks. However, the result data management unit 300 does not include the result storage unit 302. The detailed execution result of the benchmark is individually stored in an external storage medium (hard disk, magnetic tape, etc.), and the detailed execution result of the benchmark is supplied from the external storage medium to the feature amount extraction unit 303. good.
[0037]
When the value corresponding to the feature amount extracted by the feature amount extraction unit 303 is always included in the benchmark execution result acquired by the result acquisition unit 301, the result data management unit 300 stores the result. The unit 302 and the feature amount extraction unit 303 may not be provided.
[0038]
Next, the operation of the performance evaluation system shown in FIG. 1 will be described.
First, the performance evaluation data storage operation for executing the benchmark, linking the measurement conditions and the feature quantity as the performance evaluation information obtained from the execution result and storing and storing them in the result DB 304 will be described, and then stored in the result DB 304 A performance evaluation data search operation for searching the stored performance evaluation data will be described.
[0039]
<Performance evaluation data storage operation>
First, the benchmark operator inputs measurement conditions (parameters and their set values) for the benchmark to be executed using an input device (not shown). For example, for parameters of measurement conditions such as “number of users”, “access frequency”, and “number of CPUs”, the operator uses an input device or the like to “number of users” = “100”, “access frequency” = “ 2 ”,“ number of CPUs ”=“ 2 ”, and the like are input. Measurement conditions input by an operator using an input device or the like are supplied to the measurement condition input unit 101.
[0040]
The measurement condition input unit 101 supplies the supplied measurement conditions to the execution control data generation unit 102 and the result DB 304. The execution control data generation unit 102 to which the measurement conditions are supplied generates benchmark execution control data to be supplied to the server 201 and the client terminal 202 constituting the information processing system 200 based on the supplied measurement conditions. .
[0041]
For example, when the supplied measurement condition is “number of CPUs” = “2”, the execution control data generation unit 102 has a hardware configuration so that the number of CPUs used for benchmark execution processing is set to “2”. The execution control data of the server 201 instructing the change is generated. Further, for example, when the supplied measurement conditions are “number of users” = “100” and “access frequency” = “2”, the execution control data generation unit 102 receives the information from all the client terminals 202 for the server 201. In response to all the process requests, execution control data of each client terminal 202 that controls the server 201 to execute the process corresponding to the number of users “100” and the access frequency “2” is generated.
[0042]
The execution control data of the server 201 and the client terminal 202 generated by the execution control data generation unit 102 is supplied to the server 201 and the client terminal 202 by the execution control data output unit 103, respectively. The server 201 changes its own hardware configuration or performs predetermined initial settings in accordance with the supplied execution control data. Further, the client terminal 202 generates a virtual process in the benchmark based on the supplied execution control data.
[0043]
Further, when the execution control unit 100 instructs the information processing system 200 to start execution of the benchmark, execution of the virtual process by the client terminal 202 is started, and the benchmark is executed in the information processing system 200.
When the execution of the virtual process by the client terminal 202 ends, that is, when the benchmark under one measurement condition ends in the information processing system 200, the result acquisition unit 301 acquires the execution result of the benchmark from the server 201 and the client terminal 202. . The acquired benchmark execution result is supplied to and stored in the result storage unit 302.
[0044]
Next, the feature value extraction unit 303 stores the average value of the response time, the variance value, the maximum value, the time value when the response is returned with a probability of 90%, the feature value such as the throughput and the CPU operation rate as a result. Extracted (calculated) from the benchmark execution result stored in the unit 302. The feature amount extracted by the feature amount extraction unit 303 is supplied to the result DB 304.
[0045]
Then, one set of benchmark measurement conditions supplied from the measurement condition input unit 101 and feature quantities as performance evaluation information obtained from the execution results by the feature quantity extraction unit 303 are set for each benchmark of one measurement condition. Is stored in the result DB 304 as performance evaluation data. At this time, the performance evaluation data is stored in the result DB 304 in a storage format (format) as shown in FIG.
[0046]
FIG. 3 is a diagram illustrating an example of a storage format when performance evaluation data is stored in the result DB 304. The performance evaluation data 501, 502, 503,... Obtained by the benchmark are one ID for managing each benchmark under one measurement condition, benchmark conditions (number of users, access frequency, number of CPUs, etc.), benchmark The result (average response time, variance, throughput, etc.) and the benchmark resource result (CPU availability, etc.) are stored in the result DB 304 in a fixed storage format described in parallel.
[0047]
As described above, in the case where a feature amount is immediately obtained from the execution result of the benchmark acquired by the result acquisition unit 301, the measurement condition of the benchmark supplied from the measurement condition input unit 101 and the result acquisition unit 301 The feature amount directly obtained from the execution result may be stored in the result DB 304 as a set of performance evaluation data.
[0048]
In the benchmark under various measurement conditions input to the measurement condition input unit 101, the performance evaluation data obtained by the benchmark executed under various measurement conditions by repeating the above-described processing operation is the common result DB 304. Is stored and accumulated.
[0049]
<Performance evaluation data search operation>
Next, a performance evaluation data search operation for searching for performance evaluation data stored and accumulated in the result DB 304 will be described.
First, an operator who wants to search performance evaluation data obtained by benchmarks under various measurement conditions inputs a performance evaluation data search condition using an input device (not shown) and the like, and enters the search condition input unit 306. Supply. Here, as the search condition, a benchmark measurement condition may be input, or a performance requirement of the information processing system may be input.
[0050]
Next, the search condition input unit 306 supplies the supplied search condition to the search execution unit 305. Accordingly, the search execution unit 305 searches and extracts performance evaluation data that matches the search condition from the result DB 304, and outputs the extracted performance evaluation data via the search result output unit 307. The operator refers to the search result output from the search result output unit 307 and displayed on a display device (not shown).
[0051]
For example, when the number of users in the benchmark measurement condition is “100 to 200” as a search condition, the search execution unit 305 searches the result DB 304 for benchmark condition data having the number of users of 100 to 200. The search execution unit 305 extracts, from the result DB 304, performance evaluation data of the ID assigned to the benchmark condition data that matches the number of users (benchmark condition data that matches the number of users, and the benchmark result data and benchmark resource result data). To do. Further, the search execution unit 305 outputs performance evaluation data that matches the number of users as a search result. Thus, the operator can estimate the performance of the information processing system with reference to the benchmark result data and the benchmark resource result data output as the search results.
[0052]
Further, for example, when the average response time is “within 5 seconds” as a search condition as a performance requirement of the information processing system, the search execution unit 305 performs benchmark result data with an average response time within 5 seconds. Is retrieved from the result DB 304. The search execution unit 305 extracts, from the result DB 304, the performance evaluation data of the ID assigned to the benchmark result data whose response time average is within 5 seconds. Further, the search execution unit 305 outputs performance evaluation data having an average response time within 5 seconds as a search result. As a result, the operator can estimate the hardware or the like that the information processing system should have by referring to the benchmark condition data output as the search result.
[0053]
In FIG. 1, the performance evaluation system including one execution control unit 100, information processing system 200, and result data management unit 300 is shown as an example. However, the present invention is not limited to this. For example, a performance evaluation system can be configured by a plurality of execution control units 100-N and information processing systems 200-N (N is a natural number) as shown in FIG. 4 and one result data management unit 300.
[0054]
FIG. 4 is a block diagram illustrating a general configuration example of the performance evaluation system according to the first embodiment.
In FIG. 4, the execution control unit 100-N (N is a natural number) has the same function as the execution control unit 100 shown in FIG. The information processing system 200-N (N is a natural number) executes a benchmark according to the execution control data supplied from the execution control unit 100-N (N is a natural number), similarly to the information processing system 200 shown in FIG. This is an arbitrary information processing system that supplies the execution result of the benchmark to the result data management unit 300.
[0055]
The result data management unit 300 is the result data management unit shown in FIG. 1 and stores and accumulates performance evaluation data of benchmarks executed in the information processing system 200-N. That is, as shown in FIG. 4, the result data management unit 300 of the performance evaluation system in the present embodiment centrally manages performance evaluation data obtained by benchmarks respectively executed by a plurality of information processing systems 200-N. .
[0056]
As described above in detail, according to the present embodiment, the execution result of the benchmark executed under various measurement conditions is acquired from the information processing system 200 by the result acquisition unit 301, and is obtained from the measurement condition and the acquired execution result. The characteristic amount as the performance evaluation information is stored in the result DB 304 in association with each benchmark of one measurement condition.
[0057]
As a result, performance evaluation data including measurement conditions and feature quantities as performance evaluation information obtained from benchmark execution results under the measurement conditions are stored and stored in the result DB 304 for each benchmark under one measurement condition. A plurality of performance evaluation data each including performance evaluation information obtained by benchmarking under various measurement conditions can be centrally managed in the result DB 304. Therefore, it is possible to easily search for and compare benchmark performance evaluation data executed under various measurement conditions.
[0058]
In addition, the performance evaluation data that matches the search condition is searched from a plurality of performance evaluation data stored in the result DB 304, and the performance evaluation data extracted based on the search result is output. It is possible to easily search performance evaluation data obtained by the benchmarks. In addition, when multiple measurement conditions were presented by customers, etc., and multiple benchmarks were executed by changing parameter setting values, the performance evaluation data for the multiple benchmarks were respectively retrieved and obtained. The performance evaluation data can be easily compared.
[0059]
For example, a benchmark with slightly different measurement conditions than the benchmark executed in the past (for example, changing the measurement conditions corresponding to the application load or changing the measurement conditions corresponding to the hardware configuration of the information processing system) If you are going to execute, you can estimate and evaluate the performance evaluation data obtained by searching, referencing and comparing the performance evaluation data in the benchmark executed in the past, without executing the benchmark. it can.
[0060]
In addition, the data structure of the result DB 304 can be mutually searched as a parallel data structure in which the benchmark condition data, the benchmark result data, and the benchmark resource result data constituting the performance evaluation data are associated with one ID. As a condition, not only the components of the measurement conditions but also the components of the performance evaluation information can be input. Therefore, not only the performance evaluation information obtained from the benchmark measurement conditions but also the performance evaluation information The measurement conditions and the like can be searched, and the performance evaluation data stored in the result DB 304 can be used in many ways. Thereby, by inputting a desired performance requirement or the like as a search condition, it is possible to refer to a configuration (hardware or the like) that the information processing system should have.
[0061]
In addition, when storing a plurality of performance evaluation data in the result DB 304, the performance evaluation data is stored in a fixed storage format, so that the performance evaluation data that matches the search conditions and the performance using the search results are stored. Evaluation data can be compared more easily.
[0062]
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
When benchmarking is performed to grasp the performance of the information processing system being evaluated as a whole (performance under various conditions), benchmarks under all measurement conditions of all benchmarks are processed. It is very difficult to execute the system and obtain performance evaluation data. For this reason, conventionally, some of the performance evaluation data (for example, 5) can be obtained almost evenly within the range of measurement conditions in which the operator or the like who executes the benchmark wants to measure the performance of the information processing system set roughly. (~ 6) measurement conditions were determined and benchmarks were executed. Further, after all benchmarks under the determined measurement conditions have been completed, if the measurement conditions desired to be measured in detail are newly generated by organizing and analyzing the execution results of the benchmarks, the benchmarks were executed under the measurement conditions.
[0063]
However, in the conventional method described above, there is no information that serves as an index for determining the measurement conditions when the benchmark is executed by determining some measurement conditions so that the performance evaluation data can be obtained almost evenly. For example, there is a problem that the benchmark must be executed even under measurement conditions in which the performance change in the information processing system is small and the amount of information obtained regarding the performance is small. In addition, there is a problem that the measurement conditions to be measured in detail again cannot be determined unless the execution results after completion of the benchmark under all measurement conditions are organized and analyzed. Therefore, in order to grasp and evaluate the performance of the information processing system as a whole as described above, there is a problem that labor is wasted and a long time is required.
[0064]
Therefore, in the second embodiment of the present invention, the recommended benchmark measurement conditions can be automatically presented using the performance evaluation information management apparatus according to the first embodiment described above.
[0065]
FIG. 5 is a block diagram showing a configuration example of a performance evaluation system to which the performance evaluation apparatus according to the second embodiment of the present invention is applied. In FIG. 5, blocks having the same functions as those shown in FIG. 1 are denoted by the same reference numerals, and redundant description is omitted. In addition, blocks having the same function but not the same as those shown in FIG.
[0066]
In FIG. 5, reference numeral 300 ′ denotes a result data management unit. The result data management unit 300 shown in FIG. 1 further includes a result analysis unit 308 and a parameter output unit 310.
The result analysis unit 308 includes a change amount analysis unit 309, and recommends benchmark measurement conditions (in order to obtain detailed performance evaluation data of the information processing system 200 based on the analysis result by the change amount analysis unit 309 ( Determine and output the recommended measurement conditions. The change amount analysis unit 309 analyzes the performance change rate in the information processing system 200 based on the performance evaluation data accumulated in the result DB 304. The measurement condition output unit 310 is for outputting the recommended measurement conditions determined and output by the result analysis unit 308 to the outside. Here, the result analysis unit 308 constitutes measurement information providing means of the present invention, and the change amount analysis unit 309 constitutes change analysis means of the present invention.
[0067]
Next, the operation of the performance evaluation system shown in FIG. 5 will be described.
FIG. 6 is a flowchart showing the processing operation of the performance evaluation system according to the second embodiment.
First, in step S601, the operator uses an input device (not shown) or the like to set some (for example, 3 to 4) benchmarks that are within the range of measurement conditions that can be measured by the information processing system 200 to be evaluated. Are sequentially supplied to the execution control data generation unit 102 via the measurement condition input unit 101. The measurement conditions to be input are arbitrary. For example, the measurement conditions may be divided at equal intervals within the range of the measurement conditions, or may be based on the past experience of the operator. Further, the operator may input the minimum value and the maximum value of the measurement condition, and the execution control unit 100 may automatically divide the interval arbitrarily.
[0068]
Then, in the same manner as the performance evaluation data storage operation in the first embodiment described above, the benchmark under the supplied measurement conditions is executed (step S602), the execution results of the executed benchmark are collected, and the performance evaluation is performed. Data is stored and accumulated in the result DB 304 (step S603). This performance evaluation data storage operation (steps S602 and S603) is repeatedly performed, and benchmarks are executed under all the measurement conditions input in step S601.
[0069]
When the execution of the benchmark under all the measurement conditions input in step S601 is completed and performance evaluation data is obtained (N in step S604), the process proceeds to step S605.
[0070]
Here, when the performance of the information processing system 200 is accurately grasped, a large amount of information regarding the performance of the information processing system 200 can be obtained (the execution result obtained by the executed benchmark has a great meaning). Is a benchmark execution result obtained under measurement conditions in which the behavior of the performance change is changed and the rate of the performance change is large (for example, a portion showing a small curvature when a performance curve is drawn). Therefore, in step S605, the change amount analysis unit 309 pays attention to execution and evaluation of the benchmark based on the performance evaluation data stored in the result DB 304 by the operations in steps S601 to S604 described above. The rate of change (performance change rate) is automatically calculated.
[0071]
For example, the change amount analysis unit 309 calculates the amount of change in performance of interest between a plurality of measurement conditions on which the benchmark is executed based on the performance evaluation data, and further, based on the calculated change amount, Calculate the rate of change in performance between measurement conditions.
[0072]
Next, in step S606, the result analysis unit 308 determines whether there is a measurement point that shows a large change rate among the change rates of the performance change calculated by the change amount analysis unit 309 in step S605. To do. Here, for example, the result analysis unit 308 compares the performance change rate calculated by the change amount analysis unit 309 with a preset reference value of the change rate of the performance change to determine whether the change rate is large. For example, it is possible to determine whether the change rate is large by comparing the change rates of the performance change between the respective measurement conditions calculated by the change amount analysis unit 309 with each other. You may do it.
[0073]
As a result of the determination, if it is determined that there is a measurement point with a large change rate of performance change, in step S607, the result analysis unit 308 sets a parameter setting value at the measurement point with a large change rate of performance change. The recommended measurement conditions that are included are output to the outside (for example, a display device that can be used by the operator) via the measurement condition output unit 310, and the process is terminated. Further, when it is determined as a result of the determination in step S606 that there is no measurement point at which the rate of change in performance change is large, the process is also terminated.
[0074]
By repeatedly performing the processing described above, performance evaluation data obtained under various measurement conditions is accumulated in the result DB 304, and at the information processing system 200, the point at which the rate of change in performance change is large is intensively measured. be able to.
[0075]
As described above, according to the present embodiment, in addition to the effects obtained in the first embodiment described above, the information processing system 200 that is the evaluation target is based on the performance evaluation data stored in the result DB 304. A measurement point with a large rate of change in performance is output as a recommended measurement condition.
[0076]
As a result, the information processing system 200 mainly measures the measurement points with a large change rate of performance change, and measures the measurement points with a small change rate of performance change at rough intervals. Can be efficiently measured with a small number of measurement conditions.
[0077]
Further, based on the performance evaluation data stored in the result DB 304, the information processing system 200 automatically calculates the change rate of the performance change by the change amount analysis unit 309, and the result analysis unit 308 calculates the change rate of the performance change. Therefore, the operator can obtain the measurement condition to be measured next without organizing and analyzing the performance evaluation data, and the operator can calculate the performance evaluation data. It is possible to reduce time and effort.
[0078]
In the present embodiment described above, the result analysis unit 308 outputs the recommended measurement conditions including the parameter setting values at the measurement points where the rate of change of performance change is large to the outside via the measurement condition output unit 310. However, only the parameter setting value at the measurement point where the change rate of the performance change is large may be output together with the parameter name.
[0079]
(Third embodiment)
Next, a third embodiment of the present invention will be described.
FIG. 7 is a block diagram showing a configuration example of a performance evaluation system to which the performance evaluation apparatus according to the third embodiment of the present invention is applied. In FIG. 7, blocks having the same functions as those shown in FIGS. 1 and 5 are denoted by the same reference numerals, and redundant description is omitted. In addition, blocks having the corresponding functions that are not the same as those shown in FIGS. 1 and 5 are denoted by the same reference numerals.
[0080]
In the performance evaluation system according to the second embodiment described above, the recommended measurement conditions output from the result analysis unit 308 are output to the outside via the measurement condition output unit 310, but the performance evaluation according to the third embodiment is performed. In the system, the recommended measurement condition output from the result analysis unit 308 is supplied to the measurement condition input unit 101 ′ so that the benchmark is automatically executed.
[0081]
In FIG. 7, a measurement condition input unit 101 ′ is for inputting a benchmark measurement condition supplied from the outside and a recommended measurement condition of the benchmark supplied from the measurement condition output unit 310. Here, in this embodiment, the execution control part 100 comprises the execution control means of this invention.
[0082]
Next, the operation of the performance evaluation system shown in FIG. 7 will be described.
FIG. 8 is a flowchart showing the processing operation of the performance evaluation system according to the third embodiment.
[0083]
In FIG. 8, Steps S801 to S806 correspond to Steps S601 to S606 shown in FIG. 6, respectively, and perform the same operation as the performance evaluation system in the second embodiment described above. In Step S806, The result analysis unit 308 determines whether there is a measurement point indicating a large change rate among the change rates of the performance change calculated by the change amount analysis unit 309.
[0084]
As a result of the determination, if it is determined that there is a measurement point with a large change rate of performance change, in step S807, the result analysis unit 308 sets a parameter setting value at the measurement point with a large change rate of performance change. The recommended measurement conditions that are included are output to the measurement condition input unit 101 ′ via the measurement condition output unit 310. And the process of step S802-step S806 is performed again.
[0085]
Then, as a result of the determination in step S806, the processing in steps S802 to S807 is repeated until the result analysis unit 308 determines that there is no measurement point having a large change rate of performance change, and the determination in step S806 is performed. As a result, if it is determined that there is no measurement point at which the rate of change in performance change is large, the process ends.
[0086]
As described above, by performing processing in the performance evaluation system, for example, a performance curve as shown in FIG. 9 can be obtained.
FIG. 9 is a diagram illustrating an example of a performance curve obtained by the performance evaluation system according to the third embodiment. The performance curve shown in FIG. 9 changes the processing value (throughput) per unit time in the information processing system 200 under the measurement conditions in which only the setting value of the parameter “number of CPUs” is changed and the setting values of other parameters are fixed. It is a performance curve which shows.
[0087]
In FIG. 9, points P1, P2, P3, P4, and P5 are the initial values (step S801 in FIG. 8), and the setting values of the parameter “CPU number” are set to “2”, “4”, “6”, respectively. This is a point indicating the throughput in the information processing system 200 when “8” and “10” are set. As shown in FIG. 9, between points P1 to P3, the throughput increases almost proportionally as the number of CPUs increases. Between points P3 and P4, the throughput slightly increases as the number of CPUs increases. However, between the points P4 to P5, the throughput remains almost unchanged with the increase in the number of CPUs.
[0088]
When performance evaluation data as shown at the points P1, P2, P3, P4, and P5 is obtained, the result analysis unit 308 shown in FIG. 7 determines that the rate of change in performance change between the points P3 and P4 is large. The performance evaluation data indicated by the point P6 that outputs the measurement condition in which the setting value of the parameter “CPU number” corresponding to the point P3 to P4 is set to “7” and compensates the point P3 to P4 by executing the benchmark And a performance curve of the information processing system 200 as shown in FIG. 9 can be obtained.
Thus, by obtaining a detailed performance curve of the information processing system 200, it is possible to infer performance evaluation data under an arbitrary measurement condition, and conversely, a configuration of the information processing system that satisfies the performance requirements (Hardware and software) can be inferred.
[0089]
As described above, according to the present embodiment, in addition to the effects obtained by the first and second embodiments described above, the benchmark under the recommended measurement conditions output from the result analysis unit 308 is automatically executed. To obtain performance evaluation data. This makes it possible to automatically generate necessary and appropriate measurement conditions, execute benchmarks, and acquire performance evaluation data in the information processing system 200 in detail simply by allowing an operator to input minimum measurement conditions first. Therefore, an operator or the like can automatically measure the performance of the information processing system 200 and acquire performance evaluation data very efficiently without performing any work during the measurement.
[0090]
The performance evaluation information management device and performance evaluation device of the embodiment described above can be configured by a CPU or MPU of a computer, a RAM, a ROM, and the like, and a program stored in the RAM or ROM operates. The above program is included in the embodiment of the present invention. In addition, a program that causes a computer to perform the above functions can be realized by recording the program on a recording medium such as a CD-ROM and causing the computer to read the program. It is included in the embodiment. As a recording medium for recording the program, a flexible disk, a hard disk, a magnetic tape, a magneto-optical disk, a nonvolatile memory card, and the like can be used in addition to the CD-ROM.
[0091]
In addition, a program product in which the functions of the above-described embodiments are realized by a computer executing a program and performing processing is included in the embodiments of the present invention. The program product includes the program itself that implements the functions of the above-described embodiments, a computer loaded with the program, a transmission device that can provide the program to a computer that is communicably connected via a network, and the transmission There are network systems equipped with devices.
[0092]
In addition, the functions of the above-described embodiments are realized by executing a program supplied by a computer, and the program is used in cooperation with an OS (operating system) or other application software running on the computer. When the functions of the above-described embodiment are realized, or when all or part of the processing of the supplied program is performed by a function expansion board or a function expansion unit of the computer, the function of the above-described embodiment is realized. Such a program is included in the embodiment of the present invention.
In order to use the present invention in a network environment, all or a part of the program may be executed on another computer.
[0093]
For example, the performance evaluation information management apparatus and performance evaluation apparatus shown in the above-described embodiment have a computer function 1000 as shown in FIG. 10, and the CPU 1001 performs the operations in this embodiment.
[0094]
As shown in FIG. 10, the computer function 1000 includes a CPU 1001, a ROM 1002, a RAM 1003, a keyboard controller (KBC) 1005 of a keyboard (KB) 1009, and a CRT controller (CRT display (CRT) 1010 as a display unit ( A configuration in which a CRTC) 1006, a disk controller (DKC) 1007 of a hard disk (HD) 1011 and a flexible disk (FD) 1012, and a network interface card (NIC) 1008 are connected to each other via a system bus 1004. It is said.
[0095]
The CPU 1001 comprehensively controls each component connected to the system bus 1004 by executing software (program) stored in the ROM 1002 or the HD 1011 or software (program) supplied from the FD 1012.
That is, the CPU 1001 reads out from the ROM 1002, the HD 1011, or the FD 1012 and executes a processing program for performing the operation as described above, thereby performing control for realizing the operation in the present embodiment.
[0096]
The RAM 1003 functions as a main memory or work area for the CPU 1001.
The KBC 1005 controls instruction input from the KB 1009 or a pointing device (not shown). A CRTC 1006 controls display on the CRT 1010. The DKC 1007 controls access to the HD 1011 and the FD 1012 that store a boot program, various applications, user files, a network management program, the processing program in the present embodiment, and the like. The NIC 1008 exchanges data with other devices on the network 1013 in both directions.
[0097]
【The invention's effect】
As described above, according to the present invention, each of the execution results of the performance measurement test executed in the information processing system to be evaluated under various measurement conditions is acquired, and the performance evaluation information obtained from the execution results respectively. Then, the measurement conditions corresponding thereto are associated and stored in the storage medium.
[0100]
Based on the performance evaluation information and measurement conditions stored in the storage medium, the performance changes indicated in the performance evaluation information with respect to changes in the measurement conditions are analyzed, and the recommended measurement conditions are determined and provided based on the analysis results. To do. As a result, measurement conditions suitable for performance measurement of the information processing system can be easily obtained without the measurer performing calculations based on performance evaluation information, etc., so the number of measurement conditions can be reduced efficiently. Can measure the performance of the information processing system.
[0101]
In addition, when the information processing system automatically performs a performance measurement test according to the recommended measurement conditions provided, it is automatically performed by having the measurer input the minimum measurement conditions first. The performance of the information processing system can be measured in detail. Therefore, the measurer or the like can measure the performance of the information processing system very efficiently and acquire the performance evaluation information without performing any work during the measurement.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of a performance evaluation system to which a performance evaluation information management apparatus according to a first embodiment of the present invention is applied.
FIG. 2 is a diagram illustrating an example of a data structure in a result database.
FIG. 3 is a diagram illustrating an example of a storage format for performance evaluation data.
FIG. 4 is a block diagram illustrating a general configuration example of a performance evaluation system according to the first embodiment.
FIG. 5 is a block diagram showing a configuration example of a performance evaluation system to which a performance evaluation apparatus according to a second embodiment of the present invention is applied.
FIG. 6 is a flowchart showing a processing operation of the performance evaluation system in the second embodiment.
FIG. 7 is a block diagram showing a configuration example of a performance evaluation system to which a performance evaluation apparatus according to a third embodiment of the present invention is applied.
FIG. 8 is a flowchart showing a processing operation of the performance evaluation system in the third embodiment.
FIG. 9 is a diagram showing an example of a performance curve obtained by the performance evaluation system in the third embodiment.
FIG. 10 is a block diagram illustrating a configuration example of a computer capable of realizing a performance evaluation information management apparatus and a performance evaluation apparatus.
[Explanation of symbols]
100 execution control unit
101, 101 'Measurement condition input section
102 Execution control data generation unit
103 Execution control data output unit
200 System to be measured
201 server
202 Client terminal
203 network
300, 300 'Result data management section
301 Result acquisition unit
302 result storage unit
303 feature extraction unit
304 results database
305 Search execution unit
306 Search condition input part
307 Search result output part
308 result analysis unit
309 Change analysis unit
310 Measurement condition output section

Claims

評価対象の情報処理システムにて、複数の測定条件で実行した性能測定試験の実行結果をそれぞれ取得する結果取得手段と、
上記結果取得手段により取得した実行結果からそれぞれ得られる性能評価情報と、当該性能評価情報に対応する上記測定条件とを関連付けて記憶媒体に記憶する情報記憶手段と、
上記記憶媒体に記憶された上記性能評価情報と測定条件とに基づいて、上記測定条件の変化に対する上記性能評価情報に示される性能の変化を解析する変化解析手段と、
上記変化解析手段による解析結果に基づいて、推奨測定条件を決定し提供する測定条件提供手段とを備えることを特徴とする性能評価装置。In the information processing system to be evaluated, a result acquisition means for acquiring the execution results of the performance measurement test executed under a plurality of measurement conditions,
Information storage means for associating the performance evaluation information obtained from the execution results acquired by the result acquisition means with the measurement conditions corresponding to the performance evaluation information in a storage medium;
Based on the performance evaluation information and measurement conditions stored in the storage medium, a change analysis means for analyzing a change in performance indicated in the performance evaluation information with respect to a change in the measurement conditions;
A performance evaluation apparatus comprising: measurement condition providing means for determining and providing recommended measurement conditions based on an analysis result by the change analysis means.

上記変化解析手段は、上記測定条件の変化に対する上記性能評価情報に示される性能の変化の割合を算出し、
上記測定条件提供手段は、上記変化解析手段により算出した性能の変化の割合に基づいて、上記推奨測定条件を決定することを特徴とする請求項１に記載の性能評価装置。The change analysis means calculates a ratio of a change in performance indicated in the performance evaluation information with respect to a change in the measurement condition,
The performance evaluation apparatus according to claim 1, wherein the measurement condition providing unit determines the recommended measurement condition based on a performance change ratio calculated by the change analysis unit.

上記測定条件提供手段により提供される推奨測定条件に応じた上記情報処理システムでの性能測定試験の実行を制御する実行制御手段をさらに備えることを特徴とする請求項１または２に記載の性能評価装置。 The performance evaluation according to claim 1, further comprising execution control means for controlling execution of a performance measurement test in the information processing system in accordance with the recommended measurement conditions provided by the measurement condition providing means. apparatus.

情報処理システムの性能評価を行う性能評価装置に於ける情報処理方法であって、
評価対象の情報処理システムにて、複数の測定条件で実行した性能測定試験の実行結果をそれぞれ性能評価装置が備える結果取得手段で取得し、
上記結果取得手段により取得した実行結果からそれぞれ得られる性能評価情報と、当該性能評価情報に対応する上記測定条件とを関連付けて性能評価装置が備える記憶媒体に記憶し、
上記記憶媒体に記憶された上記性能評価情報と測定条件とに基づいて、上記測定条件の変化に対する上記性能評価情報に示される性能の変化を性能評価装置が備える変化解析手段で解析し、
上記変化解析手段による解析結果に基づいて、推奨測定条件を性能評価装置が備える測定条件提供手段が出力することを特徴とする情報処理方法。An information processing method in a performance evaluation apparatus for performing performance evaluation of an information processing system,
In the information processing system to be evaluated, the results of performance measurement tests executed under a plurality of measurement conditions are respectively acquired by the result acquisition means provided in the performance evaluation device,
The performance evaluation information obtained from the execution results acquired by the result acquisition means and the measurement conditions corresponding to the performance evaluation information are associated with each other and stored in a storage medium included in the performance evaluation device,
Based on the performance evaluation information and measurement conditions stored in the storage medium, the change in performance shown in the performance evaluation information with respect to the change in the measurement conditions is analyzed by a change analysis means provided in the performance evaluation apparatus,
An information processing method characterized in that a measurement condition providing means provided in a performance evaluation apparatus outputs recommended measurement conditions based on an analysis result by the change analysis means.

上記変化解析手段が、上記測定条件の変化に対する上記性能評価情報に示される性能の変化の割合を算出し、上記測定条件提供手段は、上記変化解析手段により算出した性能の変化の割合に基づいて、上記推奨測定条件を決定することを特徴とする請求項４に記載の情報処理方法。 The change analysis means calculates a performance change ratio indicated in the performance evaluation information with respect to the change in the measurement condition, and the measurement condition providing means is based on the performance change ratio calculated by the change analysis means. The information processing method according to claim 4, wherein the recommended measurement condition is determined.

上記測定条件提供手段により出力される推奨測定条件に基づいて、性能評価装置が備える実行制御手段が上記情報処理システムの測定条件の変更を指示して性能測定試験を実行することを特徴とする請求項４または５に記載の情報処理方法。 The execution control means included in the performance evaluation apparatus instructs the change of the measurement conditions of the information processing system and executes the performance measurement test based on the recommended measurement conditions output by the measurement condition providing means. Item 6. The information processing method according to Item 4 or 5.

請求項１〜３の何れか１項に記載の各手段としてコンピュータを機能させるためのプログラム。 The program for functioning a computer as each means of any one of Claims 1-3.