JP3987333B2 - 性能測定装置、性能測定システム、記録媒体およびプログラム - Google Patents
性能測定装置、性能測定システム、記録媒体およびプログラム Download PDFInfo
- Publication number
- JP3987333B2 JP3987333B2 JP2001373304A JP2001373304A JP3987333B2 JP 3987333 B2 JP3987333 B2 JP 3987333B2 JP 2001373304 A JP2001373304 A JP 2001373304A JP 2001373304 A JP2001373304 A JP 2001373304A JP 3987333 B2 JP3987333 B2 JP 3987333B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- service
- information processing
- condition
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、異なる複数の測定条件での情報処理システムの性能を連続して測定する性能測定装置、性能測定システム、記録媒体およびプログラムに関する。
【０００２】
【従来の技術】
従来から、さまざまな条件での情報処理システム（情報処理装置）のハードウェアおよびソフトウェアの性能を比較して評価するために、当該情報処理システムの性能を測定する方法として、ベンチマークテスト（以下、「ベンチマーク」とも称す。）があった。ベンチマークでは、測定対象である情報処理システムの測定条件を１つのベンチマーク毎に逐一入力して定義し、定義された測定条件に基づいて情報処理システムに処理を実行させ性能を測定していた。
【０００３】
例えば、情報処理システムとしてメールサーバの性能を測定する場合には、メールサーバが有するＣＰＵ数、メールサーバを使用するユーザ数、および送受信される電子メールのデータサイズ等を測定条件として定義していた。そして、定義された測定条件に従って、ユーザ数と同数のクライアント端末およびオペレータをユーザ数と同数だけ用意してオペレータの手作業によりメールサーバへのアクセスを行ったり、定義された測定条件を仮想的なプロセスとしてデータ（プログラム）化してクライアント端末に実行させたりして、メールサーバの性能を測定していた。
【０００４】
また、ある１つの測定条件での情報処理システムの性能を測定した後、異なる測定条件での情報処理システムの性能を測定しようとする場合には、オペレータが新たな測定条件を入力して再定義し、再定義された測定条件に基づいて情報処理システムに処理を実行させ性能を測定していた。すなわち、オペレータによる測定条件の入力作業およびベンチマークの実行を繰り返し行うことにより、異なる複数の測定条件での情報処理システムの性能を測定していた。このようにして、異なる複数の測定条件での情報処理システムの性能を測定し、測定結果を比較して評価することにより使用条件に最も適合するメールサーバの仕様を決定したりしていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来のベンチマークの実行に関しては、以下のような問題点があった。
（第１の問題点）
測定条件を定義するオペレータは、ベンチマークを実行しようとする度に測定条件を毎回定義しなければならず、新たな測定条件の入力作業や修正作業を行わなければならなかった。
【０００６】
したがって、異なる複数の測定条件でのベンチマークをそれぞれ実行しようとする場合であっても、自動的にベンチマークを連続して実行することはできなかった。すなわち、オペレータは、１つの測定条件でのベンチマークの終了を確認した後、新たな１つの測定条件を入力し再定義するための入力作業および修正作業を行わねばならず、性能測定を実行する効率が非常に悪いという問題があった。
【０００７】
さらに、例えば、情報処理システムが有するＣＰＵ数やメモリサイズ等の測定条件を変更してベンチマークをそれぞれ実行する場合には、従来は、測定条件に合わせてＣＰＵやメモリ等を挿抜しなければならなかった。したがって、ＣＰＵ数やメモリサイズ等を変更する場合においても、オペレータは１つの測定条件でのベンチマークの終了を確認した後、新たな測定条件を定義するためにＣＰＵやメモリ等の挿抜作業を行わねばならなかった。
【０００８】
また、ベンチマークの種類や測定条件によっては、処理（ベンチマークの実行）が何時間もかかることがあり、例えば夜中にベンチマークの実行結果が得られる（ベンチマークが終了する）こともある。そのような場合、オペレータが不在であることが多いため、翌朝オペレータが操作するまでは次の測定条件の入力が行われず、無駄な時間を費やしてしまうという問題があった。
【０００９】
（第２の問題点）
測定条件を定義する際、測定対象である情報処理システム（情報処理システムのアプリケーション）毎に異なる測定条件の定義が行われていた。例えば、情報処理システムとしてメールサーバの性能を測定する場合には、送受信される電子メールのデータサイズや、アクセスするユーザ数、およびユーザのアクセス頻度等の測定条件を定義していた。また、ウェブサーバの性能を測定する場合には、同時アクセス数、ユーザに提供する１つのコンテンツのデータサイズや、アプレットおよびサーブレットの有無等の測定条件を定義していた。
【００１０】
このように測定対象である情報処理システム毎に定義する測定条件が異なるために、オペレータが測定条件を入力する際のユーザインタフェースも測定対象の情報処理システム毎に異なる固有のユーザインタフェースを有していた。したがって、同一のオペレータが、異なった様々な情報処理システムに対してベンチマークを実行しようとする場合には、情報処理システム毎に異なるユーザインタフェースを使用して測定条件の定義を行わねばならず、作業が煩雑であるとともに、利便性に欠けるという問題があった。
【００１１】
（第３の問題点）
上記第１の問題点にて述べたように、異なる複数の条件でのベンチマークを実行するには、条件の一部分のみを変更した測定条件であっても、測定条件の各項目に対する入力作業を繰り返し行わねばならず、作業効率が非常に悪いとともに、オペレータによる測定条件の入力間違い等を引き起こしてしまうことがあった。変更された測定条件の異なる部分のみを再入力するようにしたとしても、測定条件の組み合わせが多くなると、再入力すべき測定条件を直し忘れたり、ある測定条件の入力を忘れてしまったりすることがあった。
【００１２】
したがって、異なる複数の条件でのベンチマークを実行する場合には、測定条件の入力間違い等が存在しないように、入力すべき測定条件と入力された測定条件とが同じであるか否かの確認作業に多大な時間および労力を要してしまうという問題があった。さらに、当該確認作業にて、測定条件の入力間違い等が発見できなかった場合には、所望の測定条件でのベンチマークが行えないという問題があった。
【００１３】
本発明は、このような問題を解決するためになされたものであり、異なる複数の測定条件を同時に入力できるようにするとともに、異なる複数の測定条件での情報処理システムの性能試験を自動的に連続して実行できるようにすることを目的とする。
【００１４】
【課題を解決するための手段】
本発明の性能測定装置は、入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定装置であって、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて上記測定条件に係る情報を入力するための条件入力画面を、少なくとも１つの情報処理装置からなり上記選択された所定のサービスを提供する第１の情報処理装置のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記選択された所定のサービスの提供を受ける第２の情報処理装置のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理システムの性能試験を実行することを特徴とする。
【００１７】
本発明の性能測定装置のその他の特徴とするところは、入力された測定条件に基づいて、所定のサービスを提供する情報処理装置の性能を測定する性能測定装置であって、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて上記測定条件に係る情報を入力するための条件入力画面を、上記選択された所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理装置の性能試験を実行することを特徴とする。
【００１９】
本発明の性能測定システムは、入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定システムであって、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザに性能測定対象のサービスの選択を要求するサービス選択要求手段と、上記サービス選択要求手段で上記ユーザにより選択されたサービスに応じて、上記測定条件に係る情報を入力するための条件入力画面を、少なくとも１つの情報処理装置からなり上記選択された所定のサービスを提供する第１の情報処理装置のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記選択された所定のサービスの提供を受ける第２の情報処理装置のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割され、上記選択された所定のサービスに関する入力部分は上記選択された所定のサービスに関わらず共通の表形式にするとともに、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成する条件入力画面生成手段と、上記条件入力画面生成手段で生成された条件入力画面を介して入力された上記測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、任意に組み合わせて性能試験データを生成するテストパターン制御手段と、上記テストパターン制御手段で生成した性能試験データに基づいて、上記情報処理システムの性能試験を実行する試験実行制御手段とを備えたことを特徴とする。
【００２４】
本発明のプログラムは、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて情報処理システムに実行させる性能試験での測定条件に係る情報を入力するための条件入力画面を、少なくとも１つの情報処理装置からなり選択された所定のサービスを提供する第１の情報処理装置のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記選択された所定のサービスの提供を受ける第２の情報処理装置のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理システムの性能試験を実行する処理手順をコンピュータに実行させることを特徴とする。
【００２５】
本発明のプログラムの他の特徴とするところは、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて情報処理装置に実行させる性能試験での測定条件に係る情報を入力するための条件入力画面を、選択された所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理装置の性能試験を実行する処理手順をコンピュータに実行させることを特徴とする。
【００２６】
本発明のコンピュータ読み取り可能な記録媒体は、上記プログラムを記録したことを特徴とする。
【００３４】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の実施形態による性能測定装置を適用したベンチマークテスト制御装置を備えるベンチマークテストシステムの一構成例を示すブロック図である。なお、図１においては、クライアント・サーバ型システムの１つであり、電子メールの送受信を行うメールシステムの性能を測定するベンチマークテストシステムを一例として示している。
【００３５】
図１において、１０１はベンチマークテスト制御装置（以下、「ベンチマーク制御装置」とも称す。）であり、条件入力画面、テストパターン選択画面および結果表示画面等を表示する。また、ベンチマーク制御装置１０１は、各パラメータの設定値をベンチマークのパラメータ群毎にグループ化した条件パターンの組み合わせであるテストパターン（測定条件）を生成したり、測定対象である情報処理システム１０２に実行するベンチマークの各パラメータの設定値を供給したりして、ベンチマークの実行を制御するものである。なお、ベンチマーク制御装置１０１の詳細については後述する。
【００３６】
情報処理システム１０２は、メールサーバ１０３とクライアント端末１０４とにより構成される。
メールサーバ１０３は、情報処理システム１０２にて電子メールを送受信したり、電子メールの管理を行ったりするものである。また、メールサーバ１０３は、ベンチマーク制御装置１０１からの指示に応じて、自らが有するＣＰＵの数、メモリサイズ等のハードウェア構成を変更したり、テストパターン（測定条件）が変わる毎にベンチマークでの測定結果（ＣＰＵ稼働率等のリソース情報）をベンチマーク制御装置１０１に供給したりする。
【００３７】
クライアント端末１０４は、メールサーバ１０３に対してアクセスし電子メールの送受信を行う端末である。本実施形態においては、クライアント端末１０４は、ベンチマーク制御装置１０１から供給されるベンチマークの各パラメータの設定値に基づいて仮想プロセスを生成し、生成した仮想プロセスに従ってメールサーバ１０３に対してアクセスする。また、クライアント端末１０４は、テストパターン（測定条件）が変わる毎にベンチマークでの測定結果（アクセスに対するメールサーバ１０３の応答時間等）をベンチマーク制御装置１０１に供給したりする。
【００３８】
ベンチマーク制御装置１０１と、メールサーバ１０３およびクライアント端末１０４は、個別の信号線を介して通信可能なようにそれぞれ接続されている。また、メールサーバ１０３とクライアント端末１０４とは、それぞれが備える図示しないネットワークインタフェースにより、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワーク１０５を介して互いに通信可能なように接続されている。
【００３９】
なお、図１においては、ベンチマーク制御装置１０１と、メールサーバ１０３およびクライアント端末１０４とは、個別の信号線を介してそれぞれ接続するようにしているが、メールサーバ１０３およびクライアント端末１０４に対して通信可能なようにベンチマーク制御装置１０１をネットワーク１０５に接続するようにしても良い。
【００４０】
また、図１では、２つのクライアント端末１０４を図示しているが、ベンチマークを実行し、その結果をベンチマーク制御装置１０１に供給できる処理能力さえあれば良く、クライアント端末１０４の数は任意である。
【００４１】
図２は、本実施形態におけるベンチマーク制御装置１０１の構成例を示すブロック図である。なお、この図２において、図１に示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。
【００４２】
図２において、ベンチマーク制御装置１０１は、ユーザインタフェース部２００、管理部２１０および実行制御部２２０により構成される。
ユーザインタフェース部２００は、ユーザインタフェース生成部２０２を有するユーザインタフェース制御部２０１と、例えばディスプレイのような表示装置を備えた表示部２０３と、例えばキーボードやマウスのような入力装置を備えた入力部２０４とにより構成される。
【００４３】
ユーザインタフェース制御部２０１は、入力部２０４から入力される情報（ベンチマークの測定条件値、テストパターンの選択（実行）／非選択（実行せず）等）を管理部２１０に供給する。また、ユーザインタフェース制御部２０１は、入力部２０４から入力された指示等に基づいて、データ（ファイル）を管理部２１０から読み出し、データ（ファイル）に応じたユーザインタフェースをユーザインタフェース生成部２０２にて生成して表示部２０３に供給する。
【００４４】
表示部２０３は、ユーザインタフェース制御部２０１から供給される表示データに係る表示画面を表示するものであり、表示される表示画面には、条件入力画面、テストパターン選択画面、および結果表示画面等がある。
【００４５】
ここで、上記条件入力画面は、オペレータがベンチマークのパラメータ（ＣＰＵ数、クライアント側のユーザ数、処理内容等の測定条件を入力する項目）を追加、削除したり、パラメータの設定値（測定条件値）を入力したりするための画面である。上記テストパターン選択画面は、入力されたベンチマークの条件パターン（パラメータの設定値）に基づいて作成した全テストパターンを表示し、実行するテストパターンの選択をオペレータに促すための画面である。また、上記結果表示画面は、実行したベンチマークでの性能の測定結果をオペレータ等に提示するための画面である。
【００４６】
入力部２０４は、ベンチマークのパラメータおよび設定値を入力したり、全テストパターンの中から実行するテストパターンを選択したりして、ユーザインタフェース制御部２０１に供給する。
【００４７】
管理部２１０は、ベンチマークのテストパターン、パラメータおよびその設定値、ベンチマークの測定結果等のデータを記憶したり、記憶したデータをユーザインタフェース部２００や実行制御部２２０に供給したりする。管理部２１０は、テストパターン生成部２１２およびパラメータファイル生成部２１３を有するテストパターン制御部２１１と、測定条件ファイル格納部２１４と結果記憶部２１５とにより構成される。
【００４８】
テストパターン制御部２１１は、ユーザインタフェース部２００から供給されるベンチマークのパラメータおよび条件パターンに基づいて、ベンチマークの全テストパターンおよびパラメータファイルを生成する。また、テストパターン制御部２１１は、生成したテストパターンの中から実行するテストパターンの選択をオペレータに対して要求したり、実行するテストパターンに対応するパラメータファイルを実行制御部２２０に供給したりする。
【００４９】
テストパターン生成部２１２は、入力部２０４より条件入力画面に従って入力され、ユーザインタフェース制御部２０１を介して供給されたベンチマークの条件パターンに応じて、ベンチマークの全テストパターンを生成する。すなわち、テストパターン生成部２１２は、互いに異なるパラメータ群の条件パターンの全ての組み合わせを自動的に生成する。
【００５０】
パラメータファイル生成部２１３は、条件入力画面に従って入力部２０４より入力され、ユーザインタフェース制御部２０１を介して供給されたベンチマークの条件パターンに基づいて、全テストパターンのパラメータファイルを生成する。ここで、パラメータファイルとは、各パラメータ群のそれぞれ１つの条件パターンを組み合わせたベンチマークの測定条件（各パラメータの設定値）を示すものであり、１つのテストパターンに対して１つのパラメータファイルが存在する。
【００５１】
例えば、ベンチマークのパラメータ群が４つあり、各パラメータ群にそれぞれ３通りの条件パターンが設定されている場合には、テストパターン生成部２１２は、８１通り（３×３×３×３）のテストパターンを生成する。このとき、パラメータファイル生成部２１３は、４つのパラメータ群からそれぞれ１つの条件パターンを選択して任意に組み合わせることにより、８１通りのテストパターンにそれぞれ対応する８１個のパラメータファイルを生成する。
【００５２】
上述のようにしてそれぞれ生成されたテストパターンおよびパラメータファイルは、実行制御部２２０に適宜供給されるとともに、測定条件ファイル格納部２１４に格納して保存される。測定条件ファイル格納部２１４に保存されたテストパターンおよびパラメータファイルは、要求に応じて測定条件ファイル格納部２１４から読み出してユーザインタフェース部２００に供給することができ、次回以降のベンチマークにおけるパラメータおよびその設定値の入力に使用することができる。
【００５３】
結果記憶部２１５は、１つのテストパターンのベンチマークが終了する毎に、実行制御部２２０内の後述する結果収集部２２５によりメールサーバ１０３およびクライアント端末１０４から収集されたベンチマークの実行結果（ＣＰＵ稼働率、処理応答時間等）を記憶する。
【００５４】
実行制御部２２０は、サーバ制御部２２１とクライアント制御部２２２と結果収集部２２５とにより構成され、情報処理システム１０２におけるベンチマークの実行を制御する。
サーバ制御部２２１は、管理部２１０内のテストパターン制御部２１１から実行するテストパターンのパラメータファイルが供給され、ベンチマークを実行する際、供給されたパラメータファイルに基づいて、ハードウェア構成や初期状態設定等をメールサーバ１０３に指示する。
【００５５】
クライアント制御部２２２は、ベンチマークを実行する際にクライアント端末１０４の制御を行うものであり、実行制御データ出力部２２３およびプロセス制御部２２４を有する。
【００５６】
実行制御データ出力部２２３は、テストパターン制御部２１１から供給された実行するテストパターンのパラメータファイルを実行制御データとしてクライアント端末１０４に供給する。これにより、クライアント端末１０４は、実行制御データとして供給されたパラメータファイルに基づいて、仮想プロセスを生成する。なお、実行制御データ出力部２２３が、供給されたパラメータファイルからクライアント端末１０４にて実行させる仮想プロセスを生成し、生成した仮想プロセスを実行させるためのデータを実行制御データとしてクライアント端末１０４に供給するようにしても良い。
【００５７】
プロセス制御部２２４は、実行するテストパターンのパラメータファイルに基づいた仮想プロセスのクライアント端末１０４での実行を制御する。
結果収集部２２５は、１つのテストパターンのベンチマークが終了する毎に、メールサーバ１０３およびクライアント端末１０４からベンチマークの実行結果（ＣＰＵ稼働率、処理応答時間等）を収集し、管理部２１０内の結果記憶部２１５に供給し記憶させる。
【００５８】
次に、動作について説明する。
図３は、図１に示すベンチマークテストシステムの処理動作を示すフローチャートである。
【００５９】
まず、処理動作を開始すると、ステップＳ３０１にて、ユーザインタフェース制御部２０１は、アプリケーション選択画面（テスト選択画面）を表示部２０３に表示し、情報処理システム１０２にて性能測定の対象とするアプリケーションの選択を要求する。ここで、アプリケーション選択画面では、選択可能なアプリケーション名が、例えばリストボックス等のＧＵＩ（グラフィックユーザインタフェース）により一覧表示される。
【００６０】
オペレータは、一覧表示されたアプリケーション名の中から入力部２０４を用いてアプリケーションを選択する。例えば、情報処理システム１０２にて、測定対象のアプリケーションが電子メールに関わるものであれば、アプリケーションとして“メール”を選択し、同様に、測定対象のアプリケーションがウェブに関わるものであれば“ウェブ”を選択し、データベースに関わるものであれば、“データベース”を選択する。
【００６１】
次に、ステップＳ３０２にて、ユーザインタフェース生成部２０２は、ステップＳ３０１において選択されたアプリケーションに応じて、インタフェースである条件入力画面の内容（入力項目等）を生成する。
【００６２】
具体的には、ユーザインタフェース生成部２０２は、条件入力画面を介して設定値の入力を要求するベンチマークのパラメータ（項目）を、サーバに依存するパラメータ（サーバ条件のパラメータ群）と、クライアントに依存するパラメータ（クライアント条件のパラメータ群）と、アプリケーションに依存するパラメータとに区分する。さらに、アプリケーションに依存するパラメータは、情報処理システム１０２での処理内容に関するトランザクションのパラメータ（トランザクション条件のパラメータ群）と、負荷に関するワークロードのパラメータ（ワークロード条件のパラメータ群）とに区分する。
【００６３】
ユーザインタフェース生成部２０２は、選択されたアプリケーションに応じてインタフェースを生成する際、サーバに依存するパラメータおよびクライアントに依存するパラメータは、選択されたアプリケーションにかかわらず共通のパラメータとする。また、アプリケーションに依存するパラメータ（トランザクションのパラメータ、ワークロードのパラメータ）については、選択されたアプリケーションに応じて適切なパラメータ（項目）に変更する。しかしながら、アプリケーションに依存するパラメータの項目名を変えるだけで、条件入力画面における表示形式や基本的な入力方法等は同じである。
【００６４】
例えば、選択されたアプリケーションが“メール”である場合には、ユーザインタフェース生成部２０２は、トランザクションのパラメータを、メールの送信、メールの受信（ＰＯＰプロトコルによるもの）、メールの受信（ＩＭＡＰプロトコルによるもの）等にする。また、ユーザインタフェース生成部２０２は、ワークロードのパラメータを、１つの電子メールのデータサイズ、同一のユーザからのアクセス間隔（時間）、ベンチマークの実行開始時点で電子メールを保有しているユーザ数、およびその電子メール数等にする。
【００６５】
ユーザインタフェース制御部２０１は、選択されたアプリケーションに応じたインタフェースである条件入力画面を表示部２０３に表示させる。
ステップＳ３０３にて、オペレータは、表示部２０３に表示された条件入力画面に従い入力部２０４を用いて、ベンチマークのパラメータの追加、削除を行ったり、パラメータの設定値を入力したりする。そして、パラメータの追加、削除、およびパラメータの設定値の入力が完了すると、パラメータおよび入力された設定値が管理部２１０内のテストパターン制御部２１１に供給される。
【００６６】
図４は、条件入力画面の一例を示す図である。
なお、図４においては、ベンチマークのパラメータの設定値を入力した条件入力画面を示している。
【００６７】
図４に示すように、条件入力画面４４０は、サーバ条件のパラメータ群について表示するサーバ条件入力ウィンドウ４００、クライアント条件のパラメータ群について表示するクライアント条件入力ウィンドウ４１０と、トランザクション条件のパラメータ群について表示するトランザクション条件入力ウィンドウ４２０と、ワークロード条件のパラメータ群について表示するワークロード条件入力ウィンドウ４３０との４つのウィンドウにより構成される。
【００６８】
サーバ条件入力ウィンドウ４００には、設定ボタン４０１および読込ボタン４０２が設けられている。オペレータが、入力部２０４を操作して設定ボタン４０１を押下（クリック）することにより、パラメータ表示部４０３に表示されている入力したパラメータおよび設定値が設定される、すなわち管理部２１０内のテストパターン制御部２１１に供給される。
【００６９】
また、入力部２０４を操作して読込ボタン４０２を押下（クリック）することにより、リポジトリである測定条件ファイル格納部２１４に格納されている過去に設定されたパラメータおよびその設定値が読み出されて、パラメータ表示部４０３に表示される。この読込ボタン４０２を使用して、過去に設定したパラメータおよびその設定値を再利用することで、入力部２０４を用いてのパラメータおよびその設定値の入力作業を軽減するとともに、確認作業を簡素化したとしても入力間違い等の発生を防止することができる。
【００７０】
さらに、サーバ条件入力ウィンドウ４００には、行挿入ボタン４０４および行削除ボタン４０５が設けられており、パラメータを追加しようとする際には、行挿入ボタン４０４を押下（クリック）することにより、パラメータ表示部４０３に１行追加される。同様に、パラメータを削除しようとする際には、削除しようとする行を選択して行削除ボタン４０５を押下（クリック）することにより、パラメータ表示部４０３から選択した行が削除される。
【００７１】
パラメータ表示部４０３は、サーバ条件のパラメータおよびその設定値を表形式で表示する部分である。パラメータ表示部４０３では、サーバ名「マシン１」、がパラメータとして入力され、ベンチマークで使用するサーバ「マシン１」のＣＰＵ数およびメモリサイズが設定値として入力されている。
【００７２】
すなわち、サーバ条件については、サーバ名（パラメータ）「マシン１」がパラメータ群を形成し、サーバ名「マシン１」の設定値であるＣＰＵ数「４」、メモリサイズ「１ＧＢ」が条件パターンＳ１を形成し、設定値であるＣＰＵ数「４」、メモリサイズ「２ＧＢ」が条件パターンＳ２を形成する。ここで、本実施形態では、メールサーバ１０３は１つであるため、サーバ名「マシン１」の設定値のみ入力しているが、複数のサーバを有する場合には、サーバ名を複数入力し、サーバ毎に設定値を入力することができる。
【００７３】
また、クライアント条件入力ウィンドウ４１０、トランザクション条件入力ウィンドウ４２０およびワークロード条件入力ウィンドウ４３０についても、サーバ条件ウィンドウ４００と同様に、設定ボタン、読込ボタン、行挿入ボタンおよび行削除ボタンがそれぞれ設けられている。なお、各ウィンドウ４１０、４２０、４３０にそれぞれ設けられている設定ボタン、読込ボタン、行挿入ボタンおよび行削除ボタンの機能は、サーバ条件ウィンドウ４００に設けられた各ボタンの機能と同じであるので、説明は省略する。
【００７４】
また、クライアント条件入力ウィンドウ４１０、トランザクション条件入力ウィンドウ４２０およびワークロード条件入力ウィンドウ４３０のそれぞれのパラメータ表示部４１３、４２３、４３３も、サーバ条件ウィンドウ４００と同様にアプリケーションにかかわらず表形式でパラメータおよびその設定値が表示され、サーバ条件と同様に、パラメータ群および条件パターン（クライアント条件Ｃ１、Ｃ２、Ｃ３、トランザクション条件Ｔ１、Ｔ２、ワークロード条件Ｗ１、Ｗ２）がそれぞれ形成される。
【００７５】
なお、トランザクション条件の条件パターンには、トランザクションの割合を入力するようになっているが、トランザクションの割合を百分率で入力しても良いし、比率で入力しても良い。トランザクションの割合を比率で入力したとしても、ベンチマークの実行においては、百分率に換算し処理が実行される。
【００７６】
また、図４では、サーバ条件、クライアント条件、トランザクション条件およびワークロード条件の各入力ウィンドウ４００、４１０、４２０、４３０により４分割した条件入力画面４４０を示しているが、条件入力画面４４０は４分割した表示画面に限らず、パラメータの設定値を入力したいウィンドウだけを表示するようにしても良いし、１つのウィンドウを表示するようにしても良い。
【００７７】
また、図４においては、図示していないが、行挿入ボタンおよび行削除ボタンと同様に、条件パターンを追加しようとする際に、パラメータ表示部に１列追加するための列挿入ボタン、および条件パターンを削除しようとする際に、パラメータ表示部から選択した列を削除する列削除ボタンを、各ウィンドウ４００、４１０、４２０、４３０に設けるようにしても良い。
【００７８】
図３に戻り、ステップＳ３０３において、全ての条件入力ウィンドウの設定ボタンが押下され、全てのパラメータと設定値（条件パターン）がテストパターン制御部２１１に供給されると、ステップＳ３０４にて、テストパターン制御部２１１内のテストパターン生成部２１２は、互いに異なるパラメータ群の条件パターンによる全ての条件パターンの組み合わせをテストパターンとして自動的に生成する。また、テストパターン制御部２１１内のパラメータファイル生成部２１３は、テストパターン生成部２１２と同様にして、全テストパターンにそれぞれ対応するパラメータファイルを生成する。
【００７９】
これにより、入力された条件パターンの全ての組み合わせを網羅したテストパターンと、テストパターンに対応したパラメータの設定値からなるパラメータファイルがそれぞれ生成される。ステップＳ３０５にて、テストパターン制御部２１１は、ステップＳ３０４においてそれぞれ生成したテストパターンおよびパラメータファイルを測定条件ファイル格納部２１４に格納する。
【００８０】
次に、ステップＳ３０６にて、テストパターン制御部２１１は、ステップＳ３０４において生成された全テストパターンをリスト化し、ユーザインタフェース制御部２０１を介して、図５に示すようなテストパターン選択画面を表示部２０３に表示させる。オペレータは、テストパターン選択画面に表示された全テストパターンの中から、入力部２０４を用いて、ベンチマークを実行するテストパターンを選択するとともに、ベンチマークの実行開始をテストパターン制御部２１１に指示する。
【００８１】
図５は、テストパターン選択画面の一例を示す図である。
図５に示すように、テストパターン選択画面では、各パラメータ群にて設定された条件パターンの全ての組み合わせ、すなわち全テストパターンが、複数のパラメータ群を適当に組み合わせることで、Ｘ系列の条件パターンとＹ系列の条件パターンとに２次元化して表示される。図５においては、一例として図４におけるクライアント条件の条件パターン（３通り）をＸ系列の条件パターンとし、サーバ条件、トランザクション条件およびワークロード条件の条件パターンを組み合わせた条件パターン（１２通り）をＹ系列の条件パターンとして示している。
【００８２】
なお、テストパターン選択画面として表示するために全テストパターンを２次元化する際の複数のパラメータ群の組み合わせは、テストパターン制御部２１１が任意のパラメータ群を自動的に組み合わせても良いし、オペレータが入力部２０４を用いて指示できるようにして、指示に従ってテストパターン制御部２１１がパラメータ群を組み合わせても良い。
【００８３】
また、表形式で表示されたテストパターン選択画面において、Ｘ系列の条件パターンとＹ系列の条件パターンとの各交差部が１つのテストパターンに該当する。さらに、テストパターン選択画面にて、Ｘ系列の条件パターンとＹ系列の条件パターンとの各交差部に設けられたチェックボックスは、当該交差部にて示されるテストパターンのベンチマークを実行するか否かを選択するためのものである。チェックボックスにチェックがある（選択されている）場合は、当該テストパターンのベンチマークを実行することを示し、チェックがない（選択されていない）場合には、当該テストパターンのベンチマークを実行しないことを示している。
【００８４】
なお、テストパターン選択画面の表示開始時には、全てのチェックボックスをチェックした状態でテストパターン選択画面を表示する。これにより、チェックボックスのチェック漏れによる実行すべきベンチマークの漏れを防止することができる。また、実行ボタン５０１はベンチマークの実行開始を指示するためのものである。
【００８５】
図３に戻り、ステップＳ３０６において、テストパターン選択画面上におけるチェックボックスの選択／非選択操作が、入力部２０４を用いてオペレータにより行われ、実行ボタン５０１が押下されると、ステップＳ３０７に進み、ベンチマークの実行開始がテストパターン制御部２１１に指示される。テストパターン制御部２１１は、ベンチマークの実行開始の指示を受けると、情報処理システム１０２に対するベンチマーク実行処理を開始する。このベンチマーク実行処理については、後述する。
【００８６】
ステップＳ３０７でのベンチマーク実行処理が完了すると、ステップＳ３０８にて、ユーザインタフェース制御部２０２は、ステップＳ３０７において実行したベンチマークの測定結果を結果記憶部２１５から読み出し、所定の形式で表示部２０３に表示させ、ベンチマークテストシステムの処理動作が終了する。
【００８７】
図６は、図３に示すベンチマーク実行処理の動作を詳細に示すフローチャートである。
ベンチマーク実行処理では、まず、ステップＳ６０１にて、テストパターン制御部２１１は、入力された条件パターンに基づいて作成された全テストパターンのリストから１つのテストパターンを選択する。ステップＳ６０１でのテストパターン制御部２１１によるテストパターンの選択は、全テストパターンのリストにおいて、以前に選択していないテストパターンを１つずつ選択していく。
【００８８】
次に、ステップＳ６０２にて、テストパターン制御部２１１は、ステップＳ６０１において選択したテストパターンが実行選択されているか否か、すなわち図５に示したようなテストパターン選択画面にてチェックボックスがチェックされているか否かを判断する。上記判断の結果、テストパターン制御部２１１は、ステップＳ６０１において選択したテストパターンが実行選択されていると判断した場合には、ステップＳ６０３に進み、実行選択されていないと判断した場合には、ステップＳ６０１に戻る。
【００８９】
ステップＳ６０１において選択したテストパターンが実行選択されていると判断した場合に進むステップＳ６０３にて、テストパターン制御部２１１は、当該テストパターンに対応するパラメータファイルを読み出す。さらに、テストパターン制御部２１１は、読み出したパラメータファイルをサーバ制御部２２１およびクライアント制御部２２２にそれぞれ供給する。
【００９０】
次に、ステップＳ６０４にて、サーバ制御部２２１は、ステップＳ６０３において供給されたパラメータファイルに基づいて、サーバ構成の変更をメールサーバ１０３に指示する。そして、メールサーバ１０３は、サーバ構成の変更指示をサーバ制御部２２１から受けると、指示に従いサーバ構成の変更を行う。
【００９１】
このステップＳ６０４において行われるサーバ構成の変更の指示では、メールサーバ１０３のソフトウェア構成（例えば、電子メールシステムであればベンチマーク開始時の電子メール保有数等）に限らず、ハードウェア構成（例えば、使用するＣＰＵ数、メモリサイズ等）の変更を指示することも可能である。ハードウェア構成の変更では、例えば所定の命令を出力することによりＣＰＵ数やメモリサイズの制御を行うソフトウェアによる切り換え指示によりサーバ構成を変更し、メールサーバ１０３でのＣＰＵやメモリの挿抜は行わない。
【００９２】
ステップＳ６０５にて、クライアント制御部２２２内の実行制御データ出力部２２３は、ステップＳ６０３において供給されたパラメータファイルを実行制御データとしてクライアント端末１０４に出力する。そして、ステップＳ６０６にて、クライアント端末１０４は、供給されたパラメータファイルに基づいて、仮想プロセスを生成する。
【００９３】
さらに、クライアント制御部２２２内のプロセス制御部２２４が、クライアント端末１０４に仮想プロセスの実行開始を指示することで、クライアント端末１０４は、パラメータファイルに基づいて生成した仮想プロセスを実行する。これにより、情報処理システム１０２において、１つのテストパターンのベンチマークが実行される。
【００９４】
クライアント端末１０４による仮想プロセスの実行が終了する、すなわち１つのテストパターンのベンチマークが終了すると、ステップＳ６０７にて、結果収集部２２５は、メールサーバ１０３およびクライアント端末１０４からベンチマークの実行結果（測定結果）をそれぞれ収集し、結果記憶部２１５に記憶させる。
【００９５】
次に、ステップＳ６０８にて、テストパターン制御部２１１は、全テストパターンのリストに選択可能なテストパターン、すなわちステップＳ６０１にて選択されていないテストパターンがあるか否か判断する。判断の結果、選択可能なテストパターンがある場合には、ステップＳ６０１に戻り、上述したステップＳ６０１〜Ｓ６０８の処理を繰り返し、選択可能なテストパターンがなくなるまで上述したステップＳ６０１〜Ｓ６０８の処理を繰り返し行う。すなわち、全テストパターンのリストに表示されるテストパターンを全て選択するまで、上述したステップＳ６０１〜Ｓ６０８の処理を繰り返し行い、実行選択されたテストパターンでのベンチマークを自動的に連続して実行する。
【００９６】
一方、選択可能なテストパターンがない、すなわちステップＳ６０１における選択処理で、全テストパターンの選択が完了した場合には、ベンチマーク実行処理を終了する。
【００９７】
次に、結果表示画面について説明する。
図７（Ａ）は、ベンチマークを実行したテストパターン毎に測定結果を表示する結果表示画面の一例を示す図である。
【００９８】
図７（Ａ）において、７０１はベンチマークを実行した１つのテストパターンの測定結果を示すリストであり、テストパターン名、ベンチマークでの応答時間（平均値、分散値、最大値）、ＣＰＵ稼働率等が表示される。また、リスト７０１には、例えばＣＰＵ稼働率をグラフ化して表示するためのグラフボタン７０２が設けられており、入力部２０４の操作によりグラフボタン７０２が押下されると、図７（Ｂ）に示すような当該ベンチマークでのＣＰＵ稼働率のグラフを表示する結果表示画面に切り替わる。なお、図７（Ｂ）において、横軸はベンチマークの実行開始時からの時間であり、縦軸はＣＰＵ稼働率である。
【００９９】
また、本実施形態におけるベンチマークテストシステムでは、全テストパターンの中から選択したテストパターンでのベンチマークを自動的に連続して行うとともに、ベンチマークの測定結果を結果記憶部２１５に記憶する。したがって、あるパラメータの設定値のみを変化させた複数のテストパターンでのベンチマークを容易に実行し、ベンチマークの測定結果を得ることができる。
【０１００】
そこで、図７（Ａ）に示す結果表示画面には、上述したリスト７０１に加えて、当該テストパターンの１つのパラメータの設定値の変化に対する測定結果（図７（Ａ）においては、ＣＰＵ稼働率および応答時間）の変化を表示するための表示ボタン７０４、７０６が設けられている。
【０１０１】
例えば、使用するＣＰＵ数の変化に対するＣＰＵ稼働率の変化を表示させたいときには、オペレータは、入力部２０４を用いて、変化対象のパラメータを指定するためのリストボックス７０３にて「ＣＰＵ数」を選択した後、表示ボタン７０４を押下する。このとき、リスト７０１に測定結果が表示されているテストパターンに対してパラメータの設定値がＣＰＵ数だけ異なるテストパターンがある場合には、ユーザインタフェース制御部２０１は、ＣＰＵ数だけ異なるテストパターンでのベンチマークの測定結果を結果記憶部２１５から読み出す。
【０１０２】
さらに、ユーザインタフェース制御部２０１は、ＣＰＵ数だけ異なるテストパターンでのベンチマークの測定結果を、図７（Ｃ）に示すように横軸を変化対象のパラメータとしてグラフ化し表示する。
【０１０３】
なお、１つのパラメータの設定値を変化させたときの応答時間の変化を表示させたい場合には、リストボックス７０５、表示ボタン７０６を用いて、ＣＰＵ稼働率の変化を表示させるときと同様の操作を行えば良いので、説明は省略する。
【０１０４】
以上、詳しく説明したように本実施形態によれば、オペレータがベンチマークのパラメータを追加、削除したり、パラメータの設定値を入力したりするための条件入力画面をサーバ条件、クライアント条件およびアプリケーションに関する条件を入力する部分に分割し、さらにアプリケーションに関する条件については、トランザクション条件およびワークロード条件を入力する部分に分割する。さらに、実際にパラメータおよびパラメータの設定値を入力するパラメータ表示部を表形式で表示し、パラメータ欄や設定値の入力欄を追加、削除できるようにして１つのパラメータに対して複数の設定値を同時に設定したりできるようにする。そして、サーバ条件とクライアント条件については、アプリケーションによらず共通にし、アプリケーションに関するトランザクション条件とワークロード条件については、アプリケーションに応じてパラメータの内容は変わるものの、表形式で表示するような基本的な形式はアプリケーションによらず同じにする。
【０１０５】
これにより、オペレータは、パラメータ毎に任意の数の設定値を同時に入力することができ、１回のベンチマーク毎にその都度設定値を入力する必要がなくなり、パラメータの設定値の入力を非常に容易に行うことができる。また、パラメータ欄や設定値の入力欄を追加、削除したりできることで、変化させたいパラメータのみを表示させ設定値を入力することができる。
【０１０６】
また、本実施形態では、テストパターン制御部２１１にて、条件入力画面を介して入力されたパラメータと設定値（条件パターン）に基づいて、互いに異なるパラメータ群の条件パターンによる全ての組み合わせであるテストパターンと対応するパラメータファイルを生成する。さらに、全てのテストパターンの中から、テストパターン選択画面を介して実行するテストパターンを選択させ、情報処理システム１０２でのベンチマークを実行する。
【０１０７】
これにより、多くのパラメータがあったとしても、パラメータ毎に設定値を入力するだけで、全ての設定値の組み合わせ（テストパターン）が生成され、テストパターン選択画面を介して表示されたテストパターンの中から選択するだけで、多くの入力作業を行うことなく実行したいベンチマークに対応するテストパターンを容易に選択し、実行することができる。また、テストパターン選択画面にて複数のテストパターンを選択しても、テストパターンに対応するパラメータファイルがテストパターン制御部２１１から実行制御部２２０を介して情報処理システム１０２に順次供給され、ベンチマークが実行される。
【０１０８】
さらに、ベンチマークの際にハードウェアの構成を変更しなければならなくても、本実施形態では、ハードウェアを所定の命令により制御するようにしたので、実際に挿抜等の作業を行う必要がない。したがって、オペレータは、テストパターン選択画面にてテストパターンを選択するだけで、情報処理システム１０２では、複数のテストパターンでのベンチマークが自動的に連続して行われるので、従来に比べて複数のベンチマークに要する労力を低減できるとともに、時間も非常に短縮することができる。
【０１０９】
また、本実施形態では、ベンチマーク制御装置にベンチマークの実行結果を記憶する結果記憶部２１５を設けたので、パラメータの設定値を変化させた複数の実行結果を蓄積しておくことができ、測定対象システムの性能評価やサイジングに必要なデータの分析を行うことができる。
【０１１０】
なお、上述した本実施形態においては、ベンチマークを実行し性能を測定する情報処理システム１０２として電子メールシステムを一例として示したが、本発明は電子メールシステムに限らず、例えば、データベースサーバを有するシステムやウェブサーバを有するシステムにも適用することができる。異なるシステムでは、条件入力画面のアプリケーションに関する条件の項目が異なるだけで、動作等は電子メールシステムの場合と同じである。
【０１１１】
また、本実施形態では、サーバ１０３と複数のクライアント端末１０４とからなる情報処理システム１０２をベンチマークによる測定対象の一例として示したが、サーバに対応する情報処理機能（サーバ機能）と、クライアント端末に対応する情報処理機能（クライアント機能）との双方を備えた１つの情報処理装置を測定対象としても良い。
【０１１２】
また、本実施形態では、ベンチマーク制御装置１０１は、入力部２０４および表示部２０３を備えた一つの装置により構成されているが、例えば、入力部２０４および表示部２０３として他の端末装置を用いて、ネットワーク等の通信手段を介してベンチマーク制御装置に接続しても、本実施形態と同じ効果を得ることができる。
【０１１３】
なお、以上に説明した本実施形態の性能測定装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成できるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【０１１４】
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、および当該送信装置を備えるネットワークシステム等がある。
【０１１５】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていても良い。
【０１１６】
例えば、本実施形態に示した性能測定装置は、図８に示すようなコンピュータ機能８００を有し、そのＣＰＵ８０１により本実施形態での動作が実施される。
【０１１７】
コンピュータ機能８００は、上記図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３と、キーボード（ＫＢ）８０９のキーボードコントローラ（ＫＢＣ）８０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）８１０のＣＲＴコントローラ（ＣＲＴＣ）８０６と、ハードディスク（ＨＤ）８１１およびフレキシブルディスク（ＦＤ）８１２のディスクコントローラ（ＤＫＣ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とが、システムバス８０４を介して互いに通信可能に接続された構成としている。
【０１１８】
ＣＰＵ８０１は、ＲＯＭ８０２あるいはＨＤ８１１に記憶されたソフトウェア（プログラム）、あるいはＦＤ８１２より供給されるソフトウェア（プログラム）を実行することで、システムバス８０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ８０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ８０２、あるいはＨＤ８１１、あるいはＦＤ８１２から読み出して実行することで、本実施形態での動作を実現するための制御を行う。
【０１１９】
ＲＡＭ８０３は、ＣＰＵ８０１の主メモリあるいはワークエリア等として機能する。
ＫＢＣ８０５は、ＫＢ８０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ８０６は、ＣＲＴ８１０の表示を制御する。
ＤＫＣ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、および本実施形態における上記処理プログラム等を記憶するＨＤ８１１およびＦＤ８１２とのアクセスを制御する。
ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。
【０１２０】
【発明の効果】
以上説明したように、本発明によれば、測定条件に係る情報を入力するための条件入力画面を、第１の情報処理装置のハードウェアに関する入力部分と、第２の情報処理装置のハードウェアに関する入力部分と、選択された所定のサービスに関する入力部分とに分割して、条件入力画面を選択された所定のサービスに関わらず共通の表形式にするとともに、選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ測定条件の同じ項目に複数の設定を入力可能に生成して、入力された測定条件を基に互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、情報処理システムの性能試験を実行する。
【０１２１】
これにより、異なる複数の測定条件を同時に入力し、それを任意に組み合わせて複数の性能試験データを生成し、生成した複数の性能試験データに基づき情報処理システムの性能試験を実行することができる。したがって、条件入力画面にて複数の設定値を同時に入力することにより、生成された複数の性能試験データが、情報処理システムに供給され異なる複数の測定条件でのベンチマークテストを自動的に連続して実行することができる。
【図面の簡単な説明】
【図１】本発明の実施形態による性能測定装置を適用したベンチマークテスト制御装置を備えるベンチマークテストシステムの一構成例を示すブロック図である。
【図２】本実施形態におけるベンチマークテスト制御装置１０１の構成例を示すブロック図である。
【図３】ベンチマークテストシステムの処理動作を示すフローチャートである。
【図４】条件入力画面の一例を示す図である。
【図５】テストパターン選択画面の一例を示す図である。
【図６】図３に示すベンチマーク実行処理の動作を詳細に示すフローチャートである。
【図７】結果表示画面の一例を示す図である。
【図８】性能測定装置を実現可能なコンピュータの一構成例を示すブロック図である。
【符号の説明】
１０１ ベンチマークテスト制御装置
１０２ 情報処理システム（メールシステム）
１０３ メールサーバ
１０４ クライアント端末
１０５ ネットワーク
２００ ユーザインタフェース部
２０１ ユーザインタフェース制御部
２０２ ユーザインタフェース生成部
２０３ 表示部
２０４ 入力部
２１０ 管理部
２１１ テストパターン制御部
２１２ テストパターン生成部
２１３ パラメータファイル生成部
２１４ 測定条件ファイル格納部
２１５ 結果記憶部
２２０ 実行制御部
２２１ サーバ制御部
２２２ クライアント制御部
２２３ 実行制御データ出力部
２２４ プロセス制御部
２２５ 結果収集部
【発明の属する技術分野】
本発明は、異なる複数の測定条件での情報処理システムの性能を連続して測定する性能測定装置、性能測定システム、記録媒体およびプログラムに関する。
【０００２】
【従来の技術】
従来から、さまざまな条件での情報処理システム（情報処理装置）のハードウェアおよびソフトウェアの性能を比較して評価するために、当該情報処理システムの性能を測定する方法として、ベンチマークテスト（以下、「ベンチマーク」とも称す。）があった。ベンチマークでは、測定対象である情報処理システムの測定条件を１つのベンチマーク毎に逐一入力して定義し、定義された測定条件に基づいて情報処理システムに処理を実行させ性能を測定していた。
【０００３】
例えば、情報処理システムとしてメールサーバの性能を測定する場合には、メールサーバが有するＣＰＵ数、メールサーバを使用するユーザ数、および送受信される電子メールのデータサイズ等を測定条件として定義していた。そして、定義された測定条件に従って、ユーザ数と同数のクライアント端末およびオペレータをユーザ数と同数だけ用意してオペレータの手作業によりメールサーバへのアクセスを行ったり、定義された測定条件を仮想的なプロセスとしてデータ（プログラム）化してクライアント端末に実行させたりして、メールサーバの性能を測定していた。
【０００４】
また、ある１つの測定条件での情報処理システムの性能を測定した後、異なる測定条件での情報処理システムの性能を測定しようとする場合には、オペレータが新たな測定条件を入力して再定義し、再定義された測定条件に基づいて情報処理システムに処理を実行させ性能を測定していた。すなわち、オペレータによる測定条件の入力作業およびベンチマークの実行を繰り返し行うことにより、異なる複数の測定条件での情報処理システムの性能を測定していた。このようにして、異なる複数の測定条件での情報処理システムの性能を測定し、測定結果を比較して評価することにより使用条件に最も適合するメールサーバの仕様を決定したりしていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来のベンチマークの実行に関しては、以下のような問題点があった。
（第１の問題点）
測定条件を定義するオペレータは、ベンチマークを実行しようとする度に測定条件を毎回定義しなければならず、新たな測定条件の入力作業や修正作業を行わなければならなかった。
【０００６】
したがって、異なる複数の測定条件でのベンチマークをそれぞれ実行しようとする場合であっても、自動的にベンチマークを連続して実行することはできなかった。すなわち、オペレータは、１つの測定条件でのベンチマークの終了を確認した後、新たな１つの測定条件を入力し再定義するための入力作業および修正作業を行わねばならず、性能測定を実行する効率が非常に悪いという問題があった。
【０００７】
さらに、例えば、情報処理システムが有するＣＰＵ数やメモリサイズ等の測定条件を変更してベンチマークをそれぞれ実行する場合には、従来は、測定条件に合わせてＣＰＵやメモリ等を挿抜しなければならなかった。したがって、ＣＰＵ数やメモリサイズ等を変更する場合においても、オペレータは１つの測定条件でのベンチマークの終了を確認した後、新たな測定条件を定義するためにＣＰＵやメモリ等の挿抜作業を行わねばならなかった。
【０００８】
また、ベンチマークの種類や測定条件によっては、処理（ベンチマークの実行）が何時間もかかることがあり、例えば夜中にベンチマークの実行結果が得られる（ベンチマークが終了する）こともある。そのような場合、オペレータが不在であることが多いため、翌朝オペレータが操作するまでは次の測定条件の入力が行われず、無駄な時間を費やしてしまうという問題があった。
【０００９】
（第２の問題点）
測定条件を定義する際、測定対象である情報処理システム（情報処理システムのアプリケーション）毎に異なる測定条件の定義が行われていた。例えば、情報処理システムとしてメールサーバの性能を測定する場合には、送受信される電子メールのデータサイズや、アクセスするユーザ数、およびユーザのアクセス頻度等の測定条件を定義していた。また、ウェブサーバの性能を測定する場合には、同時アクセス数、ユーザに提供する１つのコンテンツのデータサイズや、アプレットおよびサーブレットの有無等の測定条件を定義していた。
【００１０】
このように測定対象である情報処理システム毎に定義する測定条件が異なるために、オペレータが測定条件を入力する際のユーザインタフェースも測定対象の情報処理システム毎に異なる固有のユーザインタフェースを有していた。したがって、同一のオペレータが、異なった様々な情報処理システムに対してベンチマークを実行しようとする場合には、情報処理システム毎に異なるユーザインタフェースを使用して測定条件の定義を行わねばならず、作業が煩雑であるとともに、利便性に欠けるという問題があった。
【００１１】
（第３の問題点）
上記第１の問題点にて述べたように、異なる複数の条件でのベンチマークを実行するには、条件の一部分のみを変更した測定条件であっても、測定条件の各項目に対する入力作業を繰り返し行わねばならず、作業効率が非常に悪いとともに、オペレータによる測定条件の入力間違い等を引き起こしてしまうことがあった。変更された測定条件の異なる部分のみを再入力するようにしたとしても、測定条件の組み合わせが多くなると、再入力すべき測定条件を直し忘れたり、ある測定条件の入力を忘れてしまったりすることがあった。
【００１２】
したがって、異なる複数の条件でのベンチマークを実行する場合には、測定条件の入力間違い等が存在しないように、入力すべき測定条件と入力された測定条件とが同じであるか否かの確認作業に多大な時間および労力を要してしまうという問題があった。さらに、当該確認作業にて、測定条件の入力間違い等が発見できなかった場合には、所望の測定条件でのベンチマークが行えないという問題があった。
【００１３】
本発明は、このような問題を解決するためになされたものであり、異なる複数の測定条件を同時に入力できるようにするとともに、異なる複数の測定条件での情報処理システムの性能試験を自動的に連続して実行できるようにすることを目的とする。
【００１４】
【課題を解決するための手段】
本発明の性能測定装置は、入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定装置であって、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて上記測定条件に係る情報を入力するための条件入力画面を、少なくとも１つの情報処理装置からなり上記選択された所定のサービスを提供する第１の情報処理装置のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記選択された所定のサービスの提供を受ける第２の情報処理装置のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理システムの性能試験を実行することを特徴とする。
【００１７】
本発明の性能測定装置のその他の特徴とするところは、入力された測定条件に基づいて、所定のサービスを提供する情報処理装置の性能を測定する性能測定装置であって、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて上記測定条件に係る情報を入力するための条件入力画面を、上記選択された所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理装置の性能試験を実行することを特徴とする。
【００１９】
本発明の性能測定システムは、入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定システムであって、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザに性能測定対象のサービスの選択を要求するサービス選択要求手段と、上記サービス選択要求手段で上記ユーザにより選択されたサービスに応じて、上記測定条件に係る情報を入力するための条件入力画面を、少なくとも１つの情報処理装置からなり上記選択された所定のサービスを提供する第１の情報処理装置のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記選択された所定のサービスの提供を受ける第２の情報処理装置のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割され、上記選択された所定のサービスに関する入力部分は上記選択された所定のサービスに関わらず共通の表形式にするとともに、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成する条件入力画面生成手段と、上記条件入力画面生成手段で生成された条件入力画面を介して入力された上記測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、任意に組み合わせて性能試験データを生成するテストパターン制御手段と、上記テストパターン制御手段で生成した性能試験データに基づいて、上記情報処理システムの性能試験を実行する試験実行制御手段とを備えたことを特徴とする。
【００２４】
本発明のプログラムは、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて情報処理システムに実行させる性能試験での測定条件に係る情報を入力するための条件入力画面を、少なくとも１つの情報処理装置からなり選択された所定のサービスを提供する第１の情報処理装置のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記選択された所定のサービスの提供を受ける第２の情報処理装置のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理システムの性能試験を実行する処理手順をコンピュータに実行させることを特徴とする。
【００２５】
本発明のプログラムの他の特徴とするところは、性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて情報処理装置に実行させる性能試験での測定条件に係る情報を入力するための条件入力画面を、選択された所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理装置の性能試験を実行する処理手順をコンピュータに実行させることを特徴とする。
【００２６】
本発明のコンピュータ読み取り可能な記録媒体は、上記プログラムを記録したことを特徴とする。
【００３４】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の実施形態による性能測定装置を適用したベンチマークテスト制御装置を備えるベンチマークテストシステムの一構成例を示すブロック図である。なお、図１においては、クライアント・サーバ型システムの１つであり、電子メールの送受信を行うメールシステムの性能を測定するベンチマークテストシステムを一例として示している。
【００３５】
図１において、１０１はベンチマークテスト制御装置（以下、「ベンチマーク制御装置」とも称す。）であり、条件入力画面、テストパターン選択画面および結果表示画面等を表示する。また、ベンチマーク制御装置１０１は、各パラメータの設定値をベンチマークのパラメータ群毎にグループ化した条件パターンの組み合わせであるテストパターン（測定条件）を生成したり、測定対象である情報処理システム１０２に実行するベンチマークの各パラメータの設定値を供給したりして、ベンチマークの実行を制御するものである。なお、ベンチマーク制御装置１０１の詳細については後述する。
【００３６】
情報処理システム１０２は、メールサーバ１０３とクライアント端末１０４とにより構成される。
メールサーバ１０３は、情報処理システム１０２にて電子メールを送受信したり、電子メールの管理を行ったりするものである。また、メールサーバ１０３は、ベンチマーク制御装置１０１からの指示に応じて、自らが有するＣＰＵの数、メモリサイズ等のハードウェア構成を変更したり、テストパターン（測定条件）が変わる毎にベンチマークでの測定結果（ＣＰＵ稼働率等のリソース情報）をベンチマーク制御装置１０１に供給したりする。
【００３７】
クライアント端末１０４は、メールサーバ１０３に対してアクセスし電子メールの送受信を行う端末である。本実施形態においては、クライアント端末１０４は、ベンチマーク制御装置１０１から供給されるベンチマークの各パラメータの設定値に基づいて仮想プロセスを生成し、生成した仮想プロセスに従ってメールサーバ１０３に対してアクセスする。また、クライアント端末１０４は、テストパターン（測定条件）が変わる毎にベンチマークでの測定結果（アクセスに対するメールサーバ１０３の応答時間等）をベンチマーク制御装置１０１に供給したりする。
【００３８】
ベンチマーク制御装置１０１と、メールサーバ１０３およびクライアント端末１０４は、個別の信号線を介して通信可能なようにそれぞれ接続されている。また、メールサーバ１０３とクライアント端末１０４とは、それぞれが備える図示しないネットワークインタフェースにより、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワーク１０５を介して互いに通信可能なように接続されている。
【００３９】
なお、図１においては、ベンチマーク制御装置１０１と、メールサーバ１０３およびクライアント端末１０４とは、個別の信号線を介してそれぞれ接続するようにしているが、メールサーバ１０３およびクライアント端末１０４に対して通信可能なようにベンチマーク制御装置１０１をネットワーク１０５に接続するようにしても良い。
【００４０】
また、図１では、２つのクライアント端末１０４を図示しているが、ベンチマークを実行し、その結果をベンチマーク制御装置１０１に供給できる処理能力さえあれば良く、クライアント端末１０４の数は任意である。
【００４１】
図２は、本実施形態におけるベンチマーク制御装置１０１の構成例を示すブロック図である。なお、この図２において、図１に示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。
【００４２】
図２において、ベンチマーク制御装置１０１は、ユーザインタフェース部２００、管理部２１０および実行制御部２２０により構成される。
ユーザインタフェース部２００は、ユーザインタフェース生成部２０２を有するユーザインタフェース制御部２０１と、例えばディスプレイのような表示装置を備えた表示部２０３と、例えばキーボードやマウスのような入力装置を備えた入力部２０４とにより構成される。
【００４３】
ユーザインタフェース制御部２０１は、入力部２０４から入力される情報（ベンチマークの測定条件値、テストパターンの選択（実行）／非選択（実行せず）等）を管理部２１０に供給する。また、ユーザインタフェース制御部２０１は、入力部２０４から入力された指示等に基づいて、データ（ファイル）を管理部２１０から読み出し、データ（ファイル）に応じたユーザインタフェースをユーザインタフェース生成部２０２にて生成して表示部２０３に供給する。
【００４４】
表示部２０３は、ユーザインタフェース制御部２０１から供給される表示データに係る表示画面を表示するものであり、表示される表示画面には、条件入力画面、テストパターン選択画面、および結果表示画面等がある。
【００４５】
ここで、上記条件入力画面は、オペレータがベンチマークのパラメータ（ＣＰＵ数、クライアント側のユーザ数、処理内容等の測定条件を入力する項目）を追加、削除したり、パラメータの設定値（測定条件値）を入力したりするための画面である。上記テストパターン選択画面は、入力されたベンチマークの条件パターン（パラメータの設定値）に基づいて作成した全テストパターンを表示し、実行するテストパターンの選択をオペレータに促すための画面である。また、上記結果表示画面は、実行したベンチマークでの性能の測定結果をオペレータ等に提示するための画面である。
【００４６】
入力部２０４は、ベンチマークのパラメータおよび設定値を入力したり、全テストパターンの中から実行するテストパターンを選択したりして、ユーザインタフェース制御部２０１に供給する。
【００４７】
管理部２１０は、ベンチマークのテストパターン、パラメータおよびその設定値、ベンチマークの測定結果等のデータを記憶したり、記憶したデータをユーザインタフェース部２００や実行制御部２２０に供給したりする。管理部２１０は、テストパターン生成部２１２およびパラメータファイル生成部２１３を有するテストパターン制御部２１１と、測定条件ファイル格納部２１４と結果記憶部２１５とにより構成される。
【００４８】
テストパターン制御部２１１は、ユーザインタフェース部２００から供給されるベンチマークのパラメータおよび条件パターンに基づいて、ベンチマークの全テストパターンおよびパラメータファイルを生成する。また、テストパターン制御部２１１は、生成したテストパターンの中から実行するテストパターンの選択をオペレータに対して要求したり、実行するテストパターンに対応するパラメータファイルを実行制御部２２０に供給したりする。
【００４９】
テストパターン生成部２１２は、入力部２０４より条件入力画面に従って入力され、ユーザインタフェース制御部２０１を介して供給されたベンチマークの条件パターンに応じて、ベンチマークの全テストパターンを生成する。すなわち、テストパターン生成部２１２は、互いに異なるパラメータ群の条件パターンの全ての組み合わせを自動的に生成する。
【００５０】
パラメータファイル生成部２１３は、条件入力画面に従って入力部２０４より入力され、ユーザインタフェース制御部２０１を介して供給されたベンチマークの条件パターンに基づいて、全テストパターンのパラメータファイルを生成する。ここで、パラメータファイルとは、各パラメータ群のそれぞれ１つの条件パターンを組み合わせたベンチマークの測定条件（各パラメータの設定値）を示すものであり、１つのテストパターンに対して１つのパラメータファイルが存在する。
【００５１】
例えば、ベンチマークのパラメータ群が４つあり、各パラメータ群にそれぞれ３通りの条件パターンが設定されている場合には、テストパターン生成部２１２は、８１通り（３×３×３×３）のテストパターンを生成する。このとき、パラメータファイル生成部２１３は、４つのパラメータ群からそれぞれ１つの条件パターンを選択して任意に組み合わせることにより、８１通りのテストパターンにそれぞれ対応する８１個のパラメータファイルを生成する。
【００５２】
上述のようにしてそれぞれ生成されたテストパターンおよびパラメータファイルは、実行制御部２２０に適宜供給されるとともに、測定条件ファイル格納部２１４に格納して保存される。測定条件ファイル格納部２１４に保存されたテストパターンおよびパラメータファイルは、要求に応じて測定条件ファイル格納部２１４から読み出してユーザインタフェース部２００に供給することができ、次回以降のベンチマークにおけるパラメータおよびその設定値の入力に使用することができる。
【００５３】
結果記憶部２１５は、１つのテストパターンのベンチマークが終了する毎に、実行制御部２２０内の後述する結果収集部２２５によりメールサーバ１０３およびクライアント端末１０４から収集されたベンチマークの実行結果（ＣＰＵ稼働率、処理応答時間等）を記憶する。
【００５４】
実行制御部２２０は、サーバ制御部２２１とクライアント制御部２２２と結果収集部２２５とにより構成され、情報処理システム１０２におけるベンチマークの実行を制御する。
サーバ制御部２２１は、管理部２１０内のテストパターン制御部２１１から実行するテストパターンのパラメータファイルが供給され、ベンチマークを実行する際、供給されたパラメータファイルに基づいて、ハードウェア構成や初期状態設定等をメールサーバ１０３に指示する。
【００５５】
クライアント制御部２２２は、ベンチマークを実行する際にクライアント端末１０４の制御を行うものであり、実行制御データ出力部２２３およびプロセス制御部２２４を有する。
【００５６】
実行制御データ出力部２２３は、テストパターン制御部２１１から供給された実行するテストパターンのパラメータファイルを実行制御データとしてクライアント端末１０４に供給する。これにより、クライアント端末１０４は、実行制御データとして供給されたパラメータファイルに基づいて、仮想プロセスを生成する。なお、実行制御データ出力部２２３が、供給されたパラメータファイルからクライアント端末１０４にて実行させる仮想プロセスを生成し、生成した仮想プロセスを実行させるためのデータを実行制御データとしてクライアント端末１０４に供給するようにしても良い。
【００５７】
プロセス制御部２２４は、実行するテストパターンのパラメータファイルに基づいた仮想プロセスのクライアント端末１０４での実行を制御する。
結果収集部２２５は、１つのテストパターンのベンチマークが終了する毎に、メールサーバ１０３およびクライアント端末１０４からベンチマークの実行結果（ＣＰＵ稼働率、処理応答時間等）を収集し、管理部２１０内の結果記憶部２１５に供給し記憶させる。
【００５８】
次に、動作について説明する。
図３は、図１に示すベンチマークテストシステムの処理動作を示すフローチャートである。
【００５９】
まず、処理動作を開始すると、ステップＳ３０１にて、ユーザインタフェース制御部２０１は、アプリケーション選択画面（テスト選択画面）を表示部２０３に表示し、情報処理システム１０２にて性能測定の対象とするアプリケーションの選択を要求する。ここで、アプリケーション選択画面では、選択可能なアプリケーション名が、例えばリストボックス等のＧＵＩ（グラフィックユーザインタフェース）により一覧表示される。
【００６０】
オペレータは、一覧表示されたアプリケーション名の中から入力部２０４を用いてアプリケーションを選択する。例えば、情報処理システム１０２にて、測定対象のアプリケーションが電子メールに関わるものであれば、アプリケーションとして“メール”を選択し、同様に、測定対象のアプリケーションがウェブに関わるものであれば“ウェブ”を選択し、データベースに関わるものであれば、“データベース”を選択する。
【００６１】
次に、ステップＳ３０２にて、ユーザインタフェース生成部２０２は、ステップＳ３０１において選択されたアプリケーションに応じて、インタフェースである条件入力画面の内容（入力項目等）を生成する。
【００６２】
具体的には、ユーザインタフェース生成部２０２は、条件入力画面を介して設定値の入力を要求するベンチマークのパラメータ（項目）を、サーバに依存するパラメータ（サーバ条件のパラメータ群）と、クライアントに依存するパラメータ（クライアント条件のパラメータ群）と、アプリケーションに依存するパラメータとに区分する。さらに、アプリケーションに依存するパラメータは、情報処理システム１０２での処理内容に関するトランザクションのパラメータ（トランザクション条件のパラメータ群）と、負荷に関するワークロードのパラメータ（ワークロード条件のパラメータ群）とに区分する。
【００６３】
ユーザインタフェース生成部２０２は、選択されたアプリケーションに応じてインタフェースを生成する際、サーバに依存するパラメータおよびクライアントに依存するパラメータは、選択されたアプリケーションにかかわらず共通のパラメータとする。また、アプリケーションに依存するパラメータ（トランザクションのパラメータ、ワークロードのパラメータ）については、選択されたアプリケーションに応じて適切なパラメータ（項目）に変更する。しかしながら、アプリケーションに依存するパラメータの項目名を変えるだけで、条件入力画面における表示形式や基本的な入力方法等は同じである。
【００６４】
例えば、選択されたアプリケーションが“メール”である場合には、ユーザインタフェース生成部２０２は、トランザクションのパラメータを、メールの送信、メールの受信（ＰＯＰプロトコルによるもの）、メールの受信（ＩＭＡＰプロトコルによるもの）等にする。また、ユーザインタフェース生成部２０２は、ワークロードのパラメータを、１つの電子メールのデータサイズ、同一のユーザからのアクセス間隔（時間）、ベンチマークの実行開始時点で電子メールを保有しているユーザ数、およびその電子メール数等にする。
【００６５】
ユーザインタフェース制御部２０１は、選択されたアプリケーションに応じたインタフェースである条件入力画面を表示部２０３に表示させる。
ステップＳ３０３にて、オペレータは、表示部２０３に表示された条件入力画面に従い入力部２０４を用いて、ベンチマークのパラメータの追加、削除を行ったり、パラメータの設定値を入力したりする。そして、パラメータの追加、削除、およびパラメータの設定値の入力が完了すると、パラメータおよび入力された設定値が管理部２１０内のテストパターン制御部２１１に供給される。
【００６６】
図４は、条件入力画面の一例を示す図である。
なお、図４においては、ベンチマークのパラメータの設定値を入力した条件入力画面を示している。
【００６７】
図４に示すように、条件入力画面４４０は、サーバ条件のパラメータ群について表示するサーバ条件入力ウィンドウ４００、クライアント条件のパラメータ群について表示するクライアント条件入力ウィンドウ４１０と、トランザクション条件のパラメータ群について表示するトランザクション条件入力ウィンドウ４２０と、ワークロード条件のパラメータ群について表示するワークロード条件入力ウィンドウ４３０との４つのウィンドウにより構成される。
【００６８】
サーバ条件入力ウィンドウ４００には、設定ボタン４０１および読込ボタン４０２が設けられている。オペレータが、入力部２０４を操作して設定ボタン４０１を押下（クリック）することにより、パラメータ表示部４０３に表示されている入力したパラメータおよび設定値が設定される、すなわち管理部２１０内のテストパターン制御部２１１に供給される。
【００６９】
また、入力部２０４を操作して読込ボタン４０２を押下（クリック）することにより、リポジトリである測定条件ファイル格納部２１４に格納されている過去に設定されたパラメータおよびその設定値が読み出されて、パラメータ表示部４０３に表示される。この読込ボタン４０２を使用して、過去に設定したパラメータおよびその設定値を再利用することで、入力部２０４を用いてのパラメータおよびその設定値の入力作業を軽減するとともに、確認作業を簡素化したとしても入力間違い等の発生を防止することができる。
【００７０】
さらに、サーバ条件入力ウィンドウ４００には、行挿入ボタン４０４および行削除ボタン４０５が設けられており、パラメータを追加しようとする際には、行挿入ボタン４０４を押下（クリック）することにより、パラメータ表示部４０３に１行追加される。同様に、パラメータを削除しようとする際には、削除しようとする行を選択して行削除ボタン４０５を押下（クリック）することにより、パラメータ表示部４０３から選択した行が削除される。
【００７１】
パラメータ表示部４０３は、サーバ条件のパラメータおよびその設定値を表形式で表示する部分である。パラメータ表示部４０３では、サーバ名「マシン１」、がパラメータとして入力され、ベンチマークで使用するサーバ「マシン１」のＣＰＵ数およびメモリサイズが設定値として入力されている。
【００７２】
すなわち、サーバ条件については、サーバ名（パラメータ）「マシン１」がパラメータ群を形成し、サーバ名「マシン１」の設定値であるＣＰＵ数「４」、メモリサイズ「１ＧＢ」が条件パターンＳ１を形成し、設定値であるＣＰＵ数「４」、メモリサイズ「２ＧＢ」が条件パターンＳ２を形成する。ここで、本実施形態では、メールサーバ１０３は１つであるため、サーバ名「マシン１」の設定値のみ入力しているが、複数のサーバを有する場合には、サーバ名を複数入力し、サーバ毎に設定値を入力することができる。
【００７３】
また、クライアント条件入力ウィンドウ４１０、トランザクション条件入力ウィンドウ４２０およびワークロード条件入力ウィンドウ４３０についても、サーバ条件ウィンドウ４００と同様に、設定ボタン、読込ボタン、行挿入ボタンおよび行削除ボタンがそれぞれ設けられている。なお、各ウィンドウ４１０、４２０、４３０にそれぞれ設けられている設定ボタン、読込ボタン、行挿入ボタンおよび行削除ボタンの機能は、サーバ条件ウィンドウ４００に設けられた各ボタンの機能と同じであるので、説明は省略する。
【００７４】
また、クライアント条件入力ウィンドウ４１０、トランザクション条件入力ウィンドウ４２０およびワークロード条件入力ウィンドウ４３０のそれぞれのパラメータ表示部４１３、４２３、４３３も、サーバ条件ウィンドウ４００と同様にアプリケーションにかかわらず表形式でパラメータおよびその設定値が表示され、サーバ条件と同様に、パラメータ群および条件パターン（クライアント条件Ｃ１、Ｃ２、Ｃ３、トランザクション条件Ｔ１、Ｔ２、ワークロード条件Ｗ１、Ｗ２）がそれぞれ形成される。
【００７５】
なお、トランザクション条件の条件パターンには、トランザクションの割合を入力するようになっているが、トランザクションの割合を百分率で入力しても良いし、比率で入力しても良い。トランザクションの割合を比率で入力したとしても、ベンチマークの実行においては、百分率に換算し処理が実行される。
【００７６】
また、図４では、サーバ条件、クライアント条件、トランザクション条件およびワークロード条件の各入力ウィンドウ４００、４１０、４２０、４３０により４分割した条件入力画面４４０を示しているが、条件入力画面４４０は４分割した表示画面に限らず、パラメータの設定値を入力したいウィンドウだけを表示するようにしても良いし、１つのウィンドウを表示するようにしても良い。
【００７７】
また、図４においては、図示していないが、行挿入ボタンおよび行削除ボタンと同様に、条件パターンを追加しようとする際に、パラメータ表示部に１列追加するための列挿入ボタン、および条件パターンを削除しようとする際に、パラメータ表示部から選択した列を削除する列削除ボタンを、各ウィンドウ４００、４１０、４２０、４３０に設けるようにしても良い。
【００７８】
図３に戻り、ステップＳ３０３において、全ての条件入力ウィンドウの設定ボタンが押下され、全てのパラメータと設定値（条件パターン）がテストパターン制御部２１１に供給されると、ステップＳ３０４にて、テストパターン制御部２１１内のテストパターン生成部２１２は、互いに異なるパラメータ群の条件パターンによる全ての条件パターンの組み合わせをテストパターンとして自動的に生成する。また、テストパターン制御部２１１内のパラメータファイル生成部２１３は、テストパターン生成部２１２と同様にして、全テストパターンにそれぞれ対応するパラメータファイルを生成する。
【００７９】
これにより、入力された条件パターンの全ての組み合わせを網羅したテストパターンと、テストパターンに対応したパラメータの設定値からなるパラメータファイルがそれぞれ生成される。ステップＳ３０５にて、テストパターン制御部２１１は、ステップＳ３０４においてそれぞれ生成したテストパターンおよびパラメータファイルを測定条件ファイル格納部２１４に格納する。
【００８０】
次に、ステップＳ３０６にて、テストパターン制御部２１１は、ステップＳ３０４において生成された全テストパターンをリスト化し、ユーザインタフェース制御部２０１を介して、図５に示すようなテストパターン選択画面を表示部２０３に表示させる。オペレータは、テストパターン選択画面に表示された全テストパターンの中から、入力部２０４を用いて、ベンチマークを実行するテストパターンを選択するとともに、ベンチマークの実行開始をテストパターン制御部２１１に指示する。
【００８１】
図５は、テストパターン選択画面の一例を示す図である。
図５に示すように、テストパターン選択画面では、各パラメータ群にて設定された条件パターンの全ての組み合わせ、すなわち全テストパターンが、複数のパラメータ群を適当に組み合わせることで、Ｘ系列の条件パターンとＹ系列の条件パターンとに２次元化して表示される。図５においては、一例として図４におけるクライアント条件の条件パターン（３通り）をＸ系列の条件パターンとし、サーバ条件、トランザクション条件およびワークロード条件の条件パターンを組み合わせた条件パターン（１２通り）をＹ系列の条件パターンとして示している。
【００８２】
なお、テストパターン選択画面として表示するために全テストパターンを２次元化する際の複数のパラメータ群の組み合わせは、テストパターン制御部２１１が任意のパラメータ群を自動的に組み合わせても良いし、オペレータが入力部２０４を用いて指示できるようにして、指示に従ってテストパターン制御部２１１がパラメータ群を組み合わせても良い。
【００８３】
また、表形式で表示されたテストパターン選択画面において、Ｘ系列の条件パターンとＹ系列の条件パターンとの各交差部が１つのテストパターンに該当する。さらに、テストパターン選択画面にて、Ｘ系列の条件パターンとＹ系列の条件パターンとの各交差部に設けられたチェックボックスは、当該交差部にて示されるテストパターンのベンチマークを実行するか否かを選択するためのものである。チェックボックスにチェックがある（選択されている）場合は、当該テストパターンのベンチマークを実行することを示し、チェックがない（選択されていない）場合には、当該テストパターンのベンチマークを実行しないことを示している。
【００８４】
なお、テストパターン選択画面の表示開始時には、全てのチェックボックスをチェックした状態でテストパターン選択画面を表示する。これにより、チェックボックスのチェック漏れによる実行すべきベンチマークの漏れを防止することができる。また、実行ボタン５０１はベンチマークの実行開始を指示するためのものである。
【００８５】
図３に戻り、ステップＳ３０６において、テストパターン選択画面上におけるチェックボックスの選択／非選択操作が、入力部２０４を用いてオペレータにより行われ、実行ボタン５０１が押下されると、ステップＳ３０７に進み、ベンチマークの実行開始がテストパターン制御部２１１に指示される。テストパターン制御部２１１は、ベンチマークの実行開始の指示を受けると、情報処理システム１０２に対するベンチマーク実行処理を開始する。このベンチマーク実行処理については、後述する。
【００８６】
ステップＳ３０７でのベンチマーク実行処理が完了すると、ステップＳ３０８にて、ユーザインタフェース制御部２０２は、ステップＳ３０７において実行したベンチマークの測定結果を結果記憶部２１５から読み出し、所定の形式で表示部２０３に表示させ、ベンチマークテストシステムの処理動作が終了する。
【００８７】
図６は、図３に示すベンチマーク実行処理の動作を詳細に示すフローチャートである。
ベンチマーク実行処理では、まず、ステップＳ６０１にて、テストパターン制御部２１１は、入力された条件パターンに基づいて作成された全テストパターンのリストから１つのテストパターンを選択する。ステップＳ６０１でのテストパターン制御部２１１によるテストパターンの選択は、全テストパターンのリストにおいて、以前に選択していないテストパターンを１つずつ選択していく。
【００８８】
次に、ステップＳ６０２にて、テストパターン制御部２１１は、ステップＳ６０１において選択したテストパターンが実行選択されているか否か、すなわち図５に示したようなテストパターン選択画面にてチェックボックスがチェックされているか否かを判断する。上記判断の結果、テストパターン制御部２１１は、ステップＳ６０１において選択したテストパターンが実行選択されていると判断した場合には、ステップＳ６０３に進み、実行選択されていないと判断した場合には、ステップＳ６０１に戻る。
【００８９】
ステップＳ６０１において選択したテストパターンが実行選択されていると判断した場合に進むステップＳ６０３にて、テストパターン制御部２１１は、当該テストパターンに対応するパラメータファイルを読み出す。さらに、テストパターン制御部２１１は、読み出したパラメータファイルをサーバ制御部２２１およびクライアント制御部２２２にそれぞれ供給する。
【００９０】
次に、ステップＳ６０４にて、サーバ制御部２２１は、ステップＳ６０３において供給されたパラメータファイルに基づいて、サーバ構成の変更をメールサーバ１０３に指示する。そして、メールサーバ１０３は、サーバ構成の変更指示をサーバ制御部２２１から受けると、指示に従いサーバ構成の変更を行う。
【００９１】
このステップＳ６０４において行われるサーバ構成の変更の指示では、メールサーバ１０３のソフトウェア構成（例えば、電子メールシステムであればベンチマーク開始時の電子メール保有数等）に限らず、ハードウェア構成（例えば、使用するＣＰＵ数、メモリサイズ等）の変更を指示することも可能である。ハードウェア構成の変更では、例えば所定の命令を出力することによりＣＰＵ数やメモリサイズの制御を行うソフトウェアによる切り換え指示によりサーバ構成を変更し、メールサーバ１０３でのＣＰＵやメモリの挿抜は行わない。
【００９２】
ステップＳ６０５にて、クライアント制御部２２２内の実行制御データ出力部２２３は、ステップＳ６０３において供給されたパラメータファイルを実行制御データとしてクライアント端末１０４に出力する。そして、ステップＳ６０６にて、クライアント端末１０４は、供給されたパラメータファイルに基づいて、仮想プロセスを生成する。
【００９３】
さらに、クライアント制御部２２２内のプロセス制御部２２４が、クライアント端末１０４に仮想プロセスの実行開始を指示することで、クライアント端末１０４は、パラメータファイルに基づいて生成した仮想プロセスを実行する。これにより、情報処理システム１０２において、１つのテストパターンのベンチマークが実行される。
【００９４】
クライアント端末１０４による仮想プロセスの実行が終了する、すなわち１つのテストパターンのベンチマークが終了すると、ステップＳ６０７にて、結果収集部２２５は、メールサーバ１０３およびクライアント端末１０４からベンチマークの実行結果（測定結果）をそれぞれ収集し、結果記憶部２１５に記憶させる。
【００９５】
次に、ステップＳ６０８にて、テストパターン制御部２１１は、全テストパターンのリストに選択可能なテストパターン、すなわちステップＳ６０１にて選択されていないテストパターンがあるか否か判断する。判断の結果、選択可能なテストパターンがある場合には、ステップＳ６０１に戻り、上述したステップＳ６０１〜Ｓ６０８の処理を繰り返し、選択可能なテストパターンがなくなるまで上述したステップＳ６０１〜Ｓ６０８の処理を繰り返し行う。すなわち、全テストパターンのリストに表示されるテストパターンを全て選択するまで、上述したステップＳ６０１〜Ｓ６０８の処理を繰り返し行い、実行選択されたテストパターンでのベンチマークを自動的に連続して実行する。
【００９６】
一方、選択可能なテストパターンがない、すなわちステップＳ６０１における選択処理で、全テストパターンの選択が完了した場合には、ベンチマーク実行処理を終了する。
【００９７】
次に、結果表示画面について説明する。
図７（Ａ）は、ベンチマークを実行したテストパターン毎に測定結果を表示する結果表示画面の一例を示す図である。
【００９８】
図７（Ａ）において、７０１はベンチマークを実行した１つのテストパターンの測定結果を示すリストであり、テストパターン名、ベンチマークでの応答時間（平均値、分散値、最大値）、ＣＰＵ稼働率等が表示される。また、リスト７０１には、例えばＣＰＵ稼働率をグラフ化して表示するためのグラフボタン７０２が設けられており、入力部２０４の操作によりグラフボタン７０２が押下されると、図７（Ｂ）に示すような当該ベンチマークでのＣＰＵ稼働率のグラフを表示する結果表示画面に切り替わる。なお、図７（Ｂ）において、横軸はベンチマークの実行開始時からの時間であり、縦軸はＣＰＵ稼働率である。
【００９９】
また、本実施形態におけるベンチマークテストシステムでは、全テストパターンの中から選択したテストパターンでのベンチマークを自動的に連続して行うとともに、ベンチマークの測定結果を結果記憶部２１５に記憶する。したがって、あるパラメータの設定値のみを変化させた複数のテストパターンでのベンチマークを容易に実行し、ベンチマークの測定結果を得ることができる。
【０１００】
そこで、図７（Ａ）に示す結果表示画面には、上述したリスト７０１に加えて、当該テストパターンの１つのパラメータの設定値の変化に対する測定結果（図７（Ａ）においては、ＣＰＵ稼働率および応答時間）の変化を表示するための表示ボタン７０４、７０６が設けられている。
【０１０１】
例えば、使用するＣＰＵ数の変化に対するＣＰＵ稼働率の変化を表示させたいときには、オペレータは、入力部２０４を用いて、変化対象のパラメータを指定するためのリストボックス７０３にて「ＣＰＵ数」を選択した後、表示ボタン７０４を押下する。このとき、リスト７０１に測定結果が表示されているテストパターンに対してパラメータの設定値がＣＰＵ数だけ異なるテストパターンがある場合には、ユーザインタフェース制御部２０１は、ＣＰＵ数だけ異なるテストパターンでのベンチマークの測定結果を結果記憶部２１５から読み出す。
【０１０２】
さらに、ユーザインタフェース制御部２０１は、ＣＰＵ数だけ異なるテストパターンでのベンチマークの測定結果を、図７（Ｃ）に示すように横軸を変化対象のパラメータとしてグラフ化し表示する。
【０１０３】
なお、１つのパラメータの設定値を変化させたときの応答時間の変化を表示させたい場合には、リストボックス７０５、表示ボタン７０６を用いて、ＣＰＵ稼働率の変化を表示させるときと同様の操作を行えば良いので、説明は省略する。
【０１０４】
以上、詳しく説明したように本実施形態によれば、オペレータがベンチマークのパラメータを追加、削除したり、パラメータの設定値を入力したりするための条件入力画面をサーバ条件、クライアント条件およびアプリケーションに関する条件を入力する部分に分割し、さらにアプリケーションに関する条件については、トランザクション条件およびワークロード条件を入力する部分に分割する。さらに、実際にパラメータおよびパラメータの設定値を入力するパラメータ表示部を表形式で表示し、パラメータ欄や設定値の入力欄を追加、削除できるようにして１つのパラメータに対して複数の設定値を同時に設定したりできるようにする。そして、サーバ条件とクライアント条件については、アプリケーションによらず共通にし、アプリケーションに関するトランザクション条件とワークロード条件については、アプリケーションに応じてパラメータの内容は変わるものの、表形式で表示するような基本的な形式はアプリケーションによらず同じにする。
【０１０５】
これにより、オペレータは、パラメータ毎に任意の数の設定値を同時に入力することができ、１回のベンチマーク毎にその都度設定値を入力する必要がなくなり、パラメータの設定値の入力を非常に容易に行うことができる。また、パラメータ欄や設定値の入力欄を追加、削除したりできることで、変化させたいパラメータのみを表示させ設定値を入力することができる。
【０１０６】
また、本実施形態では、テストパターン制御部２１１にて、条件入力画面を介して入力されたパラメータと設定値（条件パターン）に基づいて、互いに異なるパラメータ群の条件パターンによる全ての組み合わせであるテストパターンと対応するパラメータファイルを生成する。さらに、全てのテストパターンの中から、テストパターン選択画面を介して実行するテストパターンを選択させ、情報処理システム１０２でのベンチマークを実行する。
【０１０７】
これにより、多くのパラメータがあったとしても、パラメータ毎に設定値を入力するだけで、全ての設定値の組み合わせ（テストパターン）が生成され、テストパターン選択画面を介して表示されたテストパターンの中から選択するだけで、多くの入力作業を行うことなく実行したいベンチマークに対応するテストパターンを容易に選択し、実行することができる。また、テストパターン選択画面にて複数のテストパターンを選択しても、テストパターンに対応するパラメータファイルがテストパターン制御部２１１から実行制御部２２０を介して情報処理システム１０２に順次供給され、ベンチマークが実行される。
【０１０８】
さらに、ベンチマークの際にハードウェアの構成を変更しなければならなくても、本実施形態では、ハードウェアを所定の命令により制御するようにしたので、実際に挿抜等の作業を行う必要がない。したがって、オペレータは、テストパターン選択画面にてテストパターンを選択するだけで、情報処理システム１０２では、複数のテストパターンでのベンチマークが自動的に連続して行われるので、従来に比べて複数のベンチマークに要する労力を低減できるとともに、時間も非常に短縮することができる。
【０１０９】
また、本実施形態では、ベンチマーク制御装置にベンチマークの実行結果を記憶する結果記憶部２１５を設けたので、パラメータの設定値を変化させた複数の実行結果を蓄積しておくことができ、測定対象システムの性能評価やサイジングに必要なデータの分析を行うことができる。
【０１１０】
なお、上述した本実施形態においては、ベンチマークを実行し性能を測定する情報処理システム１０２として電子メールシステムを一例として示したが、本発明は電子メールシステムに限らず、例えば、データベースサーバを有するシステムやウェブサーバを有するシステムにも適用することができる。異なるシステムでは、条件入力画面のアプリケーションに関する条件の項目が異なるだけで、動作等は電子メールシステムの場合と同じである。
【０１１１】
また、本実施形態では、サーバ１０３と複数のクライアント端末１０４とからなる情報処理システム１０２をベンチマークによる測定対象の一例として示したが、サーバに対応する情報処理機能（サーバ機能）と、クライアント端末に対応する情報処理機能（クライアント機能）との双方を備えた１つの情報処理装置を測定対象としても良い。
【０１１２】
また、本実施形態では、ベンチマーク制御装置１０１は、入力部２０４および表示部２０３を備えた一つの装置により構成されているが、例えば、入力部２０４および表示部２０３として他の端末装置を用いて、ネットワーク等の通信手段を介してベンチマーク制御装置に接続しても、本実施形態と同じ効果を得ることができる。
【０１１３】
なお、以上に説明した本実施形態の性能測定装置は、コンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどで構成できるものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上記機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
【０１１４】
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、および当該送信装置を備えるネットワークシステム等がある。
【０１１５】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
また、本発明をネットワーク環境で利用するべく、全部あるいは一部のプログラムが他のコンピュータで実行されるようになっていても良い。
【０１１６】
例えば、本実施形態に示した性能測定装置は、図８に示すようなコンピュータ機能８００を有し、そのＣＰＵ８０１により本実施形態での動作が実施される。
【０１１７】
コンピュータ機能８００は、上記図８に示すように、ＣＰＵ８０１と、ＲＯＭ８０２と、ＲＡＭ８０３と、キーボード（ＫＢ）８０９のキーボードコントローラ（ＫＢＣ）８０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）８１０のＣＲＴコントローラ（ＣＲＴＣ）８０６と、ハードディスク（ＨＤ）８１１およびフレキシブルディスク（ＦＤ）８１２のディスクコントローラ（ＤＫＣ）８０７と、ネットワークインタフェースカード（ＮＩＣ）８０８とが、システムバス８０４を介して互いに通信可能に接続された構成としている。
【０１１８】
ＣＰＵ８０１は、ＲＯＭ８０２あるいはＨＤ８１１に記憶されたソフトウェア（プログラム）、あるいはＦＤ８１２より供給されるソフトウェア（プログラム）を実行することで、システムバス８０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ８０１は、上述したような動作を行うための処理プログラムを、ＲＯＭ８０２、あるいはＨＤ８１１、あるいはＦＤ８１２から読み出して実行することで、本実施形態での動作を実現するための制御を行う。
【０１１９】
ＲＡＭ８０３は、ＣＰＵ８０１の主メモリあるいはワークエリア等として機能する。
ＫＢＣ８０５は、ＫＢ８０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ８０６は、ＣＲＴ８１０の表示を制御する。
ＤＫＣ８０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、および本実施形態における上記処理プログラム等を記憶するＨＤ８１１およびＦＤ８１２とのアクセスを制御する。
ＮＩＣ８０８はネットワーク８１３上の他の装置と双方向にデータをやりとりする。
【０１２０】
【発明の効果】
以上説明したように、本発明によれば、測定条件に係る情報を入力するための条件入力画面を、第１の情報処理装置のハードウェアに関する入力部分と、第２の情報処理装置のハードウェアに関する入力部分と、選択された所定のサービスに関する入力部分とに分割して、条件入力画面を選択された所定のサービスに関わらず共通の表形式にするとともに、選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ測定条件の同じ項目に複数の設定を入力可能に生成して、入力された測定条件を基に互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、情報処理システムの性能試験を実行する。
【０１２１】
これにより、異なる複数の測定条件を同時に入力し、それを任意に組み合わせて複数の性能試験データを生成し、生成した複数の性能試験データに基づき情報処理システムの性能試験を実行することができる。したがって、条件入力画面にて複数の設定値を同時に入力することにより、生成された複数の性能試験データが、情報処理システムに供給され異なる複数の測定条件でのベンチマークテストを自動的に連続して実行することができる。
【図面の簡単な説明】
【図１】本発明の実施形態による性能測定装置を適用したベンチマークテスト制御装置を備えるベンチマークテストシステムの一構成例を示すブロック図である。
【図２】本実施形態におけるベンチマークテスト制御装置１０１の構成例を示すブロック図である。
【図３】ベンチマークテストシステムの処理動作を示すフローチャートである。
【図４】条件入力画面の一例を示す図である。
【図５】テストパターン選択画面の一例を示す図である。
【図６】図３に示すベンチマーク実行処理の動作を詳細に示すフローチャートである。
【図７】結果表示画面の一例を示す図である。
【図８】性能測定装置を実現可能なコンピュータの一構成例を示すブロック図である。
【符号の説明】
１０１ ベンチマークテスト制御装置
１０２ 情報処理システム（メールシステム）
１０３ メールサーバ
１０４ クライアント端末
１０５ ネットワーク
２００ ユーザインタフェース部
２０１ ユーザインタフェース制御部
２０２ ユーザインタフェース生成部
２０３ 表示部
２０４ 入力部
２１０ 管理部
２１１ テストパターン制御部
２１２ テストパターン生成部
２１３ パラメータファイル生成部
２１４ 測定条件ファイル格納部
２１５ 結果記憶部
２２０ 実行制御部
２２１ サーバ制御部
２２２ クライアント制御部
２２３ 実行制御データ出力部
２２４ プロセス制御部
２２５ 結果収集部
Claims (7)
- 入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定装置であって、
性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて上記測定条件に係る情報を入力するための条件入力画面を、少なくとも１つの情報処理装置からなり上記選択された所定のサービスを提供する第１の情報処理装置のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記選択された所定のサービスの提供を受ける第２の情報処理装置のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、
上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理システムの性能試験を実行することを特徴とする性能測定装置。 - 上記選択された所定のサービスに関する入力部分には、サービスのトランザクションに関する条件入力部分と、サービスのワークロードに関する条件入力部分とが配置されていることを特徴とする請求項１に記載の性能測定装置。
- 入力された測定条件に基づいて、所定のサービスを提供する情報処理装置の性能を測定する性能測定装置であって、
性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて上記測定条件に係る情報を入力するための条件入力画面を、上記選択された所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、
上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理装置の性能試験を実行することを特徴とする性能測定装置。 - 入力された測定条件に基づいて、所定のサービスを提供する情報処理システムの性能を測定する性能測定システムであって、
性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザに性能測定対象のサービスの選択を要求するサービス選択要求手段と、
上記サービス選択要求手段で上記ユーザにより選択されたサービスに応じて、上記測定条件に係る情報を入力するための条件入力画面を、少なくとも１つの情報処理装置からなり上記選択された所定のサービスを提供する第１の情報処理装置のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記選択された所定のサービスの提供を受ける第２の情報処理装置のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割され、上記選択された所定のサービスに関する入力部分は上記選択された所定のサービスに関わらず共通の表形式にするとともに、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成する条件入力画面生成手段と、
上記条件入力画面生成手段で生成された条件入力画面を介して入力された上記測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、任意に組み合わせて性能試験データを生成するテストパターン制御手段と、
上記テストパターン制御手段で生成した性能試験データに基づいて、上記情報処理システムの性能試験を実行する試験実行制御手段とを備えたことを特徴とする性能測定システム。 - 性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて情報処理システムに実行させる性能試験での測定条件に係る情報を入力するための条件入力画面を、少なくとも１つの情報処理装置からなり選択された所定のサービスを提供する第１の情報処理装置のハードウェアに関する入力部分と、少なくとも１つの情報処理装置からなり上記選択された所定のサービスの提供を受ける第２の情報処理装置のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、
上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理システムの性能試験を実行する処理手順をコンピュータに実行させるためのプログラム。 - 性能測定対象のサービスをユーザに選択させるためのサービス選択画面を表示し、上記ユーザにより選択された性能測定対象のサービスに応じて情報処理装置に実行させる性能試験での測定条件に係る情報を入力するための条件入力画面を、選択された所定のサービスを提供する第１の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスの提供を受ける第２の情報処理機能のハードウェアに関する入力部分と、上記選択された所定のサービスに関する入力部分とに分割して、上記条件入力画面を上記選択された所定のサービスに関わらず共通の表形式にするとともに、上記選択された所定のサービスに関する入力部分は、サービスの内容に応じて入力項目を設定したうえで、各入力部分はそれぞれ上記測定条件の同じ項目に複数の設定値を入力可能に生成して、
上記生成された条件入力画面を介して入力された測定条件を基に互いに異なる項目の設定値からなる１組の設定値群を１つの性能試験データとして、上記条件入力画面を介して入力された上記測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、上記情報処理装置の性能試験を実行する処理手順をコンピュータに実行させるためのプログラム。 - 請求項５または６に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001373304A JP3987333B2 (ja) | 2001-12-06 | 2001-12-06 | 性能測定装置、性能測定システム、記録媒体およびプログラム |
| US10/309,203 US7222269B2 (en) | 2001-12-06 | 2002-12-04 | Performance evaluation device, performance evaluation information managing device, performance evaluation method, performance evaluation information managing method, performance evaluation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001373304A JP3987333B2 (ja) | 2001-12-06 | 2001-12-06 | 性能測定装置、性能測定システム、記録媒体およびプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003401818A Division JP4113106B2 (ja) | 2003-12-01 | 2003-12-01 | 性能測定装置および性能測定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003173277A JP2003173277A (ja) | 2003-06-20 |
| JP3987333B2 true JP3987333B2 (ja) | 2007-10-10 |
Family
ID=19182047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001373304A Expired - Fee Related JP3987333B2 (ja) | 2001-12-06 | 2001-12-06 | 性能測定装置、性能測定システム、記録媒体およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3987333B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9529688B2 (en) | 2011-01-06 | 2016-12-27 | Nec Corporation | Performance evaluation device and performance evaluation method |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4708754B2 (ja) * | 2004-09-30 | 2011-06-22 | フェリカネットワークス株式会社 | サーバクライアントシステム、クライアント、データ処理方法、およびプログラム |
| JP4957017B2 (ja) * | 2006-03-02 | 2012-06-20 | 富士通セミコンダクター株式会社 | 性能チューニング方法及び装置、プログラム及び記憶媒体 |
| JP5431633B2 (ja) | 2006-03-17 | 2014-03-05 | 富士通セミコンダクター株式会社 | 性能チューニングプログラム、該プログラムを記録した記録媒体、性能チューニング装置、および性能チューニング方法 |
| JP4877068B2 (ja) * | 2007-05-22 | 2012-02-15 | 富士電機株式会社 | ソフトウェア開発支援プログラム、ソフトウェア開発支援方法 |
| US9009676B2 (en) | 2010-04-02 | 2015-04-14 | International Business Machines Corporation | Common recording and replaying performance test tool for a client-server environment |
| JPWO2013027332A1 (ja) * | 2011-08-25 | 2015-03-05 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2001
- 2001-12-06 JP JP2001373304A patent/JP3987333B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9529688B2 (en) | 2011-01-06 | 2016-12-27 | Nec Corporation | Performance evaluation device and performance evaluation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003173277A (ja) | 2003-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7222269B2 (en) | Performance evaluation device, performance evaluation information managing device, performance evaluation method, performance evaluation information managing method, performance evaluation system | |
| US6667743B2 (en) | Method and system for graphically displaying trend and range data for a variety of systems | |
| US20180018603A1 (en) | Dashboard for dynamic display of distributed transaction data | |
| CN110704095A (zh) | 基于工作流的配置处理方法、装置、计算机设备和存储介质 | |
| CN113505027B (zh) | 业务***备份方法、装置、设备及存储介质 | |
| JP3987333B2 (ja) | 性能測定装置、性能測定システム、記録媒体およびプログラム | |
| JP4113106B2 (ja) | 性能測定装置および性能測定方法 | |
| US6404430B1 (en) | Virtual space information processor | |
| CN109725973B (zh) | 一种数据处理方法和数据处理装置 | |
| JP3683216B2 (ja) | 性能評価装置、情報処理方法およびプログラム | |
| JP3435454B2 (ja) | 異なる環境空間での連続運転方法およびそのための装置 | |
| JP4430908B2 (ja) | マルチウィンドウ表示制御装置およびこれを使用するコンピュータシステム | |
| JP5668836B2 (ja) | 情報処理装置，情報取得方法及び情報取得プログラム | |
| CN114676067B (zh) | 一种测试脚本的参数化处理方法以及装置 | |
| CN112035360A (zh) | 中间件测试方法、装置、计算机设备及可读存储介质 | |
| JP6786892B2 (ja) | サーバ装置、情報処理システム及びプログラム | |
| JPH0583253A (ja) | 網監視方式 | |
| KR101949727B1 (ko) | 객체간 링크 생성 시스템 및 이의 동작 방법 | |
| CN113419936B (zh) | 动态埋点方法、装置、设备及存储介质 | |
| JP3271682B2 (ja) | 入力イベント記録／再生装置 | |
| JPH06332828A (ja) | 通信処理プログラム開発支援システム | |
| JPH09282153A (ja) | 画面・帳票、データベース、プロトコル作成システム | |
| JP2004094386A (ja) | グラフレポート作成システム | |
| JPH1165888A (ja) | ソフトウェア試験装置および記憶媒体 | |
| JP2006277577A (ja) | 処理装置及び処理装置システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070712 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3987333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |