JP2005085182A

JP2005085182A - 試験支援システム

Info

Publication number: JP2005085182A
Application number: JP2003319237A
Authority: JP
Inventors: Yasunori Tarui; 康典樽井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2003-09-11
Filing date: 2003-09-11
Publication date: 2005-03-31

Abstract

【課題】グラフィックユーザインタフェースを有するＷｅｂベースのシステムに対して試験を実施する場合に、実施もれを無くすとともに、試験のバリエーションを柔軟に指定及び選択できるようにした試験支援システムを提供する。
【解決手段】ユーザインタフェース（ＵＩ）設計情報９、プログラムシーケンス情報１０及びインタフェース情報１１を基に、グラフィック・ユーザ・インタフェース（ＧＵＩ）の操作及び入力パラメータに対応した正しい動作結果と出力データを生成し、一方、被試験システム８の実行結果出力イメージ３３と実行結果データ３５のそれぞれとを試験結果照合部３０で照合することによりシステムの動作が正しく行われたかを判断する。
【選択図】図１

Description

本発明は、試験支援システムに係り、特に、システムの操作がＷｅｂベースのグラフィックユーザインタフェース（ＧＵＩ；Graphical User Interface) で実施されるネットワーク管理システムの試験を実施する際に、試験の網羅性及び試験の効率化を図ることを目的とする試験支援システムに関する。

近年、ネットワーク管理システムはその操作性向上のためにＷｅｂベースのグラフィックユーザインタフェース（ＧＵＩ）を中心としたアプリケーションによるものが主流となってきている。ＧＵＩをベースとしたアプリケーションは画面からのボタン操作及びメニュー形式による操作といった直感的な操作によりネットワーク管理システムの操作を実施することが可能となりネットワーク管理システムの操作性向上に寄与している。

このようなネットワーク管理システムの試験を実施する際は、実際の操作の流れをスクリプト言語（Script Language ）で記述するか、一度実行した試験のログ（Log ）をベースに試験スクリプトを作成するような試験支援システムにより、試験の品質及び効率の向上が図られている。

ＷｅｂベースのＧＵＩを中心としたネットワーク管理システムの試験に対する、従来の試験支援システムは、試験実施者が操作した動作をログ（Log ）として記録しておき、それをもとに入力情報及び操作の流れを生成し、実行することによって再度試験を実行するという方法が主流であり、リグレッション試験（元の機能が機能ダウンしていないかの確認試験）を中心に試験シナリオ及びスクリプト（Script）の再利用という形で試験の効率化を図っているものが中心である（例えば、特許文献１参照。）。

しかし、最近システムが複雑化しＧＵＩの操作及びメニューで選択可能なパラメータの組み合わせが非常に多くなってきており、人手による試験項目の選定のみでは試験実施のもれが発生するとともに試験実施に非常に多くの時間がかかっており、システムの品質確保が非常に難しくなってきている。

現在、これらの問題を解決するためにＧＵＩベースの自動試験システムが提供されている（例えば、特許文献２参照。）。

これらの自動試験システムでは、以前に一度実行した手順を基に一通りの機能の正常性を確認する目的を中心として使用されるにとどまっており、試験の網羅性及び品質向上という点では十分でない。
特開２０００−１５５７１４号公報特開２００１−３５６９３６号公報

本発明は、上述した従来の問題点を解決するために、ＷｅｂベースのＧＵＩを中心としたネットワーク管理システムの試験に対する試験支援システムにおいて、従来の機能に加えて、試験実施もれを無くし、試験のバリエーションを柔軟に指定及び選択できるようにすることにより、試験の効率化及び品質向上を図った試験支援システムを提供することを課題とする。

上記課題を解決するための第１の発明は、システムの入力手段としてのグラフィック・ユーザ・インタフェースがＷｅｂベースで構成されたシステムの試験支援システムにおいて、前記グラフィック・ユーザ・インタフェースの要求仕様を記述したユーザインタフェース設計情報と、前記システムの振舞いを記述したプログラムシーケンス情報と、アプリケーション間インタフェースを記述したインタフェース情報とからなる設計情報を読み込む設計情報読込部と、前記設計情報読込部から入力パラメータ情報を抽出する入力パラメータ情報抽出部と、前記設計情報読込部から動作シナリオ情報を抽出するグラフィック・ユーザ・インタフェース操作情報抽出部と、前記入力パラメータ情報と前記シナリオ情報から入力情報に対応した出力イメージデータを生成する出力データ生成部と、前記入力パラメータ情報と前記シナリオ情報から入力情報に対応した動作結果出力データを生成する操作結果生成部と、試験条件指定データより試験条件に対応した入力情報データを生成する入力情報生成部と、前記入力情報対応出力イメージデータおよび前記入力情報対応動作結果出力データと前記入力情報データの対応をとることによって試験条件に対応した出力イメージデータおよび動作結果出力データを生成する入力情報検索部とを有する。

この第１の発明によれば、被試験システムの設計情報から試験条件に対応した正しい出力データ及び動作結果を自動的に生成することが可能となる。

第２の発明は、第１の発明に記載の試験支援システムにおいて、前記入力情報検索部により生成した試験条件対応出力イメージデータおよび前記試験条件対応動作結果出力データに、さらに実システムを使用した実際の試験結果である実行結果出力イメージおよび実行結果データを照合し、システムの動作が正しく行われたかどうかを自動的に判断する試験結果照合部を有する。

この第２の発明によれば、試験実施者は試験結果の正常性及び正常に実行されなかった場合の実行結果の差分を容易に知ることが可能となる。

第３の発明は、第１の発明に記載の試験支援システムにおいて、前記入力パラメータ情報抽出部は、データを生成する際に前記設計情報をもとに、各パラメータの上限値及び下限値を自動的に生成するとともに、外部からの人手による条件設定によりエラー情報を指定できる機能を有する。

この第３の発明によれば、パラメータの上限値及び下限値を抽出することが可能となる。また、正常ルートのみでなくエラールートの試験も容易に実施することが可能となる。

第４の発明は、第１の発明に記載の試験支援システムにおいて、前記入力情報検索部は、さらに外部より指定された試験条件を実行するための入力パラメータ群である試験条件対応入力パラメータと、試験の順番と内容を記述した試験条件対応動作シナリオとを生成する機能をもち、更に、自動生成した試験シナリオに対して外部からの人手による試験シナリオを変更できる試験シナリオ入力部を有する。

この第４の発明によれば、被試験システムの試験条件に対応した試験シナリオを容易に生成することが可能となるとともに、人手によっても試験シナリオを簡単に変更できる。

第５の発明は、第４の発明に記載の試験支援システムにおいて、前記試験条件対応入力パラメータと前記試験条件対応動作シナリオより、被試験システムの入力データとなる試験条件に対応した入力データを実行シナリオに従って順番に並べた構成に生成する入力データ生成部を有し、更に、外部からの入手による試験シナリオの実行順序を選択できる試験シナリオ入力部を有する。

この第５の発明によれば、被試験システムの設計条件に従って、実行シナリオを並列して実行するか、シーケンシャルに実行するかを判断し、試験条件対応入力データを生成することが可能となるとともに、人手によっても試験シナリオの実行順序を簡単に選択できる。

以上説明したように、本発明によればシステムの設計情報から入力データ及び試験項目を作成することができるため、網羅性の高い試験の実施を効率的に行うことが可能な試験支援システムを提供できる。また、システムの設計情報から入力データに対応した出力結果を生成することができるため、試験結果の判定作業において大幅な効率化及び試験結果のチェックの正確度向上を図ることが可能な試験支援システムを提供できる。

試験データについても正常ルートのみでなく、エラールートを含めた試験データの自動生成が可能となり、自動で試験可能なカバー範囲が増えることにより、試験の効率化及び試験品質の向上を図ることが可能となる。

また、本発明によって試験時シナリオの自動実行が可能となり、試験実施の人手による作業工数削減に大きく寄与する試験支援システムを提供できる。

以下、本発明の実施の形態について、図を参照しながら説明する。

なお、全図を通じて理解を容易にするために同様箇所には、同一符号を付して示すものとする。

図１は、本発明の一実施形態における試験支援システムの構成図であり、被試験システム８は通常クライアント６とサーバ７によって構成される。クライアント６は、システムへの入力及び出力のために用いられ、Ｗｅｂベースのグラフィックユーザインタフェース（ＧＵＩ）３２の形態をとり、実行結果出力イメージ３３とともに、通常パーソナル・コンピュータ（ＰＣ）上に実現される。サーバ７は、データ処理のために用いられ、データ処理部３４、実行結果データ３５を含め、通常ＵＮＩＸ（登録商標）サーバ上に実現される。

被試験システム８の設計情報２としてのユーザインタフェース（ＵＩ）設計情報９、プログラムシーケンス情報１０およびインタフェース情報１１は、一般にＥｘｃｅｌおよびＷｏｒｄを用いて、規定されたフォーマットにより記述されている。

ＵＩ設計情報９には、入力パラメータ一覧とパラメータ毎にとるべき値の属性( キャラクタ／英字／数字など) および値の範囲が書かれており、パラメータ間の関係についても書かれている。パラメータ間の関係とは、例えばパラメータｎの値によってパラメータｎ＋１のとるべき値が異なってくる場合にそのパラメータ間の関係についての記述である。

プログラムシーケンス情報１０には、パラメータが入力されたときに、システムがどのような順序（シナリオ）で動作していくかについて記述されている。

インタフェース情報１１には、実際の処理の単位であるアプリケーション間のインタフェースについて記述されている。
（ａ）出力イメージデータ及び動作結果データの生成
設計情報読込部１２により、規定のフォーマットで記述されている上記設計情報２を読込み、入力パラメータ情報抽出部１３及びＧＵＩ操作情報抽出部１４によって入力パラメータ情報１５と動作シナリオ情報１６を抽出する。

入力パラメータ情報１５は、入力パラメータ情報抽出部１３により、設計情報読込部１２から渡された設計情報２を基に入力パラメータの情報のみを抽出し、入力パラメータ情報１５として試験支援システム３のデータベースに格納される。入力パラメータの情報とは、入力パラメータの属性、パラメータの取るべき値の範囲、パラメータ間の関係のことである。

動作シナリオ情報１６は、ＧＵＩ操作情報抽出部１４により、設計情報読込部１２から渡された設計情報２を基に入力パラメータ毎にシステムとしてどのような順序で動作を実行するかという抽出された情報であり、試験支援システム３のデータベース（ＤＢ）に格納される。

出力データ生成部１７は、上記入力パラメータ情報１５および動作シナリオ情報１６を基に入力情報に対応した出力情報としての入力情報対応出力イメージデータ１９を生成する。

同様に上記入力パラメータ情報１５および動作シナリオ情報１６を基に操作結果生成部１８は、入力情報に対応した動作結果としての入力情報対応動作結果出力データ２０を生成する。

一方、入力情報生成部２１は、試験条件指定データ１を基に試験条件に対応した入力情報データ２２を生成する。

入力情報検索部２３は、前記入力情報対応出力イメージデータ１９および入力情報対応動作結果出力データ２０と入力情報データ２２の対応をとることによって、試験条件に対応した試験条件対応出力イメージデータ２６及び試験条件対応動作結果出力データ２７を自動的に生成することが可能となる。

以上の処理により、被試験システムの設計情報から試験条件に対応した正しい動作結果としての出力データ及び動作結果を自動的に生成することができる。
（ｂ）試験結果の照合
一方、被試験システム８に対して試験条件に対応する入力データをＧＵＩ（Ｗｅｂベース）３２から入力し、データ処理部３４により処理された結果を実行結果データ３５に出力するとともに実行結果出力イメージ３３としてクライアント６側に出力する。

次に、被試験システム８で実行された実行結果データ３５および実行結果出力イメージ３３と実行された試験条件に対応した試験条件対応出力イメージデータ２６と試験条件対応動作結果出力データ２７とを試験結果照合部３０によって比較し、その結果を照合結果３１として出力することによって、被試験システム８の動作が正しく実行されたかどうかを自動的に判断することが可能となる。

この照合結果によって、試験実施者は試験結果の正常性及び正常に実行されなかった場合の実行結果の差分を容易に知ることが可能となる。
（ｃ）入力パラメータ情報の生成
入力パラメータ情報１５を生成する際に、ＵＩ設計情報９、プログラムシーケンス情報１０およびインタフェース情報１１に記述されている情報より、パラメータの上限値及び下限値を抽出することが可能となる。また入力パラメータ条件設定部４から試験実施者が任意のエラー条件等の入力パラメータデータを試験条件対応入力データ２９に設定し、被試験システム８の入力情報とすることにより正常ルートのみでなくエラールートの試験も容易に実施することが可能となる
（ｄ）試験シナリオの生成
試験シナリオの生成方法は、被試験システム８の試験を実行する際に、ＵＩ設計情報９およびプログラムシーケンス情報１０およびインタフェース情報１１を基に生成した入力情報対応出力イメージデータ１９および入力情報対応動作結果出力データ２０と、試験条件指定データ１を基に生成した入力情報データ２２から入力情報検索部２３により試験条件対応入力パラメータ２４および試験条件対応動作シナリオ２５を自動的に生成する。

上記の試験条件対応入力パラメータ２４は、外部より指定された試験条件を実行する際に必要な入力パラメータ群であり、上記被試験システム８の設計情報２および試験条件指定データ１より生成される。

上記の試験条件対応動作シナリオ２５は、どのような順番でどのような試験を実行するかを記述したものであり、試験条件を指定することにより被試験システム８の設計情報２より自動的に生成することができる。

また、外部の試験シナリオ入力部５から自動生成されたシナリオに対して、テキストエディタを用いて修正することができる手段を持たせる。以上の処理により被試験システム８の試験条件に対応した試験シナリオを容易に生成することが可能となる。
（ｅ）試験シナリオの実行
試験シナリオの実行方法は、試験条件対応入力パラメータ２４および試験条件対応動作シナリオ２５をもとに入力データ生成部２８によって被試験システム８の入力データとなるべき試験条件対応入力データ２９を生成する。

この試験条件対応入力データ２９は、試験条件に対応した入力データを、実行シナリオに従って順番に並べた構成をとっている。被試験システム８の設計条件に従って、実行シナリオを並列して実行するか、シーケンシャルに実行するかを判断し、試験条件対応入力データ２９として生成することが可能となる。

なお、実行シナリオをシーケンシャルに実行する場合は、同様に設計情報２より試験結果によって実行するシナリオを自動的に選択することを可能とし、その結果を試験条件対応入力データ２９として生成することができる。

一方、上記実行シナリオ生成時に、試験シナリオを並行に実行するか、あるいはシーケンシャルに実行するか、あるいは実行結果によって実行するシナリオを選択するようにするかを、試験実行者が試験シナリオ入力部５を介して試験条件対応入力データ２９に対して指定することを可能とする。

試験実施者は、上記の処理によって生成された試験条件対応入力データ２９を被試験システム８の入力としてデータ処理部３４に入力することにより試験実施者が計画した試験を実施することが可能となる。

図２は、本発明の一実施形態における入力情報対応出力イメージデータ及び入力情報対応動作結果出力データの構成図である。図２において、出力イメージデータ１〜ｎ（19-1〜19-n）は、図１における入力情報対応出力イメージデータ１９の構成例であり、また動作結果出力データ１〜ｎ（20-1〜20-n）は、図１における入力情報対応動作結果出力データ２０の構成例である。それぞれの入力情報対応出力イメージデータ１〜ｎ（19-1〜19-n）及び入力情報対応動作結果出力データ１〜ｎ（20-1〜20-n）は、入力パラメータ情報１〜ｎ（15-1〜15-n）に対応して生成されるとともに、入力情報１〜ｎ（22-1〜22-n）に対応している。

図３は、本発明の一実施形態における入力情報データの構成図である。図３において、入力情報１〜ｎ（22-1〜22-n）は、図１における入力情報データ２２の構成例であり、試験条件１〜ｎ（1-1 〜1-n ）に対応している。すなわち、入力情報生成部２１にて、試験条件指定データ１を基に試験条件１〜ｎ（1-1 〜1-n ）に対応した入力情報１〜ｎ（22-1〜22-n）を生成する。

図４は、本発明の一実施形態における試験条件対応出力イメージデータおよび試験条件対応動作結果出力データの構成図である。図４において、出力情報イメージデータ１〜ｎ（26-1〜26-n）は、図１における試験条件対応出力イメージデータ２６の構成例であり、また動作結果出力データ１〜ｎ（27-1〜27-n）は、図１における試験条件対応動作結果出力データ２７の構成例である。それぞれの試験情報対応出力イメージデータ１〜ｎ（26-1〜26-n）及び試験条件対応動作結果出力データ１〜ｎ（27-1〜27-n）は、入力パラメータ情報１〜ｎ（15-1〜15-n）に対応して生成されるとともに、入力情報１〜ｎ（22-1〜22-n）に対応し、且つ試験条件１〜ｎ（1-1 〜1-n ）に対応している。

図５は、本発明の一実施形態における照合結果の出力表示画面である。この出力表示画面は、図１における照合結果３１の出力例である。図５において、試験条件１は良好（ＯＫ）状態であり、試験条件２、試験条件３および試験条件４は不良（ＮＧ）状態であることを表示している。

すなわち、試験条件２では、「出力イメージ」の「正解データ」が（正常終了）したのに、「試験結果」は（異常終了）となり（エラーＸＸＸＸ）が表示された状態を示す。試験条件３では、試験条件２と逆に、「出力イメージ」の「試験結果」は（正常終了）したのに、「正解データ」は（異常終了）となり（エラーＸＸＸＸ）が表示された状態を示す。さらに試験条件４では、「出力イメージ」の「正解データ」と「試験結果」との間には差分が無い状態を示すが、「動作結果ＤＢ」の「正解データ」には（Ｔａｂｌｅ：ＡＡＡ）の出力が、「試験結果」には（Ｔａｂｌｅ：ＢＢＢ）の出力がある場合を示す。

図６は、本発明の一実施形態における試験条件対応入力データの構成図である。図６において、入力パラメータ情報１〜ｎ（24-1〜24-n）、−−−入力パラメータ情報ｎ１〜ｎｎ（24-n1 〜24-nn ）は、試験条件対応入力パラメータ２４から抽出し、また動作シナリオ１〜ｎ（25-1〜25-n）、−−−動作シナリオｎ１〜ｎｎ（25-n1 〜25-nn ）は、試験条件対応動作シナリオ２５から抽出して、入力データ生成部２８を経由し試験条件対応入力データ２９のデータベースに記憶されるデータの構成例である。それぞれの試験条件対応入力パラメータ情報１〜ｎ（24-1〜24-n）−−−ｎ１〜ｎｎ（24-n1 〜24-nn ）及び試験条件対応動作シナリオ１〜ｎ（25-1〜25-n）−−−ｎ１〜ｎｎ（25-n1 〜25-nn ）は、試験条件１〜ｎ（1-1 〜1-n ）に対応している。

本発明は、システムの入力手段としてのグラフィックユーザインタフェースをＷｅｂベースで実現されている全てのシステムに対して、被試験システムの設計情報を基に正しい試験結果を自動的に生成し、実システムでの実行結果との照合を実施することができる試験支援システムに利用できる。

本発明の一実施形態における試験支援システムの構成図である。本発明の一実施形態における入力情報対応出力イメージデータ及び入力情報対応動作結果出力データの構成図である。本発明の一実施形態における入力情報データの構成図である。本発明の一実施形態における試験条件対応出力イメージデータ及び試験条件対応動作結果出力データの構成図である。本発明の一実施形態における照合結果の出力表示画面である。本発明の一実施形態における試験条件対応入力データの構成図である。

符号の説明

１試験条件指定データ
２設計情報
３試験支援システム
４入力パラメータ条件設定部
５試験シナリオ入力部
６クライアント
７サーバ
８被試験システム
９ＵＩ設計情報
１０プログラムシーケンス情報
１１インタフェース情報
１２設計情報読込部
１３入力パラメータ情報抽出部
１４ＧＵＩ操作情報抽出部
１５入力パラメータ情報
１６動作シナリオ情報
１７出力データ生成部
１８操作結果生成部
１９入力情報対応出力イメージデータ
２０入力情報対応動作結果出力データ
２１入力情報生成部
２２入力情報データ
２３入力情報検索部
２４試験条件対応入力パラメータ
２５試験条件対応動作シナリオ
２６試験条件対応出力イメージデータ
２７試験条件対応動作結果出力データ
２８入力データ生成部
２９試験条件対応入力データ
３０試験結果照合部
３１照合結果
３２ＧＵＩ（Ｗｅｂベース）
３３実行結果出力イメージ
３４データ処理部
３５実行結果データ

Claims

入力手段としてのグラフィック・ユーザ・インタフェースがＷｅｂベースで構成されたシステムの試験支援システムにおいて、
前記グラフィック・ユーザ・インタフェースの要求仕様を記述したユーザインタフェース設計情報と、前記システムの振舞いを記述したプログラムシーケンス情報と、アプリケーション間インタフェースを記述したインタフェース情報とからなる設計情報を読み込む設計情報読込部と、
前記設計情報読込部から入力パラメータ情報を抽出する入力パラメータ情報抽出部と、
前記設計情報読込部から動作シナリオ情報を抽出するグラフィック・ユーザ・インタフェース操作情報抽出部と、
前記入力パラメータ情報と前記シナリオ情報から入力情報に対応した出力イメージデータを生成する出力データ生成部と、
前記入力パラメータ情報と前記シナリオ情報から入力情報に対応した動作結果出力データを生成する操作結果生成部と、
試験条件指定データより試験条件に対応した入力情報データを生成する入力情報生成部と、
前記入力情報対応出力イメージデータおよび前記入力情報対応動作結果出力データと前記入力情報データの対応をとることによって試験条件に対応した出力イメージデータおよび動作結果出力データを生成する入力情報検索部と、
を有することを特徴とする試験支援システム。
請求項１に記載の試験支援システムにおいて、
前記入力情報検索部により生成した試験条件対応出力イメージデータおよび前記試験条件対応動作結果出力データに、さらに実システムを使用した実際の試験結果である実行結果出力イメージおよび実行結果データを照合し、システムの動作が正しく行われたかどうかを自動的に判断する試験結果照合部を有することを特徴とする試験支援システム。
請求項1 に記載の試験支援システムにおいて、
前記入力パラメータ情報抽出部は、データを生成する際に前記設計情報をもとに、各パラメータの上限値及び下限値を自動的に生成するとともに、外部からの人手による条件設定によりエラー情報を指定できる機能を有することを特徴とする試験支援システム。
請求項1 に記載の試験支援システムにおいて、
前記入力情報検索部は、さらに外部より指定された試験条件を実行するための入力パラメータ群である試験条件対応入力パラメータと、試験の順番と内容を記述した試験条件対応動作シナリオとを生成する機能を持ち、
更に、自動生成した試験シナリオに対して外部からの人手による試験シナリオを変更できる試験シナリオ入力部を有することを特徴とする試験支援システム。
請求項４に記載の試験支援システムにおいて、
前記試験条件対応入力パラメータと前記試験条件対応動作シナリオより、被試験システムの入力データとなる試験条件に対応した入力データを実行シナリオに従って順番に並べた構成に生成する入力データ生成部を有し、
更に、外部からの入手による試験シナリオの実行順序を選択できる試験シナリオ入力部を有することを特徴とする試験支援システム。