JP6369102B2 - ソフトウェア試験支援システム - Google Patents

Description

本発明は、ソフトウェアの試験作業を支援するシステムに関する。

一般的に、プログラムの動作試験を行うためには、プログラムが動作する際に必要な入力情報(引数など；テストパターン)を入力し、この入力情報に対する処理結果を出力情報として受け取り、この出力情報を確認することによって、入力情報がプログラムによって正しく処理されたかを識別する。そのため、プログラムの不具合が効率よく確認できるようにする自動評価の方法などが検討されてきた。

一方、ソフトウェア試験を実施する際に一般的な試験方法(ブラックボックステストやホワイトボックステスト)を使用するが、プログラムの規模が大きくなるにつれて、全ての入力情報に対して動作を確認しようとすると、確認する回数が膨大な数になってしまうため、確認回数を減らすためのテスト技法が存在している。例えば、オールペア法(ペアワイズ法)や直交表を使用した方法(HAYST法)、同値分割法、境界値分析法などである。これらのテスト技法を使用することで、プログラムの動作確認回数を減らすことが可能である。

例えば、特許文献１，２に開示されている従来技術が知られている。
特許文献１の発明は、業務仕様を考慮し、かつ、ソフトウェアプログラムの品質を検査できる妥当な量のテストケースを生成できるものである。また、特許文献１には、オールペア法や直交表を用いる手法等に基づいてテストケースを生成することが開示されている。更に、テストケースを生成する際に、ＰＩＣＴ(Pairwise Independent Combinatorial tool)等のテストケース生成ツール等を使用することができる旨の開示等もある。

また、特許文献２の発明では、ＥＲＰパッケージに組み込まれて動作するアプリケーションの動作テストを、効率的に実行できる。

特開２０１２−２４８１０１号公報 特開２０１１−１６４７８８号公報

適切なテスト技法を試験対象プログラムに適用することによって、試験対象プログラムの動作確認回数を減らすことが可能である。しかしながら、適切なテスト技法を判断するためには、各種テスト技法に対して詳細に理解していなければならず、実際のソフトウェア試験に常に適用するには検証のための手順が多く、各種テスト技法に精通している人員も必要である。また、適切なテスト技法を適用する作業の難易度が高いため、人為的ミスが発生しやすい。

本発明の課題は、試験対象プログラムに応じた適切なテスト技法を自動的に決定することができ、更に当該テスト技法等に応じたテストパターンを自動生成でき、以って動作確認回数を減らすことができるソフトウェア試験支援システム等を提供することである。

本発明のソフトウェア試験支援システムは、対象プログラムの仕様情報に基づいて入力条件を生成する入力条件生成手段と、予め登録されている各種テスト技法毎に、前記入力条件に応じた組み合わせ数を求めて、該組み合わせ数が最も少ないテスト技法を、前記対象プログラムに適用するテスト技法に決定するテスト技法決定手段と、前記決定したテスト技法による前記対象プログラムのテストパターンを生成するテストパターン生成手段とを有する。

本発明のソフトウェア試験支援システム等によれば、試験対象プログラムに応じた適切なテスト技法を自動的に決定することができ、更に当該テスト技法等に応じたテストパターンを自動生成でき、以って動作確認回数を減らすことができる。

本例の試験支援システムの機能構成例を示す図である。 図１の試験支援システムの処理フローチャート図である。 プログラム仕様情報の一例を示す図である。 「0.5」を表現したＱ１２フォーマットのビット数値を示す図である。 （ａ）はプログラム仕様情報、（ｂ）は組み合わせ数の算出結果の具体例である。 生成される組み合わせ条件の具体例である。 生成される入力情報（テストパターン）の具体例である。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本例の試験支援システム１０の機能構成例を示す図である。
図示の例の試験支援システム１０は、入力部１１、入力条件決定部１２、テスト技法決定部１３、テスト技法適用部１４、入力情報生成部１５、出力部１６等の各種処理機能部を有する。

尚、試験支援システム１０は、例えばパソコンやサーバ装置等の一般的な汎用コンピュータ上で実現される。よって、特に図示しないが、試験支援システム１０は、ハードウェア的には、不図示のＣＰＵ、記憶部（メモリ、ハードディスク等）、入出力インタフェース、通信機能部等を有している。そして、記憶部には予め所定のアプリケーションプログラムが記憶されている。上記ＣＰＵが上記アプリケーションプログラムを実行することで、図１に示す上記各種処理機能部や後述する図２のフローチャート図の処理などが実現される。

試験支援システム１０は、概略的には、入力部１１を介して処理対象プログラムの仕様情報１を入力し、これに基づいて当該処理対象プログラムの試験に適用するテスト技法を決定する。そして、このテスト技法に応じた入力情報（テストパターン）を生成し、これを入力情報ファイル２として出力部１６から出力する。そして、不図示の試験システム等において、このテストパターンを用いて、処理対象プログラムの試験が行われることになる。このテストパターンの数が、上記動作確認回数に相当することになる。

以下、図２のフローチャート図も参照して更に詳しく説明する。
入力条件決定部１２は、上記入力部１１を介して上記プログラム仕様情報１を取得すると（ステップＳ１）、これに基づいて入力条件を決定する（ステップＳ２）。

上記仕様情報１は、後に図３に示す具体例を用いて説明するが、例えば上記処理対象プログラムの各関数毎に、その各変数毎に、変数型、データ形式、分岐条件等の情報が含まれている。また、上記入力条件は、後に図５（ａ）に示す具体例を用いて説明するが、例えば上記各変数毎に、上記変数型や分岐条件等に基づいて決められるデータ群等である。

テスト技法決定部１３は、上記入力条件等に基づいて、上記処理対象プログラムに適用するテスト技法を決定する（ステップＳ３）。これは、予め登録されている複数種類のテスト技法のなかで、上記入力条件に応じた動作確認回数（組み合わせ数）が最小となるテスト技法を選択するものである。尚、本例では、予め登録されている複数種類のテスト技法を、総当り法、オールペア法、直交表を用いる方法（HAYST法）の３種類であるものとするが、勿論、この例に限らない。

テスト技法決定部１３による上記適用テスト技法決定処理については、後に図５（ａ）、（ｂ）に示す具体例を参照して説明する。
テスト技法適用部１４は、上記テスト技法決定部１３によって決定された上記適用テスト技法に係わる組み合わせ条件を生成する（ステップＳ４）。この組み合わせ条件が、実質的にテストパターンであると見做しても良い。但し、必要に応じて、所定のデータ形式に変換する必要がある場合もあるが、この処理は入力情報生成部１５が実行する。

テスト技法適用部１４は、上記各種テスト技法（総当り法、オールペア法、HAYST法）毎の既存の組み合わせ条件生成機能を有し、任意のテスト技法による上記処理対象プログラムに関する組み合わせ条件の生成を行う。これは、既存ツールの機能によって生成できる。例えばオールペア法に関しては、上述したＰＩＣＴ等の既存ツールの機能によって、上記処理対象プログラムに係わる組み合わせ条件を生成できる。組み合わせ条件の具体例は、図６に示し、後に説明する。

尚、上記組み合わせ条件生成機能は、上記テスト技法決定部１３も保有していてもよい。組み合わせ条件が生成されれば上記組み合わせ数も分かることになるからである。但し、本説明では、後述するように、組み合わせ条件を生成しなくても上記組み合わせ数を求めることができる例を説明する。

入力情報生成部１５は、上記適用テスト技法に係わる組み合わせ条件に基づいて、試験に用いる入力情報（テストパターン）を生成する（ステップＳ５）。これは、例えば後述する図６の組み合わせ条件に基づいて、図７に示す入力情報を生成するものであり、後に説明する。尚、入力情報生成部１５は、必要に応じて所定のデータ形式に変換する処理を実行するものであり、上記の通り上記組み合わせ条件が実質的にテストパターンであると見做しても構わない。

そして、上記生成された入力情報（テストパターン）を、上記入力情報ファイル２として上記出力部１６から出力する（ステップＳ６）。
尚、場合によっては、上記組み合わせ条件をそのまま上記入力情報（テストパターン）としてもよい。これは、例えば後述する出力関連情報のデータ形式が特に指定なしである場合等である。尚、後述する図３の例ではデータ形式としてＱ１２が指定されているので、上記組み合わせ条件における数値を、Ｑ１２フォーマットに変換することで、上記入力情報（テストパターン）を生成することになる。詳しくは後述する。

尚、上述したことから、上記テスト技法適用部１４を入力情報（テストパターン）生成機能部と見做してもよく、上記入力情報生成部１５はデータ形式変換機能部と見做しても良い。更に、入力情報生成部１５はテスト技法適用部１４に含まれるものと見做しても構わない。以上のことから、テスト技法適用部１４は、上記各種テスト技法（総当り法、オールペア法、HAYST法）毎の既存のテストパターン生成機能を有するものと見做してもよい。

上記のように、自動的に適切なテスト技法を決定して、決定したテスト技法に応じたテストパターンを生成・出力する。このテストパターンの数は、上記の通り、最も少ないものとなり、動作確認回数が最小となる。尚、図示しないが、当然、何らかの試験システムが上記入力情報ファイル２を用いて上記試験対象ソフトウェアの動作試験等を行うことになる。

以下、図３以降の具体例を参照して更に詳細に説明する。
図３には、プログラム仕様情報１の一例を示す。尚、プログラム仕様情報１は、例えばプログラムの開発者等が予め任意に作成して登録しておくが、この例に限らない。

プログラム仕様情報１は、関数名、入力関連情報、出力関連情報等から成り、処理対象プログラムの各関数毎に、その名称、入力関連情報、出力関連情報等が登録されている。
入力関連情報は、変数名、変数型、データ形式、分岐条件等から成る。

入力に係わる各変数毎に（各入力変数毎に）、その名称、型、データ形式等が上記入力関連情報として登録されている。データ形式は、上記入力変数のデータのフォーマット（書式）である。更に、出力に影響を与える入力の条件(分岐条件)等も含まれる。

尚、上記分岐条件は、よく知られているように、プログラム中で、ある条件が満たされているかどうかによって次に実行するコードを切り替える命令（例えば、ｉｆ〜ｅｌｓｅ構文など）に用いられる当該条件である。例えば図３に示す例では分岐条件の１つとして数値‘５０’があるが、これは、例えば一例としては、入力変数InDataの値が５０以上であるか否かによって、実行される処理が変わる場合等に対応しているものである。

ここで、上記データ形式は、上記入力変数の数値等がどのようなデータ構造をとっているかをフォーマット名称等で示している。図示の例では一例として「Ｑ１２」を示してある。

「Ｑ１２」は、整数型変数で小数点を利用する際に使用する固定小数点のデータ形式である。これは、Short型やLong型などで小数点を含む数値を扱うためのデータ形式であり、小数点以下の値を何ビットで表現するかによって、Ｑ以下の数値が異なる。例として、図４に「0.5」を表現したＱ１２フォーマットのビット数値を示す。尚、これは、１６進法表記では「０ｘ０８００」となり、十進法表記では「２０４８」となる。

尚、０．５をＱ１２フォーマットに変換する方法は下記の通りである。
０．５×２^１２＝０．５×４０９６＝２０４８＝０ｘ０８００
参考までに、０．５をＱ１５フォーマットに変換する方法は下記の通りとなる。

０．５×２^１５＝０．５×３２７６８＝１６３８４＝０ｘ４０００
これら変換方法は、よく知られているものである。
また、出力関連情報は、出力方法、変数型、データ形式等から成る。上記入力情報ファイル２の生成の際には、これら変数型やデータ形式に従って生成することになる。図示の例ではデータ形式はＱ１２であるので、後述する具体例では図７に示すように入力情報（入力情報ファイル２）の数値データは、Ｑ１２フォーマットに変換されている。詳しくは後述する。

図５（ａ）には、上記図３に示すプログラム仕様情報１の具体例に基づいて生成される入力条件の具体例を示す。これは、上記の通り、入力条件決定部１２によって生成されるものである。

入力条件決定部１２は、例えば、プログラム仕様情報１の上記入力関連情報（その変数型や分岐条件等）から、テストに使用する入力の条件を決定する。図３の例では、変数名がInFuncOn、InDataの２つの変数が登録されている。InFuncOnは、その変数型がBoolであり、分岐条件は定義されていない。また、InDataは、その変数型は“Signed Long”であり、分岐条件が定義されている（‘５０’、‘１００’、‘１５０’）。

まず、InFuncOnは上記の通りBool型の変数である。よく知られているようにBool型変数は「True」と「False」の二値をとる。よって、その旨を予め登録しておくことで、入力条件決定部１２は、図５（ａ）に示すように、InFuncOnに対応する入力条件を「True」と「False」にする。

また、InDataに関しては、上記の通り分岐条件が定義されているため、入力条件決定部１２は、分岐条件に基づいて入力条件を生成する。ここでは一例として、分岐条件に対して、境界値分析を使用することで、分岐条件とその前後の値を入力条件とする。すなわち、上記‘５０’とその前後の値‘４９’、‘５１’と、上記‘１００’とその前後の値‘９９’、‘１０１’と、上記‘１５０’とその前後の値‘１４９’、‘１５１’を、入力条件とする。

例えば上述したようにして、入力条件決定部１２は、変数型や分岐条件等に基づいて、各入力変数毎の入力条件（テストに用いる入力値など）を生成することで、例えば図５（ａ）に示す入力条件を生成する。尚、上記のことから、入力条件とは、例えば、各入力変数毎に、上記変数型や分岐条件等に基づいて決められる、“テストに用いる入力値”などのデータ群であると見做しても良い。

テスト技法決定部１３は、上記入力条件決定部１２が生成した入力条件等に基づいて、上記プログラム仕様情報１に係わるプログラムに適用すべき適切なテスト技法を決定する。尚、上述した通り、ここでは、総当り法、オールペア法（ペアワイズ法）、ＨＡＹＳＴ法の３種類のテスト技法のなかから選択する例を用いて説明するが、この例に限らない。

テスト技法決定部１３は、まず、上記３種類のテスト技法それぞれについて、上記入力条件決定部１２が生成した入力条件に応じた“組み合わせ数”を算出する。ここで、図５（ｂ）には、図５（ａ）に示す例の入力条件に応じた“組み合わせ数”の算出結果を示す。尚、“組み合わせ数”とは、上記各入力変数毎の上記データ群同士の組み合わせに係わる数であると見做しても良い。あるいは、“組み合わせ数”とは、各変数毎のデータ群（入力条件）同士の組み合わせに係わる数と見做しても良い。

ここで、上記の通り、既存ツールの機能によって組み合わせ条件を生成すれば、“組み合わせ数”は分かることになる。例えば、総当り法であれば、後述する図６に示す組み合わせ条件を生成すれば、図６から明らかなように、“組み合わせ数”は‘１８’であると判定できる。よって、一例としては、この様な方法によって各テスト技法毎に“組み合わせ数”を求めることができる。但し、この例に限らず、組み合わせ条件を生成しなくても、“組み合わせ数”を算出することができる。これについて、以下、説明する。

まず、総当り法は、全ての組合せをテストする方法であり、入力変数のテスト条件（入力条件の数など）を全て掛け合わせることで、“組み合わせ数”を算出できる。図５（ａ）の例では、変数InFuncOnに関しては２条件（TRUE、FALSE）、変数InDataに関しては９条件（４９、・・・１５１）あるので、“組み合わせ数”＝２×９＝１８（通り）となる。尚、仮に入力変数がもう１つあり且つ３条件である場合には、“組み合わせ数”＝３×２×９＝５４（通り）となる。

また、オールペア法(ペアワイズ法)は、入力変数のなかで入力条件の数が多い上位２つの入力変数を用いて、テスト条件を掛け合わせることで、“組み合わせ数”を算出できる。図５（ａ）の例では、入力変数は２つだけ（InFuncOnとInData）だけであるので、必然的に、これら２つのテスト条件を掛け合わせることで、“組み合わせ数”＝２×９＝１８（通り）が算出される。つまり、この例では総当り法と同数となる。

尚、上記のように仮に入力変数がもう１つあり且つ３条件である場合には、当該仮の入力変数と変数InDataとが上記上位２つの入力変数となるので、“組み合わせ数”＝３×９＝２７（通り）が算出されることになる。

また、HAYST法では、まず上記オールペア法と同じく上述した“入力変数のなかで入力条件の数が多い上位２つの入力変数を用いて、テスト条件を掛け合わせる”処理を行うが、更に、この処理によって得られた数値を、２の乗数に繰り上げた値を、“組み合わせ数”とする。図５（ａ）の例では、まず、上記数値は、オールペア法と同じく２×９＝１８となる。この数値‘１８’を２の乗数に繰り上げると‘３２’となる。よって、HAYST法に係わる“組み合わせ数”＝３２（通り）となる。

尚、２の乗数は、２，４，８，１６，３２，６４、・・・等であるので、‘１８’は‘１６’より大きいため、繰り上げると次の‘３２’となる。例えば、上記数値‘１８’を、２の乗数の小さい値から順次比較しておき、最初に上記数値‘１８’の方が小さいと判定されたときの２の乗数（ここでは‘３２’）が、数値‘１８’を２の乗数に繰り上げた値となると見做してよい。この例に限らず、例えば下記の算出式を用いることで、HAYST法での“組み合わせ数”を算出してもよい。

また、Ｓｊは、各パラメータに含まれる条件の数になる（上記の通り、図５（ａ）の例では、２条件と９条件とになる）。尚、これは、組み合わせ数の最小値を求める式になる。

尚、オールペア法(ペアワイズ法)や直交表(HAYST法)は、組み合わせテストを行う際に使用される公知のテスト技法である。オールペア法(ペアワイズ法)に関する公知文献は、例えば上記特許文献１等である。また、HAYST法に関する公知文献は、例えば下記の参考文献等である。

・参考文献；ソフトウェアテストシンポジウム2004東京 予稿集「直交表を利用したソフトウェアテスト-HAYST法-」)。
例えば、上記特許文献１に開示されているように、オールペア法に関しては、例えばＰＩＣＴ(Pairwise Independent Combinatorial tool)等の既存のソフトウェアツールを用いて、テストケースを生成することで、当該テストケースの数が上記“組み合わせ数”として得られる。

HAYST法に関しても、同様に、既存のソフトウェアツールを用いて上記“組み合わせ数”を求めることができる。
勿論、既に説明した通り、テストケースを生成しなくても、上記“組み合わせ数”を求める事は出来る。

テスト技法決定部１３は、上記各“組み合わせ数”から、上記処理対象のプログラムの動作テストに使用するテスト技法（適用テスト技法）を決定する。すなわち、ここでは３種類のなかで“組み合わせ数”が最小であるテスト技法を、選択する。但し、この例では、総当り法とオールペア法とが、“組み合わせ数”が最小且つ同じ（＝１８）である。この様な場合には、ここでは、計算量の少ない総当り法が選択されるものとする。これに関して、例えば、組み合わせ数が同じである場合にどちらを選択するのかを示す情報が、予め開発者等によって任意に決められて登録されているものとする。

尚、上記「計算量の少ない」とは、組み合わせ条件の生成の為の計算量が少ないことを意味する。組み合わせ条件生成処理の計算量は、テスト技法によって決まり、条件をただ並べるだけの「総当り法」と、ペアの条件を検索して組み合わせ条件を生成する「オールペア法」とでは、「総当り法」の方が上記“計算量”が少なくなるのは明らかである。当業者であれば、この様な判断は容易に行えるので、これに基づいて、予め例えば「総当り法」と「オールペア法」とで“組み合わせ数”が同数であった場合には、「総当り法」を採用するようにプログラムを組んでおけばよい。

テスト技法適用部１４は、上記テスト技法決定部１３で決定された適用テスト技法に応じた組み合わせ条件を生成する。これは、決定されたテスト技法と上記入力条件等に基づいて生成される。既に述べたように、既存ツールには組み合わせ条件を生成する機能が既に存在している。尚、組み合わせ条件は、テストパターンと同義と見做しても構わないが、本説明では組み合わせ条件に対して後述するフォーマット変換を行ったものが、入力情報（テストパターン）であるものとする。

ここでは、上記の例では適用テスト技法は「総当り法」に決定されているので、上記入力条件の総当りの組み合わせを生成することで、例えば図６に示す組み合わせ条件が生成されることになる。すなわち、図示のように、上記２種類のデータ（「True」、「False」）と９種類のデータ（４９，５０、・・・、１５１）との総当りの組み合わせパターン、すなわち１８個の組み合わせパターンが、生成されることになる。尚、この生成処理の詳細については、総当り法やオールペア法(ペアワイズ法)や直交表(HAYST法)は公知であるので、ここでは割愛する。

入力情報生成部１５は、上記テスト技法適用部１４で生成された上記組み合わせ条件（図６等）等に基づいて、例えば図７に示す例のような入力情報（テストパターン）を生成する。ここでは、上記組み合わせ条件生成結果に対して、プログラム仕様情報１の出力関連情報で指定されているデータ形式を適用する。図３の例では、出力関連情報のデータ形式はＱ１２となっているので、図６に示す組み合わせ条件の各数値データを、Ｑ１２フォーマットに変換することで、図７に示す入力情報が生成される。

Ｑ１２フォーマットへの変換方法については、既に一例を説明してあるので、ここでは省略するが、InDataの各数値データのなかで例えば‘４９’は、Ｑ１２フォーマットでは‘200704’となる。

最後に、生成した入力情報を出力部１６によってファイルとして出力することで、上記入力情報ファイル２が外部へと出力される。
以上説明したように、本例の試験支援システム１０によれば、試験対象のプログラムの仕様から試験に使用する入力条件を取得し、その情報から動作確認回数（組み合わせ数；テストパターン数）が最小になるようなテスト技法を選択し、自動でソフトウェア試験にテスト技法を適用し、それに応じた入力情報(テストパターン)の生成を行うことができる。つまり、自動的に、試験対象のプログラムに応じた適切なテスト技法を決定して、このテスト技法に応じたテストパターンの生成を行うことができる。ソフトウェア試験に用いるテスト技法を自動的に決定することが可能になり、特に上述した理由によりソフトウェア試験で実施される動作確認回数が削減される効果が得られる。

また、ソフトウェア試験に使用する入力情報(テストパターン)の生成も行うことが可能であり、効率的なソフトウェア試験を行うことが出来る。また、テスト技法の決定から入力情報の生成までを自動で行うため、人為的ミスが発生しない。

１ プログラム仕様情報
２ 入力情報ファイル
１０ 試験支援システム
１１ 入力部
１２ 入力条件決定部
１３ テスト技法決定部
１４ テスト技法適用部
１５ 入力情報生成部
１６ 出力部

Claims (4)

1. 対象プログラムの仕様情報に基づいて入力条件を生成する入力条件生成手段と、
   予め登録されている各種テスト技法毎に、前記入力条件に応じた組み合わせ数を求めて、該組み合わせ数が最も少ないテスト技法を、前記対象プログラムに適用するテスト技法に決定するテスト技法決定手段と、
   前記決定したテスト技法による前記対象プログラムのテストパターンを生成するテストパターン生成手段と、
   を有することを特徴とするソフトウェア試験支援システム。
2. 前記仕様情報には、前記対象プログラムの各変数毎に、変数型、データ形式、分岐条件の情報が含まれており、
   前記入力条件生成手段は、前記各変数毎に、前記変数型または分岐条件に基づいて決められるデータ群である前記入力条件を生成することを特徴とする請求項１記載のソフトウェア試験支援システム。
3. 前記組み合わせ数は、前記各変数毎の前記データ群同士の組み合わせに係わる数であることを特徴とする請求項２記載のソフトウェア試験支援システム。
4. 前記テストパターン生成手段は、前記各変数毎のデータ群同士の組み合わせを前記テストパターンとし、あるいは該組み合わせにおける各数値を前記データ形式に従ってフォーマット変換したものを前記テストパターンとすることを特徴とする請求項３記載のソフトウェア試験支援システム。