JP3612428B2 - ソフトウェア信頼性予測方法および装置と記録媒体 - Google Patents
ソフトウェア信頼性予測方法および装置と記録媒体 Download PDFInfo
- Publication number
- JP3612428B2 JP3612428B2 JP28979998A JP28979998A JP3612428B2 JP 3612428 B2 JP3612428 B2 JP 3612428B2 JP 28979998 A JP28979998 A JP 28979998A JP 28979998 A JP28979998 A JP 28979998A JP 3612428 B2 JP3612428 B2 JP 3612428B2
- Authority
- JP
- Japan
- Prior art keywords
- software
- software reliability
- bug
- equation
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stored Programmes (AREA)
- Debugging And Monitoring (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ゴンペルツ曲線モデルおよびロジスティック曲線モデルを含むソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測方法および装置と記録媒体に関する。
【０００２】
【従来の技術】
ソフトウェアの完成後の品質を保証するために、一般的にシステムの動作確認試験を行う。動作確認試験において、ソフトウェアの最終段階での品質予測、いわゆる信頼性予測が行われる。この信頼性予測に関して、従来から各種の手法が提案されている。それらのうち、統計的手法として、ゴンペルツ曲線モデルやロジスティック曲線モデルなどが知られていて、ソフトウェアのバグ実績データから、各曲線モデルのパラメータを推定することにより、達成予測値（レベル）、達成期間、予測曲線などを得ている。
【０００３】
図２は、こうした統計的手法を用いて実績試験結果データから予測曲線を得る装置の構成概念図で、図３は、それによって得られる予測曲線の例を示した図である。図２において、１は信頼性予測装置、２は入力である試験実績データ、３は予測データを示し、実績データに基づく予測曲線が得られる。
【０００４】
まずはじめに、ゴンペルツ曲線モデルとそのパラメータの推定方法について説明する。ゴンペルツ曲線は式（１）の関係式で与えられる曲線である。
【０００５】
【数１】
ここで、ｔは時間（期間）であり、Ｇ（ｔ）はｔまでに発見される総バグ数、ａ，ｂは実績から求められるパラメータである。式（１）から
Ｇ（ｔ）→ｋ（ｔ→∞） …（２）
より、ｋはテスト開始前に潜在するバグ数を表す。また、式（１）は微分方程式
【数２】
の解でもある。このままでは、パラメータａ，ｂ，ｋは求められないので、式（３）の両辺をＧ（ｔ）で割り、更に対数をとると次式（４）となる。
【０００６】
【数３】
とおくと次式（８）が得られる。
【０００７】
Ｙ＝Ａ＋Ｂｔ …（８）
現実には、微分値
【数４】
は、求められないので、δをデータ集計期間（発生したバグ数を集計する予め決められた期間）として、
【数５】
とおくと、実際に使用する回帰式は次式（１２）となる。
【０００８】
Ｙｎ ＝Ａ＋Ｂｔｎ …（１２）
ここで、Ｙｎ として
【数６】
式（１２）を回帰式として、回帰分析を行うことにより、Ａ，Ｂの推定値Ａ＾，Ｂ＾を求める。ａ，ｂ，ｋの推定値ａ＾，ｂ＾，ｋ＾は
【数７】
から得られる。
【０００９】
早期のデータによる推定結果は精度が悪いといわれており、少なくとも曲線モデルの変曲点を超えた時点のデータでパラメータ推定を行うことが必要である。三觜武：“ソフトウェアの品質評価法”、日科技連（１９８１）によれば、ソフトウェアの潜在バグ数の予測値をｋ〜としてソフトウェアの累積バグ数をｙ−とすると
【数８】
となれば、その時点までのデータでパラメータ推定を行うとしている。ｗは経験的にｗ＝０．６〜０．８としている。また、ｋ〜は経験的または統計的に予測する。
【００１０】
次に、ロジスティック曲線モデルについて説明する。ロジスティック曲線モデルは式（１８）の関係式で与えられる曲線である。
【００１１】
【数９】
ゴンペルツ曲線モデルと同様にｔは時間（期間）であり、Ｌ（ｔ）はｔまでに発見される総バグ数、ｍ，αは実績から求められるパラメータである。式（１８）より
Ｌ（ｔ）→ｋ（ｔ→∞） …（１９）
となるからゴンペルツ曲線と同様にｋはテスト開始前に潜在するバグ数を表す。式（１８）は微分方程式
【数１０】
の解でもある。パラメータｋ，α，ｍを求めるために式（２０）を次のように書き直す。
【００１２】
【数１１】
とおくと
Ｙ＝Ａ＋ＢＸ …（２６）
が得られる。現実には、微分値
【数１２】
は、求められないので、δをデータ集計期間（発生したバグ数を集計する予め決められた期間）として、
【数１３】
とおくと、実際に使用する回帰式は次式（３０）となる。
【００１３】
Ｙｎ ＝Ａ＋ＢＬｎ …（３０）
ここで、Ｙｎ として
【数１４】
を利用することもある。
【００１４】
式（３０）を回帰式として、回帰分析を行うことにより、Ａ，Ｂの推定値Ａ＾，Ｂ＾を求める。ｍ，ｋ，αの推定値ｍ＾，ｋ＾，α＾は
【数１５】
から得られる。
【００１５】
ゴンペルツ曲線と同様に、早期のデータによる推定結果は精度が悪いといわれており、少なくとも曲線モデルの変曲点を超えた時点のデータでパラメータ推定を行うことが必要である。どの時点までのデータでパラメータ推定を行うべきかについてはゴンペルツ曲線と同様である。
【００１６】
【発明が解決しようとする課題】
前記ソフトウェア信頼性モデルにおけるパラメータ推定方法では、試験早期での推定精度は低く、ある程度の精度を要求するには、変曲点を超えた時点までのデータが必要となる。後述するように、従来手法では実データが各曲線モデルに完全に一致していたとしても、試験開始間もないとき、すなわち潜在バグ件数に対して、発見されたバグ件数の割合が小さい時には正確なパラメータ推定ができず、そのため信頼性分析の結果の精度はかなり低いものとなっている。どの時点までのデータを利用してパラメータ推定を行うかの判定基準に、式（１７）があるが、式（１７）内のｋ〜の精度そのものが低く、経験に頼った判定基準になっている。また、従来技術では、実データとモデルによる分析が一致しなかった場合には、パラメータ推定の精度が低いため、その原因はモデルの不適切によるものなのか、パラメータの推定精度によるものなのかがはっきりしなかった。
【００１７】
本発明は、上記に鑑みてなされたもので、その目的とするところは、バグ発見件数が少ない段階や試験開始間もない時点からソフトウェア信頼性成長モデルのパラメータを正確に推定し、ソフトウェアの信頼性を適確に予測し得るソフトウェア信頼性予測方法および装置を提供することにある。
【００１８】
【課題を解決するための手段】
上記目的を達成するため、第１の本発明は、ゴンペルツ曲線モデル又はロジスティック曲線モデルによるソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測方法であって、入力手段によりソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力して記憶手段に記憶させ、回帰分析手段により前記記憶手段から前記バグ発生日時およびバグ発生件数のデータを読み出し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いて、前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、予測手段によりこの推定された値のパラメータをもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測することことを要旨とする。
【００１９】
本発明にあっては、厳密解を持ち、差分間隔０の極限でソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、ソフトウェアのテスト時のバグ発生日時および件数の入力データからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、このソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測するため、バグ発見件数が少ない段階やテスト開始間もない時点でもパラメータを正確に推定でき、ソフトウェアの信頼性を適確に予測することができる。
【００２０】
また、第２の本発明は、ゴンペルツ曲線モデル又はロジスティック曲線モデルによるソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測装置であって、ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力する入力手段と、前記入力手段により入力されたバグ発生日時およびバグ発生件数を記憶する記憶手段と、前記記憶手段から前記バグ発生日時およびバグ発生件数のデータを読み出し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いて、前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定する回帰分析手段と、パラメータが該回帰分析手段によって推定された値をもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測する予測手段とを有することを要旨とする。
本発明にあっては、厳密解を持ち、差分間隔０の極限でソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、ソフトウェアのテスト時のバグ発生日時および件数の入力データからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、このソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測するため、バグ発見件数が少ない段階やテスト開始間もない時点でもパラメータを正確に推定でき、ソフトウェアの信頼性を適確に予測することができる。
【００２１】
さらに第３の本発明は、ゴンペルツ曲線モデル又はロジスティック曲線モデルによるソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測プログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに対し、ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を記憶手段に記憶させる処理と、前記記憶手段から前記バグ発生日時およびバグ発生件数のデータを読み出し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いて、前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定する処理と、この推定された値のパラメータをもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測する処理と、を実行させることを要旨とする。
本発明にあっては、ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、前記入力されたソフトウェアのテスト時の前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、この推定された値のパラメータをもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測するプログラムを記録媒体として記録しているため、該記録媒体を利用して、そのソフトウェア信頼性予測プログラムの流通性を高めることができる。
【００２２】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。図１は、本発明の一実施形態に係るソフトウェア信頼性予測装置の構成を示すブロック図である。同図に示すソフトウェア信頼性予測装置は、ソフトウェア信頼性成長モデルのパラメータを推定するために回帰分析に厳密解を持ち、差分間隔０の極限でソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いることを特徴とするものであり、ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力装置４から入力し、この入力されたバグ発生日時および件数を記憶装置５に記憶するとともに、バグ件数集計部６で集計し、回帰分析部７に入力している。
【００２３】
回帰分析部７は、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、バグ件数集計部６からのバグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、表示出力部８に出力するようになっている。なお、回帰分析部７でソフトウェア信頼性成長モデルのパラメータを推定すると、このソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測することになる。
【００２４】
ところで、従来手法では、既に示したようにパラメータ推定を行うための回帰分析の際、微分方程式で表されるソフトウェア信頼性成長モデルを差分方程式に書き直して回帰分析を行う。差分方程式は、あくまで微分方程式の近似でしかない。通常用いる差分方程式は前進差分であり、これは元の微分方程式を差分間隔の何乗のオーダで近似するかに主眼が置かれている。そのため解の形状、ここでは時間を無限大にしたときにバグの数が一定値に収束するという性質などは一般的に保たれない。しかし、本発明で使用する差分方程式では、厳密解を持ち、その解は差分間隔０の極限で微分方程式の解と一致するため、上記のような性質を保存することができる。これにより、従来手法よりも精度の高いパラメータ推定が可能となる。
【００２５】
次に、ソフトウェア信頼性成長モデルとしてゴンペルツ曲線モデルを用いた場合について説明する。なお、ゴンペルツ曲線モデルには別の解法もあるので、ここで説明するゴンペルツ曲線モデルをゴンペルツ曲線モデル１として説明する。また、従来技術は、微分方程式を差分方程式に書き直し、回帰式を得て、その回帰式から求めたパラメータの推定値を得ているが、本発明では、微分方程式を従来技術とは異なった差分方程式に書き直している。
【００２６】
まず、ゴンペルツ曲線モデル１について説明する。まず、ゴンペルツ曲線モデルの満たす微分方程式を再度次式に示す。
【００２７】
【数１６】
式（３７）はδ→０で式（１）に一致する。更に
｜１＋δｌｏｇ ｂ｜＜１ …（３８）
の条件の下で、
Ｇｎ →ｋ（ｔｎ →∞） …（３９）
となり、式（１）が持っている性質を保存していることがわかる。
【００２８】
パラメータｋ，ａ，ｂを求めるために式（３６）の両辺に対数を２回とる。
【００２９】
【数１７】
とおくと回帰式
Ｙｎ ＝Ａ＋Ｂｎ …（４６）
が得られる。式（４６）を使った回帰分析によって得られるＡ，Ｂの推定値をＡ＾，Ｂ＾とするとａ，ｂ，ｋの推定値をａ＾，ｂ＾，ｋ＾は次のように求められる。
【００３０】
【数１８】
また、別の解法として、ゴンペルツ曲線モデルは、次式の微分方程式の解として表現することもできる。この場合のゴンペルツ曲線モデルをゴンペルツ曲線モデル２と称することにする。
【００３１】
【数１９】
となり、式（３７）と同じである。
【００３２】
パラメータｋ，ａ，ｂを求めるために式（５１）の両辺をＧｎ で割り、更に両辺に対数を取り、δ＝１とおくと
【数２０】
ｌｏｇ Ｇｎ＋１ −ｌｏｇ Ｇｎ−１ ＝−（ｌｏｇ ｂ）（ｌｏｇ ｋ）＋（ｌｏｇ ｂ）ｌｏｇ Ｇｎ …（５３）
ここで、
Ｙｎ ＝ｌｏｇ Ｇｎ＋１ −ｌｏｇ Ｇｎ …（５４）
Ａ＝−（ｌｏｇ ｂ）（ｌｏｇ ｋ） …（５５）
Ｂ＝ｌｏｇ ｂ …（５６）
とおくと回帰式
Ｙｎ ＝Ａ＋Ｂｌｏｇ Ｇｎ …（５７）
が得られる。式（５７）を使った回帰分析によって得られるＡ，Ｂの推定値をＡ＾，Ｂ＾とするとａ，ｂ，ｋの推定値ａ＾，ｂ＾，ｋ＾は次のように求められる。
【００３３】
【数２１】
次に、ロジスティック曲線モデルについて説明する。再度、ロジスティック曲線が満たす微分方程式を次式に示す。
【００３４】
【数２２】
式（６３）はδ→０で式（１８）に一致する。更に
｜１−δα｜＜１ …（６４）
の条件の下で、
Ｌｎ →ｋ（ｔｎ →∞） …（６５）
となり、式（１８）が持っている性質を保存していることがわかる。
【００３５】
パラメータｋ，α，ｍを求めるために、ｔｎ ＝ｎδ，δ＝１とおいて式（６２）を次のように書き替える。
【００３６】
Ｙｎ ＝Ａ＋ＢＬｎ …（６６）
ここで、
【数２３】
式（６６）を回帰式として回帰分析を行うことによりＡ，Ｂの推定値Ａ＾，Ｂ＾を求める。ｍ，ｋ，αの推定値ｍ＾，ｋ＾，α＾は次のように求められる。
【００３７】
【数２４】
次に、データがゴンペルツ曲線モデル、ロジスティック曲線モデルに完全に一致しているときの従来手法との精度比較を行う。
【００３８】
まず、ゴンペルツ曲線モデル１の場合について説明する。この場合には、ｋ＝１００，ａ＝０．０１，ｂ＝０．５として、式（１）から得られるＧｎ の値で、潜在バグ数までのデータ（ｔ＝０，１，２，…，２５までのデータ）を利用することとする。回帰式は、従来手法が式（１２）、本発明手法が式（４６）を利用している。この場合において、すべてのデータを利用した時には、次の表１のようになる。
【００３９】
【表１】
また、変曲点前までのデータ（ｔ＝０，１，２）を利用した場合には、次の表２のようになる。
【００４０】
【表２】
ここで、ｂ＾における括弧内の値は、１＋ｌｏｇ ｂ＾の値である。データとして、潜在バグ数までのすべてのデータを用いた場合には、従来手法でも十分な精度を持つが、変曲点前までのデータでは、従来手法の精度は低い。それに対し、本発明手法では、高精度で推定されていることがわかる。１＋ｌｏｇ ｂを時間連続のときのｂに対応するものとみなせば、ｂについても本発明手法は高精度で推定していることがわかる。
【００４１】
次に、ゴンペルツ曲線モデル２の場合について説明する。この場合に使用したデータはゴンペルツ曲線モデル１と同じである。回帰式は、従来手法が式（１２）、本発明手法が式（５７）を利用している。まず、すべてのデータを利用した時には、次の表３のようになる。
【００４２】
【表３】
また、変曲点前までのデータ（ｔ＝０，１，２）を利用した場合には、次の表４のようになる。
【００４３】
【表４】
ここで、ｂ＾における括弧内の値は、１＋ｌｏｇ ｂ＾の値である。データとして、潜在バグ数までのすべてのデータを用いた場合には、従来手法でも十分な精度を持つが、変曲点前までのデータでは、従来手法の精度は低い。それに対し、本発明手法では、高精度で推定されていることがわかる。１＋ｌｏｇ ｂを時間連続のときのｂに対応するものとみなせば、ｂについても本発明手法は高精度で推定していることがわかる。
【００４４】
次に、ロジスティック曲線モデルの場合について説明する。この場合、ｋ＝１００，ｍ＝９９，α＝４として、式（１８）から得られるＬｎ の値を入力データとする。ここで、潜在バグ数までのデータ（ｔ＝０，０．２，０．４，…，３までのデータ）を利用することとする。回帰式は、従来手法が式（３０）、本発明手法が式（６６）を利用している。この場合において、すべてのデータを利用した時には、次の表５のようになる。
【００４５】
【表５】
また、変曲点前までのデータ（ｔ＝０，０．２，…，０．８）を利用した時には、次の表６のようになる。
【００４６】
【表６】
データとして、潜在バグ数までのすべてのデータを用いた場合には、従来手法でも十分な精度を持つが、変曲点前までのデータでは、従来手法の精度は低い。それに対し、本発明手法では、潜在バグ件数の推定に関して高精度であることがわかる。
上述してきたようなソフトウェア信頼性成長モデルを用いたソフトウェアの信頼性の予測はソフトウェア信頼性予測プログラムにより実施され、該プログラムは記録媒体に記録して提供されるため、該記録媒体を利用して、そのソフトウェア信頼性予測プログラムの流通性を高めることができる。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、差分間隔０の極限でソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、ソフトウェアのテスト時のバグ発生日時および件数の入力データからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、このソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測するので、バグ発見件数が少ない段階やテスト開始間もない時点でもパラメータを正確に推定でき、信頼性分析の結果の精度を向上させることができるとともに、予測結果と実績値とが不一致の場合にも予測モデルの不適切によるものかパラメータ推定精度によるものであるかの切り分けを適確に行うことが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るソフトウェア信頼性予測装置の構成を示すブロック図である。
【図２】ソフトウェア信頼性予測装置の概念図である。
【図３】信頼性予測曲線および実累積バグデータ曲線を示すグラフである。
【符号の説明】
４ 入力装置
５ 記憶装置
６ バグ件数集計部
７ 回帰分析部
８ 表示出力部
【発明の属する技術分野】
本発明は、ゴンペルツ曲線モデルおよびロジスティック曲線モデルを含むソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測方法および装置と記録媒体に関する。
【０００２】
【従来の技術】
ソフトウェアの完成後の品質を保証するために、一般的にシステムの動作確認試験を行う。動作確認試験において、ソフトウェアの最終段階での品質予測、いわゆる信頼性予測が行われる。この信頼性予測に関して、従来から各種の手法が提案されている。それらのうち、統計的手法として、ゴンペルツ曲線モデルやロジスティック曲線モデルなどが知られていて、ソフトウェアのバグ実績データから、各曲線モデルのパラメータを推定することにより、達成予測値（レベル）、達成期間、予測曲線などを得ている。
【０００３】
図２は、こうした統計的手法を用いて実績試験結果データから予測曲線を得る装置の構成概念図で、図３は、それによって得られる予測曲線の例を示した図である。図２において、１は信頼性予測装置、２は入力である試験実績データ、３は予測データを示し、実績データに基づく予測曲線が得られる。
【０００４】
まずはじめに、ゴンペルツ曲線モデルとそのパラメータの推定方法について説明する。ゴンペルツ曲線は式（１）の関係式で与えられる曲線である。
【０００５】
【数１】
Ｇ（ｔ）→ｋ（ｔ→∞） …（２）
より、ｋはテスト開始前に潜在するバグ数を表す。また、式（１）は微分方程式
【数２】
【０００６】
【数３】
【０００７】
Ｙ＝Ａ＋Ｂｔ …（８）
現実には、微分値
【数４】
【数５】
【０００８】
Ｙｎ ＝Ａ＋Ｂｔｎ …（１２）
ここで、Ｙｎ として
【数６】
【数７】
【０００９】
早期のデータによる推定結果は精度が悪いといわれており、少なくとも曲線モデルの変曲点を超えた時点のデータでパラメータ推定を行うことが必要である。三觜武：“ソフトウェアの品質評価法”、日科技連（１９８１）によれば、ソフトウェアの潜在バグ数の予測値をｋ〜としてソフトウェアの累積バグ数をｙ−とすると
【数８】
【００１０】
次に、ロジスティック曲線モデルについて説明する。ロジスティック曲線モデルは式（１８）の関係式で与えられる曲線である。
【００１１】
【数９】
Ｌ（ｔ）→ｋ（ｔ→∞） …（１９）
となるからゴンペルツ曲線と同様にｋはテスト開始前に潜在するバグ数を表す。式（１８）は微分方程式
【数１０】
【００１２】
【数１１】
Ｙ＝Ａ＋ＢＸ …（２６）
が得られる。現実には、微分値
【数１２】
【数１３】
【００１３】
Ｙｎ ＝Ａ＋ＢＬｎ …（３０）
ここで、Ｙｎ として
【数１４】
【００１４】
式（３０）を回帰式として、回帰分析を行うことにより、Ａ，Ｂの推定値Ａ＾，Ｂ＾を求める。ｍ，ｋ，αの推定値ｍ＾，ｋ＾，α＾は
【数１５】
【００１５】
ゴンペルツ曲線と同様に、早期のデータによる推定結果は精度が悪いといわれており、少なくとも曲線モデルの変曲点を超えた時点のデータでパラメータ推定を行うことが必要である。どの時点までのデータでパラメータ推定を行うべきかについてはゴンペルツ曲線と同様である。
【００１６】
【発明が解決しようとする課題】
前記ソフトウェア信頼性モデルにおけるパラメータ推定方法では、試験早期での推定精度は低く、ある程度の精度を要求するには、変曲点を超えた時点までのデータが必要となる。後述するように、従来手法では実データが各曲線モデルに完全に一致していたとしても、試験開始間もないとき、すなわち潜在バグ件数に対して、発見されたバグ件数の割合が小さい時には正確なパラメータ推定ができず、そのため信頼性分析の結果の精度はかなり低いものとなっている。どの時点までのデータを利用してパラメータ推定を行うかの判定基準に、式（１７）があるが、式（１７）内のｋ〜の精度そのものが低く、経験に頼った判定基準になっている。また、従来技術では、実データとモデルによる分析が一致しなかった場合には、パラメータ推定の精度が低いため、その原因はモデルの不適切によるものなのか、パラメータの推定精度によるものなのかがはっきりしなかった。
【００１７】
本発明は、上記に鑑みてなされたもので、その目的とするところは、バグ発見件数が少ない段階や試験開始間もない時点からソフトウェア信頼性成長モデルのパラメータを正確に推定し、ソフトウェアの信頼性を適確に予測し得るソフトウェア信頼性予測方法および装置を提供することにある。
【００１８】
【課題を解決するための手段】
上記目的を達成するため、第１の本発明は、ゴンペルツ曲線モデル又はロジスティック曲線モデルによるソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測方法であって、入力手段によりソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力して記憶手段に記憶させ、回帰分析手段により前記記憶手段から前記バグ発生日時およびバグ発生件数のデータを読み出し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いて、前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、予測手段によりこの推定された値のパラメータをもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測することことを要旨とする。
【００１９】
本発明にあっては、厳密解を持ち、差分間隔０の極限でソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、ソフトウェアのテスト時のバグ発生日時および件数の入力データからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、このソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測するため、バグ発見件数が少ない段階やテスト開始間もない時点でもパラメータを正確に推定でき、ソフトウェアの信頼性を適確に予測することができる。
【００２０】
また、第２の本発明は、ゴンペルツ曲線モデル又はロジスティック曲線モデルによるソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測装置であって、ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力する入力手段と、前記入力手段により入力されたバグ発生日時およびバグ発生件数を記憶する記憶手段と、前記記憶手段から前記バグ発生日時およびバグ発生件数のデータを読み出し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いて、前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定する回帰分析手段と、パラメータが該回帰分析手段によって推定された値をもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測する予測手段とを有することを要旨とする。
本発明にあっては、厳密解を持ち、差分間隔０の極限でソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、ソフトウェアのテスト時のバグ発生日時および件数の入力データからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、このソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測するため、バグ発見件数が少ない段階やテスト開始間もない時点でもパラメータを正確に推定でき、ソフトウェアの信頼性を適確に予測することができる。
【００２１】
さらに第３の本発明は、ゴンペルツ曲線モデル又はロジスティック曲線モデルによるソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測プログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに対し、ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を記憶手段に記憶させる処理と、前記記憶手段から前記バグ発生日時およびバグ発生件数のデータを読み出し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いて、前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定する処理と、この推定された値のパラメータをもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測する処理と、を実行させることを要旨とする。
本発明にあっては、ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、前記入力されたソフトウェアのテスト時の前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、この推定された値のパラメータをもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測するプログラムを記録媒体として記録しているため、該記録媒体を利用して、そのソフトウェア信頼性予測プログラムの流通性を高めることができる。
【００２２】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。図１は、本発明の一実施形態に係るソフトウェア信頼性予測装置の構成を示すブロック図である。同図に示すソフトウェア信頼性予測装置は、ソフトウェア信頼性成長モデルのパラメータを推定するために回帰分析に厳密解を持ち、差分間隔０の極限でソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いることを特徴とするものであり、ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力装置４から入力し、この入力されたバグ発生日時および件数を記憶装置５に記憶するとともに、バグ件数集計部６で集計し、回帰分析部７に入力している。
【００２３】
回帰分析部７は、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、バグ件数集計部６からのバグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、表示出力部８に出力するようになっている。なお、回帰分析部７でソフトウェア信頼性成長モデルのパラメータを推定すると、このソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測することになる。
【００２４】
ところで、従来手法では、既に示したようにパラメータ推定を行うための回帰分析の際、微分方程式で表されるソフトウェア信頼性成長モデルを差分方程式に書き直して回帰分析を行う。差分方程式は、あくまで微分方程式の近似でしかない。通常用いる差分方程式は前進差分であり、これは元の微分方程式を差分間隔の何乗のオーダで近似するかに主眼が置かれている。そのため解の形状、ここでは時間を無限大にしたときにバグの数が一定値に収束するという性質などは一般的に保たれない。しかし、本発明で使用する差分方程式では、厳密解を持ち、その解は差分間隔０の極限で微分方程式の解と一致するため、上記のような性質を保存することができる。これにより、従来手法よりも精度の高いパラメータ推定が可能となる。
【００２５】
次に、ソフトウェア信頼性成長モデルとしてゴンペルツ曲線モデルを用いた場合について説明する。なお、ゴンペルツ曲線モデルには別の解法もあるので、ここで説明するゴンペルツ曲線モデルをゴンペルツ曲線モデル１として説明する。また、従来技術は、微分方程式を差分方程式に書き直し、回帰式を得て、その回帰式から求めたパラメータの推定値を得ているが、本発明では、微分方程式を従来技術とは異なった差分方程式に書き直している。
【００２６】
まず、ゴンペルツ曲線モデル１について説明する。まず、ゴンペルツ曲線モデルの満たす微分方程式を再度次式に示す。
【００２７】
【数１６】
｜１＋δｌｏｇ ｂ｜＜１ …（３８）
の条件の下で、
Ｇｎ →ｋ（ｔｎ →∞） …（３９）
となり、式（１）が持っている性質を保存していることがわかる。
【００２８】
パラメータｋ，ａ，ｂを求めるために式（３６）の両辺に対数を２回とる。
【００２９】
【数１７】
Ｙｎ ＝Ａ＋Ｂｎ …（４６）
が得られる。式（４６）を使った回帰分析によって得られるＡ，Ｂの推定値をＡ＾，Ｂ＾とするとａ，ｂ，ｋの推定値をａ＾，ｂ＾，ｋ＾は次のように求められる。
【００３０】
【数１８】
【００３１】
【数１９】
【００３２】
パラメータｋ，ａ，ｂを求めるために式（５１）の両辺をＧｎ で割り、更に両辺に対数を取り、δ＝１とおくと
【数２０】
ｌｏｇ Ｇｎ＋１ −ｌｏｇ Ｇｎ−１ ＝−（ｌｏｇ ｂ）（ｌｏｇ ｋ）＋（ｌｏｇ ｂ）ｌｏｇ Ｇｎ …（５３）
ここで、
Ｙｎ ＝ｌｏｇ Ｇｎ＋１ −ｌｏｇ Ｇｎ …（５４）
Ａ＝−（ｌｏｇ ｂ）（ｌｏｇ ｋ） …（５５）
Ｂ＝ｌｏｇ ｂ …（５６）
とおくと回帰式
Ｙｎ ＝Ａ＋Ｂｌｏｇ Ｇｎ …（５７）
が得られる。式（５７）を使った回帰分析によって得られるＡ，Ｂの推定値をＡ＾，Ｂ＾とするとａ，ｂ，ｋの推定値ａ＾，ｂ＾，ｋ＾は次のように求められる。
【００３３】
【数２１】
【００３４】
【数２２】
｜１−δα｜＜１ …（６４）
の条件の下で、
Ｌｎ →ｋ（ｔｎ →∞） …（６５）
となり、式（１８）が持っている性質を保存していることがわかる。
【００３５】
パラメータｋ，α，ｍを求めるために、ｔｎ ＝ｎδ，δ＝１とおいて式（６２）を次のように書き替える。
【００３６】
Ｙｎ ＝Ａ＋ＢＬｎ …（６６）
ここで、
【数２３】
【００３７】
【数２４】
【００３８】
まず、ゴンペルツ曲線モデル１の場合について説明する。この場合には、ｋ＝１００，ａ＝０．０１，ｂ＝０．５として、式（１）から得られるＧｎ の値で、潜在バグ数までのデータ（ｔ＝０，１，２，…，２５までのデータ）を利用することとする。回帰式は、従来手法が式（１２）、本発明手法が式（４６）を利用している。この場合において、すべてのデータを利用した時には、次の表１のようになる。
【００３９】
【表１】
【００４０】
【表２】
【００４１】
次に、ゴンペルツ曲線モデル２の場合について説明する。この場合に使用したデータはゴンペルツ曲線モデル１と同じである。回帰式は、従来手法が式（１２）、本発明手法が式（５７）を利用している。まず、すべてのデータを利用した時には、次の表３のようになる。
【００４２】
【表３】
【００４３】
【表４】
【００４４】
次に、ロジスティック曲線モデルの場合について説明する。この場合、ｋ＝１００，ｍ＝９９，α＝４として、式（１８）から得られるＬｎ の値を入力データとする。ここで、潜在バグ数までのデータ（ｔ＝０，０．２，０．４，…，３までのデータ）を利用することとする。回帰式は、従来手法が式（３０）、本発明手法が式（６６）を利用している。この場合において、すべてのデータを利用した時には、次の表５のようになる。
【００４５】
【表５】
【００４６】
【表６】
上述してきたようなソフトウェア信頼性成長モデルを用いたソフトウェアの信頼性の予測はソフトウェア信頼性予測プログラムにより実施され、該プログラムは記録媒体に記録して提供されるため、該記録媒体を利用して、そのソフトウェア信頼性予測プログラムの流通性を高めることができる。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、差分間隔０の極限でソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用い、ソフトウェアのテスト時のバグ発生日時および件数の入力データからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、このソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測するので、バグ発見件数が少ない段階やテスト開始間もない時点でもパラメータを正確に推定でき、信頼性分析の結果の精度を向上させることができるとともに、予測結果と実績値とが不一致の場合にも予測モデルの不適切によるものかパラメータ推定精度によるものであるかの切り分けを適確に行うことが可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るソフトウェア信頼性予測装置の構成を示すブロック図である。
【図２】ソフトウェア信頼性予測装置の概念図である。
【図３】信頼性予測曲線および実累積バグデータ曲線を示すグラフである。
【符号の説明】
４ 入力装置
５ 記憶装置
６ バグ件数集計部
７ 回帰分析部
８ 表示出力部
Claims (3)
- ゴンペルツ曲線モデル又はロジスティック曲線モデルによるソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測方法であって、
入力手段によりソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力して記憶手段に記憶させ、
回帰分析手段により前記記憶手段から前記バグ発生日時およびバグ発生件数のデータを読み出し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いて、前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定し、
予測手段によりこの推定された値のパラメータをもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測すること
を特徴とするソフトウェア信頼性予測方法。 - ゴンペルツ曲線モデル又はロジスティック曲線モデルによるソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測装置であって、
ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を入力する入力手段と、
前記入力手段により入力されたバグ発生日時およびバグ発生件数を記憶する記憶手段と、
前記記憶手段から前記バグ発生日時およびバグ発生件数のデータを読み出し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いて、前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定する回帰分析手段と、
パラメータが該回帰分析手段によって推定された値をもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測する予測手段と
を有することを特徴とするソフトウェア信頼性予測装置。 - ゴンペルツ曲線モデル又はロジスティック曲線モデルによるソフトウェア信頼性成長モデルを用いてソフトウェアの信頼性を予測するソフトウェア信頼性予測プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
コンピュータに対し、
ソフトウェアのテスト時にソフトウェアにバグが発生したバグ発生日時およびバグ発生件数を記憶手段に記憶させる処理と、
前記記憶手段から前記バグ発生日時およびバグ発生件数のデータを読み出し、厳密解を持ち、差分間隔０の極限で前記ソフトウェア信頼性成長モデルと方程式、厳密解ともに一致する差分方程式を用いて、前記バグ発生日時および件数のデータからソフトウェア信頼性成長モデルのパラメータを回帰分析により推定する処理と、
この推定された値のパラメータをもつソフトウェア信頼性成長モデルを用いて、バグ発生累積件数の予測曲線を推定し、この予測曲線からソフトウェアの信頼性を予測する処理と、
を実行させることを特徴とするソフトウェア信頼性予測プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28979998A JP3612428B2 (ja) | 1998-10-12 | 1998-10-12 | ソフトウェア信頼性予測方法および装置と記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28979998A JP3612428B2 (ja) | 1998-10-12 | 1998-10-12 | ソフトウェア信頼性予測方法および装置と記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000122860A JP2000122860A (ja) | 2000-04-28 |
| JP3612428B2 true JP3612428B2 (ja) | 2005-01-19 |
Family
ID=17747924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28979998A Expired - Fee Related JP3612428B2 (ja) | 1998-10-12 | 1998-10-12 | ソフトウェア信頼性予測方法および装置と記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3612428B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4770763B2 (ja) * | 2007-03-19 | 2011-09-14 | 日本電信電話株式会社 | 予測モデル選択装置と方法および予測装置と推定値予測方法ならびにプログラム |
| JP2010113527A (ja) * | 2008-11-06 | 2010-05-20 | Hitachi Systems & Services Ltd | バグ摘出予測システム |
| JP6761788B2 (ja) * | 2017-08-22 | 2020-09-30 | 日本電信電話株式会社 | 予測装置、予測方法及び予測プログラム |
| CN109597760B (zh) * | 2018-11-29 | 2022-04-12 | 中国银行股份有限公司 | 一种用于测试的异常场景的部署方法及装置 |
-
1998
- 1998-10-12 JP JP28979998A patent/JP3612428B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000122860A (ja) | 2000-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6636071B2 (ja) | コンピュータ実装方法、コンピュータシステム及びコンピュータ装置 | |
| CN109564641B (zh) | 数据填补方法和装置 | |
| CN108364195B (zh) | 用户留存概率预测方法、装置、预测服务器及存储介质 | |
| JP2019527434A (ja) | 評価モデルのためのモデリング方法及び装置 | |
| US20150025872A1 (en) | System, method, and apparatus for modeling project reliability | |
| US20140366140A1 (en) | Estimating a quantity of exploitable security vulnerabilities in a release of an application | |
| CN115795928A (zh) | 基于伽马过程的加速退化试验数据处理方法和装置 | |
| JP3612428B2 (ja) | ソフトウェア信頼性予測方法および装置と記録媒体 | |
| JP4498666B2 (ja) | 予測装置、予測プログラム、および記録媒体 | |
| CN111241079A (zh) | 一种数据清洗方法、装置及计算机可读存储介质 | |
| CN117331846B (zh) | 一种基于互联网软件开发运行测试管理*** | |
| CN116522007B (zh) | 一种面向推荐***模型的数据遗忘学习方法、装置及介质 | |
| US9188968B2 (en) | Run-time characterization of on-demand analytical model accuracy | |
| JP2005063208A (ja) | ソフトウェア信頼度成長モデル選択方法、ソフトウェア信頼度成長モデル選択装置、ソフトウェア信頼度成長モデル選択プログラム、およびプログラム記録媒体 | |
| CN116663978A (zh) | 一种用于审计数据的质量评估方法和*** | |
| CN116993326A (zh) | 一种智能化设备全生命周期监控方法及*** | |
| CN116882805A (zh) | 用于确定客户风险程度的方法、处理器、装置及存储介质 | |
| CN115452101A (zh) | 一种仪表检定方法、装置、设备及介质 | |
| JP2003140929A (ja) | ソフトウェア信頼性予測方法、ソフトウェア信頼性予測プログラム及び当該予測プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにソフトウェア信頼性予測装置 | |
| JP2006072670A (ja) | ソフトウェアの信頼性予測方法、そのプログラムを記録した記録媒体および装置 | |
| JP2003186701A (ja) | ソフトウェア信頼度成長モデル選択方法、ソフトウェア信頼度成長モデル選択プログラム及び当該モデル選択プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにソフトウェア信頼度成長モデル選択装置 | |
| JP2020071523A (ja) | 見積方法、課金方法、コンピュータ、及びプログラム | |
| CN114254516B (zh) | 一种删失数据下的参数概率不确定性建模方法 | |
| CN114356238B (zh) | 一种固态硬盘数据巡检方法及装置 | |
| US20230056212A1 (en) | Automated Estimation of Network Security Policy Risk |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040922 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041019 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041025 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071029 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081029 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091029 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101029 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |