JP2005326953A - Software quality evaluation system and method, and program for evaluating software quality - Google Patents
Software quality evaluation system and method, and program for evaluating software quality Download PDFInfo
- Publication number
- JP2005326953A JP2005326953A JP2004142412A JP2004142412A JP2005326953A JP 2005326953 A JP2005326953 A JP 2005326953A JP 2004142412 A JP2004142412 A JP 2004142412A JP 2004142412 A JP2004142412 A JP 2004142412A JP 2005326953 A JP2005326953 A JP 2005326953A
- Authority
- JP
- Japan
- Prior art keywords
- quality
- evaluation
- data
- software development
- software
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 94
- 238000013441 quality evaluation Methods 0.000 claims abstract description 203
- 238000011156 evaluation Methods 0.000 claims abstract description 117
- 238000013500 data storage Methods 0.000 claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims description 86
- 230000007547 defect Effects 0.000 claims description 56
- 238000011161 development Methods 0.000 claims description 56
- 238000007726 management method Methods 0.000 description 52
- 238000012360 testing method Methods 0.000 description 43
- 238000012545 processing Methods 0.000 description 31
- 238000012938 design process Methods 0.000 description 21
- 230000008520 organization Effects 0.000 description 18
- 238000013461 design Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000003908 quality control method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000010354 integration Effects 0.000 description 6
- 238000012552 review Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000012553 document review Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Stored Programmes (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
本発明は、ソフトウェア品質評価システムに関し、特に、各ソフトウェア開発プロジェクトの各開発工程毎、及び、各プロジェクト毎の品質を自動的に評価するソフトウェア品質評価システムに関する。 The present invention relates to a software quality evaluation system, and more particularly to a software quality evaluation system that automatically evaluates each development process of each software development project and the quality of each project.
ソフトウェア開発プロジェクトは、以下の複数の工程に分けて開発が進められる。
（１）顧客の要求仕様からソフトウェアで実現する要件を特定し、これを基本設計書として文書化する基本設計工程（以下、ＢＤと略記する）。
（２）ソフトウェアで実現する要件を機能単位に定義し、その外部仕様（ソフトウェアの入出力仕様）を定義し、これを機能設計書として文書化する機能設計工程（ＦＤと略記する）。
（３）外部仕様に基づいて内部のソフトウェアの論理構造を定義し、これを詳細設計書として文書化する詳細設計工程（ＤＤと略記する）。
（４）プログラミング言語を用いてソースコードを作成する製造工程（ＣＤと略記する）。
（５）単体テスト仕様書に基づいて、ソースコードをテストする単体テスト工程（ＵＴと略記する）。
（６）結合テスト仕様書に基づいて、開発した複数のソフトウェアを結合してテストする結合テスト工程（ＩＴと略記する）。
（７）総合テスト仕様書に基づいて、開発したソフトウェアの機能をテストする総合テスト工程（ＳＴと略記する）。
（８）顧客の要求仕様にソフトウェアが適合しているかを確認する運用テスト工程（ＲＴと略記する）。
そして、上記運用テスト工程が終了した後にシステム運用開始となる。
Software development projects are divided into the following multiple processes.
(1) A basic design process (hereinafter abbreviated as BD) in which requirements to be realized by software are specified from customer's required specifications and documented as a basic design document.
(2) A function design process (abbreviated as FD) in which requirements to be realized by software are defined in function units, external specifications (software input / output specifications) are defined and documented as a function design document.
(3) A detailed design process (abbreviated as DD) for defining a logical structure of internal software based on external specifications and documenting it as a detailed design document.
(4) A manufacturing process (abbreviated as CD) for creating a source code using a programming language.
(5) Unit test process (abbreviated as UT) for testing source code based on unit test specifications.
(6) An integration test process (abbreviated as IT) for combining and testing a plurality of developed software based on the integration test specification.
(7) A comprehensive test process (abbreviated as ST) for testing the function of the developed software based on the comprehensive test specification.
(8) An operational test process (abbreviated as RT) for confirming whether the software conforms to the customer's required specifications.
Then, the system operation starts after the operation test process is completed.
ここで、上記基本設計工程（ＢＤ（１））から製造工程（ＣＤ（４））までは、各工程で作成された設計書とソースコードを複数の開発担当者が確認し、設計書に含まれる欠陥を除去する（以下これをレビューとよぶ）。このレビューによって設計書やソースコードの品質が向上するが、従来この品質状況を判断する方法としては、予め過去の経験や実績から見積もられた数の欠陥が発見されたかどうか等でプロジェクトの開発担当者が開発工程ごとに評価していた。 Here, from the basic design process (BD (1)) to the manufacturing process (CD (4)), multiple developers confirm the design document and source code created in each process and include them in the design document. (Hereinafter referred to as a review). This review improves the quality of the design document and source code. Conventionally, as a method of judging this quality status, project development is based on whether or not the number of defects estimated in advance from past experience and performance has been discovered. The person in charge evaluated each development process.
また、単体テスト工程（ＵＴ（５））から運用テスト工程（ＲＴ（８））までは、従来では、開発担当者の過去の経験や実績からテスト工程で発見される欠陥数を予測するか、あるいは、ソフトウェア信頼度成長モデル（例えば、『ソフトウェアマネジメントモデル入門 山田茂、高橋宗雄著、共立出版』参照）等を用いて欠陥数を予測し、テストで発見された欠陥数と予測された欠陥数を比較することによってプロジェクトの開発担当者が評価し判断していた。 In addition, from the unit test process (UT (5)) to the operation test process (RT (8)), conventionally, the number of defects found in the test process is predicted from the past experience and results of the developer. , Predict the number of defects using a software reliability growth model (see, for example, “Introduction to Software Management Model, Shigeru Yamada, Muneo Takahashi, Kyoritsu Publishing”), and the number of defects found in the test The comparison was evaluated and judged by the project developer.
さらに、組織の品質管理部門等で複数プロジェクトを評価する場合は、組織の標準的な欠陥数等の数値を用いて、この数値とプロジェクトの実績値との比較を開発工程ごとに行うことによって評価を実施していた。 Furthermore, when multiple projects are evaluated by the organization's quality control department, etc., the standard number of defects in the organization is used, and this value is compared with the actual project value for each development process. Had been implemented.
そして、下記の特許文献１には、組織に属するプロジェクトの品質を評価し、評価結果を数値化して、評価結果が悪いプロジェクトから順に並べ替え対処を支持する、というシステムが開示されている。
しかしながら、上記従来例には、以下のような不都合があった。まず、プロジェクト個別に欠陥数等に基づく品質評価を実施する場合は、プロジェクトの過去の実績との比較になるため、組織内でのプロジェクト全体の品質改善がなされていない場合は、過去の品質状況と変わらない結果になってしまい、品質向上を図ることができない、という問題が生じる。 However, the conventional example has the following disadvantages. First, when performing quality assessment based on the number of defects for each project, it is a comparison with the past performance of the project, so if the quality of the entire project within the organization has not been improved, the past quality status As a result, there arises a problem that the quality cannot be improved.
また、組織での複数プロジェクトの比較に基づく品質評価では、組織の標準的な数値との比較になり、標準的な状態から外れているプロジェクトを発見することはできるが、プロジェクトの特性は個々に異なるため、標準的な状態から外れていてもそのプロジェクトは良好な状態にある場合があり、このような場合を見分けることは困難である。 In addition, the quality assessment based on the comparison of multiple projects in the organization is compared with the standard values of the organization, and it is possible to find projects that are out of the standard state. Because of differences, the project may be in good condition even if it is out of the standard state, and it is difficult to distinguish between these cases.
さらに、組織での評価では、プロジェクトの品質状況を評価する際の標準的な欠陥数等の数値をどのように決定するかが問題となる。そして、従来では、決定された標準的な数値は、開発技術の向上やプロジェクトメンバの技術能力向上等により定期的な見直しが必要であるが、この見直しに手間がかかり、手動で変更しなければならない。 Furthermore, in the evaluation by the organization, how to determine the numerical values such as the standard number of defects when evaluating the quality status of the project is a problem. Conventionally, the standard values that have been determined need to be regularly reviewed due to improvements in development technology and technical capabilities of project members. However, this review takes time and must be changed manually. Don't be.
特に、上記特許文献１に開示されているシステムでは、品質を評価する際に用いる数値として固定値を用いているため、組織の品質向上による変化を適切に取り込むことは困難であり、プロジェクトを適切に評価することができず、組織内での品質向上を図ることができない、という問題が生じる。
In particular, in the system disclosed in
このため、本発明では、複数のプロジェクトの状況を考慮して適切にソフトウェアの品質を評価するシステムを提供すること、をその目的とする。 Therefore, an object of the present invention is to provide a system that appropriately evaluates the quality of software in consideration of the situation of a plurality of projects.
そこで、本発明では、ソフトウェア開発プロジェクト毎の予め定められた品質項目における品質データを入力する入力手段と、
入力された品質データをソフトウェア開発プロジェクト毎に記憶する品質データ記憶手段と、
ソフトウェア開発プロジェクト毎の品質を評価する際に用いる評価基準データを記憶する評価基準データ記憶手段と、
品質データ記憶手段に記憶された複数のソフトウェア開発プロジェクトの品質データに基づいて予め定められた算出ルールにて評価基準データを算出し、当該算出された評価基準データを評価基準データ記憶手段に記憶する評価基準データ算出手段と、
品質データ記憶手段に記憶された所定のソフトウェア開発プロジェクトの品質データを読み出して、当該ソフトウェア開発プロジェクトの品質評価を評価基準データ記憶手段に記憶された評価基準データに基づいて算出する品質評価手段と、
を備えた、という構成を採っている。
Therefore, in the present invention, input means for inputting quality data in a predetermined quality item for each software development project,
Quality data storage means for storing the input quality data for each software development project;
Evaluation criteria data storage means for storing evaluation criteria data used when evaluating the quality of each software development project;
Based on the quality data of a plurality of software development projects stored in the quality data storage means, the evaluation reference data is calculated according to a predetermined calculation rule, and the calculated evaluation reference data is stored in the evaluation reference data storage means. Evaluation standard data calculation means;
Quality evaluation means for reading out the quality data of a predetermined software development project stored in the quality data storage means, and calculating the quality evaluation of the software development project based on the evaluation reference data stored in the evaluation reference data storage means;
It has the structure of having.
また、上記構成に加え、品質評価手段にて算出された品質評価が評価基準データを満たしていない場合に、当該品質評価結果を外部に出力する品質結果出力手段を備えた、という構成を採っている。 Further, in addition to the above configuration, when the quality evaluation calculated by the quality evaluation unit does not satisfy the evaluation standard data, the configuration includes a quality result output unit that outputs the quality evaluation result to the outside. Yes.
このような構成にすることにより、まず、複数のあらゆるソフトウェア開発プロジェクトの品質データが登録されると、これらに基づいて品質評価を行う際の基準となる評価基準データが算出される。そして、これを基に、所定のソフトウェア開発プロジェクトの品質評価が行われ、ディスプレイに表示されたり、管理者の端末に送信されるなど出力される。従って、登録された他のプロジェクトの品質を考慮して特定のプロジェクトの品質評価を実行することができる。すなわち、組織内の他のプロジェクトの品質向上の変化に適切に対応した評価が行われるため、全てのソフトウェアの品質向上を図ることができる。 With such a configuration, first, when quality data of a plurality of all software development projects is registered, evaluation reference data serving as a reference for performing quality evaluation is calculated based on these data. Based on this, the quality evaluation of a predetermined software development project is performed and displayed on a display or transmitted to an administrator's terminal. Therefore, the quality evaluation of a specific project can be executed in consideration of the quality of other registered projects. That is, since the evaluation corresponding to the change in quality improvement of other projects in the organization is performed appropriately, the quality of all software can be improved.
また、本発明では、上記構成に加えて、品質データは、各ソフトウェア開発プロジェクトの予め定められた各開発工程毎の所定の品質項目における品質データであり、
評価基準データ算出手段は、各ソフトウェア開発プロジェクトの各開発工程毎の品質を評価する際に用いる評価基準データを算出して評価基準データ記憶手段に記憶し、
品質評価手段は、所定のソフトウェア開発プロジェクトの各開発工程毎の品質評価を算出する、という構成を採っている。
Further, in the present invention, in addition to the above configuration, the quality data is quality data in a predetermined quality item for each predetermined development process of each software development project,
The evaluation standard data calculating means calculates evaluation standard data used when evaluating the quality of each development process of each software development project and stores it in the evaluation standard data storage means.
The quality evaluation means is configured to calculate a quality evaluation for each development process of a predetermined software development project.
このとき、品質評価手段は、所定のソフトウェア開発プロジェクトの各開発工程毎の品質評価を算出すると共に、当該所定のソフトウェア開発プロジェクト全体の品質評価をも算出する機能を有する。具体的には、品質データは、各ソフトウェア開発プロジェクトにおける各開発工程毎の欠陥数を含むと共に、品質評価手段は、所定のソフトウェア開発プロジェクトにおける各開発工程毎の欠陥数に基づいて当該各開発工程毎の品質評価を行うと共に、当該各開発工程毎の欠陥数に基づいて所定のソフトウェア開発プロジェクト全体において残存する欠陥数の評価を行うことにより当該プロジェクト全体の品質評価を行う。 At this time, the quality evaluation unit has a function of calculating a quality evaluation for each development process of the predetermined software development project and also calculating a quality evaluation of the entire predetermined software development project. Specifically, the quality data includes the number of defects for each development process in each software development project, and the quality evaluation means determines that each development process based on the number of defects for each development process in a predetermined software development project. The quality of each project is evaluated by evaluating the number of defects remaining in the entire predetermined software development project based on the number of defects for each development process.
これにより、プロジェクトの各開発工程毎の評価、例えば、欠陥数による評価が算出されるため、管理者は開発工程単位に確認することができ、プロジェクトの早期の段階から品質状況を把握することができ、早期に対策を採ることができる。また、各開発工程毎の評価を算出すると共に、全体の評価（例えば、欠陥数）をも算出することで、各開発工程ではプロジェクトの特性により良い評価が得られない場合であっても、全体としては良い評価となることがあり、プロジェクトとしての適切な評価を得ることができる。そして、このときであっても、各開発工程の評価も得ることができるため、各工程毎に対処することができ、さらなる品質向上を図ることができる。 As a result, the evaluation for each development process of the project, for example, the evaluation based on the number of defects is calculated, so the administrator can check for each development process, and can grasp the quality status from the early stage of the project. Yes, measures can be taken early. Also, by calculating the evaluation for each development process and calculating the overall evaluation (for example, the number of defects), even if it is not possible to obtain a better evaluation due to the characteristics of the project in each development process, As a result, it can be a good evaluation, and an appropriate evaluation as a project can be obtained. And even at this time, since evaluation of each development process can be obtained, it is possible to cope with each process and to further improve quality.
また、本発明は、ソフトウェア品質評価サーバでもあり、
ソフトウェア開発プロジェクト毎の予め定められた品質項目における品質データの外部からの入力を受け付ける入力受付手段と、
入力された品質データをソフトウェア開発プロジェクト毎に記憶する品質データ記憶手段と、
ソフトウェア開発プロジェクト毎の品質を評価する際に用いる評価基準データを記憶する評価基準データ記憶手段と、
品質データ記憶手段に記憶された複数のソフトウェア開発プロジェクトの品質データに基づいて予め定められた算出ルールにて評価基準データを算出し、当該算出された評価基準データを評価基準データ記憶手段に記憶する評価基準データ算出手段と、
品質データ記憶手段に記憶された所定のソフトウェア開発プロジェクトの品質データを読み出して、当該ソフトウェア開発プロジェクトの品質評価を評価基準データ記憶手段に記憶された評価基準データに基づいて算出する品質評価手段と、
を備えた、という構成を採っている。
The present invention is also a software quality evaluation server,
Input receiving means for receiving external input of quality data in a predetermined quality item for each software development project;
Quality data storage means for storing the input quality data for each software development project;
Evaluation criteria data storage means for storing evaluation criteria data used when evaluating the quality of each software development project;
Based on the quality data of a plurality of software development projects stored in the quality data storage means, the evaluation reference data is calculated according to a predetermined calculation rule, and the calculated evaluation reference data is stored in the evaluation reference data storage means. Evaluation standard data calculation means;
Quality evaluation means for reading out the quality data of a predetermined software development project stored in the quality data storage means, and calculating the quality evaluation of the software development project based on the evaluation reference data stored in the evaluation reference data storage means;
It has the structure of having.
また、本発明は、コンピュータを用いてソフトウェアの品質評価を行う方法でもあり、
コンピュータが、ソフトウェア開発プロジェクト毎の予め定められた品質項目における品質データの外部からの入力を受け付け、当該入力された品質データをソフトウェア開発プロジェクト毎に記憶する品質データ受付工程と、
コンピュータが、記憶された複数のソフトウェア開発プロジェクトの品質データに基づいて予め定められた算出ルールにてソフトウェア開発プロジェクト毎の品質を評価する際に用いる評価基準データを算出し、当該算出された評価基準データを記憶する評価基準データ算出工程と、
コンピュータが、所定のソフトウェア開発プロジェクトの品質データを読み出して、当該ソフトウェア開発プロジェクトの品質評価を前記記憶された評価基準データに基づいて算出する品質評価工程と、
を有する、という構成を採っている。
The present invention is also a method for evaluating the quality of software using a computer,
A quality data receiving step in which the computer receives external input of quality data in a predetermined quality item for each software development project, and stores the input quality data for each software development project;
The computer calculates evaluation standard data used when evaluating the quality of each software development project according to a predetermined calculation rule based on the stored quality data of a plurality of software development projects, and the calculated evaluation standard An evaluation standard data calculation step for storing data;
A computer that reads quality data of a predetermined software development project, and calculates a quality evaluation of the software development project based on the stored evaluation standard data; and
It has the structure of having.
さらに、本発明は、ソフトウェア品質評価用プログラムでもあり、
ソフトウェアの品質評価を行うコンピュータに、
ソフトウェア開発プロジェクト毎の予め定められた品質項目における品質データの外部からの入力を受け付ける入力受付手段と、
入力された品質データをソフトウェア開発プロジェクト毎に記憶する品質データ記憶手段と、
ソフトウェア開発プロジェクト毎の品質を評価する際に用いる評価基準データを記憶する評価基準データ記憶手段と、
品質データ記憶手段に記憶された複数のソフトウェア開発プロジェクトの品質データに基づいて予め定められた算出ルールにて評価基準データを算出し、当該算出された評価基準データを評価基準データ記憶手段に記憶する評価基準データ算出手段と、
品質データ記憶手段に記憶された所定のソフトウェア開発プロジェクトの品質データを読み出して、当該ソフトウェア開発プロジェクトの品質評価を評価基準データ記憶手段に記憶された評価基準データに基づいて算出する品質評価手段と、
を実現するためのソフトウェア品質評価用プログラム、という構成をも採っている。
Furthermore, the present invention is a software quality evaluation program,
To a computer that performs software quality assessment,
Input receiving means for receiving external input of quality data in a predetermined quality item for each software development project;
Quality data storage means for storing the input quality data for each software development project;
Evaluation criteria data storage means for storing evaluation criteria data used when evaluating the quality of each software development project;
Based on the quality data of a plurality of software development projects stored in the quality data storage means, the evaluation reference data is calculated according to a predetermined calculation rule, and the calculated evaluation reference data is stored in the evaluation reference data storage means. Evaluation standard data calculation means;
Quality evaluation means for reading out the quality data of a predetermined software development project stored in the quality data storage means, and calculating the quality evaluation of the software development project based on the evaluation reference data stored in the evaluation reference data storage means;
The software quality evaluation program is also used to achieve this.
上記構成のソフトウェア品質評価サーバ、方法、ソフトウェア品質評価用プログラムであっても、上述したシステム同様に作用し、上記目的を達成することができる。 Even the software quality evaluation server, method, and software quality evaluation program configured as described above can operate in the same manner as the system described above to achieve the above object.
本発明は、上述したように構成され機能するので、これによると、登録された他のプロジェクトの品質を考慮して特定のプロジェクトの品質評価を実行することができるため、組織内の他のプロジェクトの品質向上の変化に適切に対応した評価が行われるため、全てのソフトウェアの品質向上を図ることができる、という従来にない優れた効果を有する。 Since the present invention is configured and functions as described above, according to this, since the quality evaluation of a specific project can be performed in consideration of the quality of other registered projects, other projects in the organization can be executed. Since the evaluation corresponding to the change in quality improvement is performed appropriately, the quality of all software can be improved.
本発明であるソフトウェア品質評価システムは、主にソフトウェアの品質評価処理を行う品質評価サーバ１にて構成されており、開発者等により入力された各ソフトウェア開発プロジェクトの品質データに基づいて、所定のソフトウェア開発プロジェクトの品質評価を算出する、というものである。
The software quality evaluation system according to the present invention is mainly configured by a
具体的には、ソフトウェア開発プロジェクトの開発工程である設計工程からテスト工程までの全開発工程の欠陥数等の品質データを、複数のソフトウェア開発プロジェクトから収集し、これらに基づいて品質評価を算出する際の基準となる評価基準データを自動的に算出する。そして、この評価基準データに基づいて、特定のプロジェクトの各工程毎、及び、全体の品質評価を自動的に算出する。その後、品質が良くないと判断されたプロジェクトについては、その品質評価結果が電子メールで開発者や管理者に通知される。これにより、管理者等は、各開発工程が終了した段階、またはソフトウェアのシステム運用開始前の段階で早期に品質状況を把握して、プロジェクトに具体的な対処を指示することが可能となり、品質の向上を図ることができる。以下、具体的な構成について、実施例を通じて説明する。 Specifically, quality data such as the number of defects in all development processes from the design process to the test process, which is the development process of the software development project, is collected from multiple software development projects, and the quality evaluation is calculated based on these data The evaluation standard data which becomes the standard at the time is automatically calculated. And based on this evaluation reference data, each process of a specific project and the whole quality evaluation are calculated automatically. After that, for projects that are judged to be of poor quality, the results of quality evaluation are notified to the developer and manager by e-mail. This makes it possible for managers, etc. to grasp the quality status at an early stage at the end of each development process or before the start of software system operation, and to instruct the project to take specific measures. Can be improved. Hereinafter, a specific configuration will be described through examples.
なお、本願では、特定のソフトウェアの開発行為全体をまとめてソフトウェア開発プロジェクトと呼び、また、以下では単にプロジェクトと呼ぶ場合もある。そして、ソフトウェア開発プロジェクトは、以下に説明するように各開発工程から成るものである。 In the present application, the entire development activities of specific software are collectively referred to as a software development project, and may be simply referred to as a project below. The software development project consists of each development process as described below.
本発明の第１の実施例について、図１乃至図１４を参照して説明する。図１は、本発明の全体的な構成を示す機能ブロック図である。図２乃至図７は、品質評価サーバにて生成され他の端末に表示される画面の一例を示す説明図である。図８乃至図１０は、品質評価サーバにおける評価の判断基準を示す説明図である。図１１乃至図１４は、本発明の動作を示す説明図である。 A first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a functional block diagram showing the overall configuration of the present invention. 2 to 7 are explanatory diagrams illustrating examples of screens generated by the quality evaluation server and displayed on other terminals. 8 to 10 are explanatory diagrams showing evaluation criteria in the quality evaluation server. 11 to 14 are explanatory diagrams showing the operation of the present invention.
＜構成＞
図１に示すように、本発明であるソフトウェア品質評価システムは、ソフトウェア開発プロジェクト毎の品質評価を行う品質評価サーバ１と、当該品質評価サーバ１に対してネットワークＮを介して各ソフトウェア開発プロジェクトの品質データを入力する品質データ入力端末３１，３２等と、品質評価サーバ１にて算出されたソフトウェア開発プロジェクトの品質評価結果が当該品質評価サーバ１からネットワークＮを介して通知される品質管理端末４１と、を備えている。以下、各構成について詳述する。
<Configuration>
As shown in FIG. 1, a software quality evaluation system according to the present invention includes a
＜品質データ入力端末＞
品質データ入力端末３１は、ソフトウェア開発プロジェクトの開発担当者（以下、単に担当者と言う）が所有する端末であって、当該プロジェクトにおける品質データを入力するパーソナルコンピュータ等の情報処理装置である。
<Quality data input terminal>
The quality
ここで、ソフトウェア開発プロジェクトは、上述したように、以下の複数の工程に分けて開発が進められる。
（１）顧客の要求仕様からソフトウェアで実現する要件を特定し、これを基本設計書として文書化する基本設計工程（以下、ＢＤと略記する）。
（２）ソフトウェアで実現する要件を機能単位に定義し、その外部仕様（ソフトウェアの入出力仕様）を定義し、これを機能設計書として文書化する機能設計工程（ＦＤと略記する）。
（３）外部仕様に基づいて内部のソフトウェアの論理構造を定義し、これを詳細設計書として文書化する詳細設計工程（ＤＤと略記する）。
（４）プログラミング言語を用いてソースコードを作成する製造工程（ＣＤと略記する）。
（５）単体テスト仕様書に基づいて、ソースコードをテストする単体テスト工程（ＵＴと略記する）。
（６）結合テスト仕様書に基づいて、開発した複数のソフトウェアを結合してテストする結合テスト工程（ＩＴと略記する）。
（７）総合テスト仕様書に基づいて、開発したソフトウェアの機能をテストする総合テスト工程（ＳＴと略記する）。
（８）顧客の要求仕様にソフトウェアが適合しているかを確認する運用テスト工程（ＲＴと略記する）。
そして、上記運用テスト工程が終了した後にシステム運用開始（９）となる。なお、上記基本設計工程（ＢＤ（１））から製造工程（ＣＤ（４））までは、各工程で作成された設計書とソースコードを複数の開発担当者が確認し、設計書に含まれる欠陥を除去する（以下これをレビューとよぶ）。
Here, as described above, development of the software development project is divided into the following plurality of steps.
(1) A basic design process (hereinafter abbreviated as BD) in which requirements to be realized by software are specified from customer's required specifications and documented as a basic design document.
(2) A function design process (abbreviated as FD) in which requirements to be realized by software are defined in function units, external specifications (software input / output specifications) are defined and documented as a function design document.
(3) A detailed design process (abbreviated as DD) for defining a logical structure of internal software based on external specifications and documenting it as a detailed design document.
(4) A manufacturing process (abbreviated as CD) for creating a source code using a programming language.
(5) Unit test process (abbreviated as UT) for testing source code based on unit test specifications.
(6) An integration test process (abbreviated as IT) for combining and testing a plurality of developed software based on the integration test specification.
(7) A comprehensive test process (abbreviated as ST) for testing the function of the developed software based on the comprehensive test specification.
(8) An operational test process (abbreviated as RT) for confirming whether the software conforms to the customer's required specifications.
Then, after the operation test process is completed, the system operation starts (9). In addition, from the basic design process (BD (1)) to the manufacturing process (CD (4)), a plurality of developers confirm the design document and source code created in each process and are included in the design document. The defect is removed (hereinafter referred to as a review).
そして、特定のソフトウェア開発プロジェクトの担当者は、ネットワークＮを介して品質評価サーバ１にアクセスすると、当該品質評価サーバ１からは品質入力用画面データが送信され、図２に示すような画面が品質データ入力端末３１に表示される。この品質入力用画面に対して、担当者は、ソフトウェア開発プロジェクトのプロジェクト名、各開発工程で発見された欠陥数、作成された設計書の頁数、設計書のレビュー工数、ソースコードの行数、テスト項目数の実績値、から成る品質データを入力することができる。但し、ここに挙げる品質データは一例であって、これらに限定されるものではない。
Then, when a person in charge of a specific software development project accesses the
そして、品質入力用画面に品質データを入力した後に、担当者は品質データ入力端末３１上で図２に示す送信ボタンを選択することで、これら入力された品質データが品質管理サーバ１に送信される。
Then, after inputting the quality data on the quality input screen, the person in charge selects the transmission button shown in FIG. 2 on the quality
ここで、品質データ入力端末は複数図示されているが（図１の符号３１，３２を参照）、例えば、ソフトウェア開発プロジェクトが複数有り、それぞれの担当者が異なる場合には、各担当者の端末３１，３２等が存在することを意味している。そして、各担当者の端末３１，３２等からプロジェクト毎の品質データが入力され、品質評価サーバ１に送信されることとなる。なお、本実施例では、符号３１，３２に示す品質データ入力端末は、同一組織内（同一会社内や同一部署内）におけるものである場合を示しており、すなわち、同一組織内における異なるプロジェクトの品質データが品質評価サーバ１に収集される。但し、これは一例であって、必ずしも評価対象となるソフトウェア開発プロジェクトは同一組織のものに限定されない。
Here, although a plurality of quality data input terminals are illustrated (see
＜品質管理端末＞
品質管理端末４１は、ソフトウェア開発プロジェクトの開発担当者、あるいは、組織内のソフトウェア開発を管理する管理担当者が所有する端末であって、各プロジェクトにおける品質評価結果を品質評価サーバ１からネットワークＮを介して受信するパーソナルコンピュータ等の情報処理装置である。なお、以下では、品質管理端末４１を用いる者は上記管理担当者（以下、管理者と呼ぶ）であることとする。
<Quality control terminal>
The
この品質管理端末４１は、管理者が操作することで以下のように作動する機能を有する。まず、管理者が各プロジェクトの品質を評価するために、当該品質管理端末４１にて品質評価サーバ１にアクセスすると、当該品質評価サーバ１からは品質管理画面データが送信され、図３に示すような品質管理画面が品質管理端末４１に表示される。なお、この品質管理画面には、例えば、品質評価の実行を品質管理サーバ１に指示するための「品質評価実行ボタン」と、品質評価の際の基準となるパラメータの算出の実行を指示するための「品質評価パラメータ計算ボタン」と、が表示される。
The
そして、管理者が、「品質評価パラメータ計算ボタン」を選択することで、品質評価パラメータを計算する旨の指示が品質管理サーバ１に送信され、後述するように当該品質管理サーバ１にて計算された品質評価パラメータを表示する画面データが品質管理端末４１に送信され、当該端末４１に図４に示すように表示される（但し、図４では、パラメータ値の記載は省略してある）。この表示されたパラメータを管理者は確認することができ、必要に応じて画面上でパラメータの修正を行うことも可能である。そして、修正後に「送信ボタン」を押すことによって、修正したパラメータを品質評価サーバ１に送信することができ、これが品質評価サーバ１にて登録される。なお、上記品質評価パラメータは、後述するように、品質評価サーバ１にて自動的に算出されてもよい。
Then, when the administrator selects the “quality evaluation parameter calculation button”, an instruction to calculate the quality evaluation parameter is transmitted to the
また、管理者が、「品質評価実行ボタン」を選択することで、品質評価を算出する旨の指示が品質管理サーバ１に送信され、後述するように当該品質管理サーバ１にて計算された品質評価を表示する画面データである品質評価結果リストが品質管理端末４１に送信され、当該端末４１に図５に示すように表示される。品質管理端末４１は、品質評価結果リストを表示し、管理者は内容を確認することができる。そして、管理者が、プロジェクトの品質評価結果の詳細を確認する必要があると判断した場合は、確認したいプロジェクトと同じ行に位置して表示される品質評価結果リスト画面の「詳細確認ボタン」を押し、品質評価サーバ１に品質評価結果の詳細の送信を指示する。これに対し、後述するように、品質評価サーバ１からは、品質管理端末４１から指示されたプロジェクトのみの詳細な品質評価結果が品質管理端末４１に送信される。これにより、図６に示すような品質評価結果詳細画面が品質管理端末４１に表示される。なお、この図６に示す例では、品質評価を行う際に算出される中間データなどを表示している。
In addition, when the administrator selects the “quality evaluation execution button”, an instruction to calculate the quality evaluation is transmitted to the
そして、上述したように、管理者がさらに詳細な内容を確認し、当該プロジェクトの開発担当者に品質評価結果を連絡してその確認と対処を依頼する必要があると判断した場合は、品質管理端末４１に表示される図５に示す品質評価結果リスト画面の「メール作成ボタン」を押し、品質評価サーバ１にメール作成画面の送信の指示を出す。この指示に応じて、品質評価サーバ１からは図７に示すようなメール作成画面が送信され、品質管理端末４１に表示される。これに対して、管理者は、品質管理端末４１上にて、メール送信が必要なプロジェクトについてメール送信の欄をクリックするなど印（図７では丸印）をつけ、コメントの欄に管理者の意見や開発担当者への依頼事項を記述する。そして、図７に示すメール送信ボタンを押すことで、品質評価サーバ１にメール送信の指示を出す。これにより、後述するように、品質評価サーバ１を介してプロジェクトの評価結果に対する管理者のコメントが、品質データ入力端末３１に送信され、プロジェクト担当者に通知される。
Then, as described above, if the administrator confirms more detailed contents, and determines that it is necessary to contact the developer in charge of the project with the quality evaluation results and request confirmation and countermeasures, quality control A “mail creation button” on the quality evaluation result list screen shown in FIG. 5 displayed on the terminal 41 is pressed to instruct the
＜品質評価サーバ＞
品質評価サーバ１は、上述したようにネットワークＮ上に接続された一般的なサーバコンピュータにて構成されており、品質データ入力端末３１，３２等及び品質管理端末４１と相互にデータ通信可能な状態になっている。
<Quality evaluation server>
The
そして、この品質評価サーバ１の演算部であるＣＰＵ及び記憶部であるハードディスク（ＲＯＭ，ＲＡＭ等を含む）は、以下の構成となっている。まず、ハードディスクには、予め品質評価サーバ１を下記のように機能させるようＣＰＵに各処理部を構築する品質評価用プログラムが記憶されている。そして、このプログラムがＣＰＵに組み込まれることで、当該ＣＰＵには、主に以下に説明する処理部が構築される。
The CPU that is the calculation unit of the
まず、品質評価サーバ１のＣＰＵには、ネットワークＮを介して接続された品質データ入力端末３１からソフトウェア開発プロジェクト毎の予め定められた品質項目における品質データの入力を受け付けてこれをハードディスク内に構築される品質実績データベース２１（品質データ記憶手段）にソフトウェア開発プロジェクト毎に登録する品質データ登録処理部１１（品質データ入力受付手段）が構築される。この処理部１１は、具体的には、図２に示す品質データ入力画面を品質データ入力端末３１に送信し、かかる画面上に入力される入力欄に、プロジェクト毎のプロジェクト名、各開発工程で発見された欠陥数、作成された設計書の頁数、設計書のレビュー工数、ソースコードの行数、テスト項目数の実績値などを受け付けて、品質実績データベースに格納しておく。なお、他のプロジェクトの品質データ入力端末３２から入力を受け付けた場合にも同様に、プロジェクト毎に各データを格納しておく。
First, the CPU of the
また、品質評価サーバ１のＣＰＵには、後述する品質評価処理部１３にてソフトウェア開発プロジェクト毎の品質を評価する際に用いるパラメータ（評価基準データ）を、品質実績データベース２１内の複数のプロジェクトにおける品質データを用いて計算する品質評価パラメータ計算処理部１２（評価基準データ算出手段）が構築されている。そして、この算出したパラメータをハードディスクに構築されたパラメータファイル（評価基準データ記憶手段）に格納しておく。なお、この品質評価パラメータ計算処理部１２は、予め設定された時間間隔毎に作動してもよく、あるいは、上述したように、品質管理端末４１からの要求があったときに作動して、品質評価を行う際に用いるパラメータを算出する。
The CPU of the
ここで、上記品質評価パラメータ計算処理部１２の機能についてさらに詳述する。この処理部１２で算出されるパラメータとしては、まず、ＴＨｘＲ０、ＴＨｘＲ１、ＴＨｘＴ０、ＴＨｘＴ１、ＴＨｘＢ０、ＴＨｘＢ１があり、これらの算出は以下の方法にて行う。
Here, the function of the quality evaluation parameter
まず、Ｂｘをプロジェクトのｘ工程で発見された欠陥数、Ｄｘをｘ工程でレビューした設計書頁数、Ｒｘをｘ工程で実施したレビューの工数、ＢＣＤを製造工程で発見された欠陥数、Ｋをソースコード行数、Ｔｘをｘ工程で実施したテストのテスト項目数とする。ここで、ｘ工程とは、上記（１）〜（８）で示した各プロジェクトの各開発工程を差す。 First, B x is the number of defects found in the x process of the project, D x is the number of design document pages reviewed in the x process, R x is the number of man-hours in the review performed in the x process, and B CD is found in the manufacturing process The number of defects, K is the number of source code lines, and Tx is the number of test items of the test performed in the x process. Here, the x process refers to each development process of each project shown in the above (1) to (8).
そして、Ｒｘ／Ｄｘ，Ｒｘ／Ｋ，Ｔｘ／Ｋ，を計算してそれぞれの平均値と標準偏差を求める。この平均値と標準偏差を用いて、上記各値の上限（ＴＨｘＲ１，ＴＨｘＴ１）及び下限（ＴＨｘＲ０，ＴＨｘＴ０）を以下の式を用いて計算する。なお、製造工程における（ＴＨＣＤＲ０，ＴＨＣＤＴ０）及び（ＴＨＣＤＲ０，ＴＨＣＤＴ０）も同様である。 Then, R x / D x , R x / K, and T x / K are calculated to obtain respective average values and standard deviations. Using the average value and the standard deviation, the upper limit (THxR1, THxT1) and the lower limit (THxR0, THxT0) of each value are calculated using the following equations. The same applies to (TH CD R0, TH CD T0) and (TH CD R0, TH CD T0) in the manufacturing process.
次に、Ｂｘ／Ｄｘ，Ｂｘ／Ｋ を計算し、それぞれの数値を一度対数変換し、変換後の数値の平均値と標準偏差を求める。この平均値と標準偏差を用いて、上記各値の上限（ＴＨｘＢ１）と下限（ＴＨｘＢ０）を以下の式を用いて計算する。 Next, Bx / Dx , Bx / K are calculated, each numerical value is logarithmically converted, and an average value and a standard deviation of the converted numerical values are obtained. Using the average value and the standard deviation, the upper limit (THxB1) and the lower limit (THxB0) of each value are calculated using the following equations.
また、パラメータ「ＴＨＳＩＮ」の値も算出する。まず、品質実績データベース２１内の各プロジェクトの各開発工程の欠陥数を用いて、システム運用開始時点における残存欠陥数の割合を予測する。この予測は、各開発工程の欠陥数を用いて、以下の数５式中のａの値を求めることに相当する。
Also, the value of the parameter “THSIN” is calculated. First, the ratio of the number of remaining defects at the start of system operation is predicted using the number of defects in each development process of each project in the
ここで、ｔは、上述した各工程の番号（１）〜（８）に相当する。すなわち、基本設計工程は（１）、機能設計工程は（２）、詳細設計工程は（３）、製造工程は（４）、単体テスト工程は（５）、結合テスト工程は（６）、総合テスト工程は（７）、運用テスト工程は（８）であり、さらに、システム運用開始時点は（９）である。また、Ｈ（ｔ）は累積欠陥数を表し、Ｈ（１）は基本設計工程の欠陥数、Ｈ（２）は基本設計工程と機能設計工程の欠陥数の合計、Ｈ（３）は基本設計工程から詳細設計工程までの欠陥数の合計、Ｈ（８）は基本設計工程から運用テスト工程までの欠陥数の合計を表す。このＨ（１）からＨ（８）を用いて、式１のパラメータａ，ｂ，ｃを最尤法を用いて計算する。この求めたａ，ｂ，ｃを数５式に設定し、数６式を用いて残存欠陥予測を行う。
Here, t corresponds to the numbers (1) to (8) of the respective steps described above. That is, the basic design process is (1), the functional design process is (2), the detailed design process is (3), the manufacturing process is (4), the unit test process is (5), the integration test process is (6), and the comprehensive test The process is (7), the operation test process is (8), and the system operation start time is (9). H (t) represents the cumulative number of defects, H (1) is the number of defects in the basic design process, H (2) is the total number of defects in the basic design process and the functional design process, and H (3) is the basic design. The total number of defects from the process to the detailed design process, and H (8) represents the total number of defects from the basic design process to the operation test process. Using these H (1) to H (8), the parameters a, b, and c in
上述のようにして求めた各プロジェクト毎の残存欠陥予測を、品質データとして品質実績データベースに格納する。そして、全てのプロジェクトについての残存欠陥予測を読み出して、平均値と標準偏差を計算し、上記数１式を用いて上限を計算し、この上限をＴＨＳＩＮとする。なお、上記残存欠陥予測は、品質評価の算出時に求められたものを用いてもよい。このようにして求めた上記各パラメータを、パラメータファイル２２に記憶する。
The residual defect prediction for each project obtained as described above is stored as quality data in the quality record database. Then, the residual defect predictions for all projects are read out, the average value and the standard deviation are calculated, the upper limit is calculated using the
また、品質評価サーバ１のＣＰＵには、上記品質実績データベース２１に記憶された所定のソフトウェア開発プロジェクトの品質データを読み出して、当該ソフトウェア開発プロジェクトの品質評価をパラメータファイル２２に記憶された各パラメータに基づいて算出する品質評価処理部１３（品質評価手段）が構築されている。
Further, the CPU of the
具体的に、品質評価処理部１３は、評価対象となるプロジェクトの各開発工程毎の欠陥数の評価と、当該プロジェクトであるシステム運用開始後の残存欠陥予測の評価と、を行う。そして、開発工程ごとの欠陥数の評価は、基本設計工程（ＢＤ）、機能設計工程（ＦＤ）、詳細設計工程（ＤＤ）については、図８に基づいて行われる。すなわち、図８に示すように、上記Ｂｘ／Ｄｘの値と、上述した各パラメータの上限・下限との関係から、当該関係に応じて予め定められた評価結果が算定される。さらに詳述すると、図８に示す表は、各開発工程で実施した欠陥除去の活動が適切であったかどうかを判断するための表であり、所定のソフトウェア開発プロジェクトの品質データに基づく値とパラメータとの関係により該当する表内の記述が品質評価の結果になる。また、製造工程（ＣＤ）については図９に基づいて行われる。さらに、単体テスト工程（ＵＴ）、結合テスト工程（ＩＴ）、総合テスト工程（ＳＴ）、運用テスト工程（ＲＴ）については、図１０に基づいて行われる。なお、図９，図１０に示す表の説明については図８と同様である。そして、品質評価処理部１３は、上記評価結果を算出後に、このプロジェクトごとの各開発工程の品質評価結果を品質評価データベース２３に登録する。
Specifically, the quality
また、この品質評価処理部１３では、システム運用開始後の残存欠陥予測の評価結果も算出されるが、以下のようにして行われる。まず、上述したように、数５式及び数６式にて算出された各プロジェクト毎の残存欠陥予測を品質実績データベース２１から読み出す。また、これと同時に、パラメータファイル２２から、上述したように算出した「ＴＨＳＩＮ」の値を読み出す。このとき、残存欠陥予測は当該処理部にて上記数式に基づいて算出されてもよい。そして、各プロジェクトの残存欠陥予測である数６式の数値が、以下の数７式の条件を満たす場合には、残存欠陥数は十分小さいと判断する。
Further, the quality
その後、品質評価処理部１３は、算出したプロジェクトごとの残存欠陥予測の結果を品質評価データベース２３に登録する。
Thereafter, the quality
また、品質評価サーバ１のＣＰＵには、開発工程ごとの品質評価の結果と全開発工程の欠陥数を用いて行う残存欠陥数の予測結果から、品質評価結果の画面を生成し品質管理端末４１に送信する品質評価結果画面処理部１４が構築されている。この処理部１４は、特に、品質評価処理部１３による品質評価がパラメータの値からはずれているなど、予め定められた許容範囲を収まらずにある基準を満たしていないと判断された場合に、当該品質評価結果（例えば、図５に示すもの）を品質管理端末４１に対して送信する（品質結果出力手段）。但し、この品質評価結果画面処理部１４は、評価結果の内容に関わらず、評価を行った後に必ず品質管理端末４１に評価結果を送信してもよい。また、評価結果は単に品質評価サーバ１のディスプレイ上に表示されるのみでもよい。
The
また、この品質評価結果画面処理部１４は、評価結果のみならず、上述した図４〜図７に示すような画面データを生成して、これを品質管理端末４１にネットワークを介して送信し、当該端末４１に表示するよう作動する。すなわち、品質管理端末４１に対して上述したパラメータを表示する画面を表示したり、これに対する修正指示を受けることも行う。また、図７に示すように、評価結果を表示した画面上に入力される管理者からのコメントデータをも受け付ける機能を有する。かかる場合には、コメントデータや評価結果のデータを後述するメール送信処理部１５に通知する。
The quality evaluation result screen processing unit 14 generates not only the evaluation result but also the screen data as shown in FIGS. 4 to 7 described above, and transmits this to the
また、品質評価サーバ１のＣＰＵには、品質評価結果と品質管理担当者からのコメントをメールにして、ネットワークＮを経由してプロジェクトに対して、すなわち、当該プロジェクトに携わる開発担当者の品質データ入力端末３１に送信する、メール送信処理部１５が構築されている。
The CPU of the
＜動作＞
次に、上記構成の本システムの動作について、図１１乃至図１４を参照して説明する。図１１は、品質評価サーバ１の動作を示すフローチャートである。図１２乃至図１４は、システム全体の動作を示すシーケンス図である。
<Operation>
Next, the operation of the system configured as described above will be described with reference to FIGS. FIG. 11 is a flowchart showing the operation of the
まず、図１１及び図１２を参照して、品質評価サーバ１がプロジェクトの品質データを記憶する際の動作を説明する（図１１の符号Ｔ１）。特定のソフトウェア開発プロジェクトの担当者が品質データ入力端末３１にて品質評価サーバ１にアクセスすると（ステップＡ１）、品質評価サーバ１は品質データ入力端末３１に品質データ入力画面を送信する（ステップＡ２）。そして、品質データ入力端末３１では品質データ入力画面を表示し（ステップＡ３、図２参照）、これにプロジェクトの品質データを入力して送信ボタンを押下することにより、入力した品質データを品質評価サーバ１に送信する（ステップＡ４）。そして、品質評価サーバ１は、品質データを受信し（図１１のステップＳ１）、品質実績データベース２１に登録する（ステップＡ５、図１１のステップＳ２）。また、上記品質データの登録が複数のソフトウェア開発プロジェクトから、すなわち、異なるプロジェクトの担当者から行われ、これにより、品質実績データベース２１には、複数のプロジェクトの品質データ入力画面に示された項目の品質データ全てが登録される。
First, the operation when the
次に、図１１及び図１３を参照して、品質評価サーバ１がパラメータを算出する時の動作を説明する（図１１の符号Ｔ２）。なお、図１３では、品質管理端末４１からパラメータ計算指示があったときにパラメータの計算を行う場合の動作を説明しているが、品質評価サーバ１にて一定時間が経過すると定期的に行われてもよい（図１１のステップＳ３参照）。
Next, an operation when the
まず、管理者は、品質評価で用いるパラメータを設定するために、品質管理端末４１にて品質評価サーバ１にネットワークＮ経由で接続する（ステップＢ１）。これに対して品質評価サーバ１は、品質管理画面（図３参照）を品質管理端末４１に送信する（ステップＢ２）。そして、品質管理端末４１は品質管理画面を表示し（ステップＢ３）、管理者は、図３に示す品質評価パラメータ計算ボタンを押すことによって、品質評価サーバ１にパラメータ計算の指示を出す（ステップＢ４、図１１のステップＳ３にて肯定判断）。品質評価サーバ１は、品質評価パラメータ計算処理部１２で、品質実績データベース２１から全てのプロジェクトの品質データを読み出し、品質評価のパラメータを計算する（ステップＢ５、図１１にてステップＳ４）。ここで、パラメータは、上述したように、ＴＨｘＲ０、ＴＨｘＲ１、ＴＨｘＴ０、ＴＨｘＴ１、ＴＨｘＢ０、ＴＨｘＢ１と、ＴＨＳＩＮがある。そして、算出手法も上述した通りである。
First, the administrator connects to the
続いて、各パラメータを上述した算出手法にて自動的に計算し、その結果を図４に示す品質評価パラメータ画面に設定し、品質管理端末４１に送信する（ステップＢ６）。品質管理端末４１では、受信した品質評価パラメータ画面を表示し（ステップＢ７）、管理者が確認し、必要に応じてパラメータの修正を行い、送信ボタンを押す。これによって、パラメータの修正を品質評価サーバ１に通知することができる（ステップＢ８）。また、品質評価サーバ１は、品質管理端末４１から受信したパラメータをパラメータファイル２２に登録する（ステップＢ９）。なお、パラメータの修正がない場合には、ステップＢ５にて算出したパラメータをそのままパラメータファイル２２に登録する（図１１のステップＳ５）。
Subsequently, each parameter is automatically calculated by the above-described calculation method, and the result is set in the quality evaluation parameter screen shown in FIG. 4 and transmitted to the quality management terminal 41 (step B6). In the
次に、図１１及び図１４を参照して、品質評価サーバ１が各プロジェクトの品質評価結果を算出する時の動作を説明する（図１１の符号Ｔ３）。まず、組織の品質管理部門等の管理者は、各プロジェクトの品質を評価するために、品質管理端末４１にて品質評価サーバ１に接続する（ステップＣ１）。すると、品質評価サーバ１は品質管理画面（図３参照）を品質管理端末４１に送信し（ステップＣ２）、品質管理端末４１は受信した品質管理画面を表示する（ステップＣ３）。管理者は、品質評価の実行のために、品質管理端末４１に表示された画面（図３）の品質評価実行ボタンを押下し、品質評価サーバ１に品質評価の実行を指示する（ステップＣ４、図１１のステップＳ６）。
Next, the operation when the
すると、品質評価サーバ１は、品質実績データベース２１から各プロジェクトの品質データを、またパラメータファイル２２から品質評価に必要なパラメータを読み出し（ステップＣ５）、プロジェクトの開発工程ごとの品質を評価する（ステップＣ６）。このとき、評価結果は、上述したように、図８乃至図１０に示すような表に基づいて行う。そして、品質評価サーバ１は、このプロジェクトごとの各開発工程の品質評価結果を品質評価データベース２３に登録する。また、このプロジェクトごとの残存欠陥予測の結果を算出し、品質評価データベース２３に登録する。このようにして品質評価の算出を行う（図１１のステップＳ７，Ｓ８）。なお、品質評価サーバ１による品質評価処理は、一定の時間間隔毎に自動的に実行されてもよい。
Then, the
続いて、品質評価サーバ１は、品質評価の結果を品質管理端末４１に送信するために、品質評価結果画面処理部１４で品質評価データベース２３から品質評価結果を読み出す。そして、品質評価結果リスト画面（図４参照）を生成し、品質管理端末４１に送信する（ステップＣ７、図１１のステップＳ９）。これを受けた品質管理端末４１は、品質評価結果リスト画面（図４）を表示し（ステップＣ８）、管理者は内容を確認する。ここで、評価結果の送信は、算出した評価結果が予め定められた判断基準を満たさない場合、すなわち、評価結果が望ましくない場合にのみ行われてもよい。
Subsequently, the
その後、管理者が、プロジェクトの詳細な品質評価結果をさらに詳細に確認する必要があると判断した場合は、確認したいプロジェクトの品質評価結果リスト画面（図４）の詳細確認ボタンを押し、品質評価サーバ１に品質評価結果の送信を指示する（ステップＣ９）。すると、品質評価サーバ１は、品質評価結果画面処理部１４で品質管理端末４１から指示されたプロジェクトのみの品質評価結果を品質評価データベース２３から読み出し、品質評価結果画面（図５参照）を生成して、品質管理端末４１に送信する（ステップＣ１０）。これを受けて、品質管理端末４１は、品質評価結果画面（図５）を表示し（ステップＣ１１）、管理者が内容を確認する。
After that, if the administrator determines that it is necessary to confirm the detailed quality evaluation result of the project in more detail, press the detail confirmation button on the quality evaluation result list screen (Fig. 4) of the project to be confirmed, and quality evaluation The
このとき、管理者はプロジェクト（開発担当者等）に対して品質評価結果を連絡して当該プロジェクトに確認と対処を依頼する必要があると判断した場合は、品質評価結果リスト画面（図４）のメール作成ボタンを押し、品質評価サーバ１にメール作成画面の送信の指示を出す(ステップＣ１２)。この指示によって、品質評価サーバ１はメール作成画面（図７）を品質管理端末４１に送信する（ステップＣ１３）。品質管理端末４１は、メール作成画面（図７）を表示し（ステップＣ１４）、メール送信が必要なプロジェクトについてメール作成画面のメール送信の欄に印をつけ、コメントの欄に品質管理担当者の意見や依頼事項を記述して、メール送信ボタンを押すことによって、品質評価サーバ１にメール送信の指示を出す（ステップＣ１５）。これを受けた品質評価サーバ１は、メール送信処理部１５で、プロジェクトに対し品質評価結果と管理者のコメントを用いてメールを作成し、該当するプロジェクトに、すなわち、当該プロジェクトの担当者の端末（例えば、品質データ入力端末３１）に送信する（ステップＣ１６）。
At this time, if the administrator determines that it is necessary to contact the project (developer, etc.) with the quality evaluation result and ask the project for confirmation and countermeasure, the quality evaluation result list screen (FIG. 4) The mail creation button is pressed to instruct the
このようにすることにより、本発明では、管理者は、プロジェクトの品質評価の結果を、開発工程単位に確認することができるので、プロジェクトの早期の段階から開発工程ごとに品質状況を把握することができる。また、プロジェクトの欠陥数からシステム運用開始時点の残存欠陥を予測し、運用開始してもよいかどうかを判断できるため、残存欠陥数が多い場合は、テストを追加して実施する等の対策を運用開始前に行うことができる。 In this way, in the present invention, the administrator can confirm the result of the quality evaluation of the project for each development process, and therefore grasps the quality status for each development process from the early stage of the project. Can do. In addition, since it is possible to predict the remaining defects at the start of system operation from the number of defects in the project and determine whether the operation can be started, if the number of remaining defects is large, take measures such as adding tests. This can be done before the operation starts.
また、プロジェクトは、様々な特性を持っており、その特性によって、各開発工程の欠陥の現れ方も異なる。例えば、開発の上流工程（基本設計工程から製造工程）で多くの欠陥を発見することができるプロジェクトは、上流工程の欠陥数は上限よりも数が大きく、また下流工程（単体テスト工程から運用テスト工程）の欠陥数は下限よりも数が小さい場合がある。従来までの方法では、開発工程ごとに品質を評価するため、上限あるいは下限の範囲外になり、品質評価の結果は悪くなる場合がある。しかし、本発明では、この場合は、残存欠陥予測は良い結果になるため、品質が悪いという判断にはならない。このように開発工程ごとの品質評価と全ての開発工程を通じての全体的な品質評価を同時に実施することができるので、判断の誤りを少なくすることができる。また、残存欠陥予測の結果が悪い場合（上限を超える場合）は、どの開発工程の評価がどのように悪いかが示されているので品質向上に向けてプロジェクトの対策を検討し易くなる。 In addition, the project has various characteristics, and the appearance of defects in each development process varies depending on the characteristics. For example, in a project that can find many defects in the upstream process of development (from basic design process to manufacturing process), the number of defects in the upstream process is larger than the upper limit, and in the downstream process (unit test process to operational test process) ) May be smaller than the lower limit. In the conventional methods, the quality is evaluated for each development process, and therefore the result is out of the upper limit or lower limit, and the quality evaluation result may be deteriorated. However, according to the present invention, in this case, since the residual defect prediction is a good result, it cannot be judged that the quality is bad. In this way, quality evaluation for each development process and overall quality evaluation through all development processes can be performed at the same time, so that errors in judgment can be reduced. In addition, when the residual defect prediction result is bad (when the upper limit is exceeded), it is indicated how bad the development process is evaluated, so it becomes easy to examine the countermeasures of the project for quality improvement.
また、品質評価の結果は、品質管理担当者のコメントをつけてプロジェクトの開発担当者等にメールにて通知されるので、品質管理担当者が問題を発見した段階で直ちにプロジェクトに調査および対策の実施を依頼することが可能になる。 In addition, the quality evaluation results are sent to the project development staff by e-mail with comments from the quality control staff, so immediately when the quality management staff discovers a problem, the project immediately investigates and takes countermeasures. It becomes possible to request implementation.
さらに、組織のプロジェクトの品質データに基づいて、品質評価のパラメータを自動的に計算し、この結果を見て品質管理担当者がパラメータを修正することが可能なので、組織全体の品質を向上させるためにパラメータを修正することが可能である。 In addition, the quality evaluation parameters are automatically calculated based on the quality data of the organization's project, and the quality control personnel can modify the parameters by looking at the results, so that the quality of the entire organization can be improved. It is possible to modify the parameters.
本発明は、ソフトウェア開発プロジェクトの品質を評価し、当該品質の向上を図るシステムとして、会社内などのシステムに組み込むことが可能であり、産業上の利用可能性を有する。 The present invention can be incorporated into a system such as a company as a system for evaluating the quality of a software development project and improving the quality, and has industrial applicability.
１ 品質評価サーバ
１１ 品質データ登録処理部（入力受付手段）
１２ 品質評価パラメータ計算処理部（評価基準データ算出手段）
１３ 品質評価処理部（品質評価手段）
１４ 品質評価結果画面処理部（品質結果出力手段）
１５ メール送信処理部
２１ 品質実績データベース（品質データ記憶手段）
２２ パラメータファイル（評価基準データ記憶手段）
２３ 品質評価データベース
３１，３２ 品質データ入力端末（入力手段）
４１ 品質管理端末（品質結果出力手段）
Ｎ ネットワーク
1 Quality Evaluation Server 11 Quality Data Registration Processing Unit (Input Accepting Unit)
12 Quality evaluation parameter calculation processing unit (evaluation standard data calculation means)
13 Quality evaluation processing section (quality evaluation means)
14 Quality evaluation result screen processing unit (quality result output means)
15 Mail
22 Parameter file (Evaluation criteria data storage means)
23
41 Quality control terminal (quality result output means)
N network
Claims (8)
入力された品質データをソフトウェア開発プロジェクト毎に記憶する品質データ記憶手段と、
前記ソフトウェア開発プロジェクト毎の品質を評価する際に用いる評価基準データを記憶する評価基準データ記憶手段と、
前記品質データ記憶手段に記憶された複数のソフトウェア開発プロジェクトの品質データに基づいて予め定められた算出ルールにて前記評価基準データを算出し、当該算出された評価基準データを前記評価基準データ記憶手段に記憶する評価基準データ算出手段と、
前記品質データ記憶手段に記憶された所定のソフトウェア開発プロジェクトの品質データを読み出して、当該ソフトウェア開発プロジェクトの品質評価を前記評価基準データ記憶手段に記憶された評価基準データに基づいて算出する品質評価手段と、
を備えたことを特徴とするソフトウェア品質評価システム。 Input means for inputting quality data in a predetermined quality item for each software development project;
Quality data storage means for storing the input quality data for each software development project;
Evaluation criteria data storage means for storing evaluation criteria data used when evaluating the quality of each software development project;
The evaluation reference data is calculated according to a predetermined calculation rule based on quality data of a plurality of software development projects stored in the quality data storage means, and the calculated evaluation reference data is used as the evaluation reference data storage means. Evaluation criteria data calculation means stored in
Quality evaluation means for reading quality data of a predetermined software development project stored in the quality data storage means and calculating a quality evaluation of the software development project based on the evaluation reference data stored in the evaluation reference data storage means When,
A software quality evaluation system characterized by comprising
前記評価基準データ算出手段は、前記各ソフトウェア開発プロジェクトの各開発工程毎の品質を評価する際に用いる評価基準データを算出して前記評価基準データ記憶手段に記憶し、
前記品質評価手段は、前記所定のソフトウェア開発プロジェクトの各開発工程毎の品質評価を算出する、
ことを特徴とする請求項１又は２記載のソフトウェア品質評価システム。 The quality data is quality data in a predetermined quality item for each predetermined development process of each software development project,
The evaluation standard data calculating means calculates evaluation standard data used when evaluating the quality of each development process of each software development project and stores the evaluation standard data in the evaluation standard data storage means,
The quality evaluation means calculates a quality evaluation for each development process of the predetermined software development project;
The software quality evaluation system according to claim 1 or 2, characterized in that
前記品質評価手段は、前記所定のソフトウェア開発プロジェクトにおける各開発工程毎の欠陥数に基づいて当該各開発工程毎の品質評価を行うと共に、当該各開発工程毎の欠陥数に基づいて前記所定のソフトウェア開発プロジェクト全体において残存する欠陥数の評価を行うことにより当該プロジェクト全体の品質評価を行う、ことを特徴とする請求項４記載のソフトウェア品質評価システム。 The quality data includes the number of defects for each development process in each software development project,
The quality evaluation unit performs quality evaluation for each development process based on the number of defects for each development process in the predetermined software development project, and the predetermined software based on the number of defects for each development process. 5. The software quality evaluation system according to claim 4, wherein the quality evaluation of the entire project is performed by evaluating the number of defects remaining in the entire development project.
入力された品質データをソフトウェア開発プロジェクト毎に記憶する品質データ記憶手段と、
前記ソフトウェア開発プロジェクト毎の品質を評価する際に用いる評価基準データを記憶する評価基準データ記憶手段と、
前記品質データ記憶手段に記憶された複数のソフトウェア開発プロジェクトの品質データに基づいて予め定められた算出ルールにて前記評価基準データを算出し、当該算出された評価基準データを前記評価基準データ記憶手段に記憶する評価基準データ算出手段と、
前記品質データ記憶手段に記憶された所定のソフトウェア開発プロジェクトの品質データを読み出して、当該ソフトウェア開発プロジェクトの品質評価を前記評価基準データ記憶手段に記憶された評価基準データに基づいて算出する品質評価手段と、
を備えたことを特徴とするソフトウェア品質評価サーバ。 Input receiving means for receiving external input of quality data in a predetermined quality item for each software development project;
Quality data storage means for storing the input quality data for each software development project;
Evaluation criteria data storage means for storing evaluation criteria data used when evaluating the quality of each software development project;
The evaluation reference data is calculated according to a predetermined calculation rule based on quality data of a plurality of software development projects stored in the quality data storage means, and the calculated evaluation reference data is used as the evaluation reference data storage means. Evaluation criteria data calculation means stored in
Quality evaluation means for reading quality data of a predetermined software development project stored in the quality data storage means and calculating a quality evaluation of the software development project based on the evaluation reference data stored in the evaluation reference data storage means When,
A software quality evaluation server characterized by comprising:
前記コンピュータが、ソフトウェア開発プロジェクト毎の予め定められた品質項目における品質データの外部からの入力を受け付け、当該入力された品質データをソフトウェア開発プロジェクト毎に記憶する品質データ受付工程と、
前記コンピュータが、前記記憶された複数のソフトウェア開発プロジェクトの品質データに基づいて予め定められた算出ルールにてソフトウェア開発プロジェクト毎の品質を評価する際に用いる評価基準データを算出し、当該算出された評価基準データを記憶する評価基準データ算出工程と、
前記コンピュータが、前記所定のソフトウェア開発プロジェクトの品質データを読み出して、当該ソフトウェア開発プロジェクトの品質評価を前記記憶された評価基準データに基づいて算出する品質評価工程と、
を有することを特徴とするソフトウェア品質評価方法。 A method for evaluating the quality of software using a computer,
A quality data receiving step in which the computer receives input from outside of quality data in a predetermined quality item for each software development project, and stores the input quality data for each software development project;
The computer calculates evaluation reference data used when evaluating the quality of each software development project according to a predetermined calculation rule based on the stored quality data of the plurality of software development projects. An evaluation standard data calculation step for storing evaluation standard data;
The computer reads quality data of the predetermined software development project, and calculates a quality evaluation of the software development project based on the stored evaluation standard data; and
A software quality evaluation method characterized by comprising:
ソフトウェア開発プロジェクト毎の予め定められた品質項目における品質データの外部からの入力を受け付ける入力受付手段と、
入力された品質データをソフトウェア開発プロジェクト毎に記憶する品質データ記憶手段と、
前記ソフトウェア開発プロジェクト毎の品質を評価する際に用いる評価基準データを記憶する評価基準データ記憶手段と、
前記品質データ記憶手段に記憶された複数のソフトウェア開発プロジェクトの品質データに基づいて予め定められた算出ルールにて前記評価基準データを算出し、当該算出された評価基準データを前記評価基準データ記憶手段に記憶する評価基準データ算出手段と、
前記品質データ記憶手段に記憶された所定のソフトウェア開発プロジェクトの品質データを読み出して、当該ソフトウェア開発プロジェクトの品質評価を前記評価基準データ記憶手段に記憶された評価基準データに基づいて算出する品質評価手段と、
を実現するためのソフトウェア品質評価用プログラム。
To a computer that performs software quality assessment,
Input receiving means for receiving external input of quality data in a predetermined quality item for each software development project;
Quality data storage means for storing the input quality data for each software development project;
Evaluation criteria data storage means for storing evaluation criteria data used when evaluating the quality of each software development project;
The evaluation reference data is calculated according to a predetermined calculation rule based on quality data of a plurality of software development projects stored in the quality data storage means, and the calculated evaluation reference data is used as the evaluation reference data storage means. Evaluation criteria data calculation means stored in
Quality evaluation means for reading quality data of a predetermined software development project stored in the quality data storage means and calculating a quality evaluation of the software development project based on the evaluation reference data stored in the evaluation reference data storage means When,
Software quality evaluation program to achieve
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004142412A JP2005326953A (en) | 2004-05-12 | 2004-05-12 | Software quality evaluation system and method, and program for evaluating software quality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004142412A JP2005326953A (en) | 2004-05-12 | 2004-05-12 | Software quality evaluation system and method, and program for evaluating software quality |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005326953A true JP2005326953A (en) | 2005-11-24 |
Family
ID=35473282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004142412A Pending JP2005326953A (en) | 2004-05-12 | 2004-05-12 | Software quality evaluation system and method, and program for evaluating software quality |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005326953A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007265141A (en) * | 2006-03-29 | 2007-10-11 | Nec Corp | Device, method and program for refining monitoring items |
| CN102831061A (en) * | 2012-08-28 | 2012-12-19 | 盛科网络（苏州）有限公司 | System testing method based on scattered points |
| CN103279831A (en) * | 2013-06-27 | 2013-09-04 | 李岩 | Method for achieving management system for evaluating software test quality and development capacity |
| CN103345443A (en) * | 2013-06-20 | 2013-10-09 | 哈尔滨工程大学 | Estimation method for mobile points of software reliability growth model |
| CN103745309A (en) * | 2013-12-26 | 2014-04-23 | 苏州科技学院 | Rural-urban integrated performance evaluation technology and software system |
| CN103870898A (en) * | 2012-12-11 | 2014-06-18 | 镇江京江软件园有限公司 | Task decomposition method based on outsourcing service |
| CN104133766A (en) * | 2014-07-11 | 2014-11-05 | 西安交通大学 | Software system maintainability evaluation and promotion method based on multi-objective community detection |
| JP5793228B1 (en) * | 2014-08-22 | 2015-10-14 | 三菱電機インフォメーションシステムズ株式会社 | Defect number prediction apparatus and defect number prediction program |
| CN105023119A (en) * | 2015-08-19 | 2015-11-04 | 安徽继远软件有限公司 | Method for evaluating reliability of data assets |
| CN105389250A (en) * | 2014-09-05 | 2016-03-09 | 北京畅游天下网络技术有限公司 | Method and system for tracking software quality |
| WO2021140542A1 (en) * | 2020-01-06 | 2021-07-15 | 三菱電機株式会社 | Machine-learning device, design review verification device, and machine-learning method |
| CN113377642A (en) * | 2021-06-28 | 2021-09-10 | 中国西安卫星测控中心 | Software quality evaluation method based on product line development |
-
2004
- 2004-05-12 JP JP2004142412A patent/JP2005326953A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007265141A (en) * | 2006-03-29 | 2007-10-11 | Nec Corp | Device, method and program for refining monitoring items |
| CN102831061A (en) * | 2012-08-28 | 2012-12-19 | 盛科网络（苏州）有限公司 | System testing method based on scattered points |
| CN103870898A (en) * | 2012-12-11 | 2014-06-18 | 镇江京江软件园有限公司 | Task decomposition method based on outsourcing service |
| CN103345443A (en) * | 2013-06-20 | 2013-10-09 | 哈尔滨工程大学 | Estimation method for mobile points of software reliability growth model |
| CN103279831A (en) * | 2013-06-27 | 2013-09-04 | 李岩 | Method for achieving management system for evaluating software test quality and development capacity |
| CN103745309A (en) * | 2013-12-26 | 2014-04-23 | 苏州科技学院 | Rural-urban integrated performance evaluation technology and software system |
| CN104133766A (en) * | 2014-07-11 | 2014-11-05 | 西安交通大学 | Software system maintainability evaluation and promotion method based on multi-objective community detection |
| JP5793228B1 (en) * | 2014-08-22 | 2015-10-14 | 三菱電機インフォメーションシステムズ株式会社 | Defect number prediction apparatus and defect number prediction program |
| CN105389250A (en) * | 2014-09-05 | 2016-03-09 | 北京畅游天下网络技术有限公司 | Method and system for tracking software quality |
| CN105023119A (en) * | 2015-08-19 | 2015-11-04 | 安徽继远软件有限公司 | Method for evaluating reliability of data assets |
| WO2021140542A1 (en) * | 2020-01-06 | 2021-07-15 | 三菱電機株式会社 | Machine-learning device, design review verification device, and machine-learning method |
| JPWO2021140542A1 (en) * | 2020-01-06 | 2021-07-15 | ||
| JP7204012B2 (en) | 2020-01-06 | 2023-01-13 | 三菱電機株式会社 | machine learning device, design review verification device, machine learning method |
| CN113377642A (en) * | 2021-06-28 | 2021-09-10 | 中国西安卫星测控中心 | Software quality evaluation method based on product line development |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11645191B2 (en) | Review process for evaluating changes to target code for a software-based product | |
| US20040260593A1 (en) | System and user interface supporting workflow operation improvement | |
| JP4690133B2 (en) | Insurance sales support method, program and apparatus | |
| KR100970851B1 (en) | System construction guide system | |
| JP5002963B2 (en) | Factor estimation device, factor estimation program, recording medium storing factor estimation program, and factor estimation method | |
| JP2011008375A (en) | Apparatus and method for supporting cause analysis | |
| JP5614843B2 (en) | Integrated software design and operation management system | |
| JP2005326953A (en) | Software quality evaluation system and method, and program for evaluating software quality | |
| JP2007109056A (en) | Component management system, method, and program | |
| JP6478267B2 (en) | Organization improvement activity support device, organization improvement activity support method, and organization improvement activity support program | |
| Rigger et al. | A top-down method for the derivation of metrics for the assessment of design automation potential | |
| JP2011145996A (en) | Reviewer evaluation apparatus, reviewer evaluation method and program | |
| JP2011145982A (en) | System, method, and program for managing development process evaluation | |
| JP2006235872A (en) | Project management apparatus | |
| JP2012014308A (en) | Method and device for predicting influence of change | |
| Moyo et al. | A metasynthesis of solo software development methodologies | |
| JP2010009153A (en) | Design support system, design support device, design support program and recording medium recording same program | |
| JP2008129973A (en) | Service management device | |
| Zhong et al. | Bottleneck analysis to reduce primary care to specialty care referral delay | |
| JP2010033530A (en) | Design support system, design support device, design support program and recording medium recording the program | |
| JP2007072715A (en) | Maturity evaluation system for information technology service | |
| JP2006018735A (en) | Coding standard observance situation monitoring system | |
| JP2004157848A (en) | Action evaluation system and action evaluation program | |
| WO2023112203A1 (en) | Information processing device, information processing method, and program | |
| JP4259970B2 (en) | Maintenance management support system, method thereof, program thereof, and recording medium recording the program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080304 |