JP7034334B2 - Test equipment and development support equipment - Google Patents
Test equipment and development support equipment Download PDFInfo
- Publication number
- JP7034334B2 JP7034334B2 JP2020562382A JP2020562382A JP7034334B2 JP 7034334 B2 JP7034334 B2 JP 7034334B2 JP 2020562382 A JP2020562382 A JP 2020562382A JP 2020562382 A JP2020562382 A JP 2020562382A JP 7034334 B2 JP7034334 B2 JP 7034334B2
- Authority
- JP
- Japan
- Prior art keywords
- test
- information
- project
- error prediction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Description
本発明は、対象装置を試験する試験装置、及び、開発支援装置に関する。 The present invention relates to a test device for testing a target device and a development support device.
従来の試験装置は、プログラムのソースコードの複雑性及び必要となるリソースを評価し、ソフトウェア全体の品質が向上する最適な試験の組み合わせを探索することにより、対象装置の試験を効率化する（例えば、特許文献１）。 Traditional test equipment streamlines testing of the target equipment by assessing the complexity of the program source code and the resources required and searching for the optimal test combination that improves the overall quality of the software (eg). , Patent Document 1).
従来の試験装置は、ソースコード等に基づく試験、即ちホワイトボックステストを実行することはできるが、要求仕様書等の上流工程での仕様に関わる情報に基づいて試験を行うものではないので、ブラックボックステストを効率化することができない。
更に、従来の試験装置は、試験実施後に、残存すると予測される誤り情報から自動で優先度に応じたリスク分析に基づく最適な対策を提示することができない。Conventional test equipment can perform tests based on source code, that is, white-box tests, but it does not perform tests based on information related to specifications in upstream processes such as requirement specifications, so it is black. Box testing cannot be streamlined.
Further, the conventional test apparatus cannot automatically present the optimum countermeasure based on the risk analysis according to the priority from the error information predicted to remain after the test is performed.
本発明は、上記のような問題点を解決するためになされたものであり、ホワイトボックステストに加えてブラックボックステストも効率化する試験装置を提供する。
更に、本発明は、残存すると予測される誤り情報から、優先度に応じたリスク分析に基づく最適な対策案を自動的にレポートとして生成し、自動試験実施から試験完了後のプロジェクト診断まで中断なく実施する開発支援装置を提供する。The present invention has been made to solve the above-mentioned problems, and provides a test device that improves the efficiency of a black box test in addition to a white box test.
Furthermore, the present invention automatically generates an optimal countermeasure plan based on risk analysis according to priority from error information that is predicted to remain, and automatically generates a report from automatic test implementation to project diagnosis after test completion without interruption. Provide development support equipment to be implemented.
本発明の一態様による試験装置は、処理部を備える。処理部は、試験対象のプロジェクトに関する情報から、前記プロジェクトにおいて試験を行うためのテストシナリオを生成する。処理部は、学習部と、誤り予測情報取得部と、リスク評価部と、テスト項目生成部と、テストケース情報取得／生成部と、テストシナリオ生成部と、を含む。学習部は、入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに対し、機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに格納された、少なくとも既存のプロジェクトに関する情報およびテストシナリオにおける個々の処理を規定する複数のテストケースに関する情報に基づいて、各プロジェクトにおける試験での各前記テストケースが誤りを検出したか否かを学習させる。誤り予測情報取得部は、試験対象のプロジェクトに関する情報を、誤り予測モデルに入力して、各テストケースと対応する各誤り予測情報を取得する。リスク評価部は、取得された誤り予測情報と対応するテストケースによって誤りが検出される見込み度合い及び当該誤りの影響度合いを示すリスク評価値を算出して、誤り予測情報に付加する。テスト項目生成部は、リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する。テストケース情報取得／生成部は、機械学習データベースに含まれるテストケースデータベースから、前記テスト項目情報が含む前記試験の項目に対応するテストケース情報を取得する。テストシナリオ生成部は、取得された前記テストケース情報に基づいて、前記テストシナリオを生成する。 The test apparatus according to one aspect of the present invention includes a processing unit. The processing unit generates a test scenario for conducting a test in the project from the information about the project to be tested. The processing unit includes a learning unit, an error prediction information acquisition unit, a risk assessment unit, a test item generation unit, a test case information acquisition / generation unit, and a test scenario generation unit. The learning unit is a machine learning database that stores various information used in machine learning for an error prediction model that outputs error prediction information including information indicating the probability that the input test case will detect an error. Whether or not each said test case in the test in each project detected an error, based on at least the information about the existing project and the information about multiple test cases that specify the individual actions in the test scenario, stored in. Let them learn. The error prediction information acquisition unit inputs information about the project to be tested into the error prediction model, and acquires each error prediction information corresponding to each test case. The risk assessment unit calculates a risk assessment value indicating the degree of probability that an error will be detected by the acquired error prediction information and the corresponding test case and the degree of influence of the error, and adds it to the error prediction information. The test item generation unit generates test item information indicating the test items to be executed based on the error prediction information to which the risk assessment value is added. The test case information acquisition / generation unit acquires test case information corresponding to the test item included in the test item information from the test case database included in the machine learning database. The test scenario generation unit generates the test scenario based on the acquired test case information.
本発明の試験装置は、ホワイトボックステストに加えてブラックボックステストも効率化することができる。
更に、本発明の開発支援装置は、自動試験実施完了後に各プロジェクト診断のリスクの優先度に応じて最適な対策案を効率的に提示することができる。The test apparatus of the present invention can improve the efficiency of the black box test in addition to the white box test.
Further, the development support device of the present invention can efficiently present the optimum countermeasure plan according to the risk priority of each project diagnosis after the completion of the automatic test implementation.
以下で説明する複数の実施の形態及びその変形例は、それぞれ、特徴的構成を有する。
ある形態における特徴的構成または動作は、他の形態においても適用可能であり、また、本発明は、以下の例示する形態に限定されるものではない。Each of the plurality of embodiments and variations thereof described below has a characteristic configuration.
The characteristic configuration or behavior in one form is also applicable in other forms, and the invention is not limited to the following exemplary forms.
実施の形態１．
１．構成
図１は、実施の形態１に係る試験装置１の構成を示すブロック図である。試験装置１は、試験対象装置２Ａと関連装置２Ｂとの間の、通信プロトコルに基づく動作に関する試験を実行する。試験装置１は、試験対象のプロジェクトについての情報に基づいて、テストシナリオを生成し、テストシナリオに従って試験を実行する。ここでのプロジェクトは、ソフトウェア設計を伴った製品（装置）開発やシステム開発等を行うプロジェクトのことをいう。
1. 1. Configuration Figure 1 is a block diagram showing the configuration of the
試験装置１は、プロセッサ１０と、主記憶部２０と、補助記憶部３０と、表示部４０と、操作部５０と、通信部６０と、を備える。試験装置１は、例えば、パーソナルコンピュータである。
The
プロセッサ１０は、信号線を介して他のハードウェアと接続される。プロセッサ１０は、中央演算処理装置（ＣＰＵ）、ＭＰＵ、ＤＳＰ、ＧＰＵ、マイコン、ＦＰＧＡ、ＡＳＩＣ等で実現できる。プロセッサ１０は、後述する補助記憶部３０に記憶されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、アプリケーションプログラム、種々のデータを読み込んで演算処理を実行することにより、種々の機能を実現する。プロセッサ１０は、後述する機能的構成を含む。当該機能的構成は、ファームウェアにより実現されてもよい。プロセッサ１０は、処理部１０の一例である。プロセッサ１０と、後述する主記憶部２０及び補助記憶部３０と、をまとめたハードウェアを、「プロセッシングサーキットリ」ともいう。
The
主記憶部２０は、揮発性の記憶部である。主記憶部２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で実現できる。主記憶部２０は、試験装置１において使用され、生成され、入出力され、或いは送受信されるデータを一時的に記憶する。
The
補助記憶部３０は、不揮発性の記憶部である。補助記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等で実現できる。補助記憶部３０は、ＯＳ、アプリケーションプログラム、種々のデータを記憶している。ＯＳの少なくとも一部は、主記憶部２０にロードされて、プロセッサ１０によって実行される。
The
補助記憶部３０はさらに、機械学習データベース３１と、機械学習データベース３１に基づいて生成される誤り予測モデル３２も記憶する。以下、データベースを「ＤＢ」という。誤り予測モデル３２は、機械学習モデルのうちの一つを具体化したものである。
なお、機械学習ＤＢ３１は、例えば、外部サーバに格納されて、外部ネットワーク、及び、試験装置１のインタフェース部を介して、試験装置１からアクセスされるように、試験装置１及び機械学習ＤＢ３１が試験システムとして構成されてもよい。The
The machine learning DB 31 is stored in an external server, for example, and the
誤り予測モデル３２は、試験対象のプロジェクトについての情報を含む入力データ３１６が入力されると、試験対象のプロジェクトにて発生し得る誤りに関する情報である誤り予測情報３１２を出力する。誤り予測モデル３２は、機械学習ＤＢ３１に格納される情報によって生成されて、更新される。機械学習ＤＢ３１の詳細は後述する。
When the
表示部４０は、ユーザ操作に従って文字列や画像を表示する。表示部４０は、液晶ディスプレイ、有機ＥＬディスプレイなどで構成される。
The
操作部５０は、キーボード、マウス、テンキーなどで構成される。ユーザは、操作部５０を介して試験装置１を操作する。また、操作部５０は、表示部４０に重畳して配置されて、ユーザのタッチ操作を受け付け可能なタッチパネルを含んでもよい。
The
通信部６０は、試験対象装置２Ａと各種データを送受信する。通信部６０は、レシーバと、トランスミッタと、を備える。レシーバは、試験対象装置２Ａからの各種データを受信する。
トランスミッタは、プロセッサ１０からの各種データを、試験対象装置２Ａに送信する。通信部６０は、通信チップ、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等で実現できる。The
The transmitter transmits various data from the
図２は、補助記憶部３０の機械学習ＤＢ３１に格納される情報を示す図である。機械学習ＤＢ３１は、機械学習で用いられる種々の情報を記憶するデータベースである。即ち、機械学習ＤＢ３１は、テスト実績ＤＢ３０１と、出荷後不具合ＤＢ３０２と、テスト技術ＤＢ３０３と、ドメイン知識ＤＢ３０４と、プロジェクトＤＢ３０５と、を含む。機械学習ＤＢ３１はさらに、テストケースＤＢ３０６と、テストシナリオＤＢ３０７と、ドキュメントＤＢ３０８と、構造化ＤＢ３０９と、教師ありＤＢ３１０と、教師なしＤＢ３１１と、を含む。機械学習ＤＢ３１に格納される情報は、試験データが既に存在する、既存のプロジェクトに関する情報の一例である。
前述のように機械学習ＤＢ３１は、例えば、外部サーバに格納されて、外部ネットワーク、及び、試験装置１のインタフェース部を介して、試験装置１からアクセスされるように、試験装置１及び機械学習ＤＢ３１が試験システムとして構成されてもよい。FIG. 2 is a diagram showing information stored in the
As described above, the
テスト実績ＤＢ３０１は、既存のプロジェクトのテスト実績に関するテスト実績情報３０１Ａを格納する。テスト実績情報３０１Ａは、テストケース番号、試験の工程名、機種名、誤りが検出されたか否か、誤りの内容、誤りが検出された箇所、誤りの原因、シーケンス図、試験ログ等の情報で構成される。誤りは、出荷後不具合の原因となり得る欠陥や設計誤り等のことをいう。テスト実績情報３０１Ａは、後述するテスト結果比較部１１２により自動生成される。本実施の形態において、機種名は、開発中の製品コードであるがこれに限定されない。例えば、機種名は、製品名であってもよい。
The
出荷後不具合ＤＢ３０２は、既存のプロジェクトの出荷後の不具合に関する出荷後不具合情報３０２Ａを格納する。出荷後不具合情報３０２Ａは、システム名、機種名、ソフトウェアのバージョン名、不具合の発生日時、不具合の内容、不具合の原因、不具合の検出密度等の情報で構成される。出荷後不具合情報３０２Ａは、品質保証部門の担当者により手動で入力される。
The
テスト技術ＤＢ３０３は、テスト技術に関するテスト技術情報３０３Ａを格納する。テスト技術情報３０３Ａは、テスト技法名、テスト観点、テストの条件等の情報で構成される。テスト技法名は、例えば、「ホワイトボックステスト」，「ブラックボックステスト」，「境界値分析」，「同値分割」，「ＣＦＤ」，「データフロー」，「デシジョンテーブル」等である。テスト技術情報３０３Ａは、テスト技術者により手動で入力される。
The
ドメイン知識ＤＢ３０４は、既存のプロジェクトの製品分野に関するドメイン知識情報３０４Ａを格納する。ドメイン知識情報３０４Ａは、製品の構成、製品が有する機能、ハードウェア依存等についての情報で構成される。例えば、空調器のプロジェクトにおいて、製品の構成は、「室内機」，「室外機」である。ドメイン知識情報３０４Ａは、既存のプロジェクトの参画技術者により手動で入力される。
The
プロジェクトＤＢ３０５は、既存のプロジェクトに関するプロジェクト情報３０５Ａを格納する。プロジェクト情報３０５Ａは、開発規模、開発期間、開発の進捗状況、開発要員人数、開発手法、流用率、生産性、機種名、機能名、機器のバージョン、担当者名、工程、誤りの検出密度、リスク等の情報で構成される。プロジェクト情報３０５Ａは、プロジェクトの参画技術者により手動で入力される。
The
テストケースＤＢ３０６は、既存のプロジェクトについて実行した試験についてのテストケース情報３０６Ａを格納する。テストケース情報３０６Ａは、テストケース番号、入力値、実行事前条件、期待値、実行事後条件等の情報で構成される。テストケース情報３０６Ａは、後述するテストケース情報取得／生成部１０９により生成される。実行事前条件の情報は、例えば、そのテストケースを実行する前に実行する必要があるテストケースのテストケース番号を含む。期待値は、試験対象装置２Ａが正しく動作した場合の応答信号が示す情報として期待される値である。実行事後条件の情報は、例えば、そのテストケースを実行した後に実行する必要があるテストケースのテストケース番号を含む。
The
テストシナリオＤＢ３０７は、既存のプロジェクトに対して行った試験の内容を時系列で記述したテストシナリオ３０７Ａを格納する。テストシナリオ３０７Ａは、ＤＳＬ（ｄｏｍａｉｎ－ｓｐｅｃｉｆｉｃ ｌａｎｇｕａｇｅ）により記述される。テストシナリオ３０７Ａは、例えば、ＸＭＬ形式のデータである。
The
ドキュメントＤＢ３０８は、設計書、要求仕様書、試験仕様書、ソースコード、状態遷移図、仕様変更情報、シーケンス図等のドキュメント情報３０８Ａを格納する。ここで、ドキュメント情報３０８Ａは、既存のプロジェクトの参画技術者により作成される。また、シーケンス図は、後述するシーケンス図生成部１１３により生成され得る。
The
構造化ＤＢ３０９は、関係モデル（Ｒｅｌａｔｉｏｎａｌ Ｄａｔａ Ｍｏｄｅｌ）に基づいて設計されるデータベースである。構造化ＤＢ３０９には、後述するデータ構造化部１０１により、テスト実績情報３０１Ａ、出荷後不具合情報３０２Ａ、テスト技術情報３０３Ａ、ドメイン知識情報３０４Ａ、プロジェクト情報３０５Ａの内容が構造化されて格納される。構造化ＤＢ３０９は、機種名、システム名、機能名、テストケース番号、当該テストケースにて誤りが検出されたか否か、当該誤りが後の工程や出荷後の不具合として流出したか否かについての情報等を含む。
The
教師ありＤＢ３１０は、誤り予測モデル３２の機械学習に用いられる教師ありデータ３１０Ａを格納する。教師ありデータ３１０Ａは、後述する教師ありデータ生成部１０２により、構造化ＤＢ３０９の情報に基づいて生成される。教師ありデータ３１０Ａは、例えば、テストケース番号、及びテストケースに対応する機能名に対して、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルが付されたデータである。
The
教師なしＤＢ３１１は、誤り予測モデル３２の機械学習に用いられる教師なしデータ３１１Ａを格納する。教師なしデータ３１１Ａは、後述する非構造化データ解析部１０３により、ドキュメント情報３０８Ａ（例えば、要求仕様書）に基づいて生成される。教師なしデータ３１１Ａは、例えば、テストケース番号、及びテストケースに対応する機能名を含む。教師なしデータ３１１Ａは、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルを含まない。
The
図３～５は、プロセッサ１０の機能的構成と各機能的構成に対する入出力データとを示す図である。
3 to 5 are diagrams showing the functional configuration of the
図３は、機械学習ＤＢ３１に格納された情報に基づいて誤り予測モデル３２を生成するまでの、プロセッサ１０の機能的構成と各機能的構成に対する入出力データとを示している。プロセッサ１０は、機能的構成として、データ構造化部１０１と、教師ありデータ生成部１０２と、非構造化データ解析部１０３と、学習部１０４と、を含む。
FIG. 3 shows the functional configuration of the
データ構造化部１０１は、既存のプロジェクトに関する、テスト実績情報３０１Ａ、出荷後不具合情報３０２Ａ、テスト技術情報３０３Ａ、ドメイン知識情報３０４Ａ、プロジェクト情報３０５Ａが入力されると、これらの情報を構造化ＤＢ３０９に格納する。
When the
教師ありデータ生成部１０２は、構造化ＤＢ３０９の情報が入力されると、教師ありデータ３１０Ａを生成する。動作の詳細は後述する。
When the information of the structured
非構造化データ解析部１０３は、ドキュメントＤＢ３０８及び教師ありデータ３１０Ａをテキスト解析して、教師ありデータ３１０Ａを更新し、教師なしデータ３１１Ａを生成する。動作の詳細は後述する。
The unstructured
学習部１０４は、教師ありデータ３１０Ａ及び教師なしデータ３１１Ａが入力されると、当該教師なしデータ３１１Ａを用いて、誤り予測モデル３２を学習させる。動作の詳細は後述する。学習部１０４は、例えば、ブートストラップ法（Ｂｏｏｔ Ｓｔｒａｐ Ｍｅｔｈｏｄ）によって、誤り予測モデル３２を学習させる。
When the
図４及び図５は、構造化ＤＢ３０９に格納された試験対象のプロジェクトについての情報に基づいて、試験対象装置２Ａの試験を実行し、試験の結果に関する情報を生成するまでの、プロセッサ１０の機能的構成と各機能的構成に対する入出力データとを示している。プロセッサ１０は、機能的構成として、入力データ生成部１０５と、誤り予測情報取得部１０６と、リスク評価部１０７と、テスト項目生成部１０８と、テストケース情報取得／生成部１０９と、を含む。プロセッサ１０はさらに、機能的構成として、テストシナリオ生成部１１０と、テストシナリオ実行部１１１と、テスト結果比較部１１２と、シーケンス図生成部１１３と、を含む。
4 and 5 show the functions of the
入力データ生成部１０５は、構造化ＤＢに格納された試験対象のプロジェクトに関するプロジェクト情報が入力されると、入力データ３１６を生成する。
When the project information about the project to be tested stored in the structured DB is input, the input
誤り予測情報取得部１０６は、入力データ３１６が入力されると、当該入力データ３１６を誤り予測モデル３２に入力して、誤り予測情報３１２を取得する。誤り予測情報３１２は、試験対象のプロジェクトにて生じ得る誤りを示す情報である。誤り予測情報３１２は、テストケース番号と、当該テストケースの内容、当該テストケースにおいて誤りが生じ得るか、及び当該誤りが後の工程や出荷後の不具合として流出し得るかについての情報と、を対応付けた情報である。誤り予測情報３１２は、例えば、補助記憶部３０が有する、大容量のデータを一時的に記憶するための記憶領域（図示せず）に記憶される。
When the
リスク評価部１０７は、誤り予測情報３１２が入力されると、当該誤り予測情報３１２のテストケース毎にリスク評価値を算出して付加する。以下、リスク評価値が付加された誤り予測情報を誤り予測情報３１２Ａという。リスク評価値については後述する。
When the
テスト項目生成部１０８は、誤り予測情報３１２Ａが入力されると、テスト項目情報３１３を生成する。テスト項目情報３１３は、実行する試験の項目が記載された情報である。テスト項目情報３１３は、テストケース番号と、当該テストケースの内容を示す情報と、を対応付けた情報である。テスト項目情報３１３には、テストケース毎に、テスト項目番号が付されている。
When the
テストケース情報取得／生成部１０９は、テスト項目情報３１３が入力されると、テストケースＤＢ３０６から、テスト項目情報３１３の各テスト項目に対応するテストケース情報３０６Ａを取得する。テストケースＤＢ３０６に、テスト項目に対応するテストケース情報がないと判断した場合、テストケース情報取得／生成部１０９は、ユーザ操作に従って、当該テスト項目に対応するテストケース情報３０６Ａを生成する。テストケース情報取得／生成部１０９は、生成したテストケース情報３０６Ａを、テストケースＤＢ３０６に格納する。
When the
テストシナリオ生成部１１０は、テストケース情報３０６Ａが入力されると、テストシナリオ３０７Ａを生成する。
When the
テストシナリオ実行部１１１は、テストシナリオ３０７Ａが入力されると、試験対象装置２Ａをテストシナリオ３０７Ａに従って動作させて、試験を実行する。テストシナリオ実行部１１１は、テストシナリオ３０７Ａに従って、動作の要求信号を試験対象装置２Ａに送信することによって、試験対象装置２Ａを動作させる。試験対象装置２Ａは、要求信号に対応する動作の結果を示す応答信号を、テストシナリオ実行部１１１に送信する。テストシナリオ実行部１１１は、要求信号が示す情報と応答信号が示す情報とを対応付けてテスト結果情報３１４を生成して、当該テスト結果情報３１４をテスト結果比較部１１２に出力する。
When the
テスト結果比較部１１２は、テスト結果情報３１４が入力されると、テスト結果比較情報３１５を生成する。テスト結果比較情報３１５は、要求信号が示す情報と、応答信号が示す情報と、期待値とを対応付けたものである。
When the test result
シーケンス図生成部１１３は、テスト結果情報３１４が入力されると、シーケンス図３０８Ａを生成して、ドキュメントＤＢ３０８に格納する。
When the test result
２．動作
以上のように構成される試験装置１の動作について、図１～７を参照して説明する。試験装置１は、機械学習ＤＢ３１に格納された情報に基づいて誤り予測モデル３２を生成する。試験装置１は、構造化ＤＢ３０９に格納された試験対象のプロジェクトについての情報から入力データ３１６を生成し、当該入力データ３１６を誤り予測モデル３２に入力して、試験対象装置２Ａを試験するためのテストシナリオ３０７Ａを生成する。試験装置１は、テストシナリオ３０７Ａに従って、試験対象装置２Ａの試験を実行する。2. 2. Operation The operation of the
２－１．誤り予測モデルの生成動作
図６は、試験装置１の、誤り予測モデル３２を生成する動作を示すフローチャートである。以下、図６のフローチャートに即して、試験装置１の動作を説明する。2-1. Error prediction model generation operation FIG. 6 is a flowchart showing an operation of the
最初に、データ構造化部１０１は、テスト実績情報３０１Ａ、出荷後不具合情報３０２Ａ、テスト技術情報３０３Ａ、ドメイン知識情報３０４Ａ、プロジェクト情報３０５Ａを、構造化ＤＢ３０９に格納する（Ｓ１０１）。データ構造化部１０１は、機種名、機能名、システム名、テストケース番号、テストケースの内容、誤りや不具合の内容、誤りが検出された記録があるか否か、当該誤りが後の工程や出荷後の不具合として流出した記録があるか否か等についての情報を対応付けて、構造化ＤＢ３０９に格納する。
First, the
次に、教師ありデータ生成部１０２は、構造化ＤＢ３０９の情報が入力されると、教師ありデータ３１０Ａを生成する（Ｓ１０２）。教師ありデータ生成部１０２は、構造化ＤＢ３０９が含むテストケース番号に対して、誤りが検出された記録があるか否か、当該誤りが後の工程や出荷後の不具合として流出した記録があるか否か、及び、誤りや不具合の内容についての正解ラベルを付して、教師ありデータ３１０Ａを生成する。
Next, the supervised data generation unit 102 generates the
次に、非構造化データ解析部１０３は、ドキュメントＤＢ３０８をテキスト解析する（Ｓ１０３）。例えば、非構造化データ解析部１０３は、ドキュメントＤＢ３０８を、機能名を検索キーワードとしてテキスト解析する。
Next, the unstructured
次に、非構造化データ解析部１０３は、テキスト解析の結果に基づいてドキュメントＤＢ３０８の情報と教師ありデータ３１０Ａの情報との間の類似性を解析して、教師ありデータ３１０Ａを更新し、教師なしデータ３１１Ａを生成する（Ｓ１０４）。
Next, the unstructured
次に、学習部１０４は、教師ありデータ３１０Ａ及び教師なしデータ３１１Ａが入力されると、半教師あり学習アルゴリズムにより誤り予測モデル３２を学習させる（Ｓ１０５）。
Next, when the
上述したように、試験装置１は、ソースコードに加えて、要求仕様書等の情報に基づいて誤り予測モデル３２を学習させる。したがって、本実施の形態の試験装置１は、ホワイトボックステストのテスト項目に加えて、例えば、要求仕様書に記載の要求に基づく試験等のブラックボックステストのテスト項目も出力する誤り予測モデル３２を構築することができる。
As described above, the
２－２．テストシナリオの生成及び実行動作
図７は、試験装置１の、テストシナリオ３０７Ａを生成して、当該テストシナリオ３０７Ａに従って、試験対象装置２Ａの試験を実行する動作を示すフローチャートである。以下、図７のフローチャートに即して、試験装置１の動作を説明する。2-2. Generation and Execution Operation of Test Scenario FIG. 7 is a flowchart showing an operation of generating a
最初に、プロセッサ１０は、ユーザ操作に従って、テスト戦略を設定する（Ｓ２００）。例えば、プロセッサ１０は、後述するリスク評価値が所定の閾値以上であるテストケースのうち、全てのテストケースに対応するテスト項目情報３１３を生成すること、或いは、重要なテストケースのみに対応するテスト項目情報３１３を生成することである。所定の閾値は、ユーザにより、事前に設定される。例えば、所定の閾値は、ユーザが、テスト項目情報３１３Ａの全項目数のうちの実行する項目数の割合を示す網羅度を入力することにより、事前に設定される。重要なテストケースは、事前にユーザにより設定される。
First, the
次に、入力データ生成部１０５は、構造化ＤＢ３０９に格納された、試験対象のプロジェクトについての情報が入力されると、入力データ３１６を生成する（Ｓ２０１）。試験対象のプロジェクトについての情報は、例えば、操作部５０を介して、ユーザ操作に従って入力される。
Next, the input
次に、誤り予測情報取得部１０６は、入力データ３１６が入力されると、当該プロジェクト情報３０５Ａを誤り予測モデル３２に入力して、誤り予測情報３１２を取得する（Ｓ２０２）。当該プロジェクト情報３０５Ａは、例えば、プロジェクトＤＢ３０５に格納されている。
Next, when the
次に、リスク評価部１０７は、誤り予測情報３１２が入力されると、当該誤り予測情報３１２のテストケース毎にリスク評価値を算出して、当該リスク評価値を付加した誤り予測情報３１２Ａを生成する（Ｓ２０３）。リスク評価値は、例えば、誤りが検出される見込み度合いと、当該誤りの影響度合いとを積算した値である。影響度合いは、各テストケースの間の依存関係及び関連性を分析することによって算出される。
Next, when the
次に、テスト項目生成部１０８は、誤り予測情報３１２Ａが入力されると、テスト戦略及びリスク評価値に基づいて、テスト項目情報３１３を生成する（Ｓ２０４）。
Next, when the
次に、テストケース情報取得／生成部１０９は、テストケースＤＢ３０６から、テスト項目情報３１３の各テスト項目に対応するテストケース情報３０６Ａを取得する（Ｓ２０５）。このとき、テストケース情報取得／生成部１０９は、テスト項目情報３１３に、テストケースＤＢ３０６に存在しないテスト項目があると判断した場合、当該テスト項目に対応するテストケース情報３０６Ａを生成する。また、テストケース情報取得／生成部１０９は、各テストケース情報３０６Ａの実行事前条件および実行事後条件に基づいて、各テストケースの実行する順番を設定する。また、テストケース情報取得／生成部１０９は、ユーザ操作に従って、各テストケースの実行する順番を変更してもよい。
Next, the test case information acquisition /
次に、テストシナリオ生成部１１０は、テストケース情報取得／生成部１０９が取得／生成したテストケース情報３０６Ａに基づいて、テストシナリオ３０７Ａを生成する（Ｓ２０６）。
Next, the test
次に、テストシナリオ実行部１１１は、試験対象装置２Ａをテストシナリオ３０７Ａに従って動作させて、試験を実行する（Ｓ２０７）。テストシナリオ実行部１１１は、動作の要求信号を、試験対象装置２Ａに送信することによって、試験対象装置２Ａを動作させる。試験対象装置２Ａは、要求信号に対応する動作の結果を示す応答情報を、テストシナリオ実行部１１１に送信する。テストシナリオ実行部１１１は、要求信号が示す情報と応答信号が示す情報とを対応付けてテスト結果情報３１４を生成し、当該テスト結果情報３１４をテスト結果比較部１１２に出力する。
Next, the test
次に、テスト結果比較部１１２は、テスト結果情報３１４に基づいて、テスト結果比較情報３１５を生成し、当該テスト結果比較情報３１５を表示部４０に表示する（Ｓ２０８）。テスト結果比較部１１２は、テスト結果比較情報３１５の、各要求信号が示す情報と、各応答信号が示す情報と、各期待値と、を対応付けて表示部４０に表示する。
Next, the test
次に、シーケンス図生成部１１３は、テスト結果情報３１４に基づいて、シーケンス図３０８Ａを生成する（Ｓ２０９）。シーケンス図生成部１１３は、シーケンス図３０８Ａを、ドキュメントＤＢ３０８に格納する。
Next, the sequence
上述したように、誤り予測モデル３２が出力する誤り予測情報３１２は、ホワイトボックステストに加えて、ブラックボックステストに関する情報も含む。したがって、試験装置１は、ホワイトボックステストに加えて、ブラックボックステストも実行することができる。
As described above, the
３．まとめ
以上説明したように、本実施の形態に係る試験装置１は、処理部１０を備える。処理部１０は、試験対象のプロジェクトに関する情報から、当該プロジェクトにおいて試験を行うためのテストシナリオ３０７Ａを生成する。処理部１０は、学習部１０４と、誤り予測情報取得部１０６と、リスク評価部１０７と、テスト項目生成部１０８と、テストケース情報取得／生成部１０９と、テストシナリオ生成部１１０と、を含む。学習部１０４は、入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデル３２に対し、機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベース３１に格納された、少なくとも既存のプロジェクトに関する情報およびテストシナリオ３０７Ａにおける個々の処理を規定する複数のテストケースに関する情報に基づいて、各プロジェクトにおける試験での各テストケースが誤りを検出したか否かを学習させる。誤り予測情報取得部１０６は、試験対象のプロジェクトに関する情報を、誤り予測モデル３２に入力して、各テストケースと対応する各誤り予測情報３１２を取得する。リスク評価部１０７は、取得された誤り予測情報３１２と対応するテストケース情報３０６Ａによって誤りが検出される見込み度合い及び当該誤りの影響度合いを示すリスク評価値を算出して、当該誤り予測情報に付加する。テスト項目生成部１０８は、リスク評価値が付加された誤り予測情報３１２Ａに基づいて、実施する試験項目を示すテスト項目情報３１３を生成する。テストケース情報取得／生成部１０９は、機械学習データベース３１に含まれるテストケースデータベース３０６から、テスト項目情報３１３が含む試験の項目に対応するテストケース情報３０６Ａを取得する。テストシナリオ生成部１１０は、取得されたテストケース情報３０６Ａに基づいて、テストシナリオ３０７Ａを生成する。3. 3. Summary As described above, the
このことにより、試験装置１は、ホワイトボックステストに加えてブラックボックステストも効率化することができる。さらに、本発明の試験装置は、過去の試験情報を利用することにより、過去の試験において生じた誤りと同様の誤りを予測してテストシナリオを生成することができる。
As a result, the
テスト項目生成部１０８は、リスク評価値が、所定の閾値よりも高いテストケース全てについて、テスト項目情報３１３を生成する。
The test
テスト項目生成部１０８は、リスク評価値が、所定の閾値よりも高いテストケースのうちの、重要なテストケースについて、テスト項目情報３１３を生成する。
The test
このことにより、試験装置１は、予め設定されたテスト戦略に従って、テスト項目情報３１３を生成することができる。
As a result, the
テストケース情報取得／生成部１０９は、テストケースＤＢ３０６に、テスト項目情報３１３の各テスト項目が示す試験の内容を示すテストケース情報がないと判断した場合、テストケース情報を生成する。
When the test case information acquisition /
このことにより、試験装置１は、テストケースＤＢ３０６に存在しないテストケース情報を、新たに生成することができる。
As a result, the
プロセッサ１０はさらに、テストシナリオ３０７Ａに従って、対象装置の試験を実行する、テストシナリオ実行部１１１を含む。
The
このことにより、試験装置１は、テストシナリオ３０７Ａに従って、試験対象装置の試験を実行することができる。また、試験装置１は、ソースコードとドキュメントとの両面から対象工程で実施すべきテストケースについてテストケース間の依存関係及びリスクを明確にしつつ、過去の類似しているプロジェクトのプログラムのテスト結果を考慮して、総合的に誤りの予測を行うことができる。
This allows the
実施の形態２．
実施の形態１の試験装置１は、テスト結果比較情報３１５等を生成して動作を終了した。実施の形態２の試験装置１は、テスト結果比較情報３１５に基づいて、誤り予測モデル３２を学習させて、再度試験を実行する。Embodiment 2.
The
図８及び図９は、本実施の形態の試験装置１の構成要素と各構成要素に対する入出力データとを示す図である。図１０は、本実施の形態の試験装置１のシナリオ生成及び実行動作を示すフローチャートである。
8 and 9 are diagrams showing the components of the
図８に示すように、本実施の形態のプロセッサ１０は、実施の形態１の機能的構成に加えて、テスト結果比較情報投入部１１４を備える。テスト結果比較情報投入部１１４は、テスト結果比較部１１２からのテスト結果比較情報３１５に基づいて、誤り予測モデル３２を学習させる。
As shown in FIG. 8, the
図１０に示すように、本実施の形態のプロセッサ１０は、実施の形態１の図７のステップＳ２００に変えて、ステップＳ２００Ａを実行する。また、本実施の形態のプロセッサ１０は、ステップＳ２１０，Ｓ２１１の処理も実行する。
As shown in FIG. 10, the
最初に、プロセッサ１０は、ユーザ操作に従って、テスト戦略及び試験の終了条件を設定する（Ｓ２００Ａ）。試験の終了条件は、例えば、試験の実行回数である。以下、ステップＳ２０１～Ｓ２０９は、図７のものと同様である。
First, the
プロセッサ１０は、試験の終了条件を満たすまで、ステップＳ２０２～Ｓ２０８及びＳ２１０の動作を実行する（Ｓ２１０においてＮＯ）。
The
上述したように、本実施の形態の試験装置１は、ユーザが事前に設定した終了条件を満たすまで自動で試験を実行する。したがって、本実施の形態の試験装置１は、試験を効率化することができる。
As described above, the
上述したように、本実施の形態の処理部１０は、実施の形態１の機能的構成に加えて、テスト結果比較情報投入部１１４を備える。テスト結果比較情報投入部１１４は、テストシナリオ３０７Ａに従って対象装置の試験を実行した結果に基づいて、誤り予測モデル３２を学習させる。
As described above, the
このことにより、本実施の形態の試験装置１は、誤り予測に基づいてテストケースを自動生成して試験を実行し、そのテスト結果を次ぎの誤り予測に逐次フィードバックすることにより、自動探索的に試験を実行し、誤り予測の精度を向上させることができる。
As a result, the
実施の形態３．
実施の形態１又は２に係る試験装置は、誤り分析モデルを用いて試験を自動的に実施することができる。但し、当該試験装置は、試験を実施した後、残存すると予測される誤り情報から、リスク分析に基づく最適な対策を自動的に提示することまではできない。Embodiment 3.
The test apparatus according to the first or second embodiment can automatically perform the test by using the error analysis model. However, the test equipment cannot automatically present the optimum countermeasures based on the risk analysis from the error information that is predicted to remain after the test is performed.
実施の形態３に係る開発支援装置は、残存すると予測される誤り情報から、リスク分析に基づく最適な対策案を自動的にレポートとして生成するために、自動試験実施から試験完了後のプロジェクト診断まで中断なく実施するものである。 The development support device according to the third embodiment is from the automatic test implementation to the project diagnosis after the test is completed in order to automatically generate the optimum countermeasure plan based on the risk analysis from the error information predicted to remain. It will be carried out without interruption.
１．構成
図１１は、実施の形態３に係るプロジェクト診断機能装置７００の構成を示すブロック図である。プロジェクト診断機能装置７００は、実施の形態１及び２に係る試験装置１から取得される、試験対象装置２Ａと関連装置２Ｂとの間の、通信プロトコルに基づく動作に関する試験結果のデータを元に、解析を実行する。ここでのプロジェクトは、ソフトウェア設計を伴った製品（装置）開発やシステム開発等を行うプロジェクトのことをいう。1. 1. Configuration FIG. 11 is a block diagram showing the configuration of the project
プロジェクト診断機能装置７００は、プロセッサ１０と、主記憶部２０と、補助記憶部３０と、表示部４０と、操作部５０と、通信部６０と、を備える試験装置１に付属可能な装置である。試験装置１は、例えば、パーソナルコンピュータである。
The project
プロセッサ１０は、信号線を介して他のハードウェアと接続される。プロセッサ１０は、中央演算処理装置（ＣＰＵ）、ＭＰＵ、ＤＳＰ、ＧＰＵ、マイコン、ＦＰＧＡ、ＡＳＩＣ等で実現できる。プロセッサ１０は、後述する補助記憶部３０に記憶されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、アプリケーションプログラム、種々のデータを読み込んで演算処理を実行することにより、種々の機能を実現する。プロセッサ１０は、後述する機能的構成を含む。当該機能的構成は、ファームウェアにより実現されてもよい。プロセッサ１０は、処理部１０の一例である。プロセッサ１０と、後述する主記憶部２０及び補助記憶部３０と、をまとめたハードウェアを、「プロセッシングサーキットリ」ともいう。
The
主記憶部２０は、揮発性の記憶部である。主記憶部２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で実現できる。主記憶部２０は、試験装置１において使用され、生成され、入出力され、或いは送受信されるデータを一時的に記憶する。
The
補助記憶部３０は、不揮発性の記憶部である。補助記憶部３０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等で実現できる。補助記憶部３０は、ＯＳ、アプリケーションプログラム、種々のデータを記憶している。ＯＳの少なくとも一部は、主記憶部２０にロードされて、プロセッサ１０によって実行される。
The
補助記憶部３０はさらに、機械学習ＤＢ６２０と、機械学習ＤＢ６２０に基づいて生成される、誤り予測モデル３２及びプロジェクト診断モデル８００を記憶する。誤り予測モデル３２及びプロジェクト診断モデル８００は、機械学習モデルのうちの一つを具体化したものである。誤り予測モデル３２については、実施の形態１及び２において詳しく説明した。プロジェクト診断モデル８００は、例えば、ディープニューラルネットワーク（深層学習器）により実現される。
なお、機械学習ＤＢ６２０は、例えば、外部サーバに格納されて、外部ネットワーク、及び、プロジェクト診断機能装置７００のインタフェース部を介して、プロジェクト診断機能装置７００からアクセスされるように、プロジェクト診断機能装置７００及び機械学習ＤＢ３１がプロジェクト診断機能システムとして構成されてもよい。The
The
プロジェクト診断モデル８００は、試験対象のプロジェクトについての残存誤り情報を含む入力データが入力されると、試験対象のプロジェクトにて発生し得るリスクとその対策に関する情報であるリスク及び対策案情報５５０を出力する。プロジェクト診断モデル８００は、機械学習ＤＢ６２０に格納される情報によって生成されて、更新される。機械学習ＤＢ６２０の詳細は後述する。
When input data including residual error information about the project to be tested is input, the project
表示部４０は、ユーザ操作に従って文字列や画像を表示する。表示部４０は、液晶ディスプレイ、有機ＥＬディスプレイなどで構成される。
The
操作部５０は、キーボード、マウス、テンキーなどで構成される。ユーザは、操作部５０を介してプロジェクト診断機能装置７００を操作する。また、操作部５０は、表示部４０に重畳して配置されて、ユーザのタッチ操作を受け付け可能なタッチパネルを含んでもよい。
The
通信部６０は、試験対象装置２Ａと各種データを送受信する。通信部６０は、レシーバと、トランスミッタと、を備える。レシーバは、試験対象装置２Ａからの各種データを受信する。トランスミッタは、プロセッサ１０からの各種データを、試験対象装置２Ａに送信する。通信部６０は、通信チップ、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等で実現できる。
The
図１２は、補助記憶部３０の機械学習ＤＢ６２０に格納される情報を示す図である。機械学習ＤＢ６２０は、テスト実績ＤＢ３０１と、出荷後不具合ＤＢ３０２と、テスト技術ＤＢ３０３と、ドメイン知識ＤＢ３０４と、プロジェクトＤＢ３０５と、を含む。機械学習ＤＢ３１は更に、テストケースＤＢ３０６と、テストシナリオＤＢ３０７と、ドキュメントＤＢ３０８と、構造化ＤＢ３０９と、教師ありＤＢ３１０と、第２の教師ありＤＢ４４０と、教師なしＤＢ３１１と、第２の教師なし４５０と、残存誤り・リスク・効果情報ＤＢ４００と、リスク登録簿ＤＢ４１０と、設計技術ＤＢ４２０と、トレーサビリティ情報ＤＢ４３０とを含む。機械学習ＤＢ６２０に格納される情報は、試験データ及び残存誤り予測情報が既に存在する、既存のプロジェクトに関する情報の一例である。
前述のように、機械学習ＤＢ６２０は、例えば、外部サーバに格納されて、外部ネットワーク、及び、プロジェクト診断機能装置７００のインタフェース部を介して、プロジェクト診断機能装置７００からアクセスされるように、プロジェクト診断機能装置７００及び機械学習ＤＢ３１がプロジェクト診断機能システムとして構成されてもよい。FIG. 12 is a diagram showing information stored in the
As described above, the
教師ありＤＢ３１０は、誤り予測モデル３２の機械学習に用いられる教師ありデータ３１０Ａを格納する。教師ありデータ３１０Ａは、実施の形態１で説明した教師ありデータ生成部１０２により、構造化ＤＢ３０９の情報に基づいて生成される。教師ありデータ３１０Ａは、例えば、テストケース番号、及びテストケースに対応する機能名に対して、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルが付されたデータである。
The
教師なしＤＢ３１１は、誤り予測モデル３２の機械学習に用いられる教師なしデータ３１１Ａを格納する。教師なしデータ３１１Ａは、実施の形態１で説明した非構造化データ解析部１０３により、ドキュメント情報３０８Ａ（例えば、要求仕様書）に基づいて生成される。教師なしデータ３１１Ａは、例えば、テストケース番号、及びテストケースに対応する機能名を含む。教師なしデータ３１１Ａは、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルを含まない。
The
第２の教師ありＤＢ４４０は、プロジェクト診断モデル８００の機械学習に用いられる第２の教師ありデータ４４０Ａを格納する。第２の教師ありデータ４４０Ａは、後述する第２の教師ありデータ作成部５２により、構造化ＤＢ３０９の情報に基づいて生成される。第２の教師ありデータ４４０Ａは、例えば、システム試験結果に基づく残存誤り予測情報（件数、分類、発生個所など）に対して、どのようなリスクが検出されたか、それらのリスクの対策として実施した対策案の効果があったか否かを示す正解ラベルが付されたデータである。
The second
第２の教師なしＤＢ４５０は、プロジェクト診断モデル８００の機械学習に用いられる第２の教師なしデータ４５０Ａを格納する。第２の教師なしデータ４５０Ａは、後述する第２の非構造化データ解析部５５により、ドキュメント情報３０８Ａ（例えば、要求仕様書やソースコード）に基づいて生成される。第２の教師なしデータ４５０Ａは、例えば、残存誤り予測情報（件数、分類、発生個所など）に対応するリスク及びそれらのリスク対策を含む。第２の教師なしデータ４５０Ａは、残存誤り予測情報（件数、分類、発生個所など）に対応するリスク及びそれらのリスク対策の効果があったか否かを示す正解ラベルを含まない。
The second
誤り予測モデル構築及び運用を実行する試験装置１のプロセッサ１０の機能的構成により、システム試験以降の工程で実施すべきと予測される誤り情報（テストケース、誤り検出有無、誤りの後工程流出有無）を予測可能なモデル「誤り予測モデル」が構築され、試験が実施される。
Error information predicted to be executed in the process after the system test (test case, error detection presence / absence, error post-process leakage presence / absence) due to the functional configuration of the
試験実施後のシステム試験結果に基づく残存誤り予測情報（件数、分類、発生個所など）より、プロジェクト診断モデル学習部７９０によって、プロジェクト診断モデル８００が作成される。
The
図１３は、プロセッサ１０の機能的構成と各機能的構成に対する入出力データとを示すと共に、プロジェクト診断モデル８００を構築するためのプロジェクト診断モデル学習部７９０の構成例を示すブロック図である。
FIG. 13 is a block diagram showing a functional configuration of the
構造化データ統合部５１は、複数の既存プロジェクトのテスト実績ＤＢ３０１、出荷後不具合ＤＢ３０２、テスト技術ＤＢ３０３、ドメイン知識ＤＢ３０４、プロジェクトＤＢ３０５、残存誤り・リスク・効果情報ＤＢ４００、リスク登録簿ＤＢ４１０、設計技術ＤＢ４２０、トレーサビリティ情報ＤＢ４３０からのデータを、一つの構造化データに統合する。
The structured
初期教師データを作成する第２の教師ありデータ作成部５２は、残存誤り予測情報（件数、分類、発生個所など）に対して、どのようなリスクが検出されたか、それらのリスクの対策として実施した対策案の効果があったか否かを示す正解ラベルが付されたデータを用いて、初期教師データである第２の教師ありデータ４４０Ａを作成する。
The second supervised
非構造化データ統合部５４は、（要求仕様書、ソースコード、試験書、シーケンス図、状態遷移図、仕様変更情報、静的・動的解析結果などの）ソフトウエアプロダクトに関する非構造化データであるドキュメント情報３０８Ａを統合する。
The unstructured
第２の非構造化データ解析部５５は、統合された非構造化データであるドキュメント情報３０８Ａを解析し、初期教師データである第２の教師ありデータ４４０Ａとの関連性を解析し、第２の教師なしデータ４５０Ａを生成する。
The second unstructured
特徴要素抽出部５６は、構造化データと非構造化データとにおける残存誤り予測情報（件数、分類、発生個所など）から、関連性のあるリスク及び効果のある対策案を出力するための特徴要素（例えば、コーディング担当者、流用率、要件の変更率など）を抽出する。
The feature
非構造化データ変換部５７は、非構造化データの解析結果と抽出された特徴要素とを、規則性のある構造化されたデータ（例えば、ＸＭＬファイル）へ変換する。
The unstructured
教師ありデータ投入部５３ａは、第２の教師ありデータ４４０Ａをプロジェクト診断モデル８００のための学習アルゴリズムへ投入する。
The supervised
検証評価基準抽出部５８は、残存誤り予測情報（件数、分類、発生個所など）に対して、どの程度の関連性のあるリスク及び効果のある対策案が出されればどう評価（フィードバック）されるか、の検証基準を抽出する。
The verification evaluation
モデル作成部５９は、学習アルゴリズムへ投入された第２の教師ありデータ４４０Ａを基に、プロジェクト診断モデル８００を構築する。
The
教師なしデータ投入部５３ｂは、残存誤り予測情報（件数、分類、発生個所など）に対して、どの程度の関連性のあるリスク及び効果のある対策案が出されたか評価され得ていない、第２の教師なしデータ４５０Ａをプロジェクト診断モデル８００へ投入する。
The unsupervised
モデル再作成部６１は、投入された第２の教師なしデータ４５０Ａを基に、誤り予測モデル３２を再構築する。
The
検証評価出力部６２は、残存誤り予測情報（件数、分類、発生個所など）に対して、どの程度の関連性のあるリスク及び効果のある対策案であったかを実際に評価（フィードバック）する出力を行う。
The verification
プロジェクト診断モデル８００の構築及び学習に必要となる情報データは、様々なものが想定される。プロジェクト診断モデル８００の構築及び学習に必要とされ得る情報データの例を以下に示す。
２．動作
次に、本実施の形態に係る試験装置１及びプロジェクト診断機能装置７００の動作について、図１４に示すフローチャートを参照して説明する。プロジェクト診断モデル８００の構築は、半教師あり学習アルゴリズムを用いて行う。2. 2. Operation Next, the operation of the
開始（Ｓ５００）後、既存の複数のプロジェクトの実施結果が格納されているテスト実績ＤＢ３０１、出荷後不具合ＤＢ３０２、テスト技術ＤＢ３０３、ドメイン知識ＤＢ３０４、残存誤り・リスク・効果情報ＤＢ４００、リスク登録簿ＤＢ４１０、設計技術ＤＢ４２０、トレーサビリティ情報ＤＢ４３０の各データベースからデータを統合し、残存誤り予測情報（件数、分類、発生個所など）に対する関連性のあるリスク及び効果のある対策案のデータの対応関係を整理する（Ｓ５０１）。
After the start (S500), the
統合されたデータの残存誤り予測情報（件数、分類、発生個所など）の入力に対する関連性のあるリスク及び効果のある対策案の出力の対応関係から、初期学習用の教師ありデータである第２の教師ありデータ４４０Ａの作成を実施する（Ｓ５０２）。
It is supervised data for initial learning from the correspondence of the output of effective countermeasures and the risks related to the input of the residual error prediction information (number of cases, classification, occurrence location, etc.) of the integrated data. The
一方、同一の機種毎に、仕様書・ソース、静的・動的解析結果などの非構造化データをＮｏＳＱＬのデータベースへ格納する（Ｓ５０３）。 On the other hand, unstructured data such as specifications / sources and static / dynamic analysis results are stored in the NoSQL database for each same model (S503).
初期学習用の教師ありデータである第２の教師ありデータ４４０Ａに記載されている内容を検索キーワードとして、設計書、テスト仕様書、ソース、仕様変更情報、静的・動的解析結果などの非構造化データも含めてテキスト解析を行う（Ｓ５０４）。
Using the content described in the second
テキスト解析結果から、初期学習用の教師ありデータである第２の教師ありデータ４４０Ａに対する類似性を分析し、残存誤りの内容が仕様書のどこに記載がある内容か、仕様変更による影響の可能性があるかどうか、機種間の相関など、実際に対策が必要となった対応の特徴を抽出する（Ｓ５０５）。
From the text analysis results, we analyzed the similarity to the second
構造化データと非構造化データとを、抽出された特徴量において整合性がとれるように、トレーサビリティ情報よりマッピングする（Ｓ５０６）。 Structured data and unstructured data are mapped from traceability information so that consistency can be obtained in the extracted features (S506).
作成された残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対策の効果結果が判明している、第２の教師ありデータ４４０Ａを投入する（Ｓ５０７）。
The second
フィードバックする効果に対する検証評価の基準を抽出する（Ｓ５０８）。 Criteria for verification evaluation for the effect of feedback are extracted (S508).
第２の教師ありデータ４４０Ａの学習アルゴリズムを使用して、残存誤り情報を基に、関連するリスクの発生とその対策案を予測するプロジェクト診断モデル８００を生成する（Ｓ５０９）。
Using the learning algorithm of the second
残存誤り情報（予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対応策の実施した効果が不明な教師なしデータ（第２の教師なしデータ４５０Ａ）を投入する（Ｓ５１０）。
Unsupervised data (second
投入された教師なしデータ（第２の教師なしデータ４５０Ａ）の特徴量を抽出し、非構造化データの解析結果の情報も含めて、教師なしデータの学習アルゴリズムを用いて、残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対応策を予測するプロジェクト診断モデル８００を生成する（Ｓ５１１）。
Remaining error information (prediction) using the learning algorithm of the unstructured data, including the information of the analysis result of the unstructured data, by extracting the feature quantity of the input unsupervised data (second
残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対応策の効果が記録されていない試験仕様書、テスト結果、不具合情報等の不明なデータからもリスク及びリスク対応策の効果の規則性を予測して、その評価を行うことにより、誤り予測モデル３２を再構築する（Ｓ５１２）。
Residual error information (number of predicted cases, residual error prediction generator function and source location, residual error type), risk to residual error information and the effect of risk countermeasures are not recorded. Unknown test specifications, test results, defect information, etc. The
３．まとめ
本実施の形態に係る開発支援装置は、実施の形態１又は２に係る試験装置１を含む開発支援装置である。開発支援装置は、試験完了時に残存している残存誤り予測情報から、関連するリスク及びその対策を提示するプロジェクト診断モデル８００を備える。更に、開発支援装置は、試験完了時に残存している残存誤り予測情報に基づいて、プロジェクト診断モデル８００を学習させるプロジェクト診断モデル学習部７９０を含む。3. 3. Summary The development support device according to the present embodiment is a development support device including the
プロジェクト診断モデル学習部７９０は、更に、
非構造化データのテキスト解析結果に基づく、非構造化データと、残存誤りに対するリスク及びその対策が明確である教師ありデータとの類似性の分析や、トレーサビリティ情報を活用することにより、実際に対策が必要となった対応の特徴要素を抽出し、
更に、プロジェクト診断モデル学習部７９０は、非構造化データのテキスト解析結果と、抽出された特徴要素とを、規則性のある構造化データに変換する非構造化データ変換部５７を含む。The project diagnostic
Actual countermeasures by analyzing the similarity between unstructured data and supervised data with clear risks and countermeasures against residual errors based on the results of text analysis of unstructured data, and by utilizing traceability information. Extract the corresponding feature elements that are needed,
Further, the project diagnostic
このようにすることにより、開発支援装置は、自動試験実施完了後に各プロジェクト診断のリスクに応じて最適な対策案を効率的に提示することができる。 By doing so, the development support device can efficiently present the optimum countermeasure plan according to the risk of each project diagnosis after the completion of the automatic test implementation.
実施の形態４．
本実施の形態４に係る開発支援装置は、被試験装置と試験装置とを接続した実施の形態１又は２による試験の実施完了後に、実施の形態３で構築したプロジェクト診断モデル８００を運用しつつ、被テスト対象物に潜在する残存誤り予測情報（件数、分類、発生個所）を基に、関連するリスク及びその効果的なリスク対応策を自動的に抽出し、レポートを提示する。Embodiment 4.
The development support device according to the fourth embodiment operates the
１．構成
図１５は、本実施の形態に係る試験装置１及びプロジェクト診断機能装置７００、即ち、開発支援装置の構成例を示すブロック図である。本実施の形態に係る開発支援装置は、装置間の通信に基づいて動作する被試験装置に対して、試験実施完了後に残存誤り予測情報（件数、分類、発生個所）に基づくリスク分析を自動的に行い、対策案を提示する。即ち、当該開発支援装置は、試験完了後にリスク重点入力部５１０により、診断対象とするプロジェクト及び機能、モジュールを入力し、リスク（QCDRS）の重点度合いを設定する。1. 1. Configuration Figure 15 is a block diagram showing a configuration example of the
試験結果データ記憶部５２０により、試験が完了した当該プロジェクトのテスト実績情報をロードする。ロードされたテスト実績情報から、残存誤り予測情報取得部５３０により、試験が完了した時点の残存誤り予測情報（件数、分類、発生個所）５４０を抽出する。
The test result
プロジェクト診断モデル８００は、試験が完了した時点の残存誤り予測情報（件数、分類、発生個所）を入力とし、残存誤り予測情報に関連するリスク及びその対策案情報５５０を出力する。
The
リスク評価部５６０は、影響度・発生確率により、抽出されたリスクを評価する。
The
優先度調整部５７０は、リスク重点入力部５１０に基づいて設定したＱＣＤＲＳの重点度合いを反映して、抽出したリスクの優先度を調整する。
The
対策項目選出部５８０は、調整済みのリスクに基づいて対策案を選出する。
The countermeasure
レポート作成部５９０は、残存誤り予測情報（件数、分類、発生個所）に基づくリスク分析を行い、対策案をそれぞれ帳票形式で作成する。
The
残存誤り・リスク情報表示部６００は、レポート作成部５９０により作成されたレポートを表示部４０の画面に表示する。残存誤り予測情報（件数、分類、発生個所）については、開発プロセス別に誤りの発生実績に基づく予測情報をグラフ化して表示される。対策案レポート６１０については、残存誤り・リスク・効果情報ＤＢ４００へ残存誤り及びリスクと共に登録される。
The residual error / risk
リスク対策効果判定入力部６１５は、リスク対策案を適用した結果の効果の度合いを残存誤り・リスク・効果情報ＤＢ４００へフィードバック入力する。フィードバック入力されたリスク対策案を適用した結果の効果の度合いは、プロジェクト診断モデル学習部７９０を介して、プロジェクト診断モデル８００を更新する。
The risk countermeasure effect
２．動作
次に、本実施の形態に係るプロジェクト診断機能装置７００の動作について、図１６ａ及び図１６ｂに示すフローチャートを参照して説明する。プロジェクト診断機能装置７００は、プロジェクト診断モデル８００を運用するに当たり、自動探索的に試験を実施した後の残存誤り情報より、リスク及びその対策案を抽出し、リスクに対する利用者による優先度に応じて結果を自動的に提示する。従って、効率的に残存誤りに対する対策を実施することが可能となる。2. 2. Operation Next, the operation of the project
開始（Ｓ７００）後、当該プロジェクトの実施の形態１又は２に基づく探索的な自動試験のテスト結果を試験結果データ記憶部５２０へロードすると共に、テスト実績ＤＢ３０１へ保存する（Ｓ７０１）。
After the start (S700), the test result of the exploratory automatic test based on the first or second embodiment of the project is loaded into the test result
実施の形態１又は２に係る試験装置１に基づく誤り予測モデル３２適用結果より、残存誤り予測情報５４０を取得する（Ｓ７０２）。
Residual
残存誤り予測情報５４０の件数、種類、発生個所をグラフ化して表示する（Ｓ７０３）。
The number, type, and location of occurrence of the residual
以下の当該プロジェクトのデータを、プロジェクト診断モデル学習部７９０にて統合する（Ｓ７０４）。
・残存誤り・リスク・効果情報ＤＢ４００
・テスト実績ＤＢ３０１
・プロジェクトＤＢ３０５
・出荷後不具合ＤＢ３０２
・リスク登録簿ＤＢ４１０
・設計技術ＤＢ４２０
・トレーサビリティ情報ＤＢ４３０The following data of the project is integrated in the project diagnostic model learning unit 790 (S704).
・ Residual error / risk / effect information DB400
・ Test record DB301
・ Project DB305
・ Post-shipment defect DB302
・ Risk register DB410
・ Design technology DB420
-Traceability information DB430
プロジェクト診断モデル学習部７９０にて、ステップＳ７０４にて生成された統合データより、プロジェクト診断モデル８００への投入データを作成する（Ｓ７０５）。
The project diagnostic
プロジェクト診断モデル学習部７９０にて、当該プロジェクトの設計書、テスト仕様書、ソース、仕様変更情報などの非構造化データも含めてテキスト解析を行う（Ｓ７０６）。
The project diagnostic
プロジェクト診断モデル学習部７９０によるテキスト解析結果から、当該プロジェクトの残存誤りに対する特徴を分析し、誤りが仕様書に記載がある内容か、仕様変更による影響の可能性があるかどうか、機種間の相関などの情報を、ＸＭＬファイル等の構造化データとして出力する（Ｓ７０７）。
From the text analysis results by the project diagnostic
当該プロジェクトの試験結果に基づく残存誤り予測情報５４０のデータをプロジェクト診断モデル８００へ投入する（Ｓ７０８）。
The data of the residual
プロジェクト診断モデル８００より当該プロジェクトで残存していると予測される誤り情報から関連するリスク及びその対策案情報５５０を抽出する（Ｓ７０９）。
From the
プロジェクトのどのリスクに対してどの程度重点を置くか優先度を調整する必要がある場合は、リスク重点入力部５１０にて、ＱＣＤＲＳ等の、パラメータが入力される（Ｓ７１０）。 When it is necessary to adjust the priority of which risk of the project is to be prioritized, parameters such as QCDRS are input in the risk priority input unit 510 (S710).
リスク評価部５６０にて、予測されるリスクの発生確率と影響度を分析し、リスク評価する（Ｓ７１１）。
The
優先度調整部５７０にて、優先度を調整する必要がある場合かどうか判定する（Ｓ７１２）。
The
優先度調整部５７０にて、対象を限定する必要がある場合かどうか判定する（Ｓ７１３）。
The
対象を限定する必要がある場合は、優先度調整部５７０にて、誤り種類や箇所を限定抽出する（Ｓ７１４）。
When it is necessary to limit the target, the
優先度調整部５７０にて、対象のリスクが既知の未知であるか判定する（Ｓ７１５）。
The
対象のリスクが既知の未知である場合は、優先度調整部５７０にて、リスク登録簿ＤＢ４１０からコンティンジェンシープランをロードして対策案とする（Ｓ７１６）。
If the target risk is known and unknown, the
優先度調整部５７０にて、対象のリスクが未知の未知であるか判定する（Ｓ７１７）。
The
対象のリスクが未知の未知である場合は、優先度調整部５７０にて、プロジェクト診断モデル８００より予測される残存誤り情報に対するリスクから想定される対策案をロードする（Ｓ７１８）。
If the target risk is unknown and unknown, the
優先度調整部５７０にて残存する予測誤りに対するリスクとその対策を優先度で整理し、対策項目選出部５８０にて対策項目を選出する（Ｓ７１９）。
The
レポート作成部５９０にて、ＱＣＤＲＳの観点でリスクとその対策に関するレポートを作成する（Ｓ７２０）。
The
対策案を実施後、リスク対策効果判定入力部６１５にて、リスク対策効果の判定入力を実施する（Ｓ７２１）。
After implementing the countermeasure plan, the risk countermeasure effect
テスト実績ＤＢ３０１の更新情報（実施したテスト項目とその残存誤り予測情報及びリスクとその対策及び効果の度合い）をプロジェクト診断モデル８００へフィードバックする（Ｓ７２２）。 The updated information of the test result DB 301 (test items carried out, information on predicting residual errors thereof, risks, countermeasures thereof, and the degree of effectiveness) is fed back to the project diagnostic model 800 (S722).
３．まとめ
本実施の形態に係る開発支援装置は、実施の形態３に係る開発支援装置であることに加えて、残存していると予測される誤りからプロジェクト診断モデル８００で出力されるリスクが既知もしくは未知なのかを判別した上で、優先度を判断して対策項目を提示する優先度調整部５７０を含む。3. 3. Summary In addition to being the development support device according to the third embodiment, the risk of being output by the
また、プロジェクト診断モデル８００に対して、既存のプロジェクトに関する情報に基づいて、各プロジェクトにおける試験完了時点での残存している残存誤り予測情報から、関連するリスクに基づく対策案がどの程度効果があったか否かを入力して、学習させるリスク対策効果判定入力部６１５を含む。
In addition, how effective the countermeasure plan based on the related risk was on the project
このようにすることにより、開発支援装置は、自動試験実施完了後に各プロジェクト診断のリスクの優先度に応じて最適な対策案を効率的に提示することができる。 By doing so, the development support device can efficiently present the optimum countermeasure plan according to the risk priority of each project diagnosis after the automatic test implementation is completed.
他の実施の形態．
以上のように、本発明における技術の例示として、実施の形態を説明した。しかしながら、本発明における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。Other embodiments.
As described above, an embodiment has been described as an example of the technique in the present invention. However, the technique of the present invention is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, etc. are appropriately made. It is also possible to combine the components described in the above embodiment to form a new embodiment.
本発明のプロジェクトは、ソフトウェア開発を伴う製品（装置）やシステムの開発プロジェクトのことをいうが、これに限定されない。例えば、プロジェクトは、ソフトウェア開発を伴う製品（装置）の所定の機能、或いは、モジュールの開発プロジェクトであってもよい。 The project of the present invention refers to, but is not limited to, a product (device) or system development project involving software development. For example, the project may be a predetermined function of a product (device) accompanied by software development, or a development project of a module.
実施の形態１及び２に係るリスク評価部１０７は、誤り予測情報３１２の各テストケース番号に対して、誤りが検出される見込み度合いと、当該誤りの影響度合いとを積算した値を、リスク評価値として付加するが、これに限定されない（図７のＳ２０３）。例えば、試験装置１は、誤りに対する改修履歴情報を記憶しており、リスク評価部１０７は、改修履歴情報を有するテストケースに、改修履歴情報を有しないテストケースよりも高いリスク評価値を付加してもよい。
The
実施の形態１及び２に係るテスト項目生成部１０８は、ユーザ操作に従って、実行するテストケースを選択するが、これに限定されない（図７のＳ２０４）。例えば、テスト項目生成部１０８は、所定のリスク評価値以上のテストケースを、自動で実行するテストケースとして選択してもよい。あるいは、テスト項目生成部１０８は、所定のテスト観点や重要テスト項目に対応するテストケースを、自動で実行するテストケースとして選択してもよい。例えば、所定のリスク評価値、テスト観点、及び重要テスト項目は、ユーザ操作により事前に設定される。
The test
実施の形態１及び２に係るテスト項目生成部１０８は、ユーザ操作に従って、テストケースの実行する順番を変更するが、これに限定されない（図７のＳ２０４）。例えば、テスト項目生成部１０８は、リスク評価値が高い順番に、テストケースの実行する順番を変更してもよい。
The test
実施の形態１及び２に係る学習部１０４は、ブートストラップ法（Ｂｏｏｔ Ｓｔｒａｐ Ｍｅｔｈｏｄ）によって、誤り予測モデル３２を学習させるが、これに限定されない。学習部１０４は、他の公知の方法、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）によって、誤り予測モデル３２を学習させてもよい。また、実施の形態３及び４に係るプロジェクト診断モデル８００は、ディープニューラルネットワーク（深層学習器）により実現され得るが、他の人工知能に係る技術により実現されてもよい。
The
実施の形態１及び２に係るプロセッサ１０はテスト項目調整部をさらに備え、テスト項目調整部は、ユーザ操作に従って、テスト項目生成部１０８が生成したテスト項目を変更したり、テスト項目の順番を変更したりしてもよい。このとき、ユーザは、操作部５０を介して、例えば、重要度の高いモジュールや機能についてのテスト項目を網羅するようにテスト項目情報３１３を変更したり、既存のプロジェクトと共通するモジュールや機能についての試験を優先するようにテスト項目の順番を変更したりすることができる。
The
１ 試験装置
１０ プロセッサ
２０ 主記憶部
３０ 補助記憶部
３１ 機械学習ＤＢ
３２ 誤り予測モデル
４０ 表示部
５０ 操作部
６０ 通信部
１０１ データ構造化部
１０２ 教師ありデータ生成部
１０３ 非構造化データ解析部
１０４ 学習部
１０５ 入力データ生成部
１０６ 誤り予測情報取得部
１０７ リスク評価部
１０８ テスト項目生成部
１０９ テストケース情報取得／生成部
１１０ テストシナリオ生成部
１１１ テストシナリオ実行部
１１２ テスト結果比較部
１１３ シーケンス図生成部
１１４ テスト結果比較情報投入部
３０１ テスト実績情報ＤＢ
３０２ 出荷後不具合情報ＤＢ
３０３ テスト技術ＤＢ
３０４ ドメイン知識情報ＤＢ
３０５ プロジェクト情報ＤＢ
３０６ テストケースＤＢ
３０７ テストシナリオＤＢ
３０８ ドキュメントＤＢ
３０９ 構造化ＤＢ
３１０ 教師ありＤＢ
３１１ 教師なしＤＢ
４００ 残存誤り・リスク・効果情報ＤＢ
４１０ リスク登録簿ＤＢ
４２０ 設計技術ＤＢ
４３０ トレーサビリティ情報ＤＢ
６２０ 機械学習ＤＢ
７００ プロジェクト診断機能装置
７９０ プロジェクト診断モデル学習部
８００ プロジェクト診断モデル
５１ 構造化データ統合部
５２ 第２の教師ありデータ作成部
５３ａ 教師ありデータ投入部
５３ｂ 教師なしデータ投入部
５４ 非構造化データ統合部
５５ 第２の非構造化データ解析部
５６ 特徴要素抽出部
５７ 非構造化データ変換部
５８ 検証評価基準抽出部
５９ モデル作成部
６１ モデル再作成部
６２ 検証評価出力部
５１０ リスク重点入力部
５２０ 試験結果データ記憶部
５３０ 残存誤り予測情報取得部
５４０ 残存誤り予測情報
５５０ リスク及びその対策案情報
５６０ リスク評価部
５７０ 優先度調整部
５８０ 対策項目選出部
５９０ レポート作成部
６００ 残存誤り・リスク情報表示部
６１０ 対策案レポート
６１５ リスク対策効果判定入力部1
32
302 Post-shipment defect information DB
303 Test technology DB
304 Domain Knowledge Information DB
305 Project Information DB
306 Test case DB
307 Test scenario DB
308 Document DB
309 Structured DB
310 Supervised DB
311 Unsupervised DB
400 Residual error / risk / effect information DB
410 Risk Register DB
420 Design Technology DB
430 Traceability information DB
620 Machine learning DB
700 Project
Claims (21)
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに、前記開発の対象又はプロジェクトに関する情報を入力して、各前記テストケースと対応する各誤り予測情報を取得する誤り予測情報取得部と、
取得された前記誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するテスト項目生成部と、
前記テストシナリオにおける個々の処理を規定する複数のテストケースに関する情報が格納されたテストケースデータベースから、前記テスト項目情報が含む前記試験項目に対応するテストケース情報を取得する処理部と、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するテストシナリオ生成部と、
を備える開発支援装置。 A development support device that generates a test scenario for testing in the development target or project from information about the development target or project.
Input information about the target or project of the development into an error prediction model that outputs error prediction information including information indicating the degree of probability that the input test case will detect an error, and each corresponding to each test case. The error prediction information acquisition unit that acquires error prediction information,
Based on the acquired error prediction information, a test item generation unit that generates test item information indicating test items to be executed, and a test item generation unit.
A processing unit that acquires test case information corresponding to the test item included in the test item information from a test case database that stores information about a plurality of test cases that define individual processing in the test scenario .
A test scenario generation unit that generates the test scenario based on the acquired test case information,
Development support device equipped with .
前記テスト項目生成部は、 The test item generation unit
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する、Based on the error prediction information to which the risk assessment value is added, test item information indicating the test items to be performed is generated.
請求項１に記載の開発支援装置。The development support device according to claim 1.
前記リスク評価値が、所定の閾値よりも高いテストケース全てについて、前記テスト項目情報を生成する、
請求項２に記載の開発支援装置。 The test item generation unit
Generates the test item information for all test cases in which the risk assessment value is higher than a predetermined threshold.
The development support device according to claim 2 .
前記リスク評価値が、所定の閾値よりも高いテストケースのうち、予め定められた重要なテストケースについて、前記テスト項目情報を生成する、
請求項２に記載の開発支援装置。 The test item generation unit
Among the test cases whose risk assessment value is higher than a predetermined threshold value, the test item information is generated for a predetermined important test case.
The development support device according to claim 2 .
前記テストケースデータベースに、各前記テスト項目情報が示す試験の内容を示すテストケース情報がないと判断した場合、テストケース情報を生成する、
請求項１から４のいずれか１項に記載の開発支援装置。 The processing unit
If it is determined that the test case database does not have the test case information indicating the content of the test indicated by each test item information, the test case information is generated.
The development support device according to any one of claims 1 to 4 .
請求項１から５のいずれか１項に記載の開発支援装置。 Further, a test scenario execution unit for executing the test of the target device according to the test scenario is provided .
The development support device according to any one of claims 1 to 5 .
請求項１から６のいずれか１項に記載の開発支援装置。The development support device according to any one of claims 1 to 6.
請求項７に記載の開発支援装置。 A test result comparison information input unit for learning the error prediction model based on the result of executing the test of the target device according to the test scenario is further provided .
The development support device according to claim 7 .
試験完了時に残存している残存誤り予測情報を入力して、関連するリスク及びその対策を出力するプロジェクト診断モデルを用いてリスク評価する、
請求項２に記載の開発支援装置。 The risk assessment department further
Input the residual error prediction information remaining at the completion of the test, and evaluate the risk using the project diagnostic model that outputs the related risks and countermeasures.
The development support device according to claim 2 .
請求項９に記載の開発支援装置。 A priority adjustment unit for determining and outputting the priority of countermeasure items by determining whether the risk output by the project diagnostic model is known or unknown is further provided .
The development support device according to claim 9 .
請求項９または１０に記載の開発支援装置。The development support device according to claim 9 or 10.
少なくとも仕様又は設計の内容を含む非構造化データのテキスト解析結果に基づき、対策が必要となる対応の特徴要素を抽出して、前記非構造化データのテキスト解析結果と、抽出された特徴要素とを、規則性のある構造化データに変換する非構造化データ変換部を、更に備える、
請求項１１に記載の開発支援装置。 The project diagnostic model learning department
Based on the text analysis result of the unstructured data including at least the contents of the specification or design, the corresponding feature elements that require countermeasures are extracted, and the text analysis result of the unstructured data and the extracted feature elements Is further provided with an unstructured data conversion unit that converts the data into regular structured data.
The development support device according to claim 11 .
請求項９から１２のいずれか１項に記載の開発支援装置。 Based on the information about the existing project , input the information on how effective the countermeasure plan based on the related risk was from the residual error prediction information remaining at the time of the test completion in each project, and the above-mentioned project. Further equipped with a risk countermeasure effect judgment input unit for learning a diagnostic model ,
The development support device according to any one of claims 9 to 12 .
開発の対象又はプロジェクトに関する情報から、前記開発の対象又はプロジェクトにおいて試験を行うためのテストシナリオを生成する開発支援システムであって、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに、前記開発の対象又はプロジェクトに関する情報を入力して、各前記テストケースと対応する各誤り予測情報を取得する誤り予測情報取得部と、
取得された前記誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するテスト項目生成部と、
前記テストケースデータベースから、前記テスト項目情報が含む前記試験項目に対応するテストケース情報を取得する処理部と、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するテストシナリオ生成部と、
を備える、開発支援システム。 It is communicable with the test case database, which is included in the machine learning database, which is a database that stores various information used in machine learning, and stores multiple test case information that defines individual processes in test scenarios.
A development support system that generates test scenarios for testing in the development target or project from information about the development target or project.
Input information about the target or project of the development into the error prediction model that outputs error prediction information including information indicating the probability that the input test case will detect an error, and each error corresponding to each test case. Error prediction information acquisition unit that acquires prediction information, and
Based on the acquired error prediction information, a test item generation unit that generates test item information indicating test items to be executed, and a test item generation unit.
A processing unit that acquires test case information corresponding to the test item included in the test item information from the test case database, and a processing unit .
A test scenario generation unit that generates the test scenario based on the acquired test case information,
A development support system equipped with .
前記テスト項目生成部は、The test item generation unit
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する、Based on the error prediction information to which the risk assessment value is added, test item information indicating the test items to be performed is generated.
請求項１４に記載の開発支援システム。The development support system according to claim 14.
試験完了時に残存している残存誤り予測情報を入力して、関連するリスク及びその対策を出力するプロジェクト診断モデルを用いてリスク評価する、
請求項１５に記載の開発支援システム。 The risk assessment department further
Input the residual error prediction information remaining at the completion of the test, and evaluate the risk using the project diagnostic model that outputs the related risks and countermeasures.
The development support system according to claim 15 .
機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに含まれ、テストシナリオにおける個々の処理を規定する複数のテストケース情報が格納される、テストケースデータベースを、設定するステップと、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに、前記開発の対象又はプロジェクトに関する情報を入力して、各前記テストケースと対応する各誤り予測情報を取得するステップと、
取得された前記誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するステップと、
前記テストケースデータベースから、前記テスト項目情報が含む前記試験項目に対応するテストケース情報を取得するステップと、及び、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するステップと、
を備える、開発支援のためのコンピュータプログラム。 In a computer program for development support that generates test scenarios for testing in the development target or project from information about the development target or project.
Steps to set up a test case database, which is included in the machine learning database, which is a database that stores various information used in machine learning, and stores multiple test case information that defines individual processes in test scenarios.
Input information about the target or project of the development into the error prediction model that outputs error prediction information including information indicating the probability that the input test case will detect an error, and each error corresponding to each test case. Steps to get forecast information and
Based on the acquired error prediction information, a step of generating test item information indicating a test item to be performed, and a step of generating test item information.
A step of acquiring test case information corresponding to the test item included in the test item information from the test case database, and
A step to generate the test scenario based on the acquired test case information, and
A computer program for development support .
前記テスト項目情報を生成するステップでは、In the step of generating the test item information,
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する、Based on the error prediction information to which the risk assessment value is added, test item information indicating the test items to be performed is generated.
請求項１８に記載の開発支援のためのコンピュータプログラム。The computer program for development support according to claim 18.
請求項１８または１９に記載の開発支援のためのコンピュータプログラム。The computer program for development support according to claim 18 or 19.
試験完了時に残存している残存誤り予測情報を入力して、関連するリスク及びその対策を出力するプロジェクト診断モデル用いてリスク評価するステップを含む、
請求項１９に記載の開発支援のためのコンピュータプログラム。 The step of calculating the risk assessment value and adding it to the error prediction information is further further .
Includes steps for risk assessment using a project diagnostic model that inputs residual error prediction information that remains at the end of the test and outputs relevant risks and countermeasures.
The computer program for development support according to claim 19 .
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018244253 | 2018-12-27 | ||
| JP2018244253 | 2018-12-27 | ||
| PCT/JP2019/040551 WO2020137096A1 (en) | 2018-12-27 | 2019-10-16 | Test device, and development support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020137096A1 JPWO2020137096A1 (en) | 2021-09-09 |
| JP7034334B2 true JP7034334B2 (en) | 2022-03-11 |
Family
ID=71126258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020562382A Active JP7034334B2 (en) | 2018-12-27 | 2019-10-16 | Test equipment and development support equipment |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7034334B2 (en) |
| WO (1) | WO2020137096A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11782809B2 (en) * | 2020-06-30 | 2023-10-10 | Tektronix, Inc. | Test and measurement system for analyzing devices under test |
| CN113902296B (en) * | 2021-10-09 | 2022-06-07 | 鹤山市民强五金机电有限公司 | Intelligent test method and system for single-phase asynchronous motor |
| CN117651289B (en) * | 2024-01-26 | 2024-04-05 | 中国人民解放军军事科学院***工程研究院 | Data processing method and device for radio communication equipment test |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004125670A (en) | 2002-10-03 | 2004-04-22 | Toshiba Corp | Test pattern selection apparatus, test pattern selection means, and test pattern selecting program |
| JP2011257947A (en) | 2010-06-08 | 2011-12-22 | Clarion Co Ltd | Method, apparatus and program for preparing test plan |
| JP2013125420A (en) | 2011-12-14 | 2013-06-24 | Shift Inc | Apparatus and program for creating test specification of computer program |
| US20170091071A1 (en) | 2015-09-25 | 2017-03-30 | International Business Machines Corporation | Predicting software product quality |
-
2019
- 2019-10-16 JP JP2020562382A patent/JP7034334B2/en active Active
- 2019-10-16 WO PCT/JP2019/040551 patent/WO2020137096A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004125670A (en) | 2002-10-03 | 2004-04-22 | Toshiba Corp | Test pattern selection apparatus, test pattern selection means, and test pattern selecting program |
| JP2011257947A (en) | 2010-06-08 | 2011-12-22 | Clarion Co Ltd | Method, apparatus and program for preparing test plan |
| JP2013125420A (en) | 2011-12-14 | 2013-06-24 | Shift Inc | Apparatus and program for creating test specification of computer program |
| US20170091071A1 (en) | 2015-09-25 | 2017-03-30 | International Business Machines Corporation | Predicting software product quality |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020137096A1 (en) | 2021-09-09 |
| WO2020137096A1 (en) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7034334B2 (en) | Test equipment and development support equipment | |
| Xia et al. | Collective personalized change classification with multiobjective search | |
| KR20150046088A (en) | Predicting software build errors | |
| CN110909758A (en) | Computer-readable recording medium, learning method, and learning apparatus | |
| KR20110069734A (en) | System and method for distributed elicitation and aggregation of risk information | |
| JP7069029B2 (en) | Automatic prediction system, automatic prediction method and automatic prediction program | |
| US11556837B2 (en) | Cross-domain featuring engineering | |
| Kaur et al. | An empirical study of software entropy based bug prediction using machine learning | |
| US20170212928A1 (en) | Cognitive decision making based on dynamic model composition | |
| US20220351004A1 (en) | Industry specific machine learning applications | |
| Paul et al. | Software metrics knowledge and databases for project management | |
| Hirt et al. | An end-to-end process model for supervised machine learning classification: from problem to deployment in information systems | |
| Khankhoje | AI-Based Test Automation for Intelligent Chatbot Systems | |
| Tanneru et al. | Quantifying uncertainty in natural language explanations of large language models | |
| US20210286706A1 (en) | Graph-based method for inductive bug localization | |
| US20210279608A1 (en) | Prediction rationale analysis apparatus and prediction rationale analysis method | |
| Anda et al. | An optimization modeling method for adaptive systems based on goal and feature models | |
| Akumba et al. | A predictive risk model for software projects’ requirement gathering phase | |
| Nicol et al. | A preliminary approach to quantifying the overall environmental risks posed by development projects during environmental impact assessment | |
| Tagharobi et al. | Introducing a Framework for Code based Fairness Audits of Learning Analytics Systems on the Example of Moodle Learning Analytics. | |
| d'Aloisio et al. | Modeling quality and machine learning pipelines through extended feature models | |
| CN115668174A (en) | Ordering data elements of a given set of data elements | |
| CN111858386A (en) | Data testing method and device, computer equipment and storage medium | |
| CN115349129A (en) | Generating performance predictions with uncertainty intervals | |
| Spinner et al. | Revealing the Unwritten: Visual Investigation of Beam Search Trees to Address Language Model Prompting Challenges |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210125 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220301 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7034334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |