JP2012043133A - Evaluation system, method and program - Google Patents
Evaluation system, method and program Download PDFInfo
- Publication number
- JP2012043133A JP2012043133A JP2010183213A JP2010183213A JP2012043133A JP 2012043133 A JP2012043133 A JP 2012043133A JP 2010183213 A JP2010183213 A JP 2010183213A JP 2010183213 A JP2010183213 A JP 2010183213A JP 2012043133 A JP2012043133 A JP 2012043133A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- target program
- program
- evaluation target
- coverage information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Stored Programmes (AREA)
Abstract
Description
本発明は、評価対象プログラムを自動的に評価するための評価システム、評価方法及び評価プログラムに関するものである。 The present invention relates to an evaluation system, an evaluation method, and an evaluation program for automatically evaluating an evaluation object program.
最近の電子機器はシステムの複雑化により評価処理が増大しており、その評価処理の効率化が求められている。例えば、入力データの作成から結果解析まで手作業で行われることが多く、その評価処理に多大な時間を要している。 In recent electronic devices, the evaluation process is increasing due to the complexity of the system, and the efficiency of the evaluation process is required. For example, it is often performed manually from creation of input data to result analysis, and the evaluation process takes a lot of time.
このような問題点を解決すべく、例えば、操作手順と入力データとを関連付けて記憶することで、評価者と不具合解析者とが異なる場合における不具合解析処理の改善を図った評価システムが知られている（特許文献１参照）。 In order to solve such a problem, for example, an evaluation system is known which improves the defect analysis process when the evaluator and the defect analyst are different by storing the operation procedure in association with the input data. (See Patent Document 1).
従来の評価システムにおいては、上述の如く、入力データの作成、結果確認、評価対象プログラムなどのリセット作業が手作業となるため、処理効率の低下を招いている。一方で、特許文献１に示す評価システムにおいて、操作手順と入力データとを関連付けることで不具合解析処理を改善している。しかしながら、評価処理の完全な自動化が行われているわけではないため、その処理効率は良好とは言えず、不具合解析も不具合解析者の負担となっている。
In the conventional evaluation system, as described above, creation of input data, confirmation of results, resetting of the evaluation target program, etc. are manual operations, resulting in a reduction in processing efficiency. On the other hand, in the evaluation system shown in
本発明の一態様は、評価対象プログラムに対する評価項目を記憶するデータベースと、前記評価対象プログラムのカバレッジ情報を取得するデバッカ手段と、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記データベースの評価項目毎に比較する比較手段と、前記デバッカ手段からの前記カバレッジ情報と、前記比較手段からの比較結果と、に基づいて前記評価対象プログラムの不具合を解析する不具合解析手段と、を備える、ことを特徴とする評価システムである。 One aspect of the present invention provides a database that stores evaluation items for an evaluation target program, a debugger unit that acquires coverage information of the evaluation target program, a processing result and an expected value of the evaluation target program for predetermined data, Comparing means for comparing each evaluation item of the database, failure analysis means for analyzing a failure of the evaluation target program based on the coverage information from the debugger means and a comparison result from the comparing means This is an evaluation system characterized by that.
本態様によれば、データベースの評価項目に従って評価対象プログラムの評価を自動的に実行し、さらに、評価対象プログラムのカバレッジ情報及び比較結果を蓄積し、その蓄積に基づいて、不具合解析を自動的に行うことができる。すなわち、評価対象プログラムに対する評価の効率を向上させることができる。 According to this aspect, evaluation of the evaluation target program is automatically executed according to the evaluation items of the database, and further, coverage information and comparison results of the evaluation target program are accumulated, and failure analysis is automatically performed based on the accumulation. It can be carried out. That is, the evaluation efficiency for the evaluation target program can be improved.
また、本発明の一態様は、評価対象プログラムのカバレッジ情報を取得し、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較し、前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する、ことを特徴とする評価方法であってもよい。 Further, according to one aspect of the present invention, the coverage information of the evaluation target program is acquired, the processing result of the evaluation target program with respect to predetermined data and the expected value are compared for each evaluation item of the evaluation target program, and the acquired The evaluation method may be characterized in that a failure of the evaluation target program is analyzed based on coverage information and the compared result of comparison.
さらに、本発明の一態様は、評価対象プログラムのカバレッジ情報を取得する処理と、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較する処理と、前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する処理と、をコンピュータに実行させる、ことを特徴とする評価プログラムであってもよい。 Further, according to one aspect of the present invention, a process of obtaining coverage information of an evaluation target program, a process of comparing a processing result of the evaluation target program with respect to predetermined data and an expected value for each evaluation item of the evaluation target program, An evaluation program characterized by causing a computer to execute a process of analyzing a defect of the evaluation target program based on the acquired coverage information and the compared comparison result.
本発明によれば、評価処理の効率を向上させた評価システム、評価方法及び評価プログラムを提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the evaluation system, the evaluation method, and the evaluation program which improved the efficiency of evaluation processing can be provided.
実施の形態１．
以下、図面を参照して本発明の実施の形態１について説明する。図１は、本発明の実施の形態１に係る評価システムの概略的な構成を示すブロック図である。本実施の形態１に係る評価システム１は、評価の対象となる評価対象プログラム６に対し、複数ある評価項目を自動的に実行することで評価効率を向上させると共に、評価結果及びカバレッジ情報に基づいて自動的に評価／解析を行い、ユーザに対する不具合解析の負担を軽減するためのシステムである。
評価システム１は、全体制御部２と、入力データ送信部３と、入力データ保存部４と、デバッガ５と、評価対象プログラム６と、リファレンスプログラム７と、結果比較部８と、不具合解析部９と、評価項目データベース１０と、解析結果データベース１１と、を備えている。なお、評価システム１は、例えば、制御処理、演算処理等を行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される制御プログラム、演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を記憶するＲＡＭ（Random Access Memory）と、を有する、マイクロコンピュータを中心にハードウェア構成されている。
The
全体制御部２は、評価項目データベース１０の評価項目に従って評価処理を実行する。また、全体制御部２は、入力データ送信部３やデバッガ５に対して評価の開始及び停止の実行指示を行う。さらに、全体制御部２は、評価項目データベース１０の評価項目や不具合解析部９からの評価項目の更新指示に基づいて、入力データ送信部３に対して入力データの加工指示、およびデバッガ５を介して評価対象プログラム６やリファレンスプログラム７に対して動作条件の指示を行う。また、全体制御部２は、更新手段の一具体例であり、不具合解析部９から評価項目の更新指示に応じて、評価項目データベース１０の評価項目を更新する。
The
入力データ送信部３は、入力データ手段の一具体例であり、入力データの生成や加工、入力データの送信の開始及び停止、などを行う。入力データ送信部３は、入力データの加工を全体制御部２からの指示に従って行う。入力データ送信部３は、例えば評価対象プログラム６に対して不正な入力データを生成し、生成された入力データは、評価対象プログラム６のエラー隠蔽が正常動作するか否かを評価する場合に使用される。
The input
入力データ保存部４は、入力データ保存手段の一具体例であり、評価手順と入力データ送信部３から送信される入力データとを保存している。なお、入力データ保存部４は、入力データ送信部３において加工が施された入力データを、加工が施された状態で保存する。
The input
デバッカ５は、デバッカ手段の一具体例であり、評価対象プログラム６を起動し、その評価対象プログラム６のカバレッジ情報を取得する。デバッカ５は、評価対象プログラム６に対して動作条件を指示する。デバッガ５は、取得したカバレッジ情報を不具合解析部９に対して送信し、不具合解析部９はデバッカ５から送信されるカバレッジ情報を蓄積する。
The
評価対象プログラム６は、上記ＲＯＭやＲＡＭに記憶されており、その評価処理が開始されると、デバッガ５からの指示に応じて起動する。そして、評価対象プログラム６は、入力データ送信部３から受信した入力データを、評価項目データベース１０の評価項目毎に処理し、その処理結果を結果比較部８に対して送信する。そのデータ処理中において、デバッカ５は評価対象プログラム６のカバレッジ情報を取得する。
The
リファレンスプログラム７は、リファレンス手段の一具体例であり、評価対象プログラム６に対するリファレンスプログラムであり、上記ＲＯＭやＲＡＭに記憶されている。リファレンスプログラム７は、入力データ送信部３から受信した入力データに基づいて、評価項目データベース１０の評価項目毎に期待値を生成し、生成した期待値を結果比較部８に対して送信する。また、リファレンスプログラム７は、全体制御部２から動作条件の指示に応じて動作する。
The
結果比較部８は、比較手段の一具体例であり、評価項目データベース１０の評価項目毎に、評価対象プログラム６の処理結果とリファレンスプログラム７の期待値とを比較し、それらの一致及び不一致を判断する。結果比較部８は、評価対象プログラム６の処理結果とリファレンスプログラム７の期待値とが一致する場合にＯＫと判断（ＯＫ判断又は正常判断）し、一致しない場合にＮＧと判断（ＮＧ判断又は不具合判断）し、その比較結果をＯＫ／ＮＧ判断情報として不具合解析部９に対して送信する。
The
不具合解析部９は、不具合解析手段の一具体例であり、デバッガ５から送信されるカバレッジ情報と結果比較部８から送信されるＯＫ／ＮＧ判断情報とを蓄積し、蓄積されたカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて、不具合解析を行う。
The
評価対象プログラム６は、不具合発生時のＮＧ判断のときと、正常時のＯＫ判断のときとは違う動作を行うため、不具合解析部９は、ＯＫ判断のときのカバレッジ情報とＮＧ判断のときのカバレッジ情報との差分を検出することで評価対象プログラム６の不具合原因を特定し、その特定した結果を、不具合解析結果として解析結果データベース１１に対して出力する。不具合解析部９は、結果比較部８からＮＧ判断情報を受信したとき、そのＮＧ判断の原因を詳細に特定するために全体制御部２に対し評価項目の更新を指示する。
Since the
評価項目データベース１０は、データベースの一具体例であり、評価対象プログラム６を評価するための評価項目を保存するためのデータベースである。解析結果データベース１１は、不具合解析部９から出力される不具合解析結果を保存するためのデータベースである。評価項目データベース１０及び解析結果データベース１１は、例えば、磁気ディスク装置、光ディスク装置、ＲＡＭなどにより構成されている。なお、評価項目データベース１０及び解析結果データベース１１は、一体的に構成されていてもよい。
The
次に、本実施の形態１に係る評価システム１による評価方法について、詳細に説明する。図２は、本実施の形態１に係る評価システムによる処理フローの一例を示すフローチャートである。
Next, the evaluation method by the
評価システム１が評価処理を開始すると、全体制御部２は評価項目データベース１０から評価項目を取得し（ステップＳ２０１）、取得した評価項目に基づいて評価を実行開始し、評価開始を入力データ送信部３、デバッカ５等に指示する（ステップＳ２０２）。
When the
入力データ送信部３は、全体制御部２からの指示に従って、入力データ保存部４、リファレンスプログラム７等に対して入力データを送信する（ステップＳ２０３）。
The input
入力データ保存部４は、入力データ送信部３から受信した入力データと、操作手順とを保存する（ステップＳ２０４）。
The input
デバッカ５は、全体制御部２からの指示に従って評価対象プログラム６を起動する（ステップＳ２０５）。
The
リファレンスプログラム７は、入力データ送信部３から受信した入力データに基づいて、評価項目データベース１０の評価項目毎に期待値を生成し（ステップＳ２０６）、生成した期待値を結果比較部８に対して送信する。
The
デバッカ５は、処理中の評価対象プログラム６のカバレッジ情報を取得し（ステップＳ２０７）、取得したカバレッジ情報を不具合解析部９に対して送信する。
The
評価対象プログラム６は、入力データ送信部３から受信した入力データを評価項目データベース１０の評価項目毎に処理し（ステップＳ２０８）、その処理結果を結果比較部８に対して送信する。
The
結果比較部８は、評価対象プログラム６の処理結果とリファレンスプログラム７の期待値とを、評価項目データベース１０の評価項目毎に比較し（ステップＳ２０９）、その比較結果をＯＫ／ＮＧ判断情報として不具合解析部９に対して送信する。
The
不具合解析部９は、デバッガ５から送信されるカバレッジ情報と結果比較部８から送信されるＯＫ／ＮＧ判断情報とを蓄積し（ステップＳ２１０）、蓄積されたカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて、不具合解析を行う。ここで、多数の評価項目を実行すると、ＮＧ判断の場合に実行される命令と、その時の評価項目が抽出されるため、この傾向を分析することで不具合解析を行うことができる。
The
不具合解析部９は、結果比較部８からＮＧ判断情報を受信したとき（ステップＳ２１１のＹＥＳ）、全体制御部２に評価項目の更新を指示し（ステップＳ２１２）、全体制御部２は不具合解析部９からの更新指示に応じて、評価項目データベース１０の評価項目を更新する（ステップＳ２１３）。この更新において、全体制御部２は、例えば、現在の入力データに少しだけ加工を加えたり、評価対象プログラム６の動作条件に微修正を加えたりして、評価項目を追加する。これにより、ＮＧ判断となる評価項目が増加するので、カバレッジ情報が増加し、不具合解析の精度を向上させることができる。
When the
一方、不具合解析部９は、結果比較部８からＯＫ判断情報を受信したとき（ステップＳ２１１のＮＯ）、全体制御部２に評価項目更新指示をしない。全体制御部２は、不具合解析部９からの評価項目更新指示がないと、評価項目データベース１０の評価項目に従って評価を実行する。
On the other hand, when the
不具合解析部９は、全評価が終了すると（ステップＳ２１４のＹＥＳ）、不具合解析の結果を解析結果データベース１１に対して出力し（ステップＳ２１５）、本処理を終了する。ユーザは、必要に応じて、解析結果データベース１１から評価対象プログラムの不具合解析結果を取り出し、ディスプレイなどの表示装置やプリンタ装置などに出力することができる。
When all the evaluations are completed (YES in step S214), the
次に、本実施の形態１に係る評価システムによる具体的な評価処理について、詳細に説明する。ここで、評価対象プログラム６として、サラウンド処理プログラム６が用いられ、入力データとして、ＰＣＭ（Pulse Code Modulation）データが用いられている。
Next, specific evaluation processing by the evaluation system according to the first embodiment will be described in detail. Here, the
サラウンド処理プログラム６は、入力データ送信部３から受信したＰＣＭデータを処理し、その処理したＰＣＭデータを結果比較部８に対して送信する。
The
ここで、サウンド処理プログラム６は、図３に示すように、１０のステップ（ステップＮｏ．１〜１０）の処理を実行し、評価項目データベース１０には、５つの評価項目Ａ〜Ｅが登録されているものとする。本実施の形態１に係る評価システム１において、このサウンド処理プログラム６を実行した結果、不具合解析部９が図３に示すようなカバレッジ情報とＯＫ／ＮＧ判断情報の蓄積結果を得たとする。なお、図３において、"○"はサウンド処理プログラム６により実行された処理を表している。
Here, as shown in FIG. 3, the
さらに、不具合解析部９は、図３に示すカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて不具合解析を行い、図４に示す不具合解析結果を解析結果データベース１１に対して出力する。図４に示すように、不具合解析部９は、ステップＮｏ．５及びステップＮｏ．６において正常動作か否かを判断できない。
Further, the
この場合、不具合解析部９は、全体制御部２に対して、ＤとＥに類似した評価項目の追加するように更新指示を行う。全体制御部２は、不具合解析部９からのその更新指示に従い、評価項目データベース１０の評価項目においてＤとＥに類似した評価項目を追加する。
In this case, the
例えば、評価項目Ｄがサラウンドのモード評価であり、モード"normal"、"narrow"、及び"wide"の選択肢があり、評価項目Ｄにおいてモード"normal"で上記モード評価を行った場合、全体制御部２は、モード"narrow"とした評価項目Ｄ１と、モード"wide"とした評価項目Ｄ２とを評価項目データベース１０の評価項目に追加する。
For example, when the evaluation item D is a surround mode evaluation and there are options of modes “normal”, “narrow”, and “wide”, and the above-described mode evaluation is performed in the evaluation item D in the mode “normal”, the overall control is performed. The
また、評価項目Ｅがサラウンド効果の強弱評価であり、その範囲が０〜１００であり、評価項目Ｅにおいて"５０"の範囲で上記強弱評価を行った場合、全体制御部２は、"０"の範囲とした評価項目Ｅ１と、"１００"の範囲とした評価項目Ｅ２と、を評価項目データベース１０の評価項目に追加する。このように、全体制御部２は、評価項目データベース１０の評価項目において、必要な評価項目を追加することで、評価項目データベース１０を更新する。
In addition, when the evaluation item E is the strength evaluation of the surround effect, the range is 0 to 100, and the above strength evaluation is performed in the range of “50” in the evaluation item E, the
図５は、上述のように追加した評価項目に基づいて評価を実行したときに、不具合解析部９により蓄積されたカバレッジ情報およびＯＫ／ＮＧ判断情報を示す図である。不具合解析部９は、図４においてステップＮｏ．５及びステップＮｏ．６において正常動作か否かを判断できていないが、上述の評価項目を追加することで、図５に示すように、ステップＮｏ．５は正常動作で、ステップＮｏ．６は不具合であることが分かる。このようにして、本実施の形態１に係る評価システム１は、自動的に評価対象プログラム６の不具合解析を実行する。
FIG. 5 is a diagram illustrating coverage information and OK / NG determination information accumulated by the
以上、本実施の形態１に係る評価システム１によれば、全体制御部２が、評価項目データベース１０の評価項目に基づいて評価を自動的に実行することで、評価効率を向上させることができる。また、不具合解析部９が、カバレッジ情報及びＯＫ／ＮＧ判断情報を蓄積することで、その不具合解析も自動的に実行することができる。さらに、不具合解析部９が全体制御部２に対して評価項目の追加指示を自動的に行うことで、カバレッジ情報及びＯＫ／ＮＧ判断情報の蓄積量を増加させ、その不具合解析の精度を向上させることができる。すなわち、評価対象プログラム６に対する評価の効率を向上させることができる。
As mentioned above, according to the
実施の形態２．
本発明の実施の形態２に係る評価システム１において、評価対象プログラム６として、ＨＥ−ＡＡＣデコーダプログラム６が用いられ、入力データとして、ＨＥ−ＡＡＣストリームが用いられている。
In the
ＨＥ−ＡＡＣデコーダプログラム６は、入力データ送信部３から受信したＨＥ−ＡＡＣストリームを処理し、処理結果としてＰＣＭデータを結果比較部８に対して出力する。
The HE-
ここで、ＨＥ−ＡＡＣデコーダプログラム６は、図６に示すように、１２のステップ（ステップＮｏ．１〜１２）の処理を実行し、評価項目データベース１０には、１０つの評価項目が登録されていたとする。本実施の形態２に係る評価システム１において、このＨＥ−ＡＡＣデコーダプログラム６を実行した結果、不具合解析部９が評価項目Ｆ及びＧについて図６に示すカバレッジ情報とＯＫ／ＮＧ判断情報の蓄積結果を得たとする。
Here, as shown in FIG. 6, the HE-
評価項目Ｆは、４８ｋＨｚの正常ストリームの評価であり、評価項目Ｇは、入力データ送信部３で評価項目Ｆと同じストリームに対してサンプリングレートを４４ｋＨｚに書き換えたエラーストリームの評価である。
The evaluation item F is an evaluation of a normal stream of 48 kHz, and the evaluation item G is an evaluation of an error stream in which the sampling rate is rewritten to 44 kHz for the same stream as the evaluation item F in the input
さらに、不具合解析部９は、図６に示すカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて不具合解析を行い、図７に示す不具合解析結果を解析結果データベース１１に対して出力する。図７に示すように、不具合解析部９は、ステップＮｏ．６及びステップＮｏ．９において正常動作か否かを判断できない。
Further, the
この場合、不具合解析部９は、全体制御部２に対して、Ｇに類似した評価項目の追加するように更新指示を行う。全体制御部２は、不具合解析部９からのその更新指示に従い、評価項目データベース１０の評価項目においてＧに類似した評価項目を追加する。
In this case, the
例えば、全体制御部２は、入力データ送信部３で評価項目Ｆと同一のストリームに対し、サンプリングレートを３２ｋＨｚに書き換えたエラーストリームの評価項目Ｇ１と、入力データ送信部３で評価項目Ｆと同一のストリームに対し、サンプリングレートを２４ｋＨｚに書き換えたエラーストリームの評価項目Ｇ２と、を追加する。このように、全体制御部２は、評価項目データベース１０の評価項目において、所望の評価項目を追加することで、評価項目データベース１０を更新する。
For example, the
図８は、上述のようにして、追加した評価項目に基づいて評価を実行したときに、不具合解析部により蓄積されたカバレッジ情報およびＯＫ／ＮＧ判断情報を示す図である。不具合解析部９は、図７においてステップＮｏ．６及びステップＮｏ．９において正常動作か否かを判断できていないが、上述の評価項目を追加することで、図８に示すように、ステップＮｏ．６は不具合で、ステップＮｏ．９は正常動作であることが分かる。このようにして、本実施の形態２に係る評価システム１は、入力データが不正な場合でも、自動的に評価対象プログラム６の不具合解析を実行することができる。
FIG. 8 is a diagram showing coverage information and OK / NG determination information accumulated by the failure analysis unit when the evaluation is executed based on the added evaluation item as described above. The
以上、本実施の形態２に係る評価システム１によれば、上述の実施の形態１の効果に加えて、入力データが不正となる場合でも、評価対象プログラム６の評価や不具合解析を自動的に行うことができる。
As described above, according to the
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。 Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention.
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、上述した処理を、上記ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。 In the above-described embodiments, the present invention has been described as a hardware configuration, but the present invention is not limited to this. The present invention can also realize the above-described processing by causing the CPU to execute a computer program.
また、上述の実施の形態では、評価対象プログラム６と全体制御部２等が単一のＣＰＵで実行される構成で説明したが、本発明は、これに限定されるものではない。本発明は、上述した処理を、評価対象プログラム６と全体制御部２等が複数のＣＰＵで実行される場合であっても実現することが可能である。
In the above-described embodiment, the
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。 The program may be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W and semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)) are included.
プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
さらに、上記実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。 Furthermore, part or all of the above-described embodiments can be described as in the following supplementary notes, but is not limited thereto.
（付記１）
評価対象プログラムに対する評価項目を記憶するデータベースと、前記評価対象プログラムのカバレッジ情報を取得するデバッカ手段と、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記データベースの評価項目毎に比較する比較手段と、前記デバッカ手段からの前記カバレッジ情報と、前記比較手段からの比較結果と、に基づいて前記評価対象プログラムの不具合を解析する不具合解析手段と、を備える、ことを特徴とする評価システム。
（付記２）
（付記１）の評価システムであって、前記比較手段は、前記評価対象プログラムの処理結果と期待値とを比較して、該評価対象プログラムの処理結果と期待値との一致及び不一致を判断し、前記不具合解析手段は、前記比較手段による前記評価対象プログラムの処理結果と期待値との不一致の判断に基づいて、前記データベースの評価項目の更新を指示する、ことを特徴とする評価システム。
（付記３）
（付記２）の評価システムであって、前記不具合解析手段からの前記データベースの評価項目の更新指示に応じて、前記データベースの評価項目に類似する評価項目を追加する更新手段を、更に備える、ことを特徴とする評価システム。
（付記４）
（付記１）乃至（付記３）のうちいずれかの評価システムであって、前記不具合解析手段は、前記評価対象プログラムの処理結果と期待値とが一致するときの前記カバレッジ情報と、前記評価対象プログラムの処理結果と期待値とが不一致のときの前記カバレッジ情報との差分を検出することで、前記評価プログラムの不具合原因を特定する、ことを特徴とする評価システム。
（付記５）
（付記１）乃至（付記４）のうちいずれかの評価システムであって、前記所定データを生成する入力データ手段と、前記入力データ手段により生成された前記所定データを保存する入力データ保存手段と、前記入力データ手段からの前記所定データに基づいて、前記データベースの評価項目毎に前記期待値を生成するリファレンス手段と、を更に備える、ことを特徴とする評価システム。
（付記６）
評価対象プログラムのカバレッジ情報を取得し、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較し、前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する、ことを特徴とする評価方法。
（付記７）
評価対象プログラムのカバレッジ情報を取得する処理と、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較する処理と、前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する処理と、をコンピュータに実行させる、ことを特徴とする評価プログラム。
（付記８）
（付記７）の評価プログラムを記憶することを特徴とするコンピュータ可読媒体。
(Appendix 1)
A database storing evaluation items for the evaluation target program, a debugger means for acquiring coverage information of the evaluation target program, and a processing result and an expected value of the evaluation target program for predetermined data are compared for each evaluation item of the database. Evaluation means comprising: a comparing means for analyzing the coverage information from the debugger means; and a failure analysis means for analyzing a failure of the program to be evaluated based on the comparison result from the comparing means. system.
(Appendix 2)
The evaluation system according to (Appendix 1), wherein the comparison unit compares the processing result of the evaluation target program with an expected value to determine whether the processing result of the evaluation target program matches the expected value. The evaluation system is characterized in that the failure analysis means instructs updating of the evaluation item of the database based on the judgment of mismatch between the processing result of the evaluation target program and the expected value by the comparison means.
(Appendix 3)
The evaluation system according to (Appendix 2), further comprising update means for adding an evaluation item similar to the evaluation item of the database in response to an instruction to update the evaluation item of the database from the defect analysis means. An evaluation system characterized by
(Appendix 4)
The evaluation system according to any one of (Appendix 1) to (Appendix 3), wherein the failure analysis unit includes the coverage information when the processing result of the program to be evaluated matches an expected value, and the evaluation target An evaluation system, characterized by identifying a cause of a defect in the evaluation program by detecting a difference between the processing result of the program and an expected value when there is a mismatch.
(Appendix 5)
(Appendix 1) to (Appendix 4) of any evaluation system, wherein the input data means for generating the predetermined data, and the input data storage means for storing the predetermined data generated by the input data means; An evaluation system further comprising: reference means for generating the expected value for each evaluation item of the database based on the predetermined data from the input data means.
(Appendix 6)
The coverage information of the evaluation target program is acquired, the processing result of the evaluation target program for the predetermined data and the expected value are compared for each evaluation item of the evaluation target program, and the acquired coverage information and the compared comparison result And analyzing the defect of the evaluation target program based on the above.
(Appendix 7)
A process for obtaining the coverage information of the evaluation target program, a process for comparing the processing result and expected value of the evaluation target program with respect to predetermined data for each evaluation item of the evaluation target program, the acquired coverage information, An evaluation program characterized by causing a computer to execute a process of analyzing a failure of the evaluation target program based on a comparison result obtained by comparison.
(Appendix 8)
A computer readable medium storing the evaluation program according to (Appendix 7).
１ 評価システム
２ 全体制御部
３ 入力データ送信部
４ 入力データ保存部
５ デバッガ
６ 評価対象プログラム
７ リファレンスプログラム
８ 結果比較部
９ 不具合解析部
１０ 評価項目データベース
１１ 解析結果データベース
DESCRIPTION OF
Claims (8)
前記評価対象プログラムのカバレッジ情報を取得するデバッカ手段と、
所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記データベースの評価項目毎に比較する比較手段と、
前記デバッカ手段からの前記カバレッジ情報と、前記比較手段からの比較結果と、に基づいて前記評価対象プログラムの不具合を解析する不具合解析手段と、
を備える、ことを特徴とする評価システム。 A database for storing evaluation items for the evaluation target program;
Debugger means for acquiring coverage information of the evaluation target program;
A comparison means for comparing the processing result of the evaluation target program with respect to predetermined data and an expected value for each evaluation item of the database;
A failure analysis unit that analyzes the failure of the evaluation target program based on the coverage information from the debugger unit and the comparison result from the comparison unit;
An evaluation system characterized by comprising:
前記比較手段は、前記評価対象プログラムの処理結果と期待値とを比較して、該評価対象プログラムの処理結果と期待値との一致及び不一致を判断し、
前記不具合解析手段は、前記比較手段による前記評価対象プログラムの処理結果と期待値との不一致の判断に基づいて、前記データベースの評価項目の更新を指示する、ことを特徴とする評価システム。 The evaluation system according to claim 1,
The comparing means compares the processing result of the evaluation target program with an expected value, and determines whether the processing result of the evaluation target program matches the expected value;
The evaluation system according to claim 1, wherein the failure analysis unit instructs updating of the evaluation item of the database based on a determination of a mismatch between a processing result of the evaluation target program by the comparison unit and an expected value.
前記不具合解析手段からの前記データベースの評価項目の更新指示に応じて、前記データベースの評価項目に類似する評価項目を追加する更新手段を、更に備える、ことを特徴とする評価システム。 The evaluation system according to claim 2,
An evaluation system, further comprising: update means for adding an evaluation item similar to the evaluation item of the database in response to an instruction to update the evaluation item of the database from the defect analysis means.
前記不具合解析手段は、前記評価対象プログラムの処理結果と期待値とが一致するときの前記カバレッジ情報と、前記評価対象プログラムの処理結果と期待値とが不一致のときの前記カバレッジ情報との差分を検出することで、前記評価プログラムの不具合原因を特定する、ことを特徴とする評価システム。 The evaluation system according to any one of claims 1 to 3,
The failure analysis means calculates a difference between the coverage information when the processing result of the evaluation target program and the expected value match, and the coverage information when the processing result of the evaluation target program and the expected value do not match. An evaluation system characterized by identifying a cause of a failure of the evaluation program by detecting.
前記所定データを生成する入力データ手段と、
前記入力データ手段により生成された前記所定データを保存する入力データ保存手段と、
前記入力データ手段からの前記所定データに基づいて、前記データベースの評価項目毎に前記期待値を生成するリファレンス手段と、
を更に備える、ことを特徴とする評価システム。 The evaluation system according to any one of claims 1 to 4,
Input data means for generating the predetermined data;
Input data storage means for storing the predetermined data generated by the input data means;
Reference means for generating the expected value for each evaluation item of the database based on the predetermined data from the input data means;
An evaluation system characterized by further comprising:
所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較し、
前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する、
ことを特徴とする評価方法。 Obtain coverage information for the program to be evaluated,
Compare the processing result and expected value of the evaluation target program for predetermined data for each evaluation item of the evaluation target program,
Analyzing the defect of the evaluation target program based on the acquired coverage information and the compared comparison result;
An evaluation method characterized by that.
所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較する処理と、
前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する処理と、
をコンピュータに実行させる、ことを特徴とする評価プログラム。 Processing to obtain coverage information of the evaluation target program;
A process of comparing the processing result and expected value of the evaluation target program with respect to predetermined data for each evaluation item of the evaluation target program;
A process of analyzing a defect of the evaluation target program based on the acquired coverage information and the compared comparison result;
An evaluation program characterized by causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010183213A JP2012043133A (en) | 2010-08-18 | 2010-08-18 | Evaluation system, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010183213A JP2012043133A (en) | 2010-08-18 | 2010-08-18 | Evaluation system, method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012043133A true JP2012043133A (en) | 2012-03-01 |
Family
ID=45899378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010183213A Pending JP2012043133A (en) | 2010-08-18 | 2010-08-18 | Evaluation system, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012043133A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130304695A1 (en) * | 2012-03-22 | 2013-11-14 | Lg Cns Co., Ltd. | Method for providing database management and the database management server thereof |
-
2010
- 2010-08-18 JP JP2010183213A patent/JP2012043133A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130304695A1 (en) * | 2012-03-22 | 2013-11-14 | Lg Cns Co., Ltd. | Method for providing database management and the database management server thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8589882B2 (en) | Analyzing computer code development actions and process | |
| JP2019028565A (en) | Failure prediction method, failure prediction apparatus and failure prediction program | |
| WO2010086925A1 (en) | Voice recognition device | |
| JP6268029B2 (en) | Test case generation apparatus and test case generation method | |
| JP6897524B2 (en) | Software quality judgment device, software quality judgment method, and software quality judgment program | |
| US9015675B2 (en) | System reliability evaluation device | |
| JP4758879B2 (en) | Temporary speech segment determination device, method, program and recording medium thereof, speech segment determination device, method | |
| US8855969B2 (en) | Frequency guard band validation of processors | |
| US20150089481A1 (en) | Methods, systems and computer-readable media for quantifying a bug detection efficiency of a bug prediction technique | |
| JP2012043133A (en) | Evaluation system, method and program | |
| JPWO2012036304A1 (en) | Operation verification support apparatus, operation verification support method, and operation verification support program | |
| JP6451417B2 (en) | Debug support device, debug support system, debug support method, and debug support program | |
| CN109189672B (en) | Automatic testing method for micro-service, server and computer readable storage medium | |
| WO2012121005A1 (en) | Availability model generation support device, availability model generation support method, and program | |
| US8798982B2 (en) | Information processing device, information processing method, and program | |
| JP5743663B2 (en) | Test support system, test support method, and program | |
| US11868467B2 (en) | Semiconductor device, control flow inspection method, non-transitory computer readable medium, and electronic device | |
| JP2009134360A (en) | Model inspection system, model inspection method, and model inspection program | |
| JP2013149203A (en) | Optimal model estimation device, method and program | |
| JP5755861B2 (en) | Test case generation apparatus, test case generation method, and test case generation program | |
| CN109558139A (en) | Marker method, device, computer equipment and the storage medium of component dependencies | |
| WO2013128519A1 (en) | Device for analyzing critical execution time and method for analyzing critical execution time, as well as non-temporary computer-readable medium for storing program | |
| EP4120085A1 (en) | Failure analysis support device and failure analysis support method | |
| JP7318707B2 (en) | Semiconductor device, control flow inspection method, control flow inspection program, and electronic device | |
| JP5651567B2 (en) | Acoustic model adaptation apparatus, acoustic model adaptation method, and program |