JP2002535773A - 組み込み型のオペーレティングシステムを有する装置をテストして妥当性を検査するためのシステム及び方法 - Google Patents
組み込み型のオペーレティングシステムを有する装置をテストして妥当性を検査するためのシステム及び方法Info
- Publication number
- JP2002535773A JP2002535773A JP2000595240A JP2000595240A JP2002535773A JP 2002535773 A JP2002535773 A JP 2002535773A JP 2000595240 A JP2000595240 A JP 2000595240A JP 2000595240 A JP2000595240 A JP 2000595240A JP 2002535773 A JP2002535773 A JP 2002535773A
- Authority
- JP
- Japan
- Prior art keywords
- test
- operating system
- computer
- target device
- testing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/26—Functional testing
- G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/366—Software debugging using diagnostics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
(57)【要約】
品質保証を改善し、多くの個人の長い月日とコスト節約を与え、Windows CE(R)のような市販のオヘ゜レーティンク゛システムを利用するターケ゛ット装置の製品開発フ゜ロセスを合理化するためのシステムと方法は、包括的な妥当性検査テストフ゜ロク゛ラムの組を適用するテスト装置を含む。このシステムと方法、O/S Validator(1)は、ホストク゛ラフィカルユーサ゛インターフェースハーネス(12)、ホストからターケ゛ットまでの通信(3)、少なくとも1つのテストスーツ(11)、及び結果捕捉手法(12)を利用することにより、市販のオヘ゜レーティンク゛システム(1000a)、Windows CE(R)に完全自動化設計妥当性検査ハ゜ッケーシ゛を提供する。O/S Validator(1)は、より速く、より正確な自動化テストスーツ技術を、Windows CE(R)のような市販のオヘ゜レーティンク゛システム(1000a)のホ゜ートをテストするために、ターケ゛ットハート゛ウェア(1000、9)に提供する。更に、O/S Validator(1)は、オヘ゜レーティンク゛システムO/S、テ゛ハ゛イスト゛ライハ゛、OEM適応階層(OAL)、及びハート゛ウェアインタラクションに意図的にストレスをかけるために、特に開発された包括的なコート゛ヘ゛ースを含む。テストスーツ(11)は、ハート゛ウェアの設計、ハート゛ウェアのフ゜ロク゛ラミンク゛(ト゛ライハ゛/OAL)、及びオヘ゜レーティンク゛システムのインタラクションを含む3つの主な欠陥を識別することに向けられている。特別な診断は、歴史的に最も多い問題を示してきたオヘ゜レーティンク゛サフ゛システムに重点を置く。
Description
【0001】
本特許出願は、1999年1月21日に出願され、「CE VALIDATOR TEST SUITE」と
題する米国暫定特許出願第60/116,824号、及び1999年6月4日に出願され、「PR
OTOCOL ACKNOWLEDGEMENT BETWEEN HOMOGENEOUS SYSTEMS」と題する米国暫定特許
出願第60/137,629号に関連している。
題する米国暫定特許出願第60/116,824号、及び1999年6月4日に出願され、「PR
OTOCOL ACKNOWLEDGEMENT BETWEEN HOMOGENEOUS SYSTEMS」と題する米国暫定特許
出願第60/137,629号に関連している。
【0002】
本発明は、製品の品質保証、及びコンピュータ化された製品に提供されるオペ
レーティングシステムの妥当性を検査するためのテストシステムと方法に関する
。より詳細には、本発明は、製品の品質保証、及びコンピュータ化された製品の
開発中にオペレーティングシステムの妥当性を検査するためのテストシステムと
方法に関する。さらに詳細には、本発明は、製品の品質保証、及びコンピュータ
化された製品に一般的に提供される、マイクロソフト社(ワシントン州、レドモ
ンド)により製造され販売されるWindows CE(R)のようなオペレーティングシス
テムの妥当性を検査するためのテストシステムと方法に関する。
レーティングシステムの妥当性を検査するためのテストシステムと方法に関する
。より詳細には、本発明は、製品の品質保証、及びコンピュータ化された製品の
開発中にオペレーティングシステムの妥当性を検査するためのテストシステムと
方法に関する。さらに詳細には、本発明は、製品の品質保証、及びコンピュータ
化された製品に一般的に提供される、マイクロソフト社(ワシントン州、レドモ
ンド)により製造され販売されるWindows CE(R)のようなオペレーティングシス
テムの妥当性を検査するためのテストシステムと方法に関する。
【0003】
開発者は、セットトップボックス、ゲームシステム、バーコードスキャナ、及
びファクトリオートメーションシステムを含む多くの異なるタイプのコンピュー
タ化された製品へWindows CE(R)のようなオペレーティングシステムを、ますま
す組み込んでいる。Windows CE(R)が増加したのと同様に、「汎用」のソフトウ
ェア開発ツールの要求も増えてきた。多くのツール及び「汎用」のソフトウェア
キットは、装置の設計時間を節約し、迅速な装置開発をもたらすために市販され
ているが、こららの新たな製品の、とりわけ装置開発の最終段階における互換性
を検証するための迅速なテストシステム又は方法は、存在しなかった。
びファクトリオートメーションシステムを含む多くの異なるタイプのコンピュー
タ化された製品へWindows CE(R)のようなオペレーティングシステムを、ますま
す組み込んでいる。Windows CE(R)が増加したのと同様に、「汎用」のソフトウ
ェア開発ツールの要求も増えてきた。多くのツール及び「汎用」のソフトウェア
キットは、装置の設計時間を節約し、迅速な装置開発をもたらすために市販され
ているが、こららの新たな製品の、とりわけ装置開発の最終段階における互換性
を検証するための迅速なテストシステム又は方法は、存在しなかった。
【0004】 従来、オペレーティングシステムの装置テストの選択肢は、2つだけ採用でき
、即ち(1)テストコードの社内書き込み、及び(2)カスタムコード開発を別
の会社に外部委託することであった。社内のテスト計画を完了するために、OEM
業者は、彼らの職員を訓練するために長い月日を費やし、テストコードを開発す
るためにさらに長い月日を費やし、彼らの製品がそのようなコードを用いてテス
トされ得る前の準備にさらにもっと長い月日を費やさなければならない。同様に
、外注のカスタムコード開発の会社は、コードの書き込みに長い月日を費やすで
あろう。このように、双方の選択肢は時間のかかるものであり、従って費用がか
さむ。
、即ち(1)テストコードの社内書き込み、及び(2)カスタムコード開発を別
の会社に外部委託することであった。社内のテスト計画を完了するために、OEM
業者は、彼らの職員を訓練するために長い月日を費やし、テストコードを開発す
るためにさらに長い月日を費やし、彼らの製品がそのようなコードを用いてテス
トされ得る前の準備にさらにもっと長い月日を費やさなければならない。同様に
、外注のカスタムコード開発の会社は、コードの書き込みに長い月日を費やすで
あろう。このように、双方の選択肢は時間のかかるものであり、従って費用がか
さむ。
【0005】 前述した時間のかかるオペレーティングシステムの装置テストの選択肢によっ
て、統合されたテストシステムと製品品質を改善するための方法、時間を与え且
つ多くの個人の月日(person-months)からなるコストの節減を与えること、及
び製品開発プロセスの合理化の切実な要求が長い間生じた。とりわけ、前述した
問題を克服し、ひいては製品品質を改善するシステムと方法を提供し、時間を与
え且つ多くの個人の月日からなるコストの節減を与え、及び製品開発プロセスを
合理化し、装置設計者のための完全自動化された設計検証パッケージという結果
になるために、組み込み型Windows CE(R)オペレーティングシステムのインスト
ールされた装置をテストして妥当性を検査するためのシステムと方法が必用とさ
れている。
て、統合されたテストシステムと製品品質を改善するための方法、時間を与え且
つ多くの個人の月日(person-months)からなるコストの節減を与えること、及
び製品開発プロセスの合理化の切実な要求が長い間生じた。とりわけ、前述した
問題を克服し、ひいては製品品質を改善するシステムと方法を提供し、時間を与
え且つ多くの個人の月日からなるコストの節減を与え、及び製品開発プロセスを
合理化し、装置設計者のための完全自動化された設計検証パッケージという結果
になるために、組み込み型Windows CE(R)オペレーティングシステムのインスト
ールされた装置をテストして妥当性を検査するためのシステムと方法が必用とさ
れている。
【0006】
従って、本発明は、出願人の譲受人のCEValidatorTMの登録商標のもとで市販
される、オペレーティングシステム検証器(validator)であり(本明細書にお
いてO/S Validatorとも称され、図面において参照番号1で示される)、こ
の検証器は、ターゲット装置のハードウェア及び/又は新たに開発されるソフト
ウェアにおいて、Windows CE(R)のようなオペレーティングシステムのポートを
テストするための自動化されたテストスーツの方法を含むテストシステムを提供
することによって、前述の問題を解決する。O/S Validatorは、包括的なコ
ードベースを含み、具体的にはO/S、デバイスドライバ、OEM適応階層(OEM a
daptation layer :OAL)、及びハードウェアインタラクションに意図的にスト
レスをかけるために開発された。提供されるテストスーツは、3つの主要な欠陥
、即ちハードウェアの設計、ハードウェアのプログラミング(ドライバー/OAL
)、及びオペレーティングシステムのインタラクションを識別することに向けら
れている。特別な診断は、歴史的に最も多い問題を示してきたWindows CE(R)サ
ブシステムに重点を置く。テストスーツは、ストレステストルーチン、並びに特
徴及び機能のテストを含む、ほぼ1500個のテストからなり、Windows CE(R)
ポートの完全な分析を提供する。これらのテストは、O/S Validatorによっ
てグループ化される。O/S Validatorは、テストソースコード、及び全ての
テスト用の実行可能なプログラムの双方を含む。
される、オペレーティングシステム検証器(validator)であり(本明細書にお
いてO/S Validatorとも称され、図面において参照番号1で示される)、こ
の検証器は、ターゲット装置のハードウェア及び/又は新たに開発されるソフト
ウェアにおいて、Windows CE(R)のようなオペレーティングシステムのポートを
テストするための自動化されたテストスーツの方法を含むテストシステムを提供
することによって、前述の問題を解決する。O/S Validatorは、包括的なコ
ードベースを含み、具体的にはO/S、デバイスドライバ、OEM適応階層(OEM a
daptation layer :OAL)、及びハードウェアインタラクションに意図的にスト
レスをかけるために開発された。提供されるテストスーツは、3つの主要な欠陥
、即ちハードウェアの設計、ハードウェアのプログラミング(ドライバー/OAL
)、及びオペレーティングシステムのインタラクションを識別することに向けら
れている。特別な診断は、歴史的に最も多い問題を示してきたWindows CE(R)サ
ブシステムに重点を置く。テストスーツは、ストレステストルーチン、並びに特
徴及び機能のテストを含む、ほぼ1500個のテストからなり、Windows CE(R)
ポートの完全な分析を提供する。これらのテストは、O/S Validatorによっ
てグループ化される。O/S Validatorは、テストソースコード、及び全ての
テスト用の実行可能なプログラムの双方を含む。
【0007】 テストスーツの実行、及びロギング結果の収集を簡単にするために、マイクロ
ソフトWindows (R)のユーザインターフェースを流用する標準のWindows (R)アプ
リケーションのような、O/S Validatorのホストコンポーネント用の直観的
に使えるユーザインターフェイスが利用される。O/S Validatorは、クライ
アント/サーバアプリケーションとしてテストスーツを分配する。グラフィカル
ユーザインターフェース(GUI)は、ターゲット装置上で走っている小さなア
プリケーションCEHarness.exeと対話する。この通信はイーサネットを介して行
われる得るので、少なくとも1つのホストが少なくとも1つのターゲット装置に
対抗してテストスーツを走らせることができる。
ソフトWindows (R)のユーザインターフェースを流用する標準のWindows (R)アプ
リケーションのような、O/S Validatorのホストコンポーネント用の直観的
に使えるユーザインターフェイスが利用される。O/S Validatorは、クライ
アント/サーバアプリケーションとしてテストスーツを分配する。グラフィカル
ユーザインターフェース(GUI)は、ターゲット装置上で走っている小さなア
プリケーションCEHarness.exeと対話する。この通信はイーサネットを介して行
われる得るので、少なくとも1つのホストが少なくとも1つのターゲット装置に
対抗してテストスーツを走らせることができる。
【0008】 ターゲット装置がテストで不合格になる場合、O/S Validatorは有用なエ
ラー情報を生成する。テストスーツが走らされている間、結果は、複数の動的に
生成されたログウィンドウ、並びに構成のサマリタブに表示される。ロギングウ
インドウは、任意のテスト結果の完全なテキストを含む。障害は、赤色で色分け
され識別を容易化する。ロギングウインドウのナビゲーションボタンにより、1
つの障害から別の障害への迅速な移動が可能になる。テストにおけるロギングの
APIにより、プロローグとエピローグもそれぞれの結果ファイルに生成される
。並行して実行されるプロセス、バッテリー電力レベル、及び実行の日時のよう
な情報は、結果ファイルに自動的に記録され、ログウインドウに表示される。プ
ログラムメモリの損失、記憶メモリの損失、又はテスト実行時間の合計のような
、サマリの情報は、ログウインドウタブに提供される。また、任意のテスト結果
のサマリの情報は、収集されて構成ウインドウのサマリタブに表示される。サマ
リタブは、リアルタイムで合格(PASS)と不合格(FAIL)のテストケースの数を
報告する。個々のテストスーツに関する合格と不合格の数の内訳も表示される。
構成ウインドウのサマリタブは、恐らく数千のテスト結果の中において個々の障
害(不合格)までの迅速なナビゲーションを容易にする。正確なソースファイル
、及びロギングされた障害に対応するライン番号は、O/S Validatorのロギ
ングAPIにより、自動的に報告される。O/S Validatorがその実行ファイ
ルの全てに対してソースコードを提供するので、エラーを報告するソースコード
に直接的に進むことができるということは、障害のテキスト記述に対する強力な
付加物(adjunct)である。
ラー情報を生成する。テストスーツが走らされている間、結果は、複数の動的に
生成されたログウィンドウ、並びに構成のサマリタブに表示される。ロギングウ
インドウは、任意のテスト結果の完全なテキストを含む。障害は、赤色で色分け
され識別を容易化する。ロギングウインドウのナビゲーションボタンにより、1
つの障害から別の障害への迅速な移動が可能になる。テストにおけるロギングの
APIにより、プロローグとエピローグもそれぞれの結果ファイルに生成される
。並行して実行されるプロセス、バッテリー電力レベル、及び実行の日時のよう
な情報は、結果ファイルに自動的に記録され、ログウインドウに表示される。プ
ログラムメモリの損失、記憶メモリの損失、又はテスト実行時間の合計のような
、サマリの情報は、ログウインドウタブに提供される。また、任意のテスト結果
のサマリの情報は、収集されて構成ウインドウのサマリタブに表示される。サマ
リタブは、リアルタイムで合格(PASS)と不合格(FAIL)のテストケースの数を
報告する。個々のテストスーツに関する合格と不合格の数の内訳も表示される。
構成ウインドウのサマリタブは、恐らく数千のテスト結果の中において個々の障
害(不合格)までの迅速なナビゲーションを容易にする。正確なソースファイル
、及びロギングされた障害に対応するライン番号は、O/S Validatorのロギ
ングAPIにより、自動的に報告される。O/S Validatorがその実行ファイ
ルの全てに対してソースコードを提供するので、エラーを報告するソースコード
に直接的に進むことができるということは、障害のテキスト記述に対する強力な
付加物(adjunct)である。
【0009】 本発明の他の特徴は、「発明の詳細な説明」と題されたセクションにおいて開
示され、又は明らかになる。
示され、又は明らかになる。
【0010】 本発明をより良く理解するために、添付図面が参照される。
【0011】 [発明の詳細な説明] 図1は、コンピュータ化された製品1000,(9)を示し、コンピュータワ
ークステーション、セットトップボックス、ゲームシステム、バーコードスキャ
ナ、及びファクトリオートメーションシステムのような典型的なコンピュータ化
された製品には、参照番号1001aによって示される組み込み型オペレーティ
ングシステムが現在提供されている。図示のように、及び本明細書で説明される
ように、製品1000は、組み込み型Windows CE(R)オペレーティングシステム
(O/S)のようなオペレーティングシステム1001aを備える典型的なター
ゲット装置9を含む。コンピュータ化された製品1000は、独立型装置として
機能し、その製品1000には、それ自体のオペレーティングシステム1001
aをテストして妥当性を検査するために本発明のO/S Validator1がインス
トールされている。独立型テストは、新たなテスト開発、及びO/S Validato
rの細密な知識として報告された欠陥のデバッキングを容易にし、インフラスト
ラクチャは必用ではない。しかしながら、可能性がより高いアプリケーションに
おいて、図2に示すように、製品1000は、製造品質保証テスト環境Mにおい
て、オペレーティングシステム1001aを備えたターゲット装置9をテストす
るための本発明のO/S Validator1をインストールされたホストコンピュー
タ4として機能する。図1に戻って参照すると、コンピュータ化された製品10
00は、例えば、幾つかのサブコンポーネントからなり、サブコンポーネントは
、コントロールユニット1020を含み、あるいは複数の入力/出力ポート10
21、キーボード1009、プリンタ1010、マウス1011、及びモニタ1
012を含む。サブコンポーネント1009、1010、1011、1012自
体は、テスト可能なターゲット装置となり得る。典型的なコントロールユニット
1020自体は、幾つかのサブコンポーネントからなり、サブコンポーネントは
、中央処理ユニット1001、ハードディスクドライブ1004のような記憶装
置、RAM1002、ROM1003を含む他のメモリコンポーネント、コンパ
クトディスク1005、オーディオコンポーネント1006、ネットワーク/サ
ーバカード1007、及びモデム1008を含む。必然的に、有用な装置として
製品1000を機能させるために、オペレーティングシステム1001aはコン
トロールユニットに含められる。
ークステーション、セットトップボックス、ゲームシステム、バーコードスキャ
ナ、及びファクトリオートメーションシステムのような典型的なコンピュータ化
された製品には、参照番号1001aによって示される組み込み型オペレーティ
ングシステムが現在提供されている。図示のように、及び本明細書で説明される
ように、製品1000は、組み込み型Windows CE(R)オペレーティングシステム
(O/S)のようなオペレーティングシステム1001aを備える典型的なター
ゲット装置9を含む。コンピュータ化された製品1000は、独立型装置として
機能し、その製品1000には、それ自体のオペレーティングシステム1001
aをテストして妥当性を検査するために本発明のO/S Validator1がインス
トールされている。独立型テストは、新たなテスト開発、及びO/S Validato
rの細密な知識として報告された欠陥のデバッキングを容易にし、インフラスト
ラクチャは必用ではない。しかしながら、可能性がより高いアプリケーションに
おいて、図2に示すように、製品1000は、製造品質保証テスト環境Mにおい
て、オペレーティングシステム1001aを備えたターゲット装置9をテストす
るための本発明のO/S Validator1をインストールされたホストコンピュー
タ4として機能する。図1に戻って参照すると、コンピュータ化された製品10
00は、例えば、幾つかのサブコンポーネントからなり、サブコンポーネントは
、コントロールユニット1020を含み、あるいは複数の入力/出力ポート10
21、キーボード1009、プリンタ1010、マウス1011、及びモニタ1
012を含む。サブコンポーネント1009、1010、1011、1012自
体は、テスト可能なターゲット装置となり得る。典型的なコントロールユニット
1020自体は、幾つかのサブコンポーネントからなり、サブコンポーネントは
、中央処理ユニット1001、ハードディスクドライブ1004のような記憶装
置、RAM1002、ROM1003を含む他のメモリコンポーネント、コンパ
クトディスク1005、オーディオコンポーネント1006、ネットワーク/サ
ーバカード1007、及びモデム1008を含む。必然的に、有用な装置として
製品1000を機能させるために、オペレーティングシステム1001aはコン
トロールユニットに含められる。
【0012】 図3は、グラフィカルユーザインターフェイス(GUI)2、エンジン3、複
数のテストスーツ11、及びロギングライブラリ12を含む、O/S Validato
r1の主要なコンポーネントを示す。GUI2とエンジン3は、O/S Validat
or1内で参照番号7により示されHarness.dllと呼ばれるコンポーネントを介し
て双方向で内部的に通信し、そのコンポーネントは後により詳細に説明される。
図4は、O/S Validator1を備えるホストコンピュータ4を示す。図示のよ
うに、複数のターゲット装置9は、本発明に従ってテストされるためにO/S1
001aを備える。O/S Validator1は、ターゲット装置9内のOS100
1aの制御下で特定のファンクションをテストするために、複数のテスト構成2
1a、21b及び21cのようなテスト構成を生成する能力を有する。CEHarnes
s8と称される装置側コンポーネントは、O/S Validator1のエンジン3と通
信する。図5及び図5Aに示すように、CEHarness8はイーサネット手段4aを
介してO/S Validator1のエンジン3と通信することもできる。図5Aは、
通信がイーサネットを介して行われるので複数のホスト4が複数のターゲット装
置9に対抗してテストスーツを実行できることを示す。更に別の代替案において
、テストスーツ実行状況に関して図6に示すように、CEHarness8は、テストス
ーツ実行接続1021aを介してO/S Validator1のエンジン3と通信する
こともでき、この場合ホストコンピュータ4は、NTホストコンピュータからな
ることができ、ロギングライブラリ12もターゲット装置9に提供され、テスト
結果がソケット接続1021bを介してホストコンピュータ4に提供される。
数のテストスーツ11、及びロギングライブラリ12を含む、O/S Validato
r1の主要なコンポーネントを示す。GUI2とエンジン3は、O/S Validat
or1内で参照番号7により示されHarness.dllと呼ばれるコンポーネントを介し
て双方向で内部的に通信し、そのコンポーネントは後により詳細に説明される。
図4は、O/S Validator1を備えるホストコンピュータ4を示す。図示のよ
うに、複数のターゲット装置9は、本発明に従ってテストされるためにO/S1
001aを備える。O/S Validator1は、ターゲット装置9内のOS100
1aの制御下で特定のファンクションをテストするために、複数のテスト構成2
1a、21b及び21cのようなテスト構成を生成する能力を有する。CEHarnes
s8と称される装置側コンポーネントは、O/S Validator1のエンジン3と通
信する。図5及び図5Aに示すように、CEHarness8はイーサネット手段4aを
介してO/S Validator1のエンジン3と通信することもできる。図5Aは、
通信がイーサネットを介して行われるので複数のホスト4が複数のターゲット装
置9に対抗してテストスーツを実行できることを示す。更に別の代替案において
、テストスーツ実行状況に関して図6に示すように、CEHarness8は、テストス
ーツ実行接続1021aを介してO/S Validator1のエンジン3と通信する
こともでき、この場合ホストコンピュータ4は、NTホストコンピュータからな
ることができ、ロギングライブラリ12もターゲット装置9に提供され、テスト
結果がソケット接続1021bを介してホストコンピュータ4に提供される。
【0013】 動作中、O/S Validator1は、例えばWindows CE(R)オペレーティングシス
テムのような組み込み型オペレーティングシステムを備えたターゲット装置9を
テストして妥当性を検査する。概して言えば、O/S Validator1は、次のよ
うに機能する。(1)ターゲット装置に対するWindows CE(R)ポートを検証する
、(2)ストレステスト及び性能テストを行う、(3)結果をロギングし分析す
る、(4)複数のアプリケーションプログラムインターフェイス(API)を含
む複数の機能領域をテストする(図7、図8A、図8B、図8Cの表1及び表2
を参照)、(5)複数のテストスーツにおいて複数の合格/不合格テストを実行
する、(6)自動化されたテストスーツにおいてテストのカスタマイゼーション
を容易にする、(7)ホスト側のグラフィカルテストハーネスを提供する、(8
)ストレスをかけてメモリ性能を評価する、(9)複数のAPIを含むビルディ
ングテストオートメーションのための手段を提供する(図9の表3を参照)、及
び(10)CEAnalyzerと称する、結果分析ツールを提供する。前述したように、
また図10に示すように、O/S Validator1は、全てのテストに関して、テ
ストソースコードSCと実行可能プログラムEP(テスト実行ファイルとも称す
る)の双方を含む。テスト実行ファイルEPの単独実現要求条件は、テストケー
ス「合格」及び「不合格」が2つの特定のAPI、即ちWRITETESTPASS( )及びWR
ITETESTFAIL( )を用いて報告されることである。これらのマクロは、周知のprin
tf( )ファンクションに類似したシグネチャを有するが、それらの使用は、自動
化要約に適用できる「結果」ファイルに標準テストケース結果フォーマットを生
成し、報告(reporting)をホストユーザインターフェイスと統合する。O/S
Validator1の方法は、GUI2とテスト実行ファイルEPに要約されたテス
トケースとの間の仲介をすること、及びGUI2がテストの実行を分配し調整す
る手段を提供することを更に含む。テストスーツ11は、テストを分配し実行す
るために必用なタスクの直接表現である言語コマンドスーツ(例えば、PUT、RUN
、WAIT、DELETE)で構成されたテキストファイル5を含む。他のサポートされる
コマンドスーツは、ターゲット装置9からファイルを検索するためのGET、クラ
イアント/サーバ方式のテストに有用である、ホストコンピュータ4上で実行可
能プログラムEPを走らせるためのRUNHOST、クライアント/サーバ方式のテス
トに同様に有用である、ホストコンピュータ4上でプロセスの終了を待つための
WAITHOST、装置のシステムディレクトリ(/Windows (R))にファイルを入れる
ためのPUTSYSTEM、他の全てが障害を起こす場合の基本タイミングのためのSLEEP
、ホストマシン上でメッセージボックスを表示するためのMSGBOX、装置上でレジ
ストリ設定を追加、又はそれを変更するためのSETREG、及び装置からレジストリ
設定を除去するためのDELREGである。最初のファイルコメントスーツは、内部の
ドキュメンテーションスーツを提供することに加えて、GUI2の記述スーツと
して与えられる。O/S Validator1の方法は、ホストコンピュータ4のディ
レクトリ構造内の階層配置によってテストスーツファイル5を編成することを含
む。図11において示されるように、テストスーツ11は、トップレベルにおい
て自動テストスーツAu、手動テストスーツMa、ストレステストスーツSSの何れか
であるものとして、分割される。自動テストスーツAuは、実行中にユーザの介入
を必用としないテストである。対照的に、手動テストスーツMaは、ユーザの介入
(例えば、キーボード及びタッチパネルセット)を必用とするテストである。O
/S Validator1の方法は、入力/出力(I/O)の処理能力を限界まで押し
やり、ほとんど又は全くない使用可能なプログラム、又はオブジェクトストアメ
モリでもって動作させ、カスタムファイルシステムをマルチスレッド並行ストレ
スでもって低下させ得ることによるストレステストスーツSSを通して、システム
にストレスをかけることを含む。階層のこのトップレベルより下で、O/S Va
lidator1の方法は、図7に概して示されるように、機能領域によってテストス
ーツ11を構成することを含む。
テムのような組み込み型オペレーティングシステムを備えたターゲット装置9を
テストして妥当性を検査する。概して言えば、O/S Validator1は、次のよ
うに機能する。(1)ターゲット装置に対するWindows CE(R)ポートを検証する
、(2)ストレステスト及び性能テストを行う、(3)結果をロギングし分析す
る、(4)複数のアプリケーションプログラムインターフェイス(API)を含
む複数の機能領域をテストする(図7、図8A、図8B、図8Cの表1及び表2
を参照)、(5)複数のテストスーツにおいて複数の合格/不合格テストを実行
する、(6)自動化されたテストスーツにおいてテストのカスタマイゼーション
を容易にする、(7)ホスト側のグラフィカルテストハーネスを提供する、(8
)ストレスをかけてメモリ性能を評価する、(9)複数のAPIを含むビルディ
ングテストオートメーションのための手段を提供する(図9の表3を参照)、及
び(10)CEAnalyzerと称する、結果分析ツールを提供する。前述したように、
また図10に示すように、O/S Validator1は、全てのテストに関して、テ
ストソースコードSCと実行可能プログラムEP(テスト実行ファイルとも称す
る)の双方を含む。テスト実行ファイルEPの単独実現要求条件は、テストケー
ス「合格」及び「不合格」が2つの特定のAPI、即ちWRITETESTPASS( )及びWR
ITETESTFAIL( )を用いて報告されることである。これらのマクロは、周知のprin
tf( )ファンクションに類似したシグネチャを有するが、それらの使用は、自動
化要約に適用できる「結果」ファイルに標準テストケース結果フォーマットを生
成し、報告(reporting)をホストユーザインターフェイスと統合する。O/S
Validator1の方法は、GUI2とテスト実行ファイルEPに要約されたテス
トケースとの間の仲介をすること、及びGUI2がテストの実行を分配し調整す
る手段を提供することを更に含む。テストスーツ11は、テストを分配し実行す
るために必用なタスクの直接表現である言語コマンドスーツ(例えば、PUT、RUN
、WAIT、DELETE)で構成されたテキストファイル5を含む。他のサポートされる
コマンドスーツは、ターゲット装置9からファイルを検索するためのGET、クラ
イアント/サーバ方式のテストに有用である、ホストコンピュータ4上で実行可
能プログラムEPを走らせるためのRUNHOST、クライアント/サーバ方式のテス
トに同様に有用である、ホストコンピュータ4上でプロセスの終了を待つための
WAITHOST、装置のシステムディレクトリ(/Windows (R))にファイルを入れる
ためのPUTSYSTEM、他の全てが障害を起こす場合の基本タイミングのためのSLEEP
、ホストマシン上でメッセージボックスを表示するためのMSGBOX、装置上でレジ
ストリ設定を追加、又はそれを変更するためのSETREG、及び装置からレジストリ
設定を除去するためのDELREGである。最初のファイルコメントスーツは、内部の
ドキュメンテーションスーツを提供することに加えて、GUI2の記述スーツと
して与えられる。O/S Validator1の方法は、ホストコンピュータ4のディ
レクトリ構造内の階層配置によってテストスーツファイル5を編成することを含
む。図11において示されるように、テストスーツ11は、トップレベルにおい
て自動テストスーツAu、手動テストスーツMa、ストレステストスーツSSの何れか
であるものとして、分割される。自動テストスーツAuは、実行中にユーザの介入
を必用としないテストである。対照的に、手動テストスーツMaは、ユーザの介入
(例えば、キーボード及びタッチパネルセット)を必用とするテストである。O
/S Validator1の方法は、入力/出力(I/O)の処理能力を限界まで押し
やり、ほとんど又は全くない使用可能なプログラム、又はオブジェクトストアメ
モリでもって動作させ、カスタムファイルシステムをマルチスレッド並行ストレ
スでもって低下させ得ることによるストレステストスーツSSを通して、システム
にストレスをかけることを含む。階層のこのトップレベルより下で、O/S Va
lidator1の方法は、図7に概して示されるように、機能領域によってテストス
ーツ11を構成することを含む。
【0014】 上述したように、図3は、グラフィカルユーザインターフェース(GUI)2
、エンジン3、複数のテストスーツ11及びロギングライブラリ12を含む、O
/S Validator1の主要コンポーネントを示す。ビジュアルベーシック(VB
)コンポーネントはいかなるレベルのユーザに対しても良好に動作するので、O
/S Validator1はGUI2をビジュアルベーシックコンポーネントとして使
用する。GUI2の設計は、ユーザ入力を、基礎をなすコンポーネントとインタ
ーフェースする概念に基づいている。エンジン3は、ホスト4上で機能性の中心
(core)を保持する。エンジン3は複数のスーツファイル5を読み出し、それら
をオペランド解析(パーズ)し、コマンドを実行する。エンジン3は、GUI2
から情報を取得し、種々の実行オプションをセットアップするために情報を用い
る。エンジン3は、C/C++言語で書かれている。エンジン3は、HarnessLin
k.dll7と呼ばれるコンポーネントを介してGUI2とリンクされ、そのコンポ
ーネントはActiveX制御である。HarnessLink.dll7は、インスタンス化され、実
行を開始する前にエンジン3に渡される種々の情報によってGUI2から呼び出
される。DLLリンク7は、実行中にエンジン3とGUI2との間で通信するよう
に機能し、情報を中継し、エラーメッセージを中継し、幾つかの動的ランタイム
コマンドを中継する。ターゲット装置9は、CEHarness8と呼ばれる装置側(ホ
スト側に対向するような)コンポーネントを含む。図4に示すように、CEHarnes
sは、ターゲット装置9に存在するC/C++プログラムであり、ネットワーク
上にターゲット情報が同報通信されるまでほぼ独占的にエンジン3と通信し、G
UI2と通信してかかる情報を受信しそれをエンジン3に渡す(図5と図5A参
照)。CEHarness8はイベント駆動型アプリケーションであり、この場合、エン
ジン3がイベントを送信し、CEHarness8が応答する。テストスーツ11は、ロ
ギングライブラリ12の一部である複数のアプリケーションプログラムインター
フェース(API)13を用いて書かれているので、2つの残りのコンポーネン
ト、即ちテストスーツ11とロギングライブラリ12は関わり合っている(図8
A、図8B、図8Cを参照)。これらのAPI13は、実質的な機能性を有し、
コンポーネントチェーンを介して渡される情報に多少依存する。ロギングライブ
ラリ12は、簡単な機能概念を有し、ロギングTCP/IP情報16をGUI2
に戻すことにより(図5参照)、又はテスト結果14とログファイル15を直接
的に装置9に書き込むことにより(図6参照)、ログファイル15を生成するこ
とによってテスト結果14を伝達する。図12に示すように、ロギングウインド
ウLWは、テストファイル15のテスト結果14、障害F、及びサマリタブSumT
を示し、それらは、プログラムメモリに対するユーザアクセス、合格、不合格、
及びタイミング情報を容易にする。複数のテストスーツ11は、O/S Valida
tor1の必須のコンポーネントを含む。図13は、テストサイクル時間CTが、
並行してテストされるテスト装置の数にしたがって減少することをグラフの形で
示す。
、エンジン3、複数のテストスーツ11及びロギングライブラリ12を含む、O
/S Validator1の主要コンポーネントを示す。ビジュアルベーシック(VB
)コンポーネントはいかなるレベルのユーザに対しても良好に動作するので、O
/S Validator1はGUI2をビジュアルベーシックコンポーネントとして使
用する。GUI2の設計は、ユーザ入力を、基礎をなすコンポーネントとインタ
ーフェースする概念に基づいている。エンジン3は、ホスト4上で機能性の中心
(core)を保持する。エンジン3は複数のスーツファイル5を読み出し、それら
をオペランド解析(パーズ)し、コマンドを実行する。エンジン3は、GUI2
から情報を取得し、種々の実行オプションをセットアップするために情報を用い
る。エンジン3は、C/C++言語で書かれている。エンジン3は、HarnessLin
k.dll7と呼ばれるコンポーネントを介してGUI2とリンクされ、そのコンポ
ーネントはActiveX制御である。HarnessLink.dll7は、インスタンス化され、実
行を開始する前にエンジン3に渡される種々の情報によってGUI2から呼び出
される。DLLリンク7は、実行中にエンジン3とGUI2との間で通信するよう
に機能し、情報を中継し、エラーメッセージを中継し、幾つかの動的ランタイム
コマンドを中継する。ターゲット装置9は、CEHarness8と呼ばれる装置側(ホ
スト側に対向するような)コンポーネントを含む。図4に示すように、CEHarnes
sは、ターゲット装置9に存在するC/C++プログラムであり、ネットワーク
上にターゲット情報が同報通信されるまでほぼ独占的にエンジン3と通信し、G
UI2と通信してかかる情報を受信しそれをエンジン3に渡す(図5と図5A参
照)。CEHarness8はイベント駆動型アプリケーションであり、この場合、エン
ジン3がイベントを送信し、CEHarness8が応答する。テストスーツ11は、ロ
ギングライブラリ12の一部である複数のアプリケーションプログラムインター
フェース(API)13を用いて書かれているので、2つの残りのコンポーネン
ト、即ちテストスーツ11とロギングライブラリ12は関わり合っている(図8
A、図8B、図8Cを参照)。これらのAPI13は、実質的な機能性を有し、
コンポーネントチェーンを介して渡される情報に多少依存する。ロギングライブ
ラリ12は、簡単な機能概念を有し、ロギングTCP/IP情報16をGUI2
に戻すことにより(図5参照)、又はテスト結果14とログファイル15を直接
的に装置9に書き込むことにより(図6参照)、ログファイル15を生成するこ
とによってテスト結果14を伝達する。図12に示すように、ロギングウインド
ウLWは、テストファイル15のテスト結果14、障害F、及びサマリタブSumT
を示し、それらは、プログラムメモリに対するユーザアクセス、合格、不合格、
及びタイミング情報を容易にする。複数のテストスーツ11は、O/S Valida
tor1の必須のコンポーネントを含む。図13は、テストサイクル時間CTが、
並行してテストされるテスト装置の数にしたがって減少することをグラフの形で
示す。
【0015】 さらなる詳細において、GUI2は、その階層のコンポーネントの処理に必用
な機能性のその程度のせいで、複雑なコードである。GUI2は「ウイザード」
を提供し、その主要な機能は新たなユーザを、種々の選択可能な設定、及びデフ
ォルト設定の一覧表示を通して案内することである。図14に示されるように、
ターゲット装置9上で選択されたテストスーツ11の一組を介した単一パスを含
むテストランを実行するための手段として、GUI2も構成ウインドウCWを提
供する。図4に示すように、複数の構成21a、21b、21cは、種々のシナ
リオをシミュレートするために走らされ得る。構成ウインドウCWの内容は、ユ
ーザ制御の複数のタブを含む。例えば、スーツタブSは、O/S Validatorの
ディレクトリの下でスーツファイルディレクトリのトリー(木)ビューを提供す
る。このトリービューは編成され、テスト11のタイプとユーザ選択の有意義な
区別を提供する。更に、このトリービューは、ユーザが構成ウインドウCWを開
く際に生成され、ユーザが、O/S Validator1のインストレーションプログ
ラムによって生成されたスーツファイルディレクトリに新たなユーザ入力のスー
ツを追加することによってO/S Validator1を拡張できる。テストスーツ1
1は、エンジン3が読み出してスクリプトのコマンドに対応する動作を行う、コ
マンドからなるスクリプトである。スーツファイル5は、概して一連のコメント
から始められる。これらのコメントは、ファイルのスーツファイル情報セクショ
ンに現れる。ワード「Manual(手動)」がスーツファイル5のストップ(stop)
に出現する場合、ファイルは手動実行を要求していると考えられ、従って異なる
アイコンを割り当てられる。テストスーツセクションにおいて、図11に示すよ
うに、ユーザはテストスーツファイル5をどんな方法においても再順序付けする
ことができる。更に、図14を参照すると、ロギングタブは、かなり価値のある
情報を含む。ユーザはロギングの3つの方法、即ちホスト4に対するロギング用
のLH、ターゲット装置9に対するロギング用のLTD、又はホスト4とターゲ
ット装置9の双方に対するロギング用のLHDを選択することができる。次に、
ログ情報は、編集ボックス内に一覧表示された構成できるディレクトリに格納さ
れる。この情報の全てが、DLL7を介してエンジン3に送られ、その後ターゲ
ット装置9のCEHarness8に送られる。その結果として、情報は、テスト11を
実行する際にロギングライブラリ12によって取得される。構成ウインドウCW
の他のタブは、ストレス状態設定タブSCを含み、スレッドタブTを選択するこ
とによってテストスーツ実行中に高い優先順位のスレッドを選択し、タブPMと
SMを選択することによりプログラムメモリと記憶メモリを低減し、タブSRTを
選択することにより、ランタイムを選択し、及びタブSTOPを選択することにより
実行を停止する。ユーザは、システムにおけるメモリリークを見つけるために無
限ループタブIloopを使用することができる。プログラムメモリの損失、記憶メ
モリの損失、又はテスト実行時間の合計のような、有用なサマリ情報は、サマリ
タブSumTで提供される。また、任意のテスト結果に対するサマリ情報は、収集さ
れ、サマリタブSumTに表示される。サマリタブは、リアルタイムで合格及び不合
格のテストケースの数を報告する。個々のテストスーツに関して合格及び不合格
の数の内訳も表示される。構成ウインドウのサマリタブは、恐らく数千のテスト
結果の中において個々の障害に対する迅速なナビゲーションを容易にする。正確
なソースファイル、及びロギングされた障害に対応するライン番号は、O/S
ValidatorのロギングAPIにより、自動的に報告される。O/S Validatorが
その実行ファイルの全てに関してソースコードを提供するので、エラーを報告す
るソースコードに直接的に進むことができるということは、障害のテキスト記述
に対する強力な付加物である。
な機能性のその程度のせいで、複雑なコードである。GUI2は「ウイザード」
を提供し、その主要な機能は新たなユーザを、種々の選択可能な設定、及びデフ
ォルト設定の一覧表示を通して案内することである。図14に示されるように、
ターゲット装置9上で選択されたテストスーツ11の一組を介した単一パスを含
むテストランを実行するための手段として、GUI2も構成ウインドウCWを提
供する。図4に示すように、複数の構成21a、21b、21cは、種々のシナ
リオをシミュレートするために走らされ得る。構成ウインドウCWの内容は、ユ
ーザ制御の複数のタブを含む。例えば、スーツタブSは、O/S Validatorの
ディレクトリの下でスーツファイルディレクトリのトリー(木)ビューを提供す
る。このトリービューは編成され、テスト11のタイプとユーザ選択の有意義な
区別を提供する。更に、このトリービューは、ユーザが構成ウインドウCWを開
く際に生成され、ユーザが、O/S Validator1のインストレーションプログ
ラムによって生成されたスーツファイルディレクトリに新たなユーザ入力のスー
ツを追加することによってO/S Validator1を拡張できる。テストスーツ1
1は、エンジン3が読み出してスクリプトのコマンドに対応する動作を行う、コ
マンドからなるスクリプトである。スーツファイル5は、概して一連のコメント
から始められる。これらのコメントは、ファイルのスーツファイル情報セクショ
ンに現れる。ワード「Manual(手動)」がスーツファイル5のストップ(stop)
に出現する場合、ファイルは手動実行を要求していると考えられ、従って異なる
アイコンを割り当てられる。テストスーツセクションにおいて、図11に示すよ
うに、ユーザはテストスーツファイル5をどんな方法においても再順序付けする
ことができる。更に、図14を参照すると、ロギングタブは、かなり価値のある
情報を含む。ユーザはロギングの3つの方法、即ちホスト4に対するロギング用
のLH、ターゲット装置9に対するロギング用のLTD、又はホスト4とターゲ
ット装置9の双方に対するロギング用のLHDを選択することができる。次に、
ログ情報は、編集ボックス内に一覧表示された構成できるディレクトリに格納さ
れる。この情報の全てが、DLL7を介してエンジン3に送られ、その後ターゲ
ット装置9のCEHarness8に送られる。その結果として、情報は、テスト11を
実行する際にロギングライブラリ12によって取得される。構成ウインドウCW
の他のタブは、ストレス状態設定タブSCを含み、スレッドタブTを選択するこ
とによってテストスーツ実行中に高い優先順位のスレッドを選択し、タブPMと
SMを選択することによりプログラムメモリと記憶メモリを低減し、タブSRTを
選択することにより、ランタイムを選択し、及びタブSTOPを選択することにより
実行を停止する。ユーザは、システムにおけるメモリリークを見つけるために無
限ループタブIloopを使用することができる。プログラムメモリの損失、記憶メ
モリの損失、又はテスト実行時間の合計のような、有用なサマリ情報は、サマリ
タブSumTで提供される。また、任意のテスト結果に対するサマリ情報は、収集さ
れ、サマリタブSumTに表示される。サマリタブは、リアルタイムで合格及び不合
格のテストケースの数を報告する。個々のテストスーツに関して合格及び不合格
の数の内訳も表示される。構成ウインドウのサマリタブは、恐らく数千のテスト
結果の中において個々の障害に対する迅速なナビゲーションを容易にする。正確
なソースファイル、及びロギングされた障害に対応するライン番号は、O/S
ValidatorのロギングAPIにより、自動的に報告される。O/S Validatorが
その実行ファイルの全てに関してソースコードを提供するので、エラーを報告す
るソースコードに直接的に進むことができるということは、障害のテキスト記述
に対する強力な付加物である。
【0016】 ロギングオプションは、それらの実現と効果において劇的に変化する。最初の
オプションは、ユーザがテストスーツ11を実行するときはいつでも、「合格」
、一組のログファイル15、これらのテスト結果14の要約、自動式の発行をも
たらすということを推定する。選択されたロギング方法に依存して、サマリファ
イル15がCEHarness8又はエンジン3により生成される。基本的には、エンジ
ン3はロギングディレクトリ内の全ログファイル16をトラバースし、そのため
ユーザが、実行中のテスト11に対応しないログファイルリストを受け取る可能
性がある。サマリファイル15が実行テスト11をより多く示すようにするため
に、ユーザは実行前にログディレクトリを削除することができ、又はユーザは、
「Return only the newest summary results(最も新しいサマリ結果のみに戻る
)」を選択するためにロギングオプションを選択することができ、それによって
エンジン3は各テスト11に関する1つのログファイル15のみをトラバースす
る。このことは、ユーザがファイルシステムテストを任意の日に30回実行する
場合に、最も新しい実行に対応するそのテストのサマリログに1つのエントリだ
けが存在することになることを意味する。サマリログは各テスト11の1つのエ
ントリのみを有し、各テスト11のログファイル15はロギングされたディレク
トリに依然として存在する。他の2つのオプションは、GUI2で処理される。
ユーザがTCP/IP接続4aを介してホスト4にログオンする場合、エントリ
は、GUI2内のログウインドウに出現している間にユーザのホスト4上に生成
されたログファイル15に入る。これにより、ユーザがO/S Validator1の
文脈内でログファイル15を調べることができ、ユーザが、合格、及び更に重要
なことには障害を即座に監視することができる故に、おおきな利点である。しか
しながら、ある状況において、実行されるテスト11のサイズに起因して、過剰
な量のログファイル15が存在する可能性があり、従って、ログウインドウLW
を更に開けることなしに、それを閉じることによって、ホスト4のメモリを維持
し、またO/S Validator1のために空いたビュー領域を与える。障害なしに
全てのログファイル15を閉じることも、好都合である。障害は、ターゲット装
置9が更なる開発を必用とすることを製品設計スタッフに示す。ユーザが、障害
に関する全てのログウインドウFを開いたままにすることを望む場合、ロギング
ウインドウのオプションをクリックすることにより、Fウインドウを開いたまま
にすることができる。
オプションは、ユーザがテストスーツ11を実行するときはいつでも、「合格」
、一組のログファイル15、これらのテスト結果14の要約、自動式の発行をも
たらすということを推定する。選択されたロギング方法に依存して、サマリファ
イル15がCEHarness8又はエンジン3により生成される。基本的には、エンジ
ン3はロギングディレクトリ内の全ログファイル16をトラバースし、そのため
ユーザが、実行中のテスト11に対応しないログファイルリストを受け取る可能
性がある。サマリファイル15が実行テスト11をより多く示すようにするため
に、ユーザは実行前にログディレクトリを削除することができ、又はユーザは、
「Return only the newest summary results(最も新しいサマリ結果のみに戻る
)」を選択するためにロギングオプションを選択することができ、それによって
エンジン3は各テスト11に関する1つのログファイル15のみをトラバースす
る。このことは、ユーザがファイルシステムテストを任意の日に30回実行する
場合に、最も新しい実行に対応するそのテストのサマリログに1つのエントリだ
けが存在することになることを意味する。サマリログは各テスト11の1つのエ
ントリのみを有し、各テスト11のログファイル15はロギングされたディレク
トリに依然として存在する。他の2つのオプションは、GUI2で処理される。
ユーザがTCP/IP接続4aを介してホスト4にログオンする場合、エントリ
は、GUI2内のログウインドウに出現している間にユーザのホスト4上に生成
されたログファイル15に入る。これにより、ユーザがO/S Validator1の
文脈内でログファイル15を調べることができ、ユーザが、合格、及び更に重要
なことには障害を即座に監視することができる故に、おおきな利点である。しか
しながら、ある状況において、実行されるテスト11のサイズに起因して、過剰
な量のログファイル15が存在する可能性があり、従って、ログウインドウLW
を更に開けることなしに、それを閉じることによって、ホスト4のメモリを維持
し、またO/S Validator1のために空いたビュー領域を与える。障害なしに
全てのログファイル15を閉じることも、好都合である。障害は、ターゲット装
置9が更なる開発を必用とすることを製品設計スタッフに示す。ユーザが、障害
に関する全てのログウインドウFを開いたままにすることを望む場合、ロギング
ウインドウのオプションをクリックすることにより、Fウインドウを開いたまま
にすることができる。
【0017】 図5aに示すように本発明が動作している際、Available Targets(利用可能
ターゲット)と称するウインドウが、情報をGUI2に同報通信しているネット
ワーク上のアクティブな装置を示す。アクティブな装置は大量の情報を送り、そ
れらの一部がAvailable Targetsウインドウに表示される。ユーザは、View/Ava
ilable Targetsメニューを選択することにより情報を見ることができる。別のウ
インドウによって、同報通信された情報の完全なセットを得るためにアクセスさ
れなければならない。この同報通信の情報は価値のあるものであり、その理由は
、それを用いてエンジン3からテストターゲット装置9の特定のCEHarness8ま
での接続を初期設定するからである。
ターゲット)と称するウインドウが、情報をGUI2に同報通信しているネット
ワーク上のアクティブな装置を示す。アクティブな装置は大量の情報を送り、そ
れらの一部がAvailable Targetsウインドウに表示される。ユーザは、View/Ava
ilable Targetsメニューを選択することにより情報を見ることができる。別のウ
インドウによって、同報通信された情報の完全なセットを得るためにアクセスさ
れなければならない。この同報通信の情報は価値のあるものであり、その理由は
、それを用いてエンジン3からテストターゲット装置9の特定のCEHarness8ま
での接続を初期設定するからである。
【0018】 図11を参照すると、ストレステスト設定SSがここで更に説明される。ストレ
ススーツ11は種々の形態で現れる。しかしながら、それらの基本的な目的は、
非常に長いテストを実行することにより、短いテストの複数の反復を実行するこ
とにより、又は1つのテストにおける広い範囲のパラメータを選択することによ
り、ターゲット装置9にストレスをかけることである。これら自体のテスト11
領域に限定されたこれらの残り、例えばDatabase Stress Suites(データベース
ストレススーツ)は、Windows CE(R)のようなO/Sのデータベースの機能性に
のみストレスをかける。Stress Test Options(ストレステストのオプション)
は、ストレススーツ11から区別できる。Stress Test Optionsは、機能性をタ
ーゲットにしていて現実の取扱いモデルに相当するより広帯域(broadband)の
ストレスシナリオを提供するので、Stress Test Optionsは異なる。これらのシ
ナリオは、ユーザの選択した任意のテストスーツファイル5のセットと共に走る
。Stress Test Optionsは、協働的に及び独立的に実行され得て、及びされるべ
きであり、そのような実行中、任意のテストプランの範囲に対してかなりの増加
がもたらされる。最初の2つのStress Test Optionsは、ターゲット装置9上の
メモリに関連する。第1のStress Test Optionは、選択されたテスト11を実行
する前に、ターゲット装置の仮想メモリの量を大いに低減させるLow Virtual Me
mory Option(低仮想メモリオプション)である。これは、ユーザが15個のア
プリケーションを開いたときに発生して動作不良を生じる可能性がある現実的な
苛酷な環境をシミュレートする。第2のStress Test Optionは、Low Storage Me
mory Option(低記憶メモリオプション)である。選択された場合、この第2のS
tress Test Optionは、ターゲット装置9の記憶メモリをその最大容量まで満た
し、ターゲット装置9に少ない記憶メモリの解決の対応を経験させる。場合によ
っては、この第2のStress Test Optionは、ターゲット装置9内に収容されたテ
ストアプリケーションプログラムに好都合であり、その理由は、テストアプリケ
ーションプログラムが、存在しない記憶メモリに依存できるからである。次の3
つのStress Test Optionsは実行のオプションである。第1の実行可能なストレ
ステストオプションは、長いテストサイクルに好適な無限ループである。多くの
デバイスドライバにおける共通の問題は、長く、強力なストレスの多い状況下で
動作不良になることである。この無限ループストレステストは、起こりうる故障
を判定するためのテストを提供する。この無限ループテストは、ユーザが手動で
ストップ(Stop)ボタンを打つまで、選択されたテストスーツ11を実行する。
次のストレス実行オプションは、Data.txtと呼ばれ、O/S Validator\Tests
\TestInputFilesとして識別されるテキストファイルとして利用可能な構成可能
CPUサイクル剥奪テストである。2つの例は、ユーザがコピー、再利用、又は
修正できるファイルに与えられる。テキストファイル、Data.txtは、スレッドの
数、及びユーザが自分のテストランに含めるそれらの属性を制御する。言い換え
れば、ユーザは、他のプロセスがCPU時間を消費しながらタイミングを含む多
くの問題を除去している間に、自分のテストを実行できる。最後のStress Test
Optionは、Random Execution(ランダム実行)である。ユーザがこのオプション
を選択する場合、GUI2は、テストスーツ11が異なる順序で実行されるよう
にランタイムにおけるテストスーツ11のリストを再順序付けする。このオプシ
ョンは、種々のコンポーネントとの対話問題の診断を容易にするので、理想的で
ある。
ススーツ11は種々の形態で現れる。しかしながら、それらの基本的な目的は、
非常に長いテストを実行することにより、短いテストの複数の反復を実行するこ
とにより、又は1つのテストにおける広い範囲のパラメータを選択することによ
り、ターゲット装置9にストレスをかけることである。これら自体のテスト11
領域に限定されたこれらの残り、例えばDatabase Stress Suites(データベース
ストレススーツ)は、Windows CE(R)のようなO/Sのデータベースの機能性に
のみストレスをかける。Stress Test Options(ストレステストのオプション)
は、ストレススーツ11から区別できる。Stress Test Optionsは、機能性をタ
ーゲットにしていて現実の取扱いモデルに相当するより広帯域(broadband)の
ストレスシナリオを提供するので、Stress Test Optionsは異なる。これらのシ
ナリオは、ユーザの選択した任意のテストスーツファイル5のセットと共に走る
。Stress Test Optionsは、協働的に及び独立的に実行され得て、及びされるべ
きであり、そのような実行中、任意のテストプランの範囲に対してかなりの増加
がもたらされる。最初の2つのStress Test Optionsは、ターゲット装置9上の
メモリに関連する。第1のStress Test Optionは、選択されたテスト11を実行
する前に、ターゲット装置の仮想メモリの量を大いに低減させるLow Virtual Me
mory Option(低仮想メモリオプション)である。これは、ユーザが15個のア
プリケーションを開いたときに発生して動作不良を生じる可能性がある現実的な
苛酷な環境をシミュレートする。第2のStress Test Optionは、Low Storage Me
mory Option(低記憶メモリオプション)である。選択された場合、この第2のS
tress Test Optionは、ターゲット装置9の記憶メモリをその最大容量まで満た
し、ターゲット装置9に少ない記憶メモリの解決の対応を経験させる。場合によ
っては、この第2のStress Test Optionは、ターゲット装置9内に収容されたテ
ストアプリケーションプログラムに好都合であり、その理由は、テストアプリケ
ーションプログラムが、存在しない記憶メモリに依存できるからである。次の3
つのStress Test Optionsは実行のオプションである。第1の実行可能なストレ
ステストオプションは、長いテストサイクルに好適な無限ループである。多くの
デバイスドライバにおける共通の問題は、長く、強力なストレスの多い状況下で
動作不良になることである。この無限ループストレステストは、起こりうる故障
を判定するためのテストを提供する。この無限ループテストは、ユーザが手動で
ストップ(Stop)ボタンを打つまで、選択されたテストスーツ11を実行する。
次のストレス実行オプションは、Data.txtと呼ばれ、O/S Validator\Tests
\TestInputFilesとして識別されるテキストファイルとして利用可能な構成可能
CPUサイクル剥奪テストである。2つの例は、ユーザがコピー、再利用、又は
修正できるファイルに与えられる。テキストファイル、Data.txtは、スレッドの
数、及びユーザが自分のテストランに含めるそれらの属性を制御する。言い換え
れば、ユーザは、他のプロセスがCPU時間を消費しながらタイミングを含む多
くの問題を除去している間に、自分のテストを実行できる。最後のStress Test
Optionは、Random Execution(ランダム実行)である。ユーザがこのオプション
を選択する場合、GUI2は、テストスーツ11が異なる順序で実行されるよう
にランタイムにおけるテストスーツ11のリストを再順序付けする。このオプシ
ョンは、種々のコンポーネントとの対話問題の診断を容易にするので、理想的で
ある。
【0019】 残りのTest Run Options(テストランオプション)は、ユーザが制御できる一
般的なアクティビティである。第1のオプション、「Use Selected Target Excl
usively(選択されたターゲットを排他的に使用)」は、重要であり、その理由
は、ターゲット装置9がイーサネットを介して接続される場合、サブネットの他
のユーザが、O/S Validator1の利用可能なターゲット装置ウインドウを通
して、そのターゲット装置9にアクセスできるからである。これは、ターゲット
装置9上でストレスを生成することに役立つ。万一ユーザが問題を切り離すこと
を望む場合には、追加のストレスは適用されない。その状況において、ユーザは
、ターゲット装置9に対する排他的なアクセスを有するであろう。最後のTest R
un Optionは、Set Target Time(ターゲット時間の設定)であり、それはエンジ
ン3にホストコンピュータ4からターゲット装置9へ時間を送ることを促し、そ
れによってターゲット装置9のシステム時間をホストコンピュータ4の時間に同
期させる。ログファイルがターゲット装置9の日時に関連した日時のスタンプと
共に戻るので、同期は好都合である。これらの正確性を保つために、ユーザはタ
ーゲット装置9に日時を設定しなければならない。テストを実行する前の最後の
タブは、種々の選択可能な環境変数に関する価値ある情報を含むEnvironment Se
ttings(環境設定) タブである。これらの環境設定は、テストスーツファイル
にハードカード化(hard carded) 情報の代わりに環境変数を含ませることによ
りテストスーツファイル5を拡張し、要約するように設計される。例えば、Seri
al Tests(シリアルテスト)はパラメータとして利用可能な共通ポート(com-po
rt)を取り込む。共通ポートが環境変数として入力されない場合、テストは失敗
する。なぜなら共通ポートを開くことができないからである。テストスーツに用
いられる全環境変数が与えられる。しかしながら、任意の追加の環境変数はユー
ザの入力スーツにユーザ追加され得る。テスト実行後、Test Status(テストス
テータス)は、現在のテストランに関するステータス情報を得るために利用可能
である。情報は、動的に更新されている。
般的なアクティビティである。第1のオプション、「Use Selected Target Excl
usively(選択されたターゲットを排他的に使用)」は、重要であり、その理由
は、ターゲット装置9がイーサネットを介して接続される場合、サブネットの他
のユーザが、O/S Validator1の利用可能なターゲット装置ウインドウを通
して、そのターゲット装置9にアクセスできるからである。これは、ターゲット
装置9上でストレスを生成することに役立つ。万一ユーザが問題を切り離すこと
を望む場合には、追加のストレスは適用されない。その状況において、ユーザは
、ターゲット装置9に対する排他的なアクセスを有するであろう。最後のTest R
un Optionは、Set Target Time(ターゲット時間の設定)であり、それはエンジ
ン3にホストコンピュータ4からターゲット装置9へ時間を送ることを促し、そ
れによってターゲット装置9のシステム時間をホストコンピュータ4の時間に同
期させる。ログファイルがターゲット装置9の日時に関連した日時のスタンプと
共に戻るので、同期は好都合である。これらの正確性を保つために、ユーザはタ
ーゲット装置9に日時を設定しなければならない。テストを実行する前の最後の
タブは、種々の選択可能な環境変数に関する価値ある情報を含むEnvironment Se
ttings(環境設定) タブである。これらの環境設定は、テストスーツファイル
にハードカード化(hard carded) 情報の代わりに環境変数を含ませることによ
りテストスーツファイル5を拡張し、要約するように設計される。例えば、Seri
al Tests(シリアルテスト)はパラメータとして利用可能な共通ポート(com-po
rt)を取り込む。共通ポートが環境変数として入力されない場合、テストは失敗
する。なぜなら共通ポートを開くことができないからである。テストスーツに用
いられる全環境変数が与えられる。しかしながら、任意の追加の環境変数はユー
ザの入力スーツにユーザ追加され得る。テスト実行後、Test Status(テストス
テータス)は、現在のテストランに関するステータス情報を得るために利用可能
である。情報は、動的に更新されている。
【0020】 Suites Run(テストスーツ実行)セクションウインドウは、開始した選択テス
トスーツを一覧表示する。ユーザは、所望のテストアイコンを選択することによ
りこのウインドウから任意のログファイルを開くことができる。この制御におけ
る他のアイコンは、障害情報を提供する。例えば、障害アイコンは、様式化され
たビーカーのような形に赤色の「X」を付けて示される。Test Run Summary Inf
ormation(テスト実行サマリ情報)は、実行されるテストスーツファイルの数、
選択されるテストスーツ、障害を有するテストスーツ、障害を有するテストスー
ツのパーセンテージの記録を残す。テストランの完了時に、ユーザは、Configur
e Failed Suites(障害を起こしたテストスーツの構成)タブを選択して、新た
な構成ウインドウの出現を促して現在のテストランにおいて障害を起こしたテス
トスーツの全てを選択し、テストに復帰することを容易にする。
トスーツを一覧表示する。ユーザは、所望のテストアイコンを選択することによ
りこのウインドウから任意のログファイルを開くことができる。この制御におけ
る他のアイコンは、障害情報を提供する。例えば、障害アイコンは、様式化され
たビーカーのような形に赤色の「X」を付けて示される。Test Run Summary Inf
ormation(テスト実行サマリ情報)は、実行されるテストスーツファイルの数、
選択されるテストスーツ、障害を有するテストスーツ、障害を有するテストスー
ツのパーセンテージの記録を残す。テストランの完了時に、ユーザは、Configur
e Failed Suites(障害を起こしたテストスーツの構成)タブを選択して、新た
な構成ウインドウの出現を促して現在のテストランにおいて障害を起こしたテス
トスーツの全てを選択し、テストに復帰することを容易にする。
【0021】 残りの2つのセクションは、Test Details(テストの詳細)と呼ばれる。これ
らのTest Detailsセクションの1つは、合格、並びに不合格である個々のテスト
ケースを監視し、そのセクションは、テストランの価値を評価するために有用で
ある。残りのTest Detailsセクションは、Failed Suites(障害を起こしたテス
トスーツ)セクションであり、この場合、障害となった全ての選択されたテスト
スーツがスーツ名によって一覧表示され、合格及び不合格のテストケースに対応
する数が示される。この情報の全てによって、ユーザにはテストラン中に自分の
ターゲット装置9の限界(即ち、合格すること、及びより重要には不合格である
こと)の非常に良い知識が与えられる。
らのTest Detailsセクションの1つは、合格、並びに不合格である個々のテスト
ケースを監視し、そのセクションは、テストランの価値を評価するために有用で
ある。残りのTest Detailsセクションは、Failed Suites(障害を起こしたテス
トスーツ)セクションであり、この場合、障害となった全ての選択されたテスト
スーツがスーツ名によって一覧表示され、合格及び不合格のテストケースに対応
する数が示される。この情報の全てによって、ユーザにはテストラン中に自分の
ターゲット装置9の限界(即ち、合格すること、及びより重要には不合格である
こと)の非常に良い知識が与えられる。
【0022】 本発明の主な目的は、Windows CE(R)のようなO/S1001aのポートを適
切にテストすることである。このタスクを達成するために、何百という数のテス
トスーツ11が必用とされ、O/S Validator1によって提供される。例えば
、検証されるO/Sサブシステムによってグループ化されたような、ほぼ150
0個のテストスーツ11が提供される。図10に示すように、O/S Validato
r1は、ソースコードと全テスト11に対する実行可能なコードの双方を含み、
歴史的に最も多い問題を呈しているサブシステムに特別に重点をおいて、主要な
O/S1001aサブシステムと共通適合ドライバを取り扱う。O/S Valida
tor1によってテストされるOSサブシステムコンポーネントには、イーサネッ
ト/NDIS、シリアルポートドライバ、ディスプレイドライバ、タッチパネルドラ
イバ、マウスドライバ、キーボードドライバ、OEM適応階層、及びPCカード
アダプタドライバが含まれる。図15A、図15B、図15Cは、これらのシス
テムコンポーネントに関するテストの詳細の一覧表を示す。
切にテストすることである。このタスクを達成するために、何百という数のテス
トスーツ11が必用とされ、O/S Validator1によって提供される。例えば
、検証されるO/Sサブシステムによってグループ化されたような、ほぼ150
0個のテストスーツ11が提供される。図10に示すように、O/S Validato
r1は、ソースコードと全テスト11に対する実行可能なコードの双方を含み、
歴史的に最も多い問題を呈しているサブシステムに特別に重点をおいて、主要な
O/S1001aサブシステムと共通適合ドライバを取り扱う。O/S Valida
tor1によってテストされるOSサブシステムコンポーネントには、イーサネッ
ト/NDIS、シリアルポートドライバ、ディスプレイドライバ、タッチパネルドラ
イバ、マウスドライバ、キーボードドライバ、OEM適応階層、及びPCカード
アダプタドライバが含まれる。図15A、図15B、図15Cは、これらのシス
テムコンポーネントに関するテストの詳細の一覧表を示す。
【0023】 上述し、図3に示すように、エンジン3は、HarnessLink.dll7と呼ばれてAct
iveX制御である、コンポーネントを介してGUI2にリンクされる。とりわけ、
HarnessLink.dll7は、エンジン3を呼び出す(即ち、影響を及ぼす)ためにG
UI2に一組のファンクションを提供する。HarnessLink.dll7の大部分は、関
数呼び出しを行い、エンジン3のコマンドラインに幾つかのパラメータをセット
アップする。最初の情報の全てがこのコマンドラインを介してエンジン3に渡さ
れ、所定の実行に対してエンジン3の準備を確実なものにする。複数のGUIに
関連したファンクションがコマンドライン上に情報を提供する。コマンドライン
上の情報は、GUI2の情報に相当する。他の主要なファンクションは、Harnes
sLink.dll7が、命名されたパイプを開くことによってエンジン3の動作中にア
クティビティを伝えるために機能することである。あるメモリ情報を伝達するた
めにエラー又は必要性が生じる場合、エンジン3は命名されたパイプを介して通
信する。命名されたパイプは、エンジン3と特定のハーネスリンクとの間の通信
が、たとえ複数のエンジン3が動作中であってもいかなる重複の問題もなく、直
接的で正確であることを保証する。HarnessLink.dll7がパイプからメッセージ
を受け取ると、それは適切なVBイベントに信号で知らせ、次いでGUI2に情
報を取得させ、適宜にそれを処理する。図5に関連して説明したように、エンジ
ン3は1つのHarnessLink.dll7と通信し、次いで1つのCEHarness8と通信する
。エンジン3の実行は簡単であり、即ちコマンドラインが受信されて処理され、
ターゲット装置に対する実行ソケット接続を確立し、GUI2と通信するための
パイプを開き、テストスーツファイル5を読み出し、及びその結果として3つの
段階、PreExecution、Execution、PostExecutionでテストを実行する。PreExecu
tion段階は、ターゲット装置9とホスト4との間でエラーソケット接続を確立す
る。ロギング経路とスタイル、種々のテストラン情報、及びストレスのシナリオ
のような関連データは、PreExecution段階中に送られる。Execution段階は、各
逐次のスーツコマンドに対する応答を含む。スーツコマンドは概してホスト4に
より送られ、CEHarness8によって処理され、次いでCEHarness8は、コマンドの
実行が完了した場合にソケットメッセージでもって応答する。PostExecution段
階は、ログ情報を低減すること、及びサマリログを生成することを主として含む
。これらのサマリログの完了時、エンジン3は終了する。テストターゲット装置
9のCEHarness8は、エンジン3に比べて大幅に複雑なコンポーネントである。
この複雑性は、各装置9が任意の時間でCEHarness8の1つのインスタンス有す
るからである。しかしながら、その装置が複数の同時の接続に対処でき、O/S
Validator1によって提供されるテスト方法に対する非常に重要な特徴となる
。ユーザがCEHarness8を起動する場合、それは全体の実行時間を通して持続す
る2つのスレッド、即ち同報通信スレッドと実行スレッドを生成する。この同報
通信スレッドは、デバイスIP、接続タイプ、及び10秒毎に入手可能な共通ポ
ートのような情報を更新し、同じ速度で同報通信メッセージをネットワークに送
る。装置9がWindows CE(R)サービス(即ち、NT側で)を介してホストコンピ
ュータ4に接続され、及びリムネット(remnet)又はrepllogのどちらかに(即
ち、装置側で)接続される場合には、接続タイプは、PPP PEERに変更される。
これが発生する場合、同報通信メッセージは、ターゲット装置9が直接的に接続
されるホスト4にだけ送られる。ユーザが実行中にある点で接続を変更する場合
、メッセージが更新される。一方では、実行スレッドは、エンジン3からの接続
の試みを待つ。実行スレッドが接続を受け取る場合、それは、必用な種々のファ
ンクションを実行する別のスレッド、主要な実行スレッドを生成する。主要な実
行スレッドは、エラー情報又はメモリ情報を送るために別のソケットを起動する
。このように、実行スレッドは、イベント駆動型であり、コマンドを受け取り、
適切に応答する。各接続の試みは、それ自体の実行スレッドを生成し、従って、
単一のCEHarness8は、多くのアクティブな接続を有し、1つのターゲット装置
9上で同時に複数の構成を実行することによってテストの機能性を拡張し、それ
によってより現実的なストレス状況を生成する。
iveX制御である、コンポーネントを介してGUI2にリンクされる。とりわけ、
HarnessLink.dll7は、エンジン3を呼び出す(即ち、影響を及ぼす)ためにG
UI2に一組のファンクションを提供する。HarnessLink.dll7の大部分は、関
数呼び出しを行い、エンジン3のコマンドラインに幾つかのパラメータをセット
アップする。最初の情報の全てがこのコマンドラインを介してエンジン3に渡さ
れ、所定の実行に対してエンジン3の準備を確実なものにする。複数のGUIに
関連したファンクションがコマンドライン上に情報を提供する。コマンドライン
上の情報は、GUI2の情報に相当する。他の主要なファンクションは、Harnes
sLink.dll7が、命名されたパイプを開くことによってエンジン3の動作中にア
クティビティを伝えるために機能することである。あるメモリ情報を伝達するた
めにエラー又は必要性が生じる場合、エンジン3は命名されたパイプを介して通
信する。命名されたパイプは、エンジン3と特定のハーネスリンクとの間の通信
が、たとえ複数のエンジン3が動作中であってもいかなる重複の問題もなく、直
接的で正確であることを保証する。HarnessLink.dll7がパイプからメッセージ
を受け取ると、それは適切なVBイベントに信号で知らせ、次いでGUI2に情
報を取得させ、適宜にそれを処理する。図5に関連して説明したように、エンジ
ン3は1つのHarnessLink.dll7と通信し、次いで1つのCEHarness8と通信する
。エンジン3の実行は簡単であり、即ちコマンドラインが受信されて処理され、
ターゲット装置に対する実行ソケット接続を確立し、GUI2と通信するための
パイプを開き、テストスーツファイル5を読み出し、及びその結果として3つの
段階、PreExecution、Execution、PostExecutionでテストを実行する。PreExecu
tion段階は、ターゲット装置9とホスト4との間でエラーソケット接続を確立す
る。ロギング経路とスタイル、種々のテストラン情報、及びストレスのシナリオ
のような関連データは、PreExecution段階中に送られる。Execution段階は、各
逐次のスーツコマンドに対する応答を含む。スーツコマンドは概してホスト4に
より送られ、CEHarness8によって処理され、次いでCEHarness8は、コマンドの
実行が完了した場合にソケットメッセージでもって応答する。PostExecution段
階は、ログ情報を低減すること、及びサマリログを生成することを主として含む
。これらのサマリログの完了時、エンジン3は終了する。テストターゲット装置
9のCEHarness8は、エンジン3に比べて大幅に複雑なコンポーネントである。
この複雑性は、各装置9が任意の時間でCEHarness8の1つのインスタンス有す
るからである。しかしながら、その装置が複数の同時の接続に対処でき、O/S
Validator1によって提供されるテスト方法に対する非常に重要な特徴となる
。ユーザがCEHarness8を起動する場合、それは全体の実行時間を通して持続す
る2つのスレッド、即ち同報通信スレッドと実行スレッドを生成する。この同報
通信スレッドは、デバイスIP、接続タイプ、及び10秒毎に入手可能な共通ポ
ートのような情報を更新し、同じ速度で同報通信メッセージをネットワークに送
る。装置9がWindows CE(R)サービス(即ち、NT側で)を介してホストコンピ
ュータ4に接続され、及びリムネット(remnet)又はrepllogのどちらかに(即
ち、装置側で)接続される場合には、接続タイプは、PPP PEERに変更される。
これが発生する場合、同報通信メッセージは、ターゲット装置9が直接的に接続
されるホスト4にだけ送られる。ユーザが実行中にある点で接続を変更する場合
、メッセージが更新される。一方では、実行スレッドは、エンジン3からの接続
の試みを待つ。実行スレッドが接続を受け取る場合、それは、必用な種々のファ
ンクションを実行する別のスレッド、主要な実行スレッドを生成する。主要な実
行スレッドは、エラー情報又はメモリ情報を送るために別のソケットを起動する
。このように、実行スレッドは、イベント駆動型であり、コマンドを受け取り、
適切に応答する。各接続の試みは、それ自体の実行スレッドを生成し、従って、
単一のCEHarness8は、多くのアクティブな接続を有し、1つのターゲット装置
9上で同時に複数の構成を実行することによってテストの機能性を拡張し、それ
によってより現実的なストレス状況を生成する。
【0024】 図3に示されるロギングライブラリ12は、種々の態様でO/S Validator
1へ組み込まれた複合ツールである。主として、ロギングライブラリ12は、テ
スト用のソースファイルへ組み込まれる。テストは、ライブラリのAPIに対し
て呼び出しを行い、その結果として、ライブラリはテスト結果の捕捉と記録に関
する全ての詳細に対処する。ロギングライブラリ12は、種々の通信オプション
もサポートする。推奨されるオプションは、TCPを介しており、ユーザは、ロ
グファイルがTCP接続から移動するにつれてそれらの表示を見ることができる
。別の接続オプションは、装置上のファイルに直接的にロギングすることである
。これは好都合になることができ、例えば、ユーザがPCMCIAカードにロギングし
たい場合、ネットワークを介して同報通信されるべき追加の情報は必用ではない
。ロギングライブラリ12は、TCP通信に対する装置側コンポーネントとして
働くが、ホスト4は通信に対するGUI2側のコンポーネントとして働く。ロギ
ングライブラリ12のこの態様は、ホスト4にログウインドウを提供し、テスト
結果を色分けする。例えば、障害メッセージは、赤いラインとして表示される。
メッセージが生成された、ソースコードファイルの名称と位置、並びにライン番
号は、ロギングライブラリ12のメッセージに含められる。また、より重要な点
は、詳細なエラーメッセージが、プログラムの記述されている現在のイベントに
提供されることである。各ログウインドウは、プログラムメモリ、合格、不合格
、及びタイミング情報に対するユーザアクセスを容易にするサマリタブを有する
。ログファイルの別の重要な特徴は、それらがテストの開始時、及び終了時にお
いて、大量の情報を取り込むことである。この情報は、メモリ、システム、電力
、及び他の価値のある情報のスナップショットを提供する。
1へ組み込まれた複合ツールである。主として、ロギングライブラリ12は、テ
スト用のソースファイルへ組み込まれる。テストは、ライブラリのAPIに対し
て呼び出しを行い、その結果として、ライブラリはテスト結果の捕捉と記録に関
する全ての詳細に対処する。ロギングライブラリ12は、種々の通信オプション
もサポートする。推奨されるオプションは、TCPを介しており、ユーザは、ロ
グファイルがTCP接続から移動するにつれてそれらの表示を見ることができる
。別の接続オプションは、装置上のファイルに直接的にロギングすることである
。これは好都合になることができ、例えば、ユーザがPCMCIAカードにロギングし
たい場合、ネットワークを介して同報通信されるべき追加の情報は必用ではない
。ロギングライブラリ12は、TCP通信に対する装置側コンポーネントとして
働くが、ホスト4は通信に対するGUI2側のコンポーネントとして働く。ロギ
ングライブラリ12のこの態様は、ホスト4にログウインドウを提供し、テスト
結果を色分けする。例えば、障害メッセージは、赤いラインとして表示される。
メッセージが生成された、ソースコードファイルの名称と位置、並びにライン番
号は、ロギングライブラリ12のメッセージに含められる。また、より重要な点
は、詳細なエラーメッセージが、プログラムの記述されている現在のイベントに
提供されることである。各ログウインドウは、プログラムメモリ、合格、不合格
、及びタイミング情報に対するユーザアクセスを容易にするサマリタブを有する
。ログファイルの別の重要な特徴は、それらがテストの開始時、及び終了時にお
いて、大量の情報を取り込むことである。この情報は、メモリ、システム、電力
、及び他の価値のある情報のスナップショットを提供する。
【0025】 本発明は、ある好適な実施形態及びその特徴に関して、特に図示され説明され
てきた。しかしながら、特許請求の範囲に記載されたような本発明の思想、及び
範囲から逸脱することなく、形態、材料、及び設計の詳細に様々な変更及び修正
を加えることができることは、当業者にとって容易に明らかであろう。
てきた。しかしながら、特許請求の範囲に記載されたような本発明の思想、及び
範囲から逸脱することなく、形態、材料、及び設計の詳細に様々な変更及び修正
を加えることができることは、当業者にとって容易に明らかであろう。
【図1】 コントロールユニットにおいて、組み込み型オペレーティングシステムを備え
た現在のコンピュータ化された製品を表す略図である。
た現在のコンピュータ化された製品を表す略図である。
【図2】 本発明に従って、組み込み型オペレーティングシステムを備えたコンピュータ
化された製品に対する品質保証テストを示す、製造フローチャートである。
化された製品に対する品質保証テストを示す、製造フローチャートである。
【図3】 グラフィカルユーザインターフェース、エンジン、複数のテストスーツ、及び
ロギングライブラリを含む、本発明のオペレーティングシステム検証器の主要な
コンポーネントを示す、ブロック図である。
ロギングライブラリを含む、本発明のオペレーティングシステム検証器の主要な
コンポーネントを示す、ブロック図である。
【図4】 本発明に従って、組み込み型オペレーティングシステムを備えた複数のターゲ
ット装置をテストするために、ホスト装置から複数のテストスーツ構成を実行す
る本発明を示す、ブロック図である。
ット装置をテストするために、ホスト装置から複数のテストスーツ構成を実行す
る本発明を示す、ブロック図である。
【図5】 ターゲット装置によって、ホストにおけるO/S Validator1とイーサネッ
ト手段を介した通信を示すことを除いて、図4に示されたものと本質的に同じ本
発明を示す、ブロック図である。
ト手段を介した通信を示すことを除いて、図4に示されたものと本質的に同じ本
発明を示す、ブロック図である。
【図5A】 複数のホストとターゲット装置間の通信がイーサネットを介して行われ得る構
成を示す図である。
成を示す図である。
【図6】 テストスーツ実行状況のさらに別の構成を示す図である。
【図7】 自動式及び手動式のテストスーツ実行において、テストされた特定のAPIの
機能領域の一覧表である。
機能領域の一覧表である。
【図8A】 自動モード又は手動モードにおいてテストされ得る機能領域とAPIの包括的
な一覧表である。
な一覧表である。
【図8B】 自動モード又は手動モードにおいてテストされ得る機能領域とAPIの包括的
な一覧表である。
な一覧表である。
【図8C】 自動モード又は手動モードにおいてテストされ得る機能領域とAPIの包括的
な一覧表である。
な一覧表である。
【図9】 ビルディング自動化スクリプトにおいて使用するための選択されたAPIの一
覧表である。
覧表である。
【図10】 全ての実行可能なプログラムにソースコードを提供する本発明の概念を表す略
図である。
図である。
【図11】 テストスーツの選択オプション、並びに他の関連したサマリファンクションを
示すウインドウのブロック図である。
示すウインドウのブロック図である。
【図12】 テスト結果、テスト障害、及び関連したテストサマリオプションに関するタブ
を示すロギングウインドウのブロック図である。
を示すロギングウインドウのブロック図である。
【図13】 テストサイクル時間対並行してテストされるテスト装置の数の関係をグラフの
形で表す図である。
形で表す図である。
【図14】 種々の構成の関連したファンクションを実行するためのタブを示す構成ウイン
ドウのブロック図である。
ドウのブロック図である。
【図15A】 本発明に従って、オペレーティングシステムのコンポーネントに関するテスト
の詳細に関する一覧表である。
の詳細に関する一覧表である。
【図15B】 本発明に従って、オペレーティングシステムのコンポーネントに関するテスト
の詳細に関する一覧表である。
の詳細に関する一覧表である。
【図15C】 本発明に従って、オペレーティングシステムのコンポーネントに関するテスト
の詳細に関する一覧表である。
の詳細に関する一覧表である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SL,SZ,TZ,UG,ZW ),EA(AM,AZ,BY,KG,KZ,MD,RU, TJ,TM),AE,AL,AM,AT,AU,AZ, BA,BB,BG,BR,BY,CA,CH,CN,C R,CU,CZ,DE,DK,DM,EE,ES,FI ,GB,GD,GE,GH,GM,HR,HU,ID, IL,IN,IS,JP,KE,KG,KP,KR,K Z,LC,LK,LR,LS,LT,LU,LV,MA ,MD,MG,MK,MN,MW,MX,NO,NZ, PL,PT,RO,RU,SD,SE,SG,SI,S K,SL,TJ,TM,TR,TT,TZ,UA,UG ,UZ,VN,YU,ZA,ZW (72)発明者 ウォルターズ,ジェイムス,フロイド アメリカ合衆国ワシントン州98101,シア トル,セネカ・ストリート・ナンバー 404・1101 (72)発明者 ディッカラ,ヤナルダナ,ラオ アメリカ合衆国ワシントン州98005,ベレ ビュー,ナンバーシー208,ワンハンドレ ッドサーティフォース・アベニュー・サウ ス・イースト・1590 (72)発明者 サンプル,イアン アメリカ合衆国ワシントン州98105,シア トル,ナンバー101,ユニバーシティ・ウ ェイ・ノース・イースト・5256 Fターム(参考) 5B042 GA21 HH11 【要約の続き】 別な診断は、歴史的に最も多い問題を示してきたオヘ゜レーティンク゛サフ゛システム に重点を置く。
Claims (20)
- 【請求項1】 ターゲット装置内に組み込まれたオペレーティングシステムをテストして妥当
性を検査するためのコンピュータベースのシステムであって、 a ホストコンピュータと、 b オペレーティングシステムを備えるターゲット装置と、 c オペレーティングシステムのテスト及び妥当性検査のソフトウェアプログラ
ムであって、前記ソフトウェアプログラムが前記ホストコンピュータに与えられ
、前記ソフトウェアプログラムが、ユーザとインターフェースするためのグラフ
ィカルユーザインターフェースプログラム手段と、前記ターゲット装置と通信し
、前記グラフィカルユーザインターフェースからのコマンドに応答するためのエ
ンジン手段と、前記オペレーティングシステムの少なくとも1つのコンポーネン
トをテストして妥当性を検査するための少なくとも1つのテストを含む複数のテ
ストスーツとを含む、オペレーティングシステムのテスト及び妥当性検査のソフ
トウェアプログラムと、及び d 前記オペレーティングシステムのテスト及び妥当性検査のソフトウェアプロ
グラムによって生成されるにしたがってテストの関連情報を処理して格納するた
めのロギングライブラリ手段とからなる、コンピュータベースのシステム。 - 【請求項2】 前記オペレーティングシステムのテスト及び妥当性検査のソフトウェアプログ
ラムが、前記エンジン手段を呼び出すために前記グラフィカルユーザインターフ
ェース上の一組のファンクションを更に含む、請求項1のコンピュータベースの
システム。 - 【請求項3】 前記ターゲット装置が前記エンジン手段と通信するためのイベント駆動型アプ
リケーションを更に含み、前記エンジン手段がイベントを送り、前記イベント駆
動型アプリケーションが応答する、請求項1のコンピュータベースのシステム。 - 【請求項4】 前記ターゲット装置の前記オペレーティングシステムが、Windows CE(R)オペ
レーティングシステムからなる、請求項1のコンピュータベースのシステム。 - 【請求項5】 前記テストスーツが少なくとも1つのシステムストレステストルーチンと、少
なくとも1つの特徴及び機能のテストとを含む、請求項1のコンピュータベース
のシステム。 - 【請求項6】 前記システムストレステストルーチンが、前記オペレーティングシステムの前
記少なくとも1つのコンポーネントをストレステストするためのコードベースを
含み、前記オペレーティングシステムの前記少なくとも1つのコンポーネントが
、イーサネット(登録商標)/NDIS、PCMIA、メモリ、ファイルシステム、シリ アルポート、複数のアプリケーションプログラムインターフェイスを有するビデ オシステム、赤外線システム、OEM適応階層、タッチパネル、マウス、キーボー ド、及び音声/波形システムを含むオペレーティングシステムのコンポーネント のグループから選択され、前記テストが、少なくとも3つの欠陥、即ち、ハード ウェアの設計、ハードウェアのプログラミング、及びオペレーティングシステム のインタラクションを識別し、自動モード又は手動モードで実行される、請求項 5のコンピュータベースのシステム。 - 【請求項7】 前記ターゲット装置が、前記ホストコンピュータと無関係に妥当性検査及びス
トレステストを行うために、前記オペレーティングシステムのテスト及び妥当性
検査のソフトウェアプログラムに設けられた独立型ユニットを含む、請求項1の
コンピュータベースのシステム。 - 【請求項8】 前記ホストコンピュータに、及びテストと妥当性検査タスクを行うための前記
ターゲット装置に結合されたイーサネット接続を更に含む、請求項1のコンピュ
ータベースのシステム。 - 【請求項9】 前記ロギングライブラリ手段が、WRITETESTPASSアプリケーションプログラム
インターフェイスを用いる少なくとも1つの合格テスト結果ファイルを含む、請
求項1のコンピュータベースのシステム。 - 【請求項10】 前記少なくとも1つの合格テスト結果ファイルが、前記ターゲット装置に存在
する、請求項9のコンピュータベースのシステム。 - 【請求項11】 前記ロギングライブラリ手段が、WRITETESTFAILアプリケーションプログラム
インターフェイスを用いる少なくとも1つの不合格テスト結果ファイルを含む、
請求項1のコンピュータベースのシステム。 - 【請求項12】 前記少なくとも1つの不合格テスト結果ファイルが、前記ターゲット装置に存
在する、請求項11のコンピュータベースのシステム。 - 【請求項13】 ターゲット装置内に組み込まれたオペレーティングシステムをテストして妥当
性を検査するためのコンピュータベースの方法であって、 (a)ホストコンピュータを準備するステップと、 (b)オペレーティングシステムを有するターゲット装置を準備するステップと
、 (c)オペレーティングシステムのテスト及び妥当性検査のソフトウェアプログ
ラムを準備するステップであって、前記ソフトウェアプログラムが前記ホストコ
ンピュータに与えられ、前記ソフトウェアプログラムが、ユーザとインターフェ
ースするためのグラフィカルユーザインターフェースプログラム手段と、前記タ
ーゲット装置と通信し、前記グラフィカルユーザインターフェースプログラム手
段からのコマンドに応答するためのエンジン手段と、前記オペレーティングシス
テムの少なくとも1つのコンポーネントをテストして妥当性を検査するための少
なくとも1つのテストを含む複数のテストスーツとを含む、オペレーティングシ
ステムのテスト及び妥当性検査のソフトウェアプログラムを準備するステップと
、 (d)前記オペレーティングシステムのテスト及び妥当性検査のソフトウェアプ
ログラムによって生成されるにしたがってテストの関連情報を処理して格納する
ためのロギングライブラリ手段を準備するステップと、 (e)前記ターゲット装置上で前記オペレーティングシステムのテスト及び妥当
性検査のソフトウェアプログラムを実行し、前記オペレーティングシステムをテ
ストして妥当性を検査するステップと、及び (f)合格及び不合格のテスト結果を生成するステップとからなる、ターゲット
装置内に組み込まれたオペレーティングシステムをテストして妥当性を検査する
ためのコンピュータベースの方法。 - 【請求項14】 前記オペレーティングシステムのテスト及び妥当性検査のソフトウェアプログ
ラムに、前記エンジン手段を呼び出すために前記グラフィカルユーザインターフ
ェース上の一組のファンクションを与えるステップを更に含む、請求項13のタ
ーゲット装置内に組み込まれたオペレーティングシステムをテストして妥当性を
検査するためのコンピュータベースの方法。 - 【請求項15】 前記ターゲット装置に前記エンジン手段と通信するためのイベント駆動型アプ
リケーションを与えるステップを更に含み、前記エンジン手段がイベントを送り
、前記イベント駆動型アプリケーションが応答する、請求項13のターゲット装
置内に組み込まれたオペレーティングシステムをテストして妥当性を検査するた
めのコンピュータベースの方法。 - 【請求項16】 前記ターゲット装置にWindows CE(R)オペレーティングシステムを与えるステ
ップを更に含む、請求項13のターゲット装置内に組み込まれたオペレーティン
グシステムをテストして妥当性を検査するためのコンピュータベースの方法。 - 【請求項17】 前記オペレーティングシステムの前記少なくとも1つのコンポーネントをスト
レステストするためのコードベースを含むシステムストレステストルーチンの形
でテストスーツを提供するステップであって、前記オペレーティングシステムの
前記少なくとも1つのコンポーネントが、イーサネット/NDIS、PCMIA、メモリ
、ファイルシステム、シリアルポート、複数のアプリケーションプログラムイン
ターフェイスを有するビデオシステム、赤外線システム、OEM適応階層、タッチ
パネル、マウス、キーボード、及び音声/波形システムを含むオペレーティング
システムのコンポーネントのグループから選択され、前記テストが、少なくとも
3つの欠陥、即ち、ハードウェアの設計、ハードウェアのプログラミング、及び
オペレーティングシステムのインタラクションを識別し、自動モード又は手動モ
ードで実行される、ステップを更に含む、請求項13のターゲット装置内に組み
込まれたオペレーティングシステムをテストして妥当性を検査するためのコンピ
ュータベースの方法。 - 【請求項18】 前記ホストコンピュータに、及び前記ターゲット装置上でテストと妥当性検査
タスクを行うために前記ターゲット装置に結合されたイーサネット接続を設ける
ステップを更に含む、請求項13のターゲット装置内に組み込まれたオペレーテ
ィングシステムをテストして妥当性を検査するためのコンピュータベースの方法
。 - 【請求項19】 前記ロギングライブラリ手段に、WRITETESTPASSアプリケーションプログラム
インターフェイスを用いて少なくとも1つの合格テスト結果ファイルを提供する
ステップを更に含む、請求項13のターゲット装置内に組み込まれたオペレーテ
ィングシステムをテストして妥当性を検査するためのコンピュータベースの方法
。 - 【請求項20】 前記ロギングライブラリ手段に、WRITETESTFAILアプリケーションプログラム
インターフェイスを用いて少なくとも1つの不合格テスト結果ファイルを提供す
るステップを更に含む、請求項13のターゲット装置内に組み込まれたオペレー
ティングシステムをテストして妥当性を検査するためのコンピュータベースの方
法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11682499P | 1999-01-21 | 1999-01-21 | |
US60/116,824 | 1999-01-21 | ||
US13762999P | 1999-06-04 | 1999-06-04 | |
US60/137,629 | 1999-06-04 | ||
PCT/US2000/001583 WO2000043880A1 (en) | 1999-01-21 | 2000-01-21 | A system and method for testing and validating devices having an embedded operating system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002535773A true JP2002535773A (ja) | 2002-10-22 |
Family
ID=26814666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000595240A Pending JP2002535773A (ja) | 1999-01-21 | 2000-01-21 | 組み込み型のオペーレティングシステムを有する装置をテストして妥当性を検査するためのシステム及び方法 |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP1236108A1 (ja) |
JP (1) | JP2002535773A (ja) |
KR (1) | KR20010112250A (ja) |
CN (1) | CN1359492A (ja) |
AU (1) | AU3212300A (ja) |
BR (1) | BR0009008A (ja) |
WO (1) | WO2000043880A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100367238C (zh) * | 2001-08-22 | 2008-02-06 | 深圳市索普卡软件开发有限公司 | 一种x86系列兼容机及其操作***的生成方法 |
CN100456043C (zh) * | 2003-02-14 | 2009-01-28 | 爱德万测试株式会社 | 检测集成电路的方法和装置 |
CN1316358C (zh) * | 2004-03-05 | 2007-05-16 | 英业达股份有限公司 | 信息平台测试环境自动化建置方法及*** |
CN100403701C (zh) * | 2004-08-09 | 2008-07-16 | 华为技术有限公司 | 目标设备业务实现的测试方法及*** |
CN100375058C (zh) * | 2004-12-24 | 2008-03-12 | 北京中星微电子有限公司 | 一种嵌入式产品软件调试方法 |
CN100440162C (zh) * | 2005-04-08 | 2008-12-03 | 环达电脑(上海)有限公司 | 嵌入式设备的调试方法 |
CN100356738C (zh) * | 2005-07-29 | 2007-12-19 | 杭州华三通信技术有限公司 | 自动化测试框架***及方法 |
FI118578B (fi) * | 2006-01-23 | 2007-12-31 | Mika Pollari | Testauslaite ja menetelmä laitteen testaamiseksi |
CN101452415B (zh) * | 2007-11-30 | 2011-05-04 | 鸿富锦精密工业(深圳)有限公司 | 嵌入式***测试的辅助装置及方法 |
EP2342643A4 (en) | 2008-09-25 | 2013-05-15 | Lsi Corp | METHOD AND / OR APPARATUS FOR CERTIFYING AN OUTBOX ADMINISTRATION APPLICATION IN AN EXTERNAL STORE ARRAY |
US9003370B2 (en) | 2010-03-04 | 2015-04-07 | Nec Corporation | Application modification portion searching device and application modification portion searching method |
US10318477B2 (en) * | 2010-05-26 | 2019-06-11 | Red Hat, Inc. | Managing and archiving system and application log files |
CN102339248A (zh) * | 2010-07-20 | 2012-02-01 | 上海闻泰电子科技有限公司 | 一种嵌入式终端的在线调试***及方法 |
CN102916848B (zh) * | 2012-07-13 | 2014-12-10 | 北京航空航天大学 | 一种基于脚本技术的以太网接口设备的自动测试方法 |
CN105445644A (zh) * | 2015-11-18 | 2016-03-30 | 南昌欧菲生物识别技术有限公司 | 多类型芯片测试板、测试***及测试机台 |
CN106201765B (zh) * | 2016-07-21 | 2019-03-15 | 中国人民解放军国防科学技术大学 | 基于μC/OS-II操作***的任务堆栈区数据校验恢复方法 |
US10997045B2 (en) | 2016-10-20 | 2021-05-04 | Y Soft Corporation, A.S. | Universal automated testing of embedded systems |
CN109960590B (zh) * | 2019-03-26 | 2021-05-18 | 北京简约纳电子有限公司 | 一种优化嵌入式***诊断打印的方法 |
CN110221974A (zh) * | 2019-05-22 | 2019-09-10 | 深圳壹账通智能科技有限公司 | 服务平台***自检方法、装置、计算机设备以及存储介质 |
CN112306888B (zh) * | 2020-11-13 | 2022-05-10 | 武汉天喻信息产业股份有限公司 | 一种基于设备库文件接口的测试***和方法 |
CN113590475B (zh) * | 2021-07-13 | 2024-05-31 | 北京快乐茄信息技术有限公司 | 一种在线开发平台的联调测试方法以及联调测试装置 |
CN116743990B (zh) * | 2023-08-16 | 2023-10-27 | 北京智芯微电子科技有限公司 | 嵌入式设备的视频流测试方法和视频流测试处理方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0636976B1 (en) * | 1993-07-28 | 1998-12-30 | Koninklijke Philips Electronics N.V. | Microcontroller provided with hardware for supporting debugging as based on boundary scan standard-type extensions |
US5724505A (en) * | 1996-05-15 | 1998-03-03 | Lucent Technologies Inc. | Apparatus and method for real-time program monitoring via a serial interface |
-
2000
- 2000-01-21 BR BR0009008-5A patent/BR0009008A/pt not_active Application Discontinuation
- 2000-01-21 AU AU32123/00A patent/AU3212300A/en not_active Abandoned
- 2000-01-21 KR KR1020017009191A patent/KR20010112250A/ko not_active Application Discontinuation
- 2000-01-21 EP EP00909951A patent/EP1236108A1/en not_active Withdrawn
- 2000-01-21 CN CN 00802922 patent/CN1359492A/zh active Pending
- 2000-01-21 JP JP2000595240A patent/JP2002535773A/ja active Pending
- 2000-01-21 WO PCT/US2000/001583 patent/WO2000043880A1/en not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
CN1359492A (zh) | 2002-07-17 |
AU3212300A (en) | 2000-08-07 |
KR20010112250A (ko) | 2001-12-20 |
BR0009008A (pt) | 2002-02-13 |
EP1236108A1 (en) | 2002-09-04 |
WO2000043880A1 (en) | 2000-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002535773A (ja) | 組み込み型のオペーレティングシステムを有する装置をテストして妥当性を検査するためのシステム及び方法 | |
US6182246B1 (en) | Protocol acknowledgment between homogeneous system | |
US8074204B2 (en) | Test automation for business applications | |
US7134049B2 (en) | System and method for sequencing and performing very high speed software downloads concurrent with system testing in an automated production environment | |
US8434058B1 (en) | Integrated system and method for validating the functionality and performance of software applications | |
US5991537A (en) | VXI test executive | |
US7770151B2 (en) | Automatic generation of solution deployment descriptors | |
EP1504347B1 (en) | Automated software testing system and method | |
CN104007957B (zh) | 在编辑期间显示实时数据的改进图形用户界面编辑器 | |
US6868508B2 (en) | System and method enabling hierarchical execution of a test executive subsequence | |
Paiva et al. | A model-to-implementation mapping tool for automated model-based GUI testing | |
US8356282B1 (en) | Integrated development environment for the development of electronic signal testing strategies | |
US20030074423A1 (en) | Testing web services as components | |
US7143310B2 (en) | Generating standalone MIDlets from a testing harness | |
US20030070120A1 (en) | Method and system for managing software testing | |
US20030140138A1 (en) | Remotely driven system for multi-product and multi-platform testing | |
WO2008045117A1 (en) | Methods and apparatus to analyze computer software | |
CN102144221B (zh) | 用于自动化测试的紧凑架构 | |
US7831962B2 (en) | Testing subsystems on platforms for software applications | |
JP2003501743A (ja) | 同種のシステム間におけるプロトコル応答 | |
US20060143533A1 (en) | Apparatus and system for testing of software | |
JP2002157144A (ja) | ソフトウェア自動試験方式 | |
US20080066005A1 (en) | Systems and Methods of Interfacing with Enterprise Resource Planning Systems | |
CA3207684A1 (en) | System for internal audit and internal control management and related methods | |
America et al. | ARCAD Verifier |