JP2002535773A - 組み込み型のオペーレティングシステムを有する装置をテストして妥当性を検査するためのシステム及び方法 - Google Patents
組み込み型のオペーレティングシステムを有する装置をテストして妥当性を検査するためのシステム及び方法Info
- Publication number
- JP2002535773A JP2002535773A JP2000595240A JP2000595240A JP2002535773A JP 2002535773 A JP2002535773 A JP 2002535773A JP 2000595240 A JP2000595240 A JP 2000595240A JP 2000595240 A JP2000595240 A JP 2000595240A JP 2002535773 A JP2002535773 A JP 2002535773A
- Authority
- JP
- Japan
- Prior art keywords
- test
- operating system
- computer
- target device
- testing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/26—Functional testing
- G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/366—Software debugging using diagnostics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
(57)【要約】
品質保証を改善し、多くの個人の長い月日とコスト節約を与え、Windows CE(R)のような市販のオヘ゜レーティンク゛システムを利用するターケ゛ット装置の製品開発フ゜ロセスを合理化するためのシステムと方法は、包括的な妥当性検査テストフ゜ロク゛ラムの組を適用するテスト装置を含む。このシステムと方法、O/S Validator(1)は、ホストク゛ラフィカルユーサ゛インターフェースハーネス(12)、ホストからターケ゛ットまでの通信(3)、少なくとも1つのテストスーツ(11)、及び結果捕捉手法(12)を利用することにより、市販のオヘ゜レーティンク゛システム(1000a)、Windows CE(R)に完全自動化設計妥当性検査ハ゜ッケーシ゛を提供する。O/S Validator(1)は、より速く、より正確な自動化テストスーツ技術を、Windows CE(R)のような市販のオヘ゜レーティンク゛システム(1000a)のホ゜ートをテストするために、ターケ゛ットハート゛ウェア(1000、9)に提供する。更に、O/S Validator(1)は、オヘ゜レーティンク゛システムO/S、テ゛ハ゛イスト゛ライハ゛、OEM適応階層(OAL)、及びハート゛ウェアインタラクションに意図的にストレスをかけるために、特に開発された包括的なコート゛ヘ゛ースを含む。テストスーツ(11)は、ハート゛ウェアの設計、ハート゛ウェアのフ゜ロク゛ラミンク゛(ト゛ライハ゛/OAL)、及びオヘ゜レーティンク゛システムのインタラクションを含む3つの主な欠陥を識別することに向けられている。特別な診断は、歴史的に最も多い問題を示してきたオヘ゜レーティンク゛サフ゛システムに重点を置く。
Description
【０００１】
本特許出願は、1999年１月21日に出願され、「CE VALIDATOR TEST SUITE」と
題する米国暫定特許出願第60/116,824号、及び1999年６月４日に出願され、「PR
OTOCOL ACKNOWLEDGEMENT BETWEEN HOMOGENEOUS SYSTEMS」と題する米国暫定特許
出願第60/137,629号に関連している。
題する米国暫定特許出願第60/116,824号、及び1999年６月４日に出願され、「PR
OTOCOL ACKNOWLEDGEMENT BETWEEN HOMOGENEOUS SYSTEMS」と題する米国暫定特許
出願第60/137,629号に関連している。
【０００２】
本発明は、製品の品質保証、及びコンピュータ化された製品に提供されるオペ
レーティングシステムの妥当性を検査するためのテストシステムと方法に関する
。より詳細には、本発明は、製品の品質保証、及びコンピュータ化された製品の
開発中にオペレーティングシステムの妥当性を検査するためのテストシステムと
方法に関する。さらに詳細には、本発明は、製品の品質保証、及びコンピュータ
化された製品に一般的に提供される、マイクロソフト社（ワシントン州、レドモ
ンド）により製造され販売されるWindows CE(R)のようなオペレーティングシス
テムの妥当性を検査するためのテストシステムと方法に関する。
レーティングシステムの妥当性を検査するためのテストシステムと方法に関する
。より詳細には、本発明は、製品の品質保証、及びコンピュータ化された製品の
開発中にオペレーティングシステムの妥当性を検査するためのテストシステムと
方法に関する。さらに詳細には、本発明は、製品の品質保証、及びコンピュータ
化された製品に一般的に提供される、マイクロソフト社（ワシントン州、レドモ
ンド）により製造され販売されるWindows CE(R)のようなオペレーティングシス
テムの妥当性を検査するためのテストシステムと方法に関する。
【０００３】
開発者は、セットトップボックス、ゲームシステム、バーコードスキャナ、及
びファクトリオートメーションシステムを含む多くの異なるタイプのコンピュー
タ化された製品へWindows CE(R)のようなオペレーティングシステムを、ますま
す組み込んでいる。Windows CE(R)が増加したのと同様に、「汎用」のソフトウ
ェア開発ツールの要求も増えてきた。多くのツール及び「汎用」のソフトウェア
キットは、装置の設計時間を節約し、迅速な装置開発をもたらすために市販され
ているが、こららの新たな製品の、とりわけ装置開発の最終段階における互換性
を検証するための迅速なテストシステム又は方法は、存在しなかった。
びファクトリオートメーションシステムを含む多くの異なるタイプのコンピュー
タ化された製品へWindows CE(R)のようなオペレーティングシステムを、ますま
す組み込んでいる。Windows CE(R)が増加したのと同様に、「汎用」のソフトウ
ェア開発ツールの要求も増えてきた。多くのツール及び「汎用」のソフトウェア
キットは、装置の設計時間を節約し、迅速な装置開発をもたらすために市販され
ているが、こららの新たな製品の、とりわけ装置開発の最終段階における互換性
を検証するための迅速なテストシステム又は方法は、存在しなかった。
【０００４】 従来、オペレーティングシステムの装置テストの選択肢は、２つだけ採用でき
、即ち（１）テストコードの社内書き込み、及び（２）カスタムコード開発を別
の会社に外部委託することであった。社内のテスト計画を完了するために、OEM
業者は、彼らの職員を訓練するために長い月日を費やし、テストコードを開発す
るためにさらに長い月日を費やし、彼らの製品がそのようなコードを用いてテス
トされ得る前の準備にさらにもっと長い月日を費やさなければならない。同様に
、外注のカスタムコード開発の会社は、コードの書き込みに長い月日を費やすで
あろう。このように、双方の選択肢は時間のかかるものであり、従って費用がか
さむ。
、即ち（１）テストコードの社内書き込み、及び（２）カスタムコード開発を別
の会社に外部委託することであった。社内のテスト計画を完了するために、OEM
業者は、彼らの職員を訓練するために長い月日を費やし、テストコードを開発す
るためにさらに長い月日を費やし、彼らの製品がそのようなコードを用いてテス
トされ得る前の準備にさらにもっと長い月日を費やさなければならない。同様に
、外注のカスタムコード開発の会社は、コードの書き込みに長い月日を費やすで
あろう。このように、双方の選択肢は時間のかかるものであり、従って費用がか
さむ。
【０００５】 前述した時間のかかるオペレーティングシステムの装置テストの選択肢によっ
て、統合されたテストシステムと製品品質を改善するための方法、時間を与え且
つ多くの個人の月日（person-months）からなるコストの節減を与えること、及
び製品開発プロセスの合理化の切実な要求が長い間生じた。とりわけ、前述した
問題を克服し、ひいては製品品質を改善するシステムと方法を提供し、時間を与
え且つ多くの個人の月日からなるコストの節減を与え、及び製品開発プロセスを
合理化し、装置設計者のための完全自動化された設計検証パッケージという結果
になるために、組み込み型Windows CE(R)オペレーティングシステムのインスト
ールされた装置をテストして妥当性を検査するためのシステムと方法が必用とさ
れている。
て、統合されたテストシステムと製品品質を改善するための方法、時間を与え且
つ多くの個人の月日（person-months）からなるコストの節減を与えること、及
び製品開発プロセスの合理化の切実な要求が長い間生じた。とりわけ、前述した
問題を克服し、ひいては製品品質を改善するシステムと方法を提供し、時間を与
え且つ多くの個人の月日からなるコストの節減を与え、及び製品開発プロセスを
合理化し、装置設計者のための完全自動化された設計検証パッケージという結果
になるために、組み込み型Windows CE(R)オペレーティングシステムのインスト
ールされた装置をテストして妥当性を検査するためのシステムと方法が必用とさ
れている。
【０００６】
従って、本発明は、出願人の譲受人のCEValidatorTMの登録商標のもとで市販
される、オペレーティングシステム検証器（validator）であり（本明細書にお
いてＯ／Ｓ Validatorとも称され、図面において参照番号１で示される）、こ
の検証器は、ターゲット装置のハードウェア及び／又は新たに開発されるソフト
ウェアにおいて、Windows CE(R)のようなオペレーティングシステムのポートを
テストするための自動化されたテストスーツの方法を含むテストシステムを提供
することによって、前述の問題を解決する。Ｏ／Ｓ Validatorは、包括的なコ
ードベースを含み、具体的にはＯ／Ｓ、デバイスドライバ、OEM適応階層（OEM a
daptation layer ：OAL）、及びハードウェアインタラクションに意図的にスト
レスをかけるために開発された。提供されるテストスーツは、３つの主要な欠陥
、即ちハードウェアの設計、ハードウェアのプログラミング（ドライバー／OAL
）、及びオペレーティングシステムのインタラクションを識別することに向けら
れている。特別な診断は、歴史的に最も多い問題を示してきたWindows CE(R)サ
ブシステムに重点を置く。テストスーツは、ストレステストルーチン、並びに特
徴及び機能のテストを含む、ほぼ１５００個のテストからなり、Windows CE(R)
ポートの完全な分析を提供する。これらのテストは、Ｏ／Ｓ Validatorによっ
てグループ化される。Ｏ／Ｓ Validatorは、テストソースコード、及び全ての
テスト用の実行可能なプログラムの双方を含む。
される、オペレーティングシステム検証器（validator）であり（本明細書にお
いてＯ／Ｓ Validatorとも称され、図面において参照番号１で示される）、こ
の検証器は、ターゲット装置のハードウェア及び／又は新たに開発されるソフト
ウェアにおいて、Windows CE(R)のようなオペレーティングシステムのポートを
テストするための自動化されたテストスーツの方法を含むテストシステムを提供
することによって、前述の問題を解決する。Ｏ／Ｓ Validatorは、包括的なコ
ードベースを含み、具体的にはＯ／Ｓ、デバイスドライバ、OEM適応階層（OEM a
daptation layer ：OAL）、及びハードウェアインタラクションに意図的にスト
レスをかけるために開発された。提供されるテストスーツは、３つの主要な欠陥
、即ちハードウェアの設計、ハードウェアのプログラミング（ドライバー／OAL
）、及びオペレーティングシステムのインタラクションを識別することに向けら
れている。特別な診断は、歴史的に最も多い問題を示してきたWindows CE(R)サ
ブシステムに重点を置く。テストスーツは、ストレステストルーチン、並びに特
徴及び機能のテストを含む、ほぼ１５００個のテストからなり、Windows CE(R)
ポートの完全な分析を提供する。これらのテストは、Ｏ／Ｓ Validatorによっ
てグループ化される。Ｏ／Ｓ Validatorは、テストソースコード、及び全ての
テスト用の実行可能なプログラムの双方を含む。
【０００７】 テストスーツの実行、及びロギング結果の収集を簡単にするために、マイクロ
ソフトWindows (R)のユーザインターフェースを流用する標準のWindows (R)アプ
リケーションのような、Ｏ／Ｓ Validatorのホストコンポーネント用の直観的
に使えるユーザインターフェイスが利用される。Ｏ／Ｓ Validatorは、クライ
アント／サーバアプリケーションとしてテストスーツを分配する。グラフィカル
ユーザインターフェース（ＧＵＩ）は、ターゲット装置上で走っている小さなア
プリケーションCEHarness.exeと対話する。この通信はイーサネットを介して行
われる得るので、少なくとも１つのホストが少なくとも１つのターゲット装置に
対抗してテストスーツを走らせることができる。
ソフトWindows (R)のユーザインターフェースを流用する標準のWindows (R)アプ
リケーションのような、Ｏ／Ｓ Validatorのホストコンポーネント用の直観的
に使えるユーザインターフェイスが利用される。Ｏ／Ｓ Validatorは、クライ
アント／サーバアプリケーションとしてテストスーツを分配する。グラフィカル
ユーザインターフェース（ＧＵＩ）は、ターゲット装置上で走っている小さなア
プリケーションCEHarness.exeと対話する。この通信はイーサネットを介して行
われる得るので、少なくとも１つのホストが少なくとも１つのターゲット装置に
対抗してテストスーツを走らせることができる。
【０００８】 ターゲット装置がテストで不合格になる場合、Ｏ／Ｓ Validatorは有用なエ
ラー情報を生成する。テストスーツが走らされている間、結果は、複数の動的に
生成されたログウィンドウ、並びに構成のサマリタブに表示される。ロギングウ
インドウは、任意のテスト結果の完全なテキストを含む。障害は、赤色で色分け
され識別を容易化する。ロギングウインドウのナビゲーションボタンにより、１
つの障害から別の障害への迅速な移動が可能になる。テストにおけるロギングの
ＡＰＩにより、プロローグとエピローグもそれぞれの結果ファイルに生成される
。並行して実行されるプロセス、バッテリー電力レベル、及び実行の日時のよう
な情報は、結果ファイルに自動的に記録され、ログウインドウに表示される。プ
ログラムメモリの損失、記憶メモリの損失、又はテスト実行時間の合計のような
、サマリの情報は、ログウインドウタブに提供される。また、任意のテスト結果
のサマリの情報は、収集されて構成ウインドウのサマリタブに表示される。サマ
リタブは、リアルタイムで合格（PASS）と不合格（FAIL）のテストケースの数を
報告する。個々のテストスーツに関する合格と不合格の数の内訳も表示される。
構成ウインドウのサマリタブは、恐らく数千のテスト結果の中において個々の障
害（不合格）までの迅速なナビゲーションを容易にする。正確なソースファイル
、及びロギングされた障害に対応するライン番号は、Ｏ／Ｓ Validatorのロギ
ングＡＰＩにより、自動的に報告される。Ｏ／Ｓ Validatorがその実行ファイ
ルの全てに対してソースコードを提供するので、エラーを報告するソースコード
に直接的に進むことができるということは、障害のテキスト記述に対する強力な
付加物（adjunct）である。
ラー情報を生成する。テストスーツが走らされている間、結果は、複数の動的に
生成されたログウィンドウ、並びに構成のサマリタブに表示される。ロギングウ
インドウは、任意のテスト結果の完全なテキストを含む。障害は、赤色で色分け
され識別を容易化する。ロギングウインドウのナビゲーションボタンにより、１
つの障害から別の障害への迅速な移動が可能になる。テストにおけるロギングの
ＡＰＩにより、プロローグとエピローグもそれぞれの結果ファイルに生成される
。並行して実行されるプロセス、バッテリー電力レベル、及び実行の日時のよう
な情報は、結果ファイルに自動的に記録され、ログウインドウに表示される。プ
ログラムメモリの損失、記憶メモリの損失、又はテスト実行時間の合計のような
、サマリの情報は、ログウインドウタブに提供される。また、任意のテスト結果
のサマリの情報は、収集されて構成ウインドウのサマリタブに表示される。サマ
リタブは、リアルタイムで合格（PASS）と不合格（FAIL）のテストケースの数を
報告する。個々のテストスーツに関する合格と不合格の数の内訳も表示される。
構成ウインドウのサマリタブは、恐らく数千のテスト結果の中において個々の障
害（不合格）までの迅速なナビゲーションを容易にする。正確なソースファイル
、及びロギングされた障害に対応するライン番号は、Ｏ／Ｓ Validatorのロギ
ングＡＰＩにより、自動的に報告される。Ｏ／Ｓ Validatorがその実行ファイ
ルの全てに対してソースコードを提供するので、エラーを報告するソースコード
に直接的に進むことができるということは、障害のテキスト記述に対する強力な
付加物（adjunct）である。
【０００９】 本発明の他の特徴は、「発明の詳細な説明」と題されたセクションにおいて開
示され、又は明らかになる。
示され、又は明らかになる。
【００１０】 本発明をより良く理解するために、添付図面が参照される。
【００１１】 ［発明の詳細な説明］ 図１は、コンピュータ化された製品１０００，（９）を示し、コンピュータワ
ークステーション、セットトップボックス、ゲームシステム、バーコードスキャ
ナ、及びファクトリオートメーションシステムのような典型的なコンピュータ化
された製品には、参照番号１００１ａによって示される組み込み型オペレーティ
ングシステムが現在提供されている。図示のように、及び本明細書で説明される
ように、製品１０００は、組み込み型Windows CE(R)オペレーティングシステム
（Ｏ／Ｓ）のようなオペレーティングシステム１００１ａを備える典型的なター
ゲット装置９を含む。コンピュータ化された製品１０００は、独立型装置として
機能し、その製品１０００には、それ自体のオペレーティングシステム１００１
ａをテストして妥当性を検査するために本発明のＯ／Ｓ Validator１がインス
トールされている。独立型テストは、新たなテスト開発、及びＯ／Ｓ Validato
rの細密な知識として報告された欠陥のデバッキングを容易にし、インフラスト
ラクチャは必用ではない。しかしながら、可能性がより高いアプリケーションに
おいて、図２に示すように、製品１０００は、製造品質保証テスト環境Ｍにおい
て、オペレーティングシステム１００１ａを備えたターゲット装置９をテストす
るための本発明のＯ／Ｓ Validator１をインストールされたホストコンピュー
タ４として機能する。図１に戻って参照すると、コンピュータ化された製品１０
００は、例えば、幾つかのサブコンポーネントからなり、サブコンポーネントは
、コントロールユニット１０２０を含み、あるいは複数の入力／出力ポート１０
２１、キーボード１００９、プリンタ１０１０、マウス１０１１、及びモニタ１
０１２を含む。サブコンポーネント１００９、１０１０、１０１１、１０１２自
体は、テスト可能なターゲット装置となり得る。典型的なコントロールユニット
１０２０自体は、幾つかのサブコンポーネントからなり、サブコンポーネントは
、中央処理ユニット１００１、ハードディスクドライブ１００４のような記憶装
置、ＲＡＭ１００２、ＲＯＭ１００３を含む他のメモリコンポーネント、コンパ
クトディスク１００５、オーディオコンポーネント１００６、ネットワーク／サ
ーバカード１００７、及びモデム１００８を含む。必然的に、有用な装置として
製品１０００を機能させるために、オペレーティングシステム１００１ａはコン
トロールユニットに含められる。
ークステーション、セットトップボックス、ゲームシステム、バーコードスキャ
ナ、及びファクトリオートメーションシステムのような典型的なコンピュータ化
された製品には、参照番号１００１ａによって示される組み込み型オペレーティ
ングシステムが現在提供されている。図示のように、及び本明細書で説明される
ように、製品１０００は、組み込み型Windows CE(R)オペレーティングシステム
（Ｏ／Ｓ）のようなオペレーティングシステム１００１ａを備える典型的なター
ゲット装置９を含む。コンピュータ化された製品１０００は、独立型装置として
機能し、その製品１０００には、それ自体のオペレーティングシステム１００１
ａをテストして妥当性を検査するために本発明のＯ／Ｓ Validator１がインス
トールされている。独立型テストは、新たなテスト開発、及びＯ／Ｓ Validato
rの細密な知識として報告された欠陥のデバッキングを容易にし、インフラスト
ラクチャは必用ではない。しかしながら、可能性がより高いアプリケーションに
おいて、図２に示すように、製品１０００は、製造品質保証テスト環境Ｍにおい
て、オペレーティングシステム１００１ａを備えたターゲット装置９をテストす
るための本発明のＯ／Ｓ Validator１をインストールされたホストコンピュー
タ４として機能する。図１に戻って参照すると、コンピュータ化された製品１０
００は、例えば、幾つかのサブコンポーネントからなり、サブコンポーネントは
、コントロールユニット１０２０を含み、あるいは複数の入力／出力ポート１０
２１、キーボード１００９、プリンタ１０１０、マウス１０１１、及びモニタ１
０１２を含む。サブコンポーネント１００９、１０１０、１０１１、１０１２自
体は、テスト可能なターゲット装置となり得る。典型的なコントロールユニット
１０２０自体は、幾つかのサブコンポーネントからなり、サブコンポーネントは
、中央処理ユニット１００１、ハードディスクドライブ１００４のような記憶装
置、ＲＡＭ１００２、ＲＯＭ１００３を含む他のメモリコンポーネント、コンパ
クトディスク１００５、オーディオコンポーネント１００６、ネットワーク／サ
ーバカード１００７、及びモデム１００８を含む。必然的に、有用な装置として
製品１０００を機能させるために、オペレーティングシステム１００１ａはコン
トロールユニットに含められる。
【００１２】 図３は、グラフィカルユーザインターフェイス（ＧＵＩ）２、エンジン３、複
数のテストスーツ１１、及びロギングライブラリ１２を含む、Ｏ／Ｓ Validato
r１の主要なコンポーネントを示す。ＧＵＩ２とエンジン３は、Ｏ／Ｓ Validat
or１内で参照番号７により示されHarness.dllと呼ばれるコンポーネントを介し
て双方向で内部的に通信し、そのコンポーネントは後により詳細に説明される。
図４は、Ｏ／Ｓ Validator１を備えるホストコンピュータ４を示す。図示のよ
うに、複数のターゲット装置９は、本発明に従ってテストされるためにＯ／Ｓ１
００１ａを備える。Ｏ／Ｓ Validator１は、ターゲット装置９内のＯＳ１００
１ａの制御下で特定のファンクションをテストするために、複数のテスト構成２
１ａ、２１ｂ及び２１ｃのようなテスト構成を生成する能力を有する。CEHarnes
s８と称される装置側コンポーネントは、Ｏ／Ｓ Validator１のエンジン３と通
信する。図５及び図５Ａに示すように、CEHarness８はイーサネット手段４ａを
介してＯ／Ｓ Validator１のエンジン３と通信することもできる。図５Ａは、
通信がイーサネットを介して行われるので複数のホスト４が複数のターゲット装
置９に対抗してテストスーツを実行できることを示す。更に別の代替案において
、テストスーツ実行状況に関して図６に示すように、CEHarness８は、テストス
ーツ実行接続１０２１ａを介してＯ／Ｓ Validator１のエンジン３と通信する
こともでき、この場合ホストコンピュータ４は、ＮＴホストコンピュータからな
ることができ、ロギングライブラリ１２もターゲット装置９に提供され、テスト
結果がソケット接続１０２１ｂを介してホストコンピュータ４に提供される。
数のテストスーツ１１、及びロギングライブラリ１２を含む、Ｏ／Ｓ Validato
r１の主要なコンポーネントを示す。ＧＵＩ２とエンジン３は、Ｏ／Ｓ Validat
or１内で参照番号７により示されHarness.dllと呼ばれるコンポーネントを介し
て双方向で内部的に通信し、そのコンポーネントは後により詳細に説明される。
図４は、Ｏ／Ｓ Validator１を備えるホストコンピュータ４を示す。図示のよ
うに、複数のターゲット装置９は、本発明に従ってテストされるためにＯ／Ｓ１
００１ａを備える。Ｏ／Ｓ Validator１は、ターゲット装置９内のＯＳ１００
１ａの制御下で特定のファンクションをテストするために、複数のテスト構成２
１ａ、２１ｂ及び２１ｃのようなテスト構成を生成する能力を有する。CEHarnes
s８と称される装置側コンポーネントは、Ｏ／Ｓ Validator１のエンジン３と通
信する。図５及び図５Ａに示すように、CEHarness８はイーサネット手段４ａを
介してＯ／Ｓ Validator１のエンジン３と通信することもできる。図５Ａは、
通信がイーサネットを介して行われるので複数のホスト４が複数のターゲット装
置９に対抗してテストスーツを実行できることを示す。更に別の代替案において
、テストスーツ実行状況に関して図６に示すように、CEHarness８は、テストス
ーツ実行接続１０２１ａを介してＯ／Ｓ Validator１のエンジン３と通信する
こともでき、この場合ホストコンピュータ４は、ＮＴホストコンピュータからな
ることができ、ロギングライブラリ１２もターゲット装置９に提供され、テスト
結果がソケット接続１０２１ｂを介してホストコンピュータ４に提供される。
【００１３】 動作中、Ｏ／Ｓ Validator１は、例えばWindows CE(R)オペレーティングシス
テムのような組み込み型オペレーティングシステムを備えたターゲット装置９を
テストして妥当性を検査する。概して言えば、Ｏ／Ｓ Validator１は、次のよ
うに機能する。（１）ターゲット装置に対するWindows CE(R)ポートを検証する
、（２）ストレステスト及び性能テストを行う、（３）結果をロギングし分析す
る、（４）複数のアプリケーションプログラムインターフェイス（ＡＰＩ）を含
む複数の機能領域をテストする（図７、図８Ａ、図８Ｂ、図８Ｃの表１及び表２
を参照）、（５）複数のテストスーツにおいて複数の合格／不合格テストを実行
する、（６）自動化されたテストスーツにおいてテストのカスタマイゼーション
を容易にする、（７）ホスト側のグラフィカルテストハーネスを提供する、（８
）ストレスをかけてメモリ性能を評価する、（９）複数のＡＰＩを含むビルディ
ングテストオートメーションのための手段を提供する（図９の表３を参照）、及
び（１０）CEAnalyzerと称する、結果分析ツールを提供する。前述したように、
また図１０に示すように、Ｏ／Ｓ Validator１は、全てのテストに関して、テ
ストソースコードＳＣと実行可能プログラムＥＰ（テスト実行ファイルとも称す
る）の双方を含む。テスト実行ファイルＥＰの単独実現要求条件は、テストケー
ス「合格」及び「不合格」が２つの特定のＡＰＩ、即ちWRITETESTPASS( )及びWR
ITETESTFAIL( )を用いて報告されることである。これらのマクロは、周知のprin
tf( )ファンクションに類似したシグネチャを有するが、それらの使用は、自動
化要約に適用できる「結果」ファイルに標準テストケース結果フォーマットを生
成し、報告（reporting）をホストユーザインターフェイスと統合する。Ｏ／Ｓ
Validator１の方法は、ＧＵＩ２とテスト実行ファイルＥＰに要約されたテス
トケースとの間の仲介をすること、及びＧＵＩ２がテストの実行を分配し調整す
る手段を提供することを更に含む。テストスーツ１１は、テストを分配し実行す
るために必用なタスクの直接表現である言語コマンドスーツ（例えば、PUT、RUN
、WAIT、DELETE）で構成されたテキストファイル５を含む。他のサポートされる
コマンドスーツは、ターゲット装置９からファイルを検索するためのGET、クラ
イアント／サーバ方式のテストに有用である、ホストコンピュータ４上で実行可
能プログラムＥＰを走らせるためのRUNHOST、クライアント／サーバ方式のテス
トに同様に有用である、ホストコンピュータ４上でプロセスの終了を待つための
WAITHOST、装置のシステムディレクトリ（／Windows (R)）にファイルを入れる
ためのPUTSYSTEM、他の全てが障害を起こす場合の基本タイミングのためのSLEEP
、ホストマシン上でメッセージボックスを表示するためのMSGBOX、装置上でレジ
ストリ設定を追加、又はそれを変更するためのSETREG、及び装置からレジストリ
設定を除去するためのDELREGである。最初のファイルコメントスーツは、内部の
ドキュメンテーションスーツを提供することに加えて、ＧＵＩ２の記述スーツと
して与えられる。Ｏ／Ｓ Validator１の方法は、ホストコンピュータ４のディ
レクトリ構造内の階層配置によってテストスーツファイル５を編成することを含
む。図１１において示されるように、テストスーツ１１は、トップレベルにおい
て自動テストスーツAu、手動テストスーツMa、ストレステストスーツSSの何れか
であるものとして、分割される。自動テストスーツAuは、実行中にユーザの介入
を必用としないテストである。対照的に、手動テストスーツMaは、ユーザの介入
（例えば、キーボード及びタッチパネルセット）を必用とするテストである。Ｏ
／Ｓ Validator１の方法は、入力／出力（Ｉ／Ｏ）の処理能力を限界まで押し
やり、ほとんど又は全くない使用可能なプログラム、又はオブジェクトストアメ
モリでもって動作させ、カスタムファイルシステムをマルチスレッド並行ストレ
スでもって低下させ得ることによるストレステストスーツSSを通して、システム
にストレスをかけることを含む。階層のこのトップレベルより下で、Ｏ／Ｓ Va
lidator１の方法は、図７に概して示されるように、機能領域によってテストス
ーツ１１を構成することを含む。
テムのような組み込み型オペレーティングシステムを備えたターゲット装置９を
テストして妥当性を検査する。概して言えば、Ｏ／Ｓ Validator１は、次のよ
うに機能する。（１）ターゲット装置に対するWindows CE(R)ポートを検証する
、（２）ストレステスト及び性能テストを行う、（３）結果をロギングし分析す
る、（４）複数のアプリケーションプログラムインターフェイス（ＡＰＩ）を含
む複数の機能領域をテストする（図７、図８Ａ、図８Ｂ、図８Ｃの表１及び表２
を参照）、（５）複数のテストスーツにおいて複数の合格／不合格テストを実行
する、（６）自動化されたテストスーツにおいてテストのカスタマイゼーション
を容易にする、（７）ホスト側のグラフィカルテストハーネスを提供する、（８
）ストレスをかけてメモリ性能を評価する、（９）複数のＡＰＩを含むビルディ
ングテストオートメーションのための手段を提供する（図９の表３を参照）、及
び（１０）CEAnalyzerと称する、結果分析ツールを提供する。前述したように、
また図１０に示すように、Ｏ／Ｓ Validator１は、全てのテストに関して、テ
ストソースコードＳＣと実行可能プログラムＥＰ（テスト実行ファイルとも称す
る）の双方を含む。テスト実行ファイルＥＰの単独実現要求条件は、テストケー
ス「合格」及び「不合格」が２つの特定のＡＰＩ、即ちWRITETESTPASS( )及びWR
ITETESTFAIL( )を用いて報告されることである。これらのマクロは、周知のprin
tf( )ファンクションに類似したシグネチャを有するが、それらの使用は、自動
化要約に適用できる「結果」ファイルに標準テストケース結果フォーマットを生
成し、報告（reporting）をホストユーザインターフェイスと統合する。Ｏ／Ｓ
Validator１の方法は、ＧＵＩ２とテスト実行ファイルＥＰに要約されたテス
トケースとの間の仲介をすること、及びＧＵＩ２がテストの実行を分配し調整す
る手段を提供することを更に含む。テストスーツ１１は、テストを分配し実行す
るために必用なタスクの直接表現である言語コマンドスーツ（例えば、PUT、RUN
、WAIT、DELETE）で構成されたテキストファイル５を含む。他のサポートされる
コマンドスーツは、ターゲット装置９からファイルを検索するためのGET、クラ
イアント／サーバ方式のテストに有用である、ホストコンピュータ４上で実行可
能プログラムＥＰを走らせるためのRUNHOST、クライアント／サーバ方式のテス
トに同様に有用である、ホストコンピュータ４上でプロセスの終了を待つための
WAITHOST、装置のシステムディレクトリ（／Windows (R)）にファイルを入れる
ためのPUTSYSTEM、他の全てが障害を起こす場合の基本タイミングのためのSLEEP
、ホストマシン上でメッセージボックスを表示するためのMSGBOX、装置上でレジ
ストリ設定を追加、又はそれを変更するためのSETREG、及び装置からレジストリ
設定を除去するためのDELREGである。最初のファイルコメントスーツは、内部の
ドキュメンテーションスーツを提供することに加えて、ＧＵＩ２の記述スーツと
して与えられる。Ｏ／Ｓ Validator１の方法は、ホストコンピュータ４のディ
レクトリ構造内の階層配置によってテストスーツファイル５を編成することを含
む。図１１において示されるように、テストスーツ１１は、トップレベルにおい
て自動テストスーツAu、手動テストスーツMa、ストレステストスーツSSの何れか
であるものとして、分割される。自動テストスーツAuは、実行中にユーザの介入
を必用としないテストである。対照的に、手動テストスーツMaは、ユーザの介入
（例えば、キーボード及びタッチパネルセット）を必用とするテストである。Ｏ
／Ｓ Validator１の方法は、入力／出力（Ｉ／Ｏ）の処理能力を限界まで押し
やり、ほとんど又は全くない使用可能なプログラム、又はオブジェクトストアメ
モリでもって動作させ、カスタムファイルシステムをマルチスレッド並行ストレ
スでもって低下させ得ることによるストレステストスーツSSを通して、システム
にストレスをかけることを含む。階層のこのトップレベルより下で、Ｏ／Ｓ Va
lidator１の方法は、図７に概して示されるように、機能領域によってテストス
ーツ１１を構成することを含む。
【００１４】 上述したように、図３は、グラフィカルユーザインターフェース（ＧＵＩ）２
、エンジン３、複数のテストスーツ１１及びロギングライブラリ１２を含む、Ｏ
／Ｓ Validator１の主要コンポーネントを示す。ビジュアルベーシック（ＶＢ
）コンポーネントはいかなるレベルのユーザに対しても良好に動作するので、Ｏ
／Ｓ Validator１はＧＵＩ２をビジュアルベーシックコンポーネントとして使
用する。ＧＵＩ２の設計は、ユーザ入力を、基礎をなすコンポーネントとインタ
ーフェースする概念に基づいている。エンジン３は、ホスト４上で機能性の中心
（core）を保持する。エンジン３は複数のスーツファイル５を読み出し、それら
をオペランド解析（パーズ）し、コマンドを実行する。エンジン３は、ＧＵＩ２
から情報を取得し、種々の実行オプションをセットアップするために情報を用い
る。エンジン３は、Ｃ／Ｃ＋＋言語で書かれている。エンジン３は、HarnessLin
k.dll７と呼ばれるコンポーネントを介してＧＵＩ２とリンクされ、そのコンポ
ーネントはActiveX制御である。HarnessLink.dll７は、インスタンス化され、実
行を開始する前にエンジン３に渡される種々の情報によってＧＵＩ２から呼び出
される。DLLリンク７は、実行中にエンジン３とＧＵＩ２との間で通信するよう
に機能し、情報を中継し、エラーメッセージを中継し、幾つかの動的ランタイム
コマンドを中継する。ターゲット装置９は、CEHarness８と呼ばれる装置側（ホ
スト側に対向するような）コンポーネントを含む。図４に示すように、CEHarnes
sは、ターゲット装置９に存在するＣ／Ｃ＋＋プログラムであり、ネットワーク
上にターゲット情報が同報通信されるまでほぼ独占的にエンジン３と通信し、Ｇ
ＵＩ２と通信してかかる情報を受信しそれをエンジン３に渡す（図５と図５Ａ参
照）。CEHarness８はイベント駆動型アプリケーションであり、この場合、エン
ジン３がイベントを送信し、CEHarness８が応答する。テストスーツ１１は、ロ
ギングライブラリ１２の一部である複数のアプリケーションプログラムインター
フェース（ＡＰＩ）１３を用いて書かれているので、２つの残りのコンポーネン
ト、即ちテストスーツ１１とロギングライブラリ１２は関わり合っている（図８
Ａ、図８Ｂ、図８Ｃを参照）。これらのＡＰＩ１３は、実質的な機能性を有し、
コンポーネントチェーンを介して渡される情報に多少依存する。ロギングライブ
ラリ１２は、簡単な機能概念を有し、ロギングＴＣＰ／ＩＰ情報１６をＧＵＩ２
に戻すことにより（図５参照）、又はテスト結果１４とログファイル１５を直接
的に装置９に書き込むことにより（図６参照）、ログファイル１５を生成するこ
とによってテスト結果１４を伝達する。図１２に示すように、ロギングウインド
ウＬＷは、テストファイル１５のテスト結果１４、障害Ｆ、及びサマリタブSumT
を示し、それらは、プログラムメモリに対するユーザアクセス、合格、不合格、
及びタイミング情報を容易にする。複数のテストスーツ１１は、Ｏ／Ｓ Valida
tor１の必須のコンポーネントを含む。図１３は、テストサイクル時間ＣＴが、
並行してテストされるテスト装置の数にしたがって減少することをグラフの形で
示す。
、エンジン３、複数のテストスーツ１１及びロギングライブラリ１２を含む、Ｏ
／Ｓ Validator１の主要コンポーネントを示す。ビジュアルベーシック（ＶＢ
）コンポーネントはいかなるレベルのユーザに対しても良好に動作するので、Ｏ
／Ｓ Validator１はＧＵＩ２をビジュアルベーシックコンポーネントとして使
用する。ＧＵＩ２の設計は、ユーザ入力を、基礎をなすコンポーネントとインタ
ーフェースする概念に基づいている。エンジン３は、ホスト４上で機能性の中心
（core）を保持する。エンジン３は複数のスーツファイル５を読み出し、それら
をオペランド解析（パーズ）し、コマンドを実行する。エンジン３は、ＧＵＩ２
から情報を取得し、種々の実行オプションをセットアップするために情報を用い
る。エンジン３は、Ｃ／Ｃ＋＋言語で書かれている。エンジン３は、HarnessLin
k.dll７と呼ばれるコンポーネントを介してＧＵＩ２とリンクされ、そのコンポ
ーネントはActiveX制御である。HarnessLink.dll７は、インスタンス化され、実
行を開始する前にエンジン３に渡される種々の情報によってＧＵＩ２から呼び出
される。DLLリンク７は、実行中にエンジン３とＧＵＩ２との間で通信するよう
に機能し、情報を中継し、エラーメッセージを中継し、幾つかの動的ランタイム
コマンドを中継する。ターゲット装置９は、CEHarness８と呼ばれる装置側（ホ
スト側に対向するような）コンポーネントを含む。図４に示すように、CEHarnes
sは、ターゲット装置９に存在するＣ／Ｃ＋＋プログラムであり、ネットワーク
上にターゲット情報が同報通信されるまでほぼ独占的にエンジン３と通信し、Ｇ
ＵＩ２と通信してかかる情報を受信しそれをエンジン３に渡す（図５と図５Ａ参
照）。CEHarness８はイベント駆動型アプリケーションであり、この場合、エン
ジン３がイベントを送信し、CEHarness８が応答する。テストスーツ１１は、ロ
ギングライブラリ１２の一部である複数のアプリケーションプログラムインター
フェース（ＡＰＩ）１３を用いて書かれているので、２つの残りのコンポーネン
ト、即ちテストスーツ１１とロギングライブラリ１２は関わり合っている（図８
Ａ、図８Ｂ、図８Ｃを参照）。これらのＡＰＩ１３は、実質的な機能性を有し、
コンポーネントチェーンを介して渡される情報に多少依存する。ロギングライブ
ラリ１２は、簡単な機能概念を有し、ロギングＴＣＰ／ＩＰ情報１６をＧＵＩ２
に戻すことにより（図５参照）、又はテスト結果１４とログファイル１５を直接
的に装置９に書き込むことにより（図６参照）、ログファイル１５を生成するこ
とによってテスト結果１４を伝達する。図１２に示すように、ロギングウインド
ウＬＷは、テストファイル１５のテスト結果１４、障害Ｆ、及びサマリタブSumT
を示し、それらは、プログラムメモリに対するユーザアクセス、合格、不合格、
及びタイミング情報を容易にする。複数のテストスーツ１１は、Ｏ／Ｓ Valida
tor１の必須のコンポーネントを含む。図１３は、テストサイクル時間ＣＴが、
並行してテストされるテスト装置の数にしたがって減少することをグラフの形で
示す。
【００１５】 さらなる詳細において、ＧＵＩ２は、その階層のコンポーネントの処理に必用
な機能性のその程度のせいで、複雑なコードである。ＧＵＩ２は「ウイザード」
を提供し、その主要な機能は新たなユーザを、種々の選択可能な設定、及びデフ
ォルト設定の一覧表示を通して案内することである。図１４に示されるように、
ターゲット装置９上で選択されたテストスーツ１１の一組を介した単一パスを含
むテストランを実行するための手段として、ＧＵＩ２も構成ウインドウＣＷを提
供する。図４に示すように、複数の構成２１ａ、２１ｂ、２１ｃは、種々のシナ
リオをシミュレートするために走らされ得る。構成ウインドウＣＷの内容は、ユ
ーザ制御の複数のタブを含む。例えば、スーツタブＳは、Ｏ／Ｓ Validatorの
ディレクトリの下でスーツファイルディレクトリのトリー（木）ビューを提供す
る。このトリービューは編成され、テスト１１のタイプとユーザ選択の有意義な
区別を提供する。更に、このトリービューは、ユーザが構成ウインドウＣＷを開
く際に生成され、ユーザが、Ｏ／Ｓ Validator１のインストレーションプログ
ラムによって生成されたスーツファイルディレクトリに新たなユーザ入力のスー
ツを追加することによってＯ／Ｓ Validator１を拡張できる。テストスーツ１
１は、エンジン３が読み出してスクリプトのコマンドに対応する動作を行う、コ
マンドからなるスクリプトである。スーツファイル５は、概して一連のコメント
から始められる。これらのコメントは、ファイルのスーツファイル情報セクショ
ンに現れる。ワード「Manual（手動）」がスーツファイル５のストップ（stop）
に出現する場合、ファイルは手動実行を要求していると考えられ、従って異なる
アイコンを割り当てられる。テストスーツセクションにおいて、図１１に示すよ
うに、ユーザはテストスーツファイル５をどんな方法においても再順序付けする
ことができる。更に、図１４を参照すると、ロギングタブは、かなり価値のある
情報を含む。ユーザはロギングの３つの方法、即ちホスト４に対するロギング用
のＬＨ、ターゲット装置９に対するロギング用のＬＴＤ、又はホスト４とターゲ
ット装置９の双方に対するロギング用のＬＨＤを選択することができる。次に、
ログ情報は、編集ボックス内に一覧表示された構成できるディレクトリに格納さ
れる。この情報の全てが、ＤＬＬ７を介してエンジン３に送られ、その後ターゲ
ット装置９のCEHarness８に送られる。その結果として、情報は、テスト１１を
実行する際にロギングライブラリ１２によって取得される。構成ウインドウＣＷ
の他のタブは、ストレス状態設定タブＳＣを含み、スレッドタブＴを選択するこ
とによってテストスーツ実行中に高い優先順位のスレッドを選択し、タブＰＭと
ＳＭを選択することによりプログラムメモリと記憶メモリを低減し、タブSRTを
選択することにより、ランタイムを選択し、及びタブSTOPを選択することにより
実行を停止する。ユーザは、システムにおけるメモリリークを見つけるために無
限ループタブIloopを使用することができる。プログラムメモリの損失、記憶メ
モリの損失、又はテスト実行時間の合計のような、有用なサマリ情報は、サマリ
タブSumTで提供される。また、任意のテスト結果に対するサマリ情報は、収集さ
れ、サマリタブSumTに表示される。サマリタブは、リアルタイムで合格及び不合
格のテストケースの数を報告する。個々のテストスーツに関して合格及び不合格
の数の内訳も表示される。構成ウインドウのサマリタブは、恐らく数千のテスト
結果の中において個々の障害に対する迅速なナビゲーションを容易にする。正確
なソースファイル、及びロギングされた障害に対応するライン番号は、Ｏ／Ｓ
ValidatorのロギングＡＰＩにより、自動的に報告される。Ｏ／Ｓ Validatorが
その実行ファイルの全てに関してソースコードを提供するので、エラーを報告す
るソースコードに直接的に進むことができるということは、障害のテキスト記述
に対する強力な付加物である。
な機能性のその程度のせいで、複雑なコードである。ＧＵＩ２は「ウイザード」
を提供し、その主要な機能は新たなユーザを、種々の選択可能な設定、及びデフ
ォルト設定の一覧表示を通して案内することである。図１４に示されるように、
ターゲット装置９上で選択されたテストスーツ１１の一組を介した単一パスを含
むテストランを実行するための手段として、ＧＵＩ２も構成ウインドウＣＷを提
供する。図４に示すように、複数の構成２１ａ、２１ｂ、２１ｃは、種々のシナ
リオをシミュレートするために走らされ得る。構成ウインドウＣＷの内容は、ユ
ーザ制御の複数のタブを含む。例えば、スーツタブＳは、Ｏ／Ｓ Validatorの
ディレクトリの下でスーツファイルディレクトリのトリー（木）ビューを提供す
る。このトリービューは編成され、テスト１１のタイプとユーザ選択の有意義な
区別を提供する。更に、このトリービューは、ユーザが構成ウインドウＣＷを開
く際に生成され、ユーザが、Ｏ／Ｓ Validator１のインストレーションプログ
ラムによって生成されたスーツファイルディレクトリに新たなユーザ入力のスー
ツを追加することによってＯ／Ｓ Validator１を拡張できる。テストスーツ１
１は、エンジン３が読み出してスクリプトのコマンドに対応する動作を行う、コ
マンドからなるスクリプトである。スーツファイル５は、概して一連のコメント
から始められる。これらのコメントは、ファイルのスーツファイル情報セクショ
ンに現れる。ワード「Manual（手動）」がスーツファイル５のストップ（stop）
に出現する場合、ファイルは手動実行を要求していると考えられ、従って異なる
アイコンを割り当てられる。テストスーツセクションにおいて、図１１に示すよ
うに、ユーザはテストスーツファイル５をどんな方法においても再順序付けする
ことができる。更に、図１４を参照すると、ロギングタブは、かなり価値のある
情報を含む。ユーザはロギングの３つの方法、即ちホスト４に対するロギング用
のＬＨ、ターゲット装置９に対するロギング用のＬＴＤ、又はホスト４とターゲ
ット装置９の双方に対するロギング用のＬＨＤを選択することができる。次に、
ログ情報は、編集ボックス内に一覧表示された構成できるディレクトリに格納さ
れる。この情報の全てが、ＤＬＬ７を介してエンジン３に送られ、その後ターゲ
ット装置９のCEHarness８に送られる。その結果として、情報は、テスト１１を
実行する際にロギングライブラリ１２によって取得される。構成ウインドウＣＷ
の他のタブは、ストレス状態設定タブＳＣを含み、スレッドタブＴを選択するこ
とによってテストスーツ実行中に高い優先順位のスレッドを選択し、タブＰＭと
ＳＭを選択することによりプログラムメモリと記憶メモリを低減し、タブSRTを
選択することにより、ランタイムを選択し、及びタブSTOPを選択することにより
実行を停止する。ユーザは、システムにおけるメモリリークを見つけるために無
限ループタブIloopを使用することができる。プログラムメモリの損失、記憶メ
モリの損失、又はテスト実行時間の合計のような、有用なサマリ情報は、サマリ
タブSumTで提供される。また、任意のテスト結果に対するサマリ情報は、収集さ
れ、サマリタブSumTに表示される。サマリタブは、リアルタイムで合格及び不合
格のテストケースの数を報告する。個々のテストスーツに関して合格及び不合格
の数の内訳も表示される。構成ウインドウのサマリタブは、恐らく数千のテスト
結果の中において個々の障害に対する迅速なナビゲーションを容易にする。正確
なソースファイル、及びロギングされた障害に対応するライン番号は、Ｏ／Ｓ
ValidatorのロギングＡＰＩにより、自動的に報告される。Ｏ／Ｓ Validatorが
その実行ファイルの全てに関してソースコードを提供するので、エラーを報告す
るソースコードに直接的に進むことができるということは、障害のテキスト記述
に対する強力な付加物である。
【００１６】 ロギングオプションは、それらの実現と効果において劇的に変化する。最初の
オプションは、ユーザがテストスーツ１１を実行するときはいつでも、「合格」
、一組のログファイル１５、これらのテスト結果１４の要約、自動式の発行をも
たらすということを推定する。選択されたロギング方法に依存して、サマリファ
イル１５がCEHarness８又はエンジン３により生成される。基本的には、エンジ
ン３はロギングディレクトリ内の全ログファイル１６をトラバースし、そのため
ユーザが、実行中のテスト１１に対応しないログファイルリストを受け取る可能
性がある。サマリファイル１５が実行テスト１１をより多く示すようにするため
に、ユーザは実行前にログディレクトリを削除することができ、又はユーザは、
「Return only the newest summary results（最も新しいサマリ結果のみに戻る
）」を選択するためにロギングオプションを選択することができ、それによって
エンジン３は各テスト１１に関する１つのログファイル１５のみをトラバースす
る。このことは、ユーザがファイルシステムテストを任意の日に３０回実行する
場合に、最も新しい実行に対応するそのテストのサマリログに１つのエントリだ
けが存在することになることを意味する。サマリログは各テスト１１の１つのエ
ントリのみを有し、各テスト１１のログファイル１５はロギングされたディレク
トリに依然として存在する。他の２つのオプションは、ＧＵＩ２で処理される。
ユーザがＴＣＰ／ＩＰ接続４ａを介してホスト４にログオンする場合、エントリ
は、ＧＵＩ２内のログウインドウに出現している間にユーザのホスト４上に生成
されたログファイル１５に入る。これにより、ユーザがＯ／Ｓ Validator１の
文脈内でログファイル１５を調べることができ、ユーザが、合格、及び更に重要
なことには障害を即座に監視することができる故に、おおきな利点である。しか
しながら、ある状況において、実行されるテスト１１のサイズに起因して、過剰
な量のログファイル１５が存在する可能性があり、従って、ログウインドウＬＷ
を更に開けることなしに、それを閉じることによって、ホスト４のメモリを維持
し、またＯ／Ｓ Validator１のために空いたビュー領域を与える。障害なしに
全てのログファイル１５を閉じることも、好都合である。障害は、ターゲット装
置９が更なる開発を必用とすることを製品設計スタッフに示す。ユーザが、障害
に関する全てのログウインドウＦを開いたままにすることを望む場合、ロギング
ウインドウのオプションをクリックすることにより、Ｆウインドウを開いたまま
にすることができる。
オプションは、ユーザがテストスーツ１１を実行するときはいつでも、「合格」
、一組のログファイル１５、これらのテスト結果１４の要約、自動式の発行をも
たらすということを推定する。選択されたロギング方法に依存して、サマリファ
イル１５がCEHarness８又はエンジン３により生成される。基本的には、エンジ
ン３はロギングディレクトリ内の全ログファイル１６をトラバースし、そのため
ユーザが、実行中のテスト１１に対応しないログファイルリストを受け取る可能
性がある。サマリファイル１５が実行テスト１１をより多く示すようにするため
に、ユーザは実行前にログディレクトリを削除することができ、又はユーザは、
「Return only the newest summary results（最も新しいサマリ結果のみに戻る
）」を選択するためにロギングオプションを選択することができ、それによって
エンジン３は各テスト１１に関する１つのログファイル１５のみをトラバースす
る。このことは、ユーザがファイルシステムテストを任意の日に３０回実行する
場合に、最も新しい実行に対応するそのテストのサマリログに１つのエントリだ
けが存在することになることを意味する。サマリログは各テスト１１の１つのエ
ントリのみを有し、各テスト１１のログファイル１５はロギングされたディレク
トリに依然として存在する。他の２つのオプションは、ＧＵＩ２で処理される。
ユーザがＴＣＰ／ＩＰ接続４ａを介してホスト４にログオンする場合、エントリ
は、ＧＵＩ２内のログウインドウに出現している間にユーザのホスト４上に生成
されたログファイル１５に入る。これにより、ユーザがＯ／Ｓ Validator１の
文脈内でログファイル１５を調べることができ、ユーザが、合格、及び更に重要
なことには障害を即座に監視することができる故に、おおきな利点である。しか
しながら、ある状況において、実行されるテスト１１のサイズに起因して、過剰
な量のログファイル１５が存在する可能性があり、従って、ログウインドウＬＷ
を更に開けることなしに、それを閉じることによって、ホスト４のメモリを維持
し、またＯ／Ｓ Validator１のために空いたビュー領域を与える。障害なしに
全てのログファイル１５を閉じることも、好都合である。障害は、ターゲット装
置９が更なる開発を必用とすることを製品設計スタッフに示す。ユーザが、障害
に関する全てのログウインドウＦを開いたままにすることを望む場合、ロギング
ウインドウのオプションをクリックすることにより、Ｆウインドウを開いたまま
にすることができる。
【００１７】 図５ａに示すように本発明が動作している際、Available Targets（利用可能
ターゲット）と称するウインドウが、情報をＧＵＩ２に同報通信しているネット
ワーク上のアクティブな装置を示す。アクティブな装置は大量の情報を送り、そ
れらの一部がAvailable Targetsウインドウに表示される。ユーザは、View／Ava
ilable Targetsメニューを選択することにより情報を見ることができる。別のウ
インドウによって、同報通信された情報の完全なセットを得るためにアクセスさ
れなければならない。この同報通信の情報は価値のあるものであり、その理由は
、それを用いてエンジン３からテストターゲット装置９の特定のCEHarness８ま
での接続を初期設定するからである。
ターゲット）と称するウインドウが、情報をＧＵＩ２に同報通信しているネット
ワーク上のアクティブな装置を示す。アクティブな装置は大量の情報を送り、そ
れらの一部がAvailable Targetsウインドウに表示される。ユーザは、View／Ava
ilable Targetsメニューを選択することにより情報を見ることができる。別のウ
インドウによって、同報通信された情報の完全なセットを得るためにアクセスさ
れなければならない。この同報通信の情報は価値のあるものであり、その理由は
、それを用いてエンジン３からテストターゲット装置９の特定のCEHarness８ま
での接続を初期設定するからである。
【００１８】 図１１を参照すると、ストレステスト設定SSがここで更に説明される。ストレ
ススーツ１１は種々の形態で現れる。しかしながら、それらの基本的な目的は、
非常に長いテストを実行することにより、短いテストの複数の反復を実行するこ
とにより、又は１つのテストにおける広い範囲のパラメータを選択することによ
り、ターゲット装置９にストレスをかけることである。これら自体のテスト１１
領域に限定されたこれらの残り、例えばDatabase Stress Suites（データベース
ストレススーツ）は、Windows CE(R)のようなＯ／Ｓのデータベースの機能性に
のみストレスをかける。Stress Test Options（ストレステストのオプション）
は、ストレススーツ１１から区別できる。Stress Test Optionsは、機能性をタ
ーゲットにしていて現実の取扱いモデルに相当するより広帯域（broadband）の
ストレスシナリオを提供するので、Stress Test Optionsは異なる。これらのシ
ナリオは、ユーザの選択した任意のテストスーツファイル５のセットと共に走る
。Stress Test Optionsは、協働的に及び独立的に実行され得て、及びされるべ
きであり、そのような実行中、任意のテストプランの範囲に対してかなりの増加
がもたらされる。最初の２つのStress Test Optionsは、ターゲット装置９上の
メモリに関連する。第１のStress Test Optionは、選択されたテスト１１を実行
する前に、ターゲット装置の仮想メモリの量を大いに低減させるLow Virtual Me
mory Option（低仮想メモリオプション）である。これは、ユーザが１５個のア
プリケーションを開いたときに発生して動作不良を生じる可能性がある現実的な
苛酷な環境をシミュレートする。第２のStress Test Optionは、Low Storage Me
mory Option（低記憶メモリオプション）である。選択された場合、この第２のS
tress Test Optionは、ターゲット装置９の記憶メモリをその最大容量まで満た
し、ターゲット装置９に少ない記憶メモリの解決の対応を経験させる。場合によ
っては、この第２のStress Test Optionは、ターゲット装置９内に収容されたテ
ストアプリケーションプログラムに好都合であり、その理由は、テストアプリケ
ーションプログラムが、存在しない記憶メモリに依存できるからである。次の３
つのStress Test Optionsは実行のオプションである。第１の実行可能なストレ
ステストオプションは、長いテストサイクルに好適な無限ループである。多くの
デバイスドライバにおける共通の問題は、長く、強力なストレスの多い状況下で
動作不良になることである。この無限ループストレステストは、起こりうる故障
を判定するためのテストを提供する。この無限ループテストは、ユーザが手動で
ストップ（Stop）ボタンを打つまで、選択されたテストスーツ１１を実行する。
次のストレス実行オプションは、Data.txtと呼ばれ、Ｏ／Ｓ Validator＼Tests
＼TestInputFilesとして識別されるテキストファイルとして利用可能な構成可能
ＣＰＵサイクル剥奪テストである。２つの例は、ユーザがコピー、再利用、又は
修正できるファイルに与えられる。テキストファイル、Data.txtは、スレッドの
数、及びユーザが自分のテストランに含めるそれらの属性を制御する。言い換え
れば、ユーザは、他のプロセスがＣＰＵ時間を消費しながらタイミングを含む多
くの問題を除去している間に、自分のテストを実行できる。最後のStress Test
Optionは、Random Execution（ランダム実行）である。ユーザがこのオプション
を選択する場合、ＧＵＩ２は、テストスーツ１１が異なる順序で実行されるよう
にランタイムにおけるテストスーツ１１のリストを再順序付けする。このオプシ
ョンは、種々のコンポーネントとの対話問題の診断を容易にするので、理想的で
ある。
ススーツ１１は種々の形態で現れる。しかしながら、それらの基本的な目的は、
非常に長いテストを実行することにより、短いテストの複数の反復を実行するこ
とにより、又は１つのテストにおける広い範囲のパラメータを選択することによ
り、ターゲット装置９にストレスをかけることである。これら自体のテスト１１
領域に限定されたこれらの残り、例えばDatabase Stress Suites（データベース
ストレススーツ）は、Windows CE(R)のようなＯ／Ｓのデータベースの機能性に
のみストレスをかける。Stress Test Options（ストレステストのオプション）
は、ストレススーツ１１から区別できる。Stress Test Optionsは、機能性をタ
ーゲットにしていて現実の取扱いモデルに相当するより広帯域（broadband）の
ストレスシナリオを提供するので、Stress Test Optionsは異なる。これらのシ
ナリオは、ユーザの選択した任意のテストスーツファイル５のセットと共に走る
。Stress Test Optionsは、協働的に及び独立的に実行され得て、及びされるべ
きであり、そのような実行中、任意のテストプランの範囲に対してかなりの増加
がもたらされる。最初の２つのStress Test Optionsは、ターゲット装置９上の
メモリに関連する。第１のStress Test Optionは、選択されたテスト１１を実行
する前に、ターゲット装置の仮想メモリの量を大いに低減させるLow Virtual Me
mory Option（低仮想メモリオプション）である。これは、ユーザが１５個のア
プリケーションを開いたときに発生して動作不良を生じる可能性がある現実的な
苛酷な環境をシミュレートする。第２のStress Test Optionは、Low Storage Me
mory Option（低記憶メモリオプション）である。選択された場合、この第２のS
tress Test Optionは、ターゲット装置９の記憶メモリをその最大容量まで満た
し、ターゲット装置９に少ない記憶メモリの解決の対応を経験させる。場合によ
っては、この第２のStress Test Optionは、ターゲット装置９内に収容されたテ
ストアプリケーションプログラムに好都合であり、その理由は、テストアプリケ
ーションプログラムが、存在しない記憶メモリに依存できるからである。次の３
つのStress Test Optionsは実行のオプションである。第１の実行可能なストレ
ステストオプションは、長いテストサイクルに好適な無限ループである。多くの
デバイスドライバにおける共通の問題は、長く、強力なストレスの多い状況下で
動作不良になることである。この無限ループストレステストは、起こりうる故障
を判定するためのテストを提供する。この無限ループテストは、ユーザが手動で
ストップ（Stop）ボタンを打つまで、選択されたテストスーツ１１を実行する。
次のストレス実行オプションは、Data.txtと呼ばれ、Ｏ／Ｓ Validator＼Tests
＼TestInputFilesとして識別されるテキストファイルとして利用可能な構成可能
ＣＰＵサイクル剥奪テストである。２つの例は、ユーザがコピー、再利用、又は
修正できるファイルに与えられる。テキストファイル、Data.txtは、スレッドの
数、及びユーザが自分のテストランに含めるそれらの属性を制御する。言い換え
れば、ユーザは、他のプロセスがＣＰＵ時間を消費しながらタイミングを含む多
くの問題を除去している間に、自分のテストを実行できる。最後のStress Test
Optionは、Random Execution（ランダム実行）である。ユーザがこのオプション
を選択する場合、ＧＵＩ２は、テストスーツ１１が異なる順序で実行されるよう
にランタイムにおけるテストスーツ１１のリストを再順序付けする。このオプシ
ョンは、種々のコンポーネントとの対話問題の診断を容易にするので、理想的で
ある。
【００１９】 残りのTest Run Options（テストランオプション）は、ユーザが制御できる一
般的なアクティビティである。第１のオプション、「Use Selected Target Excl
usively（選択されたターゲットを排他的に使用）」は、重要であり、その理由
は、ターゲット装置９がイーサネットを介して接続される場合、サブネットの他
のユーザが、Ｏ／Ｓ Validator１の利用可能なターゲット装置ウインドウを通
して、そのターゲット装置９にアクセスできるからである。これは、ターゲット
装置９上でストレスを生成することに役立つ。万一ユーザが問題を切り離すこと
を望む場合には、追加のストレスは適用されない。その状況において、ユーザは
、ターゲット装置９に対する排他的なアクセスを有するであろう。最後のTest R
un Optionは、Set Target Time（ターゲット時間の設定）であり、それはエンジ
ン３にホストコンピュータ４からターゲット装置９へ時間を送ることを促し、そ
れによってターゲット装置９のシステム時間をホストコンピュータ４の時間に同
期させる。ログファイルがターゲット装置９の日時に関連した日時のスタンプと
共に戻るので、同期は好都合である。これらの正確性を保つために、ユーザはタ
ーゲット装置９に日時を設定しなければならない。テストを実行する前の最後の
タブは、種々の選択可能な環境変数に関する価値ある情報を含むEnvironment Se
ttings（環境設定） タブである。これらの環境設定は、テストスーツファイル
にハードカード化（hard carded） 情報の代わりに環境変数を含ませることによ
りテストスーツファイル５を拡張し、要約するように設計される。例えば、Seri
al Tests（シリアルテスト）はパラメータとして利用可能な共通ポート（com-po
rt）を取り込む。共通ポートが環境変数として入力されない場合、テストは失敗
する。なぜなら共通ポートを開くことができないからである。テストスーツに用
いられる全環境変数が与えられる。しかしながら、任意の追加の環境変数はユー
ザの入力スーツにユーザ追加され得る。テスト実行後、Test Status（テストス
テータス）は、現在のテストランに関するステータス情報を得るために利用可能
である。情報は、動的に更新されている。
般的なアクティビティである。第１のオプション、「Use Selected Target Excl
usively（選択されたターゲットを排他的に使用）」は、重要であり、その理由
は、ターゲット装置９がイーサネットを介して接続される場合、サブネットの他
のユーザが、Ｏ／Ｓ Validator１の利用可能なターゲット装置ウインドウを通
して、そのターゲット装置９にアクセスできるからである。これは、ターゲット
装置９上でストレスを生成することに役立つ。万一ユーザが問題を切り離すこと
を望む場合には、追加のストレスは適用されない。その状況において、ユーザは
、ターゲット装置９に対する排他的なアクセスを有するであろう。最後のTest R
un Optionは、Set Target Time（ターゲット時間の設定）であり、それはエンジ
ン３にホストコンピュータ４からターゲット装置９へ時間を送ることを促し、そ
れによってターゲット装置９のシステム時間をホストコンピュータ４の時間に同
期させる。ログファイルがターゲット装置９の日時に関連した日時のスタンプと
共に戻るので、同期は好都合である。これらの正確性を保つために、ユーザはタ
ーゲット装置９に日時を設定しなければならない。テストを実行する前の最後の
タブは、種々の選択可能な環境変数に関する価値ある情報を含むEnvironment Se
ttings（環境設定） タブである。これらの環境設定は、テストスーツファイル
にハードカード化（hard carded） 情報の代わりに環境変数を含ませることによ
りテストスーツファイル５を拡張し、要約するように設計される。例えば、Seri
al Tests（シリアルテスト）はパラメータとして利用可能な共通ポート（com-po
rt）を取り込む。共通ポートが環境変数として入力されない場合、テストは失敗
する。なぜなら共通ポートを開くことができないからである。テストスーツに用
いられる全環境変数が与えられる。しかしながら、任意の追加の環境変数はユー
ザの入力スーツにユーザ追加され得る。テスト実行後、Test Status（テストス
テータス）は、現在のテストランに関するステータス情報を得るために利用可能
である。情報は、動的に更新されている。
【００２０】 Suites Run（テストスーツ実行）セクションウインドウは、開始した選択テス
トスーツを一覧表示する。ユーザは、所望のテストアイコンを選択することによ
りこのウインドウから任意のログファイルを開くことができる。この制御におけ
る他のアイコンは、障害情報を提供する。例えば、障害アイコンは、様式化され
たビーカーのような形に赤色の「Ｘ」を付けて示される。Test Run Summary Inf
ormation（テスト実行サマリ情報）は、実行されるテストスーツファイルの数、
選択されるテストスーツ、障害を有するテストスーツ、障害を有するテストスー
ツのパーセンテージの記録を残す。テストランの完了時に、ユーザは、Configur
e Failed Suites（障害を起こしたテストスーツの構成）タブを選択して、新た
な構成ウインドウの出現を促して現在のテストランにおいて障害を起こしたテス
トスーツの全てを選択し、テストに復帰することを容易にする。
トスーツを一覧表示する。ユーザは、所望のテストアイコンを選択することによ
りこのウインドウから任意のログファイルを開くことができる。この制御におけ
る他のアイコンは、障害情報を提供する。例えば、障害アイコンは、様式化され
たビーカーのような形に赤色の「Ｘ」を付けて示される。Test Run Summary Inf
ormation（テスト実行サマリ情報）は、実行されるテストスーツファイルの数、
選択されるテストスーツ、障害を有するテストスーツ、障害を有するテストスー
ツのパーセンテージの記録を残す。テストランの完了時に、ユーザは、Configur
e Failed Suites（障害を起こしたテストスーツの構成）タブを選択して、新た
な構成ウインドウの出現を促して現在のテストランにおいて障害を起こしたテス
トスーツの全てを選択し、テストに復帰することを容易にする。
【００２１】 残りの２つのセクションは、Test Details（テストの詳細）と呼ばれる。これ
らのTest Detailsセクションの１つは、合格、並びに不合格である個々のテスト
ケースを監視し、そのセクションは、テストランの価値を評価するために有用で
ある。残りのTest Detailsセクションは、Failed Suites（障害を起こしたテス
トスーツ）セクションであり、この場合、障害となった全ての選択されたテスト
スーツがスーツ名によって一覧表示され、合格及び不合格のテストケースに対応
する数が示される。この情報の全てによって、ユーザにはテストラン中に自分の
ターゲット装置９の限界（即ち、合格すること、及びより重要には不合格である
こと）の非常に良い知識が与えられる。
らのTest Detailsセクションの１つは、合格、並びに不合格である個々のテスト
ケースを監視し、そのセクションは、テストランの価値を評価するために有用で
ある。残りのTest Detailsセクションは、Failed Suites（障害を起こしたテス
トスーツ）セクションであり、この場合、障害となった全ての選択されたテスト
スーツがスーツ名によって一覧表示され、合格及び不合格のテストケースに対応
する数が示される。この情報の全てによって、ユーザにはテストラン中に自分の
ターゲット装置９の限界（即ち、合格すること、及びより重要には不合格である
こと）の非常に良い知識が与えられる。
【００２２】 本発明の主な目的は、Windows CE(R)のようなＯ／Ｓ１００１ａのポートを適
切にテストすることである。このタスクを達成するために、何百という数のテス
トスーツ１１が必用とされ、Ｏ／Ｓ Validator１によって提供される。例えば
、検証されるＯ／Ｓサブシステムによってグループ化されたような、ほぼ１５０
０個のテストスーツ１１が提供される。図１０に示すように、Ｏ／Ｓ Validato
r１は、ソースコードと全テスト１１に対する実行可能なコードの双方を含み、
歴史的に最も多い問題を呈しているサブシステムに特別に重点をおいて、主要な
Ｏ／Ｓ１００１ａサブシステムと共通適合ドライバを取り扱う。Ｏ／Ｓ Valida
tor１によってテストされるＯＳサブシステムコンポーネントには、イーサネッ
ト／NDIS、シリアルポートドライバ、ディスプレイドライバ、タッチパネルドラ
イバ、マウスドライバ、キーボードドライバ、ＯＥＭ適応階層、及びＰＣカード
アダプタドライバが含まれる。図１５Ａ、図１５Ｂ、図１５Ｃは、これらのシス
テムコンポーネントに関するテストの詳細の一覧表を示す。
切にテストすることである。このタスクを達成するために、何百という数のテス
トスーツ１１が必用とされ、Ｏ／Ｓ Validator１によって提供される。例えば
、検証されるＯ／Ｓサブシステムによってグループ化されたような、ほぼ１５０
０個のテストスーツ１１が提供される。図１０に示すように、Ｏ／Ｓ Validato
r１は、ソースコードと全テスト１１に対する実行可能なコードの双方を含み、
歴史的に最も多い問題を呈しているサブシステムに特別に重点をおいて、主要な
Ｏ／Ｓ１００１ａサブシステムと共通適合ドライバを取り扱う。Ｏ／Ｓ Valida
tor１によってテストされるＯＳサブシステムコンポーネントには、イーサネッ
ト／NDIS、シリアルポートドライバ、ディスプレイドライバ、タッチパネルドラ
イバ、マウスドライバ、キーボードドライバ、ＯＥＭ適応階層、及びＰＣカード
アダプタドライバが含まれる。図１５Ａ、図１５Ｂ、図１５Ｃは、これらのシス
テムコンポーネントに関するテストの詳細の一覧表を示す。
【００２３】 上述し、図３に示すように、エンジン３は、HarnessLink.dll７と呼ばれてAct
iveX制御である、コンポーネントを介してＧＵＩ２にリンクされる。とりわけ、
HarnessLink.dll７は、エンジン３を呼び出す（即ち、影響を及ぼす）ためにＧ
ＵＩ２に一組のファンクションを提供する。HarnessLink.dll７の大部分は、関
数呼び出しを行い、エンジン３のコマンドラインに幾つかのパラメータをセット
アップする。最初の情報の全てがこのコマンドラインを介してエンジン３に渡さ
れ、所定の実行に対してエンジン３の準備を確実なものにする。複数のＧＵＩに
関連したファンクションがコマンドライン上に情報を提供する。コマンドライン
上の情報は、ＧＵＩ２の情報に相当する。他の主要なファンクションは、Harnes
sLink.dll７が、命名されたパイプを開くことによってエンジン３の動作中にア
クティビティを伝えるために機能することである。あるメモリ情報を伝達するた
めにエラー又は必要性が生じる場合、エンジン３は命名されたパイプを介して通
信する。命名されたパイプは、エンジン３と特定のハーネスリンクとの間の通信
が、たとえ複数のエンジン３が動作中であってもいかなる重複の問題もなく、直
接的で正確であることを保証する。HarnessLink.dll７がパイプからメッセージ
を受け取ると、それは適切なＶＢイベントに信号で知らせ、次いでＧＵＩ２に情
報を取得させ、適宜にそれを処理する。図５に関連して説明したように、エンジ
ン３は１つのHarnessLink.dll７と通信し、次いで１つのCEHarness８と通信する
。エンジン３の実行は簡単であり、即ちコマンドラインが受信されて処理され、
ターゲット装置に対する実行ソケット接続を確立し、ＧＵＩ２と通信するための
パイプを開き、テストスーツファイル５を読み出し、及びその結果として３つの
段階、PreExecution、Execution、PostExecutionでテストを実行する。PreExecu
tion段階は、ターゲット装置９とホスト４との間でエラーソケット接続を確立す
る。ロギング経路とスタイル、種々のテストラン情報、及びストレスのシナリオ
のような関連データは、PreExecution段階中に送られる。Execution段階は、各
逐次のスーツコマンドに対する応答を含む。スーツコマンドは概してホスト４に
より送られ、CEHarness８によって処理され、次いでCEHarness８は、コマンドの
実行が完了した場合にソケットメッセージでもって応答する。PostExecution段
階は、ログ情報を低減すること、及びサマリログを生成することを主として含む
。これらのサマリログの完了時、エンジン３は終了する。テストターゲット装置
９のCEHarness８は、エンジン３に比べて大幅に複雑なコンポーネントである。
この複雑性は、各装置９が任意の時間でCEHarness８の１つのインスタンス有す
るからである。しかしながら、その装置が複数の同時の接続に対処でき、Ｏ／Ｓ
Validator１によって提供されるテスト方法に対する非常に重要な特徴となる
。ユーザがCEHarness８を起動する場合、それは全体の実行時間を通して持続す
る２つのスレッド、即ち同報通信スレッドと実行スレッドを生成する。この同報
通信スレッドは、デバイスＩＰ、接続タイプ、及び１０秒毎に入手可能な共通ポ
ートのような情報を更新し、同じ速度で同報通信メッセージをネットワークに送
る。装置９がWindows CE(R)サービス（即ち、ＮＴ側で）を介してホストコンピ
ュータ４に接続され、及びリムネット（remnet）又はrepllogのどちらかに（即
ち、装置側で）接続される場合には、接続タイプは、PPP PEERに変更される。
これが発生する場合、同報通信メッセージは、ターゲット装置９が直接的に接続
されるホスト４にだけ送られる。ユーザが実行中にある点で接続を変更する場合
、メッセージが更新される。一方では、実行スレッドは、エンジン３からの接続
の試みを待つ。実行スレッドが接続を受け取る場合、それは、必用な種々のファ
ンクションを実行する別のスレッド、主要な実行スレッドを生成する。主要な実
行スレッドは、エラー情報又はメモリ情報を送るために別のソケットを起動する
。このように、実行スレッドは、イベント駆動型であり、コマンドを受け取り、
適切に応答する。各接続の試みは、それ自体の実行スレッドを生成し、従って、
単一のCEHarness８は、多くのアクティブな接続を有し、１つのターゲット装置
９上で同時に複数の構成を実行することによってテストの機能性を拡張し、それ
によってより現実的なストレス状況を生成する。
iveX制御である、コンポーネントを介してＧＵＩ２にリンクされる。とりわけ、
HarnessLink.dll７は、エンジン３を呼び出す（即ち、影響を及ぼす）ためにＧ
ＵＩ２に一組のファンクションを提供する。HarnessLink.dll７の大部分は、関
数呼び出しを行い、エンジン３のコマンドラインに幾つかのパラメータをセット
アップする。最初の情報の全てがこのコマンドラインを介してエンジン３に渡さ
れ、所定の実行に対してエンジン３の準備を確実なものにする。複数のＧＵＩに
関連したファンクションがコマンドライン上に情報を提供する。コマンドライン
上の情報は、ＧＵＩ２の情報に相当する。他の主要なファンクションは、Harnes
sLink.dll７が、命名されたパイプを開くことによってエンジン３の動作中にア
クティビティを伝えるために機能することである。あるメモリ情報を伝達するた
めにエラー又は必要性が生じる場合、エンジン３は命名されたパイプを介して通
信する。命名されたパイプは、エンジン３と特定のハーネスリンクとの間の通信
が、たとえ複数のエンジン３が動作中であってもいかなる重複の問題もなく、直
接的で正確であることを保証する。HarnessLink.dll７がパイプからメッセージ
を受け取ると、それは適切なＶＢイベントに信号で知らせ、次いでＧＵＩ２に情
報を取得させ、適宜にそれを処理する。図５に関連して説明したように、エンジ
ン３は１つのHarnessLink.dll７と通信し、次いで１つのCEHarness８と通信する
。エンジン３の実行は簡単であり、即ちコマンドラインが受信されて処理され、
ターゲット装置に対する実行ソケット接続を確立し、ＧＵＩ２と通信するための
パイプを開き、テストスーツファイル５を読み出し、及びその結果として３つの
段階、PreExecution、Execution、PostExecutionでテストを実行する。PreExecu
tion段階は、ターゲット装置９とホスト４との間でエラーソケット接続を確立す
る。ロギング経路とスタイル、種々のテストラン情報、及びストレスのシナリオ
のような関連データは、PreExecution段階中に送られる。Execution段階は、各
逐次のスーツコマンドに対する応答を含む。スーツコマンドは概してホスト４に
より送られ、CEHarness８によって処理され、次いでCEHarness８は、コマンドの
実行が完了した場合にソケットメッセージでもって応答する。PostExecution段
階は、ログ情報を低減すること、及びサマリログを生成することを主として含む
。これらのサマリログの完了時、エンジン３は終了する。テストターゲット装置
９のCEHarness８は、エンジン３に比べて大幅に複雑なコンポーネントである。
この複雑性は、各装置９が任意の時間でCEHarness８の１つのインスタンス有す
るからである。しかしながら、その装置が複数の同時の接続に対処でき、Ｏ／Ｓ
Validator１によって提供されるテスト方法に対する非常に重要な特徴となる
。ユーザがCEHarness８を起動する場合、それは全体の実行時間を通して持続す
る２つのスレッド、即ち同報通信スレッドと実行スレッドを生成する。この同報
通信スレッドは、デバイスＩＰ、接続タイプ、及び１０秒毎に入手可能な共通ポ
ートのような情報を更新し、同じ速度で同報通信メッセージをネットワークに送
る。装置９がWindows CE(R)サービス（即ち、ＮＴ側で）を介してホストコンピ
ュータ４に接続され、及びリムネット（remnet）又はrepllogのどちらかに（即
ち、装置側で）接続される場合には、接続タイプは、PPP PEERに変更される。
これが発生する場合、同報通信メッセージは、ターゲット装置９が直接的に接続
されるホスト４にだけ送られる。ユーザが実行中にある点で接続を変更する場合
、メッセージが更新される。一方では、実行スレッドは、エンジン３からの接続
の試みを待つ。実行スレッドが接続を受け取る場合、それは、必用な種々のファ
ンクションを実行する別のスレッド、主要な実行スレッドを生成する。主要な実
行スレッドは、エラー情報又はメモリ情報を送るために別のソケットを起動する
。このように、実行スレッドは、イベント駆動型であり、コマンドを受け取り、
適切に応答する。各接続の試みは、それ自体の実行スレッドを生成し、従って、
単一のCEHarness８は、多くのアクティブな接続を有し、１つのターゲット装置
９上で同時に複数の構成を実行することによってテストの機能性を拡張し、それ
によってより現実的なストレス状況を生成する。
【００２４】 図３に示されるロギングライブラリ１２は、種々の態様でＯ／Ｓ Validator
１へ組み込まれた複合ツールである。主として、ロギングライブラリ１２は、テ
スト用のソースファイルへ組み込まれる。テストは、ライブラリのＡＰＩに対し
て呼び出しを行い、その結果として、ライブラリはテスト結果の捕捉と記録に関
する全ての詳細に対処する。ロギングライブラリ１２は、種々の通信オプション
もサポートする。推奨されるオプションは、ＴＣＰを介しており、ユーザは、ロ
グファイルがＴＣＰ接続から移動するにつれてそれらの表示を見ることができる
。別の接続オプションは、装置上のファイルに直接的にロギングすることである
。これは好都合になることができ、例えば、ユーザがPCMCIAカードにロギングし
たい場合、ネットワークを介して同報通信されるべき追加の情報は必用ではない
。ロギングライブラリ１２は、ＴＣＰ通信に対する装置側コンポーネントとして
働くが、ホスト４は通信に対するＧＵＩ２側のコンポーネントとして働く。ロギ
ングライブラリ１２のこの態様は、ホスト４にログウインドウを提供し、テスト
結果を色分けする。例えば、障害メッセージは、赤いラインとして表示される。
メッセージが生成された、ソースコードファイルの名称と位置、並びにライン番
号は、ロギングライブラリ１２のメッセージに含められる。また、より重要な点
は、詳細なエラーメッセージが、プログラムの記述されている現在のイベントに
提供されることである。各ログウインドウは、プログラムメモリ、合格、不合格
、及びタイミング情報に対するユーザアクセスを容易にするサマリタブを有する
。ログファイルの別の重要な特徴は、それらがテストの開始時、及び終了時にお
いて、大量の情報を取り込むことである。この情報は、メモリ、システム、電力
、及び他の価値のある情報のスナップショットを提供する。
１へ組み込まれた複合ツールである。主として、ロギングライブラリ１２は、テ
スト用のソースファイルへ組み込まれる。テストは、ライブラリのＡＰＩに対し
て呼び出しを行い、その結果として、ライブラリはテスト結果の捕捉と記録に関
する全ての詳細に対処する。ロギングライブラリ１２は、種々の通信オプション
もサポートする。推奨されるオプションは、ＴＣＰを介しており、ユーザは、ロ
グファイルがＴＣＰ接続から移動するにつれてそれらの表示を見ることができる
。別の接続オプションは、装置上のファイルに直接的にロギングすることである
。これは好都合になることができ、例えば、ユーザがPCMCIAカードにロギングし
たい場合、ネットワークを介して同報通信されるべき追加の情報は必用ではない
。ロギングライブラリ１２は、ＴＣＰ通信に対する装置側コンポーネントとして
働くが、ホスト４は通信に対するＧＵＩ２側のコンポーネントとして働く。ロギ
ングライブラリ１２のこの態様は、ホスト４にログウインドウを提供し、テスト
結果を色分けする。例えば、障害メッセージは、赤いラインとして表示される。
メッセージが生成された、ソースコードファイルの名称と位置、並びにライン番
号は、ロギングライブラリ１２のメッセージに含められる。また、より重要な点
は、詳細なエラーメッセージが、プログラムの記述されている現在のイベントに
提供されることである。各ログウインドウは、プログラムメモリ、合格、不合格
、及びタイミング情報に対するユーザアクセスを容易にするサマリタブを有する
。ログファイルの別の重要な特徴は、それらがテストの開始時、及び終了時にお
いて、大量の情報を取り込むことである。この情報は、メモリ、システム、電力
、及び他の価値のある情報のスナップショットを提供する。
【００２５】 本発明は、ある好適な実施形態及びその特徴に関して、特に図示され説明され
てきた。しかしながら、特許請求の範囲に記載されたような本発明の思想、及び
範囲から逸脱することなく、形態、材料、及び設計の詳細に様々な変更及び修正
を加えることができることは、当業者にとって容易に明らかであろう。
てきた。しかしながら、特許請求の範囲に記載されたような本発明の思想、及び
範囲から逸脱することなく、形態、材料、及び設計の詳細に様々な変更及び修正
を加えることができることは、当業者にとって容易に明らかであろう。
【図１】 コントロールユニットにおいて、組み込み型オペレーティングシステムを備え
た現在のコンピュータ化された製品を表す略図である。
た現在のコンピュータ化された製品を表す略図である。
【図２】 本発明に従って、組み込み型オペレーティングシステムを備えたコンピュータ
化された製品に対する品質保証テストを示す、製造フローチャートである。
化された製品に対する品質保証テストを示す、製造フローチャートである。
【図３】 グラフィカルユーザインターフェース、エンジン、複数のテストスーツ、及び
ロギングライブラリを含む、本発明のオペレーティングシステム検証器の主要な
コンポーネントを示す、ブロック図である。
ロギングライブラリを含む、本発明のオペレーティングシステム検証器の主要な
コンポーネントを示す、ブロック図である。
【図４】 本発明に従って、組み込み型オペレーティングシステムを備えた複数のターゲ
ット装置をテストするために、ホスト装置から複数のテストスーツ構成を実行す
る本発明を示す、ブロック図である。
ット装置をテストするために、ホスト装置から複数のテストスーツ構成を実行す
る本発明を示す、ブロック図である。
【図５】 ターゲット装置によって、ホストにおけるＯ／Ｓ Validator１とイーサネッ
ト手段を介した通信を示すことを除いて、図４に示されたものと本質的に同じ本
発明を示す、ブロック図である。
ト手段を介した通信を示すことを除いて、図４に示されたものと本質的に同じ本
発明を示す、ブロック図である。
【図５Ａ】 複数のホストとターゲット装置間の通信がイーサネットを介して行われ得る構
成を示す図である。
成を示す図である。
【図６】 テストスーツ実行状況のさらに別の構成を示す図である。
【図７】 自動式及び手動式のテストスーツ実行において、テストされた特定のＡＰＩの
機能領域の一覧表である。
機能領域の一覧表である。
【図８Ａ】 自動モード又は手動モードにおいてテストされ得る機能領域とＡＰＩの包括的
な一覧表である。
な一覧表である。
【図８Ｂ】 自動モード又は手動モードにおいてテストされ得る機能領域とＡＰＩの包括的
な一覧表である。
な一覧表である。
【図８Ｃ】 自動モード又は手動モードにおいてテストされ得る機能領域とＡＰＩの包括的
な一覧表である。
な一覧表である。
【図９】 ビルディング自動化スクリプトにおいて使用するための選択されたＡＰＩの一
覧表である。
覧表である。
【図１０】 全ての実行可能なプログラムにソースコードを提供する本発明の概念を表す略
図である。
図である。
【図１１】 テストスーツの選択オプション、並びに他の関連したサマリファンクションを
示すウインドウのブロック図である。
示すウインドウのブロック図である。
【図１２】 テスト結果、テスト障害、及び関連したテストサマリオプションに関するタブ
を示すロギングウインドウのブロック図である。
を示すロギングウインドウのブロック図である。
【図１３】 テストサイクル時間対並行してテストされるテスト装置の数の関係をグラフの
形で表す図である。
形で表す図である。
【図１４】 種々の構成の関連したファンクションを実行するためのタブを示す構成ウイン
ドウのブロック図である。
ドウのブロック図である。
【図１５Ａ】 本発明に従って、オペレーティングシステムのコンポーネントに関するテスト
の詳細に関する一覧表である。
の詳細に関する一覧表である。
【図１５Ｂ】 本発明に従って、オペレーティングシステムのコンポーネントに関するテスト
の詳細に関する一覧表である。
の詳細に関する一覧表である。
【図１５Ｃ】 本発明に従って、オペレーティングシステムのコンポーネントに関するテスト
の詳細に関する一覧表である。
の詳細に関する一覧表である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ， ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，Ｃ Ｒ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ，ＦＩ ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ， ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，Ｋ Ｚ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ， ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，Ｓ Ｋ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者 ウォルターズ，ジェイムス，フロイド アメリカ合衆国ワシントン州98101，シア トル，セネカ・ストリート・ナンバー 404・1101 (72)発明者 ディッカラ，ヤナルダナ，ラオ アメリカ合衆国ワシントン州98005，ベレ ビュー，ナンバーシー208，ワンハンドレ ッドサーティフォース・アベニュー・サウ ス・イースト・1590 (72)発明者 サンプル，イアン アメリカ合衆国ワシントン州98105，シア トル，ナンバー101，ユニバーシティ・ウ ェイ・ノース・イースト・5256 Ｆターム(参考） 5B042 GA21 HH11 【要約の続き】 別な診断は、歴史的に最も多い問題を示してきたオヘ゜レーティンク゛サフ゛システム に重点を置く。
Claims (20)
- 【請求項１】 ターゲット装置内に組み込まれたオペレーティングシステムをテストして妥当
性を検査するためのコンピュータベースのシステムであって、 ａ ホストコンピュータと、 ｂ オペレーティングシステムを備えるターゲット装置と、 ｃ オペレーティングシステムのテスト及び妥当性検査のソフトウェアプログラ
ムであって、前記ソフトウェアプログラムが前記ホストコンピュータに与えられ
、前記ソフトウェアプログラムが、ユーザとインターフェースするためのグラフ
ィカルユーザインターフェースプログラム手段と、前記ターゲット装置と通信し
、前記グラフィカルユーザインターフェースからのコマンドに応答するためのエ
ンジン手段と、前記オペレーティングシステムの少なくとも１つのコンポーネン
トをテストして妥当性を検査するための少なくとも１つのテストを含む複数のテ
ストスーツとを含む、オペレーティングシステムのテスト及び妥当性検査のソフ
トウェアプログラムと、及び ｄ 前記オペレーティングシステムのテスト及び妥当性検査のソフトウェアプロ
グラムによって生成されるにしたがってテストの関連情報を処理して格納するた
めのロギングライブラリ手段とからなる、コンピュータベースのシステム。 - 【請求項２】 前記オペレーティングシステムのテスト及び妥当性検査のソフトウェアプログ
ラムが、前記エンジン手段を呼び出すために前記グラフィカルユーザインターフ
ェース上の一組のファンクションを更に含む、請求項１のコンピュータベースの
システム。 - 【請求項３】 前記ターゲット装置が前記エンジン手段と通信するためのイベント駆動型アプ
リケーションを更に含み、前記エンジン手段がイベントを送り、前記イベント駆
動型アプリケーションが応答する、請求項１のコンピュータベースのシステム。 - 【請求項４】 前記ターゲット装置の前記オペレーティングシステムが、Windows CE(R)オペ
レーティングシステムからなる、請求項１のコンピュータベースのシステム。 - 【請求項５】 前記テストスーツが少なくとも１つのシステムストレステストルーチンと、少
なくとも１つの特徴及び機能のテストとを含む、請求項１のコンピュータベース
のシステム。 - 【請求項６】 前記システムストレステストルーチンが、前記オペレーティングシステムの前
記少なくとも１つのコンポーネントをストレステストするためのコードベースを
含み、前記オペレーティングシステムの前記少なくとも１つのコンポーネントが
、イーサネット（登録商標）／NDIS、PCMIA、メモリ、ファイルシステム、シリ アルポート、複数のアプリケーションプログラムインターフェイスを有するビデ オシステム、赤外線システム、OEM適応階層、タッチパネル、マウス、キーボー ド、及び音声／波形システムを含むオペレーティングシステムのコンポーネント のグループから選択され、前記テストが、少なくとも３つの欠陥、即ち、ハード ウェアの設計、ハードウェアのプログラミング、及びオペレーティングシステム のインタラクションを識別し、自動モード又は手動モードで実行される、請求項 ５のコンピュータベースのシステム。 - 【請求項７】 前記ターゲット装置が、前記ホストコンピュータと無関係に妥当性検査及びス
トレステストを行うために、前記オペレーティングシステムのテスト及び妥当性
検査のソフトウェアプログラムに設けられた独立型ユニットを含む、請求項１の
コンピュータベースのシステム。 - 【請求項８】 前記ホストコンピュータに、及びテストと妥当性検査タスクを行うための前記
ターゲット装置に結合されたイーサネット接続を更に含む、請求項１のコンピュ
ータベースのシステム。 - 【請求項９】 前記ロギングライブラリ手段が、WRITETESTPASSアプリケーションプログラム
インターフェイスを用いる少なくとも１つの合格テスト結果ファイルを含む、請
求項１のコンピュータベースのシステム。 - 【請求項１０】 前記少なくとも１つの合格テスト結果ファイルが、前記ターゲット装置に存在
する、請求項９のコンピュータベースのシステム。 - 【請求項１１】 前記ロギングライブラリ手段が、WRITETESTFAILアプリケーションプログラム
インターフェイスを用いる少なくとも１つの不合格テスト結果ファイルを含む、
請求項１のコンピュータベースのシステム。 - 【請求項１２】 前記少なくとも１つの不合格テスト結果ファイルが、前記ターゲット装置に存
在する、請求項１１のコンピュータベースのシステム。 - 【請求項１３】 ターゲット装置内に組み込まれたオペレーティングシステムをテストして妥当
性を検査するためのコンピュータベースの方法であって、 （ａ）ホストコンピュータを準備するステップと、 （ｂ）オペレーティングシステムを有するターゲット装置を準備するステップと
、 （ｃ）オペレーティングシステムのテスト及び妥当性検査のソフトウェアプログ
ラムを準備するステップであって、前記ソフトウェアプログラムが前記ホストコ
ンピュータに与えられ、前記ソフトウェアプログラムが、ユーザとインターフェ
ースするためのグラフィカルユーザインターフェースプログラム手段と、前記タ
ーゲット装置と通信し、前記グラフィカルユーザインターフェースプログラム手
段からのコマンドに応答するためのエンジン手段と、前記オペレーティングシス
テムの少なくとも１つのコンポーネントをテストして妥当性を検査するための少
なくとも１つのテストを含む複数のテストスーツとを含む、オペレーティングシ
ステムのテスト及び妥当性検査のソフトウェアプログラムを準備するステップと
、 （ｄ）前記オペレーティングシステムのテスト及び妥当性検査のソフトウェアプ
ログラムによって生成されるにしたがってテストの関連情報を処理して格納する
ためのロギングライブラリ手段を準備するステップと、 （ｅ）前記ターゲット装置上で前記オペレーティングシステムのテスト及び妥当
性検査のソフトウェアプログラムを実行し、前記オペレーティングシステムをテ
ストして妥当性を検査するステップと、及び （ｆ）合格及び不合格のテスト結果を生成するステップとからなる、ターゲット
装置内に組み込まれたオペレーティングシステムをテストして妥当性を検査する
ためのコンピュータベースの方法。 - 【請求項１４】 前記オペレーティングシステムのテスト及び妥当性検査のソフトウェアプログ
ラムに、前記エンジン手段を呼び出すために前記グラフィカルユーザインターフ
ェース上の一組のファンクションを与えるステップを更に含む、請求項１３のタ
ーゲット装置内に組み込まれたオペレーティングシステムをテストして妥当性を
検査するためのコンピュータベースの方法。 - 【請求項１５】 前記ターゲット装置に前記エンジン手段と通信するためのイベント駆動型アプ
リケーションを与えるステップを更に含み、前記エンジン手段がイベントを送り
、前記イベント駆動型アプリケーションが応答する、請求項１３のターゲット装
置内に組み込まれたオペレーティングシステムをテストして妥当性を検査するた
めのコンピュータベースの方法。 - 【請求項１６】 前記ターゲット装置にWindows CE(R)オペレーティングシステムを与えるステ
ップを更に含む、請求項１３のターゲット装置内に組み込まれたオペレーティン
グシステムをテストして妥当性を検査するためのコンピュータベースの方法。 - 【請求項１７】 前記オペレーティングシステムの前記少なくとも１つのコンポーネントをスト
レステストするためのコードベースを含むシステムストレステストルーチンの形
でテストスーツを提供するステップであって、前記オペレーティングシステムの
前記少なくとも１つのコンポーネントが、イーサネット／NDIS、PCMIA、メモリ
、ファイルシステム、シリアルポート、複数のアプリケーションプログラムイン
ターフェイスを有するビデオシステム、赤外線システム、OEM適応階層、タッチ
パネル、マウス、キーボード、及び音声／波形システムを含むオペレーティング
システムのコンポーネントのグループから選択され、前記テストが、少なくとも
３つの欠陥、即ち、ハードウェアの設計、ハードウェアのプログラミング、及び
オペレーティングシステムのインタラクションを識別し、自動モード又は手動モ
ードで実行される、ステップを更に含む、請求項１３のターゲット装置内に組み
込まれたオペレーティングシステムをテストして妥当性を検査するためのコンピ
ュータベースの方法。 - 【請求項１８】 前記ホストコンピュータに、及び前記ターゲット装置上でテストと妥当性検査
タスクを行うために前記ターゲット装置に結合されたイーサネット接続を設ける
ステップを更に含む、請求項１３のターゲット装置内に組み込まれたオペレーテ
ィングシステムをテストして妥当性を検査するためのコンピュータベースの方法
。 - 【請求項１９】 前記ロギングライブラリ手段に、WRITETESTPASSアプリケーションプログラム
インターフェイスを用いて少なくとも１つの合格テスト結果ファイルを提供する
ステップを更に含む、請求項１３のターゲット装置内に組み込まれたオペレーテ
ィングシステムをテストして妥当性を検査するためのコンピュータベースの方法
。 - 【請求項２０】 前記ロギングライブラリ手段に、WRITETESTFAILアプリケーションプログラム
インターフェイスを用いて少なくとも１つの不合格テスト結果ファイルを提供す
るステップを更に含む、請求項１３のターゲット装置内に組み込まれたオペレー
ティングシステムをテストして妥当性を検査するためのコンピュータベースの方
法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11682499P | 1999-01-21 | 1999-01-21 | |
| US60/116,824 | 1999-01-21 | ||
| US13762999P | 1999-06-04 | 1999-06-04 | |
| US60/137,629 | 1999-06-04 | ||
| PCT/US2000/001583 WO2000043880A1 (en) | 1999-01-21 | 2000-01-21 | A system and method for testing and validating devices having an embedded operating system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002535773A true JP2002535773A (ja) | 2002-10-22 |
Family
ID=26814666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000595240A Pending JP2002535773A (ja) | 1999-01-21 | 2000-01-21 | 組み込み型のオペーレティングシステムを有する装置をテストして妥当性を検査するためのシステム及び方法 |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP1236108A1 (ja) |
| JP (1) | JP2002535773A (ja) |
| KR (1) | KR20010112250A (ja) |
| CN (1) | CN1359492A (ja) |
| AU (1) | AU3212300A (ja) |
| BR (1) | BR0009008A (ja) |
| WO (1) | WO2000043880A1 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100367238C (zh) * | 2001-08-22 | 2008-02-06 | 深圳市索普卡软件开发有限公司 | 一种x86系列兼容机及其操作***的生成方法 |
| CN100456043C (zh) * | 2003-02-14 | 2009-01-28 | 爱德万测试株式会社 | 检测集成电路的方法和装置 |
| CN1316358C (zh) * | 2004-03-05 | 2007-05-16 | 英业达股份有限公司 | 信息平台测试环境自动化建置方法及*** |
| CN100403701C (zh) * | 2004-08-09 | 2008-07-16 | 华为技术有限公司 | 目标设备业务实现的测试方法及*** |
| CN100375058C (zh) * | 2004-12-24 | 2008-03-12 | 北京中星微电子有限公司 | 一种嵌入式产品软件调试方法 |
| CN100440162C (zh) * | 2005-04-08 | 2008-12-03 | 环达电脑(上海)有限公司 | 嵌入式设备的调试方法 |
| CN100356738C (zh) * | 2005-07-29 | 2007-12-19 | 杭州华三通信技术有限公司 | 自动化测试框架***及方法 |
| FI118578B (fi) * | 2006-01-23 | 2007-12-31 | Mika Pollari | Testauslaite ja menetelmä laitteen testaamiseksi |
| CN101452415B (zh) * | 2007-11-30 | 2011-05-04 | 鸿富锦精密工业（深圳）有限公司 | 嵌入式***测试的辅助装置及方法 |
| EP2342643A4 (en) | 2008-09-25 | 2013-05-15 | Lsi Corp | METHOD AND / OR APPARATUS FOR CERTIFYING AN OUTBOX ADMINISTRATION APPLICATION IN AN EXTERNAL STORE ARRAY |
| US9003370B2 (en) | 2010-03-04 | 2015-04-07 | Nec Corporation | Application modification portion searching device and application modification portion searching method |
| US10318477B2 (en) * | 2010-05-26 | 2019-06-11 | Red Hat, Inc. | Managing and archiving system and application log files |
| CN102339248A (zh) * | 2010-07-20 | 2012-02-01 | 上海闻泰电子科技有限公司 | 一种嵌入式终端的在线调试***及方法 |
| CN102916848B (zh) * | 2012-07-13 | 2014-12-10 | 北京航空航天大学 | 一种基于脚本技术的以太网接口设备的自动测试方法 |
| CN105445644A (zh) * | 2015-11-18 | 2016-03-30 | 南昌欧菲生物识别技术有限公司 | 多类型芯片测试板、测试***及测试机台 |
| CN106201765B (zh) * | 2016-07-21 | 2019-03-15 | 中国人民解放军国防科学技术大学 | 基于μC/OS-II操作***的任务堆栈区数据校验恢复方法 |
| US10997045B2 (en) | 2016-10-20 | 2021-05-04 | Y Soft Corporation, A.S. | Universal automated testing of embedded systems |
| CN109960590B (zh) * | 2019-03-26 | 2021-05-18 | 北京简约纳电子有限公司 | 一种优化嵌入式***诊断打印的方法 |
| CN110221974A (zh) * | 2019-05-22 | 2019-09-10 | 深圳壹账通智能科技有限公司 | 服务平台***自检方法、装置、计算机设备以及存储介质 |
| CN112306888B (zh) * | 2020-11-13 | 2022-05-10 | 武汉天喻信息产业股份有限公司 | 一种基于设备库文件接口的测试***和方法 |
| CN113590475B (zh) * | 2021-07-13 | 2024-05-31 | 北京快乐茄信息技术有限公司 | 一种在线开发平台的联调测试方法以及联调测试装置 |
| CN116743990B (zh) * | 2023-08-16 | 2023-10-27 | 北京智芯微电子科技有限公司 | 嵌入式设备的视频流测试方法和视频流测试处理方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0636976B1 (en) * | 1993-07-28 | 1998-12-30 | Koninklijke Philips Electronics N.V. | Microcontroller provided with hardware for supporting debugging as based on boundary scan standard-type extensions |
| US5724505A (en) * | 1996-05-15 | 1998-03-03 | Lucent Technologies Inc. | Apparatus and method for real-time program monitoring via a serial interface |
-
2000
- 2000-01-21 BR BR0009008-5A patent/BR0009008A/pt not_active Application Discontinuation
- 2000-01-21 AU AU32123/00A patent/AU3212300A/en not_active Abandoned
- 2000-01-21 KR KR1020017009191A patent/KR20010112250A/ko not_active Application Discontinuation
- 2000-01-21 EP EP00909951A patent/EP1236108A1/en not_active Withdrawn
- 2000-01-21 CN CN 00802922 patent/CN1359492A/zh active Pending
- 2000-01-21 JP JP2000595240A patent/JP2002535773A/ja active Pending
- 2000-01-21 WO PCT/US2000/001583 patent/WO2000043880A1/en not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| CN1359492A (zh) | 2002-07-17 |
| AU3212300A (en) | 2000-08-07 |
| KR20010112250A (ko) | 2001-12-20 |
| BR0009008A (pt) | 2002-02-13 |
| EP1236108A1 (en) | 2002-09-04 |
| WO2000043880A1 (en) | 2000-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002535773A (ja) | 組み込み型のオペーレティングシステムを有する装置をテストして妥当性を検査するためのシステム及び方法 | |
| US6182246B1 (en) | Protocol acknowledgment between homogeneous system | |
| US8074204B2 (en) | Test automation for business applications | |
| US7134049B2 (en) | System and method for sequencing and performing very high speed software downloads concurrent with system testing in an automated production environment | |
| US8434058B1 (en) | Integrated system and method for validating the functionality and performance of software applications | |
| US5991537A (en) | VXI test executive | |
| US7770151B2 (en) | Automatic generation of solution deployment descriptors | |
| EP1504347B1 (en) | Automated software testing system and method | |
| CN104007957B (zh) | 在编辑期间显示实时数据的改进图形用户界面编辑器 | |
| US6868508B2 (en) | System and method enabling hierarchical execution of a test executive subsequence | |
| Paiva et al. | A model-to-implementation mapping tool for automated model-based GUI testing | |
| US8356282B1 (en) | Integrated development environment for the development of electronic signal testing strategies | |
| US20030074423A1 (en) | Testing web services as components | |
| US7143310B2 (en) | Generating standalone MIDlets from a testing harness | |
| US20030070120A1 (en) | Method and system for managing software testing | |
| US20030140138A1 (en) | Remotely driven system for multi-product and multi-platform testing | |
| WO2008045117A1 (en) | Methods and apparatus to analyze computer software | |
| CN102144221B (zh) | 用于自动化测试的紧凑架构 | |
| US7831962B2 (en) | Testing subsystems on platforms for software applications | |
| JP2003501743A (ja) | 同種のシステム間におけるプロトコル応答 | |
| US20060143533A1 (en) | Apparatus and system for testing of software | |
| JP2002157144A (ja) | ソフトウェア自動試験方式 | |
| US20080066005A1 (en) | Systems and Methods of Interfacing with Enterprise Resource Planning Systems | |
| CA3207684A1 (en) | System for internal audit and internal control management and related methods | |
| America et al. | ARCAD Verifier |