JP2006514345A - 試験処理を拡張する方法および装置 - Google Patents

Abstract

本発明に係る、試験処理を拡張するための方法および装置は、試験データを分析することと、試験処理を拡張するための推奨を生成することとを含む。一般的に、例示した試験システムは、試験処理によって生成された試験データを分析するための分析システムと、分析に基づいて、試験処理に対して拡張を推奨するための推奨システムとを備える。例示したシステムは、未処理の試験データに基づいて、特徴値を生成するように構成される（３１８）。本方法および装置は、フィルタリングされた試験データを分析して（３２２）、データの選択された型を除去してもよい。さらに、この分析により、様々な試験を特徴値に従って分類し、そして、未処理の試験データおよびフィルタリングされた試験データの少なくとも１つに基づいて、少なくとも様々な試験間の相関を識別してもよい（３１６）。推奨システム（３２４）は、試験の分類に従って、拡張を適宜推奨する。

Description

関連出願の相互参照
本出願は、２００２年６月２８日出願の米国特許仮出願第６０／３９２，１９６の利益を主張するものであり、２０００年９月２０日出願の米国特許仮出願第６０／２３４，２１３の利益を主張する２００１年６月２２日出願の米国特許非仮出願第０９／８８８，１０４の一部継続出願であり、２０００年６月２２日出願の米国特許仮出願第６０／２１３，３３５の利益を主張する２００１年３月２９日出願の米国特許非仮出願第０９／８２１，９０３の一部継続出願であり、各出願の開示を参照により引用したものとする。

発明の分野
本発明は、装置を試験するための方法および装置に関する。

発明の背景
現在の大型電子機器試験は、自動試験装置（ＡＴＥ）を用いて、製品の品質を制御し、生産の健全性を促進している。ＡＴＥは、ハードウェアを著しく変更せずに、互いに異なる種類の装置を試験するための高速で柔軟な試験解決策を提供する。一般的に、ＡＴＥは、電子機器の端子に入力信号を与え、出力端子における応答を計測し、装置を分類し、結果を保存する。

互いに異なる種類の装置を収容するために、ＡＴＥは、特定の種類の装置用に設計された互いに異なる試験プログラムを実行する。試験プログラムは、試験中に装置に入力端子に与えられた信号の例えば大きさおよび周波数、ならびに装置から野出力応答の計測を制御する。試験プログラムは、試験用の装置にくわえられた熱などの他の条件も制御してもよい。特定の装置用の試験プログラムは、特定の装置に対して何百もの互いに異なる試験を行ってもよく、各試験は、装置に操作性を検証するように設計されている。

試験処理を準備することは、相当な経験を必要とする複雑なタスクである。試験処理は、装置を完全に試験して、試験結果が装置の適切な動作を示すかどうかを決定しなければならない。その結果、試験処理は、装置の様々な入力に対して広範囲の試験信号を与え、出力端子からの広範囲の出力信号を読み出し、適切に出力信号を分析して、装置からの応答が許容できるものであったかどうかを決定しなければならない。装置がより複雑になるにつれて、試験処理も非常に複雑になり、管理しにくくなってきている。同様に、試験処理は、試験が多数になるにつれて長くなってきている。長い試験は、生産処理を遅れさせ、その結果、費用が高くなる。

本発明の簡単な概要
本発明の様々な局面に係る、試験処理を拡張するための方法および装置は、試験データを分析することと、試験処理を拡張するための推奨を生成することとを含む。一般的に、本発明のさまざまな局面に係る試験システムは、試験処理によって生成された試験データを分析するための分析システムと、分析に基づいて、試験処理に対して拡張を推奨するための推奨システムとを備える。

例示した一実施形態において、方法および装置は、未処理の試験データに基づいて処理制御統計値を生成するなどのように、試験データに基づいて特徴値を生成するように構成される。本方法および装置は、フィルタリングされた試験データを分析して、異常値、不良、および／または欠落データなどの選択された型のデータを除去してもよい。さらに、この分析により、様々な試験を特徴値に従って分類してもよい。加えて、この分析により、未処理の試験データおよびフィルタリングされた試験データの少なくとも１つに基づいて、様々な試験間の相関を識別してもよい。推奨システムは、試験の分類に従って、拡張を適宜推奨する。試験は、それに応じて修正されてもよい。

図中の構成要素およびステップは、簡素化と明確化のために示されており、特定のシーケンスに従って必ずしも描画されているものではない。例えば、同時または異なる順で行われるであろうステップは、本発明の実施形態に対する理解拡張の助けとなるように示されている。

実施形態の詳細な説明
本発明は、機能ブロック要素および様々な処理ステップによって部分的に説明される。そのような機能ブロックは、特定の機能を行って様々な結果を達成するように構成された、あらゆる数のハードウェアまたはソフトウェア要素によって実現されてもよい。例えば、本発明は、統計エンジン、メモリ要素、信号要素、論理要素、検索テーブルなどであって、１つ以上の試験器、マイクロプロセッサ、または他の制御装置の制御下において様々な機能を行うような様々な機械、プロセッサ、集積回路要素、ソフトウェアモジュール、および／または処理ステップを用いてもよい。加えて、本発明は、統計処理および分析と共に実行されてもよく、説明したシステムは、本発明の一応用例にすぎない。さらに、本発明は、データ分析、要素インターフェーシング、データ処理などのためのあらゆる数の従来の技術を用いてもよい。

図１を参照して、本発明のさまざまな局面に係る試験拡張方法および装置１００は、コンピュータ１０２上で動作するプログラムと共に実施される。コンピュータ１０２は、試験データの組を提供するデータ源１０４と通信を行う。また、試験拡張方法および装置１００は、試験の拡張の推奨および／または補正を送信するなどの、情報を送信するための出力１０６を適宜含む。試験拡張方法および装置１００は、データ源１０４からの試験データを分析して、試験処理を拡張するための推奨および／または補正を自動的に提供するように適宜構成される。

試験拡張方法および装置は、化学処理、製品製造、品質管理、または複数のサンプルを有する他の環境など、あらゆる適切な環境内において実施してもよい。本実施形態では、試験拡張方法および装置１００は、半導体試験環境内において実施される。データ源１０４は、１つ以上の自動試験器１０８Ａ〜Ｃのような分析用のあらゆる適切なデータ源を備えてもよい。加えて、データ源１０４は、同一の試験床上、設備の互いに異なる部分、または世界の互いに異なる地域において、互いに異なる試験器を備えてもよい。よって、試験拡張システムは、個々の試験器、複数の試験器、全設備、または世界的な試験プログラムについて試験を拡張するために用いられてもよい。

試験器１０８Ａ〜Ｃは、試験器１０８Ａ〜Ｃによって要素に対して適用された試験を制御する試験プログラムと共に、複数の要素を試験する。要素が試験されるに従って、試験器１０８Ａ〜Ｃは、試験の結果をモニタして、試験データを保存する。試験結果は、ウエハ試験、最終試験、または実装前試験など、作成または分配処理の任意の段階から受信されてもよい。試験データは、コンピュータ１０２に提供される。試験データは、従来の標準試験データフォーマット（ＳＴＤＦ）などの任意の適切な形式で、データ源１０４によって提供される。加えて、試験データは、パラメータおよび／または関数による試験データなど、任意の適切な試験データを備えてもよい。本実施形態においては、試験拡張方法および装置は、パラメータによる試験データを用いているが、試験システムは、関数による試験データ用に構成されてもよい。

試験データは、生成と同時にデータ源１０４から提供されてもよいし、または、例えば、試験データを格納しておいて、後でコンピュータ１０２に対して試験データを提供するというように、コンピュータ１０２に対して任意の後刻に提供されてもよい。コンピュータ１０２は、データ源１０４に直接結合されているように示されているが、コンピュータ１０２は、別の部屋、別の施設、または任意の遠隔地にあってもよい。加えて、コンピュータ１０２は、ディスクを介しての転送、遠隔送信、ダウンロードなど、任意の適切な送信媒体に従って、試験データを受信してよい。さらに、コンピュータ１０２は、試験データをいつでも分析してよく、例えば、試験器１０８Ａ〜Ｃによる試験データの生成時、または試験器１０８Ａ〜Ｃが停止または他の動作を行っている間のオフライン時であってもよい。任意の量の試験データが、コンピュータ１０２に対して提供されてよい。データの量が多ければ、分析が非常に正確になる傾向があるが、例えば、操作性検証または起動の場合など、場合によっては、少ない量でも適切であることがある。

コンピュータ１０２は、試験データを分析して、拡張の推奨および／または補正を生成するための任意の適切なシステムを備えてもよい。例えば、コンピュータ１０２は、従来のパーソナルコンピュータ、またはプロセッサおよびメモリを有するワークステーションを適切に備える。コンピュータ１０２は、１つ以上の試験器１０８Ａ〜Ｃからの試験データを用いて、試験の拡張の推奨および／または補正を生成する。

コンピュータは、試験拡張の推奨および／または補正を、出力１０６を介して提供する。出力１０６は、試験拡張の推奨および／または補正を通信するための任意のインターフェイスを備えていてもよく、例えば、従来の格納システム、プリンタ、モニタ、試験拡張の推奨および／または補正を関係者に送るための送信システム、または試験拡張の推奨および／または補正を提供するための任意の他の適切なシステムを備えていてもよい。

試験の拡張の推奨および／または補正を生成するには、コンピュータ１０２は、自動試験処理拡張システムと共に、試験結果を分析する。本実施形態においては、自動試験処理拡張システムは、少なくとも一部は、コンピュータ１０２によって実行された試験拡張コンピュータプログラムとして実施されるが、システムは、試験手法、ハードウェアの実装、複数のコンピュータ上で動作する複数のソフトウェアおよび／またはハードウェア要素、もしくは試験器１０８に組み込まれたマイクロプロセッサ上においてなどのような、任意の適切な方法または環境において実施されてもよい。コンピュータ１０２は、データ源１０４から試験データを受信し、試験データを分析し、自動試験処理拡張システムに従って、出力１０６において、試験の拡張の推奨および／または補正を生成する。

自動試験処理拡張システムは、任意の適切な方法で構成されて、試験の拡張の推奨および／または補正を生成するようにしてもよい。例えば、自動試験処理拡張システムは、単一の連続した処理、段階的に動作する複数のモジュールまたはシステム、もしくは１つ以上のコンピュータ上で動作する複数の装置またはプログラムとして実施されてもよい。図２を参照して、本実施形態においては、本発明の様々な局面に係る自動試験処理拡張システム２００は、データ取得および準備要素２０２と、分析要素２０４と、報告要素２０６とを有するとしてもよい。これらの要素は、自動試験処理拡張システムの実際の部分またはモジュールを表すものではないかもしれないが、本自動拡張コンピュータプロセス２００を説明するのに役立つ。

データ取得および準備要素２０２は、例えば、分析用データを編成して補足情報を計算することによって、分析用の試験器データを準備する。分析要素２０４は、データ取得および準備要素２０２からのデータを含むデータを分析する。報告要素２０６は、分析要素２０４に応答して、試験の拡張の推奨および／または補正を提供する。

より特定的には、本実施形態においては、データ取得および準備要素２０２は、データ源１０４から試験データおよび任意の他の関連データを分析用に受信するように構成される。しかしながら、データ取得および準備要素２０２は、データを受信し、分析用にデータを準備するための任意の適切なシステムを備えてもよい。また、データ取得および準備要素２０２は、データを編成して、様々な初期タスクおよび／または計算を行って、分析を促進するように適切に構成される。また、データ取得および準備要素２０２は、制御制限、試験器データ内の異常値を識別するための異常値パラメータ、ユーザ指定またはデフォルトパラメータ、または他の関連情報などの補足データを取得して、準備および分析を促進してもよい。補足データは、メモリ、格納装置、計算、または遠隔システムなど、いかなる適切な源から取得してもよい。様々なデータが、ユーザによって修正できるデフォルト値として指定されてもよい。

図３を参照して、本願で例示されたデータ取得および準備要素２０２は、入力エンジン３１２およびフィルタエンジン３１４を適切に含む。入力エンジン３１２は、データを受信し編成する。フィルタエンジン３１４は、統計的な異常値および不良などの異常を見つけるためにデータを分析し、異常のない試験データのフィルタ後の組を適切に生成する。

より特定的には、入力エンジン３１２は、まず、試験器データ３１０を受信および格納するように適切に構成される。本実施形態において、試験器データは、従来のＳＴＤＦ形式で受信される。入力エンジン３１２は、装置および試験毎に、未処理の試験データ３１８の編成された組を適切に生成する。例えば、入力エンジンは、試験器データ３１０をある形式に編成して、分析を促進してもよい。本実施形態において、入力エンジン３１２は、各行に装置を割り当て、各列に試験を割り当てたテーブル形式、ウエハマーク形式、または他の形式などで、試験器データ３１０を編成して、分析を促進する。その後、結果生じた未処理の試験データ３１８は、フィルタエンジン３１４および統計および相関エンジン３１６などの、システムの他の要素によって用いられるために提供されてもよい。

フィルタエンジン３１４は、試験データ３２２のフィルタリングされた組を生成する。フィルタエンジン３１４は、データの未処理の組から、任意の選択された特徴を有するまたは有しないデータをフィルタリングするように構成されてもよい。例えば、フィルタエンジン３１４は、統計上の異常値、欠落データのインスタンス、および／または不良を、データの未処理の組から除去するように構成されてもよい。加えて、様々な実施形態において、フィルタエンジン３１４は、必須でなくてもよく、したがって、省略してもよい。

フィルタエンジン３１４は、自動的に選択されるか、または試験データまたは予め選択された基準に従って生成された基準など、任意の適切な基準に従って動作してもよい。利用される規則の組は、互いに異なる種類のデータ、試験器、好み、ならびに他の条件または基準に適応された、複数の予め規定された規則の組のライブラリから選択されてもよい。

本実施形態において、フィルタエンジン３１４は、フィルタリング処理のための規則３２０を受信する。規則３２０は、異常値の閾値、制御制限、またはフィルタリングのための特定のデータに関連する特徴など、未処理のデータの組からの選択されたデータをフィルタリングするための任意の適切な規則またはガイドラインを備えてもよい。例えば、本願のフィルタエンジン３１４は、欠落データを指定するための基準であって、かつ、試験データ内の異常値を識別するための異常値の閾値を動的に計算するための基準を受信する。

異常値の閾値は、任意の適切な基準またはシステムに従って選択されてもよく、規定値、ユーザが提供したデータによって指定またはそこから派生した値、または統計的なアルゴリズムに従うなどによって選択されてもよい。本実施形態においては、異常値の上限および下限閾値は、約１．５または他の適切な値などのベースライン係数に、試験に関連したデータの四分位数間範囲を乗ずることによって計算されてもよい。結果生じた値を、上限の四分位値に加算するか、または下限の四分位値から減算して、異常値の上限および下限閾値をそれぞれ生成してもよい。しかしながら、任意の適切な規則、方法、および／または手順を提供して、フィルタリングすべきデータを識別してもよい。

関連閾値または他のデータを計算または受信すると、フィルタエンジン３１４は、試験データ内の各試験結果を適切に分析する。本実施形態においては、フィルタエンジン３１４は、試験データ内の試験結果を、異常値の上限および下限閾値、ならびに１つ以上の管理制限であって、装置が検査を通ったか、落ちたか、または、別の方法で試験によって資格を与えられたかどうかを決定するために用いられる管理制限と比較する。閾値は、任意の適切な閾値を備えてもよく、任意の適切な源から計算、検索またはそうでなければ取得されてもよい。加えて、特定の試験または装置にデータが提供されていない場合には、データの組は欠落データを示すように設計されている。

また、フィルタエンジン３１４は、フィルタリングされたデータの組３２２を適切に生成する。フィルタリングされたデータの組３２２を生成するには、フィルタエンジンは、未処理の試験データ３１８を適切にフィルタリングして、例えば、残りのデータ内で関連情報を隠しているであろうデータなどの選択されたデータを除去する。例えば、フィルタエンジン３１４は、異常値、不良、欠落データ、または他のデータに対応するデータを除去してもよい。

本実施形態において、フィルタエンジン３１４は、フィルタリングエンジン３２０についての規則に従って、異常値、不良、および欠落データを除去する。特に、図５Ａ〜Ｂを参照して、フィルタエンジン３１４は、試験すべき装置（５１０）毎および装置に対する試験（５１２）毎に、有効なデータがあるかどうかを、各未処理のデータ入力について調査する（５１４）。有効なデータがない場合には、データ入力は、欠落データを有していると示される（５１６）。加えて、フィルタエンジンは、試験毎に、標準偏差をチェックする（５１８）。標準偏差がゼロの場合は、フィルタエンジン３１４は、標準偏差による除算を必要とするであろうあらゆる計算を停止する（５２０）。

データが存在し、標準偏差がゼロでない場合には、フィルタエンジン３１４は、未処理データが制御制限または異常値の閾値を越えているかどうかを決定してもよい。例えば、試験についての試験データの中心値を未処理の試験データから減算して、その結果を標準偏差で除算すること（Ｄｅｌｔａ＝（Ｒａｗ Ｖａｌｕｅ−Ｍｅｄｉａｎ）／ＳｉｇｍａＦａｃｔｏｒ）などによって、デルタ値を計算してもよい（５２２）。

異常値および不良は、未処理の試験データおよびデルタ値を制御制限および異常値の閾値とそれぞれ比較することによって、適切に識別される。しかしながら、任意の適切な規則、方法、技術、および／または手順を適用してデータをフィルタリングしてもよい。一実施形態において、各未処理の試験データ入力は、制御制限と比較される（５２４）。欠落または制御制限を超える任意の未処理の試験データが、フィルタリングされたデータの組の中で、不良と示される（５２６）。同様に、未処理の試験データ入力毎のデルタ値を、異常値の閾値と比較して、データ内のスパイクを識別してもよい（５２８）。デルタ値が異常値の閾値を超える場合には、フィルタリングされたデータ入力は異常値として示される（５３０）。未処理のデータが制御制限を超えず、かつデルタ値が異常値の閾値を超えない場合には、フィルタリングされたデータは未処理のデータと同一である（５３２）。この処理は、装置に対して行われる処理毎に適切に繰り返される（５３４）。

また、フィルタエンジン３１４は、フィルタ処理に基づいて装置を分類してもよい。例えば、装置について不良もスパイクも生じなかった場合には（５３６，５３８）、装置はスパイクのない許容できる装置として分類されてもよい（５４０）。不良は生じなかったが、試験結果がスパイクを含んだ場合には、装置は許容できるがデータにスパイクがあるものとして示されてもよい（５４２）。同様に、不良およびスパイクが生じた場合には、装置は不良およびスパイクを有するとして分類されてもよく（５４４）、不良がスパイクなしで生じた場合には、装置はそのように示されてもよい（５４６）。この処理は、分析すべき装置毎に繰り返されてもよい（５４８）。

フィルタエンジン３１４は、フィルタリングされた試験データ３２２および未処理の試験データ３１８から派生した補足データを適切に計算する。本実施低において、フィルタエンジン３１４は、合格または不合格の試験の数を、未処理およびフィルタリングされた試験データの両方について決定する。未処理のデータ組３１８、フィルタリングされたデータ組３２２、および補足的に計算されたデータは、分析要素２０４によって用いられるように適切に格納される。

分析要素２０４は、取得および準備要素２０２からのデータを分析して、試験拡張情報を提供する。分析要素２０４は、データについて任意の適切な分析を行って試験プログラムを分析および／または改良してもよく、例えば、重要な試験と重要でない試験（例えば、不良または歩留まり偏差を生じさせるであろう試験）、重複した試験、サンプリングに適した試験候補、および補正動作用の試験候補を識別してもよい。例えば、分析要素２０４は、試験を様々な分野に分類して、様々な値および統計値を比較して、報告要素２０６によって提供される報告を支援してもよい。分析要素２０４は、試験データおよび補足データについての任意の他の適切な分析を行って、報告要素２０６による推奨または他の所望の機能を支援してもよい。

行われる分析は、任意の適切な目的および好みに従って選択または生成されてもよい。例えば、複数の分析処理をライブラリに格納して、分析要素２０４が選択的に用いることができるようにしてもよい。様々な分析処理を、自動的、またはデータの種類、オペレータの好み、または他の適切な基準などの、任意の適切な基準に従ってオペレータによって選択されてもよい。分析は、分析用に所望のパラメータを選択するための方法で実施されてもよい。

例えば、図３を再び参照して、本実施形態の例示した分析要素２０４は、統計および相関エンジン３１６を備える。統計および相関エンジン３１６は、様々な統計値および数値を計算して、試験処理拡張のための推奨および動作を支援する。統計および相関エンジン３１６によって計算された値は、任意の関連値を含んでもよく、例えば、試験データに基づく数値を含んでもよい。例えば、統計および相関エンジン３１６は、分析結果３２６の未処理の組を計算してもよく、例えば、試験毎の従来の統計処理制御数値または他の概略的な統計値、例えば、対応の試験についての未処理の試験データに基づく標準偏差、Ｃｐｋ、処理能力指標、低四分位数、高四分位数、中心値、および四分位数間領域値である。また、統計および相関エンジン３１６は、対応の試験についてのフィルタリングされた試験データ３２２に基づくＣｐｋ、処理能力指標、低四分位数、高四分位数、中心値、および四分位数間領域値などといった、様々な関連統計値の「フィルタリングされた」値を含む、分析結果のフィルリングされた組３２８を、試験毎に計算してもよい。

例えば、図４を参照して、本実施形態の統計および相関エンジン３１６は、まず、最小値、平均値、最大値、範囲、標準偏差、中心値、および総数などといった、試験データについての様々な特徴値を、試験毎に計算する（４１０）。統計および相関エンジン３１６は、他の特徴値を計算してもよく、例えば、試験毎のＣｐｋおよび処理能力指標（ＰＣＩ）を計算してもよい。標準偏差がゼロに等しい場合には、データはＣｐｋおよびＰＣＩ分析には適切ではない（４１２）。その結果、Ｃｐｋ値およびＰＣＩ値は、利用不可能であると示される（４１４，４１６）。標準偏差がゼロでなければ、統計および相関エンジン３１６は、Ｃｐｋ値およびＰＣＩ値を、適切なアルゴリズムに従って決定する。例えば、本実施形態において、ＣｐｋおよびＰＩＣは、以下の式によって決定される（４１８，４２０）。

Ｃｐｋ＝（ＵＴＬ−Ｍｅａｎ）／Ｓｉｇｍａおよび（Ｍｅａｎ−ＬＴＬ）／Ｓｉｇｍａのうちの小さい方
ＰＣＩ＝１＋２＊（（ＵＴＬ−Ｍａｘ）／Ｒａｎｇｅおよび（Ｍｉｎ−ＬＴＬ）／Ｒａｎｇｅのうちの小さい方）
式中、
ＵＴＬ＝試験上限値、
ＬＴＬ＝試験下限値、
Ｓｉｇｍａ＝標準偏差、
Ｍｅａｎ＝データの平均値、
Ｍａｘ＝データの最大値、
Ｍｉｎ＝データの最小値、および
Ｒａｎｇｅ＝データの範囲である。
統計および相関エンジン３１６は、その後、所望するのであれば、特定の試験用の補足計算を行うか、または推奨を促進する適切なタスクを行ってもよい。その後、処理は試験毎に反復してもよい（４２６）。

また、統計および相関エンジン３１６は、相関分析を行って、試験処理によって行われた様々な試験間の関係を識別してもよい。任意の適切な分析およびアルゴリズムを用いて、試験が重複しているか、または、そうでなければ関連している可能性があるかどうかを決定してもよい。相関分析は、未処理のデータの組３１８およびフィルタリングされたデータの組３２２の両方について適切に行われる。統計および相関エンジン３１６は、すべての他の試験に関連する試験毎に相関値を適切に生成する。相関分析は、線形および非線形相関の識別を支援してもよく、パラメータによる試験データおよび／または関数による試験データ用に構成されてもよい。

相関値は、任意の適切な基準またはアルゴリズムに従って生成されて、試験間の関係を識別してもよい。本願の自動試験処理拡張システム２００において、相関は、２つの特定の試験についての試験データの共分散に従って識別され、試験データの２つの組についての標準偏差によって修正される。よって、本システムにおいて、相関の組は、以下の指揮に従って生成されてもよい。

ＣｏｒＲａｗＸＹ＝Ｃｏｖ（ＲａｗＸ，ＲａｗＹ）／（ＲａｗＳｉｇｍａＸ＊ＲａｗＳｉｇｍａＹ）
ＣｏｒＤｗｏＸＹ＝Ｃｏｖ（ＤｗｏＸ，ＤｗｏＹ）／（ＤｗｏＳｉｇｍａＸ＊ＤｗｏＳｉｇｍａＹ）
試験Ｘ毎および試験Ｙ毎であって、式中、Ｄｗｏはフィルタリングされた試験データを示し、Ｒａｗは未処理のデータを示し、Ｃｏｖは共分散を示し、Ｓｉｇｍａは標準偏差を示し、Ｃｏｒは相関値を示す。

例えば、図７を参照して、最初の試験が、すべての他の試験に対する相関分析のために選択されてもよい（７１０）。他の試験が比較のために選択され（７１２）、統計および相関エンジン３１６は、未処理の試験データについての相関値（７１４）と、フィルタリングされた試験データについての相関値（７１６）とを計算する。未処理の相関値については、統計および相関エンジン３１６は、欠落データを有する対を無視する。同様に、フィルタリングされた相関値については、統計および相関エンジン３１６は、欠落データ、不良、またはスパイクを有する対を無視してもよい。別の試験が、最初の試験との比較のために選択されて、処理は残りの試験のそれぞれについて繰り返される（７１８）。最初の試験についての相関分析が完了すると、各試験がすべての他の試験との相関について分析されるまで、処理は試験毎に繰り返される（７２０）。

統計および相関エンジン３１６は、結果の数値および値を任意の適切な形式で提供してもよい。本実施形態において、統計および相関エンジン３１６は、分析結果の未処理の組３２６を生成し、これは、未処理のＰＣＩ、未処理の相関値、不良数、スパイク数、および未処理の試験データに基づく任意の他の関連情報を適切に含む。また、統計および相関エンジン３１６は、分析結果のフィルタリングされた組３２８を適切に生成し、これは、フィルタリングされたＰＣＩ，フィルタリングされた相関値、およびフィルタリングされた試験データに持つ毒任意の他の関連情報を適切に含む。

図２および３を再び参照して、報告要素２０６は、分析要素２０４からデータを受信して、試験処理に関する推奨および／または補正を提供し、これは、その後ユーザの作用を受け、自動的に実施され、またはそうでなければ用いられてもよい。本実施形態においては、報告要素２０６は、補正動作から利益を得るであろう試験処理の部分を識別して、１つ以上の補正動作を提案するように構成されてもよい。例えば、ユーザは、重複する試験を識別して削除したいと思うかもしれない。さらに、ユーザは、重要でない試験を再構築して、歩留まりを向上させたいと思うかもしれない。また、報告要素２０６は、他の報告ツールおよびシステムを含むか、それらと共に動作してもよい。

本実施形態においては、報告要素２０６は、特殊な試験の実行、試験データ、または試験処理自体を用いることなく、統計値、および共通の試験データに基づいて分析要素２０４によって提供された他の値にのみに基づいて、推奨を提供する。しかしながら、推奨および補正は、試験処理、試験データ、特殊な試験の実行からの結果、または任意のその他の関連情報を含む、任意の適切な基準および／またはデータに従って生成されてもよい。

本実施形態の報告要素２０６は、推奨エンジン３２４を含み、統計値および数値に基づいて推奨を生成する。推奨エンジン３２４は、試験処理を向上させるための推奨を適切に行う。推奨エンジン３２４は、任意の適切な規則３３２および未処理の試験データ、フィルタリングされた試験データ、ＳＰＣ値、ＰＣＩ値および／または選択されたアルゴリズムなどのデータに従って、推奨を行ってもよい。また、推奨エンジン３２４は、過去のバッチなどからのデータなどの履歴分析データ３３４を、推奨処理に含んでもよい。

本実施形態において、推奨エンジン３２４は、分析結果の未処理の組３２６および分析結果のフィルタリングされた組３２８に従って、各試験を分類する。分類は、相関値、試験についての試験不良の数、欠落試験データの有無、未処理またはフィルタリングされたＰＣＩ統計値、および異常値の数など、任意の適切なデータおよび／または基準に従って行われてもよい。試験は、任意の適切な基準に従って分類されて、推奨または補正動作を促進してもよい。

例えば、図６を参照して、本実施形態の推奨エンジン３２４は、最初の試験についてのデータをアクセスして、試験に合格しなかった装置があるかどうか、すなわち、試験データのいずれかが制御制約を超えたかどうかを決定する（６１０）。１つまたは他の選択された数の不良が生じた場合には、推奨エンジン３２４は、任意の適当な分析に従って、不良の原因を決定してもよい。例えば、推奨エンジン３２４は、未処理のＰＣＩ値を最初の未処理のＰＣＩ閾値と比較するように構成されてもよい（６１２）。ユーザによるか、または他の源または計算からデフォルトとして提供されるような、任意の適切な基準に従って、選択されてもよい。第１の未処理のＰＣＩ閾値は、１．２のように比較的低くてもよく、試験についての未処理のＰＣＩ値が第１の未処理のＰＣＩ閾値を超える場合には、欠落データが不良を生じさせていることを示している。その後、試験は、分析に基づいて、対応する状態コードを割り当てられる。例えば、欠落データが不良を生じさせていることを示すＭＩＳＳＩＮＧ ＤＡＴＡ ＣＡＵＳＩＮＧ ＦＡＩＬＳ（不良を生じさせている欠落データ）（９００）を割り当てられる（６１４）。

未処理のＰＣＩ値が最初の未処理のＰＣＩ閾値を超えない場合には、推奨エンジン３２４は、試験についてのＰＣＩ値に従って、試験を適切に分類する。例えば、フィルタリングされたＰＣＩ値は、フィルタリングされたＰＣＩ閾値と比較されてもよい（６１６）。フィルタリングされたＰＣＩ閾値は、同様に選択されてもよく、例えば、ユーザによるか、または他の源または計算からデフォルトとして提供されてもよい。その後、試験は、フィルタリングされたＰＣＩ閾値の比較に従って、試験結果が重要でなく、比較的低いマージンによって不良となっている不良を含むということを示す対応の状態コード（ＭＡＲＧＩＮＡＬ ＷＩＴＨ ＦＡＩＬＵＲＥＳ（不良があって、重要でない）（７００））が適切に割り当てられる（６１８）か、または、比較的高いマージンによって不良となった不良があって、重要であるということを示す対応の状態コード（ＣＲＩＴＩＣＡＬ ＷＩＴＨ ＬＡＲＧＥ ＦＡＩＬＵＲＥＳ（大きな不良があって、重要）（８００））が適切に割り当てられる（６２０）。

最初の決定が、不良が生じなかったこと示すか、または関連の閾値を超えなかったことを示す場合には、推奨エンジン３２４は、試験についてのＰＣＩ値に従って試験を適切に分類する。例えば、推奨エンジン３２４は、未処理のＰＣＩ値を最初の未処理のＰＣＩ閾値と比較してもよく（６２４）、最初の未処理のＰＣＩ閾値を超えていない場合には、試験は、異常値と共に高いＰＣＩを有するものとして分類される（ＨＩＧＨ ＰＣＩ ＷＩＴＨ ＯＵＴＬＩＥＲＳ（異常値のある高いＰＣＩ）（４００））（６２６）。

最初の未処理のＰＣＩ閾値を超えない場合には、フィルタリングされたＰＣＩ値がフィルタリングされたＰＣＩ閾値と比較されてもよい（６２８）。その後、試験は、フィルタリングされたＰＣＩ閾値比較に従って、試験結果が重要でなく、異常値を含むことを示す対応する状態コード（ＭＡＲＧＩＮＡＬ ＷＩＴＨ ＯＵＴＬＩＥＲＳ（異常値があって、重要でない）（５００））が適切に割り当てられる（６３０）か、または、異常値があって重要であることを示す対応する状態コード（ＣＲＩＴＩＣＡＬ ＷＩＴＨ ＯＵＴＬＩＥＲＳ（異常値があって重要）（６００））が適切に割り当てられる（６３２）。

推奨エンジン３２４が、試験データが異常値を含まないと決定した場合には、推奨エンジン３２４は、分類のために試験データをさらに分析してもよい。例えば、本実施形態では、推奨エンジン３２４は、未処理のＰＣＩ値を、第２のより高い未処理のＰＣＩ閾値と比較し、このＰＣＩ閾値は、ユーザによるか、または他の源または計算からデフォルトとして提供されてもよい（６３４）。未処理のＰＣＩ値が第２の未処理のＰＣＩ閾値を超える場合には、分析要素２０４は、試験が非常に高いＰＣＩを有し、異常値はないことを示す状態コード（ＶＥＲＹ ＨＩＧＨ ＰＣＩ，ＮＯ ＯＵＴＬＩＥＲＳ（非常に高いＰＣＩ、異常値なし）（１００））を試験に割り当てる（６３６）。

未処理のＰＣＩ値が第２の未処理のＰＣＩ閾値を超えない場合には、推奨エンジン３２４は、未処理のＰＣＩ値を第１の未処理のＰＣＩ閾値と比較して（６３８）、比較に従って状態コードを試験に割り当てる。フィルタリングされたＰＣＩ値が閾値を超えた場合には、分析要素は、試験が異常値のない高いＰＣＩを有することを示す状態（ＨＩＧＨ ＰＣＩ，ＮＯ ＯＵＴＬＩＥＲＳ（高いＰＣＩ、異常値なし）（２００））を割り当て（６４０）、閾値を超えなければ、割り当てられた状態コードは、試験が異常値のない低いＰＣＩを有することを示す（ＬＯＷ ＰＣＩ，ＮＯ ＯＵＴＬＩＥＲＳ（低いＰＣＩ、異常値なし）（３００））（６４２）。

つまり、本実施形態の推奨エンジン３２４は、未処理またはフィルタリングされたＰＣＩ値に従って、欠落データ、不良の存在、異常値の存在、および処理の能力に従って、試験を分類する。しかしながら、分類は、任意の適切な基準に従って、任意の適切なデータを用いて行われてもよい。また、分析要素２０４は、他の試験に関連する様々な試験についての相関値を用いて、試験処理についての推奨および／または補正を支援するように構成される。相関値は、任意の適切な方法で、任意の適切な基準に従って用いられてもよく、例えば、関連および／または重複試験を識別してもよい。例えば、図８を参照し、本願の推奨エンジン３２４は、第１の試験を選択し（８１０）、第２の試験を選択し（８１２）、これら２つの試験の未処理の相関値を、未処理の相関閾値と比較し（８１４）、フィルタリングされた相関値をフィルタリングされた相関閾値と比較する（８１６）。相関閾値は、任意の適切な基準に従って選択されて、相関の範囲を示してもよく、デフォルト値によって提供されるか、ユーザによって指定されるか、そうでなければ取得されてもよい。本願の分析要素において、未処理の相関閾値およびフィルタリングされた相関閾値は、互いに等しい。

試験の相関は、相関値の相関閾値との比較に従って、適切に分類される。例えば、未処理およびフィルタリングされた相関値の両方が対応の閾値を超える場合には、２つの試験間の相関には、試験が相関することを示す相関状態が割り当てられる（８１８）。未処理の相関値もフィルタリングされた相関値も両方とも対応の閾値を超えない場合には、２つの試験間の相関には、試験が相関しないことを示す相関状態が割り当てられる（８２０）。

未処理の値が未処理の相関閾値を超えるが、フィルタリングされた相関値がフィルタリングされた相関閾値を超えない場合には、異常値が、実際の相関ではない相関の外観を生じさせていることがある。したがって、２つの試験間の相関には、試験は実際には相関していないが、見かけ上の相関を異常値が生じさせていることを示す相関状態が割り当てられる（８２２）。反対に、未処理の相関値が未処理の相関閾値を超えないが、フィルタリングされた相関値がフィルタリングされた相関閾値を超える場合には、試験は相関していることもあるが、異常値が相関を隠していることもある。よって、試験間の相関には、対応の相関状態が割り当てられる（８２４）。

その後、推奨エンジン３２４は、最初の試験を第３の試験、そして、第４のように比較する分析を、最初の試験とすべての他の試験間の相関が分類されるまで繰り返す（８２６）。その後、推奨エンジン３２４は、すべての試験について処理を繰り返して、各試験とすべての他の試験間の相関を分類する（８２８）。

図２および３を再び参照して、試験の分類に基づいて、報告要素２０６は、報告３３０を適切に生成して、試験処理を向上させるための推奨を提供する。報告３３０は、試験処理を向上させるための任意の適切な情報を備えていてもよく、例えば、統計値に基づいた分類情報および／または相関値、もしくは試験処理を拡張するために有用であろうあらゆる他の分析結果を備えていてもよい。例えば、報告は、支援データ、相関の識別、および／または試験を削除または再構築するための推奨を含んでもよい。本実施形態では、推奨エンジン３２４は、初めに試験を状態コードに従って分離して、各試験が他の試験と相関するか同化に基づく推奨を作成することによって、推奨を生成するように構成されてもよい。例えば、状態コードおよび相関データに基づいて、推奨エンジン３２４は、特定の試験をすべての装置に行ったり、特定の試験をすべての装置よりも少ないサンプリングに限定したり、特定の試験の補正を検討したり、または特定の試験を全部削除することを推奨してもよい。これらの推奨に基づいて、試験処理が向上されて、全体の試験時間を削減したり、個別の試験の質を高めたり、スループットを強化したり、および／または別の方法で試験処理を向上してもよい。

例えば、図９を参照して、本願の推奨エンジン３２４は、ある状態コードを有するすべての試験はすべての装置に行われることを推奨する（９１０）、特に、推奨エンジン３２４は、状態コード１００に対応する、２値の結果（すなわち、ＹＥＳ／ＮＯ，ＯＮ／ＯＦＦ，ＰＡＳＳ／ＦＡＩＬなど）を有する各試験および、不良および／または偏差の可能性が比較的高いこと（すなわち、非常に低いＰＣＩまたは不良を生じさせている欠落データ）を示す各試験は、すべての装置に適用すべきであると推奨してもよい。本実施形態では、推奨エンジン３２４は、状態コードがＣＲＩＴＩＣＡＬ ＷＩＴＨ ＯＵＴＬＩＥＲＳ（６００）、ＣＲＩＴＩＣＡＬ ＷＩＴＨ ＬＡＲＧＥ ＦＡＩＬＵＲＥＳ（８００）、およびＭＩＳＳＩＮＧ ＤＡＴＡ ＣＡＵＳＩＮＧ ＦＡＩＬＳ（９００）である各試験は完全試験を行うことを推奨する。

同様に、本願の推奨エンジン３２４は、低い処理能力指標を有する試験については、補正動作を推奨する。本実施形態では、状態コードがＬＯＷ ＰＣＩ，ＮＯ ＯＵＴＬＩＥＲＳ（３００），ＭＡＲＧＩＮＡＬ ＷＩＴＨ ＯＵＴＬＩＥＲＳ（５００），およびＭＡＲＧＩＮＡＬ ＷＩＴＨ ＦＡＩＬＵＲＥＳ（７００）である試験については、推奨エンジン３２４は、補正動作を推奨する（９１２）。例えば、試験処理を変更して正確性および／または反復性を向上させるために、補正動作を必要としてもよい。例えば、長い信号待ち時間を用いて、他の補正動作を安定化または実施してもよい。推奨エンジン３２４は、補正動作から利益を得るであろう試験を識別するように構成されてもよい。また、推奨３２４は、オペレータが選択できる可能性のある補正動作を示してもよい。

状態コードがＶＥＲＹ ＨＩＧＨ ＰＣＩ，ＮＯ ＯＵＴＬＩＥＲＳ（１００）およびＨＩＧＨ ＰＣＩ，ＮＯ ＯＵＴＬＩＥＲＳ（２００）である試験については、推奨エンジン３２４は、試験が他の試験と相関するかどうかを決定する（９２０）。もしそうならば、試験は除去候補となり（９２２）、なぜならば、高い相関値は、試験が重複していることを示すからである。もしそうでないならば、ＰＣＩが高く、異常値がないことから、試験はいかなる要素によっても不良となる見込みはない。したがって、試験は、１００％試験の代わりに、サンプリングが推奨される（９２４）。

同様に、状態コードがＨＩＧＨ ＰＣＩ ＷＩＴＨ ＯＵＴＬＩＥＲＳ（４００）である試験については、推奨エンジン３２４は、試験が他の試験と相関するかどうかを決定する（９１４）。もしそうならば、試験は除去候補となり（９１６）。もしそうでないならば、試験は、１００％試験の代わりに、サンプリングが推奨される。本実施形態においては、推奨エンジン３２４は、試験が異常値を示すことを条件に、試験がサンプリング候補であることを示す（９１８）。場合によっては、ユーザは、異常値があることにより、そのような試験をすべての装置で試験して、品質を確保したいと思うこともあろう。他の場合には、特に試験の能力が高い評価を得ているという点から、異常値は、ユーザにとって、それぞれの要素を当該試験で試験する時間を費やすほど重要ではないこともあろう。したがって、試験が充分な能力および許容できるほど低い不良率を示しているようなので、試験はサンプリング候補となってもよい。

本実施形態の推奨エンジン３２４は、統計値および相関値に基づいた試験の分類にしたがって、推奨を作成する。しかしながら、推奨は、任意の基準にしたがって、任意の適切なデータを用いて作成されてもよい。図１０を参照して、本実施形態において、推奨エンジン３２４は、当初の推奨を、一連の履歴推奨の観点からさらに分析してもよい。各当初の推奨（１００８）が試験毎に始まると（１０１０）、当初の推奨は、履歴推奨データに格納される。

また、推奨エンジン３２４は、履歴データをチェックして、特定の試験について過去に行われた推奨を識別する（１０１２）。その後、推奨エンジン３２４は、任意の適切な基準を用いて、履歴データに基づいて推奨を修正してもよい。本実施形態において、推奨エンジン３２４は、当該試験についての履歴推奨に基づいて、最大の信頼性のために、推奨を選択する（１０１４）。例えば、履歴データは、特定の試験について、過去の分析により、テストの除去が９０回、サンプリングが２０回、および１００％試験がたった１回推奨されていることを示し、補正動作が推奨されたことはない場合がある。この場合、最大の信頼性のために、推奨エンジン３２４は、たとえ当初の推奨が除去またはサンプリングであったとしても、１００％試験を推奨することがある。

また、少なくとも１つの他の試験と相関する試験については、報告要素２０６は、除去候補である相関試験の組から、保持すべき特定の試験を推奨するように構成されてもよい（９２６）。保持または除去のための推奨は、任意の適切な規則９２８または他の基準にしたがって選択されてもよい。例えば、保持または除去推奨は、試験時間が向上するように、信頼性を高めるように、手動の選択、または他の適切な手段で選択されてもよい。

本実施形態の推奨エンジン３２４は、推奨規則の組または履歴推奨の組にしたがって、試験の保持および除去のための推奨を行ってもよい。推奨エンジン３２４は、まず、保持のために好ましい状態コードを有する試験を選択し、残りの試験の除去を推奨してもよい。試験がすべて同じ状態コードを有する場合には、報告要素は、最小のＰＣＩを有する試験を除き、除去候補である相関する試験のすべての除去を適切に推奨する。しかしながら、推奨は、任意の適切な基準に従って行われてもよく、例えば、最短延長時間または任意の他の適切な特徴または基準に従ってもよい。

報告要素２０６は、任意の適切な形式または形で、推奨および任意の他の出力を提供してもよい。例えば、報告要素２０６は、様々な試験、ならびに除去、完全試験、補正動作などの推奨を識別する電子報告３３０を生成してもよい。加えて、報告要素２０６は、合格／不合格情報、相関チャート、パレートチャート、トレンドチャート、グラフ、比較ボックスチャート、ヒストグラム、試験についての未処理の試験データ、試験に関連する概略統計値、または任意の他の適切な情報などである支援データを提供してもよい。

また、報告要素２０６は、補足の提案または補正を提供してもよい。例えば、報告要素２０６は、相対不良率および試験の相互依存性などの試験の特徴に従って改良された試験シーケンスを提供してもよい。本実施形態において、報告要素２０６は、不良となる確率の高い試験、または試験処理において不良を後に示し、試験シーケンスにおける早い段階への配置を推奨するであろう試験を識別する。よって、不良部分を試験処理の早い段階で検出して、短縮試験を促進してもよく、それにより試験時間全体を短縮する。

推奨エンジン３２４からの結果は、他の自動応答３３６のための、システムの他の構成要素に対して提供されてもよい。例えば、システムは、試験処理を自動的に変更し、除去候補である試験を除去し、試験処理のシーケンスを変化させるなどのための構成要素を含んでもよい。

示して説明した特定の実施は本発明およびその最良の形態の例示であり、いかなる方法によっても、本発明の範囲を別の方法によって制限するように意図されるものではない。実際、簡潔にするため、従来の信号処理、データ分析、およびシステムの他の機能的局面は、総裁に説明されなかったかもしれない。さらに、様々な図面に示した接続線は、様々な構成要素間の機能的関係および／または物理的結合を例示すように意図されたものである。実際のシステムにおいては、多くの代わりのまたは補足の機能的な関係または物理的結合が存在するであろう。

本発明を、好ましい実施形態を参照して説明してきた。しかしながら、本発明の範囲を逸脱することなく、変更および修正を好ましい実施形態に行ってもよい。これらおよび他の変更および修正は、以下の請求項において表されているような本発明の範囲内に含まれることが意図されている。

本発明のより完全な理解は、以下の説明図に関連付けて検討された場合に、詳細な説明および請求項を参照することによって生じるであろう。以下の図面では、同様の参照符号は、全図に渡って、同様の構成要素およびステップを指す。
図１は、本発明の様々な局面に係る、試験システムのブロック図である。 図２は、本発明の様々な局面に係る、試験方法および装置のブロック図である。 図３は、本発明の様々な局面に係る、試験拡張方法および装置の一般フロー図である。 図４は、特徴値計算処理のフロー図である。 図５Ａは、フィルタリング処理のフロー図である。 図５Ｂは、フィルタリング処理のフロー図である。 図６は、特徴値に基づいた試験分類処理のフロー図である。 図７は、補正値計算処理のフロー図である。 図８は、関連および／または重複試験を補正値に基づいて識別するための処理のフロー図である。 図９は、特徴値および相関に基づいて推奨を生成するための処理のフロー図である。 図１０は、試験を除去するように推奨するためのフロー図である。

Claims (74)

1. 試験データの未処理の組に基づいて、装置上で複数の試験を実施するための試験処理を拡張する方法であって、
   試験データに関連する特徴値のうちの少なくとも１つと、試験のうちの少なくとも２つの間の相関とに従って、試験を分類することと、
   試験の分類と共に試験処理を修正することとを含む。
2. 試験データの未処理の組をフィルタリングして、試験データのフィルタリングされた組を形成する、請求項１に記載の試験処理を拡張する方法。
3. 試験データの未処理の組をフィルタリングすることは、
   試験データの未処理の組の中にある異常値および欠落データのうちの少なくとも１つを識別することと、
   異常値および欠落データのうちの少なくとも１つを、試験データの未処理の組から除去することとを含む、請求項２に記載の試験処理を拡張する方法。
4. 試験を分類することは、試験のうちの少なくとも２つの間の相関を識別することを含み、
   試験処理を修正することは、相関する試験のうちの少なくとも１つを試験処理から削除することを含む、請求項１に記載の試験処理を拡張する方法。
5. 試験のうちの少なくとも２つの間の相関を識別することは、
   試験のうちの少なくとも２つの間の相関を見るために、試験データの未処理の組を分析することと、
   試験のうちの少なくとも２つの間の相関を見るために、試験データのフィルタリングされた組を分析することとを含む、請求項４に記載の試験処理を拡張する方法。
6. 試験データの未処理の組に基づいて、未処理の特徴値を生成することと、
   試験データのフィルタリングされた組に基づいて、フィルタリングされた特徴値を生成することとをさらに含み、試験を分類することは、未処理の特徴値およびフィルタリングされた特徴値のうちの少なくとも１つに従って試験を分類することを含む、請求項１に記載の試験処理を拡張する方法。
7. 試験の分類に従って、試験処理を拡張するための推奨を行うことをさらに含む、請求項１に記載の試験処理を拡張する方法。
8. 特徴値は、処理能力指標を備える、請求項１に記載の試験処理を拡張する方法。
9. 処理能力指標は、閾値に関連する最大の試験データ値および閾値に関連する最小の試験データ値のうちの少なくとも１つに基づく、請求項８に記載の試験処理を拡張する方法。
10. 試験を分類することは、規則の複数の組から選択された規則の組に従って試験を分類することを含む、請求項１に記載の試験処理を拡張する方法。
11. 試験データの未処理の組に基づいて、装置上で複数の試験を実施するための試験処理を拡張する方法であって、
    試験データの未処理の組をフィルタリングして、試験データのフィルタリングされた組を生成することと、
    試験データの未処理の組および試験データのフィルタリングされた組のうちの少なくとも１つに基づいて、特徴値を生成することと、
    試験データの未処理の組および試験データのフィルタリングされた組のうちの少なくとも１つに基づいて、試験のうちの少なくとも２つの間の相関を識別することと、
    特徴値および試験のうちの少なくとも２つの間の相関に従って、試験を分類することと、
    試験の分類に従って、試験処理に対して拡張を推奨することとを含む。
12. 試験データの未処理の組をフィルタリングすることは、
    試験データの未処理の組の中にある異常値および欠落データのうちの少なくとも１つを識別することと、
    異常値および欠落データのうちの少なくとも１つを試験データの未処理の組から除去することとを含む、請求項１１に記載の試験処理を拡張する方法。
13. 相関する試験のうちの少なくとも１つを試験処理から削除することをさらに含む、請求項１１に記載の試験処理を拡張する方法。
14. 試験のうちの少なくとも２つの間の相関を識別することは、
    試験のうちの少なくとも２つの間の相関を見るために、試験データの未処理の組を分析することと、
    試験のうちの少なくとも２つの間の相関を見るために、試験データのフィルタリングされた組を分析することとを含む、請求項１１に記載の試験処理を拡張する方法。
15. 特徴値を生成することは、
    試験データの未処理の組に基づいて、未処理の特徴値を生成することと、
    試験データのフィルタリングされた組に基づいて、フィルタリングされた特徴値を生成することとを含み、
    試験を分類することは、未処理の特徴値およびフィルタリングされた特徴値のうちの少なくとも１つに従って試験を分類することを含む、請求項１１に記載の試験処理を拡張する方法。
16. 特徴値は、処理能力指標を備える、請求項１１に記載の試験処理を拡張する方法。
17. 処理能力指標は、閾値に関連する最大の試験データ値および閾値に関連する最小の試験データ値のうちの少なくとも１つに基づく、請求項１６に記載の試験処理を拡張する方法。
18. 装置上で複数の試験を実施するための試験処理を拡張する方法であって、
    試験データの未処理の組をデータ源から受信することと、
    データの未処理の組から派生した未処理の特徴値を生成することと、
    試験データの未処理の組の中にある異常値、不良、および欠落データのうちの少なくとも１つを識別することと、
    異常値、不良、および欠落データのうちの少なくとも１つを、試験データの未処理の組から除去して、試験データのフィルタリングされた組を生成することと、
    試験データのフィルタリングされた組から派生した、フィルタリングされた特徴値を生成することと、
    試験データの未処理の組に基づいて、少なくとも２つの試験の間の第１の相関値を識別することと、
    試験データのフィルタリングされたの組に基づいて、少なくとも２つの試験の間の第２の相関値を識別することと、
    未処理の特徴値、異常値、フィルタリングされた特徴値、欠落データ、不良、第１の相関、および第２の相関のうちの少なくとも１つに従って、試験を分類することと、
    試験の分類に従って、試験処理を拡張するための推奨を行うことと、
    推奨と共に試験処理を修正することとを含む。
19. 試験を分類することは、
    未処理の特徴値を第１の閾値と比較することと、
    フィルタリングされた特徴値を第２の閾値と比較することと、
    第１の相関値を未処理の相関閾値と比較することと、
    第２の相関値をフィルタリングされた相関閾値と比較することとを含む、請求項１８に記載の試験処理を拡張する方法。
20. 試験処理を修正することは、第１の相関値および第２の相関値のうちの少なくとも１つが相関閾値に比べて勝っている場合に、第１の試験を除去することを含む、請求項１８に記載の試験処理を拡張する方法。
21. 推奨を行うことは、未処理の特徴値が未処理の閾値に比べて勝っている場合およびフィルタリングされた特徴値がフィルタリングされた閾値に比べて勝っている場合の少なくとも１つである場合に、試験についてのサンプリングを推奨することを含む、請求項１８に記載の試験処理を拡張する方法。
22. 試験データの未処理の組に基づいて、複数の試験を有する試験処理を拡張するための拡張システムであって、
    試験データの未処理の組に基づいて、特徴値を計算するように構成された計算要素と、
    試験処理の少なくとも２つの試験の間の相関を識別するように構成された相関要素と、
    特徴値および相関のうちの少なくとも１つに基づいて、試験のうちの少なくとも１つを分類するように構成された分類要素とを備える。
23. 試験のうちの少なくとも１つの分類に従って、試験処理の修正を推奨するように構成された要素をさらに備える、請求項２２に記載の拡張システム。
24. 試験データの未処理の組から、異常値および欠落データのうちの少なくとも１つをフィルタリングして、試験データのフィルタリングされた組を形成するように構成されたフィルタをさらに備える、請求項２２に記載の拡張システム。
25. 計算要素は、試験データのフィルタリングされた組に基づいて、フィルタリングされた特徴値を計算するように構成される、請求項２４に記載の拡張システム。
26. 分類要素は、未処理の特徴値、フィルタリングされた特徴値、および相関に基づいて、試験のうちの少なくとも１つを分類するように構成される、請求項２５に記載の拡張システム。
27. フィルタは、異常値を動的な異常値の閾値と比較することによって、異常値を識別する、請求項２４に記載の拡張システム。
28. 分類要素は、
    特徴値を閾値と比較し、
    比較に従って、試験を分類するように構成される、請求項２２に記載の拡張システム。
29. 特徴値は、Ｃｐｋ，ＰＣＩ、および予め選択された値のうちの１つを備える、請求項２２に記載の拡張システム。
30. 複数の試験を有する試験処理を拡張するための拡張システムであって、
    試験データの未処理の組に基づいて、試験のうちの少なくとも２つの間の相関を識別するように構成された分析要素と、
    相関に従って、試験処理に対する修正を推奨するように構成された報告要素とを備える。
31. 報告要素は、相関する試験のうちの少なくとも１つの削除を推奨するように構成される、請求項３０に記載の拡張システム。
32. 試験処理と共に生成された試験データの未処理の組に基づいて、特徴値を生成するように構成された取得要素をさらに備える、請求項３０に記載の拡張システム。
33. 試験データの未処理の組をフィルタリングして、試験データのフィルタリングされた組を形成するように構成されたフィルタをさらに備える、請求項３０に記載の拡張システム。
34. フィルタは、
    試験データの未処理の組の中にある異常値を識別し、
    異常値を試験データの未処理の組から除去して、データのフィルタリングされた組を形成するように構成される、請求項３３に記載の拡張システム。
35. 分析要素は、
    試験のうちの少なくとも２つの間の相関を見るために、試験データの未処理の組を分析し、
    試験のうちの少なくとも２つの間の相関を見るために、試験データのフィルタリングされた組を分析するように構成される、請求項３４に記載の拡張システム。
36. 分析要素は
    試験データの未処理の組に基づいて、未処理の特徴値を生成し、
    試験データのフィルタリングされた組に基づいて、フィルタリングされた特徴値を生成し、
    未処理の特徴値およびフィルタリングされた特徴値のうちの少なくとも１つに従って、試験を分類するように構成される、請求項３４に記載の拡張システム。
37. 分析要素は、規則の組と共に動作するように構成され、規則の組は、予め規定された規則の複数の組を有するライブラリから選択される、請求項３０に記載の拡張システム。
38. 拡張された試験処理を用いて、装置を試験するための試験システムであって、
    複数の試験を用いる装置を試験して、試験データの未処理の組を生成するように構成された試験器と、
    試験拡張システムとを備え、試験拡張システムは、
    試験データの未処理の組に基づいて、試験のうちの少なくとも２つの間の相関を識別するように構成された分析要素と、
    相関に従って、試験処理に対する修正を推奨するように構成された報告要素を備える。
39. 報告要素は、相関する試験の少なくとも１つの削除を推奨するように構成される、請求項３８に記載の試験システム。
40. 試験処理と共に生成された試験データの未処理の組に基づいて、特徴値を生成するように構成される取得要素をさらに備え、取得要素である、請求項３８に記載の試験システム。
41. 試験データの未処理の組をフィルタリングして、試験データのフィルタリングされた組を生成するフィルタをさらに備える、請求項３８に記載の試験システム。
42. フィルタは、
    試験データの未処理の組の中にある異常値を識別し、
    試験データの未処理の組から異常値を除去して、データのフィルタリングされた組を形成する、請求項４１に記載の試験システム。
43. 分析要素は、
    試験のうちの少なくとも２つの間の相関を見るために、試験データの未処理の組を分析し、
    試験のうちの少なくとも２つの間の相関を見るために、試験データのフィルタリングされた組を分析するように構成される、請求項４１に記載の試験システム。
44. 分析要素は、
    試験データの未処理の組に基づいて、未処理の特徴値を生成し、
    試験データのフィルタリングされた組に基づいて、フィルタリングされた特徴値を生成し、
    未処理の特徴値およびフィルタリングされた特徴値のうちの少なくとも１つに従って試験を分類するように構成される、請求項４１に記載の試験システム。
45. 分析要素は、試験データの未処理の組および規則に基づいて相関を識別するように構成され、規則は規則のライブラリから選択される、請求項３８に記載の試験システム。
46. 複数の試験を有する試験処理を拡張して、試験データの未処理の組を生成するための拡張システムであって、
    試験データに関連した特徴値および試験のうちの少なくとも２つの間の相関のうち、少なくとも１つに従って試験を分類するための分類手段と、
    試験の分類と共に、試験処理を修正するための修正手段とを備える。
47. 試験データの未処理の組をフィルタリングして、試験データのフィルタリングされた組を形成するためのフィルタ手段をさらに備える、請求項４６に記載の拡張システム。
48. 分類手段は、
    試験のうちの少なくとも２つの間の相関を見るために、試験データの未処理の組を分析し、
    試験のうちの少なくとも２つの間の相関を見るために、試験データのフィルタリングされた組を分析するように構成される、請求項４７に記載の拡張システム。
49. 分類手段は、
    試験データの未処理の組に基づいて、未処理の特徴値を生成するための未処理計算手段と、
    試験データのフィルタリングされた組に基づいて、フィルタリングされた特徴値を生成することとを備え、試験を分類することは、未処理の特徴値およびフィルタリングされた特徴値のうちの少なくとも１つに従って、試験を分類することを含む、請求項４７に記載の拡張システム。
50. フィルタ手段は、
    試験データの未処理の組の中にある異常値および欠落データのうちの少なくとも１つを識別するための識別手段と、
    異常値および欠落データのうちの少なくとも１つを試験データの未処理の組から除去するための除去手段とを備える、請求項４６に記載の拡張システム。
51. 分類手段は、試験のうちの少なくとも２つの間の相関を識別するための相関手段を含み、
    修正手段は、相関する試験のうちの少なくとも１つを試験処理から除去するように構成される、請求項４６に記載の拡張システム。
52. 試験の分類に従って、試験処理を拡張することを推奨するための推奨手段をさらに備える、請求項４６に記載の拡張システム。
53. 試験の分類に従って、試験処理の試験時間を削減することを推奨するための推奨手段をさらに備える、請求項４６に記載の拡張システム。
54. 試験処理を拡張する方法であって、
    複数の試験結果を自動的に分析して、試験分析結果を生成することと、
    試験分析結果に従って、試験処理を調整することとを含む。
55. 複数の試験結果を自動的に分析することは、
    試験結果に関連した特徴値および試験のうちの少なくとも２つの間の相関のうちの少なくとも１つに従って、複数の試験を分類することと、
    試験の分類と共に、試験処理を修正することとを含む、請求項５４に記載の試験処理を拡張する方法。
56. 特徴値は、処理能力指標を備える、請求項５５に記載の試験処理を拡張する方法。
57. 処理能力指標は、閾値に関連する最大の試験データ値および閾値に関連する最小の試験データ値のうちの少なくとも１つに基づく、請求項５６に記載の試験処理を拡張する方法。
58. 試験を分類することは、試験のうちの少なくとも２つの間の相関を識別することを含み、
    試験処理を修正することは、相関する試験の少なくとも１つを試験処理から削除することを含む、請求項５５に記載の試験処理を拡張する方法。
59. 試験を分類することは、規則の複数の組から選択された規則の組に従って、試験を分類することを含む、請求項５８に記載の試験処理を拡張する方法。
60. 試験のうちの少なくとも２つの間の相関を識別することは、
    試験のうちの少なくとも２つの間の相関を見るために、試験データの未処理の組を分析することと、
    試験のうちの少なくとも２つの間の相関を見るために、試験データのフィルタリングされた組を分析こととを含む、請求項５８に記載の試験処理を拡張する方法。
61. 試験結果をフィルタリングして、試験データのフィルタリングされた組を形成することをさらに含む、請求項５４に記載の試験処理を拡張する方法。
62. 試験データの未処理の組をフィルタリングすることは、
    試験データの未処理の組の中にある異常値および欠落データのうちの少なくとも１つを識別することと、
    試験データの未処理の組の中にある異常値および欠落データのうちの少なくとも１つを、試験データの未処理の組から除去することとを含む、請求項６１に記載の試験処理を拡張する方法。
63. 試験結果に基づいて、未処理の特徴値を生成することと、
    試験データのフィルタリングされた組に基づいて、フィルタリングされた特徴値を生成することとをさらに含み、試験を分類することは、未処理の特徴値およびフィルタリングされた特徴値のうちの少なくとも１つに従って試験を分類することを含む、請求項６１に記載の試験処理を拡張する方法。
64. 試験の分類に従って、試験処理を拡張するための推奨を行うことをさらに含む、請求項５４に記載の試験処理を拡張する方法。
65. 試験処理を拡張するための試験拡張システムであって、
    複数の試験結果を自動的に分析して、分析結果を生成するように構成された分析要素と、
    分析結果を報告するように構成された報告要素とを備える。
66. 分析要素は、試験結果に基づいて、少なくとも２つの試験の間の相関を識別するように構成される、請求項６５に記載の試験拡張システム。
67. 報告要素は、相関に従って、試験処理に対する修正を推奨するように構成される、請求項６６に記載の試験拡張システム。
68. 報告要素は、相関する試験の少なくとも１つの削除を推奨するように構成される、請求項６７に記載の試験拡張システム。
69. 試験結果に基づいて、特徴値を生成するように構成される取得要素をさらに備える、請求項６５に記載の試験拡張システム。
70. 試験結果をフィルタリングして、試験データのフィルタリングされた組を形成するように構成されるフィルタをさらに備える、請求項６５に記載の試験拡張システム。
71. フィルタは、
    試験データの未処理の組の中にある異常値を識別し、
    試験データの未処理のデータから異常値を除去して、データのフィルタリングされた組を形成するように構成される、請求項７０に記載の試験拡張システム。
72. 分析要素は、
    少なくとも２つの試験の間の相関を見るために、試験結果を分析し、
    少なくとも２つの試験の間の相関を見るために、試験データのフィルタリングされた組を分析するように構成される、請求項７１に記載の試験拡張システム。
73. 分析要素は、
    試験結果に基づいて、未処理の特徴値を生成し、
    試験データのフィルタリングされた組に基づいて、フィルタリングされた特徴値を生成し、
    未処理の特徴値またはフィルタリングされた特徴値のうちのいずれか１つに従って、試験を分類するように構成される、請求項７０に記載の試験拡張システム。
74. 分析要素は、規則の組と共に動作するように構成され、規則の組は、所定の規則の複数の組を有するライブラリから選択される、請求項６５に記載の試験拡張システム。

Images