JP2011044592A - 信頼度判断装置、信頼度判断方法、及び信頼度判断用コンピュータプログラム - Google Patents

Abstract

【課題】推定モデルの信頼度を判断することを可能とすること。
【解決手段】信頼度判断装置であって、複数の実測値に基づいて統計的に求められた推定モデルについて、複数の実測値における説明変数の値の範囲を複数の区間に分割する区間分割部と、実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、複数の区間のうちどの区間に属するか判定する区間判定部と、区間判定部によって判定された区間に属する複数の実測値と、当該区間における推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断部と、を備える。
【選択図】図１

Description

本発明は、統計的手法によって得られる推定モデルの信頼度を判断する技術に関する。

近年、加工中のプロセス装置の各種センサーデータに対して統計的手法を行うことによって、プロセスを推定するためのモデル（以下、「推定モデル」という。）を構築する取り組みが行われている。具体的には、推定モデルとは、多数のプロセス評価用ロットを用いた実測値からなる教師データ（目的変数及び説明変数の組み合わせ）を予め用意し、複数の教師データに対して統計的手法（多変量解析や重回帰分析や回帰分析など）を行うことによって得られる予測式である。推定モデルを用いることによって、検査装置にて実際に検査を行うことなく加工プロセス結果を判断することが可能であり、さらにテスト品の投入も削減できるため、今後も多く使われていくものである。

従来、量産現場で構築される推定モデルは、ある一定の短期間での目的変数及び説明変数を収集して構築されている。そのため、推定モデルを用いて製品を生産する中で、推定モデルの適正状態が維持できているか否かを適当な時期に判断する必要があった。

例えば、１年で新製品が導入される環境では、モデル生成のための目的変数及び説明変数のデータを半年や１年かけて収集していたのでは、推定モデルが完成したときにはそれを活用すべき機会が無くなってしまう。そのため、例えば１カ月のように短い期間に目的変数と相関が高い説明変数を選択し、推定モデルを構築しなければならない。したがって、推定モデルの構築用にデータを収集した期間よりも長い期間で変動する説明変数が存在した場合や、メンテナンス等により相関が高い説明変数の関係が変化した場合には、推定モデルの精度が低下してしまう可能性がある。もちろん、推定モデルを随時最新データに更新して構築し直すことが可能であればよいが、実際には教師データは容易に集められない場合が多い。そのため、推定モデル自体の信頼度を定期的に確認する必要があった。

一般的なプロセスの推定モデルでは、推定モデルの信頼度自体を確認するのではなく、推定モデルによって得られる予測値と、実際に測定して得られる実測値との差分を算出し、その差分が閾値以上となった場合にアラームを出すことが行われている。例えば、特許文献１では、半導体のＣＭＰ（Chemical Mechanical Polishing）装置にて、研磨時間を予測するモデル構築し、予測値と実測値の差が閾値以上となった場合にエラー判断を行うことが記述されている。また、特許文献２では、各種データ間の相関関係を抽出する方法が開示されている。

特開２００８−２５８５１０号公報 特開２００６−８６４０３号公報

しかし、特許文献１に開示された技術では、単純に予測値と実測値の差分を見るだけであり、推定モデルの信頼度については判断されない。そのため、閾値設定問題となり、誤報との判断が難しい。また、特許文献２に開示された技術は、様々な条件の中から集められたデータの中からデータ間の関係を見つける事を目的としているため、データ群の分割・抽出があるだけで、推定モデルの信頼度を判断することはできない。

上記事情に鑑み、本発明は、推定モデルの信頼度を判断することが可能な信頼度判断装置、信頼度判断方法、及び信頼度判断用コンピュータプログラムを提供することを目的としている。

本発明の一態様は、信頼度判断装置であって、複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を複数の区間に分割する区間分割部と、実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定部と、前記区間判定部によって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断部と、を備える。

本発明の一態様は、信頼度判断方法であって、情報処理装置が、複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を複数の区間に分割する区間分割ステップと、前記情報処理装置が、実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定ステップと、前記情報処理装置が、前記区間判定ステップによって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断ステップと、を備える。

本発明の一態様は、信頼度判断用コンピュータプログラムであって、複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を複数の区間に分割する区間分割ステップと、実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定ステップと、前記区間判定ステップによって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断ステップと、をコンピュータに対して実行させるためのコンピュータプログラムである。

本発明により、推定モデルの信頼度を判断することが可能となる。

信頼度判断装置の機能構成を表す概略ブロック図である。 目的変数と、説明変数と、推定モデルとの例を表す図である。 信頼度判断装置の処理の流れを表すフローチャートである。 分布係数算出部による分布係数算出処理の流れを表すフローチャートである。

図１は、信頼度判断装置１の機能構成を表す概略ブロック図である。信頼度判断装置１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、信頼度判断用コンピュータプログラムを実行することによって、区間分割部１０１、分布係数算出部１０２、区間判定部１０３、判定部１０４、寄与率算出部１０５、分散比算出部１０６、比較部１０７、出力部１０８を備える装置として機能する。なお、信頼度判断装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）等のハードウェアを用いて実現されても良い。

推定モデルは、多数のプロセス評価用ロットを用いた実測値からなる複数の教師データ（目的変数及び説明変数の組み合わせ）を予め用意し、複数の教師データに対して統計的手法（多変量解析や重回帰分析や回帰分析など）を行うことによって得られる予測式である。このようにして得られる推定モデルは、例えば生産を続ける中で良品判定や消耗状態などのプロセスの変化状態の特徴を表すために用いられる。推定モデルが得られた後に、定期的にテスト評価用ロットについてのデータ（以下、「テストデータ」という。）が得られる。テストデータは、テスト評価用ロットについての説明変数の値と、テスト評価用ロットについて実際に測定を行うことによって得られる目的変数の実測値とを有する。信頼度判断装置１は、多変量解析や重回帰分析などの統計的手法により構築された推定モデルと推定モデルの構築に用いられた全ての教師データとテストデータとを入力として受け付け、教師データ及びテストデータに基づいて推定モデルの信頼度を判断し、判断結果を出力する。このような処理を行うため、信頼度判断装置１の各機能部は以下のように動作する。

区間分割部１０１は、推定モデルを生成した際に用いられた説明変数の値の範囲を分割し複数の区間を形成する。分布係数算出部１０２は、分布係数算出処理を実行することによって、各区間での分布係数を算出する。区間判定部１０３は、入力されたテストデータが区間分割部１０１によって形成された複数の区間のどの区間に所属するか判定する。判定部１０４は、テストデータが所属する区間において、推定モデル生成時に十分なデータ分布が存在していたか否かを判定する。寄与率算出部１０５は、テストデータが所属する区間の寄与率を算出する。分散比算出部１０６は、テストデータが所属する区間の分散比を計算する。比較部１０７は、テストデータが所属する区間について寄与率と分散比とを比較し信頼度の判断を行う。出力部１０８は、音声出力部や表示部によって、判定部１０４による判定結果、又は比較部１０７による判断結果を信頼度判断装置１のユーザーに対して出力する。また、出力部１０８は、ユーザーに対してではなく、他の装置に対して判断結果を表すデータを出力するように構成されても良い。

図２は、目的変数と、説明変数と、推定モデルとの例を表す図である。教師データとなる目的変数及び説明変数は、図２における各黒い点であり、例えば半導体製造装置がプロセス評価用ロットを処理した際に得られる。推定モデルは、図２における直線であり、目的変数及び説明変数から多変量解析や重回帰分析や回帰分析などによって得られる。なお、図２では、目的変数及び説明変数の種類がそれぞれ一つであるが、それぞれ複数であっても良い。また、推定モデルとは、線形あるいは非線形を含めた実測に対する近似直線や曲線を意味する。

図３は、信頼度判断装置１の処理の流れを表すフローチャートである。まず、区間分割部１０１は、推定モデルの説明変数のデータ範囲を、所定の方法に基づいて複数の区間に分割する（ステップＳ１０１）。分割後の区間は、図３のように一定の幅となっても良いし、区間毎に幅が異なっても良い。また、各区間は、図３のように隣同士でオーバーラップしないように設定されても良いし、隣同士で一部がオーバーラップするように（重なり合うように）設定されても良い。

次に、分布係数算出部１０２は、分散係数算出処理を実行することによって、各区間における分布係数を算出する（ステップＳ１０２）。分布係数は、推定モデルの構築時の教師データの数が十分であったか否か、且つ、１点に集中せずに分散していたか否かを表す。

図４は、分布係数算出部１０２による分布係数算出処理の流れを表すフローチャートである。まず、分布係数算出部１０２は、分布係数の算出対象となる区間を選択する（ステップＳ２０１）。この選択はどのような順番で行われても良く、例えば説明変数の値が小さい方から順に選択しても良い。

次に、分布係数算出部１０２は、分布係数の算出対象となった区間にあるデータ点を区間の端から順番に基準点として選択し、さらに基準点の次の順番のデータ点を隣接点として選択する（ステップＳ２０２）。データ点とは、一つの教師データを表す点であり、図２に表される一つの黒い点である。また、上記の順番とは、説明変数の軸にそって小さい方から大きい方への順でも良いし、目的変数の軸や両方の軸にそって小さい方から大きい方への順でも良いし、いずれかの軸に沿って大きい方から小さい方への順でも良いし、その他の順であっても良い。

次に、分布係数算出部１０２は、基準点と隣接点との間の距離（以下、「隣接間距離」という。）を算出する（ステップＳ２０３）。次に、分布係数算出部１０２は、算出された隣接間距離が、予め設定されている閾値よりも大きいか否か判定する（ステップＳ２０４）。隣接間距離が閾値以下である場合（ステップＳ２０４−ＮＯ）、分布係数算出部１０２は、現在の隣接点を無視し、さらに次の順のデータ点を新たな隣接点として選択する（ステップＳ２０５）。そして、分布係数算出部１０２は、新たな隣接点に基づいて隣接間距離を算出し（ステップＳ２０３）、閾値との比較を行う（ステップＳ２０４）。

一方、ステップＳ２０４の処理において隣接間距離が閾値よりも大きい場合（ステップＳ２０４−ＹＥＳ）、分布係数算出部１０２は、算出対象としている区間における隣接間距離の累計を更新する（ステップｓ２０６）。次に、分布係数算出部１０２は、カウンタの値をインクリメントする（ステップＳ２０７）。このカウンタの値は、隣接間距離の累計が行われた回数を表し、言い換えれば隣接間距離の累計に用いられた基準点及び隣接点の組み合わせの数を表す。

次に、分布係数算出部１０２は、分布係数の算出対象となっている区間内の全てのデータ点を基準点としてステップＳ２０２〜Ｓ２０７の処理を行ったか否か判定し（ステップＳ２０８）、基準点となっていないデータ点が残らなくなるまでステップＳ２０２〜Ｓ２０７の処理を繰り返し実行する（ステップＳ２０８−ＮＯ）。なお、ステップＳ２０２に処理が戻った場合には、分布係数算出部１０２は、それまで基準点としていたデータ点の次の順のデータ点を新たな基準点とし、さらに新たな基準点の次の順のデータ点を新たな隣接点として処理を行う。

一方、基準点となっていないデータ点がなくなると（ステップＳ２０８−ＹＥＳ）、分布係数算出部１０２は、最新の隣接間距離の累計の値を最新のカウンタの値で除算することによって分布係数を算出する（ステップＳ２０９）。

次に、分布係数算出部１０２は、区間分割部１０１によって形成された全ての区間についてステップＳ２０１〜Ｓ２０９の処理が完了したか否か判定し（ステップＳ２１０）、全ての区間について分布係数が算出されるまでステップＳ２０１〜Ｓ２０９の処理を繰り返し実行する（ステップＳ２１０−ＮＯ）。なお、ステップＳ２０１に処理が戻った場合には、分布係数算出部１０２は、隣接間距離の累計の値及びカウンタの値をゼロにリセットして、ステップＳ２０１以降の処理を実行する。
一方、全ての区間について分布係数が算出されると（ステップＳ２１０−ＹＥＳ）、分布係数算出部１０２は、分布係数算出処理を終了する。

分布係数算出処理が終了すると、区間判定部１０３が、テストデータが区間分割部１０１によって形成された複数の区間のどの区間に所属するか判定する（ステップＳ１０３）。次に、判定部１０４が、ステップＳ１０３で判定された区間の分布係数が閾値以上であるか否か判定する（ステップＳ１０４）。分布係数が閾値未満である場合（ステップＳ１０４−ＮＯ）、すなわち推定モデル生成時に十分な数の教師データが存在していなかった場合、判定部１０４は、推定モデル生成時の教師データが少ないためモデル信頼度を判断できないと判断する（ステップＳ１０５）。この場合、出力部１０８は、判定部１０４による「モデル信頼度判断不能」という判断結果を出力する。

一方、分布係数が閾値より大きい場合（ステップＳ１０４−ＹＥＳ）、すなわち推定モデル生成時に十分な数の教師データが存在していた場合、寄与率算出部１０５が、ステップＳ１０３で判定された区間の推定モデルの寄与率を算出する（ステップＳ１０６）。具体的には、寄与率算出部１０５は以下の式１にしたがって推定モデルの寄与率を算出する。なお、式１におけるｉの値は、各教師データの識別情報を表す。Ｙｉ_ｐｒｅは説明変数がＸｉであるときに推定モデルによって算出される予測値を表し、ａ＋ｂＸｉに等しい。Ｙｉは説明変数がＸｉであるときの実測値を表し、教師データから得られる。また、Ｙ_ａｖｅは、実測値の平均値を表す。また、式１に用いられる説明変数Ｘｉは、教師データとして存在する説明変数Ｘｉのうち、ステップＳ１０３で判定された区間に属するもの全てである。したがって、Ｙ_ａｖｅは、教師データのうちその説明変数ＸｉがステップＳ１０３で判定された区間に属するもの全ての教師データにおける目的変数の実測値の平均値を表す。

式１では、ステップＳ１０３で判定された区間に属する各教師データの実測値と平均値との差分の二乗の累積値を、各予測値と平均値との差分の二乗の累積値で除算した値が寄与率として得られる。ここで、寄与率は、推定モデルの適合度を示す値である。寄与率の算出方法は、数１にしたがった方法に限定されず、実測値に対する予測値の適合度合いを表す値が算出できれば、例えば実測値と予測値との差分値を寄与率とするように他の算出方法であっても良い。

次に、分散比算出部１０６が、ステップＳ１０３で判定された区間での推定モデル生成時の教師データの中心に対して、テスト評価用ロットの予測値と実測値との分散の比率を計算する。具体的には、分散比算出部１０６は以下の式２にしたがって分散比を算出する。なお、Ｙｔ_ｐｒｅは、説明変数がテストデータの説明変数Ｘｔであるときに推定モデルによって算出される予測値を表し、ａ＋ｂＸｔに等しい。Ｙｔは説明変数がＸｔであるときの実測値を表し、テストデータから得られる。また、Ｙ_ａｖｅは、実測値の平均値を表す。また、式２に用いられる説明変数Ｘｔは、テストデータとして存在する説明変数Ｘｔのうち、ステップＳ１０３で判定された区間に属するもの全てである。したがって、Ｙ_ａｖｅは、テストデータのうちその説明変数ＸｔがステップＳ１０３で判定された区間に属するもの全てのテストデータにおける目的変数の実測値の平均値を表す。

式２では、ステップＳ１０３で判定された区間に属する各テストデータの実測値と平均値との差分の二乗の累積値を、各予測値と平均値との差分の二乗の累積値で除算した値が分散比として得られる。ここで、分散比は、推定モデルの適合度を示す値である。分散比の算出方法は、数２にしたがった方法に限定されず、実測値に対する予測値の適合度合いを表す値が算出できれば、例えば実測値と予測値との差分値を分散比とするように他の算出方法であっても良い。

比較部１０７は、寄与率算出部１０５によって算出された寄与率と分散比算出部１０６によって算出された分散比とを比較する（ステップＳ１０８）。分散比が寄与率よりも大きい場合（ステップ１０８−ＹＥＳ）、比較部１０７は、推定モデルの信頼度は高いと判断し、推定モデルの再構築は不要と判断する（ステップＳ１０９）。一方、分散比が寄与率以下である場合（ステップ１０８−ＮＯ）、比較部１０７は、推定モデルの信頼度は低いと判断し、推定モデルの再構築が必要と判断する（ステップＳ１１０）。ステップＳ１０９又はステップＳ１１０の処理の後、出力部１０８は判断結果を出力する。

信頼度判断装置１は、実際の製造装置内の演算装置や個々の製造装置とは関係ない独立の情報処理装置として実現されても良い。
このように構成された信頼度判断装置１によれば、一度構築した推定モデルの安定性を、新たなプロセス評価用ロットに基づいた新たな教師データを改めて準備することなく容易に判定することが可能となり、推定モデルの信頼度を容易に確認することが可能となる。

また、信頼度判断装置１によれば、一度構築した推定モデルの信頼度を、教師データの区間別に判断しており、教師データが少ない区間については推定モデルの信頼度を判断することなく「判断不能」とするため、教師データが少ない区間において誤報を出力してしまうことを防ぐことが可能となる。

また、信頼度判断装置１によれば、推定モデルの信頼度の判断において、推定モデルの再構築に必要な程度の多くのプロセス評価用ロットを用いた多くの教師データによって判断を行うのではなく、少ない数のテスト評価用ロットを用いた少ないテストデータによって判断を行う。そのため、実測を行うテスト評価用ロットの数を減らすことが可能であり、テスト評価用ロットではなく実際の製品に係る処理の効率を向上させることが可能となる。

また、信頼度判断装置１によれば以下のようなことも可能となる。すなわち、ある短期間で相関が高いパラメータを選択して構築した推定モデルは、より長い期間で検討した場合に本来は必要である相関パラメータを入れずに構築している場合が存在する。しかしながら、信頼度が低下した場合にはすぐに再構築が必要であることを判断することが可能であるため、そのような短期間に得られた教師用データにより構築された推定モデルであっても実運用することが可能となる。したがって、推定モデルが完成した時には該当製品の生産が終了していたというような状況を避ける事が可能となる。

なお、信頼度判断装置１の活用例としては、装置のセンサーデータを活用してプロセス内容を推定する半導体装置が挙げられる。

＜変形例＞
比較部１０７は、ステップＳ１０８の評価ロットの分散比が寄与率より小さい回数が一定回数以上繰り返された場合に、推定モデルの再構築が必要と判断しても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…信頼度判断装置， １０１…区間分割部， １０２…分布係数算出部， １０３…区間判定部， １０４…判定部， １０５…寄与率算出部， １０６…分散比算出部， １０７…比較部（判断部）， １０８…出力部

Claims (4)

1. 複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を複数の区間に分割する区間分割部と、
   実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定部と、
   前記区間判定部によって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断部と、
   を備える信頼度判断装置。
2. 前記区間判定部によって判定された区間において、前記推定モデルを求める際に用いられた前記実測値の数又は分布について評価するための分布係数を算出する分布係数算出部をさらに備え、
   前記分布係数が所定の基準を満たさない場合には、前記判断部は前記信頼度の判断を行わない、ことを特徴とする請求項１に記載の信頼度判断装置。
3. 情報処理装置が、複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を複数の区間に分割する区間分割ステップと、
   前記情報処理装置が、実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定ステップと、
   前記情報処理装置が、前記区間判定ステップによって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断ステップと、
   を備える信頼度判断方法。
4. 複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を複数の区間に分割する区間分割ステップと、
   実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定ステップと、
   前記区間判定ステップによって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断ステップと、
   をコンピュータに対して実行させるための信頼度判断用コンピュータプログラム。

Images