JP4417897B2 - 製造データ解析方法及び製造データ解析装置 - Google Patents

製造データ解析方法及び製造データ解析装置 Download PDF

Info

Publication number
JP4417897B2
JP4417897B2 JP2005267348A JP2005267348A JP4417897B2 JP 4417897 B2 JP4417897 B2 JP 4417897B2 JP 2005267348 A JP2005267348 A JP 2005267348A JP 2005267348 A JP2005267348 A JP 2005267348A JP 4417897 B2 JP4417897 B2 JP 4417897B2
Authority
JP
Japan
Prior art keywords
data
value
average value
influence
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005267348A
Other languages
English (en)
Other versions
JP2007079971A (ja
Inventor
英大 白井
英隆 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to JP2005267348A priority Critical patent/JP4417897B2/ja
Priority to US11/362,102 priority patent/US7584162B2/en
Publication of JP2007079971A publication Critical patent/JP2007079971A/ja
Application granted granted Critical
Publication of JP4417897B2 publication Critical patent/JP4417897B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Description

本発明は、製造工程から得られる製造データの解析方法及びその解析装置に関する。
複数の工程を経て製品を製造する場合に、要求する品質を満たし、かつ製品の生産効率を高めるために製造工程のどのような要因が製品の品質に影響するかを統計的及び物理的に解析する必要がある。複雑な製造工程を経て製品が製造される場合には、製品の品質に影響する要因は多数をあるので全ての要因を物理的に解析して影響の強い要因を抽出するには膨大な手間を必要とする。そのため、各工程の製造データを収集してデータ解析を行って要因の絞り込みを行った後、物理解析を行うことが一般的である。その際、解析を効率良く行うためにデータの自動解析や、大量のデータの中の隠された因果関係やパターンを探索するデータマイニングが行われている。
しかしながら実際に得られる製造データには欠損値が存在することが多いのでそのままでは解析することが難しい。
例えば、図19(A)に示すように項目Aと項目Yの関連性を解析する場合、項目Aと項目Yの両方のデータが存在するサンプル01は解析対象となるが、どちらか一方のデータが欠損しているサンプル02,03は解析対象とはならない。
また、図19(B)に示すように独立変数(説明変数)の項目A、B、Cと従属変数(目的変数)の項目Yの因果関係を解析する場合、サンプルLot0は、項目A、B、Cと、独立変数の項目Yの値が得られているので関連性を調べることができるが、サンプLot01は独立変数の項目Cのデータが欠損し、サンプルLot02は独立変数の項目Bと従属変数の項目Yのデータが欠損し、サンプルLot03は、項目Aと項目Cのデータが欠落しているので、項目A、B,Cと項目Yとの関連性は不明である。
図19(C)は、図19(B)のようにサンプルに欠損値がある場合に、装置名の項目Cが欠損しているサンプルに対しては「不明」(欠損値を示す文字列)で代替し、数値項目Bが欠損しているサンプルに対しては、各サンプルの項目Bの値の平均値「3」で代替した場合を示している。
図19(D)は、図19(C)のサンプルから欠損値の多い項目Cを除いた場合の各項目の値と解析結果を示している。サンプルLot02は、従属変数の項目Yの値が不明であるので解析対象とならない。
図20は、図19(D)のサンプルデータを従属変数(項目Y)への影響の強さを独立変数(項目A、B、C)で比較した場合の比較結果を示している。
項目Aの値による項目Yの値の差は「1」、項目Bの値による項目Yの値の差は「3.5」、項目Cの値によるYの差は不明である。
従来、複数の製造データの解析を行う場合、欠損値が有るときには欠損値を正常値と同等に扱うために欠損値に代替値を挿入したり、欠損値の多いサンプルを除いたり、欠損値の多い項目を除いたりしてデータを解析する必要があった。
特許文献1には、サンプルデータの特徴値に欠損がある場合に、欠損データと正常データのマンハッタン距離を求め、マンハッタン距離が最小となる正常データを欠損データの代替値として補完することが記載されている。
特許文献2には、複数の特徴量とイベントを組み合わせて相互に関連性のある部分状況データを抽出する場合に、入力イベントがどの選択領域内に存在するか否かを判定すること及び入力イベントに欠損値があるときに、欠損値以外の特徴量に対応する選択領域内のイベントに基づいて欠損値の補完値を算出することが記載されている。
上述したように従来は、解析対象のデータに欠損値がある場合、何らかの方法で欠損値の代替値を求めその代替値を使用してデータ解析を行うか、欠損値の多いサンプルデータを除いてデータ解析を行っていた。
特許第3654193号公報 特開2001−184329号公報
しかしながら、欠損値の代わりに入れる代替値としてどのような値を使用するか、あるいは欠損値の割合の高いサンプルを除く基準を何パーセントに設定するか等により解析結果が変わってしまうので解析精度にばらつきが生じてしまうという問題点がある。さらに、項目毎に欠損していないサンプルを使用すると、サンプル数が項目毎に異なることになるので項目間の解析精度にばらつきが生じることになる。
例えば、回帰木分析では、独立変数である項目の値により従属変数である項目の値が高い集合と低い集合の2つの集合に分けて独立変数の従属変数に対する影響の強さを判定する必要がある。サンプルに欠損値があると分析できなので上述したように代替値を入れて分析することになるが、代替値の値により従属変数の値が高い集合か低い集合の何れかの集合に含まれてしまうことになり、それにより解析誤差が生じてしまう。
本発明の課題は、製造データに欠損値がある場合のデータの解析精度を高めることである。
本発明の製造データ解析方法は、入力装置から入力される、複数の製造工程の複数の説明変数の値と前記複数の製造工程により製造される製品の品質を示す目的変数の値とからなる複数の製造データを記憶手段に格納する処理と、前記記憶手段から前記複数の製造データを取得し、取得した前記複数の製造データを、前記説明変数毎に前記説明変数の値により第1及び第2の集合に分割し、分割した前記第1の集合と前記第2の集合の製造データを前記記憶手段に格納する処理と、前記記憶手段から前記第1の集合の前記製造データと前記第2の集合の前記製造データを取得し、取得した前記第1の集合の前記目的変数の値の第1の平均値と、前記第2の集合の前記目的変数の値の第2の平均値と、前記第1及び第2の集合の前記目的変数の値の分散を算出し、算出した前記第1及び第2の平均値と前記分散とに基づいて影響力データを算出すると共に、算出した前記第1の平均値と前記第2の平均値と前記影響力データを前記記憶手段に格納する処理と、前記記憶手段から前記複数の製造データを取得し、取得した前記複数の製造データを前記説明変数毎に前記説明変数の欠損している製造データの集合と、前記説明変数が欠損していない製造データの集合に分割し、前記説明変数の欠損している製造データの前記集合と前記説明変数の欠損していない製造データの前記集合を前記記憶手段に格納する処理と、前記記憶手段から前記影響力データを算出した前記説明変数と同じ説明変数が欠損している製造データの前記集合を取得し、取得した前記集合の前記目的変数の値の第3の平均値を算出し、算出した前記第3の平均値を前記記憶手段に格納する処理と、前記記憶手段から前記説明変数が欠損している製造データの前記集合の前記目的変数の値の前記第3の平均値と、前記第1の集合の前記第1の平均値と、前記第2の集合の前記第2の平均値を取得し、取得した前記第3の平均値と前記第1の集合と前記第2の集合の一方の集合の前記第1又は第2の平均値との間に有意な差があるか否かを示す第1の確率データを算出し、前記第3の平均値と前記第1の集合と前記第2の集合の他方の集合の前記第1又は第2の平均値との間に有意な差があるか否かを示す第2の確率データを算出し、算出した前記第1の確率データと前記第2の確率データの和の平均値を欠損影響率データとして算出すると共に、算出した前記欠損影響率データを前記記憶手段に格納する処理と、前記記憶手段から前記影響力データと前記欠損影響率データを取得し、取得した前記影響力データと前記欠損影響率データを所定の判断基準と照合して、前記説明変数の欠損している製造データが解析結果に与える影響を評価する処理とをコンピュータが実行する。
この発明によれば、製造データの一部に欠損がある場合でも、欠損値のある集合を解析することで製造データの解析精度を高めることができる。また、説明変数の欠損値が目的変数に与える影響を解析することで解析の信頼性を高めることができる。
上記の製造データ解析方法において、複数の説明変数における同一の装置名の出現回数を計数し、計数した出現回数を新たな説明変数として追加して影響力データを算出する。
このように構成することで説明変数の特定の装置が解析結果に与える影響を評価することができる。
上記の製造データ解析方法において、前記説明変数の値である文字列又は数値の欠損数を計数し、計数した欠損数を新たな説明変数として追加して影響力データを算出する。
このように構成することで説明変数の欠損値が解析結果に与える影響を評価することができるのでデータ解析の信頼性を高めることができる。
図1は本発明の原理説明図である。図1において、製造データ解析装置は、複数の製造工程の複数の説明変数の値と前記複数の製造工程により製造される製品の品質を示す目的変数とからなる製造データを取得するデータ取得手段1と、前記データ取得手段1により取得した製造データの中で前記説明変数が欠損している製造データの集合と前記説明変数が欠損していない製造データの集合に分割する分割手段2と、前記説明変数の値が欠損している製造データの集合と前記説明変数が欠損していない製造データの集合を分析して前記説明変数の前記目的変数に対する影響の度合いを評価する分析手段3とを備える。
この発明によれば、製造データの一部に欠損がある場合でも欠損値のある集合を解析することで製造データの解析精度を高めることができる。また、説明変数の欠損値が目的変数の値に与える影響を解析することで解析の信頼性を高めることができる。
本発明によれば、製造データの一部に欠損がある場合でも欠損値のある集合を解析することで製造データの解析精度を高めることができる。また、説明変数の欠損値が解析結果に与える影響を評価することで解析の信頼性を高めることができる。
以下、本発明の実施の形態を図面を参照しながら説明する。図2は、実施の形態の製造データ解析装置11の構成を示す図である。
図2において、入力装置12はキーボード等からなり、製造ラインの各工程の製造データを入力する。演算処理装置13はパーソナルコンピュータなどからなり、後述する製造データ解析処理を実行し、解析結果をディスプレ等からなる出力装置14に表示する。
図3は、実施の形態の製造データ解析処理の概略を示すフローチャートである。以下の処理は演算処理装置13の図示しないCPUにより実行され、演算途中のデータ及び解析結果のデータはメモリ等の記憶手段に格納される。
各製造工程から得られる製造データ(説明変数の値と目的変数の値)の中で分析対象の説明変数の項目を選択する(図3,S11)。説明変数とは、例えば、各製造工程で使用される装置名、製造条件、処理日時などの製品の出来映え(品質)に影響を与える要因であり、目的変数とは説明変数の影響を受けて値が決定される変数であり、製品の品質を示す不良率、歩留まり、製品の電気的特性値などである。
次に、説明変数の項目に無関係に同じ値の出現回数を計数して出現回数を集計する(S12)。説明変数の値別の出現回数とは、例えば、各製造工程で同一の装置が使用されている場合の装置番号、製造条件、計測値、欠損値等の値の出現回数である。
次に、各製造工程から収集した製造データの中で説明変数の値が欠損している製造データの集合と、説明変数の値が欠損していない製造データの集合に分割する(S13)。
次に、各説明変数の評価値を算出する(S14)。評価値とは、例えば、説明変数の目的変数に対する影響の強さを示す値、欠損のある製造データを含めて解析した場合と欠損のある製造データを除いて解析した場合で解析結果が異なる確率などである。
次に、各説明変数の評価値をリスト表示し、同時に説明変数の値(装置番号、工程条件など)と目的変数の値の関係を示すグラフを表示する(S15)。
最後に、各説明変数の評価値を予め定めてある判断基準と照合してデータ解析を行い、解析結果に基づいて次にどのような解析を行うかを決める(S16)。
上記の製造データ解析処理によれば、説明変数の欠損値のある製造データの集合と欠損値の無い製造データの集合に分割し、説明変数の値が欠損している製造データが解析結果に及ぼす影響を評価することでデータの解析精度及び解析の信頼性を高めることができる。
次に、半導体の製造工程から得られる製造データを解析する場合を例に取り製造データ解析方法を具体的に説明する。図4は、半導体の製造工程と各製造工程で使用される装置を示す図である。
半導体製造工程は、シリコン基板に絶縁膜を形成する工程、パターンを形成する工程、エッチングする工程等を何回も繰り返し、合計で1000以上の工程を経て製品が完成する。
図4は、半導体製造工程の一部を示しており、前処理工程と、膜を形成するA膜工程と、露光するためのB露光工程と、膜を形成するC膜工程と、製品の最終検査を行い不良率を測定する不良率測定工程からなる。
前処理工程では装置No66の装置が使用され、次のA膜工程では装置No1〜5の装置が使用され、次のB露光工程では装置No1とNo7の装置が使用されている。また、次のC膜工程では装置No1とNo8の装置が使用され、不良率測定工程では装置No109〜113の装置が使用されている。
半導体の製造工程では異なる工程で同じ装置が繰り返し使用されており、例えば、装置No1の装置はA膜工程とB露光工程とC膜工程で使用されている。
次に、上記の半導体製造工程の説明変数と目的変数の因果関係の強さを解析する製造データ解析処理を図5のフローチャートを参照して説明する。
最初に各製造工程の製造データを取得してメモリ、外部記憶装置等に記憶すると共に、製造データの中の異常値と外れ値を除外する(図5,S21)。製造データが異常値または外れ値か否かの判断は、例えば、解析対象の製造工程に存在しない装置名を異常値と判断し、説明変数の値がサンプルデータの平均値の±4×標準偏差の範囲に入らないとき、その値を外れ値と判断する。
図6は、図4の半導体の製造工程から得られる製造データの一例を示しており、サンプルデータのLot45のB露光条件の説明変数の値「100」は、他のサンプルの値の平均値±4×標準偏差の範囲に入らないので外れ値と判断され、同じサンプルデータのC膜工程の説明変数である装置名「sh???」については、そのような装置名は登録されていないので異常値と判断され、それらのデータは欠損値として処理される。
次に、分析対象項目を選択する(S22)。この分析対象項目としては、例えば、図6に示すようなA膜工程の装置名、B露光工程の装置名、B露光工程条件、C膜工程装置名、不良率測定工程で測定される不良率が選択される。
次に、複数の説明変数で同一の値が出現する回数を計数して値別の出現回数を集計する(S23)。この値別の出現回数には装置名等の文字項目の欠損数、数値項目の欠損数も含まれる。
次に、説明変数毎に説明変数の値が欠損している製造データの集合と値が欠損していない製造データの集合に分割する(S24)。
次に、各説明変数の目的変数に対する影響の強さを示す影響力データ(第1の評価値)と、欠損値を含む製造データが説明変数と目的変数の関係に影響を与える度合いを評価するための欠損影響率(第2の評価値)と、解析の信頼性を示す解析信頼率(第3の評価値)を算出する(S25)。
影響力データは、説明変数毎にその値(装置名あるいは数値)により2つの集合に分割し、2つの集合の目的変数の値の平均値の差を2つの集合の標準偏差の差で標準化した値として求める。なお、説明変数の値が3つ以上ある場合には、影響力データの値が最も大きくなるように2つの集合に分割する。
例えば、t検定のt値を用いて影響力データを以下のように算出する。
分割した2つの集合の目的変数の値の平均値をX1、X2、目的変数の平方和をS1、S2、データ数をN1、N2とすると、分割された集合の分散に有意差がない場合には、t値は以下の式で表せる。
t=(X1−X2)
×{(1/N1+1/N2)・(S1+S2)/(N1+N2−2)}−1/2
欠損影響率は、例えば、以下のようにして算出する。
同じ説明変数で欠損のあるデータの集合の目的変数の値の平均値と分割した2つの集合の内で平均値の高い方の集合(第1の集合)の目的変数の平均値に有意な差があるか否かを示す確率と、同じ説明変数で欠損のあるデータの集合の目的変数の平均値と分割した2つの集合の内で平均値の低い方の集合(第2の集合)の目的変数の平均値に有意な差があるか否かを示す確率の和の平均値として算出する。
解析信頼率(第3の評価値)は、例えば、解析信頼率=(1−欠損影響率)×(分割した2つの集合の目的変数の平均値に有意な差があるか否かを示す確率)、として算出する。
次に、全ての説明変数と目的変数について上記の影響力データ、欠損影響率、解析信頼率の計算が終了したか否かを判別する(S26)。分析が終了していなければ(S26,NO)、ステップS24に戻り、残りの説明変数の値を欠損値の集合と欠損値以外の集合に分割して上記の処理を行う。
他方、全ての説明変数の項目と目的変数の関係の分析が終了したときには(S26,YES)、ステップS27に進み、算出した影響力データに基づいて説明変数を順位付けする。
次に、各説明変数と目的変数の因果関係の強さを示す影響力データの順位、影響力データ、欠損影響率、解析信頼率をリスト表示し、同時に説明変数の値と目的変数の値の分布状態をグラフ表示する(S28)。
次に、各説明変数の影響力の順位と影響力データと欠損影響率を予め定めてある判断基準と照合してデータ解析の結論を出す(S29)。具体的には、影響力の順位が5位以内で、条件(a)影響力データが2以上で、条件(b)欠損影響が20%以下を満たすか否かを判断する。
解析対象の説明変数の影響力データの順位が5以内で、判断条件(a)と(b)を全て満たす場合には、ステップS30に進み、この説明変数が目的変数(例えば、不良率)を左右する要因であると判断して確証を得るための詳細な調査を行う。
また、解析対象の説明変数の影響力データが「2」以上で条件(a)を満たすが、欠損影響率が20%より大きく条件(b)を満たさない場合には、ステップS31に進み、この説明変数の欠損値が重要であると判断し、欠損値の真の値を調査する(サンプルデータの再取得などにより)。
また、解析対象の説明変数の影響力データが「2」未満で条件(a)を満たさないときには、ステップS32に進み、解析対象のサンプルデータからは信頼できる結果が得られないと判断し、サンプルデータの追加や他の説明変数の解析などを検討する。
次に、上述した製造データ解析処理の内容を、図6と図7の各工程の製造データを用いて具体的に説明する。
図7は、図6の製造データに装置No1の使用回数と文字項目の欠損数と数値項目の欠損数を説明変数の項目として追加した場合の製造データを示している。
図7の説明変数の「A膜工程装置名」に関して欠損のある集合と無い集合の分割について説明する。サンプルデータの中でA膜工程の装置名が欠損しているのは、45個のサンプルデータの内で、Lot03、Lot07、Lot11、Lot15、Lot19、Lot23、Lot27、Lot31、Lot35、Lot39、Lot43、Lot45である。従って、それらのサンプルデータがA膜工程装置名の値が欠損している製造データの集合となり、残りのサンプルデータが欠損の無い製造データの集合となる。
他の説明変数に関しても同様に欠損のある製造データの集合と欠損の無い製造データの集合に分割する。
次に、各サンプルデータについて同一の値の出現回数と文字項目の欠損回数と数値項目の欠損回数を計数する。
例えば、サンプルデータLot02は、工程全体で装置No1の装置が2回使用されているので装置No1の使用回数が「2」となり、B露光工程の装置名が欠損し、B露光工程条件が欠損しているので文字項目欠損数と数値項目欠損数がそれぞれ「1」となり、それらの値が新たな説明変数の値として追加される。
この結果、図7に示すようにサンプルデータの説明変数として「装置No1の使用回数」と「文字項目欠損数」と「数値項目欠損数」が追加される。
以上のようにして製造データの説明変数として「装置No1の使用回数」と「文字項目欠損数」と、「数値項目欠損数」を追加したなら、それらのデータに基づいて各説明変数の影響力データ、影響力の順位、欠損影響率、解析信頼率を計算する。
図8は、図7の製造データの分析結果の評価値リストを示しており、この評価値リストは、影響力データにより各説明変数が目的変数に与える影響の強さを順位づけたものである。
図8から「装置No1使用回数」が目的変数である不良率に与える影響が最も大きく、「B露光工程条件」が不良率に与える影響が2番目に大きく、「文字項目欠損数」が不良率に与える影響が3番目に大きいことが分かる。
説明変数「装置No1使用回数」の値は、サンプルデータ全体で0,1,2,3の4個であるので、それらの値で2つの集合に分割し、分割した集合の影響力データの値が最も大きくなるように集合を選定する。この例では、装置No1の使用回数が2以下の集合と、使用回数が3以上の2つの集合に分割したときに影響力データの値が最も大きくなった。
説明変数の「装置No1使用回数」に関しては、使用回数が2以上か、3以上かによりサンプルデータを2つの集合に分割した。図8に示すように、対象値(装置No1使用回数)が2以下の集合(目的変数の値が低い方の集合)の目的変数の平均値meanは「mean=5.79」、標準偏差sは「s=1.599」、データ数Nは「N=37」となった。また、対象値が3以上の集合(目的変数の値が高い方の集合)の目的変数の平均値は「mean=9.10」、標準偏差は「s=2.229」、データ数は「N=4」となった。
これら2つの集合の目的変数の平均値の差を標準分散の差で標準化し、t検定によりt値を計算すると、影響力データの値は「3.7929」となる。全ての説明変数の影響力データを計算し、欠損影響率も考慮して影響力の順位づけを行ったところ、説明変数「装置No1使用回数」の不良率に対する影響力の順位が1番高かった。
実施の形態では、装置No1の使用回数の欠損値は存在しないものとして計算したので、欠損影響率は「0」、解析信頼率は「99.951%」となった。
図9は、装置No1の使用回数と製品の不良率の関係を示すグラフであり、グラフの横軸は装置No1の使用回数、縦軸は不良率(パーセント)を示している。
図9のグラフから、装置No1の使用回数が2以下のデータの不良率の平均値は「5.53%」の近傍に分布しており、使用回数が3以上のデータとは不良率の平均値が異なることが分かる。
上記の結果から装置No1の装置の使用回数が不良率に与える影響が最も大きく、使用回数が0〜2回では不良率はそれほど高くならないが、使用回数が3回以上となると不良率が高くなることが分かる。
次に、説明変数の「B露光工程条件」に関しては、対象値(露光工程条件の値)が5.6以下か、それとも5.6より大きいかにより2つの集合に分割した。図8に示すように、露光工程条件の値が5.6以下のデータの集合の不良率の平均値は「5.53」、標準偏差は「1.801」、データ数は「29」であった。また、露光工程条件の値が5.6より大きいデータの集合の不良率の平均値は「7.925」、標準偏差は「1.286」、データ数は「8」であった。
上記の2つの集合の不良率の平均値と標準偏差とから影響力データを算出すると、その値は「3.5047」である。従って、説明変数「B露光工程条件」の目的変数に対する影響力の大きさの順位は2番目になる。
また、「B露光工程条件」の値が欠損しているデータの集合の不良率の平均値は「6.75」、標準偏差は「1.4434」、データ数は「4」であった。欠損値の集合の不良率の平均値と2分割された集合の内で高い方の値の集合の不良率の平均値に有意な差が有ると言える確率と、欠損値の集合の不良率の平均値と2分割された集合の内で値の低い方の集合の不良率の平均値との間に有意な差があると言える確率の平均値を算出する。そして、その確率の平均値を欠損影響率として算出する。なお、平均値に差があると言える確率はt分布を用いて計算している。
この場合の欠損影響率は「19.364%」となる。その欠損影響率と2分割された集合の不良率の平均値に有意な差があると言える確率から解析信頼率を計算すると、解析信頼率は「80.535%」となる。
図10は、B露光工程条件と不良率の関係を示すグラフであり、グラフの横軸は露光工程条件の値を、縦軸は不良率をパーセントで示している。
図10のグラフから露光工程条件の値が5.6以下のデータは、不良率が平均値の「5.53%」の近傍に分布しているが、露光工程条件が5.6より大きいデータは、不良率がそれより大きい値となっていることが分かる。
図8の評価値リストと図10から説明変数「B露光工程条件」の値が5.6より大きくなると不良率が高くなることが分かる。また、図8の欠損影響率が19.3%であることから、この解析結果に対する説明変数の「B露光工程条件」の欠損値の影響は少ないことが分かる。
次に、説明変数の「文字項目欠損数」に関しては、対象値(文字項目欠損数)が1以上か、0以下かにより2つの集合に分割する。図8に示すように、文字項目欠損数が1以上の集合の不良率の平均値は「5.709」、標準偏差は「1.672」、データ数は「32」であった。文字項目欠損数が0以下の集合の不良率の平均値は「7.57」、標準偏差は「2.105」、データ数は「9」であった。
上記の2つの集合の不良率の平均値と標準偏差とから影響力データを算出すると、その値は「2.7819」である。従って、説明変数「文字項目欠損数」の目的変数に対する影響力の大きさの順位は3番目となる。
図11は、文字項目欠損数と不良率の関係を示すグラフであり、グラフの横軸は文字項目欠損数の値を示し、縦軸は不良率をパーセントで示している。
図11のグラフから文字項目の欠損数が1以上のデータは、不良率が平均値の「5.709」の近傍に分布しているが、欠損数が0以下のデータは、不良率がそれより大きな値となっていることが分かる。
図8の評価値リストと図11から、説明変数「文字項目欠損数」の値が0のデータは、欠損数が1以上のデータに比べて不良率が高くなることが分かる。
次に、説明変数の「B露光工程装置名」に関しては、対象値(B露光工程の装置名)が欠損しているか、それとも装置名が装置No1かにより2つの集合に分割する。図8に示すように、装置No1の装置を使用したデータの集合の不良率の中央値(med)は「6.50」、標準偏差は「1.910」、データ数は「30」であった。
上記の値と装置No1の装置を使用したデータの不良率の平均値とから影響力データを算出すると、その値は「2.2837」である。従って、説明変数「B露光工程装置」の不良率に対する影響力の順位は4番目となる。
また、「B露光工程装置名」のデータが欠損している製造データの集合の不良率の中央値は「4.70」、標準偏差は「1.528」、データ数は「11」であった。
上記の値と欠損値の集合の不良率の平均値から欠損影響率を計算すると、欠損影響率は「97.222」となる。さらに、その欠損影響率と2つの集合間の不良率の平均値に有意な差がある言える確率(t検定値)から解析信頼率を計算すると、解析信頼率は「2.778」となる。
図12は、B露光工程装置名と不良率の関係を示すグラフであり、グラフの横軸は装置名を、縦軸は不良率をパーセントで示している。
図12のグラフから装置名の欠損しているデータの不良率が、B露光工程で装置No1の装置を使用したデータの不良率より明らかに低いことが分かる。
図8の評価値リストと図12から、B露光工程装置名が欠損している場合と装置No1の装置を使用した場合で不良率に差があるが、欠損影響率が高いことから欠損値の真の値を再度調査しないとB露光工程の装置が不良率に与える影響を正確に評価することは難しいことが分かる。
次に、説明変数の「C膜工程装置名」に関しては、C膜工程の装置名が欠損しているか、それとも装置名が装置No1かにより2つの集合に分割する。図8に示すように、装置No1を使用したデータの集合の不良率の中央値は「6.10」、標準偏差は「2.349」、データ数は「13」であった。
上記の値と装置No1を使用したデータの集合の不良率の平均値から「C膜工程装置名」の影響力データを算出すると、その値は「0.9961」となる。従って、説明変数「C膜工程装置名」の不良率に対する影響力の順位は5番目になる。
また、「C膜工程装置名」が欠損している製造データの集合の不良率の中央値は「5.65」、標準偏差は「1.683」、データ数は「28」であった。
上記の値と欠損値の集合の不良率の平均値とから欠損影響率を算出すると、その値は「67.481」となる。その欠損影響率から解析信頼率を計算すると解析信頼率は「32.519」となる。
図13は、C膜工程装置名と不良率の関係を示すグラフであり、グラフの横軸はC膜工程装置名を、縦軸は不良率をパーセントで示している。
図13のグラフから装置名の欠損しているデータの不良率の方が、装置No1を使用したときの不良率よりわずかに低いことが分かる。
図8の評価値リストと図13から、説明変数「C膜工程装置名」は欠損影響率が高いことから、欠損値の真の値を再度調査しないとC膜工程装置名の不良率に対する影響は正確には評価できないことが分かる。
次に、説明変数の「数値項目欠損数」に関しては、対象値(数値項目の欠損数)が0以下か、それとも1以上かにより2つの集合に分割する。図8に示すように数値項目欠損数が0のデータの集合の不良率の平均値は「6.05」、標準偏差は「1.960」、データ数は「37」であった。欠損数が1以上のデータの集合の不良率の平均値は「6.75」、標準偏差は「1.433」、データ数は「4」であった。
上記の2分割した集合の値から「数値項目欠損数」の影響力データを計算すると、その値は「0.6921」となる。従って、説明変数「数値項目欠損数」の不良率に対する影響力の順位は6番目となる。この場合、欠損影響率は0%となり、解析信頼率は「50.713%」となる。
図14は、数機項目欠損数と不良率の関係を示すグラフであり、グラフの横軸は数値項目欠損数を、縦軸は不良率をパーセントで示している。
図14のグラフから数値項目が欠損していないデータの不良率はばらつきが大きく、数値項目の欠損数が1のデータの不良率とは大きな違いは無い。
図8の評価値リストと図14から数値項目欠損数の不良率に与える影響は小さいことが分かる。
次に、説明変数の「A膜工程装置名」に関しては、対象値(装置名)が装置No5か、それとも装置No1またはNo3かにより2つの集合に分割する。使用する装置名が装置No5のデータの集合の不良率の中央値(med)は「4.95」、標準偏差は「1.142」、データ数は「10」であった。装置名が装置No1またはNo3のデータの不良率の中央値は「7.40」、標準偏差は「1.2237」、データ数は「20」であった。
上記の値と2分割した集合の不良率の平均値から「A膜工程装置名」の影響力データを計算すると、その値は「0.4098」となる。
また、「C膜工程装置名」が欠損しているデータの集合の不良率の中央値は「7.40」、標準偏差は「1.233」、データ数は「11」であった。
上記の値と欠損値の集合の不良率の平均値から欠損影響率を計算すると、その値は「98.1397」となる。また、解析信頼率は「0.5861」となる。
図15は、A膜工程装置名と不良率の関係を示すグラフであり、グラフの横軸は装置名を、縦軸は不良率のパーセントを示している。
図15のグラフから装置名が欠損しているデータの不良率が、装置名が確定しているデータの不良率より明らかに高いことから欠損値の影響が大ききことが分かる。
図8の評価値リストと図15のグラフから説明変数「A膜工程装置名」は欠損影響率が高いことから、欠損値の真の値を再調査しないと不良率に与える影響を評価することは難しい。
上述した第1の実施の形態によれば、説明変数毎にそれぞれの値が欠損しているサンプルデータ(製造データ)の集合と、欠損していない製造データの集合に分割し、それらの集合を分析することで説明変数の欠損値が解析結果に及ぼす影響を定量的に評価することができる。従って、欠損値が目的変数に与える影響が小さい場合には、欠損値の代替値を使用せずに製造データの解析を行うことができるので代替値を使用する場合に比べてデータの解析精度を高めることができる。
また、説明変数の値により複数の製造データを2つの集合に分割して、説明変数の目的変数に対する影響の強さ示す影響力データを算出し、欠損値の有る製造データを含めた場合と含めない場合の不良率の平均値が異なる確率を欠損影響率として算出している。これにより、欠損値を含む製造データを用いてデータの解析を行った場合に、欠損値が解析結果にどの程度影響するかを評価することができるので解析結果の信頼性を高めることができる。さらに、解析信頼率を算出することで欠損値が含む製造データを用いた解析結果の信頼性を評価することができる。
また、複数の説明変数に対して同一の値の出現回数、あるいは文字項目または文字項目の欠損数を計数し、計数した値を新たな説明変数としてサンプルデータに追加し、それらの説明変数の解析結果から特定の説明変数の値、あるいは欠損している説明変数の値が目的変数(例えば、不良率)に影響を与えているか否かを解析することができる。
例えば、半導体の製造工程では同じ装置が複数の工程で使用される場合があるので、特定の装置の使用回数と不良率の関係を解析することで、装置の使用回数が不良率に影響を与えているか否かを判断できる。これにより、各製造工程から得られる製造データを解析しただけでは得られない解析結果、つまり複数の工程における説明変数の同一の値(装置名、工程条件)が不良率に及ぼす影響等を解析することができる。製造工程で使用する装置や工程条件の数値の欠損数が不良率、歩留まり、電気特性等の目的変数に影響を与えるか否かは従来の解析手法では全く考慮されていなかったが、本発明の実施の形態の解析方法では特定の装置や特定の工程条件等の要因が不良率に及ぼす影響を解析することができる。
次に、本発明の第2の実施の形態のデータ解析処理を、図16のフローチャートを参照して説明する。
最初に各製造工程の製造データを取得し、取得した製造データの中の異常値と外れ値を除外する(図16,S41)。製造データが異常値または外れ値か否かの判断は、例えば、解析対象の製造工程に存在しない装置名を異常値と判断し、説明変数の値がサンプルデータの平均値の±4×標準偏差の範囲に入らないとき外れ値と判断する。
次に、分析対象項目を選択する(S42)。分析対象の説明変数の項目を選択する。分析対象項目としては、例えば、図6に示すようなA膜工程の装置名、B露光工程の装置名、B露光工程条件、C膜工程装置名、不良率測定工程で測定される不良率が選択される。
次に、各サンプルの選択した説明変数の値別の出現回数を集計する(S43)。この値別の出現回数には装置名等の文字項目の欠損数、数値項目の欠損数も含まれる。
次に、各サンプルの説明変数毎にその値が欠損している集合と欠損していない集合に分割する(S44)。
次に、各説明変数の目的変数に対する影響の強さを示す影響力データ(第1の評価値)と、欠損値を含む製造データが説明変数と目的変数の関係に影響を与える度合いを評価するための欠損影響率(第2の評価値)と、解析の信頼性を示す解析信頼率(第3の評価値)を算出する(S45)。
次に、全ての説明変数と目的変数との関係を分析したか否かを判別する(S46)。分析が終了していない説明変数が残っている場合には(S46,NO)、ステップS44に戻り、次の説明変数と目的変数の関係の分析を行う。
ステップS46において、全ての説明変数と目的変数の関係の分析が終了した場合には(S46,YES)、ステップS47に進み、影響力データの大きさに従って各説明変数を順位付けする。
次に、説明変数の値が欠損しているデータの集合と、説明変数の特定の値のデータの集合とから欠損値類似率を算出し、欠損値類似率の最も高い説明変数の値を欠損値推定値として選定する(S48)。
欠損値類似率は、例えば、説明変数の値が欠損しているデータの集合の目的変数の平均値と、同じ説明変数の特定の値のデータの集合の平均値が一致している確率をt検定により求め、その確率を欠損値類似率として算出する。あるいは、t検定により求めた確率と、尖度による検定を用いた2つの集合が一致している確率と、歪み度による検定を用いた2つの集合が一致している確率との積を欠損値類似率として算出する。
次に、各説明変数の順位、影響力データの値、欠損影響率、解析信頼率、欠損値類似率をリスト表示し、同時に各説明変数の値と目的変数の値の分布情報をグラフ表示する(S49)。
次に、上記のようにして算出した各説明変数の順位、影響力データ、欠損影響率、解析信頼率を予め定めてある判断基準と照合して、影響力データの大きさの順位が5位以内で、(a)影響力データの値が「2」以上か、(b)欠損影響率が20%以下か否かを判断する(S50)。
ステップS50で判断基準を全て満たすと判断された場合、すなわち、順位が5位以内で、影響力データが「2」以上で、かつ欠損影響率が20%以下のときには、ステップS51に進み、その説明変数は目的変数(不良率)を左右する大きな要因であると判断して、確証を得るために詳細な調査を行う。
ステップS50で、条件(a)を満たすが、条件(b)を満たさないと判断された場合、すなわち影響力データの値は「2」以上であるが、欠損影響率が20%より大きいときには、ステップS52に進み、欠損値が解析結果に影響を与えると判断して、欠損値類似率と欠損値推定値を参考して欠損値の真の値を調査する(サンプルデータの再取得を含む)。
また、ステップS50で、条件(a)を満たさないと判断されたとき、すなわち影響力データの値が2未満のときには、ステップS53に進み、解析対象のサンプルデータからは信頼できる分析結果が得られないと判断し、サンプルデータの追加や他の解析方法を検討する。
図17は、上述した製造データ解析処理により作成した第1分岐候補の評価値リストを示す図である。
図17の評価値リストによると、説明変数の「項目D」に関しては、影響力データの値が「13.9181」、欠損影響率が「15.426」であるので、図16のステップS50の判断基準を全て満たすことになる。従って、「項目D」は目的変数(例えば、不良率)への影響が1番大きい要因と判断される。
この説明変数「項目D」の値が欠損しているデータの集合と説明変数「項目D」の特定の値の集合との欠損値類似率を、上述した算出方法で算出した場合、「装置No3」との欠損値類似率が「79.456%」で最も高いので説明変数「項目D」の欠損値推定値は「装置No3」となる。
なお、図17の「項目D」の「低い集合と分布」の欄に記載されている「No2,No5=0.70,s=0.32」と、「高い集合と分布」の欄に記載されている「No3=0.86,s=0.21」は、サンプルデータを「項目D」の値が「装置No3またはNo5」の集合と「装置No3」の集合の2つに分割したときに、それぞれの集合の目的変数の平均値と標準偏差sを示している。
また、「欠損値集合分布」の欄に記載されている「平均=0.858,s=0.25」は、説明変数「項目D」の値が欠損しているデータの集合の目的変数の平均値とその標準偏差sを示している。
また、影響力の順位が2番目の説明変数の「項目A」に関しては、「項目A」の値が「11.6」の集合の欠損値類似率が「55.41%」で最大であるので、欠損値推定値は「11.6」となる。
同様に、影響力の順位が3番目の説明変数「項目C」に関しては、欠損値の集合と「装置No4」の集合の欠損値類似率が「44.12%」であり、その値が最も大きいので、説明変数「項目C」の欠損値推定値は「装置No4」となる。
次に、図18は、説明変数「項目D」の樹木図を作成したときの各集合の目的変数の分布を示す図である。
図18に示すように説明変数「項目D」の全体サンプル数は「100」で目的変数が欠損していないサンプル数は「80」である(この集合を集合1と呼ぶ)。
「項目D」の値が欠損しているデータの集合(これを集合2と呼ぶ)の目的変数の平均値は「0.858」、データ数nは「35」、標準偏差sは「0.25」である。
同じ「項目D」の値が「装置No2またはNo5」の集合(これを集合3と呼ぶ)の目的変数の平均値は「0.7」、データ数は「30」、標準偏差は「0.32」である。
また、「項目D」の値が「措置No3」の集合(これを集合4と呼ぶ)の目的変数の平均値は「0.86」、データ数は「15」、標準偏差は「0.21」である。なお、集合3は、その下側の分岐線で示すように複数の集合に分割される。
上記の集合2と集合3の欠損値類似率と集合2と集合4の欠損値類似率をそれぞれ計算すると、図17に示すように集合4の欠損値類似率が最も高かった。
さらに、集合2と集合3及び集合4の目的変数の値の分布形状を比較すると、集合2と集合4の分布形状が類似している。
以上の解析結果から説明変数「項目D」の欠損値として集合4の値「装置No3」が最も可能性が高いと推定される。
上述した第2の実施の形態によれば、説明変数の値の欠損値の集合と、同じ説明変数の他の値の集合が一致する確率を欠損値類似率として算出し、その欠損値類似率が最大となる説明変数の値を欠損値として推定することができる。さらに、その説明変数の欠損値が目的変数(例えば、不良率)に及ぼす影響を欠損影響率として求めることができる。
また、第2の実施の形態も第1の実施の形態と同様に、説明変数の値が欠損している集合と欠損していない集合に分割し、欠損値の集合が目的変数に影響を与える度合いを欠損影響率等で評価しているので製造データの解析精度及び解析信頼性をを高めることができる。
本発明は上述した実施の形態に限らず、例えば、以下のように構成しても良い。
(1)実施の形態は、t検定により影響力データ、欠損影響率等を算出したが、t検定以外の他の検定方法で評価値を算出しても良い。
(2)実施の形態は半導体製造工程の製造データの解析につて説明したが、半導体製造工程に限らず、他の製造工程、あるいは製造工程以外のデータの解析にも本発明は適用できる。
(3)欠損影響率、解析信頼率及び欠損値類似率は、実施の形態に述べた算出方法に限らず、解析方法に適した他の算出方法で算出して良い。
(付記1) 複数の製造工程の複数の説明変数の値と前記複数の製造工程により製造される製品の品質を示す目的変数とからなる製造データを取得して記憶手段に記憶し、
前記記憶手段に記憶した複数の製造データの中で説明変数の値が欠損している製造データの集合と前記説明変数の値が欠損していない製造データの集合に分割し、
前記説明変数の値が欠損している製造データの集合と前記説明変数の値が欠損していない製造データの集合とを分析して前記説明変数の前記目的変数に対する影響の度合いを評価する製造データ解析方法。
(付記2) 前記分析ステップは、前記説明変数の値が欠損している集合の前記目的変数の値と、前記説明変数の値が欠損していない集合の前記目的変数の値との間に有意な差があるか否かを分析して、前記説明変数の欠損値が分析結果に影響するか否かを評価する付記1記載の製造データ解析方法。
(付記3) 前記分析ステップは、各説明変数の値に基づいて少なくも複数の製造データを第1及び第2の2つの集合に分割し、前記第1の集合の前記目的変数の値と前記第2の集合の前記目的変数の値とに基づいて各説明変数の前記目的変数に対する影響の強さを示す影響力データを第1の評価値として算出する付記1または2記載の製造データ解析方法。
(付記4) 前記分析ステップは、前記説明変数の値が欠損している製造データの集合と前記第1の集合の前記目的変数の平均値に有意な差があるか否かを示す第1の確率と、前記説明変数の値が欠損していない製造データの集合と前記第2の集合の前記目的変数の平均値に有意な差があるか否かを示す第2の確率とに基づいて前記説明変数の値が欠損している製造データが解析結果に与える影響を評価するための欠損影響率を第2の評価値として算出する付記3記載の製造データ解析方法。
(付記5) 前記分析ステップは、複数の説明変数における同一の値の出現回数を計数し、計数した出現回数を新たな説明変数として追加し、前記出現回数が前記目的変数に与える影響の強さを示す影響力データを算出する付記1または2記載の製造データ解析方法。
(付記6) 前記分析ステップは、前記説明変数の値である文字列または数値の欠損数を計数し、計数した欠損数を新たな説明変数として追加し、前記欠損数が前記目的変数に与える影響の強さを示す影響力データを算出する付記1または2記載の製造データ解析方法。
(付記7) 前記分析ステップは、(1−欠損影響率)/(前記第1の集合と第2の集合の前記目的変数の値の平均値に有意な差があるか否かを示す確率)により得られる解析信頼率を第3の評価値として算出する付記4記載の製造データ解析方法。
(付記8) 前記分析ステップは、各製造データの説明変数の値の出現回数を計数し、計数した出現回数を前記製造データに新たな説明変数として追加し、該出現回数に基づいて複数の製造データを少なくとも2つの集合に分割し、前記2つの集合の前記目的変数の値に基づいて前記の出現回数が目的変数に与える影響の強さを示す影響力データを算出する付記1または2記載の製造データ解析方法。
(付記9) 前記分析ステップは、各製造データの説明変数の値の欠損数を計数し、計数した欠損数を前記製造データに新たな説明変数として追加し、該欠損数に基づいて複数の製造データを少なくとも2つの集合に分割し、前記2つの集合の前記目的変数の値に基づいて前記説明変数の欠損が目的変数に与える影響の強さを示す影響力データを算出する付記1または2記載の製造データ解析方法。
(付記10) 前記分析ステップは、各説明変数の値に対応する前記目的変数の値により少なくとも第1及び第2の2つの集合に分割し、前記第1の集合の目的変数の値の平均値と第2の集合の前記目的変数の値の平均値とそれぞれの標準偏差とに基づいて各説明変数の前記目的変数に対する影響の強さを示す影響力データを算出し、前記説明変数の値が欠損している製造データの集合の前記目的変数の値の平均値と前記第1の集合の前記目的変数の平均値に有意な差があるか否かを示す第1の確率と、前記説明変数の値が欠損している製造データの集合の前記目的変数の値の平均値と前記第2の集合の前記目的変数の値の平均値に有意な差があるか否かを示す第2の確率とに基づいて欠損影響率を算出し、前記影響力データに基づいて目的変数に対する影響力の強い順に前記説明変数を順位付けし、影響力の強さを示す順位と前記影響力データと前記欠損影響率とに基づいて前記説明変数が前記目的変数に影響を与えるか否かを評価する付記1または2記載の製造データ解析方法。
(付記11) 前記分析ステップは、(1−欠損影響率)/(前記第1の集合と第2の集合の目的変数の値の平均値に有意な差があるか否かを示す確率)により得られる解析信頼率を第3の評価値として算出し、前記第3の評価値が所定値以上か否かにより解析結果の信頼性を評価する付記10記載の製造データ解析方法。
(付記12) 前記分析ステップは、前記説明変数の値が欠損している製造データの集合と前記説明変数の1または複数の値の集合の目的変数の値とに基づいて欠損値類似率を算出し、欠損値類似率が最も高い集合の前記説明変数の値を欠損値の値と推定する付記1乃至11の何れか1項に記載の製造データ解析方法。
(付記13) 複数の製造工程の複数の説明変数の値と前記複数の製造工程により製造される製品の品質を示す目的変数とからなる製造データを取得するデータ取得手段と、
前記データ取得手段により取得した製造データの中で前記説明変数が欠損している製造データの集合と前記説明変数が欠損していない製造データの集合に分割する分割手段と、
前記説明変数の値が欠損している製造データの集合と前記説明変数が欠損していない製造データの集合を分析して前記説明変数の前記目的変数に対する影響の度合いを評価する分析手段とを備える製造データ解析装置。
(付記14) 前記分析手段は、前記説明変数の値が欠損している集合の前記目的変数の値と、前記説明変数の値が欠損していない集合の前記目的変数の値との間に有意な差があるか否かを分析して、前記説明変数の欠損値が分析結果に影響するか否かを評価する付記13記載の製造データ解析装置。
(付記15) 前記分析手段は、各説明変数の値に対応する前記目的変数の値に基づいて少なくも第1及び第2の2つの集合に分割し、前記第1の集合と前記第2の集合の前記目的変数の値に基づいて前記各説明変数の値の前記目的変数に対する影響の強さを示す影響力データを第1の評価値として算出する付記13または14記載の製造データ解析装置。
(付記16) 前記分析手段は、複数の説明変数における同一の値の出現回数を計数し、計数した出現回数を新たな説明変数として追加し、前記出現回数が前記目的変数に与える影響の強さを示す影響力データを算出する付記13または14記載の製造データ解析装置。
(付記17) 前記分析手段、欠損のある製造データの集合と前記第1の集合の前記目的変数の平均値に有意な差があるか否かを示す確率と、前記欠損のある製造データの集合と前記第2の集合の前記目的変数の平均値に有意な差があるか否かを示す確率との平均値を欠損影響率を示す第2の評価値として算出する付記13記載の製造データ解析装置。
(付記18) 前記分析手段は、(1−欠損影響率)/(前記第1の集合と第2の集合の前記目的変数の値の平均値に有意な差があるか否かを示す確率)により得られる解析信頼率を第3の評価値として算出する付記13記載の製造データ解析装置。
(付記19) 前記分析手段は、各説明変数の値により少なくも第1及び第2の2つの集合に分割し、前記第1及び第2の集合の前記目的変数の値に基づいて各説明変数の前記目的変数に対する影響の強さを示す影響力データを第1の評価値として算出し、欠損のある製造データの集合と前記第1の集合の前記目的変数の平均値に有意な差があるか否かを示す確率と、前記欠損のある製造データの集合と前記第2の集合の前記目的変数の値の平均値に有意な差があるか否かを示す確率との平均値を欠損影響率を示す第2の評価値として算出し、前記第1の評価値に基づいて目的変数に対する影響力の強い説明変数の値を順位付けし、影響力の強さを示す順位が所定順位以上で、かつ前記目的変数に対する影響力の強い前記説明変数の値の前記欠損影響率が所定の基準値以下か否かにより、前記説明変数の前記目的変数に及ぼす影響の強さを評価する付記13記載の製造データ解析装置。
(付記20) 前記分析手段は、前記説明変数の値が欠損している製造データの集合と前記説明変数の1または複数の値の集合の目的変数の値に基づいて欠損値類似率を算出し、欠損値類似率が最も高い集合の前記説明変数の値を欠損値の値と推定する付記13乃至19のいずれか1項に記載の製造データ解析装置。
(付記21) 複数の製造工程の複数の説明変数の値と前記複数の製造工程により製造される製品の品質を示す目的変数とからなる製造データを取得して記憶手段に記憶する処理と、
取得した複数の製造データの中で説明変数の値が欠損している製造データの集合と前記説明変数の値が欠損していない製造データの集合に分割する処理と、
前記説明変数の値が欠損している製造データの集合と前記説明変数の値が欠損していない製造データの集合とを分析して前記説明変数の前記目的変数に対する影響の度合いを評価する処理とをコンピュータに実行させる製造データ解析プログラム。
(付記22) 前記分析処理は、前記説明変数の値が欠損している集合の前記目的変数の値と、前記説明変数の値が欠損していない集合の前記目的変数の値との間に有意な差があるか否かを分析して、前記説明変数の欠損値が分析結果に影響するか否かを評価する付記21記載の製造データ解析プログラム。
(付記23) 前記分析処理は、各説明変数の値に基づいて少なくも複数の製造データを第1及び第2の2つの集合に分割し、前記第1の集合の前記目的変数の値と前記第2の集合の前記目的変数の値とに基づいて各説明変数の前記目的変数に対する影響の強さを示す影響力データを第1の評価値として算出する付記21または22記載の製造データ解析プログラム。
(付記24) 前記分析処理は、前記説明変数の値が欠損している製造データの集合と前記第1の集合の前記目的変数の平均値に有意な差があるか否かを示す第1の確率と、前記説明変数の値が欠損している製造データの集合と前記第2の集合の前記目的変数の平均値に有意な差があるか否かを示す第2の確率とに基づいて前記説明変数の値が欠損している製造データが解析結果に与える影響を評価するための欠損影響率を第2の評価値として算出する請求項21記載の製造データ解析プログラム。
本発明の原理説明図である。 実施の形態の製造データ解析装置の構成図である。 データ解析処理の概略を示すフローチャートである。 半導体の製造工程で使用される装置を示す図である。 第1の実施の形態のデータ解析処理のフローチャートである。 製造データの一例を示す図である。 値の出現回数と欠損数を項目として追加した製造データを示す図である。 説明変数が目的変数へ与える影響の強さを示す図である。 装置No1の使用回数と不良率の関係を示す図である。 B露光工程条件と不良率の関係を示す図である。 文字項目欠損数と不良率の関係を示す図である。 B露光工程装置名と不良率の関係を示す図である。 C膜工程装置名と不良率の関係を示す図である。 数値項目欠損数と不良率の関係を示す図である。 A膜工程装置名と不良率の関係を示す図である。 第2の実施の形態のデータ解析処理のフローチャートである。 第1分岐候補の評価値リストを示す図である。 各集合の目的変数の分布を示す図である。 独立変数と従属変数と解析結果を示す図である。 独立変数の従属変数への影響の強さを示す図である。
符号の説明
1 データ取得手段
2 分割手段
3 分析手段
11 製造データ解析装置
12 入力装置
13 演算処理装置
14 出力装置

Claims (8)

  1. 入力装置から入力される、複数の製造工程の複数の説明変数の値と前記複数の製造工程により製造される製品の品質を示す目的変数の値とからなる複数の製造データを記憶手段に格納する処理と、
    前記記憶手段から前記複数の製造データを取得し、取得した前記複数の製造データを、前記説明変数毎に前記説明変数の値により第1及び第2の集合に分割し、分割した前記第1の集合と前記第2の集合の製造データを前記記憶手段に格納する処理と、
    前記記憶手段から前記第1の集合の前記製造データと前記第2の集合の前記製造データを取得し、取得した前記第1の集合の前記目的変数の値の第1の平均値と、前記第2の集合の前記目的変数の値の第2の平均値、前記第1及び第2の集合の前記目的変数の値の分散を算出し、算出した前記第1及び第2の平均値と前記分散とに基づいて影響力データを算出すると共に、算出した前記第1の平均値と前記第2の平均値と前記影響力データを前記記憶手段に格納する処理と、
    前記記憶手段から前記複数の製造データを取得し、取得した前記複数の製造データを前記説明変数毎に前記説明変数の欠損している製造データの集合と、前記説明変数が欠損していない製造データの集合に分割し、前記説明変数の欠損している製造データの前記集合と前記説明変数の欠損していない製造データの前記集合を前記記憶手段に格納する処理と、
    前記記憶手段から前記影響力データを算出した前記説明変数と同じ説明変数が欠損している製造データの前記集合を取得し、取得した前記集合の前記目的変数の値の第3の平均値を算出し、算出した前記第3の平均値を前記記憶手段に格納する処理と、
    前記記憶手段から前記説明変数が欠損している製造データの前記集合の前記目的変数の値の前記第3の平均値と、前記第1の集合の前記第1の平均値と、前記第2の集合の前記第2の平均値を取得し、取得した前記第3の平均値と前記第1の集合と前記第2の集合の一方の集合の前記第1又は第2の平均値との間に有意な差があるか否かを示す第1の確率データを算出し、前記第3の平均値と前記第1の集合と前記第2の集合の他方の集合の前記第1又は第2の平均値との間に有意な差があるか否かを示す第2の確率データを算出し、算出した前記第1の確率データと前記第2の確率データの和の平均値を欠損影響率データとして算出すると共に、算出した前記欠損影響率データを前記記憶手段に格納する処理と、
    前記記憶手段から前記影響力データと前記欠損影響率データを取得し、取得した前記影響力データと前記欠損影響率データを所定の判断基準と照合して、前記説明変数の欠損している製造データが解析結果に与える影響を評価する処理とをコンピュータが実行する製造データ解析方法。
  2. 前記影響力データを算出する処理は、前記第1の集合と前記第2の集合の標準偏差の差を算出し、前記第1の集合の前記目的変数の値の前記第1の平均値と前記第2の集合の前記目的変数の値の前記第2の平均値との差を、前記第1及び第2の集合の前記標準偏差の差で標準化した値を前記影響力データとして算出して前記記憶手段に格納する請求項1記載の製造データ解析方法。
  3. 前記記憶手段から前記複数の製造データを取得し、複数の説明変数における同一の装置名の出現回数を計数し、計数した出現回数を新たな説明変数として追加して前記影響力データを算出して前記記憶手段に格納する処理を有する請求項1または2記載の製造データ解析方法。
  4. 前記記憶手段から前記複数の説明変数の値を取得し、前記説明変数の値である文字列または数値の欠損数を計数し、計数した欠損数を新たな説明変数として追加して前記影響力データを算出して前記記憶手段に格納する処理を有する請求項1または2記載の製造データ解析方法。
  5. 前記記憶手段から前記第1の集合の前記目的変数の値の前記第1の平均値と前記第2の集合の前記目的変数の値の前記第2の平均値とを取得し、前記第1の平均値と前記第2の平均値との間に有意な差があるか否かを示す確率をt検定により算出し、(1−欠損影響率)を前記確率で除算した値を解析信頼率データとして算出する処理を有する請求項1、2、3又は4記載の製造データ解析方法。
  6. 入力装置から入力される、複数の製造工程の複数の説明変数の値と前記複数の製造工程により製造される製品の品質を示す目的変数の値とからなる複数の製造データを取得する取得手段と、
    前記取得手段により取得した前記複数の製造データを、前記説明変数毎に前記説明変数の値により第1及び第2の集合に分割して記憶手段に格納する第1の分割手段と、
    前記記憶手段から前記第1の集合の製造データを取得し、取得した前記第1の集合の前記目的変数の値の第1の平均値と、前記第2の集合の前記目的変数の値の第2の平均値と、前記第1及び第2の集合の前記目的変数の値の分散とを算出し、算出した前記第1の平均値と前記第2の平均値と前記分散とに基づいて影響力データを算出すると共に、前記第1の平均値と前記第2の平均値と前記影響力データを前記記憶手段に格納する影響力データ算出手段と、
    前記記憶手段から前記複数の製造データを取得し、取得した前記複数の製造データを前記説明変数毎に前記説明変数が欠損している製造データの集合と、前記説明変数が欠損していない製造データの集合に分割し、前記説明変数の欠損している製造データの前記集合と前記説明変数の欠損していない製造データの前記集合を前記記憶手段に格納する第2の分割手段と、
    前記記憶手段から前記影響力データを算出した前記説明変数と同じ説明変数が欠損している製造データの前記集合を取得し、取得した前記集合の前記目的変数の値の第3の平均値を算出し、算出した前記第3の平均値を前記記憶手段に格納する平均値算出手段と、
    前記記憶手段から前記第1の集合の前記目的変数の値の第1の平均値と、前記第2の集合の前記目的変数の値の前記第2の平均値と、前記説明変数が欠損している製造データの前記集合の前記目的変数の値の前記第3の平均値を取得し、取得した前記第3の平均値と、前記第1の集合と前記第2の集合の一方の集合の前記第1又は第2の平均値との間に有意な差があるか否かを示す第1の確率データと、前記第3の平均値と、前記第1の集合と前記第2の集合の他方の集合の前記第1又は第2の平均値との間に有意な差があるか否かを示す第2の確率データとを算出し、算出した前記第1の確率データと前記第2の確率データの和の平均値を欠損影響率データとして算出すると共に、算出した前記欠損影響率データを前記記憶手段に格納する欠損影響率算出手段と、
    前記記憶手段から前記影響力データと前記欠損影響率データを取得し、取得した前記影響力データと前記欠損影響率データを所定の判断基準と照合して、前記説明変数の欠損している製造データが解析結果に与える影響を評価する分析手段とを備える製造データ解析装置。
  7. 前記影響力データ算出手段は、前記記憶手段から前記複数の製造データを取得し、複数の説明変数における同一の装置名の出現回数を計数し、計数した出現回数を新たな説明変数として追加して前記影響力データを算出する請求項6記載の製造データ解析装置。
  8. 前記記憶手段から前記第1の集合の前記目的変数の値の前記第1の平均値と前記第2の集合の前記目的変数の値の前記第2の平均値とを取得し、前記第1の平均値と前記第2の平均値との間に有意な差があるか否かを示す確率をt検定により算出し、(1−欠損影響率)を前記確率で除算した値を解析信頼率データとして算出する解析信頼率算出手段を有する請求項6又は7記載の製造データ解析装置。
JP2005267348A 2005-09-14 2005-09-14 製造データ解析方法及び製造データ解析装置 Expired - Fee Related JP4417897B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005267348A JP4417897B2 (ja) 2005-09-14 2005-09-14 製造データ解析方法及び製造データ解析装置
US11/362,102 US7584162B2 (en) 2005-09-14 2006-02-27 Manufacture data analysis method and manufacture data analyzer apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005267348A JP4417897B2 (ja) 2005-09-14 2005-09-14 製造データ解析方法及び製造データ解析装置

Publications (2)

Publication Number Publication Date
JP2007079971A JP2007079971A (ja) 2007-03-29
JP4417897B2 true JP4417897B2 (ja) 2010-02-17

Family

ID=37940209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005267348A Expired - Fee Related JP4417897B2 (ja) 2005-09-14 2005-09-14 製造データ解析方法及び製造データ解析装置

Country Status (2)

Country Link
US (1) US7584162B2 (ja)
JP (1) JP4417897B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4394728B2 (ja) * 2008-04-15 2010-01-06 シャープ株式会社 影響要因特定装置
US20130268570A1 (en) * 2010-11-26 2013-10-10 Heung Seob Koo Representative-value calculating device and method
JP5225423B2 (ja) * 2011-04-20 2013-07-03 ヤフー株式会社 予測モデル生成装置及び方法
JP2012256182A (ja) * 2011-06-08 2012-12-27 Sharp Corp データ解析装置、データ解析方法およびデータ解析プログラム
JP6201556B2 (ja) * 2013-09-17 2017-09-27 日本電気株式会社 予測モデル学習装置、予測モデル学習方法およびコンピュータプログラム
JP5961670B2 (ja) * 2014-08-18 2016-08-02 ヤフー株式会社 学習装置、学習方法及び学習プログラム
JPWO2017038407A1 (ja) * 2015-08-31 2018-06-14 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
JP6668116B2 (ja) * 2016-03-10 2020-03-18 株式会社東芝 データ補間装置及びプログラム
US11580414B2 (en) * 2016-03-23 2023-02-14 Nec Corporation Factor analysis device, factor analysis method, and storage medium on which program is stored
JP6640765B2 (ja) * 2017-01-31 2020-02-05 株式会社東芝 状態分析装置、状態分析方法及び状態分析プログラム
JP2018185653A (ja) * 2017-04-26 2018-11-22 i Smart Technologies株式会社 生産管理装置、生産管理システムおよび生産管理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778810B2 (ja) * 1983-11-18 1995-08-23 株式会社日立製作所 製造工程の信頼性分析システム
JP2001184329A (ja) 1999-12-24 2001-07-06 Fujitsu Ltd 状況認識装置
JP3654193B2 (ja) 2001-01-22 2005-06-02 日本電気株式会社 欠損データ補完方法及び欠損データ補完システム
JP4275359B2 (ja) 2002-06-21 2009-06-10 富士通マイクロエレクトロニクス株式会社 データ解析方法
US6999836B2 (en) * 2002-08-01 2006-02-14 Applied Materials, Inc. Method, system, and medium for handling misrepresentative metrology data within an advanced process control system
US20060095237A1 (en) * 2004-10-28 2006-05-04 Weidong Wang Semiconductor yield management system and method

Also Published As

Publication number Publication date
US20070094196A1 (en) 2007-04-26
JP2007079971A (ja) 2007-03-29
US7584162B2 (en) 2009-09-01

Similar Documents

Publication Publication Date Title
JP4417897B2 (ja) 製造データ解析方法及び製造データ解析装置
US6711522B2 (en) Data analysis apparatus, data analysis method, and computer products
JP5014500B1 (ja) 異常要因特定方法および装置、上記異常要因特定方法をコンピュータに実行させるためのプログラム、並びに上記プログラムを記録したコンピュータ読み取り可能な記録媒体
EP2992340B1 (en) System and method for ups battery monitoring and data analysis
JP5067542B2 (ja) 複合情報処理装置、複合情報処理方法、プログラム、および記録媒体
JP4568786B2 (ja) 要因分析装置および要因分析方法
CN105702595B (zh) 晶圆的良率判断方法以及晶圆合格测试的多变量检测方法
Gitzel Data Quality in Time Series Data: An Experience Report.
JP6739622B2 (ja) 計測−収率の相関性の分析方法及びシステム
CN116113942A (zh) 依据工艺踪迹预测装备故障模式
Shah et al. An overview of software defect density: A scoping study
JP2019032671A (ja) 原因推定方法およびプログラム
CN114997313A (zh) 一种海洋在线监测数据的异常检测方法
JP2015045942A (ja) 品質管理装置、品質管理方法、及びプログラム
CN113742248A (zh) 一种基于项目测量数据进行组织过程预测的方法及***
JP7481976B2 (ja) 異常スコア算出装置、異常スコア算出方法およびプログラム
JP7019339B2 (ja) 不良原因抽出システム及びその方法
JP2009110262A (ja) フィルタ装置、フィルタ装置のフィルタリング方法およびフィルタリングプログラム
JP4763562B2 (ja) ディレイ不良解析方法およびその装置
US20180046927A1 (en) Data analysis device and analysis method
JP2012108708A (ja) 障害検知装置、情報処理方法、およびプログラム
JP6715705B2 (ja) 不良原因探索システム、及び不良要因探索方法
JP4948238B2 (ja) 分布解析方法および装置、異常設備推定方法および装置、上記分布解析方法または異常設備推定方法をコンピュータに実行させるためのプログラム、並びに上記プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2019003333A (ja) バグ混入確率計算プログラム及びバグ混入確率計算方法
US11126948B2 (en) Analysis method and computer

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091022

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091126

R150 Certificate of patent or registration of utility model

Ref document number: 4417897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees