JP7262409B2 - 試料観察システム及び画像処理方法 - Google Patents

Description

本発明は荷電粒子顕微鏡などを用いて、試料である半導体ウェハ上に形成された回路パターンや欠陥を観察する、試料観察システム及び画像処理方法に関するものである。

半導体ウェハの製造では、製造プロセスを迅速に立ち上げ、高歩留まりの量産体制に早期に移行させることが、収益確保のため重要である。この目的のため、製造ラインには各種の検査装置や試料上の欠陥を観察する装置、計測装置が導入されている。

試料上の欠陥を観察する装置とは、欠陥検査装置が出力した欠陥位置座標（試料（ウェハ）上の欠陥の位置を示した座標情報）をもとに、ウェハ上の欠陥位置を高解像度に撮像し、画像を出力する装置であり、走査型電子顕微鏡（ＳＥＭ：Ｓｃａｎｎｉｎｇ Ｅｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）を用いた欠陥観察装置（以下、レビューＳＥＭと記載）が広く使われている。

半導体の量産ラインでは試料観察作業の自動化が望まれており、レビューＳＥＭは試料内の欠陥位置における画像を自動収集する欠陥画像自動収集処理（ＡＤＲ：Ａｕｔｏｍａｔｉｃ Ｄｅｆｅｃｔ Ｒｅｖｉｅｗ）を行う機能と、収集した欠陥画像を自動で分類する欠陥画像自動分類処理（ＡＤＣ：Ａｕｔｏｍａｔｉｃ Ｄｅｆｅｃｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を行う機能とを搭載している。

なお、欠陥検査装置が出力した欠陥位置座標には誤差が含まれているため、ＡＤＲでは欠陥検査装置が出力した欠陥位置座標を中心に視野を広くして撮像した画像から、欠陥を再検出し、再検出した欠陥位置を高倍率で撮像し観察用画像を得る機能を備えている。ＳＥＭ画像からの欠陥検出方法として、欠陥部位と同一の回路パターンが形成されている領域を撮像した画像を参照画像とし、欠陥部位を撮像した画像（以降、欠陥画像と記載）と参照画像を比較することで欠陥を検出する方法が特開２００１－１８９３５８号公報（特許文献１）に記載されている。

設計データに応じたデータベース画像と、撮像画像から、参照画像を生成し、撮像画像と参照画像を比較し、欠陥候補を検出する方法がＷＯ２０１９／２１６３０３号公報（特許文献２）に記載されている。

また、非特許文献１には、ニューラルネットワークを用いて、入力画像と出力画像との対応関係を学習する方法が開示されている。

特開２００１－１８９３５８号公報 ＷＯ２０１９／２１６３０３号公報

Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ、Ｔｈｏｍａｓ Ｂｒｏｘ、"Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ"、ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５０５．０４５９７ （２０１５）

本発明に係る試料上の欠陥を観察するシステム（以降、試料観察システムと記載）は、半導体ウェハなどの試料を撮像し、画像を取得して、その画像を観察するシステムに関するものである。

試料観察システムにおいては、単位時間あたりに、より多くの画像を取得する（スループット高く動作する）ことが重要である。特許文献１には、欠陥画像ごとに参照画像を取得して、欠陥検出を行う方法が記載されている。しかし、欠陥画像から参照画像を推定することが可能であれば、参照画像の取得を省略することが可能となるため、試料観察のスループットの向上が可能となる。特許文献２には、設計データに応じたデータベース画像と、撮像画像から、参照画像を生成する方法が記載されている。しかし、設計データは機密性の高い情報であり、半導体の製造ライン、特に、高いスループットが求められる量産ラインには持ち出すことが許されず、設計データを利用することが困難なことがある。以上のように、設計データを利用できない場合、欠陥画像から参照画像を推定することは困難であり、前述の公知例のいずれもこの問題について解決する方法について言及がない。

本発明の目的は、上記した従来技術の課題を解決して、設計データを利用せずに、欠陥画像から参照画像を推定することを可能とし、試料観察のスループットを向上することを可能にすることにある。

また、本発明の他の目的は、上記した従来技術の課題を解決して、設計データを利用せずに、欠陥画像から欠陥部位を推定することを可能とし、試料観察のスループットを向上することを可能にすることにある。

本発明の走査型電子顕微鏡と、計算機と、を有する試料観察システム及び方法又は試料観察システムに含まれる計算機は、
（１）前記走査型電子顕微鏡が撮像した複数の画像を取得し、
（２）前記複数の画像から、欠陥部位を含む学習用欠陥画像と、前記欠陥部位を含まない学習用参照画像と、を取得し、
（３）前記学習用欠陥画像と、前記学習用参照画像と、を用いて、推定処理パラメータを算出し、
（４）欠陥部位を含む検査用欠陥画像を取得し、
（５）前記推定処理パラメータと、前記検査用欠陥画像と、を用いて、擬似参照画像を推定する。

別な視点に於いて、本発明の走査型電子顕微鏡と、計算機と、を有する試料観察システム及び方法又は試料観察システムに含まれる計算機は、
前記走査型電子顕微鏡が撮像した複数の画像を取得し、
前記複数の画像から、欠陥部位を含む学習用欠陥画像を取得し、
前記学習用欠陥画像を用いて、推定処理パラメータを算出し、
欠陥部位を含む検査用欠陥画像を取得し、
前記推定処理パラメータと、前記検査用欠陥画像と、を用いて、前記検査用欠陥画像中の欠陥部位を推定する。

本発明によれば、試料観察において、設計データを利用できない場合でも、欠陥画像から参照画像を推定することが可能となる。さらには、参照画像を推定することで参照画像の取得を省略することが可能となり、試料観察のスループットを向上させることが可能となる。

また、本発明によれば、試料観察において、欠陥画像から欠陥部位を推定することが可能となる。さらには、欠陥画像から欠陥部位を推定することで参照画像の取得を省略することが可能となり、試料観察のスループットを向上させることが可能となる。

実施例１に係わる試料観察システムの概略の構成を示すブロック図である。 実施例１に係わる試料観察システムの試料観察の流れを示すフロー図である。 実施例１に係わる試料観察システムの試料観察における欠陥部位を特定した結果の例を示す図である。 実施例１に係わる試料観察システムの学習シーケンスの流れを示すフロー図である。 実施例１に係わる試料観察システムの学習シーケンスにおける学習用画像対を取得する処理のフロー図である。 実施例１に係わる試料観察システムの学習シーケンスにおける推定処理パラメータを算出する処理のフロー図である。 実施例１に係わる試料観察システムの推定処理パラメータの算出における画像対を位置合わせする処理と画像を切り出す処理を示す図である。 実施例１に係わる試料観察システムにおける擬似参照画像を推定するニューラルネットワークの構成を示すブロック図である。 実施例１に係わる試料観察システムにおける学習用画像サイズを設定するためのＧＵＩである。 実施例１に係わる試料観察システムにおける学習終了条件を設定するためのＧＵＩである。 実施例１に係わる試料観察システムにおける学習ステップごとの推定誤差を確認するためのＧＵＩである。 実施例１に係わる試料観察システムにおける学習用欠陥画像から推定した擬似参照画像のうち指定された画像を表示するためのＧＵＩである。 実施例１に係わる試料観察システムと比較する従来の試料観察システムにより観察用欠陥画像を取得する処理のタイミングチャートである。 実施例１に係わる試料観察システムにより観察用欠陥画像を取得する処理のタイミングチャートである。 実施例２に係わる試料観察システムの学習シーケンスの流れを示すフロー図である。 実施例３に係わる試料観察システムにおける計算機の概略の構成を示すブロック図である。 実施例３に係わる試料観察システムの試料観察の流れを示すフロー図である。 実施例３に係わる試料観察システムの学習シーケンスにおける推定処理パラメータを算出する処理のフロー図である。 実施例３に係わる試料観察システムにおける欠陥部位を推定するニューラルネットワークの構成を示すブロック図である。 実施例１から３の学習用部分欠陥画像から擬似参照画像を推定する場合に用いる式を示す図である。 実施例３の処理で用いる式を示す図である。

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

（実施の形態１）
＜システム構成＞
本実施例に関わる試料観察システムについて、図１を用いて説明する。本実施例では、試料を撮像する撮像装置として、走査型電子顕微鏡（ＳＥＭ：Ｓｃａｎｎｉｎｇ Ｅｌｅｃｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）を備えた試料観察システムを対象に説明する。しかし、本実施例に関わる撮像装置は、ＳＥＭ以外でも良く、光学顕微鏡やイオンなどの荷電粒子を用いた撮像装置でも良い。また、観察対象の画像として半導体ウェハ上の欠陥を撮像した画像を対象に説明するが、フラットパネルディスプレイや生体試料など他の試料を撮像した画像でも良い。

図１は、本実施例にかかる試料観察装置１００の構成を表している。試料観察装置（試料観察システムとも称する）１００は、試料の撮像を行うＳＥＭ１０１と、試料の欠陥を検出する欠陥検査装置１０２と、計算機１０３を備えて構成されている。

ＳＥＭ１０１は、観察対象である試料ウェハ１０４を搭載してＸ－Ｙ平面内又はＸ－Ｙ－Ｚ空間内で移動可能なステージ１０５、試料ウェハ１０４に照射する電子ビーム１０６を発生させる電子源１０７、電子ビーム１０６が照射された試料ウェハ１０４から発生した二次電子１０８や反射電子１０９などを検出する検出器１１０の他、電子ビーム１０６を試料ウェハ１０４上に収束させる電子レンズ（図示せず）や、電子ビーム１０６を試料ウェハ１０４上で走査するための偏向器（図示せず）を備えて構成される。

欠陥検査装置１０２は、ウェハ表面の光学画像を撮像し，良品部位の画像（例えば隣接チップの画像）との比較により欠陥を検査する装置である。ただし，このような検査装置は、その照明波長の影響を受け、取得画像の分解能限界は数百ナノメートル程度となる。よって、ウェハ上における数十ナノメートルオーダの欠陥に関しては、その有無を検出できるのみであり、ウェハ上の欠陥座標を出力する。

計算機１０３は、ユーザインターフェース（図ではユーザＩ／Ｆと表記）１１１、ネットワークインターフェース（図ではネットワークＩ／Ｆと表記）１１２、ＳＥＭ１０１の制御を行う制御部１１３、情報を記憶する記憶部１１４、処理部１１５を備えている。なお、記憶部１１４は例えば、磁気ディスクデバイス、揮発性及び不揮発性の半導体メモリデバイス、が例であるが、他の記憶デバイスでもよい。また記憶部は複数の前述のデバイスより構成されてもよい。また、処理部の例は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＬＳＩ、のいずれでもよく、組み合わせて実現してもよい。なお、後ほど説明する制御部１１３は、計算機１０３とは別なサブシステム（制御サブシステムと呼ぶことがある）であってもよい。また、本明細書では計算機１０３は一つの例で説明するが、複数の計算機であってもよい。例えばＧＵＩ表示をする処理はタブレットやスマートフォンといった表示用の計算機で行い、その他画像処理は別な計算機で行うといったことが考えられる。また、計算機は前述の構成物を複数有してもよい。
ユーザインターフェース１１１は、例えば、タッチパネル、ディスプレイ、キーボード、マウス等であるが、作業者（ユーザ）からの操作を受け付け、情報を表示ができるのであれば、他のデバイスであっても良い。ネットワークインターフェース１１２は、ネットワークを介して、欠陥検査装置やＳＥＭなどの外部装置と通信するためのインターフェースである。

制御部１１３、処理部１１５、記憶部１１４について本実施例にかかる構成を説明する。

制御部１１３は、ステージ制御部１１６、電子ビーム制御部１１７、検出器制御部１１８を備えている。ステージ制御部１１６は、ステージ１０５の移動や停止などの制御を行う。電子ビーム制御部１１７は、所定の視野内において電子ビーム１０６が照射されるように偏向器（図示せず）を制御して、試料ウェハ１０４上の電子ビーム１０６のスキャン領域を制御する。検出器制御部１１８は、図示していない偏向器により駆動された電子ビーム１０６のスキャンに同期して検出器１１０からの信号をサンプリングし、ゲインやオフセットなどを調整しデジタル画像を生成する。なお、制御部１１３の実現形態としては、例えば回路で実現してもよく、ＣＰＵ，ＧＰＵ，ＦＰＧＡ、ＬＳＩで実現してもよい。

記憶部１１４は、検出器制御部１１８において生成されたデジタル画像を付帯情報とともに記憶する画像記憶エリア１１９、デバイスや製造工程の情報や画像の撮像条件などを含むレシピを記憶するレシピ記憶エリア１２０、擬似参照画像の推定処理に係わるパラメータを記憶する推定処理パラメータ記憶エリア１２１を含む。なお、各エリアは必ずしも分かれたエリアである必要はない。レシピ、パラメータ、推定処理パラメータが記憶できるのであれば記憶部１１４の内部のデータ配置はどのような形式であってもよい。

処理部１１５は、欠陥画像から擬似参照画像を推定するための推定処理パラメータを算出する推定処理パラメータ算出部１２２、推定処理パラメータに基づいて擬似参照画像を推定する擬似参照画像推定部１２３、欠陥画像中の欠陥部位を特定する欠陥部位特定部１２４を備えている。なお、処理部１１５がＣＰＵやＧＰＵ等、プログラムによって所定の処理を実行するデバイスの場合は、推定処理パラメータ算出部１２２、擬似参照画像推定部１２３、欠陥部位特定部１２４に対応するプログラム（まとめて画像処理プログラムと呼ぶ）が記憶部１１４に格納されている。そして処理部１１５が当該プログラムを読みだすことでこれらの処理を実現することになる。

次に、本実施例で行う処理について説明する。なお、別途明記した場合を除いて、実施例１から３に関する以後の処理の説明は計算機１０３によって行われる処理である。より具体的にはＳＥＭ１０１の制御については制御部１１３が行う処理であり、その他の処理は処理部１１５が行うことが処理の分担例である。また、処理部１１５がＣＰＵやＧＰＵの場合は、記憶部１１４に格納されたプログラム（以後画像処理プログラムと呼ぶ場合がある）を読みだして実現している。ただし、推定処理パラメータ算出部１２２、擬似参照画像推定部１２３、又は欠陥部位特定部１２４によって行われる処理と説明した場合でも、これら部は処理部１１５に含まれるため、処理部１１５によって処理されると考えてもよい。

＜試料観察＞
試料の観察処理に関して図２を用いて説明する。

まず、観察対象となる試料ウェハ１０４をステージ１０５上にロードされるのを待つ（Ｓ２０１）。次に、観察対象である試料ウェハに対応したレシピをレシピ記憶エリアから読み込む（Ｓ２０２）。試料ウェハ１０４上に形成された半導体パターンは、多数の製造工程を経て製造されており、各工程において外観が大きく異なる場合がある。更に、帯電のしやすさなど試料の特性も異なる場合がある。そのため、デバイスや製造工程ごとに撮像条件を調整し、記憶させるのが一般的である。同様の理由により、擬似参照画像の推定処理パラメータも工程ごとに管理することで推定精度が向上する。

次に、欠陥検査装置１０２の出力した欠陥座標情報を受信又は読み込む（Ｓ２０３）。ここで、受信又は読み込まれた欠陥座標の全てを観察対象としても良いし、ユーザ指定条件に基づきサンプリングしたものを観察対象としても良い。次に、試料ウェハ１０４が処理された工程に対応した推定処理パラメータが推定処理パラメータ記憶エリア１２１に記憶されているか否かを確認し（Ｓ２０４）、記憶されていない場合（図２で「なし」の場合）は、後述する学習シーケンスにより推定処理パラメータを算出し、結果を推定処理パラメータ記憶エリア１２１に記憶する（Ｓ２０５）。なお、前述の欠陥検査装置からの欠陥座標情報の受信はネットワークインターフェース１１２を介して受信してもよく、又はＵＳＢメモリなどの可搬性記憶媒体から読み込んでもよい。なお、Ｓ２０５は、推定処理パラメータ算出部１２２で実現してもよく、前述の通り演算部１１５全体で実現してもよい。

次に、推定処理パラメータ記憶エリア１２１から擬似参照画像の推定処理パラメータを読み込む（Ｓ２０６）。次に、試料ウェハ１０４上の観察対象欠陥を、ＳＥＭ１０１を用いて順次撮像して、以下のＳ２０７からＳ２１３の一連の観察を行う。

まず、制御部１１３を通して、試料ウェハ１０４上の観察対象欠陥がＳＥＭ１０１の撮像視野に含まれるようにステージ１０５を制御して移動させる（Ｓ２０７）。次に、検査用欠陥画像を取得する（Ｓ２０８）。当該画像の取得は例えば、ＳＥＭ１０１により電子ビーム１０６を試料ウェハ１０４上の観察対象欠陥を含む比較的広い領域に照射して走査し、発生した二次電子１０８や反射電子１０９を検出器１１０で検出することにより観察対象欠陥を含む比較的広い領域を撮像し、この撮像して得た検出器１１０からの検出信号を検出器制御部１１８で処理して、観察対象の欠陥を含む比較的広い領域の低倍率画像を取得することで行われる。

次に、検査用欠陥画像に対してノイズ除去や輝度むら補正などの画像前処理を適用し（Ｓ２０９）、擬似参照画像推定部１２３において、推定処理パラメータ記憶エリア１２１から読み込んだ推定処理パラメータを用いて、画像前処理を行った検査用欠陥画像から、擬似参照画像を推定する（Ｓ２１０）。この類似参照画像は、検査用欠陥画像と同様の回路パターンが観察され、かつ欠陥を含まない画像に相当する。なお、擬似参照画像の推定には、設計データは不要であり、推定処理パラメータ及び画像前処理を行った検査用欠陥画像を用いる。

次に、欠陥部位特定部１２４において、検査用欠陥画像と擬似参照画像を比較して、検査用欠陥画像から欠陥部位を特定する（Ｓ２１１）。欠陥部位の特定方法については特許文献１などに記載の方法を用いれば良い。

次に、特定した欠陥部位を、視野を狭めて高倍率で撮像し、観察用の欠陥画像（以降、観察用欠陥画像と記載）を取得し（Ｓ２１２）、検査用欠陥画像と、擬似参照画像と、観察用欠陥画像を画像記憶エリア１１９に記憶する（Ｓ２１３）。

以上で図２のフローが終わる。なお当該一連の処理は、試料ウェハ１０４の全ての観察対象欠陥について繰り返し実行してもよいが、他の基準に基づいて一部の観察対象欠陥について行ってもよい。なお、Ｓ２０５は、推定処理パラメータ算出部１２２が担ってもよく、処理部１１５全体として担当してもよい。

＜＜欠陥部位を特定した結果の例＞＞
Ｓ２１１において欠陥部位を特定した結果の例を図３を用いて説明する。検査用欠陥画像３０１と擬似参照画像３０２を用いて、欠陥部位を特定すると、欠陥部位と欠陥部位以外の領域を区別可能な特定欠陥部位画像３０３が得られる。特定欠陥部位画像３０３において、例えば、欠陥部位の画素値は１、欠陥部位以外の領域の画素値は０とすれば良い。

＜＜学習シーケンス＞＞
Ｓ２０５の学習シーケンスにより推定処理パラメータを算出し、結果を推定処理パラメータ記憶エリア１２１に記憶する処理に関して図４を用いて説明する。

まず、学習用に取得する画像のサイズを取得する（Ｓ４０１）。次に、学習対象とする欠陥を設定する（Ｓ４０２）。これは、Ｓ２０３で読み込まれた欠陥座標の全てを学習対象としても良いし，ユーザ指定条件に基づきサンプリングしたものを学習対象としても良い。次に、この設定した学習対象とする欠陥を含む画像（以降、学習用欠陥画像と記載）と、学習対象とする欠陥位置周辺と同様の回路パターンが形成されるように設計された領域を含む画像（以降、学習用参照画像と記載）の対を取得する（Ｓ４０３）。

＜＜＜Ｓ４０３の学習用画像対取得の詳細＞＞＞
ここで、Ｓ４０３に関して図５を用いて説明する。まず、学習対象とする欠陥位置周辺と同様の回路パターンが形成されるように設計された（または想定される）領域（以降、参照領域と記載）がＳＥＭ１０１の撮像視野に含まれるようにステージ１０５を制御して移動させる（Ｓ５０１）。なお、参照領域の特定には設計データ程精度の良い情報は不要である。半導体ウェハにおいては，同様の回路パターンが形成されるように設計されたチップがウェハ上に複数配置されているため，最も簡単な方法としては欠陥座標から１チップ分ずらした領域を参照領域とすることが考えられる。しかし他の方法で参照領域を選択してもよい。

次に、電子ビーム１０６を試料ウェハ１０４上の参照領域に照射して走査し、発生した二次電子１０８や反射電子１０９を検出器１１０で検出することにより参照領域を撮像し、この撮像して得た検出器１１０からの検出信号を検出器制御部１１８で処理して、Ｓ４０１で取得したサイズ以上となるように学習用参照画像を取得する（Ｓ５０２）。

次に、学習対象とする欠陥を含む領域（以降、欠陥領域と記載）がＳＥＭ１０１の撮像視野に含まれるようにステージ１０５を制御して移動させる（Ｓ５０３）。次に、電子ビーム１０６を試料ウェハ１０４上の欠陥領域に照射して走査し、発生した二次電子１０８や反射電子１０９を検出器１１０で検出することにより欠陥領域を撮像し、この撮像して得た検出器１１０からの検出信号を検出器制御部１１８で処理して、Ｓ４０１で取得したサイズ以上となるように学習用欠陥画像を取得する（Ｓ５０４）。

学習用欠陥画像と学習用参照画像を取得した後、学習用欠陥画像と学習用参照画像が対になるように付帯情報を付加して画像記憶エリア１１９に記憶する（Ｓ５０５）。

以上が図５を用いた説明である。なお、学習用参照画像と学習用欠陥画像の取得の順番はどちらが先でも良い。すなわち、Ｓ５０３～Ｓ５０４の後にＳ５０１～Ｓ５０２の処理を実行しても良い。

＜＜＜学習シーケンスと欠陥観察処理の並行処理＞＞＞
図４の説明に戻る。以下に説明するＳ４０４とＳ４０５は、学習シーケンスと並行して欠陥部位の特定と欠陥観察に必要な処理を行うことで、時間を要する学習シーケンス時間中であっても欠陥観察を行えるメリットを意図した処理である。

Ｓ４０３で取得した学習用欠陥画像と学習用参照画像を比較して、Ｓ２１１同様に欠陥部位を特定する（Ｓ４０４）。次に、特定した欠陥部位を、視野を狭めて高倍率で撮像し、観察用欠陥画像を取得し、観察用欠陥画像を画像記憶エリア１１９に記憶し、Ｓ２０７～Ｓ２１３において観察対象とする欠陥からは除外する（Ｓ４０５）。以上のＳ４０３～Ｓ４０５の処理を、試料ウェハ１０４の全て又は一部の学習対象欠陥について繰り返し実行する。

以上が学習シーケンスと欠陥観察処理の並行処理に関してである。

最後に、推定処理パラメータの学習終了条件を取得し（Ｓ４０６）、推定処理パラメータ算出部１２２において、擬似参照画像を推定するための推定処理パラメータを算出する（Ｓ４０７：詳細は後述）。

以上が図４の説明である。ここで、Ｓ４０４とＳ４０５は前述の並行処理のメリットの他に、Ｓ２１２において観察用欠陥画像の取得が不要となるため、試料観察を効率的に行うことが可能となるメリットがある。なお、Ｓ４０４～Ｓ４０５を省略しても良く、省略した場合は、学習対象欠陥について、Ｓ２０７～Ｓ２１３において観察対象とする欠陥からは除外しない。

＜＜＜Ｓ４０７の推定処理パラメータ算出の詳細＞＞＞
Ｓ４０７の推定処理パラメータ算出処理に関して図６を用いて説明する。推定処理パラメータの算出には、設計データは不要であり、学習用欠陥画像と学習用参照画像を用いる。

まず、Ｓ４０３で取得した全ての学習用欠陥画像と学習用参照画像に対して、Ｓ２０９同様、ノイズ除去や輝度むら補正などの画像前処理を適用する（Ｓ６０１）。次に、ステージ移動や電子ビーム照射の位置決めにおける誤差を吸収するために、所定の評価値に基づいて、学習用欠陥画像と学習用参照画像の対の位置合わせを行い、画像間のアライメント量ＡＸ、ＡＹを求める（Ｓ６０２）。所定の評価値としては、正規化相互相関係数や平均二乗誤差などを用い、評価値が最大もしくは最小になる位置をもとに位置合わせを行えば良い。なお、画像解像度（同じ視野の1枚の画像あたりの画素数）が異なる場合には、位置合わせを行う前に線形補間などで、画像解像度を揃えておくものとする。

次に、アライメント量に基づいて、学習用欠陥画像から学習用部分欠陥画像を切り出し、学習用参照画像から学習用部分参照像を切り出す（Ｓ６０３）。

ここで、Ｓ６０１及びＳ６０２の処理について、図７を用いて説明する。図７には、学習用欠陥画像７０１、学習用参照画像７０２を示している。Ｓ６０１ではこの２枚の画像について所定の評価値に基づいて位置合わせし、画像位置合わせ結果７０３を得る。なお、位置合わせ結果７０３には学習用欠陥画像７０１のみに含まれる欠陥部位については図示していない。Ｓ６０２では、アライメント量ＡＸ、ＡＹに基づいて、学習用欠陥画像と学習用参照画像に共通する領域として、学習用欠陥画像７０１から学習用部分欠陥画像７０４を切り出し、学習用参照画像７０２から学習用部分参照画像７０５を切り出す。

再び図６を用いた説明に戻る。学習中推定処理パラメータを初期化する（Ｓ６０４）。この際、以前に学習した推定処理パラメータを推定処理パラメータ記憶エリア１２１から読み出して学習中推定処理パラメータの初期値として利用しても良い。次に、学習中推定処理パラメータに基づいて、学習用部分欠陥画像から擬似欠陥画像を推定し（Ｓ６０５）、学習用部分参照画像と擬似欠陥画像との推定誤差を算出し（Ｓ６０６）、推定誤差が小さくなるように、学習中推定処理パラメータを更新する（Ｓ６０７）。次に、Ｓ４０６で取得した学習終了条件を満たすか否かを確認する。（Ｓ６０８）もし、学習終了条件を満たす場合には、学習中推定処理パラメータを推定処理パラメータとして推定処理パラメータ記憶エリア１２１に保存する（Ｓ６０９）。もし、学習終了条件を満たさない場合は、再びＳ６０５の処理に戻る。

以上で図６のフローが終了する。

なお、学習終了条件としては、例えば、下記が考えられる：
（学習終了条件１）推定誤差と予め設定された推定誤差しきい値ＴＨを比較し推定誤差がしきい値ＴＨよりも小さい。
（学習終了条件２）ユーザから学習終了の操作を受け付けた。
（学習終了条件３）Ｓ６０５からＳ６０８までの処理を、予め設定された指定回数ＭＲだけ繰り返した。

＜＜ニューラルネットワークの適用＞＞
また、Ｓ６０５において学習用部分欠陥画像から擬似参照画像を推定する一方法として、非特許文献１に記載されているニューラルネットワークを用いれば良い。なお、このニューラルネットワークは、Ｓ２１０において検査用欠陥画像から擬似参照画像を推定する際にも用いる。具体的には図８に示すようなＵ―ｎｅｔと呼ばれるＵ字形式のニューラルネットワークを用いれば良い。ここで、Ｙは入力画像を示す。Ｆ１１（Ｙ）、Ｆ１２（Ｙ）、Ｆ１３（Ｙ）、Ｆ２１（Ｙ）、Ｆ２２（Ｙ）、Ｆ２３（Ｙ）、Ｆ２４（Ｙ）、Ｆ３１（Ｙ）、Ｆ３２（Ｙ）は中間データを示す。Ｆ（Ｙ）が擬似参照画像の推定結果を示す。

中間データと最終結果は図２０の式１～式１０により算出される。ただし、式１～式１０において、“＊”は畳み込み演算を表し、ＤＳは入力画像に２×２のマックスフィルタを適用し空間（ＸＹ）方向に半分に縮小させる演算を表し、ＵＳは入力画像を空間方向に２倍のサイズにアップサンプリングする演算を表し、ＣＣは入力された２つの画像をチャネル方向に結合する演算を表す。

ここで、式１～式１０で用いられる変数の意味は下記の通りである：
Ｗ１はｃ１個のｃ０×ｆ１×ｆ１サイズのフィルタ
ｃ０は入力画像のチャネル数
ｆ１は空間フィルタのサイズ
入力画像にｃ０×ｆ１×ｆ１サイズのフィルタをｃ１回畳み込むことでｃ１次元の特徴マップが得られる。

再び式１～式１０で用いられる変数の意味を下記に記す：
Ｂ１はｃ１次元のベクトル（ｃ１個のフィルタに対応したバイアス成分）
Ｗ２はｃ１×ｆ２×ｆ２サイズのフィルタ
Ｂ２はｃ２次元のベクトル
Ｗ３はｃ２×ｆ３×ｆ３サイズのフィルタ
Ｂ３はｃ３次元のベクトル
Ｗ４はｃ３×ｆ４×ｆ４サイズのフィルタ
Ｂ４はｃ２次元のベクトル
Ｗ５は（ｃ２×２）×ｆ５×ｆ５サイズのフィルタ
Ｂ５はｃ２次元のベクトル
Ｗ６はｃ２×ｆ６×ｆ６サイズのフィルタ
Ｂ６はｃ１次元のベクトル
Ｗ７は（ｃ１×２）×ｆ７×ｆ７サイズのフィルタ
Ｂ７はｃ４次元のベクトル
Ｗ８はｃ４×ｆ８×ｆ８サイズのフィルタ
Ｂ８はｃ５次元のベクトル。

このうち、ｃ０とｃ５は学習用部分欠陥画像と学習用部分参照画像のチャネル数により決まる値である。また、ｆ１～ｆ８、ｃ１～ｃ４は学習シーケンス前にユーザが決定するハイパーパラメータであり、たとえばｆ１～ｆ８＝３、ｃ１＝８、ｃ２＝１６、ｃ３＝３２、ｃ４＝６４とすれば良い。推定処理パラメータの算出処理（Ｓ４０５）により算出するパラメータは、Ｗ１～Ｗ８、Ｂ１～Ｂ８である。

なお、以上示したニューラルネットワークの構成として、他の構成を用いても良い。図８では最大深さ３のＵ―ｎｅｔの構造について説明したが、例えば、深さを変更してもよく、最大深さ４以上のネットワークなどを用いても良い。

推定誤差算出処理（Ｓ６０７）は、推定結果Ｆ（Ｙ）と学習用部分参照画像の差異（誤差）を評価する処理であり、本処理で求めた推定誤差が小さくなるようにパラメータの更新が行われる。画像間の差異（誤差）を定量化する方法としては、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）などを用いれば良い。

推定処理パラメータ更新処理（Ｓ６０８）においては、ニューラルネットワークの学習において一般的な誤差逆伝搬法を用いれば良い。また、推定誤差を算出する際に、取得した学習用欠陥画像と学習用参照画像の対の全てを用いても良いが、ミニバッチ方式を取っても良い。つまり、学習用欠陥画像と学習用参照画像の対の中から複数の画像対をランダムに抜き出し、パラメータを更新することを繰り返し実行しても良い。さらには、ひとつの画像対からパッチ画像をランダムに切り出し、ニューラルネットワークの入力画像Ｙとしても良い。これにより、学習が効率的に行える。

＜ＧＵＩ＞
次に、ユーザインターフェース１１１に表示されるＧＵＩについて説明する。

図９に、Ｓ４０１において、学習用画像のサイズを設定するためのＧＵＩ９００を示している。本ＧＵＩ９００には、Ｓ２０２で読み込んだレシピに含まれる検査欠陥画像サイズ９０１と撮像視野９０２が表示される。さらに、ＧＵＩ９００には学習用画像サイズを設定する入力部９０３が表示されており、ＧＵＩ９００を通して、学習用画像サイズを設定した後、「ＯＫ」ボタン９０４を押すことで、Ｓ４０２以降の処理が実行される。

ここで、学習用画像のサイズを決める方法について説明する。図８で示したニューラルネットワークでは、深さｄにおいて、入力画像を１／（２＾ｄ）のサイズ（ＸＹ方向）に縮小する。そのため、最大深さＤのニューラルネットワークを用いる場合、入力画像は（２＾Ｄ）×（２＾Ｄ）以上のサイズであることが求められる。ところで、Ｓ６０２において学習用欠陥画像と学習用参照画像を位置合わせすることで得られる、学習用部分欠陥画像と学習用部分参照画像のサイズは、それぞれ、学習用欠陥画像と学習用参照画像のサイズ以下になる。具体的には、アライメント量ＡＸ、ＡＹの分だけ画像サイズが小さくなる。学習用部分欠陥画像と学習用部分参照画像のサイズが（２＾Ｄ）×（２＾Ｄ）以上のサイズとなることを保証するためには、（２＾Ｄ＋ＡＸ）×（２＾Ｄ＋ＡＹ）のサイズで学習用欠陥画像と学習用参照画像を取得する必要があるが、学習用欠陥画像と学習用参照画像の取得前にアライメント量ＡＸ、ＡＹを知ることはできない。アライメント量ＡＸ、ＡＹはステージ移動誤差や電子ビーム照射位置決め誤差などに依存するため、ステージ移動誤差や電子ビーム照射位置決め誤差などからアライメント量の最大値ＭＸ、ＭＹを求め、（２＾Ｄ＋ＭＸ）×（２＾Ｄ＋ＭＹ）のサイズを学習用画像サイズとして設定すれば良い。例えば、ニューラルネットワークの最大深さが７、ＭＸ＝５０、ＭＹ＝３０である場合、１７８×１５８を学習用画像サイズとする。

なお、Ｓ４０１において学習用画像のサイズを取得せずに、検査欠陥画像と同じサイズで、Ｓ５０２及びＳ５０４において学習用欠陥画像と学習用参照画像を取得し、Ｓ６０２において学習用欠陥画像と学習用参照画像の位置合わせを行い、Ｓ６０３において学習用部分欠陥画像と学習用部分参照画像を切り出した後、学習用部分欠陥画像と学習用部分参照画像の少なくとも一方が、所定のサイズ以上であることをチェックし、所定のサイズ未満である場合、その画像対はＳ６０５～Ｓ６０８の処理には用いないようにしても良い。所定のサイズとは、最大深さＤのニューラルネットワークを用いる場合、（２＾Ｄ）×（２＾Ｄ）のサイズとする。

図１０は、Ｓ４０６において、学習終了条件を設定するＧＵＩ１０００を示している。ＧＵＩ１０００にはＳ６０５～Ｓ６０８の処理を繰り返す回数ＭＲを設定する入力部１００１、推定誤差しきい値ＴＨを設定する入力部１００２、ユーザによる学習終了操作を受け付けるか否かを設定する入力部１００３が表示されており、ＧＵＩ１０００を通して、学習終了条件を設定した後、「学習開始」ボタン１００４を押すことで、Ｓ４０７の推定処理パラメータの算出が実行される。推定処理パラメータの算出中に「キャンセル」ボタン１００６を押すと、推定処理パラメータの算出を中断することができる。また、推定処理パラメータの算出中に「進捗確認」ボタン１００５を押すと、図１１に示すような学習中推定処理パラメータ更新処理の進捗を確認するＧＵＩ１１００に切り替わる。ＧＵＩ１１００では、推定パラメータ更新の繰り返し回数と推定誤差の推移をグラフ１１０１に表示する。ＧＵＩ１１００の「学習終了」ボタン１１０３を押すと、ユーザから学習終了の操作を受け付けたとみなし、学習中推定処理パラメータの更新を終了し、すなわち、Ｓ６０８において学習終了条件を満たすと判定する。ＧＵＩ１１００の「推定画像確認」ボタン１１０２を押すと、図１２に示すようなＧＵＩ１２００に切り替わる。ＧＵＩ１２００上で、画像ＩＤ選択ボタン１２０１を押して、表示する画像の番号を指定し、チャネル選択部１２０２で二次電子像（ＳＥ）や反射電子像（ＢＳＥ）などの表示する画像の種類を選択することで、学習中推定パラメータを用いて、指定された画像ＩＤに対する擬似欠陥画像推定処理が実行され、指定された画像ＩＤの学習用部分欠陥画像１２０３と、推定された擬似欠陥画像１２０４、学習用部分参照画像１２０５が表示される。ＧＵＩ１２００の「ＯＫ」ボタン１２０６を押すと、図１１に示したような元のＧＵＩ１１００の表示に切り替わる。

本実施例により、学習用欠陥画像及び学習用参照画像を取得し、学習用欠陥画像と学習用参照画像を用いて推定処理パラメータを算出し、試料観察において、検査用欠陥画像から擬似参照画像を推定することで、参照画像の取得を省略することが可能となり、試料観察のスループットを向上させることが可能となる。

＜欠陥観察のシーケンスの比較＞
図１３に、従来の試料観察システムにおいて、観察対象欠陥（１）と（２）を順次観察する場合のシーケンスを示す。横軸は時間を表し、縦軸は観察対象欠陥を表している。

まず、観察対象欠陥（１）の観察に関する工程１３０１のシーケンスには以下が含まれる：
観察対象欠陥（１）に対応する参照領域がＳＥＭ１０１の撮像視野に含まれるようにステージを移動させる（Ｓ）
参照領域をＳＥＭ１０１で撮像して学習用参照画像を取得する（ＲＩ）
観察対象欠陥（１）を含む領域がＳＥＭ１０１の撮像視野に含まれるようにステージを移動させる（Ｓ）
観察対象欠陥（１）を含む比較的広い領域をＳＥＭ１０１で撮像して学習用欠陥画像を取得する（ＤＩ）
学習用欠陥画像と学習用参照画像を用いて、学習用欠陥画像中の欠陥部位を特定する（Ｄ）
特定した欠陥部位を含む比較的狭い領域をＳＥＭ１０１で撮像して観察用欠陥画像を取得する（ＨＩ）。

次の観察対象欠陥（２）の観察に関する工程１３０２でも同様なシーケンスが含まれる。ここで、工程１３０２のステージ移動（Ｓ）は、観察対象欠陥（１）の観察用欠陥画像の取得（ＨＩ）が終了した後に行うことが必須である。なぜならば、工程１３０１で観察対象欠陥（１）の観察用欠陥画像の取得（ＨＩ）が終了するまで観察対象欠陥（１）がＳＥＭ１０１の撮像視野内に留まっているからである。

図１４は、本実施例の、特にＳ２０７～Ｓ２１３の処理に関するシーケンスである。横軸と縦軸の関係は、図１３の場合と同じである。図１４のシーケンスには、図１３にない時間として擬似参照画像推定（Ｐ）が存在し、一方で参照画像取得（ＲＩ）がない。そのほか、行程中のステージ移動（Ｓ）が各々１つ少ない。

まず、観察対象欠陥（１）の観察に関する工程１４０１のシーケンスには以下が含まれる：
観察対象欠陥（１）を含む領域がＳＥＭ１０１の撮像視野に含まれるようにステージを移動させる（Ｓ）
観察対象欠陥（１）を含む比較的広い領域をＳＥＭ１０１で撮像して検査用欠陥画像を取得する（ＤＩ）
推定処理パラメータに基づいて、検査用欠陥画像から擬似参照画像を推定する（Ｐ）
検査用欠陥画像と擬似参照画像を用いて、検査用欠陥画像中の欠陥部位を特定する（Ｄ）
特定した欠陥部位を含む比較的狭い領域をＳＥＭ１０１で撮像して観察用欠陥画像を取得する（ＨＩ）。

次に、観察対象欠陥（２）の観察に関する工程１４０２で、観察対象欠陥（２）に対して、同様の処理を行う。

以上の通り、図１４のシーケンスでは、欠陥画像から擬似参照画像を推定（Ｐ）することで、図１３で説明したシーケンスの１回目のステージ移動（Ｓ）と、参照画像の取得（ＲＩ）が不要となる。これにより、ステージ移動回数を１／２に削減することが可能となり、さらに、参照画像の撮像を省略することが可能となり、試料観察システムを用いて試料ウェハ１０４上の観察対象の複数の欠陥を順次観察する場合のスループットを向上させることが可能になる。

（実施の形態２）
実施例１では、ＳＥＭを用いて、欠陥領域及び参照領域を撮像し、学習用欠陥画像及び学習用参照画像を取得し、学習用欠陥画像と学習用参照画像を用いて推定処理パラメータを算出し、試料観察において、検査用欠陥画像から擬似参照画像を推定することで、試料観察のスループットを向上させる方法について述べた。推定処理パラメータの算出時には、学習用欠陥画像と学習用参照画像の対の数が多いほど、効率的に学習が可能となる。本実施例では、学習対象欠陥が存在しない、または、少数の場合でも、学習用参照画像に擬似欠陥を付与することで学習用欠陥画像を生成し、学習用参照画像と、生成した学習用欠陥画像の対を用いて、推定処理パラメータを算出する方法について述べる。

本実施例にかかる試料観察システムの構成は実施例１で説明した図１に示した構成と基本的に同様である。異なるのは、学習シーケンスの処理フローであり、学習シーケンス以外の試料観察フローは、実施例１で説明した図２で示した処理フローと同等の処理フローを備える。また、本実施例にかかる試料観察システムのＧＵＩは、実施例１で説明した図９～図１２で示したものと同等のインターフェースを備える。以降においては、実施例１と異なる部分についてのみ説明する。

＜学習シーケンス＞
Ｓ２０５の学習シーケンスに関して図１５を用いて説明する。

まず、学習対象とする領域を設定する（Ｓ１５０１）。これは、試料ウェハ上の、ユーザが指定した１つ以上の領域としても良いし、試料ウェハ１０４上の１つ以上の領域をランダムに設定しても良い。ただし、学習対象とする領域には欠陥検査装置の出力した欠陥座標が含まれないようにする。次に、この設定した学習対象とする領域がＳＥＭ１０１の撮像視野に含まれるようにステージ１０５を制御して移動させ（Ｓ１５０２）、電子ビーム１０６を試料ウェハ１０４上の学習対象とする領域に照射して走査し、発生した二次電子１０８や反射電子１０９を検出器１１０で検出することにより学習対象とする領域を撮像し、この撮像して得た検出器１１０からの検出信号を検出器制御部１１８で処理して、学習用参照画像を取得する（Ｓ１５０３）。

次に、学習用参照画像に擬似欠陥を付与し、学習用欠陥画像を生成することで、学習用欠陥画像を取得し（Ｓ１５０４）、学習用欠陥画像と学習用参照画像が対になるように付帯情報を付加して画像記憶エリア１１９に記憶する（Ｓ１５０５）。擬似欠陥を付与する領域ＰＲは、学習用参照画像の面内において中心位置およびサイズ（幅と高さ）をランダムに設定すれば良い。

擬似欠陥として領域ＰＲの濃淡に一定のオフセットを加えても良い。または、回路パターンのエッジを含むようにＰＲを設定し、エッジ強度に基づいて回路パターンに変形を加えるようにしても良い。以上は、微小な欠陥を模擬したものであるが、画像全面をカバーするような巨大欠陥を生成するようにしても良い。擬似欠陥の種類はこれらに限らず、様々な欠陥をモデリングし、生成するようにすれば良い。

以上のＳ１５０２～Ｓ１５０５までの処理を、試料ウェハ１０４の全ての学習対象とする領域について繰り返し実行する。次に、推定処理パラメータの学習終了条件を取得し（Ｓ１５０６：図４のＳ４０６に相当）、推定処理パラメータ算出部１２２において、擬似参照画像を推定するための推定処理パラメータを算出する（Ｓ１５０７：図４のＳ４０７に相当）。

なお、以上の説明では、推定処理パラメータの算出の学習用欠陥画像として、Ｓ１５０４で生成した擬似欠陥を含む画像を用いる方法について説明したが、Ｓ１５０４で生成した擬似欠陥を含む画像の他に、実施例１で説明したＳ４０３と同様に、Ｓ２０３で読み込まれた欠陥座標の全て、または、ユーザ指定条件に基づきサンプリングした欠陥座標を含む画像も、学習用欠陥画像として用いても良い。すなわち、Ｓ１５０７において、試料ウェハ１０４上の欠陥を含む領域を撮像した画像（第一の欠陥画像）と、第一の欠陥画像と対応する参照画像（第一の参照画像）の対、及び、第二の参照画像と、第二の参照画像から生成した擬似欠陥を含む画像（第二の欠陥画像）の対を、用いて、推定処理パラメータを算出しても良い。

本実施例により、学習対象欠陥が存在しない、または、少数の場合でも、学習用参照画像に擬似欠陥を付与することで学習用欠陥画像を生成し、学習用参照画像と、生成した学習用欠陥画像の対を用いて、推定処理パラメータを算出することが可能となり、試料観察において、検査用欠陥画像から擬似参照画像を推定することで、参照画像の取得を省略することが可能となり、試料観察のスループットを向上させることが可能となる。

（実施の形態３）
実施例１及び実施例２では、学習用欠陥画像と学習用参照画像の対応関係を学習することで得られる推定処理パラメータを用いて、試料観察において、検査用欠陥画像から擬似参照画像を推定し、検査用欠陥画像と擬似参照画像を比較することで、検査用欠陥画像中の欠陥部位を特定する方法について述べた。本実施例では、欠陥画像中の欠陥部位を推定するための推定処理パラメータを算出し、推定処理パラメータに基づいて検査用欠陥画像中の欠陥部位を推定する方法について述べる。

＜システム構成＞
本実施例に関わる試料観察システム１００の構成に関して、ＳＥＭ１０１と欠陥検査装置１０２は実施例１で説明した図１に示した構成と同様であり、異なるのは、計算機１０３の構成である。以降においては、実施例１と異なる部分についてのみ説明する。

本実施例に関わる試料観察システムの計算機１０３について、図１６を用いて説明する。記憶部１１４は、検出器制御部１１８において生成されたデジタル画像を付帯情報とともに記憶する画像記憶エリア１１９、デバイスや製造工程の情報や画像の撮像条件などを含むレシピを記憶するレシピ記憶エリア１２０、欠陥画像中の欠陥部位の推定処理に係わるパラメータを記憶する推定処理パラメータ記憶エリア１６０１を備えている。処理部１１５は、欠陥画像中の欠陥部位を推定するための推定処理パラメータを算出する推定処理パラメータ算出部１６０２、推定処理パラメータに基づいて欠陥部位を推定する欠陥部位推定部１６０３を備えている。

＜試料観察方法＞
試料の観察方法に関して図１７を用いて説明する。Ｓ１７０１～Ｓ１７０３については図２のＳ２０１～Ｓ２０３と同様である。

Ｓ１７０４において、試料ウェハ１０４が処理された工程に対応した推定処理パラメータが推定処理パラメータ記憶エリア１６０１に記憶されているか否かを確認し、記憶されていない場合（図１７で「なし」の場合）は、推定処理パラメータ算出部１６０２において、後述する学習シーケンスにより推定処理パラメータを算出して記憶する（Ｓ１７０５）。次に、推定処理パラメータ記憶エリア１６０１から推定処理パラメータを読み込む（Ｓ１７０６）。

次に、試料ウェハ１０４上の観察対象欠陥を、ＳＥＭ１０１を用いて順次撮像して、一連の観察を行う。Ｓ１７０７～Ｓ１７０９については図２のＳ２０７～Ｓ２０９と同様であるため、説明を省略する。次に、欠陥部位推定部１６０３において、推定処理パラメータを用いて、画像前処理を行った検査用欠陥画像中の欠陥部位を推定する（Ｓ１７１０）。なお、欠陥部位の推定には、設計データは不要であり、推定処理パラメータ及び画像前処理を行った検査用欠陥画像を用いる。次に、推定した欠陥部位を、視野を狭めて高倍率で撮像し、観察用欠陥画像を取得し（Ｓ１７１１）、検査用欠陥画像と観察用欠陥画像を画像記憶エリア１１９に記憶する（Ｓ１７１２）。以上のＳ１７０７からＳ１７１２までの処理を、試料ウェハ１０４の全ての観察対象欠陥について繰り返し実行する。

＜＜学習シーケンス＞＞
Ｓ１７０５の学習シーケンスに関して、Ｓ４０７以外は、実施例１で説明した図４で示した処理フローと同等のシーケンスを備える。

図４のＳ４０７に対応する推定処理パラメータを算出する方法について、図１８を用いて説明する。推定処理パラメータの算出には、設計データは不要であり、学習用欠陥画像と学習用参照画像を用いる。

Ｓ１８０１～Ｓ１８０３については図６のＳ６０１～Ｓ６０３と同様であるため、説明を省略する。次に、学習用部分欠陥画像と学習用部分参照画像を比較して、学習用部分欠陥画像中の欠陥部位を特定し、欠陥部位を示す特定欠陥部位画像を求める（Ｓ１８０４：図２のＳ２１１に相当）。なお、Ｓ１８０４において、学習用欠陥画像と学習用参照画像を用いて欠陥部位を特定せずに、学習用欠陥画像をＧＵＩに表示し、ユーザが欠陥部位を指定し、指定した欠陥部位と指定した欠陥部位以外の領域を区別可能な画像を特定欠陥部位画像としても良い。次に、学習中推定処理パラメータを初期化する（Ｓ１８０５：図６のＳ６０４に相当）。この際、以前に学習した推定処理パラメータを推定処理パラメータ記憶エリア１６０１から読み出して学習中推定処理パラメータの初期値として利用しても良い。

次に、欠陥部位推定部１６０３において、学習中推定処理パラメータに基づいて、学習用部分欠陥画像から欠陥部位を推定し（Ｓ１８０６）、推定欠陥部位画像を求め、推定欠陥部位画像と特定欠陥部位画像を用いて推定誤差を算出し（Ｓ１８０７）、推定誤差が小さくなるように、学習中推定処理パラメータを更新する（Ｓ１８０８：図６のＳ６０７に相当）。次に、Ｓ４０６で取得した学習終了条件を満たすか否かを確認し（Ｓ１８０９：図６のＳ６０８に相当）、学習終了条件を満たす場合には、学習中推定処理パラメータを推定処理パラメータとして推定処理パラメータ記憶エリア１６０１に記憶する（Ｓ１８１０）。学習終了条件は実施例１にて説明した通りである。もし、学習終了条件を満たさない場合は、再びＳ１８０６の処理に戻る。以上で図１８のフローが終了する。

Ｓ１８０６において学習用部分欠陥画像から欠陥部位を推定する一方法として、図１９に示したニューラルネットワークを用いれば良く、入力画像Ｙは学習用部分欠陥画像、Ｆ（Ｙ）が推定欠陥部位画像である。推定欠陥部位画像Ｆ（Ｙ）は、図２１の式１２により算出される。式１２において、Ｆ（Ｙ）（ｘ、ｙ、ｃ）は、推定欠陥部位画像Ｆ（Ｙ）のＸ方向の座標値がｘ、Ｙ方向の座標値がｙ、チャネルがｃである画素の値を表しており、Ｆ１５（Ｙ）（ｘ、ｙ、ｃ）についても同様である。Ｆ１１（Ｙ）、Ｆ１２（Ｙ）、Ｆ２１（Ｙ）、Ｆ２２（Ｙ）、Ｆ２３（Ｙ）、Ｆ２４（Ｙ）、Ｆ３１（Ｙ）、Ｆ３２（Ｙ）は、実施例１で説明した図２０の式１～式８により算出される。また、Ｓ１８０７において欠陥部位の推定誤差を算出する際には、特定欠陥部位画像ＤＤ（１チャネルの２値画像）を図２１の式１３により、２チャネルの画像ＭＳＫに変換し、画像ＭＳＫと推定欠陥部位画像Ｆ（Ｙ）との差異（誤差）を算出する。画像間の差異（誤差）を定量化する方法としては、Ｓ６０７同様に、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）などを用いれば良い。

ここで、Ｗ９は２個の（ｃ１×２）×ｆ９×ｆ９サイズのフィルタであり、Ｂ９は２次元のベクトルである。ｆ９は学習シーケンス前にユーザが決定するハイパーパラメータであり、たとえばｆ９＝３とすれば良い。推定処理パラメータの算出処理（Ｓ１８０１～Ｓ１８１０）により算出するパラメータは、Ｗ１～Ｗ６、Ｗ９、Ｂ１～Ｂ６、Ｂ９である。

本実施例により、学習用欠陥画像を用いて、欠陥画像中の欠陥部位を推定するための推定処理パラメータを算出し、試料観察において、推定処理パラメータに基づいて検査用欠陥画像中の欠陥部位を推定することで、参照画像の取得を省略することが可能となり、試料観察のスループットを向上させることが可能となる。

＜まとめ＞
以上の実施例１から実施例３にて下記を説明した。なお、以下の説明に付与したカッコで覆われた数字やアルファベットは各処理の実行順序を示すものではない。

＜＜観点１＞＞
走査型電子顕微鏡と、計算機と、を有する試料観察システムであって、
前記計算機は：
（１）前記走査型電子顕微鏡が撮像した複数の画像を取得し、
（２）前記複数の画像から、欠陥部位を含む学習用欠陥画像と、前記欠陥部位を含まない学習用参照画像と、を取得し、
（３）前記学習用欠陥画像と、前記学習用参照画像と、を用いて、推定処理パラメータを算出し、
（４）欠陥部位を含む検査用欠陥画像を取得し、
（５）前記推定処理パラメータと、前記検査用欠陥画像と、を用いて、擬似参照画像を推定する、
試料観察システム。

＜＜観点２＞＞
観点１記載の試料観察システムであって、
前記計算機は：
（６）前記擬似参照画像と、前記検査用欠陥画像と、を比較して、前記検査用欠陥画像の欠陥部位を特定する、
試料観察システム。

＜＜観点３＞＞
観点１記載の試料観察システムであって、
前記計算機は、前記（３）の処理として：
（３Ａ）所定の評価値に基づいて、前記学習用欠陥画像と、前記学習用参照画像と、の位置合わせを行うことで、アライメント量を取得し、
（３Ｂ）前記アライメント量に基づいて、前記学習用欠陥画像から学習用部分欠陥画像を切り出し、
（３Ｃ）前記アライメント量に基づいて、前記学習用参照画像から学習用部分参照画像を切り出し、
（３Ｄ）前記学習用部分欠陥画像と、前記学習用部分参照画像と、を用いて、前記推定処理パラメータを算出する、
試料観察システム。

＜＜観点４＞＞
観点１記載の試料観察システムであって、
前記推定処理パラメータは、ニューラルネットワークのパラメータであり、
前記ニューラルネットワークは、入力層に入力する画像の最小サイズは第１サイズであり、
前記計算機は、前記（１）の処理として：
各々が前記第１サイズ以上の前記複数の画像を取得する、
試料観察システム。

＜＜観点５＞＞
観点３記載の試料観察システムであって、
前記推定処理パラメータは、ニューラルネットワークのパラメータであり、
前記ニューラルネットワークは、入力層に入力する画像の最小サイズは第１サイズであり、
前記計算機は、前記（３）の処理として：
（３Ｅ）前記学習用部分欠陥画像と、前記学習用部分参照画像と、少なくとも一方のサイズが前記第１サイズ以上であることをチェックする、
試料観察システム。

＜＜観点６＞＞
観点１記載の試料観察システムであって、
前記計算機は、前記推定処理パラメータの算出処理の終了条件を取得し、
前記計算機は、前記（３）の処理として：
（３Ｆ）前記終了条件を満たすことを検知した時に、前記推定処理パラメータの更新を終了する、
試料観察システム。

＜＜観点７＞＞
観点６記載の試料観察システムであって、
前記推定処理パラメータの算出と並行して、前記計算機は：
（７）前記学習用欠陥画像と、前記学習用参照画像と、を比較することで、前記学習用欠陥画像の欠陥部位を特定する、
試料観察システム。

＜＜観点８＞＞
観点１に記載の試料観察システムであって、
前記計算機は、前記検査用欠陥画像に対応する参照画像の取得を省略する、
試料観察システム。

＜＜観点９＞＞
走査型電子顕微鏡と、計算機と、を有する試料観察システムであって、
前記計算機は：
前記走査型電子顕微鏡が撮像した複数の画像を取得し、
前記複数の画像から、欠陥部位を含む学習用欠陥画像を取得し、
前記学習用欠陥画像を用いて、推定処理パラメータを算出し、
欠陥部位を含む検査用欠陥画像を取得し、
前記推定処理パラメータと、前記検査用欠陥画像と、を用いて、前記検査用欠陥画像中の欠陥部位を推定する、
試料観察システム。

なお、以上示した処理は処理部により実行される画像処理プログラムにより実現してもよいことを説明した。ところで、画像処理プログラムは、計算機が読み取り可能な記憶媒体により配布されてもよく、配信サーバ計算機から配布されてもよい。ここで、配信サーバ計算機は記憶部、演算部、ネットワークインターフェース１１２を有する。なお、各部の具体例は計算機１０３の場合と同じでもよい。このような構成を有する配信サーバ計算機の記憶部に画像処理プログラムを記憶し、計算機１０３からの配布リクエストに応じて、処理部が画像処理プログラムを読み込み、ネットワークインターフェース１１２を介して計算機１０３に送信してもよい。

１００：試料観察システム
１０１：ＳＥＭ
１０２：欠陥検査装置
１０３：計算機

Claims (19)

1. 走査型電子顕微鏡と、計算機と、を有する試料観察システムであって、
   前記計算機は：
   （１）前記走査型電子顕微鏡が撮像した複数の画像を取得し、
   （２）前記複数の画像から、欠陥部位を含む学習用欠陥画像と、前記欠陥部位を含まない学習用参照画像と、を取得し、
   （３）前記学習用欠陥画像と、前記学習用参照画像と、を用いて、推定処理パラメータを算出し、
   （４）欠陥部位を含む検査用欠陥画像を取得し、
   （５）前記推定処理パラメータと、前記検査用欠陥画像と、を用いて、擬似参照画像を推定し、
   前記（３）の処理は：
   （３Ａ）所定の評価値に基づいて、前記学習用欠陥画像と、前記学習用参照画像と、の位置合わせを行うことで、アライメント量を取得し、
   （３Ｂ）前記アライメント量に基づいて、前記学習用欠陥画像から学習用部分欠陥画像を切り出し、
   （３Ｃ）前記アライメント量に基づいて、前記学習用参照画像から学習用部分参照画像を切り出し、
   （３Ｄ）前記学習用部分欠陥画像と、前記学習用部分参照画像と、を用いて、前記推定処理パラメータを算出する、
   試料観察システム。
2. 請求項１記載の試料観察システムであって、
   前記計算機は：
   （６）前記擬似参照画像と、前記検査用欠陥画像と、を比較して、前記検査用欠陥画像の欠陥部位を特定する、
   試料観察システム。
3. 請求項１記載の試料観察システムであって、
   前記推定処理パラメータは、ニューラルネットワークのパラメータであり、
   前記ニューラルネットワークは、入力層に入力する画像の最小サイズは第１サイズであり、
   前記計算機は、前記（１）の処理として：
   各々が前記第１サイズ以上の前記複数の画像を取得する、
   試料観察システム。
4. 請求項１記載の試料観察システムであって、
   前記推定処理パラメータは、ニューラルネットワークのパラメータであり、
   前記ニューラルネットワークは、入力層に入力する画像の最小サイズは第１サイズであり、
   前記走査型電子顕微鏡は、前記第１サイズと、アライメント量の最大値に基づいて、撮像画像のサイズを設定し、
   前記設定したサイズに基づいて複数の画像を撮像し、
   前記アライメント量の最大値は、前記走査型電子顕微鏡の（Ａ１）ステージ移動誤差および（Ａ２）電子ビームの照射位置決め誤差に基づいて求める、
   試料観察システム。
5. 請求項１記載の試料観察システムであって、
   前記計算機は、前記推定処理パラメータの算出処理の終了条件を取得し、
   前記計算機は、前記（３）の処理として：
   （３Ｅ）前記終了条件を満たすことを検知した時に、前記推定処理パラメータの更新を終了する、
   試料観察システム。
6. 請求項５記載の試料観察システムであって、
   前記推定処理パラメータの算出と並行して、前記計算機は：
   （７）前記学習用欠陥画像と、前記学習用参照画像と、を比較することで、前記学習用欠陥画像の欠陥部位を特定する、
   試料観察システム。
7. 請求項１に記載の試料観察システムであって、
   前記計算機は、前記検査用欠陥画像に対応する参照画像の取得を省略する、
   試料観察システム。
8. 走査型電子顕微鏡と、計算機と、を有する試料観察システムであって、
   前記計算機は：
   前記走査型電子顕微鏡が撮像した複数の画像を取得し、
   前記複数の画像から、欠陥部位を含む学習用欠陥画像を取得し、
   前記学習用欠陥画像を用いて、推定処理パラメータを算出し、
   欠陥部位を含む検査用欠陥画像を取得し、
   前記推定処理パラメータと、前記検査用欠陥画像と、を用いて、前記検査用欠陥画像中の欠陥部位を推定し、
   前記推定処理パラメータの算出は：
   所定の評価値に基づいて、前記学習用欠陥画像と、学習用参照画像との位置合わせを行うことで、アライメント量を取得し、
   前記アライメント量に基づいて、前記学習用欠陥画像から学習用部分欠陥画像を切り出し、
   前記アライメント量に基づいて、前記学習用参照画像から学習用部分参照画像を切り出し、
   前記学習用部分欠陥画像と、前記学習用部分参照画像と、を用いて、前記推定処理パラメータを算出する、
   試料観察システム。
9. 計算機による画像処理方法であって、
   （Ｍ１）走査型電子顕微鏡が撮像した複数の画像を取得し、
   （Ｍ２）前記複数の画像から、欠陥部位を含む学習用欠陥画像と、前記欠陥部位を含まない学習用参照画像と、を取得し、
   （Ｍ３）前記学習用欠陥画像と、前記学習用参照画像と、を用いて、推定処理パラメータを算出し、
   （Ｍ４）欠陥候補部位を含む検査用欠陥画像を取得し、
   （Ｍ５）前記推定処理パラメータと、前記検査用欠陥画像と、を用いて、擬似参照画像を推定し、
   前記（Ｍ３）として：
   （Ｍ３Ａ）所定の評価値に基づいて、前記学習用欠陥画像と、前記学習用参照画像と、の位置合わせを行うことで、アライメント量を取得し、
   （Ｍ３Ｂ）前記アライメント量に基づいて、前記学習用欠陥画像から学習用部分欠陥画像を切り出し、
   （Ｍ３Ｃ）前記アライメント量に基づいて、前記学習用参照画像から学習用部分参照画像を切り出し、
   （Ｍ３Ｄ）前記学習用部分欠陥画像と、前記学習用部分参照画像と、を用いて、前記推定処理パラメータを算出する、
   画像処理方法。
10. 請求項９記載の画像処理方法であって、
    （Ｍ６）前記擬似参照画像と、前記検査用欠陥画像と、を比較して、前記検査用欠陥画像の欠陥部位を特定する、
    画像処理方法。
11. 請求項９記載の画像処理方法であって、
    前記推定処理パラメータは、ニューラルネットワークの重み値であり、
    前記ニューラルネットワークは、入力層に入力する画像の最小サイズは第１サイズであり、
    前記（Ｍ１）として：
    各々が前記第１サイズ以上の前記複数の画像を取得する、
    画像処理方法。
12. 請求項９記載の画像処理方法であって、
    前記推定処理パラメータは、ニューラルネットワークの重み値であり、
    前記ニューラルネットワークは、入力層に入力する画像の最小サイズは第１サイズであり、
    前記走査型電子顕微鏡は、前記第１サイズと、アライメント量の最大値に基づいて、撮像画像のサイズを設定し、
    前記設定したサイズに基づいて複数の画像を撮像し、
    前記アライメント量の最大値は、前記走査型電子顕微鏡の（Ａ１）ステージ移動誤差および（Ａ２）電子ビームの照射位置決め誤差に基づいて求める、
    画像処理方法。
13. 請求項９記載の画像処理方法であって、
    前記推定処理パラメータの推定処理の終了条件を取得し、
    前記（Ｍ３）として：
    （Ｍ３Ｅ）前記終了条件を満たすことを検知した時に、前記推定処理パラメータの更新を終了する、
    画像処理方法。
14. 請求項１３記載の画像処理方法であって、
    （Ｍ７）前記学習用欠陥画像と、前記学習用参照画像と、を比較することで、前記学習用欠陥画像の欠陥部位を特定する、ことを前記推定処理パラメータの算出と並行に行う、
    画像処理方法。
15. 請求項９に記載の画像処理方法であって、
    前記検査用欠陥画像に対応する参照画像の取得を省略する、
    画像処理方法。
16. 請求項１記載の試料観察システムであって、
    前記学習用参照画像は、前記学習用欠陥画像に撮像された回路パターンと同様の回路パターンが形成されるように設計された領域の画像であり、
    前記（３Ａ）の処理により、位置合わせがされたときの前記学習用参照画像と前記学習用欠陥画像間の座標差が、前記アライメント量として取得される、
    試料観察システム。
17. 請求項１６記載の試料観察システムであって、
    前記学習用参照画像は、前記走査型電子顕微鏡によって撮像されるウェハに配置された複数の同様なチップおいて、前記学習用欠陥画像に撮像された回路パターンが形成されたチップから１チップ分ずらしたチップに形成された回路パターンの領域の画像である、
    試料観察システム。
18. 請求項９記載の画像処理方法であって、
    前記学習用参照画像は、前記学習用欠陥画像に撮像された回路パターンと同様の回路パターンが形成されるように設計された領域の画像であり、
    前記（Ｍ３Ａ）の処理により、位置合わせがされたときの前記学習用参照画像と前記学習用欠陥画像間の座標差が、前記アライメント量として取得される、
    画像処理方法。
19. 請求項１８記載の画像処理方法であって、
    前記学習用参照画像は、前記走査型電子顕微鏡によって撮像されるウェハに配置された複数の同様なチップおいて、前記学習用欠陥画像に撮像された回路パターンが形成されたチップから１チップ分ずらしたチップに形成された回路パターンの領域の画像である、
    画像処理方法。
    

Images