JP2022027473A - 半導体試料の検査に使用可能な訓練データの生成 - Google Patents

Abstract

【課題】半導体試料の検査に使用可能なディープニューラルネットワークを訓練するための訓練データを生成するシステムおよび方法を提供すること。【解決手段】本方法は、第１の訓練画像、および各セグメントにおいて選択されたピクセル群にそれぞれ関連付けられた第１のラベルを取得するステップと、第１の訓練画像を特徴付ける特徴のセットを抽出するステップと、第１のラベル、ピクセル群の値、およびピクセル群に対応する特徴のセットのそれぞれの特徴値を使用して機械学習（ＭＬ）モデルを訓練するステップと、訓練されたＭＬモデルを使用して第１の訓練画像を処理して第１のセグメンテーションマップを取得するステップと、基準が満たされると、第１の訓練画像および第１のセグメンテーションマップをＤＮＮ訓練データに含め、基準が満たされないと、第２の特徴の抽出、訓練、および処理を繰り返すことを決定するステップと、を含む。【選択図】図２Ａ

Description

本開示の主題は、一般に、半導体試料の検査の分野に関し、より詳細には、試料の検査に使用可能な訓練データの生成に関する。

製造されたデバイスの超大規模集積化に関連付けられた高密度および高性能に対する現在の要求は、サブミクロンの特徴、トランジスタと回路速度の向上、および信頼性の改善を必要としている。半導体プロセスが進歩するにつれて、線幅などのパターン寸法および他のタイプの限界寸法が継続的に縮小されている。このような要求は、高精度かつ均一性を有するデバイス特徴の形成を必要としており、これには、デバイスがまだ半導体ウエハの形態である間にデバイスを自動検査することを含む製造プロセスの注意深いモニタリングが必要である。

非限定的な例として、ランタイム検査は、２段階手順、例えば、試料の検査とそれに続く潜在的な欠陥のサンプリングされた位置のレビューを用いることができる。検査は、一般に、光または電子をウエハに向け、ウエハからの光または電子を検出することによって、試料について特定の出力（例えば、画像、信号など）を生成することを含む。第１段階中に、試料の表面が高速かつ比較的低解像度で検査される。欠陥検出は、典型的には、欠陥検出アルゴリズムを検査出力に適用することによって実行される。欠陥マップは、欠陥の可能性が高い試料上の疑わしい位置を示すために生成される。ほとんどの場合、検査の目的は、ウエハ上のニューサンスおよびノイズの検出を抑制しながら、高い感度を提供して注目する欠陥を検出することである。第２段階中に、疑わしい位置の少なくとも一部が比較的高い解像度でより徹底的に分析される。両方の段階を同じ検査ツールで実施することができる場合もあれば、これらの２つの段階を異なる検査ツールで実施する場合もある。

検査プロセスは、複数の検査ステップを含むことができる。製造プロセス中に、例えば特定の層の製造または処理の後などに、検査ステップを複数回実行することができる。追加的または代替的に、各検査ステップは、例えば、異なるウエハ位置に対してまたは異なる検査設定で同じウエハ位置に対して複数回繰り返すことができる。

検査プロセスは、半導体製造中の様々なステップで使用されて、試料上の欠陥を検出および分類するとともに計測関連の動作を実行する。検査の有効性は、例えば、欠陥検出、自動欠陥分類（ＡＤＣ）、自動欠陥レビュー（ＡＤＲ）、画像セグメンテーション、自動計測関連の動作などのプロセスの自動化によって高めることができる。

本開示の主題の特定の態様によると、半導体試料の検査に使用可能なディープニューラルネットワークを訓練するための訓練データ（ＤＮＮ訓練データ）を生成するコンピュータ化されたシステムが提供され、本システムは、半導体試料の少なくとも一部を表す第１の訓練画像、および第１の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第１のラベルを取得することと、第１の訓練画像を特徴付ける特徴のセットを抽出することであって、各特徴が第１の訓練画像内のピクセルに対応する特徴値を有し、特徴のセットが、第１の訓練画像内の１つまたは複数のセグメント間のコンテキスト関係の情報を与える第１の特徴、および各セグメント内のピクセル群の統計的尺度に対する、第１の訓練画像内のピクセル分布の情報を与える第２の特徴を含む、抽出することと、第１のラベル、第１のラベルに関連付けられた各セグメントにおいて選択されたピクセル群の値、および各セグメント内のピクセル群に対応する特徴のセットの各特徴の特徴値を使用して機械学習（ＭＬ）モデルを訓練することであって、ＭＬモデルが画像セグメンテーションのために訓練される、訓練することと、訓練されたＭＬモデルを使用して第１の訓練画像を処理して、第１の訓練画像内のそれぞれのピクセルに関連付けられた予測ラベルの情報を与える第１のセグメンテーションマップを取得することであって、各予測ラベルが、それぞれのピクセルが属するセグメントを示す、取得することと、基準が満たされると、第１の訓練画像および第１のセグメンテーションマップを含む第１の訓練サンプルをＤＮＮ訓練データに含め、基準が満たされないと、第２の特徴の抽出、訓練、および処理を繰り返すことを決定することと、を行うように構成されたプロセッサおよびメモリ回路（ＰＭＣ）を備える。

上記の特徴に加えて、本開示の主題のこの態様による本システムは、以下に列挙される特徴（ｉ）～（ｘｉ）のうちの１つまたは複数を、技術的に可能な任意の所望の組合せまたは順列で含むことができる。
（ｉ）訓練データは、ランタイム画像に基づいて、自動セグメンテーション、自動計測、自動欠陥検出、自動欠陥レビュー、および自動欠陥分類を含む群から選択された少なくとも１つの検査プロセスのためのディープニューラルネットワーク（ＤＮＮ）を訓練するために使用可能とすることができる。
（ｉｉ）基準は、第１のセグメンテーションマップに対するユーザフィードバックに基づいており、ＰＭＣは、第１のセグメンテーションマップに対する否定的なユーザフィードバックを受信すると、セグメントのうちの少なくとも１つにおいて追加のピクセル群に関連付けられた追加の第１のラベルを取得することであって、第１のラベルおよび追加の第１のラベルが集約されたラベルデータを構成する、取得することと、肯定的なユーザフィードバックを受信するまで、集約されたラベルデータに基づいて、第２の特徴の抽出、訓練、および処理を繰り返すことと、を行うように構成されている。
（ｉｉｉ）ＰＭＣは、第１のセグメンテーションマップに対する肯定的なユーザフィードバックを受信すると、第１の訓練サンプルを訓練データに含めるように構成されている。
（ｉｖ）ＰＭＣは、第２の訓練画像と、第２の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第２のラベルであって、集約されたラベルデータに追加される第２のラベルと、を取得し、第２の訓練画像を特徴付け、第１の特徴および第２の特徴を含む特徴のセットを抽出し、集約されたラベルデータ、集約されたラベルデータに関連付けられたピクセルの値、および集約されたラベルデータに関連付けられたピクセルに対応する特徴のセットの各特徴の特徴値を使用してＭＬモデルを訓練し、第２の訓練画像に基づいて処理および決定を実行するようにさらに構成されている。
（ｖ）１つまたは複数のセグメントのうちの少なくとも１つは、第１の訓練画像内に提示された１つまたは複数の構造要素に対応する。
（ｖｉ）第１の特徴は、フィルタのセットを用いて第１の訓練画像を処理し、それぞれが第１の訓練画像のそれぞれのピクセルに対応する特徴応答値を含む特徴応答のセットを生じさせることであって、各ピクセルがその特徴応答値のセットを含むベクトルに対応する、生じさせることと、第１の訓練画像内のピクセルに対応する特徴ベクトルを複数のクラスタにクラスタ化することと、各ピクセルに対して、その特徴ベクトルが属するクラスタに従って特徴値を割り当て、第１の訓練画像のピクセルに対応する特徴値を含む特徴マップを生じさせることであって、特徴マップがそれぞれの特徴値に対応する複数のチャネルに分離可能である、生じさせることと、サンプリングフィルタを使用して特徴マップの各チャネルをサンプリングし、複数のサンプリングされたチャネルを有する特徴マップを生じさせることと、によって抽出されたテクスチャ特徴を含む。
（ｖｉｉ）第１の特徴は、第１の訓練画像のピクセル値を複数のクラスタにクラスタ化することと、各ピクセルに対して、ピクセル値が属するクラスタに従って特徴値を割り当て、それぞれの特徴値に対応する複数のチャネルに分離可能な特徴マップを生じさせることと、サンプリングフィルタを使用して特徴マップの各チャネルをサンプリングし、複数のサンプリングされたチャネルを有する特徴マップを生じさせることと、によって抽出された強度特徴をさらに含む。
（ｖｉｉｉ）フィルタのセットは、微分フィルタ、ガボールフィルタ、およびラプラシアンフィルタのうちの１つまたは複数を含む。
（ｉｘ）第２の特徴は、各セグメント内のピクセル群について統計的尺度を計算し、第１の訓練画像内の各ピクセルについて、対応する特徴値を、ピクセルの値と各セグメントの統計的尺度との間の距離として計算し、それぞれが、ピクセル値とそれぞれのセグメントの統計的尺度との間の距離に対応する特徴値を含む、１つまたは複数の特徴マップを生じさせることによって抽出される。
（ｘ）訓練画像は、異なる視点からキャプチャされた複数のチャネルを含み、特徴のセットは、複数のチャネルから抽出される。
（ｘｉ）ＰＭＣは、ＤＮＮ訓練データを使用してＤＮＮを訓練し、画像の検証セットを使用して訓練されたＤＮＮを検証するようにさらに構成されている。

本開示の主題の他の態様によると、試料の検査に使用可能なディープニューラルネットワークを訓練するための訓練データ（ＤＮＮ訓練データ）を生成するための方法が提供され、本方法は、プロセッサおよびメモリ回路（ＰＭＣ）によって実行され、半導体試料の少なくとも一部を表す第１の訓練画像、および第１の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第１のラベルを取得するステップと、第１の訓練画像を特徴付ける特徴のセットを抽出するステップであって、各特徴が第１の訓練画像内のピクセルに対応する特徴値を有し、特徴のセットが、第１の訓練画像内の１つまたは複数のセグメント間のコンテキスト関係の情報を与える第１の特徴、および各セグメント内のピクセル群の統計的尺度に対する、第１の訓練画像内のピクセル分布の情報を与える第２の特徴を含む、ステップと、第１のラベル、第１のラベルに関連付けられた各セグメントにおいて選択されたピクセル群の値、および各セグメント内のピクセル群に対応する特徴のセットの各特徴の特徴値を使用して機械学習（ＭＬ）モデルを訓練するステップであって、ＭＬモデルが画像セグメンテーションのために訓練される、ステップと、訓練されたＭＬモデルを使用して第１の訓練画像を処理して、第１の訓練画像内のそれぞれのピクセルに関連付けられた予測ラベルの情報を与える第１のセグメンテーションマップを取得するステップであって、各予測ラベルが、それぞれのピクセルが属するセグメントを示す、ステップと、基準が満たされると、第１の訓練画像および第１のセグメンテーションマップを含む第１の訓練サンプルをＤＮＮ訓練データに含め、基準が満たされないと、第２の特徴の抽出、訓練、および処理を繰り返すことを決定するステップと、を含む。

本開示の主題のこの態様は、本システムに関して上で列挙された特徴（ｉ）～（ｘｉ）のうちの１つまたは複数を、必要な変更を加えて、技術的に可能な任意の所望の組合せまたは順列で含むことができる。

本開示の主題の他の態様によると、コンピュータによって実行されると、コンピュータに、試料の検査に使用可能なディープニューラルネットワークを訓練するための訓練データ（ＤＮＮ訓練データ）を生成するための方法を実行させる命令を含む非一時的なコンピュータ可読媒体が提供され、本方法は、半導体試料の少なくとも一部を表す第１の訓練画像、および第１の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第１のラベルを取得するステップと、第１の訓練画像を特徴付ける特徴のセットを抽出するステップであって、各特徴が第１の訓練画像内のピクセルに対応する特徴値を有し、特徴のセットが、第１の訓練画像内の１つまたは複数のセグメント間のコンテキスト関係の情報を与える第１の特徴、および各セグメント内のピクセル群の統計的尺度に対する、第１の訓練画像内のピクセル分布の情報を与える第２の特徴を含む、ステップと、第１のラベル、第１のラベルに関連付けられた各セグメントにおいて選択されたピクセル群の値、および各セグメント内のピクセル群に対応する特徴のセットの各特徴の特徴値を使用して機械学習（ＭＬ）モデルを訓練するステップであって、ＭＬモデルが画像セグメンテーションのために訓練される、ステップと、訓練されたＭＬモデルを使用して第１の訓練画像を処理して、第１の訓練画像内のそれぞれのピクセルに関連付けられた予測ラベルの情報を与える第１のセグメンテーションマップを取得するステップであって、各予測ラベルが、それぞれのピクセルが属するセグメントを示す、ステップと、基準が満たされると、第１の訓練画像および第１のセグメンテーションマップを含む第１の訓練サンプルをＤＮＮ訓練データに含め、基準が満たされないと、第２の特徴の抽出、訓練、および処理を繰り返すことを決定するステップと、を含む。

本開示の主題のこの態様は、本システムに関して上で列挙された特徴（ｉ）～（ｘｉ）のうちの１つまたは複数を、必要な変更を加えて、技術的に可能な任意の所望の組合せまたは順列で含むことができる。

本開示を理解し、本開示が実際にどのように実行され得るかを理解するために、ここで添付の図面を参照して、非限定的な例としてのみ実施形態を説明する。

本開示の主題の特定の実施形態による、検査システムの一般化されたブロック図である。 本開示の主題の特定の実施形態による、半導体試料の検査に使用可能なＤＮＮを訓練するための訓練データを生成する一般化された流れ図である。 本開示の主題の特定の実施形態による、第１のセグメンテーションマップに対する否定的なユーザフィードバックを受信したときのＤＮＮ訓練データの生成の継続プロセスの一般化された流れ図である。 本開示の主題の特定の実施形態による、第１の訓練画像からテクスチャ特徴を抽出する一般化された流れ図である。 本開示の主題の特定の実施形態による、第１の訓練画像から統計的特徴を抽出する一般化された流れ図である。 本開示の主題の特定の実施形態による、ＤＮＮを訓練するための、生成されたＤＮＮ訓練データを使用する一般化された流れ図である。 本開示の主題の特定の実施形態による訓練画像の一例の図である。 本開示の主題の特定の実施形態による訓練画像に対する部分的なユーザ注釈の一例の図である。 本開示の主題の特定の実施形態によるテクスチャ特徴の一例および強度特徴の一例の図である。 本開示の主題の特定の実施形態による否定的なユーザフィードバックを伴うセグメンテーションマップの一例の図である。 本開示の主題の特定の実施形態によるユーザによって提供される追加の第１のラベルの一例の図である。 本開示の主題の特定の実施形態による肯定的なユーザフィードバックを伴う更新されたセグメンテーションマップの一例の図である。

以下の詳細な説明では、本開示の完全な理解を提供するために数多くの具体的な詳細が記載される。しかしながら、本開示の主題がこれらの具体的な詳細なしに実行され得ることを当業者は理解するであろう。他の事例では、本開示の主題を不明瞭にしないように、よく知られている方法、手順、構成要素、および回路は、詳細に説明されていない。

特に明記しない限り、以下の議論から明らかなように、本明細書全体を通して、「生成する」、「訓練する」、「取得する」、「抽出する」、「処理する」、「決定する」、「繰り返す」、「含む」、「受け取る」、「クラスタ化する」、「割り当てる」、「サンプリングする」、「計算する」、「使用する」、「検証する」などの用語を利用する議論は、データを操作および／または他のデータに変換するコンピュータの動作ならびに／あるいはプロセスを指し、前記データは、電子量などの物理量として表され、および／または前記データは、物理的対象を表すことが理解される。「コンピュータ」という用語は、非限定的な例として、本出願で開示される検査システム、訓練データ生成システム、およびそれらのそれぞれの一部を含む、データ処理能力を有するあらゆる種類のハードウェアベースの電子デバイスを包含するように広範に解釈されるべきである。

本明細書で使用される「検査」という用語は、あらゆる種類の計測関連の動作、ならびに製造中の試料における欠陥の検出および／または分類に関連する動作を包含するように広範に解釈されるべきである。検査は、検査される試料の製造中または製造後に非破壊検査ツールを使用することによって行われる。非限定的な例として、検査プロセスは、同じまたは異なる検査ツールを使用して、試料もしくはその一部に関して行われる（単一もしくは複数スキャンにおける）ランタイムスキャン、サンプリング、レビュー、測定、分類、および／または他の動作を含むことができる。同様に、検査は、検査される試料の製造前に行うことができ、例えば、検査方策を生成することおよび／または他のセットアップ動作を含むことができる。特に明記しない限り、本明細書で使用される「検査」という用語またはその派生語は、検査領域の解像度またはサイズに関して限定されないことに留意されたい。様々な非破壊検査ツールには、非限定的な例として、走査型電子顕微鏡、原子間力顕微鏡、光学検査ツールなどが含まれる。

本明細書で使用される「非一時的メモリ」および「非一時的ストレージ媒体」という用語は、本開示の主題に適したあらゆる揮発性または不揮発性コンピュータメモリを包含するように広範に解釈されるべきである。

本明細書で使用される「試料」という用語は、半導体集積回路、磁気ヘッド、フラットパネルディスプレイ、および他の半導体製造物品の製造に使用される、あらゆる種類のウエハ、マスク、および他の構造体、それらの組合せならびに／または一部を包含するように広範に解釈されるべきである。

本明細書で使用される「欠陥」という用語は、試料上または試料内に形成されたあらゆる種類の異常または望ましくない特徴を包含するように広範に解釈されるべきである。

本明細書で使用される「設計データ」という用語は、試料の階層的な物理設計（レイアウト）を示すあらゆるデータを包含するように広範に解釈されるべきである。設計データは、それぞれの設計者が提供することができ、および／または物理設計から（例えば、複雑なシミュレーション、単純な幾何学的演算、およびブール演算などを介して）導出することができる。設計データは、非限定的な例として、ＧＤＳＩＩフォーマット、ＯＡＳＩＳフォーマットなどのように異なるフォーマットで提供することができる。設計データは、ベクトルフォーマット、グレースケール強度画像フォーマットなどで表示することができる。

特に明記しない限り、別個の実施形態の文脈で説明される本開示の主題の特定の特徴は、単一の実施形態において組み合わせて提供することもできることが理解される。逆に、単一の実施形態の文脈で説明される本開示の主題の様々な特徴は、別個に、または任意の適切なサブコンビネーションで提供することもできる。以下の詳細な説明では、本方法および装置の完全な理解を提供するために、数多くの具体的な詳細が記載される。

これを念頭に置いて、本開示の主題の特定の実施形態による検査システムの機能ブロック図を示す図１に注目する。

図１に示す検査システム１００は、試料製造プロセスの一部として、半導体試料（例えば、ウエハおよび／またはその一部）の検査に使用することができる。図示する検査システム１００は、試料製造中に得られた画像（以降、製造プロセス（ＦＰ）画像と呼ぶ）を使用して、計測関連および／または欠陥関連情報を自動的に決定することができるコンピュータベースのシステム１０１を備える。本開示の主題の特定の実施形態によると、システム１０１は、半導体試料の検査に使用可能なディープニューラルネットワーク（ＤＮＮ）を訓練するための訓練データを生成するように構成することができる。したがって、システム１０１は、本開示では、訓練システムまたは訓練データ生成システムとも呼ばれる。システム１０１は、１つまたは複数の検査ツール１２０に動作可能に接続することができる。検査ツール１２０は、ＦＰ画像をキャプチャするように、および／またはキャプチャされたＦＰ画像をレビューするように、および／またはキャプチャされた画像に関連する測定を可能にするもしくは提供するように構成されている。

例として、ＦＰ画像は、製造プロセス中にキャプチャされた試料（例えば、ウエハまたはその一部）の画像、様々な前処理段階によって得られたキャプチャされた画像の派生物（例えば、走査型電子顕微鏡（ＳＥＭ）または光学検査システムによってキャプチャされたウエハもしくはフォトマスクの一部の画像、ＡＤＣによって分類される欠陥を大まかに中心とするＳＥＭ画像、欠陥がＡＤＲによって位置特定されるより大きな領域のＳＥＭ画像、同じマスク位置に対応する異なる検査モダリティの登録画像、セグメント化された画像、高さマップ画像など）、およびコンピュータによって生成された設計データベースの画像から選択することができる。場合によっては、画像は、画像データ（例えば、キャプチャされた画像、処理された画像など）および関連付けられた数値データ（例えば、メタデータ、手作りの属性など）を含むことができることに留意されたい。画像データは、試料の注目する層および／または１つもしくは複数の他の層に関連するデータを含むことができることにさらに留意されたい。

本明細書で使用される「検査ツール」という用語は、非限定的な例として、試料もしくはその一部に関して提供される撮像、スキャン（単一または複数のスキャンにおける）、サンプリング、レビュー、測定、分類、および／または他のプロセスを含む、検査関連プロセスで使用することができるあらゆるツールを包含するように広範に解釈されるべきである。１つまたは複数の検査ツール１２０は、１つもしくは複数の検査ツールおよび／または１つもしくは複数のレビューツールを含むことができる。場合によっては、検査ツール１２０のうちの少なくとも１つは、試料（例えば、ウエハ全体、ダイ全体、またはその一部）をスキャンして、潜在的な欠陥を検出するための検査画像を（典型的には、比較的高速および／または低解像度で）キャプチャするように構成された検査ツールとすることができる。場合によっては、検査ツール１２０のうちの少なくとも１つは、潜在的な欠陥が本当に欠陥であるかどうかを確認するために検査ツールによって検出された欠陥のうちの少なくとも一部のレビュー画像をキャプチャするように構成されたレビューツールとすることができる。このようなレビューツールは、通常、ダイの断片を一度に１つずつ（典型的には、比較的低速および／または高解像度で）検査するように構成されている。検査ツールおよびレビューツールは、同じ場所または異なる場所に配置された異なるツール、あるいは２つの異なるモードで動作する単一のツールとすることができる。場合によっては、少なくとも１つの検査ツールは、計測能力を有し、ＦＰ画像に対して計測測定を実行するように構成することができる。

本開示の範囲を何ら限定することなく、検査ツール１２０は、光学撮像機、電子ビーム検査機などの様々なタイプの検査機として実装することができることにも留意されたい。場合によっては、同じ検査ツールが低解像度の画像データおよび高解像度の画像データを提供することができる。

システム１０１は、ハードウェアベースのＩ／Ｏインターフェース１２６に動作可能に接続されたプロセッサおよびメモリ回路（ＰＭＣ）１０２を含む。ＰＭＣ１０２は、図２Ａおよび図２Ｂを参照してさらに詳述されるように、システムを動作させるために必要な処理を提供するように構成されており、プロセッサ（別個に図示せず）およびメモリ（別個に図示せず）を備える。ＰＭＣ１０２のプロセッサは、ＰＭＣに含まれる非一時的なコンピュータ可読メモリに実装されたコンピュータ可読命令に従って、いくつかの機能モジュールを実行するように構成することができる。このような機能モジュールは、以降、ＰＭＣに含まれるものとして言及される。

特定の実施形態によると、ＰＭＣ１０２に含まれる機能モジュールは、特徴抽出器１０４、訓練モジュール１０６、および機械学習モデル１０８を含むことができる。ＰＭＣ１０２は、Ｉ／Ｏインターフェース１２６を介して、半導体試料の少なくとも一部を表す第１の訓練画像、および第１の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第１のラベルを取得するように構成することができる。特徴抽出器１０４は、第１の訓練画像を特徴付ける特徴のセットを抽出するように構成することができる。セット内の各特徴は、第１の訓練画像内のピクセルに対応する特徴値を有する。特徴のセットは、第１の訓練画像内の１つまたは複数のセグメント間のコンテキスト関係の情報を与える第１の特徴、および各セグメント内のピクセル群の統計的尺度に対する、第１の訓練画像内のピクセル分布の情報を与える第２の特徴を含む。訓練モジュール１０６は、第１のラベル、第１のラベルに関連付けられた各セグメントにおいて選択されたピクセル群の値、および各セグメントにおいて選択されたピクセル群に対応する特徴のセットの各特徴の特徴値を使用して機械学習モデル１０８を訓練するように構成することができる。訓練された機械学習モデル１０８を使用して、第１の訓練画像を処理して、第１の訓練画像内のそれぞれのピクセルに関連付けられた予測ラベルの情報を与える第１のセグメンテーションマップを取得することができ、各予測ラベルは、それぞれのピクセルが属するセグメントを示す。訓練モジュール１０６は、基準が満たされると、第１の訓練画像および第１のセグメンテーションマップを含む第１の訓練サンプルを訓練データ（すなわち、ディープニューラルネットワーク（ＤＮＮ）を訓練するための訓練データ、本明細書ではＤＮＮ訓練データとも呼ばれる）に含め、基準が満たされないと、第２の特徴の抽出、訓練、および処理を繰り返すことを決定するようにさらに構成することができる。訓練データ生成プロセスの詳細については、図２Ａおよび図２Ｂを参照して以下に説明される。

特定の実施形態では、訓練システム１０１によって生成されたようなＤＮＮ訓練データを使用して、半導体試料を検査するために使用可能なＤＮＮ１１０を訓練することができる。場合によっては、ＤＮＮは、システム１０１のＰＭＣ１０２に含まれてもよく、あるいは図１に示すように、システム１０１に動作可能に接続されてもよい。ＤＮＮ１１０は、製造入力データに基づいてアプリケーション関連データを出力するために、ディープニューラルネットワークを用いたデータ処理を可能にするように構成することができる。一実施形態では、特定のアプリケーションは、画像セグメンテーションとすることができ、アプリケーション関連出力は、入力ＦＰ画像に対応するセグメンテーションマップとすることができる。システム１０１、ＰＭＣ１０２、およびそれらの内部の機能モジュールの動作は、図２Ａおよび図２Ｂを参照してさらに詳述される。

ＤＮＮ１１０は、それぞれのＤＮＮアーキテクチャに従って編成された層を含む教師ありまたは教師なしＤＮＮモデルを含むことができる。非限定的な例として、ＤＮＮの層は、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャ、リカレントニューラルネットワークアーキテクチャ、リカーシブニューラルネットワークアーキテクチャ、敵対的生成ネットワーク（ＧＡＮ）アーキテクチャなどに従って編成することができる。任意で、層の少なくとも一部を複数のＤＮＮサブネットワークに編成することができる。ＤＮＮの各層は、当技術分野では、典型的には、次元、ニューロン、またはノードと呼ばれる複数の基本的な計算要素（ＣＥ）を含むことができる。

一般に、所与の層の計算要素は、先行層および／または後続層のＣＥと接続することができる。先行層のＣＥと後続層のＣＥとの間の各接続は、重み付け値に関連付けられている。所与のＣＥは、それぞれの接続を介して先行層のＣＥから入力を受信することができ、所与の各接続は、所与の接続の入力に適用することができる重み付け値に関連付けられている。重み付け値は、接続の相対的な強度、したがって、所与のＣＥの出力に対するそれぞれの入力の相対的な影響を決定することができる。所与のＣＥは、活性化値（例えば、入力の加重和）を計算し、計算された活性化に活性化関数を適用することによって出力をさらに導出するように構成することができる。活性化関数は、例えば、恒等関数、決定論的関数（例えば、線形、シグモイド、しきい値など）、確率関数、または他の適切な関数とすることができる。所与のＣＥからの出力は、それぞれの接続を介して後続層のＣＥに伝達することができる。同様に、上記したように、ＣＥの出力における各接続は、後続層のＣＥの入力として受信される前に、ＣＥの出力に適用することができる重み付け値に関連付けられ得る。重み付け値に加えて、接続およびＣＥに関連付けられたしきい値（制限関数を含む）が存在することができる。

ディープニューラルネットワークの重み付け値および／またはしきい値は、訓練前に最初に選択することができ、訓練中にさらに反復的に調整または修正され、訓練されたＤＮＮにおいて最適な重み付け値および／またはしきい値のセットを達成することができる。各反復の後、ＤＮＮモジュールによって生成された実際の出力と、それぞれのデータの訓練セットに関連付けられた目標出力との差を決定することができる。この差は、誤差値と呼ばれることがある。訓練は、誤差値を示す損失／コスト関数が所定の値未満である場合、または反復間の性能の限定された変化が達成された場合に、完了したと判断することができる。

ディープニューラルネットワークの重み／しきい値を調整するために使用されるＤＮＮ入力データのセットは、以降、ＤＮＮ訓練データと呼ばれる。前述したように、システム１０１は、ＤＮＮを訓練するために使用可能なそのようなＤＮＮ訓練データを生成するように構成されている。

本開示の主題の教示は、上述したようなＤＮＮの特定のアーキテクチャによって拘束されないことに留意されたい。

一部の実施形態では、ＤＮＮは、ＦＰ画像に対して画像セグメンテーションを実行するように構成されたセグメンテーションＤＮＮとすることができる。場合によっては、ＤＮＮ１１０に加えて、検査システム１００は、例えば、欠陥検出モジュール、および／または自動欠陥レビューモジュール（ＡＤＲ）、および／または自動欠陥分類モジュール（ＡＤＣ）、および／または計測関連モジュール、および／または半導体試料の検査に使用可能な他の検査モジュールなどの、１つまたは複数の検査モジュールを備えることができる。１つまたは複数の検査モジュールは、スタンドアロンコンピュータとして実装することができ、またはそれらの機能（もしくは少なくともその一部）を検査ツール１２０と統合することができる。場合によっては、ＤＮＮ１１０を１つまたは複数の検査モジュールに含めることができる。任意で、ＤＮＮ１１０は、検査モジュール間で共有することができ、あるいは１つまたは複数の検査モジュールのそれぞれは、それ自体のＤＮＮ１１０を備えることができる。

特定の実施形態によると、システム１０１は、ストレージユニット１２２を備えることができる。ストレージユニット１２２は、システム１０１を動作させるのに必要な任意のデータ、例えば、システム１０１の入力および出力に関連するデータ、ならびにシステム１０１によって生成された中間処理結果を記憶するように構成することができる。例として、ストレージユニット１２２は、検査ツール１２０によって生成された画像および／またはその派生物を記憶するように構成することができる。したがって、１つまたは複数の画像は、ストレージユニット１２２から取り出され、さらなる処理のためにＰＭＣ１０２に提供され得る。

一部の実施形態では、システム１０１は、システム１０１に関連するユーザ指定の入力を可能にするように構成されたコンピュータベースのグラフィカルユーザインターフェース（ＧＵＩ）１２４を任意で備えることができる。例えば、ユーザは、試料の画像データを含む、試料の視覚的表現を（例えば、ＧＵＩ１２４の一部を形成するディスプレイによって）提示され得る。ユーザは、ＧＵＩを介して、特定の動作パラメータを定義するオプションを提供される場合がある。例えば、ユーザは、画像に手動で注釈を付けることによってラベルデータを提供することができる。ユーザは、例えば、セグメンテーションマップなどの操作結果をＧＵＩ上で見ることもできる。

図２Ａおよび図２Ｂを参照してさらに詳述するように、システム１０１は、Ｉ／Ｏインターフェース１２６を介してＦＰ入力データを受信するように構成されている。ＦＰ入力データは、検査ツール１２０によって生成されたデータ（および／またはその派生物および／またはそれに関連付けられたメタデータ）ならびに／あるいは１つまたは複数のデータ保管場所に記憶されたデータを含むことができる。場合によっては、ＦＰ入力データは、画像データ（例えば、キャプチャされた画像、キャプチャされた画像から派生した画像、シミュレートされた画像、合成画像など）および関連付けられた数値データ（例えば、メタデータ、手作りの属性など）を含むことができることに留意されたい。画像データは、試料の注目する層および／または１つもしくは複数の他の層に関連するデータを含むことができることにさらに留意されたい。本開示の一部の実施形態では、訓練目的のために、ＦＰ入力データは、ＤＮＮを訓練するために使用可能な訓練データを生成する目的で１つまたは複数の訓練画像を含むことができる。

システム１０１は、受信したＦＰ入力データを処理し、Ｉ／Ｏインターフェース１２６を介して、結果（もしくはその一部）をストレージユニット１２２、および／またはＤＮＮ１１０、および／またはＧＵＩ１２４（結果をレンダリングするための）に送信するようにさらに構成されている。

当業者は、本開示の主題の教示が図１に示されているシステムによって拘束されず、等価なおよび／または修正された機能性を別のやり方で統合もしくは分割することができ、ソフトウェアと、ファームウェアおよび／またはハードウェアとの任意の適切な組合せで実装することができることを容易に理解するであろう。

図１に示す検査システムは、分散コンピューティング環境で実施することができ、その場合、図１に示す前述の機能モジュールをいくつかのローカルおよび／またはリモート装置に分散させることができ、通信ネットワークを介してリンクさせることができることに留意されたい。他の実施形態では、検査ツール１２０、ストレージユニット１２２、および／またはＧＵＩ１２４のうちの少なくとも一部は、検査システム１００の外部にあり、Ｉ／Ｏインターフェース１２６を介してシステム１０１とデータ通信して動作することができることにさらに留意されたい。システム１０１は、検査ツールと連携して使用されるスタンドアロンコンピュータとして実装することができる。代替として、システム１０１のそれぞれの機能は、少なくとも部分的に、１つまたは複数の検査ツール１２０と統合され、それによって、検査関連プロセスにおける検査ツール１２０の機能性を容易にし、強化することができる。

例示のみを目的として、半導体試料の検査に使用可能なＤＮＮを訓練するためのＤＮＮ訓練データを生成するために、以下の説明が提供される。当業者は、本開示の主題の教示が、様々なタイプの機械学習モデル、および例えば、セグメンテーション、欠陥検出、ＡＤＲ、ＡＤＣ、自動ナビゲーションモジュール、計測関連モジュールなどの様々な検査に適用可能であることを容易に理解するであろう。

図２Ａを参照すると、本開示の主題の特定の実施形態による、半導体試料の検査に使用可能なＤＮＮを訓練するための訓練データを生成する一般化された流れ図が示されている。

特定の実施形態によると、ＤＮＮを訓練するために使用される訓練データ（ＤＮＮ訓練データとも呼ばれる）は、それぞれが、それぞれの訓練画像と、それに関連付けられた対応するグラウンドトゥルースデータと、を含む複数の訓練サンプルを含むことができる。グラウンドトゥルースデータは、アプリケーション固有の情報を示すラベルデータを含むことができる。例として、画像セグメンテーションのアプリケーションについては、各訓練サンプルは、半導体試料の訓練画像と、訓練画像内の１つまたは複数のセグメントを示すラベルデータと、を含むことができる。

訓練画像は、半導体試料の製造プロセスにおいて得られた半導体試料の「実世界」画像（例えば、上述したようなＦＰ画像）とすることができる。非限定的な例として、画像は、潜在的な欠陥を検出するために１つまたは複数の検査ツールを使用して（典型的には、比較的高速および／または比較的低解像度で）試料を検査することによって得られる検査画像とすることができる。このような検査ツールは、例えば、光学検査システム、低解像度ＳＥＭなどとすることができる。代替として、画像は、検査ツールによって検出された潜在的な欠陥が実際に欠陥であるかどうかを確認するために、１つまたは複数のレビューツールを使用して（典型的には、比較的低速および／または比較的高解像度で）潜在的な欠陥位置のサブセットにおいて試料を検査することによって得られるレビュー画像とすることができる。このようなレビューツールは、例えば、走査型電子顕微鏡（ＳＥＭ）などとすることができる。

グラウンドトゥルースデータは、様々な仕方で取得することができる。例として、グラウンドトゥルースデータは、人間の注釈によって生成されるか、合成的に生成されるか（例えば、ＣＡＤベースの画像）、機械学習の注釈によって生成されるか（例えば、特徴抽出および分析に基づくラベル）、または上記の組合せなどによって生成することができる。

特定の実施形態によると、ＤＮＮは、半導体試料画像（例えば、ＦＰ画像）に対する画像セグメンテーションの特定のアプリケーションのために訓練される。本明細書で使用される「セグメンテーション」という用語は、画像を意味のある部分／セグメント（例えば、背景および前景、ノイズの多い領域およびノイズのない領域、構造要素、欠陥および非欠陥など）に分割しながら、そのようなセグメントを示すピクセルごとまたは領域ごとの値を提供する任意のプロセスを指すことができる。本開示の主題に従って生成されたようなＤＮＮ訓練データは、ＦＰ画像のセグメンテーションに使用可能なＤＮＮを訓練するために使用される。

例として、訓練画像は、ＳＥＭ画像またはその派生物とすることができ、ラベルデータは、ＳＥＭ画像に対応するセグメンテーションマップ（セグメンテーションマスクとも呼ばれる）とすることができる。セグメンテーションマップは、訓練画像内の対応するピクセルに関連付けられた予測ラベルの情報を与える。各予測ラベルは、それぞれのピクセルが属する画像内のセグメントを示す。

セグメンテーションマップは、従来、訓練画像全体に手動で注釈を付けるユーザによって生成されていた。手動の注釈付けプロセスは、画像のサイズおよび解像度を考慮すると非常に時間がかかり、注釈付けされた結果は、時として不正確でエラーを起こしやすい。これは、ラベルデータの品質が訓練プロセスおよび訓練されたＤＮＮの性能に直接影響するため、ユーザには望ましくない。したがって、本開示は、図２Ａおよび図２Ｂを参照して以下に説明するように、ＤＮＮを訓練するために使用可能な正確なラベルデータを自動的に生成するより効率的な仕方を提案する。

特定の実施形態によると、半導体試料の少なくとも一部を表す第１の訓練画像を、（例えば、Ｉ／Ｏインターフェース１２６を介してＰＭＣ１０２によって）第１の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第１のラベルとともに取得することができる（２０２）。場合によっては、１つまたは複数のセグメントのうちの少なくとも１つは、第１の訓練画像内に提示された１つまたは複数の構造要素に対応する。

ここで図５に目を向けると、本開示の主題の特定の実施形態による訓練画像の一例が示されている。訓練画像５０２は、ＳＥＭレビューツールによってキャプチャされた、ウエハのダイの一部を表すＳＥＭ画像として例示されている。図示するように、画像には複数の構造要素５０４（ウエハ上のコンタクト要素を表す多角形として示す）が提示されている。本明細書で使用される構造要素とは、幾何学的形状または輪郭を有する幾何学的構造を有し、場合によっては他のオブジェクトと組み合わされた画像データ上の任意の元のオブジェクトを指すことができる。構造要素は、例えば、多角形の形態で提示すことができる。

一部の実施形態では、訓練画像は、異なる視点からキャプチャされた複数のチャネルを含むことができる。例えば、図５の例では、５０２は、検査ツールの上部検出器によって垂直方向から撮影された画像の１つのチャネルを表すことができ、５０６は、検査ツールの側面検出器によって側面方向から撮影された画像の別のチャネルを表すことができる。場合によっては、異なる角度からの２つ以上の側面検出器が存在することができ、それに応じて、訓練画像は、複数の側面チャネル画像５０６を含むことができる。場合によっては、複数の側面チャネル画像を１つの合成された側面チャネル画像に合成することができる。

画像全体の完全な注釈付けのユーザの手間を省くために、訓練画像に関連付けられた部分的なラベルデータをユーザによって提供することができる。例として、ユーザは、セグメンテーションマップにおいて識別しようとユーザが思う１つまたは複数のセグメントを決定し、セグメントのそれぞれからピクセル群を選択し、ピクセル群が属するセグメントを示すようにピクセル群に注釈を付けることができる。図６は、本開示の主題の特定の実施形態による訓練画像に対する部分的なユーザ注釈の一例を示す。

訓練画像６０２が図６に例示されている。訓練画像６０２は、図５内の訓練画像５０２および５０６と同じウエハの部位をキャプチャしたものであり、同じ設計パターンを共有する複数の構造要素を含む。このような構造要素は、等価な構造要素とも呼ばれる。例として、ユーザは、構造要素が１つのセグメントに属することができ、背景が別のセグメントに属することができると決定することができる。したがって、ユーザは、いずれかのセグメントから数ピクセルを選択し、それらに、それぞれのセグメントを示すようにマークすることができる。例として、図６内の丸で囲まれた領域６０４に示すように（６０４の拡大図を右側に示す）、構造要素内部のピクセル群６０６は、それらが構造要素を表す１つのセグメントに属することを示す特定のグレーレベル値でユーザによってマークされ、背景内のもう一方のピクセル群６０８は、それらが背景領域を表すもう一方のセグメントに属することを示す別のグレーレベル値でユーザによってマークされている。ブロック２０６に関して以下に説明するように、各セグメントにおいて選択されたピクセルに対するユーザ注釈は、機械学習モデルを訓練するための部分的なラベルデータとして使用することができる。

ユーザは、セグメンテーションマップに含めたいとユーザが望む、訓練画像内の異なるタイプのセグメンテーションを決定することができることに留意されたい。例として、場合によっては、訓練画像は、等価な構造要素の２つ以上のファミリを含むことができる。ユーザは、等価な構造要素の各ファミリがそれぞれのセグメントに属していると決定することができ、あるいは、ユーザは、すべての構造要素が１つのセグメントに属しているが、背景は別のセグメントに属していると決定することができる。別の例として、ユーザは、画像内のグレーレベルの分散に従ってセグメントを決定してもよい。例えば、特定の構造プロファイルに起因して１つの構造要素内部にグレーレベルのコントラストがある場合があり、ユーザは、各構造要素内部にグレーレベルの分離に対応する２つのセグメントがあると決定してもよい。本開示は、訓練画像に対するセグメンテーションの特定の仕方およびセグメントの数によって限定されない。

図２Ａの説明を続けると、第１の訓練画像を特徴付ける特徴のセットを（例えば、特徴抽出器１０４によって）抽出することができる（２０４）。各特徴は、第１の訓練画像内のピクセルに対応する特徴値を有する。特徴のセットは、第１の訓練画像におけるコンテキスト情報または表現を示す第１の特徴を含むことができる。例えば、第１の特徴は、第１の訓練画像内の１つまたは複数のセグメント間のコンテキスト関係／関連の情報を与えることができる。特徴のセットは、各セグメント内のピクセル群の統計的尺度に対する、第１の訓練画像内のピクセル分布の情報を与える第２の特徴をさらに含むことができる。

第１の特徴は、本明細書ではコンテキスト特徴とも呼ばれる。コンテキスト特徴という用語は、例えば、ピクセル、構造要素、もしくはセグメントなどの、画像内の特定のアイテム／要素のコンテキスト（例えば、ことによると異なる範囲を有する周囲の領域）、および／または画像内のそのような要素もしくはセグメント間のグローバルなコンテキスト関係を表すように広義に解釈されるべきである。コンテキスト関係は、要素またはセグメント間の相対的なテクスチャ、空間レイアウト、強度などに関して反映させることができる。例えば、構造要素内部のピクセルは、それらの周囲のピクセル（周囲にあるが、依然として構造要素内部にある）と同様のテクスチャを共有するのに対して、構造要素外のピクセルのテクスチャは、構造要素内部のピクセルとはかなり異なり、これは、構造要素内部のピクセルおよび構造要素外のピクセルが異なるセグメントに属し得ることを示す。一部の実施形態では、第１の特徴は、テクスチャ特徴を含むことができる。場合によっては、第１の特徴は、強度特徴をさらに含むことができる。

テクスチャ特徴は、画像の知覚されたテクスチャを表すために使用することができる。例えば、そのような特徴は、画像内の異なる要素またはセグメントを特徴付ける構造またはパターンの空間的配置を表すことができる。ここで図３Ａに目を向けると、本開示の主題の特定の実施形態による、第１の訓練画像からテクスチャ特徴を抽出する一般化された流れ図が示されている。

第１の訓練画像は、フィルタのセット（フィルタバンクとも呼ばれる）を用いて処理され（３０２）、フィルタのセットに対応する特徴応答のセットを生じさせることができる。各特徴応答は、第１の訓練画像のそれぞれのピクセルに対応する特徴応答値を含む。各ピクセルは、特徴応答値のセットを含む特徴ベクトルに対応する。画像内のピクセルに対応する特徴ベクトルは、複数のクラスタにクラスタ化することができる（３０４）。各ピクセルに対して、その特徴ベクトルが属するクラスタに従って特徴値を割り当て（３０６）、第１の訓練画像のピクセルに対応する特徴値を含む特徴マップを生じさせることができる。特徴マップは、それぞれの特徴値に対応する複数のチャネルに分離可能である。特徴マップの各チャネルは、サンプリングフィルタを使用してサンプリングされ（３０８）、複数のサンプリングされたチャネルを有する特徴マップを生じさせることができる。

一部の実施形態では、テクスチャ特徴は、テキストン特徴として実装することができる。テキストンという用語は、一般に、画像内の基本的な微細構造を指す。テキストンは、オブジェクト／要素の様々な外観の範囲についてコンパクトな表現を提供することができ、テクスチャならびに汎用オブジェクトクラスを分類するのに効果的である場合がある。

例として、第１の訓練画像を、フィルタのセット、例えば、多次元フィルタバンクを用いて畳み込み、訓練画像内のすべてのピクセルに対して多次元の特徴応答を生じさせることができる。フィルタのセットは、半導体画像を表す特徴を抽出するように選択することができる。例えば、フィルタのセットは、例えば微分フィルタ、ガボールフィルタ、ラプラシアンフィルタなどの様々なフィルタファミリを含むことができる。微分フィルタは、画像内に存在するピクセルの輝度情報の変化率についての定量的尺度を提供することができる。画像との畳み込みにより、微分フィルタは、カーネルの選択に応じて、様々な方向およびスケールの微分を生成することができる。輝度変化率に関して得られた情報は、コントラストを強調し、エッジおよび境界を検出し、特徴の配向を測定するために使用することができる。ガボールフィルタは、注目する点または領域の周りの局所領域において、画像内に特定の方向にいくらかでも特定の周波数成分があるかどうかを分析する線形フィルタである。ガボールフィルタの周波数および配向の表現は、人間の視覚系のものと似ている。第１の訓練画像からテクスチャを表す特徴を抽出するために、周波数および配向が異なるガボールフィルタのセットを使用することができる。ラプラシアンフィルタは、Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ（ＬｏＧ）フィルタとも呼ばれる。これは、画像の２次空間微分の尺度である。画像のラプラシアンは、強度が急激に変化する領域を強調表示し、エッジ検出に使用することができる。例えば、画像の強度が一定の領域（すなわち、強度勾配がゼロの領域）では、ＬｏＧ応答は、ゼロである。しかしながら、強度が変化する近傍では、ＬｏＧ応答は、より暗い側では正であり、より明るい側では負である。

本開示の一部の実施形態では、フィルタの３つのファミリを組み合わせて使用することができ、組み合わされたフィルタセットが、通常は、信号対雑音比（ＳＮＲ）およびコントラスト対雑音比（ＣＮＲ）が低いノイズの多い画像である半導体画像において、構造のテクスチャおよびレイアウトを表す特徴を抽出する際により信頼できることが本開示によって証明される。しかしながら、これは決して本開示を何ら限定するものではない。上記に加えて、または上記の代わりに、他のファミリ／タイプのフィルタまたは同様の機能を有するフィルタを使用することができる。特に、上述したような各ファミリにおける特定のフィルタは、例示目的で示されていることに留意されたい。上記に加えて、または上記の代わりに、ファミリ内の他の適切なフィルタを使用することができる。本開示は、特定のタイプのフィルタおよび各ファミリで使用されるフィルタの数によって限定されない。

例として、訓練画像がＭ＊Ｎの次元にあり、フィルタのセットがＦ個のフィルタ、すなわちＦ次元のフィルタバンクを含むと仮定すると、多次元特徴応答は、例えば、Ｍ＊Ｎ＊Ｆの次元を有する特徴行列の形態で生成される。すなわち、訓練画像内の各ピクセルについて、そのピクセルに対応する特徴ベクトルを形成するＦ個の特徴応答がある。多次元特徴応答、すなわち、Ｍ＊Ｎ＊Ｆの特徴行列は、Ｍ＊Ｎ個のピクセルに対応するＭ＊Ｎ個の特徴ベクトルを含むものと見なすことができる。

訓練画像内のすべてのピクセルに対する多次元特徴応答が取得されると、多次元特徴応答に対してクラスタリング（例えば、教師なしクラスタリング）を実行することができる。例として、Ｍ＊Ｎ個の特徴ベクトルに対してユークリッド距離Ｋ平均法クラスタリングアルゴリズムを実行して、特徴ベクトルの複数のクラスタ（例えば、Ｋ個のクラスタ）を生じさせることができる。訓練画像内の各ピクセルは、Ｋ個のクラスタのうちの１つにクラスタ化され、クラスタ番号に対応する特徴値が割り当てられ、第１の訓練画像のピクセルに対応する特徴値を含む特徴マップ（例えば、テキストンマップ）を生じさせる。テキストンマップＴは、特徴値を含み、ここで、各ピクセルｉについて対応する特徴値がＴｉ∈｛１，．．．，Ｋ｝である。特徴マップ（例えば、テキストンマップ）は、それぞれの特徴値（例えば、各テキストンに対して１つ）に対応するＫ個のチャネルに分離することができ、ここで、各チャネルについて、各テキストンに対して１つのビンを有するヒストグラムと同様に、別個のチャネルマップ（例えば、積分マップ）を導出することができる。分離されたチャネルマップは、Ｍ＊Ｎ＊Ｋの次元にある。

サンプリングは、例えば、サンプリングフィルタを使用することによって、各チャネルに対して実行することができる。例えば、Ｋ個のチャネルマップをサンプリングフィルタでそれぞれ畳み込み、サンプリングされたチャネルマップを生じさせることができる。例として、サンプリングフィルタは、平均化、ガウス、または他の種類のサンプリング方法を使用して実装することができる。チャネルマップとの畳み込みが行われると、各ピクセルのコンテキスト状況（例えば、各ピクセルの周囲の領域）を、サンプリングされたチャネルマップにおいて結果として得られる畳み込み値に効果的に反映し、それによって、サンプリングされたマップに感度を追加することができる。Ｋ個のサンプリングされたチャネルマップ（例えば、Ｍ＊Ｎ＊Ｋ次元での特徴行列の形態で）は、第１の訓練画像に対応するテクスチャ特徴として使用することができる。

特定の実施形態によると、第１の特徴は、テクスチャ特徴に加えて、強度特徴をさらに含むことができる。強度特徴は、画像内の様々な要素またはセグメントを特徴付けるピクセル強度の空間的配置を表すことができる。一部の実施形態では、強度特徴は、テキストン特徴として実装することもできる。例として、上述したようなクラスタ化を第１の訓練画像のピクセル値に対して実行することができる。同様に、訓練画像内の各ピクセルは、複数のクラスタのうちの１つにクラスタ化され、ピクセル値が属するクラスタに対応する特徴値が割り当てられ、複数のチャネルに分離することができる特徴マップを生じさせることができる。サンプリングは、例えば、サンプリングフィルタを使用することによって、各チャネルに対して実行することができ、サンプリングされたチャネルマップを第１の訓練画像に対応する強度特徴として使用することができる。

ここで図７に目を向けると、本開示の主題の特定の実施形態による、テクスチャ特徴の一例および強度特徴の一例が示されている。図示するように、特徴マップ７０２は、第１の訓練画像５０２から抽出されたテクスチャ特徴であり、特徴マップ７０４は、同じ画像から抽出された強度特徴である。

第１の特徴に加えて、特徴のセットは、各セグメント内のピクセル群の統計的尺度に対する、第１の訓練画像内のピクセル分布の情報を与える第２の特徴をさらに含むことができる。第２の特徴は、統計的特徴とも呼ばれる。本明細書で言及される統計的特徴は、ピクセルの統計的有意性に応じた定量的尺度を表すことができ、定量的尺度は、ピクセルが特定のセグメントに属する可能性を示す。図３Ｂを参照すると、本開示の主題の特定の実施形態による、第１の訓練画像から統計的特徴を抽出する一般化された流れ図が示されている。

各セグメントにおいて選択されたピクセル群について、統計的尺度を計算することができる（３１２）。例として、統計的尺度は、各セグメント内のピクセル群の値に基づいて計算された平均値とすることができる。別の例として、統計的尺度は、平均値と、平均値に対するピクセル群の値のばらつきまたは分散の量の尺度となる標準偏差（ＳＴＤ）と、に基づいて計算することができる。第１の訓練画像内の各ピクセルについて、対応する特徴値は、ピクセルの値と各セグメントの統計的尺度との間の距離として計算され（３１４）、それぞれが、ピクセル値とそれぞれのセグメントの統計的尺度との間の距離に対応する特徴値を含む、１つまたは複数の特徴マップを生じさせることができる。例えば、図６の例では、統計的尺度は、構造要素を表すセグメント内のピクセル群６０６と、背景領域を表す他のセグメント内のピクセル群６０８と、についてそれぞれ計算することができる。第１の訓練画像に対して２つの特徴マップを生成することができ、第１の特徴マップは、画像６０２内の各ピクセル値と６０６について計算された統計的尺度との間の距離値を含み、第２の特徴マップは、画像６０２内の各ピクセル値と６０８について計算された統計的尺度との間の距離値を含む。したがって、このようにして生成された特徴マップは、（ユーザによってマークされたピクセル群に基づいて）各セグメントについて計算された統計的尺度に対するものとして、画像内のピクセル値の分布／分散を示し、これは、ピクセルが特定のセグメントに属する可能性がどの程度かを示す。

図２Ａの説明を続けると、ブロック２０２を参照して説明したように第１の訓練画像および第１のラベルを取得し、ブロック２０４を参照して説明したように特徴のセットを取得すると、機械学習（ＭＬ）モデルは、第１のラベル、第１のラベルに関連付けられた各セグメントにおいて選択されたピクセル群の値、および各セグメント内のピクセル群に対応する特徴のセットの各特徴の特徴値を使用して（例えば、訓練モジュール１０６によって）訓練することができる（２０６）。ＭＬモデルは、画像セグメンテーションのために訓練される。

一部の実施形態では、ＭＬモデルは、分類器として実装することができる。本明細書で言及される「分類器」、「分類器モデル」、または「分類モデル」という用語は、データの訓練セットに基づいて、新しいインスタンスがカテゴリ／クラスのセットのうちのどれに属するかを識別することができるあらゆる学習モデルを包含するように広義に解釈されるべきである。例として、本開示では、分類器は、ピクセル候補を、ユーザによって定義されたようなセグメントクラスのセットに分類するように訓練することができる。例えば、図６の例では、分類器は、２つのセグメント（例えば、一方のセグメントを表すピクセル群６０６に対するユーザ注釈およびもう一方のセグメントを表すピクセル群６０８に対するユーザ注釈）を示す第１のラベルと、第１の訓練画像内のピクセル群６０６およびピクセル群６０８のピクセル値と、ピクセル群６０６およびピクセル群６０８に対応する（特徴のセットの各特徴における）特徴値と、を含む訓練セットに基づいて訓練される。例えば、特徴のセットが、７０２に例示されるようなテクスチャ特徴、７０４に例示されるような強度特徴、および図３Ｂを参照して上述したような統計的特徴を含むと仮定すると、選択されたピクセル群６０６および６０８に対応する３つの特徴のそれぞれにおける特徴値（これらは特徴マップまたは特徴行列の形態である）が訓練セットの一部として使用される。

訓練された分類器は、画像セグメンテーションのために、すなわち、画像内の各ピクセルに、そのピクセルが属するセグメントを示す予測ラベルを提供するために使用することができる。分類器は、例えば、線形分類器、サポートベクタマシン（ＳＶＭ）、ニューラルネットワーク、決定木などの様々なタイプの機械学習モデルとして実装することができ、本開示は、それらで実装された特定のモデルによって限定されないことに留意されたい。

第１の訓練画像は、訓練されたＭＬモデルを使用して処理され（２０８）、第１の訓練画像内のそれぞれのピクセルに関連付けられた予測ラベルの情報を与える第１のセグメンテーションマップを取得することができる。各予測ラベルは、それぞれのピクセルが属するセグメントを示す。特定の実施形態によると、訓練されたＭＬモデル（例えば、分類器）を使用して、第１の訓練画像内の少なくとも残りのピクセル（例えば、各セグメントにおいて選択され、分類器の訓練に使用されたピクセル群を除く）を処理することができる。分類器の出力は、訓練画像と同じサイズのセグメンテーションマップ（セグメンテーションマスクとも呼ばれる）であり、画像内の対応するピクセルについての予測ラベルを含む。

基準が満たされると、第１の訓練画像および第１のセグメンテーションマップを含む第１の訓練サンプルをＤＮＮ訓練データに含め、基準が満たされないと、第２の特徴の抽出、訓練、および処理を繰り返すことが（例えば、訓練モジュール１０６によって）決定される（２１０）。言い換えると、第１の訓練サンプルをＤＮＮ訓練データに含めるか、処理を繰り返すかは、上述したように基準に基づいて決定することができる。一部の実施形態では、基準は、例えば、ユーザによる、第１のセグメンテーションマップに対するフィードバックに関連することができる。例として、基準は、ユーザのフィードバックに基づくことができる。例えば、基準は、第１のセグメンテーションマップに対する肯定的なユーザフィードバックとすることができ、例えば、第１のセグメンテーションマップは、満足のいく品質を有する。したがって、第１のセグメンテーションマップに対して肯定的なユーザフィードバックを受信すると、第１の訓練サンプルをＤＮＮ訓練データに含めることができる。

一方、第１のセグメンテーションマップに対して否定的なユーザフィードバックを受信した場合、例えば、第１のセグメンテーションマップの品質が満足いくものでない場合、これは、現在訓練されているようなＭＬモデルが、ユーザが期待したほどにはうまく第１の訓練画像をセグメント化することを学習していないことを意味し、したがって、図２Ａを参照して上述した操作の少なくとも一部を繰り返す必要がある。図８は、本開示の主題の特定の実施形態による、否定的なユーザフィードバックを伴うセグメンテーションマップの一例を示す。

セグメンテーションマップ８００は、図５および図６に例示されるような訓練画像に対応して生成されている。本例では、セグメンテーションマップは、２つのセグメントを表すバイナリマップとして例示され、第１のセグメントは、画像内の構造要素（コンタクト要素を表す白丸として示す）に対応し、第２のセグメントは、背景領域（黒色の領域として示す）に対応する。図示するように、画像の境界に沿った周辺背景領域である領域８０２については、黒色でマークされるべきであったが、誤って白色でマークされている。したがって、領域８０２は、構造要素の第１のセグメントに属するものとして誤って予測されている。領域８０４について、同様のエラーが発生しており、ここで、２つの構造要素間の背景領域が第１のセグメントに属するものと誤って予測されている（図では、互いに接続する２つの要素として示されており、したがって、その間の背景領域が欠落している）。このようなセグメンテーションマップは、ユーザのレビューによると、誤ってセグメント化された領域のために満足のいくものではない。したがって、分類器は、満足のいく品質を有する出力セグメンテーションマップを生成するまで再訓練される必要がある。場合によっては、セグメンテーションマップの満足のいく品質は、品質条件に従って決定され得ることに留意されたい。例えば、品質条件は、正しいセグメンテーションを有するピクセルのパーセンテージの範囲またはしきい値とすることができる。

ここで図２Ｂに目を向けると、本開示の主題の特定の実施形態による、第１のセグメンテーションマップに対して否定的なユーザフィードバックを受信したときのＤＮＮ訓練データの生成の継続プロセスの一般化された流れ図が示されている。

具体的には、セグメントのうちの少なくとも１つにおいて追加のピクセル群に関連付けられた追加の第１のラベルを、ユーザから取得することができる（２１２）。このような場合、追加の第１のラベルは、ユーザによって以前に提供されたような第１のラベルとともに、ラベルデータの一部として追加することができる。第１のラベルおよび追加の第１のラベルは、集約されたラベルデータを構成する。図９Ａを参照すると、本開示の主題の特定の実施形態による、ユーザによって提供された追加の第１のラベルの一例が示されている。

図９Ａ内の第１の訓練画像６０２に示すように、元の第１のラベル（丸で囲まれた領域６０４に示すような）に加えて、追加のピクセル群（丸で囲まれた領域９０２および９０４に示す）が、これらのピクセルが属する予想されるセグメントを示すラベルでユーザによってマークされている。例えば、ユーザは、特に、第１のセグメンテーションマップにおいて誤ったセグメンテーションがあった領域（例えば、領域８０２および８０４内）をマークすることができる。ユーザは、追加のピクセルを、１つのセグメントでマークするか、または両方のセグメントでマークするかを選択することができる。例えば、９０２では、ユーザは、構造要素と背景の両方でピクセルをマークしたが、９０４では、ユーザは、背景でのみピクセルをマークした。したがって、追加のマーキングの後、集約されたラベルデータには、領域６０４、９０２、および９０４内のピクセル群に対してマークされたラベルが含まれている。

集約されたラベルデータを取得すると、基準が満たされるまで、例えば、肯定的なユーザフィードバックを受信するまで、第２の特徴の抽出、訓練、および処理を、集約されたラベルデータに基づいて繰り返すことができる。具体的には、ラベルデータが更新されているため、ラベルに関連付けられた各セグメント内のピクセル群に基づいて計算された第２の特徴、すなわち統計的特徴も、集約されたラベルデータに基づいて更新されるべきである（２１４）。例えば、第２の特徴は、ピクセル群および追加のピクセル群のピクセル値に基づいて計算された統計的尺度を使用して再抽出することができる。

分類器は、集約されたラベル、集約されたラベルデータに関連付けられたピクセルの値、および集約されたラベルデータに関連付けられたピクセルに対応する特徴のセットの各特徴の特徴値を使用して再訓練することができる（２１６）。第１の訓練画像は、再訓練された分類器を使用して再度処理（２１８）されて、更新された第１のセグメンテーションマップを取得することができる。次いで、更新された第１のセグメンテーションマップに対するユーザフィードバックに基づいて、上記のプロセス（ブロック２１２～２１８を参照する操作）を繰り返すか、または更新された第１のセグメンテーションマップおよび第１の訓練画像を第１の訓練サンプルとしてＤＮＮ訓練データに含めるかどうかを決定することができる（２２０）。

図９Ｂを参照すると、本開示の主題の特定の実施形態による、肯定的なユーザフィードバックを伴う更新されたセグメンテーションマップの一例が示されている。

セグメンテーションマップ９００は、図９Ａに示すような追加の第１のラベルを取得すると、図２Ｂを参照して説明した操作に従って生成される。これは、図８に示すような第１のセグメンテーションマップ８００の更新されたセグメンテーションマップである。図示するように、更新されたセグメンテーションマップ９００は、セグメンテーションマップ８００とは対照的に、２つのセグメントの満足のいくセグメンテーション結果を提供している。以前の誤ってセグメント化された領域８０２および８０４におけるセグメンテーションは、ユーザによって提供された追加の第１のラベルおよび分類器の再訓練によって修正されている。更新されたセグメンテーションマップは、対応する訓練画像とともに、訓練サンプルとしてＤＮＮ訓練データに含められる。

特定の実施形態によると、図２Ａおよび図２Ｂに示すようなプロセスは、１つまたは複数の訓練画像に対して繰り返すことができ、したがって、訓練画像とともに、ＤＮＮ訓練データに含めることができる１つまたは複数のセグメンテーションマップを生成することができる。例として、第２の訓練画像は、第２の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第２のラベルとともに取得することができる。第２のラベルは、集約されたラベルデータに追加される。第１の特徴および第２の特徴を含む、第２の訓練画像を特徴付ける特徴のセットを抽出することができる。機械学習モデルは、集約されたラベルデータ、集約されたラベルデータに関連付けられたピクセルの値、および集約されたラベルデータに関連付けられたピクセルに対応する特徴のセットの各特徴の特徴値を使用して訓練することができる。ブロック２０８および２１０を参照して上述したような処理および決定は、第２の訓練画像に基づいて実行することができる。

ここで図４に目を向けると、本開示の主題の特定の実施形態による、ＤＮＮを訓練するための、生成されたＤＮＮ訓練データを使用する一般化された流れ図が示されている。

特定の実施形態によると、ＤＮＮは、半導体試料画像（例えば、ＦＰ画像）に対する画像セグメンテーションの特定のアプリケーションのために訓練される。例として、そのようなセグメンテーションは、試料に対して測定を実行するための計測ツールによって使用することができる。別の例として、そのようなセグメンテーションは、属性を構築する際の（例えば、欠陥が主パターン上にあるか、背景上にあるか、またはその両方にあるかどうかを定義するための）ＡＤＣ、各セグメントにセグメント固有の検出しきい値を適用するためのＡＤＲなどにも使用可能とすることができる。

本プロセスは、ＤＮＮのセグメンテーション固有の訓練のセットアップ段階４１０と、訓練されたＤＮＮを画像セグメンテーションに使用するランタイム段階４２０と、を含む。

セットアップ４１０の間に、図２Ａおよび図２Ｂの説明に従って生成されたようなＤＮＮ訓練データを取得することができる（４１２）。ＤＮＮ訓練データは、１つまたは複数の訓練サンプルを含み、各サンプルは、訓練画像および対応するセグメンテーションマップを含む。ＤＮＮ訓練データを使用してＤＮＮを訓練し（４１４）、それによって、セグメンテーション関連の訓練パラメータによって特徴付けられた訓練されたＤＮＮを取得することができる。一部の実施形態では、訓練プロセスは、周期的であってもよく、ＤＮＮが十分に訓練されるまで数回繰り返すことができる。例として、ＤＮＮは、セグメンテーションの精度に関連するコスト関数（例えば、正しいセグメンテーションラベルマップ対予測されたラベルマップ）を使用して訓練することができる。訓練されたＤＮＮは、画像の検証セットを使用して検証することができる（４１６）。画像の検証セットは、訓練画像セットとは異なる画像セットとすることができ、検証目的のために選択されたＦＰ画像を含むことができる。ユーザは、検証中にＤＮＮが到達した結果に対するフィードバックを提供することができる。

ランタイム４２０中に、ＰＭＣは、訓練されたＤＮＮを使用して、セグメント化される１つまたは複数のキャプチャされたＦＰ画像を含む１つまたは複数のランタイム画像を処理して（４２２）、各画像に対するセグメンテーションマップを提供する（４２４）。１つまたは複数のＦＰ画像は、同じまたは異なる検査モダリティによって取得することができる。得られたセグメンテーションマップは、画像上の異なるセグメントを示すピクセルごとまたは領域ごとのセグメンテーションラベルの情報を与えることができる。例として、ある層の多角形は、あるセグメンテーションラベルを有することができ、別の層の多角形は、異なるセグメンテーションラベルを有することができ、一方、背景は、別のセグメンテーションラベルを有することができる。

本明細書に記載されるような訓練データ生成プロセスの特定の実施形態の利点の中には、時間がかかりエラーを起こしやすい訓練画像全体に対する従来の手動注釈と比較して、ＤＮＮを訓練するために使用可能な正確なグラウンドトゥルースデータを生成する自動手段を提供することがある。このようなプロセスの自動化は、少なくとも、セグメンテーションに適した意味のある特徴を抽出し、ユーザの部分的な注釈およびフィードバックに基づいてＭＬモデルをインタラクティブに訓練することによって可能になる。

本明細書に記載されるような訓練データ生成プロセスの特定の実施形態のさらなる利点の中には、訓練画像を特徴付けるコンテキスト特徴と統計的特徴との両方を抽出および使用することによって、本開示が、テクスチャ、レイアウト、コンテキスト、および統計的有意性などに関して、半導体画像の信頼できる表現をうまく提供し、したがって、代表的な特徴を使用してＭＬモデルを訓練し、効率的なやり方でセグメンテーションマップを生成することができ、満足のいく結果を得ることができるということがある。

例示された例は、本明細書では例示目的で記載されており、本開示を限定するものと決して見なされるべきではないことに留意されたい。上記に加えて、または上記の代わりに、他の適切な例を使用することができる。

本開示は、その適用において、本明細書に含まれる、または図面に示される説明に記載された詳細に限定されないことを理解されたい。

本開示によるシステムは、少なくとも部分的に、適切にプログラムされたコンピュータ上に実装され得ることも理解されるであろう。同様に、本開示は、本開示の方法を実行するためのコンピュータによって読み取り可能なコンピュータプログラムを企図している。本開示は、本開示の方法を実行するためのコンピュータによって実行可能な命令のプログラムを明白に具現化する非一時的なコンピュータ可読メモリをさらに企図している。

本開示は、他の実施形態が可能であり、様々な仕方で実施および実行することができる。したがって、本明細書で用いられる語句および術語は、説明を目的としたものであり、限定的なものと見なされるべきでないことを理解されたい。そのため、当業者は、本開示の基礎となる概念が、本開示の主題のいくつかの目的を実行するための他の構造、方法、およびシステムを設計するための基礎として容易に利用され得ることを理解するであろう。

当業者は、添付の特許請求の範囲において、および添付の特許請求の範囲によって定義される本開示の範囲から逸脱することなく、前述したような様々な修正および変更を本開示の実施形態に適用することができることを容易に理解するであろう。

Claims (20)

1. 半導体試料の検査に使用可能なディープニューラルネットワークを訓練するための訓練データ（ＤＮＮ訓練データ）を生成するコンピュータ化されたシステムであって、
   前記半導体試料の少なくとも一部を表す第１の訓練画像、および前記第１の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第１のラベルを取得することと、
   前記第１の訓練画像を特徴付ける特徴のセットを抽出することであって、各特徴が前記第１の訓練画像内のピクセルに対応する特徴値を有し、特徴の前記セットが、前記第１の訓練画像内の前記１つまたは複数のセグメント間のコンテキスト関係の情報を与える第１の特徴、および各セグメント内の前記ピクセル群の統計的尺度に対する、前記第１の訓練画像内のピクセル分布の情報を与える第２の特徴を含む、抽出することと、
   前記第１のラベル、前記第１のラベルに関連付けられた各セグメントにおいて選択された前記ピクセル群の値、および各セグメント内の前記ピクセル群に対応する特徴の前記セットの各特徴の前記特徴値を使用して機械学習（ＭＬ）モデルを訓練することであって、前記ＭＬモデルが画像セグメンテーションのために訓練される、訓練することと、
   前記訓練されたＭＬモデルを使用して前記第１の訓練画像を処理して、前記第１の訓練画像内のそれぞれのピクセルに関連付けられた予測ラベルの情報を与える第１のセグメンテーションマップを取得することであって、各予測ラベルが、それぞれのピクセルが属するセグメントを示す、取得することと、
   基準が満たされると、前記第１の訓練画像および前記第１のセグメンテーションマップを含む第１の訓練サンプルを前記ＤＮＮ訓練データに含め、前記基準が満たされないと、前記第２の特徴の前記抽出、前記訓練、および前記処理を繰り返すことを決定することと、
   を行うように構成されたプロセッサおよびメモリ回路（ＰＭＣ）を備える、
   コンピュータ化されたシステム。
2. 前記訓練データが、ランタイム画像に基づいて、自動セグメンテーション、自動計測、自動欠陥検出、自動欠陥レビュー、および自動欠陥分類を含む群から選択された少なくとも１つの検査プロセスのためのディープニューラルネットワーク（ＤＮＮ）を訓練するために使用可能である、
   請求項１に記載のコンピュータ化されたシステム。
3. 前記基準が、前記第１のセグメンテーションマップに対するユーザフィードバックに基づいており、前記ＰＭＣが、前記第１のセグメンテーションマップに対する否定的なユーザフィードバックを受信すると、前記セグメントのうちの少なくとも１つにおいて追加のピクセル群に関連付けられた追加の第１のラベルを取得することであって、前記第１のラベルおよび前記追加の第１のラベルが集約されたラベルデータを構成する、取得することと、肯定的なユーザフィードバックを受信するまで、前記集約されたラベルデータに基づいて、前記第２の特徴の前記抽出、前記訓練、および前記処理を繰り返すことと、を行うように構成されている、
   請求項１に記載のコンピュータ化されたシステム。
4. 前記ＰＭＣが、前記第１のセグメンテーションマップに対する肯定的なユーザフィードバックを受信すると、前記第１の訓練サンプルを前記訓練データに含めるように構成されている、
   請求項３に記載のコンピュータ化されたシステム。
5. 前記ＰＭＣが、第２の訓練画像と、前記第２の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第２のラベルであって、前記集約されたラベルデータに追加される第２のラベルと、を取得し、前記第２の訓練画像を特徴付け、前記第１の特徴および前記第２の特徴を含む特徴のセットを抽出し、前記集約されたラベルデータ、前記集約されたラベルデータに関連付けられたピクセルの値、および前記集約されたラベルデータに関連付けられた前記ピクセルに対応する特徴の前記セットの各特徴の前記特徴値を使用して前記ＭＬモデルを訓練し、前記第２の訓練画像に基づいて前記処理および決定を実行するようにさらに構成されている、
   請求項４に記載のコンピュータ化されたシステム。
6. 前記１つまたは複数のセグメントのうちの少なくとも１つが、前記第１の訓練画像内に提示された１つまたは複数の構造要素に対応する、
   請求項１に記載のコンピュータ化されたシステム。
7. 前記第１の特徴が、
   フィルタのセットを用いて前記第１の訓練画像を処理し、それぞれが前記第１の訓練画像のそれぞれのピクセルに対応する特徴応答値を含む特徴応答のセットを生じさせることであって、各ピクセルがその特徴応答値のセットを含む特徴ベクトルに対応する、生じさせることと、
   前記第１の訓練画像内の前記ピクセルに対応する前記特徴ベクトルを複数のクラスタにクラスタ化することと、
   各ピクセルに対して、その前記特徴ベクトルが属する前記クラスタに従って特徴値を割り当て、前記第１の訓練画像のピクセルに対応する特徴値を含む特徴マップを生じさせることであって、前記特徴マップがそれぞれの特徴値に対応する複数のチャネルに分離可能である、生じさせることと、
   サンプリングフィルタを使用して前記特徴マップの各チャネルをサンプリングし、複数のサンプリングされたチャネルを有する特徴マップを生じさせることと、
   によって抽出されたテクスチャ特徴を含む、
   請求項１に記載のコンピュータ化されたシステム。
8. 前記第１の特徴が、前記第１の訓練画像のピクセル値を複数のクラスタにクラスタ化することと、各ピクセルに対して、前記ピクセル値が属する前記クラスタに従って特徴値を割り当て、それぞれの特徴値に対応する複数のチャネルに分離可能な特徴マップを生じさせることと、サンプリングフィルタを使用して前記特徴マップの各チャネルをサンプリングし、複数のサンプリングされたチャネルを有する特徴マップを生じさせることと、によって抽出された強度特徴をさらに含む、
   請求項７に記載のコンピュータ化されたシステム。
9. 前記フィルタのセットが、微分フィルタ、ガボールフィルタ、およびラプラシアンフィルタのうちの１つまたは複数を含む、
   請求項７に記載のコンピュータ化されたシステム。
10. 前記第２の特徴が、各セグメント内の前記ピクセル群について統計的尺度を計算し、前記第１の訓練画像内の各ピクセルについて、対応する特徴値を、前記ピクセルの値と各セグメントの前記統計的尺度との間の距離として計算し、それぞれが、ピクセル値とそれぞれのセグメントの前記統計的尺度との間の距離に対応する特徴値を含む、１つまたは複数の特徴マップを生じさせることによって抽出される、
    請求項１に記載のコンピュータ化されたシステム。
11. 前記訓練画像が、異なる視点からキャプチャされた複数のチャネルを含み、特徴の前記セットが、前記複数のチャネルから抽出される、
    請求項１に記載のコンピュータ化されたシステム。
12. 前記ＰＭＣが、前記ＤＮＮ訓練データを使用して前記ＤＮＮを訓練し、画像の検証セットを使用して前記訓練されたＤＮＮを検証するようにさらに構成されている、
    請求項１に記載のコンピュータ化されたシステム。
13. 試料の検査に使用可能なディープニューラルネットワークを訓練するための訓練データ（ＤＮＮ訓練データ）を生成するためのコンピュータ化された方法であって、前記方法は、プロセッサおよびメモリ回路（ＰＭＣ）によって実行され、
    前記半導体試料の少なくとも一部を表す第１の訓練画像、および前記第１の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第１のラベルを取得するステップと、
    前記第１の訓練画像を特徴付ける特徴のセットを抽出するステップであって、各特徴が前記第１の訓練画像内のピクセルに対応する特徴値を有し、特徴の前記セットが、前記第１の訓練画像内の前記１つまたは複数のセグメント間のコンテキスト関係の情報を与える第１の特徴、および各セグメント内の前記ピクセル群の統計的尺度に対する、前記第１の訓練画像内のピクセル分布の情報を与える第２の特徴を含む、ステップと、
    前記第１のラベル、前記第１のラベルに関連付けられた各セグメントにおいて選択された前記ピクセル群の値、および各セグメント内の前記ピクセル群に対応する特徴の前記セットの各特徴の前記特徴値を使用して機械学習（ＭＬ）モデルを訓練するステップであって、前記ＭＬモデルが画像セグメンテーションのために訓練される、ステップと、
    前記訓練されたＭＬモデルを使用して前記第１の訓練画像を処理して、前記第１の訓練画像内のそれぞれのピクセルに関連付けられた予測ラベルの情報を与える第１のセグメンテーションマップを取得するステップであって、各予測ラベルが、それぞれのピクセルが属するセグメントを示す、ステップと、
    基準が満たされると、前記第１の訓練画像および前記第１のセグメンテーションマップを含む第１の訓練サンプルを前記ＤＮＮ訓練データに含め、前記基準が満たされないと、前記第２の特徴の前記抽出、前記訓練、および前記処理を繰り返すことを決定するステップと、
    を含む
    コンピュータ化された方法。
14. 前記基準が、前記第１のセグメンテーションマップに対するユーザフィードバックに基づいており、前記方法が、前記第１のセグメンテーションマップに対する否定的なユーザフィードバックを受信すると、前記セグメントのうちの少なくとも１つにおいて追加のピクセル群に関連付けられた追加の第１のラベルを取得するステップであって、前記第１のラベルおよび前記追加の第１のラベルが集約されたラベルデータを構成する、ステップと、肯定的なユーザフィードバックを受信するまで、前記集約されたラベルデータに基づいて、前記第２の特徴の前記抽出、前記訓練、および前記処理を繰り返すステップと、をさらに含む、
    請求項１３に記載のコンピュータ化された方法。
15. 前記第１のセグメンテーションマップに対する肯定的なユーザフィードバックを受信すると、前記第１の訓練サンプルを前記訓練データに含めるステップを、さらに含む、
    請求項１４に記載のコンピュータ化された方法。
16. 前記第１の特徴が、
    フィルタのセットを用いて前記第１の訓練画像を処理し、それぞれが前記第１の訓練画像のそれぞれのピクセルに対応する特徴応答値を含む特徴応答のセットを生じさせることであって、各ピクセルがその特徴応答値のセットを含む特徴ベクトルに対応する、生じさせることと、
    前記第１の訓練画像内の前記ピクセルに対応する前記特徴ベクトルを複数のクラスタにクラスタ化することと、
    各ピクセルに対して、その前記特徴ベクトルが属する前記クラスタに従って特徴値を割り当て、前記第１の訓練画像のピクセルに対応する特徴値を含む特徴マップを生じさせることであって、前記特徴マップがそれぞれの特徴値に対応する複数のチャネルに分離可能である、生じさせることと、
    サンプリングフィルタを使用して前記特徴マップの各チャネルをサンプリングし、複数のサンプリングされたチャネルを有する特徴マップを生じさせることと、
    によって抽出されたテクスチャ特徴を含む、
    請求項１３に記載のコンピュータ化された方法。
17. 前記第１の特徴が、前記第１の訓練画像のピクセル値を複数のクラスタにクラスタ化することと、各ピクセルに対して、前記ピクセル値が属する前記クラスタに従って特徴値を割り当て、それぞれの特徴値に対応する複数のチャネルに分離可能な特徴マップを生じさせることと、サンプリングフィルタを使用して前記特徴マップの各チャネルをサンプリングし、複数のサンプリングされたチャネルを有する特徴マップを生じさせることと、によって抽出された強度特徴をさらに含む、
    請求項１６に記載のコンピュータ化された方法。
18. 前記第２の特徴が、各セグメント内の前記ピクセル群について統計的尺度を計算し、前記第１の訓練画像内の各ピクセルについて、対応する特徴値を、前記ピクセルの値と各セグメントの前記統計的尺度との間の距離として計算し、それぞれが、ピクセル値とそれぞれのセグメントの前記統計的尺度との間の距離に対応する特徴値を含む、１つまたは複数の特徴マップを生じさせることによって抽出される、
    請求項１３に記載のコンピュータ化された方法。
19. 前記ＤＮＮ訓練データを使用して前記ＤＮＮを訓練するステップと、画像の検証セットを使用して前記訓練されたＤＮＮを検証するステップと、をさらに含む、
    請求項１３に記載のコンピュータ化された方法。
20. コンピュータによって実行されると、前記コンピュータに、試料の検査に使用可能なディープニューラルネットワークを訓練するための訓練データ（ＤＮＮ訓練データ）を生成する方法を実行させる命令のプログラムを明白に具現化する非一時的なコンピュータ可読ストレージ媒体であって、前記方法が、
    前記半導体試料の少なくとも一部を表す第１の訓練画像、および前記第１の訓練画像からユーザによって識別された１つまたは複数のセグメントのそれぞれにおいて選択されたピクセル群にそれぞれ関連付けられた第１のラベルを取得するステップと、
    前記第１の訓練画像を特徴付ける特徴のセットを抽出するステップであって、各特徴が前記第１の訓練画像内のピクセルに対応する特徴値を有し、特徴の前記セットが、前記第１の訓練画像内の前記１つまたは複数のセグメント間のコンテキスト関係の情報を与える第１の特徴、および各セグメント内の前記ピクセル群の統計的尺度に対する、前記第１の訓練画像内のピクセル分布の情報を与える第２の特徴を含む、ステップと、
    前記第１のラベル、前記第１のラベルに関連付けられた各セグメントにおいて選択された前記ピクセル群の値、および各セグメント内の前記ピクセル群に対応する特徴の前記セットの各特徴の前記特徴値を使用して機械学習（ＭＬ）モデルを訓練するステップであって、前記ＭＬモデルが画像セグメンテーションのために訓練される、ステップと、
    前記訓練されたＭＬモデルを使用して前記第１の訓練画像を処理して、前記第１の訓練画像内のそれぞれのピクセルに関連付けられた予測ラベルの情報を与える第１のセグメンテーションマップを取得するステップであって、各予測ラベルが、それぞれのピクセルが属するセグメントを示す、ステップと、
    基準が満たされると、前記第１の訓練画像および前記第１のセグメンテーションマップを含む第１の訓練サンプルを前記ＤＮＮ訓練データに含め、前記基準が満たされないと、前記第２の特徴の前記抽出、前記訓練、および前記処理を繰り返すことを決定するステップと、
    を含む、
    非一時的なコンピュータ可読ストレージ媒体。

Images