JP2020170702A - 二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成 - Google Patents

二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成 Download PDF

Info

Publication number
JP2020170702A
JP2020170702A JP2020067169A JP2020067169A JP2020170702A JP 2020170702 A JP2020170702 A JP 2020170702A JP 2020067169 A JP2020067169 A JP 2020067169A JP 2020067169 A JP2020067169 A JP 2020067169A JP 2020170702 A JP2020170702 A JP 2020170702A
Authority
JP
Japan
Prior art keywords
image
sample
microscope
detector
modality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020067169A
Other languages
English (en)
Inventor
ルイス ウォーショー レイナー
Louis Warschauer Reinier
ルイス ウォーショー レイナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FEI Co
Original Assignee
FEI Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FEI Co filed Critical FEI Co
Publication of JP2020170702A publication Critical patent/JP2020170702A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/244—Detectors; Associated components or circuits therefor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/261—Details
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/2206—Combination of two or more measurements, at least one measurement being that of secondary emission, e.g. combination of secondary electron [SE] measurement and back-scattered electron [BSE] measurement
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing
    • H01J2237/225—Displaying image using synthesised colours
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244—Detection characterized by the detecting means
    • H01J2237/2441—Semiconductor detectors, e.g. diodes
    • H01J2237/24415—X-ray
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H01J2237/2803—Scanning microscopes characterised by the imaging method
    • H01J2237/2807—X-rays

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

【課題】二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成を提供する。【解決手段】ＳＴＥＭシステム１０６は、集束荷電ビーム１２３をサンプルに印加することと、第１の顕微鏡検出器１０２を使用して、サンプルに入射する集束荷電ビームから生じる放射を検出し、第１の顕微鏡検出器からの検出器データを使用して、第１のラベル付き画像を自動的に生成する。第１のラベル付き画像を自動的に生成することは、検出器データに基づいてサンプルの一部に関する組成情報を判定することと、その後、対応する組成情報によってサンプルの一部に関連付けられた第１の画像の領域を自動的にラベル付けする。サンプルの第２の画像は、異なるモダリティの第２の顕微鏡検出器システムからの検出器データを使用して生成され、その後、第１のラベル付き画像が使用され、対応する組成情報によって第２の画像の領域を自動的にラベル付けする。【選択図】図１

Description

深層学習アルゴリズムは、電子顕微鏡（ＥＭ）によって取得した画像の異常を自動的に分析、ラベル付け、および／または修正するために使用され始めている。従来、これらの作業は、電子顕微鏡画像を個別に評価する専門家のオペレータを必要とする。この従来のオペレータベースのプロセスは、電子顕微鏡画像の欠陥を特定するのに膨大な時間（例えば、数時間、数週間、および／または数か月）を要する可能性がある。深層学習は、このプロセスを大幅にスピードアップすることが示されている。
しかしながら、深層学習が使用されて電子顕微鏡画像の異常を分析、ラベル付け、および／または修正する前に、深層学習アルゴリズムは、最初にトレーニングされる必要がある。このトレーニングを実行するには、まず、ラベル付きＥＭ画像のトレーニングセットが取得される必要がある。ＥＭイメージングシステムは、サンプルの小さな領域の高解像度画像を取得することができるが、ＥＭシステムは、サンプルに関する組成情報を取得することができない。したがって、そのようなラベル付きＥＭ画像のトレーニングセットの生成は、画像内の異なるコントラストレベルに基づいて、異なる素材を含む各ピクセルをマークするのに何時間も費やす専門家のオペレータを必要とする。例えば、解像度が１Ｋ×１Ｋピクセルの半導体の個別スキャンＥＭ画像は、セグメント化に４時間かかり得る。したがって、ラベル付きＥＭ画像のトレーニングセットを生成するためのより効率的なプロセスを有することが望ましい。
本開示にかかる異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって顕微鏡検出器からラベル付き画像を生成する方法およびシステムは、集束荷電ビームをサンプルに印加することと、第１のモダリティの第１の顕微鏡検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射を検出することと、第１のモダリティの第１の検出器データを生成することと、その後、第１の検出器データを使用して第１のラベル付き画像を自動的に生成することとを含む。第１のラベル付き画像の自動生成は、第１の検出器データに基づいてサンプルの第１の画像を生成することと、第１の検出器データに基づいてサンプルの一部に関する組成情報を判定することと、その後、組成情報によってサンプルの一部に関連付けられた第１の画像の領域を自動的にラベル付けすることとを含む。
方法およびシステムは、さらに、第２のモダリティ（第１のモダリティとは異なる）の第２の顕微鏡検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射を検出することと、第２の顕微鏡検出器システムからの第２の検出器データを使用してサンプルの第２の画像を生成することと、その後、第１のラベル付き画像を活用して、組成情報によってサンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることとを含む。
詳細な説明は、添付の図を参照して説明される。図では、参照番号の左端の数字は、参照番号が最初に現れる図を特定する。異なる図の同じ参照番号は、類似または同一の物品を示す。
図１は、異なるモダリティの第２の顕微鏡検出器システムからの検出器データを活用することによって第１の顕微鏡検出システムからラベル付き画像を生成する例示的な走査型透過電子顕微鏡セットアップを示している。 図２は、異なるモダリティの第２の顕微鏡検出器システムからの検出器データを活用することによって第１の顕微鏡検出システムからラベル付き画像を生成する例示的な走査型電子顕微鏡セットアップを示している。 図３は、異なるモダリティの第２の顕微鏡検出器システムからの検出器データを活用することによって第１の顕微鏡検出システムからラベル付き画像を自動的に生成するコンピューティングアーキテクチャを概略的に示している。 図４は、ラベル付き顕微鏡画像を自動的に生成するサンプル方法を示している。 図５は、一次顕微鏡検出器システムからラベル付き画像を生成する例示的プロセスのフロー図である。 図６は、異なるモダリティの二次顕微鏡検出器システムからの検出器データを活用することによって一次顕微鏡検出器システムからラベル付き画像を生成する例示的プロセスのフロー図である。
同様の参照番号は、図面のいくつかの図を通して対応する部分を指す。
異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって顕微鏡検出器からラベル付き画像を生成する方法およびシステムが開示されている。より具体的には、本開示は、異なるモダリティの検出器システムを利用してサンプルのラベル付き画像を生成した後、これらのラベル付き画像を利用して電子／荷電粒子顕微鏡によって生成された画像を自動的にラベル付けすることにより、サンプルのラベル付き電子／荷電粒子顕微鏡画像を生成する方法およびシステムを含む。このようにして、開示されたシステムおよび方法は、ラベル付き電子顕微鏡画像を生成するプロセスを自動化する。これは、ひいては、深層学習および／またはニューラルネットワークをトレーニングして、電子顕微鏡（ＥＭ）および／または荷電粒子顕微鏡によって取得された画像の異常を分析、ラベル付け、および／または修正するトレーニングセットを生成するプロセスを大幅に促進する。
一般に、図では、特定の例に含まれる可能性のある要素は実線で示されるとともに、特定の例の任意の要素は破線で示されている。しかしながら、実線で示される要素は、本開示の全ての例に必須ではなく、実線で示される要素は、本開示の範囲から逸脱することなく特定の例から省略されてもよい。
図１および図２は、異なるモダリティの第２の顕微鏡検出器システム１０４からの検出器データを活用することによって第１の顕微鏡検出器システム１０２からラベル付き画像を生成する例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００の図である。例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００は、これらに限定されるものではないが、走査型電子顕微鏡（ＳＥＭ）、走査型透過電子顕微鏡（ＳＴＥＭ）、透過型電子顕微鏡（ＴＥＭ）、荷電粒子顕微鏡（ＣＰＭ）、デュアルビーム顕微鏡システムなど、１つ以上の異なるタイプのＥＭおよび／または荷電粒子顕微鏡とすることができるか、またはそれらを含むことができる。
図１は、異なるモダリティの第２の顕微鏡検出器システム１０４からの検出器データを活用することによって第１の顕微鏡検出器システム１０２からラベル付き画像を生成するＳＴＥＭシステム１０６である例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００を示している。しかしながら、当業者は、本開示の方法およびシステムが他のタイプのＥＭおよび／または荷電粒子顕微鏡によって具体化される方法を図１から理解するであろう。ＳＴＥＭシステム１０６は、放射軸１１２に沿って集束カラム１１４に向かって電子ビーム１１０を放射する電子源１０８を含む。いくつかの実施形態では、集束カラム１１４は、コンデンサレンズ１１６、開口１１８、走査コイル１２０、および上部対物レンズ１２２のうちの１つ以上を含むことができる。集束カラム１１４は、電子源１０８からの電子をサンプル１２４上の小さなスポットに集束させる。走査コイル１２０を介して電子ビーム１２３の方向を調整することにより、サンプルの異なる位置が走査されることができる。例えば、走査コイル１２０を動作させることにより、電子ビーム１２３は、サンプル１２４の異なる位置に焦点を移動させることができる。サンプル１２４は、電子ビーム１２３内のほとんどの電子の透過を妨げない程度に薄くすることができる。
サンプル１２４は、サンプルホルダ１２６によって保持されることができる。サンプル１２４を通過する電子１２８は、プロジェクタ１３０に入ることができる。一実施形態では、プロジェクタ１３０は、集束カラム１１４とは別個の部品であってもよい。他の実施形態では、プロジェクタ１３０は、集束カラム１１４内のレンズからのレンズ視野の延長部であってもよい。プロジェクタ１３０は、直接電子１２８がサンプル１２４を通過し、第１の顕微鏡検出器システム１０２に衝突するように、コンピューティング装置１３２によって調整されることができる。第１の顕微鏡検出器システム１０２は、ＥＭおよび／または荷電粒子顕微鏡セットアップ１００についての一次顕微鏡検出器システムであり、サンプル１２４の非常に詳細なモノクロ画像を取得するように構成される。しかしながら、一次顕微鏡検出器は、組成情報などのサンプル１２４に関する追加情報を取得することはできない。したがって、一次顕微鏡検出器システムからラベル付き画像を取得するために、一次顕微鏡検出器を介して取得された画像が個別にセグメント化および／またはラベル付けされる必要がある。
図１では、第１の顕微鏡検出器システム１０２は、ディスク形状の明視野検出器１３４として示されている。いくつかの実施形態では、第１の顕微鏡検出器システム１０２は、例えば暗視野検出器などの１つ以上の他の検出器を含むことができる。そのような実施形態では、ＥＭおよび／または荷電粒子顕微鏡セットアップ１００は、明視野検出器１３４および暗視野検出器１３６のうちの１つ以上からの信号を同時に検出することができる。代替的にまたは追加的に、第１の顕微鏡検出器システム１０２は、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出器システム、集束イオンビーム二次電子検出器システム、および光学顕微鏡検出器システムを含むことができる。
図１は、第１の顕微鏡検出器システム１０２とは異なるモダリティの第２の顕微鏡検出器システム１０４を含むものとして例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００をさらに示している。例えば、図１は、分散Ｘ線検出器である第２の顕微鏡検出器システム１０４を示している。他の実施形態では、第２の顕微鏡検出器システム１０４は、高角度暗視野検出器システム、分散Ｘ線検出器システム、後方散乱検出器システム、電子エネルギ損失分光検出器システム、二次イオン検出器システム、および二次イオン質量分光検出器システムのうちの１つ以上に対応することができる。第１の顕微鏡検出器システム１０２および第２の顕微鏡検出器システム１０４の検出器からの信号は増幅されてコンピューティング装置１３２に送信されることができる。
図２は、異なるモダリティの第２の顕微鏡検出器システム１０４からの検出器データを活用することによって第１の顕微鏡検出器システム１０２からラベル付き画像を生成するエネルギ分散Ｘ線分光法（ＳＥＭ／ＥＤＸ）システム１５０を有する走査型電子顕微鏡である例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００を示している。
ＳＥＭ／ＥＤＸシステム１５０は、放射軸１５６に沿って粒子光学カラム１５８に向かって電子ビーム１５４を放射する電子源１５２を含む。いくつかの実施形態では、粒子光学カラム１５８は、複合レンズシステム１６０および走査コイル１６２のうちの１つ以上を含むことができる。複合レンズシステム１６０は、レンズ系１６６によってサンプル１６４上に集束されるように電子ビーム１５４を変更するように構成されることができる。電子ビーム１５４の入射部分は、走査コイル１６２を動作させることによってサンプル１６４上を走査することができる。サンプル１６４は、サンプルステージ１７０によって保持されることができる。
ＳＥＭ／ＥＤＸシステム１５０は、入射ビーム１６８の照射に応じてサンプル１６４からの様々な放射を検出する複数の検出器を含む。第１の顕微鏡検出器システム１０２は、サンプル１６４から放射される後方散乱および／または二次電子などの電子を検出することができる。一例では、第１の顕微鏡検出器システム１０２は、セグメント化された電子検出器とすることができる。第２の顕微鏡検出器システム１０４は、サンプル１６４から放射されたＸ線を検出することができる。例えば、第２の顕微鏡検出器システム１０４は、マルチチャネル光子計数ＥＤＸ検出器とすることができる。第１の顕微鏡検出器システム１０２および第２の顕微鏡検出器システム１０４の検出器からの信号は増幅されてコンピューティング装置１３２に送信されることができる。
さらに、図１および図２は、単一の顕微鏡／検出器システムのコンポーネントである第１の顕微鏡検出器システム１０２および第２の顕微鏡検出器システム１０４のそれぞれを示している。しかしながら、本開示によれば、第２の顕微鏡検出器システム１０４は、別個の顕微鏡／検出器システムの一部であってもよい。例えば、第１の顕微鏡検出器システム１０２は、ＳＥＭシステムの検出コンポーネントとすることができ、第２の顕微鏡検出器システム１０４は、蛍光Ｘ線（ＸＲＦ）分光計の検出コンポーネントとすることができる。そのような実施形態では、ユーザは、ＳＥＭシステムを使用してサンプルの第１の画像を取得した後、ＸＲＦ分光計を使用してサンプルの第２の画像を取得することができる。
図１および図２のそれぞれは、異なるモダリティの第２の顕微鏡検出器システム１０４からの検出器データを活用することによって第１の顕微鏡検出器システム１０２からラベル付き画像を生成するように実行可能なコンピューティング装置１３２を含むものとして例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００を示している。コンピューティング装置１３２は、例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００のコンポーネントとすることができ、ネットワーク通信インターフェース、またはその組み合わせを介して例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００と通信することができる。例えば、例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００は、例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００の動作を駆動するコントローラとして機能する例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００のコンポーネント部分であるコンピューティング装置１３２を含むことができる（例えば、走査コイル１２０／１６２を動作させることによってサンプル１２４／１６４上の走査位置を調整する、１つ以上の開口および／またはレンズを調整することによって入射ビーム１２３／１６８のプロファイルを調整する、サンプルホルダ１２６／１７０を調整することによって入射ビーム１２３／１６８に対するサンプルの向きを調整するなど）。
コンピューティング装置１３２は、第１の顕微鏡検出器システム１０２から受信した検出器データに基づいてサンプル１２４／１６４の第１の画像を自動的に生成するように実行可能である。例えば、図１のシステムでは、コンピューティング装置１３２は、明視野検出器１３４によって生成された検出器データを受信し、明視野検出器１３４からの検出器データに基づいてサンプル１２４の画像を生成するように構成される。そのような実施形態では、明視野検出器１３４は、サンプル１２４の一部を透過した電子１２８を検出し、コンピューティング装置１３２は、得られた検出器データに関連付けられた色／勾配値を選択した後、サンプル１２４の一部に関連付けられた第１の画像の１つ以上のピクセルに色／勾配値を有させる。
本開示によれば、コンピューティング装置１３２は、第２の顕微鏡検出器システム１０４から受信した検出器データに基づいてサンプル１２４／１６４の第２のラベル付き画像を自動的に生成するようにさらに実行可能である。第２のラベル付き画像は、画像に描かれたサンプルの一部の組成情報を含むサンプル１２４／１６４の画像である。例えば、図１のシステムでは、コンピューティング装置１３２は、分散Ｘ線検出器によって生成された検出器データを受信し、分散Ｘ線検出器からの検出器データに基づいてサンプル１２４の画像を生成するように構成される。これは、サンプル１２４の一部から放射されるＸ線を検出し、サンプル１２４の一部に関連付けられた検出器データに関連付けられた色／勾配値を選択した後、サンプル１２４の一部に関連付けられた第２の画像の１つ以上のピクセルに色／勾配値を有させる第２の顕微鏡検出器システム１０４を含むことができる。コンピューティング装置１３２はまた、第２の顕微鏡検出器システム１０４から受信した検出器データに基づいて第２の画像をラベル付けするように構成される。例えば、図１のシステムでは、第２の顕微鏡検出器システム１０４がサンプル１２４の一部から放射されるＸ線を検出すると、コンピューティング装置１３２は、得られた検出器データに対してＸ線分光分析を行い、サンプル１２４の一部の組成情報（例えば、原子組成）を判定する。このようにして、電子ビーム１１０が平行移動されてサンプル１２４の個々の部分を照射すると、コンピューティング装置１３２は、サンプル１２４の各部分の色／勾配値および組成情報の双方を判定する。そして、この判定された情報は、蓄積されて第２のラベル付き画像を形成することができる。
コンピューティング装置１３２は、第２のラベル付き画像に基づいて第１の画像を自動的にラベル付けするようにさらに実行可能である。例えば、サンプル１２４／１６４の一部を描写する第２の画像の領域について、コンピューティング装置１３２は、サンプル１２４／１６４の同じ部分を描写する第１の画像の領域を特定した後、第２のラベル付き画像からの組成情報によって第１の画像のその領域をラベル付けすることができる。例えば、コンピューティング装置１３２は、第２の画像の１つ以上のピクセルに対応する第１の画像の１つ以上のピクセルを特定した後、第２の画像の１つ以上のピクセルに関連付けられたラベルで示される情報によって第１の画像の１つ以上のピクセルをラベル付けすることができる。コンピューティング装置１３２は、このプロセスを繰り返して、追加の領域および／または第１の画像全体をラベル付けすることができる。
図３は、異なるモダリティの第２の顕微鏡検出器システム１０４からの検出器データを活用することによって第１の顕微鏡検出器システム１０２からラベル付き画像を自動的に生成するように実行可能な例示的なコンピューティング装置１３２のコンピューティングアーキテクチャ３００を示す概略図を示している。例えば、図３は、本開示で説明される技術を実装するために使用されることができるハードウェアおよびソフトウェアコンポーネントの追加の詳細を示している。例示的なコンピューティングアーキテクチャ３００では、コンピューティング装置１３２は、１つ以上のプロセッサ３０２と、１つ以上のプロセッサ３０２に通信可能に結合されたメモリ３０４とを含む。
例示的なコンピューティングアーキテクチャ３００は、制御モジュール３０６と、第１のモダリティ画像生成モジュール３０８と、第２のモダリティ画像生成モジュール３１０と、第２のモダリティ組成判定モジュール３１２と、メモリ３０４に記憶されたマッピングモジュール３１４とを含むことができる。本明細書で使用される場合、「モジュール」という用語は、説明の目的で実行可能な命令の例示的な区分を表すように意図されており、あらゆるタイプの要件または必要な方法、方式または編成を表すようには意図されていない。したがって、様々な「モジュール」が説明されているが、それらの機能および／または同様の機能は、異なって配置されることができる（例えば、より少数のモジュールに結合、より多数のモジュールに分割など）。さらに、特定の機能およびモジュールは、本明細書ではプロセッサ上で実行可能なソフトウェアおよび／またはファームウェアによって実装されるものとして説明されているが、他の例では、任意または全てのモジュールは、説明された機能を実行するようにハードウェア（例えば、特殊な処理ユニットなど）によって全体または部分的に実装されることができる。様々な実装では、例示的なコンピューティングアーキテクチャ３００に関連して本明細書で説明されるモジュールは、複数の装置にわたって実行されることができる。
制御モジュール３０６は、例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００の動作を駆動するコントローラとして機能するように、プロセッサ３０２によって実行可能とすることができる。例えば、制御モジュール３０６は、サンプル１２４／１６４上の走査位置を調整するように走査コイル１２０／１６２を動作させ、入射ビーム１２３／１６８のプロファイルを調整するために１つ以上の開口および／またはレンズを調整し、および／または、サンプルホルダ１２６／１７０を調整して、調整によって入射ビーム１２３／１６８に対するサンプルの向きを調整することができる。
第１のモダリティ画像生成モジュール３０８は、第１の顕微鏡検出器システム１０２から受信した検出器データに基づいてサンプル１２４／１６４の第１の画像を自動的に生成するようにプロセッサ３０２によって実行可能とすることができる。すなわち、第１のモダリティ画像生成モジュール３０８は、サンプルの一部の対応について、第１の顕微鏡検出器システム１０２から受信した検出器データに基づいて、サンプルの第１の画像の個々の部分（すなわち、ピクセル）の色／勾配値を選択するように構成される。
第２のモダリティ画像生成モジュール３１０は、第２の顕微鏡検出器システム１０４から受信した検出器データに基づいてサンプル１２４／１６４の第２の画像を自動的に生成するようにプロセッサ３０２によって実行可能とすることができる。すなわち、第２のモダリティ画像生成モジュール３１０は、サンプルの一部の対応について、第２の顕微鏡検出器システム１０４から受信した検出器データに基づいて、サンプルの第１の画像の個々の部分（すなわち、ピクセル）の色／勾配値を選択するように構成される。
第２のモダリティ組成判定モジュール３１２は、第２の顕微鏡検出器システム１０４から受信した検出器データに基づいてサンプルの１つ以上の部分に関する判定組成情報を生成するようにプロセッサ３０２によって実行可能とすることができる。例えば、第２の顕微鏡検出器システム１０４が分散Ｘ線検出器である場合、第２のモダリティ組成判定モジュール３１２は、得られた検出器データに対してＸ線分光分析を行い、サンプル１２４の一部の組成情報（例えば、原子組成）を判定することができる。いくつかの実施形態では、第２のモダリティ組成判定モジュール３１２は、さらに、組成情報によって第２の画像をラベル付けするように構成される。例えば、サンプルの一部に関連付けられた検出器データがシリコン分子から構成されていることを第２のモダリティ組成判定モジュール３１２が判定した場合、第２のモダリティ組成判定モジュール３１２は、シリコンから構成されているサンプルの一部を描写する第２の画像の一部をラベル付けすることができる。様々な実施形態では、第２の画像のラベル付けは、第１の画像の一部にタグ付けすること、画像の一部に関連付けられたメタデータに組成情報を追加すること、第１の画像についてのデータ構造（すなわち、テーブル、ファイルなど）に組成情報を追加すること、またはその組み合わせを含むことができる。
マッピングモジュール３１４は、プロセッサ３０２によって実行可能であり、第２のラベル付き画像に基づいて第１の画像を自動的にラベル付けすることができる。例えば、サンプル１２４／１６４の一部を描写する第２の画像の領域について、マッピングモジュール３１４は、サンプル１２４／１６４の同じ部分を描写する第１の画像の領域を特定した後、第２のラベル付き画像からの組成情報によって第１の画像の領域をラベル付けすることができる。例えば、マッピングモジュール３１４は、第１の画像の１つ以上のピクセルが第２の画像の１つ以上のピクセルに対応することを特定した後、第２の画像の１つ以上のピクセルに関連してラベル付けされた組成情報によって第１の画像の１つ以上のピクセルをラベル付けすることができる。マッピングモジュール３１４は、このプロセスを繰り返して、追加の領域および／または第１の画像全体をラベル付けすることができる。
いくつかの実施形態では、マッピングモジュール３１４は、ピクセルマッピングに基づいて、第２の画像の１つ以上のピクセル／領域に対応する第１の画像の１つ以上のピクセル／領域を特定することができる。例えば、メモリ３０４は、第１の顕微鏡検出器システム１０２から生成された画像のピクセル／領域と第２の顕微鏡検出器システム１０４から生成された画像との間の関係を記述するピクセルマッピングを記憶することができる。ピクセルマッピングは、事前の画像比較に基づいてマッピングモジュール３１４によって判定されることができる。例えば、ピクセルマッピングは、第１の顕微鏡検出器システム１０２および第２の顕微鏡検出器システム１０４によって生成される画像のトレーニングセットを使用してトレーニングされる機械学習アルゴリズムを使用して、マッピングモジュール３１４によって生成されることができる。第１の顕微鏡検出器システム１０２を使用して生成されるトレーニングセット内の各画像について、トレーニングセットはまた、第２の顕微鏡検出器システム１０４を使用して生成される同じサンプルの対応する画像を含む。
あるいは、マッピングモジュール３１４は、画像の特性に基づいて、第２の画像の１つ以上のピクセル／領域に対応する第１の画像の１つ以上のピクセル／領域を特定してもよい。例えば、マッピングモジュール３１４は、第１の画像の領域の特性（すなわち、エッジ、ライン、形状、コントラスト変化、エッジに対する近接性、ラインに対する近接性、形状に対する近接性、およびコントラスト変化に対する近接性など）を特定した後、類似の特性を有する第２の画像の領域を特定するように実行可能であってもよい。いくつかの実施形態では、第２の画像の１つ以上のピクセル／領域に対応する第１の画像の１つ以上のピクセル／領域を特定するとき、マッピングモジュール３１４は、第１の顕微鏡検出器システムおよび第２の顕微鏡検出器システム１０４の１つ以上の歪みを考慮することができる。
当業者は、コンピューティングアーキテクチャ３００が単なる例示であり、本開示の範囲を限定することを意図していないことを理解するであろう。特に、コンピューティングシステムおよび装置は、コンピュータ、ネットワーク装置、インターネット機器、ＰＤＡ、無線電話、コントローラ、オシロスコープ、増幅器などを含む、示された機能を実行することができるハードウェアまたはソフトウェアの任意の組み合わせを含むことができる。コンピューティングアーキテクチャ３００はまた、図示されていない他の装置に接続されることができるか、代わりにスタンドアロンシステムとして動作することができる。さらに、示されたコンポーネントによって提供される機能は、いくつかの実装では、より少ないコンポーネントに結合されるかまたは追加のコンポーネントに分散されてもよい。同様に、いくつかの実装では、示されたコンポーネントの一部の機能が提供されなくてもよく、および／または他の追加機能が利用可能であってもよい。
１つ以上のプロセッサ３０２は、メモリ３０４に記憶された命令、アプリケーション、またはプログラムを実行するように構成されることができる。いくつかの例では、１つ以上のプロセッサ３０２は、これらに限定されるものではないが、ハードウェア中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などを含むハードウェアプロセッサを含むことができる。多くの場合、本技術は、１つ以上のプロセッサ３０２によって実行されるものとして本明細書では説明されているが、場合によっては、本技術は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブル論理装置（ＣＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、またはそれらの組み合わせなどの１つ以上のハードウェア論理コンポーネントによって実装されてもよい。
メモリ３０４は、コンピュータ可読媒体の例である。コンピュータ可読媒体は、２種類のコンピュータ可読媒体、すなわち、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実装される揮発性および不揮発性、取り外し可能、および取り外し不能媒体を含むことができる。コンピュータの記憶媒体は、これらに限定されるものではないが、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリもしくは他のメモリ技術、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、もしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または所望の情報を記憶するために使用されることができ且つコンピューティング装置によってアクセスされることができる任意の他の非伝送媒体を含む。一般に、コンピュータ記憶媒体は、１つ以上の処理ユニットによって実行されると、本明細書で説明される様々な機能および／または動作を実行させるコンピュータ実行可能命令を含むことができる。対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくは搬送波などの変調データ信号における他のデータ、または他の送信メカニズムを具体化する。本明細書で定義されるように、コンピュータ記憶媒体は、通信媒体を含まない。
当業者はまた、様々なアイテムが使用中にメモリまたは記憶装置に記憶されるように示されているが、これらのアイテムまたはそれらの一部は、メモリ管理およびデータ整合性の目的でメモリと他の記憶装置との間で転送されることができることも理解するであろう。あるいは、他の実装では、ソフトウェアコンポーネントの一部または全ては、他の装置のメモリで実行され、示されたコンピューティングアーキテクチャ３００と通信してもよい。システムコンポーネントまたはデータ構造の一部または全てはまた、非一時的コンピュータアクセス可能媒体または適切なドライブによって読み取られるポータブル物品に記憶されることができ（例えば、命令または構造化データとして）、その様々な例は上述されている。いくつかの実装では、コンピューティングアーキテクチャ３００とは別個のコンピュータアクセス可能媒体に記憶された命令は、伝送媒体、または無線リンクなどの通信媒体を介して伝達される電気、電磁気、もしくはデジタル信号などの信号を介して、コンピューティングアーキテクチャ３００に送信されることができる。様々な実装は、さらに、コンピュータアクセス可能媒体に対して前述の説明にしたがって実装された命令および／またはデータを受信、送信または記憶することを含むことができる。
本明細書で説明されるアーキテクチャ、システム、および個々の要素は、他の多くの論理的、プログラム的、および物理的コンポーネントを含むことができ、添付の図に示されるものは、本明細書の説明に関連する単なる例である。
図４は、ラベル付き顕微鏡画像を自動的に生成するサンプルプロセス４００を示す図である。図４は、半導体サンプル４０６のサンプル領域４０４を示す第１の顕微鏡画像４０２を示している。第１の顕微鏡画像４０２は、ＥＭおよび／または荷電粒子顕微鏡の一次顕微鏡検出器システムからの検出器データを使用して取得される。一般に、一次顕微鏡検出器システムは、サンプルの非常に詳細なモノクロ画像を取得するように構成される。しかしながら、そのような一次顕微鏡検出器システムは、サンプルに関する組成情報を判定することができない。サンプル領域４０４は、それが組成情報を含むようにユーザがラベル付けおよび／またはセグメント化されることを望む第１の顕微鏡画像４０２の一部の領域である。
図４はまた、半導体サンプル４０６のサンプル領域４０４を描写する第２の顕微鏡画像４０８を示している。第２の顕微鏡画像４０８は、第１の顕微鏡検出器とは異なるモダリティの第２の顕微鏡検出器システムからの検出器データを使用して生成される。本開示によれば、二次顕微鏡検出器システムは、ＥＭおよび／または荷電粒子顕微鏡のコンポーネント要素であってもよく、または別個の検出および／またはイメージングシステムのコンポーネント要素であってもよい。
図４は、さらに、二次顕微鏡検出器システムからの検出器データを使用して判定されるサンプル領域４０４の組成情報を示すグラフ４１０を示している。具体的には、グラフ４１０は、顕微鏡分散Ｘ線検出器システムからの検出されたＸ線データに対するＸ線分散分析を使用して導出された組成情報を示している。グラフ４１０のピークを分析することにより、コンピューティングシステムは、サンプル領域４０４の組成的構成を判定することができる。さらに、図４は、第２の顕微鏡画像４０８および第２のラベル付き画像４１２を生成するために使用されるグラフ４１０を示している。すなわち、図４は、一次顕微鏡検出器とは異なるモダリティの二次顕微鏡検出器システムが使用されてラベル付き画像を生成することができる方法を示している。図４はまた、第１の顕微鏡画像４０２および第２のラベル付き画像４１４を生成するために使用される第２のラベル付き画像４１２を示している。換言すれば、図４は、二次顕微鏡検出器を介して取得されたラベル付き画像が使用されて一次顕微鏡検出器を介して取得されたモノクロ画像を自動的にラベル付けすることができる方法を示している。
図５および図６は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装可能な一連の動作を表す論理フローグラフのブロックの集合として示される例示的なプロセスのフロー図である。ソフトウェアの文脈では、ブロックは、１つ以上のプロセッサによって実行されたときに、記載された動作を実行する１つ以上のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令には、特定の機能を実行したりまたは特定の抽象データ型を実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されるようには意図されておらず、任意数の説明されたブロックは、プロセスを実装するために、任意の順序および／または並列で組み合わせられることができる。
図５は、異なるモダリティの二次顕微鏡検出器システムからの検出器データを活用することによって一次顕微鏡検出器システムからラベル付き画像を生成する例示的なプロセス５００のフロー図である。プロセス５００は、例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００において、および上述したコンピューティングアーキテクチャ３００によって、または他の環境およびアーキテクチャにおいて実装されることができる。
５０２では、集束荷電ビームがサンプルに印加される。具体的には、電子および／またはイオンの集束荷電ビームがサンプルの一部に導かれる。例えば、ＥＭ顕微鏡セットアップは、電子ビームを生成して放射軸に沿ってサンプルに向かって導く電子源を含むことができる。代替的にまたは追加的に、荷電粒子顕微鏡セットアップは、イオンビームを生成して放射軸に沿ってサンプルに向かって導くイオン源を含むことができる。
５０４では、第１のモダリティの第１の検出器データが生成される。具体的には、第１のモダリティの一次顕微鏡検出器システムは、サンプルに入射する集束荷電ビームの結果としてサンプルを通って放射、反射、および／または透過される電子、イオン、光子、Ｘ線などを検出するように配置される。様々な実施形態では、一次検出器システムは、走査型電子顕微鏡検出器システム、暗視野検出器、明視野検出器、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出器システム、集束イオンビーム二次電子検出器システム、および光学顕微鏡検出器システムを含むことができる。
５０６では、第１の検出器データから第１の画像が生成される。例えば、コンピューティング装置は、サンプルの一部に対応するために一次顕微鏡検出器システムから受信した検出器データに基づいて、第１の画像の個々の部分（すなわち、ピクセル）の色／勾配値を選択するように構成されることができる。
５０８では、第１のモダリティとは異なる第２のモダリティの第２の検出器データが生成される。具体的には、第２のモダリティの二次顕微鏡検出器システムは、サンプルに入射する集束荷電ビームの結果としてサンプルを通って放射、反射、および／または透過される電子、イオン、光子、Ｘ線などを検出するように配置される。あるいは、二次顕微鏡検出器システムは、サンプルに入射する異なる集束荷電ビームの結果としてサンプルを通って放射、反射、および／または透過される電子、イオン、光子、Ｘ線などを検出するように配置されてもよい。第２の検出器データは、第１の検出器データが生成されるのと同時に生成されてもよく、または異なる期間にわたって生成されてもよい。例えば、第１の検出器データが生成される第１の期間にわたって集束荷電ビームがサンプルに印加されることができ、第２の検出器データが生成される第２の期間中に電子ビームがサンプルに印加される。様々な実施形態では、二次顕微鏡検出器システムは、高角度暗視野検出器システム、分散Ｘ線検出器システム、後方散乱検出器システム、電子エネルギ損失分光検出器システム、二次イオン検出器システム、および二次イオン質量分光検出器システムのうちの１つ以上に対応することができる。
５１０では、第２のラベル付き画像が自動的に生成される。第２のラベル付き画像は、第２のモダリティの第２の検出器データに基づいて生成され、第２の画像に描写されているものの組成に関する情報を含むサンプルまたはその一部の画像である。第２のラベル付き画像を自動的に生成することは、必要に応じて、５１２においてサンプルの第２の画像の生成を含んでもよい。例えば、コンピューティング装置は、二次顕微鏡検出器システムから受信した第２のモダリティの第２の検出器データに基づいて、サンプルの第２の画像を自動的に生成してもよい。コンピューティング装置は、サンプルの対応する部分の二次顕微鏡検出器システムから受信した第２のモダリティの検出器データに基づいて、サンプルの第２の画像の個々の部分（すなわち、ピクセル）の色／勾配値を選択するように構成されることができる。
いくつかの実施形態では、第２のラベル付き画像を自動的に生成することは、必要に応じて、５１０においてサンプルの一部に関する組成情報を判定することをさらに含んでもよい。例えば、コンピューティング装置は、集束荷電ビームが入射するサンプルの１つ以上の部分に関する組成情報を生成してもよい。組成情報は、二次顕微鏡検出器システムから受信した第２のモダリティの第２の検出器データに基づいて判定されることができる。例えば、二次顕微鏡検出器システムが分散Ｘ線検出器である場合、コンピューティング装置は、第２の検出器データに対してＸ線分光分析を行うことにより、サンプルの一部の組成情報を判定することができる。
さらに、第２のラベル付き画像を自動的に生成することは、必要に応じて、５１２において組成情報によってサンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることをさらに含んでもよい。様々な実施形態では、第２の画像をラベル付けすることは、第２の画像の一部にタグ付けすること、第２の画像の一部に関連付けられたメタデータに組成情報を追加すること、第２の画像についてのデータ構造（すなわち、テーブル、ファイルなど）に組成情報を追加すること、またはその組み合わせを含むことができる。
５１８では、第１の画像は、第２のラベル付き画像を使用して自動的にラベル付けされる。例えば、サンプルの特定の部分を描写する第１の画像の領域について、コンピューティング装置は、サンプルの同じ部分を描写する第２のラベル付き画像の領域を特定した後、第２のラベル付き画像のその部分からの組成情報によって第１の画像のその領域をラベル付けすることができる。コンピューティング装置は、このプロセスを繰り返して、追加の領域および／または第１の画像全体をラベル付けすることができる。コンピューティング装置は、ピクセルマッピング、一次顕微鏡検出器システムおよび二次顕微鏡検出器システムによって生成された画像のトレーニングセットを使用してトレーニングされる機械学習アルゴリズム、画像の特性などに基づいて、第１の画像の部分に対応する第２の画像の部分を判定することができる。
図６は、異なるモダリティの二次顕微鏡検出器システムからの検出器データを活用することによって一次顕微鏡検出器システムからラベル付き画像を生成する拡張された例示的プロセス６００のフロー図である。プロセス６００は、例示的なＥＭおよび／または荷電粒子顕微鏡セットアップ１００において、および上述したコンピューティングアーキテクチャ３００によって、または他の環境およびアーキテクチャにおいて実装されることができる。
６０２では、集束荷電ビームがサンプルに印加される。具体的には、電子および／またはイオンの集束荷電ビームがサンプルの一部に導かれる。例えば、ＥＭ顕微鏡セットアップは、電子ビームを生成して放射軸に沿ってサンプルに向かって導く電子源を含むことができる。代替的にまたは追加的に、荷電粒子顕微鏡セットアップは、イオンビームを生成して放射軸に沿ってサンプルに向かって導くイオン源を含むことができる。
６０４では、サンプルの第１の画像が生成される。具体的には、コンピューティング装置は、一次顕微鏡検出器システムによって生成された第１の検出器データに基づいて第１の画像を生成することができる。例えば、コンピューティング装置は、サンプルの一部に対応するために一次顕微鏡検出器システムから受信した検出器データに基づいて、第１の画像の個々の部分（すなわち、ピクセル）の色／勾配値を選択するように構成されることができる。様々な実施形態では、一次検出器システムは、走査型電子顕微鏡検出器システム、暗視野検出器、明視野検出器、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出器システム、集束イオンビーム二次電子検出器システム、および光学顕微鏡検出器システムを含むことができる。
６０６および６０８では、第１の画像を手動でラベル付けするのに必要な第１の期間が必要に応じて推定され、第２のラベル付き画像を生成して第１の画像を自動的にラベル付けするのに必要な第２の期間が必要に応じて推定される。６１０では、第２の画像を取得するための１つ以上のモダリティが必要に応じて選択される。例えば、コンピューティング装置は、最短時間で、最大精度で、またはそれらの組み合わせで、第２のラベル付き画像を生成することができる検出器モダリティを使用して第２の画像を取得するように判定することができる。検出器モダリティは、一次顕微鏡検出器システムと同じＥＭ／荷電粒子顕微鏡システムの二次検出器システム、および／または別個のイメージング／検出システムの検出器システムに対応することができる。
６１２では、第１の画像を自動的にラベル付けするかどうかが判定される。いくつかの実施形態では、画像に手動でタグ付けするよりも効率的であるかどうかに基づいて、第１の画像を自動的にラベル付けするかどうかが判定される。６１２における回答が否定である場合、プロセスは、ステップ６１４に続き、第１の画像は、人間のオペレータによって手動でラベル付けされる。６１６では、第２のラベル付き画像は、必要に応じて機械学習プログラムをトレーニングするために使用される。例えば、電子顕微鏡（ＥＭ）によって取得された画像の異常を自動的に分析、ラベル付け、および／または修正するための深層学習アルゴリズムをトレーニングするために使用されるＥＭ画像のトレーニングセットに第２のラベル付き画像が追加されることができる。
６１２における回答が肯定である場合、プロセスは、ステップ６１８に続き、必要に応じて集束荷電ビームがサンプルに印加される。具体的には、電子および／またはイオンの他の集束荷電ビームがサンプルの一部に導かれる。集束荷電ビームは、異なるタイプ（例えば、電子ビーム対イオンビーム）のものとすることができるか、異なるソースによって生成されることができるか、またはそれらの組み合わせとすることができる。さらに、集束荷電ビームはまた、ステップ６０２における集束荷電ビームの印加の前、後、またはそれと同時にサンプルに印加されることもできる。
６２０では、異なるモダリティの検出器データが生成される。具体的には、一次顕微鏡システムとは異なるモダリティの二次顕微鏡検出器システムが配置され、ステップ６０２または６１８においてサンプルに入射する集束荷電ビームの結果としてサンプルによって放射、反射、および／またはそれを通って透過される電子、イオン、光子、Ｘ線などを検出する。様々な実施形態では、二次顕微鏡検出器システムは、高角度暗視野検出器システム、分散Ｘ線検出器システム、後方散乱検出器システム、電子エネルギ損失分光検出器システム、二次イオン検出器システム、および二次イオン質量分光検出器システムのうちの１つ以上に対応することができる。
６２２では、二次顕微鏡検出器システムからの検出器データを使用して第２のラベル付き画像が生成される。第２のラベル付き画像は、第２の画像に描写されているものの組成に関する情報を含むサンプルまたはその一部の画像である。いくつかの実施形態では、複数のラベル付き画像が６２２において生成された後、第２の画像のラベルの組成情報の精度を確認および／または検証するために使用されることができる。例えば、コンピューティング装置は、二次イオン検出器システムから受信した検出器データに基づいてラベル付き画像を生成し、高角度暗視野検出器から受信した検出器データに基づいて他のラベル付き画像を生成し、その後、２つのラベル付き画像に描写されているサンプルの各部分についての関連する組成情報を比較および／または確認することができる。このようにして、コンピューティング装置は、第２のラベル付き画像の精度を検証することができる。組成情報が検証されることができない場合、画像の領域は、手動タグ付けのためにフラグ付けされることができる。
第２のラベル付き画像を生成することは、必要に応じて、６２４においてサンプルの第２の画像を生成することを含んでもよい。例えば、コンピューティング装置は、二次顕微鏡検出器システムから受信した検出器データに基づいてサンプルの第２の画像を自動的に生成してもよい。そのようなコンピューティング装置は、サンプルの対応する部分について二次顕微鏡検出器システムから受信した検出器データに基づいて、サンプルの第２の画像の個々の部分（すなわち、ピクセル）の色／勾配値を選択するように構成されることができる。
いくつかの実施形態では、第２のラベル付き画像を自動的に生成することは、必要に応じて、６２６においてサンプルの一部に関する組成情報を判定することをさらに含んでもよい。例えば、コンピューティング装置は、集束荷電ビームが入射するサンプルの１つ以上の部分に関する組成情報を生成してもよい。組成情報は、二次顕微鏡検出器システムから受信した検出器データに基づいて判定されることができる。例えば、二次顕微鏡検出器システムが分散Ｘ線検出器である場合、コンピューティング装置は、検出器データに対してＸ線分光分析を行うことにより、サンプルの一部の組成情報を判定することができる。閾値信頼レベル内の画像の領域について組成情報が判定されることができない場合、画像の領域は、手動タグ付けのためにフラグ付けされることができる。
さらに、第２のラベル付き画像を自動的に生成することは、必要に応じて、６２８において組成情報によってサンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることをさらに含む。様々な実施形態では、第２の画像をラベル付けすることは、第２の画像の一部にタグ付けすること、画像の一部に関連付けられたメタデータに組成情報を追加すること、第２の画像についてのデータ構造（すなわち、テーブル、ファイルなど）に組成情報を追加すること、またはその組み合わせを含むことができる。
６３０では、第２のラベル付き画像を使用して、第１のラベル付き画像が自動的に生成される。例えば、サンプルの特定の部分を描写する第２の画像の領域について、コンピューティング装置は、サンプルの同じ部分を描写する第１のラベル付き画像の領域を特定した後、第２のラベル付き画像のその部分からの組成情報によって第１の画像のその領域をラベル付けすることができる。第１のラベル付き画像を生成することは、必要に応じて、６３２において第２の画像の領域に対応する第１の画像の領域を判定することを含む。いくつかの実施形態では、コンピューティング装置は、第２のラベル付き画像を使用してラベル付けおよび／またはセグメント化される第１の画像の領域のユーザ選択を受信することができる。ユーザ選択は、キーボード、マウス、タッチパッド、タッチスクリーンなどを介して入力されることができる。例えば、コンピューティング装置は、第１の画像を表示し、自動的にラベル付けされる第１の画像の領域を特定する機能を提供することができる。コンピューティング装置は、ピクセルマッピング、一次顕微鏡検出器システムおよび二次顕微鏡検出器システムによって生成された画像のトレーニングセットを使用してトレーニングされる機械学習アルゴリズム、画像の特性などに基づいて、第１の画像の部分に対応する第２の画像の部分を判定することができる。
いくつかの実施形態では、第１のラベル付き画像を生成することは、必要に応じて、６３４において組成情報によってサンプルの部分に関連付けられた第１の画像の領域を自動的にラベル付けすることをさらに含む。コンピューティング装置は、ステップ６３２および６３４のプロセスを繰り返して、追加の領域および／または第１の画像全体をラベル付けすることができる。そして、プロセスは、ステップ６１６に移動し、この場合、第１のラベル付き画像は、必要に応じて、機械学習プログラムをトレーニングするために使用される。
本開示にかかる発明の主題の例は、以下の列挙された段落に記載されている。
Ａ１．異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって第１のモダリティの顕微鏡検出器からラベル付き画像を生成する方法において、集束荷電ビームをサンプルに印加することと、Ｘ線検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射に基づいて、Ｘ線検出器データを生成することと、コンピューティング装置の１つ以上のプロセッサにより、Ｘ線検出器データに基づいて、第１のラベル付き画像を自動的に生成することであって、第１のラベル付き画像を自動的に生成することが、１つ以上のプロセッサにより、Ｘ線検出器データに基づいて、サンプルの第１の画像を生成することと、１つ以上のプロセッサにより、Ｘ線検出器データに基づいて、エネルギ分散型Ｘ線分光法を使用して、サンプルの一部に関する組成情報を判定することとを備えることと、１つ以上のプロセッサにより、組成情報によってサンプルの一部に関連付けられた第１の画像の領域を自動的にラベル付けすることと、サンプルに入射する集束荷電ビームから生じる放射に基づいて、Ｘ線検出器システムとは異なるモダリティの顕微鏡検出器システムを使用して第２の画像を生成することと、１つ以上のプロセッサにより、第２の画像および第１の画像に基づいて、組成情報によってサンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることとを備える、方法。
Ａ２．顕微鏡検出器システムが、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出システム、集束イオンビーム二次電子検出器システム、走査型透過電子顕微鏡明視野検出システム、および光学顕微鏡検出器システムのうちのいずれかである、段落Ａ１の方法。
Ａ３．組成情報によってサンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることが、第１の画像の領域の第１のピクセル位置を判定することと、第１のピクセル位置に対応する第２の画像の第２のピクセル位置を判定することと、組成情報によって第２の画像の第２のピクセル位置をラベル付けすることとを備える、段落Ａ１−Ａ２のいずれかの方法。
Ａ３．１．第２の画像の第２のピクセル位置が第１のピクセル位置に対応することを判定することが、Ｘ線検出器システムから生成された画像と顕微鏡検出器システムから生成された画像との間のピクセルマッピングに基づいている、段落Ａ３の方法。
Ａ３．１．１．マッピングがラベル付き画像のトレーニングセットを使用してトレーニングされた機械学習プログラムによって生成され、ラベル付き画像のトレーニングセットが、Ｘ線検出器システムを使用して生成された複数の画像を含み、Ｘ線検出器システムを使用して生成された各画像について、ラベル付き画像のトレーニングセットが、顕微鏡検出器システムを使用して生成された同じサンプルの対応する画像を含む、段落Ａ３．１の方法。
Ａ３．２．第１のピクセル位置に対応する第２の画像の第２のピクセル位置を判定することが、第１のピクセル位置の１つ以上の画像特性を特定することと、１つ以上の画像特性に類似する少なくとも１つの画像特性を有する第２の画像内の１つ以上の位置を特定することとを備える、段落Ａ３の方法。
Ａ３．２．１．１つ以上の画像特性および／または少なくとも１つの画像特性が、エッジと、ラインと、形状と、コントラスト変化と、エッジに対する近接性と、ラインに対する近接性と、形状に対する近接性と、コントラスト変化に対する近接性とを含む、段落Ａ３．２の方法。
Ａ３．３．組成情報によってサンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることが、Ｘ線検出器システムおよび顕微鏡検出器システムのうちの１つにおける歪みを考慮するアルゴリズムを適用することをさらに含む、段落Ａ３−Ａ３．２．１のいずれかの方法。
Ｂ１．異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって顕微鏡検出器からラベル付き画像を生成する方法において、
集束荷電ビームをサンプルに印加することと、
第１のモダリティの第１の顕微鏡検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射に基づいて、第１のモダリティの第１の検出器データを生成することと、
コンピューティング装置の１つ以上のプロセッサにより、第１のモダリティの第１の検出器データに基づいて、第１のラベル付き画像を自動的に生成することであって、第１のラベル付き画像を自動的に生成することが、
１つ以上のプロセッサにより、第１の検出器データに基づいて、サンプルの第１の画像を生成することと、
１つ以上のプロセッサにより、第１の検出器データに基づいて、サンプルの一部に関する組成情報を判定することと、を備えることと、
１つ以上のプロセッサにより、組成情報によってサンプルの一部に関連付けられた第１の画像の領域を自動的にラベル付けすることと、
サンプルに入射する集束荷電ビームから生じる放射に基づいて、第１のモダリティとは異なる第２のモダリティの第２の顕微鏡検出器システムを使用して第２の画像を生成することと、
１つ以上のプロセッサにより、第２の検出器データおよび第１のラベル付き画像に基づいて、組成情報によってサンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることと、を備える、方法。
Ｂ２．第１のモダリティの第１の顕微鏡検出器システムが、走査型電子顕微鏡高角暗視野検出器システム、走査型透過電子顕微鏡エネルギ分散Ｘ線検出器システム、走査型電子顕微鏡後方散乱検出器システム、走査型電子顕微鏡エネルギ分散Ｘ線検出器システム、走査型透過電子顕微鏡電子エネルギ損失分光検出器システム、集束イオンビーム二次イオン検出器システム、および集束イオンビーム二次イオン質量分光検出器システムのうちのいずれかである、段落Ｂ１の方法。
Ｂ３．第２のモダリティの第２の顕微鏡検出器システムが、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出システム、集束イオンビーム二次電子検出器システム、走査型透過電子顕微鏡明視野検出システム、および光学顕微鏡検出器システムのうちのいずれかである、段落Ｂ１−Ｂ２のいずれかの方法。
Ｂ４．組成情報によってサンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることが、第１の画像の領域の第１のピクセル位置を判定することと、第１のピクセル位置に対応する第２の画像の第２のピクセル位置を判定することと、組成情報によって第２の画像の第２のピクセル位置をラベル付けすることとを備える、段落Ｂ１−Ｂ３のいずれかの方法。
Ｂ４．１．第２の画像の前記第２のピクセル位置が第１のピクセル位置に対応することを判定することが、第１の顕微鏡検出器システムから生成された画像と第２の顕微鏡検出器システムから生成された画像との間のピクセルマッピングに基づいている、段落Ｂ４の方法。
Ｂ４．１．１．マッピングがラベル付き画像のトレーニングセットを使用してトレーニングされた機械学習プログラムによって生成され、ラベル付き画像のトレーニングセットが、第１の顕微鏡検出器システムを使用して生成された複数の画像を含み、第１の顕微鏡検出器システムを使用して生成された各画像について、ラベル付き画像のトレーニングセットが、第２の顕微鏡検出器システムを使用して生成された同じサンプルの対応する画像を含む、段落Ｂ４．１の方法。
Ｂ４．２．第１のピクセル位置に対応する第２の画像の第２のピクセル位置を判定することが、第１のピクセル位置の１つ以上の画像特性を特定することと、１つ以上の画像特性に類似する少なくとも１つの画像特性を有する第２の画像内の１つ以上の位置を特定することとを備える、段落Ｂ４の方法。
Ｂ４．２．１．１つ以上の画像特性および／または少なくとも１つの画像特性が、エッジと、ラインと、形状と、コントラスト変化と、エッジに対する近接性と、ラインに対する近接性と、形状に対する近接性と、コントラスト変化に対する近接性とを含む、段落Ｂ４．２の方法。
Ｂ４．３．組成情報によってサンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることが、第１の顕微鏡検出器システムおよび第２の顕微鏡検出器システムのうちの１つにおける歪みを考慮するアルゴリズムを適用することをさらに備える、段落Ｂ４−Ｂ４．２．１のいずれかの方法。
Ｂ４．４．第１の画像の領域の第１のピクセル位置および／または第２の画像の第２のピクセル位置が個々のピクセルである、段落Ｂ４−Ｂ４．３のいずれかの方法。
Ｂ４．５．第１の画像の領域の第１のピクセル位置および／または第２の画像の第２のピクセル位置が複数のピクセルである、段落Ｂ４−Ｂ４．３のいずれかの方法。
Ｂ５．集束荷電ビームをサンプルに印加することが、第１の期間にわたって集束荷電ビームをサンプルに印加することであって、第１のモダリティの第１の検出器データが、第１の期間中にサンプルに入射する集束荷電ビームから生じる放射に基づいて生成されることと、第１の期間とは異なる第２の期間にわたって集束荷電ビームをサンプルに印加することであって、第２のモダリティの第２の検出器データが、第２の期間中にサンプルに入射する集束荷電ビームから生じる追加の放射に基づいて生成されることとを備える、段落Ｂ１−Ｂ４．３のいずれかの方法。
Ｂ５．１．第１の期間が第２の期間の前である、段落Ｂ５の方法。
Ｂ５．２．第２の期間が第１の期間の前である、段落Ｂ５の方法。
Ｂ６．集束荷電ビームをサンプルに印加することが、第１の期間にわたって集束荷電ビームをサンプルの一部に印加することと、第１の期間とは異なる第２の期間にわたって集束荷電ビームをサンプルの追加部分に印加することとを備える、段落Ｂ１−Ｂ４．３のいずれかの方法。
Ｂ６．１．第１のモダリティの第１の検出器データおよび第２のモダリティの第２の検出器データが、第１の期間中にサンプルの一部に入射する集束荷電ビームから生じる放射に基づいて生成される、段落Ｂ６の方法。
Ｂ６．２．第１のモダリティの第１の顕微鏡検出器システムを使用して、第２の期間にわたってサンプルの追加部分に入射する集束荷電ビームから生じる追加の放射に基づいて、第１のモダリティの第３の検出器データを生成することと、１つ以上のプロセッサにより、第３の検出器データに基づいて、サンプルの追加部分に関する追加組成情報を判定することと、１つ以上のプロセッサにより、追加組成情報によってサンプルの追加部分に関連付けられた第２の画像の追加領域を自動的にラベル付けすることとをさらに備える、段落Ｂ６−Ｂ６．１のいずれかの方法。
Ｂ７．集束荷電ビームをサンプルに印加することが、集束荷電ビームをサンプルの一部に印加することを備える、段落Ｂ１−Ｂ７．２のいずれかの方法。
Ｂ８．サンプルの第１の画像を判定することが、第１の検出器データに基づいて、サンプルの一部に関連付けられた色値を判定することと、第１の画像を生成することとを備え、サンプルの一部に関連付けられた第１の画像の領域が色値を有する、段落Ｂ１−Ｂ７のいずれかの方法。
Ｂ９．さらに、第３のモダリティの第３顕微鏡検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射に基づいて、第３のモダリティの第３の検出器データを生成することと、１つ以上のプロセッサにより、第３のモダリティの第３の検出器データに基づいて、第３のラベル付き画像を自動的に生成することとを備え、第３のラベル付き画像を生成することが、１つ以上のプロセッサにより、第３の検出器データに基づいて、サンプルの第３の画像を生成することと、１つ以上のプロセッサにより、第３の検出器データに基づいて、サンプルの一部に関する追加の組成情報を判定することと、を備える、段落Ｂ１−Ｂ８の方法。
Ｂ９．１．サンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることが、組成情報が追加の組成情報と一致することを判定することと、追加の組成情報と一致する組成情報に基づいて、組成情報によってサンプルの一部に関連付けられた第２の画像の領域をラベル付けすることとを備える、段落Ｂ９の方法。
Ｂ９．２．サンプルの一部に関連付けられた第２の画像の領域を自動的にラベル付けすることが、組成情報が追加の組成情報と一致しないことを判定することと、追加の組成情報と一致しない組成情報に基づいて、ユーザ入力を必要とするときにサンプルの一部に関連付けられた第２のラベル付き画像の領域をフラグ付けすることとを備える、段落Ｂ９の方法。
Ｂ１０．さらに、機械学習を使用して第２の画像をラベル付けするために第１の時間を推定することと、第１の画像を生成し、第１の画像をラベル付けし、第１の画像を活用して第２の画像をラベル付けするために、第２の時間を推定することと、第２の時間よりも長い第１の時間に基づいて、段落Ｂ１−Ｂ９．２の方法を実行することを判定することとを備える、段落Ｂ１−Ｂ９．２の方法。
Ｂ１１．さらに、第１の画像を生成し、第１の画像をラベル付けし、第１の画像を活用して第２の画像をラベル付けするために、第１の時間を推定することと、第３のモダリティの第３の顕微鏡検出器システムを使用して第３の画像を生成し、第３のモダリティの第３の検出器データを使用して第３の画像をラベル付けし、第３の画像を活用して第２の画像をラベル付けするために、第２の時間を推定することと、第２の時間よりも短い第１の時間に基づいて、段落Ｂ１−Ｂ１０の方法を実行することを判定することとを備える、段落Ｂ１−Ｂ１０のいずれかの方法。
Ｃ１．異なるモダリティの顕微鏡検出器からの検出器データを活用することによって第１のモダリティの顕微鏡検出器からラベル付き画像を生成するシステムにおいて、サンプルを支持するように構成されたプラットフォームと、集束荷電ビームをサンプルに印加するように構成された集束荷電ビーム源と、Ｘ線検出器システムと、Ｘ線検出器システムとは異なるモダリティの顕微鏡検出器システムと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに段落Ａ１−Ａ３．３のいずれかの方法を実行させる非一時的コンピュータ可読命令を記憶するメモリと、を備える、システム。
Ｃ２．顕微鏡検出器システムが、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出システム、集束イオンビーム二次電子検出器システム、走査型透過電子顕微鏡明視野検出システム、および光学顕微鏡検出器システムのうちのいずれかである、段落Ｃ１の方法。
Ｄ１．異なるモダリティの顕微鏡検出器からの検出器データを活用することによって第１のモダリティの顕微鏡検出器からラベル付き画像を生成するシステムにおいて、サンプルを支持するように構成されたプラットフォームと、集束荷電ビームをサンプルに印加するように構成された集束荷電ビーム源と、第１のモダリティの第１の顕微鏡検出器システムと、第１のモダリティとは異なる第２のモダリティの第２の顕微鏡検出器システムと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに段落Ｂ１−Ｂ１１のいずれかの方法を実行させる非一時的コンピュータ可読命令を記憶するメモリと、を備える、システム。
Ｄ２．第１のモダリティの第１の顕微鏡検出器システムが、走査型電子顕微鏡高角暗視野検出器システム、走査型透過電子顕微鏡エネルギ分散Ｘ線検出器システム、走査型電子顕微鏡後方散乱検出器システム、走査型電子顕微鏡エネルギ分散Ｘ線検出器システム、走査型透過電子顕微鏡電子エネルギ損失分光検出器システム、集束イオンビーム二次イオン検出器システム、および集束イオンビーム二次イオン質量分光検出器システムのうちのいずれかである、段落Ｄ１の方法。
Ｄ３．第２のモダリティの第２の顕微鏡検出器システムが、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出システム、集束イオンビーム二次電子検出器システム、走査型透過電子顕微鏡明視野検出システム、および光学顕微鏡検出器システムのうちのいずれかである、段落Ｄ１−Ｄ２のいずれかの方法。
Ｅ１．段落Ａ１−Ａ３．３およびＢ１−Ｂ１１のいずれかの方法を実行するための段落Ｃ１−Ｃ２およびＤ１−Ｄ３のいずれかのシステムの使用。
Ｆ１．プロセッサによって実行されると、プロセッサに段落Ａ１−Ａ３．３およびＢ１−Ｂ１１のいずれかの方法の実行を開始させる命令を記憶する非一時的コンピュータ可読媒体。
Ｇ１．段落Ａ１−Ａ３．３およびＢ１−Ｂ１１のいずれかの方法を実行するための段落Ｆ１の非一時的コンピュータ可読媒体の使用。
１００ ＥＭおよび／または荷電粒子顕微鏡セットアップ
１０２ 第１の顕微鏡検出器システム
１０４ 第２の顕微鏡検出器システム
１０６ ＳＴＥＭシステム
１０８、１５２ 電子源
１１０、１２３、１５４、１６８ 電子ビーム
１１２、１５６ 放射軸
１１４ 集束カラム
１１６ コンデンサレンズ
１１８ 開口
１２０、１６２ 走査コイル
１２２ 上部対物レンズ
１２４、１６４ サンプル
１２６ サンプルホルダ
１２８ 電子
１３０ プロジェクタ
１３２ コンピューティング装置
１３４ 明視野検出器
１３６ 暗視野検出器
１５０ ＳＥＭ／ＥＤＸシステム
１５８ 粒子光学カラム
１６０ 複合レンズシステム
１６６ レンズ系
１７０ サンプルステージ
３００ コンピューティングアーキテクチャ
３０２ プロセッサ
３０４ メモリ
３０６ 制御モジュール
３０８ 第１のモダリティ画像生成モジュール
３１０ 第２のモダリティ画像生成モジュール
３１２ 第２のモダリティ組成判定モジュール
３１４ マッピングモジュール
４００ サンプルプロセス
４０２ 第１の顕微鏡画像
４０４ サンプル領域
４０６ 半導体サンプル
４０８ 第２の顕微鏡画像
４１０ グラフ
４１２、４１４ 第２のラベル付き画像
５００、６００ プロセス

Claims (20)

  1. 異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって第１のモダリティの顕微鏡検出器からラベル付き画像を生成する方法において、
    集束荷電ビームをサンプルに印加することと、
    Ｘ線検出器システムを使用して、前記サンプルに入射する前記集束荷電ビームから生じる放射に基づいて、Ｘ線検出器データを生成することと、
    コンピューティング装置の１つ以上のプロセッサにより、前記Ｘ線検出器データに基づいて、前記サンプルの少なくとも一部に関する組成情報を含む第１のラベル付き画像を自動的に生成することであって、前記第１のラベル付き画像を自動的に生成することが、
    前記１つ以上のプロセッサにより、前記Ｘ線検出器データに基づいて、前記サンプルの第１の画像を生成することと、
    前記１つ以上のプロセッサにより、前記Ｘ線検出器データに基づいて、エネルギ分散型Ｘ線分光法を使用して、前記サンプルの一部に関する組成情報を判定することと、
    前記１つ以上のプロセッサにより、前記組成情報によって前記サンプルの一部に関連付けられた前記第１の画像の領域を自動的にラベル付けすることと、を備えることと、
    前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて、前記Ｘ線検出器システムとは異なるモダリティの顕微鏡検出器システムを使用して第２の画像を生成することと、
    前記１つ以上のプロセッサにより、前記第２の画像および前記第１の画像に基づいて、前記第１のラベル付き画像からの前記組成情報によって前記サンプルの一部に関連付けられた前記第２の画像の領域を自動的にラベル付けすることと、を備える、方法。
  2. 前記組成情報によって前記サンプルの一部に関連付けられた前記第２の画像の前記領域を自動的にラベル付けすることが、前記第１の画像の前記領域の第１のピクセル位置を判定することと、前記第１のピクセル位置に対応する前記第２の画像の第２のピクセル位置を判定することと、前記組成情報によって前記第２の画像の前記第２のピクセル位置をラベル付けすることとを備える、請求項１に記載の方法。
  3. 異なるモダリティの顕微鏡検出器からの検出器データを活用することによって第１のモダリティの顕微鏡検出器からラベル付き画像を生成するシステムにおいて、
    前記サンプルを支持するように構成されたプラットフォームと、
    集束荷電ビームを前記サンプルに印加するように構成された集束荷電ビーム源と、
    Ｘ線検出器システムと、
    前記Ｘ線検出器システムとは異なるモダリティの顕微鏡検出器システムと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに請求項１に記載の方法を実行させる非一時的コンピュータ可読命令を記憶するメモリと、を備える、システム。
  4. 異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって顕微鏡検出器からラベル付き画像を生成する方法において、
    集束荷電ビームをサンプルに印加することと、
    第１のモダリティの第１の顕微鏡検出器システムを使用して、前記サンプルに入射する前記集束荷電ビームから生じる放射に基づいて、前記第１のモダリティの第１の検出器データを生成することと、
    コンピューティング装置の１つ以上のプロセッサにより、前記第１のモダリティの前記第１の検出器データに基づいて、前記サンプルの一部に関する組成情報を含む第１のラベル付き画像を自動的に生成することと、
    前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて、前記第１のモダリティとは異なる第２のモダリティの第２の顕微鏡検出器システムからの第２の検出器データを使用して前記サンプルの第２の画像を生成することと、
    前記１つ以上のプロセッサにより、前記第２の検出器データおよび前記第１のラベル付き画像に基づいて、前記第１のラベル付き画像からの前記組成情報によって前記サンプルの一部に関連付けられた前記第２の画像の領域を自動的にラベル付けすることと、を備える、方法。
  5. 前記第１のモダリティの前記第１の顕微鏡検出器システムが、
    走査型電子顕微鏡高角度暗視野検出器システム、
    走査透過電子顕微鏡エネルギ分散Ｘ線検出器システム、
    走査型電子顕微鏡後方散乱検出器システム、
    走査型電子顕微鏡エネルギ分散Ｘ線検出器システム、
    走査型透過電子顕微鏡電子エネルギ損失分光検出器システム、
    集束イオンビーム二次イオン検出器システム、および
    集束イオンビーム二次イオン質量分光検出器システム、のいずれかである、請求項４に記載の方法。
  6. 前記第２のモダリティの前記第２の顕微鏡検出器システムが、
    走査型電子顕微鏡検出器システム、
    集束イオンビーム検出器システム、
    走査型電子顕微鏡二次電子検出システム、
    集束イオンビーム二次電子検出器システム、
    走査型透過電子顕微鏡明視野検出器システム、および
    光学顕微鏡検出器システム、のいずれかである、請求項４から５のいずれか一項に記載の方法。
  7. 前記第１のラベル付き画像を自動的に生成することが、
    前記１つ以上のプロセッサにより、前記第１の検出器データに基づいて、前記サンプルの第１の画像を生成することと、
    前記１つ以上のプロセッサにより、前記第１の検出器データに基づいて、前記サンプルの一部に関する前記組成情報を判定することと、
    前記１つ以上のプロセッサにより、前記組成情報によって前記サンプルの一部に関連付けられた前記第１の画像の領域を自動的にラベル付けすることと、を備える、請求項４から６のいずれか一項に記載の方法。
  8. 前記組成情報によって前記サンプルの一部に関連付けられた前記第２の画像の前記領域を自動的にラベル付けすることが、前記第１の画像の前記領域の第１のピクセル位置を判定することと、前記第１のピクセル位置に対応する前記第２の画像の第２のピクセル位置を判定することと、前記組成情報によって前記第２の画像の前記第２のピクセル位置をラベル付けすることとを備える、請求項７に記載の方法。
  9. 前記第１の画像の前記領域の前記第１のピクセル位置および／または前記第２の画像の前記第２のピクセル位置が複数のピクセルである、請求項８に記載の方法。
  10. 前記第２の画像の前記第２のピクセル位置が前記第１のピクセル位置に対応することを判定することが、前記第１の顕微鏡検出器システムから生成された画像と前記第２の顕微鏡検出器システムから生成された画像との間のピクセルマッピングに基づいている、請求項８に記載の方法。
  11. 前記第１のピクセル位置に対応する前記第２の画像の前記第２のピクセル位置を判定することが、
    前記第１のピクセル位置の１つ以上の画像特性を特定することと、
    前記１つ以上の画像特性に類似した少なくとも１つの画像特性を有する前記第２の画像内の１つ以上の位置を特定することと、を備える、請求項８に記載の方法。
  12. 前記１つ以上の画像特性および／または前記少なくとも１つの画像特性が、
    エッジと、
    ラインと、
    形状と、
    コントラスト変化と、
    前記エッジに対する近接性と、
    前記ラインに対する近接性と、
    前記形状に対する近接性と、
    前記コントラスト変化に対する近接性と、を含む、請求項１１に記載の方法。
  13. 前記集束荷電ビームを前記サンプルに印加することが、
    前記集束荷電ビームを第１の期間にわたって前記サンプルに印加することであって、前記第１のモダリティの前記第１の検出器データが、前記第１の期間中に前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて生成されることと、
    前記集束荷電ビームを前記第１の期間とは異なる第２の期間にわたって前記サンプルに印加することであって、前記第２のモダリティの前記第２の検出器データが、前記第２の期間中に前記サンプルに入射する前記集束荷電ビームから生じる追加の放射に基づいて生成されることと、を備える、請求項４から１２のいずれか一項に記載の方法。
  14. さらに、
    第３のモダリティの第３の顕微鏡検出器システムを使用して、前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて、前記第３のモダリティの第３の検出器データを生成することと、
    前記１つ以上のプロセッサにより、前記第３のモダリティの前記第３の検出器データに基づいて第３のラベル付き画像を自動的に生成することと、を備え、前記第３のラベル付き画像を生成することが、
    前記１つ以上のプロセッサにより、前記第３の検出器データに基づいて、前記サンプルの第３の画像を生成することと、
    前記１つ以上のプロセッサにより、前記第３の検出器データに基づいて、前記サンプルの一部に関する追加の組成情報を判定することと、を備える、請求項４から１３のいずれか一項に記載の方法。
  15. 前記サンプルの一部に関連付けられた前記第２の画像の前記領域を自動的にラベル付けすることが、
    前記組成情報が前記追加の組成情報と一致することを判定することと、
    前記追加の組成情報と一致する前記組成情報に基づいて、前記組成情報によって前記サンプルの一部に関連付けられた前記第２の画像の前記領域をラベル付けすることとを備える、請求項１４に記載の方法。
  16. 異なるモダリティの顕微鏡検出器からの検出器データを活用することによって第１のモダリティの顕微鏡検出器からラベル付き画像を生成するシステムにおいて、
    前記サンプルを支持するように構成されたプラットフォームと、
    集束荷電ビームを前記サンプルに印加するように構成された集束荷電ビーム源と、
    前記第１のモダリティの前記第１の顕微鏡検出器システムと、
    前記第１のモダリティとは異なる前記第２のモダリティの前記第２の顕微鏡検出器システムと、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに請求項５に記載の方法を実行させる非一時的コンピュータ可読命令を記憶するメモリと、を備える、システム。
  17. コンピューティング装置の１つ以上のプロセッサによって実行されると、前記コンピューティング装置に、
    サンプルに入射する集束荷電ビームから生じる放射に基づいて、第１の顕微鏡検出器システムから第１のモダリティの第１の検出器データを受信させ、
    前記第１のモダリティの前記第１の検出器データに基づいて、前記サンプルの少なくとも一部に関する組成情報を含む第１のラベル付き画像を自動的に生成させ、
    前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて、第２の顕微鏡検出器システムから前記第１のモダリティとは異なる第２のモダリティの第２の検出器データを受信させ、
    前記第２の検出器データを使用して前記サンプルの第２の画像を生成させ、
    前記第１のラベル付き画像に基づいて、前記組成情報によって前記サンプルの一部に関連付けられた前記第２の画像の領域を自動的にラベル付けさせる、非一時的コンピュータ可読命令を記憶するコンピュータ可読媒体。
  18. 前記第１のラベル付き画像を自動的に生成することが、
    前記第１の検出器データに基づいて、前記サンプルの第１の画像を生成することと、
    前記第１の検出器データに基づいて、前記サンプルの一部に関する組成情報を判定することと、
    前記組成情報によって前記サンプルの一部に関連付けられた前記第１の画像の領域を自動的にラベル付けすることと、を備える、請求項１７に記載のコンピュータ可読媒体。
  19. 前記組成情報によって前記サンプルの一部に関連付けられた前記第２の画像の前記領域を自動的にラベル付けすることが、前記第１の画像の前記領域の第１のピクセル位置を判定することと、前記第１のピクセル位置に対応する前記第２の画像の第２のピクセル位置を判定することと、前記組成情報によって前記第２の画像の前記第２のピクセル位置をラベル付けすることとを備える、請求項１８に記載のコンピュータ可読媒体。
  20. 前記第２の顕微鏡検出器システムが、前記サンプルの画像を生成する荷電粒子システムのコンポーネント検出器であり、前記第１の顕微鏡検出器システムが、前記サンプルの画像を生成する前記荷電粒子システムから分離されているシステムのコンポーネント検出器である、請求項１７から１９のいずれか一項に記載のコンピュータ可読媒体。
JP2020067169A 2019-04-04 2020-04-03 二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成 Pending JP2020170702A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/375537 2019-04-04
US16/375,537 US10714309B1 (en) 2019-04-04 2019-04-04 Using images from secondary microscope detectors to automatically generate labeled images from primary microscope detectors

Publications (1)

Publication Number Publication Date
JP2020170702A true JP2020170702A (ja) 2020-10-15

Family

ID=69845227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020067169A Pending JP2020170702A (ja) 2019-04-04 2020-04-03 二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成

Country Status (5)

Country Link
US (1) US10714309B1 (ja)
EP (1) EP3719832A3 (ja)
JP (1) JP2020170702A (ja)
KR (1) KR20200117880A (ja)
CN (1) CN111795987B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230095798A1 (en) * 2021-09-30 2023-03-30 Fei Company Methods and systems for elemental mapping

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9209500D0 (en) * 1992-05-01 1992-06-17 Link Analytical Ltd X-ray analysis apparatus
JP4057892B2 (ja) * 2002-11-08 2008-03-05 株式会社キーエンス 電子顕微鏡、電子顕微鏡の操作方法、電子顕微鏡の操作プログラムおよびコンピュータで読み取り可能な記録媒体
GB2428868B (en) * 2005-10-28 2008-11-19 Thermo Electron Corp Spectrometer for surface analysis and method therefor
JP4374456B2 (ja) * 2006-01-05 2009-12-02 国立大学法人 東京大学 カーボンナノチューブ自立膜及びその製造方法、並びにカーボンナノチューブ膜を有する構成体及びその製造方法
JP4851804B2 (ja) * 2006-02-13 2012-01-11 株式会社日立ハイテクノロジーズ 集束イオンビーム加工観察装置、集束イオンビーム加工観察システム及び加工観察方法
JP5712074B2 (ja) * 2011-07-20 2015-05-07 株式会社日立ハイテクノロジーズ 走査透過電子顕微鏡
US9129715B2 (en) * 2012-09-05 2015-09-08 SVXR, Inc. High speed x-ray inspection microscope
JP6335729B2 (ja) * 2013-12-06 2018-05-30 キヤノン株式会社 透過型ターゲットおよび該透過型ターゲットを備えるｘ線発生管
US20190287759A1 (en) * 2014-01-27 2019-09-19 Mochii, Inc. (D/B/A Voxa) Transmission Electron Microscopy
EP2958130A1 (en) * 2014-06-18 2015-12-23 Fei Company Mathematical image assembly in a scanning-type microscope
US10720303B2 (en) * 2015-08-21 2020-07-21 Hitachi High-Tech Corporation Charged particle beam apparatus and alignment adjustment method of sample stage

Also Published As

Publication number Publication date
CN111795987A (zh) 2020-10-20
CN111795987B (zh) 2024-07-05
KR20200117880A (ko) 2020-10-14
EP3719832A3 (en) 2020-12-30
EP3719832A2 (en) 2020-10-07
US10714309B1 (en) 2020-07-14

Similar Documents

Publication Publication Date Title
US7903867B2 (en) Method and apparatus for displaying detected defects
US20200371333A1 (en) Microscopy method, microscope and computer program with verification algorithm for image processing results
TWI647442B (zh) Defect classification device and defect classification method
JP7232911B2 (ja) 電子ビーム画像向上のための完全自動ｓｅｍサンプリングシステム
US8450683B2 (en) Image processing apparatus, an image generating method, and a system
US20220222822A1 (en) Microscopy System and Method for Evaluating Image Processing Results
EP3979297A1 (en) Depth reconstruction for 3d images of samples in a charged particle system
JP2020170702A (ja) 二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成
KR20210147949A (ko) 기계 학습을 위한 상관 슬라이스 및 뷰 이미지 주석
JP7287957B2 (ja) 放射線検出装置、コンピュータプログラム及び位置決め方法
US20230035267A1 (en) Dual speed acquisition for drift corrected, fast, low dose, adaptive compositional charged particle imaging
US10627351B2 (en) Inspection of components for imperfections
US11282670B1 (en) Slice depth reconstruction of charged particle images using model simulation for improved generation of 3D sample images
JP7194837B2 (ja) 荷電粒子線装置
US20210088770A1 (en) Pose estimation using sematic segmentation
JP2014106388A (ja) 自動合焦点検出装置及びそれを備える荷電粒子線顕微鏡
US20240110880A1 (en) Dynamic Data Driven Detector Tuning for Improved Investigation of Samples in Charged Particle Systems
US20230260085A1 (en) Systems and methods for hybrid enhancement of scanning electron microscope images
US20220207256A1 (en) Charged particle microscope systems and clustering processes for high dynamic range sample analysis
Hardo et al. Quantitative Microbiology with Microscopy: Effects of Projection and Diffraction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240507