JP2020170702A - 二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成 - Google Patents
二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成 Download PDFInfo
- Publication number
- JP2020170702A JP2020170702A JP2020067169A JP2020067169A JP2020170702A JP 2020170702 A JP2020170702 A JP 2020170702A JP 2020067169 A JP2020067169 A JP 2020067169A JP 2020067169 A JP2020067169 A JP 2020067169A JP 2020170702 A JP2020170702 A JP 2020170702A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sample
- microscope
- detector
- modality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000203 mixture Substances 0.000 claims abstract description 87
- 230000005855 radiation Effects 0.000 claims abstract description 29
- 238000002372 labelling Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 96
- 239000002245 particle Substances 0.000 claims description 33
- 238000010884 ion-beam technique Methods 0.000 claims description 23
- 238000013507 mapping Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 11
- 239000006185 dispersion Substances 0.000 claims description 9
- 238000002149 energy-dispersive X-ray emission spectroscopy Methods 0.000 claims 1
- 230000001052 transient effect Effects 0.000 claims 1
- 238000001493 electron microscopy Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 23
- 150000002500 ions Chemical group 0.000 description 22
- 238000012549 training Methods 0.000 description 17
- 238000010894 electron beam technology Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000000635 electron micrograph Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000001000 micrograph Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000000550 scanning electron microscopy energy dispersive X-ray spectroscopy Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000000441 X-ray spectroscopy Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004611 spectroscopical analysis Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000000540 analysis of variance Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
- G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/22—Optical or photographic arrangements associated with the tube
- H01J37/222—Image processing arrangements associated with the tube
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/22—Optical or photographic arrangements associated with the tube
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/244—Detectors; Associated components or circuits therefor
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
- H01J37/261—Details
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
- H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/2206—Combination of two or more measurements, at least one measurement being that of secondary emission, e.g. combination of secondary electron [SE] measurement and back-scattered electron [BSE] measurement
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/22—Treatment of data
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/22—Treatment of data
- H01J2237/221—Image processing
- H01J2237/225—Displaying image using synthesised colours
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/244—Detection characterized by the detecting means
- H01J2237/2441—Semiconductor detectors, e.g. diodes
- H01J2237/24415—X-ray
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/26—Electron or ion microscopes
- H01J2237/28—Scanning microscopes
- H01J2237/2803—Scanning microscopes characterised by the imaging method
- H01J2237/2807—X-rays
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
【課題】二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成を提供する。【解決手段】STEMシステム106は、集束荷電ビーム123をサンプルに印加することと、第1の顕微鏡検出器102を使用して、サンプルに入射する集束荷電ビームから生じる放射を検出し、第1の顕微鏡検出器からの検出器データを使用して、第1のラベル付き画像を自動的に生成する。第1のラベル付き画像を自動的に生成することは、検出器データに基づいてサンプルの一部に関する組成情報を判定することと、その後、対応する組成情報によってサンプルの一部に関連付けられた第1の画像の領域を自動的にラベル付けする。サンプルの第2の画像は、異なるモダリティの第2の顕微鏡検出器システムからの検出器データを使用して生成され、その後、第1のラベル付き画像が使用され、対応する組成情報によって第2の画像の領域を自動的にラベル付けする。【選択図】図1
Description
深層学習アルゴリズムは、電子顕微鏡(EM)によって取得した画像の異常を自動的に分析、ラベル付け、および/または修正するために使用され始めている。従来、これらの作業は、電子顕微鏡画像を個別に評価する専門家のオペレータを必要とする。この従来のオペレータベースのプロセスは、電子顕微鏡画像の欠陥を特定するのに膨大な時間(例えば、数時間、数週間、および/または数か月)を要する可能性がある。深層学習は、このプロセスを大幅にスピードアップすることが示されている。
しかしながら、深層学習が使用されて電子顕微鏡画像の異常を分析、ラベル付け、および/または修正する前に、深層学習アルゴリズムは、最初にトレーニングされる必要がある。このトレーニングを実行するには、まず、ラベル付きEM画像のトレーニングセットが取得される必要がある。EMイメージングシステムは、サンプルの小さな領域の高解像度画像を取得することができるが、EMシステムは、サンプルに関する組成情報を取得することができない。したがって、そのようなラベル付きEM画像のトレーニングセットの生成は、画像内の異なるコントラストレベルに基づいて、異なる素材を含む各ピクセルをマークするのに何時間も費やす専門家のオペレータを必要とする。例えば、解像度が1K×1Kピクセルの半導体の個別スキャンEM画像は、セグメント化に4時間かかり得る。したがって、ラベル付きEM画像のトレーニングセットを生成するためのより効率的なプロセスを有することが望ましい。
本開示にかかる異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって顕微鏡検出器からラベル付き画像を生成する方法およびシステムは、集束荷電ビームをサンプルに印加することと、第1のモダリティの第1の顕微鏡検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射を検出することと、第1のモダリティの第1の検出器データを生成することと、その後、第1の検出器データを使用して第1のラベル付き画像を自動的に生成することとを含む。第1のラベル付き画像の自動生成は、第1の検出器データに基づいてサンプルの第1の画像を生成することと、第1の検出器データに基づいてサンプルの一部に関する組成情報を判定することと、その後、組成情報によってサンプルの一部に関連付けられた第1の画像の領域を自動的にラベル付けすることとを含む。
方法およびシステムは、さらに、第2のモダリティ(第1のモダリティとは異なる)の第2の顕微鏡検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射を検出することと、第2の顕微鏡検出器システムからの第2の検出器データを使用してサンプルの第2の画像を生成することと、その後、第1のラベル付き画像を活用して、組成情報によってサンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることとを含む。
詳細な説明は、添付の図を参照して説明される。図では、参照番号の左端の数字は、参照番号が最初に現れる図を特定する。異なる図の同じ参照番号は、類似または同一の物品を示す。
同様の参照番号は、図面のいくつかの図を通して対応する部分を指す。
異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって顕微鏡検出器からラベル付き画像を生成する方法およびシステムが開示されている。より具体的には、本開示は、異なるモダリティの検出器システムを利用してサンプルのラベル付き画像を生成した後、これらのラベル付き画像を利用して電子/荷電粒子顕微鏡によって生成された画像を自動的にラベル付けすることにより、サンプルのラベル付き電子/荷電粒子顕微鏡画像を生成する方法およびシステムを含む。このようにして、開示されたシステムおよび方法は、ラベル付き電子顕微鏡画像を生成するプロセスを自動化する。これは、ひいては、深層学習および/またはニューラルネットワークをトレーニングして、電子顕微鏡(EM)および/または荷電粒子顕微鏡によって取得された画像の異常を分析、ラベル付け、および/または修正するトレーニングセットを生成するプロセスを大幅に促進する。
一般に、図では、特定の例に含まれる可能性のある要素は実線で示されるとともに、特定の例の任意の要素は破線で示されている。しかしながら、実線で示される要素は、本開示の全ての例に必須ではなく、実線で示される要素は、本開示の範囲から逸脱することなく特定の例から省略されてもよい。
図1および図2は、異なるモダリティの第2の顕微鏡検出器システム104からの検出器データを活用することによって第1の顕微鏡検出器システム102からラベル付き画像を生成する例示的なEMおよび/または荷電粒子顕微鏡セットアップ100の図である。例示的なEMおよび/または荷電粒子顕微鏡セットアップ100は、これらに限定されるものではないが、走査型電子顕微鏡(SEM)、走査型透過電子顕微鏡(STEM)、透過型電子顕微鏡(TEM)、荷電粒子顕微鏡(CPM)、デュアルビーム顕微鏡システムなど、1つ以上の異なるタイプのEMおよび/または荷電粒子顕微鏡とすることができるか、またはそれらを含むことができる。
図1は、異なるモダリティの第2の顕微鏡検出器システム104からの検出器データを活用することによって第1の顕微鏡検出器システム102からラベル付き画像を生成するSTEMシステム106である例示的なEMおよび/または荷電粒子顕微鏡セットアップ100を示している。しかしながら、当業者は、本開示の方法およびシステムが他のタイプのEMおよび/または荷電粒子顕微鏡によって具体化される方法を図1から理解するであろう。STEMシステム106は、放射軸112に沿って集束カラム114に向かって電子ビーム110を放射する電子源108を含む。いくつかの実施形態では、集束カラム114は、コンデンサレンズ116、開口118、走査コイル120、および上部対物レンズ122のうちの1つ以上を含むことができる。集束カラム114は、電子源108からの電子をサンプル124上の小さなスポットに集束させる。走査コイル120を介して電子ビーム123の方向を調整することにより、サンプルの異なる位置が走査されることができる。例えば、走査コイル120を動作させることにより、電子ビーム123は、サンプル124の異なる位置に焦点を移動させることができる。サンプル124は、電子ビーム123内のほとんどの電子の透過を妨げない程度に薄くすることができる。
サンプル124は、サンプルホルダ126によって保持されることができる。サンプル124を通過する電子128は、プロジェクタ130に入ることができる。一実施形態では、プロジェクタ130は、集束カラム114とは別個の部品であってもよい。他の実施形態では、プロジェクタ130は、集束カラム114内のレンズからのレンズ視野の延長部であってもよい。プロジェクタ130は、直接電子128がサンプル124を通過し、第1の顕微鏡検出器システム102に衝突するように、コンピューティング装置132によって調整されることができる。第1の顕微鏡検出器システム102は、EMおよび/または荷電粒子顕微鏡セットアップ100についての一次顕微鏡検出器システムであり、サンプル124の非常に詳細なモノクロ画像を取得するように構成される。しかしながら、一次顕微鏡検出器は、組成情報などのサンプル124に関する追加情報を取得することはできない。したがって、一次顕微鏡検出器システムからラベル付き画像を取得するために、一次顕微鏡検出器を介して取得された画像が個別にセグメント化および/またはラベル付けされる必要がある。
図1では、第1の顕微鏡検出器システム102は、ディスク形状の明視野検出器134として示されている。いくつかの実施形態では、第1の顕微鏡検出器システム102は、例えば暗視野検出器などの1つ以上の他の検出器を含むことができる。そのような実施形態では、EMおよび/または荷電粒子顕微鏡セットアップ100は、明視野検出器134および暗視野検出器136のうちの1つ以上からの信号を同時に検出することができる。代替的にまたは追加的に、第1の顕微鏡検出器システム102は、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出器システム、集束イオンビーム二次電子検出器システム、および光学顕微鏡検出器システムを含むことができる。
図1は、第1の顕微鏡検出器システム102とは異なるモダリティの第2の顕微鏡検出器システム104を含むものとして例示的なEMおよび/または荷電粒子顕微鏡セットアップ100をさらに示している。例えば、図1は、分散X線検出器である第2の顕微鏡検出器システム104を示している。他の実施形態では、第2の顕微鏡検出器システム104は、高角度暗視野検出器システム、分散X線検出器システム、後方散乱検出器システム、電子エネルギ損失分光検出器システム、二次イオン検出器システム、および二次イオン質量分光検出器システムのうちの1つ以上に対応することができる。第1の顕微鏡検出器システム102および第2の顕微鏡検出器システム104の検出器からの信号は増幅されてコンピューティング装置132に送信されることができる。
図2は、異なるモダリティの第2の顕微鏡検出器システム104からの検出器データを活用することによって第1の顕微鏡検出器システム102からラベル付き画像を生成するエネルギ分散X線分光法(SEM/EDX)システム150を有する走査型電子顕微鏡である例示的なEMおよび/または荷電粒子顕微鏡セットアップ100を示している。
SEM/EDXシステム150は、放射軸156に沿って粒子光学カラム158に向かって電子ビーム154を放射する電子源152を含む。いくつかの実施形態では、粒子光学カラム158は、複合レンズシステム160および走査コイル162のうちの1つ以上を含むことができる。複合レンズシステム160は、レンズ系166によってサンプル164上に集束されるように電子ビーム154を変更するように構成されることができる。電子ビーム154の入射部分は、走査コイル162を動作させることによってサンプル164上を走査することができる。サンプル164は、サンプルステージ170によって保持されることができる。
SEM/EDXシステム150は、入射ビーム168の照射に応じてサンプル164からの様々な放射を検出する複数の検出器を含む。第1の顕微鏡検出器システム102は、サンプル164から放射される後方散乱および/または二次電子などの電子を検出することができる。一例では、第1の顕微鏡検出器システム102は、セグメント化された電子検出器とすることができる。第2の顕微鏡検出器システム104は、サンプル164から放射されたX線を検出することができる。例えば、第2の顕微鏡検出器システム104は、マルチチャネル光子計数EDX検出器とすることができる。第1の顕微鏡検出器システム102および第2の顕微鏡検出器システム104の検出器からの信号は増幅されてコンピューティング装置132に送信されることができる。
さらに、図1および図2は、単一の顕微鏡/検出器システムのコンポーネントである第1の顕微鏡検出器システム102および第2の顕微鏡検出器システム104のそれぞれを示している。しかしながら、本開示によれば、第2の顕微鏡検出器システム104は、別個の顕微鏡/検出器システムの一部であってもよい。例えば、第1の顕微鏡検出器システム102は、SEMシステムの検出コンポーネントとすることができ、第2の顕微鏡検出器システム104は、蛍光X線(XRF)分光計の検出コンポーネントとすることができる。そのような実施形態では、ユーザは、SEMシステムを使用してサンプルの第1の画像を取得した後、XRF分光計を使用してサンプルの第2の画像を取得することができる。
図1および図2のそれぞれは、異なるモダリティの第2の顕微鏡検出器システム104からの検出器データを活用することによって第1の顕微鏡検出器システム102からラベル付き画像を生成するように実行可能なコンピューティング装置132を含むものとして例示的なEMおよび/または荷電粒子顕微鏡セットアップ100を示している。コンピューティング装置132は、例示的なEMおよび/または荷電粒子顕微鏡セットアップ100のコンポーネントとすることができ、ネットワーク通信インターフェース、またはその組み合わせを介して例示的なEMおよび/または荷電粒子顕微鏡セットアップ100と通信することができる。例えば、例示的なEMおよび/または荷電粒子顕微鏡セットアップ100は、例示的なEMおよび/または荷電粒子顕微鏡セットアップ100の動作を駆動するコントローラとして機能する例示的なEMおよび/または荷電粒子顕微鏡セットアップ100のコンポーネント部分であるコンピューティング装置132を含むことができる(例えば、走査コイル120/162を動作させることによってサンプル124/164上の走査位置を調整する、1つ以上の開口および/またはレンズを調整することによって入射ビーム123/168のプロファイルを調整する、サンプルホルダ126/170を調整することによって入射ビーム123/168に対するサンプルの向きを調整するなど)。
コンピューティング装置132は、第1の顕微鏡検出器システム102から受信した検出器データに基づいてサンプル124/164の第1の画像を自動的に生成するように実行可能である。例えば、図1のシステムでは、コンピューティング装置132は、明視野検出器134によって生成された検出器データを受信し、明視野検出器134からの検出器データに基づいてサンプル124の画像を生成するように構成される。そのような実施形態では、明視野検出器134は、サンプル124の一部を透過した電子128を検出し、コンピューティング装置132は、得られた検出器データに関連付けられた色/勾配値を選択した後、サンプル124の一部に関連付けられた第1の画像の1つ以上のピクセルに色/勾配値を有させる。
本開示によれば、コンピューティング装置132は、第2の顕微鏡検出器システム104から受信した検出器データに基づいてサンプル124/164の第2のラベル付き画像を自動的に生成するようにさらに実行可能である。第2のラベル付き画像は、画像に描かれたサンプルの一部の組成情報を含むサンプル124/164の画像である。例えば、図1のシステムでは、コンピューティング装置132は、分散X線検出器によって生成された検出器データを受信し、分散X線検出器からの検出器データに基づいてサンプル124の画像を生成するように構成される。これは、サンプル124の一部から放射されるX線を検出し、サンプル124の一部に関連付けられた検出器データに関連付けられた色/勾配値を選択した後、サンプル124の一部に関連付けられた第2の画像の1つ以上のピクセルに色/勾配値を有させる第2の顕微鏡検出器システム104を含むことができる。コンピューティング装置132はまた、第2の顕微鏡検出器システム104から受信した検出器データに基づいて第2の画像をラベル付けするように構成される。例えば、図1のシステムでは、第2の顕微鏡検出器システム104がサンプル124の一部から放射されるX線を検出すると、コンピューティング装置132は、得られた検出器データに対してX線分光分析を行い、サンプル124の一部の組成情報(例えば、原子組成)を判定する。このようにして、電子ビーム110が平行移動されてサンプル124の個々の部分を照射すると、コンピューティング装置132は、サンプル124の各部分の色/勾配値および組成情報の双方を判定する。そして、この判定された情報は、蓄積されて第2のラベル付き画像を形成することができる。
コンピューティング装置132は、第2のラベル付き画像に基づいて第1の画像を自動的にラベル付けするようにさらに実行可能である。例えば、サンプル124/164の一部を描写する第2の画像の領域について、コンピューティング装置132は、サンプル124/164の同じ部分を描写する第1の画像の領域を特定した後、第2のラベル付き画像からの組成情報によって第1の画像のその領域をラベル付けすることができる。例えば、コンピューティング装置132は、第2の画像の1つ以上のピクセルに対応する第1の画像の1つ以上のピクセルを特定した後、第2の画像の1つ以上のピクセルに関連付けられたラベルで示される情報によって第1の画像の1つ以上のピクセルをラベル付けすることができる。コンピューティング装置132は、このプロセスを繰り返して、追加の領域および/または第1の画像全体をラベル付けすることができる。
図3は、異なるモダリティの第2の顕微鏡検出器システム104からの検出器データを活用することによって第1の顕微鏡検出器システム102からラベル付き画像を自動的に生成するように実行可能な例示的なコンピューティング装置132のコンピューティングアーキテクチャ300を示す概略図を示している。例えば、図3は、本開示で説明される技術を実装するために使用されることができるハードウェアおよびソフトウェアコンポーネントの追加の詳細を示している。例示的なコンピューティングアーキテクチャ300では、コンピューティング装置132は、1つ以上のプロセッサ302と、1つ以上のプロセッサ302に通信可能に結合されたメモリ304とを含む。
例示的なコンピューティングアーキテクチャ300は、制御モジュール306と、第1のモダリティ画像生成モジュール308と、第2のモダリティ画像生成モジュール310と、第2のモダリティ組成判定モジュール312と、メモリ304に記憶されたマッピングモジュール314とを含むことができる。本明細書で使用される場合、「モジュール」という用語は、説明の目的で実行可能な命令の例示的な区分を表すように意図されており、あらゆるタイプの要件または必要な方法、方式または編成を表すようには意図されていない。したがって、様々な「モジュール」が説明されているが、それらの機能および/または同様の機能は、異なって配置されることができる(例えば、より少数のモジュールに結合、より多数のモジュールに分割など)。さらに、特定の機能およびモジュールは、本明細書ではプロセッサ上で実行可能なソフトウェアおよび/またはファームウェアによって実装されるものとして説明されているが、他の例では、任意または全てのモジュールは、説明された機能を実行するようにハードウェア(例えば、特殊な処理ユニットなど)によって全体または部分的に実装されることができる。様々な実装では、例示的なコンピューティングアーキテクチャ300に関連して本明細書で説明されるモジュールは、複数の装置にわたって実行されることができる。
制御モジュール306は、例示的なEMおよび/または荷電粒子顕微鏡セットアップ100の動作を駆動するコントローラとして機能するように、プロセッサ302によって実行可能とすることができる。例えば、制御モジュール306は、サンプル124/164上の走査位置を調整するように走査コイル120/162を動作させ、入射ビーム123/168のプロファイルを調整するために1つ以上の開口および/またはレンズを調整し、および/または、サンプルホルダ126/170を調整して、調整によって入射ビーム123/168に対するサンプルの向きを調整することができる。
第1のモダリティ画像生成モジュール308は、第1の顕微鏡検出器システム102から受信した検出器データに基づいてサンプル124/164の第1の画像を自動的に生成するようにプロセッサ302によって実行可能とすることができる。すなわち、第1のモダリティ画像生成モジュール308は、サンプルの一部の対応について、第1の顕微鏡検出器システム102から受信した検出器データに基づいて、サンプルの第1の画像の個々の部分(すなわち、ピクセル)の色/勾配値を選択するように構成される。
第2のモダリティ画像生成モジュール310は、第2の顕微鏡検出器システム104から受信した検出器データに基づいてサンプル124/164の第2の画像を自動的に生成するようにプロセッサ302によって実行可能とすることができる。すなわち、第2のモダリティ画像生成モジュール310は、サンプルの一部の対応について、第2の顕微鏡検出器システム104から受信した検出器データに基づいて、サンプルの第1の画像の個々の部分(すなわち、ピクセル)の色/勾配値を選択するように構成される。
第2のモダリティ組成判定モジュール312は、第2の顕微鏡検出器システム104から受信した検出器データに基づいてサンプルの1つ以上の部分に関する判定組成情報を生成するようにプロセッサ302によって実行可能とすることができる。例えば、第2の顕微鏡検出器システム104が分散X線検出器である場合、第2のモダリティ組成判定モジュール312は、得られた検出器データに対してX線分光分析を行い、サンプル124の一部の組成情報(例えば、原子組成)を判定することができる。いくつかの実施形態では、第2のモダリティ組成判定モジュール312は、さらに、組成情報によって第2の画像をラベル付けするように構成される。例えば、サンプルの一部に関連付けられた検出器データがシリコン分子から構成されていることを第2のモダリティ組成判定モジュール312が判定した場合、第2のモダリティ組成判定モジュール312は、シリコンから構成されているサンプルの一部を描写する第2の画像の一部をラベル付けすることができる。様々な実施形態では、第2の画像のラベル付けは、第1の画像の一部にタグ付けすること、画像の一部に関連付けられたメタデータに組成情報を追加すること、第1の画像についてのデータ構造(すなわち、テーブル、ファイルなど)に組成情報を追加すること、またはその組み合わせを含むことができる。
マッピングモジュール314は、プロセッサ302によって実行可能であり、第2のラベル付き画像に基づいて第1の画像を自動的にラベル付けすることができる。例えば、サンプル124/164の一部を描写する第2の画像の領域について、マッピングモジュール314は、サンプル124/164の同じ部分を描写する第1の画像の領域を特定した後、第2のラベル付き画像からの組成情報によって第1の画像の領域をラベル付けすることができる。例えば、マッピングモジュール314は、第1の画像の1つ以上のピクセルが第2の画像の1つ以上のピクセルに対応することを特定した後、第2の画像の1つ以上のピクセルに関連してラベル付けされた組成情報によって第1の画像の1つ以上のピクセルをラベル付けすることができる。マッピングモジュール314は、このプロセスを繰り返して、追加の領域および/または第1の画像全体をラベル付けすることができる。
いくつかの実施形態では、マッピングモジュール314は、ピクセルマッピングに基づいて、第2の画像の1つ以上のピクセル/領域に対応する第1の画像の1つ以上のピクセル/領域を特定することができる。例えば、メモリ304は、第1の顕微鏡検出器システム102から生成された画像のピクセル/領域と第2の顕微鏡検出器システム104から生成された画像との間の関係を記述するピクセルマッピングを記憶することができる。ピクセルマッピングは、事前の画像比較に基づいてマッピングモジュール314によって判定されることができる。例えば、ピクセルマッピングは、第1の顕微鏡検出器システム102および第2の顕微鏡検出器システム104によって生成される画像のトレーニングセットを使用してトレーニングされる機械学習アルゴリズムを使用して、マッピングモジュール314によって生成されることができる。第1の顕微鏡検出器システム102を使用して生成されるトレーニングセット内の各画像について、トレーニングセットはまた、第2の顕微鏡検出器システム104を使用して生成される同じサンプルの対応する画像を含む。
あるいは、マッピングモジュール314は、画像の特性に基づいて、第2の画像の1つ以上のピクセル/領域に対応する第1の画像の1つ以上のピクセル/領域を特定してもよい。例えば、マッピングモジュール314は、第1の画像の領域の特性(すなわち、エッジ、ライン、形状、コントラスト変化、エッジに対する近接性、ラインに対する近接性、形状に対する近接性、およびコントラスト変化に対する近接性など)を特定した後、類似の特性を有する第2の画像の領域を特定するように実行可能であってもよい。いくつかの実施形態では、第2の画像の1つ以上のピクセル/領域に対応する第1の画像の1つ以上のピクセル/領域を特定するとき、マッピングモジュール314は、第1の顕微鏡検出器システムおよび第2の顕微鏡検出器システム104の1つ以上の歪みを考慮することができる。
当業者は、コンピューティングアーキテクチャ300が単なる例示であり、本開示の範囲を限定することを意図していないことを理解するであろう。特に、コンピューティングシステムおよび装置は、コンピュータ、ネットワーク装置、インターネット機器、PDA、無線電話、コントローラ、オシロスコープ、増幅器などを含む、示された機能を実行することができるハードウェアまたはソフトウェアの任意の組み合わせを含むことができる。コンピューティングアーキテクチャ300はまた、図示されていない他の装置に接続されることができるか、代わりにスタンドアロンシステムとして動作することができる。さらに、示されたコンポーネントによって提供される機能は、いくつかの実装では、より少ないコンポーネントに結合されるかまたは追加のコンポーネントに分散されてもよい。同様に、いくつかの実装では、示されたコンポーネントの一部の機能が提供されなくてもよく、および/または他の追加機能が利用可能であってもよい。
1つ以上のプロセッサ302は、メモリ304に記憶された命令、アプリケーション、またはプログラムを実行するように構成されることができる。いくつかの例では、1つ以上のプロセッサ302は、これらに限定されるものではないが、ハードウェア中央処理装置(CPU)、グラフィックス処理装置(GPU)などを含むハードウェアプロセッサを含むことができる。多くの場合、本技術は、1つ以上のプロセッサ302によって実行されるものとして本明細書では説明されているが、場合によっては、本技術は、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラマブル論理装置(CPLD)、特定用途向け集積回路(ASIC)、システムオンチップ(SoC)、またはそれらの組み合わせなどの1つ以上のハードウェア論理コンポーネントによって実装されてもよい。
メモリ304は、コンピュータ可読媒体の例である。コンピュータ可読媒体は、2種類のコンピュータ可読媒体、すなわち、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実装される揮発性および不揮発性、取り外し可能、および取り外し不能媒体を含むことができる。コンピュータの記憶媒体は、これらに限定されるものではないが、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EEPROM)、フラッシュメモリもしくは他のメモリ技術、コンパクトディスク読み取り専用メモリ(CD−ROM)、デジタルバーサタイルディスク(DVD)、もしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、または所望の情報を記憶するために使用されることができ且つコンピューティング装置によってアクセスされることができる任意の他の非伝送媒体を含む。一般に、コンピュータ記憶媒体は、1つ以上の処理ユニットによって実行されると、本明細書で説明される様々な機能および/または動作を実行させるコンピュータ実行可能命令を含むことができる。対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくは搬送波などの変調データ信号における他のデータ、または他の送信メカニズムを具体化する。本明細書で定義されるように、コンピュータ記憶媒体は、通信媒体を含まない。
当業者はまた、様々なアイテムが使用中にメモリまたは記憶装置に記憶されるように示されているが、これらのアイテムまたはそれらの一部は、メモリ管理およびデータ整合性の目的でメモリと他の記憶装置との間で転送されることができることも理解するであろう。あるいは、他の実装では、ソフトウェアコンポーネントの一部または全ては、他の装置のメモリで実行され、示されたコンピューティングアーキテクチャ300と通信してもよい。システムコンポーネントまたはデータ構造の一部または全てはまた、非一時的コンピュータアクセス可能媒体または適切なドライブによって読み取られるポータブル物品に記憶されることができ(例えば、命令または構造化データとして)、その様々な例は上述されている。いくつかの実装では、コンピューティングアーキテクチャ300とは別個のコンピュータアクセス可能媒体に記憶された命令は、伝送媒体、または無線リンクなどの通信媒体を介して伝達される電気、電磁気、もしくはデジタル信号などの信号を介して、コンピューティングアーキテクチャ300に送信されることができる。様々な実装は、さらに、コンピュータアクセス可能媒体に対して前述の説明にしたがって実装された命令および/またはデータを受信、送信または記憶することを含むことができる。
本明細書で説明されるアーキテクチャ、システム、および個々の要素は、他の多くの論理的、プログラム的、および物理的コンポーネントを含むことができ、添付の図に示されるものは、本明細書の説明に関連する単なる例である。
図4は、ラベル付き顕微鏡画像を自動的に生成するサンプルプロセス400を示す図である。図4は、半導体サンプル406のサンプル領域404を示す第1の顕微鏡画像402を示している。第1の顕微鏡画像402は、EMおよび/または荷電粒子顕微鏡の一次顕微鏡検出器システムからの検出器データを使用して取得される。一般に、一次顕微鏡検出器システムは、サンプルの非常に詳細なモノクロ画像を取得するように構成される。しかしながら、そのような一次顕微鏡検出器システムは、サンプルに関する組成情報を判定することができない。サンプル領域404は、それが組成情報を含むようにユーザがラベル付けおよび/またはセグメント化されることを望む第1の顕微鏡画像402の一部の領域である。
図4はまた、半導体サンプル406のサンプル領域404を描写する第2の顕微鏡画像408を示している。第2の顕微鏡画像408は、第1の顕微鏡検出器とは異なるモダリティの第2の顕微鏡検出器システムからの検出器データを使用して生成される。本開示によれば、二次顕微鏡検出器システムは、EMおよび/または荷電粒子顕微鏡のコンポーネント要素であってもよく、または別個の検出および/またはイメージングシステムのコンポーネント要素であってもよい。
図4は、さらに、二次顕微鏡検出器システムからの検出器データを使用して判定されるサンプル領域404の組成情報を示すグラフ410を示している。具体的には、グラフ410は、顕微鏡分散X線検出器システムからの検出されたX線データに対するX線分散分析を使用して導出された組成情報を示している。グラフ410のピークを分析することにより、コンピューティングシステムは、サンプル領域404の組成的構成を判定することができる。さらに、図4は、第2の顕微鏡画像408および第2のラベル付き画像412を生成するために使用されるグラフ410を示している。すなわち、図4は、一次顕微鏡検出器とは異なるモダリティの二次顕微鏡検出器システムが使用されてラベル付き画像を生成することができる方法を示している。図4はまた、第1の顕微鏡画像402および第2のラベル付き画像414を生成するために使用される第2のラベル付き画像412を示している。換言すれば、図4は、二次顕微鏡検出器を介して取得されたラベル付き画像が使用されて一次顕微鏡検出器を介して取得されたモノクロ画像を自動的にラベル付けすることができる方法を示している。
図5および図6は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装可能な一連の動作を表す論理フローグラフのブロックの集合として示される例示的なプロセスのフロー図である。ソフトウェアの文脈では、ブロックは、1つ以上のプロセッサによって実行されたときに、記載された動作を実行する1つ以上のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令には、特定の機能を実行したりまたは特定の抽象データ型を実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が説明される順序は、限定として解釈されるようには意図されておらず、任意数の説明されたブロックは、プロセスを実装するために、任意の順序および/または並列で組み合わせられることができる。
図5は、異なるモダリティの二次顕微鏡検出器システムからの検出器データを活用することによって一次顕微鏡検出器システムからラベル付き画像を生成する例示的なプロセス500のフロー図である。プロセス500は、例示的なEMおよび/または荷電粒子顕微鏡セットアップ100において、および上述したコンピューティングアーキテクチャ300によって、または他の環境およびアーキテクチャにおいて実装されることができる。
502では、集束荷電ビームがサンプルに印加される。具体的には、電子および/またはイオンの集束荷電ビームがサンプルの一部に導かれる。例えば、EM顕微鏡セットアップは、電子ビームを生成して放射軸に沿ってサンプルに向かって導く電子源を含むことができる。代替的にまたは追加的に、荷電粒子顕微鏡セットアップは、イオンビームを生成して放射軸に沿ってサンプルに向かって導くイオン源を含むことができる。
504では、第1のモダリティの第1の検出器データが生成される。具体的には、第1のモダリティの一次顕微鏡検出器システムは、サンプルに入射する集束荷電ビームの結果としてサンプルを通って放射、反射、および/または透過される電子、イオン、光子、X線などを検出するように配置される。様々な実施形態では、一次検出器システムは、走査型電子顕微鏡検出器システム、暗視野検出器、明視野検出器、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出器システム、集束イオンビーム二次電子検出器システム、および光学顕微鏡検出器システムを含むことができる。
506では、第1の検出器データから第1の画像が生成される。例えば、コンピューティング装置は、サンプルの一部に対応するために一次顕微鏡検出器システムから受信した検出器データに基づいて、第1の画像の個々の部分(すなわち、ピクセル)の色/勾配値を選択するように構成されることができる。
508では、第1のモダリティとは異なる第2のモダリティの第2の検出器データが生成される。具体的には、第2のモダリティの二次顕微鏡検出器システムは、サンプルに入射する集束荷電ビームの結果としてサンプルを通って放射、反射、および/または透過される電子、イオン、光子、X線などを検出するように配置される。あるいは、二次顕微鏡検出器システムは、サンプルに入射する異なる集束荷電ビームの結果としてサンプルを通って放射、反射、および/または透過される電子、イオン、光子、X線などを検出するように配置されてもよい。第2の検出器データは、第1の検出器データが生成されるのと同時に生成されてもよく、または異なる期間にわたって生成されてもよい。例えば、第1の検出器データが生成される第1の期間にわたって集束荷電ビームがサンプルに印加されることができ、第2の検出器データが生成される第2の期間中に電子ビームがサンプルに印加される。様々な実施形態では、二次顕微鏡検出器システムは、高角度暗視野検出器システム、分散X線検出器システム、後方散乱検出器システム、電子エネルギ損失分光検出器システム、二次イオン検出器システム、および二次イオン質量分光検出器システムのうちの1つ以上に対応することができる。
510では、第2のラベル付き画像が自動的に生成される。第2のラベル付き画像は、第2のモダリティの第2の検出器データに基づいて生成され、第2の画像に描写されているものの組成に関する情報を含むサンプルまたはその一部の画像である。第2のラベル付き画像を自動的に生成することは、必要に応じて、512においてサンプルの第2の画像の生成を含んでもよい。例えば、コンピューティング装置は、二次顕微鏡検出器システムから受信した第2のモダリティの第2の検出器データに基づいて、サンプルの第2の画像を自動的に生成してもよい。コンピューティング装置は、サンプルの対応する部分の二次顕微鏡検出器システムから受信した第2のモダリティの検出器データに基づいて、サンプルの第2の画像の個々の部分(すなわち、ピクセル)の色/勾配値を選択するように構成されることができる。
いくつかの実施形態では、第2のラベル付き画像を自動的に生成することは、必要に応じて、510においてサンプルの一部に関する組成情報を判定することをさらに含んでもよい。例えば、コンピューティング装置は、集束荷電ビームが入射するサンプルの1つ以上の部分に関する組成情報を生成してもよい。組成情報は、二次顕微鏡検出器システムから受信した第2のモダリティの第2の検出器データに基づいて判定されることができる。例えば、二次顕微鏡検出器システムが分散X線検出器である場合、コンピューティング装置は、第2の検出器データに対してX線分光分析を行うことにより、サンプルの一部の組成情報を判定することができる。
さらに、第2のラベル付き画像を自動的に生成することは、必要に応じて、512において組成情報によってサンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることをさらに含んでもよい。様々な実施形態では、第2の画像をラベル付けすることは、第2の画像の一部にタグ付けすること、第2の画像の一部に関連付けられたメタデータに組成情報を追加すること、第2の画像についてのデータ構造(すなわち、テーブル、ファイルなど)に組成情報を追加すること、またはその組み合わせを含むことができる。
518では、第1の画像は、第2のラベル付き画像を使用して自動的にラベル付けされる。例えば、サンプルの特定の部分を描写する第1の画像の領域について、コンピューティング装置は、サンプルの同じ部分を描写する第2のラベル付き画像の領域を特定した後、第2のラベル付き画像のその部分からの組成情報によって第1の画像のその領域をラベル付けすることができる。コンピューティング装置は、このプロセスを繰り返して、追加の領域および/または第1の画像全体をラベル付けすることができる。コンピューティング装置は、ピクセルマッピング、一次顕微鏡検出器システムおよび二次顕微鏡検出器システムによって生成された画像のトレーニングセットを使用してトレーニングされる機械学習アルゴリズム、画像の特性などに基づいて、第1の画像の部分に対応する第2の画像の部分を判定することができる。
図6は、異なるモダリティの二次顕微鏡検出器システムからの検出器データを活用することによって一次顕微鏡検出器システムからラベル付き画像を生成する拡張された例示的プロセス600のフロー図である。プロセス600は、例示的なEMおよび/または荷電粒子顕微鏡セットアップ100において、および上述したコンピューティングアーキテクチャ300によって、または他の環境およびアーキテクチャにおいて実装されることができる。
602では、集束荷電ビームがサンプルに印加される。具体的には、電子および/またはイオンの集束荷電ビームがサンプルの一部に導かれる。例えば、EM顕微鏡セットアップは、電子ビームを生成して放射軸に沿ってサンプルに向かって導く電子源を含むことができる。代替的にまたは追加的に、荷電粒子顕微鏡セットアップは、イオンビームを生成して放射軸に沿ってサンプルに向かって導くイオン源を含むことができる。
604では、サンプルの第1の画像が生成される。具体的には、コンピューティング装置は、一次顕微鏡検出器システムによって生成された第1の検出器データに基づいて第1の画像を生成することができる。例えば、コンピューティング装置は、サンプルの一部に対応するために一次顕微鏡検出器システムから受信した検出器データに基づいて、第1の画像の個々の部分(すなわち、ピクセル)の色/勾配値を選択するように構成されることができる。様々な実施形態では、一次検出器システムは、走査型電子顕微鏡検出器システム、暗視野検出器、明視野検出器、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出器システム、集束イオンビーム二次電子検出器システム、および光学顕微鏡検出器システムを含むことができる。
606および608では、第1の画像を手動でラベル付けするのに必要な第1の期間が必要に応じて推定され、第2のラベル付き画像を生成して第1の画像を自動的にラベル付けするのに必要な第2の期間が必要に応じて推定される。610では、第2の画像を取得するための1つ以上のモダリティが必要に応じて選択される。例えば、コンピューティング装置は、最短時間で、最大精度で、またはそれらの組み合わせで、第2のラベル付き画像を生成することができる検出器モダリティを使用して第2の画像を取得するように判定することができる。検出器モダリティは、一次顕微鏡検出器システムと同じEM/荷電粒子顕微鏡システムの二次検出器システム、および/または別個のイメージング/検出システムの検出器システムに対応することができる。
612では、第1の画像を自動的にラベル付けするかどうかが判定される。いくつかの実施形態では、画像に手動でタグ付けするよりも効率的であるかどうかに基づいて、第1の画像を自動的にラベル付けするかどうかが判定される。612における回答が否定である場合、プロセスは、ステップ614に続き、第1の画像は、人間のオペレータによって手動でラベル付けされる。616では、第2のラベル付き画像は、必要に応じて機械学習プログラムをトレーニングするために使用される。例えば、電子顕微鏡(EM)によって取得された画像の異常を自動的に分析、ラベル付け、および/または修正するための深層学習アルゴリズムをトレーニングするために使用されるEM画像のトレーニングセットに第2のラベル付き画像が追加されることができる。
612における回答が肯定である場合、プロセスは、ステップ618に続き、必要に応じて集束荷電ビームがサンプルに印加される。具体的には、電子および/またはイオンの他の集束荷電ビームがサンプルの一部に導かれる。集束荷電ビームは、異なるタイプ(例えば、電子ビーム対イオンビーム)のものとすることができるか、異なるソースによって生成されることができるか、またはそれらの組み合わせとすることができる。さらに、集束荷電ビームはまた、ステップ602における集束荷電ビームの印加の前、後、またはそれと同時にサンプルに印加されることもできる。
620では、異なるモダリティの検出器データが生成される。具体的には、一次顕微鏡システムとは異なるモダリティの二次顕微鏡検出器システムが配置され、ステップ602または618においてサンプルに入射する集束荷電ビームの結果としてサンプルによって放射、反射、および/またはそれを通って透過される電子、イオン、光子、X線などを検出する。様々な実施形態では、二次顕微鏡検出器システムは、高角度暗視野検出器システム、分散X線検出器システム、後方散乱検出器システム、電子エネルギ損失分光検出器システム、二次イオン検出器システム、および二次イオン質量分光検出器システムのうちの1つ以上に対応することができる。
622では、二次顕微鏡検出器システムからの検出器データを使用して第2のラベル付き画像が生成される。第2のラベル付き画像は、第2の画像に描写されているものの組成に関する情報を含むサンプルまたはその一部の画像である。いくつかの実施形態では、複数のラベル付き画像が622において生成された後、第2の画像のラベルの組成情報の精度を確認および/または検証するために使用されることができる。例えば、コンピューティング装置は、二次イオン検出器システムから受信した検出器データに基づいてラベル付き画像を生成し、高角度暗視野検出器から受信した検出器データに基づいて他のラベル付き画像を生成し、その後、2つのラベル付き画像に描写されているサンプルの各部分についての関連する組成情報を比較および/または確認することができる。このようにして、コンピューティング装置は、第2のラベル付き画像の精度を検証することができる。組成情報が検証されることができない場合、画像の領域は、手動タグ付けのためにフラグ付けされることができる。
第2のラベル付き画像を生成することは、必要に応じて、624においてサンプルの第2の画像を生成することを含んでもよい。例えば、コンピューティング装置は、二次顕微鏡検出器システムから受信した検出器データに基づいてサンプルの第2の画像を自動的に生成してもよい。そのようなコンピューティング装置は、サンプルの対応する部分について二次顕微鏡検出器システムから受信した検出器データに基づいて、サンプルの第2の画像の個々の部分(すなわち、ピクセル)の色/勾配値を選択するように構成されることができる。
いくつかの実施形態では、第2のラベル付き画像を自動的に生成することは、必要に応じて、626においてサンプルの一部に関する組成情報を判定することをさらに含んでもよい。例えば、コンピューティング装置は、集束荷電ビームが入射するサンプルの1つ以上の部分に関する組成情報を生成してもよい。組成情報は、二次顕微鏡検出器システムから受信した検出器データに基づいて判定されることができる。例えば、二次顕微鏡検出器システムが分散X線検出器である場合、コンピューティング装置は、検出器データに対してX線分光分析を行うことにより、サンプルの一部の組成情報を判定することができる。閾値信頼レベル内の画像の領域について組成情報が判定されることができない場合、画像の領域は、手動タグ付けのためにフラグ付けされることができる。
さらに、第2のラベル付き画像を自動的に生成することは、必要に応じて、628において組成情報によってサンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることをさらに含む。様々な実施形態では、第2の画像をラベル付けすることは、第2の画像の一部にタグ付けすること、画像の一部に関連付けられたメタデータに組成情報を追加すること、第2の画像についてのデータ構造(すなわち、テーブル、ファイルなど)に組成情報を追加すること、またはその組み合わせを含むことができる。
630では、第2のラベル付き画像を使用して、第1のラベル付き画像が自動的に生成される。例えば、サンプルの特定の部分を描写する第2の画像の領域について、コンピューティング装置は、サンプルの同じ部分を描写する第1のラベル付き画像の領域を特定した後、第2のラベル付き画像のその部分からの組成情報によって第1の画像のその領域をラベル付けすることができる。第1のラベル付き画像を生成することは、必要に応じて、632において第2の画像の領域に対応する第1の画像の領域を判定することを含む。いくつかの実施形態では、コンピューティング装置は、第2のラベル付き画像を使用してラベル付けおよび/またはセグメント化される第1の画像の領域のユーザ選択を受信することができる。ユーザ選択は、キーボード、マウス、タッチパッド、タッチスクリーンなどを介して入力されることができる。例えば、コンピューティング装置は、第1の画像を表示し、自動的にラベル付けされる第1の画像の領域を特定する機能を提供することができる。コンピューティング装置は、ピクセルマッピング、一次顕微鏡検出器システムおよび二次顕微鏡検出器システムによって生成された画像のトレーニングセットを使用してトレーニングされる機械学習アルゴリズム、画像の特性などに基づいて、第1の画像の部分に対応する第2の画像の部分を判定することができる。
いくつかの実施形態では、第1のラベル付き画像を生成することは、必要に応じて、634において組成情報によってサンプルの部分に関連付けられた第1の画像の領域を自動的にラベル付けすることをさらに含む。コンピューティング装置は、ステップ632および634のプロセスを繰り返して、追加の領域および/または第1の画像全体をラベル付けすることができる。そして、プロセスは、ステップ616に移動し、この場合、第1のラベル付き画像は、必要に応じて、機械学習プログラムをトレーニングするために使用される。
本開示にかかる発明の主題の例は、以下の列挙された段落に記載されている。
A1.異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって第1のモダリティの顕微鏡検出器からラベル付き画像を生成する方法において、集束荷電ビームをサンプルに印加することと、X線検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射に基づいて、X線検出器データを生成することと、コンピューティング装置の1つ以上のプロセッサにより、X線検出器データに基づいて、第1のラベル付き画像を自動的に生成することであって、第1のラベル付き画像を自動的に生成することが、1つ以上のプロセッサにより、X線検出器データに基づいて、サンプルの第1の画像を生成することと、1つ以上のプロセッサにより、X線検出器データに基づいて、エネルギ分散型X線分光法を使用して、サンプルの一部に関する組成情報を判定することとを備えることと、1つ以上のプロセッサにより、組成情報によってサンプルの一部に関連付けられた第1の画像の領域を自動的にラベル付けすることと、サンプルに入射する集束荷電ビームから生じる放射に基づいて、X線検出器システムとは異なるモダリティの顕微鏡検出器システムを使用して第2の画像を生成することと、1つ以上のプロセッサにより、第2の画像および第1の画像に基づいて、組成情報によってサンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることとを備える、方法。
A2.顕微鏡検出器システムが、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出システム、集束イオンビーム二次電子検出器システム、走査型透過電子顕微鏡明視野検出システム、および光学顕微鏡検出器システムのうちのいずれかである、段落A1の方法。
A3.組成情報によってサンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることが、第1の画像の領域の第1のピクセル位置を判定することと、第1のピクセル位置に対応する第2の画像の第2のピクセル位置を判定することと、組成情報によって第2の画像の第2のピクセル位置をラベル付けすることとを備える、段落A1−A2のいずれかの方法。
A3.1.第2の画像の第2のピクセル位置が第1のピクセル位置に対応することを判定することが、X線検出器システムから生成された画像と顕微鏡検出器システムから生成された画像との間のピクセルマッピングに基づいている、段落A3の方法。
A3.1.1.マッピングがラベル付き画像のトレーニングセットを使用してトレーニングされた機械学習プログラムによって生成され、ラベル付き画像のトレーニングセットが、X線検出器システムを使用して生成された複数の画像を含み、X線検出器システムを使用して生成された各画像について、ラベル付き画像のトレーニングセットが、顕微鏡検出器システムを使用して生成された同じサンプルの対応する画像を含む、段落A3.1の方法。
A3.2.第1のピクセル位置に対応する第2の画像の第2のピクセル位置を判定することが、第1のピクセル位置の1つ以上の画像特性を特定することと、1つ以上の画像特性に類似する少なくとも1つの画像特性を有する第2の画像内の1つ以上の位置を特定することとを備える、段落A3の方法。
A3.2.1.1つ以上の画像特性および/または少なくとも1つの画像特性が、エッジと、ラインと、形状と、コントラスト変化と、エッジに対する近接性と、ラインに対する近接性と、形状に対する近接性と、コントラスト変化に対する近接性とを含む、段落A3.2の方法。
A3.3.組成情報によってサンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることが、X線検出器システムおよび顕微鏡検出器システムのうちの1つにおける歪みを考慮するアルゴリズムを適用することをさらに含む、段落A3−A3.2.1のいずれかの方法。
B1.異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって顕微鏡検出器からラベル付き画像を生成する方法において、
集束荷電ビームをサンプルに印加することと、
第1のモダリティの第1の顕微鏡検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射に基づいて、第1のモダリティの第1の検出器データを生成することと、
コンピューティング装置の1つ以上のプロセッサにより、第1のモダリティの第1の検出器データに基づいて、第1のラベル付き画像を自動的に生成することであって、第1のラベル付き画像を自動的に生成することが、
1つ以上のプロセッサにより、第1の検出器データに基づいて、サンプルの第1の画像を生成することと、
1つ以上のプロセッサにより、第1の検出器データに基づいて、サンプルの一部に関する組成情報を判定することと、を備えることと、
1つ以上のプロセッサにより、組成情報によってサンプルの一部に関連付けられた第1の画像の領域を自動的にラベル付けすることと、
サンプルに入射する集束荷電ビームから生じる放射に基づいて、第1のモダリティとは異なる第2のモダリティの第2の顕微鏡検出器システムを使用して第2の画像を生成することと、
1つ以上のプロセッサにより、第2の検出器データおよび第1のラベル付き画像に基づいて、組成情報によってサンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることと、を備える、方法。
B2.第1のモダリティの第1の顕微鏡検出器システムが、走査型電子顕微鏡高角暗視野検出器システム、走査型透過電子顕微鏡エネルギ分散X線検出器システム、走査型電子顕微鏡後方散乱検出器システム、走査型電子顕微鏡エネルギ分散X線検出器システム、走査型透過電子顕微鏡電子エネルギ損失分光検出器システム、集束イオンビーム二次イオン検出器システム、および集束イオンビーム二次イオン質量分光検出器システムのうちのいずれかである、段落B1の方法。
B3.第2のモダリティの第2の顕微鏡検出器システムが、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出システム、集束イオンビーム二次電子検出器システム、走査型透過電子顕微鏡明視野検出システム、および光学顕微鏡検出器システムのうちのいずれかである、段落B1−B2のいずれかの方法。
B4.組成情報によってサンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることが、第1の画像の領域の第1のピクセル位置を判定することと、第1のピクセル位置に対応する第2の画像の第2のピクセル位置を判定することと、組成情報によって第2の画像の第2のピクセル位置をラベル付けすることとを備える、段落B1−B3のいずれかの方法。
B4.1.第2の画像の前記第2のピクセル位置が第1のピクセル位置に対応することを判定することが、第1の顕微鏡検出器システムから生成された画像と第2の顕微鏡検出器システムから生成された画像との間のピクセルマッピングに基づいている、段落B4の方法。
B4.1.1.マッピングがラベル付き画像のトレーニングセットを使用してトレーニングされた機械学習プログラムによって生成され、ラベル付き画像のトレーニングセットが、第1の顕微鏡検出器システムを使用して生成された複数の画像を含み、第1の顕微鏡検出器システムを使用して生成された各画像について、ラベル付き画像のトレーニングセットが、第2の顕微鏡検出器システムを使用して生成された同じサンプルの対応する画像を含む、段落B4.1の方法。
B4.2.第1のピクセル位置に対応する第2の画像の第2のピクセル位置を判定することが、第1のピクセル位置の1つ以上の画像特性を特定することと、1つ以上の画像特性に類似する少なくとも1つの画像特性を有する第2の画像内の1つ以上の位置を特定することとを備える、段落B4の方法。
B4.2.1.1つ以上の画像特性および/または少なくとも1つの画像特性が、エッジと、ラインと、形状と、コントラスト変化と、エッジに対する近接性と、ラインに対する近接性と、形状に対する近接性と、コントラスト変化に対する近接性とを含む、段落B4.2の方法。
B4.3.組成情報によってサンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることが、第1の顕微鏡検出器システムおよび第2の顕微鏡検出器システムのうちの1つにおける歪みを考慮するアルゴリズムを適用することをさらに備える、段落B4−B4.2.1のいずれかの方法。
B4.4.第1の画像の領域の第1のピクセル位置および/または第2の画像の第2のピクセル位置が個々のピクセルである、段落B4−B4.3のいずれかの方法。
B4.5.第1の画像の領域の第1のピクセル位置および/または第2の画像の第2のピクセル位置が複数のピクセルである、段落B4−B4.3のいずれかの方法。
B5.集束荷電ビームをサンプルに印加することが、第1の期間にわたって集束荷電ビームをサンプルに印加することであって、第1のモダリティの第1の検出器データが、第1の期間中にサンプルに入射する集束荷電ビームから生じる放射に基づいて生成されることと、第1の期間とは異なる第2の期間にわたって集束荷電ビームをサンプルに印加することであって、第2のモダリティの第2の検出器データが、第2の期間中にサンプルに入射する集束荷電ビームから生じる追加の放射に基づいて生成されることとを備える、段落B1−B4.3のいずれかの方法。
B5.1.第1の期間が第2の期間の前である、段落B5の方法。
B5.2.第2の期間が第1の期間の前である、段落B5の方法。
B6.集束荷電ビームをサンプルに印加することが、第1の期間にわたって集束荷電ビームをサンプルの一部に印加することと、第1の期間とは異なる第2の期間にわたって集束荷電ビームをサンプルの追加部分に印加することとを備える、段落B1−B4.3のいずれかの方法。
B6.1.第1のモダリティの第1の検出器データおよび第2のモダリティの第2の検出器データが、第1の期間中にサンプルの一部に入射する集束荷電ビームから生じる放射に基づいて生成される、段落B6の方法。
B6.2.第1のモダリティの第1の顕微鏡検出器システムを使用して、第2の期間にわたってサンプルの追加部分に入射する集束荷電ビームから生じる追加の放射に基づいて、第1のモダリティの第3の検出器データを生成することと、1つ以上のプロセッサにより、第3の検出器データに基づいて、サンプルの追加部分に関する追加組成情報を判定することと、1つ以上のプロセッサにより、追加組成情報によってサンプルの追加部分に関連付けられた第2の画像の追加領域を自動的にラベル付けすることとをさらに備える、段落B6−B6.1のいずれかの方法。
B7.集束荷電ビームをサンプルに印加することが、集束荷電ビームをサンプルの一部に印加することを備える、段落B1−B7.2のいずれかの方法。
B8.サンプルの第1の画像を判定することが、第1の検出器データに基づいて、サンプルの一部に関連付けられた色値を判定することと、第1の画像を生成することとを備え、サンプルの一部に関連付けられた第1の画像の領域が色値を有する、段落B1−B7のいずれかの方法。
B9.さらに、第3のモダリティの第3顕微鏡検出器システムを使用して、サンプルに入射する集束荷電ビームから生じる放射に基づいて、第3のモダリティの第3の検出器データを生成することと、1つ以上のプロセッサにより、第3のモダリティの第3の検出器データに基づいて、第3のラベル付き画像を自動的に生成することとを備え、第3のラベル付き画像を生成することが、1つ以上のプロセッサにより、第3の検出器データに基づいて、サンプルの第3の画像を生成することと、1つ以上のプロセッサにより、第3の検出器データに基づいて、サンプルの一部に関する追加の組成情報を判定することと、を備える、段落B1−B8の方法。
B9.1.サンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることが、組成情報が追加の組成情報と一致することを判定することと、追加の組成情報と一致する組成情報に基づいて、組成情報によってサンプルの一部に関連付けられた第2の画像の領域をラベル付けすることとを備える、段落B9の方法。
B9.2.サンプルの一部に関連付けられた第2の画像の領域を自動的にラベル付けすることが、組成情報が追加の組成情報と一致しないことを判定することと、追加の組成情報と一致しない組成情報に基づいて、ユーザ入力を必要とするときにサンプルの一部に関連付けられた第2のラベル付き画像の領域をフラグ付けすることとを備える、段落B9の方法。
B10.さらに、機械学習を使用して第2の画像をラベル付けするために第1の時間を推定することと、第1の画像を生成し、第1の画像をラベル付けし、第1の画像を活用して第2の画像をラベル付けするために、第2の時間を推定することと、第2の時間よりも長い第1の時間に基づいて、段落B1−B9.2の方法を実行することを判定することとを備える、段落B1−B9.2の方法。
B11.さらに、第1の画像を生成し、第1の画像をラベル付けし、第1の画像を活用して第2の画像をラベル付けするために、第1の時間を推定することと、第3のモダリティの第3の顕微鏡検出器システムを使用して第3の画像を生成し、第3のモダリティの第3の検出器データを使用して第3の画像をラベル付けし、第3の画像を活用して第2の画像をラベル付けするために、第2の時間を推定することと、第2の時間よりも短い第1の時間に基づいて、段落B1−B10の方法を実行することを判定することとを備える、段落B1−B10のいずれかの方法。
C1.異なるモダリティの顕微鏡検出器からの検出器データを活用することによって第1のモダリティの顕微鏡検出器からラベル付き画像を生成するシステムにおいて、サンプルを支持するように構成されたプラットフォームと、集束荷電ビームをサンプルに印加するように構成された集束荷電ビーム源と、X線検出器システムと、X線検出器システムとは異なるモダリティの顕微鏡検出器システムと、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに段落A1−A3.3のいずれかの方法を実行させる非一時的コンピュータ可読命令を記憶するメモリと、を備える、システム。
C2.顕微鏡検出器システムが、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出システム、集束イオンビーム二次電子検出器システム、走査型透過電子顕微鏡明視野検出システム、および光学顕微鏡検出器システムのうちのいずれかである、段落C1の方法。
D1.異なるモダリティの顕微鏡検出器からの検出器データを活用することによって第1のモダリティの顕微鏡検出器からラベル付き画像を生成するシステムにおいて、サンプルを支持するように構成されたプラットフォームと、集束荷電ビームをサンプルに印加するように構成された集束荷電ビーム源と、第1のモダリティの第1の顕微鏡検出器システムと、第1のモダリティとは異なる第2のモダリティの第2の顕微鏡検出器システムと、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに段落B1−B11のいずれかの方法を実行させる非一時的コンピュータ可読命令を記憶するメモリと、を備える、システム。
D2.第1のモダリティの第1の顕微鏡検出器システムが、走査型電子顕微鏡高角暗視野検出器システム、走査型透過電子顕微鏡エネルギ分散X線検出器システム、走査型電子顕微鏡後方散乱検出器システム、走査型電子顕微鏡エネルギ分散X線検出器システム、走査型透過電子顕微鏡電子エネルギ損失分光検出器システム、集束イオンビーム二次イオン検出器システム、および集束イオンビーム二次イオン質量分光検出器システムのうちのいずれかである、段落D1の方法。
D3.第2のモダリティの第2の顕微鏡検出器システムが、走査型電子顕微鏡検出器システム、集束イオンビーム検出器システム、走査型電子顕微鏡二次電子検出システム、集束イオンビーム二次電子検出器システム、走査型透過電子顕微鏡明視野検出システム、および光学顕微鏡検出器システムのうちのいずれかである、段落D1−D2のいずれかの方法。
E1.段落A1−A3.3およびB1−B11のいずれかの方法を実行するための段落C1−C2およびD1−D3のいずれかのシステムの使用。
F1.プロセッサによって実行されると、プロセッサに段落A1−A3.3およびB1−B11のいずれかの方法の実行を開始させる命令を記憶する非一時的コンピュータ可読媒体。
G1.段落A1−A3.3およびB1−B11のいずれかの方法を実行するための段落F1の非一時的コンピュータ可読媒体の使用。
100 EMおよび/または荷電粒子顕微鏡セットアップ
102 第1の顕微鏡検出器システム
104 第2の顕微鏡検出器システム
106 STEMシステム
108、152 電子源
110、123、154、168 電子ビーム
112、156 放射軸
114 集束カラム
116 コンデンサレンズ
118 開口
120、162 走査コイル
122 上部対物レンズ
124、164 サンプル
126 サンプルホルダ
128 電子
130 プロジェクタ
132 コンピューティング装置
134 明視野検出器
136 暗視野検出器
150 SEM/EDXシステム
158 粒子光学カラム
160 複合レンズシステム
166 レンズ系
170 サンプルステージ
300 コンピューティングアーキテクチャ
302 プロセッサ
304 メモリ
306 制御モジュール
308 第1のモダリティ画像生成モジュール
310 第2のモダリティ画像生成モジュール
312 第2のモダリティ組成判定モジュール
314 マッピングモジュール
400 サンプルプロセス
402 第1の顕微鏡画像
404 サンプル領域
406 半導体サンプル
408 第2の顕微鏡画像
410 グラフ
412、414 第2のラベル付き画像
500、600 プロセス
102 第1の顕微鏡検出器システム
104 第2の顕微鏡検出器システム
106 STEMシステム
108、152 電子源
110、123、154、168 電子ビーム
112、156 放射軸
114 集束カラム
116 コンデンサレンズ
118 開口
120、162 走査コイル
122 上部対物レンズ
124、164 サンプル
126 サンプルホルダ
128 電子
130 プロジェクタ
132 コンピューティング装置
134 明視野検出器
136 暗視野検出器
150 SEM/EDXシステム
158 粒子光学カラム
160 複合レンズシステム
166 レンズ系
170 サンプルステージ
300 コンピューティングアーキテクチャ
302 プロセッサ
304 メモリ
306 制御モジュール
308 第1のモダリティ画像生成モジュール
310 第2のモダリティ画像生成モジュール
312 第2のモダリティ組成判定モジュール
314 マッピングモジュール
400 サンプルプロセス
402 第1の顕微鏡画像
404 サンプル領域
406 半導体サンプル
408 第2の顕微鏡画像
410 グラフ
412、414 第2のラベル付き画像
500、600 プロセス
Claims (20)
- 異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって第1のモダリティの顕微鏡検出器からラベル付き画像を生成する方法において、
集束荷電ビームをサンプルに印加することと、
X線検出器システムを使用して、前記サンプルに入射する前記集束荷電ビームから生じる放射に基づいて、X線検出器データを生成することと、
コンピューティング装置の1つ以上のプロセッサにより、前記X線検出器データに基づいて、前記サンプルの少なくとも一部に関する組成情報を含む第1のラベル付き画像を自動的に生成することであって、前記第1のラベル付き画像を自動的に生成することが、
前記1つ以上のプロセッサにより、前記X線検出器データに基づいて、前記サンプルの第1の画像を生成することと、
前記1つ以上のプロセッサにより、前記X線検出器データに基づいて、エネルギ分散型X線分光法を使用して、前記サンプルの一部に関する組成情報を判定することと、
前記1つ以上のプロセッサにより、前記組成情報によって前記サンプルの一部に関連付けられた前記第1の画像の領域を自動的にラベル付けすることと、を備えることと、
前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて、前記X線検出器システムとは異なるモダリティの顕微鏡検出器システムを使用して第2の画像を生成することと、
前記1つ以上のプロセッサにより、前記第2の画像および前記第1の画像に基づいて、前記第1のラベル付き画像からの前記組成情報によって前記サンプルの一部に関連付けられた前記第2の画像の領域を自動的にラベル付けすることと、を備える、方法。 - 前記組成情報によって前記サンプルの一部に関連付けられた前記第2の画像の前記領域を自動的にラベル付けすることが、前記第1の画像の前記領域の第1のピクセル位置を判定することと、前記第1のピクセル位置に対応する前記第2の画像の第2のピクセル位置を判定することと、前記組成情報によって前記第2の画像の前記第2のピクセル位置をラベル付けすることとを備える、請求項1に記載の方法。
- 異なるモダリティの顕微鏡検出器からの検出器データを活用することによって第1のモダリティの顕微鏡検出器からラベル付き画像を生成するシステムにおいて、
前記サンプルを支持するように構成されたプラットフォームと、
集束荷電ビームを前記サンプルに印加するように構成された集束荷電ビーム源と、
X線検出器システムと、
前記X線検出器システムとは異なるモダリティの顕微鏡検出器システムと、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに請求項1に記載の方法を実行させる非一時的コンピュータ可読命令を記憶するメモリと、を備える、システム。 - 異なるモダリティの異なる顕微鏡検出器からの検出器データを活用することによって顕微鏡検出器からラベル付き画像を生成する方法において、
集束荷電ビームをサンプルに印加することと、
第1のモダリティの第1の顕微鏡検出器システムを使用して、前記サンプルに入射する前記集束荷電ビームから生じる放射に基づいて、前記第1のモダリティの第1の検出器データを生成することと、
コンピューティング装置の1つ以上のプロセッサにより、前記第1のモダリティの前記第1の検出器データに基づいて、前記サンプルの一部に関する組成情報を含む第1のラベル付き画像を自動的に生成することと、
前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて、前記第1のモダリティとは異なる第2のモダリティの第2の顕微鏡検出器システムからの第2の検出器データを使用して前記サンプルの第2の画像を生成することと、
前記1つ以上のプロセッサにより、前記第2の検出器データおよび前記第1のラベル付き画像に基づいて、前記第1のラベル付き画像からの前記組成情報によって前記サンプルの一部に関連付けられた前記第2の画像の領域を自動的にラベル付けすることと、を備える、方法。 - 前記第1のモダリティの前記第1の顕微鏡検出器システムが、
走査型電子顕微鏡高角度暗視野検出器システム、
走査透過電子顕微鏡エネルギ分散X線検出器システム、
走査型電子顕微鏡後方散乱検出器システム、
走査型電子顕微鏡エネルギ分散X線検出器システム、
走査型透過電子顕微鏡電子エネルギ損失分光検出器システム、
集束イオンビーム二次イオン検出器システム、および
集束イオンビーム二次イオン質量分光検出器システム、のいずれかである、請求項4に記載の方法。 - 前記第2のモダリティの前記第2の顕微鏡検出器システムが、
走査型電子顕微鏡検出器システム、
集束イオンビーム検出器システム、
走査型電子顕微鏡二次電子検出システム、
集束イオンビーム二次電子検出器システム、
走査型透過電子顕微鏡明視野検出器システム、および
光学顕微鏡検出器システム、のいずれかである、請求項4から5のいずれか一項に記載の方法。 - 前記第1のラベル付き画像を自動的に生成することが、
前記1つ以上のプロセッサにより、前記第1の検出器データに基づいて、前記サンプルの第1の画像を生成することと、
前記1つ以上のプロセッサにより、前記第1の検出器データに基づいて、前記サンプルの一部に関する前記組成情報を判定することと、
前記1つ以上のプロセッサにより、前記組成情報によって前記サンプルの一部に関連付けられた前記第1の画像の領域を自動的にラベル付けすることと、を備える、請求項4から6のいずれか一項に記載の方法。 - 前記組成情報によって前記サンプルの一部に関連付けられた前記第2の画像の前記領域を自動的にラベル付けすることが、前記第1の画像の前記領域の第1のピクセル位置を判定することと、前記第1のピクセル位置に対応する前記第2の画像の第2のピクセル位置を判定することと、前記組成情報によって前記第2の画像の前記第2のピクセル位置をラベル付けすることとを備える、請求項7に記載の方法。
- 前記第1の画像の前記領域の前記第1のピクセル位置および/または前記第2の画像の前記第2のピクセル位置が複数のピクセルである、請求項8に記載の方法。
- 前記第2の画像の前記第2のピクセル位置が前記第1のピクセル位置に対応することを判定することが、前記第1の顕微鏡検出器システムから生成された画像と前記第2の顕微鏡検出器システムから生成された画像との間のピクセルマッピングに基づいている、請求項8に記載の方法。
- 前記第1のピクセル位置に対応する前記第2の画像の前記第2のピクセル位置を判定することが、
前記第1のピクセル位置の1つ以上の画像特性を特定することと、
前記1つ以上の画像特性に類似した少なくとも1つの画像特性を有する前記第2の画像内の1つ以上の位置を特定することと、を備える、請求項8に記載の方法。 - 前記1つ以上の画像特性および/または前記少なくとも1つの画像特性が、
エッジと、
ラインと、
形状と、
コントラスト変化と、
前記エッジに対する近接性と、
前記ラインに対する近接性と、
前記形状に対する近接性と、
前記コントラスト変化に対する近接性と、を含む、請求項11に記載の方法。 - 前記集束荷電ビームを前記サンプルに印加することが、
前記集束荷電ビームを第1の期間にわたって前記サンプルに印加することであって、前記第1のモダリティの前記第1の検出器データが、前記第1の期間中に前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて生成されることと、
前記集束荷電ビームを前記第1の期間とは異なる第2の期間にわたって前記サンプルに印加することであって、前記第2のモダリティの前記第2の検出器データが、前記第2の期間中に前記サンプルに入射する前記集束荷電ビームから生じる追加の放射に基づいて生成されることと、を備える、請求項4から12のいずれか一項に記載の方法。 - さらに、
第3のモダリティの第3の顕微鏡検出器システムを使用して、前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて、前記第3のモダリティの第3の検出器データを生成することと、
前記1つ以上のプロセッサにより、前記第3のモダリティの前記第3の検出器データに基づいて第3のラベル付き画像を自動的に生成することと、を備え、前記第3のラベル付き画像を生成することが、
前記1つ以上のプロセッサにより、前記第3の検出器データに基づいて、前記サンプルの第3の画像を生成することと、
前記1つ以上のプロセッサにより、前記第3の検出器データに基づいて、前記サンプルの一部に関する追加の組成情報を判定することと、を備える、請求項4から13のいずれか一項に記載の方法。 - 前記サンプルの一部に関連付けられた前記第2の画像の前記領域を自動的にラベル付けすることが、
前記組成情報が前記追加の組成情報と一致することを判定することと、
前記追加の組成情報と一致する前記組成情報に基づいて、前記組成情報によって前記サンプルの一部に関連付けられた前記第2の画像の前記領域をラベル付けすることとを備える、請求項14に記載の方法。 - 異なるモダリティの顕微鏡検出器からの検出器データを活用することによって第1のモダリティの顕微鏡検出器からラベル付き画像を生成するシステムにおいて、
前記サンプルを支持するように構成されたプラットフォームと、
集束荷電ビームを前記サンプルに印加するように構成された集束荷電ビーム源と、
前記第1のモダリティの前記第1の顕微鏡検出器システムと、
前記第1のモダリティとは異なる前記第2のモダリティの前記第2の顕微鏡検出器システムと、
1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに請求項5に記載の方法を実行させる非一時的コンピュータ可読命令を記憶するメモリと、を備える、システム。 - コンピューティング装置の1つ以上のプロセッサによって実行されると、前記コンピューティング装置に、
サンプルに入射する集束荷電ビームから生じる放射に基づいて、第1の顕微鏡検出器システムから第1のモダリティの第1の検出器データを受信させ、
前記第1のモダリティの前記第1の検出器データに基づいて、前記サンプルの少なくとも一部に関する組成情報を含む第1のラベル付き画像を自動的に生成させ、
前記サンプルに入射する前記集束荷電ビームから生じる前記放射に基づいて、第2の顕微鏡検出器システムから前記第1のモダリティとは異なる第2のモダリティの第2の検出器データを受信させ、
前記第2の検出器データを使用して前記サンプルの第2の画像を生成させ、
前記第1のラベル付き画像に基づいて、前記組成情報によって前記サンプルの一部に関連付けられた前記第2の画像の領域を自動的にラベル付けさせる、非一時的コンピュータ可読命令を記憶するコンピュータ可読媒体。 - 前記第1のラベル付き画像を自動的に生成することが、
前記第1の検出器データに基づいて、前記サンプルの第1の画像を生成することと、
前記第1の検出器データに基づいて、前記サンプルの一部に関する組成情報を判定することと、
前記組成情報によって前記サンプルの一部に関連付けられた前記第1の画像の領域を自動的にラベル付けすることと、を備える、請求項17に記載のコンピュータ可読媒体。 - 前記組成情報によって前記サンプルの一部に関連付けられた前記第2の画像の前記領域を自動的にラベル付けすることが、前記第1の画像の前記領域の第1のピクセル位置を判定することと、前記第1のピクセル位置に対応する前記第2の画像の第2のピクセル位置を判定することと、前記組成情報によって前記第2の画像の前記第2のピクセル位置をラベル付けすることとを備える、請求項18に記載のコンピュータ可読媒体。
- 前記第2の顕微鏡検出器システムが、前記サンプルの画像を生成する荷電粒子システムのコンポーネント検出器であり、前記第1の顕微鏡検出器システムが、前記サンプルの画像を生成する前記荷電粒子システムから分離されているシステムのコンポーネント検出器である、請求項17から19のいずれか一項に記載のコンピュータ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/375537 | 2019-04-04 | ||
US16/375,537 US10714309B1 (en) | 2019-04-04 | 2019-04-04 | Using images from secondary microscope detectors to automatically generate labeled images from primary microscope detectors |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020170702A true JP2020170702A (ja) | 2020-10-15 |
Family
ID=69845227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020067169A Pending JP2020170702A (ja) | 2019-04-04 | 2020-04-03 | 二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10714309B1 (ja) |
EP (1) | EP3719832A3 (ja) |
JP (1) | JP2020170702A (ja) |
KR (1) | KR20200117880A (ja) |
CN (1) | CN111795987B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230095798A1 (en) * | 2021-09-30 | 2023-03-30 | Fei Company | Methods and systems for elemental mapping |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9209500D0 (en) * | 1992-05-01 | 1992-06-17 | Link Analytical Ltd | X-ray analysis apparatus |
JP4057892B2 (ja) * | 2002-11-08 | 2008-03-05 | 株式会社キーエンス | 電子顕微鏡、電子顕微鏡の操作方法、電子顕微鏡の操作プログラムおよびコンピュータで読み取り可能な記録媒体 |
GB2428868B (en) * | 2005-10-28 | 2008-11-19 | Thermo Electron Corp | Spectrometer for surface analysis and method therefor |
JP4374456B2 (ja) * | 2006-01-05 | 2009-12-02 | 国立大学法人 東京大学 | カーボンナノチューブ自立膜及びその製造方法、並びにカーボンナノチューブ膜を有する構成体及びその製造方法 |
JP4851804B2 (ja) * | 2006-02-13 | 2012-01-11 | 株式会社日立ハイテクノロジーズ | 集束イオンビーム加工観察装置、集束イオンビーム加工観察システム及び加工観察方法 |
JP5712074B2 (ja) * | 2011-07-20 | 2015-05-07 | 株式会社日立ハイテクノロジーズ | 走査透過電子顕微鏡 |
US9129715B2 (en) * | 2012-09-05 | 2015-09-08 | SVXR, Inc. | High speed x-ray inspection microscope |
JP6335729B2 (ja) * | 2013-12-06 | 2018-05-30 | キヤノン株式会社 | 透過型ターゲットおよび該透過型ターゲットを備えるx線発生管 |
US20190287759A1 (en) * | 2014-01-27 | 2019-09-19 | Mochii, Inc. (D/B/A Voxa) | Transmission Electron Microscopy |
EP2958130A1 (en) * | 2014-06-18 | 2015-12-23 | Fei Company | Mathematical image assembly in a scanning-type microscope |
US10720303B2 (en) * | 2015-08-21 | 2020-07-21 | Hitachi High-Tech Corporation | Charged particle beam apparatus and alignment adjustment method of sample stage |
-
2019
- 2019-04-04 US US16/375,537 patent/US10714309B1/en active Active
-
2020
- 2020-03-17 EP EP20163667.7A patent/EP3719832A3/en not_active Withdrawn
- 2020-03-31 KR KR1020200039107A patent/KR20200117880A/ko unknown
- 2020-04-03 JP JP2020067169A patent/JP2020170702A/ja active Pending
- 2020-04-03 CN CN202010259162.2A patent/CN111795987B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111795987A (zh) | 2020-10-20 |
CN111795987B (zh) | 2024-07-05 |
KR20200117880A (ko) | 2020-10-14 |
EP3719832A3 (en) | 2020-12-30 |
EP3719832A2 (en) | 2020-10-07 |
US10714309B1 (en) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7903867B2 (en) | Method and apparatus for displaying detected defects | |
US20200371333A1 (en) | Microscopy method, microscope and computer program with verification algorithm for image processing results | |
TWI647442B (zh) | Defect classification device and defect classification method | |
JP7232911B2 (ja) | 電子ビーム画像向上のための完全自動semサンプリングシステム | |
US8450683B2 (en) | Image processing apparatus, an image generating method, and a system | |
US20220222822A1 (en) | Microscopy System and Method for Evaluating Image Processing Results | |
EP3979297A1 (en) | Depth reconstruction for 3d images of samples in a charged particle system | |
JP2020170702A (ja) | 二次顕微鏡検出器からの画像を使用した一次顕微鏡検出器からのラベル付き画像の自動生成 | |
KR20210147949A (ko) | 기계 학습을 위한 상관 슬라이스 및 뷰 이미지 주석 | |
JP7287957B2 (ja) | 放射線検出装置、コンピュータプログラム及び位置決め方法 | |
US20230035267A1 (en) | Dual speed acquisition for drift corrected, fast, low dose, adaptive compositional charged particle imaging | |
US10627351B2 (en) | Inspection of components for imperfections | |
US11282670B1 (en) | Slice depth reconstruction of charged particle images using model simulation for improved generation of 3D sample images | |
JP7194837B2 (ja) | 荷電粒子線装置 | |
US20210088770A1 (en) | Pose estimation using sematic segmentation | |
JP2014106388A (ja) | 自動合焦点検出装置及びそれを備える荷電粒子線顕微鏡 | |
US20240110880A1 (en) | Dynamic Data Driven Detector Tuning for Improved Investigation of Samples in Charged Particle Systems | |
US20230260085A1 (en) | Systems and methods for hybrid enhancement of scanning electron microscope images | |
US20220207256A1 (en) | Charged particle microscope systems and clustering processes for high dynamic range sample analysis | |
Hardo et al. | Quantitative Microbiology with Microscopy: Effects of Projection and Diffraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |