KR102351349B1 - Generation of high resolution images from low resolution images for semiconductor applications - Google Patents

Abstract

표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하기 위한 방법과 시스템이 제공된다. 하나의 시스템은 표본의 저해상도 이미지를 획득하도록 구성된 하나 이상의 컴퓨터 서브시스템을 포함한다. 시스템은 또한, 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트를 포함한다. 하나 이상의 컴포넌트는 저해상도 이미지의 표현을 생성하도록 구성된 하나 이상의 제1 계층을 포함하는 심층 컨볼루션 신경망(deep convolutional neural network)을 포함한다. 심층 컨볼루션 신경망은 또한, 저해상도 이미지의 표현으로부터 표본의 고해상도 이미지를 생성하도록 구성된 하나 이상의 제2 계층을 포함한다. 제2 계층(들)은 고해상도 이미지를 출력하도록 구성되고 서브 픽셀 컨볼루션 계층으로서 구성된 최종 계층을 포함한다.A method and system are provided for generating a high-resolution image of a specimen from a low-resolution image of the specimen. One system includes one or more computer subsystems configured to acquire a low resolution image of the specimen. The system also includes one or more components executed by one or more computer subsystems. The one or more components include a deep convolutional neural network comprising one or more first layers configured to generate a representation of the low resolution image. The deep convolutional neural network also includes one or more second layers configured to generate a high-resolution image of the specimen from the representation of the low-resolution image. The second layer(s) comprises a final layer configured to output a high-resolution image and configured as a sub-pixel convolution layer.

Description

반도체 응용들을 위한 저해상도 이미지들로부터 고해상도 이미지들의 생성Generation of high resolution images from low resolution images for semiconductor applications

본 발명은 일반적으로 반도체 응용들을 위한 저해상도 이미지들로부터 고해상도 이미지들을 생성하기 위한 방법 및 시스템에 관한 것이다.The present invention relates generally to a method and system for generating high resolution images from low resolution images for semiconductor applications.

아래의 설명 및 예시들은 본 섹션 내에 포함된다고 해서 종래기술인 것으로 인정되는 것은 아니다.The description and examples below are not admitted to be prior art by inclusion within this section.

로직 및 메모리 디바이스들과 같은 반도체 디바이스들을 제조하는 것은 일반적으로 방대한 수의 반도체 제조 공정들을 이용하여 반도체 웨이퍼와 같은 기판을 처리하여 반도체 디바이스들의 다양한 피처들 및 다중 레벨들을 형성하는 것을 포함한다. 예를 들어, 리소그래피는 레티클로부터의 패턴을 반도체 웨이퍼 상에 배열된 레지스트에 전사시키는 것을 수반하는 반도체 제조 공정이다. 반도체 제조 공정들의 추가적인 예시들은, 비제한적인 예시로서, 화학적 기계적 폴리싱(chemical-mechanical polishing; CMP), 에칭, 퇴적, 및 이온 주입을 포함한다. 다중 반도체 디바이스들이 단일 반도체 웨이퍼 상에서 배열을 갖고 제조되고, 그 후 개별적인 반도체 디바이스들로 분리될 수 있다.Manufacturing semiconductor devices, such as logic and memory devices, generally involves processing a substrate, such as a semiconductor wafer, using a vast number of semiconductor manufacturing processes to form various features and multiple levels of semiconductor devices. For example, lithography is a semiconductor manufacturing process that involves transferring a pattern from a reticle to resist arranged on a semiconductor wafer. Additional examples of semiconductor fabrication processes include, but are not limited to, chemical-mechanical polishing (CMP), etching, deposition, and ion implantation. Multiple semiconductor devices can be fabricated in an arrangement on a single semiconductor wafer and then separated into individual semiconductor devices.

반도체 제조 공정 동안 표본(specimen)들 상의 결함들을 검출하여 제조 공정에서 보다 높은 수율과 이에 따라 보다 높은 이윤을 추구하기 위해 다양한 단계들에서 검사 공정들이 이용된다. 검사는 언제나 반도체 디바이스들을 제조하는 중요한 부분이 되어 왔다. 하지만, 반도체 디바이스들의 치수가 감소함에 따라, 보다 작은 결함들이 반도체 디바이스들을 고장나게 할 수 있으므로, 수용가능한 반도체 디바이스들의 성공적인 제조에 있어서 검사는 훨씬 더 중요해진다.Inspection processes are used at various stages during the semiconductor manufacturing process to detect defects on specimens to pursue higher yields and thus higher profits in the manufacturing process. Inspection has always been an important part of manufacturing semiconductor devices. However, as the dimensions of semiconductor devices decrease, inspection becomes even more critical in the successful fabrication of acceptable semiconductor devices as smaller defects can cause them to fail.

결함 검토는 일반적으로 검사 공정에 의해 검출된 결함을 재검출하고 고배율 광학 시스템 또는 주사 전자 현미경(scanning electron microscope; SEM)을 사용하여 더 높은 해상도에서 결함에 대한 추가적인 정보를 생성하는 것을 포함한다. 따라서, 결함 검토는 검사에 의해 결함들이 검출된 표본들 상의 이산적 위치들에서 수행된다. 결함 검토에 의해 생성된 결함들에 대한 고 해상도 데이터는 프로파일, 거칠기, 보다 정확한 크기 정보 등과 같은, 결함들의 속성을 결정하는데 더 적절하다.Defect review typically involves re-detecting defects detected by an inspection process and generating additional information about the defect at higher resolution using a high-magnification optical system or scanning electron microscope (SEM). Accordingly, defect review is performed at discrete locations on the specimens in which defects were detected by inspection. High resolution data for defects generated by defect review are more suitable for determining the properties of the defects, such as profile, roughness, more accurate size information, and the like.

반도체 제조 공정 동안 공정을 모니터링하고 제어하기 위해 다양한 단계들에서 계측 공정들이 또한 사용된다. 표본들 상에서 결함들이 검출되는 검사 공정들과는 달리, 계측 공정들은 현재 사용되는 검사 툴들을 사용하여 결정될 수 없는 표본들의 하나 이상의 특성을 측정하기 위해 사용된다는 점에서, 계측 공정들은 검사 공정들과 다르다. 예를 들어, 계측 공정들은, 공정의 성능이 하나 이상의 특성으로부터 결정될 수 있도록, 공정 동안 표본들 상에 형성된 피처들의 치수(예를 들어, 라인 폭, 두께 등)와 같은 표본들의 하나 이상의 특성을 측정하는데 사용된다. 또한, 표본들의 하나 이상의 특성이 허용불가능한 경우(예를 들어, 특성(들)에 대한 미리결정된 범위를 벗어난 경우), 공정에 의해 제조된 추가적인 표본들이 허용가능한 특성(들)을 갖도록, 표본들의 하나 이상의 특성의 측정값을 사용하여 공정의 하나 이상의 파라미터를 변경할 수 있다.Metrology processes are also used at various stages to monitor and control the process during the semiconductor manufacturing process. Metrology processes differ from inspection processes in that, unlike inspection processes in which defects are detected on specimens, metrology processes are used to measure one or more characteristics of specimens that cannot be determined using currently used inspection tools. For example, metrology processes measure one or more characteristics of the specimens, such as dimensions (eg, line width, thickness, etc.) of features formed on the specimens during processing, such that performance of the process can be determined from the one or more characteristics. used to do Further, if one or more properties of the samples are unacceptable (eg, outside a predetermined range for the property(s)), one of the samples is such that additional samples prepared by the process have acceptable property(s). Measurements of the above characteristics may be used to change one or more parameters of the process.

검사에 의해 검출된 결함들이 결함 검토에서 재시찰되는 결함 검토 공정들과는 달리, 계측 공정들은 어떠한 결함도 검출되지 않은 위치들에서 수행될 수 있다는 점에서, 계측 공정들은 또한 결함 검토 공정들과 다르다. 달리 말해서, 결함 검토와는 달리, 계측 공정이 표본들에 대해 수행되는 위치들은 표본들에 대해 수행된 검사 공정의 결과들과는 무관할 수 있다. 특히, 계측 공정이 수행되는 위치는 검사 결과들과는 무관하게 선택될 수 있다.Metrology processes also differ from defect review processes in that, unlike defect review processes in which defects detected by inspection are re-inspected in defect review, metrology processes can be performed at locations where no defects are detected. In other words, unlike defect review, the locations at which a metrology process is performed on the specimens may be independent of the results of an inspection process performed on the specimens. In particular, the location at which the measurement process is performed may be selected regardless of the test results.

따라서, 전술한 바와 같이, 검사(광학 검사 및 때때로 전자 빔 검사)가 수행되는 제한된 해상도로 인해, 표본은 일반적으로 표본 상에서 검출된 결함들의 결함 검토(검출된 결함들의 검증, 검출된 결함들의 분류, 및 결함들의 특성 결정을 포함할 수 있음)를 위해 추가적인 더 높은 해상도 이미지들을 생성하는 것이 필요하다. 또한, 패터닝된 피처들에서 결함들이 검출되었는지 여부에 관계없이 계측에서와 같이 표본 상에 형성된 패터닝된 피처들에 대한 정보를 결정하기 위해 더 높은 해상도 이미지들이 일반적으로 필요하다. 따라서, 결함 검토 및 계측은 물리적 표본 자체와 고해상도 이미지들을 생성하는데 필요한 (검사기 이외의) 추가적인 툴들의 사용을 필요로 하는 시간 소모적인 공정들일 수 있다.Thus, as noted above, due to the limited resolution at which inspection (optical inspection and sometimes electron beam inspection) is performed, the specimen is usually subjected to defect review (validation of detected defects, classification of detected defects, and characterization of defects). Also, higher resolution images are generally needed to determine information about patterned features formed on a specimen, such as in metrology, regardless of whether defects were detected in the patterned features. Thus, defect review and metrology can be time-consuming processes that require the use of the physical specimen itself and the additional tools (other than the inspector) needed to create the high-resolution images.

그러나, 결함 검토 및 계측은 시간과 비용을 절약하기 위해 단순히 제거될 수 있는 공정들은 아니다. 예를 들어, 검사 공정들이 수행되는 해상도로 인해, 검사 공정들은 일반적으로 결함들을 분류하고/하거나 결함들의 근본 원인을 결정하는데 충분한 검출된 결함들에 대한 정보를 결정하는데 사용될 수 있는 이미지 신호 또는 데이터를 생성하지 않는다. 또한, 검사 공정들이 수행되는 해상도로 인해, 검사 공정들은 일반적으로 표본 상에 형성된 패터닝된 피처들에 대한 정보를 충분한 정확도로 결정하는데 사용될 수 있는 이미지 신호 또는 데이터를 생성하지 않는다.However, defect review and metrology are not processes that can be simply eliminated to save time and money. For example, due to the resolution at which inspection processes are performed, inspection processes typically produce image signals or data that can be used to determine information about detected defects sufficient to classify the defects and/or determine the root cause of the defects. do not create Also, due to the resolution at which the inspection processes are performed, they generally do not produce image signals or data that can be used to determine information about patterned features formed on a specimen with sufficient accuracy.

따라서, 상술한 단점들 중 하나 이상을 갖지 않는, 표본에 대한 고해상도 이미지를 생성하는 시스템 및 방법을 개발하는 것이 바람직할 것이다.Accordingly, it would be desirable to develop a system and method for generating high-resolution images of specimens that do not have one or more of the disadvantages described above.

아래의 다양한 실시예들의 설명은 첨부된 청구항들의 발명내용을 어떠한 식으로든지 제한시키려는 것으로서 해석되어서는 안된다.The description of the various embodiments below should not be construed as limiting the subject matter of the appended claims in any way.

일 실시예는 표본의 저해상도(low resolution) 이미지로부터 표본에 대한 고해상도(high resolution) 이미지를 생성하도록 구성된 시스템에 관한 것이다. 시스템은 표본의 저해상도 이미지를 획득하도록 구성된 하나 이상의 컴퓨터 서브시스템을 포함한다. 시스템은 또한, 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트를 포함한다. 하나 이상의 컴포넌트는 저해상도 이미지의 표현(representation)을 생성하도록 구성된 하나 이상의 제1 계층을 포함하는 심층 컨볼루션 신경망(deep convolutional neural network)을 포함한다. 심층 컨볼루션 신경망은 또한, 저해상도 이미지의 표현으로부터 표본의 고해상도 이미지를 생성하도록 구성된 하나 이상의 제2 계층을 포함한다. 하나 이상의 제2 계층은 고해상도 이미지를 출력하도록 구성된 최종 계층을 포함한다. 최종 계층은 서브픽셀 컨볼루션 계층으로서 구성된다. 본 시스템은 본 명세서에서 설명되는 바와 같이 추가적으로 구성될 수 있다.One embodiment relates to a system configured to generate a high resolution image of a specimen from a low resolution image of the specimen. The system includes one or more computer subsystems configured to acquire a low resolution image of the specimen. The system also includes one or more components executed by one or more computer subsystems. The one or more components include a deep convolutional neural network comprising one or more first layers configured to generate a representation of the low resolution image. The deep convolutional neural network also includes one or more second layers configured to generate a high-resolution image of the specimen from the representation of the low-resolution image. The one or more second layers include a final layer configured to output a high-resolution image. The final layer is constructed as a subpixel convolutional layer. The system may be further configured as described herein.

추가적인 실시예는 표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하도록 구성된 다른 시스템에 관한 것이다. 이 시스템은 상술한 바와 같이 구성된다. 이 시스템은 또한 표본의 저해상도 이미지를 생성하도록 구성된 이미징 서브시스템을 포함한다. 이 실시예에서, 컴퓨터 서브시스템(들)은 이미징 서브시스템으로부터 저해상도 이미지를 획득하도록 구성된다. 본 시스템의 이 실시예는 본 명세서에서 설명되는 바와 같이 추가적으로 구성될 수 있다.A further embodiment relates to another system configured to generate a high resolution image of a specimen from a low resolution image of the specimen. This system is configured as described above. The system also includes an imaging subsystem configured to generate a low-resolution image of the specimen. In this embodiment, the computer subsystem(s) is configured to acquire low resolution images from the imaging subsystem. This embodiment of the system may be further configured as described herein.

다른 실시예는 표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하기 위한 컴퓨터 구현 방법에 관한 것이다. 본 방법은 표본의 저해상도 이미지를 획득하는 단계를 포함한다. 본 방법은 또한, 저해상도 이미지를 심층 컨볼루션 신경망의 하나 이상의 제1 계층에 입력함으로써 저해상도 이미지의 표현을 생성하는 단계를 포함한다. 또한, 본 방법은 상기 표현에 기초하여 표본에 대한 고해상도 이미지를 생성하는 단계를 포함한다. 고해상도 이미지의 생성은 심층 컨볼루션 신경망의 하나 이상의 제2 계층에 의해 수행된다. 하나 이상의 제2 계층은 고해상도 이미지를 출력하도록 구성된 최종 계층을 포함한다. 최종 계층은 서브픽셀 컨볼루션 계층으로서 구성된다. 획득하는 단계, 표현을 생성하는 단계, 및 고해상도 이미지를 생성하는 단계는 하나 이상의 컴퓨터 시스템에 의해 수행된다. 하나 이상의 컴포넌트는 하나 이상의 컴퓨터 시스템에 의해 실행되고, 하나 이상의 컴포넌트는 심층 컨볼루션 신경망을 포함한다.Another embodiment relates to a computer-implemented method for generating a high-resolution image of a specimen from a low-resolution image of the specimen. The method includes acquiring a low-resolution image of the specimen. The method also includes generating a representation of the low-resolution image by inputting the low-resolution image into one or more first layers of the deep convolutional neural network. The method also includes generating a high-resolution image of the specimen based on the representation. The generation of the high-resolution image is performed by one or more second layers of the deep convolutional neural network. The one or more second layers include a final layer configured to output a high-resolution image. The final layer is constructed as a subpixel convolutional layer. The acquiring, generating the representation, and generating the high resolution image are performed by one or more computer systems. The one or more components are executed by one or more computer systems, and the one or more components include deep convolutional neural networks.

전술한 방법의 단계들 각각은 본 명세서에서 추가로 설명되는 바와 같이 추가적으로 수행될 수 있다. 또한, 전술한 방법의 실시예는 본 명세서에서 설명된 임의의 다른 방법(들)의 임의의 다른 단계(들)을 포함할 수 있다. 또한, 전술한 방법은 본 명세서에서 설명된 시스템들 중 임의의 시스템에 의해 수행될 수 있다.Each of the steps of the method described above may be additionally performed as further described herein. Further, embodiments of the methods described above may include any other step(s) of any other method(s) described herein. Further, the method described above may be performed by any of the systems described herein.

다른 실시예는 표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템 상에서 실행가능한 프로그램 명령어들을 저장한 컴퓨터로 판독가능한 비일시적 매체에 관한 것이다. 컴퓨터 구현 방법은 전술한 방법의 단계들을 포함한다. 컴퓨터 판독가능 매체는 본 명세서에서 설명된 바와 같이 추가적으로 구성될 수 있다. 컴퓨터 구현 방법의 단계들은 본 명세서에서 추가적으로 설명된 바와 같이 수행될 수 있다. 또한, 프로그램 명령어들이 실행가능한 컴퓨터 구현 방법은 본 명세서에서 설명된 임의의 다른 방법(들)의 임의의 다른 단계(들)을 포함할 수 있다.Another embodiment relates to a computer-readable, non-transitory medium having stored thereon program instructions executable on one or more computer systems for performing a computer implemented method for generating a high-resolution image of a specimen from a low-resolution image of the specimen. The computer implemented method includes the steps of the method described above. The computer readable medium may further be configured as described herein. The steps of a computer implemented method may be performed as further described herein. Further, a computer implemented method in which the program instructions are executable may include any other step(s) of any other method(s) described herein.

본 발명의 추가적인 장점들은 첨부된 도면들에 대한 참조와 함께 아래의 바람직한 실시예들의 상세한 설명을 통해 당 업계의 당업자에게 명백해질 것이다.
도 1 및 도 1a는 본 명세서에서 설명된 바와 같이 구성된 시스템의 실시예들의 측면도들을 나타내는 개략도들이다.
도 2는 본 명세서에서 설명된 실시예들에 포함될 수 있는 심층 컨볼루션 신경망의 일 실시예를 나타내는 블록도이다.
도 3은 본 명세서에서 설명된 실시예들에 포함될 수 있는 심층 컨볼루션 신경망의 일 실시예를 나타내는 개략도이다.
도 4와 도 5는 본 명세서에서 설명된 실시예들에 포함될 수 있는 하나 이상의 컴포넌트의 실시예들을 나타내는 블록도들이다.
도 6은 상황 인식 손실(context aware loss) 모듈 실시예에 포함될 수 있는 미리 트레이닝된(pre-trained) VGG 네트워크의 일 실시예를 나타내는 블록도이다.
도 7은 이미징 시스템에 의해 생성된 대응하는 고해상도 및 저해상도 이미지, 및 본 명세서에서 설명된 실시예들에 의해 저해상도 이미지로부터 생성된 고해상도 이미지, 및 각각의 이미지들에 대해 생성된 라인 프로파일들을 포함한다.
도 8은 이미징 시스템에 의해 생성된 고해상도 이미지와 본 명세서에서 설명된 실시예들에 의해 생성된 고해상도 이미지 사이 및 이미징 시스템에 의해 생성된 저해상도 이미지와 고해상도 이미지 사이의 x축과 y축을 따른 오버레이 측정들의 결과들에서의 상관성의 예시들을 포함한다.
도 9는 하나 이상의 컴퓨터 시스템으로 하여금 본 명세서에서 설명된 컴퓨터 구현 방법을 수행하도록 하기 위한 프로그램 명령어들이 저장되어 있는 컴퓨터로 판독가능한 비일시적 매체의 일 실시예를 나타내는 블록도이다.Additional advantages of the present invention will become apparent to those skilled in the art from the following detailed description of preferred embodiments in conjunction with the accompanying drawings.
1 and 1A are schematic diagrams illustrating side views of embodiments of a system configured as described herein;
2 is a block diagram illustrating one embodiment of a deep convolutional neural network that may be included in embodiments described herein.
3 is a schematic diagram illustrating one embodiment of a deep convolutional neural network that may be included in embodiments described herein.
4 and 5 are block diagrams illustrating embodiments of one or more components that may be included in embodiments described herein.
6 is a block diagram illustrating one embodiment of a pre-trained VGG network that may be included in a context aware loss module embodiment.
7 includes corresponding high-resolution and low-resolution images generated by the imaging system, and high-resolution images generated from the low-resolution images by embodiments described herein, and line profiles generated for each of the images.
8 is a diagram of overlay measurements along the x- and y-axes between a high-resolution image generated by an imaging system and a high-resolution image generated by embodiments described herein and between a low-resolution image and a high-resolution image generated by the imaging system; Include examples of correlation in results.
9 is a block diagram illustrating one embodiment of a computer-readable non-transitory medium having stored thereon program instructions for causing one or more computer systems to perform the computer-implemented method described herein.

본 발명은 다양한 수정들 및 대안적인 형태들이 가능하지만, 도면들에서는 본 발명의 특정한 실시예들을 예시로서 도시하며, 본 명세서에서는 이를 보다 자세하게 설명한다. 도면들은 실척도로 도시되지 않을 수 있다. 하지만, 도면들 및 이에 대한 상세한 설명은 개시된 특정한 형태로 본 발명을 한정시키려는 의도는 없으며, 그 반대로, 본 발명은 청구항들에 의해 정의된 본 발명의 사상 및 범위 내에 속하는 모든 수정들, 등가물들 및 대안구성들을 커버한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments of the invention are shown by way of example in the drawings, which are herein described in greater detail. The drawings may not be drawn to scale. However, the drawings and detailed description thereof are not intended to limit the invention to the specific form disclosed, on the contrary, the invention is intended to be provided with all modifications, equivalents and Covers alternative configurations.

이제 도면들을 참조하면, 도면들은 실척도로 도시되지 않는다는 것을 유념한다. 특히, 도면들의 엘리먼트들 중 몇몇의 엘리먼트들의 스케일은 그 특성들을 강조하기 위해 과하게 과장되었다. 또한 도면들은 동일한 척도로 작도되지 않는다는 것을 유념한다. 하나 보다 많은 도면에서 도시된, 유사하게 구성될 수 있는 엘리먼트들은 동일한 참조 번호들을 이용하여 표시되었다. 본 명세서에서 달리 언급되지 않는 한, 여기서 설명되고 도시되는 임의의 엘리먼트들은 상업적으로 입수가능한 임의의 적절한 엘리먼트들을 포함할 수 있다.Referring now to the drawings, it is noted that the drawings are not drawn to scale. In particular, the scales of some of the elements of the figures are exaggerated to emphasize their characteristics. It is also noted that the drawings are not drawn to the same scale. Elements that may be similarly constructed, which are shown in more than one figure, have been denoted using like reference numerals. Unless stated otherwise herein, any elements described and shown herein may include any suitable commercially available elements.

일 실시예는 표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템에 관한 것이다. 본 명세서에서 더 설명되는 바와 같이, 실시예들은 안정적이고 견고한 계측 품질 이미지들을 생성하기 위한, 플랫폼에 독립적인, 데이터 구동 방법 및 시스템을 제공한다. 실시예들은 또한, 비교적 고화질이고, 노이즈 제거된, 초 해상(super-resolved) 이미지들을 생성하는데 사용될 수 있다. 실시예들은 이미징 처리량을 증가시키기 위해 추가로 사용될 수 있다. 또한, 실시예들은 비교적 낮은 프레임, 비교적 낮은 픽셀 당 전자(electron per pixel; e/p) 검사 스캔들로부터 검토 이미지들을 생성하는데 사용될 수 있다. ("낮은 프레임"은 동일한 위치에서의 적은 횟수의 이미지 포착들을 의미하며, 예를 들어, 더 나은 이미징을 얻고 신호 대 노이즈비를 증가시키기 위해, 여러 프레임들이 포착되고 그 후에 이미지 품질을 높이기 위해 결합된다. "e/p"는 기본적으로 픽셀 당 전자이며, e/p가 높을수록, 품질은 높지만 처리량은 낮다. 빔 조건들을 사용하여 더 높은 e/p가 달성된다.)One embodiment relates to a system configured to generate a high-resolution image of a specimen from a low-resolution image of the specimen. As further described herein, embodiments provide a platform independent, data driven method and system for generating stable and robust metrology quality images. Embodiments may also be used to create relatively high quality, denoised, super-resolved images. Embodiments may further be used to increase imaging throughput. Further, embodiments may be used to generate review images from relatively low frame, relatively low electron per pixel (e/p) inspection scans. ("Low frame" means fewer image acquisitions at the same location, e.g., to obtain better imaging and increase signal-to-noise ratio, several frames are captured and then combined to increase image quality) "e/p" is basically electrons per pixel, the higher the e/p, the higher the quality but the lower the throughput. A higher e/p is achieved using beam conditions.)

본 명세서에서 설명된 실시예들은 임의의 하기의 플랫폼들에 의해 생성된 이미지들로부터 훨씬 더 높은 처리량으로 상대적으로 고화질의 이미지들을 생성하기 위한 전자 빔(electron beam; ebeam), 광대역 플라즈마(broad band plasma; BBP), 레이저 산란, 제한된 해상도, 및 계측 플랫폼들에 적용가능하다. 달리 말해서, 이미지들은 이미징 시스템에 의해 상대적으로 높은 처리량으로, 그리고 이에 따라 상대적으로 낮은 해상도로 생성될 수 있고, 그런 후 본 명세서에서 설명된 실시예들에 의해 상대적으로 높은 해상도 이미지들로 변환될 수 있는데, 이는 고해상도 이미지들이 상대적으로 높은 처리량으로 효과적으로 생성될 수 있다는 것을 의미한다. 본 명세서에서 설명된 실시예들은 유리하게는 상대적으로 낮은 해상도와 상대적으로 높은 해상도의 이미징 매니폴드(manifold)들 사이의 학습된 변환, 노이즈 감소, 및 고화질 스캔에서 저화질 스캔으로의 품질의 이전을 제공한다. 이미징 "매니폴드"는 일반적으로 모든 가능한 이미지들의 이론적 확률 공간으로서 정의될 수 있다.Embodiments described herein provide an electron beam (ebeam), broad band plasma (ebeam), broadband plasma, for generating relatively high quality images with much higher throughput from images generated by any of the following platforms. ; BBP), laser scattering, limited resolution, and metrology platforms. In other words, the images may be generated by the imaging system at a relatively high throughput, and thus at a relatively low resolution, and then converted to relatively high resolution images by the embodiments described herein. , which means that high-resolution images can be effectively generated with relatively high throughput. Embodiments described herein advantageously provide a learned transformation between relatively low and relatively high resolution imaging manifolds, noise reduction, and transfer of quality from high quality scans to low quality scans. do. An imaging “manifold” can generally be defined as the theoretical probability space of all possible images.

본 명세서에 사용된, 표본의 "저해상도 이미지" 용어는 일반적으로, 이미지가 생성되었던 표본의 영역에서 형성된 모든 패터닝된 피처들이 이미지에서 해상(resolve)되지 않은 이미지로서 정의된다. 예를 들어, 저해상도 이미지가 생성되었던 표본의 영역에서의 패터닝된 피처들 중 일부는, 그 크기가 해상가능할 정도로 충분히 큰 경우, 저해상도 이미지에서 해상될 수 있다. 그러나, 저해상도 이미지는 이미지 내의 모든 패터닝된 피처들을 해석가능하게 하는 해상도로 생성되지 않는다. 이러한 방식으로, 본 명세서에서 사용되는 용어 "저해상도 이미지"는 결함 분류 및/또는 검증, 및 계측을 포함할 수 있는 결함 검토와 같은 응용들에 저해상도 이미지가 사용되기에 충분한, 표본 상의 패터닝된 피처들에 관한 정보를 함유하지 않는다. 또한, 본 명세서에서 사용되는 용어 "저해상도 이미지"는 일반적으로 비교적 빠른 처리량을 갖기 위해 상대적으로 낮은 (예를 들어, 결함 검토 및/또는 계측 시스템보다 낮은) 해상도를 갖는 검사 시스템에 의해 생성된 이미지들을 지칭한다. 이러한 방식으로, "저해상도 이미지"는 또한, 통상적으로 고 처리량 또는 HT(high throughput) 이미지로서 지칭될 수 있다. 예를 들어, 더 높은 처리량으로 이미지들을 생성하기 위해, e/p 및 프레임의 수가 낮춰질 수 있어서, 저화질의 주사 전자 현미경(scanning electron microscope; SEM) 이미지를 초래할 수 있다.As used herein, the term “low resolution image” of a specimen is generally defined as an image in which all patterned features formed in the area of the specimen from which the image was created have not been resolved. For example, some of the patterned features in the area of the specimen from which the low-resolution image was generated may be resolved in the low-resolution image if their size is large enough to be resolvable. However, a low-resolution image is not created with a resolution that makes all the patterned features in the image interpretable. In this way, the term “low-resolution image” as used herein refers to patterned features on a specimen that are sufficient for the low-resolution image to be used in applications such as defect review, which may include defect classification and/or verification, and metrology. does not contain information about Also, as used herein, the term "low resolution image" refers to images generated by an inspection system that generally have a relatively low (eg, lower than a defect review and/or metrology system) resolution in order to have a relatively fast throughput. refers to In this way, a “low resolution image” may also be commonly referred to as a high throughput or high throughput (HT) image. For example, to produce images with higher throughput, the e/p and number of frames can be lowered, resulting in lower quality scanning electron microscope (SEM) images.

"저해상도 이미지"는 또한, 본 명세서에서 설명된 "고해상도 이미지"보다 해상도가 낮다는 점에서 "저해상도"일 수 있다. 본 명세서에서 사용되는 용어 "고해상도 이미지"는 일반적으로 표본의 모든 패터닝된 피처들이 비교적 높은 정확도로 해상되는 이미지로서 정의될 수 있다. 이러한 방식으로, 고해상도 이미지가 생성되는 표본의 영역 내의 모든 패터닝된 피처들은 피처들의 크기에 관계없이 고해상도 이미지에서 해상된다. 이와 같이, 본 명세서에서 사용되는 용어 "고해상도 이미지"는 결함 분류 및/또는 검증, 및 계측을 포함할 수 있는 결함 검토와 같은 응용들에 고해상도 이미지가 사용되기에 충분한, 표본 상의 패터닝된 피처들에 관한 정보를 함유한다. 또한, 본 명세서에서 사용되는 용어 "고해상도 이미지"는 일반적으로, 처리량 증가를 위해 해상도 능력을 희생시키도록 구성된 일상적인 작업 동안 검사 시스템들에 의해 생성될 수 없는 이미지들을 지칭한다. 이러한 방식으로, "고해상도 이미지"는 또한 본 명세서와 관련 기술 분야에서 "고화질 이미지"의 다른 용어인 "고감도 이미지"로서 지칭될 수 있다. 예를 들어, 고화질 이미지들을 생성하기 위해, e/p, 프레임 등이 증가될 수 있으며, 이는 양호한 화질의 SEM 이미지들을 생성하지만 처리량을 상당히 감소시킨다. 그러면 이들 이미지들은 고감도 결함 검출에 사용될 수 있다는 점에서 이들 이미지들은 "고감도" 이미지들이다.A “low-resolution image” may also be “low-resolution” in that it has a lower resolution than the “high-resolution image” described herein. As used herein, the term "high resolution image" can be generally defined as an image in which all patterned features of a specimen are resolved with relatively high accuracy. In this way, all patterned features within the area of the specimen from which the high-resolution image is generated are resolved in the high-resolution image regardless of the size of the features. As such, the term "high resolution image" as used herein refers to patterned features on a specimen that are sufficient for high resolution images to be used in applications such as defect review, which may include defect classification and/or verification, and metrology. contains information about Also, as used herein, the term “high resolution image” generally refers to images that cannot be generated by inspection systems during routine operation that are configured to sacrifice resolution capability for increased throughput. In this way, “high-resolution image” may also be referred to as “high-sensitivity image,” which is another term for “high-resolution image” in this specification and the related art. For example, to produce high quality images, e/p, frame, etc. can be increased, which produces good quality SEM images but significantly reduces throughput. These images are then "high sensitivity" images in the sense that these images can be used for high sensitivity defect detection.

본 명세서에서 더 설명되는 실시예들과는 대조적으로, 대부분의 오래된 방법들은 휴리스틱 및 체리 픽(cherry-picked) 파라미터들을 사용하여 비교적 노이즈가 없는 이미지들을 생성한다. 이들 방법들은 일반적으로 해당 방법들이 구동할 이미지들의 통계적 속성을 염두에 두고 설계되는데, 이에 따라 해당 플랫폼의 휴리스틱을 통합하지 않으면서 다른 플랫폼으로 이식될 수는 없다. 이미지에서의 노이즈 감소에 사용되는 잘 알려진 방법들 중 일부는 이방성 확산(anisotropic diffusion), 양방향 필터(bilateral filter), 와이너 필터(Weiner filter), 비 국부적 수단 등이다. 양방향 필터와 와이너 필터는 이웃해 있는 픽셀들로부터 설계된 필터를 사용하여 픽셀 레벨로 노이즈를 제거한다. 이방성 확산은 이미지에 대해 확산 법칙을 적용하여 확산 방정식에 따라 이미지에서 질감/강도를 부드럽게 한다. 가장자리들에서 확산이 발생하는 것을 방지하기 위해 임계 함수가 사용되며, 이에 따라 임계 함수는 이미지 내 가장자리들을 많은 정도로 보존한다.In contrast to the embodiments described further herein, most older methods use heuristic and cherry-picked parameters to generate relatively noise-free images. These methods are generally designed with the statistical properties of the images to be driven by the methods in mind, and therefore cannot be ported to other platforms without integrating the platform's heuristics. Some of the well-known methods used for noise reduction in images are anisotropic diffusion, bilateral filter, Weiner filter, non-local means, and the like. Bidirectional filters and Weiner filters remove noise at the pixel level using filters designed from neighboring pixels. Anisotropic diffusion applies the diffusion law to the image, smoothing the texture/intensity in the image according to the diffusion equation. A threshold function is used to prevent diffusion from occurring at the edges, so that the threshold function preserves the edges in the image to a large extent.

와이너 및 양방향 필터링과 같은 오래된 방법들의 단점들은 이 방법들이 최상의 결과를 얻기 위해 이미지 레벨에서 미세 튜닝될 필요가 있는 파라메트릭 접근법이라는 것이다. 이러한 접근법은 데이터 중심적이지 않아서, 도전적인 이미징 유형들에 대해 달성될 수 있는 성능을 제한시킨다. 다른 제한사항은 이러한 접근법의 처리 대부분이 인라인으로 행해지는데, 이는 처리량 제한으로 인해, 사용될 수 있는 사용 케이스를 제한시킨다는 것이다.A disadvantage of older methods such as Weiner and bidirectional filtering is that they are parametric approaches that need to be fine-tuned at the image level to get the best results. This approach is not data-centric, limiting the performance that can be achieved for challenging imaging types. Another limitation is that much of the processing in this approach is done inline, which limits the use cases that can be used due to throughput limitations.

표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템의 일 실시예가 도 1에서 도시된다. 시스템은 하나 이상의 컴퓨터 서브시스템(예를 들어, 컴퓨터 서브시스템(36) 및 컴퓨터 서브시스템들(102)) 및 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트(100)를 포함한다. 일부 실시예들에서, 시스템은 표본의 저해상도 이미지를 생성하도록 구성된 이미징 시스템(또는 서브시스템)(10)을 포함한다. 도 1의 실시예에서, 이미징 시스템은 물리적 버전의 표본을 광으로 스캐닝하거나 또는 광을 이에 지향(direct)시키면서 표본으로부터의 광을 검출하고, 이로써 표본에 대한 이미지들을 생성하도록 구성된다. 또한, 이미징 시스템은 다중 모드로 스캐닝(또는 지향) 및 검출을 수행하도록 구성된다.One embodiment of a system configured to generate a high-resolution image of a specimen from a low-resolution image of the specimen is shown in FIG. 1 . The system includes one or more computer subsystems (eg, computer subsystem 36 and computer subsystems 102 ) and one or more components 100 executed by the one or more computer subsystems. In some embodiments, the system includes an imaging system (or subsystem) 10 configured to generate a low-resolution image of the specimen. 1 , the imaging system is configured to scan the physical version of the specimen with light or to detect light from the specimen while directing the light thereto, thereby generating images of the specimen. Further, the imaging system is configured to perform scanning (or directing) and detection in multiple modes.

일 실시예에서, 표본은 웨이퍼이다. 웨이퍼는 당 업계에 공지된 임의의 웨이퍼를 포함할 수 있다. 다른 실시예에서, 표본은 레티클이다. 레티클은 당 업계에 공지된 임의의 레티클을 포함할 수 있다.In one embodiment, the specimen is a wafer. The wafer may include any wafer known in the art. In another embodiment, the specimen is a reticle. The reticle may include any reticle known in the art.

일 실시예에서, 이미징 시스템은 광학 기반 이미징 시스템이다. 그러한 하나의 예시에서, 도 1에서 도시된 시스템의 실시예에서, 광학 기반 이미징 시스템(10)은 광을 표본(14)에 지향시키도록 구성된 조명 서브시스템을 포함한다. 조명 서브시스템은 적어도 하나의 광원을 포함한다. 예를 들어, 도 1에서 도시된 바와 같이, 조명 서브시스템은 광원(16)을 포함한다. 일 실시예에서, 조명 서브시스템은 하나 이상의 경사각 및/또는 하나 이상의 수직각을 포함할 수 있는 하나 이상의 입사각으로 표본에 광을 지향시키도록 구성된다. 예를 들어, 도 1에서 도시된 바와 같이, 광원(16)으로부터의 광은 광학 엘리먼트(18)를 통해 그리고 렌즈(20)를 통해 경사 입사각으로 표본(14)에 지향된다. 경사 입사각은 임의의 적절한 경사 입사각을 포함할 수 있으며, 이는, 예를 들어, 표본의 특성에 따라 달라질 수 있다.In one embodiment, the imaging system is an optical based imaging system. In one such example, in the embodiment of the system shown in FIG. 1 , the optics-based imaging system 10 includes an illumination subsystem configured to direct light to the specimen 14 . The lighting subsystem includes at least one light source. For example, as shown in FIG. 1 , the lighting subsystem includes a light source 16 . In one embodiment, the illumination subsystem is configured to direct light to the specimen at one or more angles of incidence, which may include one or more tilt angles and/or one or more vertical angles. For example, as shown in FIG. 1 , light from light source 16 is directed through optical element 18 and through lens 20 at an oblique angle of incidence to specimen 14 . The oblique angle of incidence may include any suitable oblique angle of incidence, which may depend, for example, on the nature of the specimen.

이미징 시스템은 상이한 시간에 상이한 입사각으로 표본에 광을 지향시키도록 구성될 수 있다. 예를 들어, 이미징 시스템은 광이 도 1에서 도시된 것과는 상이한 입사각으로 표본에 지향될 수 있도록 조명 서브시스템의 하나 이상의 엘리먼트의 하나 이상의 특성들을 변경하도록 구성될 수 있다. 그러한 하나의 예시에서, 이미징 시스템은 광이 상이한 경사 입사각 또는 수직(또는 거의 수직) 입사각으로 표본에 지향되게끔 광원(16), 광학 엘리먼트(18), 및 렌즈(20)를 이동시키도록 구성될 수 있다.The imaging system may be configured to direct light to the specimen at different angles of incidence at different times. For example, the imaging system may be configured to alter one or more properties of one or more elements of the illumination subsystem such that light may be directed to the specimen at a different angle of incidence than shown in FIG. 1 . In one such example, the imaging system may be configured to move the light source 16 , the optical element 18 , and the lens 20 such that the light is directed to the specimen at a different oblique or normal (or near normal) angle of incidence. can

경우에 따라, 이미징 시스템은 광을 동시에 하나보다 많은 입사각으로 표본에 지향시키도록 구성될 수 있다. 예를 들어, 조명 서브시스템은 하나보다 많은 조명 채널을 포함할 수 있으며, 조명 채널들 중 하나는 도 1에서 도시된 바와 같이 광원(16), 광학 엘리먼트(18) 및 렌즈(20)를 포함할 수 있고, 조명 채널들 중 다른 하나(도시되지 않음)는 이와 상이하게 또는 동일하게 구성될 수 있는 유사한 엘리먼트들을 포함할 수 있거나, 또는 적어도 광원 및 가능하게는 본원에서 추가로 설명되는 것과 같은 하나 이상의 다른 컴포넌트들을 포함할 수 있다. 그러한 광이 다른 광과 동시에 표본에 지향되면, 상이한 입사각들로 표본을 조명함으로써 초래된 광이 검출기(들)에서 서로 구별될 수 있도록, 상이한 입사각들로 표본에 지향되는 광의 하나 이상의 특성들(예를 들어, 파장, 편광 등)은 상이할 수 있다.Optionally, the imaging system may be configured to direct light to the specimen at more than one angle of incidence at the same time. For example, an illumination subsystem may include more than one illumination channel, one of which may include a light source 16 , an optical element 18 and a lens 20 as shown in FIG. 1 . may, and the other of the illumination channels (not shown) may comprise similar elements which may be configured differently or identically thereto, or at least a light source and possibly one or more as further described herein. It may contain other components. If such light is directed to the sample at the same time as other light, one or more characteristics of the light directed at the sample at different angles of incidence (e.g. For example, wavelength, polarization, etc.) may be different.

다른 예시에서, 조명 서브시스템은 하나의 광원(예를 들어, 도 1에서 도시된 광원(16))만을 포함할 수 있으며, 광원으로부터의 광은 조명 서브시스템의 하나 이상의 광학 엘리먼트들(미도시됨)에 의해 상이한 광 경로들(예를 들어, 파장, 편광 등에 기초함)로 분리될 수 있다. 그런 후, 상이한 광학 경로들 각각에서의 광은 표본에 지향될 수 있다. 다중 조명 채널들은 광을 동시에 또는 상이한 시간(예를 들어, 상이한 조명 채널들이 순차적으로 표본을 조명하는데 사용되는 경우)에 표본에 지향시키도록 구성될 수 있다. 다른 예시에서, 동일한 조명 채널은 상이한 시간에 상이한 특성을 갖는 광을 표본에 지향시키도록 구성될 수 있다. 예를 들어, 몇몇 예시들에서, 광학 엘리먼트(18)는 스펙트럼 필터로서 구성될 수 있으며, 스펙트럼 필터의 특성들은 상이한 파장의 광이 상이한 시간에 표본에 지향될 수 있도록(예를 들어, 스펙트럼 필터를 바꿈으로써) 다양한 상이한 방식으로 변경될 수 있다. 조명 서브시스템은 상이하거나 동일한 특성을 갖는 광을 상이한 입사각 또는 동일한 입사각으로 순차적으로 또는 동시에 표본에 지향시키기 위한, 당 업계에 공지된 임의의 다른 적절한 구성을 가질 수 있다.In another example, the lighting subsystem may include only one light source (eg, light source 16 shown in FIG. 1 ), and the light from the light source may include one or more optical elements of the lighting subsystem (not shown). ) into different light paths (eg, based on wavelength, polarization, etc.). The light in each of the different optical paths can then be directed to the specimen. Multiple illumination channels may be configured to direct light to the specimen simultaneously or at different times (eg, when different illumination channels are used to illuminate the specimen sequentially). In another example, the same illumination channel may be configured to direct light with different properties to the specimen at different times. For example, in some examples, optical element 18 may be configured as a spectral filter, the properties of the spectral filter being such that different wavelengths of light may be directed to the specimen at different times (eg, using a spectral filter). by changing) can be changed in a variety of different ways. The illumination subsystem may have any other suitable configuration known in the art for directing light having different or identical properties to the specimen sequentially or simultaneously at different angles of incidence or at the same angle of incidence.

일 실시예에서, 광원(16)은 광대역 플라즈마(broadband plasma; BBP) 광원을 포함할 수 있다. 이러한 방식으로, 광원에 의해 생성되어 표본에 지향되는 광은 광대역 광을 포함할 수 있다. 그러나, 광원은 레이저와 같은 임의의 적절한 다른 광원을 포함할 수 있다. 레이저는 당 업계에 공지된 임의의 적절한 레이저를 포함할 수 있으며, 당 업계에 공지된 임의의 적절한 파장 또는 파장들의 광을 생성하도록 구성될 수 있다. 또한, 레이저는 단색 또는 거의 단색인 광을 생성하도록 구성될 수 있다. 이러한 방식으로, 레이저는 협대역 레이저일 수 있다. 광원은 또한 다중 이산적 파장 또는 파대역의 광을 생성하는 다색 광원을 포함할 수 있다.In one embodiment, the light source 16 may include a broadband plasma (BBP) light source. In this way, light generated by the light source and directed to the specimen may comprise broadband light. However, the light source may include any suitable other light source, such as a laser. The laser may include any suitable laser known in the art and may be configured to generate light of any suitable wavelength or wavelengths known in the art. Additionally, the laser may be configured to produce monochromatic or near-monochromatic light. In this way, the laser may be a narrowband laser. The light source may also include a polychromatic light source that produces light of multiple discrete wavelengths or wavebands.

광학 엘리먼트(18)로부터의 광은 렌즈(20)에 의해 표본(14) 상에 포커싱될 수 있다. 렌즈(20)가 단일 굴절 광학 엘리먼트로서 도 1에서 도시되어 있지만, 실제로, 렌즈(20)는 결합시 광학 엘리먼트로부터의 광을 표본에 포커싱하는 복수의 굴절 및/또는 반사 광학 엘리먼트들을 포함할 수 있다는 것을 이해할 것이다. 도 1에서 도시되고 본 명세서에서 설명된 조명 서브시스템은 임의의 다른 적절한 광학 엘리먼트들(미도시됨)을 포함할 수 있다. 이러한 광학 엘리먼트들의 예시들은, 비제한적인 예시로서, 편광 컴포넌트(들), 스펙트럼 필터(들), 공간 필터(들), 반사 광학 엘리먼트(들), 아포다이저(apodizer)(들), 빔 스플리터(들), 조리개(들) 등을 포함하며, 당 업계에 공지된 임의의 이러한 적절한 광학 엘리먼트들을 포함할 수 있다. 또한, 이미징 시스템은 이미징에 사용될 조명 유형에 기초하여 조명 서브시스템의 하나 이상의 엘리먼트들을 변경하도록 구성될 수 있다.Light from optical element 18 may be focused on specimen 14 by lens 20 . Although lens 20 is shown in FIG. 1 as a single refractive optical element, in practice, lens 20 may include a plurality of refractive and/or reflective optical elements that, when combined, focus light from the optical element onto a specimen. will understand The illumination subsystem shown in FIG. 1 and described herein may include any other suitable optical elements (not shown). Examples of such optical elements are, by way of non-limiting example, polarizing component(s), spectral filter(s), spatial filter(s), reflective optical element(s), apodizer(s), beam splitter (s), stop(s), etc., and may include any such suitable optical elements known in the art. Further, the imaging system may be configured to change one or more elements of the illumination subsystem based on the type of illumination to be used for imaging.

또한, 이미징 시스템은 광이 표본을 스캐닝하게 하도록 구성된 스캐닝 서브시스템을 포함할 수 있다. 예를 들어, 이미징 시스템은 검사 동안에 표본(14)이 배치되는 스테이지(22)를 포함할 수 있다. 스캐닝 서브시스템은 광이 표본을 스캐닝할 수 있게끔 표본을 이동시키도록 구성될 수 있는 임의의 적절한 기계적 및/또는 로봇식 어셈블리(스테이지(22)를 포함함)를 포함할 수 있다. 추가적으로 또는 대안적으로, 이미징 시스템은 이미징 시스템의 하나 이상의 광학 엘리먼트가 표본에 대한 광의 일부 스캐닝을 수행하도록 구성될 수 있다. 구불구불한 경로 또는 나선형 경로와 같은 임의의 적절한 방식으로 표본을 광으로 스캐닝할 수 있다.Additionally, the imaging system can include a scanning subsystem configured to cause light to scan the specimen. For example, the imaging system may include a stage 22 on which the specimen 14 is placed during examination. The scanning subsystem may include any suitable mechanical and/or robotic assembly (including stage 22) that may be configured to move the specimen such that light may scan the specimen. Additionally or alternatively, the imaging system may be configured such that one or more optical elements of the imaging system perform some scanning of light on the specimen. The specimen may be optically scanned in any suitable manner, such as a tortuous path or a helical path.

이미징 시스템은 하나 이상의 검출 채널들을 더 포함한다. 하나 이상의 검출 채널들 중 적어도 하나의 검출 채널은 시스템에 의한 표본의 조명으로 인한 표본으로부터의 광을 검출하고 검출된 광에 응답하는 출력을 생성하도록 구성된 검출기를 포함한다. 예를 들어, 도 1에서 도시된 이미징 시스템은 2개의 검출 채널들을 포함하는데, 그 중 하나의 검출 채널은 집광기(24), 엘리먼트(26) 및 검출기(28)에 의해 형성되고, 다른 하나의 검출 채널은 집광기(30), 엘리먼트(32) 및 검출기(34)에 의해 형성된다. 도 1에서 도시된 바와 같이, 2개의 검출 채널들이 상이한 수집 각도에서 광을 수집하고 검출하도록 구성된다. 몇몇 예시들에서, 두 검출 채널들은 산란광을 검출하도록 구성되며, 검출 채널들은 표본으로부터 상이한 각도들로 산란된 광을 검출하도록 구성된다. 그러나, 하나 이상의 검출 채널들이 표본으로부터의 다른 유형의 광(예를 들어, 반사광)을 검출하도록 구성될 수 있다.The imaging system further includes one or more detection channels. At least one of the one or more detection channels includes a detector configured to detect light from the specimen due to illumination of the specimen by the system and generate an output responsive to the detected light. For example, the imaging system shown in FIG. 1 includes two detection channels, one detection channel formed by a concentrator 24 , an element 26 and a detector 28 , and the other detection channel formed by a light collector 24 , an element 26 and a detector 28 . The channel is formed by a collector 30 , an element 32 and a detector 34 . 1 , the two detection channels are configured to collect and detect light at different collection angles. In some examples, both detection channels are configured to detect scattered light, and the detection channels are configured to detect light scattered at different angles from the sample. However, one or more detection channels may be configured to detect other types of light (eg, reflected light) from the specimen.

도 1에서 더 도시된 바와 같이, 두 검출 채널들은 지면 내에 위치된 것으로 도시되어 있고, 조명 서브시스템이 또한 지면 내에 위치된 것으로 도시되어 있다. 그러므로, 이 실시예에서, 두 검출 채널들은 입사면에 (예를 들어, 입사면 중심에) 위치된다. 그러나, 하나 이상의 검출 채널들이 입사면 밖에 위치될 수 있다. 예를 들어, 집광기(30), 엘리먼트(32), 및 검출기(34)에 의해 형성된 검출 채널은 입사면 밖으로 산란된 광을 수집하고 검출하도록 구성될 수 있다. 그러므로, 그러한 검출 채널을 "측면" 채널로서 통칭할 수 있으며, 그러한 측면 채널은 입사면에 실질적으로 수직한 평면에서 그 중심이 위치할 수 있다.As further shown in FIG. 1 , both detection channels are shown positioned in the ground, and the illumination subsystem is also shown positioned in the ground. Therefore, in this embodiment, the two detection channels are located at the incident surface (eg, centered on the incident surface). However, one or more detection channels may be located outside the plane of incidence. For example, the detection channel formed by the collector 30 , element 32 , and detector 34 may be configured to collect and detect light scattered out of the plane of incidence. Therefore, such detection channels may be collectively referred to as “side” channels, and such side channels may be centered in a plane substantially perpendicular to the plane of incidence.

도 1은 2개의 검출 채널들을 포함하는 이미징 시스템의 실시예를 도시하지만, 이미징 시스템은 상이한 수의 검출 채널들(예를 들어, 단하나의 검출 채널 또는 2개 이상의 검출 채널들)을 포함할 수 있다. 그러한 하나의 예시에서, 집광기(30), 엘리먼트(32), 및 검출기(34)에 의해 형성된 검출 채널은 전술한 바와 같이 하나의 측면 채널을 형성할 수 있으며, 이미징 시스템은 입사면의 대향 측면 상에 위치된 다른 측면 채널로서 형성된 추가적인 검출 채널(도시되지 않음)을 포함할 수 있다. 따라서, 이미징 시스템은, 집광기(24), 엘리먼트(26), 및 검출기(28)를 포함하고, 입사면에서 그 중심이 위치하며, 표본 표면에 수직이거나 또는 수직 가까이에 있는 산란각(들)에서 광을 수집하고 검출하도록 구성된 검출 채널을 포함할 수 있다. 따라서, 이 검출 채널을 "최상부" 채널로서 통칭할 수 있고, 이미징 시스템은 전술한 바와 같이 구성된 2개 이상의 측면 채널들을 또한 포함할 수 있다. 이와 같이, 이미징 시스템은 적어도 세 개의 채널들(즉, 하나의 최상부 채널과 2개의 측면 채널들)을 포함할 수 있고, 상기 적어도 세 개의 채널들 각각은 각자의 집광기를 가지며, 각각의 집광기는 다른 집광기들 각각과는 상이한 산란각으로 광을 수집하도록 구성된다.1 depicts an embodiment of an imaging system that includes two detection channels, the imaging system may include a different number of detection channels (eg, only one detection channel or two or more detection channels). have. In one such example, the detection channel formed by the light collector 30 , element 32 , and detector 34 may form one side channel as described above, wherein the imaging system is disposed on the opposite side of the incident surface. It may include an additional detection channel (not shown) formed as another side channel located in the . Accordingly, the imaging system includes a concentrator 24 , an element 26 , and a detector 28 , centered at the plane of incidence, and at scattering angle(s) that are perpendicular to or near normal to the specimen surface. and a detection channel configured to collect and detect light. Accordingly, this detection channel may be collectively referred to as the “top” channel, and the imaging system may also include two or more side channels configured as described above. As such, the imaging system may include at least three channels (ie, one top channel and two side channels), each of the at least three channels having a respective concentrator, each concentrator having a different concentrator. and each of the concentrators is configured to collect light at a different scattering angle.

전술한 바와 같이, 이미징 시스템에 포함된 검출 채널들 각각은 산란광을 검출하도록 구성될 수 있다. 따라서, 도 1에서 도시된 이미징 시스템은 표본의 암시야(dark field; DF) 이미징을 위해 구성될 수 있다. 그러나, 이미징 시스템은 또한 또는 대안적으로 표본의 명시야(bright field; BF) 이미징을 위해 구성된 검출 채널(들)을 포함할 수 있다. 달리 말하면, 이미징 시스템은 표본으로부터 정반사된(specularly reflected) 광을 검출하도록 구성된 적어도 하나의 검출 채널을 포함할 수 있다. 따라서, 본 명세서에서 설명된 이미징 시스템은 DF 이미징만을 위해 구성되거나, BF 이미징만을 위해 구성되거나, 또는 DF 및 BF 이미징 둘 다를 위해 구성될 수 있다. 각각의 집광기가 단일 굴절 광학 엘리먼트로서 도 1에서 도시되어 있지만, 집광기 각각은 하나 이상의 굴절 광학 엘리먼트(들) 및/또는 하나 이상의 반사 광학 엘리먼트(들)을 포함할 수 있음을 이해해야 한다.As described above, each of the detection channels included in the imaging system may be configured to detect scattered light. Accordingly, the imaging system shown in FIG. 1 may be configured for dark field (DF) imaging of a specimen. However, the imaging system may also or alternatively include detection channel(s) configured for bright field (BF) imaging of the specimen. In other words, the imaging system may include at least one detection channel configured to detect light specularly reflected from the specimen. Accordingly, the imaging system described herein may be configured for DF imaging only, configured for BF imaging only, or configured for both DF and BF imaging. Although each collector is shown in FIG. 1 as a single refractive optical element, it should be understood that each collector may include one or more refractive optical element(s) and/or one or more reflective optical element(s).

하나 이상의 검출 채널들은 당 업계에 공지된 임의의 적절한 검출기를 포함할 수 있다. 예를 들어, 검출기는 광전 증배 튜브(photo-multiplier tube; PMT), 전하 결합 디바이스(charge coupled device; CCD), 시간 지연 통합(time delay integration; TDI) 카메라, 및 당 업계에 공지된 임의의 다른 적절한 검출기들을 포함할 수 있다. 검출기는 또한 비 이미징(non-imaging) 검출기 또는 이미징(imaging) 검출기를 포함할 수 있다. 이러한 방식으로, 검출기가 비 이미징 검출기인 경우, 검출기 각각은 세기와 같은 산란광의 일정한 특성을 검출하도록 구성될 수 있지만, 이러한 특성을 이미징 평면 내의 위치 함수로서 검출하도록 구성되지는 않을 수 있다. 이와 같이, 이미징 시스템의 각각의 검출 채널에 포함된 각각의 검출기에 의해 생성된 출력은 신호 또는 데이터일 수 있지만, 이미지 신호 또는 이미지 데이터는 아닐 수 있다. 이러한 예시들에서, 컴퓨터 서브시스템(36)과 같은 컴퓨터 서브시스템은 검출기의 비 이미징 출력으로부터 표본의 이미지들을 생성하도록 구성될 수 있다. 그러나, 다른 예시들에서, 검출기는 이미지 신호 또는 이미지 데이터를 생성하도록 구성된 이미징 검출기로서 구성될 수 있다. 따라서, 이미징 시스템은 복수의 방식으로 본 명세서에서 설명된 이미지들을 생성하도록 구성될 수 있다.The one or more detection channels may include any suitable detector known in the art. For example, the detector may be a photo-multiplier tube (PMT), charge coupled device (CCD), time delay integration (TDI) camera, and any other known in the art. Appropriate detectors may be included. The detector may also include a non-imaging detector or an imaging detector. In this way, if the detectors are non-imaging detectors, each of the detectors may be configured to detect a certain characteristic of the scattered light, such as intensity, but not to detect such a characteristic as a function of position within the imaging plane. As such, the output generated by each detector included in each detection channel of the imaging system may be a signal or data, but may not be an image signal or image data. In such examples, a computer subsystem, such as computer subsystem 36, may be configured to generate images of the specimen from the non-imaging output of the detector. However, in other examples, the detector may be configured as an imaging detector configured to generate an image signal or image data. Accordingly, the imaging system may be configured to generate the images described herein in a plurality of manners.

도 1은 본 명세서에서 설명된 시스템 실시예들에 포함될 수 있거나 또는 본 명세서에서 설명된 시스템 실시예들에 의해 사용되는 이미지들을 생성할 수 있는 이미징 시스템 또는 서브시스템의 구성을 일반적으로 나타내기 위해 여기서 제공된 것임을 유념한다. 분명하게도, 본 명세서에서 설명된 이미징 시스템 구성은 상업적 이미징 시스템을 설계할 때 보통 수행되는 이미징 시스템의 성능을 최적화하도록 변경될 수 있다. 또한, 본 명세서에서 설명되는 시스템들은 (예컨대, 본 명세서에서 설명된 기능을 기존의 시스템에 추가함으로써) 캘리포니아주의 밀피타스에 있는 KLA-Tencor로부터 상업적으로 입수가능한 29xx/39xx 및 푸마 9xxx 시리즈의 툴들과 같은 기존의 시스템을 사용하여 구현될 수 있다. 이러한 몇가지 시스템들의 경우, 본 명세서에서 설명된 실시예들은 (예컨대, 시스템의 다른 기능에 더하여) 시스템의 옵션적 기능으로서 제공될 수 있다. 대안적으로, 본 명세서에서 설명된 이미징 시스템은 완전히 새로운 이미징 시스템을 제공하기 위해 "처음부터 새롭게" 설계될 수 있다.1 is herein intended to generally represent the configuration of an imaging system or subsystem that may be included in or used by system embodiments described herein to produce images. Note that provided Obviously, the imaging system configuration described herein can be modified to optimize the performance of the imaging system normally performed when designing a commercial imaging system. In addition, the systems described herein (eg, by adding the functionality described herein to an existing system) are compatible with the 29xx/39xx and Puma 9xxx series of tools commercially available from KLA-Tencor, Milpitas, CA. It can be implemented using the same existing system. For some such systems, the embodiments described herein may be provided as an optional function of the system (eg, in addition to other functions of the system). Alternatively, the imaging system described herein may be designed “from scratch” to provide an entirely new imaging system.

이미징 시스템의 컴퓨터 서브시스템(36)은, 컴퓨터 서브시스템이 표본의 스캐닝 동안 검출기에 의해 생성된 출력을 수신할 수 있도록,(예를 들어, "유선" 및/또는 "무선" 전송 매체를 포함할 수 있는, 하나 이상의 전송 매체를 통해) 임의의 적절한 방식으로 이미징 시스템의 검출기에 결합될 수 있다. 컴퓨터 서브시스템(36)은 검출기의 출력을 사용하여 본 명세서에서 추가로 설명되는 복수의 기능을 수행하도록 구성될 수 있다.Computer subsystem 36 of the imaging system may include (eg, “wired” and/or “wireless” transmission media such that the computer subsystem can receive output generated by the detector during scanning of the specimen. may be coupled to the detector of the imaging system in any suitable manner (via one or more transmission media). Computer subsystem 36 may be configured to perform a plurality of functions further described herein using the output of the detector.

도 1에서 도시된 컴퓨터 서브시스템(뿐만이 아니라, 본 명세서에서 설명된 다른 컴퓨터 서브시스템들)은 본 명세서에서 컴퓨터 시스템(들)이라고도 칭해질 수 있다. 본 명세서에서 설명된 컴퓨터 서브시스템(들) 또는 시스템(들) 각각은 개인 컴퓨터 시스템, 이미지 컴퓨터, 메인프레임 컴퓨터 시스템, 워크스테이션, 네트워크 어플라이언스, 인터넷 어플라이언스, 또는 다른 디바이스를 비롯하여, 다양한 형태를 취할 수 있다. 일반적으로, "컴퓨터 시스템"의 용어는 메모리 매체로부터의 명령어들을 실행하는 하나 이상의 프로세서들을 갖는 임의의 디바이스를 망라하도록 광범위하게 정의될 수 있다. 컴퓨터 서브시스템(들) 또는 시스템(들)은 또한 병렬 프로세서와 같은 당 업계에 공지된 임의의 적절한 프로세서를 포함할 수 있다. 또한, 컴퓨터 서브시스템(들) 또는 시스템(들)은 고속 처리 및 소프트웨어를 갖는 컴퓨터 플랫폼을 독립형 또는 네트워크형 툴로서 포함할 수 있다.The computer subsystem shown in FIG. 1 (as well as other computer subsystems described herein) may also be referred to herein as a computer system(s). Each of the computer subsystem(s) or system(s) described herein can take a variety of forms, including a personal computer system, image computer, mainframe computer system, workstation, network appliance, Internet appliance, or other device. have. In general, the term “computer system” may be broadly defined to encompass any device having one or more processors that execute instructions from a memory medium. The computer subsystem(s) or system(s) may also include any suitable processor known in the art, such as a parallel processor. In addition, the computer subsystem(s) or system(s) may include a computer platform with high-speed processing and software as standalone or networked tools.

시스템이 하나보다 많은 컴퓨터 서브시스템을 포함하는 경우, 이미지, 데이터, 정보, 명령어 등이 본 명세서에서 추가로 설명되는 바와 같이 컴퓨터 서브시스템 간에 전송될 수 있도록, 상이한 컴퓨터 서브시스템은 서로 결합될 수 있다. 예를 들어, 컴퓨터 서브시스템(36)은 당 업계에 공지된 임의의 적절한 유선 및/또는 무선 전송 매체를 포함할 수 있는, 임의의 적절한 전송 매체에 의해 (도 1의 점선으로 도시된 바와 같이) 컴퓨터 서브시스템(들)(102)에 결합될 수 있다. 그러한 컴퓨터 서브시스템들 중 둘 이상은 또한 공유형 컴퓨터 판독가능 저장 매체(도시되지 않음)에 의해 효과적으로 결합될 수 있다.Where a system includes more than one computer subsystem, the different computer subsystems may be coupled to each other such that images, data, information, instructions, etc. may be transferred between the computer subsystems as further described herein. . For example, computer subsystem 36 may be implemented by any suitable transmission medium (as shown in dashed lines in FIG. 1 ), which may include any suitable wired and/or wireless transmission medium known in the art. may be coupled to computer subsystem(s) 102 . Two or more of such computer subsystems may also be effectively coupled by a shared computer readable storage medium (not shown).

이미징 시스템이 광학 또는 광 기반 이미징 시스템인 것으로서 전술되었지만, 이미징 시스템은 전자 빔 기반 이미징 시스템일 수 있다. 도 1a에서 도시된 그러한 하나의 실시예에서, 이미징 시스템은 컴퓨터 서브시스템(124)에 결합된 전자 칼럼(electron column)(122)을 포함한다. 또한 도 1a에서 도시된 바와 같이, 전자 칼럼은 하나 이상의 엘리먼트(130)에 의해 표본(128)에 포커싱된 전자를 생성하도록 구성된 전자 빔 소스(126)를 포함한다. 전자빔원은, 예를 들어, 음극 소스 또는 이미터 팁을 포함할 수 있으며, 하나 이상의 엘리먼트(130)는, 예를 들어, 건(gun) 렌즈, 양극, 빔 제한 조리개, 게이트 밸브, 빔 전류 선택 조리개, 대물 렌즈, 및 스캐닝 서브시스템을 포함할 수 있으며, 이들 모두는 당 업계에 공지된 임의의 적절한 엘리먼트를 포함할 수 있다.Although the imaging system has been described above as being an optical or light based imaging system, the imaging system may be an electron beam based imaging system. In one such embodiment shown in FIG. 1A , the imaging system includes an electron column 122 coupled to a computer subsystem 124 . As also shown in FIG. 1A , the electron column includes an electron beam source 126 configured to generate electrons focused by one or more elements 130 to the specimen 128 . The electron beam source may include, for example, a cathode source or emitter tip, and one or more elements 130 may include, for example, a gun lens, an anode, a beam limiting stop, a gate valve, a beam current selection. It may include an iris, objective, and scanning subsystem, all of which may include any suitable element known in the art.

표본으로부터 복귀한 전자(예를 들어, 2차 전자)는 하나 이상의 엘리먼트(132)에 의해 검출기(134)에 포커싱될 수 있다. 하나 이상의 엘리먼트(132)는, 예를 들어, 엘리먼트(들)(130)에 포함된 동일한 스캐닝 서브시스템일 수 있는 스캐닝 서브시스템을 포함할 수 있다.Electrons returning from the sample (eg, secondary electrons) may be focused on the detector 134 by one or more elements 132 . One or more elements 132 may include a scanning subsystem, which may be, for example, the same scanning subsystem included in element(s) 130 .

전자 칼럼은 당 업계에 공지된 임의의 다른 적절한 엘리먼트를 포함할 수 있다. 또한, 전자 칼럼은 지앙(Jiang) 등의 2014년 4월 4일자로 등록된 미국 특허 제8,664,594호, 코지마(Kojima) 등의 2014년 4월 8일자로 등록된 미국 특허 제8,692,204호, 구벤스(Gubbens) 등의 2014년 4월 15일자로 등록된 미국 특허 제8,698,093호, 및 맥도날드(MacDonald) 등의 2014년 5월 6일자로 등록된 미국 특허 제 8,716,662호에 기술되어 있는 바와 같이 추가로 구성될 수 있으며, 이들 특허들은 본 명세서에서 완전히 설명된 것처럼 참고 문헌으로서 본 명세서 내에 포함된다.The electron column may comprise any other suitable element known in the art. In addition, the electronic column is disclosed in U.S. Patent No. 8,664,594, issued on April 4, 2014 by Jiang et al., U.S. Patent No. 8,692,204, issued on April 8, 2014 by Kojima et al., Gubens ( Gubbens et al., U.S. Patent No. 8,698,093, issued April 15, 2014, and U.S. Patent No. 8,716,662, issued May 6, 2014, MacDonald et al. and these patents are incorporated herein by reference as if fully set forth herein.

도 1a에서는 전자들이 경사 입사각으로 표본에 지향되고 다른 경사각으로 표본으로부터 산란되도록 전자 칼럼이 구성되어 있는 것으로서 도시되고 있지만, 전자 빔은 임의의 적절한 각도로 표본에 지향되고 표본로부터 산란될 수 있다는 것을 이해해야 한다. 또한, 전자 빔 기반 이미징 시스템은 본 명세서에 추가로 설명되는 바와 같이(예를 들어, 상이한 조명 각도, 집광 각도 등으로) 표본의 이미지들을 생성하기 위해 다중 모드들을 사용하도록 구성될 수 있다. 전자 빔 기반 이미징 시스템의 다중 모드들은 이미징 시스템의 임의의 이미지 생성 파라미터들에서 상이할 수 있다.Although in FIG. 1A the electron column is shown as configured such that electrons are directed to and scattered from the sample at an oblique angle of incidence, it should be understood that the electron beam may be directed to and scattered from the sample at any suitable angle. do. Further, the electron beam based imaging system may be configured to use multiple modes to generate images of the specimen (eg, with different illumination angles, collection angles, etc.) as further described herein. The multiple modes of an electron beam based imaging system may differ in any image generation parameters of the imaging system.

컴퓨터 서브시스템(124)은 전술한 바와 같이 검출기(134)에 결합될 수 있다. 검출기는 표본의 표면으로부터 복귀한 전자들을 검출하여 표본의 전자 빔 이미지들을 형성할 수 있다. 전자 빔 이미지들은 임의의 적절한 전자 빔 이미지들을 포함할 수 있다. 컴퓨터 서브시스템(124)은 검출기(134)에 의해 생성된 출력을 사용하여 표본에 대해 본 명세서에서 설명된 하나 이상의 기능을 수행하도록 구성될 수 있다. 컴퓨터 서브시스템(124)은 본 명세서에서 설명된 임의의 추가적인 단계(들)을 수행하도록 구성될 수 있다. 도 1a에서 도시된 이미징 시스템을 포함하는 시스템은 본 명세서에서 설명된 바와 같이 추가로 구성될 수 있다.Computer subsystem 124 may be coupled to detector 134 as described above. The detector may detect electrons returning from the surface of the specimen to form electron beam images of the specimen. The electron beam images may include any suitable electron beam images. The computer subsystem 124 may be configured to perform one or more functions described herein on the specimen using the output generated by the detector 134 . Computer subsystem 124 may be configured to perform any additional step(s) described herein. A system comprising the imaging system shown in FIG. 1A may be further configured as described herein.

본 명세서에서 설명되는 실시예들 내에 포함될 수 있는 전자 빔 기반 이미징 시스템의 구성을 일반적으로 나타내기 위해 본 명세서에서는 도 1a를 제공하였다는 것을 유념해둔다. 전술한 광학 기반 이미징 시스템에서와 같이, 본 명세서에서 설명된 전자 빔 기반 이미징 시스템 구성은 상업적 이미징 시스템을 설계할 때 보통 수행되는 이미징 시스템의 성능을 최적화하도록 변경될 수 있다. 또한, 본 명세서에서 설명되는 시스템들은 (예컨대, 본 명세서에서 설명된 기능을 기존의 시스템에 추가함으로써) KLA-Tencor로부터 상업적으로 입수가능한 eSxxx 및 eDR-xxxx 시리즈의 툴과 같은 기존의 시스템을 이용하여 구현될 수 있다. 이러한 몇가지 시스템들의 경우, 본 명세서에서 설명된 실시예들은 (예컨대, 시스템의 다른 기능에 더하여) 시스템의 옵션적 기능으로서 제공될 수 있다. 대안적으로, 본 명세서에서 설명된 시스템은 완전히 새로운 시스템을 제공하기 위해 "맨 처음부터 새롭게" 설계될 수 있다.It is noted that FIG. 1A is provided herein to generally represent the configuration of an electron beam based imaging system that may be included within the embodiments described herein. As with the optical-based imaging system described above, the electron beam-based imaging system configuration described herein can be modified to optimize the performance of the imaging system normally performed when designing a commercial imaging system. In addition, the systems described herein can utilize existing systems such as the eSxxx and eDR-xxxx series of tools commercially available from KLA-Tencor (eg, by adding the functionality described herein to an existing system). can be implemented. For some such systems, the embodiments described herein may be provided as an optional function of the system (eg, in addition to other functions of the system). Alternatively, the system described herein may be designed “from scratch” to provide an entirely new system.

이미징 시스템이 광학 기반 또는 전자 빔 기반 이미징 시스템인 것으로서 전술되었지만, 이미징 시스템은 이온 빔 기반 이미징 시스템일 수 있다. 이러한 이미징 시스템은 전자빔원이 당 업계에 공지된 임의의 적절한 이온빔원으로 대체될 수 있다는 것을 제외하고는 도 2에서 도시된 바와 같이 구성될 수 있다. 또한, 이미징 시스템은 상업적으로 입수가능한 포커싱 이온빔(focused ion beam; FIB) 시스템, 헬륨 이온 현미경(helium ion microscopy; HIM) 시스템, 및 2차 이온 질량 분광기(secondary ion mass spectroscopy; SIMS) 시스템 내에 포함된 것과 같은 다른 적절한 이온 빔 기반 이미징 시스템일 수 있다.Although the imaging system has been described above as being an optical based or electron beam based imaging system, the imaging system may be an ion beam based imaging system. This imaging system may be configured as shown in FIG. 2 except that the electron beam source may be replaced by any suitable ion beam source known in the art. The imaging system may also be incorporated into a commercially available focused ion beam (FIB) system, a helium ion microscopy (HIM) system, and a secondary ion mass spectroscopy (SIMS) system. any other suitable ion beam based imaging system, such as

전술한 바와 같이, 이미징 시스템은 물리적 버전의 표본에 대해 에너지(예컨대, 광 또는 전자)를 스캐닝함으로써 물리적 버전의 표본에 대한 실제 이미지를 생성하도록 구성된다. 이러한 방식으로, 이미징 시스템은 "가상" 시스템보다는 "실제" 시스템으로서 구성될 수 있다. 예를 들어, 도 1에서 도시된 저장 매체(미도시됨) 및 컴퓨터 서브시스템(들)(102)은 "가상" 시스템으로서 구성될 수 있다. 특히, 저장 매체 및 컴퓨터 서브시스템(들)은 이미징 시스템(10)의 일부가 아니며, 물리적 버전의 표본을 처리하기 위한 어떠한 능력도 갖지 않는다. 달리 말하면, 가상 시스템으로서 구성된 시스템에서, 그 하나 이상의 "검출기"의 출력은, 실제 시스템의 하나 이상의 검출기에 의해 이전에 생성되었고 가상 시스템에 저장되는 출력일 수 있으며, "스캐닝" 동안, 가상 시스템은 마치 표본이 스캐닝되고 있는 것처럼 이러한 저장된 출력을 재생할 수 있다. 이러한 방식으로, 가상 시스템으로 표본을 스캐닝하는 것은 물리적 표본이 실제 시스템으로 스캐닝 중에 있는 것과 동일하게 나타날 수 있지만, 실제로, "스캐닝"은 표본을 스캐닝할 때와 동일한 방식으로 표본의 출력을 단순히 재생하는 것을 포함할 뿐이다. "가상" 검사 시스템으로서 구성된 시스템 및 방법은 바스카(Bhaskar) 등의 공동 양도된 미국 특허 제8,126,255호(2012년 2월 28일에 등록됨) 및 듀피(Duffy) 등의 미국 특허 제9,222,895호(2015년 12월 29일에 등록됨)에서 기술되어 있으며, 이 둘다는 본 명세서에서 완전히 설명된 것처럼 참고 문헌으로서 본 명세서 내에서 원용된다. 본 명세서에서 설명된 실시예들은 이 특허들에 기재된 바와 같이 추가로 구성될 수 있다. 예를 들어, 본 명세서에서 설명된 하나 이상의 컴퓨터 서브시스템은 이들 특허들에서 기술된 바와 같이 추가로 구성될 수 있다. 또한, 하나 이상의 가상 시스템을 CCS(Central Computing and Storage) 시스템으로서 구성하는 것이 상기 언급된 듀피의 특허에서 설명된 바와 같이 수행될 수 있다. 본 명세서에서 설명된 영구 저장 메커니즘은 CCS 아키텍처와 같은 분산형 컴퓨팅 및 저장을 가질 수 있지만, 본 명세서에서 설명되는 실시예들은 그러한 아키텍처로 한정되지 않는다.As described above, the imaging system is configured to generate a real image of the physical version of the specimen by scanning energy (eg, light or electrons) over the physical version of the specimen. In this way, the imaging system may be configured as a “real” system rather than a “virtual” system. For example, the storage medium (not shown) and computer subsystem(s) 102 shown in FIG. 1 may be configured as a “virtual” system. In particular, the storage medium and computer subsystem(s) are not part of the imaging system 10 and do not have any capability to process the physical version of the specimen. In other words, in a system configured as a virtual system, the outputs of the one or more “detectors” may be outputs previously generated by one or more detectors of the real system and stored in the virtual system, wherein during “scanning” the virtual system is You can replay these stored outputs as if the specimen was being scanned. In this way, scanning a specimen with a virtual system may appear identical to if a physical specimen is being scanned into a real system, but in practice "scanning" is simply reproducing the output of the specimen in the same way as when scanning the specimen. include only Systems and methods configured as “virtual” inspection systems are described in commonly assigned US Pat. No. 8,126,255 to Bhaskar et al. (issued Feb. 28, 2012) and US Pat. No. 9,222,895 to Duffy et al. (2015). Registered on December 29, ), both of which are incorporated herein by reference as if fully set forth herein. Embodiments described herein may be further configured as described in these patents. For example, one or more computer subsystems described herein may be further configured as described in these patents. Also, configuring one or more virtual systems as a CCS (Central Computing and Storage) system may be performed as described in the aforementioned Duppy patent. The persistent storage mechanism described herein may have distributed computing and storage, such as a CCS architecture, although embodiments described herein are not limited to such architecture.

전술한 바와 같이, 이미징 시스템은 다중 모드들로 표본의 이미지들을 생성하도록 구성될 수 있다. 일반적으로, "모드"는 표본의 이미지들을 생성하는데 사용되는 이미징 시스템의 파라미터들 또는 표본의 이미지들을 생성하는데 사용되는 출력의 값들에 의해 정의될 수 있다. 따라서, 상이한 모드들은 이미징 시스템의 이미징 파라미터들 중 적어도 하나의 이미징 파라미터에 대한 값들이 상이할 수 있다. 예를 들어, 광학 기반 이미징 시스템의 일 실시예에서, 상기 다중 모드들 중 적어도 하나의 모드는, 상기 다중 모드들 중 적어도 하나의 다른 모드에 대해 사용되는 적어도 하나의 조명광 파장과는 상이한 적어도 하나의 조명광 파장을 사용한다. 모드들은 상이한 모드들에 대해 본 명세서에 추가로 설명되는 바와 같이 (예를 들어, 상이한 광원, 상이한 스펙트럼 필터 등을 사용함으로써) 조명 파장이 상이할 수 있다. 다른 실시예에서, 다중 모드들 중 적어도 하나의 모드는 다중 모드들 중 적어도 하나의 다른 모드에 대해 사용되는 이미징 시스템의 조명 채널과는 상이한, 이미징 시스템의 조명 채널을 사용한다. 예를 들어, 전술한 바와 같이, 이미징 시스템은 하나보다 많은 조명 채널을 포함할 수 있다. 이와 같이, 상이한 조명 채널들이 상이한 모드들에 대해 사용될 수 있다.As noted above, the imaging system may be configured to generate images of the specimen in multiple modes. In general, a “mode” may be defined by the values of the parameters of the imaging system used to generate images of the specimen or the values of the output used to generate the images of the specimen. Accordingly, different modes may have different values for at least one of the imaging parameters of the imaging system. For example, in one embodiment of an optical based imaging system, at least one of the multiple modes comprises at least one different wavelength of at least one illumination light used for the other mode of at least one of the multiple modes. Illumination wavelength is used. The modes may have different illumination wavelengths (eg, by using different light sources, different spectral filters, etc.) as further described herein for different modes. In another embodiment, at least one of the multiple modes uses an illumination channel of the imaging system that is different from an illumination channel of the imaging system used for the other mode of the at least one of the multiple modes. For example, as noted above, the imaging system may include more than one illumination channel. As such, different illumination channels may be used for different modes.

일 실시예에서, 이미징 시스템은 검사 시스템이다. 예를 들어, 본 명세서에서 설명된 광학 및 전자 빔 이미징 시스템은 검사 시스템으로서 구성될 수 있다. 다른 실시예에서, 이미징 시스템은 결함 검토 시스템이다. 예를 들어, 본 명세서에서 설명된 광학 및 전자 빔 이미징 시스템은 결함 검토 시스템으로서 구성될 수 있다. 추가적인 실시예에서, 이미징 시스템은 계측 시스템이다. 예를 들어, 본 명세서에서 설명된 광학 및 전자 빔 이미징 시스템은 계측 시스템으로서 구성될 수 있다. 특히, 본 명세서에서 설명되고 도 1 및 도 1a에서 도시된 이미징 시스템의 실시예들은 이들이 사용될 응용예에 따라 상이한 이미징 능력을 제공하기 위해 하나 이상의 파라미터가 수정될 수 있다. 그러한 하나의 예시에서, 도 1에서 도시된 이미징 시스템은 검사보다는 결함 검토 또는 계측을 위해 사용될 경우 더 높은 분해능을 갖도록 구성될 수 있다. 다시 말해서, 도 1 및 도 1a에서 도시된 이미징 시스템의 실시예들은, 상이한 응용들에 더 적절하거나 덜 적절한 상이한 이미징 능력들을 갖는 이미징 시스템을 생산하기 위해 당업자에게 자명한 여가가지 방식으로 맞춤화될 수 있는 이미징 시스템을 위한 몇몇 일반적이고 다양한 구성을 설명한다.In one embodiment, the imaging system is an inspection system. For example, the optical and electron beam imaging systems described herein can be configured as an inspection system. In another embodiment, the imaging system is a defect review system. For example, the optical and electron beam imaging systems described herein can be configured as a defect review system. In a further embodiment, the imaging system is a metrology system. For example, the optical and electron beam imaging systems described herein can be configured as metrology systems. In particular, embodiments of the imaging systems described herein and illustrated in FIGS. 1 and 1A may have one or more parameters modified to provide different imaging capabilities depending on the application in which they will be used. In one such example, the imaging system shown in FIG. 1 may be configured to have higher resolution when used for defect review or metrology rather than inspection. In other words, the embodiments of the imaging system shown in FIGS. 1 and 1A may be customized in any of the ways apparent to those skilled in the art to produce an imaging system with different imaging capabilities that are more or less suitable for different applications. Some general and various configurations for imaging systems are described.

하나 이상의 컴퓨터 서브시스템은 표본의 저해상도 이미지를 획득하도록 구성된다. 저해상도 이미지를 획득하는 것은 본 명세서에서 설명된 이미징 시스템들 중 하나를 사용하여 (예를 들어, 광 또는 전자 빔을 표본에 지향시키고, 각각에서 표본으로부터, 광 또는 전자 빔을 각각 검출함으로써) 수행될 수 있다. 이러한 방식으로, 물리적 표본 자체 및 일부 종류의 이미징 하드웨어를 사용하여 저해상도 이미지의 획득이 수행될 수 있다. 그러나, 저해상도 이미지를 획득하는 것은 이미징 하드웨어를 사용하여 표본을 이미징하는 것을 반드시 포함하는 것은 아니다. 예를 들어, 다른 시스템 및/또는 방법이 저해상도 이미지를 생성할 수 있고, 생성된 저해상도 이미지를 본 명세서에서 설명된 가상 검사 시스템 또는 본 명세서에서 설명된 다른 저장 매체와 같은 하나 이상의 저장 매체에 저장할 수 있다. 따라서, 저해상도 이미지를 획득하는 것은 저해상도 이미지가 저장된 저장 매체로부터 저해상도 이미지를 획득하는 것을 포함할 수 있다.The one or more computer subsystems are configured to acquire a low resolution image of the specimen. Acquiring the low-resolution image may be performed using one of the imaging systems described herein (eg, by directing a light or electron beam at the specimen and detecting the light or electron beam from the specimen, respectively). can In this way, the acquisition of low-resolution images can be performed using the physical specimen itself and some kind of imaging hardware. However, acquiring a low-resolution image does not necessarily include imaging the specimen using imaging hardware. For example, other systems and/or methods may generate low-resolution images and store the generated low-resolution images in one or more storage media, such as a virtual inspection system described herein or other storage media described herein. have. Accordingly, acquiring the low-resolution image may include acquiring the low-resolution image from a storage medium in which the low-resolution image is stored.

일부 실시예들에서, 저해상도 이미지는 검사 시스템에 의해 생성된다. 예를 들어, 본 명세서에서 설명된 바와 같이, 저해상도 이미지는 저해상도를 가짐으로써 그 처리량을 증가시키도록 구성된 검사 시스템에 의해 생성될 수 있다. 검사 시스템은 광학 검사 시스템 또는 전자 빔 검사 시스템일 수 있다. 검사 시스템은 본 명세서에서 추가로 설명되는 임의의 구성을 가질 수 있다.In some embodiments, the low resolution image is generated by the inspection system. For example, as described herein, a low resolution image may be generated by an inspection system configured to increase its throughput by having a low resolution. The inspection system may be an optical inspection system or an electron beam inspection system. The inspection system may have any configuration further described herein.

일 실시예에서, 저해상도 이미지는 전자 빔 기반 이미징 시스템에 의해 생성된다. 다른 실시예에서, 저해상도 이미지는 광학 기반 이미징 시스템에 의해 생성된다. 예를 들어, 저해상도 이미지는 본 명세서에서 설명된 전자 빔 기반 또는 광학 기반 이미징 시스템들 중 임의의 것에 의해 생성될 수 있다.In one embodiment, the low resolution image is generated by an electron beam based imaging system. In another embodiment, the low resolution image is generated by an optical based imaging system. For example, the low resolution image may be generated by any of the electron beam based or optical based imaging systems described herein.

일 실시예에서, 저해상도 이미지는 단일 모드의 이미징 시스템으로 생성된다. 다른 실시예에서, 하나 이상의 저해상도 이미지가 다중 모드의 이미징 시스템으로 표본에 대해 생성된다. 예를 들어, 본 명세서에서 추가로 설명되는 심층 컨볼루션 신경망(심층 CNN)에 입력되는 저해상도 이미지(들)는 단일 모드의 이미징 시스템만을 통해 생성된 단일 저해상도 이미지를 포함할 수 있다. 대안적으로, 본 명세서에서 추가로 설명되는 심층 CNN에 입력되는 저해상도 이미지는 다중 모드의 이미징 시스템으로 생성된 다수의 저해상도 이미지들(예를 들어, 제1 모드로 생성된 제1 이미지, 제2 이미지로 생성된 제2 이미지 등)을 포함할 수 있다. 단일 모드 및 다중 모드는 본 명세서에서 추가로 설명된 모드(들) 중 임의의 모드를 포함할 수 있다.In one embodiment, the low resolution image is generated with a single mode imaging system. In another embodiment, one or more low-resolution images are generated of the specimen with a multimodal imaging system. For example, the low-resolution image(s) input to a deep convolutional neural network (deep CNN) described further herein may include a single low-resolution image generated via only a single-mode imaging system. Alternatively, the low-resolution image input to the deep CNN as further described herein may be a plurality of low-resolution images generated with the multi-mode imaging system (eg, a first image generated in the first mode, a second image generated in the first mode). a second image generated by , etc.). Single mode and multiple mode may include any of the mode(s) further described herein.

컴퓨터 서브시스템(들), 예컨대, 컴퓨터 서브시스템(36) 및/또는 컴퓨터 서브시스템(들)(102)에 의해 실행되는 컴포넌트(들), 예컨대, 도 1에서 도시된 컴포넌트(들)(100)은 심층 CNN(104)을 포함한다. 심층 CNN은 저해상도 이미지의 표현을 생성하도록 구성된 하나 이상의 제1 계층 및 저해상도 이미지의 표현으로부터 표본에 대한 고해상도 이미지를 생성하도록 구성된 하나 이상의 제2 계층을 포함한다. 이러한 방식으로, 본 명세서에서 설명된 실시예들은 표본의 저해상도 이미지를 표본의 고해상도 이미지로 변환하기 위해 본 명세서에서 설명된 심층 CNN들 중 하나(예를 들어, 하나 이상의 기계 학습 기술들)를 사용할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 심층 CNN은 이미지 변환 네트워크(200)로서 도시되어 있다. 생산 및/또는 런타임 동안(즉, 이미지 변환 네트워크가 설정 및/또는 트레이닝된 후, 이는 본 명세서에서 추가로 설명되는 바와 같이 수행될 수 있음), 이미지 변환 네트워크로의 입력은 저해상도(고 처리량) 이미지(202)로 입력될 수 있고, 이미지 변환 네트워크의 출력은 고해상도(고감도) 이미지(204)로 출력될 수 있다.Computer subsystem(s), such as computer subsystem 36 and/or component(s) executed by computer subsystem(s) 102 , such as component(s) 100 shown in FIG. 1 . includes a deep CNN (104). The deep CNN includes one or more first layers configured to generate a representation of the low-resolution image and one or more second layers configured to generate a high-resolution image for a specimen from the representation of the low-resolution image. In this way, embodiments described herein may use one of the deep CNNs (eg, one or more machine learning techniques) described herein to transform a low-resolution image of a specimen into a high-resolution image of a specimen. have. For example, as shown in FIG. 2 , a deep CNN is shown as an image transformation network 200 . During production and/or runtime (ie, after the image transformation network has been set up and/or trained, which may be performed as further described herein), the input to the image transformation network is a low-resolution (high-throughput) image. 202 , and the output of the image conversion network may be output as a high-resolution (high-sensitivity) image 204 .

하나 이상의 제2 계층은 고해상도 계층을 출력하도록 구성된 최종 계층을 포함하고, 최종 계층은 서브 픽셀 컨볼루션 계층으로서 구성된다. 도 3은 본 명세서에서 설명된 실시예들에서 사용하기에 적절할 수 있는 이미지 변환 네트워크 아키텍처의 일 실시예를 나타낸다. 이 실시예에서, 이미지 변환 네트워크는 최종 계층으로서 서브 픽셀 계층을 갖는 심층 CNN이다. 이 아키텍처에서, 입력은 저해상도 이미지(300)일 수 있으며, 이는 도 3에서 단순히 픽셀들의 그리드로서 도시되며 본 명세서에서 설명된 실시예들에 의해 생성될 수 있는 임의의 특정 저해상도 이미지를 나타내지는 않는다. 저해상도 이미지는 특징 맵 추출을 위해 구성된 컨볼루션 계층들로서 구성될 수 있는 하나 이상의 제1 계층(302, 304)에 입력될 수 있다. 이들 제1 계층들은 이미지 변환 네트워크 아키텍처의 은닉된 계층들을 형성할 수 있다.The one or more second layers include a final layer configured to output a high-resolution layer, and the final layer is configured as a sub-pixel convolutional layer. 3 illustrates one embodiment of an image transformation network architecture that may be suitable for use in the embodiments described herein. In this embodiment, the image transformation network is a deep CNN with a sub-pixel layer as the final layer. In this architecture, the input may be a low-resolution image 300 , which is shown in FIG. 3 simply as a grid of pixels and does not represent any particular low-resolution image that may be produced by the embodiments described herein. The low resolution image may be input to one or more first layers 302 , 304 which may be configured as convolutional layers configured for feature map extraction. These first layers may form hidden layers of the image transformation network architecture.

따라서, 하나 이상의 제1 계층에 의해 생성된 저해상도 이미지의 표현은 하나 이상의 특징 및/또는 특징 맵일 수 있다. 특징들은 입력으로부터 추론될 수 있고 본 명세서에서 추가로 설명되는 출력을 생성하는데 사용될 수 있는, 당 업계에 공지된 임의의 적절한 특징 유형들을 가질 수 있다. 예를 들어, 특징들은 픽셀 당 세기 값의 벡터를 포함할 수 있다. 특징들은 또한 본 명세서에서 설명된 임의의 다른 유형의 특징들, 예컨대, 스칼라 값의 벡터, 독립 분포의 벡터, 연합 분포(joint distribution), 또는 당 업계에 공지된 임의의 다른 적절한 특징 유형을 포함할 수 있다. 본 명세서에서 추가로 설명되는 바와 같이, 특징들은 트레이닝 동안 네트워크에 의해 학습되며, 당 업계에 공지된 임의의 실제 특징과 상관될 수도 있고 그렇지 않을 수도 있다.Accordingly, the representation of the low-resolution image generated by the one or more first layers may be one or more features and/or feature maps. Features can have any suitable feature types known in the art that can be inferred from input and used to generate output as further described herein. For example, the features may include a vector of intensity values per pixel. Features may also include any other type of feature described herein, e.g., a vector of scalar values, a vector of independent distribution, a joint distribution, or any other suitable feature type known in the art. can As further described herein, features are learned by the network during training and may or may not correlate with any real feature known in the art.

하나 이상의 제2 계층은 최종 계층(306)을 포함하며, 이것은 단일 단계에서 저해상도 공간으로부터 특징 맵들을 집계하고 고해상도 이미지(308)를 구축하는 서브 픽셀 컨볼루션 계층으로서 구성된다. 서브 픽셀 컨볼루션 계층은 최종적인 저해상도 특징 맵들을 고해상도 출력 이미지로 업스케일링하기 위해 업스케일링 필터들의 어레이를 학습한다. 이러한 방식으로, 이미지 변환 네트워크는 노이즈가 있고(noisy), 열악하게 해상된(poorly resolved) 고처리량 입력 이미지를 취하고, 많은 컨볼루션 계층들에 걸쳐 특징 맵들을 계산하고, 그런 후, 서브 픽셀 계층을 사용하여 특징 맵들을 비교적 진정된(quiet), 초 해상(super-resolved) 이미지로 변환시킬 수 있다. 서브 픽셀 컨볼루션 계층은 유리하게도 각 특징 맵에 대해 구체적으로 트레이닝되어 있으면서 전반적인 작업의 계산 복잡성을 또한 감소시키는 비교적 복잡한 업스케일링 필터들을 제공한다. 본 명세서에서 설명된 실시예들에서 사용된 심층 CNN은 시(Shi) 등의 "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network"(2016년 9월, arXiv:1609.05158v2)에 의해 기술된 대로 추가로 구성될 수 있으며, 이 문헌은 본 명세서에서 완전히 진술된 것처럼 참조로서 원용된다.The one or more second layers include the final layer 306 , which is configured as a sub-pixel convolutional layer that aggregates feature maps from the low-resolution space and builds the high-resolution image 308 in a single step. The sub-pixel convolution layer learns an array of upscaling filters to upscale the final low-resolution feature maps to a high-resolution output image. In this way, the image transformation network takes a noisy, poorly resolved high-throughput input image, computes feature maps across many convolutional layers, and then converts the sub-pixel layer to can be used to transform feature maps into relatively quiet, super-resolved images. The sub-pixel convolution layer advantageously provides relatively complex upscaling filters that are specifically trained for each feature map while also reducing the computational complexity of the overall task. The deep CNN used in the embodiments described herein is “Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network” by Shi et al. (September 2016, arXiv:1609.05158 v2), which is incorporated herein by reference as if fully set forth herein.

본 명세서에서 설명된 심층 CNN은 일반적으로 심층적 학습 모델로서 분류될 수 있다. 일반적으로 말해서, "심층적 학습"(심층적 구조화 학습, 계층적 학습, 또는 심층적 기계 학습이라고도 알려짐)은 데이터에서 하이 레벨 추상화를 모델링하려고 시도하는 일련의 알고리즘들에 기초한 기계 학습의 하나의 지류이다. 단순한 케이스로, 두 개의 뉴런 세트가 있을 수 있는데, 하나의 뉴런은 입력 신호를 수신하며, 다른 뉴런은 출력 신호를 전송한다. 입력 계층이 입력을 수신하면, 입력 계층은 수정된 버전의 입력을 다음 계층으로 전달한다. 심층 네트워크에서는, 입력과 출력 사이에 많은 계층들이 있어서(계층들은 뉴런으로 구성되지는 않지만, 그렇게 생각하게끔 도움을 줄 수 있음), 알고리즘이 여러 선형 및 비선형 변환들로 구성된 여러 처리 계층들을 사용할 수 있게 한다.The deep CNNs described herein can be generally classified as deep learning models. Generally speaking, "deep learning" (also known as deep structured learning, hierarchical learning, or deep machine learning) is a branch of machine learning based on a set of algorithms that attempt to model high-level abstractions from data. As a simple case, there could be two sets of neurons, one neuron receiving the input signal and the other sending the output signal. When an input layer receives an input, the input layer passes a modified version of the input to the next layer. In deep networks, there are many layers between input and output (layers aren't made up of neurons, but can help you think so), allowing the algorithm to use multiple processing layers made up of multiple linear and non-linear transformations. do.

심층적 학습은 데이터의 표현들의 학습을 기반으로 하는 광범위한 기계 학습 방법군의 일부이다. 관찰물(예를 들어, 이미지)은 픽셀 당 세기값들의 벡터, 또는 가장자리들의 세트로서의 보다 추상적인 방식으로, 특정 형상의 영역들로 등과 같이 많은 방식들로 표현될 수 있다. 일부 표현들은 학습 작업을 단순화시킴으로써 다른 것들보다 우수하다(예컨대, 얼굴 인식 또는 얼굴 표정 인식). 심층적 학습의 기약(promise) 중 하나는 수작업된 특징들을, 비지도형(unsupervised) 또는 반지도형(semi-supervised) 특징 학습 및 계층적 특징 추출을 위한 효율적인 알고리즘으로 대체하는 것이다.Deep learning is part of a broad family of machine learning methods that are based on learning representations of data. An object (eg, an image) can be represented in many ways, such as as a vector of intensity values per pixel, or in a more abstract way as a set of edges, as regions of a particular shape, and so on. Some representations outperform others by simplifying the learning task (eg, face recognition or facial expression recognition). One of the promises of deep learning is to replace hand-crafted features with efficient algorithms for unsupervised or semi-supervised feature learning and hierarchical feature extraction.

이 분야에 대한 연구는 더 나은 표현들을 형성하고 레이블이 없는 대규모 데이터로부터 이러한 표현들을 학습하기 위한 모델들을 창출하려고 시도한다. 일부 표현들은 신경과학의 진보에 의해 영감을 얻었으며, 뇌의 다양한 자극과 이와 연관된 신경 반응 사이의 관계를 정의하려고 시도하는 신경 코딩과 같은, 신경 시스템에서의 정보 처리 및 통신 패턴의 해석에 대략적으로 기초한다.Research in this field attempts to form better representations and create models for learning these representations from large, unlabeled data. Some representations are inspired by advances in neuroscience and approximate the interpretation of patterns of information processing and communication in the nervous system, such as neural coding, which attempts to define the relationship between the brain's various stimuli and the neural responses associated with it. based on

본 명세서에서 설명된 심층 CNN은 또한 심층적 학습 모델로서 분류될 수 있다. 기계 학습은 일반적으로, 명시적으로 프로그래밍되지 않고서 학습하는 능력을 컴퓨터에 제공하는 인공 지능(AI)의 유형으로서 정의될 수 있다. 기계 학습은 새로운 데이터에 노출될 때 성장하고 변화하도록 스스로를 가르칠 수 있는 컴퓨터 프로그램들의 개발에 중점을 둔다. 다시 말해서, 기계 학습은 "명시적으로 프로그래밍되지 않고서 학습하는 능력을 컴퓨터에 부여하는" 컴퓨터 과학의 하위분야로서 정의될 수 있다. 기계 학습은 데이터로부터 학습하고 데이터에 대한 예측을 할 수 있는 알고리즘들의 연구와 구축을 탐구하며 - 이러한 알고리즘들은 샘플 입력들로부터 모델을 구축함으로써, 데이터 중심 예측 또는 결정에 의해 엄격하게 정적인 프로그램 명령어들을 따르는 것을 극복한다.The deep CNNs described herein can also be classified as deep learning models. Machine learning can be generally defined as a type of artificial intelligence (AI) that gives computers the ability to learn without being explicitly programmed. Machine learning focuses on the development of computer programs that can teach themselves to grow and change when exposed to new data. In other words, machine learning can be defined as a subfield of computer science that "givens computers the ability to learn without being explicitly programmed". Machine learning explores the study and construction of algorithms that can learn from and make predictions on data - these algorithms build models from sample inputs, thereby making strictly static program instructions by data-driven predictions or decisions. Overcome following

본 명세서에서 설명된 기계 학습은 스기야마(Sugiyama)의 "Introduction to Statistical Machine Learning"(모간 카우프만, 2016, 534페이지); 제바라(Jebara)의 "Discriminative, Generative, and Imitative Learning"(MIT 논문, 2002, 212페이지); 및 핸드(Hand) 등의 "Principles of Data Mining (Adaptive Computation and Machine Learning)"(MIT 출판, 2001, 578페이지)에서 기술된 대로 추가로 수행될 수 있으며, 이들 문헌들은 그 전체가 여기서 기재된 것처럼 참조로서 원용된다. 본 명세서에서 설명된 실시예들은 이 참조문헌들에 기재된 바와 같이 추가로 구성될 수 있다.The machine learning described herein is "Introduction to Statistical Machine Learning" by Sugiyama (Morgan Kaufman, 2016, p. 534); “Discriminative, Generative, and Imitative Learning” by Jebara (MIT Paper, 2002, p. 212); and "Principles of Data Mining (Adaptive Computation and Machine Learning)" by Hand et al. (MIT publication, 2001, p. 578), which is incorporated herein by reference in its entirety. is used as Embodiments described herein may be further configured as described in these references.

심층 CNN은 또한 생성 모델(generative model)이다. "생성" 모델은 일반적으로 확률론적 성질을 갖는 모델로서 정의될 수 있다. 달리 말하면, "생성" 모델은 순방향 시뮬레이션이나 규칙 기반 접근법을 수행하는 모델은 아니며, 그렇기 때문에 실제 이미지(이에 대한 시뮬레이션된 이미지가 생성됨)를 생성하는데 있어서 수반되는 공정들의 물리 모델은 필요가 없다. 대신에, 본 명세서에서 추가로 설명되는 바와 같이, 생성 모델은 (생성 모델의 파라미터가 학습될 수 있다는 점에서) 적절한 트레이닝 데이터 세트에 기초하여 학습될 수 있다.Deep CNNs are also generative models. A “generative” model can be defined as a model having a general probabilistic nature. In other words, a "generating" model is not a model that performs forward simulation or a rule-based approach, so there is no need for a physical model of the processes involved in generating the real image (for which the simulated image is created). Instead, as further described herein, a generative model may be trained based on an appropriate training data set (in that the parameters of the generative model may be learned).

일 실시예에서, 심층 CNN은 심층 생성 모델이다. 예를 들어, 상기 모델이 복수의 알고리즘들 또는 변환들을 수행하는 복수의 계층들을 포함할 수 있다는 점에서 심층 CNN은 심층적 학습 아키텍처를 갖도록 구성될 수 있다. 심층 CNN의 한 측 또는 양 측 상의 계층들의 개수는 본 명세서에서 설명된 도면에서 도시된 것과는 다를 수 있다. 실용적인 목적을 위해, 양 측 상의 계층의 적절한 범위는 두 개 계층에서 수십 개 계층이다.In one embodiment, the deep CNN is a deep generative model. For example, a deep CNN may be configured to have a deep learning architecture in that the model may include multiple layers that perform multiple algorithms or transforms. The number of layers on one or both sides of a deep CNN may be different from that shown in the figures described herein. For practical purposes, a suitable range of layers on both sides is from two to tens of layers.

심층 CNN은 또한 자신을 트레이닝시키기 위해 공급받은 데이터에 따라 세계를 모델링하는 일련의 가중치를 갖는 심층적 신경망일 수 있다. 신경망은 일반적으로 생물학적 뇌가 축삭에 의해 연결된 비교적 대규모의 생물학적 뉴런 클러스터들의 문제를 해결하는 방식을 대략적으로 모델링하는 비교적 큰 신경 단위들의 컬렉션을 기반으로 하는 연산 접근법으로서 정의될 수 있다. 각각의 신경 단위는 다른 많은 단위와 연결되며, 링크들은 연결된 신경 단위들의 활성화 상태에 대한 각자의 영향을 강제하거나 또는 금지시킬 수 있다. 이러한 시스템들은 명시적으로 프로그래밍되기 보다는 자체 학습 및 트레이닝되며, 기존 컴퓨터 프로그램에서 솔루션 또는 특징 검출이 표현하기가 어려운 분야에서 탁월하다.A deep CNN can also be a deep neural network with a set of weights that models the world according to the data it has been fed to train itself. Neural networks can generally be defined as computational approaches based on collections of relatively large neural units that roughly model how the biological brain solves problems of relatively large clusters of biological neurons connected by axons. Each neural unit is connected to many other units, and links can force or inhibit their respective influence on the activation state of the connected neural units. These systems are self-learned and trained rather than explicitly programmed, and excel in areas where solution or feature detection in existing computer programs is difficult to express.

신경망은 일반적으로 여러 계층들로 구성되며, 신호 경로는 전후로 횡단한다. 신경망의 목표는 인간의 뇌와 같은 방식으로 문제를 해결하는 것이지만, 여러 개의 신경망들은 훨씬 더 추상적이다. 현대의 신경망 프로젝트는 일반적으로 수천 개에서 수백만 개의 신경 단위들과 수백만 개의 연결점들로 작동한다. 신경망은 당 업계에서 공지된 임의의 적절한 아키텍처 및/또는 구성을 가질 수 있다.Neural networks usually consist of several layers, and the signal path traverses back and forth. Although the goal of neural networks is to solve problems in the same way as the human brain, multiple neural networks are much more abstract. Modern neural network projects typically operate with thousands to millions of neural units and millions of connections. A neural network may have any suitable architecture and/or configuration known in the art.

본 명세서에서 설명된 실시예들은 저해상도 이미지로부터 고해상도 이미지를 생성하는데 사용되는 심층 CNN을 트레이닝시키기 위해 구성되거나 구성되지 않을 수 있다. 예를 들어, 다른 방법 및/또는 시스템이 트레이닝된 심층 CNN을 생성하도록 구성될 수 있으며, 이 트레이닝된 심층 CNN은 이후에 본 명세서에서 설명된 실시예들에 의해 액세스되고 사용될 수 있다. 일반적으로, 심층 CNN의 트레이닝은 데이터(예를 들어, 본 명세서에서 설명된 저해상도 이미지와 고해상도 이미지 중 임의의 것을 포함할 수 있는 저해상도 이미지와 고해상도 이미지 둘 다)를 획득하는 것을 포함할 수 있다. 그런 후, 입력 튜플(tuple)들 및 예상된 출력 튜플들의 리스트를 사용하여 트레이닝, 테스트, 및 유효성 데이터세트가 구축될 수 있다. 입력 튜플들은 저해상도 이미지들의 형태를 가질 수 있고, 출력 튜플들은 저해상도 이미지들에 대응하는 고해상도 이미지들일 수 있다. 그런 후, 심층 CNN은 트레이닝 데이터세트를 사용하여 트레이닝될 수 있다.Embodiments described herein may or may not be configured for training a deep CNN used to generate high-resolution images from low-resolution images. For example, other methods and/or systems may be configured to generate a trained deep CNN, which may be subsequently accessed and used by embodiments described herein. In general, training of a deep CNN may include acquiring data (eg, both low-resolution and high-resolution images, which may include any of the low-resolution and high-resolution images described herein). A training, test, and validation dataset may then be built using the list of input tuples and expected output tuples. The input tuples may have the form of low-resolution images, and the output tuples may be high-resolution images corresponding to the low-resolution images. The deep CNN can then be trained using the training dataset.

일 실시예에서, 하나 이상의 컴포넌트는 심층 CNN을 트레이닝하도록 구성된 상황 인식 손실 모듈을 포함하고, 심층 CNN의 트레이닝 동안, 하나 이상의 컴퓨터 서브시스템은 하나 이상의 제2 계층에 의해 생성된 고해상도 이미지와, 표본에 대한 대응하는 알려진 고해상도 이미지를 상황 인식 손실 모듈 내에 입력하고, 상황 인식 손실 모듈은 대응하는, 알려진 고해상도 이미지와 비교하여 하나 이상의 제2 계층에 의해 생성된 고해상도 이미지에서의 상황 인식 손실을 결정한다. 예를 들어, 도 4에 도시된 바와 같이, 심층 CNN 네트워크가 이미지 변환 네트워크(400)로서 도시되어 있다. 이 도면은 트레이닝 동안 또는 설정시의 심층 CNN을 도시한다. 이미지 변환 네트워크로의 입력은 저해상도(고처리량) 이미지(402)이며, 이것은 본 명세서에서 추가로 설명되는 바와 같이 생성될 수 있다. 그런 후, 이미지 변환 네트워크는 본 명세서에서 더 설명되는 바와 같이 고해상도(고감도) 이미지(404)를 출력할 수 있다. 출력된 고해상도 이미지와, 대응하는, 알려진 고해상도 이미지(예를 들어, "지상 진실(ground truth)" 고감도 이미지)(406)는 상황 인식 손실 모듈(408)에 입력될 수 있다. 이러한 방식으로, 본 명세서에서 설명된 실시예들의 완전한 네트워크 아키텍처는 두 개의 블록들, 즉, 이미지 변환 네트워크 및 상황 인식 손실을 포함할 수 있다. 상황 인식 손실 모듈(408)은 자신이 입력으로서 수신한 두 개의 이미지들(즉, 이미지 변환 네트워크에 의해 생성된 고해상도 이미지와, 예컨대, 이미징 시스템에 의해 생성된 고해상도 이미지 지상 진실 이미지)을 비교하여 두 개의 입력 이미지들 간의 하나 이상의 차이를 결정할 수 있다. 상황 인식 손실 모듈은 또한 본 명세서에서 설명된 바와 같이 구성될 수 있다.In an embodiment, the one or more components include a contextual awareness loss module configured to train a deep CNN, wherein during training of the deep CNN, the one or more computer subsystems perform high-resolution images generated by the one or more second layers and input a corresponding known high-resolution image of the corresponding known high-resolution image into a situational awareness loss module, wherein the situational awareness loss module compares the corresponding, known high-resolution image to determine a situational awareness loss in the high-resolution image generated by the one or more second layers. For example, as shown in FIG. 4 , a deep CNN network is shown as an image transformation network 400 . This figure shows a deep CNN during training or at setup. The input to the image transformation network is a low resolution (high throughput) image 402, which may be generated as further described herein. The image conversion network may then output a high-resolution (high-sensitivity) image 404 as further described herein. The output high-resolution image and a corresponding, known high-resolution image (eg, a “ground truth” high-sensitivity image) 406 may be input to the contextual awareness loss module 408 . In this way, the complete network architecture of the embodiments described herein may include two blocks: an image transformation network and a contextual awareness loss. The situational awareness loss module 408 compares the two images it receives as input (ie, a high-resolution image generated by an image transformation network and a high-resolution image generated by an imaging system, eg, a terrestrial truth image) and compares the two images. One or more differences between the input images may be determined. The situational awareness loss module may also be configured as described herein.

이러한 방식으로, 셋업시, 실시예들은 노이즈가 있고, 열악하게 해상된 이미지, 및 진정된 초 해상 이미지 쌍들을 취하고, 그런 후, 상황 인식 손실을 사용하여 신경망을 통해 이 이미지들 간의 변환 매트릭스를 학습한다. 본 명세서에서 사용되는 용어 "노이즈가 있다"는 것은 일반적으로 상대적으로 낮은 신호 대 노이즈비(SNR)를 갖는 이미지로서 정의될 수 있는 반면에, 본 명세서에서 사용되는 용어 "진정되다"는 일반적으로 상대적으로 높은 SNR을 갖는 이미지로서 정의될 수 있다. 따라서, 이들 용어들은 본 명세서에서 상호교환적으로 사용된다. 이러한 이미지 쌍들은 e빔, BBP 툴, 제한형 해상도 이미징 툴 등과 같은, KLA-Tencor(및 기타 회사)로부터 상업적으로 입수가능한 임의의 이미징 플랫폼들로부터 구할 수 있다. 트레이닝이 완료되면, 네트워크는 공간 충실도를 유지하면서, 노이즈가 있고 열악하게 해상된 이미지들로부터, 진정된 초 해상 이미지들로의 변환을 학습한다. 이러한 방식으로, 본 명세서에서 설명된 실시예들은 노이즈가 있고 열악하게 해상된 이미지들과, 진정된 초 해상 이미지들 간의 변환을 학습함으로써 반도체 이미지들에서 관찰된 데이터 리던던시를 이용하기 위해 데이터 집중적 접근법을 사용한다. 그런 후, 트레이닝된 네트워크는 프로덕션(production)에 배치되어, 이미징 시스템이 노이즈가 있는 고처리량 데이터를 생성하고, 이 데이터는 그 후에 트레이닝된 이미지 변환 네트워크를 사용하여 대응하는 저노이즈, 초 해상 데이터로 변환된다. 프로덕션에서, 네트워크는 일반적인 사후 처리 알고리즘처럼 수행한다.In this way, upon setup, embodiments take pairs of noisy, poorly resolved images, and true super-resolution images, and then learns a transformation matrix between these images via a neural network using situational awareness loss. do. The term "noisy" as used herein can generally be defined as an image having a relatively low signal-to-noise ratio (SNR), whereas the term "calminated" as used herein generally refers to a relative can be defined as an image with high SNR. Accordingly, these terms are used interchangeably herein. These image pairs are available from any imaging platforms commercially available from KLA-Tencor (and others), such as e-beam, BBP tools, limited resolution imaging tools, and the like. When training is complete, the network learns to transform from noisy and poorly resolved images to true super-resolution images while maintaining spatial fidelity. In this way, the embodiments described herein take a data-intensive approach to exploit the data redundancy observed in semiconductor images by learning the transformation between noisy and poorly resolved images and true super-resolution images. use. The trained network is then put into production, where the imaging system generates noisy, high-throughput data, which is then converted to corresponding low-noise, super-resolution data using the trained image transformation network. do. In production, the network behaves like a normal post-processing algorithm.

이러한 일 실시예에서, 상황 인식 손실은 콘텐츠 손실, 스타일 손실, 및 전체 변동(total variation; TV) 정규화를 포함한다. 도 5는 그러한 일 실시예를 도시한다. 특히, 도 4에서 도시된 상황 인식 손실 모듈(408)은 도 5에서 도시된 콘텐츠 손실 모듈(500), 스타일 손실 모듈(502), 및 TV 정규화 모듈(504)을 포함할 수 있다. 예를 들어, 상황 인식 손실은 일반적인 프레임워크이며, 스타일 및 콘텐츠 손실을 통해 표현된다. 심층 신경망은 가장자리들, 하위 계층들에서의 윤곽에서 시작하여, 얼굴들 또는 아마도 이후 계층들에서의 전체 객체들과 같은 더 복잡한 특징들까지 이미지 특징들을 점진적으로 학습하는 경향이 있다. 이것은 생물학적 시력과도 관련이 있다. 컨볼루션 네트워크의 하위 계층들이 지각적으로 중요한 것으로 간주되는 특징들을 학습한다고 가정한다. 따라서, 학습된 네트워크의 활성화 이외에 우리의 상황 인식 손실을 설계한다. 상황 인식 손실은 주로 스타일, 콘텐츠, 및 정규화 손실로 구성된다.In one such embodiment, the situational awareness loss includes content loss, style loss, and total variation (TV) normalization. Figure 5 shows one such embodiment. In particular, the situational awareness loss module 408 shown in FIG. 4 may include a content loss module 500 , a style loss module 502 , and a TV normalization module 504 shown in FIG. 5 . For example, loss of situational awareness is a common framework and is expressed through loss of style and content. Deep neural networks tend to learn image features progressively, starting from edges, contours in lower layers, and up to more complex features such as faces or possibly whole objects in later layers. It also has to do with biological vision. Assume that the lower layers of the convolutional network learn features that are considered perceptually important. Therefore, we design our situational awareness loss in addition to the activation of the learned network. Situational awareness loss mainly consists of style, content, and normalization loss.

그러한 일 실시예에서, 콘텐츠 손실은 대응하는 알려진 고해상도 이미지의 하위 레벨 특징들에서의 손실을 포함한다. 예를 들어, 이미지의 콘텐츠는 가장자리들, 윤곽들 등과 같은 하위 레벨 특징들로서 정의된다. 콘텐츠 손실의 최소화는 계측 품질의 초 해상 이미지들의 생성에 있어서 중요한 이러한 하위 레벨 특징들을 보존하는 것을 도와준다. 보다 명확하게 말하면, 콘텐츠 손실은 이미지들에서 가장자리들과 윤곽들을 보존하기 위해 손실 함수에 포함되는데, 그 이유는 이들은 고해상도 이미지들에 대한 측정들 등에서의 사용에 중요하기 때문이다. 바이큐빅(Bicubic) 보간 등과 같은 전통적인 기술들 또는 L2 손실을 갖는 트레이닝은 이러한 가장자리들과 윤곽들의 보존을 보장할 필요는 없다.In one such embodiment, the content loss includes a loss in lower-level features of the corresponding known high-resolution image. For example, the content of an image is defined as low-level features such as edges, outlines, and the like. Minimizing content loss helps preserve these low-level features that are important in the creation of metrology-quality super-resolution images. More specifically, content loss is included in the loss function to preserve edges and contours in images, since they are important for use in measurements, etc. on high resolution images. Traditional techniques such as Bicubic interpolation or training with L2 loss need not guarantee preservation of these edges and contours.

손실의 다음번째로 주요한 부분을 스타일 전송 손실이라고 부른다. 그러한 일 실시예에서, 스타일 손실은 대응하는 알려진 고해상도 이미지를 정성적으로 정의하는 하나 이상의 추상화 엔티티들에서의 손실을 포함한다. 예를 들어, 스타일을, 선명도, 질감, 색상 등과 같은 속성들을 비롯하여, 이미지를 정성적으로 정의하는 추상화 엔티티로서 정의한다. 여기에서 설명된 심층적 학습을 사용하는 한 가지 이유는, 여기서 설명된 저해상도/고해상도 이미지들 간의 차이는 단지 해상도만이 아니라, 이들은 상이한 노이즈 특성, 하전 아티팩트, 질감 등을 가질 수 있다는 점이다. 따라서, 저해상도 이미지를 초 해상화하는 것만으로는 충분하지 않으며, 저해상도 이미지에서 고해상도 이미지로의 매핑은 심층적 학습을 사용하여 학습된다. 이미지의 스타일은 트레이닝된 네트워크의 상위 계층 활성화를 특징으로 한다. 스타일과 콘텐츠 손실의 조합은, 이미지 변환 네트워크가 노이즈가 있고 열악하게 해상된 이미지들과 진정된 초 해상 이미지들 간의 변환을 학습하는 것을 가능케 한다. 상황 인식 손실을 사용하여 이미지 변환 네트워크가 트레이닝되면, 프로덕션에 배치되어, 공간 충실도를 유지하면서, 노이즈가 있고, 열악하게 해상된 고처리량의 이미지들로부터 진정된 초 해상 이미지들을 생성할 수 있다. 일부 실시예들에서, 스타일 전달 손실은 초 해상도 고해상도 이미지들(즉, 하나 이상의 제2 계층에 의해 생성된 이미지들)의 최종 계층 특징들과 지상 진실 고해상도 이미지들 간의 손실로서 정의되며, 이는 특히 초 해상 고해상도 이미지들에 대해 분류를 행하기를 원하는 경우이다.The next major part of the loss is called the style transmission loss. In one such embodiment, style loss includes loss in one or more abstraction entities that qualitatively define a corresponding known high-resolution image. For example, we define style as an abstract entity that qualitatively defines an image, including properties such as sharpness, texture, color, and the like. One reason for using the deep learning described here is that the difference between the low/high resolution images described here is not just the resolution, but that they may have different noise characteristics, charging artifacts, textures, etc. Therefore, it is not enough to super-resolve low-resolution images, and the mapping from low-resolution images to high-resolution images is learned using deep learning. The style of the image is characterized by higher layer activations of the trained network. The combination of style and content loss enables the image transformation network to learn transformations between noisy and poorly resolved images and true super-resolution images. Once an image transformation network is trained using contextual loss, it can be deployed in production to generate truly super-resolution images from noisy, poorly resolved, high-throughput images while maintaining spatial fidelity. In some embodiments, style propagation loss is defined as the loss between final layer characteristics of super resolution high resolution images (ie, images generated by one or more second layers) and terrestrial true high resolution images, which is particularly This is a case where it is desired to perform classification on high resolution images.

추가적인 이러한 실시예에서, 상황 인식 손실 모듈은 미리 트레이닝된 VGG 네트워크를 포함한다. 도 6은 미리 정의된 네트워크로부터의 활성화가 스타일 및 콘텐츠 손실을 계산하는데 사용되는 방법을 보여준다. 예를 들어, 도 6에 도시된 바와 같이, 미리 트레이닝된 VGG 네트워크(600)는 콘텐츠 손실 모듈(500) 및 스타일 손실 모듈(502)에 결합될 수 있다. VGG16(OxfordNet이라고도 칭함)은 이를 개발한 옥스포드의 비주얼 지오미트리 그룹(Visual Geometry Group)의 이름을 딴 컨볼루션 신경망 아키텍처이다. VGG 네트워크는 또한 "Very Deep Convolutional Networks for Large-Scale Image Recognition"(arXiv:1409.1556v6, 2015년 4월, 14페이지)에서 시모냔(Simonyan) 등에 의해 기술된 바와 같이 추가로 구성될 수 있으며, 이 문헌은 그 전체가 여기서 기술된 것처럼 참조로서 여기서 원용된다. 도 6에 도시된 바와 같이, 미리 트레이닝된 VGG 네트워크는 컨볼루션 계층들(예를 들어, conv-64, conv-128, conv-256, conv-512), 맥스풀(maxpool) 계층들, 완전 연결 계층들(예를 들어, FC-4096), 및 소프트맥스(softmax) 계층을 포함하는 복수의 계층들에 입력되는 이미지를 취할 수 있으며, 이 계층들 모두는 당 업계에서 공지된 임의의 적절한 구성을 가질 수 있다.In a further such embodiment, the context awareness loss module comprises a pre-trained VGG network. 6 shows how activations from predefined networks are used to calculate style and content loss. For example, as shown in FIG. 6 , a pre-trained VGG network 600 may be coupled to a content loss module 500 and a style loss module 502 . VGG16 (also known as OxfordNet) is a convolutional neural network architecture named after the Visual Geometry Group of Oxford, who developed it. The VGG network may also be further configured as described by Simonyan et al. in “Very Deep Convolutional Networks for Large-Scale Image Recognition” (arXiv:1409.1556v6, April 2015, p. 14), The documents are incorporated herein by reference as if set forth herein in their entirety. As shown in Figure 6, the pre-trained VGG network has convolutional layers (eg, conv-64, conv-128, conv-256, conv-512), maxpool layers, fully concatenated It may take an image input to a plurality of layers, including layers (eg, FC-4096), and a softmax layer, all of which may have any suitable configuration known in the art. can have

VGG 네트워크로부터의 활성화는 스타일 및 콘텐츠 손실을 계산하기 위해 콘텐츠 손실 모듈(500) 및 스타일 손실 모듈(502)에 의해 획득될 수 있다. 그러므로 본 명세서에서 설명된 실시예들은 미리 트레이닝된 네트워크들을 사용하여 신경망을 트레이닝시키기 위한 새로운 손실 프레임워크를 정의한다. 이것은 생성된 이미지들에서 사용 케이스 중요 특징들을 보존하면서 신경망을 최적화하는데 도움이 된다.Activation from the VGG network may be obtained by the content loss module 500 and the style loss module 502 to calculate style and content loss. The embodiments described herein therefore define a novel loss framework for training neural networks using pre-trained networks. This helps to optimize the neural network while preserving use-case important features in the generated images.

그러므로, 본 명세서에서 설명된 실시예들은 미리 트레이닝된 심층적 학습 네트워크를 사용하여 사용 케이스 의존적 손실 함수들을 도입한다. 전통적인 기술들은 바이큐빅 보간법과 같은 방법과, 심층 네트워크를 트레이닝하는 경우의 L2 손실을 포함하지만, 네트워크 트레이닝 중에는 상이한 손실들을 도입한다. 예를 들어, 바이큐빅 보간법은 예리한 가장자리들 상에서 콘트라스트 손실을 감소시키는 반면, 전체 이미지에 대한 L2 손실은 이미지의 모든 양태들을 보존하는데 초점을 맞추지만, 이들 대부분의 보존은 본 명세서에서 설명된 실시예들의 사용 케이스들에 반드시 필요한 것은 아니며, 이미지 내 어떤 특징들을 보존하기를 원하는지에 의존하여 손실 함수를 생성할 수 있다. 그러한 일부 예시들에서, 콘텐츠 손실은 가장자리와 윤곽이 보존되는 것을 보장하는데 사용될 수 있고, 스타일 손실은 질감, 색상 등이 보존되는 것을 보장하는데 사용될 수 있다.Therefore, the embodiments described herein introduce use case dependent loss functions using a pre-trained deep learning network. Traditional techniques include methods such as bicubic interpolation and L2 losses when training deep networks, but introduce different losses during network training. For example, bicubic interpolation reduces the contrast loss on sharp edges, while the L2 loss for the entire image focuses on preserving all aspects of the image, but preserving most of these is the embodiment described herein. It is not necessary for your use cases, and you can create a loss function depending on which features you want to preserve in the image. In some such instances, content loss can be used to ensure that edges and outlines are preserved, and style loss can be used to ensure texture, color, etc. are preserved.

본 명세서에서 설명된 실시예들은 네트워크를 트레이닝시키기 위한 사용 케이스 의존 손실 함수를 정의하기 위해 미리 트레이닝된 네트워크 계층으로부터의 출력들을 사용할 수 있다. 사용 케이스가 임계 치수 균일성 또는 계측 측정인 경우, 실시예들은 콘텐츠 손실에 가중치를 부여할 수 있고, 이미지들이 "미화(beautified)"되어야 하는 경우, 스타일 손실은 질감, 색상 등을 보존하는데 사용될 수 있다. 또한, 분류가 중요한 경우, 생성된 고해상도 이미지와 지상 진실 이미지 사이에서 최종 계층 특징들이 매칭될 수 있고, 미리 트레이닝된 네트워크의 특징들의 최종 계층에서의 손실이 정의될 수 있는데, 이들은 분류를 위해 사용되는 특징들이기 때문이다.Embodiments described herein may use outputs from a pre-trained network layer to define a use case dependent loss function for training the network. If the use case is critical dimension uniformity or metrology measurements, embodiments may weight content loss, and if images are to be "beautified", style loss may be used to preserve texture, color, etc. have. Furthermore, if classification is important, the final layer features can be matched between the generated high-resolution image and the ground truth image, and the loss in the final layer of the features of the pre-trained network can be defined, which is used for classification. Because they are features.

신호 처리에서, 전체 변동 정규화라고도 칭해지는 전체 변동 노이즈 제거는, 노이즈 제거에서 응용들을 갖는 디지털 이미지 처리에서 가장 많이 사용되는 공정이다. 이것은 과도하고 가능하게는 스퓨리어스(spurious) 세부사항을 가진 신호들은 높은 전체 변동을 갖는데, 즉 신호의 절대 구배의 적분이 높다는 원리에 기초한다. 이 원리에 따르면, 오리지널 신호와 밀접하게 매칭되도록 이 원리를 거치는 신호의 전체 변화를 감소시키는 것은, 가장자리와 같은 중요한 세부사항을 보존하면서 원치 않는 세부사항을 제거한다. 이 개념은 1992년 루딘(Rudin), 오셔(Osher), 및 파테미(Fatemi)에 의해 개척되었으며, 오늘날 ROF 모델로서 알려져 있다.In signal processing, full variance denoising, also called full variance normalization, is the most used process in digital image processing with applications in denoising. It is based on the principle that signals with excessive and possibly spurious detail have high overall fluctuations, ie the integral of the signal's absolute gradient is high. According to this principle, reducing the overall change of the signal through this principle to closely match the original signal removes unwanted details while preserving important details such as edges. This concept was pioneered in 1992 by Rudin, Osher, and Fatemi and is today known as the ROF model.

이 노이즈 제거 기술은 노이즈를 감소시키면서 동시에 가장자리들을 많든 적든 어느 정도 평활화하는 선형 평활화 또는 미디안 필터링과 같은 간단한 기술들에 비해 장점들을 갖는다. 대조적으로, 전체 변동 노이즈 제거는 비교적 낮은 신호 대 노이즈비에서도, 평평한 영역들에서 노이즈를 평활화하면서 동시에 가장자리들을 보존하는데 매우 효과적이다.This denoising technique has advantages over simple techniques such as linear smoothing or median filtering that reduce noise while at the same time smoothing more or less edges to some degree. In contrast, total drift denoising is very effective at preserving edges while smoothing noise in flat areas, even at relatively low signal-to-noise ratios.

이러한 일부 실시예들에서, 하나 이상의 컴포넌트는 상황 인식 손실에 기초하여 심층 CNN의 하나 이상의 파라미터를 결정하도록 구성된 튜닝 모듈을 포함한다. 예를 들어, 도 4에서 도시된 바와 같이, 하나 이상의 컴포넌트는 상황 인식 손실 모듈 및/또는 네트워크 파라미터 변경에 의해 결정된 오류의 역 전파를 위해 구성된 튜닝 모듈(410)을 포함할 수 있다. 전술한 심층 CNN의 각 계층들은 가중치(W), 및 바이어스(B)와 같은 하나 이상의 파라미터를 가질 수 있으며, 그 값은 본 명세서에서 추가로 설명된 바와 같이 수행될 수 있는 모델을 트레이닝시킴으로써 결정될 수 있다. 예를 들어, 심층 CNN에 포함된 다양한 계층들의 가중치 및 바이어스는 상황 인식 손실을 최소화함으로써 트레이닝 동안 결정될 수 있다.In some such embodiments, the one or more components include a tuning module configured to determine one or more parameters of the deep CNN based on the situational awareness loss. For example, as shown in FIG. 4 , one or more components may include a context-aware loss module and/or a tuning module 410 configured for back propagation of errors determined by network parameter changes. Each of the layers of the deep CNN described above may have one or more parameters, such as a weight (W), and a bias (B), the values of which can be determined by training a model that can be performed as further described herein. have. For example, the weights and biases of the various layers included in the deep CNN can be determined during training by minimizing the loss of situational awareness.

일 실시예에서, 심층 CNN은 하나 이상의 제2 계층에 의해 생성된 고해상도 이미지가 저해상도 이미지보다 적은 노이즈를 갖도록 구성된다. 예를 들어, 본 명세서에서 설명된 실시예들은 학습된 표현들을 사용하여 노이즈가 있고 해상되지 않은 이미지들을 노이즈가 낮은 초 해상 이미지들로 변환하기 위한 일반화된 프레임워크를 제공한다.In one embodiment, the deep CNN is configured such that high-resolution images generated by one or more second layers have less noise than low-resolution images. For example, embodiments described herein provide a generalized framework for converting noisy, unresolved images to low-noise super-resolution images using learned representations.

다른 실시예에서, 심층 CNN은 하나 이상의 제2 계층에 의해 생성된 고해상도 이미지가 저해상도 이미지의 구조적 및 공간적 특징들을 보유하도록 구성된다. 예를 들어, 본 명세서에서 설명된 실시예들은 학습된 표현들을 사용하여 구조적 및 공간적 충실도를 보유하면서 노이즈가 있고 해상되지 않은 이미지들을 노이즈가 낮은 초 해상 이미지들로 변환하기 위한 일반화된 프레임워크를 제공한다.In another embodiment, the deep CNN is configured such that the high-resolution image generated by the one or more second layers retains the structural and spatial characteristics of the low-resolution image. For example, the embodiments described herein provide a generalized framework for converting noisy, unresolved images to low-noise super-resolution images while retaining structural and spatial fidelity using learned representations. do.

일부 실시예들에서, 심층 컨볼루션 신경망은 고해상도 이미징 시스템으로 고해상도 이미지를 생성하기 위한 처리량보다 높은 처리량으로 고해상도 이미지를 출력한다. 예를 들어, 본 명세서에서 설명된 실시예들은 전자 빔 툴들에 대한 더 높은 처리량을 위한 심층적 학습 기반 초 해상화에 사용될 수 있다. 그러므로, 여기에서 설명된 실시예들은 표본에 대한 (손상, 오염 등과 같은) 변경을 방지하기 위해 이미지 획득을 위한 상대적으로 낮은 선량(전자 빔, 광 등)을 사용하는 것이 유리할 수 있을 때 특히 유용할 수 있다. 그러나, 표본에 대한 변경을 피하기 위해 상대적으로 낮은 선량을 사용하는 것은 일반적으로 저해상도 이미지를 생성한다. 따라서, 표본에 변경을 일으키지 않고서 고해상도 이미지들을 생성하는 것이 해결과제이다. 본 명세서에서 설명된 실시예들은 이 능력을 제공한다. 특히, 표본 이미지들은 더 높은 처리량과 더 낮은 해상도(또는 더 낮은 화질)로 획득될 수 있고, 본 명세서에서 설명된 실시예들은 이러한 더 높은 처리량, 더 낮은 화질의 이미지들을, 표본에 대한 변경을 일으키지 않고서 초 해상되거나 더 높은 화질의 이미지들로 변환시킬 수 있다(표본 자체는 초 해상되거나 또는 고화질 이미지들을 생성하는데 필요하지 않기 때문이다).In some embodiments, the deep convolutional neural network outputs a high-resolution image at a higher throughput than for generating a high-resolution image with the high-resolution imaging system. For example, embodiments described herein can be used for deep learning based super-resolution for higher throughput for electron beam tools. Therefore, the embodiments described herein may be particularly useful when it may be advantageous to use a relatively low dose (electron beam, light, etc.) for image acquisition to prevent alterations (such as damage, contamination, etc.) to the specimen. can However, the use of relatively low doses to avoid alterations to the specimen usually produces low-resolution images. Therefore, it is a challenge to generate high-resolution images without altering the specimen. Embodiments described herein provide this capability. In particular, the sample images can be obtained with higher throughput and lower resolution (or lower quality), and embodiments described herein allow these higher throughput, lower quality images to be obtained without altering the sample. It can be converted to super-resolution or higher-quality images without

그러므로, 본 명세서에서 설명된 실시예들은 웨이퍼가 검사(예를 들어, BBP 검사) 및 전자 빔 검토 시퀀스를 거칠 수 있는 검토 사용 케이스에 특히 유용하다. 또한, 일부 경우들에서, 사용자는 다른 검사 레시피 조건을 시도하기 위해(예를 들어, 검사에서 검출되고 가능하게는 검토에서 분류된 결함에 대한 검사 레시피 조건을 최적화하기 위해) 검사 후에 웨이퍼를 검사 툴에 다시 배치하기를 원한다. 그러나, 전자 빔(또는 다른) 검토가 검토되었던 위치들을 손상시켰거나 또는 변경한 경우, 해당 장소는 더 이상 민감도 분석(즉, 검사 레시피 변경 및/또는 최적화)에 유효하지 않다. 따라서, 낮은 프레임 평균 전자 빔 이미지 획득을 사용함으로써 표본에 대한 손상 또는 변경을 방지하는 것은 전자 빔 검토 이미지들의 심층적 학습 기반 분류의 장점들 중 하나이다(예컨대, 깨끗한 높은 프레임 평균 이미지들이 필요하지 않음). 따라서, 거의 틀림없이 심층적 학습 분류와 심층적 학습 이미지 개선은 조합하여 사용될 수 있다. 심층적 학습 기반 결함 분류는 허(He) 등에 의해 2017년 9월 6일에 출원된 공동 양도된 미국 특허 출원 제15/697,426호에서 기술된 바와 같이 본 명세서에서 설명된 실시예들에 의해 수행될 수 있으며, 이 문헌은 본 명세서에 완전히 설명된 것처럼 참조로 원용된다. 본 명세서에서 설명된 실시예들은 이 특허 출원에 기재된 바와 같이 추가로 구성될 수 있다.Therefore, embodiments described herein are particularly useful for review use cases where wafers may be subjected to inspection (eg, BBP inspection) and electron beam inspection sequences. Also, in some cases, the user inspects the wafer after inspection to try different inspection recipe conditions (eg, to optimize inspection recipe conditions for defects detected in inspection and possibly classified in review) with the inspection tool. I want to put it back in . However, if the electron beam (or other) review has damaged or altered locations that have been reviewed, that location is no longer valid for sensitivity analysis (ie, test recipe changes and/or optimizations). Thus, preventing damage or alteration to the specimen by using low frame average electron beam image acquisition is one of the advantages of deep learning based classification of electron beam review images (eg, clean high frame average images are not required). Thus, arguably deep learning classification and deep learning image enhancement can be used in combination. Deep learning-based defect classification can be performed by the embodiments described herein as described in commonly assigned U.S. Patent Application Serial No. 15/697,426, filed September 6, 2017 by He et al. and this document is hereby incorporated by reference as if fully set forth herein. Embodiments described herein may be further configured as described in this patent application.

도 7은 본 명세서에서 설명된 실시예들을 사용하여 생성될 수 있는 결과들의 예시들을 나타낸다. 결과들은 노이즈가 있고, 열악하게 해상된 고처리량 이미지(702)의 수평 프로파일(700)과, 더 높은 화질과, 더 우수하게 해상된 저처리량 이미지(706)의 수평 프로파일(704)과, 본 명세서에서 설명된 실시예들을 사용하여 저해상도 이미지의 처리에 의해 획득된, 진정된 초 해상 이미지(710)의 수평 프로파일(708) 간의 비교를 보여준다. 본 명세서에서 설명된 바와 같이, 고처리량 이미지(702)와 저처리량 이미지(706)는 각각 저해상도 및 고해상도 이미징 시스템들에 의해 생성된다. 이러한 방식으로, 도 7에서 도시된 결과들은 이미지들을 통한 동일한 라인 프로파일을 따라 상이한 이미지들 간의 수평적 변동을 나타낸다. 도 7에서 도시된 결과들은, 본 명세서에서 설명된 실시예들에 의해 생성된 초 해상 이미지와 이미징 시스템에 의해 생성된 고해상도 이미지의 프로파일들(708, 704)에서의 상관성에 의해 확인된 바와 같이, 이미지들에서 구조적 및 공간적 충실도를 유지하면서 저화질 이미지들로부터 노이즈가 없는 고해상도 이미지들을 실질적으로 생성하기 위한, 본 명세서에서 설명된 실시예들의 능력을 증명한다.7 shows examples of results that can be generated using embodiments described herein. The results include a horizontal profile 700 of a noisy, poorly resolved high-throughput image 702, a higher image quality, and a horizontal profile 704 of a better-resolved low-throughput image 706, as described herein. shows a comparison between the horizontal profile 708 of a true super-resolution image 710, obtained by processing of a low-resolution image using the embodiments described in As described herein, high-throughput image 702 and low-throughput image 706 are generated by low-resolution and high-resolution imaging systems, respectively. In this way, the results shown in FIG. 7 represent the horizontal variation between different images along the same line profile through the images. The results shown in FIG. 7 are, as confirmed by the correlation in the profiles 708 , 704 of the super-resolution image generated by the embodiments described herein and the high-resolution image generated by the imaging system, Demonstrates the ability of the embodiments described herein to generate substantially noise-free high-resolution images from low-resolution images while maintaining structural and spatial fidelity in the images.

일 실시예에서, 하나 이상의 컴퓨터 서브시스템은 하나 이상의 제2 계층에 의해 생성된 고해상도 이미지에 기초하여 표본에 대해 하나 이상의 계측 측정을 수행하도록 구성된다. 도 8은 본 명세서에서 설명된 실시예들이 지상 진실 데이터를 갖는 루프를 폐쇄함으로써 작동한다는 것을 증명한다. 실세계 계측 사용 케이스들에서 본 명세서에서 설명된 실시예들을 추가로 테스트하기 위해, 오버레이 측정이 도 7에 도시된 세 개 세트의 이미지들에 대해 수행되었고 그 결과들은 도 8에서 컴파일된다. 도 8에서의 그래프(800, 802)는 본 명세서에서 설명된 심층 CNN 실시예들에 의해 생성된 고해상도 이미지와 고해상도 이미징 시스템에 의해 생성된 이미지 간의 x축과 y축을 따른 오버레이 측정에서의 상관성을 각각 도시하고, 도 8에서의 그래프(804, 806)는 저해상도 이미지와 고해상도 이미징 시스템에 의해 생성된 이미지 간의 x축과 y축을 따른 오버레이 측정에서의 상관성을 각각 도시한다. 상관성을 계산하는데 사용되는 메트릭은 R²(r 제곱)이다. r 제곱 값 1은 완벽한 맞춤을 도시한다. 이미징 시스템에 의해 생성된 고해상도 이미지와 심층 CNN에 의해 생성된 고해상도 이미지 간의 완벽에 가까운 R² 값(>0.99)은, 심층 CNN에 의해 생성된 이미지가, 성능에 영향을 주지 않으면서 계측 측정에서 고해상도 이미징 시스템에 의해 생성된 이미지들 대신에 사용될 수 있다는 것을 보여준다. 계측 사용 케이스들에서는 비교적 높은 정밀도가 필요하다는 것을 상정하면, 저해상도 및 고해상도 이미징 시스템에 의해 생성된 이미지들의 경우에서 ~0.8의 R² 값은 정확한 측정을 하기에는 너무 낮다는 것을 보여주며, 이에 따라 고해상도 이미지들로부터 측정이 취해질 필요가 있는데, 이는 사용 케이스 처리량을 상당히 (예를 들어, 본 명세서에서 설명된 실험들에서 시간당 약 18K개 결함들로부터 시간당 약 8K개 결함들로) 낮춘다.In an embodiment, the one or more computer subsystems are configured to perform one or more metrology measurements on the specimen based on the high resolution image generated by the one or more second layers. 8 demonstrates that the embodiments described herein work by closing the loop with ground truth data. To further test the embodiments described herein in real-world metrology use cases, overlay measurements were performed on the three sets of images shown in FIG. 7 and the results are compiled in FIG. 8 . Graphs 800 and 802 in FIG. 8 show correlations in overlay measurements along the x-axis and y-axis between the high-resolution image generated by the deep CNN embodiments described herein and the image generated by the high-resolution imaging system, respectively. shown, and graphs 804 and 806 in FIG. 8 show the correlation in overlay measurements along the x-axis and y-axis between the low-resolution image and the image generated by the high-resolution imaging system, respectively. The metric used to calculate the correlation is R ² (r squared). An r-squared value of 1 indicates a perfect fit. ^{The near-perfect R 2} values (>0.99) between the high-resolution images generated by the imaging system and the high-resolution images generated by the deep CNN indicate that the images generated by the deep CNN have high resolution in metrology measurements without affecting performance. It shows that it can be used instead of images generated by the imaging system. ^{Given that metrology use cases require relatively high precision, we show that an R 2} value of ~0.8 in the case of images generated by low-resolution and high-resolution imaging systems is too low for accurate measurements, thus Measures need to be taken from the samples, which lowers the use case throughput significantly (eg, from about 18K defects per hour to about 8K defects per hour in the experiments described herein).

다른 실시예에서, 심층 CNN은 저해상도 이미지를 생성했던 이미징 시스템과는 독립적으로 기능한다. 일부 실시예들에서, 저해상도 이미지는 제1 이미징 플랫폼을 갖는 하나의 이미징 시스템에 의해 생성되고, 하나 이상의 컴퓨터 서브시스템은 제1 이미징 플랫폼과는 상이한 제2 이미징 플랫폼을 갖는 다른 이미징 시스템에 의해 다른 표본에 대해 생성된 다른 저해상도 이미지를 획득하도록 구성되고, 하나 이상의 제1 계층은 다른 저해상도 이미지의 표현을 생성하도록 구성되며, 하나 이상의 제2 계층은 다른 저해상도 이미지의 표현으로부터 다른 표본에 대한 고해상도 이미지를 생성하도록 구성된다. 예를 들어, 본 명세서에서 설명된 실시예들의 중요한 이점은 동일한 네트워크 아키텍처가 BBP 툴, 저해상도 이미징을 위해 특별히 구성된 툴들 등과 같은 상이한 플랫폼들로부터 이미지들을 강화시키는데 사용될 수 있다는 점이다. 또한, 표현들의 최적화 및 학습에 대한 전체적인 부담은 트레이닝이 레시피 셋업시 동안에만 일어나므로 오프라인 시프트된다. 트레이닝이 완료되면, 런타임 계산은 크게 감소된다. 학습 공정은 또한 종래의 방법들의 경우에서 필요했던 것처럼 매번 파라미터를 변경할 필요없이 이미지들을 적응적으로 강화시키는데 도움이 된다.In another embodiment, the deep CNN functions independently of the imaging system that generated the low-resolution image. In some embodiments, the low-resolution image is generated by one imaging system having a first imaging platform and the one or more computer subsystems are different specimens by another imaging system having a second imaging platform that is different from the first imaging platform. is configured to obtain another low-resolution image generated for is configured to For example, an important advantage of the embodiments described herein is that the same network architecture can be used to enhance images from different platforms, such as BBP tools, tools specifically configured for low resolution imaging, and the like. Also, the overall burden of learning and optimizing representations is shifted offline as training only occurs during recipe setup. Once training is complete, the runtime computation is greatly reduced. The learning process also helps to adaptively enhance images without having to change parameters each time, as was necessary in the case of conventional methods.

이러한 일 실시예에서, 제1 이미징 플랫폼은 전자 빔 이미징 플랫폼이고, 제2 이미징 플랫폼은 광학 이미징 플랫폼이다. 예를 들어, 본 명세서에서 설명된 실시예들은 전자 빔 이미징 시스템 및 광학 이미징 시스템을 사용하여 생성된 저해상도 이미지들을 변환시킬 수 있다. 본 명세서에서 설명된 실시예들은 또한 다른 상이한 유형들의 이미징 플랫폼들(예를 들어, 다른 하전 입자 유형 이미징 시스템들)에 대한 변환들을 수행할 수 있다.In one such embodiment, the first imaging platform is an electron beam imaging platform and the second imaging platform is an optical imaging platform. For example, embodiments described herein can transform low resolution images generated using an electron beam imaging system and an optical imaging system. Embodiments described herein may also perform transformations for other different types of imaging platforms (eg, other charged particle type imaging systems).

이러한 다른 실시예에서, 제1 및 제2 이미징 플랫폼들은 상이한 광학 이미징 플랫폼들이다. 이러한 추가적인 실시예에서, 제1 및 제2 이미징 플랫폼들은 상이한 전자 빔 이미징 플랫폼들이다. 예를 들어, 제1 및 제2 이미징 플랫폼들은 동일한 유형의 이미징 플랫폼일 수 있지만, 각자의 이미징 능력은 크게 다를 수 있다. 하나의 그러한 예시에서, 제1 및 제2 광학 이미징 플랫폼들은 레이저 산란 이미징 플랫폼 및 BBP 이미징 플랫폼일 수 있다. 이러한 이미징 플랫폼들은 명백히 상이한 능력들을 가지며 실질적으로 상이한 저해상도 이미지들을 생성할 것이다. 그럼에도 불구하고, 본 명세서에서 설명된 실시예들은 심층 CNN을 트레이닝시킴으로써 생성된 학습된 표현들을 사용하여 이러한 저해상도 이미지들 모두에 대한 고해상도 이미지들을 생성할 수 있다.In another such embodiment, the first and second imaging platforms are different optical imaging platforms. In this further embodiment, the first and second imaging platforms are different electron beam imaging platforms. For example, the first and second imaging platforms may be the same type of imaging platform, but their respective imaging capabilities may be significantly different. In one such example, the first and second optical imaging platforms may be a laser scattering imaging platform and a BBP imaging platform. These imaging platforms have obviously different capabilities and will produce substantially different low resolution images. Nevertheless, embodiments described herein can generate high-resolution images for all of these low-resolution images using learned representations generated by training a deep CNN.

표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템의 다른 실시예는 표본의 저해상도 이미지를 생성하도록 구성된 이미징 서브시스템을 포함한다. 이미징 서브시스템은 본 명세서에서 추가로 설명되는 임의의 구성을 가질 수 있다. 시스템은 또한, 하나 이상의 컴퓨터 서브시스템, 예를 들어, 본 명세서에서 추가로 설명된 바와 같이 구성될 수 있는 도 1에서 도시된 컴퓨터 서브시스템(들)(102), 및 하나 이상의 컴포넌트, 예를 들어, 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 컴포넌트(들)(100)(본 명세서에서 설명된 임의의 컴포넌트(들)를 포함할 수 있음)을 포함한다. 컴포넌트(들)는 본 명세서에서 설명된 바와 같이 구성될 수 있는 심층 CNN, 예를 들어, 심층 CNN(104)을 포함한다. 예를 들어, 심층 CNN은 저해상도 이미지의 표현을 생성하도록 구성된 하나 이상의 제1 계층 및 저해상도 이미지의 표현으로부터 표본에 대한 고해상도 이미지를 생성하도록 구성된 하나 이상의 제2 계층을 포함한다. 하나 이상의 제2 계층은 고해상도 이미지를 출력하도록 구성된 최종 계층을 포함한다. 최종 계층은 또한 서브픽셀 컨볼루션 계층으로서 구성된다. 하나 이상의 제1 계층 및 하나 이상의 제2 계층은 본 명세서에서 추가로 설명된 바와 같이 추가로 구성될 수 있다. 이 시스템 실시예는 본 명세서에서 설명되는 바와 같이 추가적으로 구성될 수 있다.Another embodiment of a system configured to generate a high-resolution image of a specimen from a low-resolution image of the specimen includes an imaging subsystem configured to generate a low-resolution image of the specimen. The imaging subsystem may have any configuration further described herein. The system may also include one or more computer subsystems, such as the computer subsystem(s) 102 shown in FIG. 1 , which may be configured as further described herein, and one or more components, such as , component(s) 100 (which may include any component(s) described herein) executed by one or more computer subsystems. The component(s) include a deep CNN, eg, deep CNN 104 , which may be configured as described herein. For example, a deep CNN includes one or more first layers configured to generate a representation of the low-resolution image and one or more second layers configured to generate a high-resolution image for a sample from the representation of the low-resolution image. The one or more second layers include a final layer configured to output a high-resolution image. The final layer is also configured as a subpixel convolutional layer. The one or more first layers and the one or more second layers may be further configured as further described herein. This system embodiment may be further configured as described herein.

본 명세서에서 설명된 실시예들은 상기에서 제공된 설명으로부터 살펴볼 수 있는 바와 같이 많은 장점들을 갖는다. 예를 들어, 본 명세서에서 설명된 실시예들은 일반적인 플랫폼에 독립적인 데이터 중심 프레임워크를 제공한다. 실시예들은 셋업시 동안 트레이닝 데이터를 사용하여 고화질 이미지와 저화질 이미지 간의 변환을 학습한다. 이 변환을 학습하면 실시예들이 학습된 변환을 사용하여 런타임에서 노이즈가 있고 열악하게 해상된 입력을, 계측 품질을 갖는 비교적 진정된 초 해상 출력으로 변환할 수 있게 한다. 이전 접근법들은 현재 입력 이미지에만 의존하고 임의의 다른 트레이닝 데이터를 활용하지 않는 파라메트릭 방법이었다. 본 명세서에서 설명된 실시예들은 또한 일반적이고 플랫폼 독립적이다. 실시예들은 일반적이고 플랫폼 독립적이기 때문에, 동일한 프레임워크가 전자 빔, BBP, 레이저 산란, 저해상도 이미징, 및 계측 플랫폼과 같은 상이한 플랫폼들 상에서 계측 품질 이미지들을 생성하는데 사용될 수 있다. 실시예들은 또한 저화질(고 처리량) 이미지만을 사용하여 프로덕션에서 필요한 화질의 이미지들을 생성함으로써 더 높은 처리량을 가능하게 한다. 실시예들은 또한 이미지들에서의 가장자리들 및 윤곽들과 같은 중요한 특징들에 영향을 미치지 않으면서 입력 이미지와 비교하여 출력 이미지에서 노이즈 감소를 달성한다.The embodiments described herein have many advantages as can be seen from the description provided above. For example, the embodiments described herein provide a data-centric framework that is independent of a common platform. Embodiments use training data during setup to learn conversion between high quality images and low quality images. Learning this transform allows embodiments to use the learned transform to transform a noisy and poorly resolved input at runtime into a relatively true super-resolution output with metrology quality. Previous approaches have been parametric methods that rely only on the current input image and do not utilize any other training data. Embodiments described herein are also generic and platform independent. Because the embodiments are generic and platform independent, the same framework can be used to generate metrology quality images on different platforms such as electron beam, BBP, laser scattering, low resolution imaging, and metrology platforms. Embodiments also enable higher throughput by using only low quality (high throughput) images to create images of the quality required in production. Embodiments also achieve noise reduction in the output image compared to the input image without affecting important features such as edges and contours in the images.

전술한 시스템들 각각의 실시예들 각각은 하나의 단일 실시예로 함께 결합될 수 있다.Each of the embodiments of each of the systems described above may be combined together into one single embodiment.

다른 실시예는 표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하기 위한 컴퓨터 구현 방법에 관한 것이다. 본 방법은 표본의 저해상도 이미지를 획득하는 단계를 포함한다. 본 방법은 또한, 저해상도 이미지를 심층 CNN의 하나 이상의 제1 계층에 입력함으로써 저해상도 이미지의 표현을 생성하는 단계를 포함한다. 또한, 본 방법은 상기 표현에 기초하여 표본에 대한 고해상도 이미지를 생성하는 단계를 포함한다. 고해상도 이미지의 생성은 심층 CNN의 하나 이상의 제2 계층에 의해 수행된다. 하나 이상의 제2 계층은 고해상도 이미지를 출력하도록 구성된 최종 계층을 포함하고, 최종 계층은 서브 픽셀 컨볼루션 계층으로서 구성된다. 획득하는 단계, 표현을 생성하는 단계, 및 고해상도 이미지를 생성하는 단계는 하나 이상의 컴퓨터 시스템에 의해 수행된다. 하나 이상의 컴포넌트는 하나 이상의 컴퓨터 시스템에 의해 실행되고, 하나 이상의 컴포넌트는 심층 CNN을 포함한다.Another embodiment relates to a computer-implemented method for generating a high-resolution image of a specimen from a low-resolution image of the specimen. The method includes acquiring a low-resolution image of the specimen. The method also includes generating a representation of the low-resolution image by inputting the low-resolution image into one or more first layers of the deep CNN. The method also includes generating a high-resolution image of the specimen based on the representation. The generation of high-resolution images is performed by one or more second layers of the deep CNN. The at least one second layer includes a final layer configured to output a high-resolution image, and the final layer is configured as a sub-pixel convolution layer. The acquiring, generating the representation, and generating the high resolution image are performed by one or more computer systems. The one or more components are executed by one or more computer systems, and the one or more components include a deep CNN.

본 방법의 단계들 각각은 본 명세서에서 추가적으로 설명된 바와 같이 수행될 수 있다. 본 방법은 또한 본 명세서에서 설명된 시스템, 컴퓨터 시스템(들) 또는 서브시스템(들), 및/또는 이미징 시스템들 또는 서브시스템들에 의해 수행될 수 있는 임의의 다른 단계(들)을 포함할 수 있다. 하나 이상의 컴퓨터 시스템, 하나 이상의 컴포넌트, 및 심층 CNN은 본 명세서에서 설명된 실시예들 중 임의의 실시예, 예를 들어, 컴퓨터 서브시스템(들)(102), 컴포넌트(들)(100), 및 심층 CNN(104)에 따라 구성될 수 있다. 또한, 전술한 방법은 본 명세서에서 설명된 임의의 시스템에 의해 수행될 수 있다.Each of the steps of the method may be performed as further described herein. The method may also include any other step(s) that may be performed by the system, computer system(s) or subsystem(s), and/or imaging systems or subsystems described herein. have. One or more computer systems, one or more components, and a deep CNN may be configured in any of the embodiments described herein, e.g., computer subsystem(s) 102 , component(s) 100 , and It may be constructed according to a deep CNN 104 . Also, the method described above may be performed by any system described herein.

본 명세서에서 설명한 모든 방법들은 컴퓨터 판독가능한 저장매체에서 방법 실시예들의 하나 이상의 단계들의 결과들을 저장하는 단계를 포함할 수 있다. 결과들은 본 명세서에서 설명한 결과들 중 임의의 결과를 포함할 수 있고 본 업계에서 알려진 임의의 방법으로 저장될 수 있다. 저장 매체는 본 명세서에서 설명한 임의의 저장 매체 또는 본 업계에서 알려진 임의의 다른 적절한 저장 매체를 포함할 수 있다. 결과들이 저장된 후, 결과들은 저장 매체에서 액세스되고 본 명세서에서 설명된 방법 또는 시스템 실시예들 중 임의의 것에 의해 사용될 수 있고, 사용자에 대한 디스플레이를 위해 포맷팅되고, 다른 소프트웨어 모듈, 방법, 또는 시스템 등에 의해 사용될 수 있다. 예를 들어, 생성된 고해상도 이미지들은, 표본에 대한 계측 측정들을 수행하고, 표본 상에서 검출된 하나 이상의 결함을 분류하고, 표본 상에서 검출된 하나 이상의 결함을 검증하고, 및/또는, 상기 사항 중 하나 이상에 기초하여, 표본 상에 패터닝된 피처들을 형성하는데 사용되는 공정이, 동일 공정에서 다른 표본들 상에 형성된 패터닝된 피처들을 변경시키는 일부 방식으로 변경되어야 하는지를 결정하는데 사용될 수 있다.All methods described herein may include storing the results of one or more steps of the method embodiments in a computer-readable storage medium. Results may include any of the results described herein and may be stored in any manner known in the art. The storage medium may include any storage medium described herein or any other suitable storage medium known in the art. After the results are stored, the results are accessed in a storage medium and used by any of the method or system embodiments described herein, formatted for display to a user, and the like in another software module, method, or system, etc. can be used by For example, the generated high-resolution images may be used to perform metrology measurements on the specimen, classify one or more defects detected on the specimen, verify one or more defects detected on the specimen, and/or one or more of the foregoing. can be used to determine whether a process used to form patterned features on a specimen should be altered in some way that alters patterned features formed on other specimens in the same process.

추가적인 실시예는 표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템 상에서 실행가능한 프로그램 명령어들을 저장한 컴퓨터로 판독가능한 비일시적 매체에 관한 것이다. 그러한 하나의 실시예가 도 9에 도시된다. 특히, 도 9에서 도시된 바와 같이, 컴퓨터로 판독가능한 비일시적 매체(900)는 컴퓨터 시스템(들)(904) 상에서 실행가능한 프로그램 명령어들(902)을 포함한다. 컴퓨터 구현 방법은 본 명세서에서 설명된 임의의 방법(들)의 임의의 단계(들)을 포함할 수 있다.A further embodiment relates to a computer-readable non-transitory medium having stored thereon program instructions executable on one or more computer systems for performing a computer-implemented method for generating a high-resolution image of a specimen from a low-resolution image of the specimen. One such embodiment is shown in FIG. 9 . In particular, as shown in FIG. 9 , computer-readable non-transitory medium 900 includes program instructions 902 executable on computer system(s) 904 . A computer implemented method may include any step(s) of any method(s) described herein.

본 명세서에서 설명된 것과 같은 방법들을 구현하는 프로그램 명령어들(902)은 컴퓨터로 판독가능한 매체(900) 상에 저장될 수 있다. 컴퓨터로 판독가능한 매체는 자기적 또는 광학적 디스크, 또는 자기적 테이프와 같은 저장 매체, 또는 당 업계에서 알려진 임의의 적절한 다른 컴퓨터로 판독가능한 비일시적 매체일 수 있다.Program instructions 902 implementing methods as described herein may be stored on computer-readable medium 900 . The computer-readable medium may be a storage medium such as a magnetic or optical disk, or magnetic tape, or any other suitable computer-readable non-transitory medium known in the art.

프로그램 명령어들은 여러가지 중에서도, 프로시저 기반 기술들, 컴포넌트 기반 기술들, 및/또는 객체 지향 기술들을 비롯한 임의의 다양한 방법들로 구현될 수 있다. 예를 들어, 프로그램 명령어들은 액티브X 제어, C++ 오브젝트, 자바빈, MFC("Microsoft Foundation Classes"), SSE(Streaming SIMD Extension), 또는 희망하는 바에 따라 다른 기술들 또는 방법론들을 이용하여 구현될 수 있다.Program instructions may be implemented in any of a variety of ways, including procedure-based techniques, component-based techniques, and/or object-oriented techniques, among others. For example, the program instructions may be implemented using ActiveX Control, C++ Object, JavaBean, "Microsoft Foundation Classes" (MFC), Streaming SIMD Extension (SSE), or other technologies or methodologies as desired.

컴퓨터 시스템(들)(904)은 본 명세서에서 설명된 임의의 실시예들에 따라 구성될 수 있다.Computer system(s) 904 may be configured in accordance with any of the embodiments described herein.

본 발명의 다양한 양태들의 추가적인 수정들 및 대안적인 실시예들은 본 설명을 검토한 당 업계의 당업자에게는 자명한 사항일 것이다. 예를 들어, 표본의 저해상도 이미지로부터 표본에 대한 고해상도 이미지를 생성하기 위한 방법과 시스템이 제공된다. 이에 따라, 본 설명은 단지 예시에 불과하며, 본 발명을 수행하기 위한 일반적인 방법을 당 업계의 당업자에게 교시하기 위한 것으로서 해석되어야 한다. 본 명세서에서 도시되고 설명된 본 발명의 형태들은 현재 바람직한 실시예들로서 간주될 것임을 이해할 것이다. 본 명세서에서 설명되고 예시된 것을 대신하여 엘리먼트들과 물질들이 대체될 수 있고, 부품들 및 공정들은 뒤바뀔 수 있고, 본 발명의 어떠한 특징들은 독립적으로 활용될 수 있으며, 이 모두는 본 발명의 설명의 혜택을 가진 후에 당 업계의 당업자에게는 자명할 것이다. 아래의 청구항들에서 기술된 본 발명의 사상과 범위를 벗어나지 않고서 본 명세서에서 설명된 엘리먼트들에 대해서는 변경들이 이루어질 수 있다.Additional modifications and alternative embodiments of various aspects of the invention will be apparent to those skilled in the art upon review of this description. For example, methods and systems are provided for generating a high-resolution image of a specimen from a low-resolution image of the specimen. Accordingly, this description is illustrative only and should be construed as teaching those skilled in the art the general method for carrying out the present invention. It will be understood that the forms of the invention shown and described herein are to be regarded as presently preferred embodiments. Elements and materials may be substituted for what is described and illustrated herein, parts and processes may be reversed, and certain features of the invention may be utilized independently, all of which are incorporated herein by reference. It will be apparent to those skilled in the art after having the benefit. Changes may be made to the elements described herein without departing from the spirit and scope of the invention as set forth in the claims below.

Claims (24)

표본(specimen)의 저해상도(low resolution) 이미지로부터 상기 표본에 대한 고해상도(high resolution) 이미지를 생성하도록 구성된 시스템에 있어서,
표본의 저해상도 이미지를 획득하도록 구성된 하나 이상의 컴퓨터 서브시스템; 및
상기 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트
를 포함하고,
상기 하나 이상의 컴포넌트는,
심층 컨볼루션 신경망(deep convolutional neural network); 및
상기 심층 컨볼루션 신경망을 트레이닝(train)하도록 구성된 상황 인식 손실(context aware loss) 모듈
을 포함하고,
상기 심층 컨볼루션 신경망은,
상기 저해상도 이미지의 표현(representation)을 생성하도록 구성된 하나 이상의 제1 계층; 및
상기 저해상도 이미지의 표현으로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 하나 이상의 제2 계층
을 포함하며,
상기 하나 이상의 제2 계층은 상기 고해상도 이미지를 출력하도록 구성된 최종 계층을 포함하고,
상기 최종 계층은 또한 서브 픽셀 컨볼루션 계층으로서 구성된 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.A system configured to generate a high resolution image of a specimen from a low resolution image of the specimen, the system comprising:
one or more computer subsystems configured to acquire a low-resolution image of the specimen; and
one or more components executed by the one or more computer subsystems
including,
the one or more components,
deep convolutional neural networks; and
A context aware loss module configured to train the deep convolutional neural network
including,
The deep convolutional neural network is
one or more first layers configured to generate a representation of the low resolution image; and
one or more second layers configured to generate a high-resolution image for the specimen from the representation of the low-resolution image
includes,
the at least one second layer comprises a final layer configured to output the high-resolution image;
wherein the final layer is also configured as a sub-pixel convolutional layer. 제1항에 있어서,
상기 심층 컨볼루션 신경망은 상기 하나 이상의 제2 계층에 의해 생성된 상기 고해상도 이미지가 상기 저해상도 이미지보다 적은 노이즈를 갖도록 구성된 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
wherein the deep convolutional neural network is configured such that the high-resolution image generated by the one or more second layers has less noise than the low-resolution image. 제1항에 있어서,
상기 심층 컨볼루션 신경망은 상기 하나 이상의 제2 계층에 의해 생성된 상기 고해상도 이미지가 상기 저해상도 이미지의 구조적 및 공간적 특징들을 보유하도록 구성된 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
wherein the deep convolutional neural network is configured to generate a high-resolution image of the specimen from the low-resolution image of the specimen, wherein the high-resolution image generated by the one or more second layers is configured to retain structural and spatial features of the low-resolution image. system. 제1항에 있어서,
상기 심층 컨볼루션 신경망의 트레이닝 동안, 상기 하나 이상의 컴퓨터 서브시스템은 상기 하나 이상의 제2 계층에 의해 생성된 상기 고해상도 이미지와, 상기 표본에 대한 대응하는, 알려진 고해상도 이미지를 상기 상황 인식 손실 모듈 내에 입력하고,
상기 상황 인식 손실 모듈은, 상기 대응하는, 알려진 고해상도 이미지와 비교된, 상기 하나 이상의 제2 계층에 의해 생성된 상기 고해상도 이미지에서의 상황 인식 손실을 결정하는 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
During training of the deep convolutional neural network, the one or more computer subsystems input the high-resolution image generated by the one or more second layers and a corresponding, known high-resolution image for the sample into the situational awareness loss module; ,
wherein the situational awareness loss module determines a situational awareness loss in the high resolution image generated by the one or more second layers compared to the corresponding, known high resolution image. A system configured to produce high-resolution images of 제4항에 있어서,
상기 상황 인식 손실은 콘텐츠 손실, 스타일 손실, 및 전체 변동(total variation; TV) 정규화를 포함하는 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.5. The method of claim 4,
wherein the situational awareness loss comprises content loss, style loss, and total variation (TV) normalization. 제5항에 있어서,
상기 콘텐츠 손실은, 상기 대응하는, 알려진 고해상도 이미지의 하위 레벨 특징들에서의 손실을 포함하는 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.6. The method of claim 5,
wherein the content loss comprises a loss in low-level features of the corresponding, known high-resolution image. 제5항에 있어서,
상기 스타일 손실은, 상기 대응하는, 알려진 고해상도 이미지를 정성적으로 정의하는 하나 이상의 추상화 엔티티에서의 손실을 포함하는 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.6. The method of claim 5,
wherein the style loss comprises a loss in one or more abstraction entities that qualitatively define the corresponding, known high-resolution image. 제4항에 있어서,
상기 상황 인식 손실 모듈은 미리 트레이닝된 VGG 네트워크를 포함하는 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.5. The method of claim 4,
and the situational awareness loss module comprises a pre-trained VGG network. 제4항에 있어서,
상기 하나 이상의 컴포넌트는 상기 상황 인식 손실에 기초하여 상기 심층 컨볼루션 신경망의 하나 이상의 파라미터를 결정하도록 구성된 튜닝 모듈
을 더 포함한 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.5. The method of claim 4,
the one or more components is a tuning module configured to determine one or more parameters of the deep convolutional neural network based on the situational awareness loss.
and a system configured to generate a high resolution image of the specimen from the low resolution image of the specimen. 제1항에 있어서,
상기 하나 이상의 컴퓨터 서브시스템은 또한, 상기 하나 이상의 제2 계층에 의해 생성된 상기 고해상도 이미지에 기초하여 상기 표본에 대해 하나 이상의 계측 측정을 수행하도록 구성된 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템. According to claim 1,
wherein the one or more computer subsystems are further configured to perform one or more metrology measurements on the specimen based on the high resolution image generated by the one or more second layers. A system configured to create an image. 제1항에 있어서,
상기 심층 컨볼루션 신경망은 상기 저해상도 이미지를 생성했던 이미징 시스템과는 독립적으로 기능하는 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
wherein the deep convolutional neural network functions independently of the imaging system that generated the low-resolution image. 표본(specimen)의 저해상도(low resolution) 이미지로부터 상기 표본에 대한 고해상도(high resolution) 이미지를 생성하도록 구성된 시스템에 있어서,
표본의 저해상도 이미지를 획득하도록 구성된 하나 이상의 컴퓨터 서브시스템; 및
상기 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트
를 포함하고,
상기 하나 이상의 컴포넌트는,
심층 컨볼루션 신경망(deep convolutional neural network)
을 포함하고,
상기 심층 컨볼루션 신경망은,
상기 저해상도 이미지의 표현(representation)을 생성하도록 구성된 하나 이상의 제1 계층; 및
상기 저해상도 이미지의 표현으로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 하나 이상의 제2 계층
을 포함하며,
상기 하나 이상의 제2 계층은 상기 고해상도 이미지를 출력하도록 구성된 최종 계층을 포함하고,
상기 최종 계층은 또한 서브 픽셀 컨볼루션 계층으로서 구성되며,
상기 저해상도 이미지는 제1 이미징 플랫폼을 갖는 하나의 이미징 시스템에 의해 생성되고,
상기 하나 이상의 컴퓨터 서브시스템은 또한 상기 제1 이미징 플랫폼과는 상이한 제2 이미징 플랫폼을 갖는 다른 이미징 시스템에 의해 다른 표본에 대해 생성된 다른 저해상도 이미지를 획득하도록 구성되고,
상기 하나 이상의 제1 계층은 상기 다른 저해상도 이미지의 표현을 생성하도록 구성되며,
상기 하나 이상의 제2 계층은 또한 상기 다른 저해상도 이미지의 표현으로부터 상기 다른 표본에 대한 고해상도 이미지를 생성하도록 구성된 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.A system configured to generate a high resolution image of a specimen from a low resolution image of the specimen, the system comprising:
one or more computer subsystems configured to acquire a low-resolution image of the specimen; and
one or more components executed by the one or more computer subsystems
including,
the one or more components,
deep convolutional neural networks
including,
The deep convolutional neural network is
one or more first layers configured to generate a representation of the low resolution image; and
one or more second layers configured to generate a high-resolution image for the specimen from the representation of the low-resolution image
includes,
the at least one second layer comprises a final layer configured to output the high-resolution image;
The final layer is also configured as a sub-pixel convolutional layer,
the low resolution image is generated by an imaging system having a first imaging platform;
wherein the one or more computer subsystems are further configured to acquire other low-resolution images generated of the other specimen by another imaging system having a second imaging platform that is different from the first imaging platform;
wherein the at least one first layer is configured to generate a representation of the other low resolution image;
and the one or more second layers are further configured to generate a high resolution image of the other specimen from the representation of the other low resolution image. 제12항에 있어서,
상기 제1 이미징 플랫폼은 전자 빔 이미징 플랫폼이고,
상기 제2 이미징 플랫폼은 광학 이미징 플랫폼인 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.13. The method of claim 12,
the first imaging platform is an electron beam imaging platform;
and the second imaging platform is an optical imaging platform. 제12항에 있어서,
상기 제1 이미징 플랫폼과 상기 제2 이미징 플랫폼은 상이한 광학 이미징 플랫폼들인 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.13. The method of claim 12,
and wherein the first imaging platform and the second imaging platform are different optical imaging platforms. 제12항에 있어서,
상기 제1 이미징 플랫폼과 상기 제2 이미징 플랫폼은 상이한 전자 빔 이미징 플랫폼들인 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.13. The method of claim 12,
wherein the first imaging platform and the second imaging platform are different electron beam imaging platforms. 제1항에 있어서,
상기 저해상도 이미지는 전자 빔 기반 이미징 시스템에 의해 생성된 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
wherein the low resolution image is generated by an electron beam based imaging system. 제1항에 있어서,
상기 저해상도 이미지는 광학 기반 이미징 시스템에 의해 생성된 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
wherein the low resolution image is generated by an optical based imaging system. 제1항에 있어서,
상기 저해상도 이미지는 검사 시스템에 의해 생성된 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
and wherein the low resolution image is generated by an inspection system. 제1항에 있어서,
상기 표본은 웨이퍼인 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
and wherein the specimen is a wafer. 제1항에 있어서,
상기 표본은 레티클인 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
and wherein the specimen is a reticle. 제1항에 있어서,
상기 심층 컨볼루션 신경망은 고해상도 이미징 시스템으로 상기 고해상도 이미지를 생성하기 위한 처리량보다 높은 처리량으로 상기 고해상도 이미지를 출력하는 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.According to claim 1,
wherein the deep convolutional neural network outputs the high-resolution image at a higher throughput than for generating the high-resolution image with a high-resolution imaging system. 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템에 있어서,
표본의 저해상도 이미지를 생성하도록 구성된 이미징 서브시스템;
상기 표본의 저해상도 이미지를 획득하도록 구성된 하나 이상의 컴퓨터 서브시스템; 및
상기 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 컴포넌트
를 포함하고,
상기 하나 이상의 컴포넌트는,
심층 컨볼루션 신경망; 및
상기 심층 컨볼루션 신경망을 트레이닝하도록 구성된 상황 인식 손실 모듈
을 포함하고,
상기 심층 컨볼루션 신경망은,
상기 저해상도 이미지의 표현을 생성하도록 구성된 하나 이상의 제1 계층; 및
상기 저해상도 이미지의 표현으로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 하나 이상의 제2 계층
을 포함하며,
상기 하나 이상의 제2 계층은 상기 고해상도 이미지를 출력하도록 구성된 최종 계층을 포함하고,
상기 최종 계층은 또한 서브 픽셀 컨볼루션 계층으로서 구성된 것인, 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하도록 구성된 시스템.A system configured to generate a high-resolution image of a specimen from a low-resolution image of the specimen, the system comprising:
an imaging subsystem configured to generate a low-resolution image of the specimen;
one or more computer subsystems configured to acquire a low-resolution image of the specimen; and
one or more components executed by the one or more computer subsystems
including,
the one or more components,
deep convolutional neural networks; and
a situational awareness loss module configured to train the deep convolutional neural network
including,
The deep convolutional neural network is
one or more first layers configured to generate a representation of the low resolution image; and
one or more second layers configured to generate a high-resolution image for the specimen from the representation of the low-resolution image
includes,
the at least one second layer comprises a final layer configured to output the high-resolution image;
wherein the final layer is also configured as a sub-pixel convolutional layer. 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템 상에서 실행가능한 프로그램 명령어들을 저장한 컴퓨터로 판독가능한 비일시적 매체에 있어서, 상기 컴퓨터 구현 방법은,
표본의 저해상도 이미지를 획득하는 단계;
상기 저해상도 이미지를 심층 컨볼루션 신경망의 하나 이상의 제1 계층에 입력함으로써 상기 저해상도 이미지의 표현을 생성하는 단계; 및
상기 표현에 기초하여 상기 표본에 대한 고해상도 이미지를 생성하는 단계
를 포함하고,
상기 고해상도 이미지를 생성하는 단계는 상기 심층 컨볼루션 신경망의 하나 이상의 제2 계층에 의해 수행되고,
상기 하나 이상의 제2 계층은 상기 고해상도 이미지를 출력하도록 구성된 최종 계층을 포함하고,
상기 최종 계층은 또한 서브 픽셀 컨볼루션 계층으로서 구성되고,
상기 획득하는 단계, 상기 표현을 생성하는 단계, 및 상기 고해상도 이미지를 생성하는 단계는 상기 하나 이상의 컴퓨터 시스템에 의해 수행되며,
하나 이상의 컴포넌트가 상기 하나 이상의 컴퓨터 시스템에 의해 실행되고,
상기 하나 이상의 컴포넌트는 상기 심층 컨볼루션 신경망 및 상기 심층 컨볼루션 신경망을 트레이닝하도록 구성된 상황 인식 손실 모듈을 포함하는 것인, 컴퓨터로 판독가능한 비일시적 매체.A computer-readable non-transitory medium having stored thereon program instructions executable on one or more computer systems to perform the computer-implemented method for generating a high-resolution image of the specimen from the low-resolution image of the specimen, the computer-implemented method comprising:
obtaining a low-resolution image of the specimen;
generating a representation of the low-resolution image by inputting the low-resolution image into one or more first layers of a deep convolutional neural network; and
generating a high-resolution image of the specimen based on the representation;
including,
generating the high-resolution image is performed by one or more second layers of the deep convolutional neural network,
the at least one second layer comprises a final layer configured to output the high-resolution image;
the final layer is also configured as a sub-pixel convolutional layer,
wherein the acquiring, generating the representation, and generating the high-resolution image are performed by the one or more computer systems;
one or more components executed by the one or more computer systems;
wherein the one or more components include the deep convolutional neural network and a contextual awareness loss module configured to train the deep convolutional neural network. 표본의 저해상도 이미지로부터 상기 표본에 대한 고해상도 이미지를 생성하기 위한 컴퓨터 구현 방법에 있어서,
표본의 저해상도 이미지를 획득하는 단계;
상기 저해상도 이미지를 심층 컨볼루션 신경망의 하나 이상의 제1 계층에 입력함으로써 상기 저해상도 이미지의 표현을 생성하는 단계; 및
상기 표현에 기초하여 상기 표본에 대한 고해상도 이미지를 생성하는 단계
를 포함하고,
상기 고해상도 이미지를 생성하는 단계는 상기 심층 컨볼루션 신경망의 하나 이상의 제2 계층에 의해 수행되고,
상기 하나 이상의 제2 계층은 상기 고해상도 이미지를 출력하도록 구성된 최종 계층을 포함하고,
상기 최종 계층은 또한 서브 픽셀 컨볼루션 계층으로서 구성되고,
상기 획득하는 단계, 상기 표현을 생성하는 단계, 및 상기 고해상도 이미지를 생성하는 단계는 하나 이상의 컴퓨터 시스템에 의해 수행되며,
하나 이상의 컴포넌트가 상기 하나 이상의 컴퓨터 시스템에 의해 실행되고,
상기 하나 이상의 컴포넌트는 상기 심층 컨볼루션 신경망 및 상기 심층 컨볼루션 신경망을 트레이닝하도록 구성된 상황 인식 손실 모듈을 포함하는 것인, 컴퓨터 구현 방법.A computer-implemented method for generating a high-resolution image of a specimen from a low-resolution image of the specimen, comprising:
obtaining a low-resolution image of the specimen;
generating a representation of the low-resolution image by inputting the low-resolution image into one or more first layers of a deep convolutional neural network; and
generating a high-resolution image of the specimen based on the representation;
including,
generating the high-resolution image is performed by one or more second layers of the deep convolutional neural network,
the at least one second layer comprises a final layer configured to output the high-resolution image;
the final layer is also configured as a sub-pixel convolutional layer,
wherein the acquiring, generating the representation, and generating the high-resolution image are performed by one or more computer systems;
one or more components executed by the one or more computer systems;
wherein the one or more components include the deep convolutional neural network and a contextual awareness loss module configured to train the deep convolutional neural network.

Images