KR102651032B1 - Super-resolution metrology method based on single distribution and deep learning - Google Patents

Abstract

본 발명은 물리적 객체들을 특징화하는 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하고, 장면을 각각의 기하학적 형상이 발광 객체를 모델링하는 적어도 하나의 기하학적 형상으로 분류하기 위한 방법들에 관한 것이다. 제1 파장 및 특이점의 위치에 의해 특징화되는 단일 광 분포는 물리적 객체 상으로 투사된다. 기하학적 특징과 상호작용하였고 검출기 상으로 충돌하는 단일 광 분포에 의해 여기되는 광은 검출되고 리턴 에너지 분포는 하나 이상의 위치들에서 식별 및 정량화된다. 장면을 정적 또는 동적인 복수의 형상들로서 분류하도록 적응되는 신경망 계층의 직접 입력으로서 검출된 광을 사용하는, 딥 러닝 또는 신경망 계층이 이용될 수 있으며, 형상들은 학습에 의해 미리 결정되거나 획득되는 한 세트의 형상들의 일부이다.The present invention relates to methods for determining the values of unique geometric parameters of geometric features characterizing physical objects and classifying a scene into at least one geometric shape, each geometric shape modeling a luminescent object. A single light distribution characterized by the first wavelength and the location of the singularity is projected onto the physical object. Light excited by a single light distribution that has interacted with a geometric feature and impinges onto a detector is detected and the return energy distribution is identified and quantified at one or more locations. A deep learning or neural network layer can be used, using the detected light as a direct input to a neural network layer adapted to classify the scene as a plurality of shapes, either static or dynamic, where the shapes are a set of predetermined or acquired shapes. It is part of the shapes of

Description

단일 분포 및 딥 러닝에 기초한 초해상도 계측 방법Super-resolution metrology method based on single distribution and deep learning

본 출원은 2017년 8월 30일자로 둘 다 출원된 미국 가출원 일련 번호 제62/551,906호 및 제62/551,913호의 우선권을 주장하고, 모두 본원에 참조로 통합된다.This application claims priority from U.S. Provisional Application Serial Nos. 62/551,906 and 62/551,913, both filed August 30, 2017, both of which are incorporated herein by reference.

기술분야Technology field

본 발명은 기계, 표현 및 딥 러닝(learning) 방법들을 사용하는, 기하학적 특징들의 광학 측정, 및, 보다 구체적으로는, 투사된 단일 광 분포를 사용하는 광학 측정을 위한 방법들 및 장치에 관한 것이다.The present invention relates to optical measurement of geometric features using machine, representation and deep learning methods, and more particularly to methods and apparatus for optical measurement using a projected single light distribution.

계측(metrology)은 기술적인 측정 분야이다. 형광, 다광자 이미징, 라만 산란, 광 투과, 반사 또는 광 산란에 기초한 측정들은 실제적으로 해상도(resolution)에서 1873에 Ernst Abbe에 의해 명시된 한계에 제한된다. Abbe 한계는, 아래에 설명되는 바와 같이, 샘플로부터 광을 조명하거나 수집하기 위해 사용되는 광학 시스템의 한정 개구에 의한 회절로 인해 발생한다.Metrology is the field of technical measurements. Measurements based on fluorescence, multiphoton imaging, Raman scattering, light transmission, reflection or light scattering are practically limited in resolution to the limits specified by Ernst Abbe in 1873. The Abbe limit occurs due to diffraction by the limiting aperture of the optical system used to illuminate or collect light from the sample, as explained below.

일부 생물학적 및 생명 과학 객체들은 기본 기하학적 형상들로서 수학적으로 모델링될 수 있다. 그러한 모델의 파라미터들의 정확한 정량화는 현대 생물학 및 생명 과학의 도전들 중 하나이며; 그것은 생물학적 객체들 및 그들의 기능에 대한, 직접 또는 통계적으로, 숨겨진 정보를 드러낼 것이다. 본원에 참조로 통합되는 Sirat의 미국 특허 번호 제9,250,185(이하, "Sirat 185 특허")는 ... 일반 의미론(general semantics)의 의미에서", 물리적 객체의 "맵"으로서, "발광 생물학적 객체"를 정의한다(Sirat 185 특허, col. 18, lines 15-22.)Some biological and life science objects can be mathematically modeled as basic geometric shapes. Accurate quantification of the parameters of such models is one of the challenges of modern biology and life sciences; It will reveal hidden information, directly or statistically, about biological objects and their functions. Sirat's U.S. Patent No. 9,250,185 (the "Sirat 185 Patent"), which is incorporated herein by reference, refers to a "luminescent biological object", "in the sense of general semantics " , as a "map" of a physical object. (Sirat 185 patent, col. 18, lines 15-22.)

객체의 형상, 또는 다른 기하학적 속성들(attributes)을 측정하는 것은 파라미터화된 형상 가정(본 발명에서 수학적 프라이어(mathematical prior)로서 지칭됨)을 "발광 생물 객체"로부터의 기본 및/또는 재구성 데이터 상에 적용하고, 데이터로부터 형상의 파라미터들을 검색하는 것으로 구성된다. 더욱이, 다른 수학적 제약들은 광 강도의 고유한 양성으로 인한, 양성(positivity)인, 데이터 상에 존재한다.Measuring the shape, or other geometric attributes, of an object involves making parameterized shape assumptions (referred to herein as mathematical priors ) on baseline and/or reconstructed data from a “luminescent biological object”. It consists of applying and retrieving shape parameters from the data. Moreover, other mathematical constraints exist on the data, due to the inherent positivity of the light intensity, the positivity .

종래 기술에서, 수학적 프라이어 및 양성 제약 둘 다는 전통적인 이미징 패러다임에 의존한다. 수학적 프라이어 및 양성 제약은, 이미지 획득 및 재구성 후에, 후처리 단계로서, 결과 이미지들 상에 적용되어야 한다. 이 이미징 패러다임은 현미경의 초기 시절로 거슬러 올라갈 수 있으며, 여기서 형상 측정은 학문의 분야 그 자체(per se)로서가 아닌 이미징의 부수물(concomitant)로서 생각되었다.In the prior art, both mathematical priors and positive constraints rely on traditional imaging paradigms. Mathematical priors and positivity constraints must be applied on the resulting images as a post-processing step , after image acquisition and reconstruction. This imaging paradigm can be traced back to the early days of microscopy, where shape measurements were conceived as a concomitant of imaging rather than as a discipline per se .

형상 가정은 강력한 수학적 프라이어이고, 본 발명이 아래에 설명되면, 솔루션의 자유도의 수를 엄청나게 감소시키고, 솔루션을 위해 임베딩된(embedded) 파라메트릭 공간을 생성할 것이다. 본원에서 사용되는 바와 같이, 용어 "수학적 프라이어"는 문제의 자유도의 수를 감소시키는 측정의 결과와 관련한 임의의 수학적 가정을 지칭할 것이다. 일반적인 이미징 패러다임을 사용하여 획득되는 데이터와 관련하여, 과거에 행하여진 바와 같이, 획득 및 재구성 프로세스들 후에 수학적 프라이어를 적용하는 것은 전체 계측 프로세스의 정확성을 감소시킨다.The shape assumption is a powerful mathematical prior , and the invention described below will drastically reduce the number of degrees of freedom in the solution and create an embedded parametric space for the solution. As used herein, the term “ mathematical priors ” shall refer to any mathematical assumption regarding the outcome of a measurement that reduces the number of degrees of freedom in a problem. With respect to data acquired using common imaging paradigms, applying mathematical priors after the acquisition and reconstruction processes, as was done in the past, reduces the accuracy of the overall metrology process.

역사적 관점historical perspective

더 새로운 하드웨어 및 소프트웨어에 대한 일부 훈련 후, 1840년에서 1905년까지 생존한 Ernst Abbe는 이미징 및 측정을 위해 최신 세대의 생물 현미경들을 사용하는 것이 편안했었을 것이다. 생물학적 이미징 및 계측 방법들의 지속성(persistence)은 무엇보다도, 우리의 전임자들에 의해 개발된 개념들의 품질로 인한 것이지만, 그것은 또한 근본 작업 절차들을 수정하는 것에 대한 어려움으로 인한 것이다.After some training in newer hardware and software, Ernst Abbe, who lived from 1840 to 1905, would have been comfortable using the latest generation of biological microscopes for imaging and measurements. The persistence of biological imaging and metrology methods is due, first of all, to the quality of the concepts developed by our predecessors, but it is also due to the difficulty of modifying the fundamental working procedures.

그러나, 수 개의 새로운 경향들은, 심지어 생물학에서도, 확립된 현미경 관찰 전형들(archetypes)을 흔들고 있다. 중요한 진화는 포괄적인 통계 방식으로 생물학적 객체들의 모델들의 기본 파라미터들을 정확하게 정량화하고 생물학적 관찰을 이미지들 또는 가정들 상에서만 근거하지 않는 희망에서 기인한다.However, several new trends are shaking up established microscopy archetypes, even in biology. An important evolution stems from the hope to accurately quantify the fundamental parameters of models of biological objects in a comprehensive statistical manner and not to base biological observations solely on images or assumptions.

J. Shamir는, 모두 참조로 통합되는 문헌["Singular beams in metrology and nanotechnology", Opt. Eng., vol. 51, 073605 (2012)], 및 미국 특허 번호 제7,746,469호에서, 입자 크기의 분포들을 정량화하기 위해 단일(singular) 광 분포들의 사용을 제안하였다. J. Shamir, " Singular beams in metrology and nanotechnology ", Opt. Eng . , vol. 51 , 073605 (2012)], and US Patent No. 7,746,469, proposed the use of singular light distributions to quantify distributions of particle size.

발명자가 알고 있는 한에서, 광 자체가 이미지화되는 경우 얻을 수 없는 해상도를 획득하기 위해 광자들의 부재를 사용하는 널(null) 이미지들의 생성은 제안된 적이 없었다. Shamir의 교시들은, 특히, 반사, 투과 및 (탄성)산란과 같은, 탄성 상호작용들을 사용한다. 널 이미지들에 기초하여 정보를 획득하는 것이 유리할 것이고, 아래에 상세히 설명되는 발명은 그러한 이미징이 수행될 수 있는 방법을 예시한다.To the best of the inventor's knowledge, the creation of null images using the absence of photons to obtain a resolution that would not be achievable if the light itself was imaged has never been proposed. Shamir's teachings make use of elastic interactions, especially reflection, transmission and (elastic) scattering. It would be advantageous to obtain information based on null images, and the invention described in detail below illustrates how such imaging may be performed.

배경: 기하학적 형상들의 파라미터들의 측정Background: Measurement of parameters of geometric shapes

생물학적 현미경에 사용되는 모든 측정 시스템들 및 방법들이 검토될 필요는 없지만, 이론적으로, 형상을 설명하는 파라미터들을 포함하는, 임의의 파라미터의 측정의 한계는 궁극적으로 신호 대 잡음에 의해 결정되고, 아래에 정의되는 크레이머 라오 하계(Cramer Rao lower bound, CRLB)를 사용하여 정량화된다. 그러나, 형상-관련 파라미터들의 경우, 계산이 부정확하게 조정되고 실제 및 실험 조건들로 인해 정확하지 않은 측정들에 의존한다.It is not necessary to review all measurement systems and methods used in biological microscopy, but theoretically, the limits of measurement of any parameter, including those describing shape, are ultimately determined by signal-to-noise, and are discussed below. It is quantified using the Cramer Rao lower bound (CRLB), which is defined as However, in the case of shape-related parameters, the calculations are inaccurately calibrated and depend on measurements that are not accurate due to real and experimental conditions.

일 예로서, 참조로서 본원에 통합되는 Gustafsson의 문헌["Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution", Proc.Nat. Acad.Sci., vol. 102, pp. 13081-86 (2005)]는 비선형 구조화-조명 현미경, 비선형 포화 효과들을 결합한 초-해상도 기술 및 구조적 조명을 제시하였다. 현미경 분야들에서 숙련가들에 의해 예시적인 것으로 간주되는 Gustafsson의 기술은, 최상의 경우에서, 50 nm의 해상도를 입증하였다. 이 측정은 해상도 한계와 거의 동일한 크기의 비드인, 51 nm의 정밀 직경이도록 Gustafsson에 의해 선택된, 광퇴색 또는 광독성의 경향이 없는, 높은 에너지 레벨들을 유지할 수 있는, 교정, 분리, 평면, 동일 제조된 비드들 상에서 수행되었다.As an example, Gustafsson, “ Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution ”, Proc.Nat. incorporated herein by reference. Acad. Sci., vol. 102 , pp. 13081-86 (2005)] Nonlinear structured-illumination microscopy, super-resolution technology combining nonlinear saturation effects, and structured illumination were presented. Gustafsson's technique, considered exemplary by those skilled in the field of microscopy, demonstrated, in the best case, a resolution of 50 nm. This measurement was chosen by Gustafsson to have a precise diameter of 51 nm, beads of approximately the same size as the resolution limit, calibrated, separated, flat, identically manufactured, capable of maintaining high energy levels, not prone to photobleaching or phototoxicity. Performed on beads.

("공지된 비드 형상이 선형 디콘볼루션(deconvolution)에 의해 재구성으로부터 제거된"), 정확한 절차에 의해 계산되는, 전술한 데이터, 비드 크기의 영향, 형상 파라미터의 가장 단순하게 가능한 측정에 기초하여, Gustafsson 2004는 그의 실험의, 아래에 정의되는, "시스템 룰러(System Ruler)"의 10% 미만이었다. 동일한 실험이 미공지된 비드의 직경의 값을 정량화하기 위한 절차로서 수행되었었다면, 상대적 정밀도는 이상적인 경우에서 상대적으로 불충분한 성능인 5%이었을 것이다. 이는 본 발명에 따라 아래에 설명되는 바와 같은, 형상 파라미터들의 측정을 위한 개선된 툴(tool)의 바람직함(desirability)을 나타낸다. ("known bead shapes are removed from the reconstruction by linear deconvolution"), calculated by an exact procedure, based on the above-described data, the influence of bead size, and the simplest possible measurements of shape parameters. , Gustafsson 2004, found that less than 10% of his experiments were “System Rulers,” as defined below. If the same experiment had been performed as a procedure to quantify unknown bead diameter values, the relative precision would have been 5%, a relatively poor performance in the ideal case. This demonstrates the desirability of an improved tool for the measurement of shape parameters according to the invention, as described below.

딥 러닝 배경deep learning background

풍부한 문헌이 딥 러닝을 둘러싼다. 독자는 Wikipedia[https://en.wikipedia.org/wiki/Deep_learning], 및 여기에 인용되는 참고문헌들을 참조한다. 딥 러닝 개념들의 통합(synthesis)은, 다음에 사용되는, 수 개의 기본 개념들을 정의하며 본원에 참조로 통합되는, 이하 "LeCun 2015"인, LeCun 등의 문헌["Deep learning," Nature, vol. 521, pp. 436-45 (2015)]에서 발견될 수 있다. LeCun 2015에 따르면:A wealth of literature surrounds deep learning. The reader is referred to Wikipedia [https://en.wikipedia.org/wiki/Deep_learning], and references cited therein. The synthesis of deep learning concepts is described in LeCun et al., “ Deep learning ,” Nature, vol. 521 , pp. 436-45 (2015)]. According to LeCun 2015:

표현 학습(representation learning)은 머신이 원시 데이터를 공급받고 검출 또는 분류를 위해 요구되는 표현들을 자동으로 발견하는 것을 허용하는 한 세트의 방법들이다. 딥-러닝(deep-learning) 방법들은 (원시 입력으로 시작하는) 하나의 레벨에서의 표현을 더 높은, 약간 더 추상적인 레벨에서의 표현으로 각각 변환하는 단순하지만 비-선형인 모듈들을 구성함으로써 획득되는, 다수의 레벨들의 표현을 갖는 표현-학습 방법들이다. 충분한 그러한 변형들 구성으로, 매우 복잡한 기능들이 학습될 수 있다. 분류 작업들의 경우, 더 높은 표현 계층들은 식별에 중요한 입력의 양태들을 증폭시키고 관련이 없는 변형들을 억제한다. 예를 들어, 이미지는 픽셀 값들의 어레이의 형태로 도래하고, 제1 표현 계층에서의 학습된 특징들은 전형적으로 이미지의 특정 방향들 및 위치들에서 에지들의 존재 또는 부재를 나타낸다. 제2 계층은 전형적으로 에지 부분들에서의 작은 변형들에 관계없이, 에지들의 특정 배열들을 발견함으로써 모티프들(motifs)을 검출한다. 제3 계층은 모티프들을 익숙한 객체들의 부분들에 대응하는 더 큰 조합들로 조립할 수 있고, 후속 계층들은 이들 부분들의 조합들로서 객체들을 검출할 것이다. 딥 러닝의 주요 요소는 이들 계층들의 특징들이 인간 엔지니어들에 의해 설계되지 않으며: 그들이 범용 학습 절차를 사용하여 데이터로부터 학습된다는 것이다. Representation learning is a set of methods that allow a machine to be fed raw data and automatically discover the required representations for detection or classification. Deep-learning methods work by constructing simple but non-linear modules that each transform a representation at one level (starting with a raw input) into a representation at a higher, slightly more abstract level. These are representation-learning methods with multiple levels of representation being obtained. With enough such transformations, very complex functions can be learned. For classification tasks, higher representation layers amplify aspects of the input that are important for identification and suppress irrelevant variants. For example, an image comes in the form of an array of pixel values, and the learned features in the first representation layer typically indicate the presence or absence of edges in certain directions and positions in the image. The second layer typically detects motifs by finding specific arrangements of edges, regardless of small variations in the edge portions. The third layer can assemble motifs into larger combinations corresponding to parts of familiar objects, and subsequent layers will detect objects as combinations of these parts. A key element of deep learning is that the features of these layers are not designed by human engineers: they are learned from data using general-purpose learning procedures.

(LeCun 2015, p. 436, 강조 추가)(LeCun 2015, p. 436, emphasis added)

현재 실시되는 바와 같은 딥 러닝 네트워크의 전형은 획득된 이미지를 처리하는 것을 포함한다. 도 6은 LeCun 2015 교시를 따르는, 이전 기술에 따른 딥 러닝 네트워크를 예시화하며; 고양이 사진에 의해 예시되는 이미지(10)는 네트워크의 입력이다. 제1 계층(11)은 전형적으로 이미지의 특정 방향들 및 위치들에서 에지들의 존재 또는 부재를 학습한다. 범용 학습 절차를 사용하여 데이터로부터 학습되는, 추가 계층들(숫자들(12 및 13)에 의해 개략적으로 표현됨)이 고양이 종 및 그것이 개가 아니라는 것을 식별할 수 있다.A typical deep learning network as currently practiced involves processing acquired images. Figure 6 illustrates a deep learning network according to prior art, following the teachings of LeCun 2015; Image 10 , exemplified by a picture of a cat, is the input to the network. First layer 11 typically learns the presence or absence of edges in specific directions and locations in the image. Additional layers (schematically represented by numbers 12 and 13 ), learned from the data using a universal learning procedure, can identify cat species and those that are not dogs.

본원에 사용되는 바와 같은 "CODIM"은, 본원에 참조로 통합되는, 이하 "Caron 2014"인, Caron 등(2014)의 문헌["Conical diffraction illumination opens the way for low phototoxicity super-resolution imaging." Cell adhesion & migration, vol. 8, pp. 430-439 (2014)]에 설명되는 바와 같은, 원추형 회절 현미경(Conical Diffraction Microscopy) 하드웨어를 지칭한다. Caron 2014에 설명되는 바와 같은 하드웨어의 사용은 "이미징 케이스"로서 지칭된다. "계측 케이스"로서 아래에 언급되는 하드웨어 구성(set-up) 및 사용은 종래 기술의 일부가 아니다. 이미징 케이스에서, 단일 광 분포들은 그리드가 데카르트(Cartesian)인 정규 그리드 상에, 또는 검색된 데이터의 함수로서 최적화되는 그리드 상에 투사된다.“CODIM”, as used herein, refers to Caron et al. (2014), “Conical diffraction illumination opens the way for low phototoxicity super-resolution imaging.” hereinafter “Caron 2014”, incorporated herein by reference. Cell adhesion & migration , vol. 8 , pp. 430-439 (2014). The use of hardware as described in Caron 2014 is referred to as an “imaging case”. The hardware set-up and use referred to below as “measurement case” is not part of the prior art. In the imaging case, single light distributions are projected onto a regular grid where the grid is Cartesian, or onto a grid that is optimized as a function of the retrieved data.

딥 러닝 또는 기계 학습 네트워크에서 CODIM을 적용하는 정준(canonical) 방식은 이미지를 재구성하고 공지된 알고리즘을 재구성된 이미지에 적용하는 것이다. 그러한 방법들의 한계는 이미지 재구성에 수반되는 시간 부담 및 정보 손상(corruption)이다.The canonical way to apply CODIM in deep learning or machine learning networks is to reconstruct an image and apply a known algorithm to the reconstructed image. Limitations of such methods are the time burden and information corruption involved in image reconstruction.

Sirat 185 특허 상태들:Sirat 185 patent status:

측정 시스템은 측정된 맵인 형광체들의 디스크립터들(descriptors)의 평가를 계산할 것이다. 이 측정된 맵은 잡음, 측정 조건들, 시스템 한계들 또는 측정 불확실성으로 인해 원래 맵과 상이하다. 이 정보 맵은 나중에 상이한 추상(abstraction) 레벨들로 개발될 수 있다.The measurement system will calculate an estimate of the descriptors of the measured map- in phosphors. This measured map differs from the original map due to noise, measurement conditions, system limitations, or measurement uncertainty. This information map can later be developed at different levels of abstraction.

(Sirat'185 특허, col. 18, lines 37-42, 강조 첨부)(Sirat'185 patent, col. 18, lines 37-42, emphasis added)

Sirat'185 특허는 다음과 같이 추가로 교시한다:The Sirat'185 patent further teaches:

일반 의미론의 용어에서 맵인 원시(primordial) 정보는 디스크립터 형광체들의 세트 및 시간에 걸친 그들의 진화이다. 생물학적 및 기하학적 정보는 단지 이러한 원시 정보의 외삽들(extrapolations)일 것이다. 측정 시스템은 측정된 맵인, 형광체들의 디스크립터들의 평가를 계산할 것이다. (Sirat'185 특허, col. 18, lines 32-37)The primordial information, which in general semantics terms is a map, is a set of descriptor phosphors and their evolution over time. Biological and geometric information may simply be extrapolations of this raw information. The measurement system will calculate an estimate of the descriptors of the phosphors, which are measured maps. (Sirat'185 patent, col. 18 , lines 32-37 )

Sirat'185는 "측정 시스템이 측정 맵의 ,,,평가를 계산할 것"이라는 것을 가정하였으며(Ibid., 강조 추가), 임의의 정보 수집에 대한 전제 조건으로서 측정 맵을 참조한다. 정보 수집에 대한 전제 조건으로서 측정 맵을 요구할 시, Sirat'185는 "측정된 맵"이, 동일한 단락에서, Sirat'185에 의해 설명되는, 기하학적 및 생물학적 추상 레벨들로서, 추가 처리에 대한 전제 조건이라는 일반적인 합의들을 따랐다.Sirat'185 assumed that " the measurement system will compute an evaluation of the measurement map" ( Ibid ., emphasis added), and refers to the measurement map as a prerequisite for any information collection. When calling for a measured map as a prerequisite for information collection, Sirat'185 states that the "measured map" is, in the same paragraph, geometrical and biological levels of abstraction , described by Sirat'185 as a prerequisite for further processing. The general consensus was followed.

미국 특허 제9,250,185호US Patent No. 9,250,185 미국 특허 제7,746,469호US Patent No. 7,746,469

"Singular beams in metrology and nanotechnology", Opt. Eng., vol. 51, 073605 (2012)“Singular beams in metrology and nanotechnology”, Opt. Eng., vol. 51, 073605 (2012) "Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution", Proc.Nat. Acad.Sci., vol. 102, pp. 13081-86 (2005)“Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution”, Proc.Nat. Acad. Sci., vol. 102, pp. 13081-86 (2005) "Deep learning," Nature, vol. 521, pp. 436-45 (2015)“Deep learning,” Nature, vol. 521, pp. 436-45 (2015) "Conical diffraction illumination opens the way for low phototoxicity super-resolution imaging." Cell adhesion & migration, vol. 8, pp. 430-439 (2014)“Conical diffraction illumination opens the way for low phototoxicity super-resolution imaging.” Cell adhesion & migration, vol. 8, pp. 430-439 (2014)

본 발명의 실시예들에 따르면, 방법들은 물리적 객체를 특징화하는 특정 차원(dimensionality)의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하기 위해 제공된다.According to embodiments of the invention, methods are provided for determining the value of a unique geometric parameter of a geometric feature of a particular dimensionality characterizing a physical object.

발명의 실시예들의 요약Summary of Embodiments of the Invention

방법은 하기 단계들을 포함한다:The method includes the following steps:

a. 제1 파장 및 특이점(singularity)의 위치를 특징으로 하는 단일 광 분포를 물리적 객체 상으로 투사하는 단계;a. Projecting a single light distribution characterized by a first wavelength and a location of a singularity onto a physical object;

b. 기하학적 특징과 상호작용하고 검출기 상에 충돌하는 여기된 단일 광 분포에 의해 여기되는 광을 검출하는 단계 - 광은 검출된 광을 구성함 -;b. detecting light excited by a single excited light distribution interacting with a geometric feature and impinging on a detector, the light constituting detected light;

c. 고유한 기하학적 파라미터의 정량화로서 단일 광 분포의 하나 이상의 위치들에서의 리턴 에너지 분포를 식별 및 정량화하는 단계; 및c. identifying and quantifying the return energy distribution at one or more locations of a single light distribution as a quantification of a unique geometrical parameter; and

d. 에너지 분포로부터 검색되는 파라미터들에 기초하여 고유한 기하학적 파라미터의 값을 결정하는 단계.d. Determining the value of a unique geometric parameter based on the parameters retrieved from the energy distribution.

본 발명의 다른 실시예들에 따르면, 상기 방법의 연이은 응용들은 단일 또는 한 세트의 고유한 기하학적 파라미터들을 검색하기 위한 그러한 방식으로 수행된다. 고유한 기하학적 파라미터는 점-객체(point-object)의 크기 및 타원율(ellipticity) 중 하나일 수 있다. 선에 대한 횡방향 오프셋인 변위(displacement)의 측정이 결정될 수 있다.According to other embodiments of the invention, subsequent applications of the method are performed in such a way as to retrieve a single or set of unique geometric parameters. The unique geometric parameter may be one of the size and ellipticity of the point-object. A measure of displacement, the lateral offset relative to the line, can be determined.

본 발명의 추가 실시예에 따르면, 고유한 기하학적 파라미터는 선의 폭일 수 있다. 고유한 기하학적 파라미터는 기하학적 특징의 모델 형상에 기초할 수 있다. 광을 검출하는 것은 픽셀화된 검출기를 이용하는 것을 포함할 수 있다.According to a further embodiment of the invention, the unique geometrical parameter may be the width of the line. The unique geometric parameters may be based on the model shape of the geometric features. Detecting light may include using a pixelated detector.

본 발명의 다른 양태에 따르면, 방법은 적절한 세트의 파라미터들에 의해 정량화되는, 정적 또는 동적인, 적어도 하나의 기하학적 형상으로 장면(scene)을 분류하기 위한 표현 학습에 대해 제공되며, 각각의 기하학적 형상은 발광 객체를 모델링한다. 방법은 하기 단계들을 포함한다:According to another aspect of the invention, a method is provided for learning a representation for classifying a scene into at least one geometric shape, static or dynamic, quantified by an appropriate set of parameters, each geometric shape models a luminous object. The method includes the following steps:

a. 단일 분포의 광을 장면 상으로 투사하는 단계;a. Projecting a single distribution of light onto a scene;

b. 각각의 발광 객체와 상호작용하였고 검출기 상으로 충돌하는 단일 광 분포에 의한 조명 시 장면에 의해 재방출되는 광 분포를 검출하는 단계 - 검출된 광은 검출된 광을 구성함 -;b. detecting the light distribution re-emitted by the scene upon illumination by a single light distribution interacting with each light-emitting object and impinging on the detector, the detected light constituting the detected light;

c. 장면에 관하여 한 세트의 측정들을 획득하기 위해 주어진 위치에서 단일 분포의 적어도 하나의 투사를 측정하는 단계; 및c. measuring at least one projection of a single distribution at a given location to obtain a set of measurements about the scene; and

d. 장면을 물리적 또는 생물학적인, 복수의 객체들로서, 또는 정적 또는 동적인, 기하학적 형상들로서 분류하도록 적응되는, 신경망 계층의 직접 입력으로서 검출된 광을 사용하는, 딥 러닝 또는 상기 신경망 계층을 이용하는 단계 - 객체들 또는 형상들은 학습(learning)에 의해 미리 결정되거나 획득되는 한 세트의 객체들 또는 형상들의 일부 임 -.d. Using deep learning or a neural network layer, using the detected light as a direct input of a neural network layer, adapted to classify the scene as a plurality of objects, physical or biological, or as geometric shapes, static or dynamic - object The objects or shapes are part of a set of objects or shapes that are predetermined or acquired by learning.

본 발명의 다른 실시예들에 따르면, 적어도 하나의 기하학적 형상은 동적 또는 정적일 수 있다. 방법은 또한 CODIM 하드웨어에 의해 회득되는 이미징 데이터, 또는 계측 응용 하드웨어에 의해 획득되는 도량형(metrological) 데이터인 데이터를 획득하는 단계를 포함할 수 있다.According to other embodiments of the invention, the at least one geometric shape may be dynamic or static. The method may also include acquiring data that is imaging data acquired by CODIM hardware, or metrological data acquired by metrology application hardware.

본 발명의 추가 실시예들에 따르면, 방법은 CODIM 하드웨어에 의해 획득되는 이미징 데이터인 데이터를 획득하는 추가 단계를 더 가질 수 있으며, 여기서, 결과 분류 정보는 도량형 방법을 구현하기 위해 도량형 하드웨어를 구동시키도록 사용된다. 추가 단계는 도량형 방법을 구현하기 위해 도량형 하드웨어를 구동시키도록 제어 하드웨어 및 제어 절차를 제공하는 단계를 포함할 수 있다. 추가 단계는 상이한 시간들에서 획득되었고 신경망 인식 프로세스에서 발광 객체들의 시간 의존성(time dependence)을 포함하는 데이터를 신경망에 공급하는 단계를 더 포함할 수 있다.According to further embodiments of the invention, the method may further have the additional step of acquiring data that is imaging data acquired by CODIM hardware, where the resulting classification information is used to drive metrological hardware to implement the metrological method. It is used as follows. Additional steps may include providing control hardware and control procedures to drive the metrology hardware to implement the metrology method. The additional step may further include feeding the neural network data obtained at different times and including time dependence of the luminescent objects in the neural network recognition process.

기하학적 특징과 상호작용하였고 검출기 상으로 충돌하는 단일 광 분포에 의해 여기되는 광은 검출되고 리턴 에너지 분포는 하나 이상의 위치들에서 식별 및 정량화된다. 장면을 정적 또는 동적인 복수의 형상들로서 분류하도록 적응되는 신경망 계층의 직접 입력으로서 검출된 광을 사용하는, 딥 러닝 또는 신경망 계층이 이용될 수 있으며, 형상들은 학습에 의해 미리 결정되거나 획득되는 한 세트의 형상들의 일부이다.Light excited by a single light distribution that has interacted with a geometric feature and impinges onto a detector is detected and the return energy distribution is identified and quantified at one or more locations. A deep learning or neural network layer can be used, using the detected light as a direct input to a neural network layer adapted to classify the scene as a plurality of shapes, either static or dynamic, where the shapes are a set of predetermined or acquired shapes. It is part of the shapes of

본 발명의 전술한 특징들은, 첨부 도면들을 참조하여 취해지는, 다음의 상세한 설명에 대한 참조에 의해 보다 쉽게 이해될 것이다.
도 1은 에어리(Airy) 패턴과 비교하여 CODIM 광 분포의 종래 기술의 변조 전달 함수(modulation transfer function; MTF)를 도시한다.
도 2a 내지 도 2d는 예시적인 예로서 본 명세서에 사용되는 인플루엔자 A형 바이러스(Influenza Type A virus; IAV)를 표현하며, 바이러스는 도 2a에 개략적으로 표현되고, 그것의 3차원 모델은 도 2b에 표현되고 그것의 2차원 모델은, 등방성 및 비-등방성 모델에 대해, 도 2c 및 도 2d 각각에 표현된다.
도 3은 미국 특허 번호 제9,250,185호(이하"Sirat'185")로부터 재현되고 원추형 회절을 사용하여 이용가능한 상이한 단일 분포들(singular distributions) 중 일부를 제공한다.
도 4는 본 발명이 일 실시예에 따른, 상이한 측면 위치들을 갖는 2 개의 점들에서 나선 및 나선을 교차하는 평면(A 및 B)인 것으로 공지된, 초승달의 궤적(locus)의 개략도를 표현한다.
도 5는 본 발명의 일 실시예에 따른 표현 학습의 방법의 단계들을 도시하는 흐름도이다.
도 6은 종래 기술에 따른 딥 러닝 시스템의 구현을 개략적으로 도시한다.
도 7은 CODIM 이미징 시스템 상에서의 딥 러닝 시스템의 구현을 개략적으로 도시한다.
도 8은 본 발명에 따른 CODIM 이미징 시스템 상에서의 직접 딥 러닝 네트워크의 구현을 개략적으로 도시한다.
도 9는 본 발명에 따른 복합 이미징 시스템 상에서의 직접 딥 러닝 네트워크의 구현을 개략적으로 도시한다.
도 10은 체험적인(heuristic) 이유로 고양이로서 표현되는, 일반 객체 상에서의 직접 딥 러닝 네트워크의 구현을 개략적으로 도시한다. 중간 이미지들이 고양이 사진의 일부의 서브-이미지들로서 표현된다는 사실은 단지 그래픽 기술(graphical artifice)이다. 정보는 비구조화된 정보일 것이고 이미지의 일부 부분도는 아니다.
도 11은 본 발명에 따른 CODIM 이미징 시스템 상에서의 제어된 직접 딥 러닝 네트워크의 구현을 도시한다.
도 12는 체험적인 이유로 고양이로서 표현되는, 일반 객체 상에서의 제어된 직접 딥 러닝 네트워크의 구현을 도시한다. 중간 이미지들이 고양이 사진의 일부의 서브-이미지들로서 표현된다는 사실은 단지 그래픽 기술(graphical artifice)이다. 정보는 비구조화 정보일 것이고 이미지의 일부 부분도는 아니다.The above-described features of the invention will be more readily understood by reference to the following detailed description, taken with reference to the accompanying drawings.
Figure 1 shows the modulation transfer function (MTF) of the prior art CODIM light distribution compared to the Airy pattern.
2A to 2D represent the Influenza Type A virus (IAV) used herein as an illustrative example, with the virus schematically represented in FIG. 2A and its three-dimensional model in FIG. 2B. The representation and its two-dimensional model are represented in Figures 2C and 2D, for isotropic and non-isotropic models, respectively.
Figure 3 is reproduced from U.S. Patent No. 9,250,185 (hereinafter "Sirat'185") and provides some of the different singular distributions available using conical diffraction.
Figure 4 represents a schematic diagram of the locus of the crescent moon, known to be the helix and the planes A and B that intersect the helix at two points with different lateral positions, according to one embodiment of the invention.
Figure 5 is a flowchart showing the steps of a method of expression learning according to an embodiment of the present invention.
Figure 6 schematically shows the implementation of a deep learning system according to the prior art.
Figure 7 schematically depicts the implementation of a deep learning system on a CODIM imaging system.
Figure 8 schematically shows the implementation of a direct deep learning network on a CODIM imaging system according to the invention.
Figure 9 schematically depicts the implementation of a direct deep learning network on a complex imaging system according to the invention.
Figure 10 schematically shows the implementation of a deep learning network directly on a generic object, represented as a cat for heuristic reasons. The fact that the intermediate images are represented as sub-images of parts of the cat picture is merely a graphical artifice. The information will be unstructured information and not just some part of an image.
Figure 11 shows the implementation of a controlled direct deep learning network on a CODIM imaging system according to the present invention.
Figure 12 shows an implementation of a controlled direct deep learning network on a generic object, represented as a cat for heuristic reasons. The fact that the intermediate images are represented as sub-images of parts of the cat picture is merely a graphical artifice. The information will be unstructured information and not just some part of the image.

본 발명의 실시예들의 설명Description of Embodiments of the Invention

새로운 방법들이 본원에 제공되며, 여기서, 측정 절차는, 이미징 절차에 의해 일부 경우들에서 초기화되지만, 계측 툴인 별도의 툴에 완전히 임베딩되는, 별도의 전용 절차 및 아키텍처이다.New methods are provided herein, where the measurement procedure is a separate, dedicated procedure and architecture, initiated in some cases by the imaging procedure, but fully embedded in a separate tool, the metrology tool.

아래에 설명되는 방법은, 최소 플럭스(flux)로, 그들의 측정에 이용되는 광의 회절 한계보다 더 작은 기하학적 특징들을 정확하게 측정하는 것에 관한 것이다.The method described below is directed to accurately measuring geometric features with minimal flux, which is smaller than the diffraction limit of the light used for their measurement.

본 발명은 형광, 다광자(multi-photon) 이미징, 또는 라만(Raman) 산란과 같지만 이에 제한되지 않는, 비탄성 광 상호작용을 사용하여 기하학적 특징들을 측정하도록 특히 적응되며, 여기서, 출사광은 입사광으로부터 단순한 수단에 의해 분리될 수 있다.The present invention is particularly adapted to measure geometric features using inelastic optical interactions, such as but not limited to fluorescence, multi-photon imaging, or Raman scattering, wherein the exiting light is separated from the incident light. They can be separated by simple means.

본 발명의 일부 실시예들은 기하학적 및 기능적 특징들 및 객체들의 기계 학습을 위한, 방법들, 및 이들을 구현하는 하드웨어 시스템들에 관한 것이다. 이들 방법들은 특징들 및 객체들의 분류 및 인식을 수반하며; 이들 방법들은 이미징 패러다임 및 이미징 이후의 추가 처리에 기초한 실제 솔루션들과 상이하다.Some embodiments of the invention relate to methods for machine learning of geometric and functional features and objects, and hardware systems implementing the same. These methods involve classification and recognition of features and objects; These methods differ from practical solutions based on the imaging paradigm and further processing after imaging.

본 발명의 일부 실시예들이 주로 형광 현미경에서 구현되는 시스템들 및 방법들을 참조하여 설명되지만, 반사 또는 산란 광으로의 확장은 간단하고 본 설명을 이해한 당업자의 범위(ken) 내에 있다는 것이 이해되어야 한다. 더욱이, 본 발명은 생물학에서 직면되는 형광 객체들의 도량형 툴들에 대한 시스템들 및 방법들의 관하여 본원에 설명되지만, 그들은 반도체들 및 머신 비전과 같지만 이에 제한되지 않는, 다른 이미징 방식들(modalities) 및 다른 분야들(disciplines) 및 영역들(domains)에 쉽게 적용될 수 있다.Although some embodiments of the invention are described primarily with reference to systems and methods implemented in fluorescence microscopy, it should be understood that extensions to reflected or scattered light are straightforward and within the scope of those skilled in the art upon understanding the present description. . Moreover, although the present invention is described herein with respect to systems and methods for metrology tools of fluorescent objects encountered in biology, they are also applicable to other imaging modalities and other fields such as, but not limited to, semiconductors and machine vision. It can be easily applied to disciplines and domains.

재구성 프로세스 전에 수학적 프라이어를 적용하고 그것을 획득 프로세스에 임베딩시키는 것이 유용할 것이나, 그것이 수행되어야 하는 방법에 대한 어떠한 교시도 없었으며, 그것은 이제 여기서 상세히 설명된다. 이미지 재구성 전에 수학적 프라이어의 적용은, 본 발명의 실시예에 따르면, 유리하게는 형상의 파라미터들의 측정의 정확성을 증가시킬 수 있어서, 측정을 위해 요구되는 관측들의 수를 감소시키고 전체 프로세스의 안정성 및 재연성을 증가시킨다.It would be useful to apply a mathematical prior before the reconstruction process and embed it in the acquisition process, but there was no teaching on how this should be done, which is now detailed here. The application of a mathematical fryer before image reconstruction, according to an embodiment of the invention, can advantageously increase the accuracy of the measurement of geometrical parameters, thereby reducing the number of observations required for the measurement and increasing the stability and reproducibility of the overall process. increases.

본 발명의 실시예에 따라 설명되는 방법들은 검출기 상에서 입사 및 방출되고 사후 교정이 아닌, 임의의 광자들인 광자들의 부재에서 - 양자 물리학 이론으로 인해 무시할 수 있는 수까지 - 명시적으로 광자 잡음의 부재인, 푸아송의 법칙(Poisson's law)의 특이성에 의존한다. 그러한 방법들은 필터링 작업을 통해, 입사광을 물리적으로 제거하는 메커니즘을 필요로 한다. 그것은 잡음이 이미 시스템에 도입되었으면 그것이 단순한 수단에 의해 필터링되지 않을 수 있기 때문에 수학적 후처리(post-processing) 작업일 수 없다. 이는 비탄성 광 상호작용들의 이점 및 특이성이며; 비탄성 광 상호작용은 본 발명에서 방출 광자들이 입사 광자들로부터 물리적으로 분리될 수 있는 방식으로 입사 광자들로부터 그들을 구별하는 물리적 특성을 갖는 새로운 광자들을 생성(또는 방출)할 수 있는 임의의 광 상호작용을 지칭할 것이다. "필터"는 입사 광자들로부터 방출 광자들을 분리하는 것을 허용하는 것으로 가정된다. 비탄성 광 상호작용의 명백한 예는 상이한 파장에서 광자들을 생성하는 상호작용이며; 이 경우 필터는 파장 민감 필터일 것이다. 비탄성 광 상호작용의 예들은 형광, 다광자 이미징 또는 라만 산란이다. 탄성 광 상호작용들, 예컨대 반사, 투과 또는 탄성 산란은 단순한 방식으로 그러한 식별을 허용하지 않는다.The methods described according to embodiments of the invention are explicitly free from photon noise - up to a negligible number due to quantum physics theory - in the absence of photons that are random photons incident and emitted on the detector and not post-correction. , relies on the specificity of Poisson's law. Such methods require a mechanism to physically remove incident light through a filtering operation. It cannot be a mathematical post-processing task because if the noise has already been introduced into the system it may not be filtered out by simple means. This is an advantage and specificity of inelastic light interactions; An inelastic optical interaction is defined herein as any optical interaction that can produce (or emit ) new photons that have physical properties that distinguish them from incident photons in such a way that the emitted photons can be physically separated from the incident photons. will refer to . The “ filter ” is assumed to allow separation of emitted photons from incident photons. Obvious examples of inelastic optical interactions are interactions that produce photons at different wavelengths; In this case the filter would be a wavelength sensitive filter. Examples of inelastic light interactions are fluorescence, multiphoton imaging or Raman scattering. Elastic light interactions, such as reflection, transmission or elastic scattering, do not allow such identification in a simple way.

이하 설명되는 바와 같이, 본 발명의 실시예들은 널(null) 이미지들, 또는 널 이미지에 가까운 이미지들을 생성하는 것에 의존한다. 그러한 이미지들은 Abbe의 법칙의 맹점(loophole)과 푸아송의 법칙으로 인한 잡음의 부재를 결합시킴으로써, 아래에 설명되는 바와 같은, 이론적으로 무제한인, 추가 해상도를 허용한다. 전제 조건은 이론적 조건들을 충족시키기 위해 요구되는 임의의 스퓨리어스(spurious) 광자의 부재이다. 그러한 조건들은 형광, 다광자 상호작용들 및 라만 산란으로서, 비탄성 광 상호작용들만을 거의 사용하여 충족될 수 있으며, 여기서, 인입(incoming) 빔은 스펙트럼 수단에 의해 완전히 필터링될 수 있다.As explained below, embodiments of the invention rely on generating null images, or images close to a null image. Such images combine the loophole of Abbe's law with the absence of noise due to Poisson's law, allowing theoretically unlimited additional resolution, as explained below. A prerequisite is the absence of any spurious photons, which is required to satisfy the theoretical conditions. Such conditions can be met using almost exclusively inelastic optical interactions, such as fluorescence, multiphoton interactions and Raman scattering, where the incoming beam can be completely filtered by spectral means.

체험적 편의를 위해, 본 발명은 가상적인 예에 의해 본원에 예시될 수 있으며; 이 예는 단지 예시로서 사용되고 시험된 실험적 경우들을 나타내도록 의도되지 않는다. 특정 생물학적 객체는 발광 객체를 구성하는 것으로 가정되고, 예시를 위해, 이 생물학적 객체는 도 1a에 개략적으로 표현되는 인플루엔자 A형 바이러스(IAV)인 것으로 가정된다. IAV 바이러스는 80 내지 120 nm 사이의 전형적인 크기를 갖는 것으로 공지되어 있고, 본원에 참조로 통합된 Badham 등의 문헌["The biological significance of IAV morphology in human clinical infections is a subject of great interest", in Filamentous Influenza Viruses, Current clinical microbiology reports, vol. 3, pp. 155-161, (2016)]에 의해 논의되는 바와 같다.For experiential convenience, the invention may be illustrated herein by hypothetical examples; This example is used as an example only and is not intended to represent tested experimental cases. A specific biological object is assumed to constitute a luminescent object, and for illustration purposes, this biological object is assumed to be the influenza A virus (IAV), which is schematically represented in Figure 1A. IAV viruses are known to have a typical size between 80 and 120 nm, and are described in Badham et al., " The biological significance of IAV morphology in human clinical infections is a subject of great interest ", in Filamentous , incorporated herein by reference. Influenza Viruses , Current clinical microbiology reports , vol. 3 , pp. 155-161, (2016)].

IAV 바이러스는 적절한 형광 단백질들로 모든 그것의 부피에서 균일하게 표시되는 것으로 가정된다. 3 개의 상이한 모델들이 바이러스를 설명하기 위해 사용될 수 있다:IAV virus is assumed to be uniformly labeled in all of its volume with appropriate fluorescent proteins. Three different models can be used to describe viruses:

a. 종래 기술에 사용되는 이미징 패러다임에서, 바이러스의 작은 크기로 인해, 회절 한계 하에서, 최선의 모델은 형광(fluorescent light)을 방출하는, 발광 점으로서 바이러스를 표현할 것이며; 그것은 확실히 바이러스 위치의 정확한 모니터링을 허용할 것이다.a. In the imaging paradigm used in the prior art, due to the small size of the virus, under the diffraction limit, the best model would represent the virus as a luminescent spot, emitting fluorescent light; It will certainly allow accurate monitoring of virus location.

b. 대안적으로, 예를 들어 nm 또는 서브-nm 해상도를 갖는 전자 현미경을 사용하여, 헤마글루티닌(hemagglutinin)(201) 및 누라미니다아제들(neuraminidases)(203)을 포함하는 바이러스의 다양한 상세들이 특징화될 수 있다.b. Alternatively, various details of the virus, including hemagglutinin ( 201 ) and neuraminidases ( 203 ), can be determined, for example, using electron microscopy with nm or sub-nm resolution. can be characterized.

c. 본 발명의 교시에 따르면, 중간 방식이 사용되며 여기서 바이러스는 구체(도 2b)로서 3 차원, 또는 주어진 반경을 갖는 균일한 원(도 2c)으로서 또는 타원(도 2d)으로서 2 차원으로 모델링되는, 아래에 정의되는, 점-객체로서 설명되며, 파라미터들은 데카르트 기준 프레임에 대해, 반-단축(half-minor axis)인 a, 반-장축(half-major axis)인 b, 및 장축의 각도인 θ이다.c. According to the teachings of the present invention, an intermediate approach is used where the virus is modeled in three dimensions as a sphere (Figure 2b), or in two dimensions as a uniform circle with a given radius (Figure 2c) or as an ellipse (Figure 2d). Described as a point-object , defined below, the parameters are, with respect to a Cartesian reference frame, a as the half-minor axis, b as the half-major axis, and θ as the angle of the major axis. am.

본 발명의 추가 실시예들에 따르면, 딥 러닝은 아래에 상세히 설명되는 바와 같이, 이용될 수 있다.According to further embodiments of the invention, deep learning may be utilized, as described in detail below.

본 발명의 실시예들에 따른 방법들은 유리하게는 옵틱스(optics) 및 최소 광자 플럭스들(fluxes)에 의해 부과되는 회절 한계보다 더 큰 해상도들을 수반하는 측정을 제공할 수 있다.Methods according to embodiments of the invention can advantageously provide measurements involving resolutions greater than the diffraction limit imposed by optics and minimum photon fluxes.

본 발명의 실시예들에 따르면, 형상 가정에서 기인하는 하나 이상의 수학적 프라이어들은 특정 세트의 단일 광 분포들에 임베딩되어, 단일 광 분포들의 속성들이 충분히 이용되는 것을 허용한다. 이 결합은 수학적 프라이어 및 분포들의 세트와 관련된, 전용 계측 툴들에 기초하며; 다시 말해서, 특정 형상의 측정은, 수학적으로 프라이어(prior) 및 솔루션 영역(domain)을 정의하며, 이는 자체가 획득 툴의 특성들 및 요구되는 분포들의 유형을 결정한다.According to embodiments of the invention, one or more mathematical priors resulting from shape assumptions are embedded in a particular set of single light distributions, allowing the properties of the single light distributions to be fully exploited. This combination is based on dedicated metrology tools, associated with a set of mathematical priors and distributions; In other words, the measurement of a specific shape mathematically defines the prior and solution domain, which itself determines the properties of the acquisition tool and the type of distributions required.

정의들: 본원 및 임의의 첨부된 청구항들에서 사용되는 바와 같이, 다음 용어들은 맥락이 달리 요구하지 않는 한, 다음의 특정 의미들을 가질 것이다. Definitions : As used herein and in any appended claims, the following terms shall have the following specific meanings, unless the context otherwise requires.

본원 및 임의의 첨부된 청구항들에서 사용되는 바와 같은 용어 "값(value)"은 파라미터와 연관되는 양을 특징화하는 실수(real number)를 지칭할 것이다. 실제 맥락에서, 파라미터와 연관되는 양이 측정의 정확성을 구성하는, 일부 범위 내에서 특징화될 수 있다는 것이 이해되어야 한다. 그 경우, 용어 "값"은 값들의 분포에 대한 속기(shorthand)로서 사용될 수 있다.The term “ value ” as used herein and in any appended claims shall refer to a real number characterizing the quantity associated with the parameter. It should be understood that in a practical context, the quantities associated with a parameter can be characterized within some range, which constitutes the accuracy of the measurement. In that case, the term “value” may be used as a shorthand for the distribution of values.

"시스템 룰러(System Ruler)"는 시스템의 능력을 식별된 상세들에 특징화하기 위해 이미징 분야들의 당업자에 의해 고려되는 값이다.“ System Ruler ” is a value considered by a person skilled in the imaging arts to characterize the capabilities of a system in identified details.

이미징 시스템들에서, "레일리 기준(Rayleigh criterion)" - 2 개의 인접한 점들을 분리하는 능력 -은 점 또는 선의 관측된 FWHM이 많은 경우들에서 최소 분해 가능한 상세를 정량화하기 위해 통상 사용되는 정성적 용어(qualitative term)인 "회절 한계"의 실제 평가로서 사용되는 경우에도, 최소 분해 가능한 상세에 대해 일반적으로 수용되는 기준이다. 이 발명에서, 우리는 시스템 룰러로서 무한히 가는(thin) 선의 FWHM을 사용한다. 값은 그것이 시스템 룰러보다 "훨씬 더 작은" 경우 무시할 수 있을 것이며, 여기서, "훨씬 더 작은"은 3 배 이상 더 작은 것으로 정의된다.In imaging systems, the "Rayleigh criterion" - the ability to separate two adjacent points - is a qualitative term commonly used to quantify the minimum resolvable detail in many cases where the observed FWHM of a point or line is ( Even when used as a practical assessment of the " diffraction limit " (a qualitative term), it is a generally accepted criterion for minimum resolvable detail. In this invention, we use the FWHM of an infinitely thin line as the system ruler. A value may be negligible if it is "much smaller" than the system ruler, where " much smaller " is defined as more than three times smaller.

본원에서 사용되는 바와 같은 용어 "Abbe의 해상도 한계"는 본원에 참조로 통합되고, 이하 "Schermelleh 2010"인, Schermelleh 등의 문헌["A guide to super-resolution fluorescence microscopy," J. Cell Biology, vol. 190, pp. 165-75 (2010)]에서 발견된다.As used herein, the term “Abbe's resolution limit” refers to Schermelleh et al., “ A guide to super-resolution fluorescence microscopy ,” J. Cell Biology , vol. . 190 , pp. 165-75 (2010)].

Abbe의 유명한 해상도 한계는 그것이 객체를 떠나고 대물 렌즈에 의해 캡처되어 이미지로 송신될 상이한 파들(waves) 사이의 최대 상대 각도에 단순히 의존하기 때문에 매우 매력적이다. 그것은 아마도 이 PSF "브러시(brush)"로 이미지화될 수 있는 최소 레벨의 상세를 설명한다. 이 최단 파장보다 더 작은 주기적인 객체 상세는 이미지로 전송될 수 없을 것이다.Abbe's famous resolution limit is very attractive because it simply depends on the maximum relative angle between the different waves that will leave the object and be captured by the objective lens and transmitted as an image. That probably describes the minimum level of detail that can be imaged with this PSF "brush". Periodic object details smaller than this shortest wavelength will not be able to be transmitted in the image.

"Abbe의 한계 초과"라는 표현은 시스템 룰러의 임의의 상세들보다 더 작은, 따라서 Abbe의 한계에 의해 제한되는 상세들을 포함하는 주기적인 구조들을 포함하는 객체를 지칭한다. 이러한 정의의 이론적 근거는 그러한 객체가 개구(aperture) 평면에서 Abbe의 원 주파수들을 넘는 공간 주파수들을 포함한다는 것이다.The expression " exceeding Abbe's limit " refers to an object containing periodic structures whose details are smaller than the arbitrary details of the system ruler, and thus are limited by Abbe's limit. The rationale for this definition is that such objects contain spatial frequencies that exceed Abbe's original frequencies in the aperture plane.

추정 이론 및 통계에서, CRB(Cramer-Rao bound) 또는, 등가적으로, "CRLB(Cramer-Rao lower bound)"는 결정론적(고정되었지만, 미공지된) 파라미터의 추정기들(estimators)의 분산에 대한 하계(lower bound)를 표현한다. 본원에 이용되는 정확한 정의는 본원에 참조로 통합되는 [https://en.wikipedia.org/wiki/Cram%C3%A9r%E2%80%93Rao_bound]에서 제공되는 바와 같다.In estimation theory and statistics, the Cramer-Rao bound (CRB) or, equivalently, the " Cramer-Rao lower bound (CRLB) " refers to the variance of estimators of deterministic (fixed, but unknown) parameters. Expresses the lower bound for The exact definitions used herein are as provided at [https://en.wikipedia.org/wiki/Cram%C3%A9r%E2%80%93Rao_bound], which is incorporated herein by reference.

본원에서 사용되는 용어와 같은 "국소화된(localized)" 광 분포는 작은 영역 상에 집중되는 에너지들을 갖는 광 분포를 지칭할 것이다. 광 분포는 3.5*절반 레일리 기준의 반경 외부의 에너지가 실질적으로 제로인 경우 국소화될 것이다.A “ localized ” light distribution, as the term is used herein, will refer to a light distribution with energies concentrated on a small area. The light distribution will be localized if the energy outside the radius of the 3.5*half Rayleigh criterion is substantially zero.

이 발명의 설명은 설명되는 광학 시스템이 [https://en.wikipedia.org/wiki/Shot_noise]에 설명되는 바와 같은 "광자 잡음 제한"에 가깝거나, 광자 잡음 제한에 가깝다는 것, 즉, 가우스 잡음 성분이 광자(또는 산탄) 잡음의 절반보다 더 작다는 것을 가정한다. 최적의 경우는 실제로 설명된 바와 같은 "광자 잡음 제한" 광학 시스템이고 "가우스 잡음 제한" 또는 "검출기 잡음 제한" 시스템은 본 발명의 이점들 중 일부만을 수집할 것이지만, 여전히 본 발명의 범위에 있다.The description of this invention is that the optical system being described is close to the " photon noise limit " as described in [https://en.wikipedia.org/wiki/Shot_noise], or is close to the photon noise limit, i.e. Gaussian It is assumed that the noise component is less than half the photon (or shot) noise. The optimal case is in fact a “photon noise limited” optical system as described and a “Gaussian noise limited” or “detector noise limited” system will gather only some of the advantages of the present invention, but are still within the scope of the present invention.

"반치전폭(Full width at half maximum; FWHM)"은, Wikipedia의, [https://en.wikipedia.org/wiki/Full_폭_at_half_maximum]으로부터, 종속 변수가 그것의 최대값의 절반과 동일한 독립 변수의 2 개의 극값들 사이의 차이에 의해 주어지는 함수의 범위(extent)의 표현이다." Full width at half maximum (FWHM) ", from Wikipedia, [https://en.wikipedia.org/wiki/Full_width_at_half_maximum], is the width of the dependent variable equal to half its maximum. It is an expression of the extent of a function given by the difference between two extreme values of the independent variable.

"차원(dimensionality)"은 길이, 면적 및 부피의 3 개의 물리적 또는 공간적 속성들 중 임의의 하나로서 정의된다. 기하학적 구조에서, 점은 0 차원을 갖는 것으로 일컬어지고; 선과 같이 길이만을 갖는 도형(figure)은 1 차원을 갖고; 평면 또는 표면은 2 차원을 갖고; 부피를 갖는 도형은 3 차원을 갖는다.“ Dimensionality ” is defined as any one of the three physical or spatial properties: length, area, and volume. In geometry, a point is said to have zero dimension; A figure that has only length, such as a line, has one dimension; A plane or surface has two dimensions; A shape with volume has three dimensions.

기하학적 특징의 차원은 기하학적 특징의 범위(예컨대 점 객체의 '직경', 또는 선의 '폭' 또는 코팅의 '두께')가 0이 되는 경향이 있는 임의의 다른 차원에서의 범위보다 훨씬 더 작은 한계에서의, 상응하는 이상적인 특징의 차원을 지칭할 것이다. The dimension of a geometric feature is in the limit much smaller than the range of the geometric feature (e.g. the 'diameter' of a point object, or the 'width' of a line or the 'thickness' of a coating) in any other dimension which tends to zero. , will refer to the dimension of the corresponding ideal feature.

본원에 사용되는 용어로서의 "궤적(locus)"은 그 위치가 하나 이상의 특정 조건들을 만족시키거나 이들에 의해 결정되는, 한 세트의 점들(통상, 점, 선, 선분, 곡선 또는 표면)을 나타낼 것이다.As used herein, the term “ locus” will refer to a set of points (usually a point, line, segment, curve or surface) whose location satisfies or is determined by one or more specific conditions. .

"기하학적 파라미터"는 물리적 공간 내에서 범위를 특징화하는 임의의 측정 가능한 양을 지칭할 것이다. 따라서, 예를 들어, 거리(3 차원 유클리드 공간에서 또는 표면을 따라 정의됨)는 기하학적 파라미터의 예이다. 표면 상에 정의되는 면적은 기하학적 파라미터의 다른 예이다.“ Geometric parameter ” shall refer to any measurable quantity that characterizes an extent within physical space. Thus, for example, distance (defined in three-dimensional Euclidean space or along a surface) is an example of a geometric parameter. The area defined on a surface is another example of a geometric parameter.

"기하학적 특징"은 하나 이상의 기하학적 파라미터들에 의해 정량화되는, 궤적으로서 기하학적으로 특징화되거나 모델링되는 물리적 객체이며, 예를 들어, 선의 두께는 궤적, 궤적인 선, 또는 마찬가지로 궤적인 선분의 위치 및 두께를 설명한다. "임베딩 공간(embedding space)"은 기하학적 파라미터들에 의해 걸쳐 있는 파라메트릭 공간을 표현한다.A “ geometric feature ” is a physical object that is geometrically characterized or modeled as a trajectory, quantified by one or more geometric parameters, for example, the thickness of a line is the location and thickness of a trajectory, a line that is a trajectory, or a line segment that is likewise a trajectory. Explain. “ Embedding space ” represents the parametric space spanned by geometric parameters.

"점(point)"은 0 차원 및 0의 크기를 갖는 2 또는 3 차원의 기하학적 특징이다. 그것은 실제 객체들에 대한 많은 정보를 소거하지만, 가정들을 엄청나게 단순화시키는, 과장된 단순화이다. 우리는 시스템 룰러와 비교하여 작지만 무시할 수 없는 크기들을 갖는 객체를 3 차원 모두에서 "점-객체(point-object)"로서 지칭한다. 작거나 무시할 수 있는이라는 용어들은 시스템 룰러와 비교하여 이해되어야 하며, 이는, 광학 시스템들의 경우, 회절의 한계이다. 점 객체는 그것의 위치 및 그것의 크기에 의해 결정되며, 이는 2- 또는 3-차원에서 등방성이거나, 아닐 수 있다. 대부분의 생물학적 객체들은 회절 제한의 시스템 룰러들 또는 초-해상 광학 시스템들에서 점-객체들이고, 점-객체에 의해 전달되는 정보의 선험적 해고(dismissal)는 엄청난 손실이다. 점들과 점-객체들 사이의 구별은 본 발명에서 대단히 중요하다.A “ point ” is a two- or three-dimensional geometric feature with zero dimension and zero magnitude. It is an oversimplification that eliminates much information about the actual objects, but also greatly simplifies the assumptions. We refer to objects that have small but non-negligible sizes compared to the system ruler as " point-objects " in all three dimensions. The terms small or negligible should be understood in comparison to the system ruler, which, in the case of optical systems, is the limit of diffraction. A point object is determined by its location and its size, which may or may not be isotropic in two or three dimensions. Most biological objects are point-objects in diffraction-limited system rulers or super-resolution optical systems, and the a priori dismissal of the information carried by a point-object is a huge loss. The distinction between points and point-objects is very important in the present invention.

"선(line)"(및 유사하게는 이론에서 1-차원인 형상들을 지칭하는 다른 용어들)은 길이가 폭 또는 두께의 적어도 10 배인 기하학적 특징(즉, 길이, 폭 및 두께를 갖는, 물리적 객체)을 지칭한다. "선 객체(line object)"는 점-객체의 개념들과 동일한 개념들을 따라서 정의된다.A " line " (and similarly other terms referring to one-dimensional shapes in theory) is a physical object that has a geometric feature (i.e., a length, width, and thickness) whose length is at least ten times its width or thickness. ) refers to A " line object " is defined according to the same concepts as those of a point-object.

본원 및 임의의 첨부된 청구항들에서 사용되는 용어로서의 "고유한(intrinsic) 기하학적 파라미터"는 유클리드 공간에서 표면의 등척(isometric) 임베딩(embedding)과 독립적인 (n-차원 공간에서) 표면의 특성을 특징화하는 파라미터를 지칭할 것이다. 따라서, 예를 들어, 주어진 점이지만 "선"의 폭은 공간에서 선의 임의의 방향과 관계없이, 선의 고유한 파라미터이다.As used herein and in any appended claims, an “ intrinsic geometric parameter ” refers to a property of a surface (in n -dimensional space) that is independent of the isometric embedding of the surface in Euclidean space. It will refer to the characterizing parameter. Thus, for example, the width of a "line" at a given point is an inherent parameter of the line, regardless of its arbitrary orientation in space.

추상적 공간에서 기하학적 요소를 지칭할 때, 한 세트의 파라미터들은 한 세트의 파라미터들에 의해 설명되는 기하학적 요소의 표현이 측정 불확실성의 한계에서 객체의 기하학적 클래스(class) 및 파라미터들을 충실하게 표현하는 경우 및 이 경우에만 "적절한" 것으로 지칭될 것이다.When referring to a geometric element in an abstract space, a set of parameters is provided if the representation of the geometric element described by the set of parameters faithfully represents the geometric class and parameters of the object in the limits of measurement uncertainty, and Only in this case will it be referred to as “appropriate”.

"광학적 볼텍스들(optical vortices)"을 그 가장 단순한 예로서 포함하는 "단일 옵틱스(Singular Optics)"는 오늘날 이론적일 뿐만 아니라 실질적인 적용들을 갖는, 옵틱스의 부상하는 영역이다. 상세한 설명은 Nye 등의 문헌[Dislocations in wave trains. Proceedings of the Royal Society of London A, vol. 336 , pp. 165-90 (1974), 및 Soskin 등의 문헌[Singular optics" Progr. in Optics, vol. 42, pp. 219-76]에서 발견될 수 있으며, 이 둘 다는 참조로 본원에 통합된다.“ Singular optics”, which includes “optical vortices ” as its simplest example, is today an emerging area of optics that has not only theoretical but also practical applications. A detailed description can be found in Nye et al. [ Dislocations in wave trains . Proceedings of the Royal Society of London A, vol. 336 , pp. 165-90 (1974), and Soskin et al., " Singular optics " Progr. in Optics , vol. 42, pp. 219-76, both of which are incorporated herein by reference.

"비탄성 광학 상호작용"은 광과 파장에서 인입 빔(incoming beam)과 상이한 광자들을 생성하는 물질 사이의 상호작용들을 지칭한다. 비탄성 광학 상호작용은 형광, 다광자 상호작용들 및 라만 산란을 포함하지만, 이에 제한되지 않는다.“ Inelastic optical interactions ” refers to interactions between light and materials that produce photons that differ in wavelength from the incoming beam. Inelastic optical interactions include, but are not limited to, fluorescence, multiphoton interactions, and Raman scattering.

"단일 분포의 궤적"은 단일 분포의 강도가 제로인 데카르트 위치들의 앙상블이다. 단일 분포의 궤적은 "공칭 파라미터들"이고 올바른 위치에 위치되는, 적절한 파라미터들을 갖는 기본 형상들의 패밀리를 정의하며, "공칭 위치"는 광을 방출(또는 반사 또는 산란)시키기 않을 것이다. 이 경우, 우리는 "단일 광 분포가 형상을 임베딩한다"는 새로운 개념 및 표현을 만들 것이다. 예를 들어, 도 2에서 케이스(10)(또는 01)로서 예시되는 광 분포의 경우, 볼텍스, 궤적은 무한히 작은 점이고, 볼텍스를 사용하여 연구될 수 있는 형상들의 패밀리들만이 점 형상 및 점-객체 형상이며, 이는 또한 반지름의 값이 0인 에너지를 생성하지 않을 것이다. "수직 반달들"로서 명명되는, 도 2에서 케이스(42)(또는 24)로서 설명되는 분포의 경우, 형상들의 관련 패밀리들은 선들 및 선-객체들을 포함하지만 또한 복수의 점 형상들 및 점-객체들을 포함하여 보다 다양하다. 추가 케이스들이 다음과 같이 개발될 것이다.The “ trajectory of a single distribution ” is an ensemble of Cartesian positions where the strength of a single distribution is zero. The locus of a single distribution is the " nominal parameters " and defines a family of basic shapes with appropriate parameters, which are located in the correct positions, such that they will not emit (or reflect or scatter) light. In this case, we will create a new concept and expression: “ a single light distribution embeds a shape ”. For example, in the case of the light distribution illustrated as case 10 (or 01) in Figure 2, the vortex trajectory is an infinitely small point, and the only families of shapes that can be studied using a vortex are point shapes and point-objects. shape, and it will also not produce energy with a radius of zero. For the distribution described as case 42 (or 24) in FIG. 2, termed “vertical half-moons”, the relevant families of shapes include lines and line-objects, but also a plurality of point shapes and point-objects. are more diverse, including Additional cases will be developed as follows.

원추형 굴절은 Hamilton의 문헌["Third supplement to an essay on the theory of systems of rays", Trans. Royal Irish Acad., vol. 17, pp. 1-144 (1837)]에 의해 예측되고, Lloyd의 문헌[Lloyd, H. (1831). "On the Phenomena Presented by Light in Its Passage along the Axes of Biaxial Crystals", Philos. Mag., vol. 1 , pp. 112-20 (1831)'에 의해 두 달 후에 실험적으로 확인된 광학 현상이다. 전술한 참고문헌들 둘 다는 본원에 참조로 통합된다. 원추형 굴절은 2 축 결정(crystal)의 광학 축의 방향으로 광 빔의 전파를 설명한다. Hamilton은 광이 중공 원뿔의 광선들의 형태로 나오는 것으로 예측했다. Conical refraction is discussed in Hamilton's text [" Third supplement to an essay on the theory of systems of rays ", Trans. Royal Irish Acad., vol. 17 , pp. 1-144 (1837), and Lloyd, H. (1831). " On the Phenomena Presented by Light in Its Passage along the Axes of Biaxial Crystals ", Philos. Mag., vol. 1 , pp. It is an optical phenomenon that was experimentally confirmed two months later by ' 112-20 (1831)'. Both of the foregoing references are hereby incorporated by reference. Conical refraction describes the propagation of a light beam in the direction of the optical axis of a biaxial crystal. Hamilton predicted that light comes in the form of rays in a hollow cone.

Berry의 문헌["Conical diffraction asymptotics: fine structure of Poggendorff rings and axial spike," J. Opt. A: Pure and Applied Optics, vol. 6, pp. 289-300 (2004)]에 제공되는 설명은 본원에 참조로 통합된다. 초 해상도 현미경을 위한 원추형 회절에 기초한 종래 기술의 시스템이 Sirat 2016에 설명된다.Berry, " Conical diffraction asymptotics: fine structure of Poggendorff rings and axial spike ," J. Opt. A: Pure and Applied Optics , vol. 6 , pp. 289-300 (2004), is incorporated herein by reference. A prior art system based on conical diffraction for super-resolution microscopy is described in Sirat 2016.

미국 특허 번호 제8,514,685호(Sirat'685)는 얇은 결정들에서 원추형 회절의 특정 특성들을 설명하였고 광학 빔들을 형상화하기 위해 원추형 회절의 사용을 입증하였다. 얇은 2 축 결정은 정기 입사 빔의 점 확산 함수(Point Spread Function; PSF)를 광 분포들의 광범위한 패밀리로 변환하며, 분포의 선택은 입력 및 출력 편광들에 의해 제어된다. 실제적으로, 빔 형상화(shaping)는 제어가능한 편광자들 사이에 2 축 결정을 둘러쌈으로써 달성되며; 편광계와 유사한 이 단순한 광학 구성(set-up)은 하나의 패턴에서 상이한 토폴로지(topology)를 갖는 다른 패턴으로 마이크로초로 또는 심지어 더 빠르게 전환하는 능력을 갖는다. 게다가, 이들 패턴들은 그들이 동일한 1 차 광학 빔에 의해 생성됨에 따라, 완벽하게 공동-국소화된다.U.S. Patent No. 8,514,685 (Sirat'685) described certain properties of conical diffraction in thin crystals and demonstrated the use of conical diffraction to shape optical beams. A thin biaxial crystal converts the Point Spread Function (PSF) of a regularly incident beam into a broad family of optical distributions, the selection of which is controlled by the input and output polarizations. In practice, beam shaping is achieved by surrounding a biaxial crystal between controllable polarizers; This simple optical set-up, similar to a polarimeter, has the ability to switch from one pattern to another with a different topology in microseconds or even faster. Moreover, these patterns are perfectly co-localized, as they are generated by the same primary optical beam.

CODIM 빔 성형기(shaper)는 스캐닝 모듈에 대한 애드-온(add-on)으로 사용될 수 있고 분포들은 샘플 상에서 스캐닝되어, 각각의 스캔 점에 대해 수 개의 마이크로이미지를 산출한다. CODIM 시스템은 프랑스, 파리의 Bio Axial SAS로부터 이용가능하다.The CODIM beam shaper can be used as an add-on to the scanning module and the distributions are scanned on the sample, yielding several microimages for each scan point. The CODIM system is available from Bio Axial SAS, Paris, France.

CODIM 빔 성형기는 원추형 회절 원리를 사용하여 소형의 국소화된 광 분포들을 생성한다. 각각의 마이크로이미지는 Abbe의 한계에 가까운(도 1에 도시된 바와 같이, 에어리 패턴(101)과 비교하여 최대 3 배에 가까운), 다량의 고주파들을 포함한다. "장면(scene)"으로 지칭되는 샘플의 영역 상으로 투사되는 이들 광 분포들은 당업자에게 잘 알려진 알고리즘들을 사용하여 분석된다. 마이크로이미지들로부터 초-해상 이미지(imagery)를 유도하기에 적합한 예시적인 알고리즘들에 대해, 독자는 본원에 참조로 통합되는, (이하 "Sirat'161 출원인, US 2017/0336326로서 영어로 공개된) 공개 출원 WO 2016/092161을 참조한다. 이는 일반 객체들의 경우, 최대 2 배의 해상도의 개선을 갖는 초-해상 이미지의 재구성을 허용한다. 추가적으로, 양성 제약 및 희소성을 활용하는 이들 알고리즘들은 적절한 샘플들에 대해, 해상도가 심지어 추가적으로 개선되는 것을 허용한다.CODIM beam shapers use the principle of conical diffraction to produce compact, localized light distributions. Each microimage contains a large amount of high frequencies, close to Abbe's limit (up to three times closer compared to the Airy pattern 101 , as shown in FIG. 1). These light distributions projected onto an area of the sample, referred to as a “scene”, are analyzed using algorithms well known to those skilled in the art. For exemplary algorithms suitable for deriving super-resolution imagery from microimages, the reader is referred to (hereinafter "Sirat'161 Applicant, published in English as US 2017/0336326), incorporated herein by reference. See published application WO 2016/092161, which allows reconstruction of super-resolution images with an improvement in resolution of up to a factor of 2 for regular objects.In addition, these algorithms exploiting positivity constraints and sparsity allow for the reconstruction of appropriate samples , which allows the resolution to be even further improved.

궁극적으로, 훨씬 더 낮은 분포 피크 전력, 높은 양자 수율 카메라의 사용 및 더 긴 카메라 노출 시간의 결합은 샘플에 송신될 광의 피크 전력 - 및 에너지 -를 대폭 감소시킨다. 그것이 이 방법의 매우 낮은 광퇴색 및 광독성에 대한 이유이다. 이는 또한 형광체 포화 문제들을 회피하여, 방법을 선형적이고 정량적으로 만든다.Ultimately, the combination of much lower distributed peak power, use of high quantum yield cameras, and longer camera exposure times drastically reduces the peak power - and energy - of the light that will be transmitted to the sample. That is the reason for the very low photobleaching and phototoxicity of this method. This also avoids phosphor saturation problems, making the method linear and quantitative.

본 설명에서, 용어 "에너지 법칙"은 다음과 같이 정의된다: 객체가 수학적 추상인, 기하학적 형상으로 모델링되었다고 가정하면, "에너지 법칙"은 형상 파라미터들 및 위치의 함수로서, 에너지 사이의 파라메트릭 관계이다. 그것은 파라메트릭 공간의 에너지 의존성을 정량화시키는 관계를 생성한다. 에너지 법칙은, 기하학적 형상과 동일한 형상을 갖는 발광 객체에 의해 방출되는, 에너지 분포를 포함할 수 있다.In this description, the term " energy law " is defined as follows: Assuming that an object is modeled as a geometric shape, which is a mathematical abstraction, the "energy law" is a parametric relationship between energy as a function of shape parameters and position. am. It creates a relationship that quantifies the energy dependence of the parametric space. The energy law may include the distribution of energy, emitted by a luminous object having the same shape as the geometric shape.

본 설명에서, 광학적 단일 분포들은, 미리 결정된 분포들의 패밀리로부터, 하나의 유형의 분포로부터 다른 유형의 분포로 전환하고, Sirat'185에 설명되는 바와 같이, 외부 수단을 사용하여 광학적 단일 분포들의 파라미터들을 수정하는 그러한 방식으로, 제어될 수 있다고 가정된다. 광학적 단일 분포들이 제어되도록 요구하지 않고, 본 발명의 일부인 다른 솔루션들이 존재하지만, 그것들은 훨씬 더 번거로울 것이다.In this description, optical single distributions are drawn from a family of predetermined distributions, converting from one type of distribution to another type of distribution, and converting the parameters of the optical single distributions using external means, as described in Sirat'185. In such a way as to modify it, it is assumed that it can be controlled. There are other solutions that do not require optical single distributions to be controlled and are part of the present invention, but they would be much more cumbersome.

본 발명에 따른 방법들을 사용하여 수행되는 이미징은 "복합 이미징(compound imaging)"으로서 지칭될 수 있고, 또한 Wikipedia의, [https://en.wikipedia.org/wiki/Coded_aperture]에 정의되는 바와 같은 코딩된 이미지로서, 또는 장면(scene)으로부터의 기본 데이터가, 객체를 설명하는, Sirat'185 특허의 의미에서, 이미지, 또는 맵이 아닌 이미징 프로세스들과 관련하여, "간접 이미징"으로서 지칭될 수 있다. 복합 이미징 프로세스에서, (Sirat'161 출원에서 사용되는 용어인) "중간 결과", 또는 본 명세서에서 동의어로 사용되는 바와 같은 기본(또는 기초) 데이터로서 지칭되는 물리적 기구에 의해 측정되는 데이터는 재구성된 이미지가 재구성 프로세스를 통해 생성될 수 있는 정보를 포함한다. 우리는 본 발명에서 복합 이미징 프로세스를 맵에서 이미지의 특정 픽셀 또는 요소의 특정 속성에 대해 특정 시간 및 위치에서 측정되는 광자들의 강도, 또는 수를 가정하는 것이 가능하지 않은 이미징 프로세스로서 식별할 것이다. 간단히 말하면, 복합 이미징 시스템에서 광자들의 강도 또는 수는 픽셀 데이터에 대한 직접 변환을 가질 수 없지만 그들 중 수 개와 관련된 정보를 포함한다.Imaging performed using methods according to the invention may be referred to as “ compound imaging” , also as defined in Wikipedia, [https://en.wikipedia.org/wiki/Coded_aperture] In relation to imaging processes that are not images, or maps, in the sense of the Sirat'185 patent, where the underlying data from a scene, or as a coded image, describes an object, it may be referred to as "indirect imaging". there is. In a multimodal imaging process, data measured by a physical instrument, referred to as " intermediate results " (as the term is used in the Sirat'161 application), or primary (or basis ) data as synonymously used herein , are reconstructed . An image contains information that can be generated through a reconstruction process . We will herein identify a composite imaging process as an imaging process in which it is not possible to assume the intensity, or number, of photons measured at a specific time and location for a specific property of a specific pixel or element of the image in the map. Simply put, in a complex imaging system the intensity or number of photons cannot have a direct translation to pixel data, but contains information related to the number of them.

초해상도 현미경의 영역에서, CODIM 이미징은 복합 이미징 프로세스 뿐만 아니라 구조적 조명 현미경(Structured Illumination Microscopy; SIM), 또는 Sirat'185 특허에서 참조되는 PALM/STORM과 같은 국소 현미경 기술들의 예이다.In the realm of super-resolution microscopy, CODIM imaging is an example of multiple imaging processes as well as local microscopy techniques such as Structured Illumination Microscopy (SIM), or PALM/STORM, as referenced in the Sirat'185 patent.

"측정 절차"는 한 세트의 "기본 단일 측정들"로 구성될 것이며, 각각의 기본 단일 측정은 단일 분포의 궤적이 공칭 파라미터들에서 기하학적 형상을 임베딩하도록 위치되는, 주어진 파리미터들을 갖는, 미리 결정된 단일 광 분포의 투사, 및 픽셀화되든 또는 아니든, 광 검출기 상에 기록된 바와 같이, 객체로부터 들어오는 광, 그것의 강도 및 선택적으로 그것의 공간 분포를 정량화하는 "광 측정"으로 구성된다. 일부 경우들에서, 미리 결정된 정기 광 분포의 투사로 구성되는 "기본 정기 측정들"은 또한 정보 수집을 완료하기 위해 사용될 수 있다.The " measurement procedure " will consist of a set of " basic single measurements ", each basic single measurement having given parameters, the locus of a single distribution is positioned to embed the geometric shape at the nominal parameters. It consists of a projection of the light distribution, and " light measurements " that quantify the light coming from the object, its intensity and optionally its spatial distribution, as recorded on a light detector, whether pixelated or not. In some cases, “ basic periodic measurements ” consisting of a projection of a predetermined periodic light distribution may also be used to complete the information collection.

측정의 "입력들"은 광학 단일 분포의 위치, 그것의 유형 및 파라미터들을 지칭한다. "출력들"은 측정에서 기록되는, 광 강도, 및/또는 광 분포이다. 우리는 독자가 해당 분야의 숙련자이고 "제어 이론"에 익숙하다고 가정한다. 제어 이론은 입력들을 갖는 동적 시스템들의 동작, 및 그들의 동작이 (Wikipedia로부터) 피드백에 의해 수정되는 방법을 처리하는 공학 및 전산 수학의 학제간의 분과(branch)이다.The “ inputs ” of the measurement refer to the location of the optical single distribution, its type and parameters. “ Outputs ” are the light intensity, and/or light distribution, recorded in the measurement. We assume that the reader is skilled in the field and is familiar with " control theory ". Control theory is an interdisciplinary branch of engineering and computational mathematics that deals with the behavior of dynamic systems with inputs, and how their behavior is modified by feedback (from Wikipedia).

"제어 수단"은 입력들 및 "제어 알고리즘"을 수정할 수 있고, 정확도로 파라미터들을 검색하기에 적합한 방식으로 "에너지 법칙"을 직접적으로 또는 연속적인 근사들에 의해 정량화하기 위해 요구되는 입력 값들의 다음 단계를 예측할 수 있는, 한 세트의 제어 하드웨어를 지칭할 것이다. "역 에너지 법칙"은 최적이든 아니든, 하나의 단일 분포 또는 한 세트의 단일 분포들의 한 세트의 측정들로부터, 형상의 파라미터들을 검색할 수 있는 레시피(recipe)이다. 그것은 제어 알고리즘에 임베딩된다. 그것은 요구되는 단계들의 수, 생물학적 객체 상에 영향을 미치는 전체 에너지 - 또는 전력 -, 측정의 속도, 위의 임의의 조합 또는 시스템의 임의의 다른 기능 파라미터들인, 시스템의 기능 파라미터들을 최적화하기 위해 선택될 것이다.The “ control means ” can modify the inputs and the “ control algorithm ” and determine the next set of input values required to quantify the “ energy law ” directly or by successive approximations in a manner suitable for retrieving the parameters with accuracy. It will refer to a set of control hardware whose steps can be predicted. The " inverse energy law " is a recipe for retrieving the parameters of a shape, whether optimal or not, from measurements of a single distribution or a set of single distributions. It is embedded in the control algorithm. It may be chosen to optimize the functional parameters of the system, be it the number of steps required, the total energy - or power - affecting the biological object, the speed of measurement, any combination of the above or any other functional parameters of the system. will be.

단일 분포들의 맥락에서, "제로에 가까운 값"은, 투사된 광에 대해 이용가능한 최대 강도 또는 투사된 광의 최대가 이 점(point) 상에 영향을 미치고 있는 경우, 방출된 에너지의 최대 강도보다 합리적으로 더 작은 투사된 강도 또는 방출된 에너지를 정성적으로 설명하기 위해 사용되는 에너지를 지칭할 것이다. 제로에 가까운 강도 또는 에너지에 대한 정량적 값은 투사된 강도와 최대 강도의 분포 사이 또는 방출된 에너지와 최대 강도에서 조명되는 경우 방출된 에너지 사이의 6배이다. 포아송(Poisson) 잡음을 가정할 때, 제로에 가까운 에너지는, 최대 에너지에서보다, 2.5배 미만에 가까운, 현저히 더 작은 잡음 값을 가질 것이라고 언급할 가치가 있다. 유사하게, "제로에 가까운" 기하학적 형상의 파라미터 값은 파라미터의 전체 범위를 2.5로 나눈 값보다 더 작은 값을 가질 것이다.In the context of single distributions, a " value close to zero " is the maximum intensity available for the projected light, or if the maximum of the projected light is affecting this point, it is reasonably less than the maximum intensity of the emitted energy. will refer to energy used to qualitatively describe a smaller projected intensity or emitted energy. The quantitative value for near-zero intensity or energy is six times the distribution between the projected intensity and the maximum intensity, or between the emitted energy and the energy emitted when illuminated at maximum intensity. It is worth mentioning that, assuming Poisson noise, energies close to zero will have significantly smaller noise values, closer to less than 2.5 times, than at maximum energy. Similarly, the parameter value of a "near-zero" geometry will have a value less than the full range of the parameter divided by 2.5.

본 발명의 실시예들에 따르면, 관측된 객체는 공지된 또는 미리 가정된 특정 형상으로서, 또는 잠재적인 형상들의 리스트의 형상으로서 모델링될 수 있다. 기하학적 형상은 하기의 관점에서 설명될 수 있다:According to embodiments of the invention, the observed object may be modeled as a specific shape known or pre-assumed, or as the shape of a list of potential shapes. The geometric shape can be described in terms of:

a. 형상에서 결정되는 원점의 위치, 대부분의 경우들에서, 광 분포의 무게 중심을 지칭하는, 형상의 "위치"인, 공간 위치.a. The location of the origin determined in the shape, a spatial location that is the " position " of the shape, which in most cases refers to the center of gravity of the light distribution.

b. 예를 들어, 등방성 원인 경우 그 반경(도 2c), 타원에 의해 표현되는 객체의 경우(도 2d), 타원 반축들(semi-axes) 및 각도인, "형상 파라미터들"을 설명하는 한 세트의 "구조적 파라미터들".b. A set of "shape parameters" describing the "shape parameters ", for example, for an isotropic circle its radius (Figure 2c), for an object represented by an ellipse (Figure 2d), the ellipse semi-axes and angles. “ Structural parameters ”.

본원에 사용되는 바와 같은 용어 "기계 학습"은 그렇게 하도록 명시적으로 프로그래밍되는 것 없이, 컴퓨터 시스템들에게 데이터로 "학습하는"(예를 들어, 특정 작업에 대한 성능을 점진적으로 개선하는) 능력을 제공하기 위해 통계적 기술들을 사용하는 컴퓨터 과학 분야를 지칭한다.As used herein, the term " machine learning " refers to the ability of computer systems to "learn" from data (e.g., to incrementally improve performance on a particular task) without being explicitly programmed to do so. Refers to the field of computer science that uses statistical techniques to provide

용어 "표현 학습" 및 "딥 러닝"은 위의 [0015]에서 제시되는 바와 같이, LeCun 2015에 따라 사용된다. LeCun 2015는 한편으로는 "표현 학습"과 "딥 러닝" 사이 그리고 다른 한편으로는 표준 "기계 학습" 사이의 경계들을 명확하게 짓는다.The terms “ representation learning ” and “ deep learning ” are used according to LeCun 2015, as presented in [0015] above. LeCun 2015 clearly draws the boundaries between “representation learning” and “deep learning” on the one hand, and standard “machine learning” on the other.

용어들 "표현 학습" 및 "딥 러닝"은 본 발명의 모든 실시예들이 둘 다에 적용되기 때문에 본원에서 교환가능하게 사용된다. 본 발명의 일부들은 기계 학습에 또한 적용될 수 있다.The terms “representation learning” and “deep learning” are used interchangeably herein since all embodiments of the invention apply to both. Portions of the invention may also be applied to machine learning.

(위에 정의된 바와 같은) 계측 케이스에서, 데이터는 식별된 객체들의 공칭 위치들에서 획득된다. "공칭 위치"는, 그것이 객체를 지칭함에 따라, 이전 지식으로부터 또는 가설(hypothesis)로부터 가정되는 위치를 객체의 위치인 것으로 의미할 것이다. In the metrology case (as defined above), data is acquired at the nominal positions of the identified objects. “Nominal position”, as it refers to an object, shall mean the position assumed from prior knowledge or from a hypothesis to be the position of the object.

본 설명의 목적들을 위해, 별개의 메커니즘이 객체의 공칭 위치를 수집하기 위해 사용되었다는 것이 가정된다. 본 발명의 범위 내에서, 이 메커니즘은, 예를 들어 다른 이미징 방식(modality)으로 또는 카메라 상에서 직접적으로 객체에 의해 생성되는 광 분포의 중심의 측정으로서, 임의의 국소화 기술을 사용할 수 있다.For the purposes of this description, it is assumed that a separate mechanism is used to collect the nominal position of the object. Within the scope of the invention, this mechanism can use any localization technique, for example as a measurement of the center of the light distribution produced by the object directly on the camera or in other imaging modalities.

발명의 근거basis for invention

본 발명은 기하학적 형상들로서 모델링되는 생물, 생명 과학 또는 물리적 객체들의 파라미터의 측정을 위한 새로운 방법들을 소개한다. 본원에 상세히 설명되는 방법들에 따르면, 시스템들은 기본 기하학적 형상들의 파라미터 값들을 직접적으로 액세스하도록 생성되며; 방법 및 시스템들은 단일 광 분포들의 특성들을 이용하고, 이미징에서와 같은 회절 또는 이미징 패러다임 및 이미지 처리 툴들을 사용하는 파라미터 평가와 같은 광자 플럭스에 의해 제한되지 않는다.The present invention introduces new methods for the measurement of parameters of biological, life science or physical objects modeled as geometric shapes. According to the methods detailed herein, systems are created to directly access parameter values of basic geometric shapes; Methods and systems exploit the properties of single light distributions and are not limited by photon flux such as diffraction in imaging or parameter evaluation using imaging paradigms and image processing tools.

본원에 설명되는 새로운 측정 방법들은 측정에 대한 Abbe의 해상도 한계의 직접 적용의 특정 제한의 형태로, 우리가 아는 바로는, 먼저 여기서 설명되는, 물리적 통찰과 상관된다.The new measurement methods described herein are, to our knowledge, correlated with physical insights, first described here, in the form of a specific limitation of the direct application of Abbe's resolution limit to measurement.

실제로, 본원에 참조로 통합되는 Schermelleh 2010에 의해 또는 Horstmeyer 등의 문헌["Standardizing the resolution claims for coherent microscopy." Nature Photonics 10, pp. 68-71 (2016)]에 의해 설명되는 Abbe의 해상도 법칙으로 돌아가면, Abbe의 한계를 넘는 정보를 재구성하는 모든 "대역폭 외삽" 기술들은 종래의 지식, 가정들 또는 심지어 추측들에 의존하며, 이는 일부 경우에서 틀릴 수 있다. 우리는 여기서, Abbe의 해상도 법칙을 넘는 - 종래 기술, 가정 또는 추측들이 없는 - 측정 중 우리가 알고 있는 경우만을 설명하며, 이는 블랙(널) 이미지의 경우이다.In fact, see “ Standardizing the resolution claims for coherent microscopy. ” by Schermelleh 2010 or Horstmeyer et al., which are incorporated herein by reference. Nature Photonics 10 , pp. 68-71 (2016)], all “bandwidth extrapolation” techniques that reconstruct information beyond Abbe's limit rely on prior knowledge, assumptions, or even guesses, which This may be wrong in some cases. We describe here only those cases where we are aware of measurements that exceed Abbe's law of resolution - without any prior art, assumptions or conjectures - and this is the case with a black (null) image.

양성 제약으로 인해, 널 이미지는 신호를 포함하지 않고 따라서 Abbe의 한계 아래 및 위의 공간 주파수들이 없고 모든 주파수 성분들(frequency contents)은 제로인 것으로 완전히 공지되며; 널 이미지는 회절 제한 광학 측정으로부터, Abbe의 한계를 넘는, 제로로, 고주파 성분들을 정량화하는 것을 허용한다.Due to the positivity constraint, the null image contains no signal and therefore no spatial frequencies below and above Abbe's limit and all frequency contents are completely known to be zero; The null image allows quantifying high-frequency components, beyond Abbe's limit, to zero, from diffraction-limited optical measurements.

이는 Abbe의 한계를 넘는 광학 프로세스에 의해 검색될 수 있는 정보가 없는 것처럼 이해되는, Abbe의 법칙의 단순한 견해와 상반된다. 본 발명에 설명되는 경우는, 그것이 매우 독특한 경우임에도 불구하고, 한계를 넘는, 이론적으로 무한대까지 정보를 수집하는 것을 허용하고, 따라서, 회절이 제한되지 않는다.This runs counter to the simple view of Abbe's law, where it is understood that no information can be retrieved by an optical process beyond Abbe's limit. The case described in the present invention, although it is a very unique case, allows information to be collected beyond the limit, theoretically to infinity, and thus diffraction is not limited .

이 조건은 옵틱스, 및 유사한 단극 신호들에 특정되고, 회절 한계와 독립적으로, 솔루션에 대한 추가적인 물리적 제약인, 양성 제약 때문이다. 이들 개념들은 전기 신호들, 또는 유사한 단극 신호들에 신속히 적응되지 않을 것이다. 양성 제약은, 추가적인 정보를 허용하는 것으로 알려져 있지만, 정보의 확장에 대한 그것의 기여는 대부분의 경우들에서 미미하고, 잘 특징화되거나 정량화되지 않는다. 본 발명에서, 양성 제약의 영향은 명확하고 결정적이며, Abbe의 한계의 아래 및 위에서 공간 주파수들의 정확한 정량화를 허용한다.This condition is specific to optics and similar unipolar signals and is due to the positivity constraint, which is an additional physical constraint on the solution, independent of the diffraction limit. These concepts will not be quickly adaptable to electrical signals, or similar unipolar signals. Positive constraints are known to allow additional information, but their contribution to the expansion of information is minor in most cases and is not well characterized or quantified. In the present invention, the influence of the positive constraint is clear and deterministic, allowing accurate quantification of spatial frequencies below and above Abbe's limit.

Abbe의 해상도 법칙의 다수의 공식들이 공존한다. Abbe의 해상도 법칙의 바람직한 자구(pharasing)는 [Schermelleh 2010]의 다음과 같다: "이 최단 파장보다 더 작은 주기적 객체 상세(detail)는 이미지에 전달될 수 없다". (Schermelleh 2010, p. 166에서) 본 발명의 결과들은 예외가 아닌, Abbe의 해상도 법칙의 추론(corollary)을 구성한다.Multiple formulations of Abbe's resolution law coexist. The preferred phrasing of Abbe's law of resolution is as follows from [Schermelleh 2010]: "No periodic object detail smaller than this shortest wavelength can be conveyed in the image". (From Schermelleh 2010, p. 166) The results of the present invention constitute a corollary of Abbe's law of resolution, not an exception.

그러나, 본 발명의 결과들은 실제로 "주파수 성분은 Abbe의 해상도 한계를 넘어서 측정될 수 없다"는, 덜 조심스럽게 표현된, 과학적 문헌에서 Abbe의 해상도 법칙의 일부 광범위한 공식들의 예외 및 반박(rebuttal)이다.However, our results are actually an exception and a rebuttal of some of the more widely expressed formulations of Abbe's resolution law in the scientific literature, which state, less carefully, that "frequency components cannot be measured beyond Abbe's resolution limit". .

대부분의 경우들에서, 널 이미지는 정보를 포함하지 않고 이 특이점(singular point) 또는 예외는 쓸모없고 사소한 것이며, 이 경우들에서의 이 논의는 무의미하고 공허한 것으로 보일 수 있다. 그러나, 공칭 위치에 위치되는 광학 볼텍스에 의해 조명되는, 주어진 크기를 갖는, 고립점(isolated point)의 기록된 이미지는 크기가 제로인 경우에만, 동일하게 제로일 것이다. 이 특정 경우에서, 이미지 및 모든 그것의 주파수 성분들의 풀 널링(full nulling)은 강력한 측정이며, 이로부터 점-유사(point-like) 객체의, 나중에 설명되는 바와 같은, 위치 뿐만 아니라 크기를 검색하는 것이 가능하다.In most cases, the null image contains no information and this singular point or exception is useless and trivial, and this discussion in these cases may appear pointless and empty. However, the recorded image of an isolated point, with a given size, illuminated by an optical vortex positioned at a nominal position will be equally zero if and only if the size is zero. In this particular case, full nulling of the image and all its frequency components is a powerful measure, from which one can retrieve the size as well as the location of a point-like object, as explained later. It is possible.

본 발명은 새로운 방법을 추가적으로 도입하며, 이는 임의의 복합 이미징 시스템에 적용될 수 있고 CODIM 이미징의 경우에서 보다 상세하게 예시된다. 그것은 기본 데이터 상에 직접적으로 대부분의 경우들에서 특정 신경망인, 직접 브리지(bridge)를 적용하는 단계로 구성된다. 이전 단락에서, 우리는 계측 방법들을 지시하기 위해 복합 이미징 프로세스의 기본 데이터 사이에 자연 경로(또는 브리지)를 적용하는 방법을 설명하였다. 이 단락에서, 우리는 임의의 이미지 재구성 알고리즘 없이, 기본 데이터에 직접적으로, 감독되거나 감독되지 않는, 딥 러닝 계층을 적용함으로써, 복합 이미징 프로세스의 기본 데이터 사이에, 또는 딥 러닝에 자연 경로(또는 브리지)를 적용하는 방법을 설명하였다. 추가적으로, 이 계층은 (대부분의 경우들에서 연속적인) 여러 번의 측정들로부터 데이터를 수집할 수 있을 것이다. 이 계층의 결과들은, 계측 계층이든 객체 계층이든, 이미지 또는 맵 단계들을 우회하는, 추가 처리에 대한 직접 입력일 것이며, 이는 여전히 시각화, 검증(qualification) 및 모니터링을 위해 사용될 수 있다.The invention additionally introduces a new method, which can be applied to any complex imaging system and is illustrated in more detail in the case of CODIM imaging. It consists of applying a bridge, in most cases a specific neural network, directly on the underlying data. In the previous paragraph, we described how to apply a natural path (or bridge) between the underlying data of a complex imaging process to direct metrology methods. In this paragraph, we propose a natural path (or bridge) between the underlying data of a complex imaging process, or to deep learning, by applying a deep learning layer directly, supervised or unsupervised, to the underlying data, without arbitrary image reconstruction algorithms. ) explained how to apply. Additionally, this layer will be able to collect data from multiple measurements (in most cases sequential). The results of this layer, either the measurement layer or the object layer, will be a direct input for further processing, bypassing the image or map stages, and can still be used for visualization, qualification and monitoring.

직접 계측 방법들 및 딥 러닝인 두 프로세스들은 또한 심지어 더 강하고 더 강력한 획득 툴들을 생성하기 위해 혼합될 수 있다.The two processes, direct metrology methods and deep learning, can also be mixed to create even stronger and more powerful acquisition tools.

본 발명에 따라 설명되는 방법들은 적어도 모든 종래의 방법들이 이미지 수집을 필수 단계로서 처리한다는 점에서, 지금까지 설명되고 제안되었던 모든 종래의 방법들과 상이하다.The methods described according to the invention differ from all conventional methods described and proposed so far, at least in that all conventional methods treat image collection as an essential step.

Sirat'185 특허는 어디에도 정적 또는 동적인 복수의 형상들로서 장면을 분류할 수 있는, 신경망 계층의 직접 입력으로서 검출된 광을 사용하는, 딥 러닝 또는 신경망 계층을 이용하는 것을 제안하지 않았으며, 형상들은 학습에 의해 미리 결정되거나 획득되는 기본 형상들의 패밀리의 일부이다. 본 발명에 따르면, 딥 러닝 계층은 원시 데이터 정보를 도량형 특성들 및 속성들을 갖는 기본 객체들로서 직접적으로 구조화하며, 이들 기본 객체들은 추가 일반화들(generalization)의 적절한 기재(substrate)이다. 딥 러닝의 관점과 일치하는 이 접근법은 본 발명에서 개발된다.The Sirat'185 patent nowhere suggests using deep learning or a neural network layer, using the detected light as a direct input to the neural network layer, to be able to classify the scene as a plurality of shapes, either static or dynamic, and the shapes can be learned. It is part of a family of basic shapes that are predetermined or obtained by . According to the invention, the deep learning layer structures raw data information directly into basic objects with metrological properties and properties, and these basic objects are suitable substrates for further generalizations. This approach, consistent with the perspective of deep learning, is developed in the present invention.

Sirat'185 특허는 물리적 실체(reality)에 의존하고, 측정된 맵을 형광체들의 디스크립터들로서 정의하기 위해, 이 새로운 포지셔닝은 구조화 개념으로서, 우리의 예의 경우에서는 인플루엔자 A 바이러스인, 생물학적 엔티티들을 정의하는, 생물학적 실체와 일치한다는 점이 주목되어야 한다.The Sirat'185 patent relies on physical reality and to define the measured maps as descriptors of phosphors, this new positioning is a structuring concept that defines biological entities, in our example the influenza A virus. It should be noted that it is consistent with biological reality.

추가적으로, 방법은 시간-의존적 데이터로서, 또는 바람직하게는 상위-레벨(higher-level)의 동적 파라미터들로서 검색되는, 동적 특성들로 확장될 수 있다. 간략히, 우리의 예로 돌아가서, 중간 계층은 형태학적 변화들 없이, 고정된 속도로 경로를 따라 이동하는, 110 nm의 점-객체의 존재를 결정할 수 있을 수 있고; 우리는, 객체 분류 계층인 다음 계층에서, 그것이 인플루엔자 A 바이러스라는 것을 가정할 것이다.Additionally, the method can be extended to dynamic properties, retrieved as time-dependent data, or preferably as higher-level dynamic parameters. Briefly, returning to our example, the middle layer may be able to determine the presence of a 110 nm point-object, moving along a path at a fixed speed, without morphological changes; We will assume, in the next layer, which is the object classification layer, that it is an influenza A virus.

제안된 아키텍처의 추가적인 장점은 재구성 단계를 우회함으로써 재구성 아티팩트들(artifacts)을 회피하는 것이다. 심지어 최상의 재구성 알고리즘도 아티팩트들에 취약할 수 있고 아티팩트들의 존재 가능성은 생물학자들에 의한 초 해상도 기술들의 채택에 대한 장벽들 중 하나이다. 최악의 경우, 많은 아티팩트들은 작은 점들 또는 객체들로서 잘못 간주될 수 있고, 분류 및 정량화 알고리즘들은 이들 아티팩트들에 의해 손상될 수 있다. 원시 데이터에 대한 재구성을 회피하고 분류 및 정량화를 수행하는 것은 이 오류원을 완전히 제거한다.An additional advantage of the proposed architecture is to avoid reconstruction artifacts by bypassing the reconstruction step. Even the best reconstruction algorithms can be susceptible to artifacts, and the possible presence of artifacts is one of the barriers to the adoption of super-resolution techniques by biologists. In the worst case, many artifacts may be mistakenly regarded as small dots or objects, and classification and quantification algorithms may be corrupted by these artifacts. Avoiding reconstruction, classification and quantification on raw data completely eliminates this source of error.

회절 한계를 넘는 정보는, 위에 설명된 바와 같이, 계측 데이터에 존재하고, 또한 이미징 데이터에 존재할 수 있다. 이 귀중한 정보는 전형적으로 모든 다른 정보로부터 별도로 이 정보를 처리할 수 없고 따라서 평균 데이터에 대해 최적화되지만, 이들 특정 경우들에 맞지 않는, 일반적인 절차를 적용하도록 강제되는, 재구성 프로세스들에 의해 소거된다.Information beyond the diffraction limit is present in the metrology data, as described above, and may also be present in the imaging data. This valuable information is typically lost by reconstruction processes, which cannot process this information separately from all other information and are therefore forced to apply general procedures that are optimized for average data, but do not fit these specific cases.

비-이미징 프로세스를 통한 기하학적 및 생물학적 정보Geometrical and biological information through non-imaging processes

Sirat'185 특허는 기하학적 및 생물학적 정보가 비-이미징 프로세스를 통해 학습될 수 있는 방법을 제안하는 것을 실패했다. 이러한 비-이미징 프로세스에서, 더 높은 레벨들의 정보는 이미지를 생성(또는 재구성)하거나, Sirat'185 특허 용어의 경우 맵을 정량화하는 요건 없이, 범용 학습 절차를 사용하여 측정된 기본 데이터로부터 직접 수집된다. Sirat'185 특허는 비-이미징 직접 학습이 훨씬 더 높은 정확성, 아래에 설명되는 바와 같이, 높은 계산 효율성을 갖고, 데이터의 손실이 없이 정보를 검색할 수 있다는 것을 이해하는 것에 실패했다. 더욱이, 그러한 학습 절차는 아래에 설명되고 Abbe의 법칙의 맹점으로서 지칭되는, 광의 부재에서 존재하는 데이터의 사용에 대한 능력을 가질 수 있다.The Sirat'185 patent fails to suggest how geometric and biological information can be learned through non-imaging processes . In this non-imaging process , higher levels of information are collected directly from measured primary data using general-purpose learning procedures, without the requirement to create (or reconstruct) an image or, in the Sirat'185 patent terminology, quantify a map . . The Sirat'185 patent fails to understand that non-imaging direct learning can retrieve information with much higher accuracy, higher computational efficiency, as explained below, and without loss of data. Moreover, such learning procedures may have the ability to make use of data that exists in the absence of light , described below and referred to as the blind spot of Abbe's law .

일반적 방법들general methods

본 발명의 전형적인 실시예들에 따르면, 다음의 특징들이 가장 중요하다:According to exemplary embodiments of the invention, the following features are most important:

- 공칭 위치에서의 광의 분포; 투사된 광의 파장은 그것이 광-반응성 재료와 비탄성 광 상호작용을 생성할 수 있도록 선택되고, 단일 분포는 그것이 기하학적 형상을 임베딩하도록 선택되며, 따라서 공칭 파라미터들을 사용하여, 투사된 광 및 광-반응성 재료의 비탄성 상호작용에 의해 생성되는 광으로부터 측정되는 에너지는 제로가 될 것이다.- distribution of light at the nominal position; The wavelength of the projected light is selected such that it can produce an inelastic light interaction with the photo-responsive material, and the uniform distribution is selected such that it embeds the geometric shape, thus using the nominal parameters, the projected light and the photo-responsive material. The energy measured from the light produced by the inelastic interaction will be zero.

- "역 에너지 법칙"인 알고리즘은 에너지 측정들로부터 파라미터들을 검색하기 위해 적용된다.- An algorithm, the “inverse energy law”, is applied to retrieve parameters from energy measurements.

본 발명에 따른 방법들은 유리하게는 형상의 파라미터들을 검색하기 위해 요구되는 측정들의 세트를 수집하기 위해 측정들의 순서(sequence)를, 동적으로든 아니든, 제어하는 측정 하드웨어 및 측정 절차를 이용할 수 있다.Methods according to the invention can advantageously utilize measurement hardware and measurement procedures that control, dynamically or otherwise, the sequence of measurements to collect the set of measurements required to retrieve the parameters of the shape.

광-반응성 재료는 예를 들어 형광 결합을 결합시키는 것에 기초한 외인성이거나, 예를 들어 일부 단백질의 형광 속성들을 사용하거나, 라만 산란을 사용하는 것에 기초한 내인성일 수 있다.The photo-responsive material may be extrinsic, for example based on binding a fluorescent bond, or endogenous, for example based on using the fluorescent properties of some protein or using Raman scattering.

체험적 편의를 위해, 우리는 일 예의 예시에 의한, 위의 고급 언어(high-level language)로, 방법의 각각의 일반적인 진술을 따른다; 예는, 점-유사(point-like) 객체에 대한, 그 위치 및 크기의 동시 측정이며; 그것을 보다 예시적으로 만들기 위해, 점-객체는, 이전 단락에서 설명된 바와 같이, 인플루엔자 A형 바이러스의 관점에서 설명된다.For heuristic convenience, we follow each general statement of the method in high-level language above, by way of an example example; Examples include, for point-like objects, simultaneous measurement of their position and size; To make it more illustrative, the point-object is described in terms of the influenza A virus, as described in the previous paragraph.

일반적인 방법은 도 2c에 도시된 2차원의 균일 원으로 모델링되는, 바이러스의 가장 간단한 경우를 사용하여 예시될 수 있다. 생물학적 객체는 바이러스이며; 측정 목표는, 이 예에서, 80 nm 내지 120 nm 사이의 바이러스의 직경을 정량화하는 것이다. 바이러스는 2차원 표면 상에 위치되는 것으로 가정된다.The general method can be illustrated using the simplest case of a virus, modeled as a two-dimensional uniform circle, shown in Figure 2c. The biological object is a virus; The goal of the measurement is to quantify the diameter of the virus, in this example, between 80 nm and 120 nm. The virus is assumed to be located on a two-dimensional surface.

생물학적 객체는, 바이러스의 그 위치 및 반경(R)에 의해, 도 2c에서와 같이 표현되는, 점-객체로서 모델링되는 바이러스이다. 측정은 생물학적 샘플 상의 볼텍스를 스캔할 수 있는 검류식 2차원 광기계 시스템으로 구성되는 측정 하드웨어를 사용하여, 수 개의 위치들(xi, y)에, 점-객체의 기하학적 형상을 임베딩하는, 바이러스 상에 위치되는 형광 분자들을 여기시킬 수 있는, 광의 볼텍스를 투사하는 단계, 광 검출기 상에서 에너지를 측정하는 단계, 및 분석 또는 반복 알고리즘을 사용하여, 최소 에너지를 갖는 위치로 수렴하는 단계로 구성된다. 이 경우, 역 에너지 법칙은 매우 단순하고 위치는 최소의 위치이고 에너지는, 최소에서, 이차식으로 반지름에 의존한다(방정식 3).The biological object is a virus that is modeled as a point-object, represented as in Figure 2C by its position and radius (R) of the virus. The measurements are made on the virus image, embedding the geometry of the point-object at several positions (xi, y) using measurement hardware consisting of a galvanic two-dimensional optomechanical system capable of scanning the vortex on the biological sample. It consists of projecting a vortex of light, capable of exciting fluorescent molecules located at , measuring the energy on a photo detector, and using an analytical or iterative algorithm to converge on the position with the minimum energy. In this case, the inverse energy law is very simple, the position is the position of the minimum and the energy, at the minimum, depends quadratically on the radius (equation 3).

일반적으로, 본 발명에 따른 측정의 방법들은, 하나 이상의 상이한 단일 분포들을 사용하여, 0- 1- 및 2차원 궤적들(loci)을 검색하는 것을 허용하고 하나 이상의 간단한 파라미터들 및 보다 복잡한 또는 복합 파라미터들을 동시에 검색한다.In general, the methods of measurement according to the invention allow retrieving 0-1- and two-dimensional loci using one or more different single distributions and one or more simple parameters and more complex or complex parameters. Search for them simultaneously.

점-객체의 크기 및 위치의 측정Point - a measurement of the size and position of an object

발명의 제1 실시예는 형상 파라미터들을 측정하기 위해 제공된다: 점-객체의 위치 및 크기를 2차원으로 측정. 그것은 생물학적 객체들의 측정에서 가장 일반적인 경우들 중 하나이다. 더욱이, 그것은 생물학적 객체들의 측정들에서 다른 광범위한 과제인, 선의 위치 및 두께의 측정으로 필요한 부분만 약간 수정하여(mutatis mutandis) 확장될 수 있다.A first embodiment of the invention provides for measuring shape parameters: measuring the position and size of a point-object in two dimensions. It is one of the most common cases in the measurement of biological objects. Moreover, it can be extended with minor modifications ( mutatis mutandis) to the measurement of line position and thickness, another widespread task in the measurements of biological objects.

n _D 로서 표현되는, 형광체들의 균일한 밀도를 갖는, 원점에 위치되는, 반경(R)을 갖는 원형 형상(도 2c 참조)의 발광 객체를 가정하고, 이 발광 형광체들의 총 수인 것으로 가정하면, Sirat'185 특허에서 상세히 설명된 것과 같이, 평면에서, 고정밀도로, (v, 0)로서 주어지는, 볼텍스의 위치를 이동시키도록 적응되는 광학 시스템이 제공된다. 본원에서 이용되는 극좌표 기호 "(m, n)"에서, m은 z-축에 대해 특정 횡평면에서의 반경 벡터를 지칭하는 반면, n은 미리 결정된 각(도 2c의 x)과 반경 사이의 각도를 지칭한다. 일반성의 손실 없이, 문제의 대칭(symmetry)으로 인해, 우리는 볼텍스가 x-축 상에 위치된다고, 즉, 각도가 제로라고 가정한다.The radius (R), located at the origin, has a uniform density of phosphors, expressed as n _D. Assume a light-emitting object with a circular shape (see Figure 2c), Assuming this to be the total number of luminescent phosphors, an optical system is provided that is adapted to move the position of the vortex, given as ( v , 0), in the plane, with high precision, as detailed in the Sirat'185 patent. In the polar coordinate symbol "( m, n )" as used herein, m refers to the radius vector in a particular plane transverse to the z-axis, while n is the angle between the radius and a predetermined angle (x in Figure 2C). refers to Without loss of generality, due to the symmetry of the problem, we assume that the vortex is located on the x-axis, i.e. the angle is zero.

위치의 함수로서의 볼텍스의 강도는, 계수(i_S)를 통해; 볼텍스 널(vortex null)과 강도가 측정되는 위치 사이의 거리에 2차식으로 의존한다. 보다 구체적으로, v > R(여기서, R은 발광 객체의 반경임)인 경우, 에너지 법칙은 다음과 같은 방정식에 의해 주어질 것이다The strength of the vortex as a function of position is determined through the coefficient (i _S ); It depends quadratically on the distance between the vortex null and the location where the intensity is measured. More specifically, if v > R (where R is the radius of the emitting object), the energy law will be given by the equation:

방정식 (1) Equation (1)

방정식 (2) Equation (2)

방정식 (3) Equation (3)

에너지 법칙은 다음과 같은 두 개의 독립 구성요소들의 합이다:The energy law is the sum of two independent components:

a. N _E 형광체들이 공칭 위치에 위치되는, 무한 점의 최소가 될 것이므로, 최소가 원점에 위치되는, 반경과 독립적인, 위치 의존성인, I _v , 및a. N _E will be the minimum of an infinite point, where the phosphors are located at the nominal position, so the radius-independent, position-dependent, I _v , where the minimum is located at the origin, and

b. 위치와 독립적인, 반경 의존성인, I _R .b. I _R , independent of position and dependent on radius.

공칭 위치에서, v = 0에서, 에너지는 방정식 (3)에 의해 주어진다. 역 에너지 법칙은 에너지와 2차이다. 최적의 이미징 실험에 의해 획득되는 동일한 5%의 특성들은, 산탄 잡음 제한 시스템의 경우, 반경의 함수로서 에너지의 2차 의존성으로 인해, 100개의 광자들 만으로 도달할 수 있다.At the nominal position, v = 0, the energy is given by equation (3). The inverse energy law is energy and quadratic. The same 5% of properties obtained by an optimal imaging experiment can be reached with only 100 photons, for a shot-noise limited system, due to the quadratic dependence of energy as a function of radius.

점-객체의 크기, 위치 및 타원율의 측정Point - a measurement of the size, position, and ellipticity of an object

본 발명의 제2 실시예에서, 형상 파라미터들이 측정될 수 있다: 점-객체의 위치, 크기 및 타원율은 2차원으로 측정될 수 있다. 그것은 아마도 임의의 기존 패러다임을 사용하여 수행하는 것이 가능하지 않기 때문에, 생물학적 객체들의 측정에서 적어도 공통의 경우이다.In a second embodiment of the invention, shape parameters can be measured: position, size and ellipticity of a point-object can be measured in two dimensions. This is at least a common case in the measurement of biological objects, since it is probably not possible to perform using any existing paradigm.

다음과 같이As follows

a. 단-반축(a) 및 장-반축(b) 각각을 갖는, 도 2d의, 타원 형상의 발광 객체,a. 2d, an oval-shaped luminescent object with a minor-semi-axis (a) and a major-semi-axis (b), respectively;

b. 이전 단락에서와 같이 극좌표들이 아닌, 데카르트 좌표들에서 (0, y₀)에 의해 주어지는 분포 위치,b. The distribution position given by (0, y ₀ ) in Cartesian coordinates, not polar coordinates as in the previous paragraph,

c. n _D 으로서 표현되는 형광체들의 균일한 밀도,c. _As nD Uniform density of expressed phosphors,

d. 도 3의 반달 분포를 투사,d. Projecting the half-moon distribution in Figure 3,

e. 장축(도 2d의 x-축)의 방향으로 정렬된, 도 3의 케이스 24인, 그 "반달" 분포들;을 가정하면;e. Assuming that the “half-moon” distributions, case 24 in Figure 3, are aligned in the direction of the long axis (x-axis in Figure 2D);

제1 근사에서, 장축의 방향에 수직인, 방향 y에서 강도 분포의 2차 의존성이 발생한다. 는 방출 형광체들의 총 수이며, 여기서, πab는 타원의 면적이라는 것을 알 수 있다.In a first approximation, a quadratic dependence of the intensity distribution occurs in the direction y, perpendicular to the direction of the major axis. It can be seen that is the total number of emitting phosphors, where πab is the area of the ellipse.

Sirat'185 특허에서 상세히 설명되는 바와 같이, 평면에서, 고정밀도로, (v, 0)로서 주어지는, 볼텍스의 위치를 이동시키도록 적응되는 광학 시스템이 제공되며, 극 좌표 기호인, a는 z-축에 대해 특정 횡평면에서의 반경 벡터를 지칭하는 반면, b는 미리 결정된 축(도 2c의 x)과 반경 사이의 각도를 지칭한다. 일반성의 손실 없이, 문제의 대칭(symmetry)으로 인해, 우리는 볼텍스가 x-축 상에 위치된다고, 즉, 각도가 제로라고 가정한다.As detailed in the Sirat'185 patent, an optical system is provided that is adapted to move the position of a vortex, given as ( v , 0), in a plane, with high precision, where a is the polar coordinate symbol. It refers to the radius vector in a specific plane transverse to the z-axis, while b refers to the angle between the predetermined axis (x in Figure 2c) and the radius. Without loss of generality, due to the symmetry of the problem, we assume that the vortex is located on the x-axis, i.e. the angle is zero.

분포가 도 2d의 x-축인, 반-장축 b와 각지게 정렬되고, y₀만큼 변위된다는 가정 하에, 위치 y의 함수로서의 분포의 강도는, 계수(i_S)를 통해; x-축 상에서의 거리에 2차식으로 의존하고, x에 독립적이다.Assuming that the distribution is angularly aligned with the semi-major axis b, the x-axis in Figure 2D, and is displaced by y ₀ , the strength of the distribution as a function of position y can be determined via the coefficient (i _S ); It depends quadratically on the distance on the x-axis and is independent of x.

타원의 방정식은 다음과 같이 주어지며,The equation of an ellipse is given as,

x = a cos(t) 및 y = b sin(t) 방정식 (4) x = a cos(t) and y = b sin(t) equation (4)

주어진 (x, y) 데카르트 위치에서, 강도는 i _s (y-y₀)²이며, i _s 는 2차 파라미터이다. y 축을 따라 적분된 에너지는, 주어진 x=A 위치에서, 다음과 같이 주어지며:At a given ( x, y ) Cartesian position, the intensity is i _s (yy ₀ ) ² , where i _s is a second-order parameter. The energy integrated along the y axis, at a given location x=A, is given by:

방정식 (5) Equation (5)

여기서, A는 타원 상에 위치되며, 위에 진술된 바와 같이, A = a sin(t)이다. x에 대한 적분은 2개의 항들(terms)을 산출하며, y₀에 이차식으로 의존하는, 제1항인_, I _y0 :Here, A is located on an ellipse and, as stated above, A = a sin(t). Integration over x yields two terms, the first term _, I _y0 , which depends quadratically on y ₀ :

방정식 (4)를 다시 사용하고, 그 미분 dx = b sin(t) dt이다. 제1항인, I _y0 은 y₀에 의존하며:Using equation (4) again, its derivative dx = b sin(t) dt . The first term, I _y0 , is Depends on y ₀ :

방정식 (6) Equation (6)

이는 무한 점에 대해 획득되어질 에너지이며, 발광 형광체들의 총 수인, N _E 는 원점에 위치된다. 제2항인 I _a 는 다음의 방정식을 통해 반축(semi axis) 값에 의존하며:This is the energy to be obtained for an infinite point, and N _E , the total number of emitting phosphors, is located at the origin. The second term, I _a , depends on the semi-axis value through the following equation:

다시 방정식 (4)를 사용하고, 그것의 미분은 dx = b sin(t) dt이다. 제2항인 I _y0 는 다음 식을 통해 반축에 의존한다:Again using equation (4), its derivative is dx = b sin(t) dt . The second term, I _y0 , depends on the semi-axis through the equation:

방정식 (7) Equation (7)

전술한 내용은 타원의 반축인 a에 의존하는 에너지이다. 단축(minor axis)(도 2d의 y-축)의 방향과 정렬되는, 도 3의 케이스 24인, "반달" 분포들을 사용하는, 유사한 측정은 장축(major axis)에 의존하는 항을 산출할 것이고, 이들 2개의 항들의 비교는 타원율의 측정을 허용할 것이다.The above information is energy dependent on a, the semi-axis of the ellipse. A similar measurement, using “half-moon” distributions, case 24 in Figure 3, aligned with the direction of the minor axis (y-axis in Figure 2D), would yield a term that depends on the major axis. , comparison of these two terms will allow the measurement of ellipticity.

2개의 상이한 평면들에 위치되는 2개의 점들의 위치의 평가.Evaluation of the position of two points located in two different planes.

본 발명의 추가 실시예들에 따르면, 공간에서의 2개의 점들의 상대 위치는 2개의 점들이 상이한 평면들에 위치되는 경우에도, 본원에 설명되는 기술들을 사용하여 측정될 수 있다.According to further embodiments of the invention, the relative position of two points in space can be measured using the techniques described herein even when the two points are located in different planes.

이제, 도 4를 참조하면, 2개의 상이한 평면들에 위치되는 2개의 점들의 상대 위치는, 실제적인 관점에서, 어려운 문제이고, 반도체의 처리에서 가장 중요한 계측 단계들 중 하나인 오버레이 계측의 핵심이다. 초승달을 가정하면, 도 3의 02 경우에서와 같이, 이 단일 분포의 궤적은 나선(spiral)(401)이다. 이 분포에 임베딩되는 기하학적 형상들은 나선 형상들을 포함하지만 또한 나선을 따라 위치되는 복수의 점들을 포함한다. 2개의 점들이 2개의 상이한 평면들(403 및 405)에 있지만, 동일한 나선 상에 있는 경우, 다른 점에 대한 하나의 점의 상대 위치는 나선을 따라 모니터링될 수 있고, 2개의 상이한 평면들에서의 2-점들의 위치는 이론적으로 무한 해상도로 평가될 수 있다.Now, referring to Figure 4, the relative position of two points located in two different planes is, from a practical point of view, a difficult problem and is at the heart of overlay metrology, one of the most important metrology steps in the processing of semiconductors. . Assuming a crescent moon, the trajectory of this single distribution is a spiral 401, as in case 02 in Figure 3. The geometric shapes embedded in this distribution include spiral shapes, but also include a plurality of points located along the spiral. If two points are in two different planes 403 and 405, but on the same spiral, the relative position of one point with respect to the other can be monitored along the spiral and 2-The positions of the points can theoretically be evaluated with infinite resolution.

원추형 회절을 사용하는 방법들의 구현Implementation of methods using conical diffraction

본 발명의 실시예들에 따른 방법들은 또한 유리하게는 Caron, J 등의 "Conical diffraction illumination opens the way for low phototoxicity super-resolution imaging," Cell Adhesion & Migration 8(5): 430-439 (2014)의 교시들을 이용하는, 원추형 회절을 사용하여 구현될 수 있으며, 이는 본원에 참조로 통합된다. Methods according to embodiments of the present invention also advantageously refer to Caron, J et al., “ Conical diffraction illumination opens the way for low phototoxicity super-resolution imaging ,” Cell Adhesion & Migration 8(5): 430-439 (2014) It can be implemented using conical diffraction, using the teachings of, which are incorporated herein by reference.

이제, 본 발명의 일 실시예는 도 5를 참조하여 설명된다. 일반적으로 숫자 500으로 표시되는 방법은 물리적 객체를 특징화하는 특정 차원(dimensionality)의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하기 위해 제공된다. 청구된 방법을 수행하기 위해, 위에서 상세히 설명된 바와 같은 CODIM 또는 계측 응용 하드웨어가 제공되고(단계 501) 단일 광 분포가 물리적 객체 상으로 투사된다(503). 기하학적 특징과 상호작용 한 단일 광 분포에 의해 여기되는 광은 그것이 검출기 상에 충돌함에 따라 검출된다(505). 리턴 에너지 분포는 고유한 기하학적 파라미터의 정량화로서 단일 광 분포의 하나 이상의 위치들에서 식별 및 정량화된다(507). 최종적으로, 고유한 기하학적 파라미터의 값은 고유한 기하학적 파라미터의 값에 기초하여 결정된다(509).Now, one embodiment of the present invention is described with reference to FIG. 5. The method, generally denoted by the number 500, provides for determining the values of unique geometric parameters of geometric features of a certain dimensionality characterizing a physical object. To perform the claimed method, CODIM or metrology application hardware as detailed above is provided (step 501) and a single light distribution is projected onto a physical object (step 503). Light excited by a single light distribution interacting with a geometric feature is detected as it impinges on a detector (505). The return energy distribution is identified and quantified 507 at one or more locations of a single light distribution as a quantification of a unique geometrical parameter. Finally, the value of the unique geometric parameter is determined based on the value of the unique geometric parameter (509).

이제, CODIM 이미지에 대한 표준 딥 러닝 개념의 사용이 도 7을 참조하여 설명된다. 박테리아로서 그래픽적으로 표현되는 생물학적 객체(20)는 적절한, 저잡음의, 이미징 검출기(22)에 의해 검출되는, 일련의 국소화된 단일 분포들(21)에 의해 조명된다. 일련의 마이크로이미지들(23)(또한 "μ이미지들"로서 본원에 지칭됨)은, 재구성된, 초-해상 이미지(10)를 산출하기 위해, 적절한 알고리즘(25)에 의해 기록 및 처리된다. 수 개의 계층들(11, 12 및 13)을 포함하는 딥 러닝 네트워크는 도 6에 설명된 것과 유사한 프로세스에서 재구성된 이미지 상에 적용된다. 제어 시스템(24)은 획득 및 처리를 제어하고 동기화하기 위해 사용된다.Now, the use of standard deep learning concepts for CODIM images is explained with reference to Figure 7. A biological object 20 , graphically represented as a bacterium, is illuminated by a series of localized single distributions 21 , which are detected by an appropriate, low-noise, imaging detector 22 . A series of microimages 23 (also referred to herein as “μimages”) are recorded and processed by an appropriate algorithm 25 to yield a reconstructed, super-resolution image 10. A deep learning network comprising several layers 11, 12 and 13 is applied on the reconstructed image in a process similar to that described in Figure 6. Control system 24 is used to control and synchronize acquisition and processing.

이제, CODIM 이미징에서 직접 딥 러닝의 사용이 도 8을 참조하여 설명된다. 박테리아로 그래픽적으로 표현되는 생물학적 객체(20)는, "검출기"로서 또한 본원에 지칭되는, 적절한 저잡음의 이미징 검출기(22)에 의해 검출되는, 일련의 국소화된 단일 분포들(21)에 의해 조명된다. 일련의 μ이미지들(23)은, 표준 프로세스에서 사용되는 계층과 상이할 수 있는 딥 러닝 계층(26)에, 재구성 없이, 직접적으로 적용된다. 표준 프로세스에서 사용되는 계층과 상이할 수 있는 추가적인 계층들(12 및 13)은 제1 계층의 결과 상에 적용된다. 제어 시스템(24)은 획득 및 처리를 제어하고 동기화하기 위해 사용된다.Now, the use of deep learning directly in CODIM imaging is explained with reference to FIG. 8. A biological object 20, graphically represented as a bacterium, is illuminated by a series of localized single distributions 21, which are detected by a suitable low-noise imaging detector 22, also referred to herein as a “detector”. do. A series of μ images 23 is applied directly, without reconstruction, to a deep learning layer 26, which may be different from the layer used in the standard process. Additional layers 12 and 13, which may be different from the layers used in the standard process, are applied on the results of the first layer. Control system 24 is used to control and synchronize acquisition and processing.

이제, 복합 이미징 시스템 상에서의 표준 딥 러닝 개념의 사용이 도 9를 참조하여 설명된다. 체험적 편의를 위해 고양이로서 그래픽적으로 표현되는 일반적인 객체(120)는, 검출기(22)에 의해 검출되는, 일련의 국소화된 단일 또는 정기 분포들(21)에 의해 조명된다. "중간 이미지들"로서 본원에 또한 지칭되는 일련의 마이크로이미지들(23)은 고양이 그림의 일부의 서브-이미지들로서 표현되지만, 그것은 단지 그래픽 기술이다. 일련의 μ이미지들(23)은 재구성된, 초-해상 이미지(10)를 산출하기 위해 적절한 알고리즘(25)에 의해 기록 및 처리된다. 수 개의 계층들(11, 12 및 13)을 포함하는 딥 러닝 네트워크는 도 6에 설명된 것과 유사한 프로세스에서 재구성된 이미지 상에 적용된다. 제어 시스템(24)은 획득 및 처리를 제어하고 동기화하기 위해 사용된다.The use of standard deep learning concepts on complex imaging systems is now described with reference to FIG. 9 . A general object 120 , graphically represented as a cat for experiential convenience, is illuminated by a series of localized single or periodic distributions 21 , which are detected by a detector 22 . A series of microimages 23, also referred to herein as “middle images”, are represented as sub-images of part of a cat drawing, but that is only a graphical description. A series of μ images 23 are recorded and processed by an appropriate algorithm 25 to produce a reconstructed, super-resolution image 10. A deep learning network comprising several layers 11, 12 and 13 is applied on the reconstructed image in a process similar to that described in Figure 6. Control system 24 is used to control and synchronize acquisition and processing.

이제, 일반적인 복합 이미징 경우에서의 직접 딥 러닝 개념의 사용이 도 10을 참조하여 설명된다. 고양이로서 표현되는 일반적인 객체(120)는 검출기(22)에 의해 검출되는 일련의 국소화된 단일 또는 정기 분포들(21)에 의해 조명된다. 일련의 μ이미지들(23), 또는 중간 이미지들은 고양이 사진의 일부의 서브-이미지로서 표현되지만, 그것은 단지 그래픽 기술이다. 일련의 μ이미지들은, 표준 프로세스에서 사용되는 계층과 상이할 수 있는 딥 러닝 계층(26)에, 재구성 없이, 직접적으로 적용된다. 표준 프로세스에서 사용되는 계층과 상이할 수 있는 추가적인 계층들(12 및 13)은 제1 계층의 결과 상에 적용된다. 제어 시스템(24)은 획득 및 처리를 제어하고 동기화하기 위해 사용된다.Now, the use of direct deep learning concepts in a general complex imaging case is explained with reference to Figure 10. A general object 120, represented as a cat, is illuminated by a series of localized single or regular distributions 21 which are detected by a detector 22. A series of μ images 23, or intermediate images, are represented as sub-images of part of a cat picture, but that is only a graphic technique. A series of μ images are applied directly, without reconstruction, to a deep learning layer 26, which may be different from the layer used in the standard process. Additional layers 12 and 13, which may be different from the layers used in the standard process, are applied on the results of the first layer. Control system 24 is used to control and synchronize acquisition and processing.

이제, CODIM 이미징에서의 제어된 직접 딥 러닝의 사용이 도 11을 참조하여 설명된다. 박테리아로서 그래픽적으로 표현되는 생물학적 객체(20)는 일련의 국소화된 단일 분포들(21)에 의해 조명되며; 그들의 위치, 강도, 유형, 지속기간 및 타이밍을 포함하는 분포들의 순서는, 임의 유형의 외부 정보(30), 및/또는 처리로부터의 부분 또는 최종 정보에 기초하여, 제어 시스템에 의해 결정된다. 상이한 광 분포들에 의해 조명되는 객체에 의해 방출되는 광 분포들은 적절한, 저잡음의, 이미징 검출기(22)에 의해 검출된다. 일련의 μ이미지들(23)은, 표준 프로세스에서 사용되는 계층과 상이할 수 있는 딥 러닝 계층(26)에, 재구성 없이, 직접적으로 적용된다. 표준 프로세스에서 사용되는 계층과 상이할 수 있는 추가적인 계층들(12 및 13)은 제1 계층의 결과 상에 적용된다. 제어 시스템(24)은 획득 및 처리를 제어 및 동기화하고 분포들의 순서를 결정하기 위해 사용된다.Now, the use of controlled direct deep learning in CODIM imaging is described with reference to FIG. 11 . A biological object 20, graphically represented as a bacterium, is illuminated by a series of localized single distributions 21; The order of the distributions, including their location, intensity, type, duration and timing, is determined by the control system, based on any type of external information 30, and/or partial or final information from the process. The light distributions emitted by an object illuminated by different light distributions are detected by a suitable, low-noise, imaging detector 22. A series of μ images 23 is applied directly, without reconstruction, to a deep learning layer 26, which may be different from the layer used in the standard process. Additional layers 12 and 13, which may be different from the layers used in the standard process, are applied on the results of the first layer. Control system 24 is used to control and synchronize acquisition and processing and determine the order of distributions.

이제, 일반적인 복합 이미징 경우에서의 제어된 직접 딥 러닝의 사용이 도 12를 참조하여 설명된다. 고양이로서 그래픽적으로 표현되는 일반적인 객체(120)는 일련의 국소화된 단일 또는 정기 분포들(21)에 의해 조명된다. 일련의 μ이미지들(23), 또는 중간 이미지들은 고양이 사진의 일부의 서브-이미지로서 표현되지만, 그것은 단지 그래픽 기술이다. 그들의 위치, 강도, 유형, 지속기간 및 타이밍을 포함하는 분포들의 순서는, 임의의 유형의 외부 정보(30), 및/또는 처리로부터의 부분 또는 최종 정보에 기초하여, 제어 시스템에 의해 결정된다. 상이한 광 분포들에 의해 조명되는 객체에 의해 방출되는 광 분포들은 검출기(22)에 의해 검출된다. 일련의 μ이미지들(23)은, 표준 프로세스에서 사용되는 계층과 상이할 수 있는 딥 러닝 계층(26)에, 재구성 없이, 직접적으로 적용된다. 표준 프로세스에서 사용되는 계층과 상이할 수 있는 추가적인 계층들(12 및 13)은 제1 계층의 결과 상에 적용된다. 제어 시스템(24)은 획득 및 처리를 제어 및 동기화하고 분포들의 순서를 결정하기 위해 사용된다.Now, the use of controlled direct deep learning in a general complex imaging case is described with reference to FIG. 12 . A general object 120, graphically represented as a cat, is illuminated by a series of localized single or regular distributions 21. A series of μ images 23, or intermediate images, are represented as sub-images of part of a cat picture, but that is only a graphic technique. The order of the distributions, including their location, intensity, type, duration and timing, is determined by the control system, based on any type of external information 30, and/or partial or final information from the process. The light distributions emitted by an object illuminated by different light distributions are detected by the detector 22. A series of μ images 23 is applied directly, without reconstruction, to a deep learning layer 26, which may be different from the layer used in the standard process. Additional layers 12 and 13, which may be different from the layers used in the standard process, are applied on the results of the first layer. Control system 24 is used to control and synchronize acquisition and processing and determine the order of distributions.

딥 러닝을 사용한 장면 분류Scene classification using deep learning

본 발명의 실시예들에 따른 방법들과 일반적으로 연관되는 특징들은 다음을 포함한다:Features generally associated with methods according to embodiments of the invention include:

- 복수의 발광 생물 객체들로 구성되고, 각각의 객체는 발광 기하학적 형상으로 모델링되고, 기하학적 형상은 적합한 세트의 파라미터들에 의해 정량화되는, 물리적 또는 생물학적 장면,- a physical or biological scene consisting of a plurality of luminous biological objects, each object modeled with a luminous geometric shape, the geometric shape being quantified by a suitable set of parameters,

- Caron 2014에서 설명되는 이미징 케이스 또는 위에 설명된 계측 케이스와 같은 하드웨어 설정;- Hardware setup, such as the imaging case described in Caron 2014 or the metrology case described above;

- 각각의 측정이 "이미징 케이스"로서 지칭되는 정기 또는 의사-정기 그리드 상에서, 또는 "도량형의 케이스"로서 지칭되는 맞춤형(custom) 그리드 상의, 공칭 위치에서 단일 분포의 투사로 구성되고; 도량형의 케이스에서, 단일 분포들은 그들이 기하학적 형상들을 임베딩하도록 선택되고, 따라서, 공칭 파라미터들을 사용하면, 측정된 에너지가 제로가 될, 한 세트의 측정들.- each measurement consists of a projection of a single distribution at a nominal position, either on a regular or quasi-regular grid, referred to as the “imaging case”, or on a custom grid, referred to as the “metrometric case”; In the metrological case, a set of measurements where single distributions are chosen such that they embed geometric shapes and thus, using nominal parameters, the measured energy will be zero.

- 기하학적 특징과 상호작용하고 픽셀화된 또는 그렇지 않은 검출기 상에 충돌하는 단일 광 분포로부터의, 검출 광 - 광은 검출된 광을 구성함 -;- detection light from a single light distribution interacting with a geometric feature and impinging on a detector, pixelated or not - the light constitutes the detected light -;

- 장면을 정적 또는 동적인 복수의 형상들 - 형상들은 학습에 의해 미리 결정되거나 획득되는 기본 형상들의 패밀리의 일부임 -로서 분류할 수 있는, 신경망 계층의 직접 입력으로서 검출된 광을 직접적으로 이용하는 딥 러닝 또는 신경망 계층.- Deep uses the detected light directly as a direct input to a neural network layer, which can classify the scene into a plurality of shapes, either static or dynamic - the shapes are part of a family of basic shapes that are predetermined or acquired by learning. Learning or neural network layer.

본 발명의 다른 실시예들에 따르면, 직접 및 동적 방법들은 또한 표준 또는 딥 러닝 절차들에 의한 기본 데이터의 분석에 의해, 형상들의 파라미터들을 검색하기 위해 요구되는 측정들의 개선된 세트를 수집하기 위해 측정들의 순서 및 검출된 광을, 동적이든 아니든, 제어하는, 제어 하드웨어 및 제어 절차를 제공할 수 있다.According to other embodiments of the invention, direct and dynamic methods can also be used to collect an improved set of measurements required to retrieve parameters of shapes, by analysis of basic data by standard or deep learning procedures. Control hardware and control procedures may be provided to control the order of light and the detected light, whether dynamic or not.

딥 러닝 실시예들의 상세들Details of Deep Learning Embodiments

본 발명의 실시예들에 따르면, Caron 2014에서 설명된 바와 같은 CODIM-원추형 회절 현미경, 또는 위에 설명된 계측 방법을 구현하는 하드웨어에 의해 획득되는 이미징 및 계측 데이터를 분석하기 위한 딥 러닝의 특이성들 및 이점들을 사용하는 방법들이 제공된다.According to embodiments of the invention, the specificities of deep learning for analyzing imaging and metrology data acquired by a CODIM-cone diffraction microscope as described in Caron 2014, or hardware implementing the metrology method described above, and Methods of using the advantages are provided.

이들 방법들에 기초하여, 기하학적 특징들의 광학 측정을 위한 새로운 시스템들이 본원에 설명되고, 보다 구체적으로, 옵틱스 및 최소 광자 플럭스들에 의해 부과되는 회절 한계보다 더 큰 해상도들을 수반하는 측정을 위한 방법들이 설명된다.Based on these methods, new systems for optical measurement of geometric features are described herein, more specifically methods for measurement involving resolutions greater than the diffraction limit imposed by optics and minimum photon fluxes. explained.

실시예Example

본 발명의 일 실시예는 다음 예에 의해 예시될 수 있으며; 이 예는 단지 예시적으로 사용되고 시험된 실험 케이스를 나타내는 것이라고 주장하지 않는다. 발광 객체는 생물학적 객체인 것으로 가정되고 이 생물학적 객체는, 예시를 위해, 도 2a에 개략적으로 표현되는 동일한 인플루엔자 A형 바이러스(IAV)인 것으로 가정되고; 이 바이러스는 80 nm 내지 120 nm의 전형적인 크기를 갖는 것으로 알려져 있고, 그것은 또한 대부분의 경우들에서 구형인 것으로 알려져 있지만, 또한 일부 경우들에서 사상(filamentous)일 수 있다. 본원에 참조로 통합되는, Badham 등의 문헌["Filamentous Influenza Viruses," Current clinical microbiology reports, vol. 3, pp. 155-61 (2016)]은 "인간 임상 감염들에서 IAV 형태의 생물학적 중요성은 큰 관심 대상이다"라고 진술한다. IAV 바이러스는 일부 적절한 형광 단백질들로 모든 그것의 부피에 균일하게 표시되는 것으로 가정된다. 수 개의 모델들은 바이러스를 설명하기 위해 사용될 수 있으며; 바이러스는 파라미터들이 데카르트 참조에 대해, 반-단축, a, 반-장축, b, 및 장축의 각도, θ인, 타원으로서 모델링되는(도 2d), 점-객체로서 설명된다.One embodiment of the invention may be illustrated by the following example; This example is intended to be illustrative only and does not purport to represent a tested experimental case. The luminescent object is assumed to be a biological object and this biological object is assumed to be, for illustration purposes, the same influenza A virus (IAV) schematically represented in Figure 2A; This virus is known to have a typical size of 80 nm to 120 nm, and it is also known to be spherical in most cases, but can also be filamentous in some cases. Badham et al., “ Filamentous Influenza Viruses ,” Current clinical microbiology reports , vol. 3, pp. 155-61 (2016)] states that “the biological significance of the IAV form in human clinical infections is of great interest.” The IAV virus is assumed to be uniformly labeled over all of its volume by some suitable fluorescent protein. Several models can be used to describe viruses; The virus is described as a point-object, modeled as an ellipse (Figure 2D) whose parameters are semi-minor axis, a , semi-major axis, b , and angle of the major axis, θ , with respect to Cartesian reference.

본 발명의 실시예들에 따르면, 바이러스의 위치 및 형태에서의 동적 변화들은, 잠재적으로, 바이러스의 독성을 평가하기 위해 평가된다.According to embodiments of the invention, dynamic changes in the location and morphology of the virus are evaluated to potentially assess the virulence of the virus.

CODIM 실시예들CODIM Embodiments

딥 러닝을 사용하는 이미징의 경우, Caron 2014에서 설명되는 CODIM 시스템이 적용될 수 있는 반면, 계측의 경우, 계측 응용에서 설명되는 구성(set-up)이 바람직하다.For imaging using deep learning, the CODIM system described in Caron 2014 can be applied, while for metrology the set-up described in Metrology Applications is preferred.

본 발명의 실시예들에 따르면, Caron 2014에서 설명되는 바와 같은, CODIM - 원추형 회절 현미경에 의해 획득되는 이미징 및 계측 데이터를 분석하기 위해 딥 러닝의 특이성들 및 이점들을 사용하는 방법들이 제공된다.According to embodiments of the present invention, methods are provided that use the specificities and advantages of deep learning to analyze imaging and metrology data acquired by CODIM - cone diffraction microscope, as described in Caron 2014.

신경망 실시예들Neural Network Embodiments

본원에 참조로 통합되는 Spiliotis 등의 문헌["Priming for destruction: septins at the crossroads of mitochondrial fission and bacterial autophagy", EMBO Reports, vol. 17, pp. 935-37 (2016) ("Spiliotis 2016")]은 다음과 같이 교시하였다:Spiliotis et al., “ Priming for destruction: septins at the crossroads of mitochondrial fission and bacterial autophagy ”, EMBO Reports, vol. 17, pp. 935-37 (2016) (“Spiliotis 2016”) taught as follows:

미토콘드리아는 세포 생존, 프로그래밍된 세포 사멸, 및 자가포식을 위한 필수적인 세포기관들이다. 그들은 전염성 병원체들에 의해 전복되고 많은 인간 질병들에서 변형되는, 핵분열 및 핵융합의 주기들을 겪는다.Mitochondria are essential organelles for cell survival, programmed cell death, and autophagy. They undergo cycles of nuclear fission and fusion, which are overturned by infectious pathogens and transformed into many human diseases.

본원에 참조로 통합되는, Pagliuso 등의 문헌["A role for septin 2 in Drpl-mediated mitochondrial fission", EMBO Reports, vol. 17, pp. 857-73 (2016) ("Pagliuso 2016")]는,Pagliuso et al., “ A role for septin 2 in Drpl-mediated mitochondrial fission ”, EMBO Reports, vol. 17, pp. 857-73 (2016) ("Pagliuso 2016")],

미토콘드리아 핵분열을 조절하는 것으로 보이는 다수의 메커니즘들 중에서, ...Septin 2가 미토콘드리아 수축을 중제함으로써 중요한 역할을 한다는 것을 나타냈다. Among the multiple mechanisms that appear to regulate mitochondrial fission, ...Septin 2 has been shown to play an important role by mediating mitochondrial contraction .

본 연구는 데이터를 획득하고 이미지들을 재구성함으로써, 미토콘드리아의 이미지들을 획득하기 위해 BioAxial CODIM 시스템을 사용하였다.This study used the BioAxial CODIM system to acquire images of mitochondria by acquiring data and reconstructing images.

미토콘드리아의 재구성된 이미지들은 도 10에 도시된 바와 같이, 생물학적 상태에 대한 정보를 수집하기 위해, 딥 러닝 네트워크의 입력으로서 사용될 수 있으며; 대안적으로, 수집된 데이터는 도 11에 도시된 바와 같이 딥 러닝 네트워크에 직접적으로 공급될 수 있다.Reconstructed images of mitochondria can be used as input to a deep learning network to collect information about biological state, as shown in Figure 10; Alternatively, the collected data can be fed directly into the deep learning network as shown in Figure 11.

본원에 설명되는 발명의 실시예들은 단순히 예시적이도록 의도되며; 변형들 및 수정들은 당업자에게 명백할 것이다. 모든 그러한 변형들 및 수정들은 첨부된 청구항들에 정의되는 바와 같은 본 발명의 범위 내에 있도록 의도된다.The embodiments of the invention described herein are intended to be merely illustrative; Variations and modifications will be apparent to those skilled in the art. All such variations and modifications are intended to be within the scope of the invention as defined in the appended claims.

Claims (16)

물리적 객체를 특징화하는 특정 차원의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하는 방법으로서,
a. 제1 파장 및 특이점(singularity)의 위치를 특징으로 하는 단일 광 분포를 물리적 객체 상으로 투사하는 단계;
b. 기하학적 특징과 상호작용하고 검출기 상에 충돌하는 여기된 단일 광 분포에 의해 여기되는 광을 검출하는 단계(광은 검출된 광을 구성함);
c. 고유한 기하학적 파라미터의 정량화로서 단일 광 분포의 하나 이상의 위치들에서의 리턴 에너지 분포를 식별 및 정량화하는 단계; 및
d. 상기 고유한 기하학적 파라미터의 값에 기초하여 상기 고유한 기하학적 파라미터의 값을 결정하는 단계;를 포함하는 것을 특징으로 하는 물리적 객체를 특징화하는 특정 차원의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하는 방법.
A method for determining the values of unique geometric parameters of geometric features of specific dimensions characterizing a physical object, comprising:
a. Projecting a single light distribution characterized by a first wavelength and a location of a singularity onto a physical object;
b. detecting light excited by a single excited light distribution interacting with a geometric feature and impinging on a detector (the light constituting detected light);
c. identifying and quantifying the return energy distribution at one or more locations of a single light distribution as a quantification of a unique geometrical parameter; and
d. determining the value of the unique geometric parameter based on the value of the unique geometric parameter; determining the value of the unique geometric parameter of a specific dimensional geometric feature characterizing the physical object, comprising: method.
단일 또는 한 세트의 고유한 기하학적 파라미터들을 검색하는 것과 같은 방식으로, 제1항의 방법의 연속적인 적용들이 수행되는 것을 특징으로 하는 물리적 객체를 특징화하는 특정 차원의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하는 방법.
Characterized in that successive applications of the method of claim 1 are carried out in such a way as to retrieve a single or a set of unique geometric parameters, the values of the unique geometric parameters of a geometric feature of a certain dimension characterizing a physical object. How to decide.
제1항에 있어서,
상기 고유한 기하학적 파라미터는 점-객체의 크기인 것을 특징으로 하는 물리적 객체를 특징화하는 특정 차원의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하는 방법.
According to paragraph 1,
A method for determining the value of a unique geometric parameter of a geometric feature of a certain dimension characterizing a physical object, wherein the unique geometric parameter is the size of the point-object.
제1항에 있어서,
상기 고유한 기하학적 파라미터는 점-객체의 타원율인 것을 특징으로 하는 물리적 객체를 특징화하는 특정 차원의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하는 방법.
According to paragraph 1,
A method for determining the value of a unique geometric parameter of a geometric feature of a certain dimension characterizing a physical object, wherein the unique geometric parameter is the ellipticity of the point-object.
제1항에 있어서,
선에 대해 횡방향 오프셋인 변위의 측정을 결정하는 단계를 더 포함하는 것을 특징으로 하는 물리적 객체를 특징화하는 특정 차원의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하는 방법.
According to paragraph 1,
A method for determining the value of a unique geometric parameter of a geometric feature of a particular dimension characterizing a physical object, further comprising determining a measure of a displacement that is a transverse offset relative to a line.
제1항에 있어서,
상기 고유한 기하학적 파라미터는 선의 폭인 것을 특징으로 하는 물리적 객체를 특징화하는 특정 차원의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하는 방법.
According to paragraph 1,
A method for determining the value of a unique geometric parameter of a geometric feature of a particular dimension characterizing a physical object, wherein the unique geometric parameter is the width of a line.
제1항에 있어서,
상기 고유한 기하학적 파라미터는 상기 기하학적 특징의 모델 형상에 기초하는 것을 특징으로 하는 물리적 객체를 특징화하는 특정 차원의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하는 방법.
According to paragraph 1,
A method for determining the value of a unique geometric parameter of a geometric feature of a particular dimension characterizing a physical object, wherein the unique geometric parameter is based on a model shape of the geometric feature.
제1항에 있어서,
광을 검출하는 단계는 픽셀화된 검출기를 이용하는 단계를 포함하는 것을 특징으로 하는 물리적 객체를 특징화하는 특정 차원의 기하학적 특징의 고유한 기하학적 파라미터의 값을 결정하는 방법.
According to paragraph 1,
A method for determining values of unique geometric parameters of specific dimensional geometric features characterizing a physical object, wherein the step of detecting light comprises using a pixelated detector.
적절한 세트의 파라미터들에 의해 정량화되는, 정적 또는 동적인, 적어도 하나의 기하학적 형상(각각의 기하학적 형상은 발광 객체를 모델링함)으로 장면(scene)을 분류하기 위한 표현 학습용 방법으로서,
a. 단일 분포의 광을 장면 상으로 투사하는 단계;
b. 각각의 발광 객체와 상호작용하고 검출기 상으로 충돌하는 단일 광 분포에 의한 조명 시 장면에 의해 재방출되는 광 분포를 검출하는 단계;
c. 장면에 관하여 한 세트의 측정들을 획득하기 위해 주어진 위치에서 단일 분포의 적어도 하나의 투사를 측정하는 단계; 및
d. 상기 장면을, 학습에 의해 미리 결정되거나 획득되는 한 세트의 형상들의 일부인 정적 또는 동적인 복수의 형상들로 분류하도록 적응되는, 신경망 계층의 직접 입력으로서 상기 검출된 광을 사용하는, 딥 러닝 또는 상기 신경망 계층을 이용하는 단계;를 포함하는 것을 특징으로 하는 장면(scene)을 분류하기 위한 표현 학습용 방법.
1. A method for learning representations to classify a scene into at least one geometric shape, static or dynamic, each geometric shape modeling a light-emitting object, quantified by an appropriate set of parameters, comprising:
a. Projecting a single distribution of light onto a scene;
b. detecting the light distribution re-emitted by the scene upon illumination by a single light distribution interacting with each light-emitting object and impinging onto the detector;
c. measuring at least one projection of a single distribution at a given location to obtain a set of measurements about the scene; and
d. deep learning, which uses the detected light as a direct input to a neural network layer adapted to classify the scene into a plurality of shapes, static or dynamic, that are part of a set of shapes predetermined or obtained by learning; A method for learning representations for classifying a scene, comprising: using a neural network layer.
제9항에 있어서,
상기 적어도 하나의 기하학적 형상은 동적인 것을 특징으로 하는 장면(scene)을 분류하기 위한 표현 학습용 방법.
According to clause 9,
A method for learning a representation for classifying a scene, wherein the at least one geometric shape is dynamic.
제9항에 있어서,
상기 적어도 하나의 기하학적 형상은 정적인 것을 특징으로 하는 장면(scene)을 분류하기 위한 표현 학습용 방법.
According to clause 9,
A method for learning a representation for classifying a scene, wherein the at least one geometric shape is static.
제9항에 있어서,
CODIM 하드웨어에 의해 획득되는 이미징 데이터인 데이터를 획득하는 단계를 더 포함하는 것을 특징으로 하는 장면(scene)을 분류하기 위한 표현 학습용 방법.
According to clause 9,
A method for learning a representation for classifying a scene, further comprising acquiring data that is imaging data acquired by CODIM hardware.
제9항에 있어서,
계측 응용 하드웨어에 의해 획득되는 도량형 데이터인 데이터를 획득하는 단계를 더 포함하는 것을 특징으로 하는 장면(scene)을 분류하기 위한 표현 학습용 방법.
According to clause 9,
A method for learning representations for classifying a scene, further comprising the step of acquiring data that is metrological data acquired by measurement application hardware.
제9항에 있어서,
CODIM 하드웨어에 의해 획득되는 이미징 데이터인 데이터를 획득하는 단계를 더 포함하며, 결과 분류 정보는 상기 제1항에 따른 방법을 구현하기 위해 도량형 하드웨어를 구동시키도록 사용되는 것을 특징으로 하는 장면(scene)을 분류하기 위한 표현 학습용 방법.
According to clause 9,
A scene further comprising acquiring data, which is imaging data acquired by CODIM hardware, wherein the resulting classification information is used to drive metrological hardware to implement the method according to claim 1. A method for learning representations to classify .
제9항에 있어서,
상기 제1항에 따른 방법을 구현하기 위해 도량형 하드웨어를 구동시키도록 제어 하드웨어 및 제어 절차를 제공하는 단계를 더 포함하는 것을 특징으로 하는 장면(scene)을 분류하기 위한 표현 학습용 방법.
According to clause 9,
A method for learning representations to classify scenes, further comprising providing control hardware and control procedures to drive metrological hardware to implement the method according to claim 1.
제9항에 있어서,
상이한 시간들에서 획득되었고 신경망 인식 프로세스에서 발광 객체들의 시간 의존성을 포함하는 데이터를 상기 신경망에 공급하는 단계를 더 포함하는 것을 특징으로 하는 장면(scene)을 분류하기 위한 표현 학습용 방법.

According to clause 9,
A method for learning a representation for classifying a scene, characterized in that it further comprises the step of feeding the neural network with data obtained at different times and containing temporal dependence of luminescent objects in a neural network recognition process.