KR20220110661A - 이미지들로부터 값들을 추정하는 장치 및 방법 - Google Patents

Abstract

방법은 구조화된 조명 현미경(structured illumination microscopy, SIM) 광학 시스템에 대한 왜곡 모델을 생성하는 데 사용된다. 복수의 서브-타일들을 한정하기 위해 복수의 이미지들에 대해 슬라이딩 윈도우가 이동된다. 각각의 서브-타일은 대응하는 이미지의 일부분을 나타낸다. 파라미터들이 각각의 서브-타일들에 대해 추정된다. 파라미터들은 변조, 각도, 간격, 위상 오프셋, 및 위상 편차로 이루어진 군으로부터 선택되는 2개 이상의 파라미터들을 포함한다. 각각의 서브-타일과 연관된 반치전폭(FWHM) 값이 추정된다. 왜곡 모델은 미리결정된 포맷으로 저장된 추정된 파라미터들 및 FWHM 값들과 추정된 중심 윈도우 파라미터의 조합에 적어도 부분적으로 기초하여 추정된다. 추정된 왜곡 모델에 적어도 부분적으로 기초하여 2차원 이미지가 생성될 수 있다. 2차원 이미지는 왜곡들이 광학 시스템에서 발생하는 곳을 나타내는 표현들을 포함할 수 있다.

Description

이미지들로부터 값들을 추정하는 장치 및 방법

관련 출원들

본 출원은 2019년 12월 6일자로 출원되고 발명의 명칭이 "Apparatus and Method of Estimating Values from Images"인 미국 가특허 출원 제62/944,687호에 대한 우선권을 주장하며, 그 개시 내용은 전체적으로 본 명세서에 참고로 포함된다.

이 섹션에서 논의되는 주제는 단지 이 섹션 내에서의 그의 언급의 결과로서 종래기술이라고 가정되어서는 안 된다. 유사하게, 이 섹션에서 언급되거나 배경기술로서 제공되는 주제와 연관된 문제는 종래기술에서 이전에 인식되었다고 가정되어서는 안 된다. 이 섹션에서의 주제는 단지 상이한 접근법들을 표현할 뿐이며, 그 접근법들 자체는 청구되는 기술의 구현예들에 또한 대응할 수 있다.

구조화된 조명 현미경(structured illumination microscopy, SIM)은 다수의 더 저해상도의 소스 이미지들로부터 초고해상도 이미지들을 재구성하는 계산 이미징 알고리듬의 부류이다. 성공적인 재구성을 보장하기 위해, 소스 미가공(raw) 이미지들은 고품질의 것이어야 한다. 고품질 미가공 이미지들은 이미징 기구의 광학 성능의 신중한 조정, 교정, 및 평가를 필요로 한다. 종래의 이미징 기구 특성화에 더하여, SIM 이미징 광학계는 추가로 특성화되고 확인될 필요가 있는 추가의 구성요소들을 갖는다.

SIM 시스템, 특히 뉴클레오티드 서열과 같은 생물학적 샘플들을 이미징하는 데 사용되는 SIM 시스템 내의 이미징 광학계 및 연관된 광학 구성요소들과의 품질 제어 및 교정을 촉진하기 위한 시스템들 및 방법들을 제공하는 것이 바람직할 수 있다. 기존의 문제들을 극복하고 본 명세서에 기술된 바와 같은 이익들을 달성하기 위해 SIM을 사용하여 캡처된 이미지들을 처리하기 위한 디바이스들, 시스템들, 및 방법들이 본 명세서에 기술된다.

구현예는 방법에 관한 것으로서, 방법은 광학 시스템에서 구조화된 조명 현미경(SIM)을 사용하여 캡처된 복수의 이미지들을 수신하는 단계를 포함하며, 복수의 이미지들의 각각의 이미지는 제1 시야(field of view)를 갖는다. 방법은 윈도우를 정의하는 단계를 더 포함하며, 윈도우는 제2 시야가 제1 시야보다 작도록 제1 시야의 일부분을 나타내는 제2 시야를 정의한다. 방법은 윈도우를 복수의 이미지들의 각각의 이미지와 관련하여 이동시키는 단계를 더 포함한다. 방법은 복수의 이미지들의 각각의 이미지에 대해 윈도우를 이동시키는 동안 복수의 이미지들의 각각의 이미지로부터 복수의 서브-타일(sub-tile)들을 캡처하는 단계를 더 포함하며, 복수의 복수의 서브-타일들의 각각의 서브-타일은 복수의 이미지들의 대응하는 이미지의 일부분을 나타내고, 복수의 서브-타일들의 각각의 서브-타일에 의해 나타내지는 일부분은 복수의 서브-타일들의 서브-타일이 캡처되는 순간에 대응하는 위치에서 제2 시야에 의해 정의된다. 방법은 복수의 서브-타일들의 각각의 서브-타일과 연관된 파라미터들을 추정하는 단계를 더 포함하며, 파라미터들은 변조, 각도, 간격, 위상 오프셋, 및 위상 편차로 이루어진 군으로부터 선택되는 2개 이상의 파라미터들을 포함한다. 방법은 복수의 서브-타일들의 각각의 서브-타일과 연관된 반치전폭(FWHM) 값을 추정하는 단계를 더 포함한다. 방법은 추정된 파라미터들 및 FWHM 값들을 미리결정된 포맷으로 저장하는 단계를 더 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 복수의 이미지들은 12개의 이미지들을 포함한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 복수의 이미지들은 제1 색상과 연관된 제1 세트의 이미지들 및 제2 색상과 연관된 제2 세트의 이미지들을 포함한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 복수의 이미지들은 제1 격자 배향과 연관된 제1 세트의 이미지들 및 제2 격자 배향과 연관된 제2 세트의 이미지들을 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 방법은 복수의 이미지들을 캡처하는 단계를 더 포함한다. 방법은, 복수의 이미지들을 캡처하는 동안, 제1 위치로부터 제2 위치로 하나 이상의 위상 마스크들에 대해 광원을 이동시키는 단계를 더 포함하며, 제1 위치는 제1 격자 배향을 제공하고, 제2 위치는 제2 격자 배향을 제공한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 복수의 이미지들은 제1 위상과 연관된 제1 세트의 이미지들 및 제2 위상과 연관된 제2 세트의 이미지들을 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 방법은 복수의 이미지들을 캡처하는 단계를 더 포함한다. 방법은, 복수의 이미지들을 캡처하는 동안, 제1 위치로부터 제2 위치로 반사 요소를 이동시키는 단계를 더 포함하며, 제1 위치는 제1 위상을 제공하고 제2 위치는 제2 위상을 제공한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 미리결정된 포맷은 표을 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 표은 2차원 표의 형태이다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 방법은 중심 윈도우 파라미터를 추정하는 단계를 더 포함하며, 중심 윈도우 파라미터는 제1 시야 내의 중심 구역에 대응한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 방법은 미리결정된 포맷으로 저장된 추정된 파라미터들 및 FWHM 값들과 추정된 중심 윈도우 파라미터의 조합에 적어도 부분적으로 기초하여 왜곡 모델을 추정하는 단계를 더 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 왜곡 모델을 추정하는 단계는 미리결정된 포맷으로 저장된 추정된 파라미터들과 FWHM 값들로부터 추정된 중심 윈도우 파라미터를 차감하는 단계를 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 왜곡 모델을 추정하는 단계는 차감의 결과에 대해 2차 표면 함수를 피팅(fitting)하는 단계를 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 차감의 결과에 대해 2차 표면 함수를 피팅하는 단계는 축소 추정량(shrinkage estimator)을 사용하는 단계를 포함한다.

본 발명의 내용에서의 4개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 방법은, 추정된 왜곡 모델에 대한 결정 계수(coefficient of determination)를 계산하는 단계, 및 계산된 결정 계수를 미리결정된 임계값과 비교함으로써 추정된 왜곡 모델을 검증하는 단계를 더 포함한다.

본 발명의 내용에서의 5개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 방법은 위상 오프셋을 추정하는 단계 및 위상 오프셋을 추정된 왜곡 모델에 적용하는 단계를 더 포함한다.

본 발명의 내용에서의 6개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 방법은 추정된 왜곡 모델에 적어도 부분적으로 기초하여 2차원 이미지를 생성하는 단계를 더 포함하며, 2차원 이미지는 광학 시스템에서 왜곡들이 발생하는 곳을 나타내는 표현들을 포함한다.

본 발명의 내용에서의 7개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 방법은 광학 시스템에서 SIM을 사용하여 후속 복수의 이미지들을 캡처하는 단계를 더 포함한다. 방법은 복수의 이미지들에 적어도 부분적으로 기초하여 고해상도 이미지를 생성하는 단계를 더 포함하며, 고해상도 이미지를 생성하는 단계는 추정된 왜곡 모델에 적어도 부분적으로 기초하여 후속 복수의 이미지들로부터의 데이터를 조정하는 단계를 포함한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 방법은 광학 시스템에서 SIM을 사용하여 후속 복수의 이미지들을 캡처하는 단계를 더 포함한다. 방법은 복수의 이미지들에 적어도 부분적으로 기초하여 고해상도 이미지를 생성하는 단계를 더 포함하며, 고해상도 이미지를 생성하는 단계는 미리결정된 포맷으로 저장된 추정된 파라미터들 및 FWHM 값들에 적어도 부분적으로 기초하여 후속 복수의 이미지들로부터의 데이터를 조정하는 단계를 포함한다.

본 발명의 내용에서의 2개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 후속 복수의 이미지들은 뉴클레오티드의 이미지들을 포함한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 방법은 광학 시스템에서 SIM을 사용하여 복수의 이미지들을 캡처하는 단계를 더 포함하며, 수신된 복수의 이미지들은 캡처된 복수의 이미지들을 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 복수의 캡처된 이미지들은 광학 타겟의 이미지들이다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 광학 타겟은 염료를 포함하며, 복수의 이미지들의 캡처하는 단계는 염료 내의 분자들을 여기하는 단계를 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 염료는 평균 방출 파장을 가지고, 염료 내의 분자들을 여기하는 단계는 염료를 향해 여기 광을 방출하는 단계를 포함하고, 여기 광은 염료의 평균 방출 파장보다 실질적으로 더 긴 파장을 갖는다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 염료는 쿠마린(Coumarin) 염료를 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 여기 광은 적어도 대략 520 nm의 파장을 갖는다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 방법은 청색 파장에서 녹색 레이저 생성 프린지들을 관찰하는 단계를 더 포함한다.

일부 구현예들에서, 장치는 타겟을 향해 구조화된 조명을 방출하는 제1 광학 조립체를 포함한다. 제1 광학 조립체는, 발광 조립체, 발광 조립체에 의해 방출된 광에 제1 패턴을 부여하기 위한 제1 위상 마스크, 발광 조립체에 의해 방출된 광에 제2 패턴을 부여하기 위한 제2 위상 마스크, 및 제1 위상 마스크 및 제2 위상 마스크에 의해 구조화된 광의 상을 조정하기 위한 위상 조정 조립체를 포함한다. 장치는 제2 광학 조립체를 더 포함한다. 제2 광학 조립체는 제1 광학 조립체에 의해 조명되는 바와 같은 타겟의 이미지들을 캡처하기 위한 이미지 센서를 포함한다. 장치는 프로세서를 더 포함한다. 프로세서는 이미지 센서를 사용하여 캡처된 복수의 이미지들을 수신하며, 복수의 이미지들의 각각의 이미지는 제1 시야를 갖는다. 프로세서는 추가로 윈도우를 정의하며, 윈도우는 제2 시야가 제1 시야보다 작도록 제1 시야의 일부분을 나타내는 제2 시야를 정의한다. 프로세서는 추가로 복수의 이미지들의 각각의 이미지에 관하여 윈도우를 이동시킨다. 프로세서는 추가로, 복수의 이미지들의 각각의 이미지에 대해 윈도우를 이동시키는 동안 복수의 이미지들의 각각의 이미지로부터 복수의 서브-타일들을 캡처하며, 복수의 복수의 서브-타일들의 각각의 서브-타일은 복수의 이미지들의 대응하는 이미지의 일부분을 나타내고, 복수의 서브-타일들의 각각의 서브-타일에 의해 나타내지는 일부분은 복수의 서브-타일들의 서브-타일이 캡처되는 순간에 대응하는 위치에서 제2 시야에 의해 정의된다. 프로세서는 추가로, 복수의 서브-타일들의 각각의 서브-타일과 연관된 파라미터들을 추정하며, 파라미터들은 변조, 각도, 간격, 위상 오프셋, 및 위상 편차로 이루어진 군으로부터 선택되는 2개 이상의 파라미터들을 포함한다. 프로세서는 추가로, 복수의 서브-타일들의 각각의 서브-타일과 연관된 반치전폭(FWHM) 값을 추정한다. 프로세서는 추가로, 추정된 파라미터들 및 FWHM 값들을 미리결정된 포맷으로 저장한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 타겟은 샘플 용기를 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 타겟은 샘플 용기 내의 생물학적 샘플을 포함한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 발광 조립체는 적어도 2개의 채널들에서 광을 방출한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 적어도 2개의 채널들은 적어도 2개의 색상들을 포함하며, 적어도 2개의 색상들의 각각의 색상은 적어도 2개의 채널들의 대응하는 채널에 대응한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 제1 광학 조립체는 격자 전환기를 더 포함한다. 격자 전환기는 발광 조립체로부터 방출된 광을 제1 위상 마스크 또는 제2 위상 마스크를 향해 선택적으로 지향시키거나 허용한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 격자 전환기는 적어도 하나의 이동 가능 반사 요소를 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 격자 전환기는 이동가능한 반사 요소를 지지하는 회전가능 플레이트를 더 포함한다. 회전가능 플레이트는 회전가능하여 제1 위상 마스크 또는 제2 위상 마스크에 관하여 반사 요소를 선택적으로 위치설정시킴으로써, 발광 조립체로부터 방출된 광을 제1 위상 마스크 또는 제2 위상 마스크를 향해 선택적으로 지향시키거나 허용한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 위상 조정 조립체는 이동가능한 반사 요소를 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 위상 조정 조립체는 이동가능한 반사 요소를 이동시키기 위한 액추에이터를 더 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 액추에이터는 선형 경로를 따라 이동가능한 반사 요소를 이동시킨다.

본 발명의 내용에서의 2개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 액추에이터는 압전 소자를 포함한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로 중심 윈도우 파라미터를 추정하고, 중심 윈도우 파라미터는 제1 시야 내의 중심 구역에 대응한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로, 미리결정된 포맷으로 저장된 추정된 파라미터들 및 FWHM 값들과 추정된 중심 윈도우 파라미터의 조합에 적어도 부분적으로 기초하여 왜곡 모델을 추정한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로, 미리결정된 포맷으로 저장된 추정된 파라미터들과 FWHM 값들로부터 추정된 중심 윈도우 파라미터를 차감하는 것을 포함함으로써 왜곡 모델을 추정한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로, 차감의 결과에 대해 2차 표면 함수를 피팅함으로써 왜곡 모드를 추정한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로, 축소 추정량을 사용하는 것을 포함하는 차감의 결과에 2차 표면 함수를 피팅함으로써 왜곡 모드를 추정한다.

본 발명의 내용에서의 4개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로, 추정된 왜곡 모델에 대한 결정 계수를 계산하고, 계산된 결정 계수를 미리결정된 임계값과 비교함으로써 왜곡 모델을 검증한다.

본 발명의 내용에서의 5개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로, 위상 오프셋을 추정하고, 위상 오프셋을 추정된 왜곡 모델에 적용한다.

본 발명의 내용에서의 6개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로, 추정된 왜곡 모델에 적어도 부분적으로 기초하여 2차원 이미지를 생성하며, 2차원 이미지는 광학 시스템에서 왜곡들이 발생하는 곳을 나타내는 표현들을 포함한다.

본 발명의 내용에서의 6개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로, 광학 시스템에서 SIM을 사용하여 후속 복수의 이미지들을 캡처하고, 복수의 이미지들에 적어도 부분적으로 기초하여 고해상도 이미지를 생성한다. 고해상도 이미지를 생성하는 것은 추정된 왜곡 모델에 적어도 부분적으로 기초하여 후속 복수의 이미지들로부터의 데이터를 조정하는 것을 포함한다.

본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 장치의 일부 구현예들에서, 프로세서는 추가로, 광학 시스템에서 SIM을 사용하여 후속 복수의 이미지들을 캡처하고, 복수의 이미지들에 적어도 부분적으로 기초하여 고해상도 이미지를 생성한다. 고해상도 이미지를 생성하는 것은 미리결정된 포맷으로 저장된 추정된 파라미터들 및 FWHM 값들에 적어도 부분적으로 기초하여 후속 복수의 이미지들로부터의 데이터를 조정하는 것을 포함한다.

일부 구현예들에서, 방법은 광학 시스템에서 구조화된 조명 현미경(SIM)을 사용하여 복수의 이미지들을 캡처하는 단계를 포함한다. 복수의 캡처된 이미지들은 광학 타겟의 이미지들이다. 광학 타겟은 염료를 포함한다. 복수의 이미지들을 캡처하는 단계는 염료 내의 분자들을 여기하는 단계를 포함한다. 염료는 평균 방출 파장을 갖는다. 염료 내의 분자들을 여기하는 단계는 염료를 향해 여기 광을 방출하는 단계를 포함한다. 여기 광은 염료의 평균 방출 파장보다 실질적으로 더 긴 파장을 갖는다. 방법은 복수의 이미지들 내의 프린지들을 관찰하는 단계를 더 포함한다. 관찰된 프린지들은 제1 색상과 연관된 제1 파장에 있다. 관찰된 프린지들은 제2 색상과 연관된 제2 파장에서 광을 방출하는 광원에 의해 생성된다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 염료는 쿠마린 염료를 포함한다.

본 발명의 내용에서의 선행 단락에 기술된 것과 같은 방법의 일부 구현예들에서, 여기 광은 적어도 대략 520 nm의 파장을 갖는다.

본 발명의 내용에서의 3개의 선행 단락들 중 임의의 단락에서 기술된 것들 중 임의의 것과 같은 방법의 일부 구현예들에서, 제1 색상은 청색이고 제2 색상은 녹색이다.

일부 구현예들에서, 프로세서-판독가능 매체는 컴퓨팅 시스템으로 하여금, 본 발명의 내용에서의 선행 단락들 중 임의의 단락에서 기술된 방법들 중 임의의 하나 이상의 방법을 수행함으로써 데이터를 처리하게 하도록 구성된 콘텐츠를 포함한다.

아래에서 더 상세히 논의되는 전술한 개념들 및 추가의 개념들의 모든 조합은 (그러한 개념들이 상호 불일치하지 않는다면) 본 명세서에 개시된 발명 요지의 일부인 것으로 그리고 본 명세서에서 설명되는 바와 같은 이익/이점을 달성하기 위해 고려됨이 이해되어야 한다. 특히, 본 명세서의 끝부분에 나타나는 청구된 발명 요지의 모든 조합은 본 명세서에 개시된 발명 요지의 일부인 것으로 고려된다.

하나 이상의 구현예들의 상세사항이 첨부 도면 및 이하의 설명에 기재되어 있다. 다른 특징, 양태, 및 이점이 설명, 도면, 및 청구범위로부터 명백해질 것이다.
도 1a는 1차원(1D) 변조를 갖는 격자를 사용하는 것에 의한 모아레 프린지(Moire fringe) 형성의 예를 도시한다.
도 1b는 2차원(2D) 구조화된 조명 패턴에 의해 생성된 조명 강도들의 그래픽 예시를 도시한다.
도 1c는 나노웰(nanowell) 배열에 대한 기하학적 패턴의 예를 도시한다.
도 2는 샘플을 이미징하기 위해 공간적으로 구조화된 여기 광을 이용할 수 있는 SIM 생물학적 샘플 이미징 시스템의 개략도를 도시한다.
도 3은 도 2의 SIM 생물학적 샘플 이미징 시스템에서 사용하기 위한 대안적인 광학 조립체의 일례의 개략도를 도시한다.
도 4는 도 3의 광학 조립체의 위상 마스크 조립체의 개략도를 도시한다.
도 5a는 격자 전환기가 제1 상태에 있고 조정가능한 반사 요소가 제1 상태에 있는, 도 3의 광학 조립체의 개략도를 도시한다.
도 5b는 격자 전환기가 제1 상태에 있고 조정가능한 반사 요소가 제2 상태에 있는, 도 3의 광학 조립체의 개략도를 도시한다.
도 5c는 격자 전환기가 제2 상태에 있고 조정가능한 반사 요소가 제1 상태에 있는, 도 3의 광학 조립체의 개략도를 도시한다.
도 5d는 격자 전환기가 제2 상태에 있고 조정가능한 반사 요소가 제2 상태에 있는, 도 3의 광학 조립체의 개략도를 도시한다.
도 6a는 확대된 렌즈의 왜곡으로 인한 휘어진 평행 라인들의 간략화된 도시이다.
도 6b는 공칭적으로 평행한 라인들 사이의 간격의 파장들에 대해 이루어진 제1 세트의 측정치들을 예시한다.
도 6c는 공칭적으로 평행한 라인들 사이의 간격의 파장들에 대해 이루어진 제2 세트의 측정치들을 도시한다.
도 6d는 전체 시야(FOV) 이미지의 서브-타일들 또는 서브-필드(sub-field)들의 일례를 도시한다.
도 7은 SIM 이미징에서 왜곡 모델을 생성하고 적용하기 위한 프로세스의 일례의 흐름도를 도시한다.
도 8a 내지 도 8c는 이미지를 횡단하는 슬라이딩 윈도우의 개략도를 도시한다.
도 9는 왜곡 모델들을 추정하기 위한 프로세스의 일례를 보여주는 흐름도를 도시한다.
도 10은 안티-스톡스(Anti-Stokes) 방출의 개략도를 도시한다.
도면들 중 일부 또는 전부는 예시의 목적을 위한 개략도임이 인식될 것이다. 도면들은 그것들이 청구범위의 범주 또는 의미를 제한하는 데 사용되지 않을 것이라는 명확한 이해를 갖고 하나 이상의 구현예들을 도시하는 목적을 위하여 제공된다.

일부 양태들에서, SIM 시스템, 특히 뉴클레오티드 서열과 같은 생물학적 샘플을 이미징하는 데 사용되는 SIM 시스템 내의 이미징 광학계 및 연관된 광학 구성요소들과의 품질 제어 및 교정을 촉진하기 위한 방법들 및 시스템들이 본 명세서에 개시된다.

뉴클레오티드 서열들과 같은 생물학적 샘플들을 이미징하는 맥락에서, SIM은 수백만개의 샘플 점들로부터의 형광 신호들을 갖는 플로우 셀로부터 조밀하게 패킹된 샘플들을 분해하는 능력을 제공하여, 처리에 필요한 시약들을 줄이고 이미지 처리 효율을 증가시킬 수 있다. 일부 경우들에서, SIM은 인접 광원들을 분해하기 위한 아베(Abbe) 회절 한계보다 더 조밀하게 패킹된 형광 샘플들의 해상도를 가능하게 할 수 있다. 생물학적 샘플들은 유동 세포 상에 규칙적으로 이격된 나노웰들에 있을 수 있거나, 이들은 랜덤하게 분포된 클러스터들 내에 있을 수 있다. 인접한 나노웰들은 연관된 광학 시스템의 아베 회절 한계보다 서로 더 가깝게 위치될 수 있다. 본 예가 플로우 셀의 나노웰들 상의 생물학적 샘플들에 관한 것이지만, 본 명세서의 교시 내용들은 다양한 다른 배열들로 생물학적 샘플들에 적용될 수 있고; SIM을 채용하는 다른 유형들의 시스템들에 적용될 수 있다. 따라서, 본 명세서의 교시 내용들은 반드시 생물학적 샘플들의 이미징으로 제한되지 않는다.

I. 서론

구조화된 조명은 보통의 조명에서보다 몇 배만큼 많은 분해된 조명원들을 갖는 이미지들을 생성할 수 있다. 구조화된 조명의 다양한 각도들 및 위상 변위들을 갖는 다수의 이미지들이 밀접하게 이격되거나 달리 분해가능하지 않은 높은 공간 주파수 특징들을, 아베 회절 한계를 위반하지 않고서 광학 시스템에 의해 감지될 수 있는 하위 주파수 신호들로 변환시키기 위해 사용된다. 이러한 한계는 광 및 광학의 성질에 의해 이미징에 물리적으로 부과되며, 최종 대물 렌즈의 방출 파장 및 개구수(numerical aperture, NA)의 함수로서 표현된다. SIM 재구성을 적용하여, 다수의 이미지들로부터의 정보가 공간 도메인으로부터 푸리에 도메인으로 변환되고, 조합 및 처리되고, 이어서 향상된 이미지로 재구성된다. SIM 시스템 및 방법에서 처리되는 더 낮은 분해도의 소스 이미지들의 세트는 "SIM 스택"으로서 정의될 수 있다. 각각의 SIM 스택 내의 이미지들은 대응하는 z-위치 또는 이미징된 대상에 대한 소정 거리에 위치된 대물 렌즈로 획득될 수 있다. 동일한 대상에 대해 수 개의 SIM 스택들이 획득될 수 있는데, 각각의 SIM 스택은 동일한 대상의 다른 SIM 스택들의 z-위치와 상이한 z-위치를 갖는다.

SIM에서, 격자가 사용되거나, 또는 조명원과 샘플 사이에 간섭 패턴이 생성되어 사인 또는 코사인 함수에 따라 강도가 변하는 패턴과 같은 조명 패턴을 생성한다. SIM 맥락에서, 구조화된 조명 패턴을 생성하는 표면에 더하여, "격자"는 때때로 투사된 구조화된 조명 패턴을 지칭하는 데 사용된다. 구조화된 조명 패턴은 대안적으로 분할 간섭성 빔의 부분들 사이에 간섭 패턴으로서 생성될 수 있다.

예를 들어, 도 1에 도시된 바와 같은 샘플 평면 상으로의 구조화된 조명의 투사는 샘플 내의 형광(또는 반사) 공급원과 조명 패턴을 혼합하여, 때때로 모아레 프린지 또는 에일리어싱(aliasing)이라고도 하는 새로운 신호를 유도한다. 새로운 신호는 아베 회절 한계를 위반하지 않고서 캡처될 수 있는 더 낮은 공간 주파수로 높은 공간 주파수 정보를 시프트시킨다.

도 1a에 도시된 바와 같이, 1D 강도 변조 패턴으로 조명된 샘플의 이미지들, 또는 도 1b에 도시된 바와 같은 2D 강도 변조 패턴을 캡처한 후, 선형 방정식들의 시스템이 풀리고, 모아레 프린지 또는 에일리어싱의 다수의 이미지들로부터, 더 높은 공간 주파수로부터 더 낮은 공간 주파수로 시프트된 정보를 포함하는 새로운 신호의 부분들을 추출하는 데 사용된다.

선형 방정식들을 풀기 위해, 구조화된 조명 패턴이 단계적으로 시프트되거나 변위된 상태에서 몇몇 이미지들이 캡처된다. 각도당 다양한 위상들의 이미지들이 분석을 위해 캡처될 수 있고, 이어서 푸리에 도메인 시프트 및 재조합을 위한 대역들에 의해 분리될 수 있다. 이미지들의 수를 증가시키는 것은 신호 대 잡음비를 증가시킴으로써 재구성된 이미지들의 품질을 개선할 수 있다. 그러나, 이는 또한 계산 시간을 증가시킬 수 있다. 대역 분리된 이미지들의 푸리에 표현은 시프트되고 합산되어 재구성된 합을 생성한다. 결국, 역 고속 푸리에 변환(FFT)은 재구성된 합으로부터 새로운 고해상도 이미지를 재구성한다.

1D 변조된 조명에 대한 표준 알고리듬들은 2D 변조된 조명 패턴과 함께 사용될 때 수정을 수반할 수 있다. 이는 2D 대역 분리를 수반할 수 있는 조명 피크 간격 및 조명 피크 각도 추정을 포함할 수 있다. 수정은 또한 위상을 2차원으로 추정하기 위해 (하나 대신에) 2개의 점들로부터 작동하는 위커 위상 추정(Wicker phase estimation)을 포함할 수 있다. 1D 간섭 패턴은 도 1a에 도시된 바와 같은 1차원 회절 격자에 의해 또는 2개의 빔들의 간섭 패턴의 결과로서 생성될 수 있다. 일부 경우들에서, 샘플의 이미징 동안, 샘플의 프린지 패턴들의 3개의 이미지들이 다양한 패턴 위상들(예컨대, 0°, 120°, 및 240°)에서 획득되어, 샘플 상의 각각의 위치가 일정 범위의 조명 강도들에 노출되며, 광축을 중심으로 하여 패턴 배향을 2개(예컨대, 45°, 135°) 또는 3개(예컨대, 0°, 60° 및 120°)의 개별 각도들로 회전시킴으로써 절차가 반복된다.

도 1b는 2D 회절 격자에 의해 또는 2개의 쌍들의 간섭성 광 빔들의 간섭에 의해 생성될 수 있는 강도 분포를 예시한다. 특히, 2D 구조화된 조명은 서로 중첩된 2개의 직교하는 1D 회절 격자들에 의해 형성될 수 있다. 1D 구조화된 조명 패턴들의 경우에서와 같이, 2D 조명 패턴들은 2D 회절 격자들의 사용에 의해 또는 규칙적으로 반복되는 프린지 패턴을 생성하는 2개의 쌍들의 간섭성 광 빔들 사이의 간섭에 의해 생성될 수 있다. 2개의 광 빔들은 y-축을 따라 강도 패턴(수평의 밝고 어두운 라인들)을 생성하고, 따라서 y-쌍의 입사 빔들로 지칭된다. 추가의 2개의 광 빔들이 x-축을 따라 강도 패턴(수직의 밝고 어두운 라인들)을 생성하고, x-쌍의 입사 빔들로 지칭된다. x-쌍의 광빔에 대한 y-쌍의 간섭은 2D 조명 패턴을 생성한다. 도 1b는 그러한 2D 조명 패턴의 강도 분포를 도시한다.

도 1c는 직사각형의 모서리들에 위치된 플로우 셀의 표면에서의 나노웰들(10)의 배열을 예시한다. 도 1c는 또한 나노웰들(10) 상에 투사된 구조화된 조명 프린지 패턴의 라인들(20)을 도시한다. 도시된 예에서, 라인들(20)은 나노웰들(10)의 정렬에 대해 약간의 각도로 오프셋되어, 라인들(20)이 나노웰들(10)의 행들 또는 나노웰들(10)의 열들과 완벽하게 정렬되지 않는다(또는 평행하지 않다). 대안적으로, 라인들(20)은 나노웰들(10)의 열들 또는 행들의 정렬; 또는 나노웰들(10)의 다른 공간적 배열과 임의의 다른 적합한 공간적 관계를 가질 수 있다. 1D 구조화된 조명을 사용하는 경우, 조명 피크 각도는, 이미지들이 직사각형의 대각선으로 대향하는 모서리들을 연결하는 라인을 따라 취해지도록 선택된다. 예를 들어, 3개의 이미지들의 2개의 세트들(총 6개의 이미지들)이 +45도 각도 및 -45도의 각도에서 취해질 수 있다. 대각선을 따른 거리가 직사각형의 임의의 2개의 변들 사이의 거리보다 길기 때문에, 더 높은 해상도의 이미지가 달성된다. 나노웰들(10)은 육각형과 같은 다른 기하학적 배열들로 배열될 수 있다. 이어서, 3개 이상의 이미지들이 육각형의 3개의 대각선들의 각각을 따라 취해져서, 예를 들어, 9개 또는 15개의 이미지들이 생성될 수 있다.

II. 용어

구조화된 조명 파라미터를 지칭하기 위해 본 명세서에 사용되는 바와 같이, 용어 "주파수"는, 주파수 및 주기가 역의 관계에 있기 때문에, 구조화된 조명 패턴의 프린지들 또는 라인들(예컨대, 프린지 또는 그리드 패턴) 사이의 간격의 역상을 지칭하도록 의도된다. 예를 들어, 프린지들 사이에 더 큰 간격을 갖는 패턴은 프린지들 사이에 더 작은 간격을 갖는 패턴보다 더 낮은 주파수를 가질 것이다.

구조화된 조명 파라미터를 지칭하기 위해 본 명세서에 사용되는 바와 같이, 용어 "위상"은 샘플을 조명하는 구조화된 조명 패턴의 위상을 지칭하도록 의도된다. 예를 들어, 위상은 구조화된 조명 패턴을 조명된 샘플에 대해 병진시킴으로써 변경될 수 있다.

구조화된 조명 파라미터를 지칭하기 위해 본 명세서에 사용되는 바와 같이, 용어 "배향"은 구조화된 조명 패턴(예컨대, 프린지 또는 그리드 패턴)과 패턴에 의해 조명되는 샘플 사이의 상대 배향을 지칭하도록 의도된다. 예를 들어, 배향은 조명된 샘플에 대해 구조화된 조명 패턴을 회전시킴으로써 변경될 수 있다.

구조화된 조명 파라미터를 지칭하기 위해 본 명세서에 사용되는 바와 같이, 용어 "예측하다" 또는 "예측하는 것"은 (i) 파라미터를 직접 측정하지 않고서 파라미터의 값(들)을 계산하는 것, 또는 (ii) 파라미터에 대응하는 캡처된 이미지로부터 파라미터를 추정하는 것을 의미하도록 의도된다. 예를 들어, 구조화된 조명 패턴의 위상은 시간 t1에서, 시간 t2 및 시간 t3에서 (예컨대, 캡처된 위상 이미지들로부터) 직접 측정되거나 추정된 위상 값들 사이의 보간에 의해 예측될 수 있으며, 여기서 t2 < t1 < t3이다. 다른 예로서, 구조화된 조명 패턴의 주파수는 시간 t1에서, 시간 t2 및 t3에서 (예컨대, 캡처된 위상 이미지들로부터) 직접 측정되거나 추정된 주파수 값들로부터의 외삽에 의해 예측될 수 있으며, 여기서 t2 < t3 < t1이다.

회절 격자에 의해 회절되는 광을 지칭하기 위해 본 명세서에 사용되는 바와 같이, 용어 "차(order)" 또는 "차수"는 보강 간섭을 위한 회절 격자의 인접한 슬릿들 또는 구조물들로부터의 광의 경로 길이 차이를 나타내는 정수 파장들의 수를 의미하도록 의도된다. 반복되는 일련의 격자 구조물들 또는 다른 빔 분할 구조체들 상의 입사 광 빔의 상호작용은 광 빔의 부분들을 원래의 빔으로부터 예측가능한 각도 방향들로 재지향시키거나 회절시킬 수 있다. 용어 "0차" 또는 "0차 최대"는 회절이 없는 회절 격자에 의해 방출되는 중심의 밝은 프린지를 지칭하도록 의도된다. 용어 "1차"는 0차 프린지의 양측으로 회절된 2개의 밝은 프린지들을 지칭하도록 의도되며, 여기서 경로 길이 차이는 ±1 파장이다. 더 높은 차수들은 원래의 빔으로부터 더 큰 각도들로 회절된다. 격자의 특성들은 빔 강도 중 얼마나 많이 다양한 차수들로 지향되는지를 제어하도록 조작될 수 있다. 예를 들어, 위상 격자는 0차가 아닌 빔들의 송신을 최대화하고 0차인 빔의 송신을 최소화하도록 제조될 수 있다.

본 명세서에 사용되는 바와 같이, 용어 "광학 전달 함수(optical transfer function)" 또는, 그의 약어 형태 "OTF"는 공간 주파수의 함수로서 이미징 시스템의 응답을 기술하는 복소값 전달 함수를 의미하도록 의도된다. OTF는 점 확산 함수(point spread function)의 푸리에 변환으로부터 유도될 수 있다. 본 명세서에 기술된 예들에서, OTF의 진폭 부분만이 중요하다. OTF의 진폭 부분은 "변조 전달 함수(modulation transfer function)"로 지칭될 수 있거나, 약어로 "MTF"일 수 있다.

본 명세서에서 샘플을 지칭하기 위해 사용된 용어 "특징(feature)"은 상대 위치에 따라 다른 점들 또는 영역들과 구별될 수 있는 패턴의 점 또는 영역을 의미하도록 의도된다. 개별 특징은 특정 유형의 하나 이상의 분자들을 포함할 수 있다. 예를 들어, 특징은 특정 서열을 갖는 단일 타겟 핵산 분자를 포함할 수 있거나, 또는 특징은 동일한 서열(및/또는 그의 상보적 서열)을 갖는 몇몇 핵산 분자들을 포함할 수 있다.

본 명세서에 사용되는 바와 같이, 용어 "xy 평면"은 직교 좌표계에서 직선 축들 x 및 y에 의해 정의되는 2차원 영역을 의미하도록 의도된다. 검출기 및 검출기에 의해 관찰된 객체를 참조하여 사용될 때, 영역은 빔 축, 또는 검출기와 검출되고 있는 객체 사이의 관찰 방향에 직교하는 것으로서 추가로 특정될 수 있다.

본 명세서에 사용되는 바와 같이, 용어 "z 좌표"는 직교 좌표계에서 xy 평면에 직교하는 축들을 따른 점, 선 또는 영역의 위치를 특정하는 정보를 의미하도록 의도된다. 특정 구현예들에서, z축은 검출기에 의해 관찰되는 대상의 영역에 직교한다. 예를 들어, 광학 시스템에 대한 포커스 방향은 z축을 따라 특정될 수 있다.

본 명세서에 사용되는 바와 같이, 용어 "광학적으로 결합된"은 하나의 요소가 직접 또는 간접적으로 다른 요소에 광을 부여하도록 구성되는 것을 지칭하도록 의도된다.

본 명세서에 사용되는 바와 같이, 단수 형태로 언급되고 단어 "a" 또는 "an"에 뒤따르는 요소 또는 단계는 복수의 상기 요소들 또는 단계들을 배제하지 않는 것으로(그러한 배제가 명시적으로 언급되지 않는 한) 이해되어야 한다. 추가로, "하나의 구현예"에 대한 언급은 언급된 특징들을 또한 포함하는 추가 구현예들의 존재를 배제하는 것으로 해석되도록 의도되지 않는다. 더욱이, 명시적으로 반대로 언급되지 않는 한, 특정 성질을 갖는 하나의 요소 또는 복수의 요소들을 "포함하는" 또는 "갖는" 구현예들은 그러한 성질을 갖든 그렇지 않든 간에 추가 요소들을 포함할 수 있다.

본 명세서 전반에 걸쳐 사용되는 용어 "실질적으로", "약", 및 "대략"은, 예를 들어, 처리에 있어서의 변화로 인한 작은 변동을 기술하고 설명하는 데 사용된다. 예를 들어, 이들은 ±5% 이하, 예컨대 ±2% 이하, 예컨대 ±1% 이하, 예컨대 ±0.5% 이하, 예컨대 ±0.2% 이하, 예컨대 ±0.1% 이하, 예컨대 ±0.05% 이하를 지칭할 수 있다.

용어 "~에 기초한"은, 어떤 것이 "~에 기초한"으로 표시되는 것에 의해 적어도 부분적으로 결정되는 것을 의미하는 것으로 이해되어야 한다. 반드시 무엇이 완전히 다른 것에 의해 결정되어야 한다는 것을 나타내기 위해, 무엇에 의해 그것이 완전히 결정되던지 간에 그 무엇에 전적으로 기초한다고 기술된다.

본 명세서에 사용되는 바와 같이, 용어 "뉴클레오티드 서열" 또는 "폴리뉴클레오티드 서열"은, 문맥에 따라, 폴리뉴클레오티드 분자뿐만 아니라 분자의 기초가 되는 서열을 포함하는 것으로 이해되어야 한다. 폴리뉴클레오티드의 서열은 특정 물리적 특성들을 나타내는 정보를 포함할 수 있다(또는 인코딩할 수 있다).

III. 이미징 시스템 구성요소들 및 배열들의 예들

SIM 시스템들의 일부 구현예들에서, 선형 편광된 광 빔은 광학 빔 스플리터를 통하도록 지향되고, 광학 빔 스플리터는 빔을 사인파 강도 변동을 갖는 간섭 프린지 패턴으로서 이미징된 샘플에 조합 및 투사될 수 있는 2개 이상의 별개의 차수들로 빔을 분할한다. 분할된 빔들은 샘플 평면에서의 최대 변조를 달성하기 위해 출력이 동등하다. 회절 격자들은 높은 정도의 간섭성 및 안정된 전파 각도들을 갖는 빔들을 생성할 수 있는 빔 스플리터들의 예들이다. 2개의 그러한 빔들이 조합될 때, 이들 사이의 간섭은 균일하고 규칙적으로 반복되는 프린지 패턴을 생성할 수 있는데, 여기서 간격은 간섭 빔들 사이의 각도를 포함하는 인자들에 의해 결정된다. 프린지 주기성(FP), 입사각(θ) 및 광의 파장(λ) 사이의 관계는 다음의 방정식 (I)로 표현될 수 있다:

여기서, 프린지 주기(FP) 및 광의 파장(λ)은 동일한 단위(예컨대, nm)이고, θ는 라디안 단위로 표현되는 표면 법선에 대한 입사각이다.

도 2 내지 도 4b는 SIM 이미징 시스템들이 취할 수 있는 상이한 형태들의 예들을 예시한다. 이들 시스템들이 1D 조명 패턴들을 생성하는 SIM 이미징 시스템들의 맥락에서 주로 설명되지만, 본 명세서에 개시된 기술은 더 높은 치수의 조명 패턴들(예컨대, 2차원 그리드 패턴들)을 생성하는 SIM 이미징 시스템들로 구현될 수 있다는 것에 유의한다.

도 2는 본 명세서에 기술된 일부 구현예들에 따른, 구조화된 조명 파라미터 예측을 구현할 수 있는 SIM 이미징 시스템(100)을 예시한다. 예를 들어, 시스템(100)은 생물학적 샘플을 이미징하기 위해 공간적으로 구조화된 여기 광을 이용하는 구조화된 조명 형광 현미경 시스템일 수 있다.

도 2의 예에서, 발광기(150)는 광 빔을 출력하도록 구성되고 이는 시준 렌즈(151)에 의해 시준된다. 시준된 광은 광 구조화 광학 조립체(155)에 의해 구조화되고(패턴화되고), 이색성 미러(160)에 의해 대물 렌즈(142)를 통해, 동작 스테이지(170) 상에 위치되는 샘플 용기(110)의 샘플 상으로 지향된다. 형광 샘플의 경우에, 샘플은 구조화된 여기 광에 응답하여 형광을 발하고, 생성된 광은 대물 렌즈(142)에 의해 집광되고, 카메라 시스템(140)의 이미지 센서로 지향되어 형광을 검출한다.

광 구조화 광학 조립체(155)는 샘플 용기(110)의 샘플들 상에 투사되는 광의 패턴(예컨대, 프린지들, 전형적으로 사인곡선형임)을 생성하기 위해 하나 이상의 광학 회절 격자들 또는 다른 빔 분할 요소들(예컨대, 빔 스플리터 큐브 또는 플레이트)를 포함한다. 회절 격자들은 1차원 또는 2차원 투과성 또는 반사형 격자들일 수 있다. 회절 격자들은 사인파 진폭 격자들 또는 사인파 위상 격자들일 수 있다. 일부 버전들에서, 광 구조화 광학 조립체(155)는 위상 마스크들의 쌍을 포함하며, 여기서 각각의 위상 마스크는 유리 내로 에칭되는 눈금들을 갖는 유리 조각을 포함한다.

일부 구현예들에서, 회절 격자(들)는 구조화된 조명 패턴의 배향을 변화시키기 위해 회전 스테이지를 이용하지 않을 수 있다. 다른 구현예들에서, 회절 격자(들)는 회전 스테이지 상에 장착될 수 있다. 일부 구현예들에서, 회절 격자들은 이미징 시스템의 동작 동안 고정될 수 있다(즉, 회전 또는 선형 운동을 필요로 하지 않을 수 있다). 예를 들어, 하기에 추가로 기술되는 특정 구현예에서, 회절 격자들은 서로 수직으로 배향된 2개의 고정된 1차원 투과성 회절 격자들(예컨대, 수평 회절 격자 및 수직 회절 격자)을 포함할 수 있다.

도 2의 예에 예시된 바와 같이, 광 구조화 광학 조립체(155)는 0차수들을 포함하는 모든 다른 차수들을 차단 또는 최소화하면서 회절된 광 빔들의 제1 차수들을 출력한다. 그러나, 대안적인 구현예들에서, 추가의 광 차수들이 샘플 상으로 투사될 수 있다.

각각의 이미징 사이클 동안, 이미징 시스템(100)은 광 구조화 광학 조립체(155)를 이용하여 다양한 위상들에서 복수의 이미지들을 획득하며, 이때 프린지 패턴은 변조 방향으로(예컨대, x-y 평면에서 그리고 프린지들에 수직으로) 측방향으로 변위되고, 이 절차는 광축을 중심으로(즉, 샘플의 x-y 평면에 대해) 패턴 배향을 회전시킴으로써 1회 이상 반복하였다. 이어서, 캡처된 이미지들은 더 높은 해상도 이미지(예컨대, 개별 이미지들의 측방향 공간 해상도의 약 2배를 갖는 이미지)를 생성하도록 계산적으로 재구성될 수 있다.

시스템(100)에서, 발광기(150)는 비간섭성 발광기(예컨대, 하나 이상의 여기 다이오드들에 의해 출력되는 광 빔들을 방출함)일 수 있거나, 또는 하나 이상의 레이저들 또는 레이저 다이오드들에 의해 출력되는 광의 이미터와 같은 간섭성 발광기일 수 있다. 시스템(100)의 예에 예시된 바와 같이, 발광기(150)는 출력될 광학 빔을 안내하기 위한 광섬유(152)를 포함한다. 그러나, 다른 구성들의 발광기(150)가 사용될 수 있다. 다중-채널 이미징 시스템(예컨대, 다수의 파장들의 광을 이용하는 다중-채널 형광 현미경)에서 구조화된 조명을 이용하는 구현예들에서, 광섬유(152)는 복수의 상이한 광원들(도시되지 않음)에 광학적으로 결합될 수 있으며, 각각의 광원은 상이한 파장의 광을 방출할 수 있다. 시스템(100)이 단일 발광기(150)를 갖는 것으로 예시되어 있지만, 일부 구현예들에서 다수의 발광기들(150)이 포함될 수 있다. 예를 들어, 다수의 아암들을 이용하는 구조화된 조명 이미징 시스템의 경우에 다수의 발광기들이 포함될 수 있으며, 이는 아래에서 추가로 논의된다.

일부 구현예들에서, 시스템(100)은 구조화된 빔 형상 및 경로를 조정하기 위해 z-축을 따라 관절운동하는 렌즈 요소를 포함할 수 있는 투사 렌즈(156)를 포함할 수 있다. 예를 들어, 투사 렌즈(156)의 구성요소는 용기(110) 내의 샘플의 샘플 두께(예컨대, 상이한 커버 유리 두께)의 범위를 고려하도록 관절운동될 수 있다.

시스템(100)의 예에서, 유체 전달 모듈 또는 디바이스(190)는 시약들(예컨대, 형광 표지된 뉴클레오티드, 완충제들, 효소들, 절단 시약들 등)의 유동을 샘플 용기(110) 및 폐기물 밸브(120)로 (그리고 그를 통해) 지향시킬 수 있다. 샘플 용기(110)는 샘플들이 상부에 제공되는 하나 이상의 기재들을 포함할 수 있다. 예를 들어, 다수의 상이한 핵산 서열들을 분석하기 위한 시스템의 경우에, 샘플 용기(110)는 서열화될 핵산이 결합되어 있거나 부착되거나 회합되는 하나 이상의 기재들을 포함할 수 있다. 기재는 예를 들어, 유리 표면들, 플라스틱 표면들, 라텍스, 덱스트란, 폴리스티렌 표면들, 폴리프로필렌 표면들, 폴리아크릴아미드 겔들, 금 표면들, 및 규소 웨이퍼들과 같은, 핵산이 부착될 수 있는 임의의 불활성 기재 또는 매트릭스를 포함할 수 있다. 일부 응용들에서, 기재는 샘플 용기(110)를 가로질러 매트릭스 또는 어레이로 형성된 복수의 위치들에서 채널 또는 다른 영역 내에 있다. 시스템(100)은 또한 샘플 용기(110) 내의 유체의 온도 상태들을 선택적으로 조절할 수 있는 온도 스테이션 액추에이터(130) 및 히터/냉각기(135)를 포함할 수 있다.

특정 구현예들에서, 샘플 용기(110)는 투명 커버 플레이트, 기재, 및 그들 사이에 수용된 액체를 포함하는 패턴화된 플로우 셀로서 구현될 수 있고, 생물학적 샘플은 투명 커버 플레이트의 내부 표면 또는 기재의 내부 표면에 위치될 수 있다. 플로우 셀은 기재 내로 한정된 어레이(예컨대, 육각형 어레이, 직사각형 어레이 등)로 패턴화되는 큰 수(예컨대, 수천, 수백만 또는 수십억 개)의 웰들(나노웰들로도 지칭됨) 또는 구역들을 포함할 수 있다. 각각의 구역은 DNA, RNA, 또는 예를 들어, 합성에 의한 서열화를 사용하여 서열화될 수 있는 다른 게놈 재료와 같은 생물학적 샘플의 클러스터(예컨대, 단클론 클러스터)를 형성할 수 있다. 플로우 셀은 다수의 이격된 레인들(예컨대, 8개의 레인들)로 추가로 분할될 수 있으며, 각각의 레인은 클러스터들의 육각형 어레이를 포함할 수 있다.

샘플 용기(110)는 대물 렌즈(142)에 대한 샘플 용기(110)의 이동 및 정렬을 제공하기 위해 샘플 스테이지(170) 상에 장착될 수 있다. 샘플 스테이지는 3개 차원들 중 임의의 차원으로 이동할 수 있게 하는 하나 이상의 액추에이터들을 가질 수 있다. 예를 들어, 직교 좌표계의 관점에서, 액추에이터들은 스테이지가 대물 렌즈에 대해 x-, y- 및 z-방향들로 이동할 수 있게 하기 위해 제공될 수 있다. 이는 샘플 용기(110) 상의 하나 이상의 샘플 위치들이 대물 렌즈(142)와 광학적으로 정렬되어 위치될 수 있게 할 수 있다. 대물 렌즈(142)에 대한 샘플 스테이지(170)의 이동은 샘플 스테이지 자체, 대물 렌즈, 이미징 시스템의 일부 다른 구성요소, 또는 전술한 것들의 임의의 조합을 이동시킴으로써 달성될 수 있다. 추가의 구현예들은 또한 고정 샘플에 걸쳐 전체 이미징 시스템을 이동시키는 것을 포함할 수 있다. 대안적으로, 샘플 용기(110)는 이미징 동안 고정될 수 있다.

일부 구현예들에서, 포커스(z-축) 구성요소(175)가, 포커스 방향(전형적으로 z-축 또는 z-방향으로 지칭됨)으로 샘플 용기(110)에 대한 광학 구성요소들의 위치설정을 제어하기 위해 포함될 수 있다. 포커스 성분(175)은 광학 구성요소들(예컨대, 대물 렌즈(142))에 대해 샘플 스테이지(170) 상의 샘플 용기(110)를 이동시켜 이미징 작업을 위한 적절한 포커싱을 제공하기 위해 광학 스테이지 또는 샘플 스테이지, 또는 둘 모두에 물리적으로 결합된 하나 이상의 액추에이터들을 포함할 수 있다. 예를 들어, 액추에이터는 예를 들어, 기계적, 자기적, 유체적 또는 기타 부착에 의해 각각의 스테이지에 물리적으로 결합될 수 있거나, 스테이지에 직접 또는 간접적으로 접촉할 수 있다. 하나 이상의 액추에이터들은 샘플 스테이지를 동일한 평면 내에 유지(예컨대, 광축에 수직인 레벨 또는 수평 자세를 유지)하면서 스테이지를 z-방향으로 이동시키도록 구성될 수 있다. 하나 이상의 액추에이터들은 또한 스테이지를 틸팅하도록 구성될 수 있다. 예를 들어, 이는 샘플 용기(110)가 그의 표면들 내의 임의의 기울기를 고려하여 동적으로 레벨링될 수 있도록 수행될 수 있다.

이미징되는 샘플 위치에서 시험 샘플로부터 나오는 구조화된 광은 카메라 시스템(140)의 하나 이상의 검출기들로 이색성 미러(160)를 통해 지향될 수 있다. 일부 구현예들에서, 하나 이상의 방출 필터들을 갖는 필터 전환 조립체(165)가 포함될 수 있으며, 여기서 하나 이상의 방출 필터들은 특정 방출 파장들을 통과시키고 다른 방출 파장들을 차단(또는 반사)하는 데 사용될 수 있다. 예를 들어, 하나 이상의 방출 필터들은 이미징 시스템의 상이한 채널들 사이에서 전환하는 데 사용될 수 있다. 특정 구현예에서, 방출 필터들은 상이한 파장의 방출 광을 카메라 시스템(140)의 상이한 이미지 센서들로 지향시키는 이색성 미러들로서 구현될 수 있다.

카메라 시스템(140)은 샘플 용기(110)의 이미징(예컨대, 서열화)을 모니터링하고 추적하기 위한 하나 이상의 이미지 센서들을 포함할 수 있다. 예를 들어, 카메라 시스템(140)은 CCD(charge-coupled device) 이미지 센서 카메라로서 구현될 수 있지만, 다른 이미지 센서 기술들(예컨대, 액티브 픽셀 센서)이 사용될 수 있다. 카메라 시스템(140) 및 연관된 광학 구성요소들이 도 2의 샘플 용기(110) 위에 위치되는 것으로 도시되어 있지만, 하나 이상의 이미지 센서들 또는 다른 카메라 구성요소가 본 명세서의 교시 내용들을 고려하여 당업자에게 명백할 바와 같이 많은 다른 방식들로 시스템(100) 내로 통합될 수 있다. 예를 들어, 하나 이상의 이미지 센서들이 샘플 용기(110) 아래에 위치될 수 있거나, 심지어 샘플 용기(110) 내에 통합될 수 있다.

카메라 시스템(140)으로부터의 출력 데이터(예컨대, 이미지들)는, 하기에 추가로 기술되는 바와 같이, 더 높은 공간 해상도를 갖는 이미지를 생성하기 위해 각각의 이미징 사이클 동안 캡처된 이미지들을 재구성할 수 있는 소프트웨어 애플리케이션으로서 구현될 수 있는 실시간 SIM 이미징 구성요소(191)로 통신될 수 있다. 재구성된 이미지들은 시간 경과에 따라 예측되는 구조 조명 파라미터들의 변화들을 고려할 수 있다. 또한, SIM 이미징 구성요소(191)는 예측된 SIM 파라미터들을 추적하고/하거나 사전에 추정되고/되거나 예측된 SIM 파라미터들을 고려하여 SIM 파라미터들의 예측들을 행하는 데 사용될 수 있다.

제어기(195)는 시스템(100)의 다양한 광학 구성요소들을 동기화하는 것을 포함하여, 구조화된 조명 이미징 시스템(100)의 작동을 제어하도록 제공될 수 있다. 제어기는 예를 들어, 광 구조화 광학 조립체(155)의 구성(예컨대, 회절 격자들의 선택 및/또는 선형 병진운동), 투사 렌즈(156)의 이동, 포커스 성분(175)의 활성화, 스테이지 이동, 및 이미징 동작들과 같은 시스템 동작의 양태들을 제어하도록 구현될 수 있다. 제어기는 또한 시간 경과에 따른 구조화된 조명 파라미터들의 변화를 보정하기 위해 시스템(100)의 하드웨어 요소들을 제어하도록 구현될 수 있다. 예를 들어, 제어기는 시간 경과에 따른 구조화된 조명 위상, 주파수, 및/또는 배향의 변화들을 보정하거나 보상하기 위해 광 구조화 광학 조립체(155), 동작 스테이지(170), 또는 시스템(100)의 일부 다른 요소의 구성을 제어하는 모터들 또는 다른 디바이스들로 제어 신호들을 전송하도록 구성될 수 있다. 구현예들에서, 이러한 신호들은 SIM 이미징 구성요소(191)를 사용하여 예측된 구조화된 조명 파라미터들에 따라 전송될 수 있다. 일부 구현예들에서, 제어기(195)는 상이한 시간들 및/또는 샘플 위치들에 대응하는 예측되고/되거나 추정된 구조화된 조명 파라미터들을 저장하기 위한 메모리를 포함할 수 있다.

다양한 구현예들에서, 제어기(195)는 하드웨어, 알고리듬들(예컨대, 기계 실행가능 명령어들), 또는 전술한 것들의 조합을 사용하여 구현될 수 있다. 예를 들어, 일부 구현예들에서, 제어기는 하나 이상의 CPU들, GPU들, 또는 연관된 메모리를 갖는 프로세서들을 포함할 수 있다. 다른 예로서, 제어기는 컴퓨터 프로세서 및 기계 판독가능 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체와 같은, 동작을 제어하기 위한 하드웨어 또는 다른 회로를 포함할 수 있다. 예를 들어, 이 회로는 다음 중 하나 이상을 포함할 수 있다: 필드 프로그램가능 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 프로그램가능 로직 디바이스(PLD), 복합 프로그램가능 로직 디바이스(CPLD), 프로그램가능 로직 어레이(PLA), 프로그램가능 어레이 로직(PAL) 및 다른 유사한 처리 디바이스 또는 회로. 또 다른 예로서, 제어기는 이 회로부와 하나 이상의 프로세서들의 조합을 포함할 수 있다.

도 3은 (예컨대, 광학 조립체(155) 대신에) 시스템 내에 통합될 수 있는 대안적인 광학 조립체(200)의 예를 도시한다. 이러한 예의 광학 조립체(200)는 발광 조립체(210), 고정된 반사 요소(220), 위상 마스크 조립체(230), 격자 전환기(250), 조정가능한 반사 요소(270), 및 투사 렌즈 조립체(280)를 포함한다. 발광 조립체(210)는 간섭성 광원(예컨대, 적어도 하나의 레이저 등) 및 아나모픽(anamorphic) 프리즘들의 쌍, 비간섭성 광원 및 시준기, 또는 본 명세서의 교시 내용들을 고려하여 당업자에게 명백할 바와 같이 임의의 다른 적합한 구성요소들을 포함하지만 이로 한정되지 않는 다양한 구성요소들을 포함할 수 있다. 일부 버전들에서, 발광 조립체(210)는 2개 이상의 별개의 채널들(예컨대, 청색 채널 및 녹색 채널)을 통해 광을 방출하도록 작동가능하다. 광이 2개 이상의 별개의 채널들에서 방출되는 버전들에서, 시스템(100)은 2개 이상의 대응하는 이미지 센서들을 포함할 수 있어서, 각각의 이미지 센서는 대응하는 이미지 센서에 전용된다. 또한, 일부 버전들에서, 발광 조립체(210)는 미리결정된 주파수에서 (예컨대, 고속 셔터 등을 사용하여) 펄스 형태로 광을 방출하도록 작동가능하다.

본 예의 반사 요소(220)는 광학 조립체(200)의 다른 구성요소들에 대해 위치가 고정된 미러를 포함한다. 아래에서 더 상세히 설명되는 바와 같이, 반사 요소(220)는 광학 조립체(200)의 작동 동안 발광 조립체(210)로부터 방출된 광을 위상 마스크 조립체(230) 및 격자 전환기(250)를 향해 반사하도록 위치되고 구성된다.

도 4에서 가장 잘 볼 수 있는 바와 같이, 본 예의 위상 마스크 조립체(230)는 기부(240)에 고정식으로 장착된 삼각형 유리 요소들(232, 242)의 쌍을 포함한다. 각각의 유리 요소(232, 242)는 유리 요소(232, 242)의 일 측면을 따른 반사기(234, 244)를 포함한다. 각각의 유리 요소(232, 242)는 또한 유리 요소(232, 242)의 다른 측면을 따른 위상 마스크(236, 246)를 포함한다. 본 예에서, 각각의 위상 마스크(236, 246)는 유리 요소(232, 242)의 유리 내로 에칭된 격자 또는 프린지 패턴을 형성하는 눈금들(예컨대, 평행 슬릿들 또는 홈들 등)을 포함한다. 눈금 간격은 적합한 각도들로 광을 회절시키도록 선택될 수 있으며 시스템(100)의 작동을 위해 이미징된 샘플들의 최소 분해가능한 특징 크기로 조정될 수 있다. 아래에서 더 상세히 기술되는 바와 같이, 이들 위상 마스크들(236, 246)은 광학 조립체(200)의 작동 동안 모아레 프린지 또는 에일리어싱을 생성하도록 구성된다. 본 예에서 위상 마스크들(236, 246)이 유리 요소들(232, 242)의 유리 내의 에칭된 눈금들에 의해 형성되지만, 위상 마스크들(236, 246)이 형성될 수 있는 다른 적합한 방식들이 본 명세서의 교시 내용들을 고려하여 당업자에게 명백할 것이다. 광학 조립체(200)의 작동 동안, 전체 위상 마스크 조립체(230)는 광학 조립체(200)의 다른 구성요소들에 대해 고정되어 유지된다.

시스템의 효율을 개선하기 위해, 각각의 위상 마스크(236, 246)에 의해 출력되는 0차 빔들 및 모든 다른 고차 회절 빔들이 차단될 수 있다(즉, 샘플(110) 상에 투사된 조명 패턴으로부터 필터링될 수 있다). 예를 들어, 차수 필터와 같은 빔 차단 요소(도시되지 않음)가 경로 위상 마스크 조립체(230) 뒤로 광학 내로 삽입될 수 있다. 일부 구현예들에서, 회절 격자 위상 마스크들(236, 246)은 빔들을 단지 제1 차수들만으로 회절시키도록 구성될 수 있고, 0차(비회절 빔)는 일부 빔 차단 요소에 의해 차단될 수 있다.

도 3에 도시된 바와 같이, 본 예의 격자 전환기(250)는 샤프트(254)에 장착된 플레이트(252)를 포함한다. 샤프트(254)는 추가로, 축(A)을 중심으로 샤프트(254) 및 플레이트(252)를 회전시키도록 작동가능한 모터(256)와 결합된다. 플레이트(252)의 하나의 단부(260)는 각각의 미러(262, 264)가 플레이트(252)의 대향 측에 장착되는 미러들(262, 264)의 쌍을 포함한다. 플레이트(252)의 다른 단부(266)는 후술되는 바와 같이 광이 통과할 수 있게 하는 개구(268)를 한정한다. 일부 버전들에서, 모터(256)는 스테퍼 모터이다. 대안적으로, 모터(256)는 임의의 다른 적합한 형태를 취할 수 있고, 모터(256)는 임의의 다른 적합한 회전 운동 공급원으로 대체될 수 있다. 도 5a 내지 도 5d에 도시된 바와 같이, 그리고 아래에서 더 상세히 설명되는 바와 같이, 모터(256)는, 축(A)을 중심으로 샤프트(254) 및 플레이트(252)를 회전시킴으로써 제1 상태(도 5a 및 도 5b) 및 제2 상태(도 5c 및 도 5d) 사이에서 격자 전환기(250)를 전이시키도록 활성화될 수 있다. 격자 전환기(250)가 제1 상태에 있을 때, 격자 전환기(250) 및 위상 마스크 조립체(230)는 제1 격자 각도를 제공할 수 있다. 격자 전환기(250)가 제2 상태에 있을 때, 격자 전환기(250) 및 위상 마스크 조립체(230)는 제2 격자 각도를 제공할 수 있다.

또한 도 3에 도시된 바와 같이, 본 예의 조정가능 반사 요소(270)는 액추에이터(272)와 결합되는 미러를 포함하여, 액추에이터(272)가 선형 경로(LP1)를 따라 반사 요소(270)를 구동시키도록 작동가능하다. 이 예에서, 선형 경로(LP1)는 축(A)과 평행하다. 일부 버전들에서, 액추에이터(272)는 압전 소자를 포함한다. 다른 예로서, 액추에이터(272)는 솔레노이드를 포함할 수 있다. 일부 다른 버전들에서, 액추에이터(272)는 회전 운동을 선형 운동으로 변환하도록 작동가능한 기계적 조립체(예컨대, 랙 및 피니언 또는 웜 기어 및 너트 등)와 결합되는 스테퍼 모터 또는 다른 회전 구동원을 포함한다. 아래에서 더 상세히 설명되는 바와 같이, 액추에이터(272)가 선형 경로(LP1)를 따라 반사 요소(270)의 위치를 변경함으로써, 액추에이터(272)와 반사 요소(270)는 광학 조립체(200)를 통해 투과되는 광에 위상 변조를 제공하도록 함께 작동가능하다. 다시 말하면, 액추에이터(272) 및 반사 요소(270)는 함께 위상 조정 조립체를 제공할 수 있다.

예로서, 액추에이터(272)는 액추에이터(272)의 작동 동안 대략 5 μm의 운동 범위에 걸쳐 반사 요소(270)를 구동시키도록 작동가능할 수 있으며, 이는 아래에서 더 상세히 설명되는 바와 같이 대략 240도의 프린지 이동을 제공할 수 있다. 대안적으로, 액추에이터(272)는 액추에이터(272)의 작동 동안 대략 2 μm 내지 대략 10 μm 범위의 운동 범위에 걸쳐 반사 요소(270)를 구동시키도록 작동가능할 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 액추에이터(272)는 선형 경로를 따른 이동 범위에 걸쳐 2개, 3개 또는 그 이상의 상이한 위치들에서 반사 요소의 움직임을 정지시키도록 구동될 수 있다.

투사 렌즈 조립체(280)는 하나 이상의 렌즈 요소들(예컨대, 튜브 렌즈) 및 본 명세서의 교시 내용들을 고려하여 당업자에게 명백할 바와 같은 다양한 다른 구성요소들을 포함할 수 있다. 투사 렌즈 조립체(280)를 통과한 광은 궁극적으로 샘플 용기(110)(예컨대, 플로우 셀 등)에 도달할 수 있다. 일부 경우들에서, 이는 샘플 용기(110) 내의 생물학적 물질이 형광을 발하게 할 수 있으며, 이때 그러한 형광은 생물학적 물질의 분석을 가능하게 하도록 이미지 센서(예컨대, 카메라 시스템(140)의 이미지 센서)에 의해 픽업될 수 있다. 본 예의 투사 렌즈 조립체(280)는 선형 경로(LP2)를 따라 투사 렌즈 조립체(280)의 적어도 일부분을 구동하도록 작동가능한 액추에이터(282)와 결합된다. 일부 버전들에서, 액추에이터(282)는 압전 소자를 포함한다. 다른 예로서, 액추에이터(282)는 솔레노이드를 포함할 수 있다. 일부 다른 버전들에서, 액추에이터(282)는 회전 운동을 선형 운동으로 변환하도록 작동가능한 기계적 조립체(예컨대, 랙 및 피니언 또는 웜 기어 및 너트 등)와 결합되는 스테퍼 모터 또는 다른 회전 구동원을 포함한다. 아래에서 더 상세히 설명되는 바와 같이, 액추에이터(282)는 선형 경로(LP2)를 따라 투사 렌즈 조립체(280)의 적어도 일부분의 위치를 변경하며, 액추에이터(282) 및 투사 렌즈 조립체(280)는 SIM 격자 포커스 평면의 조정을 제공하도록 함께 작동가능하다.

위에 언급된 바와 같이, 본 예의 시스템(100)은 제어기(195)를 포함한다. 제어기(195)는 광학 조립체(200) 및 시스템(100)의 다양한 구성요소들을 동기화하는 것을 포함하여, 광학 조립체(200) 및 시스템(100)의 다른 특징부들의 동작을 제어하는 데 사용될 수 있다. 제어기(195)는 예를 들어, 모터(256)의 활성화, 액추에이터(272)의 활성화, 액추에이터(282)를 통한 투사 렌즈 조립체(280)의 하나 이상의 요소들의 이동, 포커스 성분(175)의 활성화, 카메라 시스템(140)의 활성화, 및 다른 이미징 동작들과 같은 시스템 동작의 양태들을 제어하도록 구현될 수 있다. 제어기는 또한 시간 경과에 따른 구조화된 조명 파라미터들의 변화를 보정하기 위해 시스템(100)의 하드웨어 요소들을 제어하도록 구현될 수 있다. 예를 들어, 제어기는 시간 경과에 따른 구조화된 조명 위상, 주파수, 및/또는 배향의 변화들을 보정하거나 보상하기 위해 제어 신호들을 디바이스들(예컨대, 모터(256), 액추에이터(272) 등)로 전송하도록 구성될 수 있다. 구현예들에서, 이러한 신호들은 SIM 이미징 구성요소를 사용하여 예측되는 구조화된 조명 파라미터들에 따라 전송될 수 있다. 일부 구현예들에서, 제어기는 상이한 시간들 및/또는 샘플 위치들에 대응하는 예측되고/되거나 추정된 구조화된 조명 파라미터들을 저장하기 위한 메모리를 포함할 수 있다.

도 5a 내지 도 5d는 다양한 작동 스테이지들에서의 광학 조립체(200)를 도시한다. 도 5a에 도시된 스테이지에서, 발광 조립체(210)는 광을 반사 요소(220)를 향해 방출하고, 반사 요소는 광을 위상 마스크 조립체(230) 및 격자 전환기(250)를 향해 반사한다. 이 스테이지에서, 격자 전환기(250)는 반사 요소(220)로부터 반사된 광이 미러(262)에 의해 추가로 반사되도록 제1 상태에 있다. 미러(262)에 의해 반사된 광은 유리 요소(242)를 통과하고, 반사기(244)에 도달하며 이는 광을 위상 마스크(246)를 향해 반사한다. 광이 위상 마스크(246)를 통과할 때, 위상 마스크(246)는 광에 패턴화된 형태를 제공한다. 이어서, 이러한 패턴화된 또는 구조화된 광은 플레이트(252)의 개구(268)를 통과하고 반사 요소(270)에 도달하며, 이어서 반사 요소는 구조화된 광을 투사 렌즈 조립체(280)를 향해 반사한다. 투사 렌즈 조립체(280)를 통과한 후에, 구조화된 광은 이미징을 위해 타겟화된 대상(예컨대, 샘플 용기(110))에 도달하고, 카메라 시스템(140)은 타겟화된 대상의 제1 이미지를 캡처한다.

제1 이미지가 도 5a에 도시된 광학 시스템(200)의 구성을 이용해 획득된 후에, 액추에이터(272)는 선형 경로(LP1) 상의 제1 위치로부터 선형 경로(LP1) 상의 제2 위치로 반사 요소(270)를 구동하도록 활성화되어, 이어서 광학 시스템(200)이 도 5b에 도시된 구성에 놓인다. 도 5b에 도시된 스테이지에서, 발광 조립체(210)는 광을 반사 요소(220)를 향해 방출하고, 반사 요소는 광을 위상 마스크 조립체(230) 및 격자 전환기(250)를 향해 반사한다. 이 스테이지에서, 격자 전환기(250)는 반사 요소(220)로부터 반사된 광이 미러(262)에 의해 추가로 반사되도록 제1 상태에 있다. 미러(262)에 의해 반사된 광은 유리 요소(242)를 통과하고, 반사기(244)에 도달하며 이는 광을 위상 마스크(246)를 향해 반사한다. 광이 위상 마스크(246)를 통과할 때, 위상 마스크(246)는 광에 패턴화된 형태를 제공한다. 이어서, 이러한 패턴화된 또는 구조화된 광은 플레이트(252)의 개구(268)를 통과하고 반사 요소(270)에 도달하며, 이어서 반사 요소는 구조화된 광을 투사 렌즈 조립체(280)를 향해 반사한다. 투사 렌즈 조립체(280)를 통과한 후에, 구조화된 광은 이미징을 위해 타겟화된 대상(예컨대, 샘플 용기(110))에 도달하고, 카메라 시스템(140)은 타겟 대상의 다른 이미지를 캡처한다.

도 5a에 도시된 스테이지와 도 5b에 도시된 스테이지 사이의 유일한 차이는 반사 요소(270)가 제2 상태(즉, 선형 경로(LP1)를 따른 제2 위치)에 있다는 것이다. 따라서, 반사 요소(270)가 이러한 작동 스테이지 동안 상이한 위치에 있기 때문에, 도 5b에 도시된 구성에서 광학 조립체(200)로 캡처된 이미지는 도 5a에 도시된 구성에서 광학 조립체(200)로 캡처된 이미지와 상이한 위상을 가질 것이다.

본 명세서에 기술된 프로세스의 일부 버전들에서, 액추에이터(272)는 격자 전환기(250)가 제1 상태에 있는 동안, 도 5c에 도시되고 후술되는 스테이지로 진행하기 전에, 반사 요소(270)를 선형 경로(LP1)를 따라 제3 위치로 구동시키도록 활성화된다. 프로세스의 그러한 버전들에서, 카메라 시스템(140)은 격자 전환기(250)가 제1 상태에 있는 동안 3개의 이미지들을 캡처할 수 있으며, 이들 이미지들 각각은 선형 경로(LP1)를 따른 반사 요소(270)의 각각의 위치에 기초하여 상이한 위상을 나타낸다. 물론, 액추에이터(272)는 또한, 격자 전환기(250)가 제1 상태에 있는 동안 임의의 원하는 수의 위상들이 이미지들의 캡처 동안에 채용될 수 있도록, 반사 부재(270)를 제4 위치, 제5 위치 등으로 구동하도록 활성화될 수 있다.

도 5a 및 도 5b에 도시된 제1 상태에 있는 격자 전환기(250)를 이용하여 원하는 수의 이미지들이 획득된 이후에, 모터(256)가 축(A)을 중심으로 샤프트(254)를 회전시키도록 활성화되고, 이에 의해 플레이트(252)를 축(A)을 중심으로 회전시켜 격자 전환기(250)를 도 5c 및 도 5d에 도시된 제2 상태로 전이시킨다. 도 5c에 도시된 스테이지에서, 액추에이터(272)가 또한 반사 요소(270)를 제2 상태(즉, 선형 경로(LP1) 상의 제2 위치)로부터 다시 제1 상태(즉, 선형 경로(LP1) 상의 제1 위치)로 복귀시키도록 활성화되었다. 일부 다른 버전들에서, 반사 요소(270)는 제1 상태로부터 제2 상태로의 격자 전환기(250)의 전이 직후에 제2 상태로 유지되며, 반사 요소(270)는 반사 요소(270)가 제2 상태에 있고, 격자 전환기(250)가 제2 상태에 있는 동안 이미지가 캡처된 후에 제1 상태로 전이된다.

도 5c에 도시된 스테이지에서, 발광 조립체(210)는 광을 반사 요소(220)를 향해 방출하고, 반사 요소는 광을 위상 마스크 조립체(230) 및 격자 전환기(250)를 향해 반사한다. 이제 격자 전환기(250)가 제2 상태에 있으며, 반사 요소(220)로부터 반사된 광은 개구(268)를 통과하고 유리 요소(232)를 추가로 통과한다. 유리 요소(232)를 통과한 광은 반사기(234)에 도달하며 이는 위상 마스크(236)를 향해 광을 반사한다. 광이 위상 마스크(236)를 통과할 때, 위상 마스크(236)는 광에 패턴화된 형태를 제공한다. 이어서, 이러한 패턴화된 또는 구조화된 광은 미러(264)로부터 반사된다. 미러(264)는 구조화된 광을 반사 요소(270)를 향해 반사하며, 반사 요소는 이어서 구조화된 광을 투사 렌즈 조립체(280)를 향해 반사한다. 투사 렌즈 조립체(280)를 통과한 후에, 구조화된 광은 이미징을 위해 타겟화된 대상(예컨대, 샘플 용기(110))에 도달하고, 카메라 시스템(140)은 타겟 대상의 다른 이미지를 캡처한다.

이미지가 도 5c에 도시된 광학 시스템(200)의 구성을 이용해 획득된 후에, 액추에이터(272)는 제1 상태(즉, 선형 경로(LP1) 상의 제1 위치)로부터 제2 상태(즉, 선형 경로(LP1) 상의 제2 위치)로 반사 요소(270)를 구동하도록 활성화되어, 이어서 광학 시스템(200)이 도 5d에 도시된 구성에 놓인다. 도 5d에 도시된 스테이지에서, 발광 조립체(210)는 광을 반사 요소(220)를 향해 방출하고, 반사 요소는 광을 위상 마스크 조립체(230) 및 격자 전환기(250)를 향해 반사한다. 이제 격자 전환기(250)가 제2 상태에 있으며, 반사 요소(220)로부터 반사된 광은 개구(268)를 통과하고 유리 요소(232)를 추가로 통과한다. 유리 요소(232)를 통과한 광은 반사기(234)에 도달하며 이는 위상 마스크(236)를 향해 광을 반사한다. 광이 위상 마스크(236)를 통과할 때, 위상 마스크(236)는 광에 패턴화된 형태를 제공한다. 이어서, 이러한 패턴화된 또는 구조화된 광은 미러(264)로부터 반사된다. 미러(264)는 구조화된 광을 반사 요소(270)를 향해 반사하며, 반사 요소는 이어서 구조화된 광을 투사 렌즈 조립체(280)를 향해 반사한다. 투사 렌즈 조립체(280)를 통과한 후에, 구조화된 광은 이미징을 위해 타겟화된 대상(예컨대, 샘플 용기(110))에 도달하고, 카메라 시스템(140)은 타겟 대상의 다른 이미지를 캡처한다.

도 5c에 도시된 스테이지와 도 5d에 도시된 스테이지 사이의 유일한 차이는 반사 요소(270)가 제2 상태(즉, 선형 경로(LP1)를 따른 제2 위치)에 있다는 것이다. 따라서, 반사 요소(270)가 이러한 작동 스테이지 동안 상이한 위치에 있기 때문에, 도 5d에 도시된 구성에서 광학 조립체(200)로 캡처된 이미지는 도 5c에 도시된 구성에서 광학 조립체(200)로 캡처된 이미지와 상이한 위상을 가질 것이다.

본 명세서에 기술된 프로세스의 일부 버전들에서, 액추에이터(272)는, 격자 전환기(250)가 제2 상태에 있는 동안, 이미지들을 캡처하는 프로세스를 완료하기 전에, 반사 요소(270)를 선형 경로(LP1)를 따라 제3 위치로 구동하도록 활성화된다. 프로세스의 그러한 버전들에서, 카메라 시스템(140)은 격자 전환기(250)가 제2 상태에 있는 동안 3개의 이미지들을 캡처할 수 있으며, 이들 이미지들 각각은 선형 경로(LP1)를 따른 반사 요소(270)의 각각의 위치에 기초하여 상이한 위상을 나타낸다. 물론, 액추에이터(272)는 또한, 격자 전환기(250)가 제2 상태에 있는 동안 임의의 원하는 수의 위상들이 이미지들의 캡처 동안에 채용될 수 있도록, 반사 부재(270)를 제4 위치, 제5 위치 등으로 구동하도록 활성화될 수 있다.

위에 언급된 바와 같이, 이미지 캡처 프로세스는 2개 이상의 별개의 채널들(예컨대, 청색 채널 및 녹색 채널)을 통해 수행될 수 있다. 다시 말하면, 도 5a 내지 도 5d를 참조하여 전술된 프로세스는 2개 이상의 별개의 채널들을 통해 수행될 수 있다. 발광 조립체(210)는 둘 모두의 채널들을 제공하도록 작동가능할 수 있거나, 또는 각각의 채널은 그 자신의 발광 조립체(210)를 가질 수 있다. 일부 버전들에서, 2개의 별개의 채널들은 광학 조립체(200)를 통해 동시에 활성화된다. 일부 다른 버전들에서, 도 5d에 도시된 스테이지 동안 제2 채널이 활성화될 때까지, 도 5a에 도시된 스테이지 동안에 제1 채널이 활성화되고, 이어서 도 5a에 도시된 스테이지 동안에 제2 채널이 활성화되고, 이어서 도 5b에 도시된 스테이지 동안에 제1 채널이 활성화되고, 이어서 도 5b에 도시된 스테이지 동안에 제2 채널이 활성화되는 등으로 진행된다. 또 다른 예로서, 각각의 채널은 그 자신의 전용 광학 조립체(200)를 가질 수 있다. 일부 그러한 버전들에서, 추가의 광학 구성요소들이 각각의 광학 조립체(200)의 투사 렌즈 조립체(280)가 각각의 채널로부터 동일한 타겟(예컨대, 샘플 용기(110))으로 광을 투사할 수 있게 하기 위해 이용될 수 있다. 하나 이상의 광학 조립체들(200)이 2개 이상의 채널들의 사용을 가능하게 할 수 있는 다른 적합한 방식들이 본 명세서의 교시 내용들을 고려하여 당업자에게 명백할 것이다. 또한, 시스템(100) 내의 다른 구성요소들(예컨대, 필터 전환 조립체(165))이 2개 이상의 채널들의 사용을 추가로 가능하게 할 수 있다는 것이 이해되어야 한다. 하나의 채널이 청색이고 다른 채널이 녹색인 버전들에서, 청색 채널은 대략 450 nm 내지 대략 500 nm 범위의 파장의 광에서 작동할 수 있고, 녹색 채널은 대략 500 nm 내지 대략 570 nm 범위의 파장의 광에서 작동할 수 있다.

또한 전술된 바와 같이, 시스템(100) 내의 광학 조립체(200)의 사용에 의해 이미징되는 대상은 플로우 셀 상의 나노웰들 내의 하나 이상의 생물학적 샘플들(예컨대, 뉴클레오티드 등)을 포함할 수 있어서, 샘플 용기(110)의 일부 형태들은 플로우 셀을 포함할 수 있다. 그러한 나노웰들은 규칙적인 반복 패턴으로 배열될 수 있다. 직사각형 패턴의 경우, 2개의 구조화된 조명 각도들이 실질적으로 패턴에서 직사각형의 대향하는 모서리들을 연결하는 2개의 대각선들을 따라 사용될 수 있으므로, 구조화된 조명의 강도 피크들이 2개의 대각선들에 실질적으로 수직으로 배향된다. 대안적으로, 구조화된 조명 각도는 직사각형 나노웰 패턴 방향과 동일한 방향을 따라 배향될 수 있다(즉, 직사각형의 대향하는 모서리들을 따르지 않음).

패턴 내의 육각형의 대향하는 모서리들을 연결하는 3개의 대각선들을 갖는 나노웰들의 반복되는 육각형 패턴의 경우, 3개의 구조화된 조명 각도들이 3개의 대각선들에 실질적으로 수직으로 배향되는 강도 피크들과 함께 사용될 수 있다. 대안적으로, 2개의 각도 조명 패턴은 나노웰들의 육각형 패턴을 갖는 플로우 셀과 함께 사용될 수 있어서, 모든 경우들에 나노웰들의 육각형 패턴과 함께 3개의 구조화된 조명 각도들을 사용할 필요는 없다. 또한, 구조화된 조명 각도는 육각형 나노웰 패턴 방향과 동일한 방향을 따라 배향될 수 있다(즉, 육각형의 대향하는 모서리들을 따르지 않음).

나노웰들의 패턴의 종류에 관계없이, 인접한 나노웰들은 연관된 광학 시스템의 아베 회절 한계보다 서로 더 가깝게 위치될 수 있다. 대안적으로, 샘플들은 나노웰들 없이 이미징 평면 위에 랜덤하게 분포될 수 있다. 또는, 샘플들은 나노웰들 이외의 일부 구조물 상에서 이미징 평면 위에 규칙적으로 배열될 수 있다.

IV. 이미지 처리 알고리듬들의 예들

A. SIM 이미지 처리 방법의 개요

(예컨대, 카메라 시스템(140)에 통합된 바와 같은) 광학 센서 또는 이미지 센서에 의해 캡처된 이미지가 타일로 지칭될 수 있다. 후술되는 바와 같은 이미지 처리 알고리듬들은 캡처된 이미지 타일을 서브-타일들로 세분할 수 있다. 각각의 서브-타일은 독립적으로 평가될 수 있다. 근접-중심(near-center) 서브-타일은 다른 서브-타일들과는 상이하게 취급될 수 있다. 플로우 셀에 대한 이미징 사이클은 일부 중첩을 갖는 많은 이미지 타일들을 캡처할 수 있다. 서브-타일들은 서로 독립적으로, 심지어 병렬로, 재구성될 수 있다. 향상된 서브-타일들로부터의 재구성들은 향상된 공간 해상도를 갖는 재구성된 타일을 생성하도록 함께 스티칭될 수 있다. 일부 경우들에서, 이미지 타일은 피크 라인들이 서브-타일 내에서 대략 균일하게 이격되도록 서브-타일들로 세분되어, 렌즈의 시야에 걸쳐 재구성된 서브-타일들로부터 더 양호한 이미지 품질을 달성한다.

일부 경우들에서, 적어도 3개의 파라미터들이 각각의 서브-타일에 대해 맵핑된다. 그러한 파라미터들은 조명 피크 각도, 조명 피크 간격, 및 위상 변위를 포함할 수 있다. 조명 피크 각도는 또한 격자 각도로 지칭될 수 있다. 조명 피크 간격이 또한 격자 간격으로 지칭될 수 있다. 다시 말하면, 조명 피크 간격은 격자의 주기성을 한정한다(예컨대, 위상 마스크들(236, 246)에 의해 한정되는 평행한 라인들 사이의 간격). 위상 변위 또는 위상은 (예컨대, 액추에이터(272)에 의해 구동되는 바와 같이, 선형 경로(LP1)를 따른 반사 요소(270)의 위치에 기초하여) 샘플 평면 상으로 투사되는 바와 같은 구조화된 조명 패턴 또는 격자의 시프트이다. 다시 말하면, 위상은 공통 기준 지점으로부터, 격자에 직교하는 방향으로의 반복적 조명 패턴의 시작까지의 거리로서 정의될 수 있다. 위상은 라디안 또는 도(degree)로 표현될 수 있으며, 반복적 패턴 주기성의 분율로 간주될 수 있다. 위상 변위는 또한 격자 위상으로 지칭될 수 있다. 각도 및 간격은 2차 표면 왜곡 모델(quadratic surface distortion model)들을 사용하여 맵핑될 수 있다.

아래에서 SIM 이미지 재구성에 대한 파라미터들을 추정하는 데 사용될 수 있는 기법들의 예들을 설명한다. 개시된 기술들 중 일부는 렌즈 결함들로 인해 왜곡되거나 휘어진 프린지 피크 라인들을 보상한다. 평행해야 하는 패턴 라인들은 이미지의 중심 근처에서 그 방식으로 시작되지만 렌즈의 에지 부근에서 수렴하거나 평행하지 않게 되는 경향이 있다. 이는 조명 피크 각도 또는 배향, 조명 피크 간격, 및 위상 오프셋에 영향을 준다. 도 8a는 이미지 타일을 서브-타일들 또는 서브-윈도우들 또는 서브-필드들로 지칭되는 중첩 구역들로 분할하는 것을 예시한다. 서브-타일들은 전체 서브-타일에 대한 만족스러운 재구성을 제공하는 파라미터들이 설정될 수 있을 정도로 충분히 작다. 일부 버전들에서, 각각의 서브-타일은 광학 센서의 512 × 512개의 픽셀들을 포함한다. 256, 400, 1024, 2048 및 4096 또는 256 내지 4096 픽셀들의 범위를 포함하지만 이에 국한되지 않는 더 크거나 더 작은 수가 사용될 수 있다. 서브-타일들은 광학 센서의 적어도 2개의 픽셀들 만큼 중첩될 수 있다. 더 크거나 더 작은 수가 사용될 수 있다. 예를 들어, 512-픽셀 폭의 윈도우의 경우, 최대 256개의 픽셀 중첩이 사용될 수 있고, 1024 픽셀 폭의 경우, 최대 512개의 중첩이 사용될 수 있다.

파라미터 추정은 2개의 단계들로 수행될 수 있다. 첫째, 파라미터 추정이 이미지의 근접-중심 서브-타일에 대해 수행될 수 있다. 이어서, 파라미터 추정이 다른 서브-타일들에 대해 수행되고, 근접-중심 서브-타일과 비교되어, 근접-중심 서브-타일에 대한 파라미터들과 관련하여 왜곡들 및 왜곡들에 대한 보정들을 결정할 수 있다.

도 6a 내지 도 6c는 전체 시야(FOV)의 물리적 양태들을 도시한다. 일 구현예에서, 5472 픽셀 × 3694 픽셀인 직사각형 센서가 사용된다. 물론, 예를 들어, 5472 × 5472 픽셀, 또는 4800 × 4800 픽셀의 정사각형 센서 또는 상이한 크기의 센서가 사용될 수 있다. 직사각형 센서가 사용되는 경우, 왜곡은 렌즈의 에지에 가장 근접할 때 최대가 된다. 렌즈는 종종 둥글며, 따라서 직사각형 센서는 긴 측면과 짧은 면에서 렌즈의 에지에 근접한 것이 동일하지 않다.

도 6a는 전체 시야(FOV)에 걸쳐 프린지 이격 왜곡을 나타내는 2개의 예시들을 도시한다. 좌측의 도면(300)은 확대된 렌즈의 왜곡으로 인한 휘어진 평행 라인들의 간략화된 도시(300)이다. 도시된 라인들은 이미지 평면에서 평행하도록 의도된다. 렌즈를 통해 볼 때, 이들은 중심에서의 간격에 대해 우측 및 좌측 단부들에서 수렴하는 것으로 보인다. 우측의 도면(302)은 다른 과장된 예이다. 이 도면에서, 프린지 라인들은 상부 좌측 모서리와 하부 우측 모서리 사이에서 대각선으로 배향된다. 프린지 간격은 더 쉽게 보이도록 과장되어 있다. 프린지 라인들은 중심에 대해 상부 좌측 모서리 및 하부 우측 모서리에서 수렴한다. 특정 제조업자의 렌즈의 경우, 프린지 패턴은 불균일할 수 있다.

도 6b 및 도 6c는 녹색 및 청색 레이저 조명을 위한, 이미지 평면 내의 명목상 평행한 프린지 피크들 사이의 이미지 내의 간격의 측정치들을 도시한다. 색상 스케일은 2.8 내지 2.22 사이의 간격의 변화를 나타낸다. 이 두 도면 모두에서, 색상 스케일은 평행한 라인들 사이의 중심 간격이 대략 2.14 임을 나타낸다. 녹색 파장 조명 하의 불규칙성이 도 6b의 상부 우측 모서리에서 보인다. 청색 파장 조명 하의 보다 상당한 불규칙성이 우측 에지 및 좌측 에지를 따라 도 6c에서 도시되어 있다. 이들 도면들에서, 프린지 패턴은 도면들의 하부 좌측으로부터 상부 우측으로의 45°의 각도의 일련의 평행한 라인들이었다. 따라서, 간격은 도 8c에서 화살표의 방향으로 측정된다. 이들 도면들은 렌즈에 의해 야기되는 왜곡들의 보정을 유도한다. 렌즈들이 개별적으로 제조되고 장착되기 때문에, 조립 후에 개별 시스템들의 교정 및 보정이 바람직하다.

도 6d는 이미지 타일의 전체 시야(FOV)의 서브-타일들 또는 서브필드들을 도시한다. 이 도면에서, 도시된 서브-타일은 512 픽셀 × 512 픽셀이다. 이들 서브-타일들은 도시된 시야를 세분하거나, 또는 중첩될 수 있다. 서브-타일들은 더 크거나 더 작을 수 있다. 예를 들어, 400x400 및 1024x1024 픽셀 서브-타일들이 작업가능한 것으로 나타났다. 도면은 5x7개의 서브-타일들을 예시한다. 위에서 언급된 더 큰 센서는 8x11개의 서브-타일들을 가질 수 있다. 3x3, 5x5, 5x7, 9x9, 9x16과 같은 서브-타일들의 다른 구성들이 사용될 수 있다. 더 큰 센서들일수록 더 많은 서브-타일들로 분할될 수 있다. 서브-타일들은 광학 센서의 적어도 2개의 픽셀들 만큼 중첩될 수 있다. 더 크고 더 적은 수의 픽셀들이 서브-타일들 사이에 중첩하는 데 사용될 수 있다. 예를 들어, 512-픽셀 폭의 서브-타일의 경우, 최대 256개의 픽셀 중첩이 사용될 수 있고, 1024-픽셀 폭의 서브-타일의 경우, 최대 256개의 픽셀 중첩이 사용될 수 있다. 도 6b 및 도 6c와 일치하는 바와 같이, 몇몇 후보 근접-중심 서브-타일들(304)이 있으며, 이들 모두는 홀수 × 홀수 서브-타일 어레이 내의 중심 서브-타일을 포함하는, 렌즈의 스위트 스폿(sweet spot) 내에 있다. 본 명세서에 사용되는 바와 같이, 근접-중심 서브-타일은 센서의 중심 픽셀을 포함하거나 중심 픽셀을 포함하는 서브-타일에 인접한다. 평평하고 작은 오차를 갖는 일부 광학 시스템들에서, 중심 서브-타일에 인접하는 것들로부터 더 멀리 떨어진 서브-타일이 전체 왜곡 보상에 영향을 주지 않으면서 기준으로서 사용될 수 있다.

개시된 기술은 이미지 센서에 의해 캡처된 실질적으로 전체 시야에 걸쳐 측정된 왜곡을 맵핑하는 것을 포함한다. 규칙적으로 구조화된 조명으로부터의 향상된 해상도 SIM 재구성이 의존하는 3개의 파라미터들에는 프린지 패턴의 프린지 간격, 프린지 각도 및 위상 변위가 포함된다. 이들 변수들은 또한 구조화된 조명 또는 격자 패턴의 간격, 각도 및 위상 오프셋으로 지칭된다. 중심 타일 값으로부터의 간격 및 각도 편차들은 다항식 표면들을 사용하여 전체 시야에 걸쳐 피팅될 수 있다. 2차 표면 및 3차 표면 둘 모두가 연구되었다. 더 고차의 다항식들이 또한 사용될 수 있다.

이미지 타일에 걸친 프린지 간격 및 프린지 각도 둘 모두는 2차 표면들에 의해 피팅될 수 있다. 감도 분석은 2차 표면들이 3차 표면들과 마찬가지로 매우 거의 피팅되는 것을 보여준다. 2차 표면은 다음의 방정식 (II)에 피팅된다:

f(x,y) = c0 + (c1*x) + (c2*y) + (c3*x*y) + (c4 *x²) + (c5*y²) (II)

위상 추정의 하나의 구현예는 Wicker et al. 2013에 의해 제목이 "Phase Optimisation for Structured Illumination Microscopy"인 그들의 논문의 섹션 3에 제안된 기술을 적용한다. 제목이 "Structured Illumination Microscopy Image Reconstruction Algorithm"인 Lal et al. 2015로부터, 그리고 Wicker et al. 2013으로부터의 방정식들이 위커 위상 추정을 설명하는 데 도움이 된다.

Lal et al. 2015로부터 인용한 아래 방정식 (III)은 3개의 주파수 성분들의 대역들:

를 획득된 이미지들

로부터 분리한다. 혼합 매트릭스는 패턴 각도 또는 배향 0에 대응하는 사인곡선형 조명 강도 패턴 I_{Θ, φ}(r)을 사용하여 캡처된 이미지들의 위상들 φ₁, φ₂, 및 φ₃의 추정들을 사용한다. Wicker et. al. 2013은 φ_n과 같은 배향에서 n번째 이미지에 대한 위상을 참조한다. 위상들이 충분한 정밀도로 알려져 있지 않은 경우, 비혼합 또는 대역 분리 프로세스는 주파수 도메인에서 관찰된 이미지들

로부터 공간 주파수 성분들을 불완전하게 분리할 것이다. 실제로, 3개의 공간 주파수 성분들

은 다음 방정식 (III)을 통해 제공된 노이즈 항으로 표현되는 바와 같이, 다른 성분들로부터의 다소간의 잔여 정보를 포함할 것이다:

3개의 성분들을 갖는 이러한 공식은 사인 또는 코사인 조명에 대한 푸리에 변환을 따른 것이다. 상이한 조명 함수는 방정식들을 변화시킬 수 있다.

따라서, 조명 사인파 강도 패턴 위상들을 정밀하게 아는 것이 중요할 수 있다. 실험 환경에서 이들 위상들을 정밀하게 제어하는 것이 항상 가능한 것은 아니기 때문에, 획득된 이미지 데이터로부터 조명 패턴 위상들을 결정하는 것이 바람직할 수 있다. Wicker et. al. 2013은 선택된 주파수에서 간섭성 사인파 조명을 사용하여 획득된 SIM 데이터에 대한 위상 추정 기술을 제시한다. 간섭성 조명은 매우 작은 조명 피크 간격 's'를 갖는 미세 격자들로부터의 양호한 패턴 콘트라스트를 생성하며, 이는 재구성된 해상도를 향상시킨다. 우리는 조명 패턴의 피크 주파수를 사용하여 n번째 이미지의 조명 패턴 위상을 검색한다. 조명 패턴의 피크 주파수는 또한 푸리에(Fourier) 피크로 지칭된다.

Wicker et. al. 2013으로부터 인용한 아래 방정식 (IV)는 주파수 도메인에서 주파수들

에 걸쳐 획득된 이미지들

로 방정식 (II)의 일반화된 형식을 제시한다. 각각의 이미지는 서로 다른 위상들로 중첩된

이라고 지칭되는 3개의 성분들로 구성되어 있다. 이들 3개의 컴포넌트들은 방정식 (III)에서

와 동일한 3개의 컴포넌트임에 유의한다.

방정식 (IV)에서의 'c'는 조명 패턴의 콘트라스트로 지칭된다는 것에 유의한다. 노이즈가 없는 경우, 'c'는 방정식 (2)에서 혼합 매트릭스(M)에서 변조 인자 'm'과 동일하다. \mathrm{

을 결정하기 위해, 방정식 (IV)에서의 주파수

가 조명 패턴의 피크 주파수인

로 대체되어 다음 방정식 (V)가 생성된다:

방정식 (V)는 패턴 위상 \mathrm{

이 주파수

에 걸쳐 획득된 이미지

의 위상과 대략적으로 동일하다는 것을 보여준다. 패턴 위상 \mathrm{

의 이러한 대략적인 추정은 3개의 지침들을 따를 때 양호한 결과를 산출할 수 있다. 첫째, 조명 패턴의 콘트라스트 c는 충분히 커야 한다. 둘째, 샘플 파워 스펙트럼은 주파수가 증가함에 따라 충분히 빠르게 감소되어야 한다. 이들 2개의 지침들을 따르는 경우, 방정식 (V)는 마지막 항에 따르며, 따라서 다음의 방정식 (VI)으로 단순화될 수 있다:

임의의 실수 값의 샘플에 대해, 중심 주파수

는 실수 값이 될 것이다. 또한, 점 확산 함수(PSF)

가 실수이고 대칭이면, 광 전달 함수(OTF)

는 실수가 될 것이다. OTF는 점 확산 함수(PSF)의 컨볼루션이다. 점 확산 함수는 이미징 시스템의 광학 전달 함수의 공간 도메인 버전이다. 명칭 "점 확산 함수"는 모든 물리적 광학 시스템들이 광의 점을 어느 정도 블러링(확산)하는 것을 나타내며, 이때 블러링의 양은 광학 구성요소들의 품질에 의해 결정된다. 이미징 시스템의 해상도는 PSF의 크기에 의해 제한된다. 비대칭 PSF들의 경우, OTF들의 위상들이 고려되어야 한다.

셋째, 패턴 주파수

에서의 OTF는 노이즈를 극복할 수 있을 만큼 충분히 커야 한다. OTF가 너무 작으면, 획득된 이미지에서의 잡음은

에서 측정된 위상을 상당히 변경시킬 수 있다. 이러한 위상 추정 방법은 검출 OTF의 지원으로 인해 패턴 주파수들

외부에 대해 사용될 수 없다. 그러한 주파수들의 경우,

이다.

광학 시스템의 OTF는 실험적으로 결정될 수 있다. 예를 들어, Lal et al. 2015는 100 nm 형광 미소구체들이 희소하게 분포된 샘플들의 몇몇 이미지들을 얻음으로써 OTF를 계산한다. 이어서, 100개 초과의 미소구체들에 상응하는 강도 분포를 중첩하고 평균하여 시스템 PSF에 대한 근사치를 얻었다. 이러한 PSF의 푸리에 변환은 시스템 OTF의 추정을 제공한다. 이러한 배경으로, 위상 추정 기술은 서브-타일들에 적용될 수 있다.

하나의 서브-타일에서의 위상의 측정이 타일을 가로질러 다른 서브-타일들에 외삽될 수 있도록 전체 시야(FOV)에 대한 타일들의 위상 변위를 추정하는 것이 유용할 수 있다. 전체 FOV에 대한 조명 피크 각도 및 조명 피크 간격은 위에서 제시된 2차 모델들을 사용하여 서브-타일의 조명 피크 각도 및 조명 피크 간격으로부터 추정될 수 있다. 위상 변위는 서브-타일들의 픽셀 기하학적 구조에 의존하기 때문에 덜 규칙적일 수 있으며, 이는 매끄러운 함수 대신 불규칙 계단 함수를 생성할 수 있다. 위상 추정들은 전체 FOV 이미지의 서브-타일들에 걸쳐 공통 프레임을 사용하여 표현될 수 있다. 서브-타일 좌표 공간들은 전체 FOV 좌표 공간에 맵핑될 수 있다.

B. SIM 시스템을 위한 교정 방법의 예

SIM 광학 시스템에서의 다양한 구조 및 동작 파라미터들은 SIM 재구성된 초고해상도 이미지들의 품질에 악영향을 미칠 수 있다. 예를 들어, 렌즈들(예컨대, 전술된 렌즈 조립체(280) 내에서, 카메라 시스템(140)에 통합된 일부 다른 렌즈)을 포함하는 임의의 광학 시스템에서, 적어도 하나의 렌즈는 카메라 시스템(140)에 의해 캡처된 이미지들에서 왜곡들을 생성할 수 있는 하나 이상의 구조적 수차들을 포함할 수 있다. SIM 재구성에 사용되는 계산들은 수차들을 갖는 렌즈들을 사용하여 또는 다른 수차들을 갖는 광학 조립체(200)를 사용하여 캡처되는 소스 이미지들에서의 왜곡들에 민감할 수 있다. 중심에서의 스위트 스팟(sweet spot) 대신에 렌즈의 대부분을 사용하여 시야를 증가시키는 것은 렌즈 내의 수차들에 의해 야기되는 왜곡들에 대한 SIM 이미지 재구성의 취약성을 향상시킬 수 있다. 따라서, 후술되는 예들은 이들 렌즈 수차들을 검출하고, 그러한 수차들을 고려하기 위해 이미지 처리 동안 필요에 따라 조정을 수행하기 위한 시스템들 및 방법들을 제공한다.

다음의 설명은 처리 방법에서 SIM 스택들의 처리에 관한 것이다. 본 예에서, 각각의 SIM 스택은 12개의 이미지들 - 2개의 채널들로부터의 6개의 이미지들 -을 포함한다. 각각의 채널에 대해, 6개의 이미지들의 세트는, 격자 전환기(250)가 제1 상태(예컨대, 도 5a 및 도 5b에 도시된 바와 같음)에 있는 동안 선형 경로(LP1)를 따라 3개의 상이한 위치들에서 반사 요소(270)로 취해진 3개의 이미지들 및 격자 전환기(250)가 제2 상태(예컨대, 도 5c 및 도 5d에 도시된 바와 같음)에 있는 동안 선형 경로(LP1)를 따라 동일한 3개의 상이한 위치들에서 반사 요소(270)로 취해진 다른 3개의 이미지들을 포함한다. 따라서, SIM 스택 내의 각각의 채널에 대한 6개의 이미지들의 세트는 2개의 상이한 격자 각도들 또는 조명 피크 각도들 각각에 대한 3개의 상이한 위상들을 나타낸다. 대안적으로, 임의의 다른 적합한 수의 이미지들이 각각의 SIM 스택을 형성하는 데 사용될 수 있고, 그러한 이미지들은 위에서 식별된 것들 이외의 파라미터들에 기초하여 서로 상이할 수 있다.

광학 요소들 내의 결함들을 고려하기 위해, 본 예의 프로세스는 이들 결함들에 의해 생성되는 왜곡들의 맵을 설정한다. 결함들은 시스템(100)마다 각기 다를 것이기 때문에, 이러한 맵핑 프로세스는 각각의 시스템(100)이 그 자신의 연관된 왜곡 맵을 갖도록 각각의 시스템(100)에 대해 그때그때(ad hoc basis) 수행된다. 본 예가 광학 조립체(200) 및 시스템(100)을 사용하여 캡처된 SIM 이미지들의 맥락에서 제공되지만, 후술되는 프로세스는 본 명세서의 교시 내용들을 고려하여 당업자에게 명백할 바와 같은 다양한 다른 종류의 광학 조립체들 및 시스템들로 구현될 수 있다. 후술되는 프로세스는 광학 조립체(200) 및 시스템(100)의 맥락으로 제한되지 않는다.

왜곡 맵을 생성하기 위해, 프로세스는 "슬라이딩 윈도우" 접근법을 사용하여 이미지들의 SIM 스택을 분석한다. 이러한 접근법에서, 프로세서가 주어진 순간에 SIM 스택의 정사각형 크롭(crop)이나 서브-타일을 분석하지만, 프로세스 전체에 걸쳐 윈도우는 SIM 스택의 시야를 따라 슬라이딩하고 윈도우의 슬라이딩 동안 여러 개의 서브-타일들을 반복적으로 분석하여, 분석된 서브-타일들이 궁극적으로 서로 중첩하고 SIM 스택의 시야의 (전체가 아니라면) 상당한 부분을 집합적으로 정의한다. 슬라이딩 윈도우 반복자(iterator)에 의해 산출된 각각의 서브-타일의 경우, 각각의 채널 및 각각의 각도에 대해 반치전폭(FWHM) 및 파라미터들이 추정된다. 각각의 서브-타일로부터의 이들 추정된 파라미터들 및 FWHM 모두가 2차원 표에 저장된다. 일부 경우들에서, 본 명세서에 기술된 교정 프로세스의 목표는 변조 균일도, 간격 및 격자 각도 균일성(이는 왜곡 모델들을 제공하기 위해 2차 표면 추정기에 공급됨), 및 위상 편차 균일성을 측정하는 것이다.

전술된 프로세스가 도 7에 도시되어 있다. 도 7의 블록(400)에 도시된 바와 같이, 프로세스는 최상-포커스 SIM 스택을 식별하는 단계로 시작한다. 전술된 바와 같이, SIM 스택들은 소정 증분들(예컨대, 대략 0.5 μm)로 조정되는 z-위치들에서 캡처될 수 있어서, 하나의 SIM 스택은 그 SIM 스택의 특정 z-위치로 인해 다른 SIM 스택들보다 더 양호한 포커스를 제공하는 경향이 있을 수 있다. 당업자들에게 공지된 종래의 방법들이 다른 SIM 스택들로부터 최상-포커스 SIM 스택을 식별하는 데 사용될 수 있다. 최상-포커스 SIM 스택을 식별하였다면, 프로세스는 또한 SIM 스택 내의 각각의 이미지의 중심(즉, SIM 스택 내의 각각의 이미지의 뷰의 중심 구역)에 윈도우를 포함할 수 있는 "추정 윈도우"를 정의할 수 있다. 이러한 추정 윈도우는 파라미터 추정 목적들을 위해 최상의 이미지 품질을 갖는 것으로 추정될 수 있고, 후술되는 바와 같이 프로세스에서 나중에 이용될 수 있다. 추정 윈도우의 크기 및 구성은 미리결정될 수 있다.

다음으로, 도 7의 블록(402)에 도시된 바와 같이, 프로세스는 식별된 최상-포커스 SIM 스택에 슬라이딩 윈도우 반복자를 적용할 수 있다. 이러한 슬라이딩 윈도우 반복자는 주어진 순간에 SIM 스택 내의 각각의 이미지의 전체 시야의 일부분만을 보는 슬라이딩 윈도우를 정의할 수 있다. 따라서, 슬라이딩 윈도우 반복자는 SIM 스택 내의 각각의 이미지의 전체 시야에 걸쳐 슬라이딩 윈도우를 이동시킴으로써 SIM 스택 내의 각각의 이미지를 스캔하면서 주어진 순간에 이미지의 일부분만을 프로세싱할 수 있다. 도 8a 내지 도 8c를 참조하여 아래에 언급되는 바와 같이, 슬라이딩 윈도우는 서로 중첩되는 연속적인 뷰들을 제공할 수 있다. 슬라이딩 윈도우의 보폭(stride)(예컨대, 이동 거리 및 속도), 슬라이딩 윈도우의 크기, 및 슬라이딩 윈도우의 구성이 미리결정될 수 있다.

슬라이딩 윈도우 반복자는 슬라이딩 윈도가 이미지를 가로질러 슬라이딩함에 따라 임의의 적합한 주파수에서 SIM 스택 내의 각각의 이미지로부터 데이터를 캡처할 수 있다. 일부 버전들에서, 슬라이딩 윈도우는 서로 중첩되는 이미지의 구역들로부터 데이터를 캡처할 수 있다. 이것의 예가 이미지(502)를 횡단하는 슬라이딩 윈도우(500)를 도시하는 도 8a 내지 도 8c에 도시된다. 도시된 바와 같이, 제3 데이터 캡처 순간에서의 슬라이딩 윈도우(500)의 위치(510)(도 8c)는 제2 데이터 캡처 순간에서의 슬라이딩 윈도우의 위치(520)(도 8b)와 일부 공간적 중첩(512)을 가지고, 제2 데이터 캡처 순간에서의 슬라이딩 윈도우(500)의 위치(520)는 제1 데이터 캡처 순간에서의 슬라이딩 윈도우의 위치(530)(도 8a)와 약간의 공간적 중첩(522)을 갖는다. 일부 구현예들에서, 공간 중첩(512, 522)은 속도와 해상도의 최적 균형을 제공하기 위해 슬라이딩 윈도우(500)의 크기의 대략 60% 내지 대략 90%일 수 있다. 추가의 예로서, 슬라이딩 윈도우(500)가 512개의 픽셀들의 크기를 갖는 경우, 슬라이딩 윈도우(500)의 보폭은 최대 대략 200개의 픽셀들일 수 있다. 대안적으로, 공간 중첩(512, 522)은 슬라이딩 윈도우(500)의 크기의 대략 60% 미만 또는 슬라이딩 윈도우(500)의 크기의 대략 90% 초과일 수 있다.

슬라이딩 윈도우 반복자는 궁극적으로, 상기 언급된 데이터 캡처 순간들에 대응하는 베이스 이미지의 부분들을 나타내는 복수의 서브-타일들을 산출할 수 있다. 각각의 서브-타일은 SIM 스택(예컨대, 12개의 베이스 이미지들의 스택) 내의 대응하는 이미지로부터 획득되기 때문에, 서브-타일들이 획득되었던 SIM 스택에 대응하는 스택들 내의 서브-타일들을 고려하는 것이 유리할 수 있다. 그러한 서브-타일들은 SIM 스택 내의 베이스 이미지들의 동일한 구역으로부터 획득될 수 있어서, 서브-타일들이 공간적으로 관련된다. 약칭으로, 공간적으로 관련된 서브-타일들의 이러한 모음은 서브-타일 SIM 스택으로 지칭될 수 있다.

슬라이딩 윈도우 반복자가 적용된 후에, 이어서 프로세스는 슬라이딩 윈도우 반복자에 의해 산출된 각각의 서브-타일에 적용될 수 있다. 특히, 그리고 도 7의 블록(404)에 도시된 바와 같이, 프로세스는 각각의 서브-타일 내의 각각의 채널 및 각각의 격자 각도에 대한 파라미터 추정을 제공할 수 있다. 추정된 파라미터들은 변조, 격자 각도, 간격(즉, 국소 격자 간격 또는 로컬 SIM 조명 패턴 주기성), 위상 오프셋, 위상 편차, 또는 다양한 다른 파라미터들을 포함할 수 있다. 파라미터 추정은, 먼저 (피크의 가시성을 향상시키기 위한 다양한 프리-프로세싱과 함께) 격자 패턴의 피크에 대한 대략적 탐색을 수행하는 푸리에 도메인 알고리듬을 포함할 수 있다. 대략적인 위치가 식별된 후에, 미세 해상도 그리드 탐색 알고리듬이 수행되어 목적 함수(주어진 피크 위치에서의 변조 값)를 최대화할 수 있다. 프로세스는 또한, 도 7의 블록(406)에 도시된 바와 같이, 각각의 서브-타일에서의 각각의 채널 및 각각의 격자 각도에 대한 FWHM을 추정할 수 있다.

일단 각각의 서브-타일에 대한 각각의 각도 및 각각의 격자 각도에 대해 파라미터들이 추정되었고 FWHM이 추정되었다면, 이들 값들은 도 7의 블록(408)에 도시된 바와 같이 추후 사용을 위해 저장될 수 있다. 일부 버전들에서, 이 값들은 2차원 표에 저장된다. 대안적으로, 임의의 다른 적합한 저장 형태가 사용될 수 있다. 프로세스의 일부 버전들에서, 프로세스는 이 스테이지에서 종료될 수 있다.

프로세스의 일부 다른 버전들에서, 프로세스는 도 7의 블록(410)에 도시된 바와 같이, SIM 스택 내의 각각의 베이스 이미지에 대한 중심 윈도우 파라미터를 추정함으로써 계속된다. 본 예에서, 이러한 부분의 프로세스는 슬라이딩 윈도우 반복자에 의해 산출되는 바와 같이 각각의 서브-타일에 대해 수행되기보다는, SIM 스택 내의 각각의 베이스 이미지에 대해 수행된다. 이러한 중심 윈도우는 각각의 이미지의 에지들 및 모서리들 근처에서 발생할 가능성이 더 클 수 있는 왜곡들을 회피하는 것이 바람직할 수 있다.

일단 중심 윈도우 파라미터들이 추정되면, 프로세스는 도 7의 블록(412)에 도시된 바와 같이 왜곡 모델들을 추정할 수 있다. 그러한 왜곡 모델들이 추정될 수 있는 방법의 예는 도 9를 참조하여 더 상세히 후술될 것이다. 추정된 왜곡 모델은 도 7의 블록(414)에 도시된 바와 같이, 2차원 기준 이미지를 생성하는 데 사용될 수 있다. 2차원 기준 이미지는 가지고 있는 광학 조립체(200) 및 시스템(100)을 사용하여 캡처된 이미지들에서 왜곡들이 발생하는 알려진 구역들을 나타낼 수 있다. 따라서, 2차원 기준 이미지는 알려진 왜곡들이 정확히 어디에 위치하는지를 결정하기 위해 나중에 사용될 수 있는 맵을 제공할 수 있다.

광학 조립체(200) 및 시스템(100)의 정상 사용 동안에 샘플 용기(110) 내의 생물학적 샘플들 등의 SIM 이미지들을 캡처하기 위해 광학 조립체(200) 및 시스템(100)이 사용되기 전에, 전술된 프로세스가 기준 광학 타겟을 사용하여 수행될 수 있다. 다시 말하면, 전술된 프로세스는 교정 절차와 같이 광학 조립체 및 시스템(100)의 첫 사용 동안 수행될 수 있다. 일단 2차원 기준 이미지가 전술된 프로세스를 사용하여 생성되면, 샘플 용기(110) 내의 생물학적 샘플들 등의 SIM 이미지들이 광학 조립체(200) 및 시스템(100)의 정상적인 사용 동안에 나중에 캡처될 때, 도 7의 블록(416)에 도시된 바와 같이 2차원 기준 이미지는 SIM 재구성 모드로 인자화될 수 있다. 예를 들어, SIM 재구성 프로세스는 2차원 기준 이미지에서 맵핑된 알려진 왜곡들을 고려하기 위해 재구성 동안 조정들을 제공할 수 있다. 2차원 기준 이미지에서 맵핑되는 바와 같은 알려진 왜곡들을 인자화함으로써, SIM 재구성 프로세스는 궁극적으로 더 정확한 SIM 이미지들을 산출할 수 있다.

도 9는 도 7의 블록(412)을 참조하여 전술된 바와 같이 왜곡 모델들을 추정하기 위해 수행될 수 있는 프로세스의 예를 도시한다. 따라서, 도 9는 도 7에 도시된 프로세스의 수행 동안 수행될 수 있는 서브-프로세스를 나타낸다. 이 예에서, 왜곡 모델 추정 프로세스는 도 9의 블록(600)에 도시된 바와 같이, 각각의 파라미터에 대해, 위에서 언급된 2차원 표들로부터 추정된 중심 윈도우 파라미터를 차감한다. 이는 절대 값들을 중심 윈도우에 대한 바이어스들로 변환하는 것을 포함한다. 다시 말하면, 다양한 SIM 파라미터들(각각의 각도 및 채널 조합에 대한 각도, 간격)의 미가공 추정값들이 중심 윈도우로부터 편차 파라미터들로 변환된다. 이를 달성하기 위해, 프로세스는 값들을 중심 값으로 분할할 수 있다(여기서 편차는 특정 이미지 서브세트 위치에서의 파라미터 대 중심 윈도우에서의 동일한 파라미터의 비율로서 표현됨). 대안적으로, 프로세스는 중심 값을 차감할 수 있다(여기서 편차는 중심 위치로부터 오프셋으로서 표현됨).

이어서, 각각의 파라미터에 대해, 프로세스는 도 9의 블록(602)에 도시된 바와 같이 최소 제곱 회귀(least squares regression)에서 축소 추정량을 통해 2차 표면 함수를 피팅한다. 이어서, 프로세스는 도 9의 블록(604)에 도시된 바와 같이 결정 계수(R²)가 일부 임계 값(예컨대, 95)을 초과함을 보장함으로써 모델을 검증한다. 예를 들어, 격자 왜곡 메트릭은 격자 방향(예컨대, 위상 마스크(236, 246) 상의 라인들의 방향)에 직교하는 특정 위치들에서 피팅된 2차 표면 함수를 샘플링함으로써 특성화될 수 있다. 본 예에서 최소 제곱 회귀가 2차 표면 함수를 피팅하는 데 사용되지만, 임의의 다른 적합한 피팅 알고리듬이 사용될 수 있다. 또한, 임의의 다른 적합한 함수 형태(즉, 2차 표면 이외의 것)가 사용될 수 있다.

본 예로 돌아가면, 이어서 프로세스는 도 9의 블록(606)에 도시된 바와 같이, 피팅된 파라미터를 왜곡 모델 데이터 구조 내로 추가한다. 이 시점에서, 프로세스는 도 9의 블록(608)에 도시된 바와 같이 위상 오프셋을 추정하고, 도 9의 블록(610)에 도시된 바와 같이, 데이터 구조(예컨대, 표)에 추정된 위상 오프셋을 저장함으로써 왜곡 모델의 추정을 완료한다. 후속 SIM 이미지 재구성 동안, 저장된 추정 위상 오프셋은 저장된 표를 사용함으로써 SIM 이미지 상의 임의의 다른 윈도우에 외삽될 수 있다.

C. SIM 시스템에서의 안티-스톡스 방출의 통합

형광단(fluorophore)이 광에 의해 여기되어, 형광단이 형광을 발하고 그에 의해 광을 방출할 때, 형광단에 의해 방출되는 광의 스펙트럼이 여기 광의 스펙트럼에 대해 시프트된다. 이러한 이동은 스톡스 시프트로서 알려져 있다. 이는 형광단에 의해 방출된 광자의 에너지가 형광단에 의해 흡수된 여기 광자의 에너지보다 작다는 사실에 기인할 수 있다. 에너지의 이러한 차이는 형광단이 여기 상태에 있을 때 발생하는 분자 진동을 통해 손실되는 에너지에 의해 야기될 수 있다. 손실된 에너지는 그들이 여기된 형광단과 충돌할 때 열로서 주위 용매 분자로 소산될 수 있다. 스톡스 시프트 시나리오에서, 방출된 광은 여기 광의 파장보다 긴 파장을 가질 수 있다.

일부 경우들에서, 형광단에 의해 방출된 광자의 에너지가 형광단에 의해 흡수된 여기 광자의 에너지보다 크다. 따라서, 방출된 광은 여기 광의 파장보다 짧은 파장을 가질 수 있다. 형광단에 의해 방출된 광자의 에너지가 형광단에 의해 흡수된 여기 광자의 에너지보다 큰 시나리오들에서, 형광단에 의한 방출은 안티-스톡스 방출로 간주될 수 있다.

도 10은 형광단을 함유하는 염료로부터의 안티-스톡스 방출의 개략도이다. 도시된 바와 같이, 비교적 긴 파장에서의 펌프 광자(700)는, 화살표(706)로 나타낸 바와 같이, 바닥 상태(ground state) 매니폴드(702) 내의 보다 높은 위치의 볼츠만 레벨(higher lying Boltzmann level)들로부터 여기 상태 S1 매니폴드(704)의 바닥으로 흡수된다. 포논-유도 전이들(phonon-induced transitions)을 통한 S1 매니폴드(704)의 진동 레벨들 간의 후속적인 열화(thermalization), 이어서 화살표(708)로 나타낸 바와 같이 S0 바닥 상태 내로의 방출은, 염료 매체의 후속 냉각과 함께, 더 높은 에너지 광자(710)의 방출을 초래한다. 이 예에서, "S0" 및 "S1"은 염료 분자의 단일항 전자 상태들을 지칭하는 것을 지칭한다. S 명명법은 분자 전자 상태의 총 전자 스핀(electronic spin)을 지칭한다. 추가적으로, 염료 분자는 또한 T1, T2 등에 의해 식별되는 삼중항 스핀 상태들을 지원할 수 있다. 본 예에서, 단일항 전자 바닥 상태 구성(S0)과 S1 여기된 단일항 구성 사이의 흡수 및 자발 방출(spontaneous emission) 프로세스에 포커스를 둔다. 염료 분자의 전자 상태들은 또한 분자의 진동 모드들과 결합된다. 주어진 전자 상태 내의 다수의 진동 모드들은 진동 매니폴드로 지칭될 수 있다. 용어 "비브로닉(vibronic)"은 염료 분자의 전자-진동 상태를 지칭하는 데 사용될 수 있다.

시스템(100)의 일부 구현예들에서, 샘플 용기(110)의 위치에서의 이미지 타겟은 제1 채널(예컨대, 제1 색상)과 연관된 제1 염료 및 제2 채널(예컨대, 제2 색상)과 연관된 제2 염료를 포함할 수 있다. 본 예에서, 제1 염료는 쿠마린(Coumarin) 염료이고, 제1 채널은 청색 채널이고, 제2 염료는 로다민(Rhodamine) 염료이고, 제2 채널은 녹색 채널이다. 대안적으로, 임의의 다른 적합한 종류의 염료들 또는 채널 색상들이 사용될 수 있다. 본 예에서, 광원(예컨대, 발광 조립체(210) 내의 청색 레이저)이 청색 채널과 연관된 광을 방출하는 경우, SIM 이미징은 쿠마린 염료로부터 청색 채널 내로의 형광을 통해 청색 레이저 생성 프린지들의 광학 검출을 이룰 수 있다. 또한, 광원(예컨대, 발광 조립체(210) 내의 녹색 레이저)이 녹색 채널과 연관된 광을 방출하는 경우, SIM 이미징은 로다민 염료로부터의 스톡스 방출을 통해 녹색 채널 내의 녹색 레이저 간섭 프린지들의 광학 검출을 이룰 수 있다. 그러나, 녹색 방출 파장에서의 낮은 변조 전달 함수(MTF)는 약한 프린지 가시성 또는 콘트라스트를 초래할 수 있으며, 이는 특정 파장(예컨대, 600 nm)에서 녹색 레이저 생성 프린지들을 검출하는 것을 특히 어렵게 만들 수 있다.

스톡스 시프트로 인해 녹색 파장에서 관찰될 수 있는 낮은 콘트라스트를 극복하기 위해, 청색 파장에서의 녹색 레이저 생성 프린지들의 관찰을 허용하는 접근법을 제공하는 것이 바람직할 수 있다. 청색 채널은 증가된 MTF 곱(product)을 지원하기 때문에, 생성되는 녹색 프린지들은 달리 얻어질 수 있는 것보다 더 높은 콘트라스트 값에서 더 큰 충실도로 관찰될 수 있다. 실제 레이저 여기 파장보다 더 짧은 파장에서 방출을 생성하는 접근법은 염료 분자 내에서의 안티-스톡스 형광의 현상에 의존할 수 있다. 안티-스톡스 프로세스는 그 파장이 염료의 평균 방출 파장보다 실질적으로 더 긴 광자에 의해 염료 분자를 여기하는 것을 포함한다. 이미지 타겟이 쿠마린 청색 염료를 포함하는 경우들에서, 쿠마린 청색 염료는 더 긴 파장(예컨대, 520 nm)에서 녹색 레이저에 의해 여기될 수 있다. 도 10에 도시된 바와 같이, 바닥 상태 S0 매니폴드(702)의 보다 높은 위치의 열-여기 진동 모드들로부터 여기 상태 S1 매니폴드(704)의 바닥을 향한 쿠마린 염료의 녹색 레이저 여기와 뒤따르는 상부 S1 매니폴드(704) 내에서의 열화는 초기 여기 파장(700)보다 훨씬 짧은 파장 방출(710)로 이어진다. 이러한 보다 짧은 파장/보다 높은 에너지 방출(710)은 청색 파장에서의 녹색 레이저 생성 프린지들의 관찰을 허용할 수 있다. 다시 말하면, 청색 채널에 동조된 카메라가 녹색 레이저에 의해 생성되는 청색 방출을 관찰할 수 있어서, 여기 채널과 관찰 채널이 서로 상이할 수 있다.

V. 기타

전술한 설명은 당업자가 본 명세서에서 설명되는 다양한 구성을 실시할 수 있도록 제공된다. 본 기술이 다양한 도면 및 구성을 참조하여 특별히 설명되었지만, 이는 단지 예시 목적을 위한 것이며, 본 기술의 범주를 제한하는 것으로 간주되어서는 안된다는 것을 이해해야 한다.

본 기술을 구현하기 위한 다른 많은 방식들이 있을 수 있다. 본 명세서에 기술된 다양한 기능들 및 요소들은 본 기술의 범주를 벗어남이 없이 도시된 것과 상이하게 분할될 수 있다. 이러한 구현예들에 대한 다양한 수정이 당업자에게 용이하게 명백할 수 있고, 본 명세서에서 정의된 일반적인 원리는 다른 구현예에 적용될 수 있다. 따라서, 본 기술의 범주로부터 벗어남이 없이 당업자에 의해 본 기술에 대한 많은 변경 및 수정이 이루어질 수 있다. 예를 들어, 상이한 수의 주어진 모듈 또는 유닛이 사용될 수 있거나, 상이한 유형 또는 유형들의 주어진 모듈 또는 유닛이 사용될 수 있거나, 주어진 모듈 또는 유닛이 추가될 수 있거나, 주어진 모듈 또는 유닛이 생략될 수 있다.

본 명세서에 기술된 예들의 일부 버전들은 버스 서브시스템을 통해 다수의 주변 디바이스들과 통신하는 적어도 하나의 프로세서를 포함할 수 있는 컴퓨터 시스템을 사용하여 구현될 수 있다. 이러한 주변 디바이스들은, 예를 들어, 메모리 디바이스들 및 파일 저장 서브시스템을 포함하는 저장 서브시스템, 사용자 인터페이스 입력 디바이스들, 사용자 인터페이스 출력 디바이스들, 및 네트워크 인터페이스 서브시스템을 포함할 수 있다. 입력 및 출력 디바이스들은 컴퓨터 시스템과의 사용자 상호작용을 허용할 수 있다. 네트워크 인터페이스 서브시스템은 다른 컴퓨터 시스템들에서의 대응하는 인터페이스 디바이스들에 대한 인터페이스를 포함하여, 외부 네트워크들에 대한 인터페이스를 제공할 수 있다. 사용자 인터페이스 입력 디바이스들은 키보드; 예컨대 마우스, 트랙볼, 터치패드, 또는 그래픽 태블릿과 같은 포인팅 디바이스들; 스캐너; 디스플레이 내에 통합된 터치 스크린; 음성 인식 시스템들 및 마이크로폰들과 같은 오디오 입력 디바이스들; 및 다른 유형들의 입력 디바이스들을 포함할 수 있다. 대체적으로, "입력 디바이스"라는 용어의 사용은 정보를 컴퓨터 시스템에 입력하기 위한 모든 가능한 유형들의 디바이스들 및 방식들을 포함하도록 의도된다.

사용자 인터페이스 출력 디바이스들은 디스플레이 서브시스템, 프린터, 팩스 기계, 또는 오디오 출력 디바이스들과 같은 비시각적 디스플레이들을 포함할 수 있다. 디스플레이 서브시스템은 음극선관(CRT), 액정 디스플레이(LCD)와 같은 평면 디바이스, 프로젝션 디바이스, 또는 가시적인 이미지를 생성하기 위한 일부 다른 메커니즘을 포함할 수 있다. 디스플레이 서브시스템은 또한, 오디오 출력 디바이스들과 같은 비시각적 디스플레이를 제공할 수 있다. 대체적으로, "출력 디바이스"라는 용어의 사용은 정보를 컴퓨터 시스템으로부터 사용자에게 또는 다른 기계 또는 컴퓨터 시스템에 출력하기 위한 모든 가능한 유형들의 디바이스들 및 방식들을 포함하도록 의도된다.

저장 서브시스템은 본 명세서에 기술된 모듈들 및 방법들 중 일부 또는 전부의 기능을 제공하는 프로그래밍 및 데이터 구성들을 저장할 수 있다. 이들 소프트웨어 모듈들은 일반적으로 컴퓨터 시스템의 프로세서에 의해 단독으로 또는 다른 프로세서들과 조합하여 실행될 수 있다. 저장 서브시스템에 사용되는 메모리는 프로그램 실행 동안 명령어들 및 데이터의 저장을 위한 메인 랜덤 액세스 메모리(RAM) 및 고정된 명령어들이 저장되는 판독 전용 메모리(ROM)를 포함하는 다수의 메모리들을 포함할 수 있다. 파일 저장 서브시스템은 프로그램 및 데이터 파일들을 위한 영구 저장소를 제공할 수 있고, 하드 디스크 드라이브, 연관된 착탈가능 매체와 함께 플로피 디스크 드라이브, CD-ROM 드라이브, 광학 드라이브, 또는 착탈가능 매체 카트리지들을 포함할 수 있다. 소정 구현예들의 기능을 구현하는 모듈들은 저장 서브시스템 내의 파일 저장 서브시스템에 의해, 또는 프로세서에 의해 액세스가능한 다른 기계들에 저장될 수 있다.

컴퓨터 시스템 자체는 개인용 컴퓨터, 휴대용 컴퓨터, 워크스테이션, 컴퓨터 단말기, 네트워크 컴퓨터, 텔레비전, 메인프레임, 서버 팜, 약하게 네트워킹된 컴퓨터들의 광범위하게 분포된 세트, 또는 임의의 다른 데이터 처리 시스템 또는 사용자 디바이스를 포함한 다양한 유형들의 것일 수 있다. 컴퓨터들 및 네트워크들의 변화하는(ever-changing) 특성으로 인해, 본 명세서에 기술된 컴퓨터 시스템의 예는 개시된 기술을 예시할 목적으로 특정 예로서만 의도된다. 본 명세서에 기술된 컴퓨터 시스템보다 더 많은 또는 더 적은 구성요소들을 갖는 컴퓨터 시스템의 많은 다른 구성들이 가능하다.

방법이라기 보다는 제조 물품으로서, 비일시적 컴퓨터 판독가능 매체(CRM)에는 프로세서에 의해 실행가능한 프로그램 명령어들이 로딩될 수 있다. 프로그램 명령어들은, 실행될 때, 전술된 컴퓨터 구현 방법들 중 하나 이상을 구현한다. 대안적으로, 프로그램 명령어들은 비일시적 CRM 상에 로딩될 수 있고, 적절한 하드웨어와 조합될 때, 개시된 방법들을 실시하는 하나 이상의 컴퓨터-구현 시스템들의 구성요소가 될 수 있다.

밑줄친 그리고/또는 기울임꼴의 제목 및 부제목은 편의를 위해서만 사용되며, 본 기술을 제한하지 않으며, 본 기술의 설명의 해석과 관련하여 언급되지 않는다. 당업자에게 알려지거나 이후에 알려지게 되는 본 개시내용 전체에 걸쳐 설명된 다양한 구현예들의 요소들에 대한 모든 구조적 및 기능적 등가물은 본 명세서에 명백히 참고로 포함되며, 본 기술에 의해 포괄되도록 의도된다. 더욱이, 본 명세서에 개시된 어떠한 것도 그러한 개시내용이 상기 설명에서 명시적으로 언급되어 있는지 여부와 관계없이 공중에 기부되도록 의도되지 않는다.

하기에 더 상세히 논의되는 전술한 개념들 및 추가의 개념들의 모든 조합은 (그러한 개념들이 상호 불일치하지 않는다면) 본 명세서에 개시된 발명 요지의 일부인 것으로 고려됨이 이해되어야 한다. 특히, 본 명세서의 끝부분에 나타나는 청구된 발명 요지의 모든 조합은 본 명세서에 개시된 발명 요지의 일부인 것으로 고려된다.

Claims (20)

1. 방법으로서,
   광학 시스템에서 구조화된 조명 현미경(structured illumination microscopy, SIM)을 사용하여 캡처된 복수의 이미지들을 수신하는 단계 - 상기 복수의 이미지들의 각각의 이미지는 제1 시야(field of view)를 가짐 -;
   윈도우를 정의하는 단계 - 상기 윈도우는 제2 시야가 상기 제1 시야보다 작도록 상기 제1 시야의 일부분을 나타내는 상기 제2 시야를 정의함 -;
   상기 윈도우를 복수의 이미지들의 각각의 이미지와 관련하여 이동시키는 단계;
   상기 복수의 이미지들의 각각의 이미지에 대해 상기 윈도우를 이동시키는 동안 상기 복수의 이미지들의 각각의 이미지로부터 복수의 서브-타일(sub-tile)들을 캡처하는 단계 - 상기 복수의 복수의 서브-타일들의 각각의 서브-타일은 상기 복수의 이미지들의 상기 대응하는 이미지의 일부분을 나타내고, 상기 복수의 서브-타일들의 각각의 서브-타일에 의해 나타내지는 상기 일부분은 상기 복수의 서브-타일들의 상기 서브-타일이 캡처되는 순간에 대응하는 위치에서 상기 제2 시야에 의해 정의됨 -;
   상기 복수의 서브-타일들의 각각의 서브-타일과 연관된 파라미터들을 추정하는 단계 - 상기 파라미터들은 변조, 각도, 간격, 위상 오프셋, 및 위상 편차로 이루어진 군으로부터 선택되는 2개 이상의 파라미터들을 포함함 -;
   상기 복수의 서브-타일들의 각각의 서브-타일과 연관된 반치전폭(FWHM) 값을 추정하는 단계; 및
   상기 추정된 파라미터들 및 FWHM 값들을 미리결정된 포맷으로 저장하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 중심 윈도우 파라미터를 추정하는 단계를 더 포함하며, 상기 중심 윈도우 파라미터는 상기 제1 시야 내의 중심 구역에 대응하는, 방법.
3. 제2항에 있어서, 상기 미리결정된 포맷으로 저장된 상기 추정된 파라미터들 및 FWHM 값들과 상기 추정된 중심 윈도우 파라미터의 조합에 적어도 부분적으로 기초하여 왜곡 모델을 추정하는 단계를 더 포함하며, 상기 왜곡 모델을 추정하는 단계는 상기 미리결정된 포맷으로 저장된 상기 추정된 파라미터들 및 FWHM 값들로부터 상기 추정된 중심 윈도우 파라미터를 차감하는 단계를 포함하는, 방법.
4. 제3항에 있어서, 상기 왜곡 모델을 추정하는 단계는 상기 차감의 결과에 대해 2차 표면 함수를 피팅(fitting)하는 단계를 포함하는, 방법.
5. 제3항 또는 제4항에 있어서,
   상기 추정된 왜곡 모델에 대한 결정 계수(coefficient of determination)를 계산하고;
   상기 계산된 결정 계수를 미리결정된 임계값과 비교하는 것에 의해 상기 추정된 왜곡 모델을 검증하는 단계를 더 포함하는, 방법.
6. 제3항 내지 제5항 중 어느 한 항에 있어서, 상기 추정된 왜곡 모델에 적어도 부분적으로 기초하여 2차원 이미지를 생성하는 단계를 더 포함하며, 상기 2차원 이미지는 상기 광학 시스템에서 왜곡들이 발생하는 곳을 나타내는 표현들을 포함하는, 방법.
7. 제3항 내지 제6항 중 어느 한 항에 있어서,
   상기 광학 시스템에서 SIM을 사용하여 후속 복수의 이미지들을 캡처하는 단계; 및
   상기 복수의 이미지들에 적어도 부분적으로 기초하여 고해상도 이미지를 생성하는 단계를 더 포함하며, 상기 고해상도 이미지를 생성하는 단계는 상기 추정된 왜곡 모델에 적어도 부분적으로 기초하여 상기 후속 복수의 이미지들로부터의 데이터를 조정하는 단계를 포함하는, 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 복수의 캡처된 이미지들은 광학 타겟의 이미지들이고, 상기 광학 타겟은 염료를 포함하고, 상기 복수의 이미지들을 캡처하는 단계는 상기 염료 내의 분자들을 여기하는 단계를 포함하고, 상기 염료는 평균 방출 파장을 가지고, 상기 염료 내의 분자들을 여기하는 단계는 상기 염료를 향해 여기 광을 방출하는 단계를 포함하고, 상기 여기 광은 상기 염료의 상기 평균 방출 파장보다 실질적으로 더 긴 파장을 갖는, 방법.
9. 컴퓨팅 시스템으로 하여금 제1항 내지 제8항 중 어느 한 항의 상기 방법을 수행함으로써 데이터를 처리하게 하도록 구성된 콘텐츠들을 포함하는 프로세서-판독가능 매체.
10. 장치로서,
    타겟을 향해 구조화된 조명을 방출하는 제1 광학 조립체 - 상기 제1 광학 조립체는,
    발광 조립체,
    상기 발광 조립체에 의해 방출된 광에 제1 패턴을 부여하기 위한 제1 위상 마스크,
    상기 발광 조립체에 의해 방출된 광에 제2 패턴을 부여하기 위한 제2 위상 마스크, 및
    상기 제1 위상 마스크 및 상기 제2 위상 마스크에 의해 구조화된 광의 상을 조정하기 위한 위상 조정 조립체를 포함함 -;
    상기 제1 광학 조립체에 의해 조명되는 바와 같은 상기 타겟의 이미지들을 캡처하기 위한 이미지 센서를 포함하는 제2 광학 조립체; 및
    프로세서를 포함하며, 상기 프로세서는,
    상기 이미지 센서를 사용하여 캡처된 복수의 이미지들을 수신하는 것 - 상기 복수의 이미지들의 각각의 이미지는 제1 시야를 가짐 -,
    윈도우를 정의하는 것 - 상기 윈도우는 제2 시야가 상기 제1 시야보다 작도록, 상기 제1 시야의 일부분을 나타내는 상기 제2 시야를 정의함 -,
    상기 윈도우를 복수의 이미지들의 각각의 이미지와 관련하여 이동시키는 것,
    상기 복수의 이미지들의 각각의 이미지에 대해 상기 윈도우를 이동시키는 동안 상기 복수의 이미지들의 각각의 이미지로부터 복수의 서브-타일들을 캡처하는 것 - 상기 복수의 복수의 서브-타일들의 각각의 서브-타일은 상기 복수의 이미지들의 상기 대응하는 이미지의 일부분을 나타내고, 상기 복수의 서브-타일들의 각각의 서브-타일에 의해 나타내지는 상기 일부분은 상기 복수의 서브-타일들의 상기 서브-타일이 캡처되는 순간에 대응하는 위치에서 상기 제2 시야에 의해 정의됨 -;
    상기 복수의 서브-타일들의 각각의 서브-타일과 연관된 파라미터들을 추정하는 것 - 상기 파라미터들은 변조, 각도, 간격, 위상 오프셋, 및 위상 편차로 이루어진 군으로부터 선택되는 2개 이상의 파라미터들을 포함함 -,
    상기 복수의 서브-타일들의 각각의 서브-타일과 연관된 반치전폭(FWHM) 값을 추정하는 것, 및
    상기 추정된 파라미터들 및 FWHM 값들을 미리결정된 포맷으로 저장하는 것을 수행하는, 장치.
11. 제10항에 있어서, 상기 프로세서는 추가로 중심 윈도우 파라미터를 추정하고, 상기 중심 윈도우 파라미터는 상기 제1 시야 내의 중심 구역에 대응하는, 장치.
12. 제11항에 있어서, 상기 프로세서는 추가로 상기 미리결정된 포맷으로 저장된 상기 추정된 파라미터들 및 FWHM 값들과 상기 추정된 중심 윈도우 파라미터의 조합에 적어도 부분적으로 기초하여 왜곡 모델을 추정하는, 장치.
13. 제12항에 있어서, 상기 프로세서는 추가로 상기 미리결정된 포맷으로 저장된 상기 추정된 파라미터들과 FWHM 값들로부터 상기 추정된 중심 윈도우 파라미터를 차감하는 것을 포함함으로써 상기 왜곡 모델을 추정하는, 장치.
14. 제13항에 있어서, 상기 프로세서는 추가로 상기 차감의 결과에 대해 2차 표면 함수를 피팅함으로써 상기 왜곡 모드를 추정하는, 장치.
15. 제14항에 있어서, 상기 프로세서는 추가로 축소 추정량(shrinkage estimator)을 사용하는 것을 포함하는 상기 차감의 결과에 상기 2차 표면 함수를 피팅함으로써 상기 왜곡 모드를 추정하는, 장치.
16. 제12항 내지 제15항 중 어느 한 항에 있어서, 상기 프로세서는 추가로,
    상기 추정된 왜곡 모델에 대한 결정 계수를 계산하고,
    상기 계산된 결정 계수를 미리결정된 임계값과 비교함으로써 상기 왜곡 모델을 검증하는, 장치.
17. 제12항 내지 제16항 중 어느 한 항에 있어서, 상기 프로세서는 추가로,
    위상 오프셋을 추정하고,
    상기 위상 오프셋을 상기 추정된 왜곡 모델에 적용하는, 장치.
18. 제12항 내지 제17항 중 어느 한 항에 있어서, 상기 프로세서는 추가로, 상기 추정된 왜곡 모델에 적어도 부분적으로 기초하여 2차원 이미지를 생성하며, 상기 2차원 이미지는 상기 광학 시스템에서 왜곡들이 발생하는 곳을 나타내는 표현들을 포함하는, 장치.
19. 제11항 내지 제18항 중 어느 한 항에 있어서, 상기 프로세서는 추가로,
    상기 광학 시스템에서 SIM을 사용하여 후속 복수의 이미지들을 캡처하고,
    상기 복수의 이미지들에 적어도 부분적으로 기초하여 고해상도 이미지를 생성하며, 상기 고해상도 이미지를 생성하는 것은 상기 미리결정된 포맷으로 저장된 상기 추정된 파라미터들 및 FWHM 값들에 적어도 부분적으로 기초하여 상기 후속 복수의 이미지들로부터의 데이터를 조정하는 것을 포함하는, 장치.
20. 방법으로서,
    광학 시스템에서 구조화된 조명 현미경(SIM)을 사용하여 복수의 이미지들을 캡처하는 단계 - 상기 복수의 캡처된 이미지들은 광학 타겟의 이미지들이고, 상기 광학 타겟은 염료를 포함하고, 상기 복수의 이미지들을 캡처하는 단계는 상기 염료 내의 분자들을 여기하는 단계를 포함하고, 상기 염료는 평균 방출 파장을 가지고, 상기 염료 내의 분자들을 여기하는 단계는 상기 염료를 향해 여기 광을 방출하는 단계를 포함하고, 상기 여기 광은 상기 염료의 상기 평균 방출 파장보다 실질적으로 더 긴 파장을 가짐 -; 및
    상기 복수의 이미지들에서 프린지(fringe)들을 관찰하는 단계를 포함하며, 상기 관찰된 프린지들은 제1 색상과 연관된 제1 파장에 있고, 상기 관찰된 프린지들은 제2 색상과 연관된 제2 파장의 광을 방출하는 광원에 의해 생성되는, 방법.

Images