KR101766328B1 - 현미경 - Google Patents

현미경 Download PDF

Info

Publication number
KR101766328B1
KR101766328B1 KR1020150075286A KR20150075286A KR101766328B1 KR 101766328 B1 KR101766328 B1 KR 101766328B1 KR 1020150075286 A KR1020150075286 A KR 1020150075286A KR 20150075286 A KR20150075286 A KR 20150075286A KR 101766328 B1 KR101766328 B1 KR 101766328B1
Authority
KR
South Korea
Prior art keywords
image
light
lens system
transfer matrix
information
Prior art date
Application number
KR1020150075286A
Other languages
English (en)
Other versions
KR20160139779A (ko
Inventor
장환철
이흥노
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020150075286A priority Critical patent/KR101766328B1/ko
Priority to US15/166,278 priority patent/US10082659B2/en
Publication of KR20160139779A publication Critical patent/KR20160139779A/ko
Application granted granted Critical
Publication of KR101766328B1 publication Critical patent/KR101766328B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0205Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/0236Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place within the volume of the element
    • G02B5/0242Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place within the volume of the element by means of dispersed particles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/418Imaging electron microscope

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Dispersion Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

본 발명에 따른 광원에서 출사하여 관찰대상의 이미지정보를 포함하는 광이 입사하는 렌즈계; 상기 관찰대상과 상기 렌즈계의 사이에 놓이는 불규칙매체; 및 상기 이미지 정보를 획득하는 이미지 획득기가 포함되고, 상기 이미지 획득기에는, 상기 렌즈계를 통과하는 광의 정보를 획득하는 이미지 센서; 상기 광입구부로 입사하는 다양한 광의 전달상태를 나타내는 전달행렬이 미리 저장되어 있는 전달행렬저장부; 및 상기 전달행렬을 이용하여 희소표현을 이용하는 압축센싱기법으로, 상기 이미지 센서로 획득된 광의 정보로부터 상기 이미지 정보를 복구하는 이미지 복구부가 포함된다. 본 발명에 따르면, 현미경의 화질을 개선할 수 있고, 간소화된 작업으로 이미지를 획득할 수 있다.

Description

현미경{Microscope}
본 발명은 현미경에 관한 것이다.
생체조직으로 예시가능한 불규칙매체(turbid media)를 통과하는 출력광파는, 다중산란을 거쳐서 입력광파의 모습을 완전히 잃어버리게 된다. 따라서 불규칙매체의 투과는 이미징을 위해서는 피해야 하는 문제점으로 인식되었다.
그러나, 상기 불규칙매체에서의 다중산란에 의한 스크램블링 작용과 이로 인하여 발생하는 스페클 패턴(speckle pattern)은 결정론적이고, 따라서 상기 스크램블링 작용을 알면 상기 불규칙매체를 통과하기 전의 입력광파를 복구할 수 있는 것이 비특허문헌 1을 통하여 확인되었다. 상기 비특허문헌 1에서는 이미지정보를 포함하는 광신호가 상기 불규칙매체를 통과하기 전과 후를 나타내는 전달행렬을 얻어낸 후에, 상기 전달행렬의 역연산(inversion)을 출력광파에 대하여 행하여 산란을 상쇄하여 이미지를 재구성하는 작용을 수행하였다.
비특허문헌 2에서는 상기 불규칙매체가 기존 광학 시스템의 회전 제약 공간 해상도를 뛰어넘을 수 있는 실험결과도 제시하고 있다.
그러나, 상기 불규칙매체를 통과하는 이미징 시스템은 많은 데이터의 측정과 처리를 필요로 하는 문제점이 있다. 상세하게는, 상기 전달행렬의 측정을 위하여 많은 수의 기저 입력광파에 대한 반응을 미리 측정하여야 한다. 또한, 노이즈 및 전달행렬의 오류로 인하여 한 번의 역연산으로 좋은 품질의 이미지를 제공하지 못하고 많은 스페클이 재구성된 이미지에 남아 있다. 이를 해결하기 위하여, 많은 수의 비간섭적인(incoherent) 샘플들로부터 복구한 이미지들의 평균화작업이 필요하다. 예를 들어 비특허문헌 2에서는 20,000개의 기저 입력광파로 전달행렬을 제공하고, 평균화작업을 위하여 1,000개의 비간섭적인 샘플을 이용하였다.
이에 따르면, 많은 수의 데이터 측정이 필요하고, 이는 계산량, 메모리사용, 시간복잡도를 증가시키게 된다.
비특허문헌 1. S. M. Popoff, G. Lerosey, R. Carminati, M. Fink, A. C. Boccara, and S. Gigan, "Measuring the transmission matrix in optics: an approach to the study and control of light propagation in disordered media," Phys. Rev. Lett., vol. 104, no. 10, 100601, Mar. 2010. 비특허문헌 2. Y. Choi, M. Kim, C. Yoon, T. D. Yang, K. J. Lee, and W. Choi, "Overcoming the diffraction limit using multiple light scattering in a highly disordered medium," Phys. Rev. Lett., vol. 107, no. 2, 023902, Jul. 2011.
본 발명은 상기되는 배경하에서 제안되는 것으로서, 계산량, 메모리사용, 및 시간복잡도를 줄이고 간편하게 사용할 수 있는 현미경을 제안한다.
또한, 불규칙매체를 현미경의 광입구부에 도입하여 개구수를 크게 하여, 보다 다양한 정보가 이미지 복구에 사용될 수 있도록 하여 개선된 화질을 제공하는 현미경을 제안한다.
본 발명에 따른 현미경에는, 광원에서 출사하여 관찰대상의 이미지정보를 포함하는 광이 입사하는 렌즈계; 상기 관찰대상과 상기 렌즈계의 사이에 놓이는 불규칙매체; 및 상기 이미지 정보를 획득하는 이미지 획득기가 포함되고, 상기 이미지 획득기에는, 상기 렌즈계를 통과하는 광의 정보를 획득하는 이미지 센서; 상기 광입구부로 입사하는 다양한 광의 전달상태를 나타내는 전달행렬이 미리 저장되어 있는 전달행렬저장부; 및 상기 전달행렬을 이용하여 희소표현을 이용하는 압축센싱기법으로, 상기 이미지 센서로 획득된 광의 정보로부터 상기 이미지 정보를 복구하는 이미지 복구부가 포함된다.
상기 현미경에서, 상기 광원은 가간섭광이고, 더 바람직하게는 적외선 레이저이다. 또한 상기 현미경에서, 상기 이미지 획득기와 상기 렌즈계의 사이에는 빔스플리터가 제공되고, 상기 빔스플리터는, 상기 렌즈계를 통과한 신호빔과, 상기 광원에서 출사한 참조빔이 함께 상기 이미지 센서로 입사되도록 하여 더 정확한 이미지를 구성할 수 있다. 또한, 상기 현미경에서, 상기 불규칙매체는 투명의 기재에 나노스케일의 미소입자가 혼입될 수 있고, 이때, 상기 미소입자의 재질은 ZnO로 제공될 수 있다. 또한, 상기 불규칙매체는 슬라이드 글래스에 증착될 수 있다. 또한, 상기 전달행렬의 각 칼럼은 입사각이 서로 다른 상태로 측정될 수 있다.
본 발명의 다른 측면에 따른 현미경에는, 렌즈계; 상기 렌즈계와 상기 관찰대상의 사이에 놓이는 불규칙매체; 및 상기 렌즈계를 통과한 광으로부터 상기 관찰대상의 이미지를 획득하는 이미지 획득기가 포함되고, 상기 이미지 획득기에는, 상기 렌즈계를 통과한 광의 정보를 획득하는 이미지 센서; 상기 렌즈계를 통과하는, 입사각이 서로 다른 광의 전달상태를 나타내는 전달행렬이 미리 저장되어 있는 전달행렬저장부; 및 상기 전달행렬을 이용하여 희소표현을 이용하는 압축센싱기법으로, 상기 이미지 센서로 획득된 광의 정보로부터 상기 관찰대상의 이미지를 복구하는 이미지 복구부가 포함될 수 있다.
본 발명에 따르면, 현미경의 화질을 개선할 수 있고, 간소화된 작업으로 이미지를 획득할 수 있다.
도 1은 바람직한 실시예에 따른 현미경의 개략적인 도면.
도 2는 이미지 획득기의 구성을 설명하는 도면.
도 3은 전달행렬을 측정하는 방법을 설명하는 도면.
도 4는 현미경의 사용상태를 설명하는 도면.
도 5는 전달행렬을 설명하는 도면.
도 6은 불규칙매체의 이점을 설명하는 참조도.
도 7은 20000번의 전달행렬의 칼럼을 이용하여, 실시예로 제시되는 희소표현을 이용하는 압축센싱(SSE), 역행렬연산자(PC: Phase Conjugation), 및 가성반전법(PINV: pseduo inversion method)를 이용하여 각 스펙트럼을 추정한 결과를 설명하는 도면.
도 8은 20000번의 전달행렬의 칼럼을 이용하고, 실시예로 제시되는 희소표현을 이용하는 압축센싱(SSE), 역행렬연산자(PC: Phase Conjugation), 및 가성반전법(PINV: pseduo inversion method)를 이용하여 독립 샘플에 의한 이미지의 평균화수(L)을 달리한 경우에 획득된 이미지를 보이는 도면.
도 9는 5000번의 전달행렬의 칼럼을 이용하고, 실시예로 제시되는 희소표현을 이용하는 압축센싱(SSE), 역행렬연산자(PC: Phase Conjugation), 및 가성반전법(PINV: pseduo inversion method)를 이용하여 450마이크로미터의 살아있는 쥐의 뇌세포 이미지를, 상기 이미지 평균화수(L)을 달리하며 획득된 이미지를 보이는 도면.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하에 제시되는 구체적인 실시예로 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상에 포함된다고 할 것이다.
본 발명의 상세한 설명과 함께 첨부되는 도면은 빛의 경로가 과장적으로 표시될 수 있고, 이해의 편의를 위하여 부품의 축적이 실제의 물품과는 다르게 표시될 수 있다. 그러나, 그 물품의 기능 및 역할 등은 충분히 이해가능하다.
도 1은 바람직한 실시예에 따른 현미경의 개략적인 도면이다.
도 1을 참조하면, 렌즈계(2)와, 상기 렌즈계(2)의 광입구부에 제공되는 불규칙매체(turbid media)(1)와, 상기 렌즈계(2)의 광출구부에 제공되는 빔스플리터(3)와, 빔스플리터(3)의 출구측에 제공되는 이미지 획득기(6)가 포함된다.
상기 불규칙매체(1)는, 빛이 투과되는 투명의 수지 재질의 기재에 미소 입자인 파티클이 혼입되어 있을 수 있다. 상기 불규칙매체(1)는 렌즈계(2)의 광입구부에 도포될 수도 있고, 별도의 플레이트로 제공될 수도 있다. 상기 미소입자로는 나노스케일의 산화아연(ZnO)이 사용될 수 있다. 상기 불규칙매체(1)가 상기 렌즈계의 광입구부에 제공됨으로써 렌즈계의 원래 개구수(NA: Numeric Aperture)를 증대시키는 작용이 있다. 다시 말하면, 상기 불규칙매체(1)의 내부에서는 광이 다수의 방향으로 산란되기 때문에, 상기 렌즈계(2)의 광입구부를 통하여 진입할 수 있는 광의 각도가 더 넓어지는 효과를 기대할 수 있는 것이다. 예를 들어, 렌즈계(2)의 내부로 들어올 수 없는 각도로 입사하는 광이 미소입자로 들어와서, 진행방향이 변경되어 렌즈계(2)의 내부에서 전달될 수 있는 것이다.
상기 빔스플리터(3)는, 불규칙매체(1)를 통과하는 신호빔(4)과 원래의 광원(10)에서 바이패스되는 참조빔(5)을 함께 획득할 수 있도록 한다. 상기 참조빔(5)을 얻기 위하여 상기 광원(10)에서 조사된 빛 중의 일부를 바이패스시키는 빔 스플리터가 더 제공될 수 있다. 상기 빔 스플리터(4)에 신호빔과 참조빔을 도입하여 위상신호를 복구하는 것을 홀로그래픽 프로세스라고 이름할 수 있다. 상기 홀로그래픽 프로세서를 적용함으로써, 상기 이미지 획득기(6)는 신호빔의 강도신호와 함께 신호빔과 참조빔을 함께 참조하여 신호빔의 위상신호를 이용하여 이미지 신호를 더 정확하게 복구할 수 있다.
상기 현미경의 동작 및 작용을 간단히 설명한다.
실시예에 따른 현미경의 렌즈계(2)의 광입구부로, 상기 광원(10)에서 조사된 빛이 관찰대상인 물체를 통과하여 불규칙매체(1)를 통과하여 렌즈계(2)로 들어온다. 이미 설명한 바와 같이 상기 불규칙매체(1)는 상기 광입구부의 개구수(NA)를 크게 한다. 상기 렌즈계(2)를 통하여 전달된 광신호는 신호빔(4)으로서 빔스플리터(3)로 들어온다. 상기 빔스플리터(3)에는 신호빔(4)과 함께 참조빔(5)을 함께 받아들인다. 상기 참조빔(5)은 상기 광원(10)에서 조사된 후 어떠한 변화를 거치지 않고 또 다른 빔스플리터 등을 이용하여 입사되는 광으로 생각할 수 있다. 상기 이미지 획득기(6)에서는 신호빔(4)의 강도신호를 획득할 뿐만 아니라, 참조빔(5)을 이용하여 신호빔(4)의 위상신호도 획득할 수 있다. 상기 강도신호와 위상신호를 함께 이용하여 이미지를 복구함으로써, 보다 정확한 이미지를 얻을 수 있다.
도 2는 이미지 획득기의 구성을 설명하는 도면이다.
도 2를 참조하면, 상기 이미지 획득기(6)에는, 상기 빔스플리터(3)를 통과하는 신호빔(4)과 참조빔(5)이 함께 획득되는 이미지 센서(61)와, 전달행렬 저장부(62)와, 상기 전달행렬 저장부(62)에 저장되는 전달행렬과 상기 이미지 센서(61)에서 획득된 이미지를 이용하여 관찰대상의 이미지를 복구하는 이미지 복구부(63)가 포함된다.
상기 전달행렬 저장부(62)에 저장되는 전달행렬(TM: Transmission Matrix)에 더하여 더 상세하게 설명한다. 상기 전달행렬은, 상기 광입구부의 서로 다른 다수의 방향 및 다수의 위치로 입사된 광이 상기 불규칙매체(1)와 상기 렌즈계(2)와 빔스플리터(3)를 통과한 다음에, 어떠한 이미지로 맺히는 지를 나타낼 수 있다. 상기 전달행렬은 현미경의 출시 전에 미리 파악하도록 할 수 있다. 특히, 상기 불규칙매체(1)에 내재되는 미소 입자가 어떠한 방식으로 내재하는지에 따라서 전달행렬이 달라질 수 있으므로, 상기 전달행렬은 각 현미경마다 서로 다르게 측정될 수 있다. 예를 들어, 상기 전달행렬 저장부(62)에 저장되는 전달행렬의 개수는 수천개 단위로 제공될 수 있다.
상기 이미지 복구부(63)는 압축센싱기법(CS:Compressed sensing)을 이용하여 이미지를 복구하는데, 이때 전달행렬 저장부(62)에 저장되어 있는 전달행렬과 이미지 센서(61)로 획득되는 이미지를 이용한다.
도 3은 전달행렬을 측정하는 방법을 설명하는 도면이다.
도 3을 참조하면, 실시예에 따른 현미경의 광입구부, 더 정확하게는 불규칙매체(1)를 향하여 다양한 방향 및 위치로 광을 조사하는 다방향 광조사기(20)가 도시된다. 상기 다방향 광조사기(20)는 수십 초 정도의 시간 안에 수천 개에 이르는 다양한 위치 및 각도로 레이저를 조사할 수 있다. 하나의 경우로서 불규칙매체(1)의 중심에서 시작하여, 중심으로부터 거리와 각도를 점진적으로 늘려가면서 전달행렬을 측정할 수 있다. 각각의 상기 전달행렬은, 어느 각도 및 위치에서 광이 입사할 때 불규칙매체(1)를 거쳐서 상기 이미지 센서(61)에서 어떠한 이미지를 맺는가 하는 것을 의미할 수 있다.
상기 전달행렬의 의미를 수학식을 참조하여 설명한다.
Figure 112015051632894-pat00001
여기서, o(x,y)는 대상 웨이브(object wave)이고, a(kx,ky)는 상기 대상 웨이브의 각 스펙트럼(angular spectrum)으로서 여기서 k는 웨이브 벡터(wave vector)이고, P(x,y;kx,ky)는 k 진행방향(propogation direction)을 가지는 평면파(plane wave)이다. 따라서, 상기 대상 웨이브는 상기 불규칙매체(1)로 입사하는 광을 나타내는 것이고, 상기 대상 웨이브는 k 진행방향을 가지는 평면파의 세트로 나뉘어질 수 있다.
상기 대상 웨이브가 상기 불규칙매체(1)와 렌즈계(2)를 통과하면, 불규칙매체의 산란특성으로 인하여 왜곡된 다음에, 왜곡된 대상 웨이브가 되어 신호빔(4)으로서 이미지 획득기(6)에서 획득된다. 수학식 2는 왜곡되는 대상 웨이브를 나타낸다.
Figure 112015051632894-pat00002
여기서, y(x,y)는 진행경로 상에서 왜곡된 왜곡 대상 웨이브이고, a(kx,ky)는 상기 대상 웨이브의 각 스펙트럼(angular spectrum)이고, t(x,y:kx,ky)는 어느 P(x,y;k)(k 진행방향을 가지는 평면파)가 불규칙매체를 통과한 다음의 응답 웨이브로서 전달행렬의 각 칼럼을 나타낼 수 있고, n(x,y)는 노이즈이다. 도 5는 전달행렬을 설명하는 도면이다. 도 5를 참조하면, k 진행방향을 가지는 평면파에 대한 전달행렬의 각 칼럼은 t로 표시되고, 전달행렬은 T로 표시되고, 전달행렬 저장부(62)에 저장되어 있다. 상기 도 5는 강도정보만을 나타낸 것이지만 위상정보는 신호빔과 참조빔을 비교하여 홀로그래픽 프로세스를 이용하여 획득될 수 있다. 따라서, 상기 전달행렬의 칼럼의 각 원소의 전보는 복소수로 표시될 수 있다.
상기 수학식 2는 벡터형식으로는 수학식 3으로 표현할 수 있다.
Figure 112015051632894-pat00003
여기서, y은 상기 왜곡 대상 웨이브의 벡터표현이고, a는 상기 대상 웨이브의 각 스펙트럼의 벡터표현이고, T는 전달행렬로서 그 전달행렬의 각 칼럼은 상기 응답 웨이브의 벡터표현이고, n은 노이즈의 벡터표현이 된다. 여기서, k의 개수는 상기 다방향 광조사기(20)를 통하여 획득된 전달행렬의 칼럼의 수가 될 수 있다.
상기 수학식 3에서 y는 상기 이미지센서(61)를 통하여 획득되는 정보이고, T는 상기 전달행렬의 측정을 통하여 획득되는 정보이므로, 상기 대상 웨이브의 각 스펙트럼(a)를 추측할 수 있다. 상기 각 스펙트럼을 제대로 추측해 내면, P(x,y;kx,ky)(k 진행방향(propogation direction)을 가지는 평면파(plane wave))는 알고 있으므로, 수학식 1을 참조하여 상기 대상 웨이브, 즉 불규칙매체(1)로 입사하는 이미지를 재구성할 수 있다.
도 4는 실시예에 따른 현미경의 사용상태를 설명하는 도면이다.
도 4를 참조하면, 광원(10)에서 조사된 광의 일부는 샘플을 투과하여 샘플의 모양 및 형상 등의 정보를 포함한 상태에서 불규칙매체(1)를 통과한 다음에, 상기 렌즈계(2)의 광입구단으로 입사한다. 상기 광원(10)에서 조사된 광의 다른 일부는 빔스플리터(미도시) 등과 같은 광 분기기구에 의해서 바이패스되어 빔스플리터(3)의 참조빔(5)으로서 입사한다. 상기 광원(10)에서 조사되는 빛은 가간섭광(coherent wave)으로 이미지 센서에서 획득되는 정보에서 강도(진폭)와 위상 정보를 활용할 수 있도록 한다. 상기 광원(10)의 대표적인 예로서 레이저를 활용할 수 있고, 인체에 무해한 적외선 레이저 광을 바람직하게 사용할 수 있다. 상기 광원이 가간섭광이 아니라 비간섭광(incoherent wave)으로서 위상정보를 활용할 수 없는 경우와 비교할 때 이미지의 정확도는 두 배 이상 차이가 난다. 따라서 가간섭광을 사용하는 것이 바람직하게 예상된다. 만약 비간섭광을 사용하는 경우에는 홀로그래픽 프로레스가 적용되지 않기 때문에 빔스플리터(3) 및 참조빔(5)이 필요없고 위상정보의 활용을 위한 복소수 표현이 필요하지 않게 된다.
실시예에서는 이미지의 정확도를 향상시키기 위하여 가간섭광을 사용하는 것을 바람직하게 제시하지만, 비간섭광을 사용하는 것도 배제하지는 않는다. 그러나 바람직하게 가간섭광을 사용하고, 빔스플리터(3) 및 참조빔(5)이 제공되는 것이 더 바람직한 것은 물론이다.
상기 불규칙매체(1)에 의하면 렌즈계(2)의 광입구단의 개구수가 커지는 효과를 얻을 수 있다. 도 6은 불규칙매체의 이점을 설명하는 참조도이다. 도 6에서 상측 도면은 불규칙매체가 없는 경우를 설명하는 그림이고, 하측 도면은 불규칙매체가 렌즈계의 광입구단에 제공되는 경우를 설명하는 그림이다.
도 6을 참조하면, 상기 불규칙매체가 제공되는 경우에는 렌즈계의 개구수가 커져서 원래는 렌즈계의 광입구단으로 진입할 수 없는 각도의 정보가 렌즈계의 안으로 들어올 수 있다. 이는 불규칙매체(1)로 일단 들어온 빛이 미소 입자의 산란을 통하여 렌즈계의 입구단으로 들어갈 수 있는 것에 기인한다. 따라서, 상기 렌즈계(2)를 통과하는 광량이 동일하더라도, 서로 섞여 있는 정보가 저 많아질 수 있다. 다시 말하면, 상기 불규칙매체(1)가 제공되지 않아서 원래는 렌즈계로 들어올 수 없는 정보가, 렌즈계에 포함되어 전달되므로 그 정보를 적극적으로 활용함으로써 더 정확한 이미지를 복구할 수 있는 것이다.
보다 정확하게 불규칙매체의 장점을 설명한다. 첫째 상기 렌즈계(2)의 광출구단에서 제공되는 출력모드에는, 상기 렌즈계(2)의 광입구단으로 들어오는 모든 입력모드의 정보를 포함한다. 둘째 렌즈계를 통과하는 어느 한 전달모드로서 입력모드들의 선형 연합(linear combination of input mode signals)은 다른 한 전달모드들에서 전달하는 선형 연합들과 선형 독립(linearly independent)이거나 상관관계성(correlation)이 거의 없다. 따라서, 렌즈계의 전달모드는 최고의 효율을 가지고서 사용할 수 있게 된다. 여기서, 상기 전달모드는 화소 또는 이미지의 미소영역이라고 생각할 수 있다. 극단의 예로서, 불규칙매체가 사용되지 않고 1, 2, 및 3 세 개의 전달모드가 있는 렌즈계의 경우에, 상기 각 전달모드를 통하여 가, 나, 및 다의 입력모드가 각각 전달된다고 할 때, 상기 불규칙매체(1)가 사용되는 경우에는 원래는 들어오지 못한 입력모드로서 라, 및 마가 더 입력될 수 있고, 1, 2, 및 3의 전달모드에는 가, 나, 다, 라, 및 마의 전달모드가 섞여서 렌즈계를 통하여 전달될 수 있는 것과 같은 의미이다.
상기되는 설명에 의해서 불규칙매체가 현미경에 적용하는 경우의 장점을 더 정확하게 이해할 수 있을 것이다.
이제 수학식 3을 참조하여 상기 대상 웨이브의 각 스펙트럼을 구하는 과정을 설명한다. 수학식 3은 비결정 시스템(underdeteremined system)으로서 최적화 과정을 통하여 해를 구할 수 있다. 실시예에서는 그 해를 구하기 위하여 희소표현(sparse representation)을 이용하는 압축센싱(compressed sensing)을 이용하는 것에 일 특징이 있다.
상기 희소표현을 이용하는 압축센싱이 성공적으로 수행되기 위해서는, 두 가지 조건이 충족하여야 한다.
첫째, 상기 수학식 3에서 상기 대상 웨이브의 각 스펙트럼(a)이 압축이 가능한 신호이어야 한다. 압축이 가능하다는 것(compressible)은, 상기 대상 웨이브의 각 스펙트럼(a)이 적은 수의 영이 아닌 값(small number of nonzero elements)을 가지도록 하여야 한다는 것을 의미한다. 그런데, 현미경이 사용되는 관찰대상으로서의 물체의 이미지를 포함하는 자연계의 이미지는 웨이블릿 도메인(wavelet domain)에서 적은 수의 요소로 표현이 가능하다. 더욱이 웨이블릿 도메인이 아니더라도, 만약 다른 직교신호베이스(orthogonal signal base)에서 적은 수의 요소로 표현이 가능하다면, 그 신호는 압축이 가능하다는 것(compressible)이 알려져 있다.
구체적으로 이러한 사실은, M. Aharon, M. Elad, and A. Bruckstein, "K-SVD: an algorithm for designing overcomplete dictionaries for sparse representation," IEEE Ttrans. Signal processing. 54, 4311-4322(2006)과, E. J. Candes and T. Tao, "Near-optimal signal recovery from random projections: universal encoding strategies," IEEE Trans. Inf. Theory. 52, 5406-5425(2006)를 통하여 알려져 있다.
둘째, 상기 수학식 3에서 전달행렬(T)은 비간섭성으로(incoherent) 제공될 필요가 있다. 상기 압축센싱에 있어서, 상기 전달행렬(T)은 상기 불규칙매체(1)의 특성을 측정한 것으로서 측정행렬이라고 표현할 수 있다. 상기 전달행렬의 각 칼럼의 교차상관(cross-correlation)이 작은 경우에, 상기 전달행렬은 비간섭성이라고 할 수 있다. 그런데, 상기 전달행렬의 각 칼럼은, 상기 다방향 광조사기(20)에 의해서 각각 다른 방향으로 조사된 광에 대한 측정값이고, 상기 불규칙매체(1)를 통과함으로써 그 측정값은 랜덤하게 달라지므로, 전달행렬의 비간섭성은 확보할 수 있다.
상기되는 설명에 따르면, 수학식 3으로 표현되는 비결정 시스템은 희소표현을 이용하는 압축센싱을 적용하여 최적해를 구할 수 있는 것을 확인할 수 있다. 희소표현을 이용하는 압축센싱으로 최적해를 구하는 방법은 수학식 4로 표현된다.
Figure 112015051632894-pat00004
여기서, 하첨자 sse는 희소신호추정(Sparse Signal Estimation)을 나타내고, ∥·∥1는 L1놈으로서 벡터요소의 절대값의 합을 나타낸다.
상기 수학식 4는 심플렉스법(simplex methods) 또는 기울기하강법(steepest decent methods) 또는 이차미분법(second derivative methods)을 사용하여 최적의 해를 구할 수 있다. 또 다른 예로서 본 발명의 출원인이 대한민국특허등록번호 10-1423964에서 제안한 바가 있는 L1 놈 최소화 방법을 이용하여 최적의 해를 구할 수 있다.
상기 수학식 4를 통하여 상기 대상 웨이브의 각 스펙트럼을 추정하면, 수학식 3에서 설명한 바와 같은 방법으로 이미지를 복구할 수 있다.
상술되는 구성을 참조하여 현미경의 구체적인 실시예와 그 실시예를 이용하여 실험한 결과를 설명한다.
상기 불규칙매체(1)는, 샘플 플레인(SP: sample plane)과 렌즈계(2)의 대물렌즈의 사이에 놓이는 슬라이드 글래스에, 나노스케일의 산화아연(ZnO)을 나노파티클을 투명수지에 혼입하여 증착하였다. 갈바노미터로 방향을 조정하는 상기 다방향 광조사기(20)로 633nm의 레이저를 조사하여 전달행렬을 얻었다. 촬영대상으로는 USAF 타켓과 비슷한 샘플을 이용하였다.
희소표현을 이용하는 압축센싱이 수행된 실험결과를 비교예와 함께 설명한다.
도 7은 20000번의 전달행렬의 칼럼을 이용하고, 실시예로 제시되는 희소표현을 이용하는 압축센싱(SSE), 역행렬연산자(PC: Phase Conjugation), 및 가성반전법(PINV: pseduo inversion method)를 이용하여 각 스펙트럼을 추정한 결과이다.
도 7을 참조하면 희소표현을 이용하는 압축센싱의 경우에 스패클이 현저하게 줄어 있는 것을 확인할 수 있다.
도 8은 20000번의 전달행렬의 칼럼을 이용하고, 실시예로 제시되는 희소표현을 이용하는 압축센싱(SSE), 역행렬연산자(PC: Phase Conjugation), 및 가성반전법(PINV: pseduo inversion method)를 이용하여 독립 샘플에 의한 이미지의 평균화수(L)을 달리한 경우에 획득된 이미지를 나타낸다.
도 8을 참조하면, 희소표현을 이용하는 압축센싱의 경우에는 7번의 이미지 평균화를 통하여 스패클이 거의 사라지고, 이미지 평균화를 거치지 않더라도 일정 수준의 이미지 재구성이 가능한 것을 확인할 수 있다. 이에 반하여, 역행렬연산자(PC: Phase Conjugation), 및 가성반전법(PINV: pseduo inversion method)의 경우에는 스패클이 현저하게 남고 이미지를 알아볼 수 없는 것을 확인할 수 있다.
도 9는 5000번의 전달행렬의 칼럼을 이용하고, 실시예로 제시되는 희소표현을 이용하는 압축센싱(SSE), 역행렬연산자(PC: Phase Conjugation), 및 가성반전법(PINV: pseduo inversion method)를 이용하여 450마이크로미터의 살아있는 쥐의 뇌세포 이미지를, 상기 이미지 평균화수(L)을 달리하며 획득된 이미지를 나타낸다.
도 9를 참조하면, 희소표현을 이용하는 압축센싱의 경우에는 스패클이 현저하게 감소하는 것을 확인할 수 있었다.
본 발명에 따르면 현미경의 이미지에 대한 해상도를 향상시킬 수 있다.
또한, 현미경의 동작시에 이미지 복구에 필요한 샘플수를 감소시켜서 시간 복잡도를 줄이고, 더 짧은 시간에 시료의 동적특성을 알 수 있다. 또한, 메모리의 복잡도를 줄여서 시료의 행동양식을 긴 시간동안 관찰할 수 있다.
1 : 불규칙매체
2: 렌즈계
3 : 빔스플리터
6 : 이미지 획득기

Claims (9)

  1. 광원에서 출사하여 관찰대상의 이미지정보를 포함하는 광이 입사하는 렌즈계;
    상기 관찰대상과 상기 렌즈계의 사이에 놓이는 불규칙매체; 및
    상기 이미지 정보를 획득하는 이미지 획득기가 포함되고,
    상기 광원에서 조사된 광의 일부는 상기 관찰대상의 모양 및 형상의 정보를 포함한 상태에서 상기 불규칙매체를 통과한 후에 상기 렌즈계의 광입구단으로 입사하며,
    상기 이미지 획득기에는,
    상기 렌즈계를 통과하는 광의 정보를 획득하는 이미지 센서;
    상기 광입구부로 입사하는 다양한 광의 전달상태를 나타내는 전달행렬이 미리 저장되어 있는 전달행렬저장부; 및
    상기 전달행렬을 이용하여 희소표현을 이용하는 압축센싱기법으로, 상기 이미지 센서로 획득된 광의 정보로부터 상기 이미지 정보를 복구하는 이미지 복구부가 포함되는 현미경.
  2. 제 1 항에 있어서,
    상기 광원은 가간섭광인 현미경.
  3. 제 2 항에 있어서,
    상기 광원은 적외선 레이저 광원인 현미경.
  4. 제 1 항에 있어서,
    상기 이미지 획득기와 상기 렌즈계의 사이에는 빔스플리터가 제공되고,
    상기 빔스플리터는, 상기 렌즈계를 통과한 신호빔과, 상기 광원에서 출사한 참조빔이 함께 상기 이미지 센서로 입사되도록 하는 현미경.
  5. 제 1 항에 있어서,
    상기 불규칙매체는 투명의 기재에 나노스케일의 미소입자가 혼입되는 현미경.
  6. 제 5 항에 있어서,
    상기 미소입자의 재질은 ZnO인 현미경.
  7. 제 1 항에 있어서,
    상기 불규칙매체는 슬라이드 글래스에 증착되는 현미경.
  8. 제 1 항에 있어서,
    상기 전달행렬의 각 칼럼은 입사각이 서로 다르게 측정되는 현미경.
  9. 삭제
KR1020150075286A 2015-05-28 2015-05-28 현미경 KR101766328B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150075286A KR101766328B1 (ko) 2015-05-28 2015-05-28 현미경
US15/166,278 US10082659B2 (en) 2015-05-28 2016-05-27 Microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150075286A KR101766328B1 (ko) 2015-05-28 2015-05-28 현미경

Publications (2)

Publication Number Publication Date
KR20160139779A KR20160139779A (ko) 2016-12-07
KR101766328B1 true KR101766328B1 (ko) 2017-08-08

Family

ID=57452690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150075286A KR101766328B1 (ko) 2015-05-28 2015-05-28 현미경

Country Status (2)

Country Link
US (1) US10082659B2 (ko)
KR (1) KR101766328B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208140648U (zh) * 2015-10-14 2018-11-23 阿尔卑斯电气株式会社 流路结构体以及测定对象液体的测定装置
CN107038730B (zh) * 2017-03-30 2020-09-11 湖北工业大学 基于高斯尺度结构块分组的稀疏表示图像重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4273419A (en) * 1980-03-21 1981-06-16 The United States Of America As Represented By The Secretary Of The Air Force Light-scattering disc collector
JP2002139422A (ja) 2001-09-10 2002-05-17 Fuji Photo Film Co Ltd 光散乱媒体の吸光計測装置
JP2003322504A (ja) * 2002-04-26 2003-11-14 Olympus Optical Co Ltd 干渉顕微鏡

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927859B2 (en) * 2001-03-08 2005-08-09 The Hong Kong Polytechnic University Microdensitometer system with micrometer resolution for reading radiochromic films
DE102005062174C5 (de) * 2005-12-23 2010-05-06 INSTITUT FüR MIKROTECHNIK MAINZ GMBH Meßchip
US8582934B2 (en) * 2007-11-12 2013-11-12 Lightlab Imaging, Inc. Miniature optical elements for fiber-optic beam shaping
US7813609B2 (en) * 2007-11-12 2010-10-12 Lightlab Imaging, Inc. Imaging catheter with integrated reference reflector
DE102009014080B4 (de) * 2009-03-23 2011-12-15 Baumer Innotec Ag Vorrichtung zum Bestimmen von Partikelgrössen
US8406556B2 (en) * 2010-06-10 2013-03-26 Microsoft Corporation Light transport reconstruction from sparsely captured images
US9509956B2 (en) * 2011-11-07 2016-11-29 The Regents Of The University Of Colorado, A Body Corporate High-speed wavefront optimization
EP2831497A2 (en) * 2012-03-29 2015-02-04 École Polytechnique Fédérale de Lausanne (EPFL) Methods and apparatus for imaging with multimode optical fibers
KR101423964B1 (ko) 2012-07-20 2014-07-31 광주과학기술원 분광계의 광 신호 처리 방법 및 그 장치
US9380221B2 (en) * 2013-02-27 2016-06-28 Massachusetts Institute Of Technology Methods and apparatus for light field photography
DE102013219181B4 (de) * 2013-09-24 2018-05-09 Olympus Soft Imaging Solutions Gmbh Vorrichtung und Verfahren zur optischen Bestimmung von Partikeleigenschaften
GB201319079D0 (en) * 2013-10-29 2013-12-11 Univ St Andrews Random Wavelength Meter
KR101609029B1 (ko) * 2013-12-13 2016-04-04 고려대학교 산학협력단 광 전달 매질의 투과 특성을 측정하는 방법 및 이를 이용한 이미지 획득 장치
US10295718B2 (en) * 2015-12-18 2019-05-21 Novaris Ag Diverging light from fiber optics illumination delivery systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4273419A (en) * 1980-03-21 1981-06-16 The United States Of America As Represented By The Secretary Of The Air Force Light-scattering disc collector
JP2002139422A (ja) 2001-09-10 2002-05-17 Fuji Photo Film Co Ltd 光散乱媒体の吸光計測装置
JP2003322504A (ja) * 2002-04-26 2003-11-14 Olympus Optical Co Ltd 干渉顕微鏡

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Brent D. Cameron 외 5인, ‘Measurement and calculation of the two-dimensional backscattering Mueller matrix of a turbid medium’, Optics Letters, Vol.23, Issue7, pp485~487, 1998.4.1.*

Also Published As

Publication number Publication date
KR20160139779A (ko) 2016-12-07
US10082659B2 (en) 2018-09-25
US20160357001A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
Haltmeier et al. Compressed sensing and sparsity in photoacoustic tomography
Katz et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations
RU2653772C1 (ru) Система формирования широкополосного гиперспектрального изображения на основе сжатого зондирования с нерегулярной дифракционной решеткой
US9013691B2 (en) Snapshot spectral imaging based on digital cameras
US20140270456A1 (en) Image Recovery from Single Shot Digital Hologram
JP6814983B2 (ja) 撮像装置
US8654441B2 (en) Differential interference contrast serial time encoded amplified microscopy
US20210349324A1 (en) Multi-lens system for imaging in low light conditions and method
US10073025B2 (en) Method and device for incoherent imaging with coherent diffractive reconstruction
Viswanath et al. Indirect imaging using correlography
KR101766328B1 (ko) 현미경
KR101638016B1 (ko) 내시경
Chen et al. Active mode single pixel imaging in the highly turbid water environment using compressive sensing
Hoenders Review of a bewildering classical–quantum phenomenon: ghost imaging
KR20190040747A (ko) 시편에 대한 다중 위치에서의 다중 요인 측정 시스템 및 그 동작 방법
Mathai et al. Transparent object detection using single-pixel imaging and compressive sensing
Kar et al. Fast computational spectral imaging with a programmable diffractive lens
JP6984736B2 (ja) 撮像装置及び撮像方法
Zoubi et al. Fast imaging in cannula microscope using orthogonal matching pursuit
Wang et al. High-speed holographic imaging using compressed sensing and phase retrieval
Leblanc et al. Interferometric lensless imaging: rank-one projections of image frequencies with speckle illuminations
Sudhakar et al. Compressive schlieren deflectometry
Tan Novel Methods for Object Recognition and Subwavelength Imaging Enabled by New Computational Tools
US20230351559A1 (en) Image recovery apparatus and removing aberrations in an acquired image from imperfect imaging optics
Xiao et al. Modeling atmospheric turbulence image reconstruction with compressive line sensing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant