KR102655200B1 - 반복색분리를 통한 분자 다중 이미징 방법 및 장치 - Google Patents
반복색분리를 통한 분자 다중 이미징 방법 및 장치 Download PDFInfo
- Publication number
- KR102655200B1 KR102655200B1 KR1020210089419A KR20210089419A KR102655200B1 KR 102655200 B1 KR102655200 B1 KR 102655200B1 KR 1020210089419 A KR1020210089419 A KR 1020210089419A KR 20210089419 A KR20210089419 A KR 20210089419A KR 102655200 B1 KR102655200 B1 KR 102655200B1
- Authority
- KR
- South Korea
- Prior art keywords
- images
- acquired images
- fluorescent substances
- acquired
- equation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000926 separation method Methods 0.000 title abstract description 39
- 238000003384 imaging method Methods 0.000 title abstract description 19
- 239000000126 substance Substances 0.000 claims abstract description 100
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 3
- 238000001917 fluorescence detection Methods 0.000 abstract description 23
- 101150071665 img2 gene Proteins 0.000 abstract description 22
- 230000003252 repetitive effect Effects 0.000 abstract description 2
- 101150013335 img1 gene Proteins 0.000 abstract 5
- 239000000463 material Substances 0.000 description 35
- 238000000295 emission spectrum Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 14
- 239000000523 sample Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005284 excitation Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 239000002246 antineoplastic agent Substances 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000000695 excitation spectrum Methods 0.000 description 3
- 238000009169 immunotherapy Methods 0.000 description 3
- 238000012880 independent component analysis Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 108020004999 messenger RNA Proteins 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 108091034117 Oligonucleotide Proteins 0.000 description 2
- 230000001093 anti-cancer Effects 0.000 description 2
- 229940041181 antineoplastic drug Drugs 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 102000034287 fluorescent proteins Human genes 0.000 description 2
- 108091006047 fluorescent proteins Proteins 0.000 description 2
- 210000002865 immune cell Anatomy 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- JLCPHMBAVCMARE-UHFFFAOYSA-N [3-[[3-[[3-[[3-[[3-[[3-[[3-[[3-[[3-[[3-[[3-[[5-(2-amino-6-oxo-1H-purin-9-yl)-3-[[3-[[3-[[3-[[3-[[3-[[5-(2-amino-6-oxo-1H-purin-9-yl)-3-[[5-(2-amino-6-oxo-1H-purin-9-yl)-3-hydroxyoxolan-2-yl]methoxy-hydroxyphosphoryl]oxyoxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(5-methyl-2,4-dioxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxyoxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(5-methyl-2,4-dioxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(5-methyl-2,4-dioxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(5-methyl-2,4-dioxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(6-aminopurin-9-yl)oxolan-2-yl]methoxy-hydroxyphosphoryl]oxy-5-(4-amino-2-oxopyrimidin-1-yl)oxolan-2-yl]methyl [5-(6-aminopurin-9-yl)-2-(hydroxymethyl)oxolan-3-yl] hydrogen phosphate Polymers Cc1cn(C2CC(OP(O)(=O)OCC3OC(CC3OP(O)(=O)OCC3OC(CC3O)n3cnc4c3nc(N)[nH]c4=O)n3cnc4c3nc(N)[nH]c4=O)C(COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3COP(O)(=O)OC3CC(OC3CO)n3cnc4c(N)ncnc34)n3ccc(N)nc3=O)n3cnc4c(N)ncnc34)n3ccc(N)nc3=O)n3ccc(N)nc3=O)n3ccc(N)nc3=O)n3cnc4c(N)ncnc34)n3cnc4c(N)ncnc34)n3cc(C)c(=O)[nH]c3=O)n3cc(C)c(=O)[nH]c3=O)n3ccc(N)nc3=O)n3cc(C)c(=O)[nH]c3=O)n3cnc4c3nc(N)[nH]c4=O)n3cnc4c(N)ncnc34)n3cnc4c(N)ncnc34)n3cnc4c(N)ncnc34)n3cnc4c(N)ncnc34)O2)c(=O)[nH]c1=O JLCPHMBAVCMARE-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
- G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
본 개시는 반복색분리를 통한 분자 다중 이미징 방법 및 장치를 제공한다. 본 개시에 따르면, 첫번째 형광 검출 파장대에서 두 형광 물질의 신호가 모두 검출되어도, 반복적 상호정보량 최소화를 이용하여 두 검출 파장대를 통해 얻은 두 이미지의 신호 분리가 가능하다. 이 때, 두 형광 물질의 방출 파장에 따른 형광 방출 세기가 서로 상이하므로, 두 검출 파장대에서 얻은 두 이미지에서, 두 형광 물질의 신호가 서로 다른 세기로 나타나게 된다. 구체적으로, 두 형광 물질의 신호가 서로 다른 세기로 나타난 IMG1과 IMG2에서 상호정보량 최소화가 되는 α를 계산해내고, 이를 통해 IMG1R1과 IMG2R1을 얻는다. 그 후 IMG1R1 과 IMG2R1을 다시 한번 상호정보량 최소화를 사용하여 분리하면 IMG1R2과 IMG2R2을 얻을 수 있다. α 값 유추와 신호 분리를 n번 반복하는 과정을 통해, 두 형광 물질의 신호가 점진적으로 분리가 되며, 최종적으로 두 형광 물질을 신호 분리해낸 IMG1Rn = F1과 IMG2Rn = F2를 얻어낼 수 있다.
Description
본 개시는 반복색분리를 통한 분자 다중 이미징 방법 및 장치에 관한 것이다.
최근 환자 암 조직 내에 존재하는 면역 세포를 활성화시켜 항암 효과를 내는 면역항암제가 크게 각광받고 있다. 면역항암제는 환자 암 조직 내에 어떤 면역 세포가 존재하는지에 따라 그 항암 효과에 큰 편차가 있다. 환자별 최적의 항암제를 선정하거나 새로운 기작의 면역항암제를 개발하기 위해서는, 환자 암 조직 내부에서 여러 면역 바이오 마커를 동시에 이미징해야 할 필요성이 있다. 기존의 여러 멀티 마커 동시 이미징 기술들은 고가의 특수 장비가 필요하거나, 과정이 복잡하고 이미징 속도가 느리거나, 이미징 과정에서 시료가 파괴되는 등, 여러 단점이 존재하여 면역항암제 개발, 새로운 바이오 마커 발굴, 면역항암제 반응성 예측에 널리 사용되고 있지 못하다. 따라서, 환자별 최적의 면역항암제 추천 및 새로운 면역항암제 개발을 위해서는, 저비용 고효율 무손상 멀티 마커 동시 이미징 기술이 필요하다.
해결하고자 하는 과제는 반복색분리를 통한 분자 다중 이미징 방법 및 장치를 제공하는 것이다.
본 개시에 따른 전자 장치의 동작 방법은, 상이한 생체 분자들에 각각 표지되어 있는 두 형광 물질들에 대해, 두 개의 이미지들을 획득하는 단계, 및 상기 획득된 이미지들 사이에서 공유되는 상호정보량을 반복적으로 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 포함할 수 있다.
본 개시에 따른 전자 장치는, 메모리, 및 상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 상이한 생체 분자들에 각각 표지되어 있는 두 형광 물질들에 대해, 두 개의 이미지들을 획득하고, 상기 획득된 이미지들 사이에서 공유되는 상호정보량을 반복적으로 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하도록 구성될 수 있다.
본 개시에 따르면, 이미지 분리 성능이 향상될 수 있다. 이 때, 본 개시에서는 반복적 상호정보량 최소화 전략을 통해 특이적 형광 물질 선정 및 형 광 검출 파장대 선정 전략을 제거 및 완화시킬 수 있다. 그리고, 본 개시에서는 두 형광 물질의 신호가 서로 다른 세기로 검출되는 두 이미지를 단계별 α 유추 및 점진적 신호 분리를 통해 두 형광 물질의 신호를 성공적으로 분리해낼 수 있다.
아울러, 본 개시의 결과로, 방출 스펙트럼의 최대가 되는 파장이 20 nm 이하로 차이나는 두 형광 물질 신호 분리에 성공할 수 있다. 본 개시에서는 반복적 상호정보량 최소화 전략을 통해 형광 검출 파장대의 최적화 과정없이 유사한 방출 스펙트럼을 가진 두 형광 물질의 신호 분리에 성공할 수 있다. 본 개시에서는 형광 검출 파장대 선정 전략을 배제함으로 인해, 첫번째 형광 검출 파장대의 범위를 넓게 설정할 수 있어 신호대잡음비가 올라가며, 이에 따라 양질의 신호 분리 이미지를 얻어낼 수 있다. 또한, 본 개시에서는 형광 물질에 특화된 파장대 선정을 하지 않아도 되므로 하드웨어적인 요구사항이 적어지며, 방출필터의 선택이 자유로워질 수 있다.
도 1은 본 개시에 따른 반복적 상호정보량 최소화를 통한 신호 분리 기법을 설명하기 위한 개략도이다.
도 2는 본 개시의 다양한 실시예들에 따른 전자 장치의 블록도이다.
도 3은 본 개시에 따라 얻을 수 있는 장점을 설명하기 위한 개략도이다.
도 4는 본 개시의 다양한 실시예들에 따른 전자 장치의 반복적 상호정보량 최소화를 통한 신호 분리 방법의 흐름도이다.
도 5는 도 4의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 도시하는 흐름도이다.
도 6 및 도 7은 도 4의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 설명하기 위한 이미지들이다.
도 8, 도 9 및 도 10은 본 개시의 적용 범위를 설명하기 위한 이미지들이다.
도 2는 본 개시의 다양한 실시예들에 따른 전자 장치의 블록도이다.
도 3은 본 개시에 따라 얻을 수 있는 장점을 설명하기 위한 개략도이다.
도 4는 본 개시의 다양한 실시예들에 따른 전자 장치의 반복적 상호정보량 최소화를 통한 신호 분리 방법의 흐름도이다.
도 5는 도 4의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 도시하는 흐름도이다.
도 6 및 도 7은 도 4의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계를 설명하기 위한 이미지들이다.
도 8, 도 9 및 도 10은 본 개시의 적용 범위를 설명하기 위한 이미지들이다.
아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "??부", "??기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
설명에서는 동작 주체가 생략될 수 있으나, 본 개시에서 설명하는 방법은 전자 장치, 예컨대 컴퓨팅 장치와 형광 현미경을 포함하는 장치에서 구현될 수 있다.
형광 이미징은 시료 내부의 생체 분자를 다양한 형광 물질(fluorophore)로 표지하고 이를 빛으로 여기(excitation)시킨 후, 각 형광 물질에서 방출(emission)되는 빛을 광학현미경으로 탐지하여 시료 내부의 생체 분자를 간접적으로 관찰할 수 있는 기법이다. 형광 물질들은 고유의 화학 구조로 인해 각기 다른 여기 스펙트럼(excitation spectrum)과 방출 스펙트럼(emission spectrum)을 가지며, 이 때 항상 흡수한 빛보다 긴 파장의 빛을 방출하게 된다. 형광 물질들의 여기 및 방출 스펙트럼은 일반적으로 가시광선 범위(400 - 700 nm) 내에서 100 nm 정도의 넓은 너비를 가지고 있다. 하나의 시료에서 여러 생체 분자를 동시에 관찰하기 위해서는 여러 생체 분자를 서로 다른 형광 물질로 표지한 후, 각 형광 물질의 이미지를 선택적으로 얻는 것이 필요하다. 이를 위해, 여기 스펙트럼과 방출 스펙트럼이 겹치지 않는 형광 물질을 사용해야 하는데, 네 개 이상의 형광 물질을 동시에 사용할 시 방출 스펙트럼의 넓은 너비로 인해 형광 물질 간 방출 스펙트럼 겹침이 발생하게 되고 서로 구분할 수 없게 된다. 따라서, 일반적으로 표준 여기 파장(405, 488, 560, 633 nm) 하나 당 하나의 형광 물질 만을 여기시켜 최대 네 개의 생체 분자들을 탐지해 낸다.
최근 의학 진단 및 연구 분야에서 하나의 시료에서 더 많은 생체 분자를 동시에 이미징해야 하는 필요성이 증가하고 있다. 하지만, 기존의 형광 현미경 기법으로는 한번에 최대 네 개의 형광 물질만을 동시에 사용할 수 있다는 한계가 있다. 이러한 한계를 뛰어 넘기 위해서, 다양한 기술들이 개발되었는데, 이 기술들은 크게 세 가지로 나눌 수 있다.
첫 번째로, 반복 염색 기법(Multi-round staining)은, 방출 스펙트럼이 겹치지 않는 3개 혹은 4개의 형광 물질로 시료 내부의 생체 분자를 각각 표지하여 이미징 한 후, 화학적 처리를 통해 형광 물질을 비활성 시키거나 생체 분자에서 형광 물질을 떼어 낸다. 그 후 다시 다른 생체 분자를 동일한 3개 혹은 4개의 형광 물질로 표지하여 이미징한다. 이러한 방법을 반복하면 하나의 생체 시료에서 수십가지 생체 분자를 동시에 관찰하는 것이 가능하다. 하지만, 형광 물질 표지와 비활성 과정을 반복해야 하기 때문에 시간이 오래 걸리고, 반복되는 과정에서 얻은 각 이미지들을 서로 정합(image registration) 해줘야 하는 번거로움이 있다. 또한, 정합의 문제로 인해서 다분자의 분포를 삼차원으로 얻을 수 없다. 게다가, 화학적 처리 과정 중 시료가 손상되는 문제가 있다.
두 번째로, 스펙트럼 이미징 후 신호 분리 기법(Spectral Imaging and Signal unmixing)은, 방출 스펙트럼이 겹치는 여러 형광 물질로 여러 생체 분자를 각각 표지 한 후, 여러 형광 물질을 동시에 여기시킨다. 그 후 여러 검출 파장대에서 시료의 이미지를 얻은 후 파장대별 각 형광 물질의 상대적 세기에 대한 정보를 바탕으로, 얻은 이미지를 각 형광 물질만의 이미지로 분리한다. 만약 다양한 생체분자를 표지한 각 형광 물질의 방출 스펙트럼 정보를 알고 있다면, 형광 물질의 파장 별 방출 세기를 바탕으로 각 형광 물질의 이미지를 분리(unmixing)하는 것이 가능하다. 하지만, 형광 물질의 방출 스펙트럼을 정확히 측정(calibration)하기 위해 스펙트랄 디텍터(spectral detector)라는 고가의 특수 장비를 필요로 한다. 그리고, 각 형광 물질의 파장 별 세기는 현미경 내부의 광학적 특성과 카메라의 파장 별 감도, 시료의 화학적 조성 등에 따라서 달라지게 된다. 이에 따라, 매 현미경마다, 매 시료마다 각 형광 물질의 방출 스펙트럼을 매번 따로 측정해줘야 한다는 번거로움이 있어 실제로 조직 이미징에 사용되기 매우 어렵다.
세 번째로, 블라인드 신호 분리 기법(Blind Unmixing)은 형광 물질의 방출 스펙트럼을 모르는 상태에서 형광 물질 신호들을 분리해 내는 방법으로, 이를 위해서 독립 성분 분석(Independent Component Analysis; ICA) 혹은 음수 미포함 행렬 분석(Non-negative matrix factorization; NMF)이 사용되어 왔다. 하지만, 수백 만개에 달하는 원소들을 동시에 정확히 유추해야 하므로 신호 분리의 정확성이 크게 떨어져 매우 제한적으로 사용되어 왔다. 예를 들어, 방출 스펙트럼이 겹치는 세 가지 형광 물질 신호를 분리하기 위해서는 3,145,728(=3 x 1024 x 1024)개가 넘는 원소를 동시에 유추해내야 한다(1024 x 1024 해상도 기준). 또한, 기존의 ICA, NMF는 분리를 위해서 필요한 이미지의 수(IMG 행렬의 행의 수)가 반드시 형광 물질의 수(F 행렬의 행의 수)보다 많아야 한다는 조건이 있다. 즉, 8개의 형광 물질을 동시에 이미징 하기 위해서는 9장 이상의 이미지를 얻어야 하기 때문에 스펙트랄 디텍터(spectral detector)라는 고가의 특수 장비를 필요로 한다.
결론적으로, 기존 다분자 동시 이미징 기법은 실험과정 및 이미징 과정의 번거로움과 복잡성, 신호 분리 부정확도, 특수 장비 요구 등의 문제점으로 인해 실질적으로 연구 및 진단에 활용하기 어려워 활발하게 사용되지 않고 있다. 이러한 문제를 해결하기 위해서, 최근 새로운 블라인드 신호 분리 기반 다분자 동시 이미징 기법(Process of ultra-multiplexed Imaging of biomoleCules viA the unmixing of the Signals of Spectrally Overlapping fluorophores; PICASSO)이 개발되었다. PICASSO는 세가지 전략(형광 물질 선정 전략, 형광 검출 파장대 선정 전략, 상호정보량 최소화를 통한 α 유추 전략)을 통해 기존의 블라인드 신호 분리 기법에 비해 훨씬 더 높은 정확도로, 8번의 이미징만으로 8개의 형광 물질을 동시에 분리할 수 있는 기법이다. 기존의 블라인드 신호 분리 기법은 수백 만개의 원소들을 유추해야 하므로 신호 분리의 수학적 복잡성이 증가하고 정확도가 낮아졌다면, PICASSO에서는 형광 물질 선정 전략 및 형광 검출 파장대 선정 전략을 이용하여 유추해야 하는 원소를 하기 [수학식 1]과 같이 간략화하였다.
상기 [수학식 1]에서 볼 수 있듯이, PICASSO에서는 형광 물질과 형광 검출 파장대 선정 전략을 통해 첫번째 검출 파장대에서 얻은 이미지(IMG1)에는 첫번째 형광 물질의 신호(F1)만이 포함되도록 하여 IMG1 = F1의 관계가 성립한다. IMG2는 F1와 F2의 합(IMG2 = F1 x α + F2)으로 나타낼 수 있는데, F1은 측정값인 IMG1과 같기 때문에 α만 정확히 유추해낸다면 F2를 계산(F2 = IMG2 - α x IMG1)해 낼 수 있다. PICASSO에서는 IMG1과 IMG2 사이의 상호정보량 최소화 전략을 통해 α 값을 정확하게 유추한다. 하지만, IMG1 = F1 관계가 성립되어야만 신호분리가 완벽히 이루어지고, 이 전제조건을 만족시키기 위해서는 형광 물질 및 형광 검출 파장대 선정 전략이 필수적이다. 이에 따라, 선정된 형광 검출 파장대로 이미징을 하기 위해서는 검출 파장대에 최적화되어 있는 다종의 광학필터 혹은 검출 파장대를 자유롭게 조절할 수 있는 스펙트랄 디텍터를 필요로 하는 제약조건이 있다.
따라서, 본 개시는 반복적 상호정보량 최소화를 통한 신호 분리 기법(iterative PICASSO; iPICASSO)을 제안한다. 이 기법은 상호정보량 최소화 과정을 반복적으로 수행하는 전략을 통하여 IMG1 = F1 전제조건 없이 신호 분리가 가능한 기법이다.
도 1은 본 개시에 따른 반복적 상호정보량 최소화를 통한 신호 분리 기법을 설명하기 위한 개략도이다.
도 1을 참조하면, IMG1 = F1 전제 조건이 반복적 상호정보량 최소화를 통해 해결된다. 기존 PICASSO와는 다르게 첫번째 형광 검출 파장대(파란색 점선)에서 두 형광 물질의 신호가 모두 검출되어도, 반복적 상호정보량 최소화를 이용하여 두 검출 파장대(파란색 점선, 빨간색 점선)를 통해 얻은 두 이미지(IMG1, IMG2)의 신호 분리가 가능하다. 이 때, 도 1의 (a)에 도시된 바와 같이, 두 형광 물질(F1, F2)의 방출 파장에 따른 형광 방출 세기가 서로 상이하므로, 두 검출 파장대에서 얻은 두 이미지에서, 두 형광 물질의 신호가 서로 다른 세기로 나타나게 된다.
두 형광 물질의 신호가 서로 다른 세기로 나타난 IMG1과 IMG2에서 상호정보량 최소화가 되는 α를 계산해내고, 이를 통해 IMG1R1과 IMG2R1을 얻는다. 그 후 IMG1R1 과 IMG2R1을 다시 한번 상호정보량 최소화를 사용하여 분리하면 IMG1R2과 IMG2R2을 얻을 수 있다. α 값 유추와 신호 분리를 n번 반복하는 과정을 통해, 도 1의 (b)에 도시된 바와 같이 두 형광 물질의 신호가 점진적으로 분리가 되며, 최종적으로 두 형광 물질을 신호 분리해낸 IMG1Rn = F1과 IMG2Rn = F2를 얻어낼 수 있다.
도 2는 본 개시의 다양한 실시예들에 따른 전자 장치(200)의 블록도이다.
도 2를 참조하면, 본 개시의 다양한 실시예들에 따른 전자 장치(200)는 디텍터(210), 입력 모듈(220), 출력 모듈(230), 메모리(240) 또는 프로세서(250) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서는 전자 장치(200)의 구성 요소들 중 적어도 어느 하나가 생략되거나, 전자 장치(200)에 하나 이상의 다른 구성 요소들이 추가될 수 있다.
디텍터(210)는 시료에 대한 이미지를 촬영할 수 있다. 이 때 디텍터(210)은 전자 장치(200)의 미리 정해진 위치에 설치되어, 이미지를 촬영할 수 있다. 예를 들면, 디텍터(210)는 sCMOS(scientific complementary metal-oxide-semiconductor) 카메라, PMT(photo multiplier tube), 혹은 그 이외에 빛의 세기를 측정하여 이를 이미지로 표현할 수 있는 장비 중 적어도 어느 하나를 포함할 수 있다.
입력 모듈(220)은 전자 장치(200)의 구성 요소들 중 적어도 어느 하나에 사용될 명령 또는 데이터를 전자 장치(200)의 외부로부터 수신할 수 있다. 이 때 입력 모듈(220)은 입력 장치 또는 수신 장치 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 입력 장치는 마이크(microphone), 마우스 또는 키보드 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 입력 장치는 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 어느 하나를 포함할 수 있다. 수신 장치는 무선 수신 장치 또는 유선 수신 장치 중 적어도 어느 하나를 포함할 수 있다.
출력 모듈(230)은 전자 장치(200)의 외부로 정보를 제공할 수 있다. 이 때 출력 모듈(230)은 표시 장치 또는 송신 장치 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 표시 장치는 디스플레이, 홀로그램 장치, 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 표시 장치는 입력 모듈(220)의 터치 회로 또는 센서 회로 중 적어도 어느 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 송신 장치는 무선 송신 장치 또는 유선 송신 장치 중 적어도 어느 하나를 포함할 수 있다.
일 실시예에 따르면, 수신 장치와 송신 장치는 하나의 통신 모듈로 통합될 수 있다. 통신 모듈은 전자 장치(200)와 외부 장치(미도시) 간 통신을 지원할 수 있다. 이러한 통신 모듈은 무선 통신 모듈 또는 유선 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 이 때 무선 통신 모듈은 무선 수신 장치 또는 무선 송신 장치 중 적어도 어느 하나로 이루어질 수 있다. 그리고, 무선 통신 모듈은 원거리 통신 방식 또는 근거리 통신 방식 중 적어도 어느 하나를 지원할 수 있다. 근거리 통신 방식은, 예컨대 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 어느 하나를 포함할 수 있다. 무선 통신 모듈은 네트워크를 통해 원거리 통신 방식으로 통신할 수 있으며, 네트워크는, 예컨대 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 어느 하나를 포함할 수 있다. 한편, 유선 통신 모듈은 유선 수신 장치 또는 유선 송신 장치 중 적어도 어느 하나로 이루어질 수 있다.
메모리(240)는 전자 장치(200)의 구성 요소들 중 적어도 어느 하나에 의해 사용되는 프로그램 또는 데이터 중 적어도 어느 하나를 저장할 수 있다. 예를 들면, 메모리(240)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다.
프로세서(250)는 메모리(240)의 프로그램을 실행하여, 전자 장치(200)의 구성 요소들 중 적어도 어느 하나를 제어할 수 있고, 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(250)는 두 검출 파장대를 통해 얻은 두 이미지(IMG1, IMG2)를 획득할 수 있다. 이 때, 도 1의 (a)에 도시된 바와 같이, 두 형광 물질(F1, F2)의 방출 파장에 따른 형광 방출 세기가 서로 상이하므로, 두 검출 파장대에서 얻은 두 이미지에서, 두 형광 물질의 신호가 서로 다른 세기로 나타나게 된다. 그리고, 프로세서(250)는 두 형광 물질의 신호가 서로 다른 세기로 나타난 IMG1과 IMG2에서 상호정보량 최소화가 되는 α를 계산해내고, 이를 통해 IMG1R1과 IMG2R1을 얻는다. 그 후, 프로세서(250)는 IMG1R1과 IMG2R1에서 상호정보량 최소화가 되는 α를 계산해내고, 이를 통해 IMG1R2과 IMG2R2을 얻는다. 프로세서(250)가 이러한 과정을 n번 반복함에 따라, 도 1의 (b)에 도시된 바와 같이 두 형광 물질의 신호가 점진적으로 분리된다. 최종적으로, 프로세서(250)는 두 형광 물질을 신호 분리해낸 IMG1Rn = F1과 IMG2Rn = F2를 얻어낼 수 있다.
도 3은 본 개시에 따라 얻을 수 있는 장점을 설명하기 위한 개략도이다. 여기서, 도 3의 (a)는 기존의 PICASSO의 동작 절차를 나타내고, 도 3의 (b)는 본 개시의 동작 절차를 나타내는 것이다.
도 3을 참조하면, 기존의 PICASSO에 비해서, 본 개시는 아래와 같은 장점을 얻을 수 있다.
첫 번째 장점은, 형광 검출 파장대 선정이 불필요하다는 것이다.
기존 PICASSO는 첫번째 형광 물질의 신호인 F1만이 포함되도록(IMG1 = F1) 첫번째 형광 검출 파장대를 설정해야 하는 전제조건이 있다. 두번째 형광 검출 파장대에서 얻은 IMG2는 F1와 F2의 합 (IMG2 = F1 x α + F2)으로 나타낼 수 있기 때문에, 상호정보량 최소화를 통해 α만 정확히 유추해낸다면 F2를 계산(F2 = IMG2 - α x IMG1)해낼 수 있다. 하지만, IMG1 = F1 조건을 만족시키지 못하면 신호 분리가 정확히 이루어지지 않는다는 단점이 있다. 그리고, 위의 조건으로 인해 첫번째 형광 물질 방출 스펙트럼이 최대가 되는 파장대를 첫번째 검출 파장대 범위로 잡을 수 없다. 이로써, IMG1의 신호대잡음비(Signal-to-noise ratio)가 저하되며, 따라서 이미지의 퀄리티 저하 및 신호 분리의 부정확성이 야기된다.
그런데, 본 개시에서는 IMG1에 F2의 신호가 검출(IMG1 되어도, 반복적 상호정보량 최소화 전략을 통해 신호 분리를 해낼 수 있다는 장점이 있다. 또한, IMG1의 신호대잡음비가 기존 PICASSO에 비해 증가하여, 보다 정확하게 신호 분리가 된 양질의 이미지를 얻을 수 있다.
두 번째 장점은, 제한적 형광 물질 선정 전략이 완화된다는 것이다.
IMG1 = F1 조건이 성립되게 형광 검출 파장대를 설정하기 위해서는 유사한 방출 스펙트럼을 가진 두 형광 물질 선정 전략이 필요하다. 기존 PICASSO에서는 각 표준 여기 레이저별로 방출 스펙트럼의 최대가 되는 파장이 20 nm 이상 차이나는 두 형광 물질을 선정한다. 이러한 형광 물질 선정 전략으로 인해 첫번째 형광 물질 검출 파장대의 범위가 좁게 설정된다.
예를 들어, 기존 PICASSO는 방출 스펙트럼의 최대가 되는 파장이 20 nm 이상 차이나는 두 형광 물질(예: CF488A, ATTO514)를 선정하고, 첫번째 형광 물질만의 신호만 나타나는 첫번째 형광 검출 파장대를 설정한다. 하지만, 방출 스펙트럼의 최대가 되는 파장이 20 nm 이하로 차이나는 두 형광 물질을 사용할 경우, 첫번째 형광 물질만의 신호만 나타나는 첫번째 형광 검출 파장대를 설정하기 매우 어려우며, IMG1의 신호대잡음비가 저하되어 이미지 퀄리티의 저하 및 신호 분리의 부정확성이 야기된다. 본 개시에서는 IMG1에 F2의 신호가 검출(IMG1 되어도, 반복적 상호정보량 최소화 전략을 통해 신호 분리를 해낼 수 있어서, 형광 물질 선정 전략을 완화시킬 수 있다. 즉, 방출 스펙트럼의 최대가 되는 파장이 20 nm 이하로 차이나는 두 형광 물질을 사용해도 신호 분리가 가능하다. 그리고, IMG1의 신호대잡음비가 기존 PICASSO에 비해 증가하여, 보다 정확하게 신호 분리가 된 양질의 이미지를 얻을 수 있다.
도 4는 본 개시의 다양한 실시예들에 따른 전자 장치(200)의 반복적 상호정보량 최소화를 통한 신호 분리 방법의 흐름도이다.
도 4를 참조하면, 전자 장치(200)는 410 단계에서 상이한 생체 분자들에 각각 표지되어 있는 두 형광 물질들에 대해, 두 개의 이미지들을 획득할 수 있다. 이 때, 프로세서(250)는 서로로부터 구분되는 상이한 검출 파장대들에서 상기 두 개의 이미지들을 각각 획득할 수 있다. 여기서, 획득된 이미지들의 각각에는, 상기 형광 물질들이 둘 다 나타날 수 있다. 즉, 형광 물질들은 상이한 형광 방출 세기들을 각각 갖고, 상기 획득된 이미지들에는, 형광 물질들이 상이한 신호 세기들로 나타날 수 있다. 프로세서(250)는 하기 [수학식 2]와 같이, 획득된 두 이미지들을 두 개의 새로운 변수로 정의할 수 있다.
여기서, u1 및 u2는 획득된 이미지들을 나타낼 수 있다.
다음으로, 전자 장치(200)는 420 단계에서 획득된 이미지들 사이에서 공유되는 상호정보량을 반복적으로 감소시키면서, 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리할 수 있다. 이를 위해, 프로세서(250)는 획득된 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 획득된 이미지들로부터 갱신되는 두 개의 새로운 이미지들을 획득하는 동작을 반복적으로 수행할 수 있다. 일 실시예에 따르면, 이러한 동작은, 미리 정해진 횟수, 즉 N회만큼, 반복될 수 있다. 다른 실시예에 따르면, 이러한 동작은, 획득된 이미지들 사이의 상호정보량이 기준값 이하가 될 때까지, 반복될 수 있다. 이러한 동작의 반복이 완료되면, 프로세서(250)는 최종적으로 획득된 이미지들이 형광 물질들 각각에 대한 이미지들로 획득될 수 있다. 이에 대해, 도 5 및 도 6을 참조하여, 보다 상세하게 후술될 것이다.
여기서, 상호정보량은 정보이론에서부터 비롯된 값으로, 두 변수 사이의 상호정보량은 두 변수가 공유하고 있는 정보의 총량을 의미할 수 있다. 따라서, 두 무작위 변수 (two random variables) 사이의 상호정보량은 0 일 수 있다. 디지털 이미지는 불연속 변수(discrete variable)이므로, 하기 [수학식 3]와 같이 두 개의 이미지 사이의 상호정보량이 계산될 수 있다.
여기서, pX(x)와 pY(y)는 각 이미지의 확률분포함수(혹은 히스토그램)에 해당하며, p(X,Y)(x,y)는 두 이미지의 결합 확률분포 함수(혹은 결합 히스토그램)에 해당할 수 있다.
도 5는 도 4의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계(420 단계)를 구체적으로 도시하는 흐름도이다. 도 6 및 도 7은 도 4의 획득된 이미지들로부터 형광 물질들 각각에 대한 이미지들을 분리하는 단계(420 단계)를 설명하기 위한 이미지들이다.
도 5를 참조하면, 전자 장치(200)는 선택적으로 521 단계에서 획득된 이미지들을 저해상도 이미지들로 각각 처리할 수 있다. 일 실시예에 따르면, 521 단계는 생략될 수 있다. 다른 실시예에 따르면, 프로세서(250)는 521 단계에서, 하기 [수학식 4]과 같이, 필요한 경우 획득된 이미지들을 획득된 이미지들보다 낮은 해상도를 가진 저해상도 이미지들로 각각 처리할 수 있다. 일 예로, 프로세서(250)는 각 획득된 이미지 내에서 인접한 k×k 픽셀들의 값을 더해서 k배 낮은 해상도의 저해상도 이미지를 획득할 수 있다. 이를 통해, 이후 단계들에서의 연산 속도를 높이고 노이즈에 대한 대응력이 상승될 수 있다. 다른 예로, 프로세서(250)는 k=1로 하여 생략하거나, 다른 이미지 샘플링 방법을 이용하여, 획득된 이미지들을 저해상도 이미지들로 각각 처리할 수 있다.
여기서, u1 및 u2는 획득된 이미지들을 나타내고, v1 및 v2는 저해상도 이미지들을 나타내고, k는 획득된 이미지들을 저해상도 이미지들로 각각 처리하기 위해 적용되는 팩터로 정의될 수 있다.
전자 장치(200)는 523 단계에서 손실 함수를 이용하여, 획득된 이미지들 또는 저해상도 이미지들로부터 변수를 계산할 수 있다. 일 실시예에 따르면, 521 단계가 생략되는 경우, 프로세서(250)는 획득된 이미지들로부터 변수를 계산할 수 있다. 다른 실시예에 따르면, 521 단계가 수행된 다음, 프로세서(250)는 저해상도 이미지들로부터 변수를 계산할 수 있다. 이 때, 하기 [수학식 5]와 같이 손실 함수가 정의될 수 있다. 그리고, 프로세서(250)는 손실 함수를 이용하여, 하기 [수학식 6]와 같이 저해상도 이미지들로부터 변수를 계산할 수 있다. 523 단계에서, 프로세서(250)는 손실 함수를 계산하기 전, 필요한 경우, 획득된 이미지들 또는 저해상도 이미지들을 양자화(quantization)할 수 있다.
여기서, 및 는 변수를 나타낼 수 있다.
전자 장치(200)는 525 단계에서 획득된 이미지들에 대해 변수를 적용하여, 획득된 이미지들로부터 갱신된 두 개의 새로운 이미지들을 획득할 수 있다. 이 때, 프로세서(250)는 하기 [수학식 7]과 같이, 획득된 이미지들에 대해 변수 및 업데이트 비율(λ)을 적용하여, 획득된 이미지들로부터 갱신된 새로운 이미지들을 획득할 수 있다. 이 때, 업데이트 비율(λ)은 0에서 1사이의 값을 가질 수 있다. 525 단계에서 획득된 이미지들은, 고해상도 이미지들일 수 있다.
전술된 설명에서, 획득된 두 이미지들에 대해 동시에 523 단계 및 525 단계가 수행되지만, 이에 제한되는 것은 아니다. 즉, 획득된 이미지들에 대해 순차적으로 523 단계 및 525 단계가 수행될 수도 있다. 일 실시예에 따르면, 521 단계가 생략되는 경우, 획득된 이미지들에 대해 순차적으로 523 단계 및 525 단계가 수행될 수 있다. 다른 실시예에 따르면, 두 변수 (,)에 대해서 순차적으로 수행될 수 있다. 구체적으로, 521 단계를 통해서 저해상도 이미지를 얻고, 이 이미지들로부터 먼저 하나의 변수(예: )를 계산하고, 이 값으로 두 이미지 중 하나의 이미지(예: v1)의 갱신된 고해상도 이미지(예: u1)를 획득한다. 그 후 이 갱신된 고해상도 이미지를 521 단계를 통해 저해상도 이미지(예: v1)를 얻고, 이 저해상도 이미지와 다른 하나의 이미지(예: v2)에 523 단계 및 525 단계를 수행하여 다른 하나의 변수()를 계산하고 이를 이용하여 다른 하나의 이미지(예: v2)의 고해상도 이미지(예: u2)를 갱신한다. 이와 같은 과정은 반복적으로 수행된 후 527 단계로 진행될 수 있다.
전자 장치(200)는 527 단계에서 이전의 단계들을 반복할 지의 여부를 판단할 수 있다. 일 실시예에 따르면, 프로세서(250)는, 521에서 525 단계를 반복 횟수가 미리 정해진 횟수, 즉 N회에 도달했는 지의 여부를 판단할 수 있다. 여기서, 반복 횟수가 정해진 횟수에 도달하지 않은 것으로 판단되면, 프로세서(250)는 이전 단계들을 반복해야 하는 것으로 판단하고, 521 단계로 복귀하여, 521에서 525 단계를 반복하여 수행할 수 있다. 한편, 반복 횟수가 정해진 횟수에 도달한 것으로 판단되면, 프로세서(250)는 이전 단계들을 반복하지 않아도 되는 것으로 판단하고, 529 단계로 진행할 수 있다. 다른 실시예에 따르면, 프로세서(250)는, 525 단계에서 획득된 이미지들 사이의 상호정보량이 기준값 이하인 지의 여부를 판단할 수 있다. 여기서, 획득된 이미지들 사이의 상호정보량이 기준값을 초과하는 것으로 판단되면, 프로세서(250)는 이전 단계들을 반복해야 하는 것으로 판단하고, 521 단계로 복귀하여, 521에서 525 단계를 반복하여 수행할 수 있다. 한편, 획득된 이미지들 사이의 상호정보량이 기준값 이하인 것으로 판단되면, 프로세서(250)는 이전 단계들을 반복하지 않아도 되는 것으로 판단하고, 529 단계로 진행할 수 있다.
이를 통해, 521에서 525 단계가 반복됨에 따라, 도 6에 도시된 바와 같이, 형광 물질들의 신호들이 점진적으로 분리될 수 있다. 그 결과, 전자 장치(200)는 529 단계에서 최종적으로 획득된 이미지들을 형광 물질들 각각에 대한 이미지들로 획득할 수 있다. 이 때, 프로세서(250)는 하기 [수학식 8]과 같이, 최종해로서, 상호정보량이 최소화된 이미지들을 획득하며, 이러한 이미지들은 상이한 형광 물질들을 각각 나타낼 수 있다.
본 개시에 따르면, 이미지 분리 성능이 향상될 수 있다. 기존의 PICASSO 기술은 특이적 형광 물질 선정 및 형광 검출 파장대 선정 전략을 통해 신호 분리 기법을 위해서 유추해야 하는 원소의 수를 극단적으로 감소시켰고, 그 후 상호정보량 최소화를 통해 이를 정확히 유추해냈다. 본 개시에서는 반복적 상호정보량 최소화 전략을 통해 특이적 형광 물질 선정 및 형광 검출 파장대 선정 전략을 제거 및 완화시킬 수 있다. 그리고, 본 개시에서는 두 형광 물질의 신호가 서로 다른 세기로 검출되는 두 이미지를 단계별 α 유추 및 점진적 신호 분리를 통해 두 형광 물질의 신호를 성공적으로 분리해낼 수 있다. 따라서, 본 개시는 기존의 PICASSO 기술에 비해서 신규하다고 할 수 있다.
아울러, 본 개시의 결과로, 도 7에 도시된 바와 같이 기존의 PICASSO에서는 달성하기 어려운 방출 스펙트럼의 최대가 되는 파장이 20 nm 이하로 차이나는 두 형광 물질 신호 분리에 성공할 수 있다. 본 개시에서는 반복적 상호정보량 최소화 전략을 통해 형광 검출 파장대의 최적화 과정없이 유사한 방출 스펙트럼을 가진 두 형광 물질의 신호 분리에 성공할 수 있다. 본 개시에서는 형광 검출 파장대 선정 전략을 배제함으로 인해, 첫번째 형광 검출 파장대의 범위를 넓게 설정할 수 있어 신호대잡음비가 올라가며, 이에 따라 기존의 PICASSO에 비해 양질의 신호 분리 이미지를 얻어낼 수 있다. 또한, 본 개시에서는 형광 물질에 특화된 파장대 선정을 하지 않아도 되므로 하드웨어적인 요구사항이 적어지며, 방출필터의 선택이 자유로워질 수 있다. 따라서, 본 개시는 기존의 PICASSO 기술에 비해서 진보하다고 할 수 있다.
도 8, 도 9 및 도 10은 본 개시의 적용 범위를 설명하기 위한 이미지들이다.
본 개시는 신호 분리를 위한 기존의 PICASSO의 전제조건을 제거 및 완화시켜 더 넓은 범위에 적용 가능하다.
일 예로, 본 개시에 적용할 수 있는 생체 분자로는, 배양 세포, 동물 조직 절편, 임상 시료 등이 가능하다. 다른 예로, 본 개시는 다종의 항체로 표지된 단백질 혹은 DNA로 표지 된 mRNA을 동시에 이미징하는 것이 가능하다. 또 다른 예로, 본 개시는 시료의 종류, 생체 분자의 종류에 국한되지 않고, 형광 물질이 사용될 수 있는 모든 종류의 시료에서 형광 물질로 표지 가능한 모든 생체 분자를 이미징 하는 데에 사용될 수 있다.
형광 현미경으로 조직 내부의 생체 분자를 관찰하기 위해서는 생체 조직 내부의 특정 생체 분자를 형광 물질로 표지하는 것이 필요하다. 일반적으로 단백질을 관찰하기 위해서는 형광 물질이 붙어 있는 항체를 사용하고, mRNA를 관찰하는 경우에는 형광 물질이 붙어 있는 올리고뉴클레오타이드 (oligonucleotide)를 사용할 수 있다. 본 개시에서는 단백질을 관찰하기 위해서는 항체를 사용하였고, mRNA를 관찰하기 위해서는 올리고뉴클레오타이드를 사용하였으나, 본 개시는 형광 물질 구분에 대한 기술로, 형광 물질을 사용하는 모든 표지법 혹은 형광 물질이 붙어 있는 모든 표지 분자에 적용 가능하다.
본 개시는, 도 8에 도시된 바와 같이, 스펙트랄 디텍터를 갖추고 있는 점스캔 공초점 현미경(point-scanning confocal microscopy)에 의해 구현 가능하고, 도 9에 도시된 바와 같이, 필터 방식의 회전 디스크 공초점 현미경(spinning-disk confocal microscopy)에 의해 구현 가능하다. 뿐만 아니라, 본 개시는, 도 10에 도시된 바와 같이, 필터 방식의 점스캔 공초점 현미경 및 필터 방식의 형광현미경(widefield microscopy), 그리고 특정 파장대의 빛만을 선택적으로 검출할 수 있는 모든 현미경으로 구현 가능하다.
본 개시에서는 방출 스펙트럼이 서로 겹치는 8개의 형광 물질과 두 개의 large Stokes shift 형광 물질을 사용하여 총 10개의 형광 물질을 동시에 이미징 가능하다. 본 개시는 10개의 형광 물질에 국한되지 않고 모든 형광 물질에 사용할 수 있을 것이다. 본 개시는 방출 스펙트럼이 겹치는 형광 단백질들 혹은 형광 단백질과 형광 물질의 신호를 분리할 수 있다. 본 개시는 반복적 상호정보량 최소화를 통한 α 유추 및 점진적 신호 분리를 통해 기존의 PICASSO의 형광 검출 파장대 선정 전략을 제거했다. 따라서, 검출 파장대를 조절 가능한 스펙트랄 디텍터 및 필터 방식 현미경에 보다 범용적으로 사용할 수 있을 것이다. 본 개시는 반복 염색 기술과도 결합이 가능하며 형광 물질을 사용하는 모든 염색 기술에 적용할 수 있다. 또한, 본 개시는 다양한 이미징 기술들, 예를 들어 조직투명화 기술, 초고해상도 이미징 기술 등에 적용할 수 있다.
이상에서 설명한 본 개시의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 개시의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속하는 것이다.
Claims (20)
- 전자 장치의 동작 방법에 있어서,
상이한 생체 분자들에 각각 표지되어 있는 두 형광 물질들에 대해, 두 개의 이미지들을 획득하는 단계; 및
상기 획득된 이미지들 사이에서 공유되는 상호정보량을 반복적으로 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계
를 포함하고,
상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계는,
상기 획득된 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 상기 획득된 이미지들로부터 갱신되는 두 개의 새로운 이미지들을 획득하는 단계
를 포함하고, 이로써 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되고,
상기 획득된 이미지들로부터 갱신되는 새로운 이미지들을 획득하는 단계는,
하기 [수학식 i]과 같이 상기 획득된 이미지들을 상기 획득된 이미지들보다 낮은 해상도들의 저해상도 이미지들로 각각 처리하는 단계;
[수학식 i]
여기서, 상기 u1 및 상기 u2는 상기 획득된 이미지들을 나타내고, 상기 v1 및 상기 v2는 상기 저해상도 이미지들을 나타내고, 상기 k는 상기 획득된 이미지들을 상기 저해상도 이미지들로 각각 처리하기 위해 적용되는 팩터를 나타냄,
하기 [수학식 ii]과 같이 정의되는 손실 함수를 이용하여, 하기 [수학식 iii]과 같이 상기 저해상도 이미지들로부터 변수를 계산하는 단계; 및
[수학식 ii]
[수학식 iii]
여기서, 상기 및 상기 는 상기 변수를 나타냄,
하기 [수학식 iv]와 같이 상기 획득된 이미지들에 대해 상기 변수 및 업데이트 비율(λ)을 적용하여, 상기 획득된 이미지들로부터 갱신된 새로운 이미지들을 획득하는 단계
[수학식 iv]
를 포함하는,
방법.
- 제 1 항에 있어서,
상기 이미지들을 획득하는 단계는,
서로로부터 구분되는 상이한 검출 파장대들에서 상기 두 개의 이미지들을 각각 획득하는 단계
를 포함하는,
방법.
- 제 1 항에 있어서,
상기 획득된 이미지들의 각각에는,
상기 형광 물질들이 둘 다 나타나는,
방법.
- 제 3 항에 있어서,
상기 형광 물질들은,
상이한 형광 방출 세기들을 각각 갖고,
상기 획득된 이미지들에는,
상기 형광 물질들이 상이한 신호 세기들로 나타나는,
방법.
- 삭제
- 제 1 항에 있어서,
상기 획득된 이미지들로부터 갱신되는 새로운 이미지들을 획득하는 단계는,
미리 정해진 횟수만큼 반복되며,
상기 획득된 이미지들로부터 새로운 이미지들을 획득하는 단계의 반복이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
방법.
- 제 1 항에 있어서,
상기 획득된 이미지들로부터 갱신되는 새로운 이미지들을 획득하는 단계는,
상기 획득된 이미지들 사이의 상호정보량이 기준값 이하가 될 때까지 반복되며,
상기 획득된 이미지들로부터 새로운 이미지들을 획득하는 단계의 반복이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
방법.
- 삭제
- 전자 장치에 있어서,
메모리; 및
상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고,
상기 프로세서는,
상이한 생체 분자들에 각각 표지되어 있는 두 형광 물질들에 대해, 두 개의 이미지들을 획득하고,
상기 획득된 이미지들 사이에서 공유되는 상호정보량을 반복적으로 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하도록 구성되고,
상기 프로세서는,
상기 획득된 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 상기 획득된 이미지들로부터 갱신되는 두 개의 새로운 이미지들을 획득하는 동작을 수행하도록 구성되고,
이로써, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되고,
상기 프로세서는, 상기 동작을 수행할 때,
하기 [수학식 i]과 같이 상기 획득된 이미지들을 상기 획득된 이미지들보다 낮은 해상도들의 저해상도 이미지들로 각각 처리하고,
[수학식 i]
여기서, 상기 u1 및 상기 u2는 상기 획득된 이미지들을 나타내고, 상기 v1 및 상기 v2는 상기 저해상도 이미지들을 나타내고, 상기 k는 상기 획득된 이미지들을 상기 저해상도 이미지들로 각각 처리하기 위해 적용되는 팩터를 나타냄,
하기 [수학식 ii]과 같이 정의되는 손실 함수를 이용하여, 하기 [수학식 iii]과 같이 상기 저해상도 이미지들로부터 변수를 계산하고,
[수학식 ii]
[수학식 iii]
여기서, 상기 및 상기 는 상기 변수를 나타냄,
하기 [수학식 iv]와 같이 상기 획득된 이미지들에 대해 상기 변수 및 업데이트 비율(λ)을 적용하여, 상기 획득된 이미지들로부터 갱신된 새로운 이미지들을 획득하도록 구성되는,
[수학식 iv]
전자 장치.
- 제 9 항에 있어서,
상기 프로세서는,
서로로부터 구분되는 상이한 검출 파장대들에서 상기 두 개의 이미지들을 각각 획득하도록 구성되는,
전자 장치.
- 제 9 항에 있어서,
상기 획득된 이미지들의 각각에는,
상기 형광 물질들이 둘 다 나타나는,
전자 장치.
- 제 11 항에 있어서,
상기 형광 물질들은,
상이한 형광 방출 세기들을 각각 갖고,
상기 획득된 이미지들에는,
상기 형광 물질들이 상이한 신호 세기들로 나타나는,
전자 장치.
- 삭제
- 제 9 항에 있어서,
상기 프로세서는,
상기 동작을 미리 정해진 횟수만큼 반복하도록 구성되고,
상기 동작이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
전자 장치.
- 제 9 항에 있어서,
상기 프로세서는,
상기 동작을 상기 획득된 이미지들 사이의 상호정보량이 기준값 이하가 될 때까지 반복하도록 구성되고,
상기 동작이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
전자 장치.
- 삭제
- 비-일시적인 컴퓨터-판독 가능 저장 매체에 있어서,
상이한 생체 분자들에 각각 표지되어 있는 두 형광 물질들에 대해, 두 개의 이미지들을 획득하는 단계; 및
상기 획득된 이미지들 사이에서 공유되는 상호정보량을 반복적으로 감소시키면서, 상기 획득된 이미지들로부터 상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계
를 포함하는 방법을 실행하기 위한 하나 이상의 프로그램들을 저장하고,
상기 형광 물질들 각각에 대한 이미지들을 분리하는 단계는,
상기 획득된 이미지들에 대해 계산되는 상호정보량 최소화를 위한 변수를 적용하여, 상기 획득된 이미지들로부터 갱신되는 두 개의 새로운 이미지들을 획득하는 단계
를 포함하고, 이로써 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되고,
상기 획득된 이미지들로부터 갱신되는 새로운 이미지들을 획득하는 단계는,
하기 [수학식 i]과 같이 상기 획득된 이미지들을 상기 획득된 이미지들보다 낮은 해상도들의 저해상도 이미지들로 각각 처리하는 단계;
[수학식 i]
여기서, 상기 u1 및 상기 u2는 상기 획득된 이미지들을 나타내고, 상기 v1 및 상기 v2는 상기 저해상도 이미지들을 나타내고, 상기 k는 상기 획득된 이미지들을 상기 저해상도 이미지들로 각각 처리하기 위해 적용되는 팩터를 나타냄,
하기 [수학식 ii]과 같이 정의되는 손실 함수를 이용하여, 하기 [수학식 iii]과 같이 상기 저해상도 이미지들로부터 변수를 계산하는 단계; 및
[수학식 ii]
[수학식 iii]
여기서, 상기 및 상기 는 상기 변수를 나타냄,
하기 [수학식 iv]와 같이 상기 획득된 이미지들에 대해 상기 변수 및 업데이트 비율(λ)을 적용하여, 상기 획득된 이미지들로부터 갱신된 새로운 이미지들을 획득하는 단계
[수학식 iv]
를 포함하는,
비-일시적인 컴퓨터-판독 가능 저장 매체.
- 제 17 항에 있어서,
상기 이미지들을 획득하는 단계는,
서로로부터 구분되는 상이한 검출 파장대들에서 상기 두 개의 이미지들을 각각 획득하는 단계
를 포함하는,
비-일시적인 컴퓨터-판독 가능 저장 매체.
- 삭제
- 제 17 항에 있어서,
상기 획득된 이미지들로부터 갱신되는 새로운 이미지들을 획득하는 단계는,
미리 정해진 횟수만큼, 또는 상기 획득된 이미지들 사이의 상호정보량이 기준값 이하가 될 때까지 반복되며,
상기 획득된 이미지들로부터 새로운 이미지들을 획득하는 단계의 반복이 완료되면, 상기 획득된 이미지들이 상기 형광 물질들 각각에 대한 이미지들로 획득되는,
비-일시적인 컴퓨터-판독 가능 저장 매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21192162.2A EP3961194B1 (en) | 2020-08-25 | 2021-08-19 | Method and apparatus for multiplexed imaging of biomolecules through iterative unmixing of fluorophore signals |
| PCT/KR2021/011097 WO2022045678A1 (ko) | 2020-08-25 | 2021-08-20 | 형광 물질 신호들의 반복적 분리를 통한 분자 다중 이미징 방법 및 장치 |
| US17/445,629 US11988606B2 (en) | 2020-08-25 | 2021-08-23 | Method and apparatus for multiplexed imaging of biomolecule through iterative unmixing of fluorophore signals |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200106838 | 2020-08-25 | ||
| KR20200106838 | 2020-08-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220026476A KR20220026476A (ko) | 2022-03-04 |
| KR102655200B1 true KR102655200B1 (ko) | 2024-04-08 |
Family
ID=80814112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210089419A KR102655200B1 (ko) | 2020-08-25 | 2021-07-08 | 반복색분리를 통한 분자 다중 이미징 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102655200B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015108549A (ja) * | 2013-12-04 | 2015-06-11 | 横河電機株式会社 | 細胞検査装置および細胞検査方法 |
| JP5969463B2 (ja) | 2010-04-28 | 2016-08-17 | フェーイーベー フェーゼットウェー | ラベル付けされた生体試料の画像化のための方法と装置 |
| KR101847334B1 (ko) | 2017-02-02 | 2018-04-10 | 한국기초과학지원연구원 | 형광 이미지 획득 장치 및 방법 |
| JP2019502418A (ja) * | 2015-10-28 | 2019-01-31 | スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. | 組織を分類するための反射モードマルチスペクトル時間分解型光学撮像の方法および装置 |
| US20190339203A1 (en) * | 2018-05-03 | 2019-11-07 | Akoya Biosciences, Inc. | Multispectral Sample Imaging |
| KR102068776B1 (ko) | 2014-09-29 | 2020-01-21 | 노바다크 테크놀러지즈 유엘씨 | 자가형광이 존재하는 생물학적 물질에서 타겟 형광체의 이미징 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5652838A (en) * | 1979-10-03 | 1981-05-12 | Toshiba Corp | Exposing device of fluorescent face for color image receiving tube |
-
2021
- 2021-07-08 KR KR1020210089419A patent/KR102655200B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5969463B2 (ja) | 2010-04-28 | 2016-08-17 | フェーイーベー フェーゼットウェー | ラベル付けされた生体試料の画像化のための方法と装置 |
| JP2015108549A (ja) * | 2013-12-04 | 2015-06-11 | 横河電機株式会社 | 細胞検査装置および細胞検査方法 |
| JP6314454B2 (ja) | 2013-12-04 | 2018-04-25 | 横河電機株式会社 | 細胞検査装置および細胞検査方法 |
| KR102068776B1 (ko) | 2014-09-29 | 2020-01-21 | 노바다크 테크놀러지즈 유엘씨 | 자가형광이 존재하는 생물학적 물질에서 타겟 형광체의 이미징 |
| JP2019502418A (ja) * | 2015-10-28 | 2019-01-31 | スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. | 組織を分類するための反射モードマルチスペクトル時間分解型光学撮像の方法および装置 |
| KR101847334B1 (ko) | 2017-02-02 | 2018-04-10 | 한국기초과학지원연구원 | 형광 이미지 획득 장치 및 방법 |
| US20190339203A1 (en) * | 2018-05-03 | 2019-11-07 | Akoya Biosciences, Inc. | Multispectral Sample Imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220026476A (ko) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8199999B2 (en) | Image classifier training | |
| AU2010307140B2 (en) | Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue | |
| US10580128B2 (en) | Whole slide multispectral imaging systems and methods | |
| US11776124B1 (en) | Transforming multispectral images to enhanced resolution images enabled by machine learning | |
| Cohen et al. | Multispectral live‐cell imaging | |
| US10416427B2 (en) | Scan-based imaging with variable scan speed using predictions of region-of-interest positions | |
| US11988606B2 (en) | Method and apparatus for multiplexed imaging of biomolecule through iterative unmixing of fluorophore signals | |
| JP2010511148A (ja) | 生物検定における分子の多変検出 | |
| Reilly et al. | Advances in confocal microscopy and selected applications | |
| KR102628182B1 (ko) | 상호정보량 최소화를 통한 다색 분리 방법 및 장치 | |
| JP2022519038A (ja) | スペクトル分離 | |
| US20230092749A1 (en) | High throughput snapshot spectral encoding device for fluorescence spectral microscopy | |
| KR102655200B1 (ko) | 반복색분리를 통한 분자 다중 이미징 방법 및 장치 | |
| WO2021198252A1 (en) | Virtual staining logic | |
| Levenson et al. | Spectral imaging for brightfield microscopy | |
| US20220215517A1 (en) | Method and apparatus for multicolor unmixing through iterative mutual-information minimization in simultaneous channel update structure | |
| Levenson et al. | Spectral imaging in preclinical research and clinical pathology | |
| US20230221178A1 (en) | Apparatus and a method for fluorescence imaging | |
| KR20220099087A (ko) | 동시적 채널 업데이트 구조의 반복 상호정보량 최소화를 통한 다색 분리 방법 및 장치 | |
| JP2004184379A (ja) | マイクロアレイの読取方法 | |
| CN111435192B (zh) | 利用荧光显微镜生成荧光照片的方法 | |
| WO2023149296A1 (ja) | 情報処理装置、生体試料観察システム及び画像生成方法 | |
| US20230162410A1 (en) | Multi-spectral Auto-fluorescence based Stainless and Slide-free Virtual histology | |
| US20230296519A1 (en) | Autofluorescence-Based Targeting of Pathologically/Diagnostically Relevant Tissue Regions for Efficient and Accurate Omics Profiling | |
| MacKinnon et al. | Hyperspectral imaging and spectral unmixing of stained tissue sections using a spectrally programmable light engine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |