CN112424588A - 从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜 - Google Patents
从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜 Download PDFInfo
- Publication number
- CN112424588A CN112424588A CN201980047114.2A CN201980047114A CN112424588A CN 112424588 A CN112424588 A CN 112424588A CN 201980047114 A CN201980047114 A CN 201980047114A CN 112424588 A CN112424588 A CN 112424588A
- Authority
- CN
- China
- Prior art keywords
- information
- sample
- fluorescent
- signal
- autofluorescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003153 chemical reaction reagent Substances 0.000 title claims abstract description 247
- 230000010365 information processing Effects 0.000 title claims abstract description 150
- 238000004458 analytical method Methods 0.000 claims abstract description 111
- 239000007850 fluorescent dye Substances 0.000 claims description 51
- 238000000926 separation method Methods 0.000 claims description 38
- 230000003595 spectral effect Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 28
- VWWQXMAJTJZDQX-UYBVJOGSSA-N flavin adenine dinucleotide Chemical compound C1=NC2=C(N)N=CN=C2N1[C@@H]([C@H](O)[C@@H]1O)O[C@@H]1CO[P@](O)(=O)O[P@@](O)(=O)OC[C@@H](O)[C@@H](O)[C@@H](O)CN1C2=NC(=O)NC(=O)C2=NC2=C1C=C(C)C(C)=C2 VWWQXMAJTJZDQX-UYBVJOGSSA-N 0.000 claims description 19
- 235000019162 flavin adenine dinucleotide Nutrition 0.000 claims description 19
- 239000011714 flavin adenine dinucleotide Substances 0.000 claims description 19
- 229940093632 flavin-adenine dinucleotide Drugs 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000004519 manufacturing process Methods 0.000 claims description 16
- BOPGDPNILDQYTO-NNYOXOHSSA-L NADH(2-) Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP([O-])(=O)OP([O-])(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 BOPGDPNILDQYTO-NNYOXOHSSA-L 0.000 claims description 13
- 238000010521 absorption reaction Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 13
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 claims description 13
- 201000010099 disease Diseases 0.000 claims description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 8
- 238000001215 fluorescent labelling Methods 0.000 claims description 8
- 150000004032 porphyrins Chemical class 0.000 claims description 8
- 238000006862 quantum yield reaction Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 239000000523 sample Substances 0.000 description 273
- 238000000034 method Methods 0.000 description 118
- 230000008569 process Effects 0.000 description 62
- 210000001519 tissue Anatomy 0.000 description 52
- 238000003860 storage Methods 0.000 description 46
- 238000001228 spectrum Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 34
- 238000003384 imaging method Methods 0.000 description 23
- 238000002073 fluorescence micrograph Methods 0.000 description 21
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 20
- 238000005259 measurement Methods 0.000 description 19
- 210000004027 cell Anatomy 0.000 description 16
- 230000011218 segmentation Effects 0.000 description 15
- 210000002741 palatine tonsil Anatomy 0.000 description 14
- 239000000427 antigen Substances 0.000 description 13
- 102000036639 antigens Human genes 0.000 description 13
- 108091007433 antigens Proteins 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 11
- 230000007170 pathology Effects 0.000 description 11
- 239000012103 Alexa Fluor 488 Substances 0.000 description 10
- IGAZHQIYONOHQN-UHFFFAOYSA-N Alexa Fluor 555 Chemical compound C=12C=CC(=N)C(S(O)(=O)=O)=C2OC2=C(S(O)(=O)=O)C(N)=CC=C2C=1C1=CC=C(C(O)=O)C=C1C(O)=O IGAZHQIYONOHQN-UHFFFAOYSA-N 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000001575 pathological effect Effects 0.000 description 8
- 238000010186 staining Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000002189 fluorescence spectrum Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000012110 Alexa Fluor 594 Substances 0.000 description 6
- 102000004190 Enzymes Human genes 0.000 description 6
- 108090000790 Enzymes Proteins 0.000 description 6
- 210000000170 cell membrane Anatomy 0.000 description 6
- 230000003834 intracellular effect Effects 0.000 description 6
- 239000012114 Alexa Fluor 647 Substances 0.000 description 5
- 230000003321 amplification Effects 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 5
- 238000004040 coloring Methods 0.000 description 5
- 210000002808 connective tissue Anatomy 0.000 description 5
- 210000000805 cytoplasm Anatomy 0.000 description 5
- 230000003176 fibrotic effect Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 210000001365 lymphatic vessel Anatomy 0.000 description 5
- 230000017074 necrotic cell death Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 101100463133 Caenorhabditis elegans pdl-1 gene Proteins 0.000 description 4
- ACFIXJIJDZMPPO-NNYOXOHSSA-N NADPH Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](OP(O)(O)=O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 ACFIXJIJDZMPPO-NNYOXOHSSA-N 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 210000004940 nucleus Anatomy 0.000 description 4
- 238000010827 pathological analysis Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 description 3
- 239000012109 Alexa Fluor 568 Substances 0.000 description 3
- 239000012116 Alexa Fluor 680 Substances 0.000 description 3
- 239000012117 Alexa Fluor 700 Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000000151 deposition Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012744 immunostaining Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- NRNCYVBFPDDJNE-UHFFFAOYSA-N pemoline Chemical compound O1C(N)=NC(=O)C1C1=CC=CC=C1 NRNCYVBFPDDJNE-UHFFFAOYSA-N 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 208000032791 BCR-ABL1 positive chronic myelogenous leukemia Diseases 0.000 description 2
- 208000010833 Chronic myeloid leukaemia Diseases 0.000 description 2
- 208000033761 Myelogenous Chronic BCR-ABL Positive Leukemia Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 210000000601 blood cell Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 description 2
- 235000006694 eating habits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003743 erythrocyte Anatomy 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 238000003364 immunohistochemistry Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 239000013076 target substance Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010003445 Ascites Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 101000934372 Homo sapiens Macrosialin Proteins 0.000 description 1
- 102100025136 Macrosialin Human genes 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 108010004729 Phycoerythrin Proteins 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 210000001744 T-lymphocyte Anatomy 0.000 description 1
- 102000004243 Tubulin Human genes 0.000 description 1
- 108090000704 Tubulin Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000036815 beta tubulin Diseases 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000008393 encapsulating agent Substances 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 125000001153 fluoro group Chemical group F* 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003053 immunization Effects 0.000 description 1
- 238000002649 immunization Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000012332 laboratory investigation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012758 nuclear staining Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000955 prescription drug Substances 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
- G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
- G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Engineering & Computer Science (AREA)
- Hematology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Urology & Nephrology (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Optics & Photonics (AREA)
- Cell Biology (AREA)
- Microbiology (AREA)
- Biotechnology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
提供一种信息处理装置,包括:图像获取部(112);信息获取部(111);以及分析部(131)。图像获取部(112)获取关于荧光试剂着色的样本(30)的图像信息。信息获取部(111)获取关于样本(11)的信息和关于荧光试剂(10)的信息。分析部(131)根据关于样本的信息和关于荧光试剂的信息从图像信息中分离第一荧光信号和第二荧光信号。
Description
技术领域
本公开涉及信息处理装置、信息处理方法、信息处理***、以及程序。
背景技术
过去,在荧光免疫着色中,通过使用荧光标记的二级抗体而对抗原进行可视化。当使用该方法时,可视化抗原的类型受到用作一级抗体的抗体类型的限制。
应用使用酶标记的二级抗体的荧光扩增方法来解决上述问题。当使用该方法时,尽管可视抗原的类型受到可用酶的类型的限制,然而,通过重复抗原-抗体反应、将荧光染料沉积到样本中并且分离出抗体而使得大量的抗原可视化,如同使用常规着色免疫的情况。然而,如NPL 1中公开的,当使用荧光扩增方法时,操作所需的时间可能随着抗原-抗体反应至抗体分离的循环重复次数的增加而增加。进一步地,每次重复循环时,样本可能会发生劣化。
开发了一种将贴有直接荧光染料的试剂应用至一级抗体或荧光探针来解决上述问题的方法。该方法使得可以对所有类型的荧光染料的抗原或目标分子进行可视化。
[引用列表]
[非专利文献]
NPL 1:Zhang W.et al.“Fully automated 5-plex fluorescentimmunohistochemistry with tyramide signal amplification and same speciesantibodies,”[网络上],2017年5月15日,Laboratory Investigation,互联网<URL:http://www.nature.com/articles/labinvest201737>
发明内容
[技术问题]
然而,当使用上述方法时,仅有限类型的荧光染料能够耦联至一级抗体和荧光探针。因此,在一些情况下,待测量的荧光信号可能会隐藏于样本的自体荧光信号中。因此,难以检测该荧光信号。
鉴于上述情况提出了本公开。本公开的目的是提供一种新颖的、改进的、并且能够从关于样本的图像信息中更为恰当地分离出待测量的荧光信号或样本的自体荧光信号中的至少一项的信息处理装置、信息处理方法、信息处理***、以及程序。
[问题的解决方案]
根据本公开的一方面,提供一种信息处理装置,其包括图像获取部、信息获取部以及分析部。图像获取部获取关于被荧光试剂着色的样本的图像信息。信息获取部获取关于样本的信息和关于荧光试剂的信息。分析部根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出第一荧光信号和第二荧光信号。
[发明的有利效果]
如上所述,本公开能够从关于样本的图像信息中更为恰当地分离出待测量的荧光信号或样本的自体荧光信号中的至少一项。
应注意,上述所述有利效果不一定必须是限制性的。除上述所述有利效果之外或替代上述所述有利效果,可以提供本说明书中描述的任意有利效果或从本说明书设想的其他有利效果。
附图说明
[图1]图1是示出去除源自样本20的自体荧光信号的示图。
[图2]图2是示出去除源自样本20的自体荧光信号的另一示图。
[图3]图3是示出根据本公开的实施方式的信息处理***的示例性配置的框图。
[图4]图4是示出由信息处理装置100执行的各种示例性过程的流程图。
[图5]图5是示出由信息处理装置100执行的各种示例性过程的另一流程图。
[图6]图6是示出去除源自样本20的自体荧光信号的实际实施例的示图。
[图7]图7是示出去除源自样本20的自体荧光信号的实际实施例的另一示图。
[图8A]图8A是示出去除源自样本20的自体荧光信号的实际实施例的另一示图。
[图8B]图8B是示出去除源自样本20的自体荧光信号的实际实施例的另一示图。
[图9A]图9A是示出去除源自样本20的自体荧光信号的实际实施例的另一示图。
[图9B]图9B是示出去除源自样本20的自体荧光信号的实际实施例的另一示图。
[图10]图10是示出当使用扁桃体组织作为样本20时的图像信息一级当从图像信息中提取荧光信号时使用从扁桃体组织获得的自体荧光信号作为颜色分离计算中所使用的自体荧光信号的实施例的示图。
[图11]图11是示出当使用扁桃体组织作为样本20时的图像信息以及当从图像信息中提取荧光信号时使用从肺组织(与扁桃体组织不同的组织)获得的自体荧光信号作为颜色分离计算中所使用的自体荧光信号的实施例的示图。
[图12]图12是示出当使用标记有荧光染料Alexa Fluor 488的标记抗体CD4作为荧光试剂10时的颜色分离结果的示图。
[图13]图13是示出当使用标记有荧光染料Alexa Fluor 594的标记抗体PDL-1作为荧光试剂10时的颜色分离结果的示图。
[图14]图14是示出处于固定状态的样本20的分析的实际实施例的示图。
[图15]图15是示出处于固定状态的样本20的分析的实际实施例的另一示图。
[图16]图16是示出处于固定状态的样本20的分析的实际实施例的另一示图。
[图17]图17是示出处于固定状态的样本20的分析的实际实施例的另一示图。
[图18]图18是示出信息处理装置100的示例性硬件配置的框图。
[图19]图19是示出实际样本信息和试剂信息如何与目录值和文献值不同的示图。
[图20]图20是示出实际样本信息和试剂信息如何与目录值和文献值不同的另一示图。
[图21]图21是描述根据本实施方式的变形的信息处理***的示例性配置的框图。
[图22]图22是描述诊断***的示意性配置的实施例的框图。
具体实施方式
现参考所附附图对本公开的优选实施方式进行详细描述。在本说明书和所附附图中,具有大致相同功能的元件以相同的参考标号表示并且将不进行冗余描述。
将按照下列顺序给出描述。
1.概述
2.实施方式
3.实际实施例
4.示例性硬件配置
5.备注
6.***配置的变形
7.结论
8.示例性应用
<1.概述>
首先,下面对本公开进行概述。
在常规着色免疫中,例如,通过使用酶标记的二级(secondary,二次)抗体将颜色染料(颜色吸收染料)沉积到样本中对通过一级(primary,一次)抗体标识的抗原进行可视化。当使用该方法对大量的抗原进行可视化时,可用酶的类型受到限制。进一步地,根据染料光谱的分辨率,可视化抗原的类型也受到限制。
另一方面,过去,在荧光免疫着色中,通过使用荧光标记的二级抗体对抗原进行可视化。当使用该方法时,根据用作一级抗体的抗体的类型,可视化抗原的类型受到限制。
为了解决上述问题,通过使用酶标记的二级抗体执行荧光扩增方法。当使用该方法时,通过重复抗原-抗体反应、将荧光染料沉积到样本中、并且分离出抗体来使大量的抗原可视化,但是可视化抗原的类型受可用酶的类型的限制,如同常规荧光免疫着色的情况。然而,如NPL 1中公开的,当使用荧光扩增方法时,操作所需的时间可能随着抗原-抗体反应至抗体分离的循环重复次数的增加而增加。进一步地,每次重复循环时,样本可能发生劣化。
为了解决上述问题,开发了一种将标记有直接荧光染料的试剂应用于一级抗体或荧光探针的方法。该方法使得可以对所有类型的荧光染料的抗原或目标分子进行可视化。然而,该方法使得仅能够将有限类型的荧光染料耦联至一级抗体和荧光探针。因此,在一些情况下,待测量的荧光信号可能会隐藏于样本的自体荧光信号中。因此,难以检测该荧光信号。
具体地,在其中使用组织样品的情况下,内部器官之间的自体荧光成分出现差异,并且由于组织样品的固定状态而引起自体荧光强度的差异。这使得更难以区分待测量的荧光信号与样本的自体荧光信号。
在对经过荧光标记之后的组织样品进行的常规测量中,为了去除源自样本的自体荧光信号,例如,测量与前者样本具有相同或相似由来的未标记样本的荧光信号,并且然后,从组织样品获取的荧光信号中减去所测量的未标记样本的荧光信号。然而,例如,自体荧光的光谱与光谱的空间分布根据样本的状态、样本存储的方法、以及样本制作的方法而不同。因此,在其中使用该方法的情况下,需要在每次测量中测量未标记样本的荧光信号并且通过使用荧光信号而执行减法处理。因此,对从业者施加巨大的负担。
鉴于上述情况,本公开的发明人创作了根据本公开的技术。本公开的发明人基于发现自体荧光光谱中所包括的自体荧光成分的光谱保持不变、而样本的整体自体荧光光谱由于样本固定的方法而改变并且每种成分的荧光信号构成比至为重要而提出根据本公开的技术。
更具体地,基于关于样本的信息和关于荧光试剂的信息,根据本公开的信息处理装置100从关于被至少一种荧光试剂着色的样本的图像信息中分离出样本的自体荧光信号和荧光试剂的荧光信号。进一步地,在其中样本被两种以上荧光试剂着色的情况下,信息处理装置100根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出每种荧光试剂的荧光信号。
此处,“关于样本的信息”(以下简称为“样本信息”)是指包括对样本中所包括的自体荧光成分独特的测量通道和光谱信息的信息。“测量通道”是指表示自体荧光信号中所包括的一个或多个元素的概念。更具体地,自体荧光光谱是由一种或多种自体荧光成分拥有的荧光光谱的混合。例如,图1示出了在其中使用Alexa Fluor 488(在图1中,表示为“Alexa488”)、Alexa Fluor 555(在图1中,表示为“Alexa 555”)、以及Alexa Fluor 647(在图1中,表示为“Alexa 647”)作为荧光试剂的情况下包括自体荧光的荧光的光谱。包括NADH(烟酰胺腺嘌呤二核苷酸还原型)、FAD(黄素腺嘌呤二核苷酸)、以及卟啉作为自体荧光成分。图1中包括由这些自体荧光成分所拥有的荧光光谱的混合作为自体荧光光谱。在图1的实施例中,根据本公开的测量通道是指示自体荧光光谱中所包括的NADH、FAD、以及卟啉的概念,并且使用总共三个测量通道(即,根据本公开的测量通道是指示样本中所包括的自体荧光成分的信息)。由于自体荧光成分的数量从一个样本到另一样本而不同,测量通道与每个样本相关联并且作为样本信息而管理。进一步地,样本信息中所包括的“光谱信息”是指关于由各个样本所包括的每种自体荧光成分所拥有的自体荧光光谱的信息。应注意,样本信息的内容并不局限于上述所述这些情况。后面将对样本信息进行详细描述。
“关于荧光试剂的信息”(以下简称为“试剂信息”)是指包括关于荧光试剂中所包括的荧光成分的光谱信息的信息。试剂信息中所包括的“光谱信息”是指关于由每种荧光试剂中包括的每种荧光成分所拥有的荧光光谱的信息。应注意,试剂信息的内容并不局限于上述所述这些情况。后面将对试剂信息进行详细描述。
根据本公开的信息处理装置100能够通过根据样本信息中所包括的测量通道和光谱信息并且根据试剂信息中所包括的光谱信息,来对源自样本的自体荧光信号进行估计并且从图像信息中去除自体荧光信号,来提取荧光试剂的荧光信号。例如,信息处理装置100能够通过从图像信息中去除由作为自体荧光成分的NADH、FAD、以及卟啉提供的自体荧光信号,来提取由图2中指示的Alexa Fluor 488、Alexa Fluor 555、以及Alexa Fluor 647提供的荧光信号。
如上所述,出于对自体荧光信号执行减算处理的目的,根据本公开的信息处理装置100不需要对未标记样本的荧光信号进行测量。这减少了从业者的负担。进一步地,信息处理装置100能够通过使用样本信息和试剂信息来代替使用样本信息和试剂信息中任一种信息,来以更高的准确性分离出自体荧光信号和荧光信号。
进一步地,为了获取待测量的荧光信号,通常并且广泛使用对荧光信号进行扩增、直至源自样本的自体荧光信号可忽略的方法。然而,当使用该方法时,难以获取源自样本的自体荧光信号。同时,根据本公开的信息处理装置100能够从图像信息中提取源自样本的自体荧光信号。因此,基于图像信息中的自体荧光信号和荧光信号的分布,信息处理装置100能够执行用于识别图像信息中所包括的对象(例如,细胞、胞内结构(细胞质、细胞膜、或细胞核)、或组织(肿瘤部位、非肿瘤部位、***、血管、血管壁、***、纤维化结构、或坏死))的区域的分割(或区域分割)。
而且,由于样本的整体自体荧光信号根据样本的固定状态(例如,固定方法)而改变,信息处理装置100能够根据所提取的自体荧光信号而对样本的固定状态进行分析(估计)。更具体地,信息处理装置100能够根据两种或更多种自体荧光发射成分中的每种自体荧光发射成分的自体荧光信号构成比而对样本的固定状态进行分析。
<2.实施方式>
上面已经对本公开进行了概述。现将描述本公开的实施方式。
(2.1.示例性配置)
首先,将参考图3对根据本实施方式的信息处理***的示例性配置进行描述。如图3中示出的,根据本实施方式的信息处理***包括信息处理装置100和数据库200。存在作为信息处理***的输入的荧光试剂10、样本20以及荧光着色样本30。
(荧光试剂10)
荧光试剂10是用于对样本20进行着色的化学品。例如,荧光试剂10是荧光抗体(包括用于直接标记的一级抗体或用于间接标记的二级抗体)、荧光探针、或核着色试剂。然而,荧光试剂10并不局限于该类型。进一步地,出于管理的目的,将能够识别荧光试剂10(及荧光试剂10的生产批次)的识别信息(以下称为“试剂识别信息11”)附着至荧光试剂10。例如,试剂识别信息11是条码信息(例如,一维条码信息和二维条码信息)。然而,试剂识别信息11并不局限于该信息。例如,即使生产相同产品(同一类型的产品)的荧光试剂10,其性质根据生产方法和获取抗体时的细胞的状态对于不同生产批次而不同。例如,就光谱信息、量子产率、或荧光标记率(也被称为F/P值或荧光素/蛋白质值并且指示用于抗体标记的荧光分子的数量)而言,荧光试剂10从一个生产批次到另一生产批次不同。因此,在根据本实施方式的信息处理***中,为了基于各个生产批次管理荧光试剂109(即,基于各个生产批次管理关于每种荧光试剂10的试剂信息),将试剂识别信息11附着至荧光试剂10。这使得信息处理装置100能够额外地考虑生产批次之间的微小性质差异而分离荧光信号和自体荧光信号。应注意,基于各个生产批次管理荧光试剂10仅是实施例。可替代地,可以以比生产批次更小的单位来管理荧光试剂10。
(样本20)
例如,出于病理诊断或临床检查的目的,由取自人体的检体样本或组织样品制作样本20。样本20并不局限于特定类型的样品组织(例如,内脏或细胞)、对象的疾病、对象者的属性(例如,年龄、性别、血型、或种族)、或对象者的生活方式(例如、饮食习惯、锻炼习惯、或吸烟习惯)。进一步地,出于样本管理之目的,将能够识别每个样本20的识别信息(以下称为“样本识别信息21”)附着至样本20。如同试剂识别信息11的情况,例如,样本识别信息21是条码信息(例如,一维条码信息和二维条码信息)。然而,样本识别信息21并不局限于该信息。例如,样本20的性质由于样品组织的类型、对象的疾病的类型、对象者的属性、或对象者的生活方式而改变。例如,关于样本20,测量通道或样本信息由于例如样品组织的类型而不同。相应地,在根据本实施方式的信息处理***中,为了个体化地管理样本20,将样本识别信息21附着至样本20。这使得信息处理装置100能够额外地考虑到各个样本20之间的微小性质差异来分离荧光信号和自体荧光信号。
(荧光着色样本30)
通过允许荧光试剂10对样本20进行着色而制作荧光着色样本30。本实施方式假设了通过允许至少一种荧光试剂10对样本20进行着色而制作荧光着色样本30。然而,用于着色的荧光试剂10的数量不受特定限制。进一步地,例如,根据样本20与荧光试剂10的组合判断着色的方法,并且不受特定限制。将荧光着色样本30输入至信息处理装置100并且然后成像。
(信息处理装置100)
如图3中示出的,信息处理装置100包括获取部110、存储部120、处理部130、显示部140、控制部150以及操作部160。
(获取部110)
获取部110获取在信息处理装置100的各种处理中所使用的信息。如图3中示出的,获取部110包括信息获取部111和图像获取部112。
(信息获取部111)
信息获取部111获取试剂信息和样本信息。更具体地,信息获取部111获取附着至用于制作荧光着色样本30的荧光试剂10的试剂识别信息11和附着至样本20的样本识别信息21。例如,信息获取装置111使用条码读取器来获取试剂识别信息11和样本识别信息21。然后,信息获取部111基于试剂识别信息11从数据库200获取试剂信息并且基于样本识别信息21从数据库200获取样本信息。信息获取部111将所获取的信息存储在后面描述的信息存储部121中。
(图像获取部112)
图像获取部112获取关于荧光着色样本30(被至少一种荧光试剂10着色的样本20)的图像信息。更具体地,图像获取部112包括预定成像元件(例如,CCD或CMOS传感器),并且通过利用成像元件对荧光着色样本30进行成像而获取图像信息。此处,应注意,“图像信息”是指不仅包括荧光着色样本30的图像,而且还包括不作为图像被可视化的测量或其他值的概念。例如,图像信息可以包括关于从荧光着色样本30辐射的荧光的光谱(以下称为荧光光谱)的波长的信息。图像获取部112将图像信息存储在后面描述的图像信息存储部122中。
(存储部120)
存储部120存储(记忆)在信息处理装置100的各种处理中所使用或通过各种处理输出的信息。如图3中示出的,存储部120包括信息存储部121、图像信息存储部122以及分析结果存储部123。
(信息存储部121)
信息存储部121存储通过信息获取部111而获取的试剂信息和样本信息。应注意,在终止由后面描述的分析部131执行的分析过程和由后面描述的图像生成部132执行的图像信息生成过程(图像信息重构过程)之后,信息存储部121可以通过删除处理所使用的试剂信息和样本信息而增加其可用容量。
(图像信息存储部122)
图像信息存储部122存储关于通过图像获取部112而获取的荧光着色样本30的图像信息。如同信息存储部121的情况,应注意,在终止由分析部131执行的分析过程和由图像生成部132执行的图像信息生成过程(图像信息重构过程)之后,图像信息存储部122可以通过删除处理所使用的图像信息而增强其可用容量。
(分析结果存储部123)
分析结果存储部123存储由后面描述的分析部131执行的分析过程的结果。例如,分析结果存储部123存储通过分析部131分离出的荧光试剂的荧光信号或样本20的自体荧光信号。进一步地,例如,分析结果存储部123将分析过程的结果提供给数据库200,以通过分离的机器学习而提供提高的分析准确性。应注意,在将分析过程的结果提供给数据库200之后,分析结果存储部123可以通过适当地删除其所存储的分析过程的结果而增加其可用容量。
(处理部130)
处理部130具有通过使用图像信息、试剂信息以及样本信息执行各种处理的功能。如图3中示出的,处理部130包括分析部131和图像生成部132。
(分析部131)
分析部131通过使用图像信息、样本信息以及试剂信息执行各种分析处理。例如,分析部131根据样本信息和试剂信息执行从图像信息中分离出样本20的自体荧光信号和荧光试剂10的荧光信号的处理。
更具体地,分析部131根据样本信息中所包括的测量通道而识别自体荧光信号的一种或多种元素。例如,分析部131识别自体荧光信号的一种或多种自体荧光成分。然后,分析部131通过使用关于样本信息中所包括的自体荧光成分的光谱信息而预测图像信息中所包括的自体荧光信号。随后,基于关于试剂信息中所包括的荧光试剂10的荧光成分的光谱信息并且基于所预测的自体荧光信号,分析部131从图像信息中分离出自体荧光信号和荧光信号。
此处,在其中样本20被两种以上荧光试剂10着色的情况下,分析部131根据样本信息和试剂信息从图像信息中(或从与自体荧光信号一起分离出的荧光信号中)分离出两种以上荧光试剂10中的每种荧光试剂的荧光信号。例如,分析部131使用关于试剂信息中所包括的每种荧光试剂10的荧光成分的光谱信息,来从与自体荧光信号一起分离出之后的整个荧光信号中分离出每种荧光试剂10的荧光信号。
进一步地,在其中自体荧光信号包括两种以上自体荧光成分的情况下,分析部131根据样本信息和试剂信息从图像信息中(或从与荧光信号一起分离出的自体荧光信号中)分离出每种自体荧光成分的自体荧光信号。例如,分析部131使用关于样本信息中所包括的每种自体荧光成分的光谱信息,以从与荧光信号一起分离出的整个自体荧光信号中分离出每种自体荧光成分的自体荧光信号。
在分离出荧光信号和自体荧光信号之后,分析部131使用这些信号执行各种处理。例如,分析部131可以使用已分离出的自体荧光信号对关于不同样本20的图像信息执行减法处理(也被称为“背景减法处理”),以从关于不同样本20的图像信息中提取荧光信号。例如,在就用作样本20的组织、对象的疾病的类型、对象者的属性、或对象者的生活方式而言,存在相同或相似的多个样本20的情况下,该样本20的自体荧光信号彼此很可能相似。例如,此处,相似的样本包括待着色的组织切片(以下称为切片)进行着色之前的组织切片、与着色切片相邻的切片、与同一块中的着色切片(从与着色切片的位置相同的地方取样)不同的切片、同一组织的不同块中的切片(从与着色切片不同的地方取样)、从不同的患者采集的切片等。因此,在其中从特定样本20中提取自体荧光信号的情况下,分析部131可以通过从关于不同样本20的图像信息中去除自体荧光信号而从关于不同样本20的图像信息中提取荧光信号。进一步地,当通过使用关于不同样本20的图像信息而计算S/N值时,分析部131能够通过使用去除自体荧光信号之后的背景而改善S/N值。
而且,分析部131通过使用已分离出的荧光信号或自体荧光信号不仅能够执行背景减法处理,而且还能够执行各种其他处理。例如,分析部131能够通过使用上述所述信号来分析样本20的固定状态并且执行用于识别图像信息中所包括的对象(例如,细胞、胞内结构(细胞质、细胞膜、或细胞核)、或组织(肿瘤部位、非肿瘤部位、***、血管、血管壁、***、纤维化结构、或坏死))的区域的分割(或区域分割)。后面将对样本20的固定状态的分析与分割进行详细描述。
(图像生成部132)
图像生成部132根据通过分析部131分离出的荧光信号或自体荧光信号来生成(重构)图像信息。例如,图像生成部132能够生成仅包括荧光信号的图像信息和仅包括自体荧光信号的图像信息。在这种情况下,如果荧光信号包括多种荧光成分或自体荧光信号包括多种自体荧光成分,图像生成部132则能够针对单独的成分生成图像信息。进一步地,在其中分析部131通过使用已分离出的荧光信号或自体荧光信号执行各种处理(例如,样本20的固定状态的分析、分割、或S/N值的计算)的情况下,图像生成部132可以生成指示这种处理的结果的图像信息。根据本配置,标记至目标分子等的荧光试剂10的分布信息(即,荧光的二次扩散、或强度、波长与位置关系)被可视化,并且尤其在目标物质的信息较复杂的组织图像分析区域中,能够改善作为用户的医生或研究人员的可视性。
图像生成部132可以进行控制,以基于通过分析部131分离出的荧光信号或自体荧光信号而区分荧光信号与自体荧光信号,从而生成图像信息。具体地,通过控制改善标记至目标分子等的荧光试剂10的荧光光谱的亮度、仅提取标记有荧光试剂10的荧光光谱并且使荧光试剂10褪色、从标记有两种以上荧光试剂10的样本20中提取两种以上荧光试剂10中的每种荧光试剂的荧光光谱并且使具有不同颜色的荧光试剂10褪色、仅提取样本20的自体荧光光谱并且应用除法或减法、改善动态范围等,图像生成部132可以生成图像信息。这使得用户可以明确区分源自与旨在目标物质耦联的荧光试剂的颜色信息。
(显示部140)
显示部140通过在显示器上显示图像信息而将由图像生成部132生成的图像信息呈现给用户。应注意,用作显示部140的显示器的类型不受具体限制。进一步地,尽管未结合本实施方式对细节进行描述,然而,可以通过允许投影仪对图像信息进行投影或通过允许打印机对图像信息进行打印(即,输出图像信息的方法不受具体限制),将由图像生成部132生成的图像信息呈现给用户。
(控制部150)
控制部150具有提供对由信息处理装置100执行的全部处理进行总体控制的功能。例如,基于用户通过操作部160输入的操作,控制部150控制上述所述各种处理(例如,荧光着色样本30的成像过程、分析过程、图像信息生成过程(图像信息重构过程)、以及图像信息显示过程)的开始和结束。应注意,由控制部150提供的控制的细节不受具体限制。例如,控制部150可以控制由通用计算机、PC、或平板PC共同执行的处理(例如,涉及OS(操作***)的处理)。
(操作部160)
操作部160接收从用户输入的操作。更具体地,操作部160包括诸如键盘、鼠标、按钮、触摸面板、或麦克风等各种输入装置,并且允许用户通过操作这些输入装置而对信息处理装置100执行各种输入。将关于通过操作部160的操作输入的信息提供给控制部150。
(数据库200)
数据库200是管理样本信息、试剂信息、以及分析过程的结果的装置。更具体地,数据库200通过将样本识别信息21与样本信息相关联并且将试剂识别信息11与试剂信息相关联而执行管理。这使得信息获取部111能够基于关于待测量的样本20的样本识别信息21从数据库200中获取样本信息并且基于关于荧光试剂10的试剂识别信息11从数据库200中获取试剂信息。
如之前描述的,由数据库200管理的样本信息包括对样本20中所包括的自体荧光成分唯一的测量通道和光谱信息。然而,除上述信息之外,样本信息还可以包括关于每个样本20的目标信息,具体地,关于样品组织的类型(例如,内脏、细胞、血液、体液、腹水、胸膜积液等)、对象的疾病的类型、对象者的属性(例如,年龄、性别、血型、或种族)、或对象者的生活方式(例如,饮食习惯、锻炼习惯、或吸烟习惯)的信息,并且对于每个样本,可以将包括对样本20中所包括的自体荧光成分唯一的测量通道和光谱信息的信息与目标信息彼此相关联。这使得可以易于从目标信息跟踪包括对样本20中所包括的自体荧光成分唯一的测量通道和矢量信息的信息。例如,分析部变得可以从多个样本20之间的目标信息的相似度执行与之前所执行的过程相似的分离过程来减少测量时间。应注意,“所使用的组织”并不具体局限于从目标采集的组织并且可以包括人和动物的体内组织和细胞系以及包含在测量的目标物品中的溶液、溶剂、溶质、以及材料。
进一步地,如之前描述的,由数据库200管理的试剂信息包括关于荧光试剂10的光谱信息。然而,除上述信息之外,试剂信息还可以包括关于荧光试剂10的各种其他信息,诸如关于生产批次、荧光成分、抗体、克隆、荧光标记率、量子产率、褪色系数(指示降低荧光试剂10的荧光强度的难易度的信息)、以及吸收横截面(或摩尔吸收系数)的信息。进一步地,由数据库200管理的光谱信息和试剂信息可以由彼此不同的配置管理,并且尤其关于试剂的信息可以是将试剂的最佳组合呈现给用户的试剂数据库。
此处,例如,假设从制造商(制造者)供应样本信息和试剂信息或在根据本公开的信息处理***中唯一地测量样本信息和试剂信息。例如,在许多情况下,荧光试剂10的制造商并不测量和供应关于各个生产批次的光谱信息和荧光标记率。因此,通过在根据本公开的信息处理***中唯一地测量并且管理上述信息能够提高荧光信号与自体荧光信号的分离准确性。进一步地,为简化管理,例如,数据库200可以使用由制造商(制作者)公布的目录值或作为样本信息和试剂信息(具体地,作为试剂信息)在各种文献中描述的文献值。然而,在许多情况下,实际样本信息和试剂信息通常与目录值和文献值不同。因此,优选地,在根据上述所述本公开的信息处理***中唯一地测量并且管理样本信息和试剂信息。
进一步地,例如,通过使用由数据库200管理的样本信息、试剂信息、以及分析过程的结果的机器学习技术,能够提高分析过程(例如,分离出荧光信号和自体荧光信号的过程)的准确性。例如,尽管使用用于学习目的的机器学习技术的代理不受具体限制,然而,下面参考示例性情况对本实施方式进行了描述,在该示例性情况中,通过信息处理装置100的分析部131执行学习。例如,分析部131使用神经网络生成通过使用学习数据进行机器学习的分类器或估计器,其中,通过将已分离出的荧光信号和自体荧光信号与分离所使用的图像信息、样本信息、以及试剂信息相关联来获得学习数据。随后,在其中新获取了图像信息、样本信息、以及试剂信息的情况下,分析部131能够通过将新获取的信息输入至分类器或估计器来预测并且输出图像信息中所包括的荧光信号和自体荧光信号。
进一步地,分析部131可以输出这样的方法,即,计算之前所执行的相似分离过程(使用相似的图像信息、样本信息、或试剂信息的分离过程),相似分离过程比所预测的荧光信号和自体荧光信号更准确;统计或递归地分析所计算的过程的细节(例如,处理所使用的信息和参数);并且根据分析结果改善分离出荧光信号和自体荧光信号的过程。应注意,机器学习的方法并不局限于上述所述的方法。可以使用熟知的机器学习技术。而且,可以使用人工智能执行分离出荧光信号和自体荧光信号的过程。此外,可以使用机器学习或其他技术来不仅改善分离出荧光信号和自体荧光信号的过程,而且还可以改善使用已分离出的荧光信号和自体荧光信号的各个其他过程(例如,样本20的固定状态的分析或分割)。
上面已经描述了根据本实施方式的信息处理***的示例性配置。应注意,上面参考图3描述的配置仅是实施例。根据本实施方式的信息处理***的配置并不局限于上述所述的配置。例如,信息处理装置100不需要始终包括图3中所描述的全部功能元件。进一步地,信息处理装置100可以包括数据库200。信息处理装置100的功能元件可以基于规范和操作而进行灵活地改变。
进一步地,信息处理装置100可以执行除上述所述过程之外的过程。例如,只要试剂信息包括关于荧光试剂10的信息,诸如量子产率、荧光标记率、以及吸收横截面(或摩尔吸收系数)等,信息处理装置100则可以通过使用试剂信息和从其中去除自体荧光信号的图像信息来计算图像信息中的荧光分子的数量和与荧光分子耦联的抗体的数量。更具体地,在其中成像元件(例如,CMOS传感器)对荧光着色样本30执行成像过程的情况下,由下面等式1或等式2表达特定像素A中的荧光分子的数量。进一步地,由下列等式3表达等式2中的吸收光子的数量。
[数学式1]
[数学式2]
每分子的发射光子的数量
=吸收光子的数量×量子产率
…(等式2)
[数学式3]
吸收光子的数量
=激发光子密度×吸收横截面
…(等式3)
信息处理装置100通过实际测量等式3中的激发光子密度并且使激发光子密度乘以吸收横截面来计算吸收光子的数量。进一步地,信息处理装置100根据等式2通过使吸收光子的数量乘以试剂信息中的量子产率来计算每分子的发射光子的数量。然后,信息处理装置100根据等式1通过将由像素A检测的光子的数量除以每分子的发射光子的数量,来计算像素A中的荧光分子的数量。随后,信息处理装置100能够通过对所有的像素执行上述计算来计算每个像素中的荧光分子的数量。
而且,信息处理装置100能够通过使用试剂信息中的荧光标记率执行由等式4表达的计算,来将由像素A检测的荧光分子的数量转换成抗体的数量。随后,信息处理装置100能够通过对所有的像素执行由等式4表达的运算而计算各个像素中的抗体的数量。
[数学式4]
应注意,当执行计算荧光分子的数量和抗体的数量的处理时,只要试剂信息包括指示降低荧光强度的难易度的褪色系数,信息处理装置100则可以将图像信息中的亮度校正为未退色亮度。这能够使得信息处理装置100通过考虑衰退的荧光成分的影响而更准确地计算荧光分子的数量和抗体的数量。通过信息处理装置100的分析部131能够实现计算荧光分子的数量和抗体的数量的过程。然而,该计算过程并不局限于上述过程。例如,信息处理装置100可以将反映关于荧光分子和抗体的计算数量的信息的图像信息呈现给用户。
(2.2.处理流程)
上面已经描述了根据本实施方式的信息处理***的示例性配置。现参考图4和图5对由信息处理装置100执行的过程的示例性流程进行描述。
在步骤S1000中,用户确定要用于分析的荧光试剂10和样本20。在步骤S1004中,用户通过利用荧光试剂10对样本20进行着色来制备荧光着色样本30。
在步骤S1008中,信息处理装置100的图像获取部112通过使荧光着色样本30成像而获取图像信息。在步骤S1012中,信息获取部111根据附着至用于生成荧光着色样本30的荧光试剂10的试剂识别信息11并且根据附着至样本20的样本识别信息21,从数据库200中获取试剂信息和样本信息。
在步骤S1016中,分析部131根据样本信息和试剂信息从图像信息中分离出样本的自体荧光信号和荧光试剂10的荧光信号。此处,在其中荧光信号包括多种荧光染料的信号的情况下(在步骤S1020中,“是”),分析部131在步骤S1024中分离出每种荧光染料的荧光信号。应注意,在其中荧光信号不包括多种荧光染料的信号的情况下(在步骤S1020中,“否”),分析部131在步骤S1024中不执行分离出每种荧光染料的荧光信号的过程。
在步骤S1028中,图像生成部132通过使用由分析部131分离出的荧光信号,生成图像信息。例如,图像生成部132通过去除图像信息中的自体荧光信号而生成图像信息或生成指示每种荧光染料的荧光信号的图像信息。在步骤S1032中,显示部140显示由图像生成部132生成的图像信息。一系列的过程在此终止。
应注意,图4和图5的流程图中的步骤不需要始终按照所描述的时间顺序执行。即,可以按照描述之外的顺序执行或并行执行流程图中的步骤。例如,在步骤S1016中从图像信息中分离出样本的自体荧光信号和荧光试剂10的荧光信号之后,分析部131可以立即从图像信息中分离出每种荧光染料的荧光信号,而非在步骤S1024中分离出每种荧光染料的荧光信号(进一步地,在从图像信息中分离出每种荧光染料的荧光信号之后,分析部131可以从图像信息中分离出样本的自体荧光信号)。进一步地,此外,信息处理装置100可以执行图4或图5中未描述的过程。例如,分析部131不仅可以分离出信号,而且还可以基于已分离出的荧光信号或自体荧光信号执行分割或者分析样本20的固定状态。
<3.实际实施例>
(3.1.自体荧光信号去除的实际实施例)
上面已经描述了通过信息处理装置100执行的各种处理的示例性流程。现将描述自体荧光信号去除的实际实施例。
图6示出了其中使用K562(即,慢性髓性白血病细胞系)和Jurkat(即,人类T细胞衍生的细胞系)作为样本20的情况下的图像信息的实施例。更具体地,图6中的A-1描述了关于被荧光试剂10着色的荧光着色样本30的图像信息,即,AF488-β-微管蛋白、AF555-E-钙粘蛋白、AF647-CD3、以及PE-Cy5-CD45。进一步地,图6中的A-2描述了关于未着色样本20的图像信息(仅描述自体荧光成分(即,NADH、FAD、以及卟啉)的自体荧光信号的图像信息)。
另一方面,图6中的B-1和B-2分别描述了关于荧光着色样本30的图像信息和关于样本20的图像信息,这些图像信息是在允许分析部131分离出荧光信号和自体荧光信号并且从图像信息中去除自体荧光信号之后而获得的。(如上所述,A-2中描述的图像信息仅包括自体荧光信号,并且B-2中描述的图像信息由于去除自体荧光信号而不包括信号)。
现参考图7至图9,将关于其中使用***固定的石蜡包埋的(FFPE:***固定的石蜡包埋的)乳腺癌载片作为样本20的情况描述自体荧光信号去除的实际实施例。
图7描述了关于尚未去除自体荧光信号的荧光着色样本30的图像信息。图8A描述了关于荧光信号和自体荧光信号的光谱信息。图8中的实施例描述了关于Alexa Fluor 488(在图中表示为“Alexa 488”)、背景(在图中表示为“背景”)、组织(在图中表示为“组织”)、以及红血细胞(在图中表示为“血细胞”)的光谱信息。图8B描述了其中测量未着色样本20的信号(背景、组织、以及红血细胞的自体荧光信号)并且然后从关于荧光着色样本30的图像信息中去除该信号的情况下(即,其中通过常规方法去除自体荧光信号的情况)的图像信息作为比较对象。
另一方面,图9A描述了关于Alexa Fluor 488(在图9A中,表示为“Alexa 488”)、NADH、FAD、以及卟啉的光谱信息。图9B描述了其中根据本公开的信息处理装置100的分析部131通过使用样本信息和试剂信息从关于荧光着色样本30的图像信息中去除自体荧光信号(关于NADH、FAD、以及卟啉的自体荧光信号)的情况下的图像信息。
显而易见,上述描述仅用于示例之目的。根据本公开的技术可应用于任意荧光试剂10和任意样本20。
(3.2.荧光信号彼此分离的实际实施例)
进一步地,如上面所述,通过从使用抗体分子对样本20进行着色并且对荧光着色样本30进行成像而获得的图像信息计算自体荧光信号与荧光信号的颜色分离,可以确认特定的着色,通过利用多种荧光染料分别对多个标记分子进行单独来获得抗体分子。
因此,在本实际实施例中,采用具体示例不仅描述了自体荧光信号与荧光信号的分离及自体荧光信号彼此的分离,而且还描述了荧光信号彼此的分离。
图10是描述其中使用扁桃体组织作为样本20并且当从图像信息中提取荧光信号时使用从扁桃体组织获得的自体荧光信号作为颜色分离计算所使用的自体荧光信号的情况下的图像信息的实施例的示图。具体地,图10中的(A1)至(A6)描述了从图像信息中分离出的自体荧光信号的图像(以下称为自体荧光图像),并且(B1)至(B8)描述了从图像信息中分离出的源自荧光试剂10的荧光信号的图像(以下称为荧光图像)。
应注意,在图10描述的实施例中,指示了其中使用八种不同的荧光试剂10对用作样本20的人类扁桃体组织进行着色的情况。作为八种不同的荧光试剂10,在本实施例中,使用原则上在核着色中所使用的荧光染料DAPI、标记有荧光染料Alexa Fluor 488的标记抗体CD4、标记有荧光染料Alexa Fluor 555的标记抗体CD3、标记有荧光染料Alexa Fluor568的标记抗体Ki-67、标记有荧光染料Alexa Fluor 594的标记抗体PDL-1、标记有荧光染料Alexa Fluor 647的标记抗体PD-1、标记有荧光染料Alexa Fluor 680的标记抗体CD8、以及标记有荧光染料Alexa Fluor 700的标记抗体CD68。
在图10的(A1)至(A6)中,描述了源自样本20并且从图像信息中分离出的六个自体荧光图像。另一方面,在图10的(B1)中,描述了源自荧光染料DAPI并且从图像信息中分离出的荧光图像;在(B2)中,描述了源自荧光染料Alexa Fluor 488(在图10中,表示为“AF488”)并且同样从图像信息中分离出的荧光图像;在(B3)中,描述了源自荧光染料Alexa Fluor555(在图10中,表示为“AF555”)并且同样从图像信息中分离出的荧光图像;在(B4)中,描述了源自荧光染料Alexa Fluor 568(在图10中,表示为“AF568”)并且同样从图像信息中分离出的荧光图像;在(B5)中,描述了源自荧光染料Alexa Fluor 594(在图10中,表示为“AF594”)并且同样从图像信息中分离出的荧光图像;在(B6)中,描述了源自荧光染料AlexaFluor 647(在图10中,表示为“AF647”)并且同样从图像信息中分离出的荧光图像;在(B7)中,描述了源自荧光染料Alexa Fluor 680(在图10中,表示为“AF680”)并且同样从图像信息中分离出的荧光图像;并且在(B8)中,描述了源自荧光染料Alexa Fluor 700(在图10中,表示为“AF700”)并且同样从图像信息中分离出的荧光图像。
通过参考图10的(A1)至(A6)以及(B1)至(B8)能够认识到,根据本实际实施例,即使使用多种荧光试剂10对样本20进行着色,分析部131也能够通过基于荧光试剂10的荧光成分的光谱信息和试剂信息中所包括的自体荧光信号,从对荧光着色样本30成像的图像获取部112获得的图像信息中分离出自体荧光信号和荧光信号。然后,分析部131能够使用试剂信息中所包括的荧光试剂10的荧光成分的光谱信息,从分离了自体荧光信号的整个荧光信号中分离出荧光试剂10的荧光信号。进一步地,分析部131还可以使用样本信息中所包括的自体荧光成分的光谱信息从分离了荧光信号后的整个自体荧光信号中分离出自体荧光成分的各个自体荧光信号。
例如,在自体荧光信号与荧光信号分离时,执行将基于试剂信息中所包括的光谱信息估计的自体荧光光谱拟合至图像信息的光谱并且在该拟合中基于系数从图像信息中减去自体荧光信号的过程。
进一步地,在自体荧光信号彼此分离时,执行将试剂信息中所包括的荧光试剂10的光谱拟合至在去除自体荧光信号之后的图像传感器的光谱并且在该拟合时基于系数从图像信息中提取荧光试剂10的荧光信号的过程。
进一步地,还是在自体荧光信号彼此分离时,类似地执行将试剂信息中所包括的荧光试剂10的光谱拟合至在去除自体荧光信号之后的图像信息的光谱并且然后在拟合时基于系数从图像信息中提取荧光试剂10的荧光信号的过程。
自然,上述内容始终是示例性的,并且根据本公开的技术能够应用于任意的荧光试剂10和任意的样本20。
(3.3.用于提取荧光信号的自体荧光信号的实际实施例)
随后,描述了用于提取荧光信号的自体荧光信号的实际实施例。如上所述,在其中就用作样本20的组织、对象的疾病的种类、对象者的属性、对象者的生活方式等而言存在相同或相似的多个样本20的情况下,样本20的自体荧光信号彼此相似的可能性较高。这被视为不仅与从同一患者采集的组织相似,而且还与从不同患者采集的组织相似。
因此,描述了关于这样的情况的所实现的具体实施例和有利效果,即,在该情况中,在本实际实施例中,当从图像信息中提取荧光信号时,或换言之,当计算用于颜色分离的荧光信号和自体荧光信号时,使用从与样本20相同或相似的组织获得的自体荧光信号和从与样本20不同的组织获得的自体荧光信号。应注意,例如,从图像信息中提取荧光信号的颜色分离过程可以是与上述所述“背景减法处理”对应的过程。
在参考实际实施例的描述的图10中,例示了这样的情况,即,其中,使用扁桃体组织作为样本20并且使用从扁桃体组织获得的自体荧光信号作为从图像信号中提取荧光信号时在颜色分离过程中所使用的自体荧光信号。相比而言,图11描述了其中使用扁桃体组织作为样本20并且使用从肺组织(即,与扁桃体组织不同的组织)获得的自体荧光信号作为从图像信号中提取荧光信号时在颜色分离计算中所使用的自体荧光信号的情况下的图像信息的实施例。
应注意,与图10相似,在图11中,在(A1)至(A6)中描述了源自样本20并且从图像信息中分离出的六个自体荧光图像。进一步地,在图11的(B1)中,描述了源自荧光染料DAPI并且从图像信息中分离出的荧光图像;在(B2)中,描述了源自荧光染料Alexa Fluor 488(在图11中,表示为“AF488”)并且同样从图像信息中分离出的荧光图像;在(B3)中,描述了源自荧光染料Alexa Fluor 555(在图11中,表示为“AF555”)并且同样从图像信息中分离出的荧光图像;在(B4)中,描述了源自荧光染料Alexa Fluor 568(在图11中,表示为“AF568”)并且同样从图像信息中分离出的荧光图像;在(B5)中,描述了源自荧光染料Alexa Fluor 594(在图11中,表示为“AF594”)并且同样从图像信息中分离出的荧光图像;在(B6)中,描述了源自荧光染料Alexa Fluor 647(在图11中,表示为“AF647”)并且同样从图像信息中分离出的荧光图像;在(B7)中,描述了源自荧光染料Alexa Fluor 680(在图11中,表示为“AF680”)并且同样从图像信息中分离出的荧光图像;并且在(B8)中,描述了源自荧光染料AlexaFluor 700(在图11中,表示为“AF700”)并且同样从图像信息中分离出的荧光图像。
从图10与图11之间的比较能够认识到,相比于其中使用源自与样本20(在本实施例中,为肺组织)不同的组织的自体荧光信号的情况下,在其中源自与样本20(在本实施例中,为扁桃体组织)相同或相似的组织的自体荧光信号用于颜色分离计算的情况下,获得更清晰的荧光图像(参考图10的(B1)至(B6)及图11的(B1)至(B8))。这表示,因为从图像信息中更准确地去除关于背景的自体荧光信号,所以改善了荧光图像的S/N比。
下面的描述集中于其中使用标记有荧光染料Alexa Fluor 488的标记抗体CD4作为荧光试剂10(图10中的(B1)和图11中的(B1))的情况和其中使用标记有荧光染料AlexaFluor 594的标记抗体PDL-1作为荧光试剂10(参考图10中的(B5)和图11中的(B5))的另一情况对此进行描述。
应注意,在本描述中,背景可以是未被荧光试剂10着色的区域或该区域的信号值。相应地,背景可以包括执行背景减法处理之前的自体荧光信号和其他噪音。另一方面,在执行背景减法处理之后,背景可能包括尚未被完全去除的自体荧光信号、其他噪音等。
图12是示出其中使用标记有荧光染料Alexa Fluor 488的标记抗体CD4作为荧光试剂10的情况的示图,并且图13是示出其中使用标记有荧光染料Alexa Fluor 594的标记抗体PDL-1作为荧光试剂10的情况的示图。参考图12和图13,(A1)描述了其中使用源自与样本20相同或相似的组织(在本实施例中,为扁桃体组织)的自体荧光信号的情况下的荧光图像,并且(A2)描述了沿着(A1)中的线X1-X2的像素值(灰度值)。(B1)描述了其中使用源自与样本20不同的组织(在本实施例中,为肺组织)的自体荧光信号作为颜色分离计算所使用的自体荧光信号的情况下的荧光图像,并且(B2)描述了沿着(B1)中的线X1-X2的像素值(灰度值)。应注意,在图12和图13中,X1与荧光图像的左端的像素(0)对应,并且X2与荧光图像的右端的像素(1023)对应。
从图12与图13的(A1)与(B1)之间的比较显而易见,相比于其中使用源自与样本20不同的组织(在本实施例中,为肺组织)的自体荧光信号的情况,在其中使用源自与样本20相同或相似的组织(在本实施例中,为扁桃体组织)的自体荧光信号作为颜色分离计算所使用的自体荧光信号的情况下,从图像信息的值中减去背景的信号值(与像素值对应)的量更大。因此,降低了荧光图像中的S/N比并且所获得的荧光图像更为清晰。
认为这由于下列事实而产生,即,源自相同或相似组织的自体荧光光谱比源自不同组织的自体荧光信号更接近于样本20的自体荧光信号。
由此,认为优选地使用源自与样本20相同或相似的组织的自体荧光信号作为用于颜色分离计算的自体荧光信号。然而,这并不从本公开的技术范围排除使用源自与样本20不同的组织的自体荧光信号来进行颜色分离计算。
另一方面,例如,通过数据库200可以管理关于源自与样本20相同或相似的组织的自体荧光信号的信息。信息获取部111能够基于所获取的样本识别信息21从数据库200获取与样本20相同或相似的样本的样本信息并且通过信息存储部121将所获取的样本信息输入至分析部131。分析部131基于所输入的样本信息,以执行诸如自体荧光信号与荧光信号的分离、荧光信号彼此的分离、以及自体荧光信号彼此的分离等过程。
(3-4.固定状态的分析)
上面已经描述了自体荧光信号去除的实际实施例。现将描述样本20的固定状态的分析的实际实施例。
如之前所描述的,样本20的整个自体荧光信号根据样本20的固定状态(例如,固定方法)而改变。因此,信息处理装置100能够根据两种以上自体荧光发射成分中的每种自体荧光发射成分的自体荧光信号成分比而对样本20的固定状态进行分析(评估)。更具体地,只要涉及NADH(烟酰胺腺嘌呤二核苷酸还原型)、FAD(黄素腺嘌呤二核苷酸)以及其他自体荧光成分,则荧光强度根据通过***的固定而变化,而基本上不改变自发荧光光谱的形状。因此,关于上述所述自体荧光成分,信息处理装置100能够根据从图像信息中分离出的每种自体荧光成分的荧光强度比而对样本20的固定状态(例如,固定方法)进行分析。
现参考图14至图17,下面描述了在通过***固定各种自体荧光成分的情况下的自体荧光光谱的变化。
图14是示出在其中通过具有5%的浓度的***固定K562(即,慢性骨髓性白血病细胞系)的情况下在固定开始时(零分钟)以及在固定之后的15、30、45、及60分钟所测量的自体荧光光谱的示图。就涉及的K562而言,图14表示随着通过***提供固定的时间段变长,自体荧光光谱的形状改变为降低荧光强度。应注意,“自体荧光光谱的形状改变”表示即使在各个时间点所获取的自体荧光光谱平行移动,自体荧光光谱彼此也不重叠。
图15是示出在通过具有2%的浓度的***固定NADPH的情况下在固定开始时(零分钟)以及在固定之后的10、30、60、90、及120分钟所测量的自体荧光光谱的示图。与上述所述K562明显相反,就所涉及的NADPH而言,图15表示即使通过***提供固定的时间段变长,荧光强度也会降低但基本不改变自体荧光光谱的形状。应注意,“荧光强度降低而基本不改变自体荧光光谱的形状”表示当在各个时间点所获取的自体荧光光谱的荧光强度发生竖直变化时(即,当自体荧光光谱平行地竖直移动时),自体荧光光谱彼此基本重叠。
图16是示出在其中通过具有2%的浓度的***固定FAD(30μM)的情况下在固定开始时(零分钟)以及在固定之后的10、30、60、90、及120分钟所测量的自体荧光光谱的示图。就所涉及的FAD(30μM)而言,图16表示即使通过***提供固定的时间段变长,自体荧光光谱的形状和荧光强度也基本不改变。
图17是示出在其中FAD(50μM)与细胞提取物混合并且通过具有2%的浓度的***固定的情况下在固定开始时(零分钟)以及在固定之后的15、30、及60分钟所测量的自体荧光光谱的示图。就所涉及的FAD(50μM)而言,图17表示即使通过***提供固定的时间段变长,荧光强度会增加但基本不改变自体荧光光谱的形状。
如由图15至图17中的实施例指示的,就所涉及的NADPH、FAD、以及其他自体荧光成分而言,荧光强度根据固定状态(例如,固定方法)而改变,但基本上不改变自体荧光光谱的形状(应注意,如图16中指示的,在一些情况下,荧光强度也可能保持基本不变)。此处,当信息获取部111从数据库200获取的样本信息包括图15至图17中所描述的光谱信息时,分析部131能够根据两种以上自体荧光发射成分中的每种自体荧光发射成分的自体荧光信号成分比,来对样本20的固定状态进行分析(评估)。
例如,分析部131根据样本信息中所包括的测量通道识别样本20中所包括的自体荧光成分,并且获取关于每种自体荧光成分的光谱信息(根据固定而变化)作为样本信息。然后,分析部131能够根据关于所获取的每种自体荧光成分的光谱信息并且根据从图像信息中分离出的自体荧光信号的每种成分的成分比,来对固定方法(例如,固定所使用的化学品、化学品的浓度、或固定过程)及从固定起的流逝时间进行分析。
尽管上述描述假设NADPH和FAD是自体荧光成分,然而,可应用于固定状态的分析的自体荧光成分的类型并不局限于上述类型。即,其自体荧光光谱的形状由于固定而保持基本不变的自体荧光成分可应用于固定状态的分析。
(3-5.分割)
上面已经描述了样本20的固定状态的分析的实际实施例。下面描述用于识别图像信息中所包括的对象(例如,细胞、胞内结构(细胞质、细胞膜、或细胞核)、或组织(肿瘤部位、非肿瘤部位、***、血管、血管壁、***、纤维化结构、或坏死))的区域的分割(或区域分割)。
为了获取待测量的荧光信号,通常并且广泛使用对荧光信号进行扩增、直至源自样本20的自体荧光信号可忽略的方法。然而,当使用该方法时,难以获取自体荧光信号。因此,当使用常规方法时,通过使用自体荧光信号难以识别样本20中所包括的细胞的区域、胞内结构(细胞质、细胞膜、细胞核等)、或组织(肿瘤部位、非肿瘤部位、***、血管、血管壁、***、纤维化结构、坏死等)。
另一方面,信息处理装置100的分析部131能够根据样本信息和试剂信息从关于荧光着色样本30的图像信息中提取自体荧光信号。因此,根据自体荧光信号和荧光信号在图像信息中的分布,分析部131能够识别样本20中所包括的细胞的区域、胞内结构(细胞质、细胞膜、细胞核等),或组织(肿瘤部位、非肿瘤部位、***、血管、血管壁、***、纤维化结构、坏死等),并且执行分割。这能够使得分析部131获取关于目标分子的位置信息并且实现例如定位在不同着色剂之间的图像信息。
过去,已经提议了一种方法,其通过将唯一的标记附着至各个细胞及各个胞内结构而执行分割。已经提议了另一种方法,通过利用不同的荧光对与目标分子不同并且在与目标分子相同的区域中规则地表达的分子(内源控制)进行标记,来校正目标分子在细胞膜中的表达水平。自体荧光成分具有唯一的位置。因此,使用根据本公开获取的关于自体荧光成分的位置信息,使得可以在减少常规分割的着色剂的数量和内源控制的同时提高处理的准确性。应注意,基于根据本公开的技术的分割的方法并不局限于上述所述方法。
<4.示例性的硬件配置>
上面已经描述了基于根据本公开的技术的分割。现参考图18对信息处理装置100的示例性硬件配置进行描述。
图18是示出信息处理装置100的示例性硬件配置的框图。信息处理装置100包括CPU(中央处理单元)901、ROM(只读存储器)902、RAM(随机访问存储器)903、主机总线904、桥接器905、外部总线906、接口907、输入装置908、输出装置909、存储装置(HDD)910、驱动911、以及通信装置912。
CPU 901用作算法处理装置和控制装置并且根据各种程序提供对信息处理装置100中的操作的整体控制。进一步地,CPU 901可以是微处理器。例如,ROM 902存储由CPU901使用的程序和操作参数。例如,RAM 903暂时存储CPU 901执行时使用的程序和在该执行时适当改变的参数。这些部件通过例如包括CPU总线的主机总线904而互连。CPU 901、ROM902、以及RAM 903协作,以实现处理部130和控制部150的功能。
根据本技术的图像处理装置的控制程序是用于使信息处理装置执行与由以上所述的信息处理装置的控制部150执行的控制功能相似的功能的程序并且被设置为处于这样的状态,即,存储在诸如例如磁盘、光盘、磁光盘、或闪存存储器等记录介质中,以使得其被加载到PC等中并且由PC等使用。可替代地,还可以将通过诸如互联网等网络从外面传送的控制程序下载到PC等中并且通过PC等使用。
具体地,还可以认为根据本实施方式的信息处理***(例如,显微镜***)由以上所述的信息处理装置100及用于使信息处理装置100执行控制的控制功能以基于关于样本20的信息和关于荧光试剂10的信息从图像信息中分离出荧光信号和/或自体荧光信号的程序配置。
主机总线904通过桥接器905连接至外部总线906,诸如PCI(***部件互连/接口)总线等。应注意,主机总线904、桥接器905、以及外部总线906不需要总是单独提供。可替代地,可以采用单一总线来实现主机总线904、桥接器905、以及外部总线906的功能。
例如,输入装置908包括用作用户的信息输入装置的输入控制电路,诸如鼠标、键盘、触摸面板、按钮、麦克风、开关、操纵杆、或各种传感器(包括成像元件)等,基于用户输入生成输入信号并且将所生成的输入信号输出至CPU 901。输入装置908实现获取部110的一些功能和操作部160的功能。
例如,输出装置909包括诸如CRT(阴极射线管)显示装置、液晶显示器(LCD)装置、OLED(有机发光二极管)装置等显示装置、或灯。进一步地,输出装置909包括诸如扬声器或耳机等音频输出装置。输出装置909将诸如视频数据等各种信息显示为图像或文本。同时,例如,音频输出装置将音频数据转换成声音并且输出声音。输出装置909实现显示部140的功能。
存储装置910是用于数据存储的装置。例如,存储装置910可以包括存储介质、用于将数据记录在存储介质上的记录装置、用于从存储介质读取数据的读取装置、以及用于删除存储介质上所记录的数据的删除装置。例如,可以使用HDD(硬盘驱动)作为存储装置910。在这种情况下,存储装置910驱动硬盘,以存储由CPU 901执行的程序及各种数据。存储装置910实现存储部120的功能。
驱动911是用于存储介质的读取器/写入器,并且内置于或从外部附接至信息处理装置100。驱动911读取被记录在可移除存储介质913上的信息,可移除存储介质913诸如***的磁盘、光盘、磁光盘、或半导体存储器等,并且驱动911将读取信息输出至RAM 903。进一步地,驱动911能够将信息写入至可移除存储介质913中。
例如,通信装置912是包括用于连接至通信网络914的通信设备的通信接口。通信装置912实现获取部110的一些功能。
应注意,信息处理装置100的硬件配置并不局限于图18中描述的配置。例如,在其中通过已连接的外部通信设备建立通信的情况下,信息处理装置100不需要包括通信装置912。进一步地,通信装置912能够通过多种通信方法建立通信。进一步地,通过一个或两个或更多个IC(集成电路)可以全部或部分实现图18中所描述的配置。
<5.备注>
上述描述表示在根据本公开的信息处理***内通过独特的方式优选测量并且管理样本信息和试剂信息。原因在于,在许多情况下,实际样本信息和试剂信息与目录值和文献值不同。因此,现参考图19和图20,将描述实际样本信息和试剂信息与目录值和文献值的不同作为备注。
图19是示出指示关于PE(藻红蛋白)(即,荧光成分的种类)的光谱信息的测量值与目录值之间的比较结果的示图。进一步地,图20是示出指示关于BV421(亮紫421)(即,荧光成分的种类)的光谱信息的测量值与目录值之间的比较结果的示图。应注意,当通过混合荧光成分与封装剂而制备样品时,获得指示测量结果的测量值。
如图19和图20中示出的,在由光谱信息指示的峰值位置,测量值与目录值彼此基本一致,但是,在比峰值波长更长的波长处,光谱形状不同。因此,使用目录值作为光谱信息降低了荧光信号与自体荧光信号的分离准确性。
就准确性而言,应注意,通常,在根据本公开的信息处理***内,不仅通过独特的方式优选测量光谱信息,而且还测量光谱信息和试剂信息中所包括的各种信息。
<6.***配置的变形>
应注意,根据上述所述实施方式的信息处理***(参考图3)还可以具有服务器-客户端类型的***配置。图21是描述被配置成服务器-客户端类型配置的信息处理***的示意性配置实施例的框图。
如图21中描述的,根据本变形的信息处理***包括通过预定网络300彼此连接通信的客户端终端100A、服务器装置100B、以及数据库200。诸如WAN(广域网)(包括互联网)、LAN(局域网)、公共网络以及移动网络等各种网络能够应用于网络300。
客户端终端100A是由医生、研究人员等使用的终端装置并且至少包括例如图3中所描述的配置的获取部110、显示部140、控制部150、以及操作部160。
另一方面,服务器装置100B并不局限于单一服务器并且可以由多个服务器或可以由云服务器配置。服务器装置100B包括图3中所描述的配置的信息存储部121、图像信息存储部122、分析结果存储部123、分析部131、以及图像生成部132中的至少一项。客户端终端100A中可以设置所提及部件中服务器装置100B中不包括的任意部件。
连接至服务器装置100B的这种客户端终端100A的数量并不局限于一个,而是可以是多个。在这种情况下,医院中可以引入彼此不同的多个客户端终端100A。
通过采用上述所述的这种***配置,不仅可以为诸如医生或研究人员等用户提供具有更高计算能力的***,而且还可以将更大量的信息累积到数据库200中。这表明促进了对数据库200中所累积的大数据执行机器学习等的***的扩展。
应注意,上述所述该配置不具有局限性并且各种更改是可能的,例如,仅数据库200被多个信息处理装置100通过网络300共享的类似配置。
<7.结论>
如上所述,基于样本信息和试剂信息,根据本公开的信息处理装置100能够从关于被至少一种着色试剂10着色的样本20的图像信息中分离出样本20的自体荧光信号和荧光试剂10的荧光信号。进一步地,信息处理装置100能够通过使用已分离出的荧光信号或自体荧光信号而执行各种处理(例如,样本20的固定状态的分析或分割)。而且,信息处理装置100能够通过基于样本信息、试剂信息、以及由数据库200管理的分析结果执行机器学习而改善诸如自体荧光信号与荧光信号的分离处理等上述处理。
<8.示例性应用>
根据本公开的技术能够应用于各种生产。例如,根据本公开的技术可以应用于允许医生等观察从患者采集的细胞或组织来诊断损伤的病理诊断***或其支持***(以下称为诊断支持***)。该诊断支持***可以是DPI(数字病理成像)***,用于基于利用数字病理技术获取的图像来诊断损伤或支持诊断。
图22是描述应用根据本公开的技术的诊断支持***5500的示意性配置的实施例的示图。如图22中描述的,诊断支持***5500包括一个或多个病理***5510、医疗信息***5530以及导出装置5540。
一个或多个病理***5510中的每个病理***是原则上由病理学家使用的***并且例如被引入至实验室或医院。可以将病理***5510引入彼此不同的医院并且通过诸如WAN(广域网)(包括互联网)、LAN(局域网)、公共网络、或移动网络等各种网络而单独连接至医疗信息***5530和导出装置5540。
每个病理***5510包括显微镜5511、服务器5512、显示控制装置5513、以及显示装置5514。
显微镜5511具有光学显微镜的功能并且使装配到玻璃载玻片的观察对象成像,以获取数字图像形式的病理图像。例如,观察对象是从患者采集的组织或细胞并且可以是器官的肉片、唾液、血液等。
服务器5512将通过显微镜5511获取的病理图像存储并且保留至未描述的存储部中。进一步地,在其中服务器5512从显示控制装置5513接受读取请求的情况下,其从未描述的存储部中搜索病理图像并且将搜索出的病理图像发送至显示控制装置5513。
显示控制装置5513将关于从用户接受的病理图像的读取请求发送至服务器5512。然后,显示控制装置5513控制使用液晶单元、EL(电致发光)单元、CRT(阴极射线管)等的显示装置5514显示从服务器5512接受的病理图像。应注意,显示装置5514可以准备为4K或8K显示***,并且该这种显示装置5514的数量并不局限于一个,而是可以是多个。
此处,例如,在其中观察对象是诸如器官的肉片等固体的情况下,观察对象可以是被着色的薄切片。通过从器官样品等切割的块片进行薄片切割可以产生薄切片。进一步地,在薄片切割时,块片可以通过石蜡等进行固定。
为了对薄切片进行着色,可以应用诸如HE(苏木精-曙红)着色等指示器官形式的一般着色或诸如IHC(免疫组织化学)着色等指示器官的免疫状态的着色免疫等各种着色方法。同时,可以使用多种不同的试剂对一个薄切片进行着色,或者可以使用彼此不同的试剂对从同一块片连续切割的两个或多个薄切片(也被称为相邻的薄切片)进行着色。
显微镜5511能够包括用于以低分辨率成像的低分辨率成像部和用于以高分辨率成像的高分辨率成像部。低分辨率成像部与高分辨率成像部可以是彼此不同的光学***或可以是相同的光学***。在其中是相同光学***的情况下,显微镜5511可以具有响应成像对象而改变的分辨率。
将其中装配有观察对象的玻璃载玻片放置在定位于显微镜5511的视角内的载台上。首先,显微镜5511使用低分辨率成像部获取视角内的整个图像并且从所获取的整个图像中指定观察对象的区域。然后,显微镜5511将其中存在观察对象的区域分割成预定尺寸的多个分割区域并且利用高分辨率成像部使分割区域连续成像,以获取各个分割区域的高分辨率图像。在切换对象分割区域时,可以移动载台或可以移动成像光学***,或者可以移动两者。进一步地,各个分割区域可能与相邻的分割区域重叠,以防止由于玻璃载玻片的意外位移或类似原因而出现成像遗漏区域。进一步地,整个图像可以包括用于将整个图像与患者彼此相关联的标识信息。例如,该标识信息可以是字符串、QR码(注册商标)等。
医疗信息***5530是所谓的电子医疗记录***并且存储用于识别患者、患者的疾病信息、诊断中所使用的检查信息和图像信息、以及诸如诊断结果、处方药等关于诊断的信息的信息。例如,对特定患者的观察对象成像所获得的病理图像通过服务器5512保留一次并且能够通过显示控制装置5513在显示装置5514上进行显示。利用病理***5510的病理学家基于显示装置5514上所显示的病理图像执行病理诊断。将由病理学家进行的病理诊断的结果存储至医疗信息***5530中。
导出装置5540能够对病理图像执行分析。对于该分析,能够使用通过机器学习而生成的学习模型。导出装置5540可以导出特定区域的分类结果、组织的识别结果等。进一步地,导出装置5540可以导出细胞信息、数量、位置、亮度信息等的识别结果、关于其的评分信息等。可以在病理***5510的显示装置5514上显示由导出装置5540导出的信息作为诊断支持信息。
在上述所述的组成元件中,根据本公开的技术能够适当地应用于整个诊断支持***5500。具体地,获取部110与显微镜5511对应;显示控制装置5513与控制部150对应;显示装置5514与显示部140对应;病理***5510和导出装置5540的其余部件与信息处理装置100的其余部件对应;并且医疗信息***5530能够与数据库200对应。通过将根据本公开的技术应用于诊断支持***5500,该有利效果能够表明其变得可以允许医生或研究人员更准确地执行损伤的诊断或分析。
尽管已经参考所附附图对根据本公开的优选实施方式进行了描述,然而,本公开的技术范围并不局限于上述所述范围。对本公开的技术领域的普通技术人员显而易见的是,在不偏离由下列权利要求限定的本公开的实质和范围的情况下,可以做出各种改变和变形。应当理解的是,该改变和变形在本公开的技术范围内。
进一步地,本说明书中所描述的优点是说明性的或示出性并且非限制性。即,除或替代上述所述有利效果,考虑本说明书中的描述,根据本公开的技术可以提供由本领域技术人员设想的其他优点。
应注意,下列配置也在本公开的技术范围内。
(1)一种信息处理装置,包括:
图像获取部,获取被荧光试剂着色的样本的图像信息;
信息获取部,获取关于样本的信息和关于荧光试剂的信息;以及
分析部,根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出第一荧光信号和第二荧光信号。
(2)根据(1)所述的信息处理装置,其中,
第一荧光信号包括样本的自体荧光信号;并且
第二荧光信号包括荧光试剂的荧光信号。
(3)根据(1)所述的信息处理装置,其中,
样本包括第一自体荧光成分和第二自体荧光成分;
第一荧光信号包括第一自体荧光成分的自体荧光信号;并且
第二荧光信号包括第二自体荧光成分的自体荧光信号。
(4)根据(1)所述的信息处理装置,其中,
荧光试剂包括第一荧光试剂和第二荧光试剂;
第一荧光信号包括第一荧光试剂的荧光信号;并且
第二荧光信号包括第二荧光试剂的荧光信号。
(5)根据(4)所述的信息处理装置,其中,
分析部根据关于样本的信息和关于荧光试剂的信息进一步从图像信息中分离出第三荧光信号;并且
第三荧光信号包括样本的自体荧光信号。
(6)根据(3)所述的信息处理装置,其中,
分析部根据第一自体荧光成分的自体荧光信号与第二自体荧光成分的自体荧光信号之间的成分比对样本的固定状态进行分析。
(7)根据(1)至(6)中任一项所述的信息处理装置,其中,
关于样本的信息包括样本中所包括的自体荧光成分和自体荧光成分的光谱信息。
(8)根据(7)所述的信息处理装置,其中,
样本中包括的自体荧光成分包括NADH(烟酰胺腺嘌呤二核苷酸还原型)、FAD(黄素腺嘌呤二核苷酸)或卟啉中的至少一项或多项。
(9)根据(7)所述的信息处理装置,其中,
关于样本的信息进一步包括关于待使用的组织的种类、对象的疾病的种类、对象者的属性、以及对象者的生活习惯的信息。
(10)根据(1)至(9)中任一项所述的信息处理装置,其中,
关于荧光试剂的信息包括荧光试剂中所包括的荧光成分的光谱信息。
(11)根据(1)至(10)中任一项所述的信息处理装置,其中,
信息获取部根据能够识别样本的样本识别信息而获取关于样本的信息并且根据能够识别荧光试剂的试剂识别信息而获取关于荧光试剂的信息。
(12)根据(11)所述的信息处理装置,其中,
试剂识别信息能够进一步识别荧光试剂的生产批次。
(13)根据(1)至(12)中任一项所述的信息处理装置,进一步包括:
显示部,显示基于第一荧光信号或第二荧光信号而生成的图像信息。
(14)根据(13)所述的信息处理装置,其中,
显示部进行控制,以区分第一荧光信号与第二荧光信号,并且显示所生成的图像信息。
(15)根据(14)所述的信息处理装置,其中,
第一荧光信号包括样本的自体荧光信号;
第二荧光信号包括荧光试剂的荧光信号;并且
显示部对样本的自体荧光信号执行减法处理来进行控制,以区分荧光试剂的荧光信号并且显示所生成的图像。
(16)根据(2)所述的信息处理装置,其中,
分析部使用所分离出的自体荧光信号对不同样本的图像信息执行减法处理,以从不同样本的图像信息中提取荧光信号。
(17)根据(1)至(16)中任一项所述的信息处理装置,其中,
分析部根据第一荧光信号和第二荧光信号在图像信息中的分布而识别图像信息中所包括的对象的区域。
(18)根据(1)至(17)中任一项所述的信息处理装置,其中,
分析部根据使用分离之后的第一荧光信号和第二荧光信号、分离时所使用的图像信息、关于样本的信息、以及关于荧光试剂的信息所执行的机器学习的结果来执行分离。
(19)根据(1)至(18)中任一项所述的信息处理装置,其中,
第一荧光信号和第二荧光信号中的至少一个荧光信号包括自体荧光信号;
关于荧光试剂的信息包括涉及荧光试剂的量子产率、荧光标记率、以及吸收截面或摩尔吸收系数;并且
分析部使用从其中去除了自体荧光信号的图像信息和关于荧光试剂的信息,计算图像信息中的荧光分子的数量或与荧光分子偶联的抗体的数量中的至少一项。
(20)一种显微镜***,包括:
信息处理装置,包括获取被荧光试剂着色的样本的图像信息的图像获取部以及获取关于样本的信息和关于荧光试剂的信息的信息获取部;和
程序,用于使信息处理装置执行用于控制的控制功能,以根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出第一荧光信号和第二荧光信号。
(21)一种信息处理装置,包括:
图像获取部,获取关于被至少一种荧光试剂着色的样本的图像信息;信息获取部,获取关于样本的信息和关于荧光试剂的信息;以及
分析部,根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出样本的自体荧光信号和荧光试剂的荧光信号。
(22)根据(21)所述的信息处理装置,其中,
在其中样本被两种以上荧光试剂着色的情况下,分析部根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出两种以上荧光试剂中的每种荧光试剂的荧光信号。
(23)根据(21)或(22)所述的信息处理装置,其中,
在其中自体荧光信号包括两种以上自体荧光发射成分的情况下,分析部根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出两种以上自体荧光发射成分中的每种自体荧光发射成分的自体荧光信号。
(24)根据(23)所述的信息处理装置,其中,
分析部根据两种以上自体荧光发射成分中的每种自体荧光发射成分的自体荧光信号成分比对样本的固定状态进行分析。
(25)根据(21)至(24)中任一项所述的信息处理装置,其中,
关于样本的信息包括指示样本所拥有的自体荧光发射成分的信息和关于自体荧光发射成分的光谱信息。
(26)根据(21)至(25)中任一项所述的信息处理装置,其中,
关于荧光试剂的信息包括关于荧光试剂中所包括的荧光成分的光谱信息。
(27)根据(21)至(26)中任一项所述的信息处理装置,其中,
信息获取部根据能够识别样本的样本识别信息而获取关于样本的信息并且根据能够识别荧光试剂的试剂识别信息而获取关于荧光试剂的信息。
(28)根据(27)所述的信息处理装置,其中,
试剂识别信息还能够识别荧光试剂的生产批次。
(29)根据(21)至(28)中任一项所述的信息处理装置,进一步包括:
显示部,显示基于荧光信号或自体荧光信号而生成的图像信息。
(30)根据(21)至(29)中任一项所述的信息处理装置,其中,
分析部通过使用自体荧光信号对关于不同的样本的图像信息执行减法处理,来从关于不同样本的图像信息中提取荧光信号。
(31)根据(21)至(30)中任一项所述的信息处理装置,其中,
分析部根据自体荧光信号和荧光信号在图像信息中的分布而识别图像信息中所包括的对象的区域。
(32)根据(21)至(31)中任一项所述的信息处理装置,其中,
分析部根据通过使用所分离出的荧光信号和自体荧光信号、分离所使用的图像信息、关于样本的信息、以及关于荧光试剂的信息所执行的机器学习的结果而执行分离。
(33)根据(21)至(32)中任一项所述的信息处理装置,其中,
关于荧光试剂的信息包括涉及荧光试剂的量子产率、荧光标记率、以及吸收截面或摩尔吸收系数;并且
分析部通过使用无自体荧光信号的图像信息和关于荧光试剂的信息,来计算图像信息中的荧光分子的数量或与荧光分子偶联的抗体的数量中的至少一项。
(34)一种由计算机执行的信息处理方法,信息处理方法包括:
获取被荧光试剂着色的样本的图像信息;
获取关于样本的信息和关于荧光试剂的信息;并且
根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出样本的自体荧光信号和荧光试剂的荧光信号。
(35)一种使计算机执行处理的程序,处理包括:
获取被荧光试剂着色的样本的图像信息;
获取关于样本的信息和关于荧光试剂的信息;
根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出样本的自体荧光信号和荧光试剂的荧光信号。
(36)一种信息处理***,包括:
图像获取部,获取关于被荧光试剂着色的样本的图像信息;
信息获取部,获取关于样本的信息和关于荧光试剂的信息;
分析部,根据关于样本的信息和关于荧光试剂的信息从图像信息中分离出样本的自体荧光信号和荧光试剂的荧光信号;以及
显示部,显示基于荧光信号或自体荧光信号而生成的图像信息。
[参考标号列表]
10 荧光试剂
11 试剂识别信息
20 样本
21 样本识别信息
30 荧光着色样本
100 信息处理装置
100A 客户端终端
100B 服务器装置
110 获取部
111 信息获取部
112 图像获取部
120 存储部
121 信息存储部
122 图像信息存储部
123 分析结果存储部
130 处理部
131 分析部
132 图像生成部
140 显示部
150 控制部
160 操作部
200 数据库
300 网络
Claims (20)
1.一种信息处理装置,包括:
图像获取部,获取被荧光试剂着色的样本的图像信息;
信息获取部,获取关于所述样本的信息和关于所述荧光试剂的信息;以及
分析部,根据关于所述样本的信息和关于所述荧光试剂的信息从所述图像信息中分离出第一荧光信号和第二荧光信号。
2.根据权利要求1所述的信息处理装置,其中,
所述第一荧光信号包括所述样本的自体荧光信号;并且
所述第二荧光信号包括所述荧光试剂的荧光信号。
3.根据权利要求1所述的信息处理装置,其中,
所述样本包括第一自体荧光成分和第二自体荧光成分;
所述第一荧光信号包括所述第一自体荧光成分的自体荧光信号;并且
所述第二荧光信号包括所述第二自体荧光成分的自体荧光信号。
4.根据权利要求1所述的信息处理装置,其中,
所述荧光试剂包括第一荧光试剂和第二荧光试剂;
所述第一荧光信号包括所述第一荧光试剂的荧光信号;并且
所述第二荧光信号包括所述第二荧光试剂的荧光信号。
5.根据权利要求4所述的信息处理装置,其中,
所述分析部根据关于所述样本的信息和关于所述荧光试剂的信息从所述图像信息中进一步分离第三荧光信号;并且
所述第三荧光信号包括所述样本的自体荧光信号。
6.根据权利要求3所述的信息处理装置,其中,
所述分析部根据所述第一自体荧光成分的自体荧光信号与所述第二自体荧光成分的自体荧光信号之间的成分比,对所述样本的固定状态进行分析。
7.根据权利要求1所述的信息处理装置,其中,
关于所述样本的信息包括所述样本中所包括的自体荧光成分和所述自体荧光成分的光谱信息。
8.根据权利要求7所述的信息处理装置,其中,
所述样本中包括的所述自体荧光成分包括NADH(烟酰胺腺嘌呤二核苷酸还原型)、FAD(黄素腺嘌呤二核苷酸)和卟啉中的至少一种或多种。
9.根据权利要求7所述的信息处理装置,其中,
关于所述样本的信息进一步包括关于待使用的组织的种类、对象的疾病的种类、对象者的属性以及所述对象者的生活习惯的信息。
10.根据权利要求1所述的信息处理装置,其中,
关于所述荧光试剂的信息包括所述荧光试剂中所包括的荧光成分的光谱信息。
11.根据权利要求1所述的信息处理装置,其中,
所述信息获取部根据能够识别所述样本的样本识别信息获取关于所述样本的信息,并且根据能够识别所述荧光试剂的试剂识别信息获取关于所述荧光试剂的信息。
12.根据权利要求11所述的信息处理装置,其中,
所述试剂识别信息能够进一步识别所述荧光试剂的生产批次。
13.根据权利要求1所述的信息处理装置,进一步包括:
显示部,显示基于所述第一荧光信号或所述第二荧光信号而生成的图像信息。
14.根据权利要求13所述的信息处理装置,其中,
所述显示部进行控制以区分所述第一荧光信号与所述第二荧光信号并且显示所生成的图像信息。
15.根据权利要求14所述的信息处理装置,其中,
所述第一荧光信号包括所述样本的自体荧光信号;
所述第二荧光信号包括所述荧光试剂的荧光信号;并且
所述显示部对所述样本的所述自体荧光信号执行减法处理来进行控制,以区分所述荧光试剂的荧光信号并且显示所生成的图像。
16.根据权利要求2所述的信息处理装置,其中,
所述分析部使用所分离出的自体荧光信号对不同样本的图像信息执行减法处理,以从所述不同样本的图像信息中提取所述荧光信号。
17.根据权利要求1所述的信息处理装置,其中,
所述分析部根据所述第一荧光信号和所述第二荧光信号在所述图像信息中的分布来识别所述图像信息中所包括的对象的区域。
18.根据权利要求1所述的信息处理装置,其中,
所述分析部根据使用分离之后的所述第一荧光信号和所述第二荧光信号、分离时所使用的所述图像信息、关于所述样本的信息、以及关于所述荧光试剂的信息所执行的机器学习的结果,来执行分离。
19.根据权利要求1所述的信息处理装置,其中,
所述第一荧光信号和所述第二荧光信号中的至少一项包括自体荧光信号;
关于所述荧光试剂的信息包括有关所述荧光试剂的量子产率、荧光标记率、以及吸收截面或摩尔吸收系数;并且
所述分析部使用去除了所述自体荧光信号的所述图像信息和关于所述荧光试剂的信息,计算所述图像信息中的荧光分子的数量以及与所述荧光分子偶联的抗体的数量中的至少一项。
20.一种显微镜***,包括:
信息处理装置,包括获取被荧光试剂着色的样本的图像信息的图像获取部以及获取关于所述样本的信息和关于所述荧光试剂的信息的信息获取部;和
程序,用于使所述信息处理装置执行用于控制的控制功能,以根据关于所述样本的信息和关于所述荧光试剂的信息从所述图像信息中分离第一荧光信号和第二荧光信号。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018138662 | 2018-07-24 | ||
JP2018-138662 | 2018-07-24 | ||
JP2019132300A JP2020020791A (ja) | 2018-07-24 | 2019-07-17 | 情報処理装置、情報処理方法、情報処理システム、およびプログラム |
JP2019-132300 | 2019-07-17 | ||
PCT/JP2019/029075 WO2020022394A1 (en) | 2018-07-24 | 2019-07-24 | Information processing apparatus and microscope for separating the fluorescence of a fluorescent reageant from the autofluorescence of a specimen |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112424588A true CN112424588A (zh) | 2021-02-26 |
Family
ID=69588220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980047114.2A Pending CN112424588A (zh) | 2018-07-24 | 2019-07-24 | 从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210318241A1 (zh) |
EP (1) | EP3827248B1 (zh) |
JP (1) | JP2020020791A (zh) |
CN (1) | CN112424588A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113539368A (zh) * | 2021-08-30 | 2021-10-22 | 长春理工大学 | 荧光图像信号数据存储与颜色分类方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3961194B1 (en) * | 2020-08-25 | 2023-11-08 | Korea Advanced Institute of Science and Technology | Method and apparatus for multiplexed imaging of biomolecules through iterative unmixing of fluorophore signals |
JPWO2022249583A1 (zh) | 2021-05-26 | 2022-12-01 | ||
WO2023276219A1 (ja) * | 2021-06-29 | 2023-01-05 | ソニーグループ株式会社 | 情報処理装置、生体試料観察システム及び画像生成方法 |
EP4379359A1 (en) * | 2021-08-25 | 2024-06-05 | Hamamatsu Photonics K.K. | Dye image acquisition method, dye image acquisition device, and dye image acquisition program |
WO2023157755A1 (ja) * | 2022-02-16 | 2023-08-24 | ソニーグループ株式会社 | 情報処理装置、生体試料解析システム及び生体試料解析方法 |
WO2023157756A1 (ja) * | 2022-02-16 | 2023-08-24 | ソニーグループ株式会社 | 情報処理装置、生体試料解析システム及び生体試料解析方法 |
WO2024009204A1 (en) * | 2022-07-04 | 2024-01-11 | Leica Instruments (Singapore) Pte. Ltd. | Controller for a surgical microscope and method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080294032A1 (en) * | 2003-09-23 | 2008-11-27 | Cambridge Research And Instrumentation, Inc. | Spectral Imaging of Biological Samples |
CN102804205A (zh) * | 2010-03-26 | 2012-11-28 | 通用电气公司 | 用于生物样本的光学分割的方法和器件 |
CN103454204A (zh) * | 2012-05-29 | 2013-12-18 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN103903231A (zh) * | 2014-04-08 | 2014-07-02 | 西安电子科技大学 | 一种多光谱激发荧光成像中去除自体荧光干扰的方法 |
US20140376087A1 (en) * | 2012-03-07 | 2014-12-25 | Olympus Corporation | Image processing apparatus, microscope system, and image processing method |
US20160035100A1 (en) * | 2013-03-15 | 2016-02-04 | Ventana Medical Systems, Inc. | Spectral Unmixing |
CN106796145A (zh) * | 2014-07-09 | 2017-05-31 | 加利珀生命科学股份有限公司 | 从生物学样本的纯光谱提取 |
CN107003242A (zh) * | 2014-09-16 | 2017-08-01 | 劳伦斯·利弗莫尔国家安全有限责任公司 | 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的***和方法 |
CN107209118A (zh) * | 2014-09-29 | 2017-09-26 | 诺瓦达克技术公司 | 在自体荧光存在下生物材料中目标荧光团的成像 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6571119B2 (en) * | 1996-03-06 | 2003-05-27 | Fuji Photo Film Co., Ltd. | Fluorescence detecting apparatus |
JP2005195379A (ja) * | 2003-12-31 | 2005-07-21 | Yamaguchi Univ | 腫瘍画像検出方法とその装置 |
JP2007010340A (ja) * | 2005-06-28 | 2007-01-18 | Olympus Corp | カメラ装置 |
WO2012029269A1 (ja) * | 2010-09-02 | 2012-03-08 | 国立大学法人東北大学 | がん発症又はがん発症リスクの判定方法 |
JP6825622B2 (ja) * | 2016-05-06 | 2021-02-03 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
CN109313798B (zh) * | 2016-06-10 | 2022-04-01 | 豪夫迈·罗氏有限公司 | 用于生成模拟数字明场ihc或ish图像的方法和图像处理*** |
-
2019
- 2019-07-17 JP JP2019132300A patent/JP2020020791A/ja active Pending
- 2019-07-24 EP EP19752282.4A patent/EP3827248B1/en active Active
- 2019-07-24 CN CN201980047114.2A patent/CN112424588A/zh active Pending
- 2019-07-24 US US17/260,965 patent/US20210318241A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080294032A1 (en) * | 2003-09-23 | 2008-11-27 | Cambridge Research And Instrumentation, Inc. | Spectral Imaging of Biological Samples |
CN102804205A (zh) * | 2010-03-26 | 2012-11-28 | 通用电气公司 | 用于生物样本的光学分割的方法和器件 |
US20140376087A1 (en) * | 2012-03-07 | 2014-12-25 | Olympus Corporation | Image processing apparatus, microscope system, and image processing method |
CN103454204A (zh) * | 2012-05-29 | 2013-12-18 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
US20160035100A1 (en) * | 2013-03-15 | 2016-02-04 | Ventana Medical Systems, Inc. | Spectral Unmixing |
CN103903231A (zh) * | 2014-04-08 | 2014-07-02 | 西安电子科技大学 | 一种多光谱激发荧光成像中去除自体荧光干扰的方法 |
CN106796145A (zh) * | 2014-07-09 | 2017-05-31 | 加利珀生命科学股份有限公司 | 从生物学样本的纯光谱提取 |
CN107003242A (zh) * | 2014-09-16 | 2017-08-01 | 劳伦斯·利弗莫尔国家安全有限责任公司 | 使用荧光剂进行染色之后在紫外激发的情况下使用荧光显微镜控制组织中的成像深度的***和方法 |
CN107209118A (zh) * | 2014-09-29 | 2017-09-26 | 诺瓦达克技术公司 | 在自体荧光存在下生物材料中目标荧光团的成像 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113539368A (zh) * | 2021-08-30 | 2021-10-22 | 长春理工大学 | 荧光图像信号数据存储与颜色分类方法 |
CN113539368B (zh) * | 2021-08-30 | 2023-02-03 | 长春理工大学 | 荧光图像信号数据存储与颜色分类方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3827248A1 (en) | 2021-06-02 |
JP2020020791A (ja) | 2020-02-06 |
US20210318241A1 (en) | 2021-10-14 |
EP3827248B1 (en) | 2024-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112424588A (zh) | 从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜 | |
Liu et al. | Harnessing non-destructive 3D pathology | |
JP6184964B2 (ja) | 生物試料をスペクトル画像により分析する方法およびシステム。 | |
JP2021513065A (ja) | デジタル病理画像の変換 | |
Müller et al. | Explainability and causability for artificial intelligence-supported medical image analysis in the context of the European In Vitro Diagnostic Regulation | |
RU2690224C2 (ru) | Обследующее устройство для обработки и анализа изображения | |
You et al. | Real-time intraoperative diagnosis by deep neural network driven multiphoton virtual histology | |
Ali et al. | Automatic label‐free detection of breast cancer using nonlinear multimodal imaging and the convolutional neural network ResNet50 | |
Gao et al. | FLIMJ: An open-source ImageJ toolkit for fluorescence lifetime image data analysis | |
JP7424289B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、およびプログラム | |
US11373422B2 (en) | Evaluation assistance method, evaluation assistance system, and computer-readable medium | |
JP7114323B2 (ja) | 医用情報処理システム及び医用情報処理装置 | |
Feldman | Beyond morphology: whole slide imaging, computer-aided detection, and other techniques | |
WO2022004500A1 (ja) | 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム | |
JP7011067B2 (ja) | 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法 | |
WO2020022394A1 (en) | Information processing apparatus and microscope for separating the fluorescence of a fluorescent reageant from the autofluorescence of a specimen | |
JPWO2018066039A1 (ja) | 解析装置、解析方法、及びプログラム | |
WO2022190891A1 (ja) | 情報処理システム及び情報処理方法 | |
US9760678B2 (en) | Systems and methods in digital pathology | |
Gouzou et al. | Applications of machine learning in time-domain fluorescence lifetime imaging: a review | |
US20230071901A1 (en) | Information processing apparatus and information processing system | |
Guo et al. | FLIM data analysis based on Laguerre polynomial decomposition and machine-learning | |
US12033726B2 (en) | Spatially co-registered genomic and imaging (SCORGI) data elements for fingerprinting microdomains | |
WO2023157756A1 (ja) | 情報処理装置、生体試料解析システム及び生体試料解析方法 | |
US20230358680A1 (en) | Image generation system, microscope system, and image generation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |