CN113661381B - 高光谱成像*** - Google Patents
高光谱成像*** Download PDFInfo
- Publication number
- CN113661381B CN113661381B CN202080023666.2A CN202080023666A CN113661381B CN 113661381 B CN113661381 B CN 113661381B CN 202080023666 A CN202080023666 A CN 202080023666A CN 113661381 B CN113661381 B CN 113661381B
- Authority
- CN
- China
- Prior art keywords
- target
- phasor
- color
- imaging system
- hyperspectral imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 176
- 238000001228 spectrum Methods 0.000 claims abstract description 270
- 230000036541 health Effects 0.000 claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims description 278
- 238000005286 illumination Methods 0.000 claims description 161
- 230000005855 radiation Effects 0.000 claims description 127
- 238000012800 visualization Methods 0.000 claims description 97
- 230000005670 electromagnetic radiation Effects 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 81
- 230000005284 excitation Effects 0.000 claims description 63
- 239000003086 colorant Substances 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 56
- 238000001914 filtration Methods 0.000 claims description 41
- 238000013507 mapping Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 24
- 239000012925 reference material Substances 0.000 claims description 20
- 230000001965 increasing effect Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 18
- 230000001427 coherent effect Effects 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 11
- 238000004020 luminiscence type Methods 0.000 claims description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 201000010099 disease Diseases 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 7
- 241000124008 Mammalia Species 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 208000027418 Wounds and injury Diseases 0.000 claims description 4
- 230000002068 genetic effect Effects 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- 208000025865 Ulcer Diseases 0.000 claims description 3
- 206010052428 Wound Diseases 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 231100000397 ulcer Toxicity 0.000 claims description 3
- 206010010356 Congenital anomaly Diseases 0.000 claims description 2
- 206010000269 abscess Diseases 0.000 claims description 2
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 208000035475 disorder Diseases 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 6
- 150000002894 organic compounds Chemical class 0.000 claims 2
- 238000012546 transfer Methods 0.000 claims 2
- 208000032170 Congenital Abnormalities Diseases 0.000 claims 1
- 206010061619 Deformity Diseases 0.000 claims 1
- 238000004040 coloring Methods 0.000 claims 1
- 230000006378 damage Effects 0.000 claims 1
- 208000014674 injury Diseases 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 67
- 238000004458 analytical method Methods 0.000 abstract description 51
- 230000008901 benefit Effects 0.000 abstract description 25
- 238000004364 calculation method Methods 0.000 abstract description 22
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 abstract description 4
- 230000003595 spectral effect Effects 0.000 description 168
- 238000010586 diagram Methods 0.000 description 80
- 239000000523 sample Substances 0.000 description 50
- 239000011035 citrine Substances 0.000 description 44
- 230000000875 corresponding effect Effects 0.000 description 43
- 210000001519 tissue Anatomy 0.000 description 43
- 241000252212 Danio rerio Species 0.000 description 41
- 239000006185 dispersion Substances 0.000 description 40
- 210000004027 cell Anatomy 0.000 description 35
- 238000009826 distribution Methods 0.000 description 32
- 210000002257 embryonic structure Anatomy 0.000 description 29
- 238000012360 testing method Methods 0.000 description 27
- 238000012880 independent component analysis Methods 0.000 description 25
- 101100540419 Danio rerio kdrl gene Proteins 0.000 description 24
- 238000001514 detection method Methods 0.000 description 24
- 238000009877 rendering Methods 0.000 description 24
- 108091005960 Citrine Proteins 0.000 description 22
- 238000000926 separation method Methods 0.000 description 21
- 108091006047 fluorescent proteins Proteins 0.000 description 19
- 102000034287 fluorescent proteins Human genes 0.000 description 19
- 210000004694 pigment cell Anatomy 0.000 description 19
- 238000001727 in vivo Methods 0.000 description 18
- 238000004088 simulation Methods 0.000 description 18
- 238000013459 approach Methods 0.000 description 17
- 210000001161 mammalian embryo Anatomy 0.000 description 17
- 239000000243 solution Substances 0.000 description 17
- 230000014509 gene expression Effects 0.000 description 15
- 230000006872 improvement Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 239000013598 vector Substances 0.000 description 14
- 108091005957 yellow fluorescent proteins Proteins 0.000 description 14
- 238000005259 measurement Methods 0.000 description 13
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 description 13
- BOPGDPNILDQYTO-NNYOXOHSSA-N nicotinamide-adenine dinucleotide Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 BOPGDPNILDQYTO-NNYOXOHSSA-N 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 210000003205 muscle Anatomy 0.000 description 12
- 230000009261 transgenic effect Effects 0.000 description 12
- 210000005166 vasculature Anatomy 0.000 description 12
- 238000013461 design Methods 0.000 description 11
- 210000004940 nucleus Anatomy 0.000 description 11
- 238000010561 standard procedure Methods 0.000 description 11
- 241000699666 Mus <mouse, genus> Species 0.000 description 10
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 10
- 238000011503 in vivo imaging Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 108091005944 Cerulean Proteins 0.000 description 9
- 239000012472 biological sample Substances 0.000 description 9
- 238000000295 emission spectrum Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 9
- 238000007794 visualization technique Methods 0.000 description 9
- 239000001052 yellow pigment Substances 0.000 description 9
- 101100227322 Caenorhabditis elegans fli-1 gene Proteins 0.000 description 8
- 101100281205 Mus musculus Fli1 gene Proteins 0.000 description 8
- FULZLIGZKMKICU-UHFFFAOYSA-N N-phenylthiourea Chemical compound NC(=S)NC1=CC=CC=C1 FULZLIGZKMKICU-UHFFFAOYSA-N 0.000 description 8
- 230000002503 metabolic effect Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 150000001875 compounds Chemical class 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 230000002708 enhancing effect Effects 0.000 description 7
- 108090000623 proteins and genes Proteins 0.000 description 7
- 102000004169 proteins and genes Human genes 0.000 description 7
- 230000006798 recombination Effects 0.000 description 7
- 229920000936 Agarose Polymers 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000004061 bleaching Methods 0.000 description 6
- 210000002969 egg yolk Anatomy 0.000 description 6
- 230000003511 endothelial effect Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000005215 recombination Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 108700019146 Transgenes Proteins 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000002073 fluorescence micrograph Methods 0.000 description 5
- 108020004999 messenger RNA Proteins 0.000 description 5
- 230000010627 oxidative phosphorylation Effects 0.000 description 5
- 239000000049 pigment Substances 0.000 description 5
- 108010054624 red fluorescent protein Proteins 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 210000002027 skeletal muscle Anatomy 0.000 description 5
- 210000003437 trachea Anatomy 0.000 description 5
- 229940072040 tricaine Drugs 0.000 description 5
- FQZJYWMRQDKBQN-UHFFFAOYSA-N tricaine methanesulfonate Chemical compound CS([O-])(=O)=O.CCOC(=O)C1=CC=CC([NH3+])=C1 FQZJYWMRQDKBQN-UHFFFAOYSA-N 0.000 description 5
- 102000008186 Collagen Human genes 0.000 description 4
- 108010035532 Collagen Proteins 0.000 description 4
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 4
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 206010034972 Photosensitivity reaction Diseases 0.000 description 4
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 4
- 108090000848 Ubiquitin Proteins 0.000 description 4
- 102000044159 Ubiquitin Human genes 0.000 description 4
- 229920001436 collagen Polymers 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 210000002919 epithelial cell Anatomy 0.000 description 4
- 230000004720 fertilization Effects 0.000 description 4
- 238000000799 fluorescence microscopy Methods 0.000 description 4
- 238000001506 fluorescence spectroscopy Methods 0.000 description 4
- OVBPIULPVIDEAO-LBPRGKRZSA-N folic acid Chemical compound C=1N=C2NC(N)=NC(=O)C2=NC=1CNC1=CC=C(C(=O)N[C@@H](CCC(O)=O)C(O)=O)C=C1 OVBPIULPVIDEAO-LBPRGKRZSA-N 0.000 description 4
- 230000035515 penetration Effects 0.000 description 4
- 230000008832 photodamage Effects 0.000 description 4
- 208000007578 phototoxic dermatitis Diseases 0.000 description 4
- 231100000018 phototoxicity Toxicity 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- SGTNSNPWRIOYBX-UHFFFAOYSA-N 2-(3,4-dimethoxyphenyl)-5-{[2-(3,4-dimethoxyphenyl)ethyl](methyl)amino}-2-(propan-2-yl)pentanenitrile Chemical compound C1=C(OC)C(OC)=CC=C1CCN(C)CCCC(C#N)(C(C)C)C1=CC=C(OC)C(OC)=C1 SGTNSNPWRIOYBX-UHFFFAOYSA-N 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 3
- 102000002322 Egg Proteins Human genes 0.000 description 3
- 108010000912 Egg Proteins Proteins 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 3
- 208000012641 Pigmentation disease Diseases 0.000 description 3
- 102000028677 Rab9 Human genes 0.000 description 3
- 108050007276 Rab9 Proteins 0.000 description 3
- 102100022873 Ras-related protein Rab-11A Human genes 0.000 description 3
- 101150063416 add gene Proteins 0.000 description 3
- 238000010171 animal model Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000004071 biological effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 239000011575 calcium Substances 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 235000013345 egg yolk Nutrition 0.000 description 3
- 235000013601 eggs Nutrition 0.000 description 3
- 238000002189 fluorescence spectrum Methods 0.000 description 3
- 239000007850 fluorescent dye Substances 0.000 description 3
- 230000002414 glycolytic effect Effects 0.000 description 3
- 239000005090 green fluorescent protein Substances 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000002844 melting Methods 0.000 description 3
- 230000008018 melting Effects 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 239000013612 plasmid Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- JKMHFZQWWAIEOD-UHFFFAOYSA-N 2-[4-(2-hydroxyethyl)piperazin-1-yl]ethanesulfonic acid Chemical compound OCC[NH+]1CCN(CCS([O-])(=O)=O)CC1 JKMHFZQWWAIEOD-UHFFFAOYSA-N 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 2
- 239000007995 HEPES buffer Substances 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 239000012901 Milli-Q water Substances 0.000 description 2
- OVBPIULPVIDEAO-UHFFFAOYSA-N N-Pteroyl-L-glutaminsaeure Natural products C=1N=C2NC(N)=NC(=O)C2=NC=1CNC1=CC=C(C(=O)NC(CCC(O)=O)C(O)=O)C=C1 OVBPIULPVIDEAO-UHFFFAOYSA-N 0.000 description 2
- 102000005650 Notch Receptors Human genes 0.000 description 2
- 101150060955 RAB11A gene Proteins 0.000 description 2
- AUNGANRZJHBGPY-SCRDCRAPSA-N Riboflavin Chemical compound OC[C@@H](O)[C@@H](O)[C@@H](O)CN1C=2C=C(C)C(C)=CC=2N=C2C1=NC(=O)NC2=O AUNGANRZJHBGPY-SCRDCRAPSA-N 0.000 description 2
- 208000028990 Skin injury Diseases 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 210000000270 basal cell Anatomy 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 108010082025 cyan fluorescent protein Proteins 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- -1 eGFP Proteins 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000002889 endothelial cell Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001917 fluorescence detection Methods 0.000 description 2
- 238000002292 fluorescence lifetime imaging microscopy Methods 0.000 description 2
- 229960000304 folic acid Drugs 0.000 description 2
- 235000019152 folic acid Nutrition 0.000 description 2
- 239000011724 folic acid Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000002953 phosphate buffered saline Substances 0.000 description 2
- 230000019612 pigmentation Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000011780 sodium chloride Substances 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 231100000419 toxicity Toxicity 0.000 description 2
- 230000001988 toxicity Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 1
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 101100148545 Caenorhabditis elegans snr-5 gene Proteins 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241000122205 Chamaeleonidae Species 0.000 description 1
- 208000032544 Cicatrix Diseases 0.000 description 1
- 102000005853 Clathrin Human genes 0.000 description 1
- 108010019874 Clathrin Proteins 0.000 description 1
- 108090000695 Cytokines Proteins 0.000 description 1
- 102000004127 Cytokines Human genes 0.000 description 1
- AUNGANRZJHBGPY-UHFFFAOYSA-N D-Lyxoflavin Natural products OCC(O)C(O)C(O)CN1C=2C=C(C)C(C)=CC=2N=C2C1=NC(=O)NC2=O AUNGANRZJHBGPY-UHFFFAOYSA-N 0.000 description 1
- 108020004414 DNA Proteins 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 206010015548 Euthanasia Diseases 0.000 description 1
- BAWFJGJZGIEFAR-NNYOXOHSSA-O NAD(+) Chemical compound NC(=O)C1=CC=C[N+]([C@H]2[C@@H]([C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]3[C@H]([C@@H](O)[C@@H](O3)N3C4=NC=NC(N)=C4N=C3)O)O2)O)=C1 BAWFJGJZGIEFAR-NNYOXOHSSA-O 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000005205 Pinus Nutrition 0.000 description 1
- 241000218602 Pinus <genus> Species 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 101800001494 Protease 2A Proteins 0.000 description 1
- 101800001066 Protein 2A Proteins 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 241001648840 Thosea asigna virus Species 0.000 description 1
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 1
- 208000000260 Warts Diseases 0.000 description 1
- 241001492404 Woodchuck hepatitis virus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 210000004504 adult stem cell Anatomy 0.000 description 1
- TXUZVZSFRXZGTL-QPLCGJKRSA-N afimoxifene Chemical compound C=1C=CC=CC=1C(/CC)=C(C=1C=CC(OCCN(C)C)=CC=1)/C1=CC=C(O)C=C1 TXUZVZSFRXZGTL-QPLCGJKRSA-N 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000003376 axonal effect Effects 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005415 bioluminescence Methods 0.000 description 1
- 230000029918 bioluminescence Effects 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000024245 cell differentiation Effects 0.000 description 1
- 230000003915 cell function Effects 0.000 description 1
- 230000003822 cell turnover Effects 0.000 description 1
- 210000000254 ciliated cell Anatomy 0.000 description 1
- 229930193282 clathrin Natural products 0.000 description 1
- 230000004186 co-expression Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- VBVAVBCYMYWNOU-UHFFFAOYSA-N coumarin 6 Chemical compound C1=CC=C2SC(C3=CC4=CC=C(C=C4OC3=O)N(CC)CC)=NC2=C1 VBVAVBCYMYWNOU-UHFFFAOYSA-N 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000018044 dehydration Effects 0.000 description 1
- 238000006297 dehydration reaction Methods 0.000 description 1
- LOKCTEFSRHRXRJ-UHFFFAOYSA-I dipotassium trisodium dihydrogen phosphate hydrogen phosphate dichloride Chemical compound P(=O)(O)(O)[O-].[K+].P(=O)(O)([O-])[O-].[Na+].[Na+].[Cl-].[K+].[Cl-].[Na+] LOKCTEFSRHRXRJ-UHFFFAOYSA-I 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 229940049268 euthasol Drugs 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000695 excitation spectrum Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 108020001507 fusion proteins Proteins 0.000 description 1
- 102000037865 fusion proteins Human genes 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000034659 glycolysis Effects 0.000 description 1
- 230000006545 glycolytic metabolism Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000002784 hot electron Substances 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 230000036571 hydration Effects 0.000 description 1
- 238000006703 hydration reaction Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000011534 incubation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000000520 microinjection Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 101150079312 pgk1 gene Proteins 0.000 description 1
- 230000002165 photosensitisation Effects 0.000 description 1
- 239000003504 photosensitizing agent Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000001124 posttranscriptional effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000006862 quantum yield reaction Methods 0.000 description 1
- 108700039148 rab11 Proteins 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 150000004492 retinoid derivatives Chemical class 0.000 description 1
- 229960002477 riboflavin Drugs 0.000 description 1
- 235000019192 riboflavin Nutrition 0.000 description 1
- 239000002151 riboflavin Substances 0.000 description 1
- 210000003705 ribosome Anatomy 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 230000037380 skin damage Effects 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 201000010153 skin papilloma Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000001954 time-lapse fluorescence microscopy Methods 0.000 description 1
- 239000003053 toxin Substances 0.000 description 1
- 231100000765 toxin Toxicity 0.000 description 1
- 108700012359 toxins Proteins 0.000 description 1
- 239000010981 turquoise Substances 0.000 description 1
- 229910021642 ultra pure water Inorganic materials 0.000 description 1
- 239000012498 ultrapure water Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0264—Electrical interface; User interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
- A61B5/14552—Details of sensors specially adapted therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明涉及一种高光谱成像***，其用于在低信噪比状况下以快速的分析时间对多个重叠光谱进行去噪和/或颜色解混。该***可执行高光谱相量(HySP)计算，以有效地分析高光谱时间推移数据。例如，该***可执行高光谱相量(HySP)计算，以有效地分析五维(5D)高光谱时间推移数据。该成像***的优点可以包括：(a)快的计算速度；(b)容易的相量分析；以及(c)用于获得最小可接受信噪比(SNR)的去噪算法。可以生成目标的解混彩色图像。这些图像可以用于健康状况的诊断，这可以增强患者的临床结果和患者健康的演变。
Description
相关申请的交叉引用
本申请要求保护在2019年1月31日提交的，代理人案号AMISC.003PR，题为“高光谱成像***(A Hyperspectral Imaging System)”的美国临时专利申请62/799,647的权益。该申请的全部内容通过引用并入本文。
关于联邦资助研究的声明
本发明是在国防部的政府支持下完成的，授权号为PR150666。政府对本发明享有一定权利。
技术领域
本公开涉及成像***。本公开还涉及高光谱成像***。本公开还涉及生成目标的解混彩色图像的高光谱成像***。本公开还涉及用于诊断健康状况的高光谱成像***。
背景技术
近年来，多光谱成像已经成为在亚细胞、细胞和组织水平上同时研究生物样品中的多种标记的有力工具[1、2][所有括号内的参考文献都在下面被标识]。多光谱方法可以消除来自样品自发荧光的贡献，并且允许高水平的信号复用[3至5]，因为它们可以明确地识别具有不清楚的光谱的染料[6]。尽管存在具有多光谱能力的商业硬件的这些许多优点和可用性，但是这些方法尚未被采用，因为同时表示多维数据(x,y,z,λ,t)以用于视觉检查或定量分析已经是具有挑战性的。
使用线性解混[7]或主分量分析[8]的典型方法在计算上具有挑战性，并且它们的性能随着光级降低而劣化[7、9]。在时间推移(time-lapse)生物成像的情况下，其中激发光通常保持较低以最小化光毒性，噪声导致处理的图像中的不可避免的误差[7、9]。针对此类方法，复杂数据集通常需要图像分割或解剖学的先验知识，以区分感兴趣区域中的独特荧光信号[10]。
常规的光谱相量(SP)[14至16]方法提供了用于多光谱数据的高效处理和渲染工具。SP使用傅立叶变换将图像中每个像素的光谱描绘为相量平面上的点(图1a)，从而提供像素集合的密度图。因为SP在甚至复杂光谱的2D图上提供单点表示，所以它简化了多维光谱数据的解释和与多维光谱数据的相互作用两者。可以以计算方便的方式在图形上分析多个光谱的混合物。因此，SP可以适应于多光谱成像，并且已经表明对于在排除自发荧光的生物样品中的单个时间点分离多达3种颜色是有用的[14、15]。
然而，SP方法的现有实施方式已经不适合于体内(in vivo)多光谱时间推移荧光成像的分析，特别是对于大量的标记。这主要是由于当对具有不同生物物理性质的多种荧光蛋白成像时与光漂白和光毒性有关的信噪比(SNR)限制所导致的[17]。多个荧光团的适当激发需要一系列激发波长以提供良好的SNR图像。然而，增加激发线的数量影响光漂白的速率且可阻碍生物发育动态。此外，在胚胎中，自发荧光通常随着激发波长的数量而增加。使用单一波长激发多个标记同时减少负光效应和自发荧光的量的替代方法是以降低的SNR为代价的。
荧光蛋白的扩展调色板已经使得能够研究活细胞或发育胚胎内的体内蛋白质、细胞和组织的时空相互作用。然而，多个标记的时间推移成像仍然具有挑战性，因为噪声、光漂白和毒性极大地损害信号质量，并且通量可能受到对来自多个标记的光谱信号进行解混(unmix)所需的时间的限制。
高光谱荧光成像正得到普及，因为它能够利用多种荧光标记对分子、细胞和组织跨尺度时空动态复用。这通过将波长的维度添加到数据集而成为可能。所得到的数据集的信息密度高，并且经常需要冗长的分析以分离重叠的荧光光谱。在获取和预处理期间，理解和可视化这些大的多维数据集可能具有挑战性。
高光谱成像技术可以用于医学目的。例如，参见Lu等人的“医学高光谱成像：综述(Medical Hyperspectral Imaging:a Review)”，生物医学光学杂志(Journal ofBiomedical Optics)19(1),第010901-1至010901-23页(2014年一月)；Vasefi等人的“体内偏振敏感高光谱成像：用于皮肤分析的多模式皮肤镜(Polarization-SensitiveHyperspectral Imaging in vivo:A Multimode Dermoscope for Skin Analysis)”，科学报告(Scientific Reports)4,文章编号：:4924(2014)；以及Burlina等人的“用于检测皮肤相关状况的高光谱成像(Hyperspectral Imaging for Detection of Skin RelatedConditions)”，美国专利No.8,761,476B2。这些出版物中的每一个的全部内容通过引用并入本文。
近年来，荧光高光谱成像(fHSI)已经正在越来越普遍用于生物样品中的多种内源性标记和外源性标记的同时成像。使用多个荧光团的优点之一是能够在空间和时间上同时跟踪不同标记的分子、细胞或组织。这在生物学领域中尤其重要，在生物学领域中，组织、蛋白质及其在生物体内的功能深深地交织在一起，并且关于各个组分之间的关系仍然存在许多未解答的问题。fHSI使科学家能够利用从观察图像中每个点的全光谱得到的复用信息来更全面地了解生物***。
标准光学多通道荧光成像通过带通发射学滤波器(bandpass emission filter)区分荧光蛋白报告者(fluorescent protein reporter)，从而基于波长选择性地收集信号。标记之间的光谱重叠限制了可以获取的荧光报告者的数量，并且“背景”信号难以分离。fHSI克服了这些限制，使得能够从内源性荧光贡献中分离具有重叠光谱的荧光蛋白，从而扩展到对具有相应分离光谱的许多不同标记进行计数的荧光调色板。
获取这种巨大的多维光谱信息的缺点是增加了分析的复杂性和计算时间，从而仅在冗长的计算之后才显示出有意义的结果。为了优化实验时间，在获取(特别是对于冗长的时间推移记录)期间并且在执行分析之前，执行光谱数据的通知可视化是有利的。这样的预处理可视化允许科学家评估实验管道内的图像收集参数以及选择最适当的处理方法。然而，挑战是用与显示器和人眼兼容的三个颜色的集迅速可视化细微的光谱差异，同时使信息损失最小化。由于显示器的最常见的颜色模型是RGB，其中红色、绿色和蓝色被组合以再现广泛的颜色阵列，因此高光谱数据集或多光谱数据集通常被缩减到三个通道以被可视化。因此，光谱信息压缩成为正确显示图像信息的关键步骤。
维度缩减策略通常用于表示多维fHSI数据。一种策略是从由主分量分析(PCA)或独立分量分析(ICA)产生的前三个分量构建固定的光谱包络，从而将高光谱图像转换为三波段可视化。光谱加权的包络的主要优点在于，其可以保留高光谱图像的人眼感知。对于三刺激显示器，每个光谱以最相似的色调和饱和度显示，以便人眼容易地识别图像中的细节。另一种流行的可视化技术是基于像素的图像融合，其与输入数据相比，保留了融合图像的光谱成对距离。它通过评估所测量的像素相对于其相对空间邻域距离的显著性来选择权重。可以通过实施广泛应用的数学技术(诸如贝叶斯推断)通过使用用于特征提取的滤波器组或通过噪声平滑来进一步优化这些权重。
诸如计算PCA基数和系数的奇异值分解或生成最佳融合权重的方法的缺点在于，它可能要进行多次迭代以便收敛。考虑到fHSI数据集容易超过千兆字节范围并且许多fHSI数据集超过兆兆字节阈值，这样的计算将是计算上要求高并且时间要求高的。此外，大多数可视化方法更多地集中于将光谱解释为RGB颜色，而不是利用可以从光谱数据提取的全部特征。
相关领域参考文献
以下出版物是本公开背景的相关技术。在每个参考文献之前的方括号中的一个数字或两个数字对应于在本公开的其它部分中使用的方括号中的数字。
[1]Garini,Y.,Young,I.T.and McNamara,G.Spectral imaging:principles andapplications.Cytometry A 69:735-747(2006).
[2]Dickinson,M.E.,Simbuerger,E.,Zimmermann,B.,Waters,C.W.and Fraser,S.E.Multiphoton excitation spectra in biological samples.Journal ofBiomedical Optics 8:329-338(2003).
[3]Dickinson,M.E.,Bearman,G.,Tille,S.,Lansford,R.&Fraser,S.E.Multi-spectral imaging and linear unmixing add a whole new dimension to laserscanning fluorescence microscopy.Biotechniques 31,1272–1278(2001).
[4]Levenson,R.M.and Mansfield,J.R.Multispectral imaging in biologyand medicine:Slices of life.Cytometry A 69:748-758(2006).
[5]Jahr,W.,Schmid,B.,Schmied,C.,Fahrbach,F.and Huisken,J.Hyperspectral light sheet microscopy.Nat Commun,6,(2015)
[6]Lansford,R.,Bearman,G.and Fraser,S.E.Resolution of multiple greenfluorescent protein color variants and dyes using two-photon microscopy andimaging spectroscopy.Journal of Biomedical Optics 6:311-318(2001).
[7]Zimmermann,T.Spectral Imaging and Linear Unmixing in LightMicroscopy.Adv Biochem Engin/Biotechnol(2005)95:245–265
[8]Jolliffe,Ian.Principal component analysis.John Wiley&Sons,Ltd,(2002).
[9]Gong,P.and Zhang,A.Noise Effect on Linear SpectralUnmixing.Geographic Information Sciences 5(1),(1999)
[10]Mukamel,E.A.,Nimmerjahn,A.,and Schnitzer M.J.；Automated Analysisof Cellular Signals from Large-Scale Calcium Imaging Data；Neuron,63(6),747-760
[11]Clayton,A.H.,Hanley,Q.S.&Verveer,P.J.Graphical representation andmulticomponent analysis of single-frequency fluorescence lifetime imagingmicroscopy data.J.Microsc.213,1–5(2004)
[12]Redford,G.I.&Clegg,R.M.Polar plot representation for frequency-domain analysis of fluorescence lifetimes.J.Fluoresc.15,805–815(2005).
[13]Digman M A,Caiolfa V R,Zamai M and Gratton E.The phasor approachto fluorescence lifetime imaging analysis.Biophys.J.94 pp.14–16(2008)
[14]Fereidouni F.,Bader A.N.and Gerritsen H.C.Spectral phasoranalysis allows rapid and reliable unmixing of fluorescence microscopyspectral images.Opt.Express 20 12729–41(2012)
[15]Andrews L.M.,Jones M.R.,Digman M.A.,Gratton E.Spectral phasoranalysis of Pyronin Y labeled RNA microenvironments in livingcells.Biomed.Op.Express 4(1)171-177(2013)
[16]Cutrale F.,Salih A.and Gratton E.Spectral phasor approach forfingerprinting of photo-activatable fluorescent proteins Dronpa,Kaede andKikGR.Methods Appl.Fluoresc.1(3)(2013)035001
[17]Cranfill P.J.,Sell B.R.,Baird M.A.,Allen J.R.,Lavagnino Z.,deGruiter H.M.,Kremers G.,Davidson M.W.,Ustione A.,Piston D.W.,Quantitativeassessment of fluorescent proteins,Nature Methods 13,557-562(2016).
[18]Chen,H.,Gratton,E.,&Digman,M.A.Spectral Properties and Dynamicsof Gold Nanorods Revealed by EMCCD-Based Spectral Phasor Method.MicroscopyResearch and Technique,78(4),283–293(2015)
[19]Vermot,J.,Fraser,S.E.,Liebling,M."Fast fluorescence microscopyfor imaging the dynamics of embryonic development,"HFSP Journal,vol 2,pp.143-155,(2008)
[20]Dalal,R.B.,Digman,M.A.,Horwitz,A.F.,Vetri,V.,Gratton,E.,Determination of particle number and brightness using a laser scanningconfocal microscope operating in the analog mode,Microsc.Res.Tech.,71(1)pp.69–81(2008)
[21]Fereidouni,F.,Reitsma,K.,Gerritsen,H.C.High speed multispectralfluorescence lifetime imaging,Optics Express,21(10),pp.11769-11782(2013)
[22]Hamamatsu Photonics K.K.Photomultiplier Technical Handbook.(1994)Hamamatsu Photonics K.K
[23]Trinh,L.A.et al.,“A versatile gene trap to visualize andinterrogate the function of the vertebrate proteome,”Genes&development,25(21),2306-20(2011).
[24]Jin S.W.,Beis D.,Mitchell T.,Chen J.N.,Stainier D.Y.Cellular andmolecular analyses of vascular tube and lumen formation inzebrafish.Development 132,5199–5209(2005)
[25]Livet,J.,Weissman,T.A.,Kang,H.,Draft,R.W.,Lu,J.,Bennis,R.A.,Sanes,J.R.,Lichtman J.W.Transgenic strategies for combinatorial expression offluorescent proteins in the nervous system.Nature,450(7166),56–62(2007)
[26]Lichtman,J.W.,Livet,J.,&Sanes,J.R.A technicolour approach to theconnectome.Nature Reviews Neuroscience,9(6),417–422(2008).
[27]Pan,Y.A.,Freundlich,T.,Weissman,T.A.,Schoppik,D.,Wang,X.C.,Zimmerman,S.,Ciruna,B.,Sanes,J.R.,Lichtman,J.W.,Schier A.F.Zebrabow:multispectral cell labeling for cell tracing and lineage analysis inzebrafish.Development,140(13),2835–2846.(2013)
[28]Westerfield M.The Zebrafish Book.(1994)Eugene,OR:UniversityOregon Press.
[29]Megason,S.G.In toto imaging of embryogenesis with confocal time-lapse microscopy.Methods in molecular biology,546 pp.317-32(2009).
[30]Jahr,W.,Schmid,B.,Schmied,C.,Fahrbach,F.O.&Huisken,J.Hyperspectral light sheet microscopy.Nat.Commun.6,(2015).
[31]Levenson,R.M.&Mansfield,J.R.Multispectral imaging in biology andmedicine:Slices of life.Cytometry Part A 69,748–758(2006).
[32]Garini,Y.,Young,I.&McNamara,G.Spectral imaging:principles andapplications.Cytom.Part A 747,735–747(2006).
[33]Dickinson,M.E.,Simbuerger,E.,Zimmermann,B.,Waters,C.W.&Fraser,S.E.Multiphoton excitation spectra in biological samples.J Biomed Opt 8,329–338(2003).
[34]Sinclair,M.B.,Haaland,D.M.,Timlin,J.A.&Jones,H.D.T.Hyperspectralconfocal microscope.Appl.Opt.45,6283(2006).
[35]Valm,A.M.et al.Applying systems-level spectral imaging andanalysis to reveal the organelle interactome.Nature 546,162–167(2017).
[36]Cranfill,P.J.et al.Quantitative assessment of fluorescentproteins.Nat.Methods 13,557–562(2016).
[37]Hiraoka,Y.,Shimi,T.&Haraguchi,T.Multispectral ImagingFluorescence Microscopy for Living Cells.Cell Struct.Funct.27,367–374(2002).
[38]Dickinson,M.E.,Bearman,G.,Tille,S.,Lansford,R.&Fraser,S.E.Multi-spectral imaging and linear unmixing add a whole new dimension to laserscanning fluorescence microscopy.Biotechniques 31,1272–1278(2001).
[39]Jacobson,N.P.&Gupta,M.R.Design goals and solutions for display ofhyperspectral images.in Proceedings-International Conference on ImageProcessing,ICIP 2,622–625(2005).
[40]Hotelling,H.Analysis of a complex of statistical variables intoprincipal components.J.Educ.Psychol.24,417–441(1933).
[41]Jolliffe,I.T.Principal Component Analysis.J.Am.Stat.Assoc.98,487(2002).
[42]Abdi,H.&Williams,L.J.Principal component analysis.WileyInterdisciplinary Reviews:Computational Statistics 2,433–459(2010).
[43]Tyo,J.S.,Konsolakis,A.,Diersen,D.I.&Olsen,R.C.Principal-components-based display strategy for spectral imagery.IEEETrans.Geosci.Remote Sens.41,708–718(2003).
[44]Wilson,T.A.Perceptual-based image fusion for hyperspectraldata.IEEE Trans.Geosci.Remote Sens.35,1007–1017(1997).
[45]Long,Y.,Li,H.C.,Celik,T.,Longbotham,N.&Emery,W.J.Pairwise-distance-analysis-driven dimensionality reduction model with double mappingsfor hyperspectral image visualization.Remote Sens.7,7785–7808(2015).
[46]Kotwal,K.&Chaudhuri,S.A Bayesian approach to visualization-oriented hyperspectral image fusion.Inf.Fusion 14,349–360(2013).
[47]Kotwal,K.&Chaudhuri,S.Visualization of Hyperspectral Images UsingBilateral Filtering.IEEE Trans.Geosci.Remote Sens.48,2308–2316(2010).
[48]Zhao,W.&Du,S.Spectral-Spatial Feature Extraction forHyperspectral Image Classification:A Dimension Reduction and Deep LearningApproach.IEEE Trans.Geosci.Remote Sens.54,4544–4554(2016).
[49]Zhang,Y.,De Backer,S.&Scheunders,P.Noise-resistant wavelet-basedBayesian fusion of multispectral and hyperspectral images.IEEETrans.Geosci.Remote Sens.47,3834–3843(2009).
[50]A,R.SVD Based Image Processing Applications:State of The Art,Contributions and Research Challenges.Int.J.Adv.Comput.Sci.Appl.3,26–34(2012).
[51]Redford,G.I.&Clegg,R.M.Polar plot representation for frequency-domain analysis of fluorescence lifetimes.J.Fluoresc.15,805–815(2005).
[52]Digman,M.A.,Caiolfa,V.R.,Zamai,M.&Gratton,E.The phasor approachto fluorescence lifetime imaging analysis.Biophys.J.94,(2008).
[53]Vergeldt,F.J.et al.Multi-component quantitative magneticresonance imaging by phasor representation.Sci.Rep.7,(2017).
[54]Lanzanò,L.et al.Encoding and decoding spatio-temporal informationfor super-resolution microscopy.Nat.Commun.6,(2015).
[55]Fereidouni,F.,Bader,A.N.&Gerritsen,H.C.Spectral phasor analysisallows rapid and reliable unmixing of fluorescence microscopy spectralimages.Opt.Express 20,12729(2012).
[56]Cutrale,F.,Salih,A.&Gratton,E.Spectral phasor approach forfingerprinting of photo-activatable fluorescent proteins Dronpa,Kaede andKikGR.Methods Appl.Fluoresc.1,(2013).
[57]Andrews,L.M.,Jones,M.R.,Digman,M.a&Gratton,E.Spectral phasoranalysis of Pyronin Y labeled RNA microenvironments in living cells.BiomedOpt Express 4,171–177(2013).
[58]Cutrale,F.et al.Hyperspectral phasor analysis enables multiplexed5D in vivo imaging.Nat.Methods 14,149–152(2017).
[59]Radaelli,F.et al.μmAPPS:A novel phasor approach to secondharmonic analysis for in vitro-in vivo investigation of collagenmicrostructure.Sci.Rep.7,(2017).
[60]Scipioni,L.,Gratton,E.,Diaspro,A.&Lanzanò,L.Phasor Analysis ofLocal ICS Detects Heterogeneity in Size and Number of IntracellularVesicles.Biophys.J.(2016).doi:10.1016/j.bpj.2016.06.029
[61]Sarmento,M.J.et al.Exploiting the tunability of stimulatedemission depletion microscopy for super-resolution imaging of nuclearstructures.Nat.Commun.(2018).doi:10.1038/s41467-018-05963-2
[62]Scipioni,L.,Di Bona,M.,Vicidomini,G.,Diaspro,A.&Lanzanò,L.Localraster image correlation spectroscopy generates high-resolution intracellulardiffusion maps.Commun.Biol.(2018).doi:10.1038/s42003-017-0010-6
[63]Pan,Y.A.et al.Zebrabow:multispectral cell labeling for celltracing and lineage analysis in zebrafish.Development 140,2835–2846(2013).
[64]Ranjit,S.,Malacrida,L.,Jameson,D.M.&Gratton,E.Fit-free analysisof fluorescence lifetime imaging data using the phasorapproach.Nat.Protoc.13,1979–2004(2018).
[65]Zipfel,W.R.et al.Live tissue intrinsic emission microscopy usingmultiphoton-excited native fluorescence and second harmonic generation.Proc.Natl.Acad.Sci.100,7075–7080(2003).
[66]Rock,J.R.,Randell,S.H.&Hogan,B.L.M.Airway basal stem cells:aperspective on their roles in epithelial homeostasis andremodeling.Dis.Model.Mech.3,545–556(2010).
[67]Rock,J.R.et al.Basal cells as stem cells of the mouse trachea andhuman airway epithelium.Proc.Natl.Acad.Sci.(2009).doi:10.1073/pnas.0906850106
[68]Bird,D.K.et al.Metabolic mapping of MCF10A human breast cells viamultiphoton fluorescence lifetime imaging of the coenzyme NADH.Cancer Res.65,8766–8773(2005).
[69]Lakowicz,J.R.,Szmacinski,H.,Nowaczyk,K.&Johnson,M.L.Fluorescencelifetime imaging of free and protein-bound NADH.Proc.Natl.Acad.Sci.(1992).doi:10.1073/pnas.89.4.1271
[70]Skala,M.C.et al.In vivo multiphoton microscopy of NADH and FADredox states,fluorescence lifetimes,and cellular morphology in precancerousepithelia.Proc.Natl.Acad.Sci.(2007).doi:10.1073/pnas.0708425104
[71]Sharick,J.T.et al.Protein-bound NAD(P)H Lifetime is Sensitive toMultiple Fates of Glucose Carbon.Sci.Rep.(2018).doi:10.1038/s41598-018-23691-x
[72]Stringari,C.et al.Phasor approach to fluorescence lifetimemicroscopy distinguishes different metabolic states of germ cells in a livetissue.Proc.Natl.Acad.Sci.108,13582–13587(2011).
[73]Stringari,C.et al.Multicolor two-photon imaging of endogenousfluorophores in living tissues by wavelength mixing.Sci.Rep.(2017).doi:10.1038/s41598-017-03359-8
[74]Sun,Y.et al.Endoscopic fluorescence lifetime imaging for in vivointraoperative diagnosis of oral carcinoma.in Microscopy and Microanalysis(2013).doi:10.1017/S1431927613001530
[75]Ghukasyan,V.V.&Kao,F.J.Monitoring cellular metabolism withfluorescence lifetime of reduced nicotinamide adeninedinucleotide.J.Phys.Chem.C(2009).doi:10.1021/jp810931u
[76]Walsh,A.J.et al.Quantitative optical imaging of primary tumororganoid metabolism predicts drug response in breast cancer.Cancer Res.(2014).doi:10.1158/0008-5472.CAN-14-0663
[77]Conklin,M.W.,Provenzano,P.P.,Eliceiri,K.W.,Sullivan,R.&Keely,P.J.Fluorescence lifetime imaging of endogenous fluorophores inhistopathology sections reveals differences between normal and tumorepithelium in carcinoma in situ of the breast.Cell Biochem.Biophys.(2009).doi:10.1007/s12013-009-9046-7
[78]Browne,A.W.et al.Structural and functional characterization ofhuman stem-cell-derived retinal organoids by live imaging.Investig.Ophthalmol.Vis.Sci.(2017).doi:10.1167/iovs.16-20796
[79]Livet,J.et al.Transgenic strategies for combinatorial expressionof fluorescent proteins in the nervous system.Nature 450,56–62(2007).
[80]Weissman,T.A.&Pan,Y.A.Brainbow:New resources and emergingbiological applications for multicolor genetic labeling and analysis.Genetics199,293–306(2015).
[81]Pan,Y.A.,Livet,J.,Sanes,J.R.,Lichtman,J.W.&Schier,A.F.Multicolorbrainbow imaging in Zebrafish.Cold Spring Harb.Protoc.6,(2011).
[82]Raj,B.et al.Simultaneous single-cell profiling of lineages andcell types in the vertebrate brain.Nat.Biotechnol.36,442–450(2018).
[83]Mahou,P.et al.Multicolor two-photon tissue imaging by wavelengthmixing.Nat.Methods 9,815–818(2012).
[84]Loulier,K.et al.Multiplex Cell and Lineage Tracking withCombinatorial Labels.Neuron 81,505–520(2014).
[85]North,T.E.&Goessling,W.Haematopoietic stem cells show their truecolours.Nature Cell Biology 19,10–12(2017).
[86]Chen,C.H.et al.Multicolor Cell Barcoding Technology for Long-TermSurveillance of Epithelial Regeneration in Zebrafish.Dev.Cell 36,668–680(2016).
[87]Vert,J.,Tsuda,K.&B.A primer on kernel methods.KernelMethods Comput.Biol.35–70(2004).doi:10.1017/CBO9781107415324.004
[88]Bruton,D.{RGB}Values for visible wavelengths.(1996).Available at:http://www.physics.sfasu.edu/astro/color/spectra.html.
[89]Westerfield,M.The Zebrafish Book.A Guide for the Laboratory Useof Zebrafish(Danio rerio),4th Edition.book(2000).
[90]Trinh,L.A.et al.A versatile gene trap to visualize andinterrogate the function of the vertebrate proteome.Genes Dev.25,2306–2320(2011).
[91]Jin,S.-W.,Beis,D.,Mitchell,T.,Chen,J.-N.&Stainier,D.Y.R.Cellularand molecular analyses of vascular tube and lumen formation inzebrafish.Development 132,5199–209(2005).
[92]Megason,S.G.In toto imaging of embryogenesis with confocal time-lapse microscopy.Methods Mol.Biol.546,317–332(2009).
[93]Huss,D.et al.A transgenic quail model that enables dynamicimaging of amniote embryogenesis.Development 142,2850–2859(2015).
[94]Holst,J.,Vignali,K.M.,Burton,A.R.&Vignali,D.A.A.Rapid analysis ofT-cell selection in vivo using T cell-receptor retrogenic mice.Nat.Methods 3,191–197(2006).
[95]Kwan,K.M.et al.The Tol2kit:A multisite gateway-based constructionKit for Tol2 transposon transgenesis constructs.Dev.Dyn.236,3088–3099(2007).
[96]Kawakami,K.et al.A transposon-mediated gene trap approachidentifies developmentally regulated genes in zebrafish.Dev.Cell 7,133–144(2004).
[97]Urasaki,A.,Morvan,G.&Kawakami,K.Functional dissection of the Tol2transposable element identified the minimal cis-sequence and a highlyrepetitive sequence in the subterminal region essential fortransposition.Genetics 174,639–649(2006).
[98]White,R.M.et al.Transparent Adult Zebrafish as a Tool for In VivoTransplantation Analysis.Cell Stem Cell 2,183–189(2008).
[99]Arnesano,C.,Santoro,Y.&Gratton,E.Digital parallel frequency-domain spectroscopy for tissue imaging.J.Biomed.Opt.17,0960141(2012).
[100]Cutrale,F.et al.Hyperspectral phasor analysis enablesmultiplexed 5D in vivo imaging.Nat.Methods 14,149–152(2017).
[101]Browne,A.W.et al.Structural and functional characterization ofhuman stem-cell-derived retinal organoids by live imaging.Investig.Ophthalmol.Vis.Sci.(2017).doi:10.1167/iovs.16-20796
[102]Stringari,C.et al.Phasor approach to fluorescence lifetimemicroscopy distinguishes different metabolic states of germ cells in a livetissue.Proc.Natl.Acad.Sci.108,13582–13587(2011).
[103]Sharick,J.T.et al.Protein-bound NAD(P)H Lifetime is Sensitive toMultiple Fates of Glucose Carbon.Sci.Rep.(2018).doi:10.1038/s41598-018-23691-x
[104]Ranjit,S.,Malacrida,L.,Jameson,D.M.&Gratton,E.Fit-free analysisof fluorescence lifetime imaging data using the phasorapproach.Nat.Protoc.13,1979–2004(2018).
[105]Lakowicz,J.R.,Szmacinski,H.,Nowaczyk,K.&Johnson,M.L.Fluorescencelifetime imaging of free and protein-bound NADH.Proc.Natl.Acad.Sci.(1992).doi:10.1073/pnas.89.4.1271
[106]Stringari,C.et al.Multicolor two-photon imaging of endogenousfluorophores in living tissues by wavelength mixing.Sci.Rep.(2017).doi:10.1038/s41598-017-03359-8
[107]Skala,M.C.et al.In vivo multiphoton microscopy of NADH and FADredox states,fluorescence lifetimes,and cellular morphology in precancerousepithelia.Proc.Natl.Acad.Sci.(2007).doi:10.1073/pnas.0708425104
发明内容
公开了一种用于在低信噪比状况下以快速的分析时间对多个重叠光谱进行去噪和/或颜色解混的成像***。该成像***可以是高光谱成像***。***可执行高光谱相量(HySP)计算以有效地分析高光谱时间推移数据。例如，该***可执行高光谱相量(HySP)计算以有效地分析五维(5D)高光谱时间推移数据。这种成像***的优点可以包括：(a)快的计算速度；(b)容易的相量分析；以及(c)用于获得最小可接受信噪比(SNR)的去噪算法。该成像***还可以生成目标的解混彩色图像。该成像***可以用于健康状况的诊断。
高光谱成像***可包括光学***、图像形成***或其组合。例如，高光谱成像***可包括光学***和图像形成***。例如，高光谱成像***可包括图像形成***。
光学***可以包括至少一个光学部件。至少一个光学部件的示例是检测器(“光学检测器”)、检测器阵列(“光学检测器阵列”)、用于照射目标的源(“照明源”)、第一光学透镜、第二光学透镜、色散光学***、分色镜/分束器、第一光学滤波***、第二光学滤波***或其组合。例如，至少一个光学检测器可以包括至少一个光学检测器。例如，至少一个光学检测器可以包括至少一个光学检测器和至少一个照明源。第一光学滤波***可以放置在目标和至少一个光学检测器之间。第二光学滤波***可以放置在第一光学滤波***和至少一个光学检测器之间。
光学***可以包括光学显微镜。光学***的部件可以形成这种光学显微镜。光学显微镜的示例可以是共焦荧光显微镜、双光子荧光显微镜或其组合。
至少一个光学检测器可以具有以下配置：检测由目标上的至少一个物理点吸收、透射、折射、反射和/或发射的电磁辐射(“目标辐射”)。目标辐射可以包括至少一个波(“目标波”)。目标辐射可以包括至少两个目标波。每个目标波可以具有强度和不同的波长。至少一个光学检测器可以具有以下配置：检测每个目标波的强度和波长。至少一个光学检测器可以具有以下配置：将每个目标波的检测到的强度和波长传输到图像形成***。至少一个光学检测器可以包括光电倍增管、光电倍增管阵列、数字相机、高光谱相机、电子倍增电荷耦合器件、Sci-CMOS、数字相机或其组合。
目标辐射可以包括由目标发射的电磁辐射。由目标发射的电磁辐射可以包括发光、热辐射或其组合。发光可以包括荧光、磷光或其组合。例如，由目标发射的电磁辐射可以包括荧光、磷光、热辐射或其组合。
至少一个光学检测器可以检测由目标发射的波长在300nm至800nm的范围内的电磁辐射。至少一个光学检测器可以检测由目标发射的波长在300nm至1300nm的范围内的电磁辐射。
高光谱成像***还可使用包括至少四个波长的目标辐射来形成目标的检测图像，其中具有检测到的强度的至少四个波长形成光谱。由此可以增加图像的颜色分辨率。
至少一个照明源可以产生电磁辐射(“照明源辐射”)。照明源辐射可以包括至少一个波(“照明波”)。照明源辐射可以包括至少两个照明波。每个照明波可以具有不同的波长。至少一个照明源可以直接照射目标。在这种配置中，在照明源和目标之间没有光学部件。至少一个照明源可以间接地照射目标。在这种配置中，在照明源和目标之间存在至少一个光学部件。照明源可以通过同时发射所有照明波来以每个照明波长照射目标。照明源可以通过顺序地发射所有照明波来以每个照明波长照射目标。
照明源可以包括相干电磁辐射源。相干电磁辐射源可以包括激光器、二极管、双光子激发源、三光子激发源或其组合。
照明源辐射可以包括波长在300nm至1300nm的范围内的照明波。照明源辐射可以包括波长在300nm至700nm的范围内的照明波。照明源辐射可以包括波长在690nm至1300nm的范围内的照明波。
图像形成***可以包括控制***、硬件处理器、存储器、显示器或其组合。
图像形成***可以具有以下配置：使光学检测器检测目标辐射并将每个目标波的检测到的强度和波长传输到图像形成***；获取包括至少两个目标波的检测到的目标辐射；使用检测到的目标辐射形成目标的图像(“目标图像”)，其中目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点；使用每个目标波的检测到的强度和波长形成每个像素的至少一个光谱(“强度光谱”)；基于每个像素的所形成的强度光谱，使用傅立叶变换将每个像素的强度光谱变换为复值函数，其中，每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部两者应用去噪滤波器至少一次，以便产生每个像素的去噪的实数值和去噪的虚数值；通过绘制每个像素的去噪的实数值与去噪的虚数值来针对每个像素形成相量平面上的一个点(“相量点”)；基于相量点在相量平面上的几何位置，将相量点映射回目标图像上的对应的像素；基于相量点在相量平面上的几何位置，将任意颜色分配给对应的像素；以及基于所分配的任意颜色，生成目标的解混彩色图像。图像形成***还可以具有在图像形成***的显示器上显示目标的解混彩色图像的配置。
图像形成***可以具有以下配置：使用傅立叶变换的至少一个谐波来生成目标的解混彩色图像。图像形成***可以至少使用傅立叶变换的第一谐波来生成目标的解混彩色图像。图像形成***可以至少使用傅立叶变换的第二谐波来生成目标的解混彩色图像。图像形成***可以至少使用傅立叶变换的第一谐波和第二谐波来生成目标的解混彩色图像。
去噪滤波器可以包括中值滤波器。
可以以至少一个光谱在1.2到50的范围内的信噪比来形成目标的解混彩色图像。可以以至少一个光谱在2到50的范围内的信噪比来形成目标的解混彩色图像。
目标可以是任何目标。目标可以是具有特定颜色光谱的任何目标。例如，目标可以是组织、荧光遗传标记、无机目标或其组合。
可以通过使用参考材料向每个像素分配任意颜色来校准高光谱成像***。参考材料可以是任何已知的参考材料。例如，参考可以是任何参考材料，其中在生成目标的解混彩色图像之前，确定参考材料的解混彩色图像。例如，参考材料可以是物理结构、化学分子、生物分子、作为物理结构变化和/或疾病的结果的生物活性(例如，生理变化)。
上述特征/配置的任何组合都在本公开的范围内。
通过阅读说明性实施例的以下详细描述、附图和权利要求，这些以及其他部件、步骤、特征、目的、益处和优点现在将变得清楚。
附图说明
附图是说明性实施例。它们没有示出所有实施例。另外或替代地，可使用其它实施例。可以省略可能是明显的或不必要的细节以节省空间或用于更有效的说明。可以用附加的部件或步骤和/或不用所示出的所有部件或步骤来实践一些实施例。当相同的数字出现在不同的附图中时，它指的是相同或相似的部件或步骤。在本公开的附图和其它部分的以下简要描述中公开的颜色指的是如以下公开中最初提交的彩色附图和照片：于2016年11月8日提交的代理人卷号为064693-0396的题为“成像***(An Imaging System)”的美国临时专利申请62/419,075；于2019年1月31日提交的代理人卷号为AMISC.003PR的题为“高光谱成像***(A Hyperspectral Imaging System)”的美国临时专利申请62/799,647；以及于2019年9月19日公开的美国专利申请公开No.2019/0287222。这些专利申请的全部内容通过引用并入本文。该专利申请文件包含以彩色执行的这些和附加的附图和照片。在请求并支付必要的费用后，具有彩色附图和照片的本专利申请文件的副本将由美国专利商标局提供。
以下参考标记用于以下附图中公开的***特征：高光谱成像***10、光学***20、图像形成***30、控制***40、(一个或多个)硬件处理器50、存储器***60、显示器70、荧光显微镜100、多照明波长显微镜200、多波长检测显微镜300、多波长检测装置400、多照明波长和多波长检测显微镜500、多波长检测装置600、多波长检测装置700、照明源101、分色镜/分束器102、第一光学透镜103、第二光学透镜104、目标(即，样品)105、(光学)检测器106、照明源辐射107、发射的目标辐射108、第一波长的照明源辐射201、第二波长的照明源辐射202、第一波长的发射的目标辐射或反射的照明源辐射203、第二波长的发射的目标辐射或反射的照明源辐射204、发射的目标辐射或反射的照明源辐射301、色散光学器件302、光谱色散的目标辐射303、光学检测器阵列304、目标图像形成401、光谱形成403、傅立叶变换403、傅立叶函数的实部404、傅立叶函数的虚部405、去噪滤波器406、在相量平面上的绘制407、映射回目标图像408以及形成目标的解混彩色图像409。
图1，高光谱相量分析。(a)HySP方法的示意性原理图。来自多维(x,y,z,λ)数据集中的每个体素的光谱以其傅立叶系数(谐波，n)表示。通常，选择n＝2，并且在相量图上表示对应的系数(对于其它谐波，参见图5f)。(b)荧光素(乙醇中约5μM)光谱在固定的增益值(约800)但改变的激光功率(约1％至约60％)下的代表性记录。误差条表示10次测量的强度值的变化。颜色编码表示强度，蓝色用于表示低强度，红色用于表示高强度。插图示出当归一化时，发射光谱重叠，提供的记录是在检测器的饱和极限以下进行的。在配备有QUASAR检测器的蔡司(Zeiss)LSM780上进行成像。(c)由光谱记录中的Poissonian(泊松)噪声导致的相量图上的分散误差(εσ)被定义为在预期的相量值(ze(n))周围的分散的标准偏差。插图示出了在ze周围的相量点的分布的3D直方图。(d)相量图上的移位平均误差(εμ)是由归一化光谱的形状的改变导致的，该改变使平均相量点移动远离对应于给定光谱的真实相量坐标。(e)分散误差与总数字计数的数量成反比变化，从而对检测器增益最敏感。图例适用于(e)和(f)。(f)归一化的移位平均误差保持几乎恒定并且在形成不同成像参数的总数字计数的大范围上低于5％。为了理解哪个误差占主导，绘制了两个误差的比(插图)。该比示出了分散误差(εσ)几乎比移位平均误差(εμ)高一个数量级。
图2，用于复用体内的高光谱荧光信号的相量分析。(a)最大强度投影图像，其示出72hpf斑马鱼胚胎中体内的七个解混信号。通过在具有黄色素细胞(蓝色)的双转基因胚胎Gt(desm-citrine)ct122a/+；Tg(kdrl:eGFP)(分别为黄色和绿色)中注射编码有H2B-cerulean(青色)和membrane-mCherry(红色)的mRNA来获得复用的染色。样品在约458nm和约561nm处被顺序地激发，从而产生它们的自发荧光作为两个单独的信号(分别为品红色和灰色)。通过将来自相量图(d)的分散密度映射到32通道原始数据中的原始体积来重建图像。(b)通过绘制原始数据中来自其各自的表达区域的归一化信号强度来获得的不同荧光团的发射光谱。(c)胚胎的头部区域((a)中的框)的放大图。标记为1至3的框表示用于在(e至f)中比较HySP与线性解混的该图像的子区域。(d)相量图，其示出了分配给不同荧光团的像素的相对位置。多边形表示分配给特定荧光团的像素的子集。(e)经由对相同的32通道信号的HySP分析和线性解混两者而被重构的(来自(c)的)区域1至3的放大图。箭头表示在(f)中为了比较绘制通过两种技术获得的归一化强度所沿的线。通过目测其自身，显然地，HySP分析在体内区分高度复用信号方面优于线性解混。(f)HySP分析和线性解混的归一化强度图比较。x轴表示沿着(e)中所绘箭头的归一化距离。所有图中的y轴被归一化为七个通道中的最大信号强度的值，以允许相对比较。为了清楚起见，不同的图示出了不同组的通道(荧光团)。
图3，斑马鱼的低激光功率体内体积高光谱时间推移。(a)成像后约12小时的斑马鱼胚胎的明视野图像(36hpf)。HySP在较低信噪比下的改进的性能允许多色体积时间推移，并且具有降低的光毒性。(b至e)最大强度投影图像，其示出在24hpf处开始的斑马鱼胚胎中的体内八个解混信号。通过在双转基因胚胎Tg(ubiq：membrane-Cerulean-2a-H2B-mCherry)；Tg(kdrl：eGFP)(分别为红色、青色和绿色)中注射编码有Rab9-YFP(黄色)和Rab11-RFP(红色)的mRNA来获得复用的染色。在约950nm(b和d)和约561nm(c)下顺序地激发样品，从而产生它们的自发荧光作为两个单独的信号(e)(分别为紫色和橙色)。利用激光功率获取以约七分钟间隔的25个时间点的时间推移，该激光功率在约950nm处为约5％，并且在约561nm处为约0.2％。
图4，光谱相量图上的误差。(a)分散误差可以与总数字计数的平方根成反比。图例适用于附图的所有部分。分散误差也可以取决于记录中的泊松噪声。R平方统计方法可用于通过计数的平方根的倒数来确认线性。斜率可以是获取中使用的检测器增益的函数，其示出了计数与分散误差(counts-to-scatter error)动态范围与增益成反比。较低的增益可在较低的强度值下产生较小分散误差。(b)相量空间中的去噪可以减少分散误差而不影响相量图上的期望值(ze(n))的位置。(c)经去噪的分散误差可以线性地取决于没有滤波的分散误差，而不管获取参数如何。可以由滤波器大小(这里为3×3)确定斜率。(d)去噪可能不影响归一化的移位平均误差，因为由于滤波(d)而使得在相量图上的ze(n)的位置保持不变。
图5，相量点的灵敏度。(a、b、c)|Z(n)|对于不同的成像参数可以保持几乎恒定。图例适用于(a、b、c、d、e)。(d)作为激光功率的函数的总数字计数。(e)等式2中的比例常数可以取决于增益。(f)相量图上的残差的相对幅度(R(n))示出谐波n＝1和2对于光谱信号的唯一表示可能是足够的。
图6，用于体内解混高光谱荧光信号的相量分析。(a)citrine(骨骼肌)和eGFP(内皮组织)分别在转基因斑马鱼系Gt(desm-citrine)ct122a/+和Tg(kdrl:eGFP)中的表达模式的示意图。(b)Gt(desm-citrine)ct122a/+Tg(kdrl：eGFP)的常规光学滤波器分离。在光谱重叠荧光团(eGFP和citrine)的检测器上使用发射带可能无法克服信号在相应通道中的渗透问题。箭头指示在其它通道中的eGFP或Citrine表达的错误检测。比例尺为约200μm。(c)相量图，其示出Citrine和eGFP在单独表达的胚胎和双转基因胚胎中的光谱特征(fingerprint)(分散密度)。单独的Citrine和eGFP光谱特征可保存在双转基因系中。(d)通过将分散密度从相量图映射到原始体积而重建的最大强度投影图像。在单转基因系和双转基因系两者中，尽管在胚胎的同一解剖区域内，eGFP和Citrine特征也可清楚地区分骨骼肌与散布的血管(内皮组织)。比例尺为约300μm。胚胎在受精后约72小时成像。(e、f)HySP分析在区分体内光谱重叠荧光团方面可以胜过光学分离和线性解混。(e)在(d)中所示的Tg(kdrl:eGFP)；Gt(desm-citrine)ct122a/+中的区域的最大强度投影图像将通过光学分离、线性解混和相量分析检测到的eGFP和Citrine的信号进行比较。(f)沿着在60个像素的高度上积分的图像的宽度(600个像素，约553.8μm)的对应的归一化强度分布。针对三种情况报告的相关值(R)示出HySP分析的最低值，如通过两种蛋白质的表达所预期的。
图7，eGFP和Citrine的光学分离。(a)分别在转基因斑马鱼系Gt(desm-citrine)ct122a/+和Tg(kdrl:eGFP)中使用共焦多光谱Lambda模式测量citrine(约529nm的峰发射，骨骼肌)和eGFP(约509nm的峰发射，内皮组织)的光谱。(b)光谱上接近的荧光团(eGFP和citrine)的(使用检测器上的发射带的)常规光学分离可能无法克服信号在各个通道中的渗透问题。箭头指示在其它通道中的eGFP或citrine表达的错误检测。比例尺为约300μm。(c)沿着图(a)中的线的长度(600像素，约553.8μm)的归一化强度分布。
图8，相量空间去噪对分散误差和移位平均误差的影响。(a)分散误差作为对于具有3乘3掩模的不同数量的去噪滤波器的数字计数的函数。数据来源是以约800的增益获取的荧光素数据集。(b)对于不同的激光功率，分散误差作为具有3乘3掩模的去噪滤波器的数量的函数。(c)移位平均误差作为对于具有3乘3掩模的不同数量的去噪滤波器的数字计数的函数。数据来源是以约800的增益获取的荧光素数据集。(d)对于不同的激光功率，移位平均误差作为具有3乘3掩模的滤波器的数量的函数。(e)分散误差的相对变化作为应用于不同掩模大小的去噪滤波器的数量的函数。(f)移位平均误差的相对变化作为应用于不同掩模大小的滤波器的数量的函数。该图的“滤波器”是去噪滤波器。
图9，相量空间去噪对图像强度的影响。(a、b)在相量空间中滤波之前和之后，双标记的eGFP-Citrine样品(132.71μm×132.71μm)的HySP处理的Citrine通道。(c、d)在相量空间中滤波之前和之后，(a、b)中的所述样品的HySP处理的eGFP通道。(e)对于不同数量的去噪滤波器，在(a、b、c、d)中突出显示的绿线的总强度分布。强度值可能不变。(f)对于不同数量的去噪滤波器，在(a、b、c、d)中突出显示的绿线的eGFP通道强度分布。(g)对于不同数量的去噪滤波器，在(a、b、c、d)中突出显示的绿线的Citrine通道强度分布。该图的“滤波器”是去噪滤波器。
图10，相量空间中的自发荧光识别和去除。(a)相量图，其示出Citrine、eGFP的光谱特征(分散密度)，并且自发荧光可以允许简单地识别内在信号。(b)通过将分散密度从相量图映射到原始体积而重建的最大强度投影图像。自发荧光可以具有可以被有效地视为通道的宽特征。胚胎在受精后约72小时成像。
图11，在不同信噪比(SNR)下，HySP和线性解混的比较。(a)在约458nm和约561nm下的用H2B-Cerulean、kdrl：eGFP、desm-citrine、黄色素细胞、membrane-mCherry以及自发荧光标记的斑马鱼的32个通道数据集的真彩色(TrueColor)图像。原始数据集(SNR 20)通过添加噪声并将信号降低到SNR 5而进行数字降级。(b)用于非加权线性解混的归一化光谱。在来自已知仅包含特定标记的解剖区域的每个样品上识别光谱。例如，在背区域、来自鳍的细胞核、肌肉内的脉管***中收集黄色素细胞的光谱。测试并校正所选择的区域组合，直到获得最佳线性解混结果为止。然后，相同的区域用于所有三个数据集。在整个图中使用相同的图例和颜色编码。(c)线性解混和HySP的经处理的放大区域((a)中的框)。比较示出了属于肌纤维的三个细胞核。在良好的SNR(20及以上)下，线性解混和HySP结果都是准确的。然而，与相量相比，降低SNR更影响线性解混。这可以改进生物样品的体积成像中的标记的解混，其中通常SNR随着深度而降低并且解释了图2e、图2f、图6e、图6f、图10和图12中的差异。在该SNR比较中，HySP的一个优点是傅立叶空间中的光谱去噪。光谱去噪可通过直接在相量空间中应用滤波器来执行。这可以保持原始图像分辨率，但是可以改进相量图中的光谱特征识别。中值滤波器可以用作滤波器。然而，其它滤波方法也是可能的。对于给定大小(n×m个像素)的任何图像，可以获得每个像素的S值和G值，从而产生针对S和G的维度为n×m的2个新的2D矩阵。由于初始的S矩阵项和G矩阵项可以与图像中的像素具有相同的索引，因此，滤波后的矩阵S*和G*可以保留几何信息。通过有效地使用相量空间中的滤波，S矩阵和G矩阵可以被视为2D图像。首先，这可以减小分散误差(即，相量图上的定位精度增加(图8a至图8b))，从而改进光谱特征识别分辨率，同时改进已经最小的移位平均误差(图8c至图8d)。对数据的影响可以是不同荧光蛋白的改进的分离(图9a至图9d)。其次，(G,S)坐标中的去噪可以保留几何形状、强度分布(intensity profile)以及获取图像的原始分辨率(图9e至图9g)。在相量空间中的有效滤波可以影响数据的光谱维度，从而实现光谱噪声的去噪而不干扰强度。(d)强度分布((c)中的虚线箭头)比较可显示在低SNR下的HySP的改进。在降低的SNR下，可以在HySP中一致地识别H2B-cerulean(青色)和desm-citrine(黄色)((c)中的实线箭头)，而它们可能在线性解混中被部分误标记。例如，一些噪声可以被识别为kdrl:eGFP(绿色)，而在该感兴趣区域中解剖学上不存在脉管***。
图12，在解析七个荧光信号时HySP和线性解混的比较。(a)来自不同光学截面的灰度图像，与图2中使用的相同(区域1至3)，比较HySP分析和线性解混的性能。(b)用于比较HySP分析和线性解混的归一化强度图。与图2f中的对应的图类似，在所有图中，x轴表示归一化距离，并且y轴被归一化到七个通道中的最大信号强度的值，以允许相对比较。各图示出了相应图像中七个通道的所有强度分布。
图13，段(binning)对七个体内荧光信号的HySP分析的影响。用32个通道获取的原始数据集可在计算上顺序地被分段为(binned to)16、8和4个通道，以理解HySP在解混所选择的荧光光谱特征时的限制。分段可能不会产生解混的可见劣化。白色正方形区域可以用于不同段(bin)的缩放比较。在约458nm和约561nm激发下的光谱相量图。数据的分段可以导致不同荧光光谱特征之间的较短相量距离。即使更接近，集群也可以仍然是可识别的。胚胎干的放大比较((a)中的框)。相同数据集在不同分段值处的HySP分析的差异对于眼睛来说仍然是细微的。可以选择一个体积用于研究强度分布(白色虚线箭头)。对于约26.60μm×约0.27μm×约20.00μm的体积的总强度，在不同的分段处，kdrl:eGFP、H2B-cerulean、desm-citrine和黄色素细胞的强度分布(白色虚线箭头(c))。分段的效果现在可以是可见的。对于脉管***，解混不会由于分段而过度劣化。对于细胞核具有相同的结果。Desm和黄色素细胞可似乎更受分段的影响。这个结果可启示，在本公开的斑马鱼胚胎具有使用两种不同激光器顺序地获取的七个单独的光谱特征的情况下，可使用4个段，其代价是解混的劣化。
图14，包括示例性光学***和示例性图像形成***的示例性高光谱成像***。
图15，包括示例性光学***、荧光显微镜的示例性高光谱成像***。该***可以通过使用包括例如图22至图23中公开的特征的示例性图像形成***来生成目标的解混彩色图像。
图16，包括示例性光学***、多照明波长显微镜的示例性高光谱成像***。该***可以通过使用包括例如图22至图23中公开的特征的示例性图像形成***来生成目标的解混彩色图像。
图17，包括示例性光学***、多照明波长装置的示例性高光谱成像***。该***可以通过使用包括例如图22至图23中公开的特征的示例性图像形成***来生成目标的解混彩色图像。
图18，包括示例性光学***、多波长检测显微镜的示例性高光谱成像***。该***可以通过使用包括例如图22至图23中公开的特征的示例性图像形成***来生成目标的解混彩色图像。
图19，包括示例性光学***、多照明波长和多波长检测显微镜的示例性高光谱成像***。该***可以通过使用包括例如图22至图23中公开的特征的示例性图像形成***来生成目标的解混彩色图像。
图20，包括示例性光学***、多波长检测装置的示例性高光谱成像***。该***可以通过使用包括例如图22至图23中公开的特征的示例性图像形成***来生成目标的解混彩色图像。
图21，包括示例性光学***、多波长检测装置的示例性高光谱成像***。该***可以通过使用包括例如图22至图23中公开的特征的示例性图像形成***来生成目标的解混彩色图像。
图22，可用于生成目标的解混彩色图像的示例性图像形成***的特征。
图23，可用于生成目标的解混彩色图像的示例性图像形成***的特征。
图24，经光谱编码的增强表示(SEER)概念表示。(a)高光谱荧光图像数据。在光谱模式(32通道)下使用共焦仪器获取多光谱荧光数据集。这里示出了Tg(ubi：Zebraboow)数据集，其中细胞含有随机组合的青色、黄色和红色荧光蛋白。(b)原始光谱。六个感兴趣区域(a中的彩色框)内的平均光谱示出样品中出现的重叠水平。(c)标准的可视化。标准的多光谱可视化方法对于光谱相似的荧光具有有限的对比度。(d)原始相量。数据集内每个体素的光谱被表示为它们的正弦和余弦傅立叶系数S和G的二维直方图，其被称为相量图。(e)去噪相量。在相量空间中执行空间无损光谱去噪以改进信号。(f)参考图。SEER提供了对将相量上的位置编码成预定调色板的几个颜色参考图的选择。这里使用的参考图(品红色选择)被设计成增强数据集中的较小光谱差异。(g)对比度模态。多个对比度模态允许基于相量光谱分布改进数据的可视化，从而将参考图集中在最频繁的光谱上、数据的统计光谱质心(品红色选择)上，或者将图缩放到分布。(h)颜色重映射。利用所选择的SEER参考图和对比度模态将颜色分配给图像。(i)经光谱编码的增强表示(SEER)。以改进的对比度描绘了几乎不可区分的光谱，同时更多被分离的光谱仍然被清楚地呈现。
图25，经光谱编码的增强表示(SEER)设计。一组标准参考图及其在模拟的高光谱测试图(SHTC)上的对应结果，其被设计为提供光谱之间的光谱重叠的梯度。(a)具有对应的平均灰度图像的标准相量图提供了在相量图上的光谱的位置信息。相量位置根据一组标准参考图在渲染中与颜色相关联，每个标准参考图突出显示数据集的不同性质。(b)角度图通过将颜色与角度的变化(在这种情况下，相对于原点)联系起来增强了光谱相位差。该图增强了最大发射波长的变化，因为图中的相位位置对该特征最敏感，并且很大程度上与强度的变化无关。(c)相反，径向图主要集中在强度变化上，因为信噪比的减小通常导致朝向相量图上的原点的移位。结果，该图突出显示光谱振幅(amplitude)和幅度(magnitude)，并且对于相同的光谱的波长变化大多不敏感。(d)梯度上升图增强了光谱差异，尤其是在样品中的较高强度区域内。这种组合通过向调色板添加亮度分量来实现。较暗色调位于图的中心，其中，绘制较低图像强度。(e)梯度下降图改进了对波长的细微差别的渲染。b、c、d、e的颜色条代表与一种颜色相关联的主波长，单位为纳米。(f)张量图提供了对图像中的光谱总体的统计变化的了解。这种可视化充当对图像的光谱边缘检测，并且可以简化对样品的光谱上不同且罕见的区域(诸如SHTC的中心)的识别。颜色条表示计数的归一化相对梯度。
图26，增强的对比度模态。对于每个SEER标准参考图设计，四种不同模式可以在可视化期间提供改进的对比度。作为参考，本公开使用应用于模拟的高光谱测试图(SHTC)上的梯度下降图。(a)标准模式是标准图参考。它覆盖了以原点为中心并锚定在圆周上的整个相量图圆形。调色板在样品上是恒定的，从而简化数据集之间的光谱比较。(b)缩放模式使梯度下降图范围适应于数据集的值，从而有效地执行线性对比度拉伸。在该过程中，图的末端被缩放以在所查看的数据集的相量表示周围扭曲，从而导致数据集中的相位和调制范围的调色板中的最大移位。(c)最大变形(Max Morph)模式将图中心移位到相量直方图的最大值。参考图的边界保持锚定到相量圆形，而绘图内的颜色被扭曲。相量图的最大值代表数据集中的最频繁的光谱。该可视化模态相对于最常出现的光谱重新映射调色板，从而允许对样品内的光谱分布的了解。(d)相反，质量变形模式使用直方图计数来计算相量坐标的加权平均，并使用该色频质心作为SEER图的新中心。调色板现在使样品中的光谱之间的调色板色差最大化。
图27，未标记的新鲜分离的小鼠气管外植体的自发荧光可视化比较。使用多光谱双光子显微镜(740nm激发，32波长段，8.9nm带宽，410nm至695nm检测)来对样品成像，以在其自由和束缚状态下收集包括叶酸、类维生素A和NADH的内在分子的荧光。由于这些内在分子的紧密重叠的发射光谱，通过测量这些内在分子的荧光寿命(而不是波长)，已将这些内在分子用作组织中的代谢活性的报告分子。当利用(a)真彩色图像显示(Zen软件(德国蔡司))时，这种重叠增加了区分光谱变化的难度。(b)梯度下降变形图示出顶层和基层之间的差异，从而基于距气管气道的距离表明细胞的不同代谢活性。在顶层和底层(虚线框)上的细胞用不同的颜色组渲染。颜色条代表与一种颜色相关联的以纳米为单位的主波长。(c)张量图图像提供了对光谱数据集中的统计的了解，从而将图像像素的颜色与具有相似光谱的像素的相量计数的对应梯度相关联。该样品中的光谱计数梯度突出显示了单细胞的纤维和边缘的存在。颜色条表示计数的归一化的相对梯度。(d)虚线框(图c中的1和2)中的细胞的平均光谱示出在顶层方向上的蓝色光谱移位。(e)使用频域检测器获取的样品的荧光寿命图像显微镜图(FLIM)验证了来自图b的梯度下降图的解释，其中与具有更多糖酵解表型的底层中的细胞(以黄色表示的更短寿命)相比，顶层中的细胞表现出更多的氧化磷酸化表型(以红色表示的更长寿命)。选择与基于NAD+/NADH寿命的相对相量坐标在相量FLIM分析中选择的区域(e，左上插图，红色选择和黄色选择)相对应。
图28，单个荧光标记与多个自发荧光的的可视化。用源自卵黄和黄色素细胞(色素细胞)的内在信号对Tg(fli1:mKO2)(泛内皮荧光蛋白标记)斑马鱼成像。使用具有488nm激发的多光谱共焦(32通道)荧光显微镜进行活体成像。内皮mKO2信号难以与(a)最大强度投影真彩色32通道图像显示(瑞士，Bitplane Imaris)中的内在信号区分开。SEER角度图突出显示光谱相位的变化，从而用不同的颜色渲染它们(参考图，每个图的右下方)。(b)这里，将具有缩放模式的角度图应用于整个体积。以前不可区分的光谱差异(图a中的框1、2、3)现在易于在视觉上分离。颜色条代表与一种颜色相关联的以纳米为单位的主波长。(c至h)在真彩色，(c、e、g)中可视化的区域1至3(来自a)的放大视图，并且SEER(d、f、h)突出显示将泛内皮标记(黄色)与色素细胞(品红色)区分的差异。SEER的改进的灵敏度进一步区分源自卵黄(蓝色和青色)和色素的自发荧光的不同来源。
图29，三重标记荧光可视化。斑马鱼胚胎Tg(kdrl:eGFP)；Gt(desmin-Citrine)；Tg(ubiq:H2B-Cerulean)分别标记脉管***、肌肉和细胞核。使用458nm激发用多光谱共焦显微镜(32通道)进行活体成像(Live imaging)。用真彩色和SEER图渲染平铺体积的单平面切片。(a)真彩色图像显示器(Zen(德国蔡司))。(b)质心变形模式中的角度图通过可区分的颜色改进对比度。所得到的可视化增强了样品中的荧光团的空间定位。(c)最大变形模式中的梯度下降图将调色板集中在样品中最频繁的光谱上，从而突出显示相对于其的光谱变化。在该样品中，增强了皮肤色素细胞(绿色)的存在。SEER的3D可视化保持这些增强性质。颜色条代表与一种颜色相关联的以纳米为单位的主波长。这里，本公开示出了(d、e、f)以真彩色、角度图质心模式和梯度下降最大模式渲染的样品的不同部分的真彩色32通道最大强度投影(MIP)。所选择的视图在(d)体节概览、(e)体节边界放大和(f)血管***侧视图中突出显示SEER的性能。
图30，Zebrabow样品上组合表达的可视化。在458nm激发的多光谱共焦模式下实时获取的Tg(ubi：Zebrabow)肌肉的最大强度投影渲染。(a)在真彩色图像显示器(Zen软件(德国蔡司))中难以解释引出的信号(例如白色箭头)。(b)利用按照强度缩放的梯度下降图，辨别光谱差异越来越简单，同时对图像的亮度有影响。(c)梯度下降和(d)梯度上升RGB掩模在缩放模式下示出分配给每个像素的颜色值，并大大地改进了重组的CFP、YFP和RFP标记的视觉分离。颜色条代表与一种颜色相关联的以纳米为单位的主波长。
图31，对于不同文件大小的SEER和ICA的计算时间比较。(a)在具有两个12核CPU、128GB RAM和1TB SSD的HP工作站上测量HySP和ICA运行时间(以对数标度绘制)。在软件的修改版本中测量SEER运行时间。使用自定义脚本和Python模块(scikit-learn)的FastICA子模块来测量ICA运行时间。在python模块内使用perf_counter函数的定时器time被放置在特定函数周围，所述特定函数对应于在HySP中创建SEER图所需的计算以及从自定义ICA脚本中提取各个分量输出所需的计算。数据大小在0.02GB至10.97GB之间变化，其中恒定的波段数(32个带，410.5nm至694.9nm，带宽为8.9nm)对应于2.86·105至1.83·108的光谱范围。ICA测试限于10.97GB的最大值，因为对于更高的值，RAM要求超过了在工作站上可用的128GB。(b)对于自定义ICA脚本，放置定时器以测量用于重塑用于ICA输入的高光谱数据、用于运行ICA算法、以及用于将ICA分量的值转换成图像强度值的时间，在仅1.1GB处达到了几分钟的计算(以对数标度绘制)。(c)对于HySP，放置定时器以测量从高光谱数据生成相量值，包括实部和虚部(g和s)的初始计算和相量图直方图的创建。还在即时(on-the-fly)创建SEER图所需的所有准备函数周围设置了定时器。存储器效率更高的相量过程允许计算大小为0.02GB至43.9GB的数据集，其对应于2.86·105至7.34·108的光谱范围(以对数标度绘制)。
图32，SEER与可视化的HySP的结果的比较。这里示出斑马鱼胚胎Tg(kdrl:eGFP)；Gt(desmin-Citrine)；Tg(ubiq:H2B-Cerulean)分别标记脉管***、肌肉和细胞核。使用458nm激发用多光谱共焦显微镜(32通道)进行活体成像。用SEER图(3通道，RGB)渲染平铺体积的单平面切片，并将其与用HySP分析的相同数据集(这里为5通道)的渲染进行比较。(a)渲染5通道HySP分析的数据集，虚线框在图a的放大部分中展开，其(b)线轮廓沿着实线向右，所有5个单独的通道(eGFP、Citrine、Cerulean、色素和自发荧光)在458nm处。(c)5通道数据集的可视化为混合的RGB，类似于其如何出现在屏幕上。(d)变形的模式质心可视化示出根据HySP的模式，其具有沿图d中的实线的不同颜色编码的(e)线轮廓，其示出图像的3个RGB通道的强度。单个R、G、B的轮廓与图b中解混的HySP轮廓不匹配。然而，(f)相同线图的颜色可视化(如R、G、B向量)示出根据HySP解混数据的屏幕上可视化的模式。类似地，(g)变形模式的最大可视化示出根据图a中渲染的HySP分析数据的图像，其沿图g的放大部分的实线的(h)线轮廓与图e中HySP 5分离通道和不同变形的质心图的R、G、B轮廓两者相当。(i)g中的RGB强度的颜色显示可视化揭示了与HySP解混通道不同的颜色特征(图b)。
图33，以真彩色渲染的模拟高光谱测试图I示出了几乎不可区分的光谱。这里用“真彩色RGB”(方法)表示模拟。分别从CFP、YFP、RFP斑马鱼胚胎获取的S1、S2和S3光谱用于生成(a至i)3乘3模拟的高光谱测试图。在该图的每个图(a至i)中，三个光谱(S1至S3)表示为同心正方形(参见图a)，分别是外部：S1-蓝色光谱，中间：S2-黄色光谱，中央：S3-红色光谱)。光谱S2(每个图中的中间正方形)在所有图中保持不变。光谱S1的最大值相对于固定光谱S2的最大值移位d1(-2个波长段，-17.8nm步长)。S3的最大值相对于S2的最大值移位d2(2个波长段，17.8nm步长)。从d1＝d2＝0(图a)开始，沿着中心图组件(a至i)的垂直轴(d1)和水平轴(d2)将这些变化应用于2个步长。图j至r中表示了在每个图(a至i)中使用的光谱。每个图(j至r)将平均归一化的S1至S3光谱表示为32个波长段，8.9nm带宽，410nm至695nm检测。每个图具有不同的视觉对比度，但是由于光谱的显著重叠，通常难以通过眼睛区分。(s)在用于真实彩色表示的高斯核中使用的R、G、B通道(红色、绿色、蓝色线)和用于参考的图(a至i)的平均光谱(黄色线)。
图34，在没有背景的情况下具有恒定强度的光谱形状对径向图的影响。该模拟示出在没有背景的情况下，使用32个波长段、8.9nm带宽、和410nm至695nm范围的具有高斯形状和不同标准偏差的光谱。所有光谱以543nm为中心(通道16)，并且强度的积分保持恒定。(a至l)对于标准偏差的每个值，呈现灰度图像和SEER可视化。所使用的图是以原点为中心并且延伸到相量图的边界的径向图。在相量图(m)中添加颜色参考。相量图上的集群沿着半径分布，其中距原点的距离与标准偏差成反比。
图35，在存在背景的情况下光谱强度对径向图的影响。在该模拟中，在存在恒定背景的情况下，模拟的高光谱测试图(图33)的第一图(左上)的强度被降低10^1至10^4倍(分别是图1至图4)。在MATLAB中生成具有5个数字(digital)水平的平均强度的背景；使用poissrnd()函数添加poissonian噪声。灰度图像(a、d、g、j)按照(a)10倍、(d)102倍、(g)103倍、(j)104倍进行缩放。径向图(原始)可视化示出图颜色随着强度的减小而朝向蓝色移位(b、e、h、k)。相量图(c、f、i、l)(谐波n＝2)示出集群朝向原点的径向移位。在(c)中添加径向图参考。(m)绝对强度图示出四个图的平均光谱，最大峰值是1780个数字水平、182个数字水平、23个数字水平、7个数字水平(分别是图1至图4)。归一化的强度光谱(n)示出光谱形状随信噪比的降低而明显变宽。
图36，径向和角度参考图设计和模式差异几乎不可区分的光谱(模拟的高光谱测试图I)(图33)。本公开提出了可以应用于每个图的4种不同模式。这里第二谐波用于计算。标准模式、缩放模式、最大变形模式和质量变形模式下的角度图(a)和径向图(b)。在标准模式中，参考图以原点为中心并受相量单位圆限制。在缩放模式中，参考图适应于相量图直方图，从而改变其坐标以围绕相量集群的边缘并且增强所选图性质的对比度。在最大变形模式中，该图以相量直方图中出现频率最高的光谱为中心。这种模式通过使用统计频率偏差来改进灵敏度。在质量变形模式中，该图以相量的加权中心为中心，从而增强了多个小光谱的灵敏度。在1x光谱去噪之后呈现可视化。
图37，梯度上升和下降参考图设计和模式差异几乎不可区分的光谱(图33)。这里第二谐波用于SEER。标准模式、缩放模式、最大变形模式和质量变形模式下的梯度上升图(a)和梯度下降图(b)。通过分别将参考图在相量图单位圆的中心和边缘处变暗，两个图重点放在非常不同的(上升)和相似的(下降)光谱上。在1x光谱去噪之后呈现可视化。
图38，模拟的高光谱试验图II及其标准重叠光谱。利用CFP、YFP和RFP标记的样品和3乘3的块图，从SHTC1(图33)中使用的同一斑马鱼胚胎数据集和同一设计生成模拟的SHTC II，其中每个块被细分成对应于光谱S1、S2和S3的3个区域。目的是测试具有较少重叠光谱的场景。将在该模拟中的移位距离改变为d1(-3波长段，-26.7nm步长)和d2(3波长段，26.7nm步长)。在此，真彩色RGB表示的高斯核中使用的通道是650nm、510nm、470nm，它们分别表示R、G、B。模拟的右下侧的同心正方形由53.6nm的峰到峰距离间隔开，外部和内部同心正方形以106.8nm的峰到峰距离很好地间隔开。该距离与CFP(475nm EM)和tdTomato(581nm)之间的发射间隙相似。在这些光谱条件下，预期大多数方法表现良好。
图39，径向和角度参考图设计和模式渲染标准重叠光谱(模拟的高光谱测试图II)(图32)。这里，第一谐波用于标准模式、缩放模式、最大变形模式和质量变形模式中的SEER角度图(a)和径向图(b)，这里将其应用于标准重叠光谱模拟。参考图示出在不同的模态之间一致地改进的对比度。在1x光谱去噪之后呈现可视化。
图40，标准重叠光谱的梯度上升和下降参考图设计和模式差异(模拟的高光谱测试图II)。这里，第一谐波被用于标准模式、缩放模式、最大变形模式和质量变形模式中的SEER梯度上升图(a)和梯度下降图(b)。参考图提供了增强的可视化，即使在光谱重叠处于与常用荧光蛋白相似的水平的场景下。在1x光谱去噪之后呈现可视化。
图41是光谱去噪对标准重叠光谱的角度图和径向图(模拟的高光谱测试图II，图38)可视化的影响。相量光谱去噪影响沿光谱维度的数据的质量，而不改变强度。这里第二谐波用于计算。噪声数据作为相量上的扩展集群(spread cluster)出现，这里被示出为叠加有(a)角度图和(b)径向图，其中叠加的可视化展示了椒盐噪声。(c、d)当对相量应用去噪时，集群扩展减小，从而在模拟的图中提供更大的平滑和更少的噪声。(e、f)增加去噪滤波器的数量导致模拟的每个块中的三个光谱上不同的区域之间的更清楚的区别。(a、c、e)在最大变形模式中，每个去噪滤波器引入图的顶点的移位，从而改变调色板的参考中心(b、d、f)。在缩放模式中，较少分散的相量集群最大化地使用参考图，从而增强所渲染的SHTC的对比度(d、f)。
图42，光谱去噪对标准重叠光谱的梯度上升图和梯度下降图可视化(模拟的高光谱测试图II，图38)的影响。(图41)中描述的相量光谱去噪原理适用于不同的参考图。在这种情况下，(a)缩放模式下的梯度上升图和(b)质量变形模式下的梯度下降被叠加到标准重叠光谱SHTC的分散相量表示上。去噪滤波器沿着光谱维度移除异常值，同时保留强度。(c、d)在滤波之后，相量集群扩展减小，导致受噪声影响的图像的光谱平滑。由于滤波之后相量集群扩展的变化，梯度上升图的图参考与其未经滤波的表示(a和b中的图)相比具有增加的亮度。(e、f)在多次去噪通过之后的渲染的SHTC具有较高的强度，这简化了光谱中的细微差异的区分。(b、d、f)去噪滤波器不改变集群的质心，因此参考图的顶点在滤波之后保持不变。然而，滤波器在降低数据集中的泊松噪声方面起作用，从而在5x滤波之后收敛到稳定值。该表示示出在每个块内的同心正方形区域中的更大均匀性，其使用相同的光谱来模拟。这些正方形的边缘现在更清晰并且更容易检测，这表明SEER和相量去噪的组合在简化图像分段中可以起到重要作用。
图43，自发荧光与其它RGB标准可视化的可视化比较。此处以用不同标准方法示出了未标记的新鲜分离的小鼠气管外植体的可视化(图27)。这些可视化的细节如上所报告的。(a)使用梯度下降变形图获得的SEER RGB掩模；该掩模示出通过SEER与每个像素相关联的颜色，而不考虑强度。(b)整个数据集的平均光谱。(c)真彩色32通道最大强度投影。(d)峰值波长RGB掩模。(e)具有分别以650nm、510nm和470nm为中心的RGB的高斯默认核。(f)10％阈值下的高斯核，RGB值以659nm、534nm和410nm为中心。(g)20％阈值下的高斯核，RGB值以570nm、490nm和410nm为中心。(h)30％阈值下的高斯核，RGB值以543nm、472nm和410nm为中心。(i)图d中峰值波长掩模的波长-RGB颜色表示。在以下各图中报告RGB可视化参数的表示：(j)用于图e的核、数据集的平均光谱(黄色图)，(k)用于图f的核、数据集的平均光谱(黄色图)，(l)用于图g的核、数据集的平均光谱(黄色图)，(m)用于图h的核、数据集的平均光谱(黄色图)。
图44，未标记的新鲜分离的小鼠气管外植体的相量荧光寿命成像显微镜图(FLIM)。(a)在频域中利用与具有混合检测器(FLIM盒，ISS，伊利诺大学)的获取单元耦接的在740nm处调谐的2-光子荧光显微镜(LSM780(耶拿蔡司)获取的未标记的新鲜分离的小鼠气管外植体的荧光寿命数据的相量FLIM表示。所选区域对应于更多氧化磷酸化表型(红色圆圈)和更多糖酵解表型(黄色圆圈)。(b)FLIM分段图像对应于对相量(a)执行的选择，其中，与具有糖酵解表型的基层中的细胞相比，顶层中的细胞展现出氧化磷酸化表型。(c)相量图中连接游离NADH和结合NADH的线被称为“代谢轨迹”，游离NADH方向上的移位表示更多的还原条件和糖酵解代谢，而朝向结合NADH的移位表示更多的氧化条件和更多的氧化磷酸化，如前面的研究中所述。代谢轨迹的极值是NADH游离和结合的寿命。寿命参数(τ相位和调制)与文献中报告的参数一致(游离下为0.4ns；以及结合下为1.0ns至3.4ns)。
图45，单个荧光标记与多个自发荧光的灰度可视化。Tg(fli1：mKO2)(泛内皮荧光蛋白标记)斑马鱼的单个光学截面的平均光谱强度的单色表示呈现源自卵黄和黄色素细胞(色素细胞)的内在信号。使用共焦显微镜(LSM780，蔡司，耶拿)以488nm激发在多光谱模式下获取数据集。沿光谱维度计算平均强度，然后以灰度级表示平均强度。
图46，单个荧光标记与存在自发荧光的其它RGB标准可视化的可视化比较。这里用不同的标准方法示出具有源自自卵黄和黄色素细胞(色素细胞)的内在信号的Tg(fli1：mKO2)(泛内皮荧光蛋白标记)斑马鱼的可视化(图28)。以上报告了这些可视化的细节。(a)在缩放模式下使用梯度角度图获得的用于单个z平面的SEER RGB掩模，该掩模示出了通过SEER与每个像素相关联的颜色，而不考虑强度。(b)整个体积的SEER最大强度投影(MIP)。(c)真彩色32通道体积MIP。(d)峰值波长体积MIP。(e)具有分别以650nm、510nm和470nm为中心的RGB的高斯默认核。(f)10％阈值下的高斯核，RGB值以686nm、588nm和499nm为中心。(g)20％阈值下的高斯核，RGB值以668nm、579nm和499nm为中心。(h)30％阈值下的高斯核，RGB值以641nm、570nm和499nm为中心。(i)图d中的峰值波长掩模的波长-RGB颜色表示。在以下各图中报告了RGB可视化参数的表示：(j)整个数据集的平均光谱(蓝色图)，其中边界用于图c中的真彩色32通道MIP；(k)用于图e的核、数据集的平均光谱(黄色图)；(l)用于图f的核、数据集的平均光谱(黄色图)；(m)用于图g的核、数据集的平均光谱(黄色图)；(n)用于图h的核、数据集的平均光谱(黄色图)。
图47，利用其它RGB标准方法的三重标记荧光的可视化比较。在这里用不同标准方法示出分别标记脉管***、肌肉和细胞核的Tg(kdrl:eGFP)；Gt(desmin-Citrine)；Tg(ubiq:H2B-Cerulean)的可视化(图29)。上面报告了这些可视化的细节。使用以下各项将相同切片(这里z＝3)示出为最大强度投影(MIP)：(a)最大变形模式下的SEER梯度下降图；(b)质量变形模式下的SEER MIP角度图；(c)真彩色32通道；(d)峰值波长；(e)具有分别以650nm、510nm和470nm为中心的RGB的高斯默认核；(f)10％阈值下的高斯核，RGB值以597nm、526nm和463nm为中心；(g)20％阈值下的高斯核，RGB值以579nm、517和463nm为中心；(h)30％阈值下的高斯核，RGB值以561nm、526nm和490nm为中心。在以下各图中报告了RGB可视化参数的表示：(i)图d中的峰值波长掩模的波长-RGB颜色表示；(j)整个数据集的平均光谱(蓝色曲线)，其中边界用于图c中的真彩色32通道MIP；(k)用于图e的核、数据集的平均光谱(黄色图)；(l)用于图f的核、数据集的平均光谱(黄色图)；(m)用于图g的核、数据集的平均光谱(黄色图)；(n)用于图h的核、数据集的平均光谱(黄色图)。
图48，在最大强度投影(MIP)和阴影投影中的斑马鱼体积的SEER。SEER改进光谱数据集的可视化的能力可被转化为具有不同可视化模态的3D可视化。这里示出分别标记脉管***、肌肉和细胞核的斑马鱼胚胎Tg(kdrl:eGFP)；Gt(desmin-Citrine)；Tg(ubiq:H2B-Cerulean)。(a)具有质量变形模式的角度图体积的MIP。(b)使用阴影投影示出图和模式的同一组合。尽管体积渲染方法是不同的，但荧光标记之间的空间区别被保持。这里使用(c)MIP和(d)阴影投影将最大变形模式下的梯度下降图应用于同一数据集。使用梯度下降图，(c)MIP改进了用于确定荧光团之间的空间区别的对比度。(d)阴影投影进一步增强了皮肤色素的位置(绿色)。
图49，将表达与其它RGB标准方法组合的可视化比较。利用不同的标准方法的ubi:Zebrabow肌肉的可视化(图30)。上面报告了这些可视化的细节。同一切片被示出为RGB掩模，其表示与每个像素相关联的颜色且独立于强度，或者使用以下各项同一切片被示出为最大强度投影(MIP)：(a)缩放模式下的SEER梯度下降图掩模；(b)整个数据集的平均光谱(蓝色曲线)，其中边界用于图c中的真彩色32通道MIP；(c)真彩色32通道；(d)峰值波长掩模；(e)具有分别以650nm、510nm和470nm为中心的RGB的高斯默认核；(f)10％阈值下的高斯核，RGB值以659nm、561nm和463nm为中心；(g)20％阈值下的高斯核，RGB值以641nm、552nm和463nm为中心；(h)30％阈值下的高斯核，RGB值以632nm、552nm和472nm为中心；(i)图d中峰值波长掩模的波长-RGB颜色表示。在以下各项中报告了RGB可视化参数的表示：(j)用于图e的核、数据集的平均光谱(黄色图)；(k)用于图f的核、数据集的平均光谱(黄色图)；(l)用于图g的核、数据集的平均光谱(黄色图)；(m)用于图h的核、数据集的平均光谱(黄色图)。
图50，在不同光谱重叠和SNR条件下具有多种模态的RGB可视化。在该模拟中，在存在恒定背景的情况下，模拟的高光谱测试图(SHTC，图33)的第一图(左上)的强度降低了(.5*10)^1至(.5*10)^4倍(分别为图1至图5)。在Matlab中生成平均强度为5的背景，使用poissrnd()函数加入poissonian噪声，从而获得5个不同的SNR水平。(a、b、c、d、e)SHTC中的中央和外部同心正方形中的光谱的峰到峰距离相对于中间正方形的平均光谱的峰移位8.9nm的单位，中间正方形的平均光谱的峰在该模拟中(类似于图33)从距离0(a)开始到35.6nm(e)保持恒定。对于光谱重叠的每个水平(a至e)，这里呈现了七种不同的RGB可视化模态，用于以五个不同水平的SNR进行比较。从顶行开始，在谐波2(SEER h＝2)和谐波1(SEER h＝1)处的SEER、选择的峰值波长(峰值波长(Peak Wav.))、设置在光谱的30％处的高斯核(高斯r＝.3)、设置在光谱的20％处的高斯核(高斯r＝.2)、设置在光谱的10％处的高斯核(高斯r＝.1)、最后是分别设置在RGB的650nm、510nm、470nm处的高斯核(高斯默认(Gauss.Def.))。(f)用于峰值波长可视化的波长-RGB转换图。(g)用于高斯通道r＝.3的R＝579nm，G＝534nm，B＝499nm的中心波长。平均光谱(黄色)(h)高斯r＝.2的R＝597nm、G＝543nm、B＝490nm通道的中心波长。平均光谱(黄色)。(i)高斯r＝.1的R＝614nm、G＝543nm、B＝481nm通道的中心波长。平均光谱(黄色)。(j)高斯默认的R＝650nm、G＝510nm、B＝470nm通道的中心波长。平均光谱(黄色)。这里用于SEER的图是缩放模式下的梯度下降(a、b、c、d)，以及质心模式(e)。具有的SEER可视化示出在不同SNR下的模拟中不同光谱的合理恒定的对比度和颜色。
图51，SNR重叠模拟中的极值的光谱。图50中所用的模拟的极值在此报告为光谱，以用于比较。对于高信噪比，(a)峰值最大距离设置为零的光谱的平均光谱和(b)来自模拟的每个同心正方形区域的示例单个光谱(数字水平，DL)。用于模拟的高SNR下的(c)平均光谱和(d)单个光谱，其中光谱间的峰到峰距离为35.6nm。(e)具有经颜色编码的同心正方形的参考模拟高光谱测试图。这里针对以下两项报告了低SNR模拟光谱：将零峰值距离作为(f)平均光谱和(g)单个光谱，以及将35.6nm的峰值距离作为(h)平均光谱和(i)单个光谱。
图52，不同光谱重叠和SNR条件下的SEER的光谱分离精度。针对不同的信噪比和以下光谱最大间隔来计算精度：从图50中的可视化和图51中的对应光谱开始，(a)对准、(b)8.9nm、(c)17.8nm、(d)26.7nm、(e)35.6nm。精度在这里被计算为模拟的同心正方形对之间的RGB向量的欧几里得距离之和，与最大颜色间隔的比(红色与绿色的比、红色与蓝色的比、蓝色与绿色的比)。精度计算的全面描述在方法部分中报告。图中的每个值代表2002个像素的平均距离；误差条是所有像素上的归一化精度值的标准偏差。对于每个光谱最大间隔的多个SNR条件下的平均精度：(a)对于高度重叠的光谱，SEER为谐波1提供平均38.0％，为谐波2提供平均50.6％，这里表现最佳的其它比较是高斯r＝.3，平均为26.7％。(b)对于8.9nm峰到峰间隔，SEER h＝1平均为57.0％，SEER h＝2平均为49.6％，这里表现最佳的其它比较是峰值波长，为22.2％；(c)对于17.8nm的间隔，SEER h＝1平均为57.2％，SEER h＝2平均为60.0±2.3％，这里表现最佳的其它比较是高斯r＝.3，为26.2％。(d)对于26.7nm的间隔，SEER h＝1平均为59.9％，SEER h＝2平均为60.4％，这里表现最佳的其它比较是高斯r＝.3，为32.1％；(e)对于35.6nm的良好间隔开的光谱，SEER h＝1平均为66.3％，SEER h＝2平均为66.7％，这里表现最佳的其它比较是高斯r＝.3，平均得分为43.5％。
图53，在不同光谱重叠和SNR条件下的SEER和ICA光谱图像可视化(RGB)的比较。图50中使用的改变了获得峰到峰光谱重叠和信噪比的不同值的模拟的高光谱测试图的参数的相同的模拟在这里用来使用Python包Scikit-Learn函数(sklearn.decomposition.FastICA)计算独立分量分析的精度，其具有未对特定数据集进行优化的3个独立分量(IC)。(a、b、c、d、e)，三个IC用作用于为每个模拟参数(ICA＝3线)创建彩色图像的R、G、B通道，并且在这里示出为紧挨SEER谐波1和2(分别为SEER h＝1和SEERh＝2)。误差条是标准偏差。(f、g、h、i、j)在方法部分中描述的精度参数在这里被应用于SEER和ICA结果。图中的每个值代表2002个像素的平均距离，误差条是所有像素上的归一化精度值的标准偏差。如这里所计算的，高SNR(超过30)下的多个重叠值的ICA的精度平均是48.0％，其与SEER h＝1的57.9％和SEER h＝2的57.6％相当，但是在低SNR(低于10)下降低，其中其平均为21.0％，对于第一谐波和第二谐波，SEER分别为50.6％和57.7％。(f)平均精度ICA为20.2％，对于谐波1，SEER为38.0％，对于谐波2，SEER为50.6％；(g)平均精度ICA为36.1％，SEER h＝1为57.0％，SEER h＝2为49.6％；(h)平均精度ICA为25.3％，SEER h＝1为57.2％，SEER h＝2为60.0％；(i)平均精度ICA为35.9％，SEER h＝1为59.9％，SEER h＝2为60.4％；(j)平均精度ICA为32.6％，SEER h＝1为66.3％，SEER h＝2为66.7％。
图54，利用SEER进行的光漂白的可视化。分别对标记网格蛋白、泛内皮和膜的24hpf斑马鱼胚胎Gt(cltca-citrine)；Tg(fli1:mKO2)；Tg(ubiq:memTdTomato)进行光漂白实验。利用蔡司的Zen 780反转共焦中的“漂白”模态进行实验，其中在lambda模式下获取单个z位置。在高激光功率下每13.7秒获取帧(其具有5个中间漂白帧(未获取))，直到图像强度达到90％漂白为止。SEER RGB掩模表示与每个像素相关联的颜色值，并且独立于强度值。这里使用的图是质心模式下的径向图。在该模态中，图将调整其在相量集群的移位质心上的位置，从而可视地补偿强度的降低。(a)在最初的帧中，cltca-citrine与品红色相关联，膜与cerulean相关联，泛内皮不在帧中，背景与黄色相关联。(b)帧10示出与初始漂白一致的颜色；颜色维持在(c)帧40和(d)帧70处，其中大部分信号已经被漂白且大部分颜色已切换到黄色(此处为背景)。(e)最后一帧示出90％漂白的样品。阿尔法颜色渲染(Alpha Colorrendering)将强度信息添加到图像可视化。这里示出(f)帧1、(g)帧10、(h)帧40和(i)帧70，以进行比较。比例尺为10μm。(j)平均总强度图是帧的函数，其根据32个通道之和计算，并且示出了样品中明显的漂白。
图55，变形模式算法的图示抽象。(a)以原点O为中心的标准模式下的径向图可以被抽象为(b)具有高度h和顶点A的3D圆锥形状。(c)在将圆锥的顶点从A移位到A’时，图参考中心从原点O平移到投影A⊥’。在此移位期间，锥底的边缘锚定在相量单位圆上。(c至d)考虑到水平切割斜圆锥的平面，所得截面是具有中心O’和半径r’的圆。该圆的投影以位于线OA⊥’的上O⊥’为中心，与固定中心O和新顶点投影A⊥/相邻并且具有相同的半径r’。结果，(d)这些投影圆中的每一个中的所有点沿着相量图上的向量OO⊥’移位。
图56，未标记的新鲜分离的小鼠气管外植体的体积数据中的自发荧光可视化。在此，将利用多光谱双光子显微镜(740nm激发，32个波长段，8.9nm带宽，410至695nm检测)成像的平铺z堆叠(x,y,z)可视化为在(a)43μm、(b)59μm、(c)65μm深度处的单个(x,y)z-切片SEER RGB梯度下降最大变形掩模。基层细胞和顶层细胞之间的颜色差异保持在不同深度，每个细胞层具有一致的色调。颜色条代表与一种颜色相关联的以纳米为单位的主波长。作为针对(d)自上而下(x，y)视图、(e)横向(y，z)视图和(f)放大横向(y，z)视图的SEER阿尔法颜色渲染呈现的体积渲染示出未标记组织样品的形状和98μm厚度。
图57，SEER与独立分量分析针对图27至图30的数据集的处理速度比较。比较SEER与python模块(scikit-learn)的FastICA子模块之间的处理时间。利用图31中所用的相同测量策略，将python模块内使用perf_counter函数的计时器time放置在特定函数周围，所述特定函数对应于在HySP中创建SEER图以及利用FastICA所需的计算。(a)在所有图和它们的子集中，SEER(品红色)的运行时间显著低于ICA(3种分量)(青色)。(b)对于较大的z堆叠光谱数据集，速度提高更高(图28，41倍改进)，而对于较小的单光谱图像，速度提高降低(图27，7.9倍改进)。这些曲线的数值在表4中报告。
图58，图27至图30的增强的量化。根据用于多种可视化策略的方法部分，计算(a)色彩度、(b)对比度、(c)锐度和(d)颜色质量增强(CQE)的得分。平均值在表4和表5中报告。(a)由于红色通道中的非常低的平均强度(<IR>＝840)以及几乎两倍的平均绿色比蓝色强度(<IG>/<IB>＝1.7)，SEER的色彩度值通常高于其他方法(除了图7的峰值波长可视化(在补充图19d中报告))，这使得在色彩度中使用的β参数平均值较小并且色彩度等式(方法)中的第二对数的分母约等于1，从而导致了比通常的方差β与平均值β之比大10倍。这种强度组合导致比SEER h＝2高1.03倍的色彩度，然而，在这种情况下，色彩度值不对应于人类观察(图49d)，表明由于强度的特定组合，该分数可能是异常值。(b)对比度、(c)锐度的值示出SEER的更高性能。(d)SEER的CQE分数高于标准，图4中改进了11％至26％，图5中改进了7％至98％，图6中改进了14％至25％，图7中改进了12％至15％。
具体实施方式
现在描述说明性实施例。另外或替代地，可使用其它实施例。可以省略可能是明显的或不必要的细节以节省空间或用于更有效的呈现。可以用附加的部件或步骤和/或不用所描述的所有部件或步骤来实践一些实施例。
使用以下缩写。
2D：二维
5D：五维。
HySP：高光谱相量
IACUC：动物保护和利用委员会
N：所获取的光子的数量
n：谐波数量
PMT：光电倍增管
PTU：1-苯基-2-硫脲
SBR：信号背景比
SEER：经光谱编码的增强表示(Spectrally Encoded Enhanced Representation)
SNR：信噪比
SP：光谱相量
USC：南加州大学
本公开涉及高光谱成像***。本公开还涉及一种生成目标的解混彩色图像的高光谱成像***。该成像***可以用于在低信噪比状况下以快速的分析时间对多个重叠光谱进行去噪和/或颜色解混。目标的解混彩色图像可以用于诊断健康状况。
高光谱成像***可执行高光谱相量(HySP)计算，以有效地分析高光谱时间推移数据。例如，该***可执行HySP计算，以有效地分析五维(5D)高光谱时间推移数据。该***的主要优点可以包括：(a)快的计算速度；(b)容易的相量分析；以及(c)用于获得最小可接受信噪比(SNR)的去噪***，如图1中的示例所示。
高光谱成像***可以有效地降低光谱噪声、去除自发荧光并且区分生物样品内的多个光谱重叠的荧光团。该***可以通过扩展荧光团调色板选择和通过减少来自背景自发荧光的贡献两者来改进体内成像。在下面的示例中，通过在发育的光敏阶段期间用七种颜色对发育中的斑马鱼胚胎成像，证明HySP的稳健性(图2至图3)。
高光谱成像***10可包括光学***20、图像形成***30或其组合。例如，高光谱成像***可包括光学***和图像形成***。例如，高光谱成像***可包括图像形成***。图14示意性地示出了包括光学***和图像形成***的示例性高光谱成像***的一个示例。图15至图21示出了示例性光学***。图22示出了图像形成***的示例性配置。图23示出了高光谱成像***的示例性配置。
在本公开中，光学***可包括至少一个光学部件。至少一个光学部件的示例是检测器(“光学检测器”)、检测器阵列(“光学检测器阵列”)、用于照射目标的源(“照明源”)、第一光学透镜、第二光学透镜、光学滤波器、色散光学***、分色镜/分束器、放置在目标和至少一个光学检测器之间的第一光学滤波***、放置在第一光学滤波***和至少一个光学检测器之间的第二光学滤波***、或其组合。例如，至少一个光学部件可以包括至少一个光学检测器。例如，至少一个光学部件可以包括至少一个光学检测器和至少一个照明源。例如，至少一个光学部件可以包括至少一个光学检测器、至少一个照明源、至少一个光学透镜、至少一个光学滤波器和至少一个色散光学***。例如，至少一个光学部件可以包括至少一个光学检测器、至少一个照明源、第一光学透镜、第二光学透镜和分色镜/分束器。例如，至少一个光学部件可以包括至少一个光学检测器、至少一个照明源、光学透镜、色散光学器件；并且其中至少一个光学检测器是光学检测器阵列。例如，至少一个光学部件可以包括至少一个光学检测器、至少一个照明源、光学透镜、色散光学器件、分色镜/分束器；并且其中至少一个光学检测器是光学检测器阵列。例如，至少一个光学部件可以包括至少一个光学检测器、至少一个照明源、光学透镜、色散光学器件、分色镜/分束器；其中至少一个光学检测器是光学检测器阵列；并且其中照明源直接照射目标。这些光学部件可以形成例如图15至图21中所示的示例性光学***。
在本公开中，光学***可以包括光学显微镜。光学显微镜的示例可以是共焦荧光显微镜、双光子荧光显微镜或其组合。
在本公开中，至少一个光学检测器可以具有以下配置：检测由目标上的至少一个物理点吸收、透射、折射、反射和/或发射的电磁辐射(“目标辐射”)。目标辐射可以包括至少一个波(“目标波”)。目标辐射可以包括至少两个目标波。每个目标波可以具有强度和不同的波长。至少一个光学检测器可以具有检测每个目标波的强度和波长的配置。至少一个光学检测器可以具有将检测到的目标辐射传输到图像形成***的配置。至少一个光学检测器可以具有将每个目标波的检测到的强度和波长传输到图像形成***的配置。至少一个光学检测器可以具有这些配置的任何组合。
至少一个光学检测器可以包括光电倍增管、光电倍增管阵列、数字相机、高光谱相机、电子倍增电荷耦合器件、Sci-CMOS、数字相机或其组合。数字相机可以是任何数字相机。数字相机可以与用于检测目标辐射的有源滤波器一起使用。数字相机还可以与用于检测目标辐射的有源滤波器一起使用，例如，目标辐射包括发光、热辐射或其组合。
在本公开中，目标辐射可以包括由目标发射的电磁辐射。由目标发射的电磁辐射可以包括发光、热辐射或其组合。发光可以包括荧光、磷光或其组合。例如，由目标发射的电磁辐射可以包括荧光、磷光、热辐射或其组合。例如，由目标发射的电磁辐射可以包括荧光。至少一个光学部件还可以包括第一光学滤波***。至少一个光学部件还可以包括第一光学滤波***和第二光学滤波***。第一光学滤波***可以放置在目标和至少一个光学检测器之间。第二光学滤波***可以放置在第一光学滤波***与至少一个光学检测器之间。第一光学滤波***可以包括二向色滤波器(dichroic filter)、分束器型滤波器或其组合。第二光学滤波***可以包括陷波滤波器、有源滤波器或其组合。有源滤波器可包括自适应光学***、声光可调谐滤波器、液晶可调谐带通滤波器、法布里珀罗(Fabry-Perot)干涉滤波器或其组合。
在本公开中，至少一个光学检测器可以检测波长在300nm至800nm的范围内的目标辐射。至少一个光学检测器可以检测波长在300nm至1300nm的范围内的目标辐射。
在本公开中，至少一个照明源可以产生电磁辐射(“照明源辐射”)。照明源辐射可以包括至少一个波(“照明波”)。照明源辐射可以包括至少两个照明波。每个照明波可以具有不同的波长。至少一个照明源可以直接照射目标。在这种配置中，在照明源和目标之间没有光学部件。至少一个照明源可以间接地照射目标。在这种配置中，在照明源和目标之间存在至少一个光学部件。照明源可以通过同时发射所有照明波来以每个照明波长照射目标。照明源可以通过顺序地发射所有照明波来以每个照明波长照射目标。
在本公开中，照明源可以包括相干电磁辐射源。相干电磁辐射源可以包括激光器、二极管、双光子激发源、三光子激发源或其组合。
在本公开中，照明源辐射可以包括波长在300nm至1300nm的范围内的照明波。照明源辐射可以包括波长在300nm至700nm的范围内的照明波。照明源辐射可以包括波长在690nm至1300nm的范围内的照明波。例如，照明源可以是能够生成在300nm至700nm的范围内的电磁辐射的单光子激发源。例如，这样的单光子激发源可以生成电磁辐射，该电磁辐射可以包括具有约405nm、约458nm、约488nm、约514nm、约554nm、约561nm、约592nm、约630nm或其组合的波长的波。在另一个示例中，该源可以是双光子激发源，其能够生成在690nm至1300nm的范围内的电磁辐射。这种激发源可以是可调谐激光器。在又一个示例中，该源可以是能够生成在300nm至1300nm的范围内的电磁辐射的单光子激发源和双光子激发源。例如，这样的单光子激发源可以生成电磁辐射，该电磁辐射可以包括具有约405nm、约458nm、约488nm、约514nm、约554nm、约561nm、约592nm、约630nm或其组合的波长的波。例如，这种双光子激发源能够生成在690nm至1300nm的范围内的电磁辐射。这种双光子激发源可以是可调谐激光器。
在本公开中，照明源辐射的强度可以不高于特定水平，使得当照射目标时，目标不被照明源辐射损坏。
在本公开中，高光谱成像***可以包括显微镜。显微镜可以是任何显微镜。例如，显微镜可以是光学显微镜。任何光学显微镜都可以适用于该***。光学显微镜的示例可以是双光子显微镜、单光子共焦显微镜或其组合。双光子显微镜的示例公开于AlbertoDiaspro的“共聚焦和双光子显微镜：基础、应用和进展(Confocal and Two-PhotonMicroscopy:Foundations,Applications and Advances)”，Wiley-Liss,New York，2021年11月；以及Greenfield Sluder和David E.Wolf的“数字显微镜(Digital Microscopy)”第4版,学术出版社(Academic Press)，2013年8月20日。这些出版物中的每一个的全部内容通过引用并入本文。
图15示出了包括荧光显微镜100的示例性光学***。该示例性光学***可以包括至少一个光学部件。在该***中，光学部件可以包括照明源101、分色镜/分束器102、第一光学透镜103、第二光学透镜104和检测器106。这些光学部件可以构成荧光显微镜100。该示例性***可适于形成目标105的图像。该源可以产生照明源辐射107。分色镜/分束器102可以反射照明波以照射目标105。结果，目标可以发射电磁辐射(例如，荧光)108并且将照明源辐射107反射回去。分色镜/分束器102可以过滤来自目标的照明源辐射，并且可以基本上防止从目标反射的照明源辐射到达检测器。通过使用本公开的***特征/配置，通过使用这些光学部件的目标的检测到的图像和目标辐射的测量到的强度可以生成目标的解混彩色图像。例如，可以通过使用图22至图23中示意性示出的***特征/配置中的任何一个来生成目标的解混彩色图像。
图16示出了包括多照明波长显微镜200的示例性光学***。该示例性光学***可以包括至少一个光学部件。在该***中，光学部件可以包括照明源101、分色镜/分束器102、第一光学透镜103、第二光学透镜104和检测器106。这些光学部件可以构成高光谱成像***，其包括荧光显微镜、反射显微镜或其组合。该示例性***可适于形成目标105的图像。照明源可以产生包括多个波的照明源辐射，其中每个波可以具有不同的波长。例如，在该示例中，照明源可以生成包括各自具有不同的波长的两个波201和202的照明源辐射。源可以以每个波长顺序地照射目标。分色镜/分束器102可以反射照明源辐射以照射目标105。结果，目标可以发射电磁辐射波和/或可以反射回电磁辐射波。在一个示例中，分色镜/分束器102可过滤来自目标的电磁辐射，并且可基本上允许所发射的辐射到达检测器，并且基本上防止从目标反射的照明源辐射到达检测器。在另一个示例中，分色镜/分束器102可以仅透射来自目标的反射波，但是基本上过滤来自目标的发射波，从而仅允许来自目标的反射波到达检测器。在又一个示例中，分色镜/分束器102可以透射来自目标的反射辐射和发射辐射，从而仅允许来自目标的反射辐射和反射辐射两者到达检测器。在该示例中，多个波可以到达检测器，每个波具有不同的波长。例如，到达检测器的电磁辐射可以具有两个波203和204，每个波具有不同的波长。通过使用本公开的***特征/配置，通过使用这些光学部件的目标的检测到的图像和目标辐射的测量到的强度可以生成目标的解混彩色图像。例如，可以通过使用图22至图23中示意性示出的***特征/配置中的任何一个来生成目标的解混彩色图像。
图17中示出了包括多波长检测显微镜300的另一示例性高光谱成像***。该示例性高光谱成像***可包括至少一个光学部件。在该***中，光学部件可以包括第一光学透镜103、色散光学器件302和检测器阵列304。这些光学部件可以形成包括荧光装置、反射装置或其组合的高光谱成像***。该示例性***可适于形成目标105的图像。目标可以发射电磁辐射波301和/或可以反射电磁辐射波301。在该示例中，至少一个波或至少两个波可以到达检测器阵列。每个波可以具有不同的波长。色散光学器件302可以形成光谱色散的电磁辐射303。通过使用本公开的***特征/配置，通过使用这些光学部件的目标的检测到的图像和目标辐射的测量到的强度可以生成目标的解混彩色图像。例如，可以通过使用图22至图23中示意性示出的***特征/配置中的任何一个来生成目标的解混彩色图像。
图18中示出了包括多波长检测显微镜400的另一示例性高光谱成像***。该示例性高光谱成像***可包括至少一个光学部件。在该***中，光学部件可以包括照明源101、分色镜/分束器102、第一光学透镜103、色散光学器件302和检测器阵列304。这些光学部件可以形成包括荧光装置的高光谱成像***。该示例性***可适于形成目标105的图像。照明源可以产生包括至少一个波107的照明源辐射。每个波可以具有不同的波长。源可以以每个波长顺序地照射目标。分色镜/分束器102可以反射照明波以照射目标105。结果，目标可以发射电磁辐射波。分色镜/分束器102可以基本上允许发射波301到达检测器阵列，但是可以过滤目标辐射，并且由此基本上防止从目标反射的波到达检测器阵列。在该示例中，到达检测器阵列的发射辐射可以包括多个波，每个波具有不同的波长。色散光学器件302可以形成光谱色散的电磁辐射303。通过使用本公开的***特征/配置，通过使用这些光学部件的目标的检测到的图像和目标辐射的测量到的强度可以生成目标的解混彩色图像。例如，可以通过使用图22至图23中示意性示出的***特征/配置中的任何一个来生成目标的解混彩色图像。
图19中示出了包括多照明波长和多波长检测装置500的另一示例性高光谱成像***。示例性高光谱成像***可包括至少一个光学部件。在该***中，光学部件可以包括照明源101、分色镜/分束器102、第一光学透镜103、色散光学器件302和检测器阵列304。这些光学部件可以形成高光谱成像***，其包括荧光显微镜、反射显微镜或其组合。该示例性***可适于形成目标105的图像。源可以生成包括多个波的照明波，其中每个波可以具有不同的波长。例如，在该示例中，照明源可以生成包括各自具有不同的波长的两个波201和202的照明源辐射。照明源可以以每个波长顺序地照射目标。分色镜/分束器102可以反射照明辐射以照射目标105。结果，目标可以发射和/或可以反射回电磁辐射。在一个示例中，分色镜/分束器102可过滤来自目标的辐射，从而基本上仅允许所发射的辐射到达检测器阵列，但基本上防止从目标反射的辐射到达检测器阵列。在另一个示例中，分色镜/分束器102可以仅透射来自目标的反射波，但是基本上过滤来自目标的发射波，从而基本上仅允许来自目标的反射波到达检测器阵列。在又一个示例中，分色镜/分束器102可基本上透射来自目标的反射波和发射波两者，从而允许来自目标的反射波和反射波两者到达检测器阵列。在该示例中，到达检测器阵列的波束可以具有多个波，每个波具有不同的波长。例如，到达检测器阵列的波束可以具有两个波203和204，每个波具有不同的波长。色散光学器件302可以形成光谱色散的电磁辐射303。通过使用本公开的***特征/配置，通过使用这些光学部件的目标的检测到的图像和目标辐射的测量到的强度可以生成目标的解混彩色图像。例如，可以通过使用图22至图23中示意性示出的***特征/配置中的任何一个来生成目标的该解混彩色图像。
图20示出了包括多波长检测装置600的另一示例性光学***。该示例性光学***可以包括至少一个光学部件。在该***中，光学部件可以包括照明源101、第一光学透镜103、色散光学器件302和检测器阵列304。这些光学部件可以形成包括荧光和/或反射装置的高光谱成像***。该示例性***可适于形成目标105的图像。照明源可以产生包括至少一个波107的照明源辐射。每个波可以具有不同的波长。源可以以每个波长顺序地照射目标。因此，目标可以发射、反射、折射和/或吸收电磁辐射束203。在该示例中，到达检测器阵列的发射、反射、折射和/或吸收的束可以包括多个波，每个波具有不同的波长。色散光学器件302可以形成光谱色散的电磁辐射303。通过使用本公开的***特征/配置，通过使用这些光学部件的目标的检测到的图像和目标辐射的测量到的强度可以生成目标的解混彩色图像。例如，可以通过使用图22至图23中示意性示出的***特征/配置中的任何一个来生成目标的该解混彩色图像。
图21示出了包括多波长检测装置700的另一示例性光学***。该光学***可以包括至少一个光学部件。在该***中，光学部件可以包括照明源101、第一光学透镜103、色散光学器件302和检测器阵列304。这些光学部件可以形成包括荧光和/或反射装置的高光谱成像***。该示例性***可适于形成目标105的图像。照明源可以产生包括至少一个波107的照明源辐射。每个波可以具有不同的波长。源可以以每个波长顺序地照射目标。因此，目标可以发射、透射、折射和/或吸收电磁辐射束203。在该示例中，到达检测器阵列的发射、透射、折射和/或吸收的电磁辐射可以包括多个波，每个波具有不同的波长。色散光学器件302可以形成光谱色散的电磁辐射303。通过使用本公开的***特征/配置，通过使用这些光学部件的目标的检测到的图像和目标辐射的测量到的强度可以生成目标的解混彩色图像。例如，可以通过使用图22至图23中示意性示出的***特征/配置中的任何一个来生成目标的该解混彩色图像。
在本公开中，图像形成***30可以包括控制***40、硬件处理器50、存储器***60、显示器70或其组合。图14示出了示例性图像形成***。该控制***可以是任何控制***。例如，控制***可以控制光学***。例如，控制***可控制光学***的至少一个光学部件。例如，控制***可以控制至少一个光学检测器以检测目标辐射，检测每个目标波的强度和波长，将每个目标波的检测到的强度和波长传输到图像形成***，并且显示目标的解混彩色图像。例如，控制***可以控制光学部件的运动，例如，光学快门的打开和关闭、反射镜的运动等。硬件处理器可以包括微控制器、数字信号处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立栅极或晶体管逻辑、分立硬件部件、或被设计为执行本文描述的功能的其任何组合。在实施例中，本文讨论的所有处理由一个或多个硬件处理器执行。例如，硬件处理器可以形成目标图像、执行相量分析、执行强度光谱的傅立叶变换、应用去噪滤波器、形成相量平面、映射回(一个或多个)相量点、分配任意(一个或多个)颜色、生成目标的解混彩色图像等、或其这样的配置的组合。存储器***可以是任何存储器***。例如，存储器***可以接收并存储来自硬件处理器的输入。这些输入例如可以是目标图像、目标辐射、强度光谱、相量平面、目标的解混彩色图像等、或者这些配置的组合。例如，存储器***可以向图像形成***的其他部件(例如，向处理器和/或显示器)提供输出。这些输出例如可以是目标图像、目标辐射、强度光谱、相量平面、目标的解混彩色图像等、或者这些配置的组合。显示器可以是任何显示器。例如，显示器可以显示目标图像、强度光谱、相量平面、目标的解混彩色图像等、或者这些配置的组合。图像形成***30可以经由网络与光学***20连接。在一些情况下，图像形成***30可以位于远离光学***20的服务器上。
在本公开中，图像形成***可以具有以下配置：使光学检测器检测目标辐射并将每个目标波的检测到的强度和波长传输到图像形成***。
在本公开中，图像形成***可以具有获取包括至少两个目标波的检测到的目标辐射的配置。
在本公开中，图像形成***可以具有获取包括至少两个目标波的目标辐射的配置，每个波具有强度和不同的波长。
在本公开中，图像形成***可以具有获取目标图像的配置，其中目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点。
在本公开中，图像形成***可以具有使用检测到的目标辐射形成目标的图像(“目标图像”)的配置。目标图像可以包括至少一个像素。目标图像可以包括至少两个像素。每个像素对应于目标上的一个物理点。
在本公开中，可以以任何形式形成/获取目标图像。例如，目标图像可以具有视觉形式和/或数字形式。例如，所形成/获取的目标图像可以是存储的数据。例如，所形成/获取的目标图像可以作为数据存储在存储器***中。例如，所形成/获取的目标图像可以显示在图像形成***的显示器上。例如，所形成/获取的目标图像可以是打印在纸或任何类似介质上的图像。
在本公开中，图像形成***可以具有使用每个目标波的检测到的强度和波长来形成每个像素的至少一个光谱(“强度光谱”)的配置。
在本公开中，图像形成***可以具有获取每个像素的至少一个强度光谱的配置，其中强度光谱包括至少两个强度点。
在本公开中，可以以任何形式形成/获取强度光谱。例如，强度光谱可以具有视觉形式和/或数字形式。例如，所形成/获取的强度光谱可以是存储的数据。例如，所形成/获取的强度光谱可以作为数据存储在存储器***中。例如，所形成/获取的强度光谱可以显示在图像形成***的显示器上。例如，所形成/获取的强度光谱可以是打印在纸或任何类似介质上的图像。
在本公开中，图像形成***可以具有以下配置：基于每个像素的强度光谱使用傅立叶变换将形成的每个像素的强度光谱变换为复值函数，其中，每个复值函数具有至少一个实部和至少一个虚部。
在本公开中，图像形成***可以具有以下配置：对每个复值函数的实部和虚部应用去噪滤波器至少一次，以便产生每个像素的去噪的实数值和去噪的虚数值。
在本公开中，图像形成***可以具有以下配置：通过绘制每个像素的去噪的实数值和去噪的虚数值来形成每个像素在相量平面上的一个点(“相量点”)。图像形成***可以例如通过使用其硬件部件(例如，控制***、硬件处理器、存储器或其组合)来形成相量平面。图像形成***可以显示相量平面。
在本公开中，可以以任何形式形成/获取相量点和/或相量平面。例如，相量点和/或相量平面可以具有视觉形式和/或数字形式。例如，所形成/获取的相量点和/或相量平面可以是存储的数据。例如，所形成/获取的相量点和/或相量平面可以作为数据存储在存储器***中。例如，所形成/获取的相量点和/或相量平面可以显示在图像形成***的显示器上。例如，所形成/获取的相量点和/或相量平面可以是打印在纸或任何类似介质上的图像。
在本公开中，图像形成***可以具有以下配置：基于相量点在相量平面上的几何位置，将相量点映射回目标图像上的对应的像素。在本公开中，图像形成***可以具有以下配置：基于每个相量点在相量平面上的几何位置，将相量平面映射回对应的目标图像。图像形成***可以例如通过使用其硬件部件(例如，控制***、硬件处理器、存储器或其组合)来映射回相量点。
在本公开中，可以以任何形式映射回相量点和/或相量平面。例如，映射回的相量点和/或相量平面可以具有视觉形式和/或数字形式。例如，映射回的相量点和/或相量平面可以是存储的数据。例如，映射回的相量点和/或相量平面可以作为数据存储在存储器***中。例如，映射回的相量点和/或相量平面可以显示在图像形成***的显示器上。例如，映射回的相量点和/或相量平面可以是打印在纸或任何类似介质上的图像。
在本公开中，图像形成***可以具有以下配置：基于相量点在相量平面上的几何位置，将任意颜色分配给对应的像素。
在本公开中，图像形成***可以具有基于所分配的任意颜色来生成目标的解混彩色图像的配置。
在本公开中，可以以任何形式形成解混彩色图像。例如，解混彩色图像可以具有视觉形式和/或数字形式。例如，解混彩色图像可以是存储的数据。例如，解混彩色图像可以作为数据存储在存储器***中。例如，解混彩色图像可以显示在图像形成***的显示器上。例如，解混彩色图像可以是打印在纸或任何类似介质上的图像。
在本公开中，图像形成***可以具有在图像形成***的显示器上显示目标的解混彩色图像的配置。
在本公开中，图像形成***可以具有上述配置的任意组合。
在本公开中，图像形成***可以使用傅立叶变换的至少一个谐波来生成目标的解混彩色图像。图像形成***可以至少使用傅立叶变换的第一谐波来生成目标的解混彩色图像。图像形成***可以至少使用傅立叶变换的第二谐波来生成目标的解混彩色图像。图像形成***可以至少使用傅立叶变换的第一谐波和第二谐波来生成目标的解混彩色图像。
在本公开中，去噪滤波器可以是任何去噪滤波器。例如，去噪滤波器可以是使得当应用该去噪滤波器时图像质量不受损的去噪滤波器。例如，当应用去噪滤波器时，在图像中的每个像素处检测到的电磁辐射强度可不变。合适的去噪滤波器的示例可以包括中值滤波器。
在本公开中，可以以至少一个光谱在1.2到50的范围内的信噪比形成目标的解混彩色图像。可以以至少一个光谱在2到50的范围内的信噪比形成目标的解混彩色图像。
在一个示例中，用于生成目标的解混彩色图像的高光谱成像***可包括光学***和图像形成***。光学***可以包括至少一个光学部件。至少一个光学部件可以包括至少一个光学检测器。至少一个光学检测器可以具有以下配置：检测由目标上的至少一个物理点吸收、透射、折射、反射和/或发射的电磁辐射(“目标辐射”)，目标辐射包括至少两个波(“目标波”)，每个波具有强度和不同的波长；检测每个目标波的强度和波长；并将检测到的目标辐射以及每个目标波的检测到的强度和波长传输到图像形成***。图像形成***可以包括控制***、硬件处理器、存储器和显示器。图像形成***可以具有以下配置：使用检测到的目标辐射形成目标的图像(“目标图像”)，其中，目标图像包括至少两个像素，并且其中，每个像素对应于目标上的一个物理点；使用每个目标波的检测到的强度和波长形成每个像素的至少一个光谱(“强度光谱”)；基于每个像素的强度光谱，使用傅立叶变换，将所形成的每个像素的强度光谱变换为复值函数，其中，每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部应用去噪滤波器至少一次，以便产生每个像素的去噪的实数值和去噪的虚数值；通过绘制每个像素的去噪的实数值和去噪的虚数值来形成每个像素在相量平面上的一个点(“相量点”)；基于相量点在相量平面上的几何位置，将相量点映射回目标图像上的对应的像素；基于相量点在相量平面上的几何位置，将任意颜色分配给对应的像素；基于所分配的任意颜色生成目标的解混彩色图像；并在图像形成***的显示器上显示目标的解混彩色图像。
在一个示例中，图像形成***可以具有以下配置：使光学检测器检测目标辐射并将每个目标波的检测到的强度和波长传输到图像形成***。图像形成***可以获取包括至少两个目标波的检测到的目标辐射；使用检测到的目标辐射形成目标的图像(“目标图像”)，其中，目标图像包括至少两个像素，并且其中，每个像素对应于目标上的一个物理点；使用每个目标波的检测到的强度和波长形成每个像素的至少一个光谱(“强度光谱”)；基于每个像素的强度光谱，使用傅立叶变换，将所形成的每个像素的强度光谱变换为复值函数，其中，每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部应用去噪滤波器至少一次，以便产生每个像素的去噪的实数值和去噪的虚数值；通过绘制每个像素的去噪的实数值和去噪的虚数值来形成每个像素在相量平面上的一个点(“相量点”)；基于相量点在相量平面上的几何位置，将相量点映射回目标图像上的对应的像素；基于相量点在相量平面上的几何位置，将任意颜色分配给对应的像素；基于所分配的任意颜色生成目标的解混彩色图像。该图像形成***可以具有在图像形成***的显示器上显示目标的解混彩色图像的进一步配置。
在另一示例中，图像形成***可以具有以下配置：获取包括至少两个目标波的目标辐射，每个波具有强度和不同波长；形成目标图像，其中目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点；使用每个目标波的强度和波长形成每个像素的至少一个强度光谱；基于每个像素的强度光谱，使用傅立叶变换将所形成的每个像素的强度光谱变换为复值函数，其中，每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部应用去噪滤波器至少一次，以便产生每个像素的去噪的实数值和去噪的虚数值；通过绘制每个像素的去噪的实数值和去噪的虚数值来针对每个像素形成一个相量点；基于相量点在相量平面上的几何位置，将相量点映射回目标图像上的对应的像素；基于相量点在相量平面上的几何位置，将任意颜色分配给对应的像素；基于所分配的任意颜色生成目标的解混彩色图像。该图像形成***可以具有在图像形成***的显示器上显示目标的解混彩色图像的进一步配置。
在另一示例中，图像形成***可以具有以下配置：获取目标图像，其中目标图像包括至少两个像素，并且其中每个像素对应于目标上的一个物理点；获取每个像素的至少一个强度光谱，其中强度光谱包括至少两个强度点；基于每个像素的强度光谱，使用傅立叶变换将每个像素的强度光谱变换为复值函数，其中，每个复值函数具有至少一个实部和至少一个虚部；对每个复值函数的实部和虚部应用去噪滤波器至少一次，以便产生每个像素的去噪的实数值和去噪的虚数值；通过绘制每个像素的去噪的实数值和去噪的虚数值来针对每个像素形成一个相量点；基于相量点在相量平面上的几何位置，将相量点映射回目标图像上的对应的像素；基于相量点在相量平面上的几何位置，将任意颜色分配给对应的像素；基于所分配的任意颜色生成目标的解混彩色图像。该图像形成***可以具有在图像形成***的显示器上显示目标的解混彩色图像的进一步配置。
图22示意性地示出了高光谱成像***的一个示例。在该示例中，成像***可获得目标的图像401。图像可以包括至少两个波和至少两个像素。***可以使用每个波的强度(“强度光谱”)402来形成目标的图像。该***可以通过使用傅立叶变换来变换每个像素的强度光谱403，从而基于每个像素的检测到的强度光谱形成复值函数。每个复值函数可以具有至少一个实部404和至少一个虚部405。***可以对每个复值函数的实部和虚部应用去噪滤波器406至少一次。***由此可以获得每个像素的去噪的实数值和去噪的虚数值。***可以绘制每个像素的去噪的实数值和去噪的虚数值。***由此可以在相量平面上形成点407。***可以通过使用图像的至少又一个像素来形成相量平面上的至少一个附加点。***可以基于相量平面上的至少一个点的几何位置来选择相量平面上的至少一个点。***可以将相量平面上的选定点映射回408目标的图像上的对应的像素，并且可以将颜色分配给对应的像素，并且其中基于相量平面上的点的几何位置来分配颜色。结果，***由此可以生成目标的解混彩色图像409。
图23示意性地示出了高光谱成像***的另一示例。在该示例中，高光谱成像***还包括至少一个检测器106或检测器阵列304。该成像***可以通过使用检测器或检测器阵列来形成目标的图像401。图像可以包括至少两个波和至少两个像素。***可以使用每个波的强度(“强度光谱”)402来形成目标的图像。该***可以通过使用傅立叶变换403来变换每个像素的强度光谱，从而基于每个像素的检测到的强度光谱形成复值函数。每个复值函数可以具有至少一个实部404和至少一个虚部405。***可以对每个复值函数的实部和虚部应用去噪滤波器406至少一次。***由此可以获得每个像素的去噪的实数值和去噪的虚数值。***可以绘制每个像素的去噪的实数值和去噪的虚数值。***由此可以在相量平面上形成点407。***可以通过使用图像的至少又一个像素来形成相量平面上的至少一个附加点。***可以基于相量平面上的至少一个点的几何位置来选择相量平面上的至少一个点。***可以将相量平面上的选定点映射回408目标的图像上的对应的像素，并且可以将颜色分配给对应的像素，并且其中基于相量平面上的点的几何位置来分配颜色。结果，***由此可以生成目标的解混彩色图像409。
在本公开中，目标可以是任何目标。目标可以是具有特定颜色光谱的任何目标。例如，目标可以是组织、荧光遗传标记、无机目标或其组合。
在本公开中，可以通过使用参考来校准***，以向每个像素分配颜色。该参考可以是任何已知的参考。例如，参考可以是任何参考，其中在生成目标的解混彩色图像之前，确定参考的解混彩色图像。例如，参考可以是物理结构、化学分子、生物分子、作为物理结构变化和/或疾病的结果的生物活性(例如，生理变化)。
在本公开中，目标辐射可以包括荧光。适于荧光检测的高光谱成像***可以包括光学滤波***。光学滤波***的示例是：第一光学滤波器，其用于基本上降低到达检测器的源辐射的强度。第一光学滤波器可以放置在目标和检测器之间。第一光学滤波器可以是任何光学滤波器。第一光学滤波器的示例可以是二向色滤波器、分束器型滤波器或其组合。
在本公开中，适于荧光检测的高光谱成像***还可包括第二光学滤波器。第二光学滤波器可以放置在第一光学滤波器和检测器之间，以进一步降低到达检测器的源辐射的强度。第二光学滤波器可以是任何光学滤波器。第二光学滤波器的示例可以是陷波滤波器、有源滤波器或其组合。有源滤波器的示例可以是自适应光学***、声光可调谐滤波器、液晶可调谐带通滤波器、法布里珀罗干涉滤波器或其组合。
在本公开中，可以通过使用参考材料来校准高光谱成像***，以向每个像素分配颜色。参考材料可以是任何已知的参考材料。例如，参考材料可以是任何参考材料，其中在生成目标的解混彩色图像之前，确定参考材料的解混彩色图像。例如，参考材料可以是物理结构、化学分子(即化合物)、作为物理结构变化和/或疾病的结果的生物活性(例如，生理变化)。该化合物可以是任何化合物。例如，化合物可以是生物分子(即，化合物)。
在本公开中，高光谱成像***可用于诊断任何健康状况。例如，高光谱成像***可以用于诊断任何哺乳动物的任何健康状况。例如，高光谱成像***可用于诊断人类的任何健康状况。健康状况的示例可以包括疾病、先天性畸形、障碍、创伤、损伤、溃疡、脓肿等。健康状况可以与组织有关。组织可以是任何组织。例如，组织可以包括皮肤。与皮肤或组织相关的健康状况的示例可以是皮肤损伤。皮肤损伤可以是任何皮肤损伤。皮肤损伤的示例可以是皮肤癌、疤痕、痤疮形成、疣、创伤、溃疡等。皮肤或组织的健康状况的其他示例可以是组织或皮肤的组成(makeup)，例如组织或皮肤的湿度水平、油性、胶原含量、毛发含量等。
在本公开中，目标可以包括组织。高光谱成像***可以显示组织的解混彩色图像。健康状况可引起组织的化学组成的差异。该化学组成可以涉及化学化合物，诸如血红蛋白、黑色素、蛋白质(例如胶原)、氧水等或其组合。由于组织的化学组成的差异，受健康状况影响的组织的颜色可能看起来与未受健康状况影响的组织的颜色不同。由于这种颜色差异，可以诊断组织的健康状况。高光谱成像***因此可以允许用户诊断例如皮肤状况，而不管房间照明和皮肤色素沉着水平如何。
例如，当电磁辐射传播通过组织时，递送到生物组织的照明源辐射可能经历来自生物结构的不均匀性的多次散射以及存在于组织中的诸如血红蛋白、黑色素和水的化合物的吸收。例如，组织的吸收、荧光和散射特性可以在疾病的进展期间改变。因此，例如，由本公开的高光谱成像的光学检测器检测到的来自组织的反射光、荧光和透射光可以携带关于组织病理的定量诊断信息。
健康状况的诊断可以由包括医生、医务人员或消费者的任何用户执行。
通过使用高光谱成像***获得的诊断信息可以确定组织的健康状况。这样，例如，在手术或治疗之前、期间和/或之后，该诊断信息可以改善患者的临床结果。例如，该高光谱成像***可用于通过确定例如患者组织的健康状况来跟踪患者的健康随时间的演变。在本公开中，患者可以是任何哺乳动物。例如，哺乳动物可以是人。
在本公开中，以上公开的参考材料可以用于健康状况的诊断中。
在本公开中，包括HySP的高光谱成像***可应用傅立叶变换以将在光谱上收集的所有光子转换成二维(2D)相量图(“密度图”)中的一个点。与线性解混方法相比，降低的维数可以在低SNR体系中很好地执行，其中每个通道的误差可以对拟合结果有贡献。在任何成像***中，在时间间隔期间由染料发射的光子的数量可以是随机(泊松)过程，其中信号(总数字计数)可以按所获取的光子的平均数量N缩放；并且噪声可以按N的平方根√N来缩放。荧光发射的这种泊松噪声和检测器读出噪声在较低的光水平下可能变得更显著。首先，可定量评估HySP图上的误差。然后，该信息可用于开发降噪方法以证明包括HySP的高光谱成像***是用于在低SNR体系中解析(resolve)体内的时间推移高光谱荧光信号的稳健***。
以下特征也在本公开的范围内。
对于数据集中的每个像素，其归一化光谱的傅立叶系数可以定义其相量点(z(n))的坐标，其中n是谐波数(下面的等式1)。这里的正弦和余弦变换可以用于保证两个归一化的相同光谱产生相同的相量点(图1b，插图)。当这些变换被应用于实际数据时，***(例如，包括显微镜的***)可能具有可能影响相量点的准确坐标的多个噪声源。每个光谱段中的泊松和检测器噪声可能导致相量图上的点的分散，这在下文中被称为分散误差(std{z(n)})。此外，受损的SNR和信号饱和可能改变分散分布本身的平均位置，这在下文中被称为移位平均误差。
当在相量图上表示相同荧光团的多次测量时，可以在光谱的预期特征ze(n)周围观察到分散误差，并且可以将其视为ze(n)周围的相量点的标准偏差(图1c)。移位平均误差可能是由于降低的SNR、不适当的黑电平设置或不适当的增益设置(饱和)而导致的退化的光谱形状的结果。根据***的设置，相量图上的平均特征位置可以从其预期位置ze(n)移位平均误差的量(图1d)。结合起来，这两个误差可以分散在相量图上的正确位置ze(n)周围的点。
实验中的光子计数可以帮助量化对任一形式的误差的界限的估计。大多数显微镜上的检测器(特别是商业多光谱共焦***)可以记录模拟信号而不是光子计数。对于包括这种显微镜的***，可以实现在模拟模式下记录的强度值方面对这些误差的定量估计。
为了开发用于估计两个误差源对相量图的贡献的实验方法，记录了在不同获取参数下在配备有并行多通道光谱检测器的商业共焦显微镜上的荧光素的发射光谱(表1，如下所示)。
表1、荧光素成像的参数。
基于本公开中使用的变换且通过传播统计误差，可得到分散误差std{z(n)}。它可以与总数字计数N的平方根成反比缩放(下面的等式2)。实验数据证实，对于显微镜设置的标准范围内的不同获取参数，分散误差与√N成反比缩放(图1e，图4a)。此外，等式2中的比例常数取决于获取中使用的检测器增益(图5e和表2，如下所示)。
表2、用于计算相量图上的分散误差的曲线的比例常数。
| 增益(A.U.) | 斜率 | |z(n)| | 比例常数 |
| 700 | 1.35 | 0.43 | 3.14 |
| 750 | 1.8 | 0.437 | 4.12 |
| 800 | 2.34 | 0.437 | 5.36 |
| 850 | 3.03 | 0.443 | 6.83 |
| 900 | 3.89 | 0.446 | 8.72 |
| 950 | 4.79 | 0.45 | 10.65 |
检测器散粒噪声可以与增益成比例[22]，并且分散误差凭经验示出了该特性(图5d至图5e)。给定利用不同的显微镜设置测量的相同归一化光谱，具有较高增益值的光谱可能具有较高分散误差。然而，对于不同的成像参数，光谱特征的预期位置|ze(n)|可以在总数字计数的大范围上保持恒定(图5a至图5c)。
光谱的移位平均的变化。相量图可以依赖于像素的归一化光谱来确定坐标。然而，信号饱和和非常低的光子计数(低信噪比(SNR))两者都可能导致不相同的归一化光谱(图1b，插图)。这可以改变在总数字计数的极值处的|z(n)|的值(图4a至图4c)。在低SNR下，信号可能无法与噪声区分开。在非常高的SNR下，对应于检测器上的饱和值的几个波长的相同强度值(图1b，插图)可以再次致使光谱不提供有用信息。在任一情况下，相量点可以移动到更靠近原点，从而导致|z(n)|的低值。在恒定范围内(图4a至图4e)，|z(n)|的值对三个参数(即，检测器增益、功率和像素停留时间)中的检测器增益值的变化最敏感(图4a至图4c)。
用于测量的检测类型可能影响相量上的误差。在任何成像***中，在时间间隔期间由染料发射的光子的数量可以是随机(泊松)过程，其中信号可以与所获取光子的平均数量N成比例缩放，并且噪声可以与√N成比例缩放。通常，噪声的源可以包括源自(i)信号光、(ii)背景光和(iii)暗电流的散粒噪声。
在实验中，模拟检测器用于所有测量。典型的光电倍增管(PMT)可以测量由光子撞击在其光电阴极处引起的在阳极处的电子脉冲。这些脉冲可以被单独地计数，并且可以作为给定间隔中的平均光电流被计数，从而分别允许操作的数字(光子计数)模式和模拟模式两者。虽然来自信号和背景光的噪声(泊松)对于模拟计数和数字计数两者可保持相同，但来自暗电流的散粒噪声可在两种模式中变化。暗电流可以由具有典型脉冲高度分布的热电子组成，在光子计数中，可以使用脉冲高度鉴别器从信号中稳健地鉴别出热电子，并且因此将其消除。在模拟模式中，平均脉冲还可包含导致较高噪声的暗电流。与模拟模式相比，数字模式中的信噪比(SNR)可以改进。另外，光子计数模式可以在低信号电平下更好地执行，以便避免两个光子同时到达。模拟模式可以在大范围的光子水平内操作。
出于HySP的目的，傅立叶变换可以将在光谱上收集的所有光子转换成相量图中的一个点。在光子计数模式中，由于在低信号水平下相较于模拟模式改进了的SNR，可期望进一步增强HySP性能。
光谱特征的可重复性可能对移位平均误差(对特征识别(fingerprinting)的质量的度量)具有两个主要影响。首先，由于它可以是|ze(n)|的函数，因此该误差在除了极值计数值之外的数字计数的大范围内可以保持低于5％(图1f)。类似于分散误差，在合理的范围内，它可能仅对检测器增益的变化稍微敏感。其次，两个误差的幅度的比较可以示出分散误差在相量分析中可能是主要的(图1f，插图)。因此，由于次优成像参数引起的相量点中的任何移位可能被掩埋在分散内。
因为分散误差可能是HySP图上的主要误差，且相量图可将光谱维数从32减少到2，所以可通过在相量空间中直接应用滤波器以减少分散误差，来在不更改强度数据的情况下对光谱图像进行去噪。这里，应用相量空间中的去噪滤波器以减少数据中的分散误差，并且观察到特征位置|ze(n)|的显著恢复，尤其是在低信号值处。图示出了去噪可不更改预期值(ze(n))的位置(图4b至图4d)，但可减少分散误差(图4c)。重复应用去噪滤波器可以导致可通常在五次迭代之后出现的改进的稳定期。由于滤波器可以应用于相量空间中，因此它不会影响图像的强度分布(图9和图10)。
相量空间中的光谱去噪。光谱去噪可通过直接在相量空间中应用滤波器来执行。这可以保持原始图像分辨率，但是可以改进相量图中的光谱特征识别。这里应用的滤波器可以是中值滤波器。然而，其它方法也是可能的。对于给定大小的任何图像(n×m个像素)，可以获得每个像素的S和G值，从而产生S和G的尺寸为n×m的2个新的2D矩阵。由于初始的S矩阵项和G矩阵项可以具有与图像中的像素相同的索引，因此，过滤后的矩阵S*和G*可以保留几何信息。通过在相量空间中有效地使用过滤，S矩阵和G矩阵可以被视为2D图像。首先，这可以减小分散误差(即，相量图上的定位精度增加(图8a至图8b))，从而改进光谱特征识别分辨率，同时改进已经最小的移位平均误差(图8c至图8d)。对数据的影响可以是改进了不同荧光蛋白的分离(图9a至图9d)。其次，(G，S)坐标中的去噪可以保持几何形状、强度分布、以及图像被获取时的原始分辨率(图9e至图9g)。在相量空间中的有效过滤可以影响数据的光谱维度，从而实现光谱噪声的去噪而不干扰强度。
改进的信号收集(图11)和降低的不确定性可使HySP成为有吸引力的体内成像技术。细胞和组织相互作用的研究通常可能涉及在发育中的胚胎或其它生物样品的相同解剖区域内使用多个荧光标记。此外，多(高)光谱荧光的数据集大小可以比标准共焦大n倍，其中n等于所获取的带宽的数量(例如，32)。
获取了整体(whole-mount)斑马鱼胚胎的四维(x,y,z,λ)数据，并在HySP图中表示来自所有像素的光谱信息，以识别从组织到亚细胞尺度的范围的荧光团特征(表3)。
表3、用于体内成像的参数。所有数据点都是16位整数。
在相量空间中选择的点被重新映射到原始体积中并且被渲染为最大强度投影。这成功地捕获到转基因斑马鱼胚胎Gt(desm-citrine)ct122a/+和Tg(kdrl:eGFP)中的citrine(骨骼肌)和eGFP(内皮组织)的独特光谱特征[23，24](图6a，图7a)。在组织尺度上，即使在可以在相同解剖区域中以共表达为特色(图6d)的双转基因Gt(desm-citrine)ct122a/+；Tg(kdrl:eGFP)胚胎中，该方法也可以保留citrine和eGFP的各自的光谱特征(分散密度)。相量空间中的两个可容易分离的分散密度(图6c)可以清楚地区分骨骼肌中的标记与相互交叉的血管(内皮组织)中的标记。另外，通过将自发荧光作为独立的HySP特征对待，可以清楚地区分自发荧光(图10)。
用于体内成像的相量空间中的自发荧光。高光谱相量可以允许直观地识别荧光蛋白的特征。这可以被示出为用于Citrine和eGFP，但也可以用于自发荧光。细胞内的内在荧光可能是体内生物成像中已知且常见的问题。其光谱特征可能与Citrine和eGFP的光谱特征不同。当在相量图上表示为分散密度时，自发荧光与荧光蛋白相比可以具有不同的(S，G)坐标，并且可以在图的不同区域中创建集群区域(图10a)。
有效地，相量图可以将自发荧光识别为允许它被视为独立的成像通道的单独的光谱特征(图10b)。
通过在同一双转基因胚胎中用细胞核H2B-cerulean和膜定位的mCherry扩展调色板，可以桥接从组织到亚细胞尺度的间隙。HySP分析可以允许在约458nm激发下从黄色素细胞和组织自发荧光的内在信号中快速识别和分离来自Cerulean、eGFP和Citrine的信号。类似地，它可以在约561nm激发下将mCherry与背景自发荧光分离(图2)。
最后，可以扩展多维以包括获得五维(5D)数据集(x,y,z,t,λ)的时间，并且可以通过充分利用HySP改进的信号收集的优点来解决时间推移成像中的光损伤和漂白的挑战。可以针对每个激光线对双转基因斑马鱼胚胎(Tg(ubiq:membrane-Cerulea-2a-H2B-tdTomato)；Tg(kdrl:eGFP)中表达内体组分Rab9和Rab11(分别为YFP和mCherry)的融合蛋白和自发荧光(图3)中的新的血管芽成像。所使用的低激光功率(在约950nm处约5％，在约561nm处约0.15％)可以不影响多个样品(n＝3)的发育，同时允许同时研究至少七个清晰独特的组分，而不影响光敏发育。增加激光功率以改进荧光信号，导致阻挡血管发芽的光毒性增加。
利用相量的多光谱体积时间推移体内成像。当在体内执行多光谱体积时间推移时，高光谱相量可以允许减少的光损伤。在降低的信噪比下改进的解混效率(图11)可以在解决与过量光子相关的问题中起作用。
通常，当样品中存在多个荧光团时，每个荧光团可以具有最佳激发波长。然而，使用太接近的多个波长(例如，对于CFP、GFP、YFP分别为约458nm、约488nm、约514nm)用于激发而不显著影响发射光谱可能是复杂的。一种解决方案可以是用每个波长顺序地激发体积。顺序激发虽然对于防止发射光谱的重叠是最佳的，但是可能需要延长的扫描时间，并且可能导致增加的光损伤和漂白。另外，延长的扫描时间可能由于样品发育而导致运动伪像。替代选择可以是用单波长多荧光团激发。这种方法的缺点可能是最低波长荧光团的激发效率将高于样品中的其它荧光团。例如，在约458nm处，CFP的激发效率为约93％，而GFP为约62％且YFP为约10％。存在影响由每个荧光团发射的光子的实际数量的一系列因素，例如量子产率、亮度、pH和浓度。然而，通常，可以观察到来自一个荧光蛋白的较强信号和来自另一个荧光蛋白的弱信号。人们可能希望增加激光功率以试图从较弱的信号中提取更多的光子。在实验中，将约950nm(n＝2)的激光功率提高超过10％或将458nm(n＝3)的激光功率提高超过10％的效果导致由于光毒性而停止的脉管***的发育。相反的解决方案可以是处理较低噪声的信号，从而允许样品的正确发育。
高光谱相量方法可以允许在较低SNR下的改进性能，因此克服了较弱信号的问题。这个优点因此可以延续到2光子成像，其中激发效率低于1光子，并且改变激光波长可需要几秒。
因此，在上述3荧光团示例中，需要获取的体积数量可以从3减少到1。
相同的方法可以应用于不同颜色的蛋白质集群，例如一个“蓝色”集群CFP-GFP-YFP(在约458nm处激发)、第二“红色”集群mCherry-tdTomato-RFP(在约561nm处激发)、第三集群具有多个iRFP(在约630nm处激发)。
示出了多个样品的双光子多色体积时间推移成像作为具有两个颜色集群的潜在应用的示例。
作为这些5D测量的结果，观察到了Rab9和Rab11与内皮细胞(kdrl阳性)和肌肉组织有关的不同行为。具体地，在kdrl阳性细胞的引导下检测到Rab11阳性囊泡，而用rab9蛋白未观察到这种行为。本示例示出HySP如何使日益复杂的多色实验能够探询体内分子网络相互作用。
HySP可以优于其它传统的多光谱方法：光学滤波器分离和线性解混[4，6]。由于信号渗透的问题(图6b、图6e、图6f和图7)，传统的光学分离可能产生低的信号背景比(SBR)。线性解混可显著改善SBR。然而，尤其是在较低SNR下(图11)将同一样品内的来自多个内在信号(图2、图3、图6e、图6f和图9)的多个颜色分离时，HySP可提供优越的性能。减少所需信号量可以允许在时间推移成像时降低激光功率和减少光损伤。此外，使用HySP的这种约10千兆字节数据集(图2a，表3)的分析时间为约10分钟，而在同一计算机上使用线性解混的分析时间为约2.5小时。相量方法的简单性和稳健性可以提供在大样品的获取后使用HySP分析的潜力。HySP方法可以很好地被平衡(poised)以被用于体内生物过程的实时成像的情况，作为分析镶嵌(mosaic)荧光蛋白表达***的解决方案[25至27]，其具有以分钟量级的计算时间处理多维(x,y,z,λ,t)数据集的能力。
该分析示出了高光谱相量表示的稳健性、速度、去噪能力和简单性。它可以在主要由数据获取中的泊松噪声决定的精度范围内允许光谱的稳健区分。因为中值滤波可以用于处理相量空间中的光谱数据，而不改变强度数据，所以它可以提供具有基本上未受损的分辨率的去噪图像。高光谱成像***可基本上不关注成像模式，只要有足够的波长段可用于计算光谱相量的傅立叶系数即可(图13)。这些优点可以使HySP适用于从时间推移成像到细胞系分析、从荧光显微镜到文化遗产反射成像(cultural heritage reflectanceimaging)以及从发射到激发多光谱数据的各种环境。
本公开的其他示例如下。
示例
示例1、斑马鱼系(Zebrafish lines)。
如[28]所述并严格按照南加州大学实验室动物的护理和使用指南的建议培养和饲养成鱼，其中该协议得到机构动物护理和使用委员会(IACUC)的批准(许可号：12007USC)。转基因FlipTrap Gt(desm-citrine)ct122a/+系获自实验室中先前描述的筛选[23]，Tg(kdrl:eGFP)s843系由Stainier实验室提供[24]，Tg(ubiq:membrane-Cerulean-2a-H2B-tdTomato)系是通过注射含有侧面与泛素蛋白启动子相接的tol2转座因子、膜定位的cerulean的编码序列、编码Thosea asigna病毒(2a)和随后的H2B-tdTomato的核糖体跳跃肽的短序列的构建体来生成。在杂交合适的成年系(adult line)后，将获得的胚胎在蛋水(在超纯水(Milli-Q water)中的约60μg/ml的速溶海洋(Instant Ocean)和约75μg/ml的CaSO4)中在约28.5℃下培养，加入约0.003％(w/v)的1-苯基-2-硫脲(PTU)约18hpf以减少色素形成[28]。
示例2、样品制备和成像。
制备约5μM荧光素(F1300，美国加州卡尔斯巴德英杰公司(Invitrogen,Carlsbad,CA)))的乙醇溶液。为了成像，将溶液转移到密封的10mm玻璃底皿(P35G-1.5-10-c，MatTek公司，Ashland，MA，USA)中，并安装在倒置共焦显微镜中。在具有QUASAR检测器的蔡司的LSM780倒置共焦显微镜(德国，耶拿，卡尔蔡司)上进行成像。典型的数据集由32个图像组成，每个图像的大小为512×512个像素，对应于从约410.5nm到约694.9nm的不同波长，带宽为约8.9nm。使用C-Apochromat 40x/1.20W Korr蔡司的物镜在任何给定的成像参数下重复测量10次。用约488nm激光在不同的获取参数下对荧光素成像(表1)。
为了体内成像，将适当阶段的5至6个斑马鱼胚胎放置在约1％琼脂糖(目录No.16500-100,InvitrogenTM)模具中，该模具是使用自定义设计的负塑料模具在具有#1.5盖玻片底的成像皿(目录No.D5040P,WillCo Wells)中创建而成[29]。通过加入约2ml的约1％UltraPureTM低熔点琼脂糖(目录No.16520-050,InvitrogenTM)溶液固定胚胎，该溶液在具有约0.003％PTU和约0.01％三卡因(Tricaine)的约30％Danieau(在水中的约17.4mM的NaCl、约210μM的KCl、约120μM的MgSO4·7H2O、约180μM的Ca(NO3)2、约1.5mM的HEPES缓冲液，pH约7.6)中制备。然后将该溶液加入到已经放置在模具中的胚胎的顶部。在室温下(1分钟至2分钟)固化琼脂糖后，在约28.5℃下，用约30％的Danieau溶液和约0.01％的三卡因填充成像皿。随后，通过将培养皿适当地定位在显微镜载物台上，在倒置共焦显微镜上进行成像。通过将Gt(desm-citrine)ct122a/+与Tg(kdrl:eGFP)鱼杂交，获得样品，以进行双色成像。具有四种荧光蛋白的样品由相同的杂交产生，随后每个胚胎注射约100pg的编码有H2B-cerulean和membrane-mCherry的mRNA。Gt(desm-citrine)ct122a/+；Tg(kdrl:eGFP)的样品用约488nm激光成像以激发Citrine和eGFP两者以及窄的约488nm的二向色性以分离激发和荧光发射。具有H2B-cerulean和membrane-mCherry标记的Gt(desm-citrine)ct122a/+；Tg(kdrl:eGFP)的样品用约458nm激光成像，以用约488nm的二向色性激发Cerulean、eGFP和Citrine，随后用约561nm激光以用约458nm至561nm的二向色性激发mCherry。
对于体内时间推移成像，使用用于允许培育的约0.5％低熔点琼脂糖(与上述相同)并使用约0.003％PTU和约0.01％三卡因，将适当阶段的5至6个斑马鱼胚胎固定在具有#1.5盖玻片底的成像皿中。随后，在约28.5℃下，在相同的共焦双光子倒置显微镜上进行成像。每小时向成像皿中加入蛋水溶液以确保样品的适当水合。通过将Tg(kdrl:eGFP)与Tg(ubiq:membrane-Cerulean-2a-H2B-tdTomato)斑马鱼杂交，接着每个胚胎注入约120pg和约30pg的分别编码有Rab9-YFP和Rab11-mCherry的mRNA，获得具有五种荧光蛋白的样品。使用约950nm以用760+带通滤波器激发Cerulean、eGFP、YFP和(弱)tdTomato，随后使用约561nm激光以用约458nm至561nm的二向色性激发mCherry和tdTomato，来获取体积数据。
表3提供了用于本工作中呈现的所有图像的成像参数的详细描述。
示例3、相量分析
变换：
对于数据集中的每个像素，其归一化光谱的傅立叶系数定义其相量点(z(n))的坐标：
z(n)＝G(n)+iS(n)，其中，且
其中λs和λf分别是开始波长和结束波长；I是强度；ω＝2π/τs，其中，τs＝光谱通道的数量(例如，32个)，n是谐波(例如，2)。
相量图上的分散误差：
分散误差与光子数量N的平方根成反比：
该比例已经导出如下。假设在共焦模拟模式下检测到的数字水平的数量与收集的光子的数量成正比，将记录的总信号强度(通过光谱曲线下的面积获得的数字计数)定义为N的量度[20]。这意味着：
基于等式1和通过统计误差的传播，知道：
其中std和Var分别表示标准偏差和方差。这可以进一步简化为：
由于std{数字计数}∝√N：
从上文可以看出，第二项占主导地位，因此：
类似地：
因此：
相量图上的移位平均误差：
基于光谱的期望值(ze(n))和真实表示(z0(n))，可以写出：
其中，<.>表示用于计算各个量的平均值。该表达式被定义为移位平均误差。进一步地：
其中，是两个相量点之间的相位差。从上文可以看出，移位平均误差仍然限制为：
此外，还可以定义归一化移位平均误差如下：
在该分析中，由于其分散误差的较低值，在约850增益和约21％激光功率下以约177μs像素停留时间获取数据集作为荧光素光谱的真实表示。然而，关于移位平均误差的行为的一般结论保持相同，而与z0(n)的值无关。
相量分析中的谐波数：
通常，相量图被限制为使用光谱轮廓的傅立叶表示的第一谐波或第二谐波来确定光谱特征。这可能是由于在与可能不容易可视化的大于2的谐波的表示相对应的复平面中的黎曼表面中存在分支点。基于等式1，将残差(ρ(n))计算为除了与所选择的谐波数(n)相对应的系数之外的所有傅立叶系数的绝对和与第n傅立叶系数的绝对值之比。
因此：
对于典型的荧光光谱(诸如这里的荧光素发射光谱)，1和2仍是主要的谐波数，因为这些的残差比其它谐波的残差小至少一个数量级(图5f)。此外，残差值的波动可以取决于正在被分析的光谱的确切性质。然而，这样的方法可以在每次进行相量分析时很容易地实现，并且可以允许对用于任何记录的光谱的谐波数的选择的快速验证。
示例4、去噪
对于给定大小(n×m个像素)的任意图像，获得每个像素的S值和G值，从而生成S和G的尺寸为n×m的2个新的2D矩阵。在对这两个矩阵进行过滤时，可以获得每个像素的新的值S*和G*。由于初始S矩阵和G矩阵具有与图像中的像素相同的索引，因此，经过滤的矩阵S*和G*保留了几何信息。
使用Matlab脚本，利用上面公开的等式分析荧光素数据。通过使用如上文所公开的高光谱成像***来记录大的斑马鱼显微镜数据集。线性解混通过使用Zen软件(德国，耶拿，蔡司)来完成。
示例5、经光谱编码的增强表示(SEER)
在该示例中，呈现了经光谱编码的增强表示(SEER)，一种用于高光谱(荧光)图像的多个光谱分量的改进的且计算高效的同时颜色可视化的方法。利用相量方法的数学性质，将波长空间变换成用于RGB显示可视化的信息丰富的颜色图(color map)。
呈现了多个生物荧光样品，并且突出显示SEER对特定和细微的光谱差异的增强，提供了在收集、预处理和分析期间解释高光谱图像的快速、直观和定量的方式。
本公开的方法基于这样的信念：保留大多数光谱信息和增强相关像素之间的光谱特性的区别，将提供用于理解生物***的理想平台。挑战是开发允许多维数据集的有效可视化的工具，而无需在分析之前进行计算要求的降维，诸如ICA。
在这个工作中，本公开基于相量(相位向量)构建图。相量方法具有从其性质得到的多个优点。在将每个像素处的光谱变换为其傅立叶分量之后，将所得到的复数值表示为2维直方图，其中，轴表示实部和虚部。这种直方图的优点在于，从光谱角度提供图像中的像素的统计和分布的代表性显示，从而简化了独立荧光团的识别。图像中具有相似光谱的像素在相量图上生成集群。虽然这种表示在整个图像上是累积的，但是相量图上的每个单个点容易重新映射到原始荧光图像。
利用相量方法的优点，高光谱相量(HySP)使得能够在类似的着色的区域在相量图上聚集时半自动地分析5D高光谱时间推移数据。这些集群已经被表征和利用，以简化数据的解释和空间无损去噪，从而改进低信号条件下的收集和分析。相量分析通常借助于几何选择器来研究光谱特征的2d直方图，这是有效的策略，但是需要用户参与。虽然能够对多个标记成像并且将不同的光谱贡献分离为集群，但是这种方法内在地受限于能够同时分析和显示的标记的数量。现有技术直接利用相位和调制来量化、分类和表示荧光寿命和图像相关光谱数据内的特征。本公开的方法不同于先前的实施方式，因为它替代性地集中于提供大的高光谱数据的定量构建的、整体的预处理可视化。
本公开提出的解决方案从整个相量和图像两者中提取以重构数据及其内在光谱信息的“一次拍摄”图。经光谱编码的增强表示(SEER)是基于维数减缩的方法，其通过利用相量并且自动创建光谱表示的颜色图来实现。SEER的结果示出光谱性质的增强的可视化，从而表示具有可区分的伪色的不同荧光团并且定量地突出显示活体成像期间的内在信号之间的差异。SEER具有优化实验管道(experimental pipeline)的潜力，从获取期间的数据收集到数据分析，大大地提高了图像质量和数据大小。
示例6、经光谱编码的增强表示(SEER)
SEER的执行具有简单的基础。借助于参考颜色图，每个光谱基于其实数傅立叶分量和虚数傅立叶分量被分配伪色。
这个概念在图24中使用Zebrabow34胚胎数据集的示例详细说明，其中样品中的细胞表达不同比例的青色、黄色和红色荧光蛋白，导致大范围的离散光谱差异。获取数据作为高光谱体积(x，y，z，λ)(图24a)，从而提供每个体素的光谱。从多个感兴趣区域获得的光谱是复杂的，其显示了显著的重叠和比的预期差异两者(图24b)。使用标准多光谱数据集可视化方法(图24c)辨别原始获取空间内的非常相似的光谱是有挑战性的。
SEER被设计成通过完成五个主要步骤来在图像内产生可用的光谱对比度。首先，光谱数据集在一个谐波(由于黎曼表面，通常为第1谐波或第2谐波)处的正弦傅立叶变换和余弦傅立叶变换提供2D相量图的分量(图24d)。相量变换压缩并归一化图像信息，将多维数据集简化为2D直方图表示，并将其归一化到单位圆。
第二，相量图的直方图表示提供了对光谱总体分布的了解以及通过直方图段中的光谱的求和的信号的改进。具有非常相似的光谱特征的像素(例如，仅表达单个荧光团的像素)将落入相量图直方图中的同一段内。由于相量变换的线性特性，因此，如果图像像素包含两种荧光团的混合物，则其在相量图上的位置将沿着连接这两个分量的相量坐标的线成比例地分布。该步骤突出了相量表示中的段的几何形状和分布的重要性。
第三，在相量空间中执行1至2次空间无损光谱去噪，以减小光谱误差。简而言之，在正弦变换的图像和余弦变换的图像两者上都应用中值滤波器，从而减小相量图上的光谱分散误差，同时保持原始图像中的光谱的坐标(图24e)。滤波器仅影响相量空间，从而产生信号的改进。
第四，本公开设计了利用相量的几何形状的多个SEER图。对于每个段，本公开基于结合参考图的相量位置分配RGB颜色(图24f)。还可以利用多个对比度模态增强细微的光谱变化，从而将图集中在最频繁的光谱、分布的统计质心上或将颜色缩放到相量分布的极值(图24g)。
最后，基于SEER结果，重新映射原始数据集中的颜色(图24h)。这允许渲染其中光谱在视觉上不可区分的数据集(图24a至图24c)，使得即使这些细微的光谱差异也变得容易辨别(图24i)。SEER快速地产生3通道彩色图像(图31)，其近似于由更完整的光谱解混分析产生的可视化(图32)。
示例7、标准参考图
生物样品可以包括从荧光标记以及内在信号得到的大量荧光光谱成分，每个成分具有不同的特性和性质。识别和渲染这些细微的光谱差异是一个挑战。本公开发现，没有渲染足以用于所有情况，因此创建了四个专用颜色图参考，以增强具有不同光谱特性的样品中的颜色对比度。为了简化颜色图参考的测试，本公开设计了模拟的高光谱测试图(SHTC)，其中限定的区域包含从CFP、YFP和RFP斑马鱼胚胎获得的光谱。测试图的每个部分提供不同的图像对比度，其通过相对于YFP光谱使CFP和RFP光谱最大位置移位而获得(图33)。本公开在灰度图像中渲染SHTC并且用SEER进行比较(图25a)。这些表示可以被迅速地单独示出，以确定哪个表示具有最高的信息内容。
参考图被定义为调色板的组织，其中每个光谱基于其相量位置与颜色相关联。每个参考图中的颜色分布是相量图的坐标的函数。在角度图(图25b)中，色调作为角度的函数计算，当光谱在相量图上具有不同的中心波长(“相位”)时，增强了颜色的多样性。对于径向图(图25c)，本公开相对于不同的半径分配颜色，从而突出显示光谱振幅和幅度。径向位置通常与光谱的强度积分相关，其又可以取决于光谱的形状，其中零强度定位在图的原点(图34)。在本公开的模拟中(图25c)，用该图获得的颜色主要表示形状的差异，然而在具有大的动态强度范围的场景中，颜色将主要反映强度的变化，在低信噪比下变得受不相关的背景影响(图35)。在梯度上升和下降模型(图25d，图25e)中，颜色组根据角度而不同，如在角度图中看到的，颜色强度的增加的变化与半径的变化相关联。梯度图增强了与角度图类似的性质。然而，梯度上升(图25d)图更注重区分较高强度光谱，而不强调低强度光谱；而梯度下降(图25e)图则相反，突出了低强度信号中的光谱差异。这四个图的互补属性允许关于相量位置区分大范围的光谱性质的渲染。重要的是注意到，角度图和径向图的构思先前已经在各种应用和方法中使用，并且通常分别作为“相位”和“调制”引入。这里，本公开已经为本公开的高光谱荧光数据重新创建并提供这些图，作为本公开的更具适应性的图的更简单的替代。
标准参考图简化了多个荧光标记的样品之间的比较，因为调色板表示在样品之间没有变化。这些参考以相量图的原点为中心，因此它们的颜色分布保持恒定，从而将预定颜色与每个相量坐标相关联。除非通过实验条件改变荧光团的光谱，否则荧光团位置在相量图上是恒定的。标准参考图捕获不同比例的标记或标记(诸如钙指示剂)的变化的能力提供了双重优点，即：提供了快速、定量的概览以及简化了多个样品之间的比较。
示例8、张量图
SEER方法提供了一种简单的方法来评估光谱图像内的统计观察。除了四个标准参考图之外，本公开设计了张量图，其基于相对于每个图像像素周围的光谱的计数梯度来为每个图像像素重新着色(图25f)。考虑到相量图表示是实傅立叶分量和虚傅立叶分量的二维直方图，则每个直方图段的幅度是特定光谱的出现次数。张量图被计算为相邻段之间的计数梯度，并且每个结果值基于颜色图(这里本公开使用“射流(jet)”颜色图)与颜色相关联。
根据光谱出现的变化对图像重新着色，从而增强每个相量集群的光谱统计波动。出现频率的变化可以提供对数据集内的光谱的总体的动态的了解。可见的结果是一种光谱边缘检测，其在波长维度中工作，从而促进对样品中的色度变化的检测。可替代地，张量图可以帮助识别相对于样品的其余部分包含较不频繁的光谱特征的区域。这种情况的一个示例在模拟的左上象限中示出(图25f)，其中每个象限的中心部分具有不同的光谱，并且与其周围相比以较低的频率出现。
示例9、模式(缩放和变形)
本公开已经实现了两种不同的方法来改进增强光谱特性的能力：缩放模式和变形模式。
通过将标准参考图极值归一化为当前数据集的最大和最小相量坐标，有效地创建包含所有相量点的最小边界单位圆，缩放模式提供具有增加的颜色对比度的自适应图(图26b)。通过基于图像内的光谱范围调整颜色图的大小，该方法最大化渲染中表示的色调的数量。缩放模式增加了最终假色渲染的色调和对比度的差异。这些特性设定了与标准参考图(图26a)分离的缩放模式，标准参考图不断地覆盖全部相量图区域并且简化数据集之间的比较。缩放模式牺牲了这种均匀性，但是提供了光谱对比度拉伸，其根据在各个图像数据集中表示的值来改进对比度。缩放模式的边界可在不同样品上被设置为恒定值，以便于比较。
变形模式利用在图像的相量表示中捕获的数据集总体性质来增强对比度。根据相量直方图，(就直方图计数而言)最频繁的光谱特征或质心被用作SEER图的新的中心参考点。本公开将这个新计算的中心称为SEER的顶点。结果是根据数据集而改变的适应性调色板。在这种表示模式中，参考图的边缘被保持锚定到向量图圆形边界，而中心点被移位，并且内部颜色被线性扭曲(图26c，图26d)。通过移动顶点，增强了具有偏离中心的相量集群的数据集的对比度。针对模拟中的不同水平的光谱重叠和针对不同谐波，报告了标准参考图和模式的组合的完整列表(图36至图37)。在变换中使用第二谐波，补充呈现了具有非常相似的光谱的SHTC的结果(图33)，以及使用第一谐波补充呈现了具有频繁遇到的重叠水平的图像的结果(图38至图39)。在两种场景中，与标准方法(图33、图38)相比，SEER改善了多光谱数据集的可视化(图36、图37、图39、图40)。1X到5X光谱去噪滤波器的实施方式进一步增强了可视化(图41，图42)。
示例10、颜色图增强了生物样品中的不同光谱梯度
为了证明SEER及其模式的效用，本公开呈现了从未标记的小鼠组织和荧光标记的斑马鱼取得的图像的四个示例性可视化。
在活体样品中，已知许多内在分子发射荧光，包括：NADH、核黄素、类维生素、叶酸。这些内在信号对总荧光的贡献通常称为自发荧光。高光谱成像和HySP可用于减少自发荧光对图像的贡献。然而，相量的经改进的灵敏度使得自发荧光能够成为感兴趣的信号，并且允许探索其多个内源分子贡献。这里应用SEER来可视化新鲜分离的来自野生型C57Bl小鼠气管外植体的多光谱自发荧光数据。气管上皮细胞以极低的细胞更新为特征，因此总代谢活性可归因于特定细胞类型的细胞功能。棒状和纤毛细胞位于上皮细胞的顶侧，并且具有最好的代谢活性，因为它们分泌细胞因子，并且从气管内腔化学地和物理地除去吸入的毒素和颗粒。相反，在上气道中代表成人干细胞的基底细胞是静止的和代谢不活跃的。由于这种活性二分法，稳态下的气管上皮细胞构成了用于测试SEER和用FLIM成像验证的理想细胞***。由软骨环引起的气管上的轻微弯曲允许本公开在单个焦平面中可视化间充质胶原层、底上皮细胞和顶上皮细胞、以及气管内腔。
用2光子激光扫描显微镜以多光谱模式对外植体成像。本公开比较了现有技术“真彩色”图像(图27a)和SEER图像(图27b至图27c)的状态。梯度下降变形图(图27b)增强了气管样品内代谢活动的可视化，示出了当从气管气道顶面向更底部的细胞和下面的胶原纤维移动时的不同代谢状态(图27b)。相对于RGB可视化的不同实现方式来维持可视化改进(图43)。张量图增加了细胞边界的对比度(图27c)。活样品内的自发荧光的变化与NAD+/NADH的比的变化相关联，NAD+/NADH的比的变化又与游离NADH和蛋白结合NADH的比相关。尽管荧光发射光谱非常相似，但是这两种形式的NADH的特征在于不同的衰变时间(游离为0.4ns，结合为1.0ns至3.4ns)。FLIM提供了对NADH的氧化还原态和糖酵解/氧化磷酸化的灵敏测量。通过FLIM的代谢成像已经被很好地建立，并已经用于在多种动物模型、单细胞和人中表征疾病进展、以及用于区分干细胞分化和胚胎发育。
这里，虚线正方形通过SEER突出显示具有不同光谱表示的细胞，这是FLIM图像(图27d，图44)所确认的差异。
当与标准方法相比时，SEER在可视化内在信号方面的改进是清楚的。
由于内在荧光，组织中青色到橙色发射范围中的荧光团的显微成像是具有挑战性的。常见的问题是自发荧光信号渗透到感兴趣的标记的发射波长中。渗透是两个荧光团在发射和激发轮廓中重叠的结果，使得来自一个荧光团的光子落入另一个荧光团的检测范围内。虽然通过严格选择发射滤波器可以部分地减少渗透伪像，但是这需要窄的收集通道，其拒绝任何模糊的波长并且大大地降低了收集效率。当应用于广谱自发荧光时，这种策略通常证明是困难的。mKusabira-Orange2(mKO2)是一种荧光蛋白，其发射光谱与斑马鱼中的自发荧光显著重叠。在fli1:mKO2斑马鱼中，其中所有的血管和内皮细胞都被标记，荧光蛋白mKO2和由于色素和卵黄引起的自发荧光信号难以区分开(图28a，方框)。灰度渲染(图45)提供了关于样品中的多个荧光团的相对强度的信息，但不足以具体地检测mKO2信号的空间分布。真彩色表示(图28a，图46)受限于可视化这些光谱差异。SEER的角度图(图28b)提供了该4D(x，y，z，λ)数据集内的细微不同的光谱分量之间的显著对比。角度参考图增强了相量图上的相位变化，其很好地区分了样品内部光谱的中心波长的移位。来自色素细胞的自发荧光与fli1:mKO2荧光显著不同(图28c至图28h)。例如，背侧区域含有标准方法中没有明显区别的mKO2和色素细胞的组合(图28e至图28f)。角度图允许SEER区分细微的光谱差异。不同的颜色表示来自卵黄和来自色素细胞的自发荧光(图28g至图28h)，从而丰富了由该单荧光标记的样品提供的总体信息，并增强了mKO2荧光标记的泛内皮细胞的可视化。
具有多个荧光标记的生物样品的成像和可视化受到样品中的荧光团和自发荧光分子的重叠发射光谱的阻碍，使样品的可视化复杂化。利用标准方法和在1D和3D中的SEER来渲染具有分别标记肌肉、脉管***和细胞核的Gt(desm-Citrine)ct122a/+；Tg(kdrl:eGFP)；H2B-Cerulean且具有来自色素自发荧光的贡献的三重标记的斑马鱼胚胎(图29)。真彩色表示(图29a，图47)提供了关于样品的内部细节的有限信息。用青色阴影突出显示脉管***(eGFP)和细胞核(青绿色)，而自发荧光和肌肉(Citrine)用绿色阴影突出显示(图29a)，使得这两对难以区分开。样品中颜色的内在丰富度是梯度下降和径向图的理想测试。
角度图主要基于其光谱的中心(峰值)波长来分离光谱，该中心(峰值)波长对应于相量图中的“相位”差。梯度下降图分离在更靠近相量图的中心的细微光谱差异上具有偏差的光谱。这里，本公开应用质量变形和最大变形模式来进一步增强光谱的区别(图29b至图29c)。在质量变形模式下，通过增加荧光团的空间分离和抑制来自皮肤色素细胞的自发荧光的存在，肌肉轮廓和细胞核的对比度得到改进(图29e)。在最大变形模式(图29c)下，具有更接近皮肤自发荧光的光谱的像素与肌肉、细胞核和脉管***明显地分离。
SEER的增强在体积可视化中也是可见的。将角度图和梯度图应用于三重标记的4D(x，y，z，λ)数据集，并将其可视化为最大强度投影(图29D至图29f)。在质量变形角度图中荧光团的空间定位得到增强，而最大变形梯度下降图提供了皮肤色素细胞的自发荧光的更好的分离。这些差异也以不同的可视化模态来维持(图48)。
SEER有助于辨别荧光团之间的差异，即使具有来自标记之间的渗透和来自自发荧光的多种贡献。特别地，变形的图在存在细微的光谱差异的情况下显示出高灵敏度。三重标记的示例(图29)示出变形图的优点，因为它将SEER图的顶点放置在相量直方图的质心，并补偿荧光蛋白在458nm处的不同激发效率。
示例11、定量差异可以在组合方法中可视化
Zebrabow是基于不同相对量的几种遗传编码的、光谱上不同的荧光蛋白的随机和组合表达的强大的遗传细胞标记技术的结果。Zebrabow(Brainbow)策略以不同的比例组合三原色红、绿和蓝，以类似于现代显示器在视觉调色板中获得大范围的颜色。独特的颜色来自于RFP、CFP和YFP的不同比例的组合，这通过随机的Cre介导的重组来实现。
该技术已经被应用于多种应用，从轴突和谱系追踪到发育期间的细胞追踪，其中特定标记可以用作细胞标识符，以随时间和空间追踪个体细胞的后代。
挑战是获取和分析这数百种颜色之间的色调的细微差异。多光谱成像提供了改进的获取所需的附加维度；然而，这种模态受到仪器限制和光谱噪声两者的阻碍。此外，当前的图像分析和可视化方法将红色、黄色和青色荧光解释为RGB加色组合，并将其可视化为彩色图片，类似于人眼对颜色的感知。由于本公开难以可靠地识别细微不同的颜色，这种方法不能很好地区分相似但光谱上独特的重组比。
SEER通过使用本公开的基于相量的颜色解释来改进分析灵敏度来克服了这种限制。标记的重组属于相量图的不同区域，从而简化了细微差异的区分。标准参考图和模式与容易通过眼睛区分的颜色相关联，从而增强精细的光谱重组。SEER简化了组合策略的细胞之间差异的定量，从而打开了brainbow样品的新的分析窗口。
本公开对Tg(Ubi：Zebraboow)样品成像并使用SEER可视化其多个遗传重组。结果(图30、图49)突出显示了用标准方法可视化这些数据集的困难以及压缩图如何简化光谱上接近和更分离的重组两者的区别。
示例12
用于高光谱数据集的可视化的标准方法以计算开销为代价改进可视化。在这个工作中，本公开示出了相量方法可以定义计算速度和渲染性能之间的新的折衷。可以通过经由傅立叶变换实部和虚部的光谱相量图的适当的转换和表示来实现波长编码。相量表示提供了光谱信息的不费力的解释。最初开发用于荧光寿命分析，随后用于光谱应用，这里，相量方法已经用于增强多光谱和高光谱成像的可视化。由于这些基于相量的工具实现了精确的光谱辨别，因此本公开将这种方法称为经光谱增强的编码表示(SEER)。
经光谱编码的增强表示(SEER)和将光谱(x，y，λ)信息转换成视觉表示的稳健方法增强了标记之间的差异。这种方法使得光谱信息的使用更加完全。先前的分析采用波长维度的主要成分或特定光谱带。类似地，先前的相量分析使用所选择的感兴趣区域来解释相量。本公开的工作在整体上探索相量图，并将该完整信息集表示为彩色图像，同时保持效率并最小化用户相互作用。即使对于大数据量，也可以快速且高效地实现该函数，从而避开高光谱处理的典型计算开销。本公开的测试显示，SEER可以在6.6秒内处理具有1.26·108个光谱的3.7GB数据集，并且在87.3秒内处理具有1.47·109个光谱的43.88GB数据集。相比于python模块，快速独立成分分析的scikit-learn的实施方式，SEER提供高达67倍的速度增加(图31)和更低的虚拟存储器使用。这里呈现的光谱图减少了这些大数据集的维度并将颜色分配给最终图像，从而在全面分析之前提供数据的概览。图27至图30所示的多光谱荧光数据的SEER和fastICA之间的处理速度比较在表4中呈现。SEER的计算时间范围在0.44秒(图27)和6.27秒(图28)之间，其中，fastICA的对应的定时分别是3.45秒和256.86秒，根据图31所示的趋势，加速在7.9到41倍的范围内(图58)。
表4、图27至图30的处理时间比较SEERvs独立成分分析(scikit-learn实施方式)。
与诸如高斯核和峰值波长选择(图50)的其它常见可视化方法的模拟比较示出了用于在不同噪声条件下将不同颜色关联到紧密重叠的光谱的SEER的增加的精度(图51)。对于高度重叠的光谱，0nm至8.9nm光谱最大距离，精度提高为1.4倍至2.6倍，并且对于最大间隔17.8nm至35.6nm的重叠光谱，精度提高为1.5倍至2.3倍(图52至图53)。
通过色彩度(colorfulness)、对比度和锐度对RGB图像进行量化表明，SEER通常比标准可视化方法表现得更好(图58)。对于图27至图30的数据集，SEER的平均增强对于色彩度为2％至19％，对于锐度为11％至27％，对于对比度为2％至8％(表5)。然后，本公开执行颜色质量增强(CQE)的测量、彩色图像质量的人类视觉感知的度量(表6)。SEER的CQE得分高于标准，图27中的改进为11％至26％，图28中的改进为7％至98％，图29中的改进为14％至25％，图30中的改进为12％至15％(也参见图58)。
表5、针对不同可视化方法的图27至图30上的平均色彩度、对比度和锐度分数
表6、图27至图30中的数据集的颜色质量增强分数。在方法部分中报告了参数计算。
测量荧光图像中的颜色对比度
在确定用于测量与荧光图像相关的彩色图像的图像质量的客观方法时存在内在的困难。荧光图像的主要挑战在于，对于大多数荧光显微镜实验，不存在参考图像，因为存在与图像获取相关的内在不确定性。因此，任何种类的彩色图像质量评估将需要仅基于图像内的颜色分布。
这种类型的评估具有其自身的进一步挑战。尽管已经有多种被公式化以确定灰度图像中强度分布的质量的定量方法，但是用于彩色图像的这种方法仍然在争论和测试中。对于用于彩色图像的合适方法的这种缺乏主要来自于不同颜色的组成的数学表示与那些相同颜色的人类感知之间的划分。这种划分的发生是因为人类颜色感知变化很大，并且对于不同颜色是非线性的；而任何颜色的定量表示通常是基色(诸如红、绿和蓝)的线性组合。这种对颜色的非线性的人类感知与色调的概念密切相关。概括地说，色调是反射光的主波长。被感知为蓝色的色调倾向于反射在光谱左端的光，而被感知为红色的色调倾向于反射在光谱右端的光。通常，每种单独的颜色具有由其独特的光谱确定的独特的整体性状。将光谱离散化为多个分量不能完全描述颜色的原始丰富性。
用于确定RGB图像质量的当前方法通常以两种不同的方式来调整(adapt)灰度级方法。第一种方法包括在测量质量之前将三通道彩色图像转换成单通道灰度图像。第二种方法单独测量每个通道的质量，然后将这些测量与不同的权重组合。然而，这两种方法在提供与人类感知良好相关的质量值方面都面临限制。第一种方法在将彩色图像转换成灰度时丢失信息。第二种方法试图通过将彩色图像分成三个通道并单独测量它们来解释彩色图像质量的非线性人类感知。然而，颜色的内在色调大于各个分量颜色的总和，因为单独采用的每个通道不必与组合的颜色一样多彩。
更完整的颜色度量应当诸如通过测量原始的图像10和处理后的图像10之间的色彩度损失来考虑色调。总之，由于当前方法在测量色彩度上的这种限制，当前在荧光彩色图像内没有建立“对比度的真实测量”。
灵活性是本公开的方法的另一优点。用户可以应用若干不同的标准参考图来确定哪个更适合于他们的数据并且增强最重要的图像特征。所述模式通过根据数据集中的光谱的大小和分布来调整对每个数据集的参考而提供补充增强。缩放通过包围相量分布来最大化对比度，它维持色颜色图的线性度。最大和质心模式将分布的顶点移位至新的中心，特别是数据集中最频繁的光谱或整个数据集的加权“颜色频率”质心。这些模式将每个图的特定可视化性质调整并改进到当前正被分析的数据集。结果，每个图提供了对数据特定性质的提高的灵敏度，例如放大了较小的光谱差异或聚焦于主要的波长分量。通过随着强度的变化动态地改变图的顶点，可以证明SEER模式的自适应性对于在视觉上校正样品中的光漂白的效果是有利的(图54)。
SEER可以应用于荧光，如这里所执行的，或者应用于标准反射高光谱和多光谱成像。这些相量重映射工具可用于荧光寿命或者光谱和寿命成像的组合方法中的应用。对于多光谱荧光，该方法有希望用于多个荧光团的实时成像，因为其提供了用于在获取期间监测和分割荧光团的工具。活体成像可视化是SEER的另一应用。例如，梯度下降图与去噪策略相结合可以通过使得能够使用较低的激发功率来最小化光漂白和毒性。SEER克服了来源于低信噪图像(诸如内在信号自发荧光成像)的可视化和分析中的挑战。在其他复杂情况中，这样的图像数据可以导致靠近相量中心坐标的集中集群。梯度下降图克服了这种限制，并且提供了增强了暗淡图像内的细微细节的明亮和可区分的颜色。
值得注意的是，该方法通常与被压缩的维度无关。虽然在本工作中，本公开探索波长维度，但是原则上SEER可以与任何n维数据集一起使用，其中n大于二。例如，它可以用于压缩和比较多个数据集的寿命、空间或时间的维度。应当考虑的一些限制是SEER伪色表示牺牲了图像的“真彩色”，从而产生了与原始图像的人眼期望的不一致性，并且不区分源自不同的生物物理事件引起的相同信号。
新的多维、多模态仪器将更快地生成大得多的数据集。SEER提供了处理这种***式数据的能力，使得科学界能够对复用成像感兴趣。
示例13、模拟的高光谱测试图
为了说明由光学显微镜造成的泊松噪声和检测器噪声，本公开生成了模拟的高光谱测试图，其从尺寸为x:300像素、y:300像素、和λ：32个通道的真实成像数据开始。S1、S2和S3光谱分别从仅用CFP、YFP和RFP标记的斑马鱼胚胎获取，其中，图24a中的光谱与图24d的测试图的中心单元相同。在每个单元中，在相对于S2将最大值移位d1纳米或d2纳米之后，表示三个光谱。每个单元具有其对应的S1、S2和S3的光谱(图33)。
示例14、标准RGB可视化
真彩色RGB图像(图33、图38、图50)是通过为每个RGB通道生成高斯径向基函数核K而将高光谱立方体压缩到RGB3通道颜色空间中来获得的。该核K用作相似性因子，并被定义为：
其中，x'是R或B或G的中心波长。例如，当x'＝650nm时，相关联的RGB颜色空间是(R:1,G:0,B:0)。x和K都被定义为32×1向量，分别表示一个单个像素的32通道光谱以及每个R、G和B通道的归一化权重。i是两个向量的通道索引。Ki表示通道i与每个R/G/B通道的相似程度，σ是偏差参数。
本公开通过在对应通道R/G/B处的权重向量K和λ的点积来计算RGB颜色空间c：
其中λ是由具有λ模块的LSM 780反相共焦显微镜(德国，耶拿，蔡司)中的光谱检测器捕获的波长的向量，λi是通道i的中心波长。对于RGB，分别将高斯核设置为650nm、510nm、470nm作为默认值(图33s、图38、图43e、图46e、图47e、图49j)。
还将相同的高斯核自适应地改变到数据集，以在可视化上提供光谱对比度拉伸并将可视化集中在最常使用的通道上。计算并归一化整个数据集的平均光谱。获得强度在10％(图43f、图46f、图47f、图49f)、20％(图43g、图46g、图47g、图49g)和30％(图43h、图46h、图47h、图49h)处的相交并将其用作蓝色和红色通道的中心。绿色通道位于红色和蓝色的中间。在图50g、图50h、图50i中报告这些适应的表示。
使用BitPlane Imaris(英国，阿宾顿，牛津仪器公司)将真彩色32通道图像(图1c、图28a、图28c、图28e、图28g，例如，图29a、图29d、图29e、图29f、图43c、图46c、图47c、图49c)渲染为32通道最大强度投影。每个通道具有已知的波长中心(32个段，从410.5nm到694.9nm，带宽为8.9nm)。根据图50f中公开的经典波长RGB转换5，每个波长与颜色相关。基于具有最大信息的通道，对所有通道的强度进行对比度调整(Imaris显示调整设置)。将用于渲染的有意义的范围标识为数据集的归一化平均光谱的强度的最高的90％(top90％)(图43b、图46j、图47j、图49b)。该范围之外的通道被排除用于渲染。此外，对于1光子激发，与低于激光激发的波长相关的通道(例如，对于458nm激光的通道1至5)被排除在渲染之外。
峰值波长表示(图43d、图46d、图47d、图49d、图50和图52)利用与测量最大强度的波长相关联的颜色为每个像素重建RGB图像。使用python函数进行波长到RGB的转换。图50f中报告了图形表示。
图15、精度计算
本公开利用模拟的高光谱测试图来产生不同水平的光谱重叠和信噪比(SNR)。本公开利用多种RGB可视化方法来产生压缩的RGB图像(图50、图51)。模拟的每个图由三个不同的光谱构成，其被组织为三个同心正方形Q1、Q2、Q3(图33)。因此，最大对比度可视化预期具有三种充分分离的颜色。为了量化这个差异，本公开考虑每个像素中颜色归一化[0，1]的每个(R，G，B)向量作为一组欧几里得(Euclidean)坐标(x，y，z)，并且对于每个像素计算欧几里得距离：
其中，l12是正方形Q1和Q2之间的颜色距离，pQ1和pQ2是所考虑的像素中的(R，G，B)向量，i是颜色坐标R、G或B。类似地计算颜色距离Q1Q3，l13和Q2Q3。精度(图52)计算为：
其中，分母是最大的颜色距离lred-green+lred-blue.+lgreen-blue。
示例16、压缩光谱算法和图参考设计
相量计算
对于图像中的每个像素，本公开获取不同波长I(λ)处的强度序列。每个光谱I(λ)被离散傅立叶变换为复数gx，y，z，t+isx，y，z，t。这里i是虚数单位，而(x，y，z，t)表示5D数据集中的像素的空间时间坐标。
用于实部和虚部的变换是：
其中，λ0和λN分别是初始波长和最终波长，N是光谱通道的数量，Δλ是单个通道的波长带宽。k是谐波。在这个工作中，本公开利用谐波k＝2。
标准图参考
颜色与每个相量坐标(g，s)的关联分两步执行。首先，将参考系从笛卡尔(Cartesian)坐标转换为极(polar)坐标(r，θ)。
然后，利用每个图的特定设置，将这些极坐标值转换为色调(hue)、饱和度(saturation)、明度(value)(HSV)颜色模型，如下面列出的。最后，将在r＝1边界之外生成的任何颜色设置为黑色。
梯度下降：
hue＝θ
saturation＝1
value＝1-0.85*r.
梯度上升：
hue＝θ
saturation＝1
value＝r
半径：
从0到1的每个r值与来自matplotlib包的jet colormap中的水平相关联
角度：
hue＝θ
saturation＝1.
value＝1
张量图
借助于数学梯度执行相量图上的统计的可视化。梯度以两步过程获得。
首先，本公开通过利用二阶精确中心差分的近似来计算相量图直方图计数的二维导数。
关于在g(水平)和s(垂直)方向上具有单位间隔h的差分，每个段F(g，s)具有中心差分：近似变为：/>
类似地：
第二，本公开计算差分的平方和的平方根D(s，g)为：
获得导数密度计数的大小。利用该梯度直方图，本公开然后将具有相同D(s，g)梯度的相量坐标与一个轮廓连接。然后将所有梯度归一化为(0，1)。最后，与相量空间中的相同轮廓相对应的高光谱图像中的像素将被渲染为相同颜色。在参考图中，红色表示高密度梯度，通常在相量集群的中心。相反，蓝色表示出现在相量分布的边缘圆周处的稀疏梯度。
缩放模式
在这种模式中，原始正方形标准参考图被变换为适应于每个数据集的光谱分布的新边界框。
变换过程遵循这些步骤。首先，基于相量图上的集群外观来确定边界框(宽度ω，高度h)。然后，确定适合边界框的最大椭圆体。最后，将原始图的单位圆变形为所计算的椭圆体。
使用极坐标，用相量坐标(gi,si)将标准参考图的每个点P表示为：
P(gi，si)＝P(ri*cosθi，ri*sinθi) (等式11)
椭圆体具有半长轴：
以及半短轴
因此，椭圆方程变为：
其中，rad是比率，该比率用于将参考图中的每个半径ri缩放到边界框自适应椭圆中的成比例对应的距离，其在极坐标中变成：
使用前向映射将标准参考图的每个点P(gi,si)几何缩放到椭圆体内的新坐标(go,so)，获得等式：
将此变换应用于所有标准参考图以产生相应缩放版本。
变形模式
本公开通过利用移位锥形方法将每个点P(gi,si)线性变形为新的点P'(go,so)。每个标准图参考首先被投影到以相量图原点为中心并具有单位高度的3D圆锥表面上(图55a至图55c)。从相量通用圆的边缘开始，标准图上的每个点P被线性地给予z值。因此，原始标准图(图55c)可以被解释为右圆锥的顶视图，其中在相量单位圆处z＝0，在原点处z＝1(图55a)。
然后，将圆锥的顶点A移位到原始2d直方图的所计算的加权平均或最大值，从而产生以A'为中心的倾斜圆锥(图55b)。
在这种倾斜圆锥中，任何水平切割平面总是以O'为中心的圆。其投影O⊥'在连接原点O和新中心A⊥'的投影的线上(图55b至图55d)。结果，每个圆中的所有点都朝向相量图上的新中心A⊥'移位。本公开首先将每个点P的坐标(gi,si)变换为变形后的映射坐标(so,go)，然后获得计算色调、饱和度和明度所需的对应的(ro,θo)。
具体地，具有中心O'的切割平面具有半径r'(图55)。该横截面投影在以O⊥'为中心的具有相同半径的圆上。使用几何计算，获得：
OO⊥′＝α*OA⊥′， (等式17)
其中α是缩放参数。通过采用近似，
ΔO′OO⊥′～ΔA′OA⊥′, (等式18)
可以得到
OO′＝α*OA′. (等式19)
此外，给定在以O'为中心的圆周上的点N'，等式14也暗示：
O′N′＝(1-α)*ON⊥, (等式20)
其相当于
r′＝(1-α)*R. (等式21)
其中R是相量图单位圆的半径。
通过这种方法，提供了具有特定α的新中心A⊥'，获得了中心在线OA⊥'上的缩放圆的集合。在边界情况下，当α＝0时，缩放圆是原点，而α＝1是单位圆。给定任何切割平面O'，该横截面的半径总是满足以下恒等式：
以A⊥'为中心的新的变形图的点P'(go,so)的坐标是：
最后，计算
然后基于新计算的色调、饱和度和明度分配颜色，以生成变形模式参考。
彩色图像质量计算
色彩度
由于在实验荧光显微镜图像中内在地缺乏“基本事实(ground truth)”，本公开利用已建立的模型来计算图像的颜色质量而无需参考。色彩度是Panetta等人用来量化彩色图像的整体质量的三个参数(连同锐度和对比度)之一。两个对立的颜色空间被定义为：
α＝R-G (等式25)
β＝0.5(R+G)-B (等式26)
其中，R、G、B分别为红通道、绿通道和蓝通道，α和β为红绿空间和黄蓝空间。这里使用的色彩度(colorfulness)定义为：
其中，μα,μβ分别作为α空间和β空间的方差和平均值。
锐度
本公开利用EME，这是一种基于Weber的增强测量。EME定义如下：
其中，k1、k2是用于划分图像的块，Imax，k，l和Imax，k，l是块中的最大强度和最小强度。EME已经被示出为当与每个颜色分量的权重λc相关联时与人类对彩色图像中的锐度的观察相关。
其中，根据NTSC标准和文献58中报告的值，在该文章中使用的不同颜色分量的权重是λR＝0.299、λG＝0.587、λB＝0.114。
对比度
本公开利用增强AME的迈克尔逊定律(Michelson-Law)测量，这是一种用于灰度图像中的对比度的有效评估工具，其被设计为针对较大对比度图像提供较大的度量值。AME被定义为：
其中，k1、k2是用于划分图像的块，Imax，k，l和Imin，k，l是块中的最大强度和最小强度。然后，彩色图像的对比度值被计算为：
其中，对锐度使用相同的权重λc。
颜色质量增强
本公开利用颜色质量增强(CQE)一种轮询方法将色彩度、锐度和对比度组合成与彩色图像的质量的人类视觉感知具有强相关性和线性对应关系的值。CQE被计算为：
CQE＝c1colorfulness+c2sharpness+c3contrast (等式31)
其中，CQE测量的线性组合系数被设置成根据文献中报告的值来评估对比度变化，c1＝0.4358,、c2＝0.1722且c3＝0.3920。
示例17、小鼠系(Mouse Lines)
小鼠成像得到洛杉矶儿童医院(许可号：38616)和南加州大学(许可号：20685)的机构动物护理和使用委员会(IACUC)的批准。对脊椎动物的实验研究符合机构、国家和国际伦理准则。将动物保持在13:11小时的光下：暗循环。动物呼吸两次过滤的空气，室内温度保持在68F至73F，每周更换笼的垫料。所有这些因素有助于使实验内和实验间的可变性最小化。用euthasol对成年8周龄的C57Bl小鼠实施安乐死。从小鼠身上快速收集气管，在PBS中洗涤，并在muscolaris粘膜旁边纵向切割，以暴露出内腔。切下3mm×3mm的气管片，并放置在显微镜载玻片上以成像。
示例18、斑马鱼系
按照标准文献实践并根据南加州大学提供的实验室动物的护理和使用指南饲养和维持系。鱼样品是IACUC(许可号：12007USC)批准的协议的一部分。
转基因FlipTrap Gt(desm-Citrine)ct122a/+系是先前报道的筛选结果，Tg(kdrl:eGFP)s843系由Stainier实验室(马克斯普朗克心肺研究所)提供。Tg(ubi:Zebrabow)系是Alex Schier赠送的。通过将纯合Tg(ubi:Zebrabow)成虫与Tg(hsp70l:Cerulean-P2A-CreERT2)系杂交，来获得荧光团的可控重组。在28.5℃下，在蛋水中(在超纯水(Milli-Qwater)中的60μg/ml的速溶海洋和75μg/ml的CaSO4)培养胚胎，其中添加有0.003％(w/v)的1-苯基-2-硫脲(PTU)约18hpf，以减少色素形成。
通过将Gt(desm-Citrine)ct122a/+与Tg(kdrl:eGFP)鱼杂交，接着在一个细胞阶段(one cell stage)处每胚胎注入100pg的编码有H2B–Cerulean的mRNA，获得具有三重荧光的斑马鱼样品，如在先前工作29中所述。用458nm激光对Gt(desm-Citrine)ct122a/+；Tg(kdrl:eGFP)；H2B-Cerulean样品成像，以激发Cerulean、Citrine和eGFP，以及窄的458nm至561nm的二向色性，以分离激发和荧光发射。
示例19、质粒构建
pDestTol2pA2-hsp70l:Cerulean-P2A-CreERT2(用于生成Tg(hsp70l:Cerulean-P2A-CreERT2)系)
Cerulean、CreERT2和土拨鼠肝炎病毒转录后调节元件(WPRE)的编码序列分别从以下各项的向量扩增：使用引物#1和引物#2(引物的完整列表在表7中报告)的Tg(bactin2:cerulean-cre)、使用引物#3和引物#4的pCAG-ERT2CreERT2(Addgene#13777)、和使用引物#5和引物#6的Tg(PGK1:H2B-chFP)的向量。然后，使用编码有P2A肽的合成接头融合Cerulean和CreERT2序列。将得到的Cerulean-P2A-CreERT2和WPRE序列分别克隆到pDONR221和pDONRP2R-P3(赛默飞世尔科技公司)中。根据开发者手册66使用Tol2kit向量执行随后的多位点网关反应。将p5E-hsp70l(Tol2kit#222)、pDONR221-Cerulean-P2A-CreER和pDONR P2R-P3-WPRE组装成pDestTol2pA2(Tol2kit#394).pDestTol2pA2-fli1:mKO2(以用于生成Tg(fli1:mKO2)系)。
表7、用于质粒构建的引物列表
/>
mKO2的编码序列从使用引物#7和引物#8的mKO2-N1(addgene#54625)扩增，并被克隆到pDONR221中。然后，如上所述将p5Efli1ep(addgene#31160)、pDONR221-mKO2和pDONRP2R-P3-WPRE组装成pDestTol2pA2。
示例20、转基因斑马鱼系的显微注射和筛选
将含有20pg/nL质粒DNA和20pg/nL tol2 mRNA的2.3nL溶液注射到通过将AB与Casper斑马鱼杂交而获得的一个细胞阶段(one-cell stage)的胚胎中。培养经注射的F0胚胎，并将其与casper斑马鱼杂交，以用于筛选。分别针对在37℃下热激30分钟后的普遍存在的Cerulean表达和在血管***中被限制的mKO2表达，对预期Tg(hsp70l:Cerulean-P2A-CreERT2)系和Tg(fli1:mKO2)的F1胚胎进行筛选。随后将阳性个体F1成虫与casper斑马鱼进行异型杂交，然后当在随后的世代中观察到50％转基因传递时，将它们具有casper表型的后代用于实验，表明单个转基因***。
示例21、样品制备和多光谱图像获取和仪器
在配备有QUASAR检测器的蔡司的LSM780倒置共焦显微镜(德国，耶拿，卡尔蔡司)上获取图像。典型的数据集包括32个光谱通道，覆盖具有8.9nm带宽的从410.5nm至694.9nm的波长，生成x、y、λ图像立方体。表8中报告了详细的获取参数。
表8、用于体内成像的参数。所有数据点均为16位深度，并且是使用LD C-Apochromat 40x/11W透镜获取的。
通过将5至6个胚胎在24至72hpf下放置在1％琼脂糖(cat.16500-100,Invitrogen)模具(mold)中，制备用于体内成像的斑马鱼样品，该模具是使用自定义设计的负塑料模具在具有no.1.5盖玻片底的成像皿(cat.D5040P,WillCo Wells)45中创建的。通过加入～2ml1％UltraPureTM低熔点琼脂糖(cat.16520-050,Invitrogen)溶液来确保胚胎的稳定性，该溶液在具有0.003％PTU和0.01％三卡因的30％Danieau(在水中的17.4mM的NaCl、210μM的KCl、120μM的MgSO47H2O、180μM的Ca(NO3)2、1.5mM的HEPES缓冲液，pH 7.6)中制备。然后将该溶液加入到安装好的胚胎的顶部上。在室温下固化琼脂糖(1至2分钟)后，在28.5℃下，用30％Danieau溶液和0.01％三卡因填充成像皿。通过将成像皿定位在显微镜载物台上，在倒置共焦显微镜上进行成像。对于Tg(ubi:Zebrabow)样品，为了启动CreERT2的表达，在受精后15小时，在37C下，在50ml离心管(falcon tube)中在水浴中对胚胎进行热激，然后再将其返回到28.6C的培养箱中。为了启动zebrabow转基因的重组，在受精后24小时，将5uM 4-OHT(Sigma；H7904)加入培养基中。使用458nm激光对Tg(ubi:Zebrabow)的样品进行成像，以结合窄的458nm二向色性来激发CFP、YFP和RFP。
从野生型C57Bl小鼠收集小鼠气管样品，并用足够的磷酸盐缓冲盐水封固在盖玻片上，以避免样品脱水。在利用690+nm二向色性在740nm处激发的2光子模式下执行成像。
示例22、非去扫描(NDD)多光子荧光寿命成像(FLIM)和分析
用双光子显微镜(蔡司LSM-780倒置，德国，耶拿，蔡司)获取荧光寿命成像显微镜(FLIM)数据，该双光子显微镜配备有Ti：蓝宝石激光***(Coherent Chameleon Ultra II，加利福尼亚圣克拉拉Coherent公司)和ISS A320 FastFLIM(ISS，伊利诺斯州伊利诺大学)。所用物镜是2-p优化的40×1.1 NA水浸物镜(Korr C-Apochromate，德国，耶拿，蔡司)。收集大小为256×256像素的图像，像素停留时间为12.6μs/像素。使用二向色滤波器(690+nm)将激发光与荧光发射分离。荧光的检测包括混合光电倍增管(R10467U-40，日本，滨松，滨松市)和460/80nm带通滤波器的组合。使用VistaVision软件(ISS，伊利诺斯州伊利诺大学)执行获取。所用的激发波长为740nm，样品的平均功率为约7mW。通过以2.55ns的单指数测量香豆素6的已知寿命来执行频域***的寿命的校准。收集FLIM数据，直到获取图像的最亮像素中的100个计数为止。
使用Gratton Lab(荧光动力学实验室(LFD)，加利福尼亚大学欧文分校，www.lfd.uci.edu)开发的SimFCS软件处理数据。如先前详细描述和报道的，进行内在荧光团的FLIM分析。通过傅立叶变换获得相量坐标(g，s)。根据公开的协议，利用集群识别来将相量中的特定区域与FLIM数据集中的像素相关联。
示例23、用于可视化的谐波的选择
光谱波长在相量图上的分布高度依赖于所使用的谐波数。通常，由于由复空间中的黎曼表面内的分支所施加的可视化限制，第一谐波和第二谐波用于获得高光谱相量值。
第一谐波导致这样的光谱分布，即，该光谱分布在通用圆内沿逆时针路径近似覆盖可见范围(400nm至700nm)内的光谱的3/2π弧度。结果，间隔开任意峰到峰距离的光谱将在相量图上出现在不同位置中。然而，第一谐波提供相量空间的较低使用效率，留下1/2π弧度未用，并且导致分离的较低的动态范围，如在图39和图40中可以看到的。
类似地，针对可见范围(400nm至700nm)内的光谱，第二谐波近似跨过相量上的(3/2+2)π弧度，在通用圆内以更扩大的方式分布光谱，简化了可以更紧密重叠的光谱的区别，并提供了分离的较高的动态范围，如在图36和图37中所见。该谐波的缺点是存在从橙色荧光到深红色荧光的重叠区域。在该区域内，间隔开140nm的光谱(其在本公开的***中具有32个带，410.5nm至694.9nm，带宽为8.9nm)可能在相量图内最终重叠。在这种场景下，将不可能使用第二谐波来区分那些被良好间隔开的光谱，需要使用第一谐波。由于利用了SEER，可以在HySP软件内快速验证和更改选择用哪个谐波进行可视化。
在利用单个激光线成像的常见场景中，由于通常在20nm至25nm的范围内的斯托克斯频移，从多个常见荧光团发射的大部分信号的范围可能远小于150nm。间隔开140nm的荧光蛋白的激发光谱通常不会很好地重叠，需要利用第二激发波长来获得信号。
这里提出的SEER方法利用第二谐波以便使相量空间的动态范围最大化并且分离紧密重叠的光谱。然而，SEER可以无缝地与第一谐波一起工作，维持可能远离峰值光谱波长的多个荧光团的迅速可视化。
示例24、SEER的颜色可视化限制
基于通过将相量法应用于高光谱和多光谱荧光数据而生成的频域值来构建SEER图。RGB颜色用于直接表示这些值。这样，颜色分离的质量具有受限于由相量方法本身提供的光谱分离的最大分辨率。因此，只要相量方法能够区分具有较高量的荧光信号对(vs)噪声(高信噪)的光谱和具有较高的噪声对(vs)信号的组合(低信噪)的光谱即可，SEER图将向这些光谱分配不同的颜色。在源自两种不同效果的光谱完全相同的场景中，例如，在低蛋白表达在外层上并且高水平表达在更深的水平处衰减的情况下，相量方法和SEER图在它们的当前实施方式中将不能区分这两种效果。这两种效果的分离是不同且复杂的问题，其取决于光学显微镜部件、样品、标记、多光谱成像方法以及实验设计中的更多因素，并且本公开相信这种分离落在本文的范围外并且构成其自身的项目。
上述特征/配置的任何组合都在本公开的范围内。
已经讨论的部件、步骤、特征、目的、益处和优点仅仅是说明性的。它们中的任何一个或者与它们相关的讨论都不是要以任何方式限制保护范围。也考虑了许多其它实施例。这些实施例包括具有更少、附加和/或不同部件、步骤、特征、目的、益处和/或优点的实施例。这些还包括其中以不同方式布置和/或排序部件和/或步骤的实施例。
除非另有说明，否则在本说明书(包括所附权利要求)中阐述的所有测量、值、额定值、位置、大小、尺寸和其它规格是近似的，而不是精确的。它们旨在具有与它们相关的功能以及它们所属领域的惯例一致的合理范围。
本公开中引用的所有文章、专利申请和其它出版物均通过引用并入本文。
当在权利要求中使用时，词语“用于……的装置”旨在并且应当被解释为包括已经描述的相应结构和材料及其等同物。类似地，当在权利要求中使用时，词语“用于……的步骤”旨在并且应当被解释为包括已经描述的相应动作及其等同物。权利要求中没有这些词语意味着权利要求不是旨在也不应该被解释为限于这些相应的结构、材料或动作，或者限于它们的等同物。
诸如“第一”和“第二”等的关系术语可以仅用于将一个实体或动作与另一个区分，而不必要求或暗示它们之间的任何实际关系或顺序。术语“包括”及其任何其它变型当与说明书或权利要求中的一系列要素结合使用时，旨在指示该列表不是排他性的，并且可以包括其它要素。类似地，在没有进一步约束的情况下，前面有“一”或“一个”的元件不排除存在相同类型的附加元件。
权利要求都不是旨在包含不能满足专利法的第101、102或103节的要求的主题，也不应以这种方式来解释。因此放弃对这种主题的任何非预期覆盖。除了本段中刚刚陈述的，无论是否在权利要求中陈述，已经陈述或示出的内容都不旨在或不应被解释为导致任何部件、步骤、特征、对象、益处、优点或等同物专用于公众。
提供摘要是为了帮助读者快速确定技术公开的性质。应当理解，它不是用于解释或限制权利要求的范围或含义。另外，在各种实施例中将前述详细描述中的各种特征组合在一起以使本公开简单化。本公开的方法不应被解释为要求要求保护的实施例要求比每个权利要求中明确记载的特征更多的特征。相反，如所附权利要求所反映的，发明主题在于少于单个公开的实施例的所有特征。因此，所附权利要求由此被并入到详细描述中，其中每个权利要求独立地作为单独要求保护的主题。
Claims (83)
1.一种用于生成目标的解混彩色图像的高光谱成像***，包括：
光学***；和
图像形成***；
其中，
所述光学***包括至少一个光学部件；
所述至少一个光学部件包括至少一个光学检测器；
所述至少一个光学检测器具有以下配置：
检测由所述目标上的至少一个物理点吸收、透射、折射、反射和/或发射的目标辐射，其中，所述目标辐射包括至少两个目标波，每个目标波具有强度和不同的波长；检测每个目标波的强度和波长；以及将检测到的目标辐射、以及每个目标波的检测到的强度和检测到的波长传输到所述图像形成***；
所述图像形成***包括控制***、硬件处理器、存储器和显示器；以及
所述图像形成***具有以下配置：
使用检测到的目标辐射来形成所述目标的目标图像，其中，所述目标图像包括至少两个像素，并且其中，每个像素对应于所述目标上的一个物理点；使用每个目标波的检测到的强度和检测到的波长来形成每个像素的至少一个强度光谱；基于每个像素的所述强度光谱，使用傅立叶变换将每个像素的所述强度光谱变换为复值函数，其中，每个复值函数具有至少一个实部和至少一个虚部；通过绘制每个像素的实数值和虚数值来形成每个像素在相量平面上的一个相量点；通过使用所述虚数值的坐标轴和所述实数值的坐标轴来形成相量平面；形成相量段，其中，所述相量段包括相量点并且在所述相量平面上具有指定面积；并且其中，属于同一相量段的相量点的数量形成所述相量段的幅度；通过绘制所述相量段幅度来形成相量直方图；基于相量点在所述相量平面上的几何位置，将所述相量点映射回所述目标图像上的对应的像素即“目标图像像素”；
生成或使用参考颜色图；
通过以下内容来生成所述参考颜色图：
使用所述相量点的相位调制，和/或使用所述相量点的相位振幅，和/或形成相量段，通过绘制所述相量段幅度来形成相量直方图，以及通过计算相邻相量段之间的相量段幅度的梯度来形成张量图，其中，所述相量段包括相量点并且在所述相量平面上具有指定面积；并且其中，
属于同一相量段的相量点的数量形成所述相量段的幅度；
通过使用所述参考颜色图分配所述相量平面上的每个相量点的颜色；
将所分配的颜色转移到对应的目标图像像素；
基于所分配的颜色，生成所述目标的彩色图像，以及
在所述图像形成***的显示器上显示所述目标的彩色图像。
2.如权利要求1所述的高光谱成像***，其中，所述图像形成***还具有以下配置：
对每个复值函数的实部和虚部应用去噪滤波器至少一次，以便产生每个像素的去噪的实数值和去噪的虚数值；其中，在以下时间处应用所述去噪滤波器：
在所述高光谱成像***使用傅立叶变换将每个像素的所形成的强度光谱变换为所述复值函数之后；并且
在所述高光谱成像***形成每个像素在所述相量平面上的一个点之前；以及
使用每个像素的去噪的实数值和去噪的虚数值作为每个像素的实数值和虚数值来形成每个像素在所述相量平面上的一个点。
3.如权利要求1所述的高光谱成像***，其中，所述参考颜色图沿其坐标轴中的至少一个具有均匀的颜色。
4.如权利要求1所述的高光谱成像***，其中：
所述参考颜色图具有圆形形状即“圆形”；
所述圆形具有原点；以及相对于所述圆形的原点的径向方向和角度方向；以及
其中，所述图像形成***具有以下配置：
在所述径向方向上改变颜色，并且在所述角度方向上保持颜色均匀，以形成径向参考颜色图；和/或
在所述角度方向上改变颜色，并且在所述径向方向上保持颜色均匀，以形成角度参考颜色图。
5.如权利要求1所述的高光谱成像***，其中：
所述参考颜色图具有圆形形状即“圆形”；
所述圆形具有原点；以及相对于所述圆形的原点的径向方向和角度方向；以及
其中，所述图像形成***具有以下配置：
在所述径向方向上改变颜色，并且在所述角度方向保持颜色均匀，以形成径向颜色参考图；和/或在所述角度方向上改变颜色，并且在所述径向方向上保持颜色均匀，以形成角度颜色参考图；以及
在所述径向方向和/或所述角度方向上改变亮度；以及
形成所述参考颜色图。
6.如权利要求1所述的高光谱成像***，其中：
所述参考颜色图具有圆形形状即“圆形”；
所述圆形具有原点；以及相对于所述圆形的原点的径向方向和角度方向；以及
其中，所述图像形成***具有以下配置：
在所述径向方向上改变颜色，并且在所述角度方向上保持颜色均匀，以形成径向参考颜色图；和/或在所述角度方向上改变颜色，并且在所述径向方向上保持颜色均匀，以形成角度参考颜色图；
在所述径向方向上降低亮度，以形成梯度下降颜色图；和/或在所述径向方向上提高亮度，以形成梯度上升参考颜色图；以及
形成所述参考颜色图。
7.如权利要求1所述的高光谱成像***，其中，所述高光谱成像***具有以下配置：
基于所述相量点在所述相量平面上的几何位置，将任意颜色分配给对应的像素，而不是基于参考颜色图来确定所述相量平面上的每个相量点的颜色；以及
基于所分配的任意颜色，生成所述目标的解混彩色图像。
8.如权利要求1所述的高光谱成像***，其中：
所述参考颜色图具有圆形形状即“圆形”；
所述圆形具有原点；以及相对于所述圆形的原点的径向方向和角度方向；
所述图像形成***具有以下配置：
确定所述相量直方图的最大值即“最大相量值”；
指定与所述最大相量值的坐标相对应的所述圆形的中心即“圆形的最大中心”；
相对于所述圆形的最大中心，在所述径向方向上改变颜色，并且在角度方向上保持颜色均匀，以形成变形最大值模式；和/或相对于所述圆形的最大中心，在所述角度方向上改变颜色，并且在径向方向上保持颜色均匀，以形成变形质心值模式；以及
形成所述参考颜色图。
9.如权利要求1所述的高光谱成像***，其中：
所述参考颜色图具有圆形形状即“圆形”；
所述圆形具有原点；以及相对于所述圆形的原点的径向方向和角度方向；
所述图像形成***具有以下配置：
针对所述相量平面的每个轴确定所述相量直方图的最大值即“最大相量值”，以具有两个最大相量值；
针对所述相量平面的每个轴确定所述相量直方图的最小值即“最小相量值”，以具有两个最小相量值；以及
使用所述两个最大相量值和所述两个最小相量值来形成所有正相量直方图值的边界平面。
10.如权利要求1所述的高光谱成像***，其中，所述图像形成***具有以下配置：通过基于相对于每个图像像素周围的光谱的直方图值的计数的梯度对每个图像像素重新着色来生成参考颜色图。
11.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***具有基于颜色模型生成彩色图像的配置。
12.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***具有基于颜色模型生成彩色图像的配置；其中，所述颜色模型是加色模型、减色模型和/或柱坐标颜色模型。
13.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***具有基于颜色模型生成彩色图像的配置；其中，所述颜色模型是红绿蓝(RGB)颜色模型、青品红黄黑(CMYK)颜色模型和/或红绿蓝阿尔法(RGBA)颜色模型。
14.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述高光谱成像***是用于实时内在信号图像处理的***、用于将多个外在标记与多个内在标记分离的***、和/或用于组合标记可视化的***。
15.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述高光谱成像***是用于实时内在信号图像处理的***、用于将1至3个外在标记与多个内在标记分离的***、用于将1至7个外在标记与多个内在标记分离的***、和/或用于组合标记可视化的***。
16.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括用于照射所述目标的至少一个源即“照明源”，其中所述照明源生成包括至少一个波即“照明波”的电磁辐射即“照明源辐射”。
17.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述高光谱成像***还包括至少一个照明源，其中，所述照明源生成包括至少两个照明波的照明源辐射，并且其中，每个照明波具有不同的波长。
18.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***还包括控制***、硬件处理器、存储器和信息传送***；其中，所述信息传送***以任何方式将所述图像传送给用户。
19.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***还包括控制***、硬件处理器、存储器和信息传送***；其中，所述信息传送***将所述图像作为图像、数值、颜色、声音、机械运动、信号或其组合传送给用户。
20.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括光学透镜、光学滤波器、色散光学***、或其组合。
21.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括光学透镜、光学滤波器、色散光学***、或其组合；并且其中，所述高光谱成像***的光学部件被配置为形成显微镜。
22.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述高光谱成像***的光学部件被配置为形成共焦荧光显微镜、双光子荧光显微镜或其组合。
23.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括第一光学透镜、第二光学透镜和分色镜/分束器。
24.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括光学透镜、色散光学器件；并且其中，至少一个光学检测器是光学检测器阵列。
25.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括光学透镜、色散光学器件、分色镜/分束器；并且其中，至少一个光学检测器是光学检测器阵列。
26.如权利要求16所述的高光谱成像***，其中，所述至少一个光学部件还包括光学透镜、色散光学器件、分色镜/分束器；其中，至少一个光学检测器是光学检测器阵列；并且其中，所述照明源直接照射所述目标。
27.如权利要求17所述的高光谱成像***，其中，所述至少一个光学部件还包括光学透镜、色散光学器件、分色镜/分束器；其中，至少一个光学检测器是光学检测器阵列；并且其中，所述照明源直接照射所述目标。
28.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***使用所述傅立叶变换的至少一个谐波来生成所述目标的解混彩色图像。
29.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***至少使用所述傅立叶变换的第一谐波和/或第二谐波来生成所述目标的解混彩色图像。
30.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***仅使用所述傅立叶变换的第一谐波或仅使用所述傅立叶第二谐波来生成所述目标的解混彩色图像。
31.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***仅使用所述傅立叶变换的第一谐波并且仅使用所述傅立叶的第二谐波来生成所述目标的解混彩色图像。
32.如权利要求16所述的高光谱成像***，其中，所述照明源通过同时发射所有照明波来以每个照明波长照射所述目标。
33.如权利要求17所述的高光谱成像***，其中，所述照明源通过同时发射所有照明波来以每个照明波长照射所述目标。
34.如权利要求16所述的高光谱成像***，其中，所述照明源通过顺序地发射每个波来以每个照明波长照射所述目标。
35.如权利要求17所述的高光谱成像***，其中，所述照明源通过顺序地发射每个波来以每个照明波长照射所述目标。
36.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射。
37.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；并且其中，由所述目标发射的电磁辐射包括发光。
38.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；其中，由所述目标发射的电磁辐射包括发光；并且其中，所述发光包括荧光、磷光或其组合。
39.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射，并且由所述目标发射的电磁辐射包括热辐射。
40.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；并且其中，由所述目标发射的电磁辐射包括发光、热辐射或其组合。
41.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；其中，由所述目标发射的电磁辐射包括发光、热辐射或其组合；并且其中，所述发光包括荧光、磷光或其组合。
42.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标辐射包括由所述目标发射的电磁辐射；其中，由所述目标发射的电磁辐射包括荧光。
43.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括光学滤波***；其中，所述目标辐射包括由所述目标发射的电磁辐射；并且其中，由所述目标发射的电磁辐射包括荧光。
44.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括放置在所述目标与所述至少一个光学检测器之间的光学滤波***；其中，所述目标辐射包括由所述目标发射的电磁辐射；并且其中，由所述目标发射的电磁辐射包括荧光。
45.如前述权利要求1至10中任一项所述的高光谱成像***，其中：
所述至少一个光学部件还包括放置在所述目标和所述至少一个光学检测器之间的光学滤波***；
所述光学滤波***包括二向色滤波器、分束器型滤波器或其组合；
所述目标辐射包括由所述目标发射的电磁辐射；以及
由所述目标发射的电磁辐射包括荧光。
46.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括第一光学滤波***和第二光学滤波***；其中：
所述第一光学滤波***放置在所述目标和所述至少一个光学检测器之间；
所述第二光学滤波***放置在所述第一光学滤波***与所述至少一个光学检测器之间；
所述第一光学滤波***包括二向色滤波器、分束器型滤波器或其组合；
所述第二光学滤波***包括陷波滤波器、有源滤波器或其组合；
所述目标辐射包括由所述目标发射的电磁辐射；以及
由所述目标发射的电磁辐射包括荧光。
47.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学部件还包括第一光学滤波***和第二光学滤波***；其中：
所述第一光学滤波***放置在所述目标和所述至少一个光学检测器之间；
所述第二光学滤波***放置在所述第一光学滤波***与所述至少一个光学检测器之间；
所述第一光学滤波***包括二向色滤波器、分束器型滤波器或其组合；
所述第二光学滤波***包括有源滤波器；
所述有源滤波器包括自适应光学***、声光可调谐滤波器、液晶可调谐带通滤波器、法布里珀罗干涉滤波器或其组合；
所述目标辐射包括由所述目标发射的电磁辐射；以及
由所述目标发射的电磁辐射包括荧光。
48.如权利要求2所述的高光谱成像***，其中，所述去噪滤波器包括中值滤波器。
49.如权利要求16所述的高光谱成像***，其中，所述照明源包括相干电磁辐射源。
50.如权利要求17所述的高光谱成像***，其中，所述照明源包括相干电磁辐射源。
51.如权利要求16所述的高光谱成像***，其中，所述照明源包括相干电磁辐射源，并且所述相干电磁辐射源包括激光器、二极管、双光子激发源、三光子激发源、或其组合。
52.如前述权利要求17所述的高光谱成像***，其中，所述照明源包括相干电磁辐射源，并且所述相干电磁辐射源包括激光器、二极管、双光子激发源、三光子激发源、或其组合。
53.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个检测器包括光电倍增管、光电倍增管阵列、数字相机、高光谱相机、电子倍增电荷耦合器件、Sci-CMOS、或其组合。
54.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标辐射包括至少四个波长。
55.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标包括包含有机化合物的目标。
56.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述目标包括包含有机化合物的目标；并且其中，所述目标包括组织、荧光遗传标记或其组合。
57.如前述权利要求1至10中任一项所述的高光谱成像***，其中，高光谱成像***以所述至少一个光谱在1.2到50的范围内的信噪比形成所述目标的解混彩色图像。
58.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述高光谱成像***以所述至少一个光谱在2到50的范围内的信噪比形成所述目标的解混彩色图像。
59.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学检测器检测由所述目标发射的波长在300nm到800nm的范围内的电磁辐射。
60.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述至少一个光学检测器检测由所述目标发射的波长在300nm到800nm的范围内的电磁辐射；并且其中，由所述目标发射的电磁辐射包括荧光。
61.如权利要求16所述的高光谱成像***，其中，所述照明源辐射包括波长在300nm至1300nm的范围内的照明波。
62.如权利要求17所述的高光谱成像***，其中，所述照明源辐射包括波长在300nm至1300nm的范围内的照明波。
63.如权利要求16所述的高光谱成像***，其中，所述至少一个照明源包括单光子激发源；并且其中，所述照明源辐射包括波长在300nm到700nm的范围内的照明波。
64.如前述权利要求17所述的高光谱成像***，其中，所述至少一个照明源包括单光子激发源；并且其中，所述照明源辐射包括波长在300nm到700nm的范围内的照明波。
65.如权利要求16的高光谱成像***，其中，所述至少一个照明源包括双光子激发源；并且其中，所述照明源辐射包括波长在690nm至1300nm的范围内的照明波。
66.如前述权利要求17所述的高光谱成像***，其中，所述至少一个照明源包括双光子激发源；并且其中，所述照明源辐射包括波长在690nm至1300nm的范围内的照明波。
67.如权利要求16所述的高光谱成像***，其中，所述至少一个照明源包括双光子激发源；其中，所述双光子激发源包括可调谐激光器；并且其中，所述照明源辐射包括波长在690nm至1300nm的范围内的照明波。
68.如权利要求17所述的高光谱成像***，其中，所述至少一个照明源包括双光子激发源；其中，所述双光子激发源包括可调谐激光器；并且其中，所述照明源辐射包括波长在690nm至1300nm的范围内的照明波。
69.如权利要求16所述的高光谱成像***，其中，所述至少一个照明源包括单光子激发源、双光子激发源、或其组合；其中，所述单光子激发源的照明源辐射包括波长在300nm至700nm的范围内的照明波；并且其中，所述双光子激发源的照明源辐射包括波长在690nm到1300nm的范围内的照明波。
70.如权利要求17所述的高光谱成像***，其中，所述至少一个照明源包括单光子激发源、双光子激发源、或其组合；其中，所述单光子激发源的照明源辐射包括波长在300nm至700nm的范围内的照明波；并且其中，所述双光子激发源的照明源辐射包括波长在690nm到1300nm的范围内的照明波。
71.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***具有使用参考材料来向每个像素分配任意颜色的配置。
72.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***具有使用参考材料来向每个像素分配任意颜色的配置，并且其中，所述参考材料的解混彩色图像在生成所述目标的解混彩色图像之前生成。
73.如前述权利要求1至10中的任一项所述的高光谱成像***，其中，所述图像形成***具有使用参考材料来向每个像素分配任意颜色的配置，其中，所述参考材料的解混彩色图像在生成所述目标的解混彩色图像之前生成，并且其中，所述参考材料包括物理结构、化学分子、生物分子、物理变化和/或由疾病引起的生物变化、或其任何组合。
74.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***具有诊断健康状况的配置。
75.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***具有诊断哺乳动物的健康状况的配置。
76.如前述权利要求1至10中任一项所述的高光谱成像***，其中，所述图像形成***具有诊断哺乳动物的健康状况的配置；并且其中，所述健康状况是疾病、先天性畸形、障碍、创伤、损伤、溃疡、脓肿或其组合。
77.如前述权利要求1至10中任一项所述的高光谱成像***，其中：
所述图像形成***具有以下配置：针对所述相量平面的每个轴，确定所述相量直方图的最大值即“最大相量值”，以具有两个最大相量值；针对所述相量平面的每个轴，确定所述相量直方图的最小值即“最小相量值”，以具有两个最小相量值；
所述参考颜色图具有圆形形状即“圆形”；
所述圆形具有原点、相对于所述圆形的原点的径向方向和角度方向；以及
所述图像形成***具有如下配置：使用所述两个最大相量值和所述两个最小相量值来形成所有正相量直方图值的边界平面。
78.一种用于从由根据权利要求1至77中任一项的高光谱成像***获取的图像数据生成目标的彩色图像的***，所述图像数据包括响应于电磁辐射与所述目标的相互作用而检测到的强度和波长，所述***包括一个或多个硬件处理器，所述一个或多个硬件处理器被配置为：
访问所述目标的图像数据，所述图像数据包括至少两个像素，每个像素对应于所述目标上的物理点；
基于所访问的图像数据中的检测到的强度和波长，生成每个像素的光谱；
将每个像素的光谱变换到频域；
基于经频率变换的光谱中的像素的实部和虚部，将经频率变换的光谱映射到相量平面上；
为所述相量平面上的每个相量点分配颜色；
将所分配的颜色映射到与所述相量点对应的图像数据的像素中的每一个；
基于所分配的颜色的映射，生成所述目标的彩色图像；以及
在显示装置上显示所述彩色图像。
79.一种用于从由根据权利要求1至77中任一项的高光谱成像***获取的图像数据生成目标的彩色图像的***，所述图像数据包括响应于电磁辐射与所述目标的相互作用而检测到的强度和波长，所述***包括一个或多个硬件处理器，所述一个或多个硬件处理器被配置为：
将来自所述图像数据的所选择的像素的光谱变换到频域；
将经频率变换的光谱映射到相量平面上；
为所述相量平面上的每个相量点分配颜色；以及
将所分配的颜色映射到与所选择的像素对应的物理点；以及
基于所分配的颜色的映射，生成所述目标的彩色图像。
80.一种用于从由根据权利要求1至77中任一项的高光谱成像***获取的目标的图像数据检测健康状况的***，所述图像数据包括响应于电磁辐射与所述目标的相互作用而检测到的强度和波长，所述***包括一个或多个硬件处理器，所述一个或多个硬件处理器被配置为：
访问所述目标的图像数据，所述图像数据包括表示所述目标的物理点的多个像素；
对于所述多个像素中的每个像素：
将来自所述图像数据的所选择的像素的光谱变换到频域；
将经频率变换的光谱映射到相量平面上；
为所述相量平面上的每个相量点分配颜色；以及
将所分配的颜色映射到与所选择的像素对应的物理点；以及
基于所述物理点的颜色之间的差异，确定所述健康状况。
81.一种用于从由根据权利要求1至77中任一项的高光谱成像***获取的图像数据生成目标的彩色图像的方法，所述图像数据包括响应于电磁辐射与所述目标的相互作用而检测到的强度和波长，所述方法包括：
访问所述目标的图像数据，所述图像数据包括至少两个像素，每个像素对应于所述目标上的物理点；
基于所访问的图像数据中的检测到的强度和波长，生成每个像素的光谱；
将每个像素的光谱变换到频域；
基于经频率变换的光谱中的像素的实部和虚部，将经频率变换的光谱映射到相量平面上；
为所述相量平面上的每个相量点分配颜色；
将所分配的颜色映射到与所述相量点对应的图像数据的像素中的每一个；
基于所分配的颜色的映射，生成所述目标的彩色图像；以及
在显示装置上显示所述彩色图像。
82.一种用于从由根据权利要求1至77中任一项的高光谱成像***获取的图像数据生成目标的彩色图像的方法，所述图像数据包括响应于电磁辐射与所述目标的相互作用而检测到的强度和波长，所述方法包括：
访问所述目标的图像数据，所述图像数据包括表示所述目标的物理点的多个像素；
对于所述多个像素中的每个像素：
将来自所述图像数据的所选择的像素的光谱变换到频域；
将经频率变换的光谱映射到相量平面上；
为所述相量平面上的每个相量点分配颜色；以及
将所分配的颜色映射到与所选择的像素对应的物理点；以及
基于所分配的颜色的映射，生成所述目标的彩色图像。
83.一种用于从由根据权利要求1至77中任一项的高光谱成像***获取的目标的图像数据检测健康状况的方法，所述图像数据包括响应于电磁辐射与所述目标的相互作用而检测到的强度和波长，所述***包括一个或多个硬件处理器，所述一个或多个硬件处理器被配置为：
访问所述目标的图像数据，所述图像数据包括表示所述目标的物理点的多个像素；
对于所述多个像素中的每个像素：
将来自所述图像数据的所选择的像素的光谱变换到频域；
将经频率变换的光谱映射到相量平面上；
为所述相量平面上的每个相量点分配颜色；以及
将所分配的颜色映射到与所选择的像素对应的物理点；以及
基于所述物理点的颜色之间的差异，确定所述健康状况。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962799647P | 2019-01-31 | 2019-01-31 | |
| US62/799,647 | 2019-01-31 | ||
| PCT/US2020/016233 WO2020160485A1 (en) | 2019-01-31 | 2020-01-31 | A hyperspectral imaging system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113661381A CN113661381A (zh) | 2021-11-16 |
| CN113661381B true CN113661381B (zh) | 2024-04-26 |
Family
ID=69740781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080023666.2A Active CN113661381B (zh) | 2019-01-31 | 2020-01-31 | 高光谱成像*** |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11869176B2 (zh) |
| EP (1) | EP3918288A1 (zh) |
| CN (1) | CN113661381B (zh) |
| WO (1) | WO2020160485A1 (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110793632B (zh) * | 2019-10-30 | 2021-06-22 | 南京大学 | 一种用于火焰拍摄的高速高精度光谱视频***及方法 |
| EP3907497B1 (en) * | 2020-05-08 | 2023-08-02 | Leica Microsystems CMS GmbH | Apparatus and method for displaying and/or printing images of a specimen including a fluorophore |
| CN111915625B (zh) * | 2020-08-13 | 2021-04-13 | 湖南省有色地质勘查研究院 | 一种能量积分的遥感影像地形阴影自动检测方法和*** |
| CN112508328B (zh) * | 2020-10-20 | 2024-06-04 | 中国环境科学研究院 | 一种自然保护地生态质量监控***及方法 |
| CN113139902A (zh) * | 2021-04-23 | 2021-07-20 | 深圳大学 | 一种高光谱图像超分辨率重建方法、装置及电子设备 |
| CN113310949B (zh) * | 2021-05-24 | 2023-01-13 | 山东大学 | 基于高光谱成像的tbm隧道搭载式岩渣矿物识别***及方法 |
| CN113486851B (zh) * | 2021-07-28 | 2023-04-18 | 齐齐哈尔大学 | 基于双分支光谱多尺度注意力网络的高光谱图像分类方法 |
| CN114354464B (zh) * | 2021-12-22 | 2024-04-09 | 南京大学 | 一种对不同金属纳米颗粒高光谱库之间的相似性进行定量分析的方法 |
| CN114841875B (zh) * | 2022-04-22 | 2023-08-11 | 哈尔滨师范大学 | 一种基于图学习和降噪的高光谱图像解混方法 |
| CN114757831B (zh) * | 2022-06-13 | 2022-09-06 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
| WO2024050144A2 (en) * | 2022-09-02 | 2024-03-07 | The George Washington University | Hyper-excitation hyperspectral imaging system |
| CN116310572B (zh) * | 2023-03-23 | 2024-01-23 | 齐齐哈尔大学 | 金字塔多尺度卷积和自注意力结合的高光谱图像分类方法 |
| CN116843582B (zh) * | 2023-08-31 | 2023-11-03 | 南京诺源医疗器械有限公司 | 基于深度学习的2cmos相机的去噪增强***及方法 |
| CN116891177B (zh) * | 2023-09-01 | 2023-12-05 | 河南科技学院 | 一种工件分拣起重机吊具 |
| CN116881705B (zh) * | 2023-09-07 | 2023-11-21 | 佳木斯大学 | 一种锦灯笼宿萼的近红外光谱数据处理*** |
| CN117132504B (zh) * | 2023-10-20 | 2024-01-30 | 武汉怡特环保科技有限公司 | 基于单光子光谱计数技术成像去除干扰的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1466737A (zh) * | 2000-08-09 | 2004-01-07 | 动态数字视距研究有限公司 | 图像转换和编码技术 |
| CN1737536A (zh) * | 2004-08-18 | 2006-02-22 | 深圳大学 | 五维荧光显微成像技术 |
| CN104968257A (zh) * | 2013-01-30 | 2015-10-07 | 皇家飞利浦有限公司 | 具有高光谱相机引导的探头的成像*** |
| WO2018089383A1 (en) * | 2016-11-08 | 2018-05-17 | University Of Southern California | A hyperspectral imaging system |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6992775B2 (en) * | 2002-08-29 | 2006-01-31 | Kestrel Corporation | Hyperspectral retinal imager |
| US9025850B2 (en) * | 2010-06-25 | 2015-05-05 | Cireca Theranostics, Llc | Method for analyzing biological specimens by spectral imaging |
| US9129371B2 (en) * | 2010-06-25 | 2015-09-08 | Cireca Theranostics, Llc | Method for analyzing biological specimens by spectral imaging |
| WO2012037151A2 (en) * | 2010-09-13 | 2012-03-22 | University Of Southern California | Efficient mapping of tissue properties from unregistered data with low signal-to-noise ratio |
| US10222335B2 (en) * | 2010-10-27 | 2019-03-05 | The Regents Of The University Of California | Phasor method to fluorescence lifetime microscopy to discriminate metabolic state of cells in living tissue |
| US8761476B2 (en) | 2011-11-09 | 2014-06-24 | The Johns Hopkins University | Hyperspectral imaging for detection of skin related conditions |
| JP2019520574A (ja) * | 2016-06-21 | 2019-07-18 | エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ | ハイパースペクトルイメージング方法および装置 |
| US10712272B2 (en) * | 2016-09-27 | 2020-07-14 | Trustees Of Tufts College | System and method for assessing cellular metabolic activity |
-
2020
- 2020-01-31 WO PCT/US2020/016233 patent/WO2020160485A1/en unknown
- 2020-01-31 EP EP20708990.5A patent/EP3918288A1/en active Pending
- 2020-01-31 CN CN202080023666.2A patent/CN113661381B/zh active Active
- 2020-01-31 US US17/427,890 patent/US11869176B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1466737A (zh) * | 2000-08-09 | 2004-01-07 | 动态数字视距研究有限公司 | 图像转换和编码技术 |
| CN1737536A (zh) * | 2004-08-18 | 2006-02-22 | 深圳大学 | 五维荧光显微成像技术 |
| CN104968257A (zh) * | 2013-01-30 | 2015-10-07 | 皇家飞利浦有限公司 | 具有高光谱相机引导的探头的成像*** |
| WO2018089383A1 (en) * | 2016-11-08 | 2018-05-17 | University Of Southern California | A hyperspectral imaging system |
Non-Patent Citations (1)
| Title |
|---|
| LAURDAN fluorescence and phasor plots reveal the effects of a H2O2 bolus in NIH-3T3 fibroblast membranes dynamics and hydration;Leonel Malacrida 等;《Free Radical Biology and Medicine》(第128期);第144-156页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020160485A1 (en) | 2020-08-06 |
| EP3918288A1 (en) | 2021-12-08 |
| US11869176B2 (en) | 2024-01-09 |
| US20220108430A1 (en) | 2022-04-07 |
| CN113661381A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113661381B (zh) | 高光谱成像*** | |
| Cutrale et al. | Hyperspectral phasor analysis enables multiplexed 5D in vivo imaging | |
| CN109923401B (zh) | 高光谱成像*** | |
| McRae et al. | Robust blind spectral unmixing for fluorescence microscopy using unsupervised learning | |
| JP3280035B2 (ja) | 生物学研究、医療診断および治療用の分光生物撮像法、蛍光交配方法および細胞分類方法 | |
| CN109313798B (zh) | 用于生成模拟数字明场ihc或ish图像的方法和图像处理*** | |
| US10032064B2 (en) | Visualization and measurement of cell compartments | |
| US8849006B2 (en) | Darkfield imaging system and methods for automated screening of cells | |
| Shi et al. | Pre-processing visualization of hyperspectral fluorescent data with Spectrally Encoded Enhanced Representations | |
| Mansfield et al. | Visualization of microscopy‐based spectral imaging data from multi‐label tissue sections | |
| EP2972223B1 (en) | Spectral unmixing | |
| JP2019530847A5 (zh) | ||
| Mannam et al. | Machine learning for faster and smarter fluorescence lifetime imaging microscopy | |
| US20150186755A1 (en) | Systems and Methods for Object Identification | |
| JP7011036B2 (ja) | 組織標本の分析を支援するためのスライド画像のカラーデコンボリューションのためのシステムおよび方法 | |
| US20230028360A1 (en) | Artificial generation of color blood smear image | |
| Acuña-Rodriguez et al. | Live-cell fluorescence spectral imaging as a data science challenge | |
| Chiang et al. | HyU: Hybrid Unmixing for longitudinal in vivo imaging of low signal-to-noise fluorescence | |
| US11210791B2 (en) | Computer-implemented method for locating possible artifacts in a virtually stained histology image | |
| Jang et al. | Super-resolution stimulated Raman scattering microscopy with A-PoD | |
| KR20240088993A (ko) | 하이브리드 언믹싱을 갖춘 초분광 이미징 시스템 | |
| WO2024039406A2 (en) | A hyperspectral imaging system with hybrid unmixing | |
| De Biasio et al. | Enhancement of m-FISH images using spectral unmixing | |
| Parker | System of Systems Integration for Hyperspectral Imaging Microscopy | |
| Bentahar et al. | Multispectral imaging for characterizing autofluorescent tissues |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |