CN117405644B - 基于多色免疫荧光的三级***构成熟度识别方法 - Google Patents
基于多色免疫荧光的三级***构成熟度识别方法 Download PDFInfo
- Publication number
- CN117405644B CN117405644B CN202311714748.3A CN202311714748A CN117405644B CN 117405644 B CN117405644 B CN 117405644B CN 202311714748 A CN202311714748 A CN 202311714748A CN 117405644 B CN117405644 B CN 117405644B
- Authority
- CN
- China
- Prior art keywords
- level
- module
- cell
- tertiary
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010166 immunofluorescence Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 22
- 208000033878 Tertiary Lymphoid Structures Diseases 0.000 claims abstract description 99
- 230000001926 lymphatic effect Effects 0.000 claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 64
- 239000012188 paraffin wax Substances 0.000 claims abstract description 16
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 8
- 210000004027 cell Anatomy 0.000 claims description 90
- 210000001519 tissue Anatomy 0.000 claims description 74
- 210000001744 T-lymphocyte Anatomy 0.000 claims description 50
- 210000003719 b-lymphocyte Anatomy 0.000 claims description 50
- 102100022005 B-lymphocyte antigen CD20 Human genes 0.000 claims description 49
- 101000897405 Homo sapiens B-lymphocyte antigen CD20 Proteins 0.000 claims description 49
- 230000003325 follicular Effects 0.000 claims description 33
- 102100032768 Complement receptor type 2 Human genes 0.000 claims description 29
- 101000941929 Homo sapiens Complement receptor type 2 Proteins 0.000 claims description 29
- 210000004698 lymphocyte Anatomy 0.000 claims description 28
- 230000002776 aggregation Effects 0.000 claims description 27
- 238000004220 aggregation Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 17
- 210000002751 lymph Anatomy 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000003125 immunofluorescent labeling Methods 0.000 claims description 10
- 238000010186 staining Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- FWBHETKCLVMNFS-UHFFFAOYSA-N 4',6-Diamino-2-phenylindol Chemical compound C1=CC(C(=N)N)=CC=C1C1=CC2=CC=C(C(N)=N)C=C2N1 FWBHETKCLVMNFS-UHFFFAOYSA-N 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004043 dyeing Methods 0.000 claims description 5
- 238000012482 interaction analysis Methods 0.000 claims description 4
- 238000012758 nuclear staining Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 238000001220 thermal lens spectroscopy Methods 0.000 description 17
- 230000011637 translesion synthesis Effects 0.000 description 17
- 230000009286 beneficial effect Effects 0.000 description 10
- 239000007850 fluorescent dye Substances 0.000 description 10
- 230000004083 survival effect Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 230000008614 cellular interaction Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000012757 fluorescence staining Methods 0.000 description 2
- 230000028993 immune response Effects 0.000 description 2
- 230000035800 maturation Effects 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 230000030741 antigen processing and presentation Effects 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000006907 apoptotic process Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 208000037976 chronic inflammation Diseases 0.000 description 1
- 230000006020 chronic inflammation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001280 germinal center Anatomy 0.000 description 1
- 230000012178 germinal center formation Effects 0.000 description 1
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 1
- 231100000844 hepatocellular carcinoma Toxicity 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 210000005212 secondary lymphoid organ Anatomy 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
- 210000000130 stem cell Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/02—Devices for withdrawing samples
- G01N1/04—Devices for withdrawing samples in the solid state, e.g. by cutting
- G01N1/06—Devices for withdrawing samples in the solid state, e.g. by cutting providing a thin slice, e.g. microtome
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/531—Production of immunochemical test materials
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/531—Production of immunochemical test materials
- G01N33/532—Production of labelled immunochemicals
- G01N33/533—Production of labelled immunochemicals with fluorescent label
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Biotechnology (AREA)
- Cell Biology (AREA)
- Microbiology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于多色免疫荧光的三级***构成熟度识别方法，属于图像识别技术领域，包括如下步骤：获取肿瘤患者石蜡样本切片；对肿瘤患者石蜡样本切片进行染色，得到第一染色切片和第二染色切片；对第一染色切片和第二染色切片进行全景扫描和特征配准，得到特征配准后的第一全景片和第二全景片；基于第一特征提取网络和第二特征提取网络对应提取特征配准后的第一全景片和第二全景片的三级***构区域，并通过误差特征区域筛除，得到标记有若干三级***构区域的待识别多色免疫荧光图；基于待用多色免疫荧光图进行三级***构成熟度识别，得到三级***构成熟度识别结果。本发明解决了难以快速、准确地识别成熟三级***构的问题。
Description
技术领域
本发明属于三级***构成熟度鉴定技术领域，尤其涉及一种基于多色免疫荧光的三级***构成熟度识别方法。
背景技术
三级***构（Tertiary lymphoid structures，TLS）是异位***构，位于慢性炎症部位，驱动特异性抗原免疫反应。与***等二级淋巴器官不同，TLS缺乏包膜，并具有其独特的特征和功能。TLS的主要作用是在慢性炎症环境中促进免疫反应，包括抗原呈递、T细胞和B细胞相互作用、淋巴细胞增殖和激活、生发中心形成等，其形成和成熟过程涉及多种类型的免疫细胞参与。根据TLS的结构和细胞组成，可以区分成熟和不成熟的TLS，研究者发现TLS的成熟程度与肿瘤的预后相关。在未经治疗的肺癌、结直肠癌和膀胱癌中，成熟的、具有生发中心的TLS与生存率呈正相关，而不成熟的TLS与生存率要么没有关联，要么关联较弱。在肝细胞癌中，成熟的TLS与改善的生存率相关，而不成熟的TLS则作为肿瘤祖细胞的生存区域，并导致预后较差。因此，如何分辨成熟TLS是非常重要的研究方向。
目前研究中，常使用多色免疫荧光染色以标记不同细胞群体，然后以荧光显微镜拍摄全景扫描图，从图像中根据各部位的染色情况以识别TLS及其成熟度，但该工作仍然存在较大挑战，主要原因是有两方面：一方面在于容易疏漏，即多色免疫荧光染色的全景扫描图很大，而一个扫描图上可能存在数个至几百个TLS，且散在不同区域，全靠人工分辨，工作量巨大，且容易存在疏漏；另一方面在于效率低，即对于成熟和不成熟TLS的判断要求高且较复杂。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于多色免疫荧光的三级***构成熟度识别方法，首先对肿瘤患者石蜡样本切片和染色，并对第一染色切片和第二染色切片进行全景扫描和特征配准，得到第一全景片和第二全景片，通过特征提取网络提取到的第二全景片中的图像特征对第一全景片中的误差特征区域筛除，得到待识别的多色免疫荧光图，最终通过对待用多色免疫荧光图进行三级***构成熟度识别，解决了难以快速、准确地识别成熟三级***构的问题。
为了达到上述发明目的，本发明采用的技术方案为：
本发明提供的一种基于多色免疫荧光的三级***构成熟度识别方法，包括如下步骤：
S1、获取肿瘤患者石蜡样本切片；
S2、对肿瘤患者石蜡样本切片进行染色，得到第一染色切片和第二染色切片；
S3、观察第二染色切片，并判断第二染色切片中是否有裂纹，若是则返回S1，否则进入S4；
S4、对第一染色切片和第二染色切片进行全景扫描和特征配准，得到特征配准后的第一全景片和第二全景片；
S5、基于第一特征提取网络和第二特征提取网络对应提取特征配准后的第一全景片和第二全景片的三级***构区域，并通过误差特征区域筛除，得到标记有若干三级***构区域的待识别多色免疫荧光图；
S6、基于待用多色免疫荧光图进行三级***构成熟度识别，得到三级***构成熟度识别结果。
本发明的有益效果为：本发明提供的一种基于多色免疫荧光的三级***构成熟度识别方法，通过对肿瘤患者石蜡样本进行切片和不同方式的染色，为通过第二染色切片对肿瘤患者石蜡样本进行质量控制提供基础，保障了三级***构成熟度识别的有效性；本发明对第一染色切片和第二染色切片进行了全景扫描和特征配准，并在第一特征提取网络和第二特征提取网络提取的第一全景片和第二全景片的三级***构区域的基础上，快速高效地筛除有缺陷的误差特征区域，保障了三级***构成熟度识别的准确性和高效率；本发明通过细胞聚焦趋势、组织结构分类、组织结构形式和相互作用等多方面分析，以实现对待用多色免疫荧光图进行三级***构成熟度识别，充分实现了综合保障三级***构成熟度识别结果的准确性。
进一步地，所述S2包括如下步骤：
S21、根据预设厚度对石蜡样本进行切片，并任意选取连续的两份切片，其中，预设厚度的取值范围为4~5μm；
S22、对选取的第一份切片进行多色免疫荧光染色，得到第一染色切片；
S23、对选取的第二份切片进行苏木精-伊红染色，得到第二染色切片。
采用上述进一步方案的有益效果为：本发明通过根据预设厚度进行石蜡样本切片，保证了显微观察效果，且任意选取连续的两份切片，保障了用于切片间的显微解构尽量相同；本发明基于苏木精-伊红染色的第二染色切片，确保了肿瘤患者石蜡样本质量，并为筛除对第一全景片上对成熟度识别无效的误差三级***构区域提供基础；本发明基于多色免疫荧光染色的第一染色切片，保障了对三级***构成熟度识别时，尤其在于进行聚焦趋势、组织结构分类、组织结构形式和相互作用等多方面分析时，能够便于对不同颜色染色的细胞进行区分辨识、观察聚集趋势、观察分布情况、计数以及测量间距。
进一步地，所述S4中特征配准采用的匹配特征包括组织外缘形状特征、组织内部血管形状、空腔形状和细胞团簇形状特征。
采用上述进一步方案的有益效果为：本发明通过组织外缘形状特征、组织内部血管形状、空腔形状、细胞团簇形状特征等结构形状特征，调节第一染色切片和第二染色切片的角度，实现特征配准，为利用第二染色切片对应的第二全景片中提取的数字化特征，对第一染色切片对应的第一全景片中提取的数字化特征进行误差特征筛除提供基础，即如对成熟度识别无效的裂开的三级***构区域快速筛除提供基础。
进一步地，所述S5包括如下步骤：
S51、获取染色切片全景片数据集，其中，染色切片全景片数据集包括由若干第一染色切片的全景片构成的第一染色切片全景片子数据集，以及由若干第二染色切片的全景片构成的第二染色切片全景片子数据集；
S52、分别构建第一特征提取网络和第二特征提取网络；
S53、利用第一染色切片全景片数据集训练第一特征提取网络，得到训练后的第一特征提取网络；
S54、利用第二染色切片全景片数据集训练第二特征提取网络，得到训练后的第二特征提取网络；
S55、利用训练后的第一特征提取网络提取特征配准后的第一全景片的三级***构区域，并作为第一数字化特征；
S57、查找第二数字化特征中不完整的三级***构区域，并将查找的结果对应的第一数字化特征中的区域作为误差特征；
S58、筛除第一数字化特征中的误差特征，得到标记有若干三级***构区域的待识别多色免疫荧光图。
采用上述进一步方案的有益效果为：本发明提供了第一特征提取网络和第二特征提取网络，并通过第一染色切片全景片子数据集和第二染色切片全景片子数据集分别对第一特征提取网络和第二特征提取网络进行训练，以分别提取到第一数字化特征和第二数字化特征，且基于第二数字化特征对第一数字化特征中的对成熟度识别无效的裂开的三级***构区域进行了误差特征筛除，为准确地识别三级***构区域的成熟度，筛除了误差特征，保障了三级***构成熟度识别对象的精准程度。
进一步地，所述S52中的第一特征提取网络和第二特征提取网络均包括：
图像特征提取子网络，用于接收第一染色切片的全景片或第二染色切片的全景片，并通过轻量级网络模块获取第一染色切片的全景片或第二染色切片的全景片中的三级***构图像特征信息；
多尺度特征提取子网络，用于接收三级***构图像特征信息，并通过金字塔模块提取三级***构图像特征信息中的三级***构的多尺度特征信息；
特征融合预测输出子网络，用于接收三级***构图像特征信息和三级***构的多尺度特征信息，并通过多尺度特征融合、采样、卷积和拼接处理，预测输出标识有三级***构区域的全景图，其中，第一特征提取网络预测输出的标识有三级***构区域的全景图为第一数字化特征，第二特征提取网络预测输出的标识有三级***构区域的全景图为第二数字化特征。
采用上述进一步方案的有益效果为：本发明提供的第一特征提取网络和第二特征提取网络的子网络结构，通过引入轻量级网络模块、深度可分离卷积和倒残差结构使得网络模型更加轻量化，在三级***构区域识别这类的小样本问题上更具有优势，通过对染色细胞核DAPI、T细胞CD3、B细胞CD20和滤泡细胞CD21的特征获取和分析，实现准确识别三级***构区域，能够在小样本条件下完成基于对染色切片的全景图中的三级***构区域的预测。
进一步地，所述轻量级网络模块为直筒型结构，包括依次连接的卷积子模块、第一倒残差子模块、第二倒残差子模块、第三倒残差子模块、第四倒残差子模块、第五倒残差子模块、第六倒残差子模块和第七倒残差子模块；
所述卷积子模块的输入端为图像特征提取子网络的输入端，用于对应输入第一染色切片的全景片或第二染色切片的全景片；所述卷积子模块的卷积核大小为3×3，步长为2，通道数为32；所述第一倒残差子模块的步长为1，通道数为16；所述第二倒残差子模块包括依次连接的步长为2，通道数为24的第一倒残差单元和步长为1，通道数为24的第二倒残差单元；所述第三倒残差子模块包括依次连接的步长为2，通道数为32的第3倒残差单元、步长均为1，通道数均为32的第四倒残差单元和第五倒残差单元；所述第四倒残差子模块包括依次连接的步长均为1，通道数均为64的第六倒残差单元、第七倒残差单元、第八倒残差单元和第九倒残差单元；所述第五倒残差子模块包括依次连接的步长均为1，通道数均为96的第十倒残差单元、第十一倒残差单元和第十二倒残差单元；所述第六倒残差子模块包括依次连接的步长均为1，通道数均为160的第十三倒残差单元、第十四倒残差单元和第十五倒残差单元；所述第七倒残差子模块为轻量级网络模块的输出端；所述第七倒残差子模块的步长为1，通道数为320；所述轻量级网络模块输出三级***构图像特征信息至金字塔模块和二次下采样模块；
所述金字塔模块采用并行的1×1卷积、3组空洞率分别为6、12和18的深度可分离卷积以及全局池化层对三级***构图像特征信息进行卷积，得到具有不同感受野的特征，并通过对各不同感受野的特征进行1×1的卷积操作，得到三级***构的多尺度特征信息；
所述特征融合预测输出子网络包括多尺度特征融合模块、二次上采样模块、二次下采样模块、低级特征模块、Concat拼接模块、卷积模块和四次上采样模块；
所述多尺度特征融合模块通过1×1的卷积将三级***构的多尺度特征信息进行通道压缩，并将通道压缩结果依次通过二次上采样模块进行2倍上采样，得到上采样三级***构特征信息；
所述二次下采样模块通过对三级***构图像特征信息进行2倍下采样，得到三级***构图像特征信息的低级特征信息，并通过低级特征模块对低级特征信息进行1×1的卷积操作，得到下采样三级***构特征信息；
所述上采样三级***构特征信息和下采样三级***构特征信息通过Concat拼接模块进行Concat拼接，得到拼接后的三级***构特征信息；
所述卷积模块通过3×3的卷积将拼接后的三级***构特征信息进行通道压缩，得到初始预测三级***构区域；
所述四次上采样模块通过若干次卷积对初始预测三级***构区域进行4倍上采样，得到与输入的全景片尺寸相同的标识有三级***构区域的全景图。
采用上述进一步方案的有益效果为：本发明提供用于提取第一数字化特征或第二数字化特征的特征提取网络的具体结构，通过图像特征信息和其多尺度特征信息的多次采样、压缩、拼接和卷积处理，实现了高准确率、低成本且快速地成功预测出全景图中的三级***构区域。
进一步地，所述第一数字化特征和第二数字化特征均为T细胞CD3、B细胞CD20和滤泡细胞CD21共三种显色指标中，至少两种指标通过DAPI进行细胞核染色呈阳性的区域。
采用上述进一步方案的有益效果为：本发明提供对三级***构区域的认定方法，即上述第一数字化特征和第二数字化特征，对细胞核DAPI、T细胞CD3、B细胞CD20和滤泡细胞CD21的染色结果区域进行识别和划分，能够有效识别到三级***构区域。
进一步地，所述S6包括如下步骤：
S61、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行聚集趋势分析，得到标记的各三级***构区域中的细胞聚集趋势信息；
S62、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行组织结构分类，得到若干呈第一类组织结构的三级***构区域和若干呈第二类组织结构的三级***构区域；
S63、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行组织结构形式分析，得到标记的各三级***构区域中的各类细胞数量信息；
S64、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行相互作用分析，得到标记的各三级***构区域中的各类细胞间的距离信息；
S65、基于标记的各三级***构区域中的细胞聚集趋势信息、各类细胞数量信息和各类细胞间的距离信息，分别对各呈第一类组织结构的三级***构区域和各呈第二类组织结构的三级***构区域进行三级***构成熟度识别，得到三级***构成熟度识别结果。
采用上述进一步方案的有益效果为：本发明提供了对三级***构进行成熟度识别的特征分析内容和特征分析方法，实现了包括细胞聚焦趋势、组织结构分类、组织结构形式和相互作用等多方面的分析，为准确识别三级***构区域提供了具体的分析内容和待判断划分特征，如细胞聚集趋势信息、细胞间组织结构信息、各类细胞数量信息和各类细胞间的距离信息，而本发明采用的多色荧光染色能够实现快速获取上述分析结果。
进一步地，所述S62中第一类组织结构为包括呈阳性的滤泡细胞CD21、呈阳性的B细胞CD20和呈阳性的T细胞CD3；
所述S62中第二组织结构为仅包括呈阳性的B细胞CD20和呈阳性的T细胞CD3。
采用上述进一步方案的有益效果为：本发明提供了第一类组织结构和第二类组织结构的细胞组织结构特征，为三级***构区域的成熟度分析提供了大类的识别划分判断基础，基于多色荧光染色结果能够快速获取上述第一类组织结构和第二类组织结构。
进一步地，所述S65包括如下步骤：
S651、针对各呈第一类组织结构的三级***构区域，若区域内呈阳性的滤泡细胞CD21的数量超过第一预设细胞数量阈值时，则该第一类组织结构的三级***构区域为成熟的三级***构区域，其中，第一预设细胞数量阈值的取值范围为20个~28个，优选设置为25个；
S652、针对各呈第一类组织结构的三级***构区域，若区域内呈阳性的滤泡细胞CD21的数量不超过第一预设细胞数量阈值时，则判断区域内呈阳性的T细胞CD3和B细胞CD20是否分别呈显著的聚集趋势、数量均大于第二预设细胞数量阈值，且各T细胞CD3间的平均距离和各B细胞CD20间的平均距离均不超过第一预设距离阈值，若是则该第一类组织结构的三级***构区域为成熟的三级***构区域，否则该第一类组织结构的三级***构区域为不成熟的三级***构区域，其中，第二预设细胞数量阈值的取值范围为95个~105个，第一预设距离阈值的取值范围为6μm~10μm，第二预设细胞数量阈值优选设置为100个，第一预设距离阈值优选设置为8μm；
S653、针对各呈第二类组织结构的三级***构区域，若区域内呈阳性的T细胞CD3和B细胞CD20间各自呈聚集趋势，则判断T细胞CD3和B细胞CD20的数量是否均大于第二预设细胞数量阈值，且各T细胞CD3间的平均距离和各B细胞CD20间的平均距离均不超过第一预设距离阈值，若是则该第二类组织结构的三级***构区域为成熟的三级***构区域，否则该第二类组织结构的三级***构区域为不成熟的三级***构区域；
S654、针对各呈第二类组织结构的三级***构区域，若区域内呈阳性的T细胞CD3和B细胞CD20间各自均不呈聚集趋势，则该第二类组织结构的三级***构区域为不成熟的三级***构区域。
采用上述进一步方案的有益效果为：本发明提供了基于获取的细胞聚集趋势信息、各类细胞数量信息和各类细胞间的距离信息对三级***构区域进行成熟度识别的具体方法，实现了基于多色荧光染色和图像识别结果的快速、准确识别成熟的三级***构区域。
针对于本发明还具有的其他优势将在后续的实施例中进行更细致的分析。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中一种基于多色免疫荧光的三级***构成熟度识别方法的步骤流程图。
图2为本发明实施例中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21经荧光染色以及染色后融合的示意图，其中，（a）为呈阳性的T细胞CD3经橘色荧光染色后的示意图，（b）为呈阳性的B细胞CD20经红色荧光染色后的示意图，（c）为呈阳性的滤泡细胞CD21经黄色荧光染色后的示意图，（d）为呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21经荧光染色且融合后的示意图。
图3为本发明实施例中用于提取第一数字化特征或第二数字化特征的特征提取网络的结构示意图。
图4为本发明实施例中通过第一特征提取网络提取的三级***构区域。
图5为本发明实施例中细胞聚集趋势的对比示意图，其中，（a）为细胞呈有聚集趋势的示意图，（b）为细胞呈离散无聚集趋势的示意图。
图6为本发明实施例中细胞互作分析示意图。
图7为本发明实施例中进行多色免疫荧光染色的图像与完成三级***构区域TLS成熟度识别图像的对比图，其中，（a）为多色免疫荧光染色的示意图，（b）为识别得到的成熟的三级***构区域示意图。
其中，A、第一三级***构区域；B、第二三级***构区域。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在本发明的一个实施例中，本发明提供一种基于多色免疫荧光的三级***构成熟度识别方法，包括如下步骤：
S1、获取肿瘤患者石蜡样本切片；
S2、对肿瘤患者石蜡样本切片进行染色，得到第一染色切片和第二染色切片；
所述S2包括如下步骤：
S21、根据预设厚度对石蜡样本进行切片，并任意选取连续的两份切片；本实施例中，预设厚度为4；连续的两份切片最大程度上保证了两份切片中的结构一致性；
S22、对选取的第一份切片进行多色免疫荧光染色，得到第一染色切片；
如图2所示，为本发明中第一份切片经多色免疫荧光染色的示意图，其中，a）为呈阳性的T细胞CD3经橘色荧光染色后的示意图、（b）为呈阳性的B细胞CD20经红色荧光染色后的示意图，（c）为呈阳性的滤泡细胞CD21经黄色荧光染色后的示意图，（d）为呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21经荧光染色且融合后的示意图。
S23、对选取的第二份切片进行苏木精-伊红染色，得到第二染色切片。
S3、观察第二染色切片，并判断第二染色切片中是否有裂纹，若是则返回S1，否则进入S4；
S4、对第一染色切片和第二染色切片进行全景扫描和特征配准，得到特征配准后的第一全景片和第二全景片；
所述S4中特征配准采用的匹配特征包括组织外缘形状特征、组织内部血管形状、空腔形状和细胞团簇形状特征。
S5、基于第一特征提取网络和第二特征提取网络对应提取特征配准后的第一全景片和第二全景片的三级***构区域，并通过误差特征区域筛除，得到标记有若干三级***构区域的待识别多色免疫荧光图；
所述S5包括如下步骤：
S51、获取染色切片全景片数据集，其中，染色切片全景片数据集包括由若干第一染色切片的全景片构成的第一染色切片全景片子数据集，以及由若干第二染色切片的全景片构成的第二染色切片全景片子数据集；
S52、分别构建第一特征提取网络和第二特征提取网络；
所述S52中的第一特征提取网络和第二特征提取网络均包括：
图像特征提取子网络，用于接收第一染色切片的全景片或第二染色切片的全景片，并通过轻量级网络模块获取第一染色切片的全景片或第二染色切片的全景片中的三级***构图像特征信息；
多尺度特征提取子网络，用于接收三级***构图像特征信息，并通过金字塔模块提取三级***构图像特征信息中的三级***构的多尺度特征信息；
特征融合预测输出子网络，用于接收三级***构图像特征信息和三级***构的多尺度特征信息，并通过多尺度特征融合、采样、卷积和拼接处理，预测输出标识有三级***构区域的全景图，其中，第一特征提取网络预测输出的标识有三级***构区域的全景图为第一数字化特征，第二特征提取网络预测输出的标识有三级***构区域的全景图为第二数字化特征。
如图3所示，所述轻量级网络模块为直筒型结构，包括依次连接的卷积子模块、第一倒残差子模块、第二倒残差子模块、第三倒残差子模块、第四倒残差子模块、第五倒残差子模块、第六倒残差子模块和第七倒残差子模块；
所述卷积子模块的输入端为图像特征提取子网络的输入端，用于对应输入第一染色切片的全景片或第二染色切片的全景片；所述卷积子模块的卷积核大小为3×3，步长为2，通道数为32；所述第一倒残差子模块的步长为1，通道数为16；所述第二倒残差子模块包括依次连接的步长为2，通道数为24的第一倒残差单元和步长为1，通道数为24的第二倒残差单元；所述第三倒残差子模块包括依次连接的步长为2，通道数为32的第3倒残差单元、步长均为1，通道数均为32的第四倒残差单元和第五倒残差单元；所述第四倒残差子模块包括依次连接的步长均为1，通道数均为64的第六倒残差单元、第七倒残差单元、第八倒残差单元和第九倒残差单元；所述第五倒残差子模块包括依次连接的步长均为1，通道数均为96的第十倒残差单元、第十一倒残差单元和第十二倒残差单元；所述第六倒残差子模块包括依次连接的步长均为1，通道数均为160的第十三倒残差单元、第十四倒残差单元和第十五倒残差单元；所述第七倒残差子模块为轻量级网络模块的输出端；所述第七倒残差子模块的步长为1，通道数为320；所述轻量级网络模块输出三级***构图像特征信息至金字塔模块和二次下采样模块；
所述金字塔模块采用并行的1×1卷积、3组空洞率分别为6、12和18的深度可分离卷积以及全局池化层对三级***构图像特征信息进行卷积，得到具有不同感受野的特征，并通过对各不同感受野的特征进行1×1的卷积操作，得到三级***构的多尺度特征信息；
所述特征融合预测输出子网络包括多尺度特征融合模块、二次上采样模块、二次下采样模块、低级特征模块、Concat拼接模块、卷积模块和四次上采样模块；
所述多尺度特征融合模块通过1×1的卷积将三级***构的多尺度特征信息进行通道压缩，并将通道压缩结果依次通过二次上采样模块进行2倍上采样，得到上采样三级***构特征信息；
所述二次下采样模块通过对三级***构图像特征信息进行2倍下采样，得到三级***构图像特征信息的低级特征信息，并通过低级特征模块对低级特征信息进行1×1的卷积操作，得到下采样三级***构特征信息；
所述上采样三级***构特征信息和下采样三级***构特征信息通过Concat拼接模块进行Concat拼接，得到拼接后的三级***构特征信息；
所述卷积模块通过3×3的卷积将拼接后的三级***构特征信息进行通道压缩，得到初始预测三级***构区域；
所述四次上采样模块通过若干次卷积对初始预测三级***构区域进行4倍上采样，得到与输入的全景片尺寸相同的标识有三级***构区域的全景图。
S53、利用第一染色切片全景片数据集训练第一特征提取网络，得到训练后的第一特征提取网络；
S54、利用第二染色切片全景片数据集训练第二特征提取网络，得到训练后的第二特征提取网络；
S55、利用训练后的第一特征提取网络提取特征配准后的第一全景片的三级***构区域，并作为第一数字化特征；
如图4所示，为本实施例中提供第一数字化特征的示意图，经过第一特征提取网络提取到第一数字化特征，第一数字化特征为虚线圈标记的三级***构区域，其中，A和B分别为虚线圈标记的第一三级***构区域和第二三级***构区域；本实施例中，第一三级***构区域和第二三级***构区域的编号分别为TLS-匹配HE20和TLS-匹配HE46，第一三级***构区域和第二三级***构区域的面积分别为0.1813mm2和0.1007mm2，即提取到的编号为20的三级***构区域的面积为0.1813mm2，编号为46的三级***构区域的面积为0.1007mm2。
S56、利用训练后的第二特征提取网络提取特征配准后的第二全景片的三级***构区域，并作为第二数字化特征；
所述第一数字化特征和第二数字化特征均为T细胞CD3、B细胞CD20和滤泡细胞CD21共三种显色指标中，至少两种指标通过DAPI进行细胞核染色呈阳性的区域。DAPI是一种可对DNA染色的细胞核染色试剂，常用于细胞凋亡检测。
S57、查找第二数字化特征中不完整的三级***构区域，并将查找的结果对应的第一数字化特征中的区域作为误差特征；
S58、筛除第一数字化特征中的误差特征，得到标记有若干三级***构区域的待识别多色免疫荧光图。
S6、基于待用多色免疫荧光图进行三级***构成熟度识别，得到三级***构成熟度识别结果。
所述S6包括如下步骤：
S61、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行聚集趋势分析，得到标记的各三级***构区域中的细胞聚集趋势信息；
如图5所示，为细胞聚集趋势的对比示意图，其中，（a）为细胞呈聚集趋势的示意图，（b）为细胞呈离散无聚集趋势的示意图。
S62、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行组织结构分类，得到若干呈第一类组织结构的三级***构区域和若干呈第二类组织结构的三级***构区域；
所述S62中第一类组织结构为包括呈阳性的滤泡细胞CD21、呈阳性的B细胞CD20和呈阳性的T细胞CD3；
所述S62中第二组织结构为仅包括呈阳性的B细胞CD20和呈阳性的T细胞CD3。
S63、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行组织结构形式分析，得到标记的各三级***构区域中的各类细胞数量信息；
S64、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行相互作用分析，得到标记的各三级***构区域中的各类细胞间的距离信息；
如图6所示，为T细胞CD3、B细胞CD20和滤泡细胞CD21进行相互作用的示意图，其中的圈泡状物质为染色后的细胞，通过其间的连线即可得到各类细胞间的距离信息；
S65、基于标记的各三级***构区域中的细胞聚集趋势信息、各类细胞数量信息和各类细胞间的距离信息，分别对各呈第一类组织结构的三级***构区域和各呈第二类组织结构的三级***构区域进行三级***构成熟度识别，得到三级***构成熟度识别结果。
所述S65包括如下步骤：
S651、针对各呈第一类组织结构的三级***构区域，若区域内呈阳性的滤泡细胞CD21的数量超过第一预设细胞数量阈值时，则该第一类组织结构的三级***构区域为成熟的三级***构区域；本实施例中，第一预设细胞数量阈值为25个；
S652、针对各呈第一类组织结构的三级***构区域，若区域内呈阳性的滤泡细胞CD21的数量不超过第一预设细胞数量阈值时，则判断区域内呈阳性的T细胞CD3和B细胞CD20是否分别呈显著的聚集趋势、数量均大于第二预设细胞数量阈值，且各T细胞CD3间的平均距离和各B细胞CD20间的平均距离均不超过第一预设距离阈值，若是则该第一类组织结构的三级***构区域为成熟的三级***构区域，否则该第一类组织结构的三级***构区域为不成熟的三级***构区域；本实施例中，第二预设细胞数量阈值为100个，第一预设距离阈值为8μm；
S653、针对各呈第二类组织结构的三级***构区域，若区域内呈阳性的T细胞CD3和B细胞CD20间各自呈聚集趋势，则判断T细胞CD3和B细胞CD20的数量是否均大于第二预设细胞数量阈值，且各T细胞CD3间的平均距离和各B细胞CD20间的平均距离均不超过第一预设距离阈值，若是则该第二类组织结构的三级***构区域为成熟的三级***构区域，否则该第二类组织结构的三级***构区域为不成熟的三级***构区域；
S654、针对各呈第二类组织结构的三级***构区域，若区域内呈阳性的T细胞CD3和B细胞CD20间各自均不呈聚集趋势，则该第二类组织结构的三级***构区域为不成熟的三级***构区域。
如图7所示，为本发明实施例中进行多色免疫荧光染色的图像与完成三级***构区域TLS成熟度识别图像的对比图，其中，（a）为通过多色免疫荧光染色得到的第一染色切片，（b）为经过本发明提供的基于多色免疫荧光的三级***构成熟度识别方法识别得到的成熟的三级***构区域。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种基于多色免疫荧光的三级***构成熟度识别方法，其特征在于，包括如下步骤：
S1、获取肿瘤患者石蜡样本切片；
S2、对肿瘤患者石蜡样本切片进行染色，得到第一染色切片和第二染色切片；
所述S2包括如下步骤：
S21、根据预设厚度对石蜡样本进行切片，并任意选取连续的两份切片；
S22、对选取的第一份切片进行多色免疫荧光染色，得到第一染色切片；
S23、对选取的第二份切片进行苏木精-伊红染色，得到第二染色切片；
S3、观察第二染色切片，并判断第二染色切片中是否有裂纹，若是则返回S1，否则进入S4；
S4、对第一染色切片和第二染色切片进行全景扫描和特征配准，得到特征配准后的第一全景片和第二全景片；
S5、基于第一特征提取网络和第二特征提取网络对应提取特征配准后的第一全景片和第二全景片的三级***构区域，并通过误差特征区域筛除，得到标记有若干三级***构区域的待识别多色免疫荧光图；
所述S5包括如下步骤：
S51、获取染色切片全景片数据集，其中，染色切片全景片数据集包括由若干第一染色切片的全景片构成的第一染色切片全景片子数据集，以及由若干第二染色切片的全景片构成的第二染色切片全景片子数据集；
S52、分别构建第一特征提取网络和第二特征提取网络；
S53、利用第一染色切片全景片数据集训练第一特征提取网络，得到训练后的第一特征提取网络；
S54、利用第二染色切片全景片数据集训练第二特征提取网络，得到训练后的第二特征提取网络；
S55、利用训练后的第一特征提取网络提取特征配准后的第一全景片的三级***构区域，并作为第一数字化特征；
S56、利用训练后的第二特征提取网络提取特征配准后的第二全景片的三级***构区域，并作为第二数字化特征；
S57、查找第二数字化特征中不完整的三级***构区域，并将查找的结果对应的第一数字化特征中的区域作为误差特征；
S58、筛除第一数字化特征中的误差特征，得到标记有若干三级***构区域的待识别多色免疫荧光图；
S6、基于待用多色免疫荧光图进行三级***构成熟度识别，得到三级***构成熟度识别结果；
所述S6包括如下步骤：
S61、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行聚集趋势分析，得到标记的各三级***构区域中的细胞聚集趋势信息；
S62、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行组织结构分类，得到若干呈第一类组织结构的三级***构区域和若干呈第二类组织结构的三级***构区域；
所述S62中第一类组织结构为包括呈阳性的滤泡细胞CD21、呈阳性的B细胞CD20和呈阳性的T细胞CD3；
所述S62中第二组织结构为仅包括呈阳性的B细胞CD20和呈阳性的T细胞CD3；
S63、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行组织结构形式分析，得到标记的各三级***构区域中的各类细胞数量信息；
S64、分别对待识别多色免疫荧光图标记的各三级***构区域中呈阳性的T细胞CD3、B细胞CD20和滤泡细胞CD21进行相互作用分析，得到标记的各三级***构区域中的各类细胞间的距离信息；
S65、基于标记的各三级***构区域中的细胞聚集趋势信息、各类细胞数量信息和各类细胞间的距离信息，分别对各呈第一类组织结构的三级***构区域和各呈第二类组织结构的三级***构区域进行三级***构成熟度识别，得到三级***构成熟度识别结果；
所述S65包括如下步骤：
S651、针对各呈第一类组织结构的三级***构区域，若区域内呈阳性的滤泡细胞CD21的数量超过第一预设细胞数量阈值时，则该第一类组织结构的三级***构区域为成熟的三级***构区域；
S652、针对各呈第一类组织结构的三级***构区域，若区域内呈阳性的滤泡细胞CD21的数量不超过第一预设细胞数量阈值时，则判断区域内呈阳性的T细胞CD3和B细胞CD20是否分别呈显著的聚集趋势、数量均大于第二预设细胞数量阈值，且各T细胞CD3间的平均距离和各B细胞CD20间的平均距离均不超过第一预设距离阈值，若是则该第一类组织结构的三级***构区域为成熟的三级***构区域，否则该第一类组织结构的三级***构区域为不成熟的三级***构区域；
S653、针对各呈第二类组织结构的三级***构区域，若区域内呈阳性的T细胞CD3和B细胞CD20间各自呈聚集趋势，则判断T细胞CD3和B细胞CD20的数量是否均大于第二预设细胞数量阈值，且各T细胞CD3间的平均距离和各B细胞CD20间的平均距离均不超过第一预设距离阈值，若是则该第二类组织结构的三级***构区域为成熟的三级***构区域，否则该第二类组织结构的三级***构区域为不成熟的三级***构区域；
S654、针对各呈第二类组织结构的三级***构区域，若区域内呈阳性的T细胞CD3和B细胞CD20间各自均不呈聚集趋势，则该第二类组织结构的三级***构区域为不成熟的三级***构区域。
2.根据权利要求1所述的基于多色免疫荧光的三级***构成熟度识别方法，其特征在于，所述S4中特征配准采用的匹配特征包括组织外缘形状特征、组织内部血管形状、空腔形状和细胞团簇形状特征。
3.根据权利要求1所述的基于多色免疫荧光的三级***构成熟度识别方法，其特征在于，所述S52中的第一特征提取网络和第二特征提取网络均包括：
图像特征提取子网络，用于接收第一染色切片的全景片或第二染色切片的全景片，并通过轻量级网络模块获取第一染色切片的全景片或第二染色切片的全景片中的三级***构图像特征信息；
多尺度特征提取子网络，用于接收三级***构图像特征信息，并通过金字塔模块提取三级***构图像特征信息中的三级***构的多尺度特征信息；
特征融合预测输出子网络，用于接收三级***构图像特征信息和三级***构的多尺度特征信息，并通过多尺度特征融合、采样、卷积和拼接处理，预测输出标识有三级***构区域的全景图，其中，第一特征提取网络预测输出的标识有三级***构区域的全景图为第一数字化特征，第二特征提取网络预测输出的标识有三级***构区域的全景图为第二数字化特征。
4.根据权利要求3所述的基于多色免疫荧光的三级***构成熟度识别方法，其特征在于，所述轻量级网络模块为直筒型结构，包括依次连接的卷积子模块、第一倒残差子模块、第二倒残差子模块、第三倒残差子模块、第四倒残差子模块、第五倒残差子模块、第六倒残差子模块和第七倒残差子模块；
所述卷积子模块的输入端为图像特征提取子网络的输入端，用于对应输入第一染色切片的全景片或第二染色切片的全景片；所述卷积子模块的卷积核大小为3×3，步长为2，通道数为32；所述第一倒残差子模块的步长为1，通道数为16；所述第二倒残差子模块包括依次连接的步长为2，通道数为24的第一倒残差单元和步长为1，通道数为24的第二倒残差单元；所述第三倒残差子模块包括依次连接的步长为2，通道数为32的第3倒残差单元、步长均为1，通道数均为32的第四倒残差单元和第五倒残差单元；所述第四倒残差子模块包括依次连接的步长均为1，通道数均为64的第六倒残差单元、第七倒残差单元、第八倒残差单元和第九倒残差单元；所述第五倒残差子模块包括依次连接的步长均为1，通道数均为96的第十倒残差单元、第十一倒残差单元和第十二倒残差单元；所述第六倒残差子模块包括依次连接的步长均为1，通道数均为160的第十三倒残差单元、第十四倒残差单元和第十五倒残差单元；所述第七倒残差子模块为轻量级网络模块的输出端；所述第七倒残差子模块的步长为1，通道数为320；所述轻量级网络模块输出三级***构图像特征信息至金字塔模块和二次下采样模块；
所述金字塔模块采用并行的1×1卷积、3组空洞率分别为6、12和18的深度可分离卷积以及全局池化层对三级***构图像特征信息进行卷积，得到具有不同感受野的特征，并通过对各不同感受野的特征进行1×1的卷积操作，得到三级***构的多尺度特征信息；
所述特征融合预测输出子网络包括多尺度特征融合模块、二次上采样模块、二次下采样模块、低级特征模块、Concat拼接模块、卷积模块和四次上采样模块；
所述多尺度特征融合模块通过1×1的卷积将三级***构的多尺度特征信息进行通道压缩，并将通道压缩结果依次通过二次上采样模块进行2倍上采样，得到上采样三级***构特征信息；
所述二次下采样模块通过对三级***构图像特征信息进行2倍下采样，得到三级***构图像特征信息的低级特征信息，并通过低级特征模块对低级特征信息进行1×1的卷积操作，得到下采样三级***构特征信息；
所述上采样三级***构特征信息和下采样三级***构特征信息通过Concat拼接模块进行Concat拼接，得到拼接后的三级***构特征信息；
所述卷积模块通过3×3的卷积将拼接后的三级***构特征信息进行通道压缩，得到初始预测三级***构区域；
所述四次上采样模块通过若干次卷积对初始预测三级***构区域进行4倍上采样，得到与输入的全景片尺寸相同的标识有三级***构区域的全景图。
5.根据权利要求1所述的基于多色免疫荧光的三级***构成熟度识别方法，其特征在于，所述第一数字化特征和第二数字化特征均为T细胞CD3、B细胞CD20和滤泡细胞CD21共三种显色指标中，至少两种指标通过DAPI进行细胞核染色呈阳性的区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311714748.3A CN117405644B (zh) | 2023-12-14 | 2023-12-14 | 基于多色免疫荧光的三级***构成熟度识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311714748.3A CN117405644B (zh) | 2023-12-14 | 2023-12-14 | 基于多色免疫荧光的三级***构成熟度识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117405644A CN117405644A (zh) | 2024-01-16 |
| CN117405644B true CN117405644B (zh) | 2024-02-09 |
Family
ID=89494720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311714748.3A Active CN117405644B (zh) | 2023-12-14 | 2023-12-14 | 基于多色免疫荧光的三级***构成熟度识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117405644B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001061626A1 (en) * | 2000-02-15 | 2001-08-23 | Niczyporuk Marek A | Information processing system and method of using same |
| WO2017087847A1 (en) * | 2015-11-20 | 2017-05-26 | Oregon Health & Science University | Multiplex immunohistochemistry image cytometry |
| CN112004459A (zh) * | 2018-02-02 | 2020-11-27 | 大学健康网络 | 用于肿瘤可视化和切除的装置、***和方法 |
| CN114341937A (zh) * | 2019-09-05 | 2022-04-12 | 徕卡生物***成像股份有限公司 | 细胞图像分割的用户辅助迭代 |
| CN114841320A (zh) * | 2022-05-07 | 2022-08-02 | 西安邮电大学 | 一种基于喉镜医学影像的器官自动分割方法 |
| CN116188474A (zh) * | 2023-05-05 | 2023-05-30 | 四川省肿瘤医院 | 基于图像语义分割的三级***构识别方法和*** |
| CN116400080A (zh) * | 2023-03-28 | 2023-07-07 | 复旦大学附属肿瘤医院 | 三级***构在制备肾癌分型诊断或预后评估中的应用 |
| CN116912240A (zh) * | 2023-09-11 | 2023-10-20 | 南京理工大学 | 基于半监督学习的突变tp53免疫学检测方法 |
-
2023
- 2023-12-14 CN CN202311714748.3A patent/CN117405644B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001061626A1 (en) * | 2000-02-15 | 2001-08-23 | Niczyporuk Marek A | Information processing system and method of using same |
| WO2017087847A1 (en) * | 2015-11-20 | 2017-05-26 | Oregon Health & Science University | Multiplex immunohistochemistry image cytometry |
| CN112004459A (zh) * | 2018-02-02 | 2020-11-27 | 大学健康网络 | 用于肿瘤可视化和切除的装置、***和方法 |
| CN114341937A (zh) * | 2019-09-05 | 2022-04-12 | 徕卡生物***成像股份有限公司 | 细胞图像分割的用户辅助迭代 |
| CN114841320A (zh) * | 2022-05-07 | 2022-08-02 | 西安邮电大学 | 一种基于喉镜医学影像的器官自动分割方法 |
| CN116400080A (zh) * | 2023-03-28 | 2023-07-07 | 复旦大学附属肿瘤医院 | 三级***构在制备肾癌分型诊断或预后评估中的应用 |
| CN116188474A (zh) * | 2023-05-05 | 2023-05-30 | 四川省肿瘤医院 | 基于图像语义分割的三级***构识别方法和*** |
| CN116912240A (zh) * | 2023-09-11 | 2023-10-20 | 南京理工大学 | 基于半监督学习的突变tp53免疫学检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Image-based correction of continuous and discontinuous non-planar axial distortion in serial section microscopy;Hanslovsky P等;Bioinformatics;20171231;第 33 卷(第 9 期);第1379-1386页 * |
| 面向深度学习的胰腺医学图像分割方法研究进展;曹路洋等;小型微型计算机***;20221231;第 43 卷(第 12 期);第2591-2604页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117405644A (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109447977B (zh) | 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法 | |
| Vaickus et al. | Automating the Paris System for urine cytopathology—A hybrid deep‐learning and morphometric approach | |
| JP5113227B2 (ja) | 画像パターン認識システム及び方法 | |
| US10586376B2 (en) | Automated method of predicting efficacy of immunotherapy approaches | |
| CN110473167B (zh) | 一种基于深度学习的尿沉渣图像识别***及方法 | |
| JP2013541767A (ja) | セルブロック調製物のデジタル評価のためのシステム及び方法 | |
| Chibuta et al. | Real-time malaria parasite screening in thick blood smears for low-resource setting | |
| Shu et al. | Artificial‐intelligence‐enabled reagent‐free imaging hematology analyzer | |
| CN1140498A (zh) | 自动化细胞样品分类***和方法 | |
| EP3729053B1 (en) | Fast and robust fourier domain-based cell differentiation | |
| Lin et al. | Digital pathology and artificial intelligence as the next chapter in diagnostic hematopathology | |
| CN113222944B (zh) | 细胞核分割方法及基于病理图像的癌症辅助分析***、装置 | |
| Mattie et al. | PathMaster: content-based cell image retrieval using automated feature extraction | |
| CN117405644B (zh) | 基于多色免疫荧光的三级***构成熟度识别方法 | |
| JP2003500664A (ja) | 実験データの汎用解析のための方法およびシステム | |
| Frost | I. Cellular Morphology Bespeaks Biologic Behavior | |
| Liu et al. | Fast noninvasive morphometric characterization of free human sperms using deep learning | |
| Laosai et al. | Deep-Learning-based Acute Leukemia classification using imaging flow cytometry and morphology | |
| US7257243B2 (en) | Method for analyzing a biological sample | |
| Jagannadh et al. | Microfluidic microscopy-assisted label-free approach for cancer screening: automated microfluidic cytology for cancer screening | |
| EP3540631A1 (de) | In-vitro-verfahren zum markierungsfreien bestimmen eines zelltyps einer weissen blutzelle | |
| Zordan et al. | Cellular image classification workflow for real-time image based sort decisions | |
| CN115050024B (zh) | 一种可解释性的粒细胞智能实时识别方法及*** | |
| Jonas et al. | Ploidy analysis on digital slides | |
| Koudounas et al. | Three‐dimensional tissue volume generation in conventional brightfield microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |