CN116453116A - 一种高适应性的明场细胞活死分类算法 - Google Patents
一种高适应性的明场细胞活死分类算法 Download PDFInfo
- Publication number
- CN116453116A CN116453116A CN202310731495.4A CN202310731495A CN116453116A CN 116453116 A CN116453116 A CN 116453116A CN 202310731495 A CN202310731495 A CN 202310731495A CN 116453116 A CN116453116 A CN 116453116A
- Authority
- CN
- China
- Prior art keywords
- bright field
- cell
- image
- model
- hidden
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007635 classification algorithm Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 5
- 210000004027 cell Anatomy 0.000 claims description 124
- 239000013598 vector Substances 0.000 claims description 51
- 238000005457 optimization Methods 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 15
- 238000002073 fluorescence micrograph Methods 0.000 claims description 15
- 210000002569 neuron Anatomy 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 2
- 238000000034 method Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 238000011176 pooling Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- GLNADSQYFUSGOU-GPTZEZBUSA-J Trypan blue Chemical compound [Na+].[Na+].[Na+].[Na+].C1=C(S([O-])(=O)=O)C=C2C=C(S([O-])(=O)=O)C(/N=N/C3=CC=C(C=C3C)C=3C=C(C(=CC=3)\N=N\C=3C(=CC4=CC(=CC(N)=C4C=3O)S([O-])(=O)=O)S([O-])(=O)=O)C)=C(O)C2=C1N GLNADSQYFUSGOU-GPTZEZBUSA-J 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- BQRGNLJZBFXNCZ-UHFFFAOYSA-N calcein am Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC(CN(CC(=O)OCOC(C)=O)CC(=O)OCOC(C)=O)=C(OC(C)=O)C=C1OC1=C2C=C(CN(CC(=O)OCOC(C)=O)CC(=O)OCOC(=O)C)C(OC(C)=O)=C1 BQRGNLJZBFXNCZ-UHFFFAOYSA-N 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种高适应性的明场细胞活死分类算法，包括利用了多编码‑自动编码解码器，该解码器可以对单细胞图像进行处理，过滤掉其中与生物信息无关的空间信息，如旋转、仿射等信息，还利用少量明场与荧光配对的图像作为训练数据，使得模型最终可以仅依赖于明场图像就能达到较高的活死细胞识别准确率；本发明的主要目的是针对传统细胞活死识别技术存在的缺陷，提出一种新的细胞活死识别算法，以解决现有方法无法准确确定细胞的活死情况的问题，相比于传统的基于染色或基于实例分割的算法，本发明所提出的方法具有明显优势，可以有效避免繁琐的染色操作，减少对模型训练所需的标记数据，同时减少模型的空间复杂度和时间复杂度。
Description
技术领域
本发明涉及细胞分类技术领域，具体为一种高适应性的明场细胞活死分类算法。
背景技术
目前传统的细胞活死识别方法主要采用两种技术路线。第一种是使用台盼蓝等染色剂对细胞进行染色，然后通过拍摄细胞的明场图像，再利用阈值分割算法将细胞图像分割成单个细胞，并利用不同阈值或聚类算法完成细胞的活死识别；该方法简单易行，但准确度有限，易受细胞形态等因素的影响，且需要使用染色剂对细胞进行处理，可能对细胞产生影响。第二种方法是使用荧光染料如calcein-AM对细胞进行染色，并同时拍摄明场和荧光图像。通过将荧光图像视作活细胞的金标准，来完成单个细胞的活死识别；该方法的准确度较高，但需要使用昂贵的荧光染料，且荧光图像的拍摄和处理比较复杂；对于单个细胞图像的分类算法，传统方法主要采用实例分割算法MASKR-CNN的同时预测分类和MASK，即在图像中标注出每个细胞的位置和形状，并进行分类。该方法需要大量标注好的训练数据和较高的计算资源，且对细胞图像的预处理和后续的后处理过程也要求较高，为此我们提出一种高适应性的明场细胞活死分类算法用于解决上述问题。
发明内容
本发明的目的在于提供一种高适应性的明场细胞活死分类算法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种高适应性的明场细胞活死分类算法，首先构建多编码-自动编码器模型并进行训练，得到训练完成的多编码-自动编码器模型，明场细胞活死分类算法具体包括以下步骤：
S1：给定任意一组明场图像组及对应的荧光图像组，通过细胞图像分割算法对明场图像组及对应的荧光图像组进行图像分割，得到单个细胞明场图像集合和对应的单个细胞荧光图像集合；
S2：通过单个细胞荧光图像集合对单个细胞明场图像集合活细胞进行标记，制作单个细胞明场图像的活死标签，得到训练集；
S3：利用训练完成的多编码-自动编码器模型对单个细胞明场图像集合和单个细胞荧光图像集合进行过滤，提取隐藏特征；
S4：构建多层感知机，并用训练集训练多层感知机，得到训练完成之后的多层感知机；
S5：将提取到的隐藏特征输入训练完成之后的多层感知机中，得到细胞的活死分类。
优选的，多编码-自动编码器模型包括若干编码器，每个编码器对应一个不同的空间变化,每个编码器对于一个解码器，编码器输入单个细胞明场图像和单个细胞荧光图像，输出隐含向量，编码器以卷积层和全连接层混合构建，解码器输入隐含向量，输出重新构建的隐藏特征。
优选的，多编码-自动编码器模型具体工作流出如下：
S31：输入单个细胞明场图像和对应的细胞荧光图；
S32：使用多个编码器，每个编码器对输入的单个细胞明场图像和对应的细胞荧光图进行不同的空间变化；
S33：再对空间变化之后的单个细胞明场图像和对应的细胞荧光图进行隐藏特征的提取；
S34：将步骤S33提取到的隐藏特征，输入到对应的解码器中，解码器依据隐藏特征对图像进行重新构建；
S35：重新构建的图像与模型输入的图像进行比较，若重新构建的图像与模型输入的图像相差较小，则该提取的隐藏特征为有用特征，若重新构建的图像与模型输入的图像相差较大，则该提取的隐藏特征为无用特征。
优选的，整个多编码-自动编码器模型通过变分推断的ELBO计算公式来评估模型的特征提取的准确性，ELBO1的计算公式如下：
其中，z 是潜在变量，x 是观测数据，是变换函数，/>为逆变化函数，是真实的后验分布，/>是近似的后验分布。
优选的，所述多层感知机共三层，具体结构如下：
输入层：输入m个隐藏特征，将隐藏特征转为特征向量；
隐藏层：设有n个神经元，输入特征向量，输出判断向量；
输出层：输入判断向量，输出预测结果。
优选的，隐藏层中每个神经元都具有权重向量和偏置向量，第i个神经元的权重向量为，偏置为/>，该神经元的输出为：
其中,*表示向量的点积，ReLU函数作用是将负值变为0，X为输入的特征向量，H表示输出的判断向量。
优选的，输出层中设有权重向量和偏置b，输出层输出为：
其中，*表示向量的点积，Probability表示活细胞的概率，Sigmoid函数能够将输入映射到0和1之间，H表示输出的判断向量。
优选的，整个多层感知机通过变分推断的计算公式来评估模型的优化程度，的计算公式如下：
其中，表示预测的活死标记，/>表示通过荧光图像获取的活死标记，z 是潜在变量，x 是观测数据，/>为逆变化函数，/>是真实的后验分布，/>是近似的后验分布。
优选的，步骤S1对明场图像组及对应的荧光图像组进行图像分割具体步骤如下：
S11：将输入的明场图像组及对应的荧光图像组，对明场图像组和对应的荧光图像组分别进行仿射、放大变换，得到新明场图像组和对应的新荧光图像组。
S12：新明场图像组和新荧光图像组训练第一模型，并得到完成训练的第一模型，以新明场图像组和原荧光图像组训练第二优化模型，并得到训练完成之后的第二优化模型；
S13：将新明场图像组和对应的新荧光图像输入到训练完成的多编码-自动编码器模型，得到隐含空间；
S14：利用PCA算法对隐含空间进行降维处理，得到三维的隐藏变量；
S15：将隐藏变量利用自聚类算法K-Means进行聚类，将隐藏变量变为若干聚类；
S16：根据聚类结果，为每个聚类选择对应的第一优化模型和第二优化模型；
S17：对于每个聚类，使用对应的第一优化模型计算出待分割细胞图像的第一荧光点图，使用第二优化模型计算出待分割细胞图像的第二荧光点图；
S18：第二荧光点图为种子点，第一荧光点图为前景，实现对细胞的精准分割，得到单个细胞掩码；
S19：根据单个细胞掩码，提取明场图像组及对应的荧光图像组中的单个细胞图像，得到单个细胞明场图像集合和对应的单个细胞荧光图像集合。
与现有技术相比，本发明的有益效果是：
第一、利用了一个多编码-自动编码解码器，该解码器可以对单细胞图像进行处理，过滤掉其中与生物信息无关的空间信息，如旋转、仿射等信息，这样可以提高算法的精度和可靠性。
第二、利用明场和荧光图像作为协作的特征提取，并将它们同时作为对抗的分类标签预测，这样可以通过协作的方式提高模型的准确性，并且通过对抗的方式提高分类标签的可靠性。
第三、利用少量明场与荧光配对的图像作为训练数据，使得模型最终可以仅依赖于明场图像就能达到较高的活死细胞识别准确率，这样可以降低数据的成本和复杂度，并提高算法的实用性。
第四、实现细胞分割、细胞特征提取和细胞活死鉴别从弱监督到无监督的过渡，这样可以根据不同的需求和数据情况，灵活地选择适合的算法和方法，提高算法的可用性和适用性。
附图说明
图1为本发明的原理流程图；
图2为多编码-自动编码器模型的原理流程图；
图3为多层感知机的原理流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1-图3，本发明具体实现方案如下：
S1：给定任意一组明场图像组B，及对应的荧光图像组F，，如果对应的荧光图像不存在，则将荧光图像设置为None，通过细胞图像分割算法对图像集合/>和/>进行图像分割，得到单个细胞明场图像集合/>和对应的单个细胞荧光图像集合/>；
S2：通过单个细胞荧光图像集合对单个细胞明场图像集合中的活细胞进行标记，明场的图像的细胞位置对应的荧光图像存在荧光信号则认为此处的细胞是活细胞，否则认为此处的细胞是死细胞，制作单个细胞明场图像的活死标签/>，得到训练集；
S3：利用训练完成的多编码-自动编码器模型对单个细胞明场图像集合和单个细胞荧光图像集合/>进行过滤，提取隐藏特征；
S4：构建多层感知机，并用训练集训练多层感知机，得到训练完成之后的多层感知机；
S5：将提取到的隐藏特征输入训练完成之后的多层感知机中，得到细胞的活死分类。
利用明场和荧光图像作为协作的特征提取，并将它们同时作为对抗的分类标签预测，这样可以通过协作的方式提高模型的准确性，并且通过对抗的方式提高分类标签的可靠性。
在一种可行的实施例下，5000组明场图像和对应的荧光图像，通过预处理算法将这些图像分割成30000个单个细胞明场图像和对应的单个细胞荧光图像，对这些单个细胞明场图像进行了活细胞标记，创建了细胞活死的标签，得到了一个丰富的训练集，通过训练这个多编码-自动编码器模型，从单个细胞明场图像和单个细胞荧光图像中提取出了1600个主要隐藏特征。
参考图2，多编码-自动编码器模型包括若干编码器，每个编码器对应一个不同的空间变化,每个编码器对于一个解码器，编码器输入单个细胞明场图像和单个细胞荧光图像，输出隐含向量，编码器以卷积层和全连接层混合构建，解码器输入隐含向量，输出重新构建的隐藏特征。
在一种可行的实施例下，多编码-自动编码器模型首先使用其编码器部分将输入图像映射到一个潜在空间，这个潜在空间的每一个维度都可以看作是一个隐藏特征，然后，多编码-自动编码器模型使用其解码器部分从潜在空间中生成新的图像。
隐藏特征不是直接从原始数据中提取的，如细胞核的圆形度或细胞膜的像素平均值等；隐藏特征是通过多编码-自动编码器模型的训练过程自动学习的，隐藏特征提供了一种更深层次、更抽象的表示，使得多层感知机能够捕捉到在原始数据中不易识别的模式。
多编码-自动编码器模型具体工作流出如下：
S31：输入单个细胞明场图像和对应的细胞荧光图；
S32：使用多个编码器，每个编码器对输入的单个细胞明场图像和对应的细胞荧光图进行不同的空间变化；
S33：再对空间变化之后的单个细胞明场图像和对应的细胞荧光图进行隐藏特征的提取；
S34：将步骤S33提取到的隐藏特征，输入到对应的解码器中，解码器依据隐藏特征对图像进行重新构建；
S35：重新构建的图像与模型输入的图像进行比较，若重新构建的图像与模型输入的图像差异小于阈值，则该提取的隐藏特征为有用特征，若重新构建的图像与模型输入的图像差异大于阈值，则该提取的隐藏特征为无用特征。
步骤S35中两个图像像素差异阈值取值为。
编码器具体结构如下：
第一卷积层：卷积核大小为3X3，步长为1，填充为1，输出通道数为32，输出尺寸为(32,W,H)张量；
第一池化层：使用2X2的最大池化，输出尺寸为(32,W/2,H/2)的图像；
第二卷积层：卷积核大小为3X3，步长为1，填充为1，输出通道数为64，输出尺寸为(64,W/2,H/2)张量；
第二池化层：使用2X2的最大池化，输出尺寸为(64,W/4,H/4)张量；
第三卷积层：卷积核大小为3X3，步长为1，填充为1，输出通道数为128，输出尺寸为(128,W/4,H/4)张量；
第三池化层：使用2X2的最大池化，输出尺寸为(128,W/8,H/8)的图像；
展平：将尺寸为(128,W/8,H/8)的图像展平为(128*W/8*H/8)维向量；
第一全连接层：输入(128*W/8*H/8)维向量,输出1024维向量；
第二全连接层：输入1024维，输出d维的隐含向量(例如d=128)。
解码器具体结构如下：
第一全连接层：输入为d维的隐含向量，输出为1024维向量；
第二全连接层：输入为1024维，输出为(128*W/8*H/8)维向量；
重塑：将(128*W/8*H/8)维向量重塑为(128,W/8,H/8)张量；
第一反池化层：对(128,W/8,H/8)张量进行2X2的最近邻上采样输出尺寸为(128,W/4,H/4)；
第一反卷积层：卷积核大小为3X3，步长为1，填充为1，输入通道数为128，输出通道数为64输出尺寸为(64,W/4,H/4)张量；
第二反池化层：对(64,W/4,H/4)张量进行2X2的最近邻上采样输出尺寸为(64,W/2,H/2)；
第二反卷积层：卷积核大小为3X3，步长为1，填充为1，输入通道数为64，输出通道数为32输出尺寸为(32,W/2,H/2)；
第三反池化层：对(32,W/2,H/2)张量进行2x2的最近邻上采样输出尺寸为(32,W,H)；
第三反卷积层：卷积核大小为3X3，步长为1，填充为1，输入通道数为32，输出通道数为1输出尺寸为(1,W,H)；
整个多编码-自动编码器模型通过变分推断的ELBO计算公式来评估模型的特征提取的准确性，ELBO1的计算公式如下：
其中，z 是潜在变量，x 是观测数据，是变换函数，/>为逆变化函数，是真实的后验分布，/>是近似的后验分布，这个公式实际上表示了对于潜在变量 z 的期望，该期望是在/>分布下的，而期望内部是/> 和/> 的差值。
ELBO1的计算过程包含两部分：第一部分是数据的对数似然性，即在给定潜在变量z 的情况下，观测数据 x 的概率；第二部分是近似分布 q(z) 的熵，这部分实际上是一个惩罚项，用于鼓励 q(z) 尽可能地接近均匀分布，以增加模型的鲁棒性。
参考图3，多层感知机共三层，具体结构如下：
输入层：输入1600个隐藏特征，将隐藏特征转为特征向量；
隐藏层：设有512个神经元，输入特征向量，输出判断向量；
输出层：输入判断向量，输出预测结果。
隐藏层中每个神经元都具有权重向量和偏置向量，第i个神经元的权重向量为，偏置为/>，该神经元的输出为：
其中，*表示向量的点积，ReLU函数作用是将负值变为0，X为输入的特征向量，H表示输出的判断向量。
输出层中设有权重向量和偏置b，输出层输出为：
其中，*表示向量的点积，Probability表示活细胞的概率，Sigmoid函数能够将输入映射到0和1之间，H表示输出的判断向量。
在多层感知机使用之前需要对多层感知机进行训练，利用步骤2构建的单个细胞明场图像的活死标签训练集，来训练多层感知机，整个多层感知机通过变分推断的/>计算公式来评估模型的优化程度，/>的计算公式如下：
其中，表示预测的活死标记，/>表示通过荧光图像获取的活死标记，z 是潜在变量，x 是观测数据，/>是变换函数，/>为逆变化函数，/>是真实的后验分布，/>是近似的后验分布，最终优化为该函数收敛即止。
多层感知机和多编码-自动编码器模型均通过优化 ELBO得到一个相对较好的 q分布，使得它尽可能地接近真实的后验分布 p。
在一种可行的实施例下，构建了一个由三层、总计2000个神经元组成的多层感知机，并用之前的训练集对其进行了训练，训练过程中，设定了一个停止准则，即当神经元的输出变化量小于0.01时，就认为多层感知机已经训练完成，整个训练过程持续24小时，完成模型训练后，将提取出的隐藏特征输入到训练好的多层感知机中，得到了细胞的活死分类结果，为了将多层感知机的输出映射到0和1之间，使用了Sigmoid函数，这样可以得到每个细胞的生存概率。
在一种可行的实施例下，步骤S1对明场图像组及对应的荧光图像组进行图像分割具体步骤如下：
S11：将输入的明场图像组及对应的荧光图像组/>，对明场图像组/>和对应的荧光图像组/>分别进行仿射、放大变换，得到新明场图像组/>和对应的新荧光图像组/>。
S12：新明场图像组和新荧光图像组/>训练第一模型，并得到完成训练的第一模型/>，以新明场图像组/>和原荧光图像组训练第二优化模型/>，并得到训练完成之后的第二优化模型/>；
S13：将新明场图像组和对应的新荧光图像输入到训练完成的多编码-自动编码器模型，得到隐含空间；
S14：利用PCA算法对隐含空间进行降维处理，得到三维的隐藏变量/>；
S15：将隐藏变量利用自聚类算法K-Means进行聚类，将隐藏变量变为3个聚类/>；
S16：将第一模型A复制三份记为A1，A2，A3，将第二模型B复制三份记为B1，B2，B3，再利用聚类{S1,S2,,S3}对模型A1，A2，A3和模型B1，B2，B3进行精调，并得到第一优化模型和第二优化模型/>；
S17：使用对应的第一优化模型计算出待分割细胞图像的第一荧光点图，使用利用第二优化模型/>计算出待分割细胞图像的第二荧光点图；
S18：第二荧光点图为种子点，第一荧光点图为前景，实现对细胞的精准分割，得到单个细胞掩码；
S19：根据单个细胞掩码，提取明场图像组及对应的荧光图像组中的单个细胞图像，得到单个细胞明场图像集合和对应的单个细胞荧光图像集合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种高适应性的明场细胞活死分类算法，其特征在于：首先构建多编码-自动编码器模型并进行训练，得到训练完成的多编码-自动编码器模型，明场细胞活死分类算法具体包括以下步骤：
S1：给定任意一组明场图像组及对应的荧光图像组，通过细胞图像分割算法对明场图像组及对应的荧光图像组进行图像分割，得到单个细胞明场图像集合和对应的单个细胞荧光图像集合；
S2：通过单个细胞荧光图像集合对单个细胞明场图像集合活细胞进行标记，制作单个细胞明场图像的活死标签，得到训练集；
S3：利用训练完成的多编码-自动编码器模型对单个细胞明场图像集合和单个细胞荧光图像集合进行过滤，提取隐藏特征；
S4：构建多层感知机，并用训练集训练多层感知机，得到训练完成之后的多层感知机；
S5：将提取到的隐藏特征输入训练完成之后的多层感知机中，得到细胞的活死分类。
2.根据权利要求1所述的一种高适应性的明场细胞活死分类算法，其特征在于：多编码-自动编码器模型包括若干编码器，每个编码器对应一个不同的空间变化,每个编码器对于一个解码器；编码器输入单个细胞明场图像和单个细胞荧光图像，输出隐含向量，编码器以卷积层和全连接层混合构建；解码器输入隐含向量，输出重新构建的隐藏特征。
3.根据权利要求2所述的一种高适应性的明场细胞活死分类算法，其特征在于：多编码-自动编码器模型具体工作流程如下：
S31：输入单个细胞明场图像和对应的细胞荧光图；
S32：使用多个编码器，每个编码器对输入的单个细胞明场图像和对应的细胞荧光图进行不同的空间变化；
S33：再对空间变化之后的单个细胞明场图像和对应的细胞荧光图进行隐藏特征的提取；
S34：将步骤S33提取到的隐藏特征，输入到对应的解码器中，解码器依据隐藏特征进行图像重新构建；
S35：重新构建的图像与模型输入的图像进行比较，若重新构建的图像与模型输入的图像差异小于阈值，则该提取的隐藏特征为有用特征，若重新构建的图像与模型输入的图像差异大于阈值，则该提取的隐藏特征为无用特征。
4.根据权利要求2所述的一种高适应性的明场细胞活死分类算法，其特征在于：整个多编码-自动编码器模型通过变分推断的计算公式来评估模型的特征提取的准确性，的计算公式如下：
其中，z 是潜在变量，x 是观测数据， 是变换函数，/>为逆变化函数，是真实的后验分布，/>是近似的后验分布。
5.根据权利要求1所述的一种高适应性的明场细胞活死分类算法，其特征在于：所述多层感知机共三层，具体结构如下：
输入层：输入m个隐藏特征，将隐藏特征转为特征向量；
隐藏层：设有n个神经元，输入特征向量，输出判断向量；
输出层：输入判断向量，输出预测结果。
6.根据权利要求5所述的一种高适应性的明场细胞活死分类算法，其特征在于：隐藏层中每个神经元都具有权重向量和偏置向量，第i个神经元的权重向量为，偏置为/>，该神经元的输出为：
其中，表示向量的点积，/>函数作用是将负值变为0，X为输入的特征向量，/>表示输出的判断向量。
7.根据权利要求5所述的一种高适应性的明场细胞活死分类算法，其特征在于：输出层中设有权重向量和偏置/>，输出层输出为：
其中，表示向量的点积，/>表示活细胞的概率，/>函数能够将输入映射到0和1之间，/>表示输出的判断向量。
8.根据权利要求5所述的一种高适应性的明场细胞活死分类算法，其特征在于：整个多层感知机通过变分推断的全部损失函数 ，用/>表示所有参数，计算公式来评估模型的优化程度，/>的计算公式如下：
其中，表示预测的活死标记，/>表示通过荧光图像获取的活死标记，z 是潜在变量，x 是观测数据，/>为逆变化函数，/>是真实的后验分布，/>是近似的后验分布。
9.根据权利要求1所述的一种高适应性的明场细胞活死分类算法，其特征在于：步骤S1对明场图像组及对应的荧光图像组进行图像分割具体步骤如下：
S11：将输入的明场图像组及对应的荧光图像组，对明场图像组和对应的荧光图像组分别进行仿射、放大变换，得到新明场图像组和对应的新荧光图像组；
S12：新明场图像组和新荧光图像组训练第一模型，并得到完成训练的第一模型，以新明场图像组和原荧光图像组训练第二优化模型，并得到训练完成之后的第二优化模型；
S13：将新明场图像组和对应的新荧光图像输入到训练完成的多编码-自动编码器模型，得到隐含空间；
S14：利用PCA算法对隐含空间进行降维处理，得到三维的隐藏变量；
S15：将隐藏变量利用自聚类算法K-Means进行聚类，将隐藏变量变为若干聚类；
S16：根据聚类结果，为每个聚类选择对应的第一优化模型和第二优化模型；
S17：对于每个聚类，使用对应的第一优化模型计算出待分割细胞图像的第一荧光点图，使用第二优化模型计算出待分割细胞图像的第二荧光点图；
S18：第二荧光点图为种子点，第一荧光点图为前景，实现对细胞的精准分割，得到单个细胞掩码；
S19：根据单个细胞掩码，提取明场图像组及对应的荧光图像组中的单个细胞图像，得到单个细胞明场图像集合和对应的单个细胞荧光图像集合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310731495.4A CN116453116B (zh) | 2023-06-20 | 2023-06-20 | 一种高适应性的明场细胞活死分类算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310731495.4A CN116453116B (zh) | 2023-06-20 | 2023-06-20 | 一种高适应性的明场细胞活死分类算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116453116A true CN116453116A (zh) | 2023-07-18 |
| CN116453116B CN116453116B (zh) | 2023-09-08 |
Family
ID=87132504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310731495.4A Active CN116453116B (zh) | 2023-06-20 | 2023-06-20 | 一种高适应性的明场细胞活死分类算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116453116B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2868703A1 (en) * | 2013-10-25 | 2015-04-25 | Ponnambalam Selvaganapathy | Method and device for detecting metabollically active cells |
| WO2017082048A1 (ja) * | 2015-11-10 | 2017-05-18 | 株式会社Ｓｃｒｅｅｎホールディングス | 分類器構成方法およびこれを用いた細胞の生死判定方法 |
| US20180137338A1 (en) * | 2016-11-16 | 2018-05-17 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN112424329A (zh) * | 2018-02-21 | 2021-02-26 | 耐克思乐生物科学有限责任公司 | 用于细胞成像、分析和测量的***和方法 |
| US20210073513A1 (en) * | 2019-02-01 | 2021-03-11 | Essen Instruments, Inc. D/B/A Essen Bioscience, Inc. | Method for Classifying Cells |
| CN113237818A (zh) * | 2021-05-28 | 2021-08-10 | 上海睿钰生物科技有限公司 | 一种细胞分析方法和*** |
| CN114298212A (zh) * | 2021-12-23 | 2022-04-08 | 深圳大学 | 一种用于细胞微损诱导的监测装置及明场监测方法 |
| CN114332855A (zh) * | 2021-12-24 | 2022-04-12 | 杭州电子科技大学 | 一种基于明场显微成像的无标记白细胞三分类方法 |
| WO2022108885A1 (en) * | 2020-11-17 | 2022-05-27 | Sartorius Bioanalytical Instruments, Inc. | Method for classifying cells |
| CN115457549A (zh) * | 2022-09-21 | 2022-12-09 | 华南师范大学 | 一种基于深度学习的衰老细胞显微图像识别方法 |
| WO2023009870A1 (en) * | 2021-07-29 | 2023-02-02 | Tempus Labs, Inc. | Platform for co-culture imaging to characterize in vitro efficacy of heterotypic effector cellular therapies in cancer |
| WO2023008369A1 (ja) * | 2021-07-30 | 2023-02-02 | キヤノン株式会社 | 細胞自家蛍光の画像を用いて細胞を分類する方法及び解析装置 |
| CN116004722A (zh) * | 2021-09-27 | 2023-04-25 | 山东奥格锐生生物科技有限公司 | 肝母细胞瘤类器官及其应用 |
-
2023
- 2023-06-20 CN CN202310731495.4A patent/CN116453116B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2868703A1 (en) * | 2013-10-25 | 2015-04-25 | Ponnambalam Selvaganapathy | Method and device for detecting metabollically active cells |
| WO2017082048A1 (ja) * | 2015-11-10 | 2017-05-18 | 株式会社Ｓｃｒｅｅｎホールディングス | 分類器構成方法およびこれを用いた細胞の生死判定方法 |
| US20180137338A1 (en) * | 2016-11-16 | 2018-05-17 | The Governing Council Of The University Of Toronto | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
| CN112424329A (zh) * | 2018-02-21 | 2021-02-26 | 耐克思乐生物科学有限责任公司 | 用于细胞成像、分析和测量的***和方法 |
| US20210073513A1 (en) * | 2019-02-01 | 2021-03-11 | Essen Instruments, Inc. D/B/A Essen Bioscience, Inc. | Method for Classifying Cells |
| WO2022108885A1 (en) * | 2020-11-17 | 2022-05-27 | Sartorius Bioanalytical Instruments, Inc. | Method for classifying cells |
| CN113237818A (zh) * | 2021-05-28 | 2021-08-10 | 上海睿钰生物科技有限公司 | 一种细胞分析方法和*** |
| WO2023009870A1 (en) * | 2021-07-29 | 2023-02-02 | Tempus Labs, Inc. | Platform for co-culture imaging to characterize in vitro efficacy of heterotypic effector cellular therapies in cancer |
| WO2023008369A1 (ja) * | 2021-07-30 | 2023-02-02 | キヤノン株式会社 | 細胞自家蛍光の画像を用いて細胞を分類する方法及び解析装置 |
| CN116004722A (zh) * | 2021-09-27 | 2023-04-25 | 山东奥格锐生生物科技有限公司 | 肝母细胞瘤类器官及其应用 |
| CN114298212A (zh) * | 2021-12-23 | 2022-04-08 | 深圳大学 | 一种用于细胞微损诱导的监测装置及明场监测方法 |
| CN114332855A (zh) * | 2021-12-24 | 2022-04-12 | 杭州电子科技大学 | 一种基于明场显微成像的无标记白细胞三分类方法 |
| CN115457549A (zh) * | 2022-09-21 | 2022-12-09 | 华南师范大学 | 一种基于深度学习的衰老细胞显微图像识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李伟;孙星星;户媛姣;: "基于改进CNN的宫颈细胞自动分类算法", 计算机***应用, no. 06 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116453116B (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191660B (zh) | 一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法 | |
| Yuan et al. | Gated CNN: Integrating multi-scale feature layers for object detection | |
| CN114220124A (zh) | 一种近红外-可见光跨模态双流行人重识别方法及*** | |
| CN107180248A (zh) | 基于联合损失增强网络的高光谱图像分类方法 | |
| CN110472676A (zh) | 基于深度神经网络的胃早癌组织学图像分类*** | |
| CN104992223A (zh) | 基于深度学习的密集人数估计方法 | |
| CN110827260B (zh) | 一种基于lbp特征与卷积神经网络的布匹缺陷分类方法 | |
| Al-Kharraz et al. | Automated system for chromosome karyotyping to recognize the most common numerical abnormalities using deep learning | |
| Liang et al. | Comparison detector for cervical cell/clumps detection in the limited data scenario | |
| CN112052772A (zh) | 一种人脸遮挡检测算法 | |
| Bani-Hani et al. | Classification of leucocytes using convolutional neural network optimized through genetic algorithm | |
| CN114299324B (zh) | 一种基于多尺度域对抗网络的病理图像分类方法及*** | |
| CN114898472B (zh) | 基于孪生视觉Transformer网络的签名鉴定方法和*** | |
| Wang et al. | Human detection aided by deeply learned semantic masks | |
| CN113222072A (zh) | 基于K-means聚类和GAN的肺部X光图像分类方法 | |
| Zhou et al. | Attention transfer network for nature image matting | |
| CN115995040A (zh) | 一种基于多尺度网络的sar图像小样本目标识别方法 | |
| Tan et al. | Rapid fine-grained classification of butterflies based on FCM-KM and mask R-CNN fusion | |
| CN113011436A (zh) | 一种基于卷积神经网络的中医舌色苔色协同分类方法 | |
| CN115100509B (zh) | 基于多分支块级注意力增强网络的图像识别方法及*** | |
| CN116453116B (zh) | 一种高适应性的明场细胞活死分类算法 | |
| Teng et al. | Semi-supervised leukocyte segmentation based on adversarial learning with reconstruction enhancement | |
| Li et al. | A novel denoising autoencoder assisted segmentation algorithm for cotton field | |
| CN115310491A (zh) | 一种基于深度学***衡磁共振全脑数据分类方法 | |
| Mamun et al. | Scratch Vision Transformer Model for Diagnosis Grape Leaf Disease |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |