CN117649660B - 基于全局信息融合的细胞***均衡度评估方法及终端 - Google Patents
基于全局信息融合的细胞***均衡度评估方法及终端 Download PDFInfo
- Publication number
- CN117649660B CN117649660B CN202410116623.9A CN202410116623A CN117649660B CN 117649660 B CN117649660 B CN 117649660B CN 202410116623 A CN202410116623 A CN 202410116623A CN 117649660 B CN117649660 B CN 117649660B
- Authority
- CN
- China
- Prior art keywords
- cell
- global
- area
- feature
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000032823 cell division Effects 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 title claims abstract description 26
- 238000011156 evaluation Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 210000001161 mammalian embryo Anatomy 0.000 claims abstract description 20
- 238000011176 pooling Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 abstract description 16
- 230000000694 effects Effects 0.000 abstract description 6
- 210000004027 cell Anatomy 0.000 description 119
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001125 extrusion Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001109 blastomere Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000002257 embryonic structure Anatomy 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Biodiversity & Conservation Biology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于全局信息融合的细胞***均衡度评估方法及终端，包括以下步骤：提取胚胎ROI区域内的全局特征；对胚胎ROI区域进行目标检测，检测单个细胞的所在区域；提取所有单个细胞所在区域的细胞特征；将所述全局特征和所有的细胞特征进行融合；将融合后的特征沿着通道维度展开后输入分类网络，得到细胞均衡置信度，当置信度大于设定阈值时细胞为均衡细胞。通过对单个细胞所在区域进行特征提取，与整体的组织区域特征进行融合，在训练的过程中利用单个细胞位置标注和细胞均衡度的标注监督训练过程，使得特征信息能够包含胚胎的均衡度信息，从而对于细胞均衡度检测这一目标，得到更好的检测效果。
Description
技术领域
本发明涉及细胞检测技术领域，具体涉及一种基于全局信息融合的细胞***均衡度评估方法及终端。
背景技术
细胞均衡度是评估卵裂期胚胎优劣的重要的评估指标。细胞面积往往能反映细胞大小，通过对比各细胞的面积能基本体现细胞大小的差距，实现对细胞均衡度的评估。培养箱不仅可为细胞提供稳定的体外培养环境，其同时具备周期性不断获取细胞***的全过程图像。结合培养箱中记录的细胞拍照时间，细胞学家需要根据自身的细胞评估经验对每一张细胞图像进行判别，获取细胞的***均衡度，大大地增加了细胞学家的工作量，因此，如何借助于计算机视觉方法，辅助细胞学家快速地检测细胞***过程中的均衡度具有十分重要的研究意义。目前，虽然存在一些图像分割的方法来计算细胞的面积以评估细胞***均衡度。然而，细胞***均衡度的智能预测在实际应用中仍存在以下问题：
(1)具有语义信息的图像分割方法虽然能在一定程度上对细胞进行分割，能够根据像素级信息得到每个细胞的大小。但是由于在细胞***的过程中，细胞生长的环境有限，在经过两次或两次***以上之后多个细胞会堆叠在一起，导致出现重叠现象。但是图像分割只能对像素进行一次归类，不能应对重叠问题。
(2)使用椭圆拟合技术可以对大部分细胞进行较好的拟合，但是由于部分细胞之间的挤压，可能会出现部分细胞的形状十分的不规则。这时如果使用椭圆拟合技术去拟合细胞面积就会产生较大的误差，不利于后续细胞均衡度的考量。
发明内容
本发明提出了一种基于全局信息融合的细胞***均衡度评估方法及终端，以解决现有的特征提取方法和椭圆拟合技术对于细胞均衡度检测误差较大的技术问题。
为解决上述技术问题，本发明提供了一种基于全局信息融合的细胞***均衡度评估方法，包括以下步骤：
步骤S1：提取胚胎ROI区域内的全局特征；
步骤S2：对胚胎ROI区域进行目标检测，检测单个细胞的所在区域；
步骤S3：提取所有单个细胞所在区域的细胞特征；
步骤S4：将所述全局特征和所有的细胞特征进行融合；
步骤S5：将融合后的特征沿着通道维度展开后输入分类网络，得到细胞均衡置信度，当置信度大于设定阈值时细胞为均衡细胞。
优选地，所述胚胎ROI区域和单个细胞区域通过目标检测网络进行提取。
优选地，所述目标检测网络进行提取的方法包括：
步骤S111：通过特征提取网络进行特征提取；
步骤S112：通过区域提取网络判断设定的区域是否和细胞组织吻合，并对预设区域回归出一个偏移值来获得精确位置；
步骤S113：通过区域池化网络收集特征提取网络输出的全局特征和区域提取网络输出的区域信息；
步骤S114：将区域池化网络输出的特征进行回归调整和约束，得到目标。
优选地，步骤S1中特征提取采用ResNet50作为特征提取网络。
优选地，步骤S1通过3×3的卷积层和池化层提取全局特征；引入残差连接层增加网络的深度。
优选地，步骤S2在进行单个细胞区域的目标检测时，通过1:1、1:2、2:1、2:2、2:4、4:2、3:3、3:6和6:3像素尺寸的九种矩形框进行目标检测，并通过线性模型和回归模型得到单个细胞的所在区域。
优选地，步骤S4的方法包括：将全局特征g1经过降采样的得到新的降采样全局特征其中w2是g1经过降采样之后特征图的宽度，h2是g1经过降采样之后特征图的高度；将细胞特征进行与全局特征g1相同倍率的放缩，并标注其对应g2的位置；将细胞特征和g1的映射向量gm相乘之后再与g2相加得到融合特征/>
优选地，融合的表达式为：
式中，(x,y)表示细胞特征对应于降采样全局特征g2的位置，K表示检测出的单个细胞的个数，表示全局特征g1的映射向量，fcell(x,y)i表示第i个细胞(x,y)位置的特征。
本发明还提供了一种终端，包括存储器和处理器；
所述存储器，用于存储计算机程序及基于全局信息融合的细胞***均衡度评估方法；
所述处理器，用于执行所述计算机程序及基于全局信息融合的细胞***均衡度评估方法，以实现上述的方法。
本发明的有益效果至少包括：
1)本发明通过运用神经网络模型有效地提取了图像中细胞的高层次特征，取代了传统方法繁复的流程，通过提取细胞组织全局特征和单个细胞特征，利用端到端的神经网络直接对细胞的均衡度进行判断；
2)本发明通过提取胚胎区域的整体特征，再根据目标检测网络框架检测出单个细胞区域，将单个细胞区域融合进整体特征中，以目标区域和标签的约束来训练一个能够包含细胞均衡度信息的ResNet特征提取器，解决传统拟合方案不能对受挤压细胞进行拟合的问题，对所有异型细胞具有普适性；
3)作为附加技术特征，本发明提出的九种矩形提取框的提取网络能够有效的对重叠细胞进行区分，目标检测框能够重叠，而不是针对单个像素进行判别是否属于固定的细胞区域，实现了重叠区域内的像素划分问题，解决了语义分割网络不能对重叠像素位置进行正确划分的问题，使得单个细胞区域的检测准确度更高。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的方法实施流程示意图；
图3为本发明实施例的细胞均衡度网络结构示意图；
图4为本发明实施例的目标提取网络示意图；
图5为本发明实施例的目标提取网络的九种检测框示意图；
图6为本发明实施例的单个细胞所在区域的检测结果示意图；
图7为本发明实施例的特征融合网络结构示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
细胞在***过程中，因重叠导致细胞的部分面积被掩盖，通过图像检测无法准确判断细胞面积，现有利用边缘检测的方法能够拟合绝大多数细胞，但是由于细胞***过程中细胞之间的侵占比较大，会产生挤压导致细胞形状出现心型等不规则形状，如何寻找其他有效信息评估细胞大小是本发明需要解决的关键技术问题
因此，如图1至图3所示，本发明实施例提供了一种基于全局信息融合的细胞***均衡度评估方法，包括以下步骤：
步骤S1：提取胚胎ROI区域内的全局特征。
示例性地，细胞组织的胚胎ROI区域提取，运用人工智能技术提取细胞的高层次特征，检测图像中细胞簇的位置，对显微镜图像进行预处理。由于细胞均衡度评价问题仅需关注胚胎ROI区域，通过深度学习的目标检测算法，能够有效的排除胚胎区域外的噪声，实现对拍摄图像的预处理。将设定拍摄细胞的图像张数为n，Ti,i＝1,2,…,n分别对应于第i张图像所对应的细胞***图像。具体步骤如下：
1)收集细胞***全过程中的细胞图像，标注每一张图像中细胞中心的位置，将标注好的图像划分为训练集、验证集和测试集，对训练集中的细胞图像进行翻转、旋转、平移等预处理操作，扩充数据集；
2)采用标注的训练集对模型进行训练；
3)根据模型在验证集上的准确率变化，调整模型的超参数，最终保存在测试集上表现最佳的网络模型；
4)运用保存的模型检测拍摄的第k张图像，输出对图像各细胞中心的预测结果。
本发明实施例采用通用的目标检测网络作为网络框架，包括yolo、FastRCNN等，检测图像中胚胎区域。以下采用FasterRCNN为例进行说明，其网络结构如图4所示。
具体地，将细胞图像输入FasterRCNN网络中，进行胚胎区域的选定，去除图像中的碎片，颗粒细胞等杂质的干扰。FasterRCNN主要由四个网络部分组成，分别是特征提取网络、区域提取网络、区域池化网络和分类网络构成：
1)特征提取网络：使用ResNet50作为特征提取网络。ResNet通过引入残差块的结构，从而有效地训练更深层次的神经网络。主要由3×3的卷积层和池化层用于对输入图像进行特征提取；残差连接层用来增加网络的深度，提取更多的语义信息；
2)区域提取网络：区域提取网络主要用来判断预先设定的区域是否和胚胎区域吻合，对预设区域回归一个偏移值获得精确的位置。
3)区域池化网络：区域池化网络收集特征提取网络输出的全局特征和区域提取网络输出的区域信息，综合这些信息之后得到新的特征。
4)分类网络：由于细胞组织检测是单类别检测问题。最后将特征输入分类网络再进行一次回归调整和约束，并输出检测的结果。
示例性地，本发明实施例中，在对胚胎ROI区域进行全局特征的提取时，使用ResNet50作为特征提取网络，本发明实施例中主要由3×3的卷积层和池化层用于对输入图像进行特征提取；同时，为了增加增加网络的深度，提取更多的语义信息，本发明实施例通过引入残差块的结构，使得网络能够更轻松地学习恒等映射，从而有效地训练更深层次的神经网络；最后得到特征g1∈Rw×h×c，其中w是图片经过特征提取网络之后宽度的分辨率，h是图片经过特征提取网络之后高度的分辨率，c是通道数，本发明取值为128。
步骤S2：对胚胎ROI区域进行目标检测，检测单个细胞的所在区域。
本发明实施例中，采用上述的区域提取网络获得细胞区域的位置信息和偏移信息，将该区域的图像输入到特征提取器中，提取得到K个细胞特征fcelli,i＝1,..,K。
具体地，本发明实施例中，为了有效提取细胞之间重叠区域的特征，通入引入9种矩形框进行目标检测，9种检测框的示意图如图5所示，其具体包括1:1、1:2、2:1、2:2、2:4、4:2、3:3、3:6和6:3像素尺寸的九种矩形框。
通过对九种矩形检测框对细胞区域进行检测，并且判断单个细胞是否在目标区域之内，矩形框内包含三种属性，分别是中心点坐标、宽度和高度。
在具体操作时，针对全局特征g1中的每一个超像素位置进行滑动检测，判定其是否属于9种矩形框中的一个，从而达到目标检测的效果。由于部分检测结果可能存在偏移，所以对矩形框进行微调，本发明实施例中采用线性模型对矩形框的三个参数进行平移和缩放，最后采用回归模型去进行回归预测。
在细胞均衡度检测的目标任务中，由于仅需要检测框的参数，而不是对组织区域内的每个像素进行判断，因此采用本发明实施例提出的九种矩形框的检测模式，由于检测框之间可以出现重叠，因此可以更准确的提取出单个细胞的所在区域，同时避免了重叠区域未提取的情况发生，从而达到有效提取重叠区域的特征的效果，提取结果如图6所示。
步骤S3：提取所有单个细胞所在区域的细胞特征。
步骤S4：将全局特征和所有的细胞特征进行融合。
具体地，如图7所示，本发明实施例在进行特征融合时，将全局特征g1经过降采样的得到新的降采样全局特征其中w2是g1经过降采样之后特征图的宽度，h2是g1经过降采样之后特征图的高度；引入一张与全局特征g1相同形状的映射向量/>本发明实施例将提取区域的特征经过与全局特征g1相同倍率的放缩，通过细胞提取网络得到的定位找到在g2中的位置。通过将细胞提取区域的特征和映射向量gm相乘之后再与降采样全局特征相加得到融合特征/>用公式表述如下：
式中，(x,y)表示细胞特征对应于降采样全局特征g2的位置，K表示检测出的单个细胞的个数，表示全局特征g1的映射向量，fcell(x,y)i表示第i个细胞的细胞特征。
通过此步骤，本发明实施例直接省略传统方案的拟合阶段。首先检测单个细胞所在区域位置。通过对单个细胞所在区域进行特征提取，与整体的组织区域特征进行融合，在训练的过程中利用单个细胞位置标注和细胞均衡度的标注监督训练过程，使得特征信息能够包含胚胎的均衡度信息，从而对于细胞均衡度检测这一目标，得到更好的检测效果。
步骤S5：将融合后的特征沿着通道维度展开后输入分类网络，得到细胞均衡置信度，当置信度大于设定阈值时细胞为均衡细胞。
具体地，将融合特征f2沿着通道维度展开后输入到分类网络中进行细胞均衡度判定，分类网络由多层线性层和池化层组成，最后回归得到细胞均衡置信度η，我们将η与设定的置信度阈值λ进行比较，如果η>λ则认为细胞均衡。
本分类网络整体形式为端到端，首先通过目标检测网络检测出组织区域。能够有效的避免显微镜内其他区域的噪声对细胞均衡度判断任务产生干扰。将组织区域作为输入，经过均衡度细胞均衡度神经网络。细胞均衡度网络首先将整个组织区域输入，提取整个组织细胞的特征，特征中的语义信息能对整个组织细胞的堆叠情况进行初步判断，并且初步定位组织内细胞的位置。通过细胞特征提取网络能提取单个细胞的语义信息，由于固定搜索框的大小一致，所以通过这些语义信息了解单个细胞的堆叠情况和面积大小，并且保证细胞之间特征信息的一致性。通过融合这些信息作为整体交给最后的分类神经网络判断改组织的细胞均衡度是否达标。整体过程中搜索框的位置和均衡度指标在受到数据集数据的监督下，能够逐渐逼近理想结果。
以下对本发明实施例进行训练的训练集进行简要说明，如下：
1)收集细胞***全过程中的细胞图像，标注每一张图像中细胞的标签。包括细胞组织的预测框、单个细胞的预测框和细胞是否均衡的标注(用0和1表示)。将标注好的图像划分为训练集、验证集和测试集，对训练集中的细胞图像进行翻转、旋转、平移等预处理操作，扩充数据集；
2)采用标注的训练集对模型进行训练；
3)根据模型在验证集上的准确率变化，调整模型的超参数，最终保存在测试集上表现最佳的网络模型；
4)运用保存的模型检测拍摄的第k张图像，输出对图像均衡度的预测结果。
本发明实施例还提供了一种终端，包括存储器和处理器；存储器，用于存储计算机程序及基于全局信息融合的细胞***均衡度评估方法；处理器，用于执行计算机程序及基于全局信息融合的细胞***均衡度评估方法，以实现上述方法。
为说明本发明实施例所提供方法的有效性，选取1千张细胞图像进行了消融实验，对比加入融合网络和不使用融合网络对实验的影响并且在细胞不同的***期进行实验，测试判断的准确率，实验结果如表1所示：
表1
从表中可以看出，本发明的方案对比于未加入融合模块的方案，其检测的准确率大大提高，并且对应细胞个数越多的胚胎，本发明的方案效果提升更为明显，这是由于在细胞个数增多的过程中，细胞的重叠现象也会加剧，这也说明了采用本发明的方案对解决细胞重叠有着显著的效果。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于全局信息融合的细胞***均衡度评估方法，其特征在于：包括以下步骤：
步骤S1：提取胚胎ROI区域内的全局特征；
步骤S2：对胚胎ROI区域进行目标检测，检测单个细胞的所在区域；
步骤S3：提取所有单个细胞所在区域的细胞特征；
步骤S4：将所述全局特征和所有的细胞特征进行融合；
步骤S4的方法包括：将全局特征g1经过降采样的得到新的降采样全局特征其中w2是g1经过降采样之后特征图的宽度，h2是g1经过降采样之后特征图的高度；将细胞特征进行与全局特征g1相同倍率的放缩，并标注其对应g2的位置；将细胞特征和g1的映射向量gm相乘之后再与g2相加得到融合特征/>
融合的表达式为：
式中，(x,y)表示细胞特征对应于降采样全局特征g2的位置，K表示检测出的单个细胞的个数，表示全局特征g1的映射向量，fcell(x,y)i表示第i个细胞(x,y)位置的特征，c表示通道数；
步骤S5：将融合后的特征沿着通道维度展开后输入分类网络，得到细胞均衡置信度，当置信度大于设定阈值时细胞为均衡细胞。
2.根据权利要求1所述的一种基于全局信息融合的细胞***均衡度评估方法，其特征在于：所述胚胎ROI区域和单个细胞区域通过目标检测网络进行提取。
3.根据权利要求2所述的一种基于全局信息融合的细胞***均衡度评估方法，其特征在于：所述目标检测网络进行提取的方法包括：
步骤S111：通过特征提取网络进行特征提取；
步骤S112：通过区域提取网络判断设定的区域是否和细胞组织吻合，并对预设区域回归出一个偏移值来获得精确位置；
步骤S113：通过区域池化网络收集特征提取网络输出的全局特征和区域提取网络输出的区域信息；
步骤S114：将区域池化网络输出的特征进行回归调整和约束，得到目标。
4.根据权利要求1所述的一种基于全局信息融合的细胞***均衡度评估方法，其特征在于：步骤S1中特征提取采用ResNet50作为特征提取网络。
5.根据权利要求4所述的一种基于全局信息融合的细胞***均衡度评估方法，其特征在于：步骤S1通过3×3的卷积层和池化层提取全局特征；引入残差连接层增加网络的深度。
6.根据权利要求1所述的一种基于全局信息融合的细胞***均衡度评估方法，其特征在于：步骤S2在进行单个细胞区域的目标检测时，通过1:1、1:2、2:1、2:2、2:4、4:2、3:3、3:6和6:3像素尺寸的九种矩形框进行目标检测，并通过线性模型和回归模型得到单个细胞的所在区域。
7.一种终端，其特征在于：包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，以实现权利要求1至6任意一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410116623.9A CN117649660B (zh) | 2024-01-29 | 2024-01-29 | 基于全局信息融合的细胞***均衡度评估方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410116623.9A CN117649660B (zh) | 2024-01-29 | 2024-01-29 | 基于全局信息融合的细胞***均衡度评估方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649660A CN117649660A (zh) | 2024-03-05 |
| CN117649660B true CN117649660B (zh) | 2024-04-19 |
Family
ID=90045391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410116623.9A Active CN117649660B (zh) | 2024-01-29 | 2024-01-29 | 基于全局信息融合的细胞***均衡度评估方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649660B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310253A (zh) * | 2019-05-09 | 2019-10-08 | 杭州迪英加科技有限公司 | 数字切片分类方法和装置 |
| CN111539308A (zh) * | 2020-04-20 | 2020-08-14 | 浙江大学 | 基于深度学习的胚胎质量综合评价装置 |
| CN112069874A (zh) * | 2020-07-17 | 2020-12-11 | 中山大学 | 胚胎光镜图像中细胞的识别方法及***、设备及存储介质 |
| CN113378796A (zh) * | 2021-07-14 | 2021-09-10 | 合肥工业大学 | 一种基于上下文建模的宫颈细胞全切片分类方法 |
| CN116580394A (zh) * | 2023-05-19 | 2023-08-11 | 杭州电子科技大学 | 一种基于多尺度融合和可变形自注意力的白细胞检测方法 |
| CN116681958A (zh) * | 2023-08-04 | 2023-09-01 | 首都医科大学附属北京妇产医院 | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 |
| CN116758539A (zh) * | 2023-08-17 | 2023-09-15 | 武汉互创联合科技有限公司 | 一种基于数据增强的胚胎图像卵裂球识别方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8594410B2 (en) * | 2006-08-28 | 2013-11-26 | Definiens Ag | Context driven image mining to generate image-based biomarkers |
| US11302444B2 (en) * | 2020-05-29 | 2022-04-12 | Boston Meditech Group Inc. | System and method for computer aided diagnosis of mammograms using multi-view and multi-scale information fusion |
| US20230162353A1 (en) * | 2021-11-23 | 2023-05-25 | City University Of Hong Kong | Multistream fusion encoder for prostate lesion segmentation and classification |
-
2024
- 2024-01-29 CN CN202410116623.9A patent/CN117649660B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310253A (zh) * | 2019-05-09 | 2019-10-08 | 杭州迪英加科技有限公司 | 数字切片分类方法和装置 |
| CN111539308A (zh) * | 2020-04-20 | 2020-08-14 | 浙江大学 | 基于深度学习的胚胎质量综合评价装置 |
| CN112069874A (zh) * | 2020-07-17 | 2020-12-11 | 中山大学 | 胚胎光镜图像中细胞的识别方法及***、设备及存储介质 |
| CN113378796A (zh) * | 2021-07-14 | 2021-09-10 | 合肥工业大学 | 一种基于上下文建模的宫颈细胞全切片分类方法 |
| CN116580394A (zh) * | 2023-05-19 | 2023-08-11 | 杭州电子科技大学 | 一种基于多尺度融合和可变形自注意力的白细胞检测方法 |
| CN116681958A (zh) * | 2023-08-04 | 2023-09-01 | 首都医科大学附属北京妇产医院 | 基于机器学习的胎儿肺脏超声影像成熟度预测方法 |
| CN116758539A (zh) * | 2023-08-17 | 2023-09-15 | 武汉互创联合科技有限公司 | 一种基于数据增强的胚胎图像卵裂球识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Meng Long ; 等.Cervical cell TCT image detection and segmentation based on multi-scale feature fusion.2021 IEEE 5th Advanced Information Technology, Electronic and Automation Control Conference (IAEAC).2021,192-196. * |
| 结合上下文特征与CNN多层特征融合的语义分割;罗会兰;张云;;中国图象图形学报;20191231(第12期);148-157 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649660A (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814741B (zh) | 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法 | |
| CN108805070A (zh) | 一种基于嵌入式终端的深度学习行人检测方法 | |
| CN105260749B (zh) | 基于方向梯度二值模式和软级联svm的实时目标检测方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN111310756B (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
| CN111027539B (zh) | 一种基于空间位置信息的车牌字符分割方法 | |
| CN108846404B (zh) | 一种基于相关约束图排序的图像显著性检测方法及装置 | |
| CN103761504A (zh) | 一种人脸识别*** | |
| CN105913082A (zh) | 一种对图像中目标进行分类的方法及*** | |
| CN109919149A (zh) | 基于物体检测模型的物体标注方法及相关设备 | |
| CN107067410A (zh) | 一种基于增广样本的流形正则化相关滤波目标跟踪方法 | |
| CN113744195B (zh) | 一种基于深度学习的hRPE细胞微管自动检测方法 | |
| CN116665095B (zh) | 一种运动舰船检测方法、***、存储介质和电子设备 | |
| CN115861738A (zh) | 一种类别语义信息引导的遥感目标检测主动采样方法 | |
| CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及*** | |
| CN110738132A (zh) | 一种具备判别性感知能力的目标检测质量盲评价方法 | |
| CN111967527A (zh) | 一种基于人工智能牡丹品种识别方法及识别*** | |
| CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
| CN104050674B (zh) | 一种显著性区域检测方法及装置 | |
| CN117670895B (zh) | 基于切片重染色技术的免疫组化病理图像细胞分割方法 | |
| CN117649660B (zh) | 基于全局信息融合的细胞***均衡度评估方法及终端 | |
| CN116994068A (zh) | 一种基于知识蒸馏的目标检测方法及装置 | |
| CN116977859A (zh) | 基于多尺度图像切割和实例困难度的弱监督目标检测方法 | |
| CN114912516B (zh) | 一种协调特征一致性和特异性的跨域目标检测方法及*** | |
| CN117132802A (zh) | 一种田间小麦病虫害识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |