CN113570633A - 基于深度学习模型对脂肪细胞图像进行分割计数的方法 - Google Patents
基于深度学习模型对脂肪细胞图像进行分割计数的方法 Download PDFInfo
- Publication number
- CN113570633A CN113570633A CN202110861762.0A CN202110861762A CN113570633A CN 113570633 A CN113570633 A CN 113570633A CN 202110861762 A CN202110861762 A CN 202110861762A CN 113570633 A CN113570633 A CN 113570633A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- images
- deep learning
- counting
- fat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001789 adipocyte Anatomy 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013136 deep learning model Methods 0.000 title claims abstract description 17
- 210000004027 cell Anatomy 0.000 claims abstract description 30
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 230000000877 morphologic effect Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 239000012528 membrane Substances 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
一种基于深度学习模型对脂肪细胞图像进行分割计数的方法，通过将脂肪图像输入深度学习网络得到图中每个像素被分割的概率，基于该概率图进一步生成脂肪细胞边缘图后，依次经形态学处理去除气泡和分水岭算法再分割处理生成脂肪细胞分割图像，最后通过连通域分析，分析脂肪细胞分割图像的细胞面积分布并对当前目标图像上的脂肪细胞数量进行统计。显著缩短了脂肪细胞人工计数的耗时。
Description
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种基于深度学习模型对脂肪细胞图像进行分割计数的方法。
背景技术
现有技术对细胞图像处理的关键操作包括图像分割，精确的图像分割可以使得细胞计数的准确率增加，对面积的分析更加精准，从而获得更好的分析结果。现有的细胞分割算法对于高清细胞图像的分析效率依旧较低，从而限制了细胞统计技术的发展。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于深度学习模型对脂肪细胞图像进行分割计数的方法，显著缩短了脂肪细胞人工计数的耗时。
本发明是通过以下技术方案实现的：
本发明涉及一种基于深度学习模型对脂肪细胞图像进行分割计数的方法，通过将脂肪图像输入深度学习网络得到图中每个像素被分割的概率，基于该概率图进一步生成脂肪细胞边缘图后，依次经形态学处理去除气泡和分水岭算法再分割处理生成脂肪细胞分割图像，最后通过连通域分析，分析脂肪细胞分割图像的细胞面积分布并对当前目标图像上的脂肪细胞数量进行统计。
所述的深度学习网络是基于上采样和下采样的Unet++网络。
所述的深度学习网络，经过包含旋转，翻转，缩放，尺度变换的数据增强后的训练集进行训练并以交叉熵作为损失函数，对于标注图像中被标记为黑白色的点，对应乘上最终的输出概率，得到最终的损失函数。
所述的交叉熵损失函数
其中：xi为输入，yi为训练集中的二元标签，hw(xi)为网络输出该点被识别为膜的概率，m代表该图共有多少像素点，J(w)为误差函数的值。
所述的脂肪细胞边缘图，在概率图的基础上生成灰度图像，经二值化处理转化得到脂肪细胞边缘图。
所述的去除气泡是指：使用Matlab提供的高斯滤波函数去除由于图像拼接被误识别为细胞的气泡。
所述的分水岭算法再分割，具体为：获取所有分水岭算法识别为边缘的分水岭，当判定其为细胞边缘时将其加入原来图像中。
所述的判定其为细胞边缘，需同时满足以下条件：
1.当前分水岭长度小于设定阈值；
2.分水岭所在细胞的椭圆度((长轴－短轴)/长轴*100％)小于设定阈值；
3.分割之后的两个区域面积之比为1。
所述的连通域分析，具体为：对图像进行连通域分析，统计所有连通域的面积，位置等信息，过滤面积小于阈值T的连通区域，对其余的每一个连通区域进行计数，即脂肪细胞数量。
所述的细胞面积分布通过连通域分析方式得到。
本发明涉及一种实现上述方法的***，包括：深度网络分割单元、二值化处理单元、分水岭再分割单元以及连通域分析单元，其中：深度网络分割单元单元与二值化处理单元相连并传输概率图像信息，二值化处理单元与分水岭再分割单元相连并传输二值图像信息，分水岭再分割单元与连通域分析相连并传输分割图像信息。
技术效果
本发明整体解决了现有技术的分割精度不够精准以及分割结果不够清晰的缺点；本发明综合了脂肪细胞分割以及后续相关分析处理的功能，能够自动提取脂肪细胞边缘，并自动填补相关未分割区域以及自动再分割欠分割区域，并提供了阈值转换，细胞数量统计，图像染色，手动后处理和直方图分析，在应用层面中展现了较高精度。与现有技术相比，本发明准确率达到了99.65％，召回率达到了98.38％，F1-score达到了99.01％。
附图说明
图1为本发明方法流程图；
图2为实施例输入的脂肪细胞图像；
图3为实施例深度学习模型输出的概率图；
图4为图3进行滤波处理结果；
图5为图4进行二值化结果；
图6为利用分水岭方法进行再分割的结果；
图7为脂肪细胞上色结果；
图8为Unet++网络运行示意图。
具体实施方式
如图1所示，为本实施例涉及一种基于深度学习模型对脂肪细胞图像进行分割计数的方法，具体包括以下步骤：
步骤1)输入如图2所示脂肪图像I，设定初始参数：面积阈值T，形态学闭操作算子大小，分水岭长度阈值L，连通域椭圆度的阈值c。
步骤2)对图像进行灰度化。
步骤3)细胞边缘提取，具体包括：
3.1.输入如图8所示的Unet++模型后计算得到的输出概率图，如图3所示。
3.2.对图像进行高斯滤波，如图4所示。
3.3.对概率图进行二值化，得到黑白图像，如图5所示。
步骤4)图像后处理：利用分水岭算法进行再分割，并选取分水岭加入到细胞边缘图像，得到再分割结果，如图6所示。
步骤5)细胞统计：首先进行连通域分析，提取连通区域的面积，周长，位置信息，过滤掉其中面积小于T，然后对每一个连通区域进行随机上色，如图7所示；具体为生成3个0-255之间的整数，填充到RGB三色通道中。
最终Unet++模型的分割准确率达到0.9606％，最终损失函数计算为0.0908。
经过具体实际实验，以T＝2500,c＝10,L＝50,高斯算子大小5为参数启动/运行上述装置/方法，能够得到的实验数据是：准确率达到了99.65％，召回率达到了98.38％，F1-score达到了99.01％。
对于一幅总细胞数为107的细胞图像，准确分割的细胞从59提升到了94。对于一幅总细胞数为169的细胞图像，准确分割的细胞从112提升到了140。准确率达到了99.65％，召回率达到了98.38％，F1-score达到了99.01％。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
Claims (10)
1.一种基于深度学习模型对脂肪细胞图像进行分割计数的方法，其特征在于，通过将脂肪图像输入深度学习网络得到图中每个像素被分割的概率，基于该概率图进一步生成脂肪细胞边缘图后，依次经形态学处理去除气泡和分水岭算法再分割处理生成脂肪细胞分割图像，最后通过连通域分析，分析脂肪细胞分割图像的细胞面积分布并对当前目标图像上的脂肪细胞数量进行统计。
2.根据权利要求1所述的基于深度学习模型对脂肪细胞图像进行分割计数的方法，其特征是，所述的深度学习网络是基于上采样和下采样的Unet++网络。
3.根据权利要求1所述的基于深度学习模型对脂肪细胞图像进行分割计数的方法，其特征是，所述的深度学习网络，经过包含旋转，翻转，缩放，尺度变换的数据增强后的训练集进行训练并以交叉熵作为损失函数，对于标注图像中被标记为黑白色的点，对应乘上最终的输出概率，得到最终的损失函数。
4.根据权利要求3所述的基于深度学习模型对脂肪细胞图像进行分割计数的方法，其特征是，所述的交叉熵损失函数
其中：xi为输入，yi为训练集中的二元标签，hw(xi)为网络输出该点被识别为膜的概率，m代表该图共有多少像素点，J(w)为误差函数的值。
5.根据权利要求1所述的基于深度学习模型对脂肪细胞图像进行分割计数的方法，其特征是，所述的脂肪细胞边缘图，在概率图的基础上生成灰度图像，经二值化处理转化得到脂肪细胞边缘图。
6.根据权利要求1所述的基于深度学习模型对脂肪细胞图像进行分割计数的方法，其特征是，所述的去除气泡是指：使用Matlab提供的高斯滤波函数去除由于图像拼接被误识别为细胞的气泡。
7.根据权利要求1所述的基于深度学习模型对脂肪细胞图像进行分割计数的方法，其特征是，所述的分水岭算法再分割，具体为：获取所有分水岭算法识别为边缘的分水岭，当判定其为细胞边缘时将其加入原来图像中。
8.根据权利要求7所述的基于深度学习模型对脂肪细胞图像进行分割计数的方法，其特征是，所述的判定其为细胞边缘，需同时满足以下条件：
1.当前分水岭长度小于设定阈值；
2.分水岭所在细胞的椭圆度((长轴－短轴)/长轴*100％)小于设定阈值；
3.分割之后的两个区域面积之比为1。
9.根据权利要求1所述的基于深度学习模型对脂肪细胞图像进行分割计数的方法，其特征是，所述的连通域分析，具体为：对图像进行连通域分析，统计所有连通域的面积，位置等信息，过滤面积小于阈值T的连通区域，对其余的每一个连通区域进行计数，即脂肪细胞数量；
所述的细胞面积分布通过连通域分析方式得到。
10.一种实现权利要求1～9中任一所述方法的基于深度学习模型对脂肪细胞图像进行分割计数的***，其特征在于，包括：深度网络分割单元、二值化处理单元、分水岭再分割单元以及连通域分析单元，其中：深度网络分割单元单元与二值化处理单元相连并传输概率图像信息，二值化处理单元与分水岭再分割单元相连并传输二值图像信息，分水岭再分割单元与连通域分析相连并传输分割图像信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110861762.0A CN113570633A (zh) | 2021-07-29 | 2021-07-29 | 基于深度学习模型对脂肪细胞图像进行分割计数的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110861762.0A CN113570633A (zh) | 2021-07-29 | 2021-07-29 | 基于深度学习模型对脂肪细胞图像进行分割计数的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113570633A true CN113570633A (zh) | 2021-10-29 |
Family
ID=78168919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110861762.0A Pending CN113570633A (zh) | 2021-07-29 | 2021-07-29 | 基于深度学习模型对脂肪细胞图像进行分割计数的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570633A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943723A (zh) * | 2022-06-08 | 2022-08-26 | 北京大学口腔医学院 | 一种对不规则细胞进行分割计数的方法及相关设备 |
| CN115715994A (zh) * | 2022-11-18 | 2023-02-28 | 深圳大学 | 一种图像激发超微注射方法、***及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316077A (zh) * | 2017-06-21 | 2017-11-03 | 上海交通大学 | 一种基于图像分割及边缘检测的脂肪细胞自动计数方法 |
| US20200074271A1 (en) * | 2018-08-29 | 2020-03-05 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging |
| CN112070772A (zh) * | 2020-08-27 | 2020-12-11 | 闽江学院 | 基于UNet++和ResNet的血液白细胞图像分割方法 |
| CN112964712A (zh) * | 2021-02-05 | 2021-06-15 | 中南大学 | 一种快速检测沥青路面状态的方法 |
-
2021
- 2021-07-29 CN CN202110861762.0A patent/CN113570633A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316077A (zh) * | 2017-06-21 | 2017-11-03 | 上海交通大学 | 一种基于图像分割及边缘检测的脂肪细胞自动计数方法 |
| US20200074271A1 (en) * | 2018-08-29 | 2020-03-05 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a multi-resolution neural network for use with imaging intensive applications including medical imaging |
| CN112070772A (zh) * | 2020-08-27 | 2020-12-11 | 闽江学院 | 基于UNet++和ResNet的血液白细胞图像分割方法 |
| CN112964712A (zh) * | 2021-02-05 | 2021-06-15 | 中南大学 | 一种快速检测沥青路面状态的方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943723A (zh) * | 2022-06-08 | 2022-08-26 | 北京大学口腔医学院 | 一种对不规则细胞进行分割计数的方法及相关设备 |
| CN114943723B (zh) * | 2022-06-08 | 2024-05-28 | 北京大学口腔医学院 | 一种对不规则细胞进行分割计数的方法及相关设备 |
| CN115715994A (zh) * | 2022-11-18 | 2023-02-28 | 深圳大学 | 一种图像激发超微注射方法、***及设备 |
| CN115715994B (zh) * | 2022-11-18 | 2023-11-21 | 深圳大学 | 一种图像激发超微注射方法、***及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107944452B (zh) | 一种圆形***文字识别方法 | |
| Yousif et al. | Toward an optimized neutrosophic K-means with genetic algorithm for automatic vehicle license plate recognition (ONKM-AVLPR) | |
| CN109886974B (zh) | 一种***去除方法 | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| CN107316077B (zh) | 一种基于图像分割及边缘检测的脂肪细胞自动计数方法 | |
| CN110619642B (zh) | 一种票据图像中***与背景文字分离方法 | |
| CN112017191A (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| CN113570633A (zh) | 基于深度学习模型对脂肪细胞图像进行分割计数的方法 | |
| CN112614062B (zh) | 菌落计数方法、装置及计算机存储介质 | |
| CN109934828B (zh) | 基于Compact SegUnet自学习模型的双染色体图像切割方法 | |
| CN106384112A (zh) | 基于多通道多尺度与级联过滤器的快速图像文本检测方法 | |
| JP2015065654A (ja) | 自動修復を用いたカラー文書画像セグメンテーション及び二値化 | |
| CN110838100A (zh) | 一种基于滑动窗口的结肠镜病理切片筛查与分割*** | |
| CN107085726A (zh) | 基于多方法去噪和连通区域分析的甲骨拓片单字定位方法 | |
| Shaikh et al. | A novel approach for automatic number plate recognition | |
| CN110110667B (zh) | 一种硅藻图像的处理方法、***及相关组件 | |
| Azad et al. | New method for optimization of license plate recognition system with use of edge detection and connected component | |
| CN110991439A (zh) | 一种基于像素级多特征联合分类的手写体字符的提取方法 | |
| CN114331869B (zh) | 一种坝面裂缝语义分割方法 | |
| CN112270317A (zh) | 一种基于深度学习和帧差法的传统数字水表读数识别方法 | |
| CN111126162A (zh) | 一种识别图像中炎症细胞的方法、装置及存储介质 | |
| Chakraborty et al. | An improved template matching algorithm for car license plate recognition | |
| CN107145888A (zh) | 视频字幕实时翻译方法 | |
| CN111104944A (zh) | 一种基于r-fcn的车牌字符检测及分割方法 | |
| CN112767321B (zh) | 一种基于随机森林的荧光结核杆菌检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |