CN113139930A - 甲状腺切片图像分类方法、装置、计算机设备和存储介质 - Google Patents

甲状腺切片图像分类方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113139930A
CN113139930A CN202110284897.5A CN202110284897A CN113139930A CN 113139930 A CN113139930 A CN 113139930A CN 202110284897 A CN202110284897 A CN 202110284897A CN 113139930 A CN113139930 A CN 113139930A
Authority
CN
China
Prior art keywords
image
thyroid
classification
slice
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110284897.5A
Other languages
English (en)
Other versions
CN113139930B (zh
Inventor
武卓越
田雪叶
杨林
崔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Diyingjia Technology Co ltd
Original Assignee
Hangzhou Diyingjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Diyingjia Technology Co ltd filed Critical Hangzhou Diyingjia Technology Co ltd
Priority to CN202110284897.5A priority Critical patent/CN113139930B/zh
Publication of CN113139930A publication Critical patent/CN113139930A/zh
Application granted granted Critical
Publication of CN113139930B publication Critical patent/CN113139930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种甲状腺切片图像分类方法、装置、计算机设备和存储介质。所述方法包括：将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图；对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。采用本方法能够提高甲状腺切片图像分类的精确度。

Description

甲状腺切片图像分类方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种甲状腺切片图像分类方法、装置、计算机设备和存储介质。
背景技术
近几十年来甲状腺癌的全球发病率持续上升，增长速度在所有实体瘤中名列前茅，发病率每年以6％的速度递增。目前甲状腺癌仍以手术治疗为主，由于甲状腺术中的冰冻切片对判断甲状腺的良恶性的特异性较高，因此临床上往往依赖常规术中冰冻切片来决定进一步的治疗方案。但在百亿级像素的甲状腺冰冻切片中寻找肿瘤区域并判断切片良恶性对病理医生来说存在极大的挑战，病理医生有可能会因为经验不足或疲劳而对甲状腺冰冻切片解读错误，使患者错过最佳治疗时期。因此可以将深度学习应用在甲状腺冰冻切片良恶性判读方面，辅助医生进行疾病诊断，这样不但可以将医生从枯燥的工作中解放出来，而且降低了疾病误判率。
针对乳腺癌、肺癌等癌症，一些研究已经证明卷积神经网络是检测数字病理切片的有效工具。对于数字病理图像全切片分类问题，即判断数字病理切片中最严重的癌变类型问题，由于百万级像素的数字病理切片无法直接送入卷积神经网络进行训练，大部分研究者采取的做法是从数字病理切片中提取N×N大小的图像块作为训练数据，然后训练卷积神经网络充当图像块分类器，在预测时使用N×N大小的窗口从左到右、从上到小划过数字病理切片，并使用图像块分类器对划过的窗口尽行分类，最后综合图像块级别的分类结果得到全切片的分类结果，可以看到训练的图像块分类器的准确与否直接决定数字化病理切片分类结果的好坏。但是目前大部分先进的分类网络对图像块分类时存在严重的漏诊，这是因为甲状腺切片中细胞形态存在多样性，部分良性肿瘤区域甚至正常区域和恶性肿瘤区域具有相似的视觉特征。正是由于细胞形态的多样性直接导致了图像块分类器存在严重的漏诊情况，从而间接导致了全切片分类存在严重的漏诊情况。但是在临床诊断中将甲状腺恶性肿瘤判断为甲状腺良性肿瘤甚至是正常组织是不允许出现的，因为这样的漏诊将会直接导致病人错过最佳治疗时期。
总之，现有技术中根据甲状腺切片图像对甲状腺肿瘤良恶的判断方法，易将恶性肿瘤判断为良性肿瘤的概率较高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高模型分类精度的甲状腺切片图像分类方法、装置、计算机设备和存储介质。
一种甲状腺切片图像分类方法，所述方法包括：
将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图；
对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
在其中一个实施例中，对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果，包括：对所述甲状腺切片图像的概率热图，提取一阶颜色矩、二阶颜色矩和三阶颜色矩，得到所述甲状腺切片图像的切片级特征；将所述切片级特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
在其中一个实施例中，所述将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图，包括：
获取预设放大倍数下甲状腺切片图像；
将所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；
对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；
将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图。
在其中一个实施例中，在将所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块之后，包括：过滤背景占比超过50％的图像块。
在其中一个实施例中，在对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率之前，包括：获取预设放大倍数下，带有标注的甲状腺切片图像；所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，根据标注给予所述图像块恶性或非恶性的标签；根据所述图像块和标签，对Inception-v3模型进行训练，获得图像块分类模型；其中，所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
在其中一个实施例中，所述优化损失函数为：
Figure BDA0002980048270000031
Figure BDA0002980048270000032
Figure BDA0002980048270000033
其中，n为图像块数量，
Figure BDA0002980048270000034
为传统的交叉熵损失函数，
Figure BDA0002980048270000035
为图像块Xi的惩罚项，k为类别总数，j表示某一类别，yi为独热编码，并且yi＝[yi0,yi1]，pi为网络预测出的概率向量并且pi＝[pi0,pi1]，其中pi0为图像块Xi为非恶性的概率，pi1为图像块Xi为恶性的概率，
Figure BDA0002980048270000036
为图像块Xi的标签，若图像块为恶性则标签为1，否则标签为0，
Figure BDA0002980048270000037
为网络预测出的图像块标签。
在其中一个实施例中，所述预设放大倍数为20×放大倍数。
一种甲状腺切片图像分类装置，所述装置包括：
概率热图获取模块，用于将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图；
分类模块，用于对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图；
对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图；
对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
上述甲状腺切片图像分类方法、装置、计算机设备和存储介质，通过将甲状腺切片图像划分成图像块，并根据图像块为恶性肿瘤的概率构建概率热图，根据概率热图提取多阶颜色特征输入SVM分类器中，获得甲状腺切片图像分类结果，能够提高分类结果的准确性。
附图说明
图1为一个实施例中切片图像分类过程示意图；
图2为一个实施例中甲状腺切片图像分类的流程示意图；
图3为一个实施例中甲状腺切片图像分类装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图2所示，提供了一种甲状腺切片图像分类方法，包括以下步骤：
S110，将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图。
图像块的尺寸可设置为512×512，当然图像块的具体尺寸在此不作限定。在对Inception-v3网络进行训练后得到图像块分类模型，向图像块分类模型的输入为图像块，输出为所述图像块为恶性肿瘤的概率。Inception-v3网络模型由Inception模块堆叠组成，网络最后是全连接层以及softmax输出层。其中，Inception模块使用不同大小的滤波器对输入执行卷积操作，然后将所有子层的输出进行级联，这样可以有效地提取图像中不同尺度的特征。本实施例中，为了对图像块进行良恶性分类，对Inception-v3网络模型的分类层进行了修改，使得向Inception-v3网络模型输入图像块后，网络输出其分别为良性肿瘤、恶性肿瘤的概率，然后将网络模型参数初始化为在ImageNet上表现最佳的参数集,通过反向传播去微调网络的所用网络模型参数。
S120，对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
其中，多阶颜色特征为根据概率热图提取出的颜色特征，颜色特征可为R、G、B三个颜色分量的特征，当然，也可以为H、S、V颜色通道的特征。关于SVM分类器的训练方法，可以参考现有的SVM分类器的训练方法，SVM分类器可将甲状腺切片图像分为两类，一类为良性，一类为恶性。
上述一种甲状腺切片图像分类方法，通过将甲状腺切片图像划分成图像块，并根据图像块为恶性肿瘤的概率构建概率热图，根据概率热图提取多阶颜色特征输入SVM分类器中，获得甲状腺切片图像分类结果，能够提高分类结果的准确性。
在其中一个实施例中，如图1所示，对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果，包括：对所述甲状腺切片图像的概率热图，提取一阶颜色矩、二阶颜色矩和三阶颜色矩，得到所述甲状腺切片图像的切片级特征；将所述切片级特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
其中，如图1所示，甲状腺切片图像的概率热图101，概率热图101为肿瘤区域，肿瘤区域应该为亮红色区域，此处因为不能提交彩色图采用黑色区域表示。概率热图101提取一阶颜色矩、二阶颜色矩和三阶颜色矩，在图1中用菱形、圆形、三角形102分别表示一阶颜色矩、二阶颜色矩和三阶颜色矩。将一阶颜色矩、二阶颜色矩和三阶颜色矩组成一个向量103，将向量103输入SVM分类器104中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果105。
概率热图具有R、G、B三个颜色分量，概率热图中“热”的区域即红色区域为肿瘤区域，“冷”的区域即蓝色区域为良性肿瘤区域、正常人体组织区域或者背景区域，由于恶性数字病理切片的概率热图中必定含有大片“热”的区域(在图1中概率热图101中黑色区域)，而非恶性数字化切片的概率热图中必定只有“冷”的区域(在图1中概率热图101中白色区域)，而没有“热”的区域，所以可以从概率热图中提取颜色特征将其作为数字病理切片的切片级特征，颜色矩是一种有效的颜色特征表示方式，分别有一阶颜色矩、二阶颜色矩和三阶颜色矩，三个颜色矩的计算公式分别为：
Figure BDA0002980048270000061
Figure BDA0002980048270000062
Figure BDA0002980048270000063
其中，ui为一阶颜色矩，σi为二阶颜色矩，si为三阶颜色矩，其中pij表示彩色图像第j个像素的第i个颜色分量，N表示图像中的像素个数，那么对于一张RGB彩色概率热图，图像的三个分量R、G、B图像的前三阶颜色矩可以组成一个向量，为[μR，σR，sR，μG，σG，sG，μB，σB，sB]，得到的向量则为此数字病理切片的切片级特征。
在其中一个实施例中，所述将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图，包括：获取预设放大倍数下甲状腺切片图像；将所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图。
其中，预设放大倍数可为20×放大倍数下读取的甲状腺切片图像，也可为40×放大倍数下读取的甲状腺切片图像。其中，预设大小的图像块可为1024×1024的图像块，当然，预设大小的具体尺寸在此不作限定。
其中，图像块分类模型根据Inception-v3网络模型训练获得，用于输入图像块，输出所述图像块为恶性肿瘤的概率。Inception-v3网络模型由Inception模块堆叠组成，网络最后是全连接层以及softmax输出层；其中，Inception模块使用不同大小的滤波器对输入执行卷积操作，然后将所有子层的输出进行级联，这样可以有效地提取图像中不同尺度的特征。本实施例中，为了对图像块进行良恶性分类，对Inception-v3网络模型的分类层进行了修改，使得向Inception-v3网络模型输入图像块后，网络输出其分别为良性肿瘤、恶性肿瘤的概率，然后将网络模型参数初始化为在ImageNet上表现最佳的参数集，通过反向传播去微调网络的所用网络模型参数。
其中，所述优化损失函数L为：
Figure BDA0002980048270000071
Figure BDA0002980048270000081
Figure BDA0002980048270000082
其中，n为图像块数量，
Figure BDA0002980048270000083
为传统的交叉熵损失函数，
Figure BDA0002980048270000084
为图像块Xi的惩罚项，k为类别总数，j表示某一类别，yi为独热编码，并且yi＝[yi0,yi1]，yi0、yi1的取值为0或者1，在图像块为恶性时，yi0、yi1取值分别0、1，在图像块为非恶性时，yi0、yi1取值分别1、0，pi为网络预测出的概率向量并且pi＝[pi0,pi1]，其中pi0为图像块Xi为非恶性的概率，pi1为图像块Xi为恶性的概率，
Figure BDA0002980048270000085
为图像块Xi的标签，若图像块为恶性则标签为1，否则标签为0，
Figure BDA0002980048270000086
为网络预测出的图像块标签。
由于在甲状腺切片中部分非恶性肿瘤区域和恶性肿瘤区域具有相似的视觉特征，使用传统的交叉熵函数训练的分类模型对图像块进行分类时存在严重的漏诊情况，本实施例中对传统的交叉熵损失函数进行了修改，使用带有惩罚的损失函数进行训练可以很大程度上避免漏诊情况的发生，其形式如公式(1)所示，惩罚项
Figure BDA0002980048270000087
的本质在于在模型训练过程中当图像块被网络误判为良性，即
Figure BDA0002980048270000088
为0而
Figure BDA0002980048270000089
为1时施加惩罚项，使得pi0尽可能的小而pi1尽可能的大，而在其他情况下惩罚项都为0。
其中，所述概率热图为甲状腺切片图像中的每个图像块通过概率对应的R、G、B三个颜色分量进行表示的图片。例如，对于一张分辨率大小为N×N的甲状腺切片图像，使用512×512大小的窗口从左到右、从上到下划过甲状腺切片图像，并使用图像块分类器对划过的窗口进行分类，得到一张
Figure BDA00029800482700000810
大小的概率图，其中每个点与一个512×512大小的图像块对应，然后将概率图转换成一张具有R、G、B三个颜色分量的概率热图，可以通过概率热图中“热”的区域为红色区域，即为肿瘤区域，“冷”的区域即蓝色区域，即为良性肿瘤区域、正常人体组织区域或者背景区域。
上述实施例中甲状腺切片图像分类方法中，通过优化损失函数对Inception-v3网络模型的网络参数进行调整，能够提高图像块分类模型的分类精度，进而能够提高获得的所述图像块为恶性肿瘤的准确度，然后使用所述图像块为恶性肿瘤的概率构建概率热图，通过SVM分类器进行训练，获得甲状腺切片图像分类模型，并通过甲状腺切片图像分类模型对概率热图进行分类，获得所述甲状腺切片图像是否为恶性肿瘤的结果，能够提高模型分类的准确性。
在其中一个实施例中，将所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，包括：使用滑动窗口法将所述甲状腺切片图像从左到右、从上到下划成互不重叠的1024×1024图像。
在其中一个实施例中，在将所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块之后，包括：过滤背景占比超过50％的图像块。由于一些1024×1024的图像块中包含大量背景信息或者几乎全是背景，这些背景通常为灰白色，因此我们需要过滤掉这些带有少量信息的图像块，留下与分类任务相关的图像块，因此在图像块筛选阶段我们将背景占有比在50％以上的图像块去除。
在其中一个实施例中，在所述对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率之前，包括：获取预设放大倍数下，带有标注的甲状腺切片图像；所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，根据标注给予每个所述图像块恶性或非恶性的标签；根据所述图像块和标签，对Inception-v3模型进行训练，获得图像块分类模型；其中，所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
其中，带有标注的甲状腺切片图像可通过人工进行图像标注。每个图像块可根据其是否在标注范围内，给其赋予标签，例如，属于标注范围内的图像块设置恶性标签，属于标注范围外的图像块设置非恶性标签。
由于细胞形态的多样性，使得先进的分类网络训练一个可以区分甲状腺图像块良、恶性并且分类准确率高100％的分类器几乎是不可能的事情，因此不可避免地会发生漏诊的情况，本申请实施例甲状腺切片图像分类模型可以在维持准确率不变的条件下，使得将甲状腺恶性肿瘤判读为甲状腺良性肿瘤的情况尽可能少地甚至几乎不出现，因为这种恶性判断良性将会导致病人错过最佳治疗时期，但是将甲状腺良性肿瘤判断为甲状腺恶性肿瘤的情况却允许发生，这也只是增加了病理医生复查的工作量。
本申请甲状腺切片图像分类方法，首先需要训练图像块分类模型，等图像块分类模型训练完成后，使用图像块分类模型分别对每张甲状腺切片图像使用滑窗法进行预测，得到甲状腺切片图像对应的概率热图，然后从热率热图中提取特征训练SVM分类器。
在一个实施例中，如图3所示，提供了一种甲状腺切片图像分类装置，包括：概率热图获取模块210和分类模块220，其中：
概率热图获取模块210，用于将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图；
分类模块220，用于对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
在其中一个实施例中，分类模块220包括：切片级特征获取单元，用于对所述甲状腺切片图像的概率热图，提取一阶颜色矩、二阶颜色矩和三阶颜色矩，得到所述甲状腺切片图像的切片级特征；分类单元，用于将所述切片级特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
在其中一个实施例中，概率热图获取模块210包括：甲状腺切片图像获取单元，用于获取预设放大倍数下甲状腺切片图像；图像划分单元，用于将所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；概率计算单元，用于对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；概率热图获取单元，用于将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图。
在其中一个实施例中，所述图像划分单元，还用于使用滑动窗口法将所述甲状腺切片图像从左到右、从上到下划成互不重叠的1024×1024图像。
在其中一个实施例中，所述概率热图获取模块210，还包括：过滤单元，用于过滤背景占比超过50％的图像块。
在其中一个实施例中，所述概率热图获取模块210，还包括：甲状腺切片图像获取单元，还用于获取预设放大倍数下，带有标注的甲状腺切片图像；所述图像划分单元，还用于所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，根据标注给予每个所述图像块恶性或非恶性的标签；训练单元，用于根据所述图像块和标签，对Inception-v3模型进行训练，获得图像块分类模型；其中，所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
在其中一个实施例中，所述优化损失函数为：
Figure BDA0002980048270000111
Figure BDA0002980048270000112
Figure BDA0002980048270000113
其中，n为图像块数量，
Figure BDA0002980048270000114
为传统的交叉熵损失函数，
Figure BDA0002980048270000115
为图像块Xi的惩罚项，k为类别总数，j表示某一类别，yi为独热编码，并且yi＝[yi0,yi1]，pi为网络预测出的概率向量并且pi＝[pi0,pi1]，其中pi0为图像块Xi为非恶性的概率，pi1为图像块Xi为恶性的概率，
Figure BDA0002980048270000116
为图像块Xi的标签，若图像块为恶性则标签为1，否则标签为0，
Figure BDA0002980048270000117
为网络预测出的图像块标签。
在其中一个实施例中，所述预设放大倍数为20×放大倍数。
关于甲状腺切片图像分类装置的具体限定可以参见上文中对于甲状腺切片图像分类方法的限定，在此不再赘述。上述甲状腺切片图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储甲状腺切片图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种甲状腺切片图像分类方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种甲状腺切片图像分类方法，其特征在于：
将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图；
对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
2.根据权利要求1所述的方法，其特征在于，对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果，包括：
对所述甲状腺切片图像的概率热图，提取一阶颜色矩、二阶颜色矩和三阶颜色矩，得到所述甲状腺切片图像的切片级特征；
将所述切片级特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
3.根据权利要求1所述的方法，其特征在于，所述将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图，包括：
获取预设放大倍数下甲状腺切片图像；
将所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块；
对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率；所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数；
将所述概率映射到，与其对应的所述图像块在所述甲状腺切片图像的位置，获得所述甲状腺切片图像的概率热图。
4.根据权利要求3所述的方法，其特征在于，在将所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块之后，包括：过滤背景占比超过50％的图像块。
5.根据权利要求3所述的方法，其特征在于，在对所述图像块，通过图像块分类模型进行分类，获得所述图像块为恶性肿瘤的概率之前，包括：
获取预设放大倍数下，带有标注的甲状腺切片图像；
所述甲状腺切片图像划分成多个互不重叠的预设大小的图像块，根据标注给予所述图像块恶性或非恶性的标签；
根据所述图像块和标签，对Inception-v3模型进行训练，获得图像块分类模型；其中，所述图像块分类模型训练过程中，采用优化损失函数，通过反向传播算法调整模型参数。
6.根据权利要求5所述的方法，其特征在于，所述优化损失函数为：
Figure FDA0002980048260000021
Figure FDA0002980048260000022
Figure FDA0002980048260000023
其中，n为图像块数量，
Figure FDA0002980048260000024
为传统的交叉熵损失函数，
Figure FDA0002980048260000025
为图像块Xi的惩罚项，k为类别总数，j表示某一类别，yi为独热编码，并且yi＝[yi0,yi1]，pi为网络预测出的概率向量并且pi＝[pi0,pi1]，其中pi0为图像块Xi为非恶性的概率，pi1为图像块Xi为恶性的概率，
Figure FDA0002980048260000026
为图像块Xi的标签，若图像块为恶性则标签为1，否则标签为0，
Figure FDA0002980048260000027
为网络预测出的图像块标签。
7.根据权利要求1所述的方法，其特征在于，所述预设放大倍数为20×放大倍数。
8.一种甲状腺切片图像分类装置，其特征在于，所述装置包括：
概率热图获取模块，用于将甲状腺切片图像划分成图像块后，通过图像块分类模型进行分类，获得所述甲状腺切片图像的概率热图；
分类模块，用于对所述甲状腺切片图像的概率热图，提取多阶颜色特征输入SVM分类器中进行分类，得到所述甲状腺切片图像为良性或恶性的分类结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110284897.5A 2021-03-17 2021-03-17 甲状腺切片图像分类方法、装置、计算机设备和存储介质 Active CN113139930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110284897.5A CN113139930B (zh) 2021-03-17 2021-03-17 甲状腺切片图像分类方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110284897.5A CN113139930B (zh) 2021-03-17 2021-03-17 甲状腺切片图像分类方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113139930A true CN113139930A (zh) 2021-07-20
CN113139930B CN113139930B (zh) 2022-07-15

Family

ID=76811351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110284897.5A Active CN113139930B (zh) 2021-03-17 2021-03-17 甲状腺切片图像分类方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113139930B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743195A (zh) * 2022-04-13 2022-07-12 赛维森(广州)医疗科技服务有限公司 甲状腺细胞病理数字图像识别器训练方法、图像识别方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100284610A1 (en) * 2008-01-17 2010-11-11 Shiseido Company, Ltd. Skin color evaluation method, skin color evaluation apparatus, skin color evaluation program, and recording medium with the program recorded thereon
CN105212885A (zh) * 2014-06-27 2016-01-06 富士胶片株式会社 医用图像处理装置及其工作方法、以及内窥镜***
CN107748889A (zh) * 2017-10-16 2018-03-02 高东平 一种乳腺肿瘤超声图像自动分类方法
CN109409440A (zh) * 2018-11-09 2019-03-01 中国计量大学 一种基于颜色特征和支持向量机的蚕茧分类方法
CN110335668A (zh) * 2019-05-22 2019-10-15 台州市中心医院（台州学院附属医院） 基于深度学习的甲状腺癌细胞病理图辅助分析方法及***
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct***检测***
CN110763677A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 甲状腺冰冻切片诊断方法及***
CN110796672A (zh) * 2019-11-04 2020-02-14 哈尔滨理工大学 基于层次卷积神经网络的乳腺癌mri分割方法
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺***状癌病理图像分类方法
CN111275103A (zh) * 2020-01-19 2020-06-12 浙江工业大学之江学院 多视角信息协作的肾脏良恶性肿瘤分类方法
CN111539959A (zh) * 2020-07-13 2020-08-14 浙江省肿瘤医院(浙江省癌症中心) 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法
CN111931931A (zh) * 2020-09-29 2020-11-13 杭州迪英加科技有限公司 一种针对病理全场图像的深度神经网络训练方法、装置
CN112232407A (zh) * 2020-10-15 2021-01-15 杭州迪英加科技有限公司 病理图像样本的神经网络模型训练方法、装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100284610A1 (en) * 2008-01-17 2010-11-11 Shiseido Company, Ltd. Skin color evaluation method, skin color evaluation apparatus, skin color evaluation program, and recording medium with the program recorded thereon
CN105212885A (zh) * 2014-06-27 2016-01-06 富士胶片株式会社 医用图像处理装置及其工作方法、以及内窥镜***
CN107748889A (zh) * 2017-10-16 2018-03-02 高东平 一种乳腺肿瘤超声图像自动分类方法
CN109409440A (zh) * 2018-11-09 2019-03-01 中国计量大学 一种基于颜色特征和支持向量机的蚕茧分类方法
CN110335668A (zh) * 2019-05-22 2019-10-15 台州市中心医院（台州学院附属医院） 基于深度学习的甲状腺癌细胞病理图辅助分析方法及***
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct***检测***
CN110763677A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 甲状腺冰冻切片诊断方法及***
CN110796672A (zh) * 2019-11-04 2020-02-14 哈尔滨理工大学 基于层次卷积神经网络的乳腺癌mri分割方法
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺***状癌病理图像分类方法
CN111275103A (zh) * 2020-01-19 2020-06-12 浙江工业大学之江学院 多视角信息协作的肾脏良恶性肿瘤分类方法
CN111539959A (zh) * 2020-07-13 2020-08-14 浙江省肿瘤医院(浙江省癌症中心) 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法
CN111931931A (zh) * 2020-09-29 2020-11-13 杭州迪英加科技有限公司 一种针对病理全场图像的深度神经网络训练方法、装置
CN112232407A (zh) * 2020-10-15 2021-01-15 杭州迪英加科技有限公司 病理图像样本的神经网络模型训练方法、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EBTIHAL ALMANSOUR ET AL.: "Classification of Dermoscopic Skin Cancer Images Using Color and Hybrid Texture Features", 《IJCSNS INTERNATIONAL JOURNAL OF COMPUTER SCIENCE AND NETWORK SECURITY》 *
YUN LIU ET AL.: "Detecting Cancer Metastases on Gigapixel Pathology Images", 《HTTPS://ARXIV.ORG/ABS/1703.02442V2》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743195A (zh) * 2022-04-13 2022-07-12 赛维森(广州)医疗科技服务有限公司 甲状腺细胞病理数字图像识别器训练方法、图像识别方法
CN114743195B (zh) * 2022-04-13 2022-12-09 赛维森(广州)医疗科技服务有限公司 甲状腺细胞病理数字图像识别器训练方法、图像处理方法

Also Published As

Publication number Publication date
CN113139930B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN110120040B (zh) 切片图像处理方法、装置、计算机设备和存储介质
CN110930416B (zh) 一种基于u型网络的mri图像***分割方法
Tang et al. A multi-stage framework with context information fusion structure for skin lesion segmentation
CN111402267B (zh) ***癌病理图像中上皮细胞核的分割方法、装置和终端
CN113592794B (zh) 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN115661144A (zh) 基于可变形U-Net的自适应医学图像分割方法
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111462042A (zh) 癌症预后分析方法及***
CN110838100A (zh) 一种基于滑动窗口的结肠镜病理切片筛查与分割***
CN113139931B (zh) 甲状腺切片图像分类模型训练方法、装置
CN110766670A (zh) 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法
CN114140445B (zh) 基于重点关注区域提取的乳腺癌病理图像识别方法
CN117522719B (zh) 基于机器学习的支气管镜图像辅助优化***
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN113139930B (zh) 甲状腺切片图像分类方法、装置、计算机设备和存储介质
CN115272647A (zh) 一种肺部图像的识别处理方法及***
CN116758336A (zh) 一种基于人工智能的医学图像智能分析***
Singh et al. A robust her2 neural network classification algorithm using biomarker-specific feature descriptors
CN113177554A (zh) 甲状腺结节识别与分割方法、***、存储介质及设备
CN112052854A (zh) 一种实现自适应对比度增强的医疗图像可逆信息隐藏方法
Shobarani et al. Melanoma Malignancy Prognosis Using Deep Transfer Learning
CN116051471A (zh) 一种基于糖尿病视网膜病变的极小病灶自动分割方法
CN111144488B (zh) 一种基于邻近共同预测的病理切片视野分类提升方法
KR102495367B1 (ko) 조직 병리학 분류를 위한 다중 인스턴스 학습 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant